CN114693977A - 图像处理方法、模型训练方法、装置、设备及介质 - Google Patents

图像处理方法、模型训练方法、装置、设备及介质 Download PDF

Info

Publication number
CN114693977A
CN114693977A CN202210358363.7A CN202210358363A CN114693977A CN 114693977 A CN114693977 A CN 114693977A CN 202210358363 A CN202210358363 A CN 202210358363A CN 114693977 A CN114693977 A CN 114693977A
Authority
CN
China
Prior art keywords
image
classification
information
modality
modal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210358363.7A
Other languages
English (en)
Inventor
刘阿建
谭资昌
郭国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210358363.7A priority Critical patent/CN114693977A/zh
Publication of CN114693977A publication Critical patent/CN114693977A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种图像处理方法、模型训练方法、装置、设备及介质，涉及人工智能领域，尤其涉及计算机视觉领域。实现方案为：将待处理图像划分为多个图像块；基于多个图像块中的每一者的特征信息，确定多个图像块中的每一者的模态相关度，其中，每个图像块的模态相关度表示该图像块的特征信息和待处理图像的模态类型之间的相关程度；以及基于多个图像块中的每一者的模态相关度，利用多个图像块中的至少部分图像块的特征信息来执行针对待处理图像的分类。

Description

图像处理方法、模型训练方法、装置、设备及介质
技术领域
本公开涉及人工智能技术领域，尤其涉及计算机视觉领域，具体涉及一种图像处理方法、模型训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
背景技术
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术、人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。
发明内容
本公开提供了一种图像处理方法、模型训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
根据本公开的一方面，提供了一种图像处理方法，包括：将待处理图像划分为多个图像块；基于多个图像块中的每一者的特征信息，确定多个图像块中的每一者的模态相关度，其中，每个图像块的模态相关度表示该图像块的特征信息和待处理图像的模态类型之间的相关程度；以及基于多个图像块中的每一者的模态相关度，利用多个图像块中的至少部分图像块的特征信息来执行针对待处理图像的分类。
根据本公开的另一方面，提供了一种图像处理模型的训练方法，图像处理模型至少包括模态相关度计算模块、分类信息更新模块和分类预测模块，训练方法包括：将样本图像划分为多个图像块，其中，样本图像具有分类标签；确定样本图像所对应的特征序列，其中，特征序列包括多个图像块中的每一者所对应的特征信息、样本图像的模态信息以及样本图像的分类信息；将特征序列中的多个图像块中的每一者所对应的特征信息和模态信息输入模态相关度计算模块，以得到多个图像块中的每一者的模态相关度；将特征序列中的多个图像块中的每一者所对应的特征信息、分类信息以及多个图像块中的每一者的模态相关度输入分类信息更新模块，以得到经过更新的分类信息；将分类信息输入分类预测模块，以得到样本图像的第一预测分类；以及基于样本图像的分类标签和第一预测分类，调整图像处理模型的参数。
根据本公开的另一方面，提供了一种图像处理装置，包括：第一划分单元，被配置用于将待处理图像划分为多个图像块；第一确定单元，被配置用于基于多个图像块中的每一者的特征信息，确定多个图像块中的每一者的模态相关度，其中，每个图像块的模态相关度表示该图像块的特征信息和待处理图像的模态类型之间的相关程度；以及分类单元，被配置用于基于多个图像块中的每一者的模态相关度，利用多个图像块中的至少部分图像块的特征信息来执行针对待处理图像的分类。
根据本公开的另一方面，提供了一种图像处理模型的训练装置，图像处理模型至少包括模态相关度计算模块、分类信息更新模块和分类预测模块，训练装置包括：第二划分单元，被配置用于将样本图像划分为多个图像块，其中，样本图像具有分类标签；第二确定单元，被配置用于确定样本图像所对应的特征序列，其中，特征序列包括多个图像块中的每一者所对应的特征信息、样本图像的模态信息以及样本图像的分类信息；第一获取单元，被配置用于将特征序列中的多个图像块中的每一者所对应的特征信息和模态信息输入模态相关度计算模块，以得到多个图像块中的每一者的模态相关度；第二获取单元，被配置用于将特征序列中的多个图像块中的每一者所对应的特征信息、分类信息以及多个图像块中的每一者的模态相关度输入分类信息更新模块，以得到经过更新的分类信息；第三获取单元，被配置用于将分类信息输入分类预测模块，以得到样本图像的第一预测分类；以及第一调整单元，被配置用于基于样本图像的分类标签和第一预测分类，调整图像处理模型的参数。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述任意一种方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述任意一种方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，计算机程序在被处理器执行时实现上述任意一种方法。
根据本公开的一个或多个实施例，对待处理图像的分类处理能够参考待处理图像的每个图像块的模态相关度而执行，提升了对每个图像块与模态的相关程度的感知能力，能够提升分类的准确性。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
图1示出了根据本公开的实施例的可以在其中实施本文描述的各种方法的示例性系统的示意图；
图2示出了根据本公开的实施例的图像处理方法的流程图；
图3示出了根据本公开的实施例的一种图像处理方法的示意图；
图4示出了根据本公开的实施例的另一种图像处理方法的示意图；
图5示出了根据本公开的实施例的图像处理模型的训练方法的流程图；
图6示出了根据本公开的实施例的特征序列的示意图；
图7A和图7B示出了根据本公开的实施例的一种图像处理装置的训练方法的示意图；
图8示出了根据本公开的实施例的一种图像处理装置的结构框图；
图9示出了根据本公开的实施例的一种图像处理模型的训练装置的结构框图；以及
图10示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个要素与另一要素区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
在本公开中对各种示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
在相关技术中，在对待处理图像执行分类任务时，需要先从待处理图像提取特征信息，然而将提取的特征信息输入训练好的分类模型，以此来得到分类结果。例如，在人脸防伪领域，从包含人脸的待处理图像中提取特征信息，将特征信息输入经过训练的活体检测模型，进而得到活体检测模型输出的分类结果，即该待处理图像中采集的人脸是真实用户的人脸，还是照片、视频或者面具所伪装的人脸。
随着成像技术的提升，可以针对同一拍摄视野或同一拍摄对象提供多种模态类型的图像，例如，RGB图像、深度图像，红外图像等。这使得待处理图像的模态类型具有很强的随机性，甚至待处理图像可能同时包括针对同一对象的多种模态图像。申请人发现在对待处理图像进行对象识别、活体检测等基于图像内容的分类任务时，待处理图像的在模态类型上的信息不仅无法提升分类结果的准确性，甚至可能对分类结果产生干扰。
基于此，本公开提出一种图像处理方法，基于待处理图像的多个图像块中的每一者的特征信息，确定多个图像块中的每一者的模态相关度，并基于多个图像块中的每一者的模态相关度，利用多个图像块中的至少部分图像块的特征信息来执行针对待处理图像的分类。由此，待处理图像中的每一个图像块的特征信息可以依据该特征信息与待处理图像的模态类型之间的相关程度而被应用于对待处理图像的分类之中，使得对待处理图像的分类处理能够参考每个图像块的模态相关度而执行，提升了对每个图像块与模态的相关程度的感知能力，能够提升分类的准确性。
下面将结合附图详细描述本公开的实施例。
图1示出了根据本公开的实施例可以将本文描述的各种方法和装置在其中实施的示例性系统100的示意图。参考图1，该系统100包括一个或多个客户端设备101、102、103、104、105和106、服务器120以及将一个或多个客户端设备耦接到服务器120的一个或多个通信网络110。客户端设备101、102、103、104、105和106可以被配置为执行一个或多个应用程序。
在本公开的实施例中，服务器120可以运行使得能够执行图像处理方法或模型训练方法的一个或多个服务或软件应用。
在某些实施例中，服务器120还可以提供可以包括非虚拟环境和虚拟环境的其他服务或软件应用。在某些实施例中，这些服务可以作为基于web的服务或云服务提供，例如在软件即服务(SaaS)模型下提供给客户端设备101、102、103、104、105和/或106的用户。
在图1所示的配置中，服务器120可以包括实现由服务器120执行的功能的一个或多个组件。这些组件可以包括可由一个或多个处理器执行的软件组件、硬件组件或其组合。操作客户端设备101、102、103、104、105和/或106的用户可以依次利用一个或多个客户端应用程序来与服务器120进行交互以利用这些组件提供的服务。应当理解，各种不同的系统配置是可能的，其可以与系统100不同。因此，图1是用于实施本文所描述的各种方法的系统的一个示例，并且不旨在进行限制。
用户可以使用客户端设备101、102、103、104、105和/或106来获取或传送待处理图像。客户端设备可以提供使客户端设备的用户能够与客户端设备进行交互的接口。客户端设备还可以经由该接口向用户输出信息。尽管图1仅描绘了六种客户端设备，但是本领域技术人员将能够理解，本公开可以支持任何数量的客户端设备。
客户端设备101、102、103、104、105和/或106可以包括各种类型的计算机设备，例如便携式手持设备、通用计算机(诸如个人计算机和膝上型计算机)、工作站计算机、可穿戴设备、智能屏设备、自助服务终端设备、服务机器人、游戏系统、瘦客户端、各种消息收发设备、传感器或其他感测设备等。这些计算机设备可以运行各种类型和版本的软件应用程序和操作系统，例如MICROSOFT Windows、APPLE iOS、类UNIX操作系统、Linux或类Linux操作系统；或包括各种移动操作系统，例如MICROSOFT WindowsMobile OS、iOS、Windows Phone、Android。便携式手持设备可以包括蜂窝电话、智能电话、平板电脑、个人数字助理(PDA)等。可穿戴设备可以包括头戴式显示器(诸如智能眼镜)和其他设备。游戏系统可以包括各种手持式游戏设备、支持互联网的游戏设备等。客户端设备能够执行各种不同的应用程序，例如各种与Internet相关的应用程序、通信应用程序(例如电子邮件应用程序)、短消息服务(SMS)应用程序，并且可以使用各种通信协议。
网络110可以是本领域技术人员熟知的任何类型的网络，其可以使用多种可用协议中的任何一种(包括但不限于TCP/IP、SNA、IPX等)来支持数据通信。仅作为示例，一个或多个网络110可以是局域网(LAN)、基于以太网的网络、令牌环、广域网(WAN)、因特网、虚拟网络、虚拟专用网络(VPN)、内部网、外部网、公共交换电话网(PSTN)、红外网络、无线网络(例如蓝牙、WIFI)和/或这些和/或其他网络的任意组合。
服务器120可以包括一个或多个通用计算机、专用服务器计算机(例如PC(个人计算机)服务器、UNIX服务器、中端服务器)、刀片式服务器、大型计算机、服务器群集或任何其他适当的布置和/或组合。服务器120可以包括运行虚拟操作系统的一个或多个虚拟机，或者涉及虚拟化的其他计算架构(例如可以被虚拟化以维护服务器的虚拟存储设备的逻辑存储设备的一个或多个灵活池)。在各种实施例中，服务器120可以运行提供下文所描述的功能的一个或多个服务或软件应用。
服务器120中的计算单元可以运行包括上述任何操作系统以及任何商业上可用的服务器操作系统的一个或多个操作系统。服务器120还可以运行各种附加服务器应用程序和/或中间层应用程序中的任何一个，包括HTTP服务器、FTP服务器、CGI服务器、JAVA服务器、数据库服务器等。
在一些实施方式中，服务器120可以包括一个或多个应用程序，以分析和合并从客户端设备101、102、103、104、105和/或106的用户接收的数据馈送和/或事件更新。服务器120还可以包括一个或多个应用程序，以经由客户端设备101、102、103、104、105和/或106的一个或多个显示设备来显示数据馈送和/或实时事件。
在一些实施方式中，服务器120可以为分布式系统的服务器，或者是结合了区块链的服务器。服务器120也可以是云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。云服务器是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPS，Virtual PrivateServer)服务中存在的管理难度大、业务扩展性弱的缺陷。
系统100还可以包括一个或多个数据库130。在某些实施例中，这些数据库可以用于存储数据和其他信息。例如，数据库130中的一个或多个可用于存储诸如音频文件和视频文件的信息。数据库130可以驻留在各种位置。例如，由服务器120使用的数据库可以在服务器120本地，或者可以远离服务器120且可以经由基于网络或专用的连接与服务器120通信。数据库130可以是不同的类型。在某些实施例中，由服务器120使用的数据库例如可以是关系数据库。这些数据库中的一个或多个可以响应于命令而存储、更新和检索到数据库以及来自数据库的数据。
在某些实施例中，数据库130中的一个或多个还可以由应用程序使用来存储应用程序数据。由应用程序使用的数据库可以是不同类型的数据库，例如键值存储库，对象存储库或由文件系统支持的常规存储库。
图1的系统100可以以各种方式配置和操作，以使得能够应用根据本公开所描述的各种方法和装置。
图2示出了根据本公开示例性实施例的一种图像处理方法的流程图，如图2所示，该方法200包括：步骤S201、将待处理图像划分为多个图像块；步骤S202、基于多个图像块中的每一者的特征信息，确定多个图像块中的每一者的模态相关度，其中，每个图像块的模态相关度表示该图像块的特征信息和待处理图像的模态类型之间的相关程度；以及步骤S203、基于多个图像块中的每一者的模态相关度，利用多个图像块中的至少部分图像块的特征信息来执行针对待处理图像的分类。
由此，待处理图像中的每一个图像块的特征信息可以依据该特征信息与待处理图像的模态类型之间的相关程度而被应用于对待处理图像的分类之中，使得对待处理图像的分类处理能够参考每个图像块的模态相关度而执行，提升了对待处理图像的分类的准确性。
同时，虽然当前技术领域具有多种可以对待处理图像执行分类处理的模型，但是这些模型往往在应用过程中要求待处理图像的模态类型和该模型的训练过程中所采用的样本图像的模态类型一致。例如，如果模型在训练过程中，采用RGB样本图像进行训练，则要求应用过程中的待处理图像也是RGB图像，否则，将无法保证分类结果的准确性。又如，如果模型在训练过程中，采用RGB样本图像和深度样本图像进行融合训练，则要求应用过程中的待处理图像也同时包括RGB图像和深度图像，否则，将无法保证分类结果的准确性。这无疑严重限制模型的使用范围。
与此不同，本公开所提供的图像处理方法可以在已知每个图像块的模态相关度的基础上执行，即使待处理图像的模态类型和模型训练过程中的样本图像的模态类型不同，也可以在获取每一个图像块的模态相关度的基础上，通过排除或消减影响强相关的图像块的影响，来提升模型对待处理图像的分类结果的准确性。
针对步骤S201，可以基于预设的图像块数量而将待处理图像划分为多个图像块，例如，待处理图像的大小为256×256，如果预设的图像块数量是64，则每一个图像块的大小为32×32。
针对步骤S202，多个图像块中的每一者的特征信息可以包括该图像块的频谱信息。由于不同模态类型的图像数据往往属于不同的频谱空间，因此，在多个图像块中的每一者的特征信息包含频谱信息的情况下，更容易获知每个图像块的模态相关度。
在一种实施方式中，多个图像块中的每一者的特征信息可以包括该图像块的内容信息、该图像块的位置信息以及该图像块的频谱信息。
在一种实施方式中，多个图像块中的每一者的特征信息可以通过经过训练的特征提取模型来获取。
根据一些实施例，在确定多个图像块中的每一者的模态相关度之前，针对多个图像块中的每一者，可以通过融合多个图像块中的每一者的特征信息，来更新该图像块所对应的特征信息。经过更新的每个图像块的特征信息能够融合多个图像块中的每一者的特征信息，使得更新后的特征信息能够包含图像块的上下文信息，进而更加有效地表示该图像块。
在一种实施方式中，上述融合可以通过自注意力机制来实现。
针对步骤S203，在确定多个图像块中的每一者的模态相关度的基础上，可以基于多个图像块中的每一者的模态相关度，差异化地利用多个图像块中的每一个图像块的特征信息来执行针对待处理图像的分类。
根据一些实施例，基于多个图像块中的每一者的模态相关度，利用多个图像块中的至少部分图像块的特征信息来执行针对待处理图像的分类可以包括：基于多个图像块中的每一者的模态相关度，从多个图像块中选择一个或多个目标图像块；以及利用一个或多个目标图像块中的每一者的特征信息，执行针对待处理图像的分类。
由此，可以基于图像块中的每一者的模态相关度，来对多个图像块进行筛选，进而使得用于执行针对待处理图像的分类的图像块均能够满足分类处理对模态相关度的要求。
根据一些实施例，基于多个图像块中的每一者的模态相关度，从多个图像块中选择一个或多个目标图像块可以包括：针对多个图像块中的每一者，响应于该图像块的模态相关度小于预设阈值，将该图像块确定为目标图像块。
如此，可以将模态相关度大于预设阈值的图像块，即与待处理图像的模态类型强相关的图像块排除在分类处理之外，使得对待处理图像的分类处理免于模态信息的干扰。
根据一些实施例，基于多个图像块中的每一者的模态相关度，利用多个图像块中的至少部分图像块的特征信息来执行针对待处理图像的分类包括：计算多个图像块中的每一者的特征信息的加权和，其中，每个图像块所对应的权重与该图像块的模态相关度负相关；以及基于加权和，执行针对待处理图像的分类。
如此，可以通过调整每个图像块所对应的权重的方式，来影响每个图像块的特征信息对待处理图像的分类的影响程度，即可以通过降低与模态信息强相关的图像块的权重，来降低待处理图像的模态信息对分类的影响。
图3示出了本公开示例性实施例的一种图像处理方法的示意图，如图3所示，可以利用基于注意力机制的单模态融合模型300来执行对待处理图像的分类。
为了能够从待处理图像的多个图像块中的每一者的特征信息所构成的特征集合zpat301中提取出用于执行分类的有效信息，设置待处理图像的模态信息zmod302和待处理图像的分类信息zcls303。模态信息zmod302和分类信息zcls303可以利用经过训练的transformer来融合多个图像块中的每一者的特征信息而得到。
将特征集合zpat301输入单模态融合模型300中的模态键向量计算模块311中，其中，模态键向量计算模块311中包括参数矩阵
Figure BDA0003582816840000101
在模态键向量计算模块311中，通过对特征集合zpat301和参数矩阵
Figure BDA0003582816840000102
执行矩阵运算，得到模态键向量
Figure BDA0003582816840000103
将模态信息zmod302输入单模态融合模型300中的模态查询向量计算模块312中，其中，模态查询向量计算模块312中包括参数矩阵
Figure BDA0003582816840000104
在模态查询向量计算模块312中，通过对模态信息zmod302和参数矩阵
Figure BDA0003582816840000105
执行矩阵运算，得到模态查询向量qmod。
通过对模态键向量
Figure BDA0003582816840000106
和模态查询向量qmod执行乘运算，可以得到模态相关度矩阵mapmod。模态相关度矩阵mapmod中包含多个图像块中的每一者的模态相关度。基于模态相关度矩阵mapmod中的每一个图像块的模态相关度，可以定位多个图像块中与模态信息强相关的图像块，即模态相关度大于阈值的图像块。
将特征集合zpat301输入单模态融合模型300中的分类键向量计算模块314和分类值向量计算模块315中。分类键向量计算模块314中包括参数矩阵
Figure BDA0003582816840000111
在分类键向量计算模块314中，通过对特征集合zpat301和参数矩阵
Figure BDA0003582816840000112
执行矩阵运算，得到分类键向量
Figure BDA0003582816840000113
分类值向量计算模块315中包括参数矩阵
Figure BDA0003582816840000114
在分类值向量计算模块315中，通过对特征集合zpat301和参数矩阵
Figure BDA0003582816840000115
执行矩阵运算，得到分类值向量
Figure BDA0003582816840000116
将分类信息zcls303输入分类查询向量计算模块313中，其中，分类查询向量计算模块313中包括参数矩阵
Figure BDA0003582816840000117
在分类查询向量计算模块313中，通过对分类信息zcls303和参数矩阵
Figure BDA0003582816840000118
执行矩阵运算，得到分类查询向量qcls。
通过对分类键向量
Figure BDA0003582816840000119
和分类查询向量qcls执行乘运算，可以得到分类相关度矩阵mapcls。分类相关度矩阵mapcls决定了多个图像块中的每一个图像块对分类结果的影响程度。在分类相关度调整模块320中，基于通过模态相关度矩阵mapmod所确定的多个图像块中与模态信息强相关的图像块，可以调整分类相关度矩阵mapcls中的数值，以排除或者降低与模态信息强相关的图像块对分类结果的影响。
经过softmax模块330的softmax函数计算后，经过调整的分类相关度矩阵mapcls与分类值向量
Figure BDA00035828168400001110
执行矩阵相乘，得到更新后的分类信息zcls′304。这样的分类信息zcls′304排除或者降低了待处理图像中的强模态信息，基于该更新后的分类信息304进行后续的分类计算，能够提升分类结果的准确性。
示例性地，上述图3中的执行过程可以通过如下公式表示：
Figure BDA00035828168400001111
Figure BDA00035828168400001112
Figure BDA00035828168400001113
Figure BDA00035828168400001114
M＝Γλ(mapmod),
Figure BDA00035828168400001115
其中，D表示每一个图像块的特征信息的维度，h表示多头注意力机制中头的数量。
Γλ(·)为阈值选择函数，用于确定模态信息强相关的图像块，在mapmod中设定阈值，并输出一个值为0和1的掩模矩阵M。掩模矩阵M由0和1构成，其中0表示该位置所对应的图像块的特征信息与模态信息弱相关，其中1表示该位置所对应的图像块的特征信息与模态信息强相关。
基于掩模矩阵M的选择函数Γ'M(·)进一步表示为：
Figure BDA0003582816840000121
对于任意矩阵A，针对掩模矩阵M中大于0的位置，矩阵A在该位置处的值被赋值为负无穷；针对掩模矩阵M中等于0的位置，矩阵A在该位置处的值维持不变。
可以理解，单模态融合模型300仅针对待处理图像的分类信息进行更新，而对于待处理图像的多个图像块中的每一者的特征信息所构成的特征集合和模态信息，则维持不变。
根据一些实施例，待处理图像包括针对同一对象的多个模态图像，多个模态图像中的每一者的模态类型互不相同，并且其中，利用多个图像块中的至少部分图像块的特征信息来执行针对待处理图像的分类可以包括：针对多个模态图像中的每一者，利用该模态图像中的多个图像块中的至少部分图像块的特征信息来确定该模态图像的表示信息；通过将多个模态图像中的每一者的表示信息相融合，得到待处理图像的融合信息；以及基于融合信息，执行针对待处理图像的分类。
不同模态的图像对于对象特征的表现往往各有优劣，通过将针对同一对象的多个模态图像相融合，并基于融合信息来执行针对待处理图像的分类，能够有效提升待处理图像的分类的准确性。
图4示出了根据本公开的示例性实施例的另一种图像处理方法的示意图，如图4所示，可以在待处理图像包括多个模态图像的情况下，采用基于注意力机制的多模态融合模型400来执行对待处理图像的分类。
为了表述的方便，这里以第一模态图像和第二模态图像为例进行说明，本领域技术人员知晓，该方法同样适用于对三种以上的模态图像的处理。
将第一模态图像的表示信息zr401和第二模态图像的表示信息zd402输入该多模态融合模型400。其中，这里的表示信息zr401和表示信息zd402中的每一者可以通过如图3所示的单模态融合模型300而得到。
将第一模态图像的表示信息zr401输入分类查询向量处理模块411中，其中，分类查询向量处理模块411中包括参数矩阵
Figure BDA0003582816840000131
在分类查询向量处理模块411中，通过对表示信息zr401和参数矩阵
Figure BDA0003582816840000132
执行矩阵运算，得到分类融合查询向量qr。
将第二模态图像的表示信息zd402分别输入分类键向量处理模块412和分类值向量处理模块413中。分类键向量处理模块412中包括参数矩阵
Figure BDA0003582816840000133
通过对表示信息zd402和参数矩阵
Figure BDA0003582816840000134
执行矩阵运算，得到分类融合键向量kd。分类值向量处理模块413中包括参数矩阵
Figure BDA0003582816840000135
通过对表示信息zd402和参数矩阵
Figure BDA0003582816840000136
执行矩阵运算，得到分类融合值向量vd。
通过对分类融合查询向量qr和分类融合键向量kd执行乘运算，可以得到第一模态图像和第二模态图像之间的第一相关度矩阵Ard。
第一相关度矩阵Ard经过softmax模块420的softmax函数计算后，可以与分类融合值向量vd进行矩阵相乘，得到第一模态图像和第二模态图像的第一融合信息zrd403。
类似地，调换第一模态图像的表示信息zr401和第二模态图像的表示信息zd402的输入端口，即将表示信息zr401输入分类键向量处理模块412和分类值向量处理模块413中，将表示信息zd402输入分类查询向量处理模块411中，可以得到第一模态图像和第二模态图像的第二融合信息zdr。
通过将第一融合信息zrd和第二融合信息zdr进行拼接，可以最终的用于执行分类的融合信息。
上述处理过程可以通过如下的公式表示：
Figure BDA0003582816840000137
Figure BDA0003582816840000138
zrd＝Ard·vd
Z＝[zrd||zdr]
其中，D表示每一个图像块的特征信息的维度，h表示多头注意力机制中头的数量，“||”表示拼接操作，Z表示用于执行分类的融合信息。
图5示出了根据本公开示例性实施例的一种图像处理模型的训练方法的流程图，图像处理模型至少包括模态相关度计算模块、分类信息更新模块和分类预测模块，如图5所示，该方法500包括：步骤S501、将样本图像划分为多个图像块，其中，样本图像具有分类标签；步骤S502、确定样本图像所对应的特征序列，其中，特征序列包括多个图像块中的每一者所对应的特征信息、样本图像的模态信息以及样本图像的分类信息；步骤S503、将特征序列中的多个图像块中的每一者所对应的特征信息和模态信息输入模态相关度计算模块，以得到多个图像块中的每一者的模态相关度；步骤S504、将特征序列中的多个图像块中的每一者所对应的特征信息、分类信息以及多个图像块中的每一者的模态相关度输入分类信息更新模块，以得到经过更新的分类信息；步骤S505、将分类信息输入分类预测模块，以得到样本图像的第一预测分类；以及步骤S506、基于样本图像的分类标签和第一预测分类，调整图像处理模型的参数。
由此，通过在训练的过程中计算得到的模态相关度，可以基于该模态相关度，来辅助用于确定第一预测分类的分类信息的更新。换言之，随着训练的迭代，图像处理模型能够学习到借助于模态相关度提供的参考信息来优化分类信息的能力，提升训练得到的图像处理模型对不同模态的待处理图像的分类准确性。
针对步骤S501，可以基于图像处理模型的配置而将待处理图像划分为预设数量的多个图像块。
针对步骤S502，样本图像的特征序列包括多个图像块中的每一者所对应的特征信息、样本图像的模态信息以及样本图像的分类信息。
特别地，特征序列中还可以进一步包括每个图像块的位置信息，和每个图像块的频谱信息。
示例性地，模态类型为i的样本图像所对应的特征序列
Figure BDA0003582816840000141
可以采用如下公式表示：
Figure BDA0003582816840000142
其中，xcls表示样本图像的分类信息，
Figure BDA0003582816840000151
表示样本图像的模态信息，
Figure BDA0003582816840000152
表示多个图像块中的每一者所对应的特征信息，xpos多个图像块中的每一者所对应的位置信息，
Figure BDA0003582816840000153
表示多个图像块中的每一者所对应的频谱信息。其中，对于不同的模态类型的样本图像，
Figure BDA0003582816840000154
和
Figure BDA0003582816840000155
的值不同，“||”表示拼接操作。
并且其中，xcls和
Figure BDA0003582816840000156
为1×D的矩阵，
Figure BDA0003582816840000157
为n×D的矩阵，xpos和
Figure BDA0003582816840000158
为(n+2)×D的矩阵，D为每个图像块的特征信息的维度，n为图像块的数量。
图6示出了根据本公开示例性实施例的一种特征序列的示意图，如图6所示，多个图像块中的每一者所对应的特征信息623，与样本图像的分类信息621和样本图像的模态信息622执行拼接。拼接后的结果再和多个图像块中的每一者所对应的频谱信息610，以及多个图像块中的每一者所对应的位置信息630相加，可以得到最终的特征序列。
可以理解，为了便于处理，如图6所示，可以为样本图像的分类信息621和样本图像的模态信息622也确定相应的频谱信息和位置信息。
根据一些实施例，图像处理模型还包括特征提取模块，并且其中，确定样本图像所对应的特征序列包括：将多个图像块中的每一者输入特征提取模块，以得到样本图像所对应的特征序列。
由此，图像处理模型中的特征提取模块可以自动提取样本图像所对应的特征序列，使得特征序列成为可学习参数。可以理解，随着训练的迭代，特征提取模块从样本图像提取特征序列的能力能够逐渐增强，使得提取出的特征序列能够更好地应用于针对样本图像的分类之中。
根据一些实施例，图像处理模型还包括单模态融合模块，训练方法还可以包括：在将特征序列中的多个图像块中的每一者所对应的特征信息和模态信息输入模态相关度计算模块之前，将特征序列输入单模态融合模块，以得到更新后的特征序列，其中，更新后的特征序列中的模态信息和分类信息均融合了多个图像块中的每一者所对应的特征信息。如此，通过单模态融合模块，能够生成可学习的模态信息和分类信息用于后续计算。
在一种实施方式中，单模态融合模块可以基于自注意力机制来得到更新后的模态信息和分类信息。
随后，可以依次执行步骤S503～S506，基于得到的分类标签和第一预测分类，调整图像处理模型的参数，经过训练迭代，图像处理模型中的模态相关度计算模块能够学习到从多个图像块中的每一者所对应的特征信息和模态信息中，获取多个图像块中的每一者的模态相关度的能力；分类信息更新模块能够学习到参考模态相关度，来优化分类信息的能力，最终使得训练得到的图像处理模型能够实现良好的分类预测效果。
根据一些实施例，样本图像还具有模态标签，图像处理模型还包括模态预测模块，训练方法还可以包括：将更新后的特征序列中的模态信息输入模态预测模块，以得到样本图像的预测模态；以及基于样本图像的模态标签和预测模态，调整图像处理模型的参数。
在训练过程中，基于样本图像的模态标签和预测模态的反向调整，能够提升图像处理模型提取的模态信息的准确程度，在模态信息的准确程度得到提升的情况下，能够保证模态相关度计算模块在该模态信息的基础上所计算的模态相关度的准确度，进而提升分类预测的准确性。
根据一些实施例，样本图像包括针对同一对象的多个模态图像，多个模态图像中的每一者的模态类型互不相同，图像处理模型还包括多模态融合模块，多模态融合模块和单模态融合模块的结构相同，训练方法还可以包括：将多个模态图像中的每一者所对应的特征序列输入多模态融合模块，以得到待处理图像的融合信息；将融合信息输入分类预测模块，以得到样本图像的第二预测分类；以及基于样本图像的分类标签和第二预测分类，调整图像处理模型的参数，其中，在调整中多模态融合模块和单模态融合模块的参数对应相同。
由此，可以基于多模态的融合信息的训练成果来校正单模态模块的参数，换言之，在训练过程中，单模态模块的参数可以基于融合信息对多模态融合模块参数的调整而得到优化，同时，单模态模块内部针对单模态图像的计算模式能够得以保持，使得训练得到的图像处理模型仍然能够依靠单模态模块来对单模态的待处理图像进行分类。
图7A和7B示出了根据本公开示例性实施例的一种图像处理装置的训练方法的示意图。
为了表述的方法，这里仅以第一模态图像和第二模态图像为了进行描述，本领域技术人员知晓，在待处理图像包括三种以上的模态图像的情况下，也能够执行该处理。
如图7A所示，第一模态图像的多个图像块701和第二模态图像的多个图像块702分别经过特征提取模块710的处理，得到多个图像块701所对应的特征序列以及多个图像块702所对应的特征序列。其中，多个图像块701所对应的特征序列以及多个图像块702所对应的特征序列的形式可以如图6所示，在此不再赘述。
将多个图像块701所对应的特征序列和多个图像块702所对应的特征序列依次输入单模态融合模块720和分类信息更新模块730，其中，分类信息更新模块730包括上述的模态相关度计算模块和多模态融合模块。经过单模态融合模块720和分类信息更新模块730的处理后，可以得到第一模态图像的多个图像块701所对应的第一分类信息和第一模态信息，即图7A中的序列703，第二模态图像的多个图像块702所对应的第二分类信息和第二模态信息，即图7A中的序列705，以及第一模态图像和第二模态图像的融合信息，即图7A中的序列704。
可以理解，由单模态融合模块720和分类信息更新模块730所构成的整体可以有多层结构，为了便于说明，图7A仅示出了其中的一层。同时，对于该多层结构，至少有一层同时具有单模态融合模块720和分类信息更新模块730两者，其它层可以仅含有单模态融合模块720。
将序列703中的第一模态信息和序列705中的第二模态信息分别输入模态预测模块742中，可以分别得到对第一模态图像的预测模态A(即上述预测模态)，以及对第二模态图像的预测模态B(即上述预测模态)。
基于预测模态A和预测模态B中任意一者与模态标签的差异，可以调整图像处理装置的参数。
将序列703中的第一分类信息、序列705中的第二分类信息和序列704中的融合信息分别输入分类预测模块741中，可以分别得到对第一模态图像的预测分类A(即上述第一预测分类)，对第二模态图像的预测分类B(即上述第一预测分类)，以及对第一模态图像和第二模态图像的融合信息的预测分类C(即上述第二预测分类)。
基于预测分类A、预测分类B和预测分类C中任意一者与分类标签的差异，可以调整图像处理装置的参数。
可以理解，当输入仅有一种模态的样本图像，上述训练能够仅基于该样本图像而执行，例如，基于预测模态A和预测分类A来调整图像处理装置的参数。而当输入有多种模态的样本图像时，不仅可以基于每一种模态的样本图像进行训练，也可以基于多种模态的样本图像的融合结果，例如，预测分类C，来执行训练。
图7B进一步示出了单模态融合模块720和分类信息更新模块730之间的作用机制。
如图7B所示，单模态融合模块720包括多头自注意力模块MSA722，两个层归一化模块721和723，以及多层感知机器724。图7A中的分类信息更新模块730进一步包括图7B所示的分类更新子模块731和多模态融合模块732。分类更新子模块731包括多头去模态注意力模块MMDA731-2、两个层归一化模块731-1和731-3，以及多层感知机器731-4。多模态融合模块732包括多头跨模态注意力模块MCMA732-2、两个层归一化模块732-1和732-3，以及多层感知机器732-4。
多头自注意力模块MSA722为一个标准的transformer模块。多头去模态注意力模块MMDA731-2的结构和图3所示的单模态融合模型300的结构相似。由单模态融合模块720和分类更新子模块731级联所构成的处理流程中，每一种模态的样本图像的特征序列被分别处理。如图7B所示，第一模态图像所对应的特征序列和第二模态图像所对应的特征序列在该处理流程中不进行融合，各自分别进行处理。
可以理解，针对每一个特征序列，分类更新子模块731能够针对性地更新该特征序列中的分类信息，而对于该特征序列中的其它信息可以维持不变。
多模态融合模块732与单模态融合模块720和分类更新子模块731两者并联。该多模态融合模块732仅在同时有至少两种模态的样本图像输入时候才被使用，通过对至少两种模态的样本图像中的每一种的特征序列的融合，多模态融合模块732可以输出融合信息。
在单模态融合模块720和分类信息更新模块730所构成的多层结构中的第一层，多模态融合模块732仅接收来自单模态融合模块720的层归一化模块721的输出作为多头跨模态注意力模块MCMA732-2的输入。多头跨模态注意力模块MCMA732-2对至少两种模态的样本图像中的每一种的特征序列的处理流程和图4所示的多模态融合模型400的处理流程类似，在此不再赘述。
而对于在单模态融合模块720和分类信息更新模块730所构成的多层结构中的其它层，如果在上层中存在融合信息的输入，则上层的融合信息参与在该层的多模态融合模块732的计算。
示例性地，可以采用如下的公式表示在单模态融合模块720和分类信息更新模块730所构成的多层结构中的第k层的处理流程：
Figure BDA0003582816840000191
Figure BDA0003582816840000192
Figure BDA0003582816840000193
其中，
Figure BDA0003582816840000194
表示第k层的模态类型为i的样本图像的特征序列，即分类更新子模块731的输出，i∈{r,d}，
Figure BDA0003582816840000195
表示第k层的模态类型r的样本图像和模态类型d的样本图像的融合信息，即多模态融合模块732的输出，
Figure BDA0003582816840000196
表示单模态融合模块720的输出。
可以理解，在上述公式中忽略单模态融合模块720中的层归一化模块723和多层感知机器724、分类更新子模块731中的层归一化模块731-3和多层感知机器731-4以及多模态融合模块732中的层归一化模块732-3和多层感知机器732-4的影响。本领域技术人员可知，在包括上述这些模块的情况下，也能够实现该处理。
在此基础上，分类预测模块741对
Figure BDA0003582816840000197
中的分类信息
Figure BDA0003582816840000198
以及
Figure BDA0003582816840000199
中的分类信息
Figure BDA00035828168400001910
分别进行层归一化LN和多层感知MLPcls处理，得到相应的预测分类；模态预测模块742对
Figure BDA00035828168400001911
中的模态信息
Figure BDA00035828168400001912
进行层归一化LN和多层感知MLPmod处理，得到相应的预测模态。
示例性地，在训练过程中的总的损失函数可以表示为：
Figure BDA00035828168400001913
Figure BDA0003582816840000201
Figure BDA0003582816840000202
Figure BDA0003582816840000203
其中，ycls表示分类标签，ymod表示模态标签，BCE表示二分类交叉熵计算，
Figure BDA0003582816840000204
表示
Figure BDA0003582816840000205
对应的分类损失函数，
Figure BDA0003582816840000206
表示
Figure BDA0003582816840000207
对应的分类损失函数，
Figure BDA0003582816840000208
表示
Figure BDA0003582816840000209
对应的模态损失函数。
Figure BDA00035828168400002010
表示针对于模态类型为i的样本图像的总损失函数。
需要说明的是，上述任意一个实施例中的图像均来自于公开数据集，并不能反映出某一特定用户的个人信息。
图8示出了根据本公开示例性实施例的一种图像处理装置的结构框图，如图8所示，图像处理装置800包括：第一划分单元801，被配置用于将待处理图像划分为多个图像块；第一确定单元802，被配置用于基于多个图像块中的每一者的特征信息，确定多个图像块中的每一者的模态相关度，其中，每个图像块的模态相关度表示该图像块的特征信息和待处理图像的模态类型之间的相关程度；以及分类单元803，被配置用于基于多个图像块中的每一者的模态相关度，利用多个图像块中的至少部分图像块的特征信息来执行针对待处理图像的分类。
根据一些实施例，分类单元包括：选择子单元，被配置用于基于多个图像块中的每一者的模态相关度，从多个图像块中选择一个或多个目标图像块；以及第一分类子单元，被配置用于利用一个或多个目标图像块中的每一者的特征信息，执行针对待处理图像的分类。
根据一些实施例，选择子单元包括：用于针对多个图像块中的每一者，响应于该图像块的模态相关度小于预设阈值，将该图像块确定为目标图像块的子单元。
根据一些实施例，分类单元包括：计算子单元，被配置用于计算多个图像块中的每一者的特征信息的加权和，其中，每个图像块所对应的权重与该图像块的模态相关度负相关；以及第二分类子单元，被配置用于基于加权和，执行针对待处理图像的分类。
根据一些实施例，待处理图像包括针对同一对象的多个模态图像，多个模态图像中的每一者的模态类型互不相同，并且其中，分类单元包括：确定子单元，被配置用于针对多个模态图像中的每一者，利用该模态图像中的多个图像块中的至少部分图像块的特征信息来确定该模态图像的表示信息；获取子单元，被配置用于通过将多个模态图像中的每一者的表示信息相融合，得到待处理图像的融合信息；以及第三分类子单元，被配置用于基于融合信息，执行针对待处理图像的分类。
根据一些实施例，该装置还包括：第一融合单元，被配置用于针对多个图像块中的每一者，通过融合多个图像块中的每一者的特征信息，来更新该图像块所对应的特征信息。
根据一些实施例，多个图像块中的每一者的特征信息包括该图像块的频谱信息。
图9示出了根据本公开示例性实施例的一种图像处理模型的训练装置的结构框图，图像处理模型至少包括模态相关度计算模块、分类信息更新模块和分类预测模块，训练装置900包括：第二划分单元901，被配置用于将样本图像划分为多个图像块，其中，样本图像具有分类标签；第二确定单元902，被配置用于确定样本图像所对应的特征序列，其中，特征序列包括多个图像块中的每一者所对应的特征信息、样本图像的模态信息以及样本图像的分类信息；第一获取单元903，被配置用于将特征序列中的多个图像块中的每一者所对应的特征信息和模态信息输入模态相关度计算模块，以得到多个图像块中的每一者的模态相关度；第二获取单元904，被配置用于将特征序列中的多个图像块中的每一者所对应的特征信息、分类信息以及多个图像块中的每一者的模态相关度输入分类信息更新模块，以得到经过更新的分类信息；第三获取单元905，被配置用于将分类信息输入分类预测模块，以得到样本图像的第一预测分类；以及第一调整单元906，被配置用于基于样本图像的分类标签和第一预测分类，调整图像处理模型的参数。
根据一些实施例，图像处理模型还包括特征提取模块，并且其中，第二确定单元包括：用于将多个图像块中的每一者输入特征提取模块，以得到样本图像所对应的特征序列的子单元。
根据一些实施例，图像处理模型还包括单模态融合模块，训练装置还包括：第二融合单元，被配置用于将特征序列输入单模态融合模块，以得到更新后的特征序列，其中，更新后的特征序列中的模态信息和分类信息均融合了多个图像块中的每一者所对应的特征信息。
根据一些实施例，样本图像还具有模态标签，图像处理模型还包括模态预测模块，训练装置还包括：第四获取单元，被配置用于将更新后的特征序列中的模态信息输入模态预测模块，以得到样本图像的预测模态；以及第二调整单元，被配置用于基于样本图像的模态标签和预测模态，调整图像处理模型的参数。
根据一些实施例，样本图像包括针对同一对象的多个模态图像，多个模态图像中的每一者的模态类型互不相同，图像处理模型还包括多模态融合模块，多模态融合模块和单模态融合模块的结构相同，训练装置还包括：第三融合单元，被配置用于将多个模态图像中的每一者所对应的特征序列输入多模态融合模块，以得到待处理图像的融合信息；第五获取单元，被配置用于将融合信息输入分类预测模块，以得到样本图像的第二预测分类；以及第三调整单元，被配置用于基于样本图像的分类标签和第二预测分类，调整图像处理模型的参数，其中，在调整中多模态融合模块和单模态融合模块的参数对应相同。
根据本公开的一些实施例，还提供一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述任意一种方法。
根据本公开的一些实施例，还提供一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述任意一种方法。
根据本公开的一些实施例，还提供一种计算机程序产品，包括计算机程序，其中，计算机程序在被处理器执行时实现上述任意一种方法。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
参考图10，现将描述可以作为本公开的服务器或客户端的电子设备1000的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，电子设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储电子设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
电子设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006、输出单元1007、存储单元1008以及通信单元1009。输入单元1006可以是能向电子设备1000输入信息的任何类型的设备，输入单元1006可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入，并且可以包括但不限于鼠标、键盘、触摸屏、轨迹板、轨迹球、操作杆、麦克风和/或遥控器。输出单元1007可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元1008可以包括但不限于磁盘、光盘。通信单元10010允许电子设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、802.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如图像处理方法或模型训练方法。例如，在一些实施例中，图像处理方法或模型训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到电子设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的图像处理方法或模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像处理方法或模型训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行、也可以顺序地或以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本发明的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

Claims (27)

1.一种图像处理方法，包括：
将待处理图像划分为多个图像块；
基于所述多个图像块中的每一者的特征信息，确定所述多个图像块中的每一者的模态相关度，其中，每个图像块的模态相关度表示该图像块的特征信息和所述待处理图像的模态类型之间的相关程度；以及
基于所述多个图像块中的每一者的模态相关度，利用所述多个图像块中的至少部分图像块的特征信息来执行针对所述待处理图像的分类。
2.根据权利要求1所述的方法，其中，所述基于所述多个图像块中的每一者的模态相关度，利用所述多个图像块中的至少部分图像块的特征信息来执行针对所述待处理图像的分类包括：
基于所述多个图像块中的每一者的模态相关度，从所述多个图像块中选择一个或多个目标图像块；以及
利用所述一个或多个目标图像块中的每一者的特征信息，执行针对所述待处理图像的分类。
3.根据权利要求2所述的方法，其中，所述基于所述多个图像块中的每一者的模态相关度，从所述多个图像块中选择一个或多个目标图像块包括：
针对所述多个图像块中的每一者，响应于该图像块的模态相关度小于预设阈值，将该图像块确定为目标图像块。
4.根据权利要求1所述的方法，其中，所述基于所述多个图像块中的每一者的模态相关度，利用所述多个图像块中的至少部分图像块的特征信息来执行针对所述待处理图像的分类包括：
计算所述多个图像块中的每一者的特征信息的加权和，其中，每个图像块所对应的权重与该图像块的模态相关度负相关；以及
基于所述加权和，执行针对所述待处理图像的分类。
5.根据权利要求1至4中任意一项所述的方法，其中，所述待处理图像包括针对同一对象的多个模态图像，所述多个模态图像中的每一者的模态类型互不相同，
并且其中，所述利用所述多个图像块中的至少部分图像块的特征信息来执行针对所述待处理图像的分类包括：
针对所述多个模态图像中的每一者，利用该模态图像中的多个图像块中的至少部分图像块的特征信息来确定该模态图像的表示信息；
通过将所述多个模态图像中的每一者的表示信息相融合，得到所述待处理图像的融合信息；以及
基于所述融合信息，执行针对所述待处理图像的分类。
6.根据权利要求1至5中任意一项所述的方法，还包括：
在所述确定所述多个图像块中的每一者的模态相关度之前，针对所述多个图像块中的每一者，通过融合所述多个图像块中的每一者的特征信息，来更新该图像块所对应的特征信息。
7.根据权利要求1至6中任意一项所述的方法，其中，所述多个图像块中的每一者的特征信息包括该图像块的频谱信息。
8.一种图像处理模型的训练方法，所述图像处理模型至少包括模态相关度计算模块、分类信息更新模块和分类预测模块，所述训练方法包括：
将样本图像划分为多个图像块，其中，所述样本图像具有分类标签；
确定所述样本图像所对应的特征序列，其中，所述特征序列包括所述多个图像块中的每一者所对应的特征信息、所述样本图像的模态信息以及所述样本图像的分类信息；
将所述特征序列中的所述多个图像块中的每一者所对应的特征信息和所述模态信息输入所述模态相关度计算模块，以得到所述多个图像块中的每一者的模态相关度；
将所述特征序列中的所述多个图像块中的每一者所对应的特征信息、所述分类信息以及所述多个图像块中的每一者的模态相关度输入所述分类信息更新模块，以得到经过更新的分类信息；
将所述分类信息输入所述分类预测模块，以得到所述样本图像的第一预测分类；以及
基于所述样本图像的所述分类标签和所述第一预测分类，调整所述图像处理模型的参数。
9.根据权利要求8所述的方法，其中，所述图像处理模型还包括特征提取模块，并且其中，所述确定所述样本图像所对应的特征序列包括：
将所述多个图像块中的每一者输入所述特征提取模块，以得到所述样本图像所对应的所述特征序列。
10.根据权利要求8或9所述的方法，其中，所述图像处理模型还包括单模态融合模块，所述训练方法还包括：
在将所述特征序列中的所述多个图像块中的每一者所对应的特征信息和所述模态信息输入所述模态相关度计算模块之前，将所述特征序列输入所述单模态融合模块，以得到更新后的特征序列，其中，更新后的特征序列中的所述模态信息和所述分类信息均融合了所述多个图像块中的每一者所对应的特征信息。
11.根据权利要求10所述的方法，其中，所述样本图像还具有模态标签，所述图像处理模型还包括模态预测模块，所述训练方法还包括：
将更新后的特征序列中的所述模态信息输入所述模态预测模块，以得到所述样本图像的预测模态；以及
基于所述样本图像的所述模态标签和所述预测模态，调整所述图像处理模型的参数。
12.根据权利要求10或11所述的方法，其中，所述样本图像包括针对同一对象的多个模态图像，所述多个模态图像中的每一者的模态类型互不相同，所述图像处理模型还包括多模态融合模块，所述多模态融合模块和所述单模态融合模块的结构相同，所述训练方法还包括：
将所述多个模态图像中的每一者所对应的特征序列输入所述多模态融合模块，以得到所述待处理图像的融合信息；
将所述融合信息输入所述分类预测模块，以得到所述样本图像的第二预测分类；以及
基于所述样本图像的所述分类标签和所述第二预测分类，调整所述图像处理模型的参数，其中，在所述调整中所述多模态融合模块和所述单模态融合模块的参数对应相同。
13.一种图像处理装置，包括：
第一划分单元，被配置用于将待处理图像划分为多个图像块；
第一确定单元，被配置用于基于所述多个图像块中的每一者的特征信息，确定所述多个图像块中的每一者的模态相关度，其中，每个图像块的模态相关度表示该图像块的特征信息和所述待处理图像的模态类型之间的相关程度；以及
分类单元，被配置用于基于所述多个图像块中的每一者的模态相关度，利用所述多个图像块中的至少部分图像块的特征信息来执行针对所述待处理图像的分类。
14.根据权利要求13所述的装置，其中，所述分类单元包括：
选择子单元，被配置用于基于所述多个图像块中的每一者的模态相关度，从所述多个图像块中选择一个或多个目标图像块；以及
第一分类子单元，被配置用于利用所述一个或多个目标图像块中的每一者的特征信息，执行针对所述待处理图像的分类。
15.根据权利要求14所述的装置，其中，所述选择子单元包括：
用于针对所述多个图像块中的每一者，响应于该图像块的模态相关度小于预设阈值，将该图像块确定为目标图像块的子单元。
16.根据权利要求13所述的装置，其中，所述分类单元包括：
计算子单元，被配置用于计算所述多个图像块中的每一者的特征信息的加权和，其中，每个图像块所对应的权重与该图像块的模态相关度负相关；以及
第二分类子单元，被配置用于基于所述加权和，执行针对所述待处理图像的分类。
17.根据权利要求13至16中任意一项所述的装置，其中，所述待处理图像包括针对同一对象的多个模态图像，所述多个模态图像中的每一者的模态类型互不相同，
并且其中，所述分类单元包括：
确定子单元，被配置用于针对所述多个模态图像中的每一者，利用该模态图像中的多个图像块中的至少部分图像块的特征信息来确定该模态图像的表示信息；
获取子单元，被配置用于通过将所述多个模态图像中的每一者的表示信息相融合，得到所述待处理图像的融合信息；以及
第三分类子单元，被配置用于基于所述融合信息，执行针对所述待处理图像的分类。
18.根据权利要求13至17中任意一项所述的装置，还包括：
第一融合单元，被配置用于针对所述多个图像块中的每一者，通过融合所述多个图像块中的每一者的特征信息，来更新该图像块所对应的特征信息。
19.根据权利要求13至18中任意一项所述的装置，其中，所述多个图像块中的每一者的特征信息包括该图像块的频谱信息。
20.一种图像处理模型的训练装置，所述图像处理模型至少包括模态相关度计算模块、分类信息更新模块和分类预测模块，所述训练装置包括：
第二划分单元，被配置用于将样本图像划分为多个图像块，其中，所述样本图像具有分类标签；
第二确定单元，被配置用于确定所述样本图像所对应的特征序列，其中，所述特征序列包括所述多个图像块中的每一者所对应的特征信息、所述样本图像的模态信息以及所述样本图像的分类信息；
第一获取单元，被配置用于将所述特征序列中的所述多个图像块中的每一者所对应的特征信息和所述模态信息输入所述模态相关度计算模块，以得到所述多个图像块中的每一者的模态相关度；
第二获取单元，被配置用于将所述特征序列中的所述多个图像块中的每一者所对应的特征信息、所述分类信息以及所述多个图像块中的每一者的模态相关度输入所述分类信息更新模块，以得到经过更新的分类信息；
第三获取单元，被配置用于将所述分类信息输入所述分类预测模块，以得到所述样本图像的第一预测分类；以及
第一调整单元，被配置用于基于所述样本图像的所述分类标签和所述第一预测分类，调整所述图像处理模型的参数。
21.根据权利要求20所述的装置，其中，所述图像处理模型还包括特征提取模块，并且其中，所述第二确定单元包括：
用于将所述多个图像块中的每一者输入所述特征提取模块，以得到所述样本图像所对应的所述特征序列的子单元。
22.根据权利要求20或21所述的装置，其中，所述图像处理模型还包括单模态融合模块，所述训练装置还包括：
第二融合单元，被配置用于将所述特征序列输入所述单模态融合模块，以得到更新后的特征序列，其中，更新后的特征序列中的所述模态信息和所述分类信息均融合了所述多个图像块中的每一者所对应的特征信息。
23.根据权利要求22所述的装置，其中，所述样本图像还具有模态标签，所述图像处理模型还包括模态预测模块，所述训练装置还包括：
第四获取单元，被配置用于将更新后的特征序列中的所述模态信息输入所述模态预测模块，以得到所述样本图像的预测模态；以及
第二调整单元，被配置用于基于所述样本图像的所述模态标签和所述预测模态，调整所述图像处理模型的参数。
24.根据权利要求22或23所述的装置，其中，所述样本图像包括针对同一对象的多个模态图像，所述多个模态图像中的每一者的模态类型互不相同，所述图像处理模型还包括多模态融合模块，所述多模态融合模块和所述单模态融合模块的结构相同，所述训练装置还包括：
第三融合单元，被配置用于将所述多个模态图像中的每一者所对应的特征序列输入所述多模态融合模块，以得到所述待处理图像的融合信息；
第五获取单元，被配置用于将所述融合信息输入所述分类预测模块，以得到所述样本图像的第二预测分类；以及
第三调整单元，被配置用于基于所述样本图像的所述分类标签和所述第二预测分类，调整所述图像处理模型的参数，其中，在所述调整中所述多模态融合模块和所述单模态融合模块的参数对应相同。
25.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-12中任一项所述的方法。
26.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-12中任一项所述的方法。
27.一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现权利要求1-12中任一项所述的方法。
CN202210358363.7A 2022-04-06 2022-04-06 图像处理方法、模型训练方法、装置、设备及介质 Pending CN114693977A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210358363.7A CN114693977A (zh) 2022-04-06 2022-04-06 图像处理方法、模型训练方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210358363.7A CN114693977A (zh) 2022-04-06 2022-04-06 图像处理方法、模型训练方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN114693977A true CN114693977A (zh) 2022-07-01

Family

ID=82143580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210358363.7A Pending CN114693977A (zh) 2022-04-06 2022-04-06 图像处理方法、模型训练方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114693977A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024175014A1 (zh) * 2023-02-21 2024-08-29 华为技术有限公司 一种图像处理方法及其相关设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210019531A1 (en) * 2019-07-16 2021-01-21 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for classifying video
CN112434796A (zh) * 2020-12-09 2021-03-02 同济大学 一种基于局部信息学习的跨模态行人再识别方法
CN112651445A (zh) * 2020-12-29 2021-04-13 广州中医药大学(广州中医药研究院) 基于深度网络多模态信息融合的生物信息识别方法和装置
CN113361636A (zh) * 2021-06-30 2021-09-07 山东建筑大学 一种图像分类方法、系统、介质及电子设备
CN113610071A (zh) * 2021-10-11 2021-11-05 深圳市一心视觉科技有限公司 人脸活体检测方法、装置、电子设备及存储介质
CN113743544A (zh) * 2021-11-05 2021-12-03 中科智为科技(天津)有限公司 一种跨模态神经网络构建方法、行人检索方法及系统
CN113901904A (zh) * 2021-09-29 2022-01-07 北京百度网讯科技有限公司 图像处理方法、人脸识别模型训练方法、装置及设备
CN114049408A (zh) * 2021-11-15 2022-02-15 哈尔滨工业大学（深圳） 用于加速多模态mr成像的深度网络模型
CN114091514A (zh) * 2021-09-29 2022-02-25 西安电子科技大学 一种基于同异质Transformer的遥感场景分类方法及系统
CN114120433A (zh) * 2021-11-30 2022-03-01 北京百度网讯科技有限公司 图像处理方法、图像处理装置、电子设备和介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210019531A1 (en) * 2019-07-16 2021-01-21 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for classifying video
CN112434796A (zh) * 2020-12-09 2021-03-02 同济大学 一种基于局部信息学习的跨模态行人再识别方法
CN112651445A (zh) * 2020-12-29 2021-04-13 广州中医药大学(广州中医药研究院) 基于深度网络多模态信息融合的生物信息识别方法和装置
CN113361636A (zh) * 2021-06-30 2021-09-07 山东建筑大学 一种图像分类方法、系统、介质及电子设备
CN113901904A (zh) * 2021-09-29 2022-01-07 北京百度网讯科技有限公司 图像处理方法、人脸识别模型训练方法、装置及设备
CN114091514A (zh) * 2021-09-29 2022-02-25 西安电子科技大学 一种基于同异质Transformer的遥感场景分类方法及系统
CN113610071A (zh) * 2021-10-11 2021-11-05 深圳市一心视觉科技有限公司 人脸活体检测方法、装置、电子设备及存储介质
CN113743544A (zh) * 2021-11-05 2021-12-03 中科智为科技(天津)有限公司 一种跨模态神经网络构建方法、行人检索方法及系统
CN114049408A (zh) * 2021-11-15 2022-02-15 哈尔滨工业大学（深圳） 用于加速多模态mr成像的深度网络模型
CN114120433A (zh) * 2021-11-30 2022-03-01 北京百度网讯科技有限公司 图像处理方法、图像处理装置、电子设备和介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AJIAN LIU 等: "FM-ViT: Flexible Modal Vision Transformers for Face Anti-Spoofing", 《ARXIV:2305.03277V1 [CS.CV]》, 5 May 2023 (2023-05-05), pages 1 - 12 *
AJIAN LIU 等: "MA-ViT: Modality-Agnostic Vision Transformers for Face Anti-Spoofing", 《ARXIV:2304.07549V1 [CS.CV]》, 15 April 2023 (2023-04-15), pages 1 - 7 *
周美琪;高陈强;木松;刘芳岑;: "基于模态转换的红外与可见光图像配准方法", 计算机工程与设计, no. 10, 16 October 2020 (2020-10-16), pages 169 - 173 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024175014A1 (zh) * 2023-02-21 2024-08-29 华为技术有限公司 一种图像处理方法及其相关设备

Similar Documents

Publication Publication Date Title
CN113807440B (zh) 利用神经网络处理多模态数据的方法、设备和介质
CN114511758A (zh) 图像识别方法及装置、电子设备和介质
CN114612749B (zh) 神经网络模型训练方法及装置、电子设备和介质
EP4123592A2 (en) Human-object interaction detection method, neural network and training method therefor, device, and medium
CN114004985B (zh) 人物交互检测方法、神经网络及其训练方法、设备和介质
CN114445667A (zh) 图像检测方法和用于训练图像检测模型的方法
CN115511779B (zh) 图像检测方法、装置、电子设备和存储介质
CN116228867B (zh) 位姿确定方法、装置、电子设备、介质
CN114550313B (zh) 图像处理方法、神经网络及其训练方法、设备和介质
CN114443989B (zh) 排序方法、排序模型的训练方法、装置、电子设备及介质
CN114005452A (zh) 提取语音特征的方法、装置、电子设备及存储介质
CN114693977A (zh) 图像处理方法、模型训练方法、装置、设备及介质
CN115578501A (zh) 图像处理方法、装置、电子设备和存储介质
CN115393514A (zh) 三维重建模型的训练方法、三维重建方法、装置、设备
CN114550269A (zh) 口罩佩戴检测方法、设备和介质
CN114429678A (zh) 模型训练方法及装置、电子设备和介质
CN112579587A (zh) 数据清洗方法及装置、设备和存储介质
CN114067183B (zh) 神经网络模型训练方法、图像处理方法、装置和设备
CN116306862B (zh) 用于文本处理神经网络的训练方法、装置和介质
CN114648638B (zh) 语义分割模型的训练方法、语义分割方法与装置
CN114117046B (zh) 数据处理方法、装置、电子设备及介质
CN114118379B (zh) 神经网络的训练方法、图像处理方法、装置、设备和介质
CN114821233B (zh) 目标检测模型的训练方法及装置、设备和介质
CN114140851B (zh) 图像检测方法和用于训练图像检测模型的方法
CN114219079A (zh) 特征选择方法及装置、模型训练方法及装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination