CN113379657B - 基于随机矩阵的图像处理方法及装置 - Google Patents

基于随机矩阵的图像处理方法及装置 Download PDF

Info

Publication number
CN113379657B
CN113379657B CN202110545916.5A CN202110545916A CN113379657B CN 113379657 B CN113379657 B CN 113379657B CN 202110545916 A CN202110545916 A CN 202110545916A CN 113379657 B CN113379657 B CN 113379657B
Authority
CN
China
Prior art keywords
matrix
image processing
low
initial calculation
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110545916.5A
Other languages
English (en)
Other versions
CN113379657A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bi Ren Technology Co ltd
Original Assignee
Shanghai Biren Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Biren Intelligent Technology Co Ltd filed Critical Shanghai Biren Intelligent Technology Co Ltd
Priority to CN202110545916.5A priority Critical patent/CN113379657B/zh
Publication of CN113379657A publication Critical patent/CN113379657A/zh
Application granted granted Critical
Publication of CN113379657B publication Critical patent/CN113379657B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于随机矩阵的图像处理方法及装置，所述方法包括：将待处理图像输入至图像处理模型，得到图像处理模型输出的图像处理结果；其中，图像处理模型为层级结构的自注意力深度模型，图像处理模型中各层级的初始计算矩阵以低维等效矩阵代替，低维等效矩阵是基于各层级初始计算矩阵对应的随机矩阵确定的，随机矩阵的列数小于初始计算矩阵的列数，且大于初始计算矩阵的有效秩。本发明基于各层级初始计算矩阵对应的随机矩阵，确定低维等效矩阵，并以低维等效矩阵代替初始计算矩阵计算对应的中间变量，从而降低自注意力模型的尺度，并减少模型的矩阵运算量，提高图像处理的效率。

Description

基于随机矩阵的图像处理方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于随机矩阵的图像处理方法及装置。
背景技术
自注意力深度模型如transfomer已经在图像处理的任务中得到广泛应用。其中，自注意力深度模型包括多级自注意层，每层拥有各自的计算矩阵，基于各层的计算矩阵可以得到各层的自注意力值。
然而，各层的计算矩阵具有较高的维度，从而增加了模型的计算量，进而降低了图像处理效率。
发明内容
本发明提供一种基于随机矩阵的图像处理方法及装置，用以解决现有技术中图像处理效率较低的缺陷。
本发明提供一种基于随机矩阵的图像处理方法，包括：
确定待处理图像；
将所述待处理图像输入至图像处理模型，得到所述图像处理模型输出的图像处理结果；
其中，所述图像处理模型是基于样本图像及其对应的样本图像处理结果训练得到的；所述图像处理模型为层级结构的自注意力深度模型，所述图像处理模型中各层级的初始计算矩阵以低维等效矩阵代替，所述低维等效矩阵是基于各层级初始计算矩阵对应的随机矩阵确定的，所述随机矩阵的列数小于所述初始计算矩阵的列数，且大于所述初始计算矩阵的有效秩。
根据本发明提供的一种基于随机矩阵的图像处理方法，所述低维等效矩阵是基于如下步骤确定的：
基于所述初始计算矩阵，确定所述初始计算矩阵对应的随机矩阵；
基于所述随机矩阵，以及所述初始计算矩阵，确定所述初始计算矩阵对应的基矩阵；
基于所述基矩阵，以及所述初始计算矩阵，确定所述低维等效矩阵。
根据本发明提供的一种基于随机矩阵的图像处理方法，所述基于所述随机矩阵，以及所述初始计算矩阵，确定所述初始计算矩阵对应的基矩阵，包括：
对所述初始计算矩阵和所述随机矩阵进行矩阵相乘，得到所述初始计算矩阵对应的中间矩阵；
基于所述中间矩阵对应的正交基，确定所述初始计算矩阵对应的基矩阵。
根据本发明提供的一种基于随机矩阵的图像处理方法，所述基于所述基矩阵，以及所述初始计算矩阵，确定所述低维等效矩阵，包括：
基于所述基矩阵，确定所述基矩阵对应的转置矩阵；
将所述基矩阵作为第一低维矩阵，以及将所述转置矩阵和所述初始计算矩阵的相乘矩阵作为第二低维矩阵；所述第一低维矩阵和所述第二低维矩阵构成所述低维等效矩阵。
根据本发明提供的一种基于随机矩阵的图像处理方法，所述将所述待处理图像输入至图像处理模型，得到所述图像处理模型输出的图像处理结果，包括：
将所述待处理图像输入至所述图像处理模型的像素提取层，得到所述像素提取层输出的像素矩阵；
将所述像素矩阵输入至所述图像处理模型的自注意层，由所述自注意层对所述像素矩阵和和所述第一低维矩阵进行矩阵相乘后，再将相乘后的矩阵与所述第二低维矩阵进行矩阵相乘，得到所述自注意层输出的自注意力值；
将所述自注意力值输入至所述图像处理模型的图像处理层，得到所述图像处理层输出的图像处理结果。
根据本发明提供的一种基于随机矩阵的图像处理方法，所述对所述像素矩阵和和所述第一低维矩阵进行矩阵相乘后，再将相乘后的矩阵与所述第二低维矩阵进行矩阵相乘，得到所述自注意层输出的自注意力值，包括：
将所述第一低维矩阵分解为多个基向量，并将所述像素矩阵分别与各基向量进行相乘，得到多个对应的子矩阵；
对各子矩阵进行合并后，与所述第二低维矩阵进行矩阵相乘，得到所述自注意层输出的自注意力值。
根据本发明提供的一种基于随机矩阵的图像处理方法，所述初始计算矩阵包括查询矩阵、键值矩阵以及价值矩阵中的至少一种。
本发明还提供一种基于随机矩阵的图像处理装置，包括：
图像确定单元，用于确定待处理图像；
图像处理单元，用于将所述待处理图像输入至图像处理模型，得到所述图像处理模型输出的图像处理结果；
其中，所述图像处理模型是基于样本图像及其对应的样本图像处理结果训练得到的；所述图像处理模型为层级结构的自注意力深度模型，所述图像处理模型中各层级的初始计算矩阵以低维等效矩阵代替，所述低维等效矩阵是基于各层级初始计算矩阵对应的随机矩阵确定的，所述随机矩阵的列数小于所述初始计算矩阵的列数，且大于所述初始计算矩阵的有效秩。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述基于随机矩阵的图像处理方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于随机矩阵的图像处理方法的步骤。
本发明提供的基于随机矩阵的图像处理方法及装置，基于各层级初始计算矩阵对应的随机矩阵，确定低维等效矩阵，并以低维等效矩阵代替初始计算矩阵计算对应的中间变量，从而降低自注意力模型的尺度，并减少模型的矩阵运算量，提高图像处理的效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于随机矩阵的图像处理方法的流程示意图；
图2是本发明提供的基于随机矩阵的图像处理装置的结构示意图；
图3是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
用于图像处理的自注意力深度模型包括多级自注意层，每层可以包括查询矩阵(WQ)，键值矩阵(WK)和价值矩阵(WV)。对于待处理图像输入的像素矩阵X，其对应的自注意力值可由下列公式计算：
Y＝softmax(X×WQ×(X×Wk)T)×(X×Wv)；
然而，查询矩阵(WQ)，键值矩阵(WK)和价值矩阵(WV)通常为维度较高的矩阵(如1024×128维矩阵)，增大了矩阵运算量，延长了模型进行图像处理的时间，进而影响图像处理的效率。
对此，本发明提供一种基于随机矩阵的图像处理方法。图1是本发明提供的基于随机矩阵的图像处理方法的流程示意图，如图1所示，该方法包括如下步骤：
步骤110、确定待处理图像；
步骤120、将待处理图像输入至图像处理模型，得到图像处理模型输出的图像处理结果；
其中，图像处理模型是基于样本图像及其对应的样本图像处理结果训练得到的；图像处理模型为层级结构的自注意力深度模型，图像处理模型中各层级的初始计算矩阵以低维等效矩阵代替，低维等效矩阵是基于各层级初始计算矩阵对应的随机矩阵确定的，随机矩阵的列数小于初始计算矩阵的行数，且大于初始计算矩阵的有效秩。
具体地，待处理图像是指按照图像处理任务，待进行处理的图像。该图像可以是待进行分类的图像，也可以是待进行识别的图像，本发明实施例对此不作具体限定。
图像处理模型包括多层自注意力层，在模型训练完成后，每层对应的初始计算矩阵(如查询矩阵、键值矩阵、价值矩阵等)通常具有较高的维度，因此基于初始计算矩阵可以生成随机矩阵，由于随机矩阵的列数小于初始计算矩阵的行数，从而在基于随机矩阵确定的低维等效矩阵维度低于初始计算矩阵，将低维等效矩阵代替初始计算矩阵计算对应的中间变量，从而降低了图像处理模的尺度，并减少了矩阵运算量。同时，随机矩阵的列数大于初始计算矩阵的有效秩，从而使得低维低维等效矩阵保留了初始计算矩阵的有效信息。
由此可见，在将待处理图像输入图像处理模型之后，不仅能够减少模型中矩阵的运算量，提高图像处理效率，而且低维等效矩阵保留了初始计算矩阵的有效信息，从而能够保证准确对图像进行处理。
传统方法中将待处理图像输入至图像处理模型之后，由待处理图像对应的像素矩阵分别与每个自注意力层的计算矩阵(如查询矩阵、键值矩阵、价值矩阵等)相乘，得到每层的自注意力值，然后基于自注意力值进行图像处理。然而，每个自注意力层的计算矩阵通常具有较大的维度，从而导致每层矩阵计算量较大，延长了模型进行图像处理的时间，影响了图像处理的效率。同时，计算矩阵的维度越高，模型需要存储的空间尺寸越大，对应需要执行运算的硬件架构成本也越高。本发明实施例提供的方法不仅能够提高图像处理的效率，而且能够降低模型存储尺寸，节约硬件架构的成本。
需要说明的是，在将待处理图像输入至图像处理模型之前，还可以预先训练得到图像处理模型，具体可以通过执行如下步骤实现：首先，收集大量样本图像，通过人工标注确定其对应的样本图像处理结果。随即，基于样本图像及其对应的样本图像处理结果对初始模型进行训练，从而得到初始图像处理模型。在训练完成初始图像处理模型之后，基于各层级初始计算矩阵对应的随机矩阵，确定低维等效矩阵，并以各层级维度较低的低维等效矩阵替代对应的初始计算矩阵，从而可以减小矩阵运算量，提高图像处理效率。
本发明实施例提供的基于随机矩阵的图像处理方法，基于各层级初始计算矩阵对应的随机矩阵，确定低维等效矩阵，并以低维等效矩阵代替初始计算矩阵，不仅降低了图像处理模型的尺寸，而且减少了模型的矩阵运算量，提高图像处理的效率。
基于上述实施例，低维等效矩阵是基于如下步骤确定的：
基于初始计算矩阵，确定初始计算矩阵对应的随机矩阵；
基于随机矩阵，以及初始计算矩阵，确定初始计算矩阵对应的基矩阵；
基于基矩阵，以及初始计算矩阵，确定低维等效矩阵。
具体地，基于初始计算矩阵，可以确定初始计算矩阵对应的随机矩阵。其中，随机矩阵的列数小于初始计算矩阵的行数，且随机矩阵的列数大于初始计算矩阵的有效秩，从而随机矩阵的维度不仅低于初始计算矩阵，而且随机矩阵保留了初始计算矩阵的有效信息。
在确定随机矩阵之后，将初始计算矩阵与随机矩阵相乘，得到中间矩阵，计算中间矩阵对应的正交基，即可确定初始计算矩阵对应的基矩阵。然后，基于基矩阵以及初始计算矩阵，确定低维等效矩阵。由于随机矩阵的维度低于初始计算矩阵，而且随机矩阵保留了初始计算矩阵的有效信息，从而得到的低维等效矩阵维度低于初始计算矩阵，从而在将低维等效矩阵代替初始计算矩阵时，能够降低模型矩阵的运算量。
例如，对于初始计算矩阵如查询矩阵WQ的维度为m×n(如1024×128)，其对应的有效秩为r(如16)，则可以生成n×s的随机矩阵R(其中s<<m，s>r，如s＝24)，将矩阵WQ与随机矩阵R相乘，得到m×s维的中间矩阵Q，矩阵Q的维度为m×s(如1024×24)。计算矩阵Q对应的r个m×1维的正交基，得到m×r维的基矩阵B＝[B1,…,Bi]，其中Bi为m×1的基向量。
在得到基矩阵B之后，低维等效矩阵可以由B和BT×WQ构成，将低维等效矩阵代替初始计算矩阵WQ，即计算任一输入X对应的自注意力值时，可以先计算X×B，再将相乘后的矩阵与BT×WQ相乘，从而可以大幅度减小模型的矩阵运算量，提高图像处理效率。
基于上述任一实施例，基于随机矩阵，以及初始计算矩阵，确定初始计算矩阵对应的基矩阵，包括：
对初始计算矩阵和随机矩阵进行矩阵相乘，得到初始计算矩阵对应的中间矩阵；
基于中间矩阵对应的正交基，确定初始计算矩阵对应的基矩阵。
具体地，在确定随机矩阵之后，将初始计算矩阵与随机矩阵相乘，得到初始矩阵对应的中间矩阵，计算中间矩阵对应的正交基(其中正交基的数量与初始计算矩阵的有效秩相同)，即可确定行数为初始计算矩阵行数，列数为初始计算矩阵有效秩的基矩阵。
例如，对于初始计算矩阵如查询矩阵WQ的维度为m×n(如1024×128)，其对应的有效秩为r(如16)，则可以生成n×s的随机矩阵R(其中s<<m，s>r，如s＝24)，将矩阵WQ与随机矩阵R相乘，得到m×s维的中间矩阵Q，矩阵Q的维度为m×s(如1024×24)。计算矩阵Q对应的r个m×1维的正交基，得到m×r维的基矩阵B＝[B1,…,Bi]，其中Bi为m×1的基向量。
基于上述任一实施例，基于基矩阵，以及初始计算矩阵，确定低维等效矩阵，包括：
基于基矩阵，确定基矩阵对应的转置矩阵；
将基矩阵作为第一低维矩阵，以及将转置矩阵和初始计算矩阵的相乘矩阵作为第二低维矩阵；第一低维矩阵和第二低维矩阵构成所述低维等效矩阵。
具体地，在得到基矩阵B之后，可以确定基矩阵B对应的转置矩阵BT，从而可以将基矩阵B作为第一低维矩阵，将转置矩阵BT和初始计算矩阵WQ的相乘矩阵作为第二低维矩阵，从而低维度的第一低维矩阵和第二低维矩阵可以代替高维度的初始计算矩阵进行矩阵运算，减小模型的矩阵运算量，提高图像处理效率。
基于上述任一实施例，将待处理图像输入至图像处理模型，得到图像处理模型输出的图像处理结果，包括：
将待处理图像输入至图像处理模型的像素提取层，得到像素提取层输出的像素矩阵；
将像素矩阵输入至图像处理模型的自注意层，由自注意层对像素矩阵和第一低维矩阵进行矩阵相乘后，再将相乘后的矩阵与第二低维矩阵进行矩阵相乘，得到自注意层输出的自注意力值；
将自注意力值输入至图像处理模型的图像处理层，得到图像处理层输出的图像处理结果。
具体地，在确定第一低维矩阵B和第二低维矩阵BQ＝BT×WQ后，将图像处理模型中的初始计算矩阵(如查询矩阵WQ)替换为第一低维矩阵和第二低维矩阵，即矩阵B和矩阵BQ＝BT×WQ，然后将待处理图像输入至图像处理模型的像素提取层，得到像素提取层输出的像素矩阵X。假设WQ的维度m×n为1024×128，WQ的有效秩r＝16，则矩阵B的维度为m×r＝1024×16，矩阵BQ的维度为r×n＝16×128，即矩阵B与矩阵BQ的尺度之和远远小于初始计算矩阵WQ，对于像素矩阵X(如k×m＝512×1024)，输入至自注意力层计算自注意力值的过程如下：
计算X×B，再与BQ相乘，得到XQ，计算量由k×m×n(512×1024×128)减小为k×m×r+k×r×n(512×(1024×16+128×16))。以此类推，若初始计算矩阵还包括键值矩阵Wk和价值矩阵Wv，则采用上述相同方法获取键值矩阵Wk的低维等效矩阵Wk *，以及价值矩阵Wv的低维等效矩阵Wv *，然后将像素矩阵X与矩阵Wk *相乘得到键值Xk，以及将像素矩阵X与矩阵Wv *相乘得到价值值Xv，最后计算该层的自注意力值A＝softmax(XQ×Xk T)×Xv，并基于自注意力值进行图像处理。
基于上述任一实施例，对像素矩阵和和第一低维矩阵进行矩阵相乘后，再将相乘后的矩阵与第二低维矩阵进行矩阵相乘，得到自注意层输出的自注意力值，包括：
将第一低维矩阵分解为多个基向量，并将像素矩阵分别与各基向量进行相乘，得到多个对应的子矩阵；
对各子矩阵进行合并后，与第二低维矩阵进行矩阵相乘，得到自注意层输出的自注意力值。
具体地，本发明实施例中可将第一低维矩阵分解为多个基向量(该基向量的行数与初始计算矩阵的行数相同)，并将像素矩阵分别与各基向量进行相乘，得到多个对应的子矩阵；对各子矩阵进行合并后，与第二低维矩阵进行矩阵相乘，得到自注意层输出的自注意力值。
例如，可将上述实施例中像素矩阵X×基矩阵B(B＝[B1,…,Bi]，其中Bi为m×1的基向量)进一步分解为X×B1,…,X×Bi，从而可以进一步提高模型的运算速度，进而提高图像处理效率。
基于上述任一实施例，初始计算矩阵包括查询矩阵、键值矩阵以及价值矩阵中的至少一种。
具体地，初始计算矩阵包括查询矩阵WQ、键值矩阵Wk和价值矩阵Wv，基于上述实施例的方法获取查询矩阵WQ的等效矩阵WQ *，键值矩阵Wk的低维等效矩阵Wk *，以及价值矩阵Wv的低维等效矩阵Wv *，然后将像素矩阵X与矩阵WQ *相乘得到查询值XQ，将像素矩阵X与矩阵Wk *相乘得到键值Xk，以及将像素矩阵X与矩阵Wv *相乘得到价值值Xv，最后计算该层的自注意力值A＝softmax(XQ×Xk T)×Xv，并基于自注意力值进行图像处理，从而可以降低矩阵的运算量，提高图像处理效率。
下面对本发明提供的基于随机矩阵的图像处理装置进行描述，下文描述的基于随机矩阵的图像处理装置与上文描述的基于随机矩阵的图像处理方法可相互对应参照。
基于上述任一实施例，本发明提供一种基于随机矩阵的图像处理装置，如图2所示，该装置包括：
图像确定单元210，用于确定待处理图像；
图像处理单元220，用于将所述待处理图像输入至图像处理模型，得到所述图像处理模型输出的图像处理结果；
其中，所述图像处理模型是基于样本图像及其对应的样本图像处理结果训练得到的；所述图像处理模型为层级结构的自注意力深度模型，所述图像处理模型中各层级的初始计算矩阵以低维等效矩阵代替，所述低维等效矩阵是基于各层级初始计算矩阵对应的随机矩阵确定的，所述随机矩阵的列数小于所述初始计算矩阵的行数，且大于所述初始计算矩阵的有效秩。
基于上述任一实施例，还包括：
随机矩阵确定单元，用于基于所述初始计算矩阵，确定所述初始计算矩阵对应的随机矩阵；
基矩阵确定单元，用于基于所述随机矩阵，以及所述初始计算矩阵，确定所述初始计算矩阵对应的基矩阵；
等效矩阵确定单元，用于基于所述基矩阵，以及所述初始计算矩阵，确定所述低维等效矩阵。
基于上述任一实施例，所述基矩阵确定单元，包括：
第一确定单元，用于对所述初始计算矩阵和所述随机矩阵进行矩阵相乘，得到所述初始计算矩阵对应的中间矩阵；
第二确定单元，用于基于所述中间矩阵对应的正交基，确定所述初始计算矩阵对应的基矩阵。
基于上述任一实施例，所述等效矩阵确定单元，包括：
转置矩阵确定单元，用于基于所述基矩阵，确定所述基矩阵对应的转置矩阵；
矩阵相乘单元，用于将所述基矩阵作为第一低维矩阵，以及将所述转置矩阵和所述初始计算矩阵的相乘矩阵作为第二低维矩阵；所述第一低维矩阵和所述第二低维矩阵构成所述低维等效矩阵。。
基于上述任一实施例，所述图像处理单元220，包括：
像素提取单元，用于将所述待处理图像输入至所述图像处理模型的像素提取层，得到所述像素提取层输出的像素矩阵；
自注意力单元，用于将所述像素矩阵输入至所述图像处理模型的自注意层，由所述自注意层对所述像素矩阵和所述第一低维矩阵进行矩阵相乘后，再将相乘后的矩阵与所述第二低维矩阵进行矩阵相乘，得到所述自注意层输出的自注意力值；
处理子单元，用于将所述自注意力值输入至所述图像处理模型的图像处理层，得到所述图像处理层输出的图像处理结果。
基于上述任一实施例，所述自注意力单元，包括：
分解单元，用于将所述第一低维矩阵分解为多个基向量，并将所述像素矩阵分别与各基向量进行相乘，得到多个对应的子矩阵；
合并单元，用于对各子矩阵进行合并后，与所述第二低维矩阵进行矩阵相乘，得到所述自注意层输出的自注意力值。
基于上述任一实施例，所述初始计算矩阵包括查询矩阵、键值矩阵以及价值矩阵中的至少一种。
图3是本发明提供的电子设备的结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、存储器(memory)320、通信接口(CommunicationsInterface)330和通信总线340，其中，处理器310，存储器320，通信接口330通过通信总线340完成相互间的通信。处理器310可以调用存储器320中的逻辑指令，以执行基于随机矩阵的图像处理方法，该方法包括：确定待处理图像；将所述待处理图像输入至图像处理模型，得到所述图像处理模型输出的图像处理结果；其中，所述图像处理模型是基于样本图像及其对应的样本图像处理结果训练得到的；所述图像处理模型为层级结构的自注意力深度模型，所述图像处理模型中各层级的初始计算矩阵以低维等效矩阵代替，所述低维等效矩阵是基于各层级初始计算矩阵对应的随机矩阵确定的，所述随机矩阵的列数小于所述初始计算矩阵的行数，且大于所述初始计算矩阵的有效秩。
此外，上述的存储器320中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于随机矩阵的图像处理方法，该方法包括：确定待处理图像；将所述待处理图像输入至图像处理模型，得到所述图像处理模型输出的图像处理结果；其中，所述图像处理模型是基于样本图像及其对应的样本图像处理结果训练得到的；所述图像处理模型为层级结构的自注意力深度模型，所述图像处理模型中各层级的初始计算矩阵以低维等效矩阵代替，所述低维等效矩阵是基于各层级初始计算矩阵对应的随机矩阵确定的，所述随机矩阵的列数小于所述初始计算矩阵的行数，且大于所述初始计算矩阵的有效秩。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于随机矩阵的图像处理方法，该方法包括：确定待处理图像；将所述待处理图像输入至图像处理模型，得到所述图像处理模型输出的图像处理结果；其中，所述图像处理模型是基于样本图像及其对应的样本图像处理结果训练得到的；所述图像处理模型为层级结构的自注意力深度模型，所述图像处理模型中各层级的初始计算矩阵以低维等效矩阵代替，所述低维等效矩阵是基于各层级初始计算矩阵对应的随机矩阵确定的，所述随机矩阵的列数小于所述初始计算矩阵的行数，且大于所述初始计算矩阵的有效秩。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于随机矩阵的图像处理方法，其特征在于，包括：
确定待处理图像；
将所述待处理图像输入至图像处理模型，由所述图像处理模型对所述待处理图像的像素矩阵和低维等效矩阵进行矩阵相乘，并基于矩阵相乘所得的自注意力值进行图像处理，得到所述图像处理模型输出的图像处理结果；
其中，所述图像处理模型是基于样本图像及其对应的样本图像处理结果训练得到的；所述图像处理模型为层级结构的自注意力深度模型，所述图像处理模型中各层级的初始计算矩阵以所述低维等效矩阵代替，所述低维等效矩阵是基于各层级初始计算矩阵对应的随机矩阵确定的，所述随机矩阵的列数小于所述初始计算矩阵的行数，且大于所述初始计算矩阵的有效秩；
所述低维等效矩阵是基于如下步骤确定的：
基于所述初始计算矩阵，确定所述初始计算矩阵对应的随机矩阵；
基于所述随机矩阵，以及所述初始计算矩阵，确定所述初始计算矩阵对应的基矩阵；
基于所述基矩阵，以及所述初始计算矩阵，确定所述低维等效矩阵；
所述基于所述基矩阵，以及所述初始计算矩阵，确定所述低维等效矩阵，包括：
基于所述基矩阵，确定所述基矩阵对应的转置矩阵；
将所述基矩阵作为第一低维矩阵，以及将所述转置矩阵和所述初始计算矩阵的相乘矩阵作为第二低维矩阵；所述第一低维矩阵和所述第二低维矩阵的乘积为所述低维等效矩阵。
2.根据权利要求1所述的基于随机矩阵的图像处理方法，其特征在于，所述基于所述随机矩阵，以及所述初始计算矩阵，确定所述初始计算矩阵对应的基矩阵，包括：
对所述初始计算矩阵和所述随机矩阵进行矩阵相乘，得到所述初始计算矩阵对应的中间矩阵；
基于所述中间矩阵对应的正交基，确定所述初始计算矩阵对应的基矩阵。
3.根据权利要求1所述的基于随机矩阵的图像处理方法，其特征在于，所述将所述待处理图像输入至图像处理模型，由所述图像处理模型对所述待处理图像的像素矩阵和低维等效矩阵进行矩阵相乘，并基于矩阵相乘所得的自注意力值进行图像处理，得到所述图像处理模型输出的图像处理结果，包括：
将所述待处理图像输入至所述图像处理模型的像素提取层，得到所述像素提取层输出的像素矩阵；
将所述像素矩阵输入至所述图像处理模型的自注意层，由所述自注意层对所述像素矩阵和所述第一低维矩阵进行矩阵相乘后，再将相乘后的矩阵与所述第二低维矩阵进行矩阵相乘，得到所述自注意层输出的自注意力值；
将所述自注意力值输入至所述图像处理模型的图像处理层，得到所述图像处理层输出的图像处理结果。
4.根据权利要求3所述的基于随机矩阵的图像处理方法，其特征在于，所述对所述像素矩阵和所述第一低维矩阵进行矩阵相乘后，再将相乘后的矩阵与所述第二低维矩阵进行矩阵相乘，得到所述自注意层输出的自注意力值，包括：
将所述第一低维矩阵分解为多个基向量，并将所述像素矩阵分别与各基向量进行相乘，得到多个对应的子矩阵；
对各子矩阵进行合并后，与所述第二低维矩阵进行矩阵相乘，得到所述自注意层输出的自注意力值。
5.根据权利要求1至4任一项所述的基于随机矩阵的图像处理方法，其特征在于，所述初始计算矩阵包括查询矩阵、键值矩阵以及价值矩阵中的至少一种。
6.一种基于随机矩阵的图像处理装置，其特征在于，包括：
图像确定单元，用于确定待处理图像；
图像处理单元，用于将所述待处理图像输入至图像处理模型，由所述图像处理模型对所述待处理图像的像素矩阵和低维等效矩阵进行矩阵相乘，并基于矩阵相乘所得的自注意力值进行图像处理，得到所述图像处理模型输出的图像处理结果；
其中，所述图像处理模型是基于样本图像及其对应的样本图像处理结果训练得到的；所述图像处理模型为层级结构的自注意力深度模型，所述图像处理模型中各层级的初始计算矩阵以所述低维等效矩阵代替，所述低维等效矩阵是基于各层级初始计算矩阵对应的随机矩阵确定的，所述随机矩阵的列数小于所述初始计算矩阵的行数，且大于所述初始计算矩阵的有效秩；
所述装置还包括：
随机矩阵确定单元，用于基于所述初始计算矩阵，确定所述初始计算矩阵对应的随机矩阵；
基矩阵确定单元，用于基于所述随机矩阵，以及所述初始计算矩阵，确定所述初始计算矩阵对应的基矩阵；
等效矩阵确定单元，用于基于所述基矩阵，以及所述初始计算矩阵，确定所述低维等效矩阵；
所述等效矩阵确定单元，包括：
转置矩阵确定单元，用于基于所述基矩阵，确定所述基矩阵对应的转置矩阵；
矩阵相乘单元，用于将所述基矩阵作为第一低维矩阵，以及将所述转置矩阵和所述初始计算矩阵的相乘矩阵作为第二低维矩阵；所述第一低维矩阵和所述第二低维矩阵的乘积为所述低维等效矩阵。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述基于随机矩阵的图像处理方法的步骤。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于随机矩阵的图像处理方法的步骤。
CN202110545916.5A 2021-05-19 2021-05-19 基于随机矩阵的图像处理方法及装置 Active CN113379657B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110545916.5A CN113379657B (zh) 2021-05-19 2021-05-19 基于随机矩阵的图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110545916.5A CN113379657B (zh) 2021-05-19 2021-05-19 基于随机矩阵的图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN113379657A CN113379657A (zh) 2021-09-10
CN113379657B true CN113379657B (zh) 2022-11-25

Family

ID=77571287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110545916.5A Active CN113379657B (zh) 2021-05-19 2021-05-19 基于随机矩阵的图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN113379657B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403145A (zh) * 2017-07-14 2017-11-28 北京小米移动软件有限公司 图像特征点定位方法及装置
CN110610129A (zh) * 2019-08-05 2019-12-24 华中科技大学 一种基于自注意力机制的深度学习人脸识别系统及方法
CN111667495A (zh) * 2020-06-08 2020-09-15 北京环境特性研究所 一种图像场景解析方法和装置
CN112131931A (zh) * 2020-08-07 2020-12-25 中国地质大学（武汉） 基于注意力机制的深度森林高光谱图像分类方法和系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100634527B1 (ko) * 2004-11-26 2006-10-16 삼성전자주식회사 층 기반 영상 처리 장치 및 방법
CN103295241A (zh) * 2013-06-26 2013-09-11 中国科学院光电技术研究所 一种基于Gabor小波的频域显著性目标检测方法
CN107633236B (zh) * 2017-09-28 2019-01-22 北京达佳互联信息技术有限公司 图像内容理解方法、装置及服务器
CN118194921A (zh) * 2017-10-27 2024-06-14 谷歌有限责任公司 基于关注的图像生成神经网络
CN110222598B (zh) * 2019-05-21 2022-09-27 平安科技（深圳）有限公司 一种视频行为识别方法、装置、存储介质和服务器
CN110245659B (zh) * 2019-05-21 2021-08-13 北京航空航天大学 基于前背景相互关系的图像显著对象分割方法及装置
CN110781956A (zh) * 2019-10-24 2020-02-11 精硕科技（北京）股份有限公司 一种目标检测的方法、装置、电子设备及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403145A (zh) * 2017-07-14 2017-11-28 北京小米移动软件有限公司 图像特征点定位方法及装置
CN110610129A (zh) * 2019-08-05 2019-12-24 华中科技大学 一种基于自注意力机制的深度学习人脸识别系统及方法
CN111667495A (zh) * 2020-06-08 2020-09-15 北京环境特性研究所 一种图像场景解析方法和装置
CN112131931A (zh) * 2020-08-07 2020-12-25 中国地质大学（武汉） 基于注意力机制的深度森林高光谱图像分类方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习融合模型的图像场景理解;廖强;《中国优秀硕士学位论文全文数据库信息科技辑》;20200531;第1-58页 *

Also Published As

Publication number Publication date
CN113379657A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN109871532B (zh) 文本主题提取方法、装置及存储介质
Wang et al. Score jacobian chaining: Lifting pretrained 2d diffusion models for 3d generation
CN104317902B (zh) 基于局部保持迭代量化哈希的图像检索方法
CN107292352B (zh) 基于卷积神经网络的图像分类方法和装置
CN115115905B (zh) 基于生成模型的高可迁移性图像对抗样本生成方法
CN112508190A (zh) 结构化稀疏参数的处理方法、装置、设备及存储介质
CN112801104B (zh) 基于语义分割的图像像素级伪标签确定方法及系统
US20210357560A1 (en) Method and System for Hierarchical Circuit Simulation Using Parallel Processing
JP6107531B2 (ja) 特徴抽出プログラム及び情報処理装置
CN116075821A (zh) 表格卷积和加速
CN106778550B (zh) 一种人脸检测的方法和装置
CN111680162A (zh) 基于张量分解的知识图谱嵌入方法、系统及设备
CN113379657B (zh) 基于随机矩阵的图像处理方法及装置
CN114021573A (zh) 一种自然语言处理方法、装置、设备及可读存储介质
CN117788629A (zh) 一种具有风格个性化的图像生成方法、装置及存储介质
CN111027670B (zh) 特征图处理方法、装置、电子设备及存储介质
CN113505838B (zh) 一种图像聚类方法、装置、电子设备及存储介质
CN113362402B (zh) 基于分解矩阵的图像处理方法及装置
CN111767474A (zh) 一种基于用户操作行为构建用户画像的方法及设备
CN111723906A (zh) 一种循环神经网络的加速计算方法、系统及相关装置
CN113762737B (zh) 网络服务质量预测的方法及系统
Vinzamuri et al. Pre-processing censored survival data using inverse covariance matrix based calibration
CN115424038A (zh) 多尺度图像处理方法、系统、装置和计算机设备
US11875559B2 (en) Systems and methodologies for automated classification of images of stool in diapers
CN115511070A (zh) 模型训练方法、装置及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 201114 room 1302, 13 / F, building 16, 2388 Chenhang Road, Minhang District, Shanghai

Patentee after: Shanghai Bi Ren Technology Co.,Ltd.

Country or region after: China

Address before: 201114 room 1302, 13 / F, building 16, 2388 Chenhang Road, Minhang District, Shanghai

Patentee before: Shanghai Bilin Intelligent Technology Co.,Ltd.

Country or region before: China

CP03 Change of name, title or address