CN113222830A - 图像处理方法和装置 - Google Patents

图像处理方法和装置 Download PDF

Info

Publication number
CN113222830A
CN113222830A CN202110246084.7A CN202110246084A CN113222830A CN 113222830 A CN113222830 A CN 113222830A CN 202110246084 A CN202110246084 A CN 202110246084A CN 113222830 A CN113222830 A CN 113222830A
Authority
CN
China
Prior art keywords
feature vector
feature
mask
image
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110246084.7A
Other languages
English (en)
Inventor
王诗吟
周强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202110246084.7A priority Critical patent/CN113222830A/zh
Publication of CN113222830A publication Critical patent/CN113222830A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种图像处理方法和装置。该方法包括：获取待处理图像的可见区域的掩码，其中，待处理图像包含目标对象，目标对象的部分区域被遮挡物遮挡，可见区域为目标对象未被遮挡物遮挡的区域，或者，可见区域为待处理图像中除了目标对象被遮挡物遮挡的区域之外的区域；根据待处理图像和可见区域的掩码，获取待处理图像的可见区域与目标对象的不可见区域的相关关系；根据待处理图像和相关关系，补全目标对象的不可见区域的内容。从而，基于处理图像的可见区域与目标对象的不可见区域的相关关系，准确推断出目标对象的不可见区域的内容，完成了目标追踪、目标检测、图像分割等任务。

Description

图像处理方法和装置
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法和装 置。
背景技术
在图像的采集过程中，受到光照、设备、算法等因素的影响，图 像容易受损或者受到噪声干扰，导致图像无法正确表达内容。因此， 图像修复(inpainting)已成为计算机视觉任务预处理的重要步骤之一， 且与目标追踪、目标检测、图像分割等任务结果具有直接关联。
目前，图像的修复过程常常采用神经网络模型来补全图像。神经 网络模型通常直接套用注意力机制，并未考虑到具体任务中图像需要 补全的内容，导致无法成功捕捉到图像需要补全的区域，也无法准确 推断出图像需要补全的内容，降低了神经网络模型的处理性能，且不 利于实现目标追踪、目标检测、图像分割等任务。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公 开提供了一种图像处理方法和装置。
第一方面，本公开提供了一种图像处理方法，包括：
获取待处理图像的可见区域的掩码，其中，待处理图像包含目标 对象，目标对象的部分区域被遮挡物遮挡，可见区域为目标对象未被 遮挡物遮挡的区域，或者，可见区域为待处理图像中除了目标对象被 遮挡物遮挡的区域之外的区域；
根据待处理图像和可见区域的掩码，获取待处理图像的可见区域 与目标对象的不可见区域的相关关系，目标对象的不可见区域为目标 对象被遮挡物遮挡区域；
根据待处理图像和相关关系，补全目标对象的不可见区域的内容。
通过第一方面提供的方法，充分考虑到目标对象的不可见区域与 待处理图像的可见区域之间具备相关关系，以及目标对象的不可见区 域与待处理图像中的背景区域之间不具备相关关系的因素，可在注意 力机制中引入待处理图像的可见区域的掩码，使得注意力机制能够基 于待处理图像的可见区域的掩码，确定出待处理图像的可见区域与目 标对象的不可见区域的相关关系，以便基于处理图像的可见区域与目 标对象的不可见区域的相关关系，准确推断出目标对象的不可见区域 的内容，实现了待处理图像中目标对象的不可见区域的内容的补全， 提高了补齐目标对象的不可见区域的内容的准确率和及时性，有利于 可靠地完成目标追踪、目标检测、图像分割等任务。
在一种可能的设计中，根据待处理图像和可见区域的掩码，获取 待处理图像的可见区域与目标对象的不可见区域的相关关系，包括： 获取待处理图像对应的第一特征图；根据第一特征图对应的第一特征 向量、可见区域的掩码对应的第一掩码特征向量、第一特征图对应的 第二特征向量、可见区域的掩码对应的第二掩码特征向量，得到第一 特征向量对应的可见区域的第一特征和第二特征向量对应的可见区域 的第二特征，第一特征向量与第二特征向量的语义信息不同，第一掩 码特征向量与第二掩码特征向量的维度顺序不同；根据第一特征和第 二特征，得到相关矩阵图，相关矩阵图用于表示待处理图像的可见区 域与目标对象的不可见区域的相关关系。
在一种可能的设计中，根据第一特征图对应的第一特征向量、可 见区域的掩码对应的第一掩码特征向量、第一特征图对应的第二特征 向量、可见区域的掩码对应的第二掩码特征向量，得到第一特征向量 对应的可见区域的第一特征和第二特征向量对应的可见区域的第二特 征，包括：将第一特征图对应的第一特征向量和可见区域的掩码对应 的第一掩码特征向量进行点乘，得到用于表示所述第一特征的第一点 乘结果；将第一特征图对应的第二特征向量和可见区域的掩码对应的 第二掩码特征向量进行点乘，得到用于表示所述第二特征的第二点乘 结果；根据第一特征和第二特征，得到相关矩阵图，包括：将第一点 乘结果与第二点乘结果进行矩阵相乘运算，得到相关矩阵图。在一种 可能的设计中，该方法还包括：获取待处理图像的目标对象的不可见 区域的掩码；根据待处理图像和可见区域的掩码，获取待处理图像的 可见区域与目标对象的不可见区域的相关关系，包括：获取待处理图 像对应的第一特征图；根据第一特征图对应的第四特征向量、可见区 域的掩码对应的第三掩码特征向量、第一特征图对应的第五特征向量、 不可见区域的掩码对应的第四掩码特征向量，得到第四特征向量对应 的可见区域的第三特征和第五特征向量对应的不可见区域的第四特征， 第四特征向量与第五特征向量的语义信息不同，第三掩码特征向量与 第四掩码特征向量的维度顺序不同；根据第三特征和第四特征，得到 相关矩阵图，相关矩阵图用于表示待处理图像的可见区域与目标对象 的不可见区域的相关关系。
在一种可能的设计中，根据第一特征图对应的第四特征向量、可 见区域的掩码对应的第三掩码特征向量、第一特征图对应的第五特征 向量、不可见区域的掩码对应的第四掩码特征向量，得到第四特征向 量对应的可见区域的第三特征和第五特征向量对应的不可见区域的第 四特征，包括：将第一特征图对应的第四特征向量和可见区域的掩码 对应的第三掩码特征向量进行点乘，得到用于表示第三特征的第三点 乘结果；将第一特征图对应的第五特征向量和不可见区域的掩码对应 的第四掩码特征向量进行点乘，得到用于表示第四特征的第四点乘结 果；根据第三特征和第四特征，得到相关矩阵图，包括：将第三点乘 结果与第四点乘结果进行矩阵相乘运算，得到相关矩阵图。
在一种可能的设计中，根据待处理图像和相关关系，补全目标对 象的不可见区域的内容，包括：根据相关矩阵图和第一特征图对应的 第三特征向量，得到待处理图像对应的第二特征图；根据第二特征图 补全目标对象的不可见区域的内容。
在一种可能的设计中，根据相关矩阵图和第一特征图对应的第三 特征向量，得到待处理图像对应的第二特征图，包括：对相关矩阵图 和第一特征图对应的第三特征向量进行矩阵相乘和归一化处理，得到 第二处理后的特征向量，第二处理后的特征向量用于增强目标对象的 不可见区域的内容对应的特征；对第二处理后的特征向量进行维度变 换处理，得到第二特征图。
在一种可能的设计中，该方法还包括：采用卷积操作对第一特征 图进行卷积处理，对卷积处理后的第一特征图进行向量化处理，得到 第三特征向量；或者，对第一特征图进行向量化处理，得到第三特征 向量；其中，第三特征向量的通道数与第一特征图的通道数相同。
在一种可能的设计中，方法还包括：采用卷积操作对第一特征图 进行通道数降维处理，对降维处理后的第一特征图进行向量化处理， 得到第一特征图对应的第一特征向量、第二特征向量、第四特征向量 或第五特征向量；其中，第二特征向量和第一特征向量的通道数相同， 第四特征向量和第五特征向量的通道数相同。
第二方面，本公开提供了一种图像处理装置，包括：
获取模块，用于获取待处理图像的可见区域的掩码，其中，待处 理图像包含目标对象，目标对象的部分区域被遮挡物遮挡，可见区域 为目标对象未被遮挡物遮挡的区域，或者，可见区域为待处理图像中 除了目标对象被遮挡物遮挡的区域之外的区域；
获取模块，还用于根据待处理图像和可见区域的掩码，获取待处 理图像的可见区域与目标对象的不可见区域的相关关系，目标对象的 不可见区域为目标对象被遮挡物遮挡区域；
处理模块，用于根据待处理图像和相关关系，补全目标对象的不 可见区域的内容。
在一种可能的设计中，获取模块，具体用于获取待处理图像对应 的第一特征图；根据第一特征图对应的第一特征向量、可见区域的掩 码对应的第一掩码特征向量、第一特征图对应的第二特征向量、可见 区域的掩码对应的第二掩码特征向量，得到第一特征向量对应的可见 区域的第一特征和第二特征向量对应的可见区域的第二特征，第一特 征向量与第二特征向量的语义信息不同，第一掩码特征向量与第二掩 码特征向量的维度顺序不同；根据第一特征和第二特征，得到相关矩 阵图，相关矩阵图用于表示待处理图像的可见区域与目标对象的不可 见区域的相关关系。
在一种可能的设计中，获取模块，具体用于将第一特征图对应的 第一特征向量和可见区域的掩码对应的第一掩码特征向量进行点乘， 得到用于表示第一特征的第一点乘结果；将第一特征图对应的第二特 征向量和可见区域的掩码对应的第二掩码特征向量进行点乘，得到用 于表示第二特征的第二点乘结果；将第一点乘结果与第二点乘结果进 行矩阵相乘运算，得到相关矩阵图。
在一种可能的设计中，获取模块，还用于获取待处理图像的目标 对象的不可见区域的掩码；
获取模块，具体用于获取待处理图像对应的第一特征图；根据第 一特征图对应的第四特征向量、可见区域的掩码对应的第三掩码特征 向量、第一特征图对应的第五特征向量、不可见区域的掩码对应的第 四掩码特征向量，得到第四特征向量对应的可见区域的第三特征和第 五特征向量对应的不可见区域的第四特征，第四特征向量与第五特征 向量的语义信息不同，第三掩码特征向量与第四掩码特征向量的维度 顺序不同；根据第三特征和第四特征，得到相关矩阵图，相关矩阵图 用于表示待处理图像的可见区域与目标对象的不可见区域的相关关系。
在一种可能的设计中，获取模块，具体用于将第一特征图对应的 第四特征向量和可见区域的掩码对应的第三掩码特征向量进行点乘， 得到用于表示第三特征的第三点乘结果；将第一特征图对应的第五特 征向量和不可见区域的掩码对应的第四掩码特征向量进行点乘，得到 用于表示第四特征的第四点乘结果；将第三点乘结果与第四点乘结果 进行矩阵运算，得到相关矩阵图。
在一种可能的设计中，处理模块，具体用于根据相关矩阵图和第 一特征图对应的第三特征向量，得到待处理图像对应的第二特征图； 根据第二特征图补全目标对象的不可见区域的内容。
在一种可能的设计中，处理模块，用于对相关矩阵图和第一特征 图对应的第三特征向量进行矩阵相乘和归一化处理，得到第二处理后 的特征向量，第二处理后的特征向量用于增强目标对象的不可见区域 的内容对应的特征；对第二处理后的特征向量进行维度变换处理，得 到第二特征图。
在一种可能的设计中，处理模块，还用于采用卷积操作对第一特 征图进行卷积处理，对卷积处理后的第一特征图进行向量化处理，得 到第三特征向量；或者，对第一特征图进行向量化处理，得到第三特 征向量；其中，第三特征向量的通道数与第一特征图的通道数相同。
在一种可能的设计中，处理模块，还用于采用卷积操作对第一特 征图进行通道数降维处理，对降维处理后的第一特征图进行向量化处 理，得到第一特征图对应的第一特征向量、第二特征向量、第四特征 向量或第五特征向量；其中，第二特征向量和第一特征向量的通道数 相同，第四特征向量和第五特征向量的通道数相同。
上述第二方面以及上述第二方面的各可能的设计中所提供的图像 处理装置，其有益效果可以参见上述第一方面和第一方面的各可能的 实施方式所带来的有益效果，在此不再赘述。
第三方面，本公开提供了一种电子设备，包括：存储器和处理器； 存储器用于存储程序指令；处理器用于调用存储器中的程序指令使得 电子设备执行第一方面及第一方面任一种可能的设计中的图像处理方 法。
第四方面，本公开提供了一种计算机存储介质，包括计算机指令， 当计算机指令在电子设备上运行时，使得电子设备执行第一方面及第 一方面任一种可能的设计中的图像处理方法。
第五方面，本公开提供了一种计算机程序产品，当计算机程序产 品在计算机上运行时，使得计算机执行第一方面及第一方面任一种可 能的设计中的图像处理方法。
第六方面，本公开提供了一种芯片系统，芯片系统包括：处理器； 当处理器执行存储器中存储的计算机指令时，电子设备执行第一方面 及第一方面任一种可能的设计中的图像处理方法。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符 合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面 将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而 易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前 提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的图像处理方法的流程示意图；
图2为本公开实施例提供的人体的19个部分的结构示意图；
图3A为本公开实施例提供的图像处理方法的工作原理图；
图3B为本公开实施例提供的图像处理方法的流程示意图；
图4A为本公开实施例提供的图像处理方法的工作原理图；
图4B为本公开实施例提供的图像处理方法的流程示意图；
图5为本公开实施例提供的图像处理方法的流程示意图；
图6为本公开实施例提供的图像处理装置的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将 对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下， 本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但 本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书 中的实施例只是本公开的一部分实施例，而不是全部的实施例。
示例性地，本公开提供一种图像处理方法、装置、设备、计算机 存储介质以及计算机程序产品，通过将目标对象未被遮挡物遮挡的区 域与目标对象的被遮挡物遮挡的区域之间的相关关系引入到注意力机 制中，引导神经网络模型将注意力捕捉到目标对象的被遮挡物遮挡的 区域与目标对象的未被遮挡物遮挡的区域之间的相关关系上，弱化了 背景区域上的特征，从而补全了目标对象的被遮挡物遮挡的区域的内 容，提高了推断目标对象的被遮挡物遮挡的区域的内容的准确率，提 升了神经网络模型的处理性能，还有利于实现目标追踪、目标检测、 图像分割等任务。
其中，本公开的图像处理方法由电子设备来执行。电子设备可以 是平板电脑、手机(如折叠屏手机、大屏手机等)、可穿戴设备、车载 设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality， VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personaldigital assistant，PDA)、智能电视、智慧屏、高清电视、4K电视、智能音箱、智能投 影仪等物联网(theinternet of things，IOT)设备，本公开对电子设备 的具体类型不作任何限制。
基于前述描述，本公开以实施例将以电子设备为例，结合附图和 应用场景，对本公开提供的图像处理方法进行详细阐述。
请参阅图1，图1为本公开实施例提供的图像处理方法的流程示意 图。如图1所示，本公开提供的图像处理方法可以包括：
S101、获取待处理图像的可见区域的掩码。
电子设备可获取待处理图像。其中，待处理图像包含目标对象， 目标对象的部分区域被遮挡物遮挡。本公开对待处理图像的尺寸、格 式和内容等参数不做限定。并且，目标对象可以包括但不限于为人体、 动物或者物品等。
电子设备可对待处理图像的可见区域进行处理，获取到待处理图 像的可见区域的掩码。
其中，可见区域为目标对象未被遮挡物遮挡的区域。即，在待处 理图像中，关于目标对象的区域可以包括：目标对象的可见区域和目 标对象的不可见区域。其中，本公开对目标对象的未被遮挡物遮挡的 区域和目标对象的被遮挡物遮挡的区域的大小、形状和位置等参数不 做限定。
或者，可见区域为待处理图像中除了目标对象被遮挡物遮挡的区 域之外的区域。即，待处理图像包括两部分区域，分别为目标对象被 遮挡物遮挡的区域(目标对象的不可见区域)，以及除了目标对象被遮 挡物遮挡的区域之外的区域(背景区域和目标对象的可见区域)。
基于上述描述，由于背景区域与目标对象的不可见区域之间不具 备相关性，目标对象的可见区域与目标对象的不可见区域之间具备相 关性。因此，电子设备可将目标对象的可见区域的掩码确定为待处理 图像的可见区域的掩码，有利于直观表征目标对象的可见区域，也可 以将目标对象的可见区域的掩码和背景区域的掩码确定为待处理图像 的可见区域的掩码，有利于突出目标对象的可见区域，增加计算的冗 余性。
其中，待处理图像的可见区域的掩码可以理解为将待处理图像的 可见区域的各个部分分割出来后，各个部分分别对应于0或1所形成 的编码。
例如，假设待处理图像的可见区域为目标对象的可见区域，目标 对象为人体时，电子设备可将人体分割成N个部位，并对分割出来的 N个部分分别采用数字0或1进行标记，得到人体的掩码，即待处理 图像的可见区域的掩码。其中，N为正整数。
请参阅图2，在N＝19时，如图2所示，人体的19个部分可包括： 头a1、颈a2、左肩a3、右肩a4、左上臂a5、右上臂a6、左下臂a7、 右下臂a8、左手a9、右手a10、左臀a11、右臀a12、左大腿a13、右 大腿a14、左小腿a15、右小腿a16、左脚a17、右脚a18和身体a19， 且人体的掩码为由人体的19个部分分别对应数字0或1形成的编码。 另外，本公开不限于将人体分割为19个部分。
S102、根据待处理图像和可见区域的掩码，获取待处理图像的可 见区域与目标对象的不可见区域的相关关系。
由于待处理图像的可见区域的掩码可表示出待处理图像的可见区 域，且待处理图像中除了待处理图像的可见区域之外的区域为目标对 象的不可见区域，因此，电子设备可基于待处理图像和待处理图像的 可见区域的掩码，可获取待处理图像的可见区域与目标对象的不可见 区域之间的相关关系。
其中，本公开对上述相关关系的表示方式不做限定。另外，上述 相关关系也可以用于表征待处理图像与目标对象的不可见区域之间的 相关关系，也可以用于表征待处理图像与待处理图像的可见区域之间 的相关关系。
S103、根据待处理图像和相关关系，补全目标对象的不可见区域 的内容。
电子设备基于相关关系和待处理图像，可将目标对象的可见区域 的特性与目标对象的不可区域的特性进行关联，通过目标对象的可见 区域推断出目标对象的不可区域的内容，从而对目标对象的不可见区 域的内容进行补齐，以便输出补齐目标对象的不可见区域后的待处理 图像。
另外，电子设备基于相关关系和待处理图像，还可得到目标对象 的完整区域的掩码，也可得到目标对象的完整区域的解析掩码。
本公开提供的图像处理方法，通过充分考虑到目标对象的不可见 区域与待处理图像的可见区域之间具备相关关系，以及目标对象的不 可见区域与待处理图像中的背景区域之间不具备相关关系的因素，可 在注意力机制中引入待处理图像的可见区域的掩码，使得注意力机制 能够基于待处理图像的可见区域的掩码，确定出待处理图像的可见区 域与目标对象的不可见区域的相关关系，以便基于处理图像的可见区 域与目标对象的不可见区域的相关关系，准确推断出目标对象的不可 见区域的内容，实现了待处理图像中目标对象的不可见区域的内容的 补全，提高了补齐目标对象的不可见区域的内容的准确率和及时性， 有利于可靠地完成目标追踪、目标检测、图像分割等任务。
基于上述步骤S102的描述，电子设备可采用多种实现方式，根据 待处理图像和可见区域的掩码，获取待处理图像的可见区域与目标对 象的不可见区域的相关关系。
下面，结合图3A-图3B以及图4A-图4B，介绍电子设备得到待处 理图像的可见区域与目标对象的不可见区域的相关关系的两种可行的 实现方式。
请参阅图3A和图3B，图3A为本公开实施例提供的图像处理方法 的工作原理图，图3B为本公开实施例提供的图像处理方法的流程示意 图。如图3A和图3B所示，本公开的图像处理方法可以包括：
S201、获取待处理图像对应的第一特征图。
电子设备可采用神经网络模型，对待处理图像进行多层卷积处理， 得到待处理图像对应的第一特征图。为了便于说明，图3A中的Fi为第 一特征图，第一特征图Fi的尺寸可记为C×H×W，C为通道高数，H 为长度，W为宽度。
S202、根据第一特征图对应的第一特征向量、可见区域的掩码对 应的第一掩码特征向量、第一特征图对应的第二特征向量、可见区域 的掩码对应的第二掩码特征向量，得到第一特征向量对应的可见区域 的第一特征和第二特征向量对应的可见区域的第二特征。电子设备可 采用卷积操作对第一特征图进行通道数降维处理，对降维处理后的第 一特征图进行向量化处理，得到第一特征图对应的第一特征向量。为 了便于说明，图3A中的Fi q1为第一特征向量，第一特征向量Fi q1的尺 寸可记为C/8×HW。
相应地，电子设备可将待处理图像的可见区域的掩码采样到与第 一特征向量的尺寸保持相同，得到第一掩码特征向量。为了便于说明， 图3A中的Mp1为第一掩码特征向量，第一掩码特征向量Mp1的尺寸可 记为1×HW。
电子设备可采用卷积操作对第一特征图进行通道数降维处理，对 降维处理后的第一特征图进行向量化处理，得到第一特征图对应的第 二特征向量。为了便于说明，图3A中的Fi k1为第二特征向量，第二特 征向量Fi k1的尺寸可记为HW×C/8。
相应地，电子设备可将待处理图像的可见区域的掩码采样到与第 二特征向量的尺寸保持相同，得到第二掩码特征向量。为了便于说明， 图3A中的Mp2为第二掩码特征向量，第二掩码特征向量Mp2的尺寸可 记为HW×1。
其中，第一特征向量与第二特征向量的语义信息不同，第一掩码 特征向量与第二掩码特征向量的维度顺序不同。此处的语义信息可以 理解为第一特征图的不同角度，如亮度和颜色等。维度顺序可以理解 为长度、宽度和高度的顺序不同，如长度、宽度和高度的顺序，以及 高度、长度和宽度的顺序。
可见，第一掩码特征向量对应于目标对象的可见区域，或者，第 一掩码特征向量对应于目标对象的可见区域和背景区域。第二掩码特 征向量对应于目标对象的可见区域，或者，第二掩码特征向量对应于 目标对象的可见区域和背景区域。
其中，第二特征向量和第一特征向量的通道数相同，有利于减少 计算量。上述的向量化处理可理解为铺平处理，有利于降低计算量。 一般情况下第一特征向量和第二特征向量的获得过程中的降维处理可 采用一层卷积处理。
需要说明的是，本公开不限于上述方式得到第一特征向量、第二 特征向量、第一掩码特征向量和第二掩码特征向量。例如，在获得第 一掩码特征向量后，电子设备可将第一掩码特征向量的转置确定为第 二掩码特征向量。
从而，电子设备可基于第一特征向量、第一掩码特征向量、第二 特征向量和第二掩码特征向量，得到第一特征和第二特征。在一些实 施例中，继续结合图3A，电子设备可采用神经网络模型，将第一特征 向量和第一掩码特征向量进行点乘处理，得到用于表示第一特征的第 一点乘结果。从而，将待处理图像的可见区域的特征过滤出来。其中， 第一点乘结果用于表示与第一特征向量对应的可见区域的第一特征。
在一些实施例中，继续结合图3A，电子设备可采用神经网络模型， 将第二特征向量和第二掩码特征向量进行点乘处理，得到用于表示第 二特征的第二点乘结果。从而，确定目标对象的可见区域内的特征。 其中，第二点乘结果用于表示与第二特征向量对应的可见区域的第二 特征。
为了便于说明，图3A中，点乘处理采用一个圆圈内有一个点为例 进行示意，表示两个矩阵对应元素相乘。
S203、根据第一特征和第二特征，得到相关矩阵图。
电子设备可将第一点乘结果与第二点乘结果进行矩阵相乘运算， 计算出第一点乘结果中的每个空间位置点与第二点乘结果中的全部空 间位置点之间的关联关系，使得第一点乘结果对应的待处理图像的可 见区域与第二点乘结果对应的待处理图像的可见区域之间能够更加相 关，反过来突出了目标对象的不可见区域，以得到相关矩阵图来表征出目标对象的不可区域与待处理图像的可见区域之间的相关关系。
此处的空间位置点为一特征图(H×W×C，H代表长度，W代表 宽度，C代表通道数)中的一个点，该空间位置点的坐标表示为(i，j)， 该空间位置点的尺寸为1×1×C。
为了便于说明，图3A中，矩阵相乘运算采用一个圆圈内有一个叉 为例进行示意，Ai1为相关矩阵图，相关矩阵图Ai1的尺寸可记为HW ×HW。
另外，电子设备在进行矩阵相乘运算后，可在某个维度上做归一 化(如采用Softmax函数)处理，得到相关矩阵图。
综上，电子设备可通过相关矩阵图来表征待处理图像的可见区域 与目标对象的不可见区域的相关关系。
请参阅图4A和图4B，图4A为本公开实施例提供的图像处理方法 的工作原理图，图4B为本公开实施例提供的图像处理方法的流程示意 图。如图4A和图4B所示，本公开的图像处理方法可以包括：
S301、获取待处理图像的目标对象的不可见区域的掩码。
电子设备可对目标对象的不可见区域进行处理，获取到目标对象 的不可见区域的掩码。其中，上述获得目标对象的不可见区域的掩码 的具体实现过程可参见待处理图像的可见区域的掩码的描述，此处不 做赘述。
S302、获取待处理图像对应的第一特征图。
其中，步骤S302的具体实现过程可参见图3A中的步骤S201的描 述，此处不做赘述。为了便于说明，图4A中的Fi为第一特征图，第一 特征图Fi的尺寸可记为C×H×W，C为通道高数，H为长度，W为宽 度。
S303、根据第一特征图对应的第四特征向量、可见区域的掩码对 应的第三掩码特征向量、第一特征图对应的第五特征向量、不可见区 域的掩码对应的第四掩码特征向量，得到第四特征向量对应的可见区 域的第三特征和第五特征向量对应的不可见区域的第四特征。
电子设备可采用卷积操作对第一特征图进行通道数降维处理，对 降维处理后的第一特征图进行向量化处理，得到第一特征图对应的第 四特征向量。为了便于说明，图4A中的Fi q2为第四特征向量，第四特 征向量Fi q2的尺寸可记为C/8×HW。
相应地，电子设备可将待处理图像的可见区域的掩码采样到与第 四特征向量的尺寸保持相同，得到第三掩码特征向量。为了便于说明， 图4A中的Mp3为第三掩码特征向量，第三掩码特征向量Mp3的尺寸可 记为1×HW。
电子设备可采用卷积操作对第一特征图进行通道数降维处理，对 降维处理后的第一特征图进行向量化处理，得到第一特征图对应的第 五特征向量。为了便于说明，图4A中的Fi k2为第五特征向量，第五特 征向量Fi k2的尺寸可记为HW×C/8。
相应地，电子设备可将待处理图像的可见区域的掩码采样到与第 五特征向量的尺寸保持相同，得到第四掩码特征向量。为了便于说明， 图4A中的Mp4为第四掩码特征向量，第四掩码特征向量Mp4的尺寸可 记为HW×1。
其中，第四特征向量与第五特征向量的语义信息不同，第三掩码 特征向量与第四掩码特征向量的维度顺序不同。此处的语义信息可以 理解为第一特征图的不同角度，如亮度和颜色等。维度顺序可以理解 为长度、宽度和高度的顺序不同，如长度、宽度和高度的顺序，以及 高度、长度和宽度的顺序。
可见，第三掩码特征向量对应于目标对象的可见区域，或者，第 三掩码特征向量对应于目标对象的可见区域和背景区域。第四掩码特 征向量对应于目标对象的不可见区域。
其中，第四特征向量和第五特征向量的通道数相同，有利于减少 计算量。上述的向量化处理可理解为铺平处理，有利于降低计算量。 一般情况下第四特征向量和第五特征向量的获得过程中的降维处理可 采用一层卷积处理。
需要说明的是，本公开不限于上述方式得到第四特征向量、第五 特征向量、第三掩码特征向量和第四掩码特征向量。例如，在获得第 三掩码特征向量后，电子设备可将第三掩码特征向量的转置确定为第 四掩码特征向量。
从而，电子设备可基于第四特征向量、第三掩码特征向量、第五 特征向量和第四掩码特征向量，得到第三特征和第四特征。
在一些实施例中，继续结合图4A，电子设备可采用神经网络模型， 将第四特征向量和第三掩码特征向量进行点乘处理，得到用于表示第 三特征的第三点乘结果。从而，将待处理图像的可见区域的特征过滤 出来。其中，第三点乘结果用于表示与第四特征向量对应的可见区域 的第三特征。
在一些实施例中，继续结合图4A，电子设备可采用神经网络模型， 将第五特征向量和第四掩码特征向量进行点乘，得到用于表示第四特 征的第四点乘结果。从而，确定目标对象的不可见区域内的特征。其 中，第四点乘结果用于表示与第五特征向量对应的可见区域的第四特 征。
为了便于说明，图4A中，点乘处理采用一个圆圈内有一个点为例 进行示意。
S304、根据第三特征和第四特征，得到相关矩阵图。
电子设备可将第三点乘结果与第四点乘结果进行矩阵相乘运算， 计算出第三点乘结果中的每个空间位置点与第四点乘结果中的全部空 间位置点之间的关联关系，使得第三点乘结果对应的待处理对象的可 见区域与第二点乘结果对应的目标对象的不可见区域之间能够更加不 相关，有效突出了目标对象的不可见区域以得到相关矩阵图来表征出待处理图像的可见区域与目标对象的不可见区域之间的相关关系。
此处的空间位置点为一特征图(H×W×C，H代表长度，W代表 宽度，C代表通道数)中的一个点，该空间位置点的坐标表示为(i，j)， 该空间位置点的尺寸为1×1×C。
为了便于说明，图4A中，矩阵相乘运算采用一个圆圈内有一个叉 为例进行示意，Ai2为相关矩阵图，相关矩阵图Ai2的尺寸可记为HW ×HW。
另外，电子设备在进行矩阵相乘运算后，可在某个维度上做归一 化(如采用Softmax函数)处理，得到相关矩阵图。
综上，电子设备可通过相关矩阵图来表征待处理图像的可见区域 与目标对象的不可见区域的相关关系。
基于上述步骤S103的描述，电子设备可采用多种实现方式，根据 待处理图像和相关关系，补全目标对象的不可见区域的内容。
下面，结合图5，介绍电子设备补全目标对象的不可见区域的内容 的具体实现方式。
请参阅图5，图5为本公开实施例提供的图像处理方法的流程示意 图。如图5所示，本公开的图像处理方法可以包括：
S400、获取第一特征图对应的第三特征向量。
电子设备可采用多种方式获得第三特征向量。电子设备可采用多 种方式获得第三特征向量。为了便于说明，图3A和图4A中的Fi v为 第三特征向量，第三特征向量Fi v的尺寸可记为HW×C。
在一些实施例中，电子设备可采用卷积操作对第一特征图进行卷 积处理，对卷积处理后的第一特征图进行向量化处理，得到第二特征 向量。
在另一些实施例中，电子设备可对第一特征图进行向量化处理， 得到第二特征向量。
S401、根据相关矩阵图和第一特征图对应的第三特征向量，得到 待处理图像对应的第二特征图。
电子设备可对相关矩阵图和第三特征向量进行矩阵相乘和归一化 处理，得到处理后的特征向量。其中，处理后的特征向量用于增强目 标对象的不可见区域的内容对应的特征。
电子设备对处理后的特征向量进行维度变换(reshape)、转置和拆 分空间维度等处理，将目标对象的可见区域的特征转移到目标对象的 不可见区域中，以得到第二特征图。
为了便于说明，图3A和图4A中的Fi o为第二特征图，第二特征 图Fi o的尺寸可记为C×H×W。
由此，可形成以第一特征图为输入，第二特征图为输出的注意力 机制，使得神经网络的多个层的输入专注于第二特征图，其中，第一 特征图和第二特征图的尺寸保持相同，可将注意力机制无缝插入到神 经网络模型的不同阶段中，无需调节输出的特征图的空间维度，且不 影响其余阶段的更新迭代，简化了输出特征图的操作。
S402、根据第二特征图补全目标对象的不可见区域的内容。
电子设备可采用神经网络模型，基于第二特征图能够增强目标对 象的不可见区域的特征，以便推断出目标对象的不可见区域的内容， 且减少了推断目标对象的不可见区域的内容的计算量。
综上，电子设备可基于由第一特征图转换为的第二特征图，来补 全目标对象的不可见区域的内容。
示例性地，本公开提供一种图像处理装置。
请参阅图6，图6为本公开实施例提供的图像处理装置的结构示意 图。本公开的图像处理装置可设置在电子设备中，可实现上述图1-图 4B实施例的图像处理方法对应于电子设备的操作。如图6所示，本公 开提供的图像处理装置600可以包括：获取模块601和处理模块602。
获取模块601，用于获取待处理图像的可见区域的掩码，其中，待 处理图像包含目标对象，目标对象的部分区域被遮挡物遮挡，可见区 域为目标对象未被遮挡物遮挡的区域，或者，可见区域为待处理图像 中除了目标对象被遮挡物遮挡的区域之外的区域；
获取模块601，还用于根据待处理图像和可见区域的掩码，获取待 处理图像的可见区域与目标对象的不可见区域的相关关系，目标对象 的不可见区域为目标对象被遮挡物遮挡区域；
处理模块602，用于根据待处理图像和相关关系，补全目标对象的 不可见区域的内容。
在一些实施例中，获取模块601，具体用于获取待处理图像对应的 第一特征图；根据第一特征图对应的第一特征向量、可见区域的掩码 对应的第一掩码特征向量、第一特征图对应的第二特征向量、可见区 域的掩码对应的第二掩码特征向量，得到第一特征向量对应的可见区 域的第一特征和第二特征向量对应的可见区域的第二特征，第一特征 向量与第二特征向量的语义信息不同，第一掩码特征向量与第二掩码 特征向量的维度顺序不同；根据第一特征和第二特征，得到相关矩阵 图，相关矩阵图用于表示待处理图像的可见区域与目标对象的不可见 区域的相关关系。
在一种可能的设计中，获取模块601，具体用于将第一特征图对应 的第一特征向量和可见区域的掩码对应的第一掩码特征向量进行点乘， 得到用于表示第一特征的第一点乘结果；将第一特征图对应的第二特 征向量和可见区域的掩码对应的第二掩码特征向量进行点乘，得到用 于表示第二特征的第二点乘结果；将第一点乘结果与第二点乘结果进行矩阵相乘运算，得到相关矩阵图。
在一种可能的设计中，获取模块601，还用于获取待处理图像的目 标对象的不可见区域的掩码；
获取模块601，具体用于获取待处理图像对应的第一特征图；根据 第一特征图对应的第四特征向量、可见区域的掩码对应的第三掩码特 征向量、第一特征图对应的第五特征向量、不可见区域的掩码对应的 第四掩码特征向量，得到第四特征向量对应的可见区域的第三特征和 与第五特征向量对应的不可见区域的第四特征，第四特征向量与第五 特征向量的语义信息不同，第三掩码特征向量与第四掩码特征向量的 维度顺序不同；根据第三特征和第四特征，得到相关矩阵图，相关矩 阵图用于表示待处理图像的可见区域与目标对象的不可见区域的相关 关系。
在一种可能的设计中，获取模块601，具体用于将第一特征图对应 的第四特征向量和可见区域的掩码对应的第三掩码特征向量进行点乘， 得到用于表示第三特征的第三点乘结果；将第一特征图对应的第五特 征向量和不可见区域的掩码对应的第四掩码特征向量进行点乘，得到 用于表示第四特征的第四点乘结果；将第三点乘结果与第四点乘结果进行矩阵运算，得到相关矩阵图。
在一种可能的设计中，处理模块602，具体用于根据相关矩阵图和 第一特征图对应的第三特征向量，得到待处理图像对应的第二特征图； 根据第二特征图补全目标对象的不可见区域的内容。
在一种可能的设计中，处理模块602，用于对相关矩阵图和第一特 征图对应的第三特征向量进行矩阵相乘和归一化处理，得到第二处理 后的特征向量，第二处理后的特征向量用于增强目标对象的不可见区 域的内容对应的特征；对第二处理后的特征向量进行维度变换处理， 得到第二特征图。
在一种可能的设计中，处理模块602，还用于采用卷积操作对第一 特征图进行卷积处理，对卷积处理后的第一特征图进行向量化处理， 得到第三特征向量；或者，对第一特征图进行向量化处理，得到第三 特征向量；其中，第三特征向量的通道数与第一特征图的通道数相同。
在一种可能的设计中，处理模块602，还用于采用卷积操作对第一 特征图进行通道数降维处理，对降维处理后的第一特征图进行向量化 处理，得到第一特征图对应的第一特征向量、第二特征向量、第四征 向量或第五特征向量；其中，第二特征向量和第一特征向量的通道数 相同，第四特征向量和第五特征向量的通道数相同。
本公开提供的图像处理装置，可执行上述方法实施例，其具体实 现原理和技术效果，可参见上述方法实施例，本公开此处不再赘述。
示例性地，本公开提供一种电子设备，包括：一个或多个处理器； 存储器；以及一个或多个计算机程序；其中一个或多个计算机程序被 存储在存储器中；一个或多个处理器在执行一个或多个计算机程序时， 使得电子设备实现前文实施例的图像处理方法。
示例性地，本公开提供一种芯片系统，芯片系统应用于包括存储 器和传感器的电子设备；芯片系统包括：处理器；当处理器执行前文 实施例的图像处理方法。
示例性地，本公开提供一种计算机可读存储介质，其上存储有计 算机程序，计算机程序被处理器使得电子设备执行时实现前文实施例 的图像处理方法。
示例性地，本公开提供一种计算机程序产品，当计算机程序产品 在计算机上运行时，使得计算机执行前文实施例的图像处理方法。
在上述实施例中，全部或部分功能可以通过软件、硬件、或者软 件加硬件的组合来实现。当使用软件实现时，可以全部或部分地以计 算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指 令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按 照本公开实施例的流程或功能。计算机可以是通用计算机、专用计算 机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算 机可读存储介质中。计算机可读存储介质可以是计算机能够存取的任 何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心 等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关 系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来， 而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系 或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵 盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或 者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或 者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有 更多限制的情况下，由语句“包括一个……”限定的要素，并不排除 在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅是本公开的具体实施方式，使本领域技术人员能够理解或 实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是 显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或 范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于 本文的这些实施例，而是要符合与本文所公开的原理和新颖特点相一 致的最宽的范围。

Claims (13)

1.一种图像处理方法，其特征在于，包括：
获取待处理图像的可见区域的掩码，其中，所述待处理图像包含目标对象，所述目标对象的部分区域被遮挡物遮挡，所述可见区域为所述目标对象未被遮挡物遮挡的区域，或者，所述可见区域为所述待处理图像中除了所述目标对象被遮挡物遮挡的区域之外的区域；
根据所述待处理图像和所述可见区域的掩码，获取所述待处理图像的可见区域与所述目标对象的不可见区域的相关关系，所述目标对象的不可见区域为所述目标对象被遮挡物遮挡区域；
根据所述待处理图像和所述相关关系，补全所述目标对象的不可见区域的内容。
2.根据权利要求1所述的方法，其特征在于，所述根据所述待处理图像和所述可见区域的掩码，获取所述待处理图像的可见区域与所述目标对象的不可见区域的相关关系，包括：
获取所述待处理图像对应的第一特征图；
根据所述第一特征图对应的第一特征向量、所述可见区域的掩码对应的第一掩码特征向量、所述第一特征图对应的第二特征向量以及所述可见区域的掩码对应的第二掩码特征向量，得到所述第一特征向量对应的可见区域的第一特征和所述第二特征向量对应的可见区域的第二特征，其中，所述第一特征向量与所述第二特征向量的语义信息不同，所述第一掩码特征向量与所述第二掩码特征向量的维度顺序不同；
根据所述第一特征和所述第二特征，得到相关矩阵图，所述相关矩阵图用于表示所述待处理图像的可见区域与所述目标对象的不可见区域的相关关系。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一特征图对应的第一特征向量、所述可见区域的掩码对应的第一掩码特征向量、所述第一特征图对应的第二特征向量、所述可见区域的掩码对应的第二掩码特征向量，得到所述第一特征向量对应的可见区域的第一特征和所述第二特征向量对应的可见区域的第二特征，包括：
将所述第一特征图对应的第一特征向量和所述可见区域的掩码对应的第一掩码特征向量进行点乘，得到用于表示所述第一特征的第一点乘结果；
将所述第一特征图对应的第二特征向量和所述可见区域的掩码对应的第二掩码特征向量进行点乘，得到用于表示所述第二特征的第二点乘结果；
所述根据所述第一特征和所述第二特征，得到所述相关矩阵图，包括：
将所述第一点乘结果与所述第二点乘结果进行矩阵相乘运算，得到所述相关矩阵图。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述待处理图像的目标对象的不可见区域的掩码；
所述根据所述待处理图像和所述可见区域的掩码，获取所述待处理图像的可见区域与所述目标对象的不可见区域的相关关系，包括：
获取所述待处理图像对应的第一特征图；
根据所述第一特征图对应的第四特征向量、所述可见区域的掩码对应的第三掩码特征向量、所述第一特征图对应的第五特征向量、所述不可见区域的掩码对应的第四掩码特征向量，得到所述第四特征向量对应的所述可见区域的第三特征和所述第五特征向量对应的所述不可见区域的第四特征，其中，所述第四特征向量与所述第五特征向量的语义信息不同，所述第三掩码特征向量与所述第四掩码特征向量的维度顺序不同；
根据所述第三特征和所述第四特征，得到相关矩阵图，所述相关矩阵图用于表示所述待处理图像的可见区域与所述目标对象的不可见区域的相关关系。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一特征图对应的第一特征向量、所述可见区域的掩码对应的第一掩码特征向量、所述第一特征图对应的第二特征向量、所述不可见区域的掩码对应的第三掩码特征向量，得到所述第四特征向量对应的所述可见区域的第三特征和所述第五特征向量对应的所述不可见区域的第四特征，包括：
将所述第一特征图对应的第四特征向量和所述可见区域的掩码对应的第三掩码特征向量进行点乘，得到用于表示所述第三特征的第三点乘结果；
将所述第一特征图对应的第五特征向量和所述不可见区域的掩码对应的第四掩码特征向量进行点乘，得到用于表示所述第四特征的第四点乘结果；
所述根据所述第三特征和所述第四特征，得到相关矩阵图，包括：
将所述第三点乘结果与所述第四点乘结果进行矩阵相乘运算，得到所述相关矩阵图。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述待处理图像和所述相关关系，补全所述目标对象的不可见区域的内容，包括：
根据所述相关矩阵图和第一特征图对应的第三特征向量，得到所述待处理图像对应的第二特征图；
根据所述第二特征图补全所述目标对象的不可见区域的内容。
7.根据权利要求6所述的方法，其特征在于，所述根据所述相关矩阵图和所述第一特征图对应的第三特征向量，得到所述待处理图像对应的第二特征图，包括：
对所述相关矩阵图和所述第一特征图对应的第三特征向量进行矩阵相乘和归一化处理，得到第二处理后的特征向量，所述第二处理后的特征向量用于增强所述目标对象的不可见区域的内容对应的特征；
对所述第二处理后的特征向量进行维度变换处理，得到所述第二特征图。
8.根据权利要求6所述的方法，其特征在于，所述方法还包括：
采用卷积操作对所述第一特征图进行卷积处理，对卷积处理后的第一特征图进行向量化处理，得到所述第三特征向量；或者，
对所述第一特征图进行向量化处理，得到所述第三特征向量；
其中，所述第三特征向量的通道数与所述第一特征图的通道数相同。
9.根据权利要求2-5任一项所述的方法，其特征在于，所述方法还包括：
采用卷积操作对所述第一特征图进行通道数降维处理，对降维处理后的第一特征图进行向量化处理，得到所述第一特征图对应的第一特征向量、第二特征向量、第四特征向量或第五特征向量；
其中，所述第二特征向量和所述第一特征向量的通道数相同，所述第四特征向量和所述第五特征向量的通道数相同。
10.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取待处理图像的可见区域的掩码，其中，所述待处理图像包含目标对象，所述目标对象的部分区域被遮挡物遮挡，所述可见区域为所述目标对象未被遮挡物遮挡的区域，或者，所述可见区域为所述待处理图像中除了所述目标对象被遮挡物遮挡的区域之外的区域；
所述获取模块，还用于根据所述待处理图像和所述可见区域的掩码，获取所述待处理图像的可见区域与所述目标对象的不可见区域的相关关系；
处理模块，用于根据所述待处理图像和所述相关关系，补全所述目标对象的不可见区域的内容。
11.一种电子设备，包括：一个或多个处理器；存储器；以及一个或多个计算机程序；其中所述一个或多个计算机程序被存储在所述存储器中；其特征在于，所述一个或多个处理器在执行所述一个或多个计算机程序时，使得所述电子设备实现如权利要求1-9任一项所述的图像处理方法。
12.一种计算机存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-9任一项所述的图像处理方法。
13.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1-9任一项所述的图像处理方法。
CN202110246084.7A 2021-03-05 2021-03-05 图像处理方法和装置 Pending CN113222830A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110246084.7A CN113222830A (zh) 2021-03-05 2021-03-05 图像处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110246084.7A CN113222830A (zh) 2021-03-05 2021-03-05 图像处理方法和装置

Publications (1)

Publication Number Publication Date
CN113222830A true CN113222830A (zh) 2021-08-06

Family

ID=77084746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110246084.7A Pending CN113222830A (zh) 2021-03-05 2021-03-05 图像处理方法和装置

Country Status (1)

Country Link
CN (1) CN113222830A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023197912A1 (zh) * 2022-04-11 2023-10-19 北京字跳网络技术有限公司 图像的处理方法、装置、设备、存储介质和程序产品

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6292525B1 (en) * 1999-09-30 2001-09-18 Siemens Corporate Research, Inc. Use of Hilbert transforms to simplify image reconstruction in a spiral scan cone beam CT imaging system
US20090296890A1 (en) * 2008-05-30 2009-12-03 Ralph Thomas Hoctor Apparatus and method for image reconstruction for a synthetic aperture gamma ray imager
CN105844583A (zh) * 2016-03-17 2016-08-10 西安建筑科技大学 一种画像石裂缝智能提取及虚拟修复方法
CN106570464A (zh) * 2016-10-31 2017-04-19 华南理工大学 一种快速处理人脸遮挡的人脸识别方法及装置
CN106952221A (zh) * 2017-03-15 2017-07-14 中山大学 一种三维京剧脸谱自动化妆方法
CN107066955A (zh) * 2017-03-24 2017-08-18 武汉神目信息技术有限公司 一种从局部人脸区域还原整张人脸的方法
CN110070056A (zh) * 2019-04-25 2019-07-30 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及设备
CN110517205A (zh) * 2019-09-02 2019-11-29 长沙理工大学 一种图像修复方法、系统及相关装置
CN110555897A (zh) * 2019-09-09 2019-12-10 上海联影医疗科技有限公司 一种图像生成的方法、装置、设备及存储介质
CN110633748A (zh) * 2019-09-16 2019-12-31 电子科技大学 一种鲁棒的自动人脸融合方法
CN111062263A (zh) * 2019-11-27 2020-04-24 杭州易现先进科技有限公司 手部姿态估计的方法、设备、计算机设备和存储介质
CN111353943A (zh) * 2018-12-20 2020-06-30 杭州海康威视数字技术股份有限公司 一种人脸图像恢复方法、装置及可读存储介质
CN111882408A (zh) * 2020-09-27 2020-11-03 北京达佳互联信息技术有限公司 虚拟试用方法、装置、电子设备及存储设备
CN112232300A (zh) * 2020-11-11 2021-01-15 汇纳科技股份有限公司 全局遮挡自适应的行人训练/识别方法、系统、设备及介质
CN112258404A (zh) * 2020-10-15 2021-01-22 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备和存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6292525B1 (en) * 1999-09-30 2001-09-18 Siemens Corporate Research, Inc. Use of Hilbert transforms to simplify image reconstruction in a spiral scan cone beam CT imaging system
US20090296890A1 (en) * 2008-05-30 2009-12-03 Ralph Thomas Hoctor Apparatus and method for image reconstruction for a synthetic aperture gamma ray imager
CN105844583A (zh) * 2016-03-17 2016-08-10 西安建筑科技大学 一种画像石裂缝智能提取及虚拟修复方法
CN106570464A (zh) * 2016-10-31 2017-04-19 华南理工大学 一种快速处理人脸遮挡的人脸识别方法及装置
CN106952221A (zh) * 2017-03-15 2017-07-14 中山大学 一种三维京剧脸谱自动化妆方法
CN107066955A (zh) * 2017-03-24 2017-08-18 武汉神目信息技术有限公司 一种从局部人脸区域还原整张人脸的方法
CN111353943A (zh) * 2018-12-20 2020-06-30 杭州海康威视数字技术股份有限公司 一种人脸图像恢复方法、装置及可读存储介质
CN110070056A (zh) * 2019-04-25 2019-07-30 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及设备
CN110517205A (zh) * 2019-09-02 2019-11-29 长沙理工大学 一种图像修复方法、系统及相关装置
CN110555897A (zh) * 2019-09-09 2019-12-10 上海联影医疗科技有限公司 一种图像生成的方法、装置、设备及存储介质
CN110633748A (zh) * 2019-09-16 2019-12-31 电子科技大学 一种鲁棒的自动人脸融合方法
CN111062263A (zh) * 2019-11-27 2020-04-24 杭州易现先进科技有限公司 手部姿态估计的方法、设备、计算机设备和存储介质
CN111882408A (zh) * 2020-09-27 2020-11-03 北京达佳互联信息技术有限公司 虚拟试用方法、装置、电子设备及存储设备
CN112258404A (zh) * 2020-10-15 2021-01-22 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备和存储介质
CN112232300A (zh) * 2020-11-11 2021-01-15 汇纳科技股份有限公司 全局遮挡自适应的行人训练/识别方法、系统、设备及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIAHUI YU 等: "Free-form image inpainting with gated convolution", 《IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》, 31 December 2019 (2019-12-31), pages 4471 - 4480 *
周强 王诗吟 等: "Human De-occlusion: Invisible Perception and Recovery for Humans", 《2021 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), NASHVILLE, TN, USA》, 31 October 2021 (2021-10-31), pages 3690 - 3700 *
王玉晶 等: "人脸局部遮挡表情特征快速识别方法仿真", 《计算机仿真》, vol. 36, no. 6, 31 December 2019 (2019-12-31), pages 422 - 425 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023197912A1 (zh) * 2022-04-11 2023-10-19 北京字跳网络技术有限公司 图像的处理方法、装置、设备、存储介质和程序产品

Similar Documents

Publication Publication Date Title
US9424486B2 (en) Method of image processing
Prewitt Object enhancement and extraction
US10409856B2 (en) Approaches for associating terms with image regions
JP7402623B2 (ja) フィルタ処理装置及びその制御方法
CN112435193B (zh) 一种点云数据去噪的方法、装置、存储介质和电子设备
CN111290684B (zh) 图像显示方法、图像显示装置及终端设备
WO2017070923A1 (zh) 一种人脸识别方法和装置
US20140177965A1 (en) Image processing device, image processing method, and program
CN114491399A (zh) 数据处理方法、装置、终端设备及计算机可读存储介质
CN113222830A (zh) 图像处理方法和装置
CN113627210A (zh) 条形码图像的生成方法、装置、电子设备及存储介质
CN111754435A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
CN112967199A (zh) 图像处理方法和装置
CN111079643A (zh) 基于神经网络的人脸检测方法、装置和电子设备
CN105718214B (zh) 指纹掩膜图像的存取方法及装置
CN112348069B (zh) 数据增强方法、装置、计算机可读存储介质及终端设备
CN115689947A (zh) 一种图像锐化的方法、系统、电子装置和存储介质
CN112232361B (zh) 图像处理的方法及装置、电子设备及计算机可读存储介质
CN115471416A (zh) 目标识别方法、存储介质及设备
Kisačanin et al. Algorithmic and software techniques for embedded vision on programmable processors
CN112149477B (zh) 姿态估计方法、装置、介质及设备
CN113033334B (zh) 图像处理方法、装置、电子设备、介质
CN114529731B (zh) 人脸特征点定位及属性分析方法、装置、存储介质及设备
CN112967198A (zh) 图像处理方法和装置
CN112560709B (zh) 一种基于辅助学习的瞳孔检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination