CN111292334A - 一种全景图像分割方法、装置及电子设备 - Google Patents

一种全景图像分割方法、装置及电子设备 Download PDF

Info

Publication number
CN111292334A
CN111292334A CN201910061822.3A CN201910061822A CN111292334A CN 111292334 A CN111292334 A CN 111292334A CN 201910061822 A CN201910061822 A CN 201910061822A CN 111292334 A CN111292334 A CN 111292334A
Authority
CN
China
Prior art keywords
feature map
background
foreground
image
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910061822.3A
Other languages
English (en)
Other versions
CN111292334B (zh
Inventor
李彦玮
陈新泽
黄冠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Horizon Robotics Technology Research and Development Co Ltd
Original Assignee
Beijing Horizon Robotics Technology Research and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Horizon Robotics Technology Research and Development Co Ltd filed Critical Beijing Horizon Robotics Technology Research and Development Co Ltd
Publication of CN111292334A publication Critical patent/CN111292334A/zh
Application granted granted Critical
Publication of CN111292334B publication Critical patent/CN111292334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种全景图像分割方法，包括：提取输入图像的多尺度特征图，并在所述多尺度特征图中提取区域候选框；根据区域候选框在所述多尺度特征图中提取区域候选特征图，并从所述区域候选特征图中分割出前景图像；基于多尺度特征图中确定前景特征图和背景特征图；基于所述前景特征图和背景特征图确定背景组合特征图，从所述背景组合特征图中分割出背景图像；根据前景图像和背景图像得到全景分割图像。本申请实施例提供的方法可以快速的得到高精度的全景分割图像。

Description

一种全景图像分割方法、装置及电子设备
技术领域
本申请涉及一种全景图像分割方法、装置及电子设备，属于图像处理领域。
背景技术
目前，计算机视觉是深度学习领域最热门的研究领域之一，其主要是通过将图像分割来识别特定的事物。目前常用的两种分割方法为语义分割和实例分割。语义分割常用来识别不规则事物，例如天空、草地。由于这类对象没有特定的形状，同时又不可数，所以语义分割是指给每一个像素分配语义标签。实例分割常用来识别可以计数的物体，例如人、动物。这类对象具有特定的形状，因此实例分割是指检测到每个物体，用边框或分割掩码勾画出其形状，并给每个实例分配实例标签。
由于语义分割和实例分割之间的分裂，导致在计算机识别图像时，会忽略一些重要的内容，因此近几年对全景分割的研究越来越多。但目前全景分割的精度不高。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种全景图像分割方法、装置及电子设备，其可以快速的得到高精度的全景分割图像。
根据本申请的一个方面，提供了一种全景图像分割方法，包括：
提取输入图像的多尺度特征图，并在所述多尺度特征图中提取区域候选框；
根据区域候选框在所述多尺度特征图中提取区域候选特征图，并从所述区域候选特征图中分割出前景图像；
基于多尺度特征图中确定前景特征图和背景特征图；
基于所述前景特征图和背景特征图确定背景组合特征图，从所述背景组合特征图中分割出背景图像；
根据前景图像和背景图像得到全景分割图像。
其中，所述基于多尺度特征图中确定背景特征图包括：
使用卷积神经网络在所述多尺度特征图中提取背景特征图。
根据本申请的另一方面，提供了一种全景图像分割装置，包括：
第一提取模块，用于提取原图像的多尺度特征图，并在多尺度特征图中提取区域候选框；
候选特征提取模块，用于根据所述区域候选框在多尺度特征图中提取区域候选特征图；
第一分割模块，用于从所述区域候选特征图中分割出前景图像；
前景提取模块，用于在所述多尺度特征图中提取前景特征图；
背景提取模块，用于在所述多尺度特征图中提取背景特征图；
第一确定模块，用于根据所述前景特征图和背景特征图确定背景组合特征图；
第二分割模块，用于从所述背景组合特征图中分割出背景图像；
合成模块，用于将所述前景图像和所述背景图像合并为全景分割图像。
根据本申请的再一方面，提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；
所述处理器，用于执行上述的全景图像分割的方法。
根据本申请的又一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上述的全景图像分割的方法。
与现有技术使用两个模型分别提取前景特征和背景特征相比，本申请的全景图像分割的方法、装置及电子设备根据同一个多尺度特征图分割出前景图像和背景图像，大大降低了模型特征冗余度，减少了模型计算量，因此提升了全景图像分割速度；同时，根据前景特征图和背景特征图确定背景组合特征图，从背景组合特征图中分割出背景图像，建立了前景图像和背景图像之间的联系，因此提升了全景图像的分割精度。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的全景图像分割方法流程图；
图2图示了根据本申请实施例的另一种全景图像分割方法流程图；
图3为本申请中基于前景特征图和背景特征图确定背景增强特征图的示意图；
图4图示了根据本申请实施例的再一种全景图像分割方法流程图；
图5图示了将区域候选特征图中的前景掩膜的像素的像素值映射示意图；
图6为本申请中基于背景增强特征图以及前景掩膜特征图确定背景组合特征图的示意图；
图7为本申请提供全景分割整体示意图；
图8图示了根据本申请实施例的又一种全景图像分割方法流程图；
图9图示了根据本申请实施例的另一种全景图像分割方法流程图；
图10图示了根据本申请实施例的全景图像分割装置结构图；
图11图示了根据本申请实施例的另一种全景图像分割装置结构图；
图12图示了根据本申请实施例的再一种全景图像分割装置结构图；
图13图示了根据本申请实施例的又一种全景图像分割装置结构图；
图14图示了根据本申请实施例的电子设备的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
如上所述，近几年对全景分割的研究越来越多。全景分割是指对图像进行全面的理解，其整合了语义分割和实例分割的内容，即给图像中的每一个像素分别赋予语义标签和实例标签，具有相同语义和实例标签的像素属于同一个目标。现有技术中，全景分割技术主要通过实例分割模型和语义分割模型来分别生成图像中前景图像和背景图像，然后通过对前景图像和背景图像进行处理，得到全景分割图像。
但是现有技术没有考虑图像中前景图像和背景图像之间的联系，因此在生成全景分割图像的过程中会出现前景图像和背景图像之间类别混乱的问题，全景图像的分割精度不高，比如没有考虑图像中人(前景)和草地(背景)之间的关系，由于草地和树木在外观上较为相似，因此全景分割图像中可能会把草地判定为树木；而且现有技术中采用实例分割模型和语义分割模型分别提取图像中前景特征和背景特征，由于会使用两个不同的基础网络模型来提取特征，因此会存在模型特征冗余度大，运行速度慢、训练难度大等问题。而现有的使用单模型直接生成前景和背景结果的方法，由于未建立前景和背景之间的语义联系，因此其效果很差。
针对上述技术问题，本申请的构思是提出一种全景图像分割方法、装置和电子设备，建立前景图像和背景图像之间的联系，然后根据互有联系的前景图像和背景图像得到全景分割图像，从而提高了全景图像的分割精度。
具体地，本申请提供的全景图像分割方法、装置和电子设备通过提取输入图像的多尺度特征图，在多尺度特征图中提取区域候选特征图，并从所述区域候选特征图中分割出前景图像，然后基于多尺度特征图确定前景特征图和背景特征图，再基于上述前景特征图和背景特征图确定背景组合特征图，从该背景组合特征图中分割出背景图像，最后根据前景图像和背景图像得到全景分割图像。这样，不仅提高了全景图像的分割速度，而且提高了全景图像的分割精度。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性方法
图1图示了根据本申请实施例的全景图像分割方法流程图。
如图1所示，根据本申请实施例的全景图像分割方法包括：
步骤S101，提取输入图像的多尺度特征图，并在所述多尺度特征图中提取区域候选框。
这里，图像的尺度并非指图像的大小，而是指图像的模糊程度，例如，人近距离看一个物体和远距离看一个物体模糊程度是不一样的，从近距离到远距离图像越来越模糊的过程，也是图像的尺度越来越大的过程。
用计算机视觉识别特定物体时，计算机并不预先知道图像中物体的尺度，如果采用固定尺度识别特定物体，识别精度较低，因此本申请实施例提取输入图像的多尺度特征图，这样可使计算机视觉具有较高的识别精度。
具体地，采用区域候选网络(Region Proposal Net，简称RPN)网络在多尺度特征图中提取区域候选框，也可以采用基于区域候选提取的其它网络，本申请实施例对区域候选框的提取网络不作限制，只要能在多尺度特征图中提取出区域候选框即可。实际应用中，原图像中的前景图像包括大小不同的多个物体，因此本申请实施例在多尺度特征图中提取多个不同尺度的区域候选框。
步骤S102，根据区域候选框在上述多尺度特征图中提取区域候选特征图，并从所述区域候选特征图中分割出前景图像。
本申请中，可以采用RoIAlign或者RoIPooling根据区域候选框的坐标值在上述多尺度特征图中提取区域候选特征图。RoIPooling和RoIAlign属于本领域技术人员的公知常识，因此本申请实施例在此不再赘述。
具体地，由于从原图像中提取的是多尺度特征图，在多尺度特征图中提取的区域候选特征图也为多尺度，因此从区域候选特征图中分割出前景图像，具体为：
对多尺度区域候选特征图进行卷积和上采样处理得到单尺度区域候选特征图；
对该单尺度区域候选特征图中的每一个像素进行区分，将属于前景的像素分割出来。
步骤S103，基于多尺度特征图确定前景特征图和背景特征图。
这里，前景特征图用于生成输入图像中前景分割的结果，背景特征图用于生成输入图像中背景分割的结果。
步骤S104，基于上述前景特征图和背景特征图确定背景组合特征图。
这里，将前景特征图引入到背景特征图中，建立了前景图像和背景图像的联系，确定出背景组合特征图。
在步骤S105中，从所述背景组合特征图中分割出背景图像。
本申请中，背景组合特征图可以经过卷积操作得到最终的结果特征图，比如使用softmax函数求出结果特征图中每一个像素通道所对应的类别概率，针对结果特征图中的每一个像素，选择该像素通道最大概率的那个类别作为该像素的最终预测值，从而得到背景图像分割结果。
在步骤S106中，根据前景图像和背景图像得到全景分割图像。
本申请中，可以将前景图像直接覆盖背景图像，得到全景分割图像。也可以通过学习或者人工引入前景和背景之间的先验关系来得到全景分割图像。本申请实施例对根据前景图像和背景图像得到全景分割图像的具体方法不作限制。
本申请的全景图像分割的方法根据同一个多尺度特征图分割出前景图像和背景图像，大大降低了模型特征冗余度，减少了模型计算量，因此提升了全景图像分割速度；同时，根据前景特征图和背景特征图确定背景组合特征图，从背景组合特征图中分割出背景图像，建立了前景图像和背景图像之间的联系，因此提升了全景图像的分割精度。
图2图示了根据本申请实施例的另一种全景图像分割方法流程图。如图2所示，其中，在步骤S103中基于多尺度特征图中确定前景特征图，包括：
S1031，基于多尺度特征图和区域候选网络确定前景特征图。
这里，将区域候选网络(RPN)回归生成前景物体的边界框(bonding box)；利用边界框从多尺度特征上确定出边界框对应的特征，再将边界框对应的特征利用resize函数缩放到同样的大小，从而确定出区域候选分支中特征图，即前景特征图。
其中，在步骤S103中基于多尺度特征图中确定背景特征图包括：
S1032，使用卷积神经网络在所述多尺度特征图中提取背景特征图。
卷积神经网络是包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。目前，随着深度学习理论的提出和数值计算设备的改进，卷积神经网络得到了快速发展，并被大量应用于计算机视觉、自然语言处理等领域。由于卷积神经网络属于本领域技术人员的公知常识，因此本申请实施例再次不再赘述。
相应的，S104基于前景特征图和背景特征图确定背景组合特征图包括：
S1041，基于前景特征图和背景特征图确定背景增强特征图；
S1042，基于背景增强特征图确定所述背景组合特征图。
具体地，在步骤S1041中，基于前景特征图和背景特征图确定背景增强特征图包括：
采用注意力模型，基于前景特征图和背景特征图确定背景增强特征图。
本申请实施例中注意力模型(Attention Model)是指从众多信息中选择出对当前任务目标更关键的信息的一种模型，它模拟的是人脑的注意力模型，例如，当我们观赏一幅画时，虽然我们可以看到整幅画的全貌，但是在我们深入仔细地观察时，其实眼睛聚焦的就只有很小的一块，也就是说，在某个特定时刻，人的注意力总是集中在画面中的某个焦点部分，而对其它部分视而不见。深度学习中的注意力模型从本质上和人类的注意力模型是类似的。目前，注意力模型被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中，是深度学习技术中最值得关注与深入了解的核心技术之一。由于注意力模型是本领域技术人员的公知常识，因此本申请实施例在此不再赘述。
具体地，本申请实施例中的注意力模型采用如下方式实现：例如，设S′i表示第i个尺度的背景增强特征图，Si,j′表示第i个尺度的背景增强特征图的第j层特征，则
Figure BDA0001954393660000071
图3为本申请中基于前景特征图和背景特征图确定背景增强特征图的示意图，Si为第i个尺度的背景特征图,Si,j为第i个尺度的背景特征图的第j层，
Figure BDA0001954393660000072
和
Figure BDA0001954393660000073
分别代表了逐像素的相乘与相加，M′i为背景特征图的激活区域；
M’i＝1-sigmoid(Mi)，Mi＝f(σ(f(Pi，ωi，1))，ωi，2)其中，sigmoid激活为函数，Mi激活前的前景特征图，Pi为第i个尺度的前景特征图，f代表卷积操作，σ代表激活函数，ωi，1和ωi，2代表卷积神经网络参数。
其中，f代表卷积操作，σ代表ReLU激活函数，ωi，1和ωi，2代表卷积神经网络参数，Sigmoid为激活函数，Pi代表第i个尺度的区域候选分支中的特征图。
本申请实施例中对卷积操作和激活函数的具体表现形式不作限制，只要能实现本发明的目的即可。
具体地，在步骤S1042中，基于背景增强特征图确定所述背景组合特征图可以将背景增强特征图作为背景组合特征图。
现有技术中，由于前景图像和背景图像是分裂的，因此导致全景分割的精度不够准确，而本发明通过将前景特征图引入到背景特征图中，建立了前景图像和背景图像的联系，因此提升了全景图像的分割精度。
进一步地，为了再次提升全景图像的分割精度，本申请还可以再次建立前景图像和背景图像的联系，图4图示了根据本申请实施例的再一种全景图像分割方法流程图。如图4所示，在基于所述背景增强特征图确定所述背景组合特征图之前，该方法还包括：
S1043，将区域候选特征图中的前景掩膜映射到多尺度特征图中的对应位置，确定前景掩膜特征图；
相应的，S1042基于所述背景增强特征图确定所述背景组合特征图包括：
S1044，基于背景增强特征图以及前景掩膜特征图确定所述背景组合特征图。
具体地，在步骤S1043中，将区域候选特征图中的前景掩膜映射到多尺度特征图中的对应位置，确定前景掩膜特征图，包括：
将区域候选特征图中每个前景掩膜的像素的像素值映射到多尺度特征图中的区域候选框中对应像素的N个点；每个点的值为所述像素值的1/N；N为自然数；
确定所述每个点在多尺度特征图的对应区域的像素点的像素值，基于上述像素值，确定前景掩模特征图。
需要说明的是，本申请实施例中由于提取的是多尺度特征图，因此直接得到的前景掩膜特征图也是多尺度的，在将该前景掩膜特征图引入到背景组合特征图之前，本申请实施例对该多尺度前景掩膜特征图进行上采样和合并处理。具体地，将多尺度前景掩膜特征图上采样到最大尺度特征，然后对相同像素的不同尺度对应的不同通道进行相加，最后得到单尺度的前景掩膜特征图。
图5图示了将区域候选特征图中的前景掩膜的像素的像素值映射示意图，如图5所示，本申请实施例中N为4，设R(Pj，k)为其中一个点Pg在多尺度特征图中分配给区域候选框对应区域上坐标为(j,k)的像素Pj,k的像素值；
Figure BDA0001954393660000091
Figure BDA0001954393660000092
其中，valuex和valuey为归一化权重，xp和yp为Pg点距离P1,1在x轴和y轴方向的距离，R(pg)为Pg点的值。
根据每个点计算对应像素值的计算过程满足正向双线性插值运算，即从多尺度特征图中的前景特征图经过正向的双线性插值可以恢复出对应点，因此valuex和valuey需要满足逆向双线性插值算法，也可以将valuex和valuey称为逆向双线性插值系数，该逆向双线性插值系数可以根据上述的预设分配规则来确定。
具体地，在步骤S1044中，基于背景增强特征图以及前景掩膜特征图确定背景组合特征图同样采用注意力模型，如图6所示，设W′i表示第i个尺度的背景组合特征图，W′i，j表示第i个尺度的背景组合特征图的第j层，则
Figure BDA0001954393660000093
其中，Si′为第i个尺度的背景增强特征图，Si，j′为第i个尺度的背景增强特征图的第j层，
Figure BDA0001954393660000094
和
Figure BDA0001954393660000095
分别代表了逐像素的相乘与相加，V′i为背景增强特征图的激活区域；
V′i＝1-sigmoid(f(σ(f(Proi,ωi,1)),ωi,2))
其中，sigmoid为激活函数，Proi为第i个尺度的前景掩膜特征图，f代表卷积操作，σ代表激活函数，ωi,1和ωi,2代表卷积神经网络参数。
图7为本申请提供全景分割整体示意图，图7中Spam为S′i，Smam为W′i。
通过上述步骤，将前景掩膜特征图引入到背景组合特征图中，再次建立了前景图像和背景图像的联系，因此更进一步提升了全景图像的分割精度。
或者，本申请还可以采用其它方式建立前景图像和背景图像的联系，图8图示了根据本申请实施例的又一种全景图像分割方法流程图。如图8所示，在步骤S103中，基于多尺度特征图中确定前景特征图和背景特征图，包括：
S1033,将区域候选特征图中的前景掩膜映射到多尺度特征图中的对应位置，确定前景特征图；
S1034，使用卷积神经网络在所述多尺度特征图中提取背景特征图。
相应的，在步骤S104中基于前景特征图和背景特征图确定背景组合特征图，包括：
S1045，采用注意力模型，基于前景特征图和背景特征图确定背景组合特征图。
需要说明的是，此处的前景特征图也就是上述描述的前景掩模特征图，此处将前景掩膜特征图引入背景特征图，以此建立前景图像和背景图像的联系，也就是说，本申请实施例中，前景图像和背景图像之间的联系可以通过不同特征的多个组合来实现。
相应的，步骤S1045中基于前景特征图和背景特征图确定背景组合特征图，包括：
设W′i表示第i个尺度的背景组合特征图，W′i,j表示第i个尺度的背景组合特征图的第j层，则
Figure BDA0001954393660000101
其中，Si,j为第i个尺度的背景特征图的第j层，
Figure BDA0001954393660000102
和
Figure BDA0001954393660000103
分别代表了逐像素的相乘与相加，P′i为背景特征图的激活区域；
P’i＝1-sigmoid(f(σ(f(Proi,ωi,1)),ωi,2))
其中，sigmoid为激活函数，Proi为第i个尺度的前景特征图，f代表卷积操作，σ代表激活函数，ωi,1和ωi,2代表卷积神经网络参数。
实际应用中，可能需要应用背景组合特征图中的部分特征图，这些部分特征图可以称为背景组合选择特征图，图9图示了根据本申请实施例的另一种全景图像分割方法流程图，如图9所示，在步骤S104之后，即，通过上述几种方法得到背景组合特征图之后，还包括：S107，采用特征选择方法，从所述背景组合特征图中选择得到背景组合选择特征图。
相应的，在步骤S105中从所述背景组合特征图中分割出背景图像，包括：S1051，从所述背景组合选择特征图中分割出背景图像。
其中，特征选择方法可以采用Filter方法、Wrapper方法或者Embedded方法中的任一种，这三种方法属于本领域技术人员的公知常识，因此本申请实施例在此不再赘述。
此外，本申请实施例采用如下特征选择方法，来对激活后的特征图进行特征选择：
设选择后的第i个尺度的背景组合特征图的第k个像素点为S″i,k，则
Figure BDA0001954393660000111
Ni＝sigmoid(GN(f(G(S′i),ωi,3)))
其中，G代表全局平均池化(Global Average Pooling)，GN代表组归一化(GroupNormalization)，Ni代表了第i个尺度上进行选择的算子，f代表卷积操作，ωi,3是卷积参数，S′i,k代表了第i个尺度的背景组合特征图的第k个像素通道。
通过选择实际所需的特征图，可简化后续的操作，进一步地提高全景分割的效率。
本申请实施例根据同一个多尺度特征图分割出前景图像和背景图像，相比于现有技术中使用两个模型分别提取前景特征和背景特征，本发明大大降低了模型特征冗余度，减少了模型计算量，因此提升了全景图像分割速度；同时，根据前景特征图和背景特征图确定背景组合特征图，从背景组合特征图中分割出背景图像，建立了前景图像和背景图像之间的联系，因此提升了全景图像的分割精度；其中，前景特征图可以基于多尺度特征图和区域候选网络确定，然后基于前景特征图和背景特征图确定背景增强特征图，最后基于背景增强特征图确定背景组合特征图，建立了前景图像和背景图像的联系，提升了全景图像的分割精度；进一步地，将区域候选特征图中的前景掩膜映射到多尺度特征图中的对应位置，确定前景掩膜特征图，然后基于背景增强特征图以及前景掩膜特征图确定背景组合特征图，再次建立前景图像和背景图像的联系，因此更进一步提升了全景图像的分割精度；或者，也可以将根据多尺度特征图提取的区域候选特征图中的前景掩膜映射到多尺度特征图中的对应位置，确定前景特征图，然后采用注意力模型，基于该前景特征图和背景特征图确定背景组合特征图，以此建立前景图像和背景图像的联系，提升了全景图像的分割精度。
示例性装置
图10图示了根据本申请实施例的全景图像分割装置结构示意图。
如图10所示，根据本申请实施例的全景图像分割装置200包括：第一提取模块201，用于提取输入图像的多尺度特征图，并在多尺度特征图中提取区域候选框；候选特征提取模块202，用于根据区域候选框在多尺度特征图中提取区域候选特征图；第一分割模块203，用于从区域候选特征图中分割出前景图像；前景提取模块204，用于在多尺度特征图中提取前景特征图；背景提取模块205，用于在多尺度特征图中提取背景特征图；第一确定模块206，用于根据上述前景特征图和背景特征图确定背景组合特征图；第二分割模块207，用于从背景组合特征图中分割出背景图像；合成模块208，用于将前景图像和背景图像合并为全景分割图像。
本申请的全景图像分割装置根据同一个多尺度特征图分割出前景图像和背景图像，大大降低了模型特征冗余度，减少了模型计算量，因此提升了全景图像分割速度；同时，根据前景特征图和背景特征图确定背景组合特征图，从背景组合特征图中分割出背景图像，建立了前景图像和背景图像之间的联系，因此提升了全景图像的分割精度。
图11图示了根据本申请实施例的另一种全景图像分割装置结构示意图，如图11所示，在上述全景图像分割装置200中，前景提取模块204，用于根据多尺度特征图和区域候选网络确定前景特征图；背景提取模块205，用于使用卷积神经网络在所述多尺度特征图中提取背景特征图；
相应的，第一确定模块206，包括第一确定单元2061和第二确定单元2062；
第一确定单元2061，用于根据前景特征图和背景特征图确定背景增强特征图；
第二确定单元2062，用于根据第一确定单元2061确定的背景增强特征图确定背景组合特征图。
本申请通过将前景特征图引入到背景特征图中，建立了前景图像和背景图像的联系，因此提升了全景图像的分割精度。
进一步地，为了再次提升全景图像的分割精度，本申请还可以再次建立前景图像和背景图像的联系，图12图示了根据本申请实施例的再一种全景图像分割装置结构示意图。如图12所示，在上述全景图像分割装置200中，第一确定模块206还包括：映射单元2063，用于将候选特征提取模块202提取的区域候选特征图中的前景掩膜映射到多尺度特征图中的对应位置，得到前景掩膜特征图；
相应的，第二确定单元2062，用于根据映射单元2061得到的前景掩膜特征图和第一确定单元2061确定的背景增强特征图确定背景组合特征图。
本申请将前景掩膜特征图引入到背景组合特征图中，再次建立了前景图像和背景图像的联系，因此更进一步提升了全景图像的分割精度。
或者，本申请还可以采用其它方式建立前景图像和背景图像的联系，例如，在上述全景图像分割装置200中，前景提取模块204，用于将区域候选特征图中的前景掩膜映射到多尺度特征图中的对应位置，确定前景特征图，此处前景特征图也就是上面所述的前景掩膜特征图；背景提取模块205，用于使用卷积神经网络在多尺度特征图中提取背景特征图；
相应的，第一确定模块206，用于采用注意力模型，基于前景特征图和背景特征图确定背景组合特征图。
实际应用中，可能需要应用背景组合特征图中的部分特征图，这些部分特征图可以称为背景组合选择特征图，图13图示了根据本申请实施例的又一种全景图像分割装置结构示意图，如图13所示，上述全景图像分割装置200还包括：选择模块209，用于采用特征选择方法从所述背景组合特征图中选择得到背景组合选择特征图。相应的，第二分割模块207，用于从所述背景组合选择特征图中分割出背景图像。
通过选择模块选择实际所需的特征图，可简化后续的操作，进一步地提高全景分割的效率。
这里，本领域技术人员可以理解，上述全景图像分割装置200中的各个模块和单元的具体功能和操作已经在上面参考图1至9描述的前景掩模特征图的确定方法中详细介绍，因此，示例性装置中省略部分重复描述。
如上所述，根据本申请实施例的全景图像分割装置200可以实现在各种终端设备中。在一个示例中，根据本申请实施例的全景图像分割装置200可以一个软件模块和/或硬件模块而集成到终端设备中。例如，该装置200可以是该终端设备的操作系统中的一个软件模块，或者也可以是针对于该终端设备所开发的一个应用程序；当然，该装置200同样可以是该终端设备的众多硬件模块之一。
替换地，在另一个示例中，该全景图像分割装置200与终端设备也可以是分立的设备，并且该装置200可以通过有线和/或无线网络连接到终端设备，并且按照约定的数据格式来传输交互信息。
本申请根据同一个多尺度特征图分割出前景图像和背景图像，相比于现有技术中使用两个模型分别提取前景特征和背景特征，本发明大大降低了模型特征冗余度，减少了模型计算量，因此提升了全景图像分割速度；同时，根据前景特征图和背景特征图确定背景组合特征图，从背景组合特征图中分割出背景图像，建立了前景图像和背景图像之间的联系，因此提升了全景图像的分割精度；其中，前景特征图可以基于多尺度特征图和区域候选网络确定，然后基于前景特征图和背景特征图确定背景增强特征图，最后基于背景增强特征图确定背景组合特征图，建立了前景图像和背景图像的联系，提升了全景图像的分割精度；进一步地，将区域候选特征图中的前景掩膜映射到多尺度特征图中的对应位置，确定前景掩膜特征图，然后基于背景增强特征图以及前景掩膜特征图确定背景组合特征图，再次建立前景图像和背景图像的联系，因此更进一步提升了全景图像的分割精度；或者，也可以将根据多尺度特征图提取的区域候选特征图中的前景掩膜映射到多尺度特征图中的对应位置，确定前景特征图，然后采用注意力模型，基于该前景特征图和背景特征图确定背景组合特征图，以此建立前景图像和背景图像的联系，提升了全景图像的分割精度。
示例性电子设备
下面，参考图14来描述根据本申请实施例的电子设备。图14图示了根据本申请实施例的电子设备的框图。
如图14所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的前景掩模特征图的确定方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入图像、多尺度特征图、区域候选特征图、前景掩模特征图等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如，该输入装置13可以包括摄像装置，用于采集输入图像。此外，该输入设备13还可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括确定出的前景掩模特征图。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图10中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的声源定位方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的前景掩模特征图的确定方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种全景图像分割方法，包括：
提取输入图像的多尺度特征图，并在所述多尺度特征图中提取区域候选框；
根据区域候选框在所述多尺度特征图中提取区域候选特征图，并从所述区域候选特征图中分割出前景图像；
基于多尺度特征图确定前景特征图和背景特征图；
基于所述前景特征图和背景特征图确定背景组合特征图，从所述背景组合特征图中分割出背景图像；
根据前景图像和背景图像得到全景分割图像。
2.根据权利要求1所述的方法，其中，所述基于多尺度特征图中确定背景特征图包括：
使用卷积神经网络在所述多尺度特征图中提取背景特征图。
3.根据权利要求1所述的方法，其中，基于多尺度特征图中确定前景特征图，包括：
基于所述多尺度特征图和区域候选网络确定前景特征图；
相应的，基于所述前景特征图和背景特征图确定背景组合特征图，包括：
基于所述前景特征图和背景特征图确定背景增强特征图；
基于所述背景增强特征图确定所述背景组合特征图。
4.根据权利要求3所述的方法，其中，基于所述前景特征图和背景特征图确定背景增强特征图，具体为：
采用注意力模型，基于前景特征图和背景特征图确定背景增强特征图。
5.根据权利要求3所述的方法，其中，基于所述前景特征图和背景特征图确定背景组合特征图之前，所述方法还包括：
将所述区域候选特征图中的物体掩膜映射到多尺度特征图中的对应位置，确定前景掩膜特征图；
相应的，所述基于所述背景增强特征图确定所述背景组合特征图包括：
基于所述背景增强特征图以及所述前景掩膜特征图确定所述背景组合特征图。
6.根据权利要求1所述的方法，其中，基于多尺度特征图确定前景特征图和背景特征图，包括：
将根据所述多尺度特征图提取的所述区域候选特征图中的前景掩膜映射到多尺度特征图中的对应位置，确定前景特征图；
使用卷积神经网络在所述多尺度特征图中提取背景特征图；
相应的，所述基于所述前景特征图和背景特征图确定背景组合特征图，包括：
采用注意力模型，基于前景特征图和背景特征图确定背景组合特征图。
7.根据权利要求1所述的方法，其中，从所述背景组合特征图中分割出背景图像之前，还包括：
采用特征选择方法，从所述背景组合特征图中选择得到背景组合选择特征图；
相应的，从所述背景组合特征图中分割出背景图像，包括：
从所述背景组合选择特征图中分割出背景图像。
8.一种全景图像分割装置，包括：
第一提取模块，用于提取输入图像的多尺度特征图，并在多尺度特征图中提取区域候选框；
候选特征提取模块，用于根据所述区域候选框在多尺度特征图中提取区域候选特征图；
第一分割模块，用于从所述区域候选特征图中分割出前景图像；
前景提取模块，用于在所述多尺度特征图中提取前景特征图；
背景提取模块，用于在所述多尺度特征图中提取背景特征图；
第一确定模块，用于根据所述前景特征图和背景特征图确定背景组合特征图；
第二分割模块，用于从所述背景组合特征图中分割出背景图像；
合成模块，用于将所述前景图像和所述背景图像合并为全景分割图像。
9.一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于执行上述权利要求1～7中任一项所述的全景图像分割的方法。
10.一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1～7中任一项所述的全景图像分割的方法。
CN201910061822.3A 2018-12-10 2019-01-23 一种全景图像分割方法、装置及电子设备 Active CN111292334B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811505971 2018-12-10
CN2018115059716 2018-12-10

Publications (2)

Publication Number Publication Date
CN111292334A true CN111292334A (zh) 2020-06-16
CN111292334B CN111292334B (zh) 2023-06-09

Family

ID=71024100

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910061824.2A Active CN111292335B (zh) 2018-12-10 2019-01-23 一种前景掩模特征图的确定方法、装置及电子设备
CN201910061822.3A Active CN111292334B (zh) 2018-12-10 2019-01-23 一种全景图像分割方法、装置及电子设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910061824.2A Active CN111292335B (zh) 2018-12-10 2019-01-23 一种前景掩模特征图的确定方法、装置及电子设备

Country Status (1)

Country Link
CN (2) CN111292335B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524150A (zh) * 2020-07-03 2020-08-11 支付宝(杭州)信息技术有限公司 图像处理的方法及装置
CN112489064A (zh) * 2020-12-14 2021-03-12 桂林电子科技大学 一种基于边缘放缩修正的全景分割方法
CN112802038A (zh) * 2021-01-26 2021-05-14 桂林电子科技大学 一种基于多尺度边缘注意力的全景分割方法
CN112836608A (zh) * 2021-01-25 2021-05-25 南京恩博科技有限公司 森林火灾源头的估计模型训练方法、估计方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150339828A1 (en) * 2012-05-31 2015-11-26 Thomson Licensing Segmentation of a foreground object in a 3d scene
CN105139415A (zh) * 2015-09-29 2015-12-09 小米科技有限责任公司 图像前后景分割方法、装置及终端
CN105654436A (zh) * 2015-12-24 2016-06-08 广东迅通科技股份有限公司 一种基于前景背景分离的背光图像增强去噪方法
US9437008B1 (en) * 2015-07-21 2016-09-06 Sony Corporation Image segmentation using bayes risk estimation of scene foreground and background
CN106097353A (zh) * 2016-06-15 2016-11-09 北京市商汤科技开发有限公司 基于多层次局部区域融合的物体分割方法及装置、计算设备
US20170124717A1 (en) * 2015-10-28 2017-05-04 Intel Corporation Method and system of background-foreground segmentation for image processing
CN107301400A (zh) * 2017-06-23 2017-10-27 深圳市唯特视科技有限公司 一种语义导向的半监督视频对象分割方法
CN107680106A (zh) * 2017-10-13 2018-02-09 南京航空航天大学 一种基于Faster R‑CNN的显著性目标检测方法
CN107845086A (zh) * 2017-09-19 2018-03-27 佛山缔乐视觉科技有限公司 一种皮革表面显著性缺陷的检测方法、系统及装置
CN108446662A (zh) * 2018-04-02 2018-08-24 电子科技大学 一种基于语义分割信息的行人检测方法
CN108734719A (zh) * 2017-04-14 2018-11-02 浙江工商大学 一种基于全卷积神经网络的鳞翅目昆虫图像前背景自动分割方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4519681B2 (ja) * 2004-02-26 2010-08-04 大日本印刷株式会社 人物の唇領域マスクデータの作成方法および作成装置
US7599558B2 (en) * 2005-08-24 2009-10-06 Mavs Lab. Inc. Logo processing methods and circuits
JP5447162B2 (ja) * 2010-05-07 2014-03-19 住友電気工業株式会社 移動体識別装置、コンピュータプログラム及び移動体識別方法
CN102495998B (zh) * 2011-11-10 2013-11-06 西安电子科技大学 基于视觉选择性注意计算模型的静态目标检测方法
CN108694719B (zh) * 2017-04-05 2020-11-03 北京京东尚科信息技术有限公司 图像输出方法和装置
CN107730528A (zh) * 2017-10-28 2018-02-23 天津大学 一种基于grabcut算法的交互式图像分割与融合方法
CN108155193A (zh) * 2017-12-21 2018-06-12 上海华力微电子有限公司 半导体结构的制作方法
CN108549893B (zh) * 2018-04-04 2020-03-31 华中科技大学 一种任意形状的场景文本端到端识别方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150339828A1 (en) * 2012-05-31 2015-11-26 Thomson Licensing Segmentation of a foreground object in a 3d scene
US9437008B1 (en) * 2015-07-21 2016-09-06 Sony Corporation Image segmentation using bayes risk estimation of scene foreground and background
CN105139415A (zh) * 2015-09-29 2015-12-09 小米科技有限责任公司 图像前后景分割方法、装置及终端
US20170124717A1 (en) * 2015-10-28 2017-05-04 Intel Corporation Method and system of background-foreground segmentation for image processing
CN105654436A (zh) * 2015-12-24 2016-06-08 广东迅通科技股份有限公司 一种基于前景背景分离的背光图像增强去噪方法
CN106097353A (zh) * 2016-06-15 2016-11-09 北京市商汤科技开发有限公司 基于多层次局部区域融合的物体分割方法及装置、计算设备
CN108734719A (zh) * 2017-04-14 2018-11-02 浙江工商大学 一种基于全卷积神经网络的鳞翅目昆虫图像前背景自动分割方法
CN107301400A (zh) * 2017-06-23 2017-10-27 深圳市唯特视科技有限公司 一种语义导向的半监督视频对象分割方法
CN107845086A (zh) * 2017-09-19 2018-03-27 佛山缔乐视觉科技有限公司 一种皮革表面显著性缺陷的检测方法、系统及装置
CN107680106A (zh) * 2017-10-13 2018-02-09 南京航空航天大学 一种基于Faster R‑CNN的显著性目标检测方法
CN108446662A (zh) * 2018-04-02 2018-08-24 电子科技大学 一种基于语义分割信息的行人检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
王泽: "面向虚拟视点的全景视频拼接算法研究" *
胡唯;胡庆武;艾明耀;: "多星形先验和图割的遥感影像交互式分割" *
郑云飞;张雄伟;曹铁勇;孙蒙;: "基于全卷积网络的语义显著性区域检测方法研究" *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524150A (zh) * 2020-07-03 2020-08-11 支付宝(杭州)信息技术有限公司 图像处理的方法及装置
CN112489064A (zh) * 2020-12-14 2021-03-12 桂林电子科技大学 一种基于边缘放缩修正的全景分割方法
CN112489064B (zh) * 2020-12-14 2022-03-25 桂林电子科技大学 一种基于边缘放缩修正的全景分割方法
CN112836608A (zh) * 2021-01-25 2021-05-25 南京恩博科技有限公司 森林火灾源头的估计模型训练方法、估计方法及系统
CN112836608B (zh) * 2021-01-25 2021-10-01 南京恩博科技有限公司 森林火灾源头的估计模型训练方法、估计方法及系统
CN112802038A (zh) * 2021-01-26 2021-05-14 桂林电子科技大学 一种基于多尺度边缘注意力的全景分割方法
CN112802038B (zh) * 2021-01-26 2022-05-24 桂林电子科技大学 一种基于多尺度边缘注意力的全景分割方法

Also Published As

Publication number Publication date
CN111292335B (zh) 2023-06-13
CN111292335A (zh) 2020-06-16
CN111292334B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN109493350B (zh) 人像分割方法及装置
CN111292334B (zh) 一种全景图像分割方法、装置及电子设备
AU2019213369B2 (en) Non-local memory network for semi-supervised video object segmentation
US10614574B2 (en) Generating image segmentation data using a multi-branch neural network
CN109583483B (zh) 一种基于卷积神经网络的目标检测方法和系统
CN110851641B (zh) 跨模态检索方法、装置和可读存储介质
CN113343982B (zh) 多模态特征融合的实体关系提取方法、装置和设备
CN107273895B (zh) 用于头戴式智能设备的视频流实时文本识别及翻译的方法
CN112308866B (zh) 图像处理方法、装置、电子设备及存储介质
CN111582021A (zh) 场景图像中的文本检测方法、装置及计算机设备
CN111553923B (zh) 一种图像处理方法、电子设备及计算机可读存储介质
CN111783779B (zh) 图像处理方法、装置和计算机可读存储介质
CN110619334B (zh) 基于深度学习的人像分割方法、架构及相关装置
CN113689436B (zh) 图像语义分割方法、装置、设备及存储介质
CN113343981A (zh) 一种视觉特征增强的字符识别方法、装置和设备
CN114549557A (zh) 一种人像分割网络训练方法、装置、设备及介质
JP6202938B2 (ja) 画像認識装置および画像認識方法
CN117252947A (zh) 图像处理方法、装置、计算机、存储介质及程序产品
CN112070181A (zh) 一种基于图像流的协同检测方法及装置、存储介质
CN111814534A (zh) 视觉任务的处理方法、装置和电子系统
CN113239867B (zh) 一种基于掩码区域自适应增强的光照变化人脸识别方法
CN112419249B (zh) 一种特殊服饰图片转化方法、终端设备及存储介质
CN113808151A (zh) 直播图像的弱语义轮廓检测方法、装置、设备及存储介质
CN110969602B (zh) 一种图像清晰程度检测方法及装置
CN113808040A (zh) 直播图像的轮廓矫正方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant