CN111428726A - 基于图神经网络的全景分割方法、系统、设备及存储介质 - Google Patents

基于图神经网络的全景分割方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN111428726A
CN111428726A CN202010521249.2A CN202010521249A CN111428726A CN 111428726 A CN111428726 A CN 111428726A CN 202010521249 A CN202010521249 A CN 202010521249A CN 111428726 A CN111428726 A CN 111428726A
Authority
CN
China
Prior art keywords
generate
result
target
segmentation
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010521249.2A
Other languages
English (en)
Other versions
CN111428726B (zh
Inventor
邓夏君
王若梅
周凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202010521249.2A priority Critical patent/CN111428726B/zh
Publication of CN111428726A publication Critical patent/CN111428726A/zh
Application granted granted Critical
Publication of CN111428726B publication Critical patent/CN111428726B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图神经网络的全景分割方法，包括：从图片中提取多个目标特征；通过实例分割头部网络以得到图片的前景类别概率、背景类别概率及掩膜结果，通过语义分割头部网络以得到图片的初步语义分割结果；通过前景类别概率对新前景图进行处理以生成实例分类结果，并根据掩膜结果从实例分类结果中提取目标实例分割掩膜；通过背景类别概率及初步语义分割结果对新背景图进行处理以生成目标语义分割结果；采用启发式算法对目标实例分割掩膜及目标语义分割结果进行融合，生成全景分割结果。本发明还公开了一种基于图神经网络的全景分割系统、计算机设备及计算机可读存储介质。采用本发明，可利用物体之间的相互关系优化图片的全景分割效果。

Description

基于图神经网络的全景分割方法、系统、设备及存储介质
技术领域
本发明涉及图像数据处理技术领域，尤其涉及一种基于图神经网络的全景分割方法、基于图神经网络的全景分割系统、计算机设备及计算机可读存储介质。
背景技术
图像分割（image segmentation）技术是计算机视觉领域的研究热点，它在人们生活中的方方面面都有着非常广泛的应用，如自动驾驶领域的地图构建、医学影像领域的自动化诊断、日常生活中的虚拟试穿等。
图像分割技术分为语义分割（Semantic Segmentation）、实例分割（InstanceSegmentation）及全景分割（Panoptic Segmentation）。其中：
语义分割要求对图像中的每一个像素都赋予一个类别标签，但是不对相同物体的不同实例进行区分。比如，如果一个像素被标记为红色，那就代表这个像素所在的位置是一个人，但是如果有两个都是红色的像素，则无法判断它们是属于同一个人还是不同的人，也就是说语义分割只能判断类别，无法区分个体。
实例分割则要求识别出图像中的每个物体以及区分物体实例，而忽略背景像素的分割。也就是说，实例分割不需要对每个像素进行标记，它只需要找到感兴趣物体的边缘轮廓就行。
全景分割是语义分割和实例分割的结合，要求对图像中的每个像素都赋予类别，并且对属于可数物体的像素，还要区分物体实例。但是，现有的全景分割技术没有考虑图片中前景和前景、背景和背景、前景和背景之间的关系，仅仅是两个独立的任务，没有像人类一样从物体关系的层面来进行推断。比如，一般来说，在湖上的物体更可能是一艘船而不是一辆车；如果背景是天空，那么前景物体更可能是小鸟而不是鱼；人牵着的更可能是一只狗而不是一匹狼。因此，现有的全景分割技术预测效果并不好，经常有误判的情况发生。
发明内容
本发明所要解决的技术问题在于，提供一种基于图神经网络的全景分割方法、系统、计算机设备及计算机可读存储介质，可将全景分割网络应用于图片处理中，使预测更准确，网络解释性更强。
为了解决上述技术问题，本发明提供了一种基于图神经网络的全景分割方法，包括：通过ResNet-50网络及FPN网络对图片进行特征提取，以提取多个目标特征；通过实例分割头部网络并根据所述目标特征以得到图片的前景类别概率、背景类别概率及掩膜结果，通过语义分割头部网络并根据所述目标特征以得到图片的初步语义分割结果；通过前景图神经网络对原始前景图进行处理以生成新前景图，通过所述前景类别概率对所述新前景图进行处理以生成实例分类结果，并根据所述掩膜结果从所述实例分类结果中提取目标实例分割掩膜；通过背景图神经网络对原始背景图进行处理以生成新背景图，通过所述背景类别概率及初步语义分割结果对所述新背景图进行处理以生成目标语义分割结果；采用启发式算法对所述目标实例分割掩膜及目标语义分割结果进行融合，生成全景分割结果。
作为上述方案的改进，所述通过ResNet-50网络及FPN网络对图片进行特征提取，以提取多个目标特征的步骤包括：通过ResNet-50网络对图片进行特征提取，以提取初步特征；通过FPN网络对所述初步特征进行特征提取，以提取多个目标特征。
作为上述方案的改进，所述通过实例分割头部网络并根据目标特征以得到图片的前景类别概率、背景类别概率及掩膜结果的步骤包括：通过RPN网络对每一目标特征分别进行处理，以生成多个候选区域；对每一候选区域分别进行池化处理，以生成候选区域特征；通过全连接层对每一候选区域特征分别进行处理，以生成初步特征图；通过全连接层对每一初步特征图进行处理，以生成前景类别概率；通过全连接层对每一初步特征图进行处理，以生成背景类别概率；对每一候选区域特征分别进行卷积处理，以生成每一类别的掩模结果。
作为上述方案的改进，所述通过语义分割头部网络并根据目标特征以得到图片的初步语义分割结果的步骤包括：对每一目标特征分别进行上采样处理；将所有上采样结果相加，以生成特征；将所述特征进行上采样处理，以生成语义分割特征；将所述特征进行卷积处理；将卷积结果进行上采样处理，以生成初步语义分割结果。
作为上述方案的改进，所述通过前景图神经网络对原始前景图进行处理以生成新前景图，通过前景类别概率对新前景图进行处理以生成实例分类结果，并根据掩膜结果从实例分类结果中提取目标实例分割掩膜的步骤包括：通过前景图神经网络对原始前景图进行节点特征的传播及节点表示的更新，以生成新前景图；对所述前景类别概率中的每一行向量分别进行归一化处理，将每一归一化结果分别作为实例注意力系数，将每一实例注意力系数与新前景图分别相乘以生成加权结果，将每一行的加权结果相加并求均值以生成实例一维向量；将所述实例一维向量与初步特征图中对应的行向量进行拼接，以生成新实例特征图；通过全连接层对所述新实例特征图进行处理，以生成实例分类结果；提取实例分类结果中每一行的概率最大值，根据所述概率最大值提取候选区域对应的类别，并根据所述类别提取对应的掩模结果以得到目标实例分割掩膜。
作为上述方案的改进，所述通过背景图神经网络对原始背景图进行处理以生成新背景图，通过背景类别概率及初步语义分割结果对新背景图进行处理以生成目标语义分割结果的步骤包括：通过背景图神经网络对原始背景图进行节点特征的传播及节点表示的更新，以生成新背景图；对所述背景类别概率中的每一行向量分别进行归一化处理，将所有归一化结果相加以作为第一注意力系数；对所述初步语义分割结果中每一像素所对应的向量分别进行归一化处理，将每一归一化结果分别作为第二注意力系数；将每一第二注意力系数与第一注意力系数分别相加并求均值以作为语义注意力系数，将每一语义注意力系数与新背景图分别相乘以生成加权结果，将每一行的加权结果相加并求均值以生成语义一维向量；将每一语义一维向量与所述语义分割特征中对应像素的向量分别进行拼接，以生成新语义特征图；将所述新语义特征图输入卷积层，以生成目标语义分割结果。
作为上述方案的改进，，所述采用启发式算法对目标实例分割掩膜及目标语义分割结果进行融合，生成全景分割结果的步骤包括：判断图片中的像素在所述目标实例分割掩膜中是否存在对应的标签；判断为是时，则将所述目标实例分割掩膜中对应的标签赋值给所述像素；判断为否是，则将所述目标语义分割结果中对应的标签赋值给所述像素。
相应地，本发明还提供了一种基于图神经网络的全景分割系统，包括：特征提取单元，用于通过ResNet-50网络及FPN网络对图片进行特征提取，以提取多个目标特征；初步分割单元，用于通过实例分割头部网络并根据所述目标特征以得到图片的前景类别概率、背景类别概率及掩膜结果，通过语义分割头部网络并根据所述目标特征以得到图片的初步语义分割结果；实例分割单元，用于通过前景图神经网络对原始前景图进行处理以生成新前景图，通过所述前景类别概率对所述新前景图进行处理以生成实例分类结果，并根据所述掩膜结果从所述实例分类结果中提取目标实例分割掩膜；语义分割单元，用于通过背景图神经网络对原始背景图进行处理以生成新背景图，通过所述背景类别概率及初步语义分割结果对所述新背景图进行处理以生成目标语义分割结果；全景分割单元，用于采用启发式算法对所述目标实例分割掩膜及目标语义分割结果进行融合，生成全景分割结果。
相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行上述全景分割方法的步骤。
相应地，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述全景分割方法的步骤。
实施本发明，具有如下有益效果：
本发明基于图神经网络的全景分割方法能够考虑前景之间、背景之间以及前景和背景之间的关系，利用了注意力机制来分配权重，从而能够更好地纠正错误的预测结果，让全景分割网络对图片数据预测得更加准确，且网络的解释性更强。
同时，本发明的图节点使用语义的词嵌入表示，和视觉特征一起进行特征提取，相当于将语义信息和视觉信息相结合，给网络提供了更丰富的信息，也更符合人类的推理过程。
附图说明
图1是本发明基于图神经网络的全景分割方法的实施例流程；
图2是本发明中前景类别概率、背景类别概率及掩膜结果的生成流程图；
图3是本发明中初步语义分割结果的生成流程图；
图4是本发明中目标实例分割掩膜的生成流程图；
图5是本发明中目标语义分割结果的生成流程图；
图6是本发明中基于图神经网络的全景分割方法的示意图；
图7是本发明基于图神经网络的全景分割系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
参见图1，图1显示了本发明基于图神经网络的全景分割方法的实施例流程图，包括：
S101，通过ResNet-50网络及FPN网络对图片进行特征提取，以提取多个目标特征。
具体地，所述通过ResNet-50网络及FPN网络对图片进行特征提取，以提取多个目标特征的步骤包括：
（1）通过ResNet-50网络对图片进行特征提取，以提取初步特征。
ResNet又名残差神经网络，指的是在传统卷积神经网络中加入残差学习（residual learning）的思想，解决了深层网络中梯度弥散和精度下降（训练集）的问题，使网络能够越来越深，既保证了精度，又控制了速度。本发明中采用50层的ResNet网络。
（2）通过FPN网络对所述初步特征进行特征提取，以提取多个目标特征。
需要说明的是，所述FPN网络为四层的FPN网络。其中，FPN（Feature PyramidNetwork）网络即特征金字塔网络，特征金字塔网络通过自底向上的特征提取、自顶向下的特征上采样以及横向连接来把底层特征和顶层特征结合起来，在每一层能够获得不同尺寸大小的特征信息。
因此，本发明将图片输入ResNet-50网络进行处理后，输出初步特征；再将初步特征输入一个四层的FPN网络进行处理后，输出目标特征P1、P2、P3及P4。
S102，通过实例分割头部网络并根据目标特征以得到图片的前景类别概率、背景类别概率及掩膜结果，通过语义分割头部网络并根据目标特征以得到图片的初步语义分割结果。
经步骤S101提取出来的目标特征分别通过两个分割头部网络，一个是实例分割头部网络，另一个是语义分割头部网络。具体地：
从FPN网络出来的目标特征需要经过实例分割头部网络的三个分支：
（1）实例分类分支。目标特征经过实例分类分支得到前景类别概率Cins；
（2）掩模分支。目标特征经过掩膜分支得到对应每个类别的掩膜结果Mins；
（3）背景类别分支。目标特征经过背景类别分支则输出在该前景类别情况下的背景类别概率Pb。
从FPN网络出来的目标特征需要经过语义分割头部网络，得到图片的初步语义分割结果Msem。
S103，通过前景图神经网络对原始前景图进行处理以生成新前景图，通过所述前景类别概率对所述新前景图进行处理以生成实例分类结果，并根据掩膜结果从实例分类结果中提取目标实例分割掩膜。
S104，通过背景图神经网络对原始背景图进行处理以生成新背景图，通过背景类别概率及初步语义分割结果对新背景图进行处理以生成目标语义分割结果。
需要说明的是，本发明中设有两个图神经网络，一个是前景图网络Gf，一个是背景图网络Gb。其中，原始前景图Nins经过前景图神经网络Gf得到传播更新后的新前景图Nins_g，原始背景图Nsem经过图神经网络Gb得到传播更新后的新背景图Nsem_g。
一般情况下，前景指图片中可数的物体，如人、车、飞机、猫、狗等；背景指图片中不可数的物体，如天空、草地、湖等。本发明中，原始前景图即原始前景图谱，原始背景图即原始背景图谱。原始前景图及原始背景图均由多个节点构成，节点采用类别语义的词嵌入表示。其中，词嵌入是一个一维向量，本发明采用GLoVe（Global Vectors for WordRepresentation，全局词向量）方法来获得类别语义的词嵌入表示，因此每个节点是一个300维的向量，而节点与节点之间的邻接矩阵是使用余弦距离计算而得的。
因此，本发明中的图节点使用语义的词嵌入表示，和视觉特征一起进行特征提取，相当于将语义信息和视觉信息相结合，给网络提供了更丰富的信息，也更符合人类的推理过程。
S105，采用启发式算法对所述目标实例分割掩膜及目标语义分割结果进行融合，生成全景分割结果。
具体地，所述采用启发式算法对目标实例分割掩膜及目标语义分割结果进行融合，生成全景分割结果的步骤包括：
（1）判断图片中的像素在目标实例分割掩膜中是否存在对应的标签；
（2）判断为是时，则将目标实例分割掩膜中对应的标签赋值给所述像素；
（3）判断为否是，则将目标语义分割结果中对应的标签赋值给所述像素。
本发明采用使用启发式算法对目标实例分割掩膜Mins_g及目标语义分割结果Msem_g进行融合。需要说明的是，对于图片中的每一个像素，优先采用目标实例分割掩膜Mins_g中的标签，如果一个像素在目标实例分割掩膜Mins_g中没有标签，则给该像素赋值目标语义分割结果Msem_g中的标签。
因此，本发明在网络中加入了图谱，通过图谱能够更好地编码前景与前景、背景与背景以及前景与背景之间的关系，能够有效纠正预测结果的偏差，使得预测结果更加准确。
如图2所示，所述通过实例分割头部网络并根据目标特征以得到图片的前景类别概率、背景类别概率及掩膜结果的步骤包括：
S201，通过RPN网络对每一目标特征分别进行处理，以生成多个候选区域。
目标特征P1、P2、P3及P4分别通过RPN网络（Region Proposal Network，区域候选网络），得到可以检测不同尺寸实例的候选区域。
需要说明的是，区域候选网络用于在特征图上选取若干候选区域，让后续网络对候选区域内的内容进行检测操作。
S202，对每一候选区域分别进行池化处理，以生成候选区域特征。
使用RoIPooling（Region of Interest Pooling，感兴趣区域池化）对候选区域进行操作，可以得到候选区域特征，此时，多个不同大小的候选区域特征已经被池化到统一大小。
需要说明的是，由于经过RPN网络得到的候选区域大小可能不相同，为了方便后面的操作，需要将不同大小的候选区域变成统一大小的特征。感兴趣区域池化就是通过对不同大小的特征进行池化操作，从而达到统一特征大小的目的。
S203，通过全连接层对每一候选区域特征分别进行处理，以生成初步特征图。
用于预测候选区域类别以及bbox（bounding box，包围框）参数的特征被统一成7×7的大小，然后通过两个全连接层，得到初步特征图
Figure 680648DEST_PATH_IMAGE001
。需要说明的是，包围框指的是选出来包围某个物体实例的框的坐标，是一个四元组，表示为（x,y,w,h），其中，x为包围框左上角点的横坐标，y为包围框左上角点的纵坐标，w为包围框的宽，h为包围框的高。
相应地，可通过一个全连接层对每一初步特征图进行处理，以生成回归的bbox参数
Figure 668196DEST_PATH_IMAGE002
。
S204，通过全连接层对每一初步特征图进行处理，以生成前景类别概率。
用一个分类的全连接层得到前景类别概率
Figure 207018DEST_PATH_IMAGE003
，其中，N为候选区域的数量，Cf为前景类别的数量，1表示类别为背景；
S205，通过全连接层对每一初步特征图进行处理，以生成背景类别概率。
初步特征图经过一个用于预测背景类别概率的全连接层，得到背景类别概率Pb。
S206，对每一候选区域特征分别进行卷积处理，以生成每一类别的掩模结果。
对每个类别预测一个掩模的特征向量被统一成14×14的大小，本发明采用全卷积网络，最终得到对应于每一个类别的掩模结果
Figure 268515DEST_PATH_IMAGE004
。
因此，通过步骤S201~S206即可利用实例分割头部网络的三个分支，高效、精确地得到前景类别概率Cins、掩膜结果Mins及背景类别概率Pb。
如图3所示，所述通过语义分割头部网络并根据所述目标特征以得到图片的初步语义分割结果的步骤包括：
S301，对每一目标特征分别进行上采样处理；
S302，将所有上采样结果相加，以生成特征；
S303，将所述特征进行上采样处理，以生成语义分割特征；
S304，将所述特征进行卷积处理；
S305，将卷积结果进行上采样处理，以生成初步语义分割结果。
为了进行全图的语义分割，将目标特征P1、P2、P3、P4分别进行上采样到相同的大小，并且进行相加，得到相加后的特征
Figure 615183DEST_PATH_IMAGE005
；将特征P进行上采样，得到语义分割特征
Figure 840759DEST_PATH_IMAGE006
；同时，将特征P输入一个卷积核为1×1的卷积层进行处理，使得输出的特征维度为背景类别数量+1（表示所有属于前景）；最后，进行上采样，得到初步语义分割结果
Figure 931074DEST_PATH_IMAGE007
。
因此，通过步骤S301~ S305即可利用语义分割头部网络，快速地得到图片的初步语义分割结果Msem。
如图4所示，所述通过前景图神经网络对原始前景图进行处理以生成新前景图，通过前景类别概率对新前景图进行处理以生成实例分类结果，并根据掩膜结果从实例分类结果中提取目标实例分割掩膜的步骤包括：
S401，通过前景图神经网络对原始前景图进行节点特征的传播及节点表示的更新，以生成新前景图。
原始前景图
Figure 424241DEST_PATH_IMAGE008
经过一个两层的前景图神经网络Gf进行节点特征的传播和节点表示的更新，得到新前景图
Figure 676231DEST_PATH_IMAGE009
。
S402，对前景类别概率中的每一行向量分别进行归一化处理，将每一归一化结果分别作为实例注意力系数，将每一实例注意力系数与新前景图分别相乘以生成加权结果，将每一行的加权结果相加并求均值以生成实例一维向量。
需要说明的是，每个候选区域的前景类别概率Cins中，每一行代表一个候选区域对应的前景类别概率，每一行的向量Cins_i为一个1×（Cf+1）的向量，因此，对行向量进行一个softmax（softmax是一个常用的映射函数，能够把输入映射为0-1之间的实数，并且归一化保证和为1）的操作，使得前景类别概率Cins都归一到0到1之间；然后，以此作为实例注意力系数，和新前景图Nins_g进行相乘；相乘后，对每一行对应的值进行相加并求均值，得到一个图的一维向量
Figure 576054DEST_PATH_IMAGE010
。由于有N个候选区域的行向量，因此会得到N个一维向量Nins_rep。
S403，将实例一维向量与初步特征图中对应的行向量进行拼接，以生成新实例特征图
Figure 955214DEST_PATH_IMAGE011
。
将对应的一维向量Nins_rep与初步特征图X对应的行向量进行拼接，得到新特征图
Figure 319199DEST_PATH_IMAGE012
。
S404，通过全连接层对所述新实例特征图进行处理，以生成实例分类结果
Figure 11866DEST_PATH_IMAGE013
。
令新特征图Xg再经过一个全连接层，输出维度为
Figure 461302DEST_PATH_IMAGE014
，得到最终的实例分类结果
Figure 644152DEST_PATH_IMAGE013
。
S405，提取实例分类结果中每一行的概率最大值，根据所述概率最大值提取候选区域对应的类别，并根据所述类别提取对应的掩模结果以得到目标实例分割掩膜。
对实例分类结果Cins_g每一行的概率取最大值，选出该候选区域对应的类别，并使用该类别选取对应的掩模，得到目标实例分割掩膜Mins_g。
因此，本发明使用实例分割头部网络的前景类别概率Cins作为实例注意力系数，并将实例注意力系数与新前景图Nins_g进行结合，再将结合结果
Figure 597065DEST_PATH_IMAGE010
和用于分类的初步特征图X进行拼接，通过一个全连接层，重新得到纠正后的实例分类结果Cins_g，以此选出最终的目标实例分割掩膜Mins_g。
如图5所示，所述通过背景图神经网络对原始背景图进行处理以生成新背景图，通过背景类别概率及初步语义分割结果对新背景图进行处理以生成目标语义分割结果的步骤包括：
S501，通过背景图神经网络对原始背景图进行节点特征的传播及节点表示的更新，以生成新背景图。
原始背景图
Figure 705704DEST_PATH_IMAGE015
，经过一个两层的背景图神经网络Gb进行节点特征的传播和节点表示的更新，得到新背景图
Figure 314540DEST_PATH_IMAGE016
。
S502，对背景类别概率中的每一行向量分别进行归一化处理，将所有归一化结果相加以作为第一注意力系数。
提取背景类别概率
Figure 550349DEST_PATH_IMAGE017
，并对背景类别概率
Figure 374080DEST_PATH_IMAGE017
按行进行softmax操作，然后将所有行的值进行相加，作为从实例分割分支得到第一注意力系数
Figure 404353DEST_PATH_IMAGE018
。
S503，对初步语义分割结果中每一像素所对应的向量分别进行归一化处理，将每一归一化结果分别作为第二注意力系数。
提取初步语义分割结果Msem，由于初步语义分割结果Msem中每个像素值都由一个
Figure 500485DEST_PATH_IMAGE019
的向量表示，该向量经过softmax进行归一化后，作为第二注意力系数
Figure 526603DEST_PATH_IMAGE020
。
S504，将每一第二注意力系数与第一注意力系数分别相加并求均值以作为语义注意力系数，将每一语义注意力系数与新背景图分别相乘以生成加权结果，将每一行的加权结果相加并求均值以生成语义一维向量。
需要说明的是，由于初步语义分割结果有H×W个像素，因此有H×W个第二注意力系数
Figure 454108DEST_PATH_IMAGE021
；将每个第二注意力系数
Figure 468331DEST_PATH_IMAGE021
和第一注意力系数
Figure 363344DEST_PATH_IMAGE022
相加并求均值，作为语义注意力系数，和新背景图Nsem_g相乘；相乘后，对加权后的图表示每一行对应的值进行相加并求均值，得到一个图的一维向量
Figure 675376DEST_PATH_IMAGE023
；本发明中一共会得到H×W个一维向量Nsem_rep。
S505，将每一语义一维向量与语义分割特征中对应像素的向量分别进行拼接，以生成新语义特征图。
将对应的语义一维向量Nsem_rep与步骤S302得到的特征Y中对应像素的向量进行拼接，得到新的特征图
Figure 660650DEST_PATH_IMAGE024
。
S506，将新语义特征图输入卷积层，以生成目标语义分割结果。
将新语义特征图Yg输入一个卷积核为1×1的卷积层后，得到最终的目标语义分割结果Msem_g。
因此，本发明将实例分割头部网络的背景类别概率Pb和语义分割头部网络的初步语义分割结果Msem进行加权求均值，作为语义注意力系数，并将语义注意力系数与新背景图Nsem_g进行结合，再将结合结果
Figure 783458DEST_PATH_IMAGE025
拼接到语义分割特征Y上，再经过一个卷积层，得到经过纠正的目标语义分割结果Msem_g。
结合图6可知，本发明基于图神经网络的全景分割方法能够考虑前景之间、背景之间以及前景和背景之间的关系，利用了注意力机制来分配权重，从而能够更好地纠正错误的预测结果，让全景分割网络预测得更加准确，且网络的解释性更强。
参见图7，图7显示了本发明基于图神经网络的全景分割系统100的具体结构，其包括：
特征提取单元1，用于通过ResNet-50网络及FPN网络对图片进行特征提取，以提取多个目标特征。具体地，先通过ResNet-50网络对图片进行特征提取以提取初步特征，再通过FPN网络对所述初步特征进行特征提取以提取多个目标特征。
初步分割单元2，用于通过实例分割头部网络并根据所述目标特征以得到图片的前景类别概率、背景类别概率及掩膜结果，通过语义分割头部网络并根据所述目标特征以得到图片的初步语义分割结果。具体地，通过RPN网络对每一目标特征分别进行处理，以生成多个候选区域；对每一候选区域分别进行池化处理，以生成候选区域特征；通过全连接层对每一候选区域特征分别进行处理，以生成初步特征图；通过全连接层对每一初步特征图进行处理，以生成前景类别概率；通过全连接层对每一初步特征图进行处理，以生成背景类别概率；对每一候选区域特征分别进行卷积处理，以生成每一类别的掩模结果。另外，还对每一目标特征分别进行上采样处理；将所有上采样结果相加，以生成特征；将所述特征进行上采样处理，以生成语义分割特征；将所述特征进行卷积处理；将卷积结果进行上采样处理，以生成初步语义分割结果。
实例分割单元3，用于通过前景图神经网络对原始前景图进行处理以生成新前景图，通过所述前景类别概率对所述新前景图进行处理以生成实例分类结果，并根据所述掩膜结果从所述实例分类结果中提取目标实例分割掩膜。具体地，通过前景图神经网络对原始前景图进行节点特征的传播及节点表示的更新，以生成新前景图；对所述前景类别概率中的每一行向量分别进行归一化处理，将每一归一化结果分别作为实例注意力系数，将每一实例注意力系数与新前景图分别相乘以生成加权结果，将每一行的加权结果相加并求均值以生成实例一维向量；将所述实例一维向量与初步特征图中对应的行向量进行拼接，以生成新实例特征图；通过全连接层对所述新实例特征图进行处理，以生成实例分类结果；提取实例分类结果中每一行的概率最大值，根据所述概率最大值提取候选区域对应的类别，并根据所述类别提取对应的掩模结果以得到目标实例分割掩膜。
语义分割单元4，用于通过背景图神经网络对原始背景图进行处理以生成新背景图，通过所述背景类别概率及初步语义分割结果对所述新背景图进行处理以生成目标语义分割结果。具体地，通过背景图神经网络对原始背景图进行节点特征的传播及节点表示的更新，以生成新背景图；对所述背景类别概率中的每一行向量分别进行归一化处理，将所有归一化结果相加以作为第一注意力系数；对所述初步语义分割结果中每一像素所对应的向量分别进行归一化处理，将每一归一化结果分别作为第二注意力系数；将每一第二注意力系数与第一注意力系数分别相加并求均值以作为语义注意力系数，将每一语义注意力系数与新背景图分别相乘以生成加权结果，将每一行的加权结果相加并求均值以生成语义一维向量；将每一语义一维向量与所述语义分割特征中对应像素的向量分别进行拼接，以生成新语义特征图；将所述新语义特征图输入卷积层，以生成目标语义分割结果。
全景分割单元5，用于采用启发式算法对所述目标实例分割掩膜及目标语义分割结果进行融合，生成全景分割结果。需要说明的是，对于图片中的每一个像素，优先采用目标实例分割掩膜Mins_g中的标签，如果一个像素在目标实例分割掩膜Mins_g中没有标签，则给该像素赋值目标语义分割结果Msem_g中的标签。
因此，本发明能够考虑前景之间、背景之间以及前景和背景之间的关系，利用了注意力机制来分配权重，从而能够更好地纠正错误的预测结果，让全景分割网络对图片数据预测得更加准确，且网络的解释性更强。同时，本发明的图节点使用语义的词嵌入表示，和视觉特征一起进行特征提取，相当于将语义信息和视觉信息相结合，给网络提供了更丰富的信息，也更符合人类的推理过程。
相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述全景分割方法的步骤。同时，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述全景分割方法的步骤。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种基于图神经网络的全景分割方法，其特征在于，包括：
通过ResNet-50网络及FPN网络对图片进行特征提取，以提取多个目标特征；
通过实例分割头部网络并根据所述目标特征以得到图片的前景类别概率、背景类别概率及掩膜结果，通过语义分割头部网络并根据所述目标特征以得到图片的初步语义分割结果；
通过前景图神经网络对原始前景图进行处理以生成新前景图，通过所述前景类别概率对所述新前景图进行处理以生成实例分类结果，并根据所述掩膜结果从所述实例分类结果中提取目标实例分割掩膜；
通过背景图神经网络对原始背景图进行处理以生成新背景图，通过所述背景类别概率及初步语义分割结果对所述新背景图进行处理以生成目标语义分割结果；
采用启发式算法对所述目标实例分割掩膜及目标语义分割结果进行融合，生成全景分割结果。
2.如权利要求1所述的基于图神经网络的全景分割方法，其特征在于，所述通过ResNet-50网络及FPN网络对图片进行特征提取，以提取多个目标特征的步骤包括：
通过ResNet-50网络对图片进行特征提取，以提取初步特征；
通过FPN网络对所述初步特征进行特征提取，以提取多个目标特征。
3.如权利要求1所述的基于图神经网络的全景分割方法，其特征在于，所述通过实例分割头部网络并根据目标特征以得到图片的前景类别概率、背景类别概率及掩膜结果的步骤包括：
通过RPN网络对每一目标特征分别进行处理，以生成多个候选区域；
对每一候选区域分别进行池化处理，以生成候选区域特征；
通过全连接层对每一候选区域特征分别进行处理，以生成初步特征图；
通过全连接层对每一初步特征图进行处理，以生成前景类别概率；
通过全连接层对每一初步特征图进行处理，以生成背景类别概率；
对每一候选区域特征分别进行卷积处理，以生成每一类别的掩模结果。
4.如权利要求3所述的基于图神经网络的全景分割方法，其特征在于，所述通过语义分割头部网络并根据目标特征以得到图片的初步语义分割结果的步骤包括：
对每一目标特征分别进行上采样处理；
将所有上采样结果相加，以生成特征；
将所述特征进行上采样处理，以生成语义分割特征；
将所述特征进行卷积处理；
将卷积结果进行上采样处理，以生成初步语义分割结果。
5.如权利要求3所述的基于图神经网络的全景分割方法，其特征在于，所述通过前景图神经网络对原始前景图进行处理以生成新前景图，通过前景类别概率对新前景图进行处理以生成实例分类结果，并根据掩膜结果从实例分类结果中提取目标实例分割掩膜的步骤包括：
通过前景图神经网络对原始前景图进行节点特征的传播及节点表示的更新，以生成新前景图；
对所述前景类别概率中的每一行向量分别进行归一化处理，将每一归一化结果分别作为实例注意力系数，将每一实例注意力系数与新前景图分别相乘以生成加权结果，将每一行的加权结果相加并求均值以生成实例一维向量；
将所述实例一维向量与初步特征图中对应的行向量进行拼接，以生成新实例特征图；
通过全连接层对所述新实例特征图进行处理，以生成实例分类结果；
提取实例分类结果中每一行的概率最大值，根据所述概率最大值提取候选区域对应的类别，并根据所述类别提取对应的掩模结果以得到目标实例分割掩膜。
6.如权利要求4所述的基于图神经网络的全景分割方法，其特征在于，所述通过背景图神经网络对原始背景图进行处理以生成新背景图，通过背景类别概率及初步语义分割结果对新背景图进行处理以生成目标语义分割结果的步骤包括：
通过背景图神经网络对原始背景图进行节点特征的传播及节点表示的更新，以生成新背景图；
对所述背景类别概率中的每一行向量分别进行归一化处理，将所有归一化结果相加以作为第一注意力系数；
对所述初步语义分割结果中每一像素所对应的向量分别进行归一化处理，将每一归一化结果分别作为第二注意力系数；
将每一第二注意力系数与第一注意力系数分别相加并求均值以作为语义注意力系数，将每一语义注意力系数与新背景图分别相乘以生成加权结果，将每一行的加权结果相加并求均值以生成语义一维向量；
将每一语义一维向量与所述语义分割特征中对应像素的向量分别进行拼接，以生成新语义特征图；
将所述新语义特征图输入卷积层，以生成目标语义分割结果。
7.如权利要求1所述的基于图神经网络的全景分割方法，其特征在于，所述采用启发式算法对目标实例分割掩膜及目标语义分割结果进行融合，生成全景分割结果的步骤包括：
判断图片中的像素在所述目标实例分割掩膜中是否存在对应的标签；
判断为是时，则将所述目标实例分割掩膜中对应的标签赋值给所述像素；
判断为否是，则将所述目标语义分割结果中对应的标签赋值给所述像素。
8.一种基于图神经网络的全景分割系统，其特征在于，包括：
特征提取单元，用于通过ResNet-50网络及FPN网络对图片进行特征提取，以提取多个目标特征；
初步分割单元，用于通过实例分割头部网络并根据所述目标特征以得到图片的前景类别概率、背景类别概率及掩膜结果，通过语义分割头部网络并根据所述目标特征以得到图片的初步语义分割结果；
实例分割单元，用于通过前景图神经网络对原始前景图进行处理以生成新前景图，通过所述前景类别概率对所述新前景图进行处理以生成实例分类结果，并根据所述掩膜结果从所述实例分类结果中提取目标实例分割掩膜；
语义分割单元，用于通过背景图神经网络对原始背景图进行处理以生成新背景图，通过所述背景类别概率及初步语义分割结果对所述新背景图进行处理以生成目标语义分割结果；
全景分割单元，用于采用启发式算法对所述目标实例分割掩膜及目标语义分割结果进行融合，生成全景分割结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010521249.2A 2020-06-10 2020-06-10 基于图神经网络的全景分割方法、系统、设备及存储介质 Active CN111428726B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010521249.2A CN111428726B (zh) 2020-06-10 2020-06-10 基于图神经网络的全景分割方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010521249.2A CN111428726B (zh) 2020-06-10 2020-06-10 基于图神经网络的全景分割方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111428726A true CN111428726A (zh) 2020-07-17
CN111428726B CN111428726B (zh) 2020-09-11

Family

ID=71551303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010521249.2A Active CN111428726B (zh) 2020-06-10 2020-06-10 基于图神经网络的全景分割方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111428726B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768425A (zh) * 2020-07-23 2020-10-13 腾讯科技（深圳）有限公司 图像处理方法、装置及设备
CN112016569A (zh) * 2020-07-24 2020-12-01 驭势科技(南京)有限公司 基于注意力机制的目标检测方法、网络、设备和存储介质
CN112070793A (zh) * 2020-09-11 2020-12-11 北京邮电大学 一种目标提取方法及装置
CN112183301A (zh) * 2020-09-23 2021-01-05 武汉大势智慧科技有限公司 一种建筑物楼层智能识别方法及装置
CN112241481A (zh) * 2020-10-09 2021-01-19 中国人民解放军国防科技大学 基于图神经网络的跨模态新闻事件分类方法及系统
CN112256906A (zh) * 2020-10-23 2021-01-22 安徽启新明智科技有限公司 在显示屏上标记批注的方法、装置和存储介质
CN112465800A (zh) * 2020-12-09 2021-03-09 北京航空航天大学 一种使用分类注意力模块校正分类错误的实例分割方法
CN112489060A (zh) * 2020-12-07 2021-03-12 北京医准智能科技有限公司 一种用于肺炎病灶分割的系统及方法
CN112509151A (zh) * 2020-12-11 2021-03-16 华中师范大学 一种教学场景中虚拟对象的真实感生成方法
CN112507950A (zh) * 2020-12-18 2021-03-16 中国科学院空天信息创新研究院 一种生成对抗式多任务多要素样本自动标注方法及装置
CN112766165A (zh) * 2021-01-20 2021-05-07 燕山大学 基于深度神经网络与全景分割的跌倒预判方法
CN112802039A (zh) * 2021-01-26 2021-05-14 桂林电子科技大学 一种基于全局边缘注意力的全景分割方法
CN112802038A (zh) * 2021-01-26 2021-05-14 桂林电子科技大学 一种基于多尺度边缘注意力的全景分割方法
CN112927354A (zh) * 2021-02-25 2021-06-08 电子科技大学 基于实例分割的三维重建方法、系统、存储介质及终端
CN113052858A (zh) * 2021-03-23 2021-06-29 电子科技大学 一种基于语义流的全景分割方法
CN113096136A (zh) * 2021-03-30 2021-07-09 电子科技大学 一种基于深度学习的全景分割方法
CN113128386A (zh) * 2021-04-13 2021-07-16 深圳市锐明技术股份有限公司 一种障碍物识别方法、障碍物识别装置及电子设备
CN113536905A (zh) * 2021-06-03 2021-10-22 大连民族大学 时频域联合全景分割卷积神经网络及应用
CN113553905A (zh) * 2021-06-16 2021-10-26 北京百度网讯科技有限公司 图像识别方法、装置及系统
CN113902765A (zh) * 2021-12-10 2022-01-07 聚时科技(江苏)有限公司 基于全景分割的半导体自动分区方法
CN114445632A (zh) * 2022-02-08 2022-05-06 支付宝(杭州)信息技术有限公司 图片处理方法及装置
WO2022193497A1 (en) * 2021-03-17 2022-09-22 Huawei Technologies Co., Ltd. Method and system for graph-based panoptic segmentation
CN117475410A (zh) * 2023-12-27 2024-01-30 山东海润数聚科技有限公司 基于前景点筛选的三维目标检测方法、系统、设备、介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530305A (zh) * 2016-09-23 2017-03-22 北京市商汤科技开发有限公司 语义分割模型训练和图像分割方法及装置、计算设备
CN106529565A (zh) * 2016-09-23 2017-03-22 北京市商汤科技开发有限公司 目标识别模型训练和目标识别方法及装置、计算设备
CN109801297A (zh) * 2019-01-14 2019-05-24 浙江大学 一种基于卷积实现的图像全景分割预测优化方法
CN109949317A (zh) * 2019-03-06 2019-06-28 东南大学 基于逐步对抗学习的半监督图像实例分割方法
CN110008808A (zh) * 2018-12-29 2019-07-12 北京迈格威科技有限公司 全景分割方法、装置和系统及存储介质
CN110598600A (zh) * 2019-08-27 2019-12-20 广东工业大学 一种基于unet神经网络的遥感图像云检测方法
US10635927B2 (en) * 2017-03-06 2020-04-28 Honda Motor Co., Ltd. Systems for performing semantic segmentation and methods thereof

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530305A (zh) * 2016-09-23 2017-03-22 北京市商汤科技开发有限公司 语义分割模型训练和图像分割方法及装置、计算设备
CN106529565A (zh) * 2016-09-23 2017-03-22 北京市商汤科技开发有限公司 目标识别模型训练和目标识别方法及装置、计算设备
US10635927B2 (en) * 2017-03-06 2020-04-28 Honda Motor Co., Ltd. Systems for performing semantic segmentation and methods thereof
CN110008808A (zh) * 2018-12-29 2019-07-12 北京迈格威科技有限公司 全景分割方法、装置和系统及存储介质
CN109801297A (zh) * 2019-01-14 2019-05-24 浙江大学 一种基于卷积实现的图像全景分割预测优化方法
CN109949317A (zh) * 2019-03-06 2019-06-28 东南大学 基于逐步对抗学习的半监督图像实例分割方法
CN110598600A (zh) * 2019-08-27 2019-12-20 广东工业大学 一种基于unet神经网络的遥感图像云检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ALEXANDER KIRILLOV 等: "Panoptic Feature Pyramid Networks", 《ARXIV:1901.02446V2》 *
周凡 等: "面向三维模型分割的边界感知点云神经网络", 《计算机辅助设计与图形学学报》 *

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768425A (zh) * 2020-07-23 2020-10-13 腾讯科技（深圳）有限公司 图像处理方法、装置及设备
CN111768425B (zh) * 2020-07-23 2021-08-10 腾讯科技（深圳）有限公司 图像处理方法、装置及设备
CN112016569A (zh) * 2020-07-24 2020-12-01 驭势科技(南京)有限公司 基于注意力机制的目标检测方法、网络、设备和存储介质
CN112070793A (zh) * 2020-09-11 2020-12-11 北京邮电大学 一种目标提取方法及装置
CN112183301A (zh) * 2020-09-23 2021-01-05 武汉大势智慧科技有限公司 一种建筑物楼层智能识别方法及装置
CN112241481A (zh) * 2020-10-09 2021-01-19 中国人民解放军国防科技大学 基于图神经网络的跨模态新闻事件分类方法及系统
CN112241481B (zh) * 2020-10-09 2024-01-19 中国人民解放军国防科技大学 基于图神经网络的跨模态新闻事件分类方法及系统
CN112256906A (zh) * 2020-10-23 2021-01-22 安徽启新明智科技有限公司 在显示屏上标记批注的方法、装置和存储介质
CN112489060A (zh) * 2020-12-07 2021-03-12 北京医准智能科技有限公司 一种用于肺炎病灶分割的系统及方法
CN112465800A (zh) * 2020-12-09 2021-03-09 北京航空航天大学 一种使用分类注意力模块校正分类错误的实例分割方法
CN112465800B (zh) * 2020-12-09 2022-07-29 北京航空航天大学 一种使用分类注意力模块校正分类错误的实例分割方法
CN112509151A (zh) * 2020-12-11 2021-03-16 华中师范大学 一种教学场景中虚拟对象的真实感生成方法
US11282404B1 (en) 2020-12-11 2022-03-22 Central China Normal University Method for generating sense of reality of virtual object in teaching scene
CN112507950A (zh) * 2020-12-18 2021-03-16 中国科学院空天信息创新研究院 一种生成对抗式多任务多要素样本自动标注方法及装置
CN112766165A (zh) * 2021-01-20 2021-05-07 燕山大学 基于深度神经网络与全景分割的跌倒预判方法
CN112766165B (zh) * 2021-01-20 2022-03-22 燕山大学 基于深度神经网络与全景分割的跌倒预判方法
CN112802038A (zh) * 2021-01-26 2021-05-14 桂林电子科技大学 一种基于多尺度边缘注意力的全景分割方法
CN112802039A (zh) * 2021-01-26 2021-05-14 桂林电子科技大学 一种基于全局边缘注意力的全景分割方法
CN112802038B (zh) * 2021-01-26 2022-05-24 桂林电子科技大学 一种基于多尺度边缘注意力的全景分割方法
CN112802039B (zh) * 2021-01-26 2022-03-01 桂林电子科技大学 一种基于全局边缘注意力的全景分割方法
CN112927354B (zh) * 2021-02-25 2022-09-09 电子科技大学 基于实例分割的三维重建方法、系统、存储介质及终端
CN112927354A (zh) * 2021-02-25 2021-06-08 电子科技大学 基于实例分割的三维重建方法、系统、存储介质及终端
US11816841B2 (en) 2021-03-17 2023-11-14 Huawei Technologies Co., Ltd. Method and system for graph-based panoptic segmentation
WO2022193497A1 (en) * 2021-03-17 2022-09-22 Huawei Technologies Co., Ltd. Method and system for graph-based panoptic segmentation
CN113052858A (zh) * 2021-03-23 2021-06-29 电子科技大学 一种基于语义流的全景分割方法
CN113052858B (zh) * 2021-03-23 2023-02-14 电子科技大学 一种基于语义流的全景分割方法
CN113096136A (zh) * 2021-03-30 2021-07-09 电子科技大学 一种基于深度学习的全景分割方法
CN113128386B (zh) * 2021-04-13 2024-02-09 深圳市锐明技术股份有限公司 一种障碍物识别方法、障碍物识别装置及电子设备
CN113128386A (zh) * 2021-04-13 2021-07-16 深圳市锐明技术股份有限公司 一种障碍物识别方法、障碍物识别装置及电子设备
CN113536905B (zh) * 2021-06-03 2023-08-25 大连民族大学 时频域联合全景分割卷积神经网络及应用
CN113536905A (zh) * 2021-06-03 2021-10-22 大连民族大学 时频域联合全景分割卷积神经网络及应用
CN113553905A (zh) * 2021-06-16 2021-10-26 北京百度网讯科技有限公司 图像识别方法、装置及系统
CN113553905B (zh) * 2021-06-16 2024-04-26 北京百度网讯科技有限公司 图像识别方法、装置及系统
CN113902765B (zh) * 2021-12-10 2022-04-12 聚时科技(江苏)有限公司 基于全景分割的半导体自动分区方法
CN113902765A (zh) * 2021-12-10 2022-01-07 聚时科技(江苏)有限公司 基于全景分割的半导体自动分区方法
CN114445632A (zh) * 2022-02-08 2022-05-06 支付宝(杭州)信息技术有限公司 图片处理方法及装置
CN117475410A (zh) * 2023-12-27 2024-01-30 山东海润数聚科技有限公司 基于前景点筛选的三维目标检测方法、系统、设备、介质
CN117475410B (zh) * 2023-12-27 2024-03-15 山东海润数聚科技有限公司 基于前景点筛选的三维目标检测方法、系统、设备、介质

Also Published As

Publication number Publication date
CN111428726B (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN111428726B (zh) 基于图神经网络的全景分割方法、系统、设备及存储介质
US10210418B2 (en) Object detection system and object detection method
CN109859190B (zh) 一种基于深度学习的目标区域检测方法
WO2021164228A1 (zh) 一种图像数据的增广策略选取方法及系统
CN110599448B (zh) 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统
CN108304835B (zh) 文字检测方法和装置
US10910099B2 (en) Segmentation, landmark detection and view classification using multi-task learning
CN109241913B (zh) 结合显著性检测和深度学习的船只检测方法及系统
WO2022033095A1 (zh) 一种文本区域的定位方法及装置
CN111488826A (zh) 一种文本识别方法、装置、电子设备和存储介质
CN110163207B (zh) 一种基于Mask-RCNN船舶目标定位方法及存储设备
CN109685765B (zh) 一种基于卷积神经网络的x光片肺炎结果预测装置
CN114969405A (zh) 一种跨模态图文互检方法
CN114937086B (zh) 多图像目标检测的训练方法、检测方法及相关产品
CN112132815B (zh) 肺结节检测模型训练方法、检测方法及装置
WO2021032062A1 (zh) 图像处理模型生成方法、图像处理方法、装置及电子设备
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN115512103A (zh) 多尺度融合遥感图像语义分割方法及系统
CN111626295A (zh) 车牌检测模型的训练方法和装置
CN111652181B (zh) 目标跟踪方法、装置及电子设备
CN115063425A (zh) 基于读片知识图谱的结构化检查所见生成方法及系统
CN112907575B (zh) 人脸质量评估方法、装置及电子设备
CN116452810A (zh) 一种多层次语义分割方法、装置、电子设备及存储介质
CN115393635A (zh) 一种基于超像素分割以及数据增强的红外小目标检测方法
CN112884702A (zh) 一种基于内窥镜图像的息肉识别系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
OL01 Intention to license declared