CN112926596B - 基于循环神经网络的实时超像素分割方法及系统 - Google Patents

基于循环神经网络的实时超像素分割方法及系统 Download PDF

Info

Publication number
CN112926596B
CN112926596B CN202110185464.4A CN202110185464A CN112926596B CN 112926596 B CN112926596 B CN 112926596B CN 202110185464 A CN202110185464 A CN 202110185464A CN 112926596 B CN112926596 B CN 112926596B
Authority
CN
China
Prior art keywords
neural network
recurrent neural
superpixel
real
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110185464.4A
Other languages
English (en)
Other versions
CN112926596A (zh
Inventor
桑新柱
叶晓倩
刘博阳
陈铎
王鹏
颜玢玢
王葵如
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202110185464.4A priority Critical patent/CN112926596B/zh
Publication of CN112926596A publication Critical patent/CN112926596A/zh
Application granted granted Critical
Publication of CN112926596B publication Critical patent/CN112926596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于循环神经网络的实时超像素分割方法及系统，该方法包括：提取输入图像的特征，并对所述图像进行超像素关联图初始化；基于预设训练好的循环神经网络，对所述输入图像进行实时超像素分割，所述循环神经网络的输入是由超像素关联图初始化提取的初始输入和初始隐向量确定。本发明结合深度神经网络在特征提取和计算速度方面的优势，以及传统K‑means迭代聚类方法在超像素分割任务上的有效性和简单性，实现了实时超像素分割。

Description

基于循环神经网络的实时超像素分割方法及系统
技术领域
本发明涉及神经网络技术领域，尤其涉及一种基于循环神经网络的实时超像素分割方法及系统。
背景技术
在计算机视觉领域，超像素为由具有相似纹理、颜色、亮度等特征的相邻像素构成的有一定视觉意义的不规则像素块。超像素能够有效利用空间，颜色约束信息，在强化图像局部一致性同时保留原始图像边界信息，具有一定的抗噪性。此外，超像素利用像素间相似性有效去除图像中冗余信息，提供了图像数据的紧凑表示，降低后续图像处理任务的复杂程度，广泛应用于语义分割，显著性检测，深度估计等视觉问题中。
传统的超像素分割粗略可以分为基于聚类，图论，轮廓演化和能量优化等的方法。这些方法各有侧重，比如经典的normalized cuts方法虽然可以产生十分规则的超像素，但是需要耗费大量的运算时间，且边缘附着性较差；graph-based超像素算法可以快速生成超像素，但是超像素形状和尺寸十分不规则，也无法控制超像素数目和紧凑性。DNN在计算机视觉中广泛应用，但是在超像素分割任务上却应用不多。
因此，现在亟需一种基于循环神经网络的实时超像素分割方法及系统来解决上述问题。
发明内容
针对现有技术存在的问题，本发明提供一种基于循环神经网络的实时超像素分割方法及系统。
本发明提供一种基于循环神经网络的实时超像素分割方法，包括：
提取输入图像的特征，并对所述图像进行超像素关联图初始化；
基于预设训练好的循环神经网络，对所述输入图像进行实时超像素分割，所述循环神经网络的输入是由超像素关联图初始化提取的初始输入和初始隐向量确定。
根据本发明提供的一种基于循环神经网络的实时超像素分割方法，所述提取输入图像的特征，包括：
基于预设的特征提取网络，提取输入图像的初始特征。
根据本发明提供的一种基于循环神经网络的实时超像素分割方法，所述对所述图像进行超像素关联图初始化，包括：
基于所述输入图像的大小以及预设的超像素大小，使用规则网络初始化超像素分割。
根据本发明提供的一种基于循环神经网络的实时超像素分割方法，所述基于预设训练好的循环神经网络，对所述输入图像进行实时超像素分割，包括：
构建所述循环神经网络的初始输入和初始隐向量；
基于所述初始输入和初始隐向量，循环迭代，更新特征和超像素关联图；
通过监督训练，得到训练后的循环神经网络。
根据本发明提供的一种基于循环神经网络的实时超像素分割方法，所述通过监督训练，得到训练后的循环神经网络，包括：
使用语义特征和位置特征作为监督特征，对构建的循环神经网络进行监督训练，得到训练后的循环神经网络。
根据本发明提供的一种基于循环神经网络的实时超像素分割方法，所述方法还包括：
超像素数目按照预设值进行控制，以使得超像素分割速度达到50fps以上。
本发明还提供一种基于循环神经网络的实时超像素分割系统，包括：
初始化模块，用于提取输入图像的特征，并对所述图像进行超像素关联图初始化；
超像素分割模块，用于基于预设训练好的循环神经网络，对所述输入图像进行实时超像素分割，所述循环神经网络的输入是由超像素关联图初始化提取的初始输入和初始隐向量确定。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于循环神经网络的实时超像素分割方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于循环神经网络的实时超像素分割方法的步骤。
本发明提供的基于循环神经网络的实时超像素分割方法及系统，该方法结合深度神经网络在特征提取和计算速度方面的优势，以及传统K-means迭代聚类方法在超像素分割任务上的有效性和简单性，实现了实时超像素分割。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于循环神经网络的实时超像素分割方法的流程示意图；
图2为本发明提供的方法整体流程图；
图3为本发明提供的超像素初始化示意图；
图4为本发明提供的RNN循环迭代示意图；
图5为本发明提供的基于循环神经网络的实时超像素分割系统的结构示意图；
图6为本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的基于循环神经网络的实时超像素分割方法的流程示意图，如图1所示，本发明提供了一种基于循环神经网络的实时超像素分割方法，包括：
步骤101，提取输入图像的特征，并对所述图像进行超像素关联图初始化；
步骤102，基于预设训练好的循环神经网络，对所述输入图像进行实时超像素分割，所述循环神经网络的输入是由超像素关联图初始化提取的初始输入和初始隐向量确定。
图2为本发明提供的方法整体流程图，如图2所示，在步骤101中，本发明对输入图像进行了特征提取，和超像素关联图初始化，然后在步骤102中，通过训练好的循环神经网络，实现对输入图像的实时超像素分割。
本发明提供一种基于循环神经网络的实时超像素分割方法，该方法结合深度神经网络在特征提取和计算速度方面的优势，以及传统K-means迭代聚类方法在超像素分割任务上的有效性和简单性，实现了实时超像素分割。
在上述实施例的基础上，所述提取输入图像的特征，包括：
基于预设的特征提取网络，提取输入图像的初始特征。
在本发明中，提供的初始化步骤是通过卷积神经网络提取图像特征F_init，并初始化像素-超像素关联图Q_init。具体地，本发明使用1个卷积核大小为3*3的卷积层和1个卷积核大小为1*1的卷积层提取图像初始特征F_init，输出特征通道数为8。特征提取网络可以为任意卷积神经网络，为了简便，本发明只使用2个卷积层。
在上述实施例的基础上，所述对所述图像进行超像素关联图初始化，包括：
基于所述输入图像的大小以及预设的超像素大小，使用规则网络初始化超像素分割。
在本发明中，依据图像大小和手工设定的超像素大小，使用规则网络初始化超像素分割，图3为本发明提供的超像素初始化示意图，如图3所示，每个小方框代表初始化的一个超像素，超像素的大小(包含的像素数)可手工设定。像素-超像素关联图Q表示每个像素属于每个超像素的概率。为了减轻计算和存储负担，如图3所示，对于4号方框中所包含的每个像素，只考虑其属于邻域9个超像素的概率，即图中4号方框，0至3号方框以及5至8号方框，共9个邻域超像素。定义每个像素邻域9个超像素对应的全局超像素索引为P_9_SP，P_9_SP的大小为W×H×9，其中W×H为输入图像大小，9个通道依次表示9个邻域超像素，顺序如图3中方框序号所示。这样像素-超像素关联图Q只需要计算每个像素属于邻域9个超像素的概率，Q的大小同样为W×H×9。对于初始化的像素-超像素关联图Q_init的9个通道，第4个通道的值初始化为1，其余8个通道值初始为0。
在上述实施例的基础上，所述基于预设训练好的循环神经网络，对所述输入图像进行实时超像素分割，包括：
构建所述循环神经网络的初始输入和初始隐向量；
基于所述初始输入和初始隐向量，循环迭代，更新特征和超像素关联图；
通过监督训练，得到训练后的循环神经网络。
在本发明中，提取的特征F_init和初始化的像素-超像素关联图Q_init构建GRU单元的初始输入S_init和初始隐向量H_init。
对于初始化的隐向量H_init,使用输入图像I和提取的初始图像特征F_init在特征维度上concat得到，即H_init＝concatenate(I,F_init)。
由Q_init以及P_9_SP记录的邻域9个超像素，可以得到每个像素属于每个超像素的概率图Q_init′，对于N个超像素，Q_init′具有N个通道。为了简便，使用隐向量H_init作为GRU单元输入的初始特征F_GRU_init，依据K-means聚类原理，使用Q_init′对其进行聚类，得到N个超像素质心(聚类中心)C，大小为N×8，其中8为初始特征F_GRU_init的通道数：
Figure BDA0002942886020000061
在得到超像素聚类中心C后，将每个超像素聚类中心C的特征向量分发给属于该超像素的所有像素，即得到重构所有像素的特征F_GRU_init_recon，大小为W×H×8：
Figure BDA0002942886020000062
显式将以上初始特征，重构特征以及两者之间的差值concatenate作为GRU单元的初始输入，即S_init＝concatenate(F_GRU_init,F_GRU_init_recon,abs(F_GRU_init_recon-F_GRU_init))。
在上述实施例的基础上，所述通过监督训练，得到训练后的循环神经网络，包括：
使用语义特征和位置特征作为监督特征，对构建的循环神经网络进行监督训练，得到训练后的循环神经网络。
在本发明中，将得到GRU单元的初始输入S_init和初始隐向量H_init输入一个Conv-GRU单元中，网络输出新的隐向量H和新的像素-超像素关联图Q。使用Q代替上述实施例中的Q_init，重新构建S_init，并使用H代替上述实施例中的H_init，依此循环迭代。图4为本发明提供的RNN循环迭代示意图，循环神经网络RNN循环迭代过程如图4所示，网络以H_init和S_init作为初始输入，不断更新隐向量H和像素-超像素关联图Q。Conv-GRU单元共享参数，如下公式所示，其中，H表示隐向量，S表示输入，经过下列公式可以由输入隐向量Ht-1得到更新的隐向量Ht，更新的隐向量Ht经过一个卷积神经网络f输出更新的像素-超像素关联图Q。
zt＝σ(Conv3×3(Ht-1,St],Wz)；
rt＝σ(Conv3×3(Ht-1,St],Wr)；
Figure BDA0002942886020000074
Figure BDA0002942886020000071
Qt＝f(Ht)；
对于每次迭代得到的像素-超像素概率图Q，使用语义特征Sem和空间位置特征Pos作为监督特征。Sem特征表示每个像素属于的语义类别，选择最大语义类别为30，则Sem特征大小为W×H×30，pos特征表示每个像素的x,y坐标，则Pos特征大小为W×H×2。依据上述公式：
Figure BDA0002942886020000072
和公式：
Figure BDA0002942886020000073
分别使用语义特征Sem和空间位置特征Pos替代GRU初始特征F_GRU_init，可得重构的监督特征Sem_recon和Pos_recon。
Figure BDA0002942886020000081
Figure BDA0002942886020000082
Figure BDA0002942886020000083
Figure BDA0002942886020000084
则监督损失分别为语义特征Sem和重构的语义特征Sem_recon之间的交叉熵损失，以及空间位置特征Pos和重构的空间位置特征Pos_recon之间的L2损失加权和：
Loss＝Lpos+Lsem；
Lsem＝CE(Sem,Semrecon)；
Lpos＝||Pos-Posrecon||2；
在上述实施例的基础上，所述方法还包括：
超像素数目按照预设值进行控制，以使得超像素分割速度达到50fps以上。
在本发明中，对于单张480*320图像，在单张GPU上的超像素分割速度可达50fps，且超像素数目可控。通过在测试集上进行超像素分割，所得到的实时超像素分割结果，既能很好的附着图像边缘，也具有一定的规则性和紧凑型。
图5为本发明提供的基于循环神经网络的实时超像素分割系统的结构示意图，如图5所示，本发明提供了一种基于循环神经网络的实时超像素分割系统，包括初始化模块501和超像素分割模块502，其中，初始化模块501用于提取输入图像的特征，并对所述图像进行超像素关联图初始化；超像素分割模块502用于基于预设训练好的循环神经网络，对所述输入图像进行实时超像素分割，所述循环神经网络的输入是由超像素关联图初始化提取的初始输入和初始隐向量确定。
本发明提供的基于循环神经网络的实时超像素分割系统，该系统结合深度神经网络在特征提取和计算速度方面的优势，以及传统K-means迭代聚类方法在超像素分割任务上的有效性和简单性，实现了实时超像素分割。
本发明提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
图6为本发明提供的电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器(processor)601、通信接口(CommunicationsInterface)602、存储器(memory)603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信。处理器601可以调用存储器603中的逻辑指令，以执行基于循环神经网络的实时超像素分割方法，该方法包括：提取输入图像的特征，并对所述图像进行超像素关联图初始化；基于预设训练好的循环神经网络，对所述输入图像进行实时超像素分割，所述循环神经网络的输入是由超像素关联图初始化提取的初始输入和初始隐向量确定。
此外，上述的存储器603中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于循环神经网络的实时超像素分割方法，该方法包括：提取输入图像的特征，并对所述图像进行超像素关联图初始化；基于预设训练好的循环神经网络，对所述输入图像进行实时超像素分割，所述循环神经网络的输入是由超像素关联图初始化提取的初始输入和初始隐向量确定。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于循环神经网络的实时超像素分割方法，该方法包括：提取输入图像的特征，并对所述图像进行超像素关联图初始化；基于预设训练好的循环神经网络，对所述输入图像进行实时超像素分割，所述循环神经网络的输入是由超像素关联图初始化提取的初始输入和初始隐向量确定。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种基于循环神经网络的实时超像素分割方法，其特征在于，包括：
提取输入图像的特征，并对所述图像进行超像素关联图初始化；
基于预设训练好的循环神经网络，对所述输入图像进行实时超像素分割，所述循环神经网络的输入是由超像素关联图初始化提取的初始输入和初始隐向量确定；
所述基于预设训练好的循环神经网络，对所述输入图像进行实时超像素分割，包括：
构建所述循环神经网络的初始输入和初始隐向量；
基于所述初始输入和初始隐向量，循环迭代，更新特征和超像素关联图，公式为：
zt＝σ(Conv3×3(Ht-1,St],Wz)；
rt＝σ(Conv3×3(Ht-1,St],Wr)；
Figure FDA0003933132230000011
Figure FDA0003933132230000012
Qt＝f(Ht)；
其中，Ht表示更新的隐向量，S表示输入，Qt表示更新的超像素关联图；
通过监督训练，得到训练后的循环神经网络；
所述通过监督训练，得到训练后的循环神经网络，包括：
使用语义特征和位置特征作为监督特征，对构建的循环神经网络进行监督训练，得到训练后的循环神经网络；
其中，基于公式：
Figure FDA0003933132230000013
和公式：
Figure FDA0003933132230000021
分别使用语义特征Sem和位置特征Pos代替GRU初始特征F_GRU_init，得到重构的监督特征Sem_recon和Pos_recon；
其中，C表示超像素质心，Q_init′表示每个像素属于每个超像素的概率图。
2.根据权利要求1所述的基于循环神经网络的实时超像素分割方法，其特征在于，所述提取输入图像的特征，包括：
基于预设的特征提取网络，提取输入图像的初始特征。
3.根据权利要求2所述的基于循环神经网络的实时超像素分割方法，其特征在于，所述对所述图像进行超像素关联图初始化，包括：
基于所述输入图像的大小以及预设的超像素大小，使用规则网络初始化超像素分割。
4.根据权利要求3所述的基于循环神经网络的实时超像素分割方法，其特征在于，所述方法还包括：
超像素数目按照预设值进行控制，以使得超像素分割速度达到50fps以上。
5.一种基于循环神经网络的实时超像素分割系统，其特征在于，包括：
初始化模块，用于提取输入图像的特征，并对所述图像进行超像素关联图初始化；
超像素分割模块，用于基于预设训练好的循环神经网络，对所述输入图像进行实时超像素分割，所述循环神经网络的输入是由超像素关联图初始化提取的初始输入和初始隐向量确定；
所述超像素分割模块具体用于：
构建所述循环神经网络的初始输入和初始隐向量；
基于所述初始输入和初始隐向量，循环迭代，更新特征和超像素关联图，公式为：
zt＝σ(Conv3×3(Ht-1,St],Wz)；
rt＝σ(Conv3×3(Ht-1,St],Wr)；
Figure FDA0003933132230000031
Figure FDA0003933132230000032
Qt＝f(Ht)；
其中，Ht表示更新的隐向量，S表示输入，Qt表示更新的超像素关联图；
通过监督训练，得到训练后的循环神经网络；
所述超像素分割模块还用于：
使用语义特征和位置特征作为监督特征，对构建的循环神经网络进行监督训练，得到训练后的循环神经网络；
其中，基于公式：
Figure FDA0003933132230000033
和公式：
Figure FDA0003933132230000034
分别使用语义特征Sem和位置特征Pos代替GRU初始特征F_GRU_init，得到重构的监督特征Sem_recon和Pos_recon；
其中，C表示超像素质心，Q_init′表示每个像素属于每个超像素的概率图。
6.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述基于循环神经网络的实时超像素分割方法的步骤。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述基于循环神经网络的实时超像素分割方法的步骤。
CN202110185464.4A 2021-02-10 2021-02-10 基于循环神经网络的实时超像素分割方法及系统 Active CN112926596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110185464.4A CN112926596B (zh) 2021-02-10 2021-02-10 基于循环神经网络的实时超像素分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110185464.4A CN112926596B (zh) 2021-02-10 2021-02-10 基于循环神经网络的实时超像素分割方法及系统

Publications (2)

Publication Number Publication Date
CN112926596A CN112926596A (zh) 2021-06-08
CN112926596B true CN112926596B (zh) 2023-04-07

Family

ID=76169787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110185464.4A Active CN112926596B (zh) 2021-02-10 2021-02-10 基于循环神经网络的实时超像素分割方法及系统

Country Status (1)

Country Link
CN (1) CN112926596B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115220665B (zh) * 2022-09-14 2022-12-20 深圳市木浪云科技有限公司 分布式存储系统的访问方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875395B (zh) * 2017-01-12 2020-04-14 西安电子科技大学 基于深度神经网络的超像素级sar图像变化检测方法
CN110175974A (zh) * 2018-03-12 2019-08-27 腾讯科技（深圳）有限公司 图像显著性检测方法、装置、计算机设备和存储介质
US10789678B2 (en) * 2018-05-01 2020-09-29 Nvidia Corp. Superpixel sampling networks
CN111489357A (zh) * 2019-01-29 2020-08-04 广州市百果园信息技术有限公司 一种图像分割方法、装置、设备及存储介质
CN110070531B (zh) * 2019-04-19 2021-05-07 京东方科技集团股份有限公司 用于检测眼底图片的模型训练方法、眼底图片的检测方法及装置
CN111860465A (zh) * 2020-08-10 2020-10-30 华侨大学 基于超像素的遥感图像提取方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112926596A (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
Fu et al. Lightweight pyramid networks for image deraining
Ristovski et al. Continuous conditional random fields for efficient regression in large fully connected graphs
Ma et al. SAR image segmentation based on artificial bee colony algorithm
Ben-Shabat et al. Digs: Divergence guided shape implicit neural representation for unoriented point clouds
Haber et al. IMEXnet a forward stable deep neural network
CN108171663B (zh) 基于特征图最近邻替换的卷积神经网络的图像填充系统
Jemai et al. Pyramidal hybrid approach: Wavelet network with OLS algorithm-based image classification
Zeng et al. Image segmentation using spectral clustering of Gaussian mixture models
Li et al. Exploring compositional high order pattern potentials for structured output learning
CN113989890A (zh) 基于多通道融合和轻量级神经网络的人脸表情识别方法
CN110570394B (zh) 医学图像分割方法、装置、设备及存储介质
Dupont et al. Probabilistic semantic inpainting with pixel constrained cnns
Veksler Efficient graph cut optimization for full CRFs with quantized edges
Cai et al. Diversity-generated image inpainting with style extraction
CN112528811A (zh) 行为识别方法和装置
CN112926596B (zh) 基于循环神经网络的实时超像素分割方法及系统
CN116994022A (zh) 对象检测方法、模型训练方法、装置、电子设备和介质
Salem et al. Semantic image inpainting using self-learning encoder-decoder and adversarial loss
Celebi An Effective Color Quantization Method Based on the Competitive Learning Paradigm.
Barbu Learning real-time MRF inference for image denoising
Li et al. An accelerating convolutional neural networks via a 2D entropy based-adaptive filter search method for image recognition
CN110598727B (zh) 基于迁移学习的模型构建方法、图像识别方法及其装置
Shen et al. Fast semantic image segmentation with high order context and guided filtering
Van Noord et al. Light-weight pixel context encoders for image inpainting
Saito et al. Application of the mean field methods to MRF optimization in computer vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant