CN112381813A - 一种基于图卷积神经网络的全景图视觉显著性检测方法 - Google Patents

一种基于图卷积神经网络的全景图视觉显著性检测方法 Download PDF

Info

Publication number
CN112381813A
CN112381813A CN202011335092.0A CN202011335092A CN112381813A CN 112381813 A CN112381813 A CN 112381813A CN 202011335092 A CN202011335092 A CN 202011335092A CN 112381813 A CN112381813 A CN 112381813A
Authority
CN
China
Prior art keywords
saliency
map
panorama
network
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011335092.0A
Other languages
English (en)
Other versions
CN112381813B (zh
Inventor
陈东文
青春美
徐向民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202011335092.0A priority Critical patent/CN112381813B/zh
Publication of CN112381813A publication Critical patent/CN112381813A/zh
Application granted granted Critical
Publication of CN112381813B publication Critical patent/CN112381813B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于图卷积神经网络的全景图视觉显著性检测方法，包括全景图的局部显著性检测；全景图的全局显著性检测及将局部显著性检测和全局显著性检测进行融合。本发明可以充分利用全景图全局和局部场景的特点，有效地解决全景图景物扭曲程度严重，左右边界不连续对显著性检测的影响问题，从而提高对全景图显著性检测的准确度。

Description

一种基于图卷积神经网络的全景图视觉显著性检测方法
技术领域
本发明涉及图像处理领域，具体涉及一种基于图卷积神经网络的全景图视觉显著性检测方法。
背景技术
在虚拟现实技术的发展过程中，全景图起着十分关键的作用。在虚拟环境中，用户可以通过全景图观看不同方向的景物。预测用户在虚拟环境的视觉显著性能有助于研究人员更好地理解用户的视觉动作行为。另外，预测全景图的视觉显著性方法能有效地应用于虚拟环境的场景设计和计算机视觉中的图像压缩、裁剪等热门的研究方向。
近年来，图卷积神经网络已经越来越受到人们的关注。作为一种非欧空间的数据，图数据并不满足平移不变性，即每个节点都具有不同的局部结构。因此，现实生活中的多个应用方向都可以利用图数据进行表示，如论文网络中作者和参考文献的关系连接，推荐系统中用户画像和商品维度属性的有向连接等。而图卷积神经网络能够建立局部相关节点的依赖关系，从而更有效地捕捉数据的内在特性，提高模型的性能。
发明内容
为了克服现有技术存在的缺点与不足，本发明提供一种基于图卷积神经网络的全景视觉显著性检测方法。
本发明根据全景图投影技术的特点和用户观察全景图时所产生的视觉行为特性，利用图卷积神经网络预测全景图的视觉显著性，从而有效提高模型的准确性。
本发明采用如下技术方案：
一种基于图卷积神经网络的全景图视觉显著性检测方法，包括：
全景图的局部显著性检测；
全景图的全局显著性检测；
局部显著性检测和全局显著性检测进行融合。
进一步，所述全景图的局部显著性检测，具体为：
建立三维空间坐标系，并构建以原点作为球心的球体，将全景图投影在球体表面上；
在球体外构造一个与球体相切的立方体；
分别以空间坐标系的X轴、Y轴和Z轴作为对称轴，以不同的角度旋转球体；每一次旋转，都将球面上的图像投影到立方体的六个面上，获得6张直线映射图，该立方体具有六个面。
将投影得到的所有直线映射图分别输入到编码网络中，生成对应的特征图；
构建局部图卷积神经网络，其中网络中的节点数量与特征图一致，网络的输入是特征图，输出是每个节点的权重表示，即每张直线映射图的显著性权重，再将每个节点的权重与节点对应的特征图做点积运算，从而生成多个注意特征图；
构建一个解码网络，但卷积层的排序与编码网络相反，将上述生成的注意特征图输入解码网络中，生成与输入的直线映射图尺寸相同的直线映射显著图；
利用与多立方体投影方法相反操作的反投影方法，将多个直线映射显著图重新投影回对应的显著全景图，称之为局部显著图。
进一步，所述全景图的全局显著性检测，具体包括：
以全景图中间的垂直线为界，将垂直线左右两边的图像内容相互对调，生成另一张展现同一场景但景物位置不同的反向全景图；
利用线性迭代聚类算法将原全景图和反向全景图分别切分成no个超像素；
将原全景图输入到另一个已经预训练好的编码网络中，生成对应的特征图，且特征图的大小与原全景图相同，根据no个超像素对原全景图进行划分，生成no个超像素的特征表示，对于反向全景图，也根据no个超像素生成no个超像素的特征表示；
为原全景图构建一个全局图卷积神经网络，其中，网络中的节点数量与超像素个数no相同，网络的输入是超像素的特征表示，输出是每个节点的显著性值，即节点对应的超像素的显著性值，并最终生成一张大小和输入原全景图一致的显著图；
对于反向全景图，也按照原景图生成显著图的上述操作执行，并最终生成一张反向显著图；
将反向显著图中间垂直线左右两边的图像内容对调，然后对显著图和反向显著图进行线性组合，生成一个显著图，称之为全局显著图。
进一步，所述局部显著性检测和全局显著性检测进行融合，具体为：
将全局显著图和局部显著图在通道上进行拼接，再输入一个卷积神经网络后，最终生成一张结合全景图全局和局部显著性特点的融合显著图。
进一步，所述立方体为正方体，球体内切于正方体。
进一步，所述的局部图卷积神经网络的每个节点表征特征图的特征表示，而连接不同节点之间的边表示这些节点的特征的相关系数。
进一步，全局图卷积神经网络的每个节点表征超像素的特征表示，连接不同节点之间的边表示这些超像素质心之间的空间距离。
进一步，所述利用与多立方体投影方法相反操作的反投影方法，具体为：是将生成的所有直线映射显著图分别投影到立方体的六个面上，再投影到球面上。之后按照之前所述的旋转处理方法，对坐标值进行方向相反、角度相同的旋转处理，最后再将球面上的内容投影到平面上，获得全景显著图。
本发明的有益效果：
本发明全景图视觉显著性三个阶段，分别是局部阶段的投影-图卷积网络检测-反投影的流程、全局阶段的平移-超像素分割-图卷积网络检测-反平移的流程和卷积网络对全局和局部显著图的融合检测。可以充分利用全景图全局和局部场景的特点，有效地解决全景图景物扭曲程度严重，左右边界不连续对显著性检测的影响问题，从而提高对全景图显著性检测的准确度。
附图说明
图1是本发明实施例提供的全景图投影到立方体面上的多立方体投影方法的示意图；
图2是本发明实施例提供的以全景图中间垂直线为界，对垂直线两边的图像内容进行左右平移操作的示意图；
图3及图4分别是本发明实施例提供的一种基于图卷积神经网络的全景图视觉显著性检测方法局部检测和全局检测的流程图；
图5是本发明实施例提供的对局部和全局显著图进行融合的流程图。
图6是本发明实施例提供的基于图卷积神经网络的全景图视觉显著性检测的总体实施方法的流程图；
具体实施方式
下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例
如图6所示，一种基于图卷积神经网络的全景图视觉显著性检测方法，用于检测用户在虚拟环境下的视觉显著性，并进一步理解用户的视觉行为特性。其主要包括全景图局部显著性检测过程、全景图全局显著性检测过程、局部和全局显著图融合过程。其中所用到的全景图是放映在VR眼镜里的静态场景图像经过等矩形投影方法后获得的能够展现各个方向场景内容的二维图像。
全景图局部显著性检测的主要过程如下：
步骤1：如图1所示，首先将全景图投影在球面上。构建以球心为原点的三维空间坐标系。在球体外再构造一个正方体，并使球体内切于正方体。
步骤2：分别以坐标系中的X轴，Y轴，Z轴作为对称轴，固定正方体位置，并对球体进行45度的旋转。这样就能总共得到球体2×2×2＝8种旋转方式。
步骤3：在获得每一种旋转方式后，利用直线映射方法将球面上的全景图投影到正方体的六个面上，生成六张直线映射图。由于球体共有8种旋转方式，因此对于每张全景图，一共可以生成8×6＝48张直线映射图。
步骤4：如图3所示，将生成的直线映射图输入以VGG网络作为骨架的编码网络中，生成对应的特征图。对每个特征图实施全局平均池化操作，获得尺寸为1×1×C的向量表示。
步骤5：构建图卷积神经网络，其中输入的节点数量与生成的向量表示数量是相同的。令节点记为向量表示，即直线映射图的特征表示。而将连接节点之间的边表示为两个节点对应向量的相关系数。设图表示为G(X,A)，其中X表示节点集合，A表示关于边的邻接矩阵。网络层数为K，则通过图卷积网络的层级传播，每个隐藏层表示为：
Xk+1＝σ(AXkΘk),k＝0,1...,K-1
其中σ(·)记为激活函数，如ReLU函数。Θk是个可训练的权重矩阵。而最后的感知层定义如下：
Z＝soft max(AXKΘK)
其中Z是节点输出，即代表每张直线映射图的显著性权重。
步骤6：将图网络输出节点代表的显著性权重与对应的特征图做点积运算后，生成注意特征图。
步骤7：构建一个类似VGG网络的结构，但卷积层的排序与VGG网络相反的解码网络，其中将网络中的池化层替换为上采样层。将步骤6生成的注意特征图输入解码器中，生成与输入的直线映射图尺寸相同的直线映射显著图。
步骤8：将生成的所有直线映射显著图分别投影到图1的立方体的六个面上，再投影到球面上。再按照步骤2的旋转处理方法，对坐标值进行方向相反、角度相同的旋转处理。之后再将球面上的内容投影到平面上，获得全景显著图。最后利用线性组合方法对生成的8张全景显著图进行融合，且每张图赋予相同的权重0.125，则最终生成一张局部显著图。
全景图全局显著性检测的主要过程如下：
步骤1：如图2所示，以全景图中间的垂直线为界，将界线左边的图像内容水平移动到界线右边。同样地，将界线右边的图像内容水平移动到界线左边。这样的平移操作后，就能生成一张反向全景图。由于全景图的左右边界的场景内容具有连续性，因此即使全景图平移后，图像中间垂直线附近的内容都是连接在一起的。
步骤2：如图4所示，对于原全景图和步骤1生成的反向全景图，利用简单线性迭代聚类算法(SLIC)，分别将两张图分割出no和nr个超像素。然后分别将两张图输入到另一个编码网络中，生成对应的特征图。之后通过超像素平均池化操作，分别提取原全景图和反向全景图对应特征图的超像素特征表示，分别记为
Figure BDA0002796955770000051
和
Figure BDA0002796955770000052
其中
Figure BDA0002796955770000053
和
Figure BDA0002796955770000054
分别表示原全景图和反向全景图的超像素对应像素集的平均特征向量。
步骤3：对于原全景图的显著性检测，生成超像素对应的平均特征向量后，构建新的图卷积神经网络。其中输入的节点数量与平均特征向量的数量是相同的。令节点记为平均特征向量的表示，即超像素的特征表示。而令连接节点之间的边表示为两个超像素的质心在全景图上的空间距离。设图表示为G(Xo,Ao)，其中Ao表示关于边的邻接矩阵。网络层数为K，则通过图卷积神经网络的层级传播，每个隐藏层表示为：
Figure BDA0002796955770000055
其中σ(·)记为激活函数，如ReLU函数。
Figure BDA0002796955770000056
是个可训练的权重矩阵。而最后的感知层定义如下：
Figure BDA0002796955770000057
其中Zo是节点输出表示，即代表原全景图里每个超像素的显著性值。于是就能生成原全景图对应的显著图。
同理，对于反向全景图的显著性检测，利用步骤3中SLIC算法、编码网络和其他新的图卷积神经网络可生成反向全景图对应的显著图。之后再重新按照步骤1的平移操作将反向显著图转换成正向显著图。
步骤4：利用线性组合方法将原全景图和反向全景图对应生成的显著图进行融合，从而得到全局显著图，其中两张显著图各赋予0.5的权重。
如图5所示，局部和全局显著图融合过程如下：
将全局和局部显著图按通道进行拼接后，输入一个卷积神经网络。经过卷积和上采样的操作后，结合全景图全局和局部显著性的特点，生成最终的预测融合显著图。
本发明实施例上述方案，在局部显著性检测中，利用多立方体投影方法将全景图分成多张直线映射图。再将直线映射图输入到编码网络，提取图像特征。利用图卷积神经网络生成各个直线映射图的显著性权重。再利用解码网络生成直线映射显著图，并经过反向投影方法获得局部显著图；在全局显著性检测中，利用图像平移方法获得反向全景图。之后利用SLIC算法将原全景图和反向全景图分割成多个超像素后，通过新的图卷积神经网络生成各个超像素的显著性值，并生成全局显著图。最后利用卷积神经网络，结合全局和局部显著图的特点，生成最终的融合显著图。
本发明可以有效精细地获知全景图各个区域的显著性强度，从整体上提高虚拟环境显著性检测的准确度，较好地提升模型的检测性能。
在全景图全局和局部显著性检测中都加上了图卷积神经网络，可以有效地获知全景图各个区域的显著性强度，从整体上能提高虚拟环境显著性检测的准确度，较好地提升模型的检测性能。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于图卷积神经网络的全景图视觉显著性检测方法，其特征在于，包括：
全景图的局部显著性检测；
全景图的全局显著性检测；
局部显著性检测和全局显著性检测进行融合。
2.根据权利要求1所述的全景图视觉显著性检测方法，其特征在于，所述全景图的局部显著性检测，具体为：
建立三维空间坐标系，并构建以原点作为球心的球体，将全景图投影在球体表面上；
在球体外构造一个与球体相切的立方体；
分别以空间坐标系的X轴、Y轴和Z轴作为对称轴，以不同的角度旋转球体；每一次旋转，都将球面上的图像投影到立方体的六个面上，获得6张直线映射图；
将投影得到的所有直线映射图分别输入到编码网络中，生成对应的特征图；
构建局部图卷积神经网络，其中网络中的节点数量与特征图一致，网络的输入是特征图，输出是每个节点的权重表示，即每张直线映射图的显著性权重，再将每个节点的权重与节点对应的特征图做点积运算，从而生成多个注意特征图；
构建一个解码网络，但卷积层的排序与编码网络相反，将上述生成的注意特征图输入解码网络中，生成与输入的直线映射图尺寸相同的直线映射显著图；
利用与多立方体投影方法相反操作的反投影方法，将多个直线映射显著图重新投影回对应的显著全景图，称之为局部显著图。
3.根据权利要求1所述的全景图视觉显著性检测方法，其特征在于，所述全景图的全局显著性检测，具体包括：
以全景图中间的垂直线为界，将垂直线左右两边的图像内容相互对调，生成另一张展现同一场景但景物位置不同的反向全景图；
利用线性迭代聚类算法将原全景图和反向全景图分别切分成no个超像素；
将原全景图输入到另一个已经预训练好的编码网络中，生成对应的特征图，且特征图的大小与原全景图相同，根据no个超像素对原全景图进行划分，生成no个超像素的特征表示，对于反向全景图，也根据no个超像素生成no个超像素的特征表示；
为原全景图构建一个全局图卷积神经网络，其中，网络中的节点数量与超像素个数no相同，网络的输入是超像素的特征表示，输出是每个节点的显著性值，即节点对应的超像素的显著性值，并最终生成一张大小和输入原全景图一致的显著图；
对于反向全景图，也按照原景图生成显著图的上述操作执行，并最终生成一张反向显著图；
将反向显著图中间垂直线左右两边的图像内容对调，然后对显著图和反向显著图进行线性组合，生成一个显著图，称之为全局显著图。
4.根据权利要求1所述的全景图视觉显著性检测方法，其特征在于，所述局部显著性检测和全局显著性检测进行融合，具体为：
将全局显著图和局部显著图在通道上进行拼接，再输入一个卷积神经网络后，最终生成一张结合全景图全局和局部显著性特点的融合显著图。
5.根据权利要求2所述的全景图视觉显著性检测方法，其特征在于，所述立方体为正方体，球体内切于正方体。
6.根据权利要求2所述的全景图视觉显著性检测方法，其特征在于，所述的局部图卷积神经网络的每个节点表征特征图的特征表示，而连接不同节点之间的边表示这些节点的特征的相关系数。
7.根据权利要求3所述的全景图视觉显著性检测方法，其特征在于，全局图卷积神经网络的每个节点表征超像素的特征表示，连接不同节点之间的边表示这些超像素质心之间的空间距离。
8.根据权利要求2所述的全景图视觉显著性检测方法，其特征在于，所述利用与多立方体投影方法相反操作的反投影方法，具体为：是将生成的所有直线映射显著图分别投影到立方体的六个面上，再投影到球面上，后按照之前所述的旋转处理方法，对坐标值进行方向相反、角度相同的旋转处理，最后再将球面上的内容投影到平面上，获得全景显著图。
CN202011335092.0A 2020-11-25 2020-11-25 一种基于图卷积神经网络的全景图视觉显著性检测方法 Active CN112381813B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011335092.0A CN112381813B (zh) 2020-11-25 2020-11-25 一种基于图卷积神经网络的全景图视觉显著性检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011335092.0A CN112381813B (zh) 2020-11-25 2020-11-25 一种基于图卷积神经网络的全景图视觉显著性检测方法

Publications (2)

Publication Number Publication Date
CN112381813A true CN112381813A (zh) 2021-02-19
CN112381813B CN112381813B (zh) 2023-09-05

Family

ID=74588055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011335092.0A Active CN112381813B (zh) 2020-11-25 2020-11-25 一种基于图卷积神经网络的全景图视觉显著性检测方法

Country Status (1)

Country Link
CN (1) CN112381813B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269196A (zh) * 2021-07-19 2021-08-17 湖南大学 一种图卷积神经网络高光谱医药成分分析的实现方法
CN114004775A (zh) * 2021-11-30 2022-02-01 四川大学 结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法
CN114898120A (zh) * 2022-05-27 2022-08-12 杭州电子科技大学 一种基于卷积神经网络的360度图像显著目标检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102262729A (zh) * 2011-08-03 2011-11-30 山东志华信息科技股份有限公司 基于集成学习的混合融合人脸识别方法
CN103281549A (zh) * 2013-05-22 2013-09-04 深圳市普乐方文化科技有限公司 视频变形较正方法及系统
CN107274419A (zh) * 2017-07-10 2017-10-20 北京工业大学 一种基于全局先验和局部上下文的深度学习显著性检测方法
CN108650649A (zh) * 2018-04-10 2018-10-12 南京邮电大学 适用于无线传感器网络的异常数据检测方法
CN109086777A (zh) * 2018-07-09 2018-12-25 南京师范大学 一种基于全局像素特征的显著图精细化方法
CN110633708A (zh) * 2019-06-28 2019-12-31 中国人民解放军军事科学院国防科技创新研究院 一种基于全局模型和局部优化的深度网络显著性检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102262729A (zh) * 2011-08-03 2011-11-30 山东志华信息科技股份有限公司 基于集成学习的混合融合人脸识别方法
CN103281549A (zh) * 2013-05-22 2013-09-04 深圳市普乐方文化科技有限公司 视频变形较正方法及系统
CN107274419A (zh) * 2017-07-10 2017-10-20 北京工业大学 一种基于全局先验和局部上下文的深度学习显著性检测方法
CN108650649A (zh) * 2018-04-10 2018-10-12 南京邮电大学 适用于无线传感器网络的异常数据检测方法
CN109086777A (zh) * 2018-07-09 2018-12-25 南京师范大学 一种基于全局像素特征的显著图精细化方法
CN110633708A (zh) * 2019-06-28 2019-12-31 中国人民解放军军事科学院国防科技创新研究院 一种基于全局模型和局部优化的深度网络显著性检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DONGWEN CHEN ET AL.: "SalBiNet360: Saliency Prediction on 360° Images with Local-Global Bifurcated Deep Network", 《2020 IEEE CONFERENCE ON VIRTUAL REALITY AND 3D USER INTERFACES (VR)》, pages 1 - 9 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269196A (zh) * 2021-07-19 2021-08-17 湖南大学 一种图卷积神经网络高光谱医药成分分析的实现方法
CN113269196B (zh) * 2021-07-19 2021-09-28 湖南大学 一种图卷积神经网络高光谱医药成分分析的实现方法
WO2023000653A1 (zh) * 2021-07-19 2023-01-26 湖南大学 一种图卷积神经网络高光谱医药成分分析的实现方法
CN114004775A (zh) * 2021-11-30 2022-02-01 四川大学 结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法
CN114898120A (zh) * 2022-05-27 2022-08-12 杭州电子科技大学 一种基于卷积神经网络的360度图像显著目标检测方法

Also Published As

Publication number Publication date
CN112381813B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN109410307B (zh) 一种场景点云语义分割方法
CN112381813B (zh) 一种基于图卷积神经网络的全景图视觉显著性检测方法
WO2020001168A1 (zh) 三维重建方法、装置、设备和存储介质
US6587104B1 (en) Progressive hulls
Würmlin et al. 3D video fragments: Dynamic point samples for real-time free-viewpoint video
Alatan et al. Scene representation technologies for 3DTV—A survey
CN108122277B (zh) 一种建模方法及装置
CN108876814B (zh) 一种生成姿态流图像的方法
CN111161411A (zh) 一种基于八叉树的三维建筑物模型lod方法
US20050017968A1 (en) Differential stream of point samples for real-time 3D video
US9165401B1 (en) Multi-perspective stereoscopy from light fields
CN104966316A (zh) 一种3d人脸重建方法、装置及服务器
JP2003077004A (ja) ３次元の静止した又は動くオブジェクトの階層イメージベース表現並びに該表現をオブジェクトのレンダリングに使用する方法及び装置
WO2015051624A1 (zh) 一种三维物体重建的方法、装置和终端
WO2023093824A1 (zh) 点云质量评价方法、设备和存储介质
WO2022052750A1 (zh) 360度图像的显著性预测方法及系统
KR20230043921A (ko) 품질 평가를 위한 이미지 기반 샘플링 메트릭
Cheng et al. GaussianPro: 3D Gaussian Splatting with Progressive Propagation
Monnier et al. Differentiable blocks world: Qualitative 3d decomposition by rendering primitives
CN111191729B (zh) 一种基于多模态特征融合的三维对象融合特征表示方法
Chen et al. Multi-view Pixel2Mesh++: 3D reconstruction via Pixel2Mesh with more images
Wang et al. A novel method for surface mesh smoothing: applications in biomedical modeling
Lin et al. Visual saliency and quality evaluation for 3D point clouds and meshes: An overview
TW201913573A (zh) 圖像處理方法和裝置
Zhou et al. A novel compression-driven lightweight framework for medical skeleton model visualization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant