CN108961268A - 一种显著图计算方法及相关装置 - Google Patents

一种显著图计算方法及相关装置 Download PDF

Info

Publication number
CN108961268A
CN108961268A CN201810647947.XA CN201810647947A CN108961268A CN 108961268 A CN108961268 A CN 108961268A CN 201810647947 A CN201810647947 A CN 201810647947A CN 108961268 A CN108961268 A CN 108961268A
Authority
CN
China
Prior art keywords
target
notable
super
pixel
segmentation effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810647947.XA
Other languages
English (en)
Other versions
CN108961268B (zh
Inventor
曾群生
吴贝文
谭台哲
轩康西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201810647947.XA priority Critical patent/CN108961268B/zh
Publication of CN108961268A publication Critical patent/CN108961268A/zh
Application granted granted Critical
Publication of CN108961268B publication Critical patent/CN108961268B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种显著图计算方法，将每个分割效果图中的超像素矩形区域、对应的超像素最近邻构成区域和对应的整张分割效果图进行合并，得到目标合并图，然后将合并图送入目标神经网络，计算得到每个超像素矩形区域的显著值，并根据每张分割图中每个超像素矩形区域的显著值，得到对应的目标显著图，再将所有目标显著图按照目标融合参数进行融合，即可得到最优显著图，本申请提供的方案，有效避免现有算法模型中由于存在冗余计算造成计算耗时，从而提高显著图的计算效率。本申请还提供了一种显著图计算系统、装置及计算机可读存储介质，同样可以实现上述技术效果。

Description

一种显著图计算方法及相关装置
技术领域
本发明涉及图像处理领域，更具体地说，涉及一种显著图计算方法、系统、装置及计算机可读存储介质。
背景技术
随着互联网和各种高科技电子设备的出现和发展，图像和视频作为一种新兴的信息载体，其数量呈现爆炸式地增长。
但目前的计算机对图像和视频的处理速度并不能跟上其数量的增长速度，为了提高计算机对视觉数据的处理速度，基于人类视觉系统机制的视觉显著性应运而生。视觉显著机制是人类处于复杂背景的环境中时，本能的将注意力集中在一些比较特殊区域的能力，这些视觉显著的区域往往包含有大量的重要信息，通过对该区域进行特殊方式的分析和提取，最终可以获取图像中所需要的主要信息。
随着深度学习在各个计算视觉领域取得瞩目的成果，目前也有相关模型应用在视觉显著性检测并取得良好的效果。但是现存的模型存在计算冗余，使得计算一张显著图非常耗时。
因此，如何提高显著图的计算效率，是本领域技术人员需要解决的问题。
发明内容
本发明的目的在于提供一种显著图计算方法、系统、装置及计算机可读存储介质，以提高显著图的计算效率。
为实现上述目的，本发明实施例提供了如下技术方案：
一种显著图计算方法，包括：
确定目标图像的预设个数的分割效果图；
将每张所述分割效果图中的每个超像素矩形区域、与每个所述超像素矩形区域对应的超像素最近邻构成区域和对应的整张分割效果图进行合并，得到目标合并图；
利用目标神经网络计算每张所述目标合并图中每个所述超像素矩形区域的显著值；
利用每张所述分割效果图的所有超像素矩形区域的显著值得到对应每张所述分割效果图的目标显著图；
利用与每个所述目标显著图对应目标融合参数将所有所述目标显著图进行融合，得到最优显著图。
其中，所述确定目标图像的预设个数的分割效果图，包括：
确定所述预设个数的参数组；
分别利用每个参数组对所述目标图片进行分割，得到与每个参数组对应的分割效果图。
其中，所述将每张所述分割效果图中的每个超像素矩形区域、与每个所述超像素矩形区域对应的超像素最近邻构成区域和对应的整张分割效果图进行合并，得到目标合并图，包括：
将每张所述分割效果图中的每个超像素矩形区域、与每个所述超像素矩形区域对应的超像素最近邻构成区域和对应的整张分割效果图进行合并，得到尺寸为227*227的目标合并图。
其中，所述目标神经网络包括5层卷积层、4层全连接隐层与1层输出层。
其中，所述利用与每个所述目标显著图对应目标融合参数将所有所述目标显著图进行融合，得到最优显著图，包括：
利用与每个所述目标显著图对应的目标融合参数组将所有所述目标显著图进行线性组合得到组合结果图；
将所述组合结果图的每个像素利用sigmoid函数映射到(0,1)区间内，得到最优显著图。
其中，所述利用与每个所述目标显著图对应目标融合参数将所有所述目标显著图进行融合，得到最优显著图，包括：
S201，确定初始偏移量和与每个所述目标显著图对应的初始融合参数组；
S202，利用当前初始融合参数组将所有所述目标显著图进行线性组合得到组合结果图，利用包括当前初始融合参数组与当前初始偏移量的sigmoid函数将组合结果图映射到(0,1)区间内，得到初始融合结果；
S203，判断当前初始融合结果是否为最优显著图；
S204，若是，则停止迭代，将当前初始融合参数作为目标融合参数，将当前初始融合结果作为最优显著图；
S205，若否，则计算当前初始融合结果交叉熵损失值，利用当前交叉熵损失值更新当前初始融合参数与当前初始偏移量，返回S202。
本申请还提供了一种显著图计算系统，包括：
第一确定模块，用于确定目标图像的预设个数的分割效果图；
合并模块，用于将每张所述分割效果图中的每个超像素矩形区域、与每个所述超像素矩形区域对应的超像素最近邻构成区域和对应的整张分割效果图进行合并，得到目标合并图；
计算模块，用于利用目标神经网络计算每张所述目标合并图中每个所述超像素矩形区域的显著值；
第二确定模块，用于利用每张所述分割效果图的所有超像素矩形区域的显著值得到对应每张所述分割效果图的目标显著图；
融合模块，用于利用与每个所述目标显著图对应目标融合参数将所有所述目标显著图进行融合，得到最优显著图。
其中，所述融合模块，包括：
第一确定单元，用于确定初始偏移量和与每个所述目标显著图对应的初始融合参数组；
线性组合单元，用于利用当前初始融合参数组将所有所述目标显著图进行线性组合得到组合结果图，利用包括当前初始融合参数组与当前初始偏移量的sigmoid函数将组合结果图映射到(0,1)区间内，得到初始融合结果；
判断单元，用于判断当前初始融合结果是否为最优显著图；
第二确定单元，用于当前初始融合结果为最优显著图时，将当前初始融合参数作为目标融合参数，将当前初始融合结果作为最优显著图；
计算单元，用于当前初始融合结果不为最优显著图时，计算当前初始融合结果交叉熵损失值，利用当前交叉熵损失值更新当前初始融合参数与当前初始偏移量，调用线性组合单元。
本申请还提供了一种显著图计算装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如所述显著图计算方法的步骤。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如所述显著图计算方法的步骤。
通过以上方案可知，本申请提供的一种显著图计算方法，将每个分割效果图中的超像素矩形区域、对应的超像素最近邻构成区域和对应的整张分割效果图进行合并，得到目标合并图，然后将合并图送入目标神经网络，计算得到每个超像素矩形区域的显著值，并根据每张分割图中每个超像素矩形区域的显著值，得到对应的目标显著图，再将所有目标显著图按照目标融合参数进行融合，即可得到最优显著图，本申请提供的方案，有效避免现有算法模型中由于存在冗余计算造成计算耗时，从而提高显著图的计算效率。
本申请还提供了一种显著图计算系统、装置及计算机可读存储介质，同样可以实现上述技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种显著图计算方法流程图；
图2为本发明实施例公开的具体的融合过程流程图；
图3为本发明实施例公开的一种具体的显著图计算方法流程图；
图4为本发明实施例公开的一种显著图计算系统结构示意图；
图5为本发明实施例公开的一种融合模块结构示意图；
图6为本发明实施例公开的一种显著图计算装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种显著图计算方法、系统、装置及计算机可读存储介质，以提高显著图的计算效率。
参见图1，本发明实施例提供的一种显著图计算方法具体包括：
S101，确定目标图像的预设个数的分割效果图。
具体地，首先确定预设个数的分割效果图。分割效果图是将目标图像按照预设的参数组进行分割得到分割效果图，然后需要对每一张分割效果图的每一个超像素块进行显著分值的计算，得到对应每个超像素块的显著分值。
在本方案中，以15组参数为例，15组参数可以按照表1进行设置，将目标图像进行分割后，可以得到15张不同的分割效果图。
表中，Min Size为分割区域最小面积；Scale为分割区域数；Sigma
为高斯滤波核方差，L为参数组；具体分割方式可以参考现有技术，本申
请不做具体限定。
表1 15组分割参数表
L1 L2 L3 L4 L5 L6 L7 L8
Min Size 150 300 200 200 150 150 300 150
Scale 100 400 200 100 300 200 300 100
Sigma 0.8 0.8 0.9 0.9 0.8 1.0 0.9 1.0
L9 L10 L11 L12 L13 L14 L15
Min Size 300 300 200 300 150 200 150
Scale 500 200 600 600 200 500 400
Sigma 0.9 0.9 0.8 1.0 0.8 1.0 0.8
S102，将每张所述分割效果图中的每个超像素矩形区域、与每个所述超像素矩形区域对应的超像素最近邻构成区域和对应的整张分割效果图进行合并，得到目标合并图。
具体地，在得到每张分割效果图后，在每张分割效果图中确定超像素矩形区域，并确定对应该超像素矩形区域的最近邻构成区域，其中最近邻构成区域的确定方法可以具体参考现有技术，本申请不做具体限定。将超像素矩形区域、对应的超像素最近邻构成区域，和对应的整张分割效果图进行合并。
超像素矩形区域、对应的超像素最近邻构成区域，和对应的整张分割效果图属于嵌套关系，即正常分割效果图嵌套有超像素最近邻构成区域，而超像素最近邻构成区域嵌套有超像素矩形区域。
需要说明的是，合并前，需要将三种图，即超像素矩形区域、对应的超像素最近邻构成区域，和对应的整张分割效果图缩放到不同的固定尺寸，进而合并成227*227大小图像。
S103，利用目标神经网络计算每张所述目标合并图并得到对应每个所述超像素矩形区域的显著值。
具体地，将合并结果作为目标合并图，送入目标神经网络，也即，本申请中的深度网模型，进行显性判断，得到对应超像素矩形区域的显性值。在本方案中，可以用1表示显著性，0表示非显著性。
本申请的深度网络模型基于lexNet基础上，包括ConV1、ConV2、ConV3、ConV4、ConV5，FC6、FC7、FC_N1、FC_N2，即，卷基层1-5，全连接层6-9。其中，在FC7层后面增加FC_N1和FC_N2，每一层设计有300个神经元。
遍历一张分割效果图中的每一个超像素矩形区域，均按照上述方法计算出显性值，计算完一张分割效果图后，依次循环按照一张分割效果图的显著性值的计算方法，计算没一张分割效果图的每一个超像素矩形区域的显著值。
S104，利用每张所述分割效果图的所有超像素矩形区域的显著值得到对应每张所述分割效果图的所述预设个数的目标显著图。
具体地，按照每张分割效果图的所有显著值，确定对应每张分割效果图的目标显著图。
例如，本申请中最后得到15张对应分割效果图的目标显著图。
S105，利用与每个所述目标显著图对应的目标融合参数将所述目标显著图进行融合，得到最优显著图。
具体地，本方案通过一组融合参数，其中一个融合参数对应一个目标显著图，将所有目标显著图进行融合，得到最优显著图。
具体地，例如目标显著图为上述15张目标显著图，确定一组融合参数ak(k∈1,2,…,15)，将15张显著性检测图进行线性组合，再将生成的融合图每个像素经过sigmoid函数映射到(0,1)区间内,使得显著分值不在是0或1，而是一个在区间上的连续值。
由此可见，本申请实施例提供的一种显著图计算方法，将每个分割效果图中的超像素矩形区域、对应的超像素最近邻构成区域和对应的整张分割效果图进行合并，得到目标合并图，然后将合并图送入目标神经网络，计算得到每个超像素矩形区域的显著值，并根据每张分割图中每个超像素矩形区域的显著值，得到对应的目标显著图，再将所有目标显著图按照目标融合参数进行融合，即可得到最优显著图，本申请提供的方案，有效避免现有算法模型中由于存在冗余计算造成计算耗时，从而提高显著图的计算效率。
下面对本申请提供的一种具体的显著图计算方法进行介绍，区别于上述实施例，本申请实施例对上述实施例中S105做了进一步的限定与说明，其他步骤内容与上述实施例大致相同，本实施例中不再赘述。
参见图2，本申请实施例提供的一种具体的显著图计算方法，具体包括：
利用与每个所述目标显著图对应的目标融合参数组将所述目标显著图进行线性组合得到组合结果图。
将所述组合结果图的每个像素利用sigmoid函数映射到(0,1)区间内，得到最优显著图。
具体地，以15张目标显著图为例，通过学习一组融合参数ak(k∈1,2,…,15)，将15张显著性检测图进行线性组合，再将生成的融合图每个像素经过sigmoid函数映射到(0，1)区间内，使得显著分值不在是0或1，而是一个在区间上的连续值，函数表达式如下：
融合参数的学习，是通过训练像素级交叉熵损失函数，函数表达式如下。
其中N表示像素点个数，Sj表示标签显著图，表示我们深度网络显著性检测融合最优图。S*是我们训练这组融合参数监督信号，也就是标签显著图，Mk为本申请的目标显著图，b为偏移量。
具体地，上述训练学习的过程可以参见图2，上述步骤具体包括：
S201，确定初始偏移量和与每个所述目标显著图对应的初始融合参数组。
S202，利用当前初始融合参数组将所述目标显著图进行线性组合得到组合结果图，利用包括当前初始融合参数组与当前初始偏移量的sigmoid函数将组合结果图映射到(0,1)区间内，得到初始融合结果。
S203，判断所述初始融合结果是否为最优显著图。
S204，若是，则停止迭代，将所述初始融合参数作为目标融合参数，将所述初始融合结果作为最优显著图。
S205，若否，则计算所述初始融合结果交叉熵损失值，利用所述交叉熵损失值更新所述融合参数与初始偏移量，返回S202。
下面对本申请实施例提供的一种具体的显著图计算方法进行介绍，参见图3，本申请提供的一种具体的显著图计算方法，具体包括：
图中，next superpixel为下一个超像素块，softmax为一输出层。
首先使用15组不同参数对输入的图片进行分割，产生15张不同分割效果图。每一张分割图的每一个超像素块将通过本申请的超像素块显著性判别网络进行显著分值的计算。
每一张分割图遍历所有的超像素块，依次计算出对应的显著分值，最后每一张分割图对应生成一张显著分值。经过15次循环计算，最后可以生成15张显著分值，再通过学习一组参数融合成最终一张最优显著图。
超像素块显著分值计算模型，可以分为两部分，首先是从分割图中提取出三张相互嵌套不同尺度图，分别是超像素块矩形区域、超像素块周围最近邻矩形区域以及整张图像。
接着缩放到不同的固定的尺寸，最后合并成一张227*227大小图像，送入本申请的深度网络模型进行显著性判断。如果是显著性，则对应的超像素块区域就是显著性用“1”表示，否则反之。本申请的深度网络是基于AlexNet基础上，在FC7层后面增加FC_N1和FC_N2，每一层设计有300个神经元。
一张原图采用15组不同分割参数之后，参数设置如上表1所示。每一张分割图经过本申请的模型产生对应的显著性检测结果图。15次遍历之后，之后产生15张不同的显著图M1,M2,…,M15。
通过学习一组融合参数ak(k∈1,2,…,15)，将15张显著性检测图进行线性组合，再将生成的融合图每个像素经过sigmoid函数映射到(0,1)区间内,使得显著分值不在是0或1，而是一个在区间上的连续值，函数表达式如下：
融合参数的学习，是通过训练像素级交叉熵损失函数，函数表达式如下。
其中N表示像素点个数，Sj表示标签显著图，表示我们深度网络显著性检测融合最优图。S*是我们训练这组融合参数监督信号，也就是标签显著图，Mk为本申请的目标显著图，b为偏移量。
本申请提供的一种具体的显著图计算方法，解决现存算法模型由于存在冗余计算造成计算耗时，一张300*400图像大小平均需要花费8.0秒，而相同图像大小300*400采用本申请的算法只需要3.32秒。
下面对本申请提供的一种显著图计算系统进行介绍，参见图4，下文描述的一种显著图计算系统，具体包括：
第一确定模块301，用于确定目标图像的预设个数的分割效果图。
合并模块302，用于将每张所述分割效果图中的每个超像素矩形区域、与每个所述超像素矩形区域对应的超像素最近邻构成区域和对应的整张分割效果图进行合并，得到目标合并图。
计算模块303，用于利用目标神经网络计算每张所述目标合并图中每个所述超像素矩形区域的显著值。
第二确定模块304，用于利用每张所述分割效果图的所有超像素矩形区域的显著值得到对应每张所述分割效果图的目标显著图。
融合模块305，用于利用与每个所述目标显著图对应目标融合参数将所有所述目标显著图进行融合，得到最优显著图。
本实施例的显著图计算系统用于实现前述的显著图计算方法，因此显著图计算系统中的具体实施方式可见前文中的显著图计算方法的实施例部分，例如，第一确定模块301，合并模块302，计算模块303，第二确定模块304，融合模块305分别用于实现上述显著图计算方法中步骤S101，S102，S103、S104，S105所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
下面对本申请提供的一种具体的显著图计算系统进行介绍，参见图5，下文描述的一种具体的显著图计算系统对上述系统实施例中融合模块305做了进一步的限定和说明，融合模块305具体包括：
第一确定单元401，用于确定初始偏移量和与每个所述目标显著图对应的初始融合参数组。
线性组合单元402，用于利用当前初始融合参数组将所有所述目标显著图进行线性组合得到组合结果图，利用包括当前初始融合参数组与当前初始偏移量的sigmoid函数将组合结果图映射到(0,1)区间内，得到初始融合结果。
判断单元403，用于判断当前初始融合结果是否为最优显著图。
第二确定单元404，用于当前初始融合结果为最优显著图时，将当前初始融合参数作为目标融合参数，将当前初始融合结果作为最优显著图。
计算单元405，用于当前初始融合结果不为最优显著图时，计算当前初始融合结果交叉熵损失值，利用当前交叉熵损失值更新当前初始融合参数与当前初始偏移量，调用线性组合单元402。
本实施例的显著图计算系统用于实现前述的显著图计算方法，因此显著图计算系统中的具体实施方式可见前文中的显著图计算方法的实施例部分，例如，第一确定单元401，线性组合单元402，判断单元403，第二确定单元404，计算单元405分别用于实现上述显著图计算方法中步骤S201，S202，S203、S204，S205所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本申请还提供了一种显著图计算装置，参见图6，本发明实施例提供的一种数据采集设备的结构图，如图6所示，包括：
存储器100，用于存储计算机程序；
处理器200，用于执行所述计算机程序时可以实现上述实施例所提供的步骤。
具体的，存储器100包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读指令，该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。处理器200为数据采集设备提供计算和控制能力，可以实现上述任一显著图计算方法实施例所提供的步骤。
在上述实施例的基础上，作为优选实施方式，所述数据采集设备还包括：
输入接口300，用于获取外部导入的计算机程序、参数和指令，经处理器控制保存至存储器中。该输入接口300可以与输入装置相连，接收用户手动输入的参数或指令。该输入装置可以是显示屏上覆盖的触摸层，也可以是终端外壳上设置的按键、轨迹球或触控板，也可以是键盘、触控板或鼠标等。具体的，在本实施例中，可以通过输入接口输入上述实施例提到的初始值、参数组等。
显示单元400，用于显示处理器发送的数据。该显示单元40可以为PC机上的显示屏、液晶显示屏或者电子墨水显示屏等。具体的，在本实施例中，显示单元400可以显示显著图计算装置采集的数据、运行过程中的图像、以及最优显著图等。
网络端口500，用于与外部各终端设备进行通信连接。该通信连接所采用的通信技术可以为有线通信技术或无线通信技术，如移动高清链接技术(MHL)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术等。具体的，在本实施例中，该网络接口可以获取其他设备的图像数据、并向其他设备发送图像数据等，该图像数据包括上述实施例中任意一种数据。
本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种显著图计算方法，其特征在于，包括：
确定目标图像的预设个数的分割效果图；
将每张所述分割效果图中的每个超像素矩形区域、与每个所述超像素矩形区域对应的超像素最近邻构成区域和对应的整张分割效果图进行合并，得到目标合并图；
利用目标神经网络计算每张所述目标合并图中每个所述超像素矩形区域的显著值；
利用每张所述分割效果图的所有超像素矩形区域的显著值得到对应每张所述分割效果图的目标显著图；
利用与每个所述目标显著图对应目标融合参数将所有所述目标显著图进行融合，得到最优显著图。
2.根据权利要求1所述的方法，其特征在于，所述确定目标图像的预设个数的分割效果图，包括：
确定所述预设个数的参数组；
分别利用每个参数组对所述目标图片进行分割，得到与每个参数组对应的分割效果图。
3.根据权利要求1所述的方法，其特征在于，所述将每张所述分割效果图中的每个超像素矩形区域、与每个所述超像素矩形区域对应的超像素最近邻构成区域和对应的整张分割效果图进行合并，得到目标合并图，包括：
将每张所述分割效果图中的每个超像素矩形区域、与每个所述超像素矩形区域对应的超像素最近邻构成区域和对应的整张分割效果图进行合并，得到尺寸为227*227的目标合并图。
4.根据权利要求1所述的方法，其特征在于，所述目标神经网络包括5层卷积层、4层全连接隐层与1层输出层。
5.根据权利要求1所述的方法，其特征在于，所述利用与每个所述目标显著图对应目标融合参数将所有所述目标显著图进行融合，得到最优显著图，包括：
利用与每个所述目标显著图对应的目标融合参数组将所有所述目标显著图进行线性组合得到组合结果图；
将所述组合结果图的每个像素利用sigmoid函数映射到(0,1)区间内，得到最优显著图。
6.根据权利要求1至5任意一项所述的方法，其特征在于，所述利用与每个所述目标显著图对应目标融合参数将所有所述目标显著图进行融合，得到最优显著图，包括：
S201，确定初始偏移量和与每个所述目标显著图对应的初始融合参数组；
S202，利用当前初始融合参数组将所有所述目标显著图进行线性组合得到组合结果图，利用包括当前初始融合参数组与当前初始偏移量的sigmoid函数将组合结果图映射到(0,1)区间内，得到初始融合结果；
S203，判断当前初始融合结果是否为最优显著图；
S204，若是，则停止迭代，将当前初始融合参数作为目标融合参数，将当前初始融合结果作为最优显著图；
S205，若否，则计算当前初始融合结果交叉熵损失值，利用当前交叉熵损失值更新当前初始融合参数与当前初始偏移量，返回S202。
7.一种显著图计算系统，其特征在于，包括：
第一确定模块，用于确定目标图像的预设个数的分割效果图；
合并模块，用于将每张所述分割效果图中的每个超像素矩形区域、与每个所述超像素矩形区域对应的超像素最近邻构成区域和对应的整张分割效果图进行合并，得到目标合并图；
计算模块，用于利用目标神经网络计算每张所述目标合并图中每个所述超像素矩形区域的显著值；
第二确定模块，用于利用每张所述分割效果图的所有超像素矩形区域的显著值得到对应每张所述分割效果图的目标显著图；
融合模块，用于利用与每个所述目标显著图对应目标融合参数将所有所述目标显著图进行融合，得到最优显著图。
8.根据权利要求7所述的系统，其特征在于，所述融合模块，包括：
第一确定单元，用于确定初始偏移量和与每个所述目标显著图对应的初始融合参数组；
线性组合单元，用于利用当前初始融合参数组将所有所述目标显著图进行线性组合得到组合结果图，利用包括当前初始融合参数组与当前初始偏移量的sigmoid函数将组合结果图映射到(0,1)区间内，得到初始融合结果；
判断单元，用于判断当前初始融合结果是否为最优显著图；
第二确定单元，用于当前初始融合结果为最优显著图时，将当前初始融合参数作为目标融合参数，将当前初始融合结果作为最优显著图；
计算单元，用于当前初始融合结果不为最优显著图时，计算当前初始融合结果交叉熵损失值，利用当前交叉熵损失值更新当前初始融合参数与当前初始偏移量，调用线性组合单元。
9.一种显著图计算装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述显著图计算方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述显著图计算方法的步骤。
CN201810647947.XA 2018-06-19 2018-06-19 一种显著图计算方法及相关装置 Expired - Fee Related CN108961268B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810647947.XA CN108961268B (zh) 2018-06-19 2018-06-19 一种显著图计算方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810647947.XA CN108961268B (zh) 2018-06-19 2018-06-19 一种显著图计算方法及相关装置

Publications (2)

Publication Number Publication Date
CN108961268A true CN108961268A (zh) 2018-12-07
CN108961268B CN108961268B (zh) 2022-03-25

Family

ID=64491303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810647947.XA Expired - Fee Related CN108961268B (zh) 2018-06-19 2018-06-19 一种显著图计算方法及相关装置

Country Status (1)

Country Link
CN (1) CN108961268B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211135A (zh) * 2019-06-05 2019-09-06 广东工业大学 一种面向复杂背景干扰的硅藻图像分割方法、装置及设备
CN110473212A (zh) * 2019-08-15 2019-11-19 广东工业大学 一种融合显著性和超像素的电镜硅藻图像分割方法及装置
CN110826573A (zh) * 2019-09-16 2020-02-21 北京联合大学 一种显著图融合方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408711A (zh) * 2014-10-30 2015-03-11 西北工业大学 一种基于多尺度区域融合的显著区域检测方法
CN104574366A (zh) * 2014-12-18 2015-04-29 华南理工大学 一种基于单目深度图的视觉显著性区域的提取方法
US20150154471A1 (en) * 2013-12-02 2015-06-04 Omron Corporation Image processing device and method, and computer readable medium
CN107506761A (zh) * 2017-08-30 2017-12-22 山东大学 基于显著性学习卷积神经网络的脑部图像分割方法及系统
US20170372162A1 (en) * 2016-06-24 2017-12-28 Ebay Automated saliency map estimation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150154471A1 (en) * 2013-12-02 2015-06-04 Omron Corporation Image processing device and method, and computer readable medium
CN104408711A (zh) * 2014-10-30 2015-03-11 西北工业大学 一种基于多尺度区域融合的显著区域检测方法
CN104574366A (zh) * 2014-12-18 2015-04-29 华南理工大学 一种基于单目深度图的视觉显著性区域的提取方法
US20170372162A1 (en) * 2016-06-24 2017-12-28 Ebay Automated saliency map estimation
CN107506761A (zh) * 2017-08-30 2017-12-22 山东大学 基于显著性学习卷积神经网络的脑部图像分割方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUANBIN LI ET AL: "Visual Saliency Detection Based on Multiscale Deep CNN Features", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
RUI ZHAO ET AL: "Saliency Detection by Multi-Context Deep Learning", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211135A (zh) * 2019-06-05 2019-09-06 广东工业大学 一种面向复杂背景干扰的硅藻图像分割方法、装置及设备
CN110473212A (zh) * 2019-08-15 2019-11-19 广东工业大学 一种融合显著性和超像素的电镜硅藻图像分割方法及装置
CN110826573A (zh) * 2019-09-16 2020-02-21 北京联合大学 一种显著图融合方法及系统
CN110826573B (zh) * 2019-09-16 2023-10-27 北京联合大学 一种显著图融合方法及系统

Also Published As

Publication number Publication date
CN108961268B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN111369681B (zh) 三维模型的重构方法、装置、设备及存储介质
CN109522874A (zh) 人体动作识别方法、装置、终端设备及存储介质
CN111260764B (zh) 一种制作动画的方法、装置及存储介质
CN107103113A (zh) 面向神经网络处理器的自动化设计方法、装置及优化方法
CN109583509B (zh) 数据生成方法、装置及电子设备
CN108961268A (zh) 一种显著图计算方法及相关装置
CN115954933A (zh) 电网数字孪生系统构建方法、装置、电子设备和存储介质
CN114339409B (zh) 视频处理方法、装置、计算机设备及存储介质
CN114429528A (zh) 图像处理方法、装置、设备、计算机程序及存储介质
CN103544727A (zh) 一种基于预测分支的场景渲染优化方法、系统和移动终端
CN109359542A (zh) 基于神经网络的车辆损伤级别的确定方法及终端设备
CN110517345A (zh) 一种三维模型渲染的方法及装置
CN104463962A (zh) 基于gps信息视频的三维场景重建方法
CN110428422A (zh) 超像素采样网络
CN107770458B (zh) 一种场景切换的方法及终端设备
CN103838861A (zh) 一种基于三维gis动态显示信息的方法和显示系统
Xu et al. Leveraging Generative AI for Smart City Digital Twins: A Survey on the Autonomous Generation of Data, Scenarios, 3D City Models, and Urban Designs
CN109101544A (zh) 热力图生成方法、装置、计算设备和可读存储介质
CN108053464A (zh) 粒子特效处理方法及装置
CN110197459B (zh) 图像风格化生成方法、装置及电子设备
CN114528893A (zh) 机器学习模型训练方法、电子设备及存储介质
CN111645687A (zh) 变道策略确定方法、装置及存储介质
CN109905880A (zh) 一种网络划分方法、系统及电子设备和存储介质
CN113139490B (zh) 一种图像特征匹配方法、装置、计算机设备及存储介质
CN115591240A (zh) 三维游戏场景的特征提取方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220325