CN107369131A - 图像的显著性检测方法、装置、存储介质和处理器 - Google Patents
图像的显著性检测方法、装置、存储介质和处理器 Download PDFInfo
- Publication number
- CN107369131A CN107369131A CN201710539098.1A CN201710539098A CN107369131A CN 107369131 A CN107369131 A CN 107369131A CN 201710539098 A CN201710539098 A CN 201710539098A CN 107369131 A CN107369131 A CN 107369131A
- Authority
- CN
- China
- Prior art keywords
- pixel
- super
- saliency maps
- depth
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000011218 segmentation Effects 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 25
- 239000013598 vector Substances 0.000 claims description 48
- 230000004927 fusion Effects 0.000 claims description 27
- 230000008859 change Effects 0.000 claims description 15
- 238000011524 similarity measure Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- YBJHBAHKTGYVGT-ZKWXMUAHSA-N (+)-Biotin Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)O)SC[C@@H]21 YBJHBAHKTGYVGT-ZKWXMUAHSA-N 0.000 description 1
- 235000002918 Fraxinus excelsior Nutrition 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 239000002956 ash Substances 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 235000015170 shellfish Nutrition 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
- FEPMHVLSLDOMQC-UHFFFAOYSA-N virginiamycin-S1 Natural products CC1OC(=O)C(C=2C=CC=CC=2)NC(=O)C2CC(=O)CCN2C(=O)C(CC=2C=CC=CC=2)N(C)C(=O)C2CCCN2C(=O)C(CC)NC(=O)C1NC(=O)C1=NC=CC=C1O FEPMHVLSLDOMQC-UHFFFAOYSA-N 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像的显著性检测方法、装置、存储介质和处理器。该方法包括：对目标图像的深度图进行超像素分割，得到目标图像的多个超像素；对每个超像素进行聚类处理，得到每个超像素的第一数量的类，其中，第一数量的类中包含像素点数目最多的类的聚类中心为每个超像素的目标聚类中心；对每个超像素的目标聚类中心执行第一预设算法，得到目标图像的深度显著性图。通过本发明，提高了图像的显著性检测的准确性。
Description
技术领域
本发明涉及图像处理领域，具体而言，涉及一种图像的显著性检测方法、装置、存储介质和处理器。
背景技术
目前，在图像处理中，数据集里面的深度图往往会有一些不准确或者错误的数据。在利用深度图进行显著性提取的时候，显著性提取的结果会受到不准确或者错误的数据的影响，也即，受到噪声影响。如果特地对深度图进行修复，考虑到兼容性以及实现的过程，则修复过程中的复杂程度会大大增加。
现有技术中还存在通过计算对比度来对深度图进行提取显著性的方法。根据深度图的特点，单纯计算对比度无法将场景中的背景区域与显著物体区分开，比如，无法将场景中的地板或天花板等背景区域与显著物体区分开。
另外，在现有的对3D图像或视频显著性提取方法中，采用计算多张基于特征的显著图，然后对多张基于特征的显著图进行融合，这基本上是利用简单的线性相加或相乘计算来实现，这种融合方法难以将单个显著图的优势最大化。
针对现有技术中图像的显著性检测的准确性低的问题，目前尚未提出有效的解决方案。
发明内容
本发明的主要目的在于提供一种图像的显著性检测方法、装置、存储介质和处理器，以至少解决图像的显著性检测的准确性低的问题。
为了实现上述目的，根据本发明的一个方面，提供了一种图像的显著性检测方法。该方法包括：对目标图像的深度图进行超像素分割，得到目标图像的多个超像素；对每个超像素进行聚类处理，得到每个超像素的第一数量的类，其中，第一数量的类中包含像素点数目最多的类的聚类中心为每个超像素的目标聚类中心；对每个超像素的目标聚类中心执行第一预设算法，得到目标图像的深度显著性图。
可选地，对每个超像素的目标聚类中心执行第一预设算法，得到目标图像的深度显著性图包括：确定多个超像素中的第一超像素和多个第二超像素，其中，第一超像素为多个超像素中的任意一个超像素，多个第二超像素为多个超像素中除第一超像素之外的超像素；获取第一超像素的目标聚类中心与每个第二超像素的目标聚类中心之间的距离，得到多个距离，其中，多个距离和多个第二超像素相对应；将多个距离分别转换为第一超像素与每个第二超像素之间的相似度，得到多个相似度，其中，多个相似度与多个第二超像素相对应；根据多个相似度计算第一超像素的深度显著性值，其中，深度显著性值用于生成目标图像的深度显著性图。
可选地，根据多个相似度计算第一超像素的深度显著性值包括：对多个相似度进行求和运算，得到第一相似度之和；获取第一超像素与位于目标图像的边界处的每个第二超像素之间的相似度，得到多个第一相似度，并对多个第一相似度进行求和运算，得到第二相似度之和，其中，多个相似度包括多个第一相似度；根据第一相似度之和与第二相似度之和获取第一超像素属于背景区域中的超像素的第一概率；根据第一概率获取第一超像素的深度显著性值。
可选地，根据第一相似度之和与第二相似度之和获取第一超像素属于背景区域中的超像素的第一概率包括：通过如下第一公式获取第一概率PBnd(dpi)，其中，MI(dpi)用于表示第一相似度之和，M(dpi,dpj)用于表示第i个超像素与第j个超像素之间的相似度，dist(dpi,dpj)用于表示第i个超像素和第j个超像素之间的距离，MBnd(dpi)用于表示第二相似度之和，当dpj为目标图像的边界处的超像素时，δ的值为1，否则，δ的值为0。
可选地，根据第一概率获取第一超像素的深度显著性值包括：根据如下第二公式获取第一超像素的深度显著性值SD(dpi)，SD(dpi)＝Con(dpi)·(1-PBnd(dpi))。
可选地，在对目标图像的深度图进行超像素分割，得到目标图像的多个超像素之后，该方法还包括：对每个超像素的像素点执行第二预设算法，得到目标图像的运动显著性图；至少融合深度显著性图和运动显著性图，得到目标图像的目标显著性图。
可选地，对每个超像素的像素点执行第二预设算法，得到目标图像的运动显著性图包括：获取目标图像的当前帧的每个像素点与当前帧的上一帧中对应像素点之间的深度变化信息；从深度变化信息中确定每个像素点的三维运动矢量；对三维运动矢量进行超像素分割，得到第二数量的超像素块；计算每个超像素块的均值，得到第二数量的运动矢量；将第二数量的运动矢量按照三维运动矢量中的特征进行聚类处理，得到第三数量的类；根据每个超像素块的均值和第三数量的类中包含像素点数目最多的类的聚类中心获取每个超像素块的运动显著性值。
可选地，根据每个超像素块的均值和第三数量的类中包含像素点数目最多的类的聚类中心获取每个超像素块的运动显著性值包括：根据如下第三公式获取每个超像素块的运动显著性值SM(mpi)，其中，用于表示每个超像素块的均值，μc用于表示第三数量的类中包含像素点数目最多的类的聚类中心。
可选地，至少融合深度显著性图和运动显著性图，得到目标图像的目标显著性图包括：从深度显著性图和运动显著性图中确定第一显著性图；将第一显著性图确定为深度显著性图和运动显著性图中除第一显著性图之外的第二显著性图的先验信息；根据第一显著性图对第二显著性图进行计算，得到第一后验概率，并将第一后验概率作为第一显著性值；将第二显著性图确定为第一显著性图的先验信息；根据第二显著性图对第一显著性图进行计算，得到第二后验概率，并将第二后验概率作为第二显著性值；对第一显著性值和第二显著性值进行融合处理，得到第一融合结果；将第一融合结果和目标图像的二维显著性值进行融合处理，得到第三显著性值；根据第三显著性值生成目标显著性图。
可选地，根据第一显著性图对第二显著性图进行计算，得到第一后验概率，并将第一后验概率作为第一显著性值包括：将第一显著性图分割为二值图，其中，二值图的第一阈值为第一显著性图的均值；标记大于第一阈值的像素点为第一像素点，标记小于第一阈值的像素点为第二像素点；将第一像素点的条件概率和先验概率，第二像素点的条件概率和先验概率按照预设贝叶斯公式计算得到后验概率；将后验概率确定为第一显著性值。
可选地，将第一像素点的条件概率和先验概率，第二像素点的条件概率和先验概率按照预设贝叶斯公式计算得到后验概率包括：通过如下预设贝叶斯公式计算得到后验概率p(Fi|Sj(x))，其中，p(Fi)用于表示第一像素点的先验概率，p(Sj(x)|Fi)用于表示第一像素点的条件概率，p(Bi)用于表示第二像素点的先验概率，p(Sj(x)|Bi)用于表示第二像素点的条件概率，Sj(x)用于表示预设贝叶斯公式的加权因子。
可选地，深度图包括噪声信息。
为了实现上述目的，根据本发明的另一方面，还提供了一种图像的显著性检测装置。该装置包括：分割单元，用于对目标图像的深度图进行超像素分割，得到目标图像的多个超像素；处理单元，用于对每个超像素进行聚类处理，得到每个超像素的第一数量的类，其中，第一数量的类中包含像素点数目最多的类的聚类中心为每个超像素的目标聚类中心；执行单元，用于对每个超像素的目标聚类中心执行第一预设算法，得到目标图像的深度显著性图。
为了实现上述目的，根据本发明的另一方面，还提供了一种存储介质。该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行本发明实施例的图像的显著性检测方法。
为了实现上述目的，根据本发明的另一方面，还提供了一种还提供了一种处理器。该处理器用于运行程序，其中，程序运行时执行本发明实施例的图像的显著性检测方法。
通过本发明实施例，采用对目标图像的深度图进行超像素分割，得到目标图像的多个超像素；对每个超像素进行聚类处理，得到每个超像素的第一数量的类，其中，第一数量的类的中心为每个超像素的目标聚类中心；对每个超像素的目标聚类中心执行第一预设算法，得到目标图像的深度显著性图。由于对深度图进行超像素分割后，采用各个超像素的大类目标聚类中心来代替整个超像素去计算，可以有效避免超像素内可能存在的有明显错误的点对整个超像素的影响，解决了相关技术中图像的显著性检测的准确性低的问题，提高了图像的显著性检测的准确性。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种图像的显著性检测方法的流程图；
图2是根据本发明实施例的一种图像的显著性检测的示意图；以及
图3是根据本发明实施例的一种图像的显著性检测装置的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
本发明实施例提供了一种图像的显著性检测方法。
图1是根据本发明实施例的一种图像的显著性检测方法的流程图。如图1所示，该方法包括以下步骤：
步骤S102，对目标图像的深度图进行超像素分割，得到目标图像的多个超像素。
在本申请上述步骤S102提供的技术方案中，对目标图像的深度图进行超像素分割，得到目标图像的多个超像素。
当人眼在看一幅场景的时候，首先会被该视觉场景中最刺眼或者最引人注目的某个局部所吸引，这个局部就是该视觉场景中最显著的区域。该实施例的视觉显著性检测就是让计算机模拟人眼在这一瞬间所做的工作，也即，如何从一整幅视觉场景中找到最引人注目的区域。
在该实施例的图像的显著性检测方法中，目标图像可以为立体视频的图像。获取目标图像的深度图，该深度图可以包括噪声信息。通过简单线性迭代集群(Simple LinearIterative Cluster，简称为SLIC)超像素分割方法对目标图像的深度图进行分割，得到目标图像的多个超像素(Super pixel)，比如，得到N个超像素{dp1,dp2,…,dpN}，每个超像素中具有多个像素点。
可选地，在对目标图像的深度图进行超像素分割时，将目标图像从RGB颜色空间转换到CIE-Lab颜色空间，对应每个像素的(L，a，b)颜色值和(x，y)坐标组成一个5维向量V[L，a，b，x，y]，两个像素的相似性即可由它们的向量距离来度量，当距离越大时，两个像素相似性越小。
将目标图像的深度图生成K个种子点，然后在每个种子点的周围空间里搜索距离该种子点最近的若干像素，将该若干像素与该种子点归为一类，直到所有像素点都归类完毕，得到目标图像的多个超像素。
步骤S104，对每个超像素进行聚类处理，得到每个超像素的第一数量的类，其中，第一数量的类中包含像素点数目最多的类的聚类中心为每个超像素的目标聚类中心。
在本申请上述步骤S104提供的技术方案中，对每个超像素进行聚类处理，得到每个超像素的第一数量的类，其中，第一数量的类中包含像素点数目最多的类的聚类中心为每个超像素的目标聚类中心，可以将第一数量的类中包含像素点数目最多的类确定为目标类，将该目标类的聚类中心确定为每个超像素的目标聚类中心。
在对目标图像的深度图进行超像素分割，得到目标图像的多个超像素之后，对每个超像素进行聚类处理，得到每个超像素的第一数量的类，比如，N类，该第一数量可以指定，比如，指定5个类，此处不做限定。第一数量的类中每一个类都包含有数量不等的像素点，且每一个类都具有一个聚类中心。将第一数量的类中包含像素点数目最多的类确定为第一数量的类中的最大类，将该最大类的聚类中心确定为每个超像素的目标聚类中心，该目标聚类中心为整个超像素在计算过程中的代表，为在大量高维的矢量数据点中具有代表性的数据点，也即，每个超像素中里面所有像素点中具有代表性的数据点，比如，N个聚类中心为{dc1,dc2,…,dcN}。
可选地，在将所有像素点都归类完毕之后，计算K个超像素里所有像素点的平均向量值，重新得到K个目标聚类中心，然后再以这K个中心去搜索其周围与其最为相似的若干像素，所有像素都归类完后重新得到K个超像素，更新目标聚类中心，再次迭代，如此反复直到收敛。
该实施例的算法通过参数K，指定生成的超像素数目。如目标图像中有N个像素，则分割后每块超像素大致有N/K个像素，每块超像素的边长大致为S＝[N/K]^0.5，开始每隔S个像素取一个聚类中心，然后以这个聚类中心的周围2S*2S为其搜索空间，与其最为相似的若干点即在此空间中搜寻。为了避免所选的聚类中心是边缘和噪声这样的不合理点，可选地，在3*3的窗口中将聚类中心移动到梯度最小的区域。
因为L，a，b在CIE-Lab颜色空间的大小有限制，而目标图像的尺寸则没有限制，如果图片的尺寸比较大，会造成衡量向量距离时空间距离(x，y)的影响过大，所以需要调制空间距离(x，y)的影响，对x，y进行标准化(normalize)。
该实施例可能会出现一些小的区域d被标记为归属某一块超像素，但却与这块超像素没有连接，这就需要将这块小区域d重新归类为与这块小区域d连接的最大的超像素中去，以保证每块超像素的完整性。
步骤S106，对每个超像素的目标聚类中心执行第一预设算法，得到目标图像的深度显著性图。
在本申请上述步骤S106提供的技术方案中，对每个超像素的目标聚类中心执行第一预设算法，得到目标图像的深度显著性图。
在获取每个超像素的目标聚类中心之后，将每个超像素的目标聚类中心代替这个超像素中的所有像素点区进行计算。可以根据每个超像素的目标聚类中心计算深度图的全局对比度图。针对第i个超像素，它的全局对比度为它与多个超像素中其它所有超像素之间的距离之和，可以反应它在这整个图像中与其它部分的不同程度。可以通过第i个超像素计算的对比度计算第i个超像素和第j个超像素的距离，将第i个超像素和第j个超像素的距离转化为第i个超像素和第j个超像素之间的相似度，计算第i个超像素与其它所有超像素的相似度之和，并计算第i个超像素与图像边界处的超像素的相似度之和。根据第i个超像素与其它所有超像素的相似度之和、第i个超像素与图像边界处的超像素的相似度之和计算第i个超像素属于背景的概率，得到深度图背景先验图。最后根据第i个超像素属于背景的概率计算得到第i个超像素的深度显著值。依次类推，计算每个超像素的深度显著值，根据每个超像素的深度显著值计算深度显著性图，该深度显著性图可以为深度静态显著性图。
在深度显著性图的生成过程中，在对目标图像的深度图进行超像素分割之后，采用各个超像素的最大类聚类中心来代替整个超像素去计算对深度图进行显著性提取，能有效地避免由于深度值的不准确或错误所带来的一些噪声的影响，提高了图像的显著性检测的准确性。
该实施例通过对目标图像的深度图进行超像素分割，得到目标图像的多个超像素；对每个超像素进行聚类处理，得到每个超像素的第一数量的类，其中，第一数量的类的中心为每个超像素的目标聚类中心；对每个超像素的目标聚类中心执行第一预设算法，得到目标图像的深度显著性图。对深度图进行超像素分割后，采用各个超像素的大类目标聚类中心来代替整个超像素去计算，而不是均值代表整个超像素去进行计算，可以有效避免超像素内可能存在的有明显错误的点对整个超像素的影响，解决了相关技术中图像的显著性检测的准确性低的问题，提高了图像的显著性检测的准确性。
作为一种可选的实施方式，步骤S106，对每个超像素的目标聚类中心执行第一预设算法，得到目标图像的深度显著性图包括：确定多个超像素中的第一超像素和多个第二超像素，其中，第一超像素为多个超像素中的任意一个超像素，多个第二超像素为多个超像素中除第一超像素之外的超像素；获取第一超像素的目标聚类中心与每个第二超像素的目标聚类中心之间的距离，得到多个距离，其中，多个距离和多个第二超像素相对应；将多个距离分别转换为第一超像素与每个第二超像素之间的相似度，得到多个相似度，其中，多个相似度与多个第二超像素相对应；根据多个相似度计算第一超像素的深度显著性值，其中，深度显著性值用于生成目标图像的深度显著性图。
在获取每个超像素的目标聚类中心之后，在对每个超像素的目标聚类中心执行第一预设算法，得到目标图像的深度显著性图。在对每个超像素的目标聚类中心执行第一预设算法时，确定多个超像素中的第一超像素和多个第二超像素，该第一超像素为多个超像素中的任意一个超像素，比如，第一超像素第一超像素为多个超像素的第i个超像素，多个第二超像素为多个超像素中除第一超像素之外的超像素，比如，为多个超像素中除第i个超像素之外的第j个超像素；在确定多个超像素中的第一超像素和多个第二超像素之后，获取第一超像素的目标聚类中心与每个第二超像素的目标聚类中心之间的距离，得到多个距离，该多个距离和多个第二超像素相对应，将第一超像素的多个距离之和作为第一超像素的全局对比度，该第一超像素的全局对比度用于反映第一超像素在这整个图像中的与其它部分的不同程度。比如，获取第i个超像素的目标聚类中心和第j个超像素的目标聚类中心之间的距离dist(dpi,dpj)＝||dci-dcj||，第i个超像素的对比度值为：
在获取第一超像素的目标聚类中心与每个第二超像素的目标聚类中心之间的距离，得到多个距离之后，将多个距离分别转换为第一超像素与每个第二超像素之间的相似度，得到多个相似度，该多个相似度与多个第二超像素相对应，比如，第一超像素与每个第二超像素之间的相似度为在将多个距离分别转换为第一超像素与每个第二超像素之间的相似度，得到多个相似度之后，根据多个相似度计算第一超像素的深度显著性值，可以获取第一超像素的多个相似度之和，再获取第i个超像素与图像边界处的超像素的相似度之和，根据第i个超像素与其它所有超像素的相似度之和、第i个超像素与图像边界处的超像素的相似度之和，计算得到第一超像素的深度显著性值，通过每个超像素的深度显著性值于生成目标图像的深度显著性图。
作为一种可选的实施方式，根据多个相似度计算第一超像素的深度显著性值包括：对多个相似度进行求和运算，得到第一相似度之和；获取第一超像素与位于目标图像的边界处的每个第二超像素之间的相似度，得到多个第一相似度，并对多个第一相似度进行求和运算，得到第二相似度之和，其中，多个相似度包括多个第一相似度；根据第一相似度之和与第二相似度之和获取第一超像素属于背景区域中的超像素的第一概率；根据第一概率获取第一超像素的深度显著性值。
在根据多个相似度计算第一超像素的深度显著性值时，对将多个距离分别转换为第一超像素与每个第二超像素之间的相似度得到的多个相似度进行求和运算，得到第一相似度之和，比如，获取第i个超像素和第j个超像素的相似度，进而获取第i个超像素与每个超像素的第一相似度之和MI(dpi)。确定位于目标图像的边界处的超像素，获取第一超像素与位于目标图像的边界处的每个第二超像素之间相似度，得到多个相似度中的多个第一相似度，对多个第一相似度进行求和运算，得到第二相似度之和MBnd(dpi)。在得到第一相似度之和与第二相似度之和之后，根据第一相似度之和与第二相似度之和获取第一超像素属于背景区域中的超像素的第一概率，可以根据第二相似度之和占第一相似度之和的比例得到第一超像素的第一概率PBnd(dpi)。
根据上述方法可以得到多个超像素中每个超像素的第一概率，从而根据每个超像素的第一概率获取深度图背景先验图，使场景中的显著目标更好地与背景区分开，比如，使场景中的显著目标与地板、天花板等背景区域分开。在根据第一相似度之和与第二相似度之和获取第一超像素属于背景区域中的超像素的第一概率之后，根据第一概率获取第一超像素的深度显著性值。
作为一种可选的实施方式，根据第一相似度之和与第二相似度之和获取第一超像素属于背景区域中的超像素的第一概率包括：通过如下第一公式获取第一概率PBnd(dpi)，其中，MI(dpi)用于表示第一相似度之和，M(dpi,dpj)用于表示第i个超像素与第j个超像素之间的相似度，dist(dpi,dpj)用于表示第i个超像素和第j个超像素之间的距离，MBnd(dpi)用于表示第二相似度之和，当dpj为目标图像的边界处的超像素时，δ的值为1，否则，δ的值为0。
作为一种可选的实施方式，根据第一概率获取第一超像素的深度显著性值包括：根据如下第二公式获取第一超像素的深度显著性值SD(dpi)，SD(dpi)＝Con(dpi)·(1-PBnd(dpi))。
作为一种可选的实施方式，在对目标图像的深度图进行超像素分割，得到目标图像的多个超像素之后，该方法还包括：对每个超像素的像素点执行第二预设算法，得到目标图像的运动显著性图；至少融合深度显著性图和运动显著性图，得到目标图像的目标显著性图。
当该目标图像包括运动信息时，比如，视频中的三维动态画面的信息，可以生成目标图像的运动显著性图，该三维动态画面可以由目标图像的RGB图像和深度图像得到。在对目标图像的深度图进行超像素分割，得到目标图像的多个超像素之后，对每个超像素的像素点执行第二预设算法，可以采用稠密光流法得到每个像素点在x，y方向上相较上一帧对应像素点的位移，根据每个像素点在x，y方向上的坐标相较上一帧对应像素点的位移，得到每个像素在上一帧对应像素点的坐标，根据像素点在x，y方向上的坐标与每个像素在上一帧对应像素点的坐标得到两帧之间的深度变化信息，从而根据两帧之间的深度变化信息得到每个像素点的三维运动矢量，根据每个像素点的三维运动矢量确定目标图像的三维运动矢量图，对三维运动矢量图进行超像素分割，得到多个超像素块。对每个超像素块计算均值，得到多个运动矢量，该多个运动矢量与多个超像素相对应。在得到多个运动矢量之后，对多个运动矢量进行聚类处理，将多个超像素聚为K类，多个超像素块具有聚类中心。获取包含像素点数目最多的一类的聚类中心，根据每个超像素块的均值与包含像素点数目最多的一类的聚类中心的距离获取目标图像的运动显著性值，通过该运动显著性值生成运动显著性图。
作为一种可选的实施方式，对每个超像素的像素点执行第二预设算法，得到目标图像的运动显著性图包括：获取目标图像的当前帧的每个像素点与当前帧的上一帧中对应像素点之间的深度变化信息；从深度变化信息中确定每个像素点的三维运动矢量；对三维运动矢量进行超像素分割，得到第二数量的超像素块；计算每个超像素块的均值，得到第二数量的运动矢量；将第二数量的运动矢量按照三维运动矢量中的特征进行聚类处理，得到第三数量的类；根据每个超像素块的均值和第三数量的类中包含像素点数目最多的类的聚类中心获取每个超像素块的运动显著性值。
在对每个超像素的像素点执行第二预设算法，得到目标图像的运动显著性图之后，获取目标图像的当前帧中的每个像素点在x，y方向的坐标信息，获取每个像素点的坐标信息相对于当前帧的上一帧对应像素点的坐标信息(△x,△y)。如果当前帧为第i帧，第i帧的坐标信息为(x,y)，当前帧的上一帧为第i-1帧，则第i-1帧的坐标信息为(x-△x,y-△y)，因此第i帧和第i-1帧之间对应像素点的深度变化信息为△z＝D(x,y)-D(x-△x,y-△y)，其中，D为深度图，从而每个像素点的深度变化信息中确定每个像素点的运动矢量(△x,△y,△z)。在确定每个像素点的三维运动矢量之后，可以将每个像素点的三维运动矢量生成三维运动矢量图，对三维运动矢量图进行超像素分割，得到第二数量的超像素块，比如，得到N个超像素块{mp1,mp2,…,mpN}。在得到第二数量的超像素块之后，计算每个超像素块的均值，得到第二数量的运动矢量，比如，得到N个运动矢量
在计算每个超像素块的均值得到第二数量的运动矢量之后，将第二数量的运动矢量按照三维运动矢量中的特征进行聚类处理，得到第三数量的类，比如，将N个运动矢量利用每个像素点都有一个三维的运动矢量(△x,△y,△z)中的△x、△y、△z三个特征进行聚类处理，得到K类，K类的聚类中心分别为{μ1,μ2,…,μK}，并且具有类别号，每类包含的像素点的样本数目为{n1,n2,…,nK}。获取第三数量的类中包含像素点数目最多的类的聚类中心，比如，包含像素点数目最多的一类的类别号为这一类的聚类中心为整个运动矢量图的中心。
在获取第三数量的类中包含像素点数目最多的类的聚类中心之后，根据每个超像素块的均值和包含像素点数目最多的类的聚类中心获取每个超像素块的运动显著性值，可以对每个超像素块的均值和包含像素点数目最多的类的聚类中心的差进行二阶取模得到的。
作为一种可选的实施方式，根据每个超像素块的均值和第三数量的类中包含像素点数目最多的类的聚类中心获取每个超像素块的运动显著性值包括：根据如下第三公式获取每个超像素块的运动显著性值SM(mpi)，其中，用于表示每个超像素块的均值，μc用于表示第三数量的类中包含像素点数目最多的类的聚类中心。
作为一种可选的实施方式，至少融合深度显著性图和运动显著性图，得到目标图像的目标显著性图包括：从深度显著性图和运动显著性图中确定第一显著性图；将第一显著性图确定为深度显著性图和运动显著性图中除第一显著性图之外的第二显著性图的先验信息；根据第一显著性图对第二显著性图进行计算，得到第一后验概率，并将第一后验概率作为第一显著性值；将第二显著性图确定为第一显著性图的先验信息；根据第二显著性图对第一显著性图进行计算，得到第二后验概率，并将第二后验概率作为第二显著性值；对第一显著性值和第二显著性值进行融合处理，得到第一融合结果；将第一融合结果和目标图像的二维显著性值进行融合处理，得到第三显著性值；根据第三显著性值生成目标显著性图。
在至少融合深度显著性图和运动显著性图，得到目标图像的目标显著性图时，从深度显著性图和运动显著性图中确定第一显著性图，也即，该第一显著性图为深度显著性图和运动显著性图中的任意一个，当深度显著性图为第一显著性图时，则运动显著性图为第二显著性图，当运动显著性图为第一显著性图时，则深度显著性图为第二显著性图。将第一显著性图确定为第二显著性图的先验信息，比如，将第一显著性图Si作为第二显著性图Sj的先验信息，根据第一显著性图Si对第二显著性图Sj进行计算，得到第一后验概率，并将第一后验概率作为第一显著性值p(Fi|Sj(x))。可选地，将第一显著性图Si分割成一个二值图，阈值为第一显著性图Si的均值，根据大于第一显著性图Si的均值的像素点和小于第一显著性图Si的均值的像素点对第二显著性图Sj计算第一后验概率，并将该第一后验概率作为第一显著性值p(Fi|Sj(x))。
将第二显著性图确定为第一显著性图的先验信息，比如，将第二显著性图Sj作为第一显著性图Si的先验信息，根据第二显著性图Sj对第一显著性图Si进行计算，得到第二后验概率，并将第二后验概率作为第二显著性值p(Fj|Si(x))。可选地，将第二显著性图Sj分割成一个二值图，阈值为第二显著性图Sj的均值，根据大于第二显著性图Sj的均值的像素点和小于第二显著性图Sj的均值的像素点对第一显著性图Si计算第二后验概率，并将该第二后验概率作为第二显著性值p(Fj|Si(x))。
在将第一后验概率作为第一显著性值，将该第二后验概率作为第二显著性值之后，将第一融合结果和目标图像的二维显著性值进行融合处理，可以将第一显著性值和第二显著性值进行求和运算，得到第三显著性值SB(Si,Sj)，该第三显著性值为第一显著性图和第二显著性图的融合结果，也即，为深度显著性图和运动显著性图的融合结果。该实施例还可以将显著性图、运动显著性图和目标图像的2D维显著性图进行融合，得到最终的显著性图，可以为三维视频显著性图。
作为一种可选的实施方式，根据第一显著性图对第二显著性图进行计算，得到第一后验概率，并将第一后验概率作为第一显著性值包括：将第一显著性图分割为二值图，其中，二值图的第一阈值为第一显著性图的均值；标记大于第一阈值的像素点为第一像素点，标记小于第一阈值的像素点为第二像素点；将第一像素点的条件概率和先验概率，第二像素点的条件概率和先验概率按照预设贝叶斯公式计算得到后验概率；将后验概率确定为第一显著性值。
在根据第一显著性图对第二显著性图进行计算，得到第一后验概率时，将第一显著性图分割为二值图，该二值图上的每一个像素只能从0和1这两个值中取值，或者两种灰度等级状态，将第一显著性图的均值确定为而制图的第一阈值，获取超像素中大于第一阈值的第一像素点，记为Fi，获取小于第一阈值的第二像素点，记为Bi，将第一像素点的条件概率p(Sj(x)|Fi)和先验概率p(Fi)，第二像素的点的条件概率p(Sj(x)|Bi)和先验概率p(Bi)按照预设贝叶斯公式计算得到后验概率，其中，第一像素点的先验概率和第二像素点的先验概率不是固定的两个值，而是归一化之后的第一显著性图的值，在分子和分母的第一部分额外乘上一个因子Sj(x)，其值为归一化之后的第二显著性图Sj的值，这种有效的融合算法，融合结果由于简单的线性想家或相乘方法。
作为一种可选的实施方式，将第一像素点的条件概率和先验概率，第二像素点的条件概率和先验概率按照预设贝叶斯公式计算得到后验概率包括：通过如下预设贝叶斯公式计算得到后验概率p(Fi|Sj(x))，其中，p(Fi)用于表示第一像素点的先验概率，p(Sj(x)|Fi)用于表示第一像素点的条件概率，p(Bi)用于表示第二像素点的先验概率，p(Sj(x)|Bi)用于表示第二像素点的条件概率，Sj(x)用于表示预设贝叶斯公式的加权因子，这样用一张图作为先验对另一张图进行修正时，被修正的图不易被先验图大幅度的改变，原先值很大的区域在被修正之后不至于被减弱过多，保留被修正图原始值的趋势，同时也能使融合后的显著图的显著区域更加集中。
该实施例将第一显著性值和第二显著性值进行求和运算，得到第三显著性值SB(Si,Sj)，SB(Si,Sj)＝p(Fi|Sj(x))+p(Fj|Si(x))。
可选地，该实施例得到三张显著性图，Ss、SD和SM，三张显著性图最终融合结果为SB(SS,SM)＝SB(SS,SM)+SB(SS,SD)+SB(SM,SD)。
该实施的目标图像的深度图可以带有噪声信息，而并非是预先经过去噪处理之后的深度信息，采用各个超像素的大类聚类中心，而不是均值代表整个超像素去进行计算，可以有效避免超像素内可能存在的有明显错误的点对整个超像素的影响；在深度对比度图中，引入了背景先验信息可以有效去除与场景中主要显著目标相类似的背景区域；采用贝叶斯公式对显著性图进行融合，使显著性图互相影响互相修正，可以达到最后结果优于任何单一结果的目的。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例2
下面结合优选的实施例对本发明的技术方案进行说明。具体以立体视频的显著性检测方法进行举例说明。
图2是根据本发明实施例的一种图像的显著性检测的示意图。如图2所示，针对每一帧图片，输入为当前帧左视点的彩色RGB图像，从左到右计算得到深度图(Depth)，该深度图的深度值为相对值，已归一化到0至255之间。输入前一帧左视点的RGB图像和深度图，计算得到深度显著性图(Depth saliency map)、运动显著性图(Motion saliency map)和二维静态显著性图(2D static saliency map)，然后将深度显著性图、运动显著性图和二维静态显著性图利用贝叶斯公式融合得到最终的三维视频显著性图(3D video saliencymap)，其中，运动显著性图由三维动态图(3D motion map)得到，该三维动态图可以由RGB图像和深度图计算得到。
下面对显著性检测中的深度显著性图的生成进行介绍。
该实施例将深度图按照彩色图利用SLIC超像素分割方法分割成N个超像素{dp1,dp2,…,dpN}，对于每一个超像素进行重新聚类，每一个超像素内都会得到N个类，其中，N的数目可以指定，该N个类中包含像素点数目最多的类的聚类中心为最大类中心，也即，为每一个超像素的目标聚类中心。针对每一个超像素选择它的目标聚类中心作为代表去替代这个超像素里的所有像素点进行后续计算，这N个聚类中心为{dc1,dc2,…,dcN}。然后根据N个聚类中心为{dc1,dc2,…,dcN}计算深度图的全局对比度图。
第i个超像素的全局对比度为它与其它N个超像素中除第i个超像素之外的所有超像素的距离之和，该距离之和反应第i个超像素在整个图像中与其它部分的不同程度。第i个超像素的对比度值为：
其中，dist(dpi,dpj)为第i个超像素和第j个超像素的距离：dist(dpi,dpj)＝||dci-dcj||。
将两个超像素之间的距离dist(dpi,dpj)＝||dci-dcj||转换为相似度：
第i个超像素与其它所有超像素的相似度之和为：
第i个超像素与图像边界处的超像素的相似度之和为：
其中，当dpj为图像边界处超像素时，δ的值为1，否则，为0。
计算第i个超像素属于背景的概率，得到深度图背景先验图：
最终第i个超像素的深度显著值为：SD(dpi)＝Con(dpi)·(1-PBnd(dpi))。
下面对显著性检测中的运动显著性图的生成进行介绍。
该实施例采用稠密光流法得到每个像素点在x，y方向上相较上一帧对应像素点的位移(以像素为单位)，记做(△x,△y)。则在第i帧中坐标为(x,y)的像素点点在第i-1帧中的对应像素点的坐标为(x-△x,y-△y)，因此第i帧与第i-1帧之间对应点的深度变化信息为△z＝D(x,y)-D(x-△x,y-△y)，其中D为深度图，从而得到每个像素点的三维的运动矢量(△x,△y,△z)。
对三维运动矢量图进行超像素分割，分割得到N个超像素块{mp1,mp2,…,mpN}，对每个超像素块计算均值，得到N个运动矢量
对N个运动矢量利用运动矢量△x、△y、△z三个特征进行聚类处理。将N个超像素块聚为K类，聚类中心分别为{μ1,μ2,…,μK}，每类包含的样本数目为{n1,n2,…,nK}，其中包含像素数目最多的一类的类别号为因此取这一类的最大类聚类中心为整个运动矢量图的“中心”。计算N个超像素块的均值与这个“中心”点的距离，得到N个值，对于超像素块mpi，其显著值为：
下面对显著性图的融合方法进行介绍。
先融合两张显著图Si和Sj，首先将Sj作为先验信息，获得样本的试验之前获得的经验和历史资料。
将Sj用来计算似然/后验概率。将显著图Si分割成一个二值图，阈值为Si的均值，将大于该阈值的像素点被标记为Fi，小于该阈值的被标记为Bi。然后利用改进的贝叶斯公式计算后验概率，该后验概率则可作为显著值：
其中，p(Sj(x)|Fi)和p(Sj(x)|Bi)为似然/后验概率，
先验概率p(Fi)和p(Bi)不是固定的两个值，而是归一化之后Sj的值。另外，在分子和分母的第一部分额外乘上一个因子Sj(x)，其值为归一化之后Sj的值。
然后将Sj作为先验信息，将Si用来计算似然/后验概率，得到另一张融合图。因此显著图Si和Sj的融合结果为：SB(Si,Sj)＝p(Fi|Sj(x))+p(Fj|Si(x))。
可选地，总共计算得到三张显著图：Ss、SD和SM。三张显著图最终的融合结果为：SB(SS,SM)＝SB(SS,SM)+SB(SS,SD)+SB(SM,SD)。
该实施例可以在公开数据集上进行测试，所得数据如表1和表2所示。
表1一种三维视频的显著性检测对比表(一)
| Model | AUC | sAUC | SIM | PCC | NSS |
| 2D | 0.6691 | 0.7303 | 0.2930 | 0.2238 | 1.2245 |
| 3D Motion | 0.7004 | 0.7689 | 0.3333 | 0.2798 | 1.4143 |
| Depth | 0.7449 | 0.8088 | 0.3645 | 0.3279 | 1.4899 |
| Maximum | 0.7440 | 0.8195 | 0.3619 | 0.3263 | 1.5574 |
| Summation | 0.7681 | 0.8435 | 0.3747 | 0.3757 | 1.7854 |
| Ours | 0.7739 | 0.8563 | 0.4050 | 0.4037 | 2.1271 |
表2一种三维视频的显著性检测对比表(二)
在表1和表2中，模型(Model)中的“Ours”数值为通过本发明实施例的图像的显著性检测方法得到的数据，其它数据为单独由RGB图计算得到的显著图的数据。由表1和表2得，深度显著图的结果优于单独由RGB图计算得到的显著图的结果，最后的融合结果优于每个单独的显著图，优于相加或相乘等简单常用的融合结果。
该实施例在深度显著性图的生成过程中，对深度图进行超像素分割后，采用各个超像素的大类聚类中心来代替整个超像素进行计算，而不是均值代表整个超像素去进行计算，可以有效避免超像素内可能存在的有明显错误的点对整个超像素的影响；采用背景先验信息对深度全局对比度图进行优化，使场景中的显著目标更好地与背景区分开；采用改进的贝叶斯公式对显著图进行融合，对后验概率p(Sj(x)|Fi)乘上加权因子：归一化后的Sj，这样用一张图作为先验对另一张图进行修正时，被修正的图不易被先验图大幅度的改变，原先值很大的区域在被修正之后不至于被减弱过多，保留被修正图原始值的趋势，同时也能使融合后的显著图的显著区域更加集中。
实施例3
图3是根据本发明实施例的一种图像的显著性检测装置的示意图。如图3所示，该装置包括：分割单元10、处理单元20和执行单元30。
分割单元10，用于对目标图像的深度图进行超像素分割，得到目标图像的多个超像素。
处理单元20，用于对每个超像素进行聚类处理，得到每个超像素的第一数量的类，其中，第一数量的类中包含像素点数目最多的类的聚类中心为每个超像素的目标聚类中心。
执行单元30，用于对每个超像素的目标聚类中心执行第一预设算法，得到目标图像的深度显著性图。
可选地，执行单元30包括：第一确定模块、第一获取模块、转换模块和计算模块。其中，第一确定模块，用于确定多个超像素中的第一超像素和多个第二超像素，其中，第一超像素为多个超像素中的任意一个超像素，多个第二超像素为多个超像素中除第一超像素之外的超像素；第一获取模块，用于获取第一超像素的目标聚类中心与每个第二超像素的目标聚类中心之间的距离，得到多个距离，其中，多个距离和多个第二超像素相对应；转换模块，用于将多个距离分别转换为第一超像素与每个第二超像素之间的相似度，得到多个相似度，其中，多个相似度与多个第二超像素相对应；计算模块，用于根据多个相似度计算第一超像素的深度显著性值，其中，深度显著性值用于生成目标图像的深度显著性图。
可选地，计算模块包括：求和子模块、第一获取子模块、第二获取子模块和第三获取子模块。其中，求和子模块，用于对多个相似度进行求和运算，得到第一相似度之和；第一获取子模块，用于获取第一超像素与位于目标图像的边界处的每个第二超像素之间的相似度，得到多个第一相似度，并对多个第一相似度进行求和运算，得到第二相似度之和，其中，多个相似度包括多个第一相似度；第二获取子模块，用于根据第一相似度之和与第二相似度之和获取第一超像素属于背景区域中的超像素的第一概率；第三获取子模块，根据第一概率获取第一超像素的深度显著性值。
可选地，第二获取子模块用于通过如下第一公式获取第一概率PBnd(dpi)，其中，MI(dpi)用于表示第一相似度之和，M(dpi,dpj)用于表示第i个超像素与第j个超像素之间的相似度，dist(dpi,dpj)为第i个超像素和第j个超像素之间的距离，MBnd(dpi)用于表示第二相似度之和，当dpj为目标图像的边界处的超像素时，δ的值为1，否则，δ的值为0。
可选地，第三获取子模块用于根据如下第二公式获取第一超像素的深度显著性值SD(dpi)，SD(dpi)＝Con(dpi)·(1-PBnd(dpi))。
可选地，该装置还包括：第一执行单元和融合单元。其中，第一执行单元，用于在对目标图像的深度图进行超像素分割，得到目标图像的多个超像素之后，对每个超像素的像素点执行第二预设算法，得到目标图像的运动显著性图；融合单元，用于至少融合深度显著性图和运动显著性图，得到目标图像的目标显著性图。
可选地，第一执行单元包括：第二获取模块、第二确定模块、第一分割模块、第一计算模块、第一处理模块和第三获取模块。其中，第二获取模块，用于获取目标图像的当前帧的每个像素点与当前帧的上一帧中对应像素点之间的深度变化信息；第二确定模块，用于从深度变化信息中确定每个像素点的三维运动矢量；第一分割模块，用于对三维运动矢量进行超像素分割，得到第二数量的超像素块；第一计算模块，用于计算每个超像素块的均值，得到第二数量的运动矢量；第一处理模块，用于将第二数量的运动矢量按照三维运动矢量中的特征进行聚类处理，得到第三数量的类；第三获取模块，用于根据每个超像素块的均值和第三数量的类中包含像素点数目最多的类的聚类中心获取每个超像素块的运动显著性值。
可选地，第三获取模块用于根据如下第三公式获取每个超像素块的运动显著性值SM(mpi)，其中，用于表示每个超像素块的均值，μc用于表示第三数量的类中包含像素点数目最多的类的聚类中心。
可选地，融合单元包括：第三确定模块、第四确定模块、第二计算模块、第五确定模块、第三计算模块、第二处理模块、第三处理模块和生成模块。其中，第三确定模块，用于从深度显著性图和运动显著性图中确定第一显著性图；第四确定模块，用于将第一显著性图确定为深度显著性图和运动显著性图中除第一显著性图之外的第二显著性图的先验信息；第二计算模块，用于根据第一显著性图对第二显著性图进行计算，得到第一后验概率，并将第一后验概率作为第一显著性值；第五确定模块，用于将第二显著性图确定为第一显著性图的先验信息；第三计算模块，用于根据第二显著性图对第一显著性图进行计算，得到第二后验概率，并将第二后验概率作为第二显著性值；第二处理模块，用于对第一显著性值和第二显著性值进行融合处理，得到第一融合结果；第三处理模块，用于将第一融合结果和目标图像的二维显著性值进行融合处理，得到第三显著性值；生成模块，用于根据第三显著性值生成目标显著性图。
可选地，第二计算模块包括：分割子模块、标记子模块、计算子模块和确定子模块。其中，分割子模块，用于将第一显著性图分割为二值图，其中，二值图的第一阈值为第一显著性图的均值；标记子模块，用于标记大于第一阈值的像素点为第一像素点，标记小于第一阈值的像素点为第二像素点；计算子模块，用于将第一像素点的条件概率和先验概率，第二像素点的条件概率和先验概率按照预设贝叶斯公式计算得到后验概率；确定子模块，用于将后验概率确定为第一显著性值。
可选地，计算子模块包括：通过如下预设贝叶斯公式计算得到后验概率p(Fi|Sj(x))，其中，p(Fi)用于表示第一像素点的先验概率，p(Sj(x)|Fi)用于表示第一像素点的条件概率，p(Bi)用于表示第二像素点的先验概率，p(Sj(x)|Bi)用于表示第二像素点的条件概率，Sj(x)用于表示预设贝叶斯公式的加权因子。
可选地，深度图包括噪声信息。
该实施例通过分割单元10对目标图像的深度图进行超像素分割，得到目标图像的多个超像素；通过处理单元20对每个超像素进行聚类处理，得到每个超像素的第一数量的类，其中，第一数量的类中包含像素点数目最多的类的聚类中心为每个超像素的目标聚类中心；通过执行单元30对每个超像素的目标聚类中心执行第一预设算法，得到目标图像的深度显著性图。由于对深度图进行超像素分割后，采用各个超像素的大类目标聚类中心来代替整个超像素去计算，可以有效避免超像素内可能存在的有明显错误的点对整个超像素的影响，解决了相关技术中图像的显著性检测的准确性低的问题，提高了图像的显著性检测的准确性。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可接收的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (15)
1.一种图像的显著性检测方法，其特征在于，包括：
对目标图像的深度图进行超像素分割，得到所述目标图像的多个超像素；
对每个超像素进行聚类处理，得到所述每个超像素的第一数量的类，其中，所述第一数量的类中包含像素点数目最多的类的聚类中心为所述每个超像素的目标聚类中心；
对所述每个超像素的目标聚类中心执行第一预设算法，得到所述目标图像的深度显著性图。
2.根据权利要求1所述的方法，其特征在于，对每个超像素的目标聚类中心执行所述第一预设算法，得到所述目标图像的深度显著性图包括：
确定所述多个超像素中的第一超像素和多个第二超像素，其中，所述第一超像素为所述多个超像素中的任意一个超像素，所述多个第二超像素为所述多个超像素中除所述第一超像素之外的超像素；
获取所述第一超像素的目标聚类中心与每个第二超像素的目标聚类中心之间的距离，得到多个距离，其中，所述多个距离和所述多个第二超像素相对应；
将所述多个距离分别转换为所述第一超像素与每个第二超像素之间的相似度，得到多个相似度，其中，所述多个相似度与所述多个第二超像素相对应；
根据所述多个相似度计算所述第一超像素的深度显著性值，其中，所述深度显著性值用于生成所述目标图像的深度显著性图。
3.根据权利要求2所述的方法，其特征在于，根据所述多个相似度计算所述第一超像素的所述深度显著性值包括：
对所述多个相似度进行求和运算，得到第一相似度之和；
获取所述第一超像素与位于所述目标图像的边界处的所述每个第二超像素之间的相似度，得到多个第一相似度，并对所述多个第一相似度进行求和运算，得到第二相似度之和，其中，所述多个相似度包括所述多个第一相似度；
根据所述第一相似度之和与所述第二相似度之和获取所述第一超像素属于背景区域中的超像素的第一概率；
根据所述第一概率获取所述第一超像素的深度显著性值。
4.根据权利要求3所述的方法，其特征在于，根据所述第一相似度之和与所述第二相似度之和获取所述第一超像素属于背景区域中的超像素的第一概率包括：通过如下第一公式获取所述第一概率PBnd(dpi)，
其中，MI(dpi)用于表示所述第一相似度之和，M(dpi,dpj)用于表示第i个超像素与第j个超像素之间的相似度，dist(dpi,dpj)用于表示第i个超像素和第j个超像素之间的距离，MBnd(dpi)用于表示所述第二相似度之和，当dpj为所述目标图像的边界处的超像素时，δ的值为1，否则，δ的值为0。
5.根据权利要求4所述的方法，其特征在于，根据所述第一概率获取所述第一超像素的所述深度显著性值包括：根据如下第二公式获取所述第一超像素的所述深度显著性值SD(dpi)，
SD(dpi)＝Con(dpi)·(1-PBnd(dpi))。
6.根据权利要求1所述的方法，其特征在于，在对所述目标图像的深度图进行超像素分割，得到所述目标图像的多个超像素之后，所述方法还包括：
对所述每个超像素的像素点执行第二预设算法，得到所述目标图像的运动显著性图；
至少融合所述深度显著性图和所述运动显著性图，得到所述目标图像的目标显著性图。
7.根据权利要求6所述的方法，其特征在于，对所述每个超像素的像素点执行所述第二预设算法，得到所述目标图像的所述运动显著性图包括：
获取所述目标图像的当前帧的每个像素点与所述当前帧的上一帧中对应像素点之间的深度变化信息；
从所述深度变化信息中确定所述每个像素点的三维运动矢量；
对所述三维运动矢量进行超像素分割，得到第二数量的超像素块；
计算每个超像素块的均值，得到所述第二数量的运动矢量；
将所述第二数量的运动矢量按照所述三维运动矢量中的特征进行聚类处理，
得到第三数量的类；
根据所述每个超像素块的均值和所述第三数量的类中包含像素点数目最多的类的聚类中心获取每个超像素块的运动显著性值。
8.根据权利要求7所述的方法，其特征在于，根据所述每个超像素块的均值和所述第三数量的类中包含像素点数目最多的类的聚类中心获取每个超像素块的运动显著性值包括：根据如下第三公式获取所述每个超像素块的运动显著性值SM(mpi)，其中，用于表示所述每个超像素块的均值，μc用于表示所述第三数量的类中包含像素点数目最多的类的聚类中心。
9.根据权利要求6所述的方法，其特征在于，至少融合所述深度显著性图和所述运动显著性图，得到所述目标图像的目标显著性图包括：
从所述深度显著性图和所述运动显著性图中确定第一显著性图；
将所述第一显著性图确定为所述深度显著性图和所述运动显著性图中除所述第一显著性图之外的第二显著性图的先验信息；
根据所述第一显著性图对所述第二显著性图进行计算，得到第一后验概率，并将所述第一后验概率作为第一显著性值；
将所述第二显著性图确定为所述第一显著性图的先验信息；
根据所述第二显著性图对所述第一显著性图进行计算，得到第二后验概率，并将所述第二后验概率作为第二显著性值；
对所述第一显著性值和所述第二显著性值进行融合处理，得到第一融合结果；
将所述第一融合结果和所述目标图像的二维显著性值进行融合处理，得到第三显著性值；
根据所述第三显著性值生成所述目标显著性图。
10.根据权利要求9所述的方法，其特征在于，根据所述第一显著性图对所述第二显著性图进行计算，得到所述第一后验概率，并将所述第一后验概率作为所述第一显著性值包括：
将所述第一显著性图分割为二值图，其中，所述二值图的第一阈值为所述第一显著性图的均值；
标记大于所述第一阈值的像素点为第一像素点，标记小于所述第一阈值的像素点为第二像素点；
将所述第一像素点的条件概率和先验概率，所述第二像素点的条件概率和先验概率按照预设贝叶斯公式计算得到后验概率；
将所述后验概率确定为所述第一显著性值。
11.根据权利要求10所述的方法，其特征在于，将所述第一像素点的条件概率和先验概率，所述第二像素点的条件概率和先验概率按照预设贝叶斯公式计算得到后验概率包括：通过如下预设贝叶斯公式计算得到所述后验概率p(Fi|Sj(x))，
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>F</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<msub>
<mi>S</mi>
<mi>j</mi>
</msub>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>F</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>S</mi>
<mi>j</mi>
</msub>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msub>
<mi>F</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
<msub>
<mi>S</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>F</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>S</mi>
<mi>j</mi>
</msub>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msub>
<mi>F</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
<msub>
<mi>S</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>B</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>S</mi>
<mi>j</mi>
</msub>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msub>
<mi>B</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mfrac>
<mo>,</mo>
</mrow>
其中，p(Fi)用于表示所述第一像素点的先验概率，p(Sj(x)|Fi)用于表示所述第一像素点的条件概率，p(Bi)用于表示所述第二像素点的先验概率，p(Sj(x)|Bi)用于表示所述第二像素点的条件概率，Sj(x)用于表示所述预设贝叶斯公式的加权因子。
12.根据权利要求1至11中任意一项所述的方法，其特征在于，所述深度图包括噪声信息。
13.一种图像的显著性检测装置，其特征在于，包括：
分割单元，用于对目标图像的深度图进行超像素分割，得到所述目标图像的多个超像素；
处理单元，用于对每个超像素进行聚类处理，得到所述每个超像素的第一数量的类，其中，所述第一数量的类中包含像素点数目最多的类的聚类中心为所述每个超像素的目标聚类中心；
执行单元，用于对所述每个超像素的目标聚类中心执行第一预设算法，得到所述目标图像的深度显著性图。
14.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至12中任意一项所述的图像的显著性检测方法。
15.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至12中任意一项所述的图像的显著性检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710539098.1A CN107369131B (zh) | 2017-07-04 | 2017-07-04 | 图像的显著性检测方法、装置、存储介质和处理器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710539098.1A CN107369131B (zh) | 2017-07-04 | 2017-07-04 | 图像的显著性检测方法、装置、存储介质和处理器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107369131A true CN107369131A (zh) | 2017-11-21 |
| CN107369131B CN107369131B (zh) | 2019-11-26 |
Family
ID=60305112
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710539098.1A Active CN107369131B (zh) | 2017-07-04 | 2017-07-04 | 图像的显著性检测方法、装置、存储介质和处理器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107369131B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108154150A (zh) * | 2017-12-18 | 2018-06-12 | 北京工业大学 | 一种基于背景先验的显著性检测方法 |
| CN108805057A (zh) * | 2018-05-29 | 2018-11-13 | 北京师范大学 | 一种基于联合显著性分析的sar图像油库区检测方法 |
| CN109635822A (zh) * | 2018-12-07 | 2019-04-16 | 浙江科技学院 | 基于深度学习编码译码网络的立体图像视觉显著提取方法 |
| CN109948474A (zh) * | 2019-03-04 | 2019-06-28 | 成都理工大学 | Ai热成像全天候智能监控方法 |
| CN110349082A (zh) * | 2019-06-28 | 2019-10-18 | 腾讯科技（深圳）有限公司 | 图像区域的裁剪方法和装置、存储介质及电子装置 |
| CN112602087A (zh) * | 2018-05-25 | 2021-04-02 | 皇家飞利浦有限公司 | 人识别系统和方法 |
| CN112990226A (zh) * | 2019-12-16 | 2021-06-18 | 中国科学院沈阳计算技术研究所有限公司 | 一种基于机器学习的显著性物体检测方法 |
| CN113034387A (zh) * | 2021-03-05 | 2021-06-25 | 成都国科微电子有限公司 | 一种图像去噪方法、装置、设备及介质 |
| CN114998320A (zh) * | 2022-07-18 | 2022-09-02 | 银江技术股份有限公司 | 视觉显著性检测的方法、系统、电子装置和存储介质 |
| CN115331157A (zh) * | 2022-09-28 | 2022-11-11 | 山东山矿机械有限公司 | 基于图像处理的输送机异常检测方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103996195A (zh) * | 2014-05-26 | 2014-08-20 | 清华大学深圳研究生院 | 一种图像显著性检测方法 |
| CN104966286A (zh) * | 2015-06-04 | 2015-10-07 | 电子科技大学 | 一种3d视频显著性检测方法 |
| CN105898278A (zh) * | 2016-05-26 | 2016-08-24 | 杭州电子科技大学 | 一种基于双目多维感知特性的立体视频显著性检测方法 |
| CN106611427A (zh) * | 2015-10-21 | 2017-05-03 | 中国人民解放军理工大学 | 基于候选区域融合的视频显著性检测方法 |
| CN106780476A (zh) * | 2016-12-29 | 2017-05-31 | 杭州电子科技大学 | 一种基于人眼立体视觉特性的立体图像显著性检测方法 |
-
2017
- 2017-07-04 CN CN201710539098.1A patent/CN107369131B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103996195A (zh) * | 2014-05-26 | 2014-08-20 | 清华大学深圳研究生院 | 一种图像显著性检测方法 |
| CN104966286A (zh) * | 2015-06-04 | 2015-10-07 | 电子科技大学 | 一种3d视频显著性检测方法 |
| CN106611427A (zh) * | 2015-10-21 | 2017-05-03 | 中国人民解放军理工大学 | 基于候选区域融合的视频显著性检测方法 |
| CN105898278A (zh) * | 2016-05-26 | 2016-08-24 | 杭州电子科技大学 | 一种基于双目多维感知特性的立体视频显著性检测方法 |
| CN106780476A (zh) * | 2016-12-29 | 2017-05-31 | 杭州电子科技大学 | 一种基于人眼立体视觉特性的立体图像显著性检测方法 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108154150A (zh) * | 2017-12-18 | 2018-06-12 | 北京工业大学 | 一种基于背景先验的显著性检测方法 |
| CN108154150B (zh) * | 2017-12-18 | 2021-07-23 | 北京工业大学 | 一种基于背景先验的显著性检测方法 |
| CN112602087A (zh) * | 2018-05-25 | 2021-04-02 | 皇家飞利浦有限公司 | 人识别系统和方法 |
| CN108805057A (zh) * | 2018-05-29 | 2018-11-13 | 北京师范大学 | 一种基于联合显著性分析的sar图像油库区检测方法 |
| CN108805057B (zh) * | 2018-05-29 | 2020-11-17 | 北京师范大学 | 一种基于联合显著性分析的sar图像油库区检测方法 |
| CN109635822A (zh) * | 2018-12-07 | 2019-04-16 | 浙江科技学院 | 基于深度学习编码译码网络的立体图像视觉显著提取方法 |
| CN109635822B (zh) * | 2018-12-07 | 2022-06-21 | 浙江科技学院 | 基于深度学习编码译码网络的立体图像视觉显著提取方法 |
| CN109948474A (zh) * | 2019-03-04 | 2019-06-28 | 成都理工大学 | Ai热成像全天候智能监控方法 |
| CN110349082B (zh) * | 2019-06-28 | 2023-08-29 | 腾讯科技（深圳）有限公司 | 图像区域的裁剪方法和装置、存储介质及电子装置 |
| CN110349082A (zh) * | 2019-06-28 | 2019-10-18 | 腾讯科技（深圳）有限公司 | 图像区域的裁剪方法和装置、存储介质及电子装置 |
| CN112990226A (zh) * | 2019-12-16 | 2021-06-18 | 中国科学院沈阳计算技术研究所有限公司 | 一种基于机器学习的显著性物体检测方法 |
| CN113034387A (zh) * | 2021-03-05 | 2021-06-25 | 成都国科微电子有限公司 | 一种图像去噪方法、装置、设备及介质 |
| CN113034387B (zh) * | 2021-03-05 | 2023-07-14 | 成都国科微电子有限公司 | 一种图像去噪方法、装置、设备及介质 |
| CN114998320B (zh) * | 2022-07-18 | 2022-12-16 | 银江技术股份有限公司 | 视觉显著性检测的方法、系统、电子装置和存储介质 |
| CN114998320A (zh) * | 2022-07-18 | 2022-09-02 | 银江技术股份有限公司 | 视觉显著性检测的方法、系统、电子装置和存储介质 |
| CN115331157A (zh) * | 2022-09-28 | 2022-11-11 | 山东山矿机械有限公司 | 基于图像处理的输送机异常检测方法及系统 |
| CN115331157B (zh) * | 2022-09-28 | 2023-02-17 | 山东山矿机械有限公司 | 基于图像处理的输送机异常检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107369131B (zh) | 2019-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107369131B (zh) | 图像的显著性检测方法、装置、存储介质和处理器 | |
| Schindler et al. | Line-based structure from motion for urban environments | |
| Vincken et al. | Probabilistic multiscale image segmentation | |
| CN107481279B (zh) | 一种单目视频深度图计算方法 | |
| CN104134234B (zh) | 一种全自动的基于单幅图像的三维场景构建方法 | |
| CN107292234B (zh) | 一种基于信息边缘和多模态特征的室内场景布局估计方法 | |
| Subbarao et al. | Beyond RANSAC: user independent robust regression | |
| CN106910242A (zh) | 基于深度相机进行室内完整场景三维重建的方法及系统 | |
| Srivatsa et al. | Salient object detection via objectness measure | |
| EP3905194A1 (en) | Pose estimation method and apparatus | |
| Papadakis et al. | Multi-label depth estimation for graph cuts stereo problems | |
| CN114424250A (zh) | 结构建模 | |
| CN109711268B (zh) | 一种人脸图像筛选方法及设备 | |
| CN110349186B (zh) | 基于深度匹配的大位移运动光流计算方法 | |
| CN110827312A (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| Xue et al. | Symmetric piecewise planar object reconstruction from a single image | |
| CN110544202A (zh) | 一种基于模板匹配与特征聚类的视差图像拼接方法及系统 | |
| CN109685830A (zh) | 目标跟踪方法、装置和设备及计算机存储介质 | |
| Liu et al. | Asflow: Unsupervised optical flow learning with adaptive pyramid sampling | |
| Wang et al. | Tc-sfm: Robust track-community-based structure-from-motion | |
| Barath | P-HAF: Homography Estimation using Partial Local Affine Frames. | |
| Zhao et al. | 3D object tracking via boundary constrained region-based model | |
| CN107146215A (zh) | 一种基于颜色直方图和凸包的显著性检测方法 | |
| CN109978043A (zh) | 一种目标检测方法及装置 | |
| CN116402867A (zh) | 融合sift和ransac的三维重建图像对齐的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |