CN111310768A - 基于鲁棒性背景先验和全局信息的显著性目标检测方法 - Google Patents

基于鲁棒性背景先验和全局信息的显著性目标检测方法 Download PDF

Info

Publication number
CN111310768A
CN111310768A CN202010063895.9A CN202010063895A CN111310768A CN 111310768 A CN111310768 A CN 111310768A CN 202010063895 A CN202010063895 A CN 202010063895A CN 111310768 A CN111310768 A CN 111310768A
Authority
CN
China
Prior art keywords
nodes
matrix
super
image
superpixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010063895.9A
Other languages
English (en)
Other versions
CN111310768B (zh
Inventor
孙登第
张子鹏
梁怡晓
郑健
李凯
丁转莲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202010063895.9A priority Critical patent/CN111310768B/zh
Publication of CN111310768A publication Critical patent/CN111310768A/zh
Application granted granted Critical
Publication of CN111310768B publication Critical patent/CN111310768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Abstract

本发明属于图像处理技术领域，具体涉及基于鲁棒性背景先验和全局信息的显著性目标检测方法。该方法包括以下步骤：构建待检测图像的超像素标签矩阵；构建待检测图像的超像素权重矩阵；筛选瞬态节点和吸收节点；构建待检测图像的马尔科夫转移矩阵，并计算瞬态节点吸收时间；构建马尔科夫转移矩阵的显著性特征图；根据权重矩阵，计算超像素点的前背景概率；构建鲁棒性背景先验显著特征图；将马尔科夫转移矩阵的显著性特征图和鲁棒性背景先验显著特征图进行叠加整合，并利用所有超像素点的显著性值，生成超像素点的综合显著性检测图。本发明整合了鲁棒性背景先验方法和全局信息，得到的显著性目标更均匀，能更有效地计算图像的显著性值。

Description

基于鲁棒性背景先验和全局信息的显著性目标检测方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于鲁棒性背景先验和全局信息的显著性目标检测方法。
背景技术
随着互联网带来的大数据量的传播，如何从海量的图像和视频数据中快速地获取重要信息，已经成为计算机视觉领域一个关键的问题。通过在计算机视觉任务中引入这种视觉注意机制，即视觉显著性，可以为视觉信息处理任务带来一系列重大的帮助和改善。因此显著性检测的优化具有重要的意义。
显著性检测的方法大致分为两种分析模型：一种叫做自下而上的数据驱动模型，特点的是速度快；另一类是自上而下的基于人工智能的计算模型,这类模型需要经过大量数据的训练之后进行图像识别处理，检测结果通常取决于目的性，不方便通过，且耗时较长。所以显著性检测大多采用自下而上的视觉模型。因此，近年来，基于图模型的自下而上方法得到了广泛的研究和应用。这种方法用邻域图模型建模，图像的超像素由图像的节点表示，图的边缘表示超像素之间的邻居关系和视觉外观相似性。然后，使用一模型些基于图的学习算法(例如基于鲁棒性背景先验的排序算法，马尔可夫随机游走模型等)，可以获得每个超像素的显著性度量。
在工业领域，一些大型机械设备运行过程中，需要对其工作状态进行监测。显著性检测能够比较好的完成监测。显著性检测优点是可将有限的计算资源分配给图像视频中更重要的信息并且使显示的结果更符合人的视觉认知需求。通过优化显著性检测模型，以获得更好的效果，具有一定的价值。
发明内容
本发明的目的在于提供一种基于鲁棒性背景先验和全局信息的显著性目标检测方法，该显著性目标检测方法整合了鲁棒性背景先验方法和全局信息，得到的显著性目标更均匀，能更有效地计算图像的显著性值。
为实现上述目的，本发明采用了以下技术方案：
基于鲁棒性背景先验和全局信息的显著性目标检测方法，该方法包括以下步骤：
(1)构建待检测图像的超像素标签矩阵。
(2)构建待检测图像的超像素权重矩阵。
(3)筛选瞬态节点和吸收节点。
(4)构建待检测图像的马尔科夫转移矩阵，并计算瞬态节点吸收时间。
(5)构建马尔科夫转移矩阵的显著性特征图。
(6)根据权重矩阵，计算超像素点的前背景概率。
(7)构建鲁棒性背景先验显著特征图。
(8)将马尔科夫转移矩阵的显著性特征图和鲁棒性背景先验显著特征图进行叠加整合，并利用所有超像素点的显著性值，生成超像素点的综合显著性检测图。
进一步的，步骤(1)所述的“构建待检测图像的超像素标签矩阵”，其具体包括以下步骤：
(11)将待检测图像分割成若干超像素点，并将分割后的待检测图像在红绿蓝三通道上进行颜色-对比空间转换，获得待检测图像在国际照明委员会颜色-对比CIELAB空间中的特征值。
(12)利用简单线性迭代聚类SLIC超像素分割算法，分割待检测图像，将待检测图像分为若干大小相似的超像素块，获得相应的超像素映射图，并生成待检测图像的超像素标签矩阵；对于每一个超像素里面所有的像素，以其在国际照明委员会颜色-对比CIELAB空间中的特征均值作为每一个超像素的特征值。
进一步的，步骤(2)中所述的“构建待检测图像的超像素权重矩阵”，其具体包括：以超像素作为节点构造出图模型，并寻找每个节点的邻接节点，计算出所有节点之间的边权重，构造邻接节点之间的权重矩阵。
进一步的，步骤(3)中所述的“筛选瞬态节点和吸收节点”，其具体包括以下步骤：
(31)根据权重矩阵获取待检测图像的超像素映射图，将超像素映射图中边界的超像素作为粗略边界节点。
(32)计算出每一个粗略边界节点的边界连通值，将边界连通值中大于阈值的粗略边界节点作为吸收节点，剩下的其余所有节点作为瞬态节点。阈值取值为0.6。
进一步的，步骤(4)中所述的“构建待检测图像的马尔科夫转移矩阵，并计算瞬态节点吸收时间”，其具体包括以下步骤：
(41)求出每个节点和所有节点之间的关联矩阵A。
(42)根据关联矩阵A中每个节点和所有节点之间的权重和，计算出度矩阵D。
(43)将关联矩阵与度矩阵的逆矩阵点乘，得到马尔可夫转移矩阵P；所述步骤(43)，其具体包括以下步骤：
采用以下公式计算所有节点的转移矩阵：
Figure BDA0002375370300000031
其中，P是马尔科夫转移矩阵，D是度矩阵，wij是待检测图中各超像素点之间的亲和度；对于国际照明委员会颜色-对比CIE-lab空间中的距离中相近的点，他们之间的亲和度会更高；σ是控制权重的参数，在实验中将σ2取0.1；A是和亲和度矩阵W有关的矩阵：如果节点i是一个瞬态节点而且它不与邻居节点相连接，则aij＝wij,aii＝1,否则aij＝0。dii表示矩阵W每一行值的和；diag表示这是一个对角矩阵，非对角线元素为0；e是自然常数；ci和cj表示与CIE-lab颜色空间中的两个节点相对应的超像素的平均值，||||是求范数的符号。
(44)根据马尔科夫转移矩阵P求得每个瞬态节点的吸收时间；所述步骤(44)，其具体包括以下步骤：
(441)采用以下公式调整马尔科夫转移矩阵P的顺序，使得前t个节点为顺态节点，后n-t个节点为吸收节点：
Figure BDA0002375370300000041
其中，R包含任何瞬态节点转移至任何吸收节点的概率。
(442)采用以下公式计算吸收时间T：
T＝(I-Q)-1×c
其中，Ι是一个t×t的单位向量，Q∈[0,1]t×t表示瞬态节点之间的转移概率，c是一个全1的n-t维向量。
进一步的，步骤(5)中所述的“构建马尔科夫转移矩阵的显著性特征图”，其具体包括：以马尔科夫转移矩阵中每个瞬态节点的吸收时间作为自身的显著性值，生成马尔科夫转移矩阵的显著性特征图。
进一步的，步骤(6)中所述的“根据权重矩阵，计算超像素点的前背景概率”，其具体包括以下步骤：
计算背景的概率，将国际照明委员会颜色-对比CIE-lab空间中的距离转换成图中两点之间的几何距离。粗略计算边界节点属于最外层边界的节点数量，作为边界部分的超像素的周长。将节点在图像边界部分的节点个数，作为图像边界部分的超像素的面积。
(61)采用以下公式计算边界节点的背景连通性：
Figure BDA0002375370300000042
对于任意的两个超像素点p和q，dapp(p,q)为国际照明委员会颜色-对比CIELAB中它们的平均颜色之间的欧几里德距离，dgeo(p,q)是测地距离，定义为沿图中最短路径的累积边权重。
(62)采用以下公式求得超像素点p属于背景的可能性BndCon(p)：
Figure BDA0002375370300000051
其中，Lenbnd(p)表示边界部分的超像素的边长，
Figure BDA0002375370300000052
δ(pi∈Bnd)；δ是一个调整参数，对于图像边界上的超像素为1，否则为0；
Area(p)表示超像素点所在区域的面积，
Figure BDA0002375370300000053
N为超像素点的数量；σclr为调整参数，设置为10；exp是以e为底的指数函数；dgeo(p,pi)为测地距离。
(63)采用以下公式，计算超像素点的背景先验bgi：
Figure BDA0002375370300000054
其中，σbndCon为背景联通性的调节参数，通常设为1；exp是以自然常数e为底的指数函数，e的取值为2.71828；BndCon(pi)表示超像素点pi属于背景的可能性。
(64)采用以下公式，计算超像素点的前景先验fgi：
fgi＝Ctrp·bgi
其中，Ctrp表示超像素的对比度，
Figure BDA0002375370300000055
Figure BDA0002375370300000056
是超像素p和超像素pi的中心之间的距离，σspa是调节参数，在这里设为0.4。exp是以自然常数e为底的指数函数，e的取值为2.71828。daap(p,pi)表示超像素p和超像素pi的权重。
进一步的，步骤(7)中所述的“构建鲁棒性背景先验显著特征图”，其具体包括：
采用以下公式计算待检测图像中超像素点的鲁棒性背景先验显著性特征图：
Figure BDA0002375370300000061
其中，fgi和bgi分别表示超像素点的前景先验和背景先验；fgi和bgi分别是超像素点属于前景和背景的概率；si是N个超像素节点中节点pi的显著性值；sj是N个超像素节点中节点pj的显著性值；Wij是相邻的超像素点i和j的相似度，
Figure BDA0002375370300000062
上述公式的作用是优化待检测图像的所有超像素的显著性值，可以得到鲁棒性背景先验的显著性值，从而生成鲁棒性背景先验显著特征图。
进一步的，步骤(8)所述的“将马尔科夫转移矩阵的显著性特征图和鲁棒性背景先验显著特征图进行叠加整合，并利用所有超像素点的显著性值，生成超像素点的综合显著性检测图”，其采用以下函数实现：
Figure BDA0002375370300000063
其中，bgi，fgi是超像素的背景和前景先验，si是N个超像素节点中节点pi的显著性值，sj是N个超像素节点中节点pj的显著性值，Ti是瞬态节点的吸收时间，Wij是相邻的超像素点i和j的相似度，μ是控制两个模型的平衡参数；理论上，通过对这个函数求最值，可以得到鲁棒性背景检测和全局信息的显著特征图。
具体地说，将上述函数求导，得到以下公式：
Figure BDA0002375370300000064
其中，D是度矩阵，W是相邻的超像素之间的亲和度矩阵,B和F是对角矩阵
Figure BDA0002375370300000065
fg分别表示所有超像素的前景，T表示瞬态节点的归一化吸收时间；通过该公式最终计算出每一个超像素点的显著性值，能得到整个图像的显著性值，再利用所有节点的显著性值，生成综合显著性检测图。
由以上技术方案可知，本发明基于马尔科夫链模型，通过整合鲁棒性背景先验方法和图片显著性的全局信息，有效提高了显著性检测的准确性，可以获得更为清晰的显著性检测目标。本发明可用于工业领域图像的检测以及特定目标的识别与分割。
附图说明
图1是本发明的方法流程图；
图2是本发明的待检测图样例及人工生成的显著性目标对比图；
图3是本发明中两个过程生成的中间过程图；
图4是本发明最终生成的目标显著性检测结果图；
图5是本发明与原图像的结果对比图。
具体实施方式
下面结合附图对本发明做进一步说明：
如图1所示的基于鲁棒性背景先验和全局信息的显著性目标检测方法，该方法包括以下步骤：
(1)构建待检测图像的超像素标签矩阵。
(2)构建待检测图像的超像素权重矩阵。
(3)筛选瞬态节点和吸收节点。
(4)构建待检测图像的马尔科夫转移矩阵，并计算瞬态节点吸收时间。
(5)构建马尔科夫转移矩阵的显著性特征图。
(6)根据权重矩阵，计算超像素点的前背景概率。
(7)构建鲁棒性背景先验显著特征图。
(8)将马尔科夫转移矩阵的显著性特征图和鲁棒性背景先验显著特征图进行叠加整合，并利用所有超像素点的显著性值，生成超像素点的综合显著性检测图。
进一步的，步骤(1)所述的“构建待检测图像的超像素标签矩阵”，其具体包括以下步骤：
(11)将待检测图像分割成若干超像素点，并将分割后的待检测图像在红绿蓝三通道上进行颜色-对比空间转换，获得待检测图像在国际照明委员会颜色-对比CIELAB空间中的特征值。
(12)利用简单线性迭代聚类SLIC超像素分割算法，分割待检测图像，将待检测图像分为若干大小相似的超像素块，获得相应的超像素映射图，并生成待检测图像的超像素标签矩阵；对于每一个超像素里面所有的像素，以其在国际照明委员会颜色-对比CIELAB空间中的特征均值作为每一个超像素的特征值。
进一步的，步骤(2)中所述的“构建待检测图像的超像素权重矩阵”，其具体包括：以超像素作为节点构造出图模型，并寻找每个节点的邻接节点，计算出所有节点之间的边权重，构造邻接节点之间的权重矩阵。
进一步的，步骤(3)中所述的“筛选瞬态节点和吸收节点”，其具体包括以下步骤：
(31)根据权重矩阵获取待检测图像的超像素映射图，将超像素映射图中边界的超像素作为粗略边界节点。
(32)计算出每一个粗略边界节点的边界连通值，将边界连通值中大于阈值的粗略边界节点作为吸收节点，剩下的其余所有节点作为瞬态节点。阈值取值为0.6。
进一步的，步骤(4)中所述的“构建待检测图像的马尔科夫转移矩阵，并计算瞬态节点吸收时间”，其具体包括以下步骤：
(41)求出每个节点和所有节点之间的关联矩阵A。
(42)根据关联矩阵A中每个节点和所有节点之间的权重和，计算出度矩阵D。
(43)将关联矩阵与度矩阵的逆矩阵点乘，得到马尔可夫转移矩阵P；所述步骤(43)，其具体包括以下步骤：
采用以下公式计算所有节点的转移矩阵：
Figure BDA0002375370300000091
其中，P是马尔科夫转移矩阵，D是度矩阵，wij是待检测图中各超像素点之间的亲和度；对于国际照明委员会颜色-对比CIE-lab空间中的距离中相近的点，他们之间的亲和度会更高；σ是控制权重的参数，在实验中将σ2取0.1；A是和亲和度矩阵W有关的矩阵：如果节点i是一个瞬态节点而且它不与邻居节点相连接，则aij＝wij,aii＝1,否则aij＝0。dii表示矩阵W每一行值的和；diag表示这是一个对角矩阵，非对角线元素为0；e是自然常数；ci和cj表示与CIE-lab颜色空间中的两个节点相对应的超像素的平均值，||||是求范数的符号。
(44)根据马尔科夫转移矩阵P求得每个瞬态节点的吸收时间；所述步骤(44)，其具体包括以下步骤：
(441)采用以下公式调整马尔科夫转移矩阵P的顺序，使得前t个节点为顺态节点，后n-t个节点为吸收节点：
Figure BDA0002375370300000092
其中，R包含任何瞬态节点转移至任何吸收节点的概率。
(442)采用以下公式计算吸收时间T：
T＝(I-Q)-1×c
其中，Ι是一个t×t的单位向量，Q∈[0,1]t×t表示瞬态节点之间的转移概率，c是一个全1的n-t维向量。
进一步的，步骤(5)中所述的“构建马尔科夫转移矩阵的显著性特征图”，其具体包括：以马尔科夫转移矩阵中每个瞬态节点的吸收时间作为自身的显著性值，生成马尔科夫转移矩阵的显著性特征图。
进一步的，步骤(6)中所述的“根据权重矩阵，计算超像素点的前背景概率”，其具体包括以下步骤：
计算背景的概率，将国际照明委员会颜色-对比CIE-lab空间中的距离转换成图中两点之间的几何距离。粗略计算边界节点属于最外层边界的节点数量，作为边界部分的超像素的周长。将节点在图像边界部分的节点个数，作为图像边界部分的超像素的面积。
(61)采用以下公式计算边界节点的背景连通性：
Figure BDA0002375370300000101
对于任意的两个超像素点p和q，dapp(p,q)为国际照明委员会颜色-对比CIELAB中它们的平均颜色之间的欧几里德距离，dgeo(p,q)是测地距离，定义为沿图中最短路径的累积边权重。
(62)采用以下公式求得超像素点p属于背景的可能性BndCon(p)：
Figure BDA0002375370300000102
其中，Lenbnd(p(表示边界部分的超像素的边长，
Figure BDA0002375370300000103
δ(pi∈Bnd)；δ是一个调整参数，对于图像边界上的超像素为1，否则为0；
Area(p)表示超像素点所在区域的面积，
Figure BDA0002375370300000104
N为超像素点的数量；σclr为调整参数，设置为10；exp是以e为底的指数函数；dgeo(p,pi)为测地距离。N为超像素点的数量；σclr为调整参数，设置为10；exp是以e为底的指数函数；dgeo(p,pi)为测地距离；S(p,pi)表示超像素点pi对p的区域的贡献度，累加起来就是p所属区域的面积。
(63)采用以下公式，计算超像素点的背景先验bgi：
Figure BDA0002375370300000111
其中，σbndCon为背景联通性的调节参数，通常设为1；exp是以自然常数e为底的指数函数，e的取值为2.71828；BndCon(pi)表示超像素点pi属于背景的可能性。
(64)采用以下公式，计算超像素点的前景先验fgi：
fgi＝Ctrp·bgi
其中，Ctrp表示超像素的对比度，
Figure BDA0002375370300000112
Figure BDA0002375370300000113
是超像素p和超像素pi的中心之间的距离，σspa是调节参数，在这里设为0.4。exp是以自然常数e为底的指数函数，e的取值为2.71828。daap(p,pi)表示超像素p和超像素pi的权重。
进一步的，步骤(7)中所述的“构建鲁棒性背景先验显著特征图”，其具体包括：
采用以下公式计算待检测图像中超像素点的鲁棒性背景先验显著性特征图：
Figure BDA0002375370300000114
其中，fgi和bgi分别是超像素点属于前景和背景的概率；si是N个超像素节点中节点pi的显著性值；sj是N个超像素节点中节点pj的显著性值；Wij是相邻的超像素点i和j的相似度，
Figure BDA0002375370300000115
上述公式的作用是优化待检测图像的所有超像素的显著性值，可以得到鲁棒性背景先验的显著性值，从而生成鲁棒性背景先验显著特征图。
进一步的，步骤(8)所述的“将马尔科夫转移矩阵的显著性特征图和鲁棒性背景先验显著特征图进行叠加整合，并利用所有超像素点的显著性值，生成超像素点的综合显著性检测图”，其采用以下函数实现：
Figure BDA0002375370300000121
其中，bgi，fgi是超像素的背景和前景先验，si是N个超像素节点中节点pi的显著性值，sj是N个超像素节点中节点pj的显著性值，Ti是瞬态节点的吸收时间，Wij是相邻的超像素点i和j的相似度，μ是控制两个模型的平衡参数；理论上，通过对这个函数求最值，可以得到鲁棒性背景检测和全局信息的显著特征图。
具体地说，将上述函数求导，得到以下公式：
Figure BDA0002375370300000122
其中，D是度矩阵，W是相邻的超像素之间的亲和度矩阵,B和*是对角矩阵
Figure BDA0002375370300000123
fg分别表示所有超像素的前景，T表示瞬态节点的归一化吸收时间；通过该公式最终计算出每一个超像素点的显著性值，能得到整个图像的显著性值，再利用所有节点的显著性值，生成综合显著性检测图。
在步骤(1)-步骤(8)结束后，采用以下方法获取综合显著性检测图与原图像的结果对比图：
将综合显著性检测图中CIELAB的L值大于40的区域标记为显著区域，在原图像中找到与显著区域相对应的区域，将其a值改为100，L值和b值不变，最终得到结果对比图如图5所示。
综上所述，本发明首先利用超像素分割将待检测图像分割成大小相似的超像素块；然后对超像素块进行分类，对瞬态节点和吸收节点进行筛选；接着，以超像素为节点构建映射图模型，由节点和其邻接节点之间的相似度得到相似度矩阵；其次，计算每个瞬态节点的吸收时间作为马尔科夫吸收模型的显著性值，由此获得图像的全局信息；再次，采用节点所在背景区域的大小和边界长度计算出该节点属于背景的概率，由此获得节点属于前景的概率；再者，通过参数平衡，利用二者获得超像素点的背景先验模型。最后，将上述两个方面进行综合获得图像各节点最终的显著性值，由此得到综合显著性图。
本发明以基于鲁棒性背景先验的排序算法和马尔可夫随机游走模型为基础，引入边界连通性的思想，着重提高对背景区域的检测命中率。本发明整合了两种不同级别线索的显著性检测方法，通过调整参数，来综合确定两种线索在检测效果上的比重。由于使用了更为全面的背景检测方法，能降低对于背景图像检测的错误率，从而使的显著性区域的检测更为突出、准确。
现有图像显著性检测技术中，基于AI的显著性识别方法需要长时间的数据训练等时间成本，朴素方法效果虽然没有基于AI的好，但是省去了训练的时间，针对单一的图片和几张图就能直接上手处理。本发明是基于朴素方法，针对之前存在并使用过的方法进一步进行方法的优化与改进创新，实现较好的检测效果，又不用花费大量时间来进行训练，能够快速的标识出图像的显著性。在朴素方法中，面对全局信息明显的图像，其他方法很难处理的完美，本发明创新性的将全局信息融合到鲁棒性背景先验中，在进行目标检测的过程中引入全局因素，从而使得传统的检测方法能够在显著性检测中获得更好的结果。
本发明将前背景检验方法和马尔科夫吸收模型整合并运用到一起，采用马尔科夫吸收模型获取图像的全局信息，整合到鲁棒性背景先验上，创造出一种基于鲁棒性背景先验和全局信息的显著性目标检测方法，最后获得了不错的效果，具体结果如图5所示。本发明的创新点在于两种方法整合创新，获得表现好的因素整合在一起，从而获得好的显著性检测结果。本发明在传统的基于鲁棒性背景先验检测方法的基础上引入了全局线索，也就是吸收时间，通过参数整合，能够找到一个合适的参数μ，使得前背景超像素节点的检测更准确，从而提高图像的检测效果。
在考虑到图像的全局因素后，在各种数据库上，将本发明所述的检测方法与其他方法做了比较，结果显示本发明在平均绝对误差，准确率，召回率等方面均具有明显优势，解决了传统朴素方法在没有考虑全局信息或者说对全局信息明显的图像处理的不好的劣势。
Figure BDA0002375370300000131
Figure BDA0002375370300000141
这个函数公式集中体现了本发明的创新，这是经过不断尝试推导后写出来的公式。刚开始需要试着整合不同的方法，大多数方法之间整合并不会取得好的结果，有的甚至最后结果会差于原来两个结果。经过不断尝试，在背景先验的基础上添加全局条件和参数，用来调节图像在不同全局信息下的表现情况；最后经过不断地实验和调参，最终找到的不错的参数，使得二者整合的结果能够在原方法的基础上基本取得更好的结果(在许多数据库中)。在实现本发明所述的检测方法的过程中，遇到并解决了许多技术难题：首先，寻找各种方法进行组合，整合的因素不是越多越好，早期寻找材料方法整合花了很多时间；其次，设置不同的参数，运行结果直到找到合适的参数；最后，在不同数据集上进行试验，保存结果并进行分析，综合得到本发明所述的检测方法比之前方法做的更好这个结论。
图2左侧图为待目标检测的测试图，用来测试本发明所述方法的性能，右侧图为人工抠图，将期望检测到的目标抠出来，用来与方法实现的检测结果进行对比。
图3左侧图为单独使用全局信息识别出来的目标轮廓，白色越亮说明为期望检测的目标概率越大，可以看出基本识别不出待检测目标。右侧为背景先验方法检测到的目标，通过最亮的白色区域可以大致看出检测目标，但还是不够明显，整体范围上误差还是过大。
图4是采用本发明所述的基于鲁棒性背景先验和全局信息的显著性目标检测方法检测到的目标信息，已经可以明显识别出期望检测出的目标，周围误差已经基本影响不到本发明对于目标的识别检测。
图5是将本发明检测出来的目标信息在原图(测试图)中标出，用来高亮显示待检测目标，实现本发明的目的。
以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (9)

1.基于鲁棒性背景先验和全局信息的显著性目标检测方法，其特征在于：该方法包括以下步骤：
(1)构建待检测图像的超像素标签矩阵；
(2)构建待检测图像的超像素权重矩阵；
(3)筛选瞬态节点和吸收节点；
(4)构建待检测图像的马尔科夫转移矩阵，并计算瞬态节点吸收时间；
(5)构建马尔科夫转移矩阵的显著性特征图；
(6)根据权重矩阵，计算超像素点的前背景概率；
(7)构建鲁棒性背景先验显著特征图；
(8)将马尔科夫转移矩阵的显著性特征图和鲁棒性背景先验显著特征图进行叠加整合，并利用所有超像素点的显著性值，生成超像素点的综合显著性检测图。
2.根据权利要求1所述的基于鲁棒性背景先验和全局信息的显著性目标检测方法，其特征在于：步骤(1)所述的“构建待检测图像的超像素标签矩阵”，其具体包括以下步骤：
(11)将待检测图像分割成若干超像素点，并将分割后的待检测图像在红绿蓝三通道上进行颜色-对比空间转换，获得待检测图像在国际照明委员会颜色-对比CIELAB空间中的特征值；
(12)利用简单线性迭代聚类SLIC超像素分割算法，分割待检测图像，将待检测图像分为若干超像素块，获得相应的超像素映射图，并生成待检测图像的超像素标签矩阵；对于每一个超像素里面所有的像素，以其在国际照明委员会颜色-对比CIELAB空间中的特征均值作为每一个超像素的特征值。
3.根据权利要求1所述的基于鲁棒性背景先验和全局信息的显著性目标检测方法，其特征在于：步骤(2)中所述的“构建待检测图像的超像素权重矩阵”，其具体包括：以超像素作为节点构造出图模型，并寻找每个节点的邻接节点，计算出所有节点之间的边权重，构造邻接节点之间的权重矩阵。
4.根据权利要求1所述的基于鲁棒性背景先验和全局信息的显著性目标检测方法，其特征在于：步骤(3)中所述的“筛选瞬态节点和吸收节点”，其具体包括以下步骤：
(31)根据权重矩阵获取待检测图像的超像素映射图，将超像素映射图中边界的超像素作为粗略边界节点；
(32)计算出每一个粗略边界节点的边界连通值，将边界连通值中大于阈值的粗略边界节点作为吸收节点，剩下的其余所有节点作为瞬态节点。
5.根据权利要求1所述的基于鲁棒性背景先验和全局信息的显著性目标检测方法，其特征在于：步骤(4)中所述的“构建待检测图像的马尔科夫转移矩阵，并计算瞬态节点吸收时间”，其具体包括以下步骤：
(41)求出每个节点和所有节点之间的关联矩阵A；
(42)根据关联矩阵A中每个节点和所有节点之间的权重和，计算出度矩阵D；
(43)将关联矩阵与度矩阵的逆矩阵点乘，得到马尔可夫转移矩阵P；所述步骤(43)，其具体包括以下步骤：
采用以下公式计算所有节点的转移矩阵：
Figure FDA0002375370290000021
其中，P是马尔科夫转移矩阵，D是度矩阵，wij是待检测图中各超像素点之间的亲和度；对于国际照明委员会颜色-对比CIE-lab空间中的距离中相近的点，他们之间的亲和度会更高；σ是控制权重的参数；A是和亲和度矩阵W有关的矩阵：如果节点i是一个瞬态节点而且它不与邻居节点相连接，则aij＝wij，aii＝1，否则aij＝0；dii表示矩阵W每一行值的和；diag表示这是一个对角矩阵，非对角线元素为0；e是自然常数；ci和cj表示与CIE-lab颜色空间中的两个节点相对应的超像素的平均值，||||是求范数的符号；
(44)根据马尔科夫转移矩阵P求得每个瞬态节点的吸收时间；所述步骤(44)，其具体包括以下步骤：
(441)采用以下公式调整马尔科夫转移矩阵P的顺序，使得前t个节点为顺态节点，后n-t个节点为吸收节点：
Figure FDA0002375370290000031
其中，R包含任何瞬态节点转移至任何吸收节点的概率。
(442)采用以下公式计算吸收时间T：
T＝(I-Q)-1×c
其中，I是一个t×t的单位向量，Q∈[0，1]t×t表示瞬态节点之间的转移概率，c是一个全1的n-t维向量。
6.根据权利要求1所述的基于鲁棒性背景先验和全局信息的显著性目标检测方法，其特征在于：步骤(5)中所述的“构建马尔科夫转移矩阵的显著性特征图”，其具体包括：以马尔科夫转移矩阵中每个瞬态节点的吸收时间作为自身的显著性值，生成马尔科夫转移矩阵的显著性特征图。
7.根据权利要求1所述的基于鲁棒性背景先验和全局信息的显著性目标检测方法，其特征在于：步骤(6)中所述的“根据权重矩阵，计算超像素点的前背景概率”，其具体包括以下步骤：
(61)采用以下公式计算边界节点的背景连通性：
Figure FDA0002375370290000032
对于任意的两个超像素点p和q，dapp(p，q)为国际照明委员会颜色-对比CIELAB中它们的平均颜色之间的欧几里德距离，dgeo(p，q)是测地距离，定义为沿图中最短路径的累积边权重；
(62)采用以下公式求得超像素点p属于背景的可能性BndCon(p)：
Figure FDA0002375370290000033
其中，Lenbnd(p)表示边界部分的超像素的边长，
Figure FDA0002375370290000041
δ(pi∈Bnd)；δ是一个调整参数，对于图像边界上的超像素为1，否则为0；
Area(p)表示超像素点所在区域的面积，
Figure FDA0002375370290000042
N为超像素点的数量；σclr为调整参数；exp是以e为底的指数函数；dgeo(p，pi)为测地距离；s(p，pi)表示超像素点pi对p的区域的贡献度，累加起来就是p所属区域的面积。
(63)采用以下公式，计算超像素点的背景先验bgi：
Figure FDA0002375370290000043
其中，σbndCon为背景联通性的调节参数，通常设为1；exp是以自然常数e为底的指数函数，e的取值为2.71828；BndCon(pi)表示超像素点pi属于背景的可能性；
(64)采用以下公式，计算超像素点的前景先验fgi：
fgi＝Ctrp·bgi
其中，Ctrp表示超像素的对比度，
Figure FDA0002375370290000044
daap(p，pi)表示超像素p和超像素pi的权重；
Figure FDA0002375370290000045
dspa(p，pi)是超像素p和超像素pi的中心之间的距离，σspa是调节参数，exp是以自然常数e为底的指数函数，e的取值为2.71828。
8.根据权利要求1所述的基于鲁棒性背景先验和全局信息的显著性目标检测方法，其特征在于：步骤(7)中所述的“构建鲁棒性背景先验显著特征图”，其具体包括：
采用以下公式计算待检测图像中超像素点的鲁棒性背景先验显著性特征图：
Figure FDA0002375370290000051
其中，fgi和bgi分别表示超像素点的前景先验和背景先验；fgi和bgi分别是超像素点属于前景和背景的概率；si是N个超像素节点中节点pi的显著性值；sj是N个超像素节点中节点pj的显著性值；Wij是相邻的超像素点i和j的相似度，
Figure FDA0002375370290000052
9.根据权利要求1所述的基于鲁棒性背景先验和全局信息的显著性目标检测方法，其特征在于：步骤(8)所述的“将马尔科夫转移矩阵的显著性特征图和鲁棒性背景先验显著特征图进行叠加整合，并利用所有超像素点的显著性值，生成超像素点的综合显著性检测图”，其采用以下函数实现：
Figure FDA0002375370290000053
其中，bgi，fgi是超像素的背景和前景先验，si是N个超像素节点中节点pi的显著性值，sj是N个超像素节点中节点pj的显著性值，Ti是瞬态节点的吸收时间，Wij是相邻的超像素点i和j的相似度，μ是控制两个模型的平衡参数；
具体地说，将上述函数求导，得到以下公式：
Figure FDA0002375370290000054
其中，D是度矩阵，W是相邻的超像素之间的亲和度矩阵，B和F是对角矩阵
Figure FDA0002375370290000055
fg分别表示所有超像素的前景，T表示瞬态节点的归一化吸收时间；通过该公式最终计算出每一个超像素点的显著性值，能得到整个图像的显著性值，再利用所有节点的显著性值，生成综合显著性检测图。
CN202010063895.9A 2020-01-20 2020-01-20 基于鲁棒性背景先验和全局信息的显著性目标检测方法 Active CN111310768B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010063895.9A CN111310768B (zh) 2020-01-20 2020-01-20 基于鲁棒性背景先验和全局信息的显著性目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010063895.9A CN111310768B (zh) 2020-01-20 2020-01-20 基于鲁棒性背景先验和全局信息的显著性目标检测方法

Publications (2)

Publication Number Publication Date
CN111310768A true CN111310768A (zh) 2020-06-19
CN111310768B CN111310768B (zh) 2023-04-18

Family

ID=71158421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010063895.9A Active CN111310768B (zh) 2020-01-20 2020-01-20 基于鲁棒性背景先验和全局信息的显著性目标检测方法

Country Status (1)

Country Link
CN (1) CN111310768B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734733A (zh) * 2021-01-12 2021-04-30 天津大学 基于通道重组与特征融合的无参考图像质量监测方法
CN113573058A (zh) * 2021-09-23 2021-10-29 康达洲际医疗器械有限公司 一种基于时空显著性融合的帧间图像编码方法
CN113627402A (zh) * 2021-10-12 2021-11-09 腾讯科技（深圳）有限公司 一种图像识别方法及相关装置
CN113672751A (zh) * 2021-06-29 2021-11-19 西安深信科创信息技术有限公司 一种背景相似图片的聚类方法、装置及电子设备、存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140317033A1 (en) * 2013-04-23 2014-10-23 International Business Machines Corporation Predictive and descriptive analysis on relations graphs with heterogeneous entities
CN105491370A (zh) * 2015-11-19 2016-04-13 国家新闻出版广电总局广播科学研究院 基于图的协同低高级特征的视频显著性检测方法
CN107609552A (zh) * 2017-08-23 2018-01-19 西安电子科技大学 基于马尔可夫吸收模型的显著性区域检测方法
CN108921833A (zh) * 2018-06-26 2018-11-30 中国科学院合肥物质科学研究院 一种双向吸收的马尔可夫显著性目标检测方法及装置
CN109410171A (zh) * 2018-09-14 2019-03-01 安徽三联学院 一种用于雨天图像的目标显著性检测方法
WO2022193627A1 (zh) * 2021-03-15 2022-09-22 华南理工大学 基于马尔可夫链模型的论文集体分类方法、系统和介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140317033A1 (en) * 2013-04-23 2014-10-23 International Business Machines Corporation Predictive and descriptive analysis on relations graphs with heterogeneous entities
CN105491370A (zh) * 2015-11-19 2016-04-13 国家新闻出版广电总局广播科学研究院 基于图的协同低高级特征的视频显著性检测方法
CN107609552A (zh) * 2017-08-23 2018-01-19 西安电子科技大学 基于马尔可夫吸收模型的显著性区域检测方法
CN108921833A (zh) * 2018-06-26 2018-11-30 中国科学院合肥物质科学研究院 一种双向吸收的马尔可夫显著性目标检测方法及装置
CN109410171A (zh) * 2018-09-14 2019-03-01 安徽三联学院 一种用于雨天图像的目标显著性检测方法
WO2022193627A1 (zh) * 2021-03-15 2022-09-22 华南理工大学 基于马尔可夫链模型的论文集体分类方法、系统和介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吕建勇等: "一种改进的马尔科夫吸收链显著性目标检测方法", 《南京理工大学学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734733A (zh) * 2021-01-12 2021-04-30 天津大学 基于通道重组与特征融合的无参考图像质量监测方法
CN112734733B (zh) * 2021-01-12 2022-11-01 天津大学 基于通道重组与特征融合的无参考图像质量监测方法
CN113672751A (zh) * 2021-06-29 2021-11-19 西安深信科创信息技术有限公司 一种背景相似图片的聚类方法、装置及电子设备、存储介质
CN113672751B (zh) * 2021-06-29 2022-07-01 西安深信科创信息技术有限公司 一种背景相似图片的聚类方法、装置及电子设备、存储介质
CN113573058A (zh) * 2021-09-23 2021-10-29 康达洲际医疗器械有限公司 一种基于时空显著性融合的帧间图像编码方法
CN113627402A (zh) * 2021-10-12 2021-11-09 腾讯科技（深圳）有限公司 一种图像识别方法及相关装置

Also Published As

Publication number Publication date
CN111310768B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN111310768B (zh) 基于鲁棒性背景先验和全局信息的显著性目标检测方法
CN109859171B (zh) 一种基于计算机视觉和深度学习的楼面缺陷自动检测方法
CN112184759A (zh) 一种基于视频的运动目标检测与跟踪方法及系统
CN111340824B (zh) 一种基于数据挖掘的图像特征分割方法
JP2002288658A (ja) 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法
JP2006318474A (ja) 画像シーケンス内のオブジェクトを追跡するための方法及び装置
WO2017181892A1 (zh) 前景分割方法及装置
CN111886600A (zh) 一种用于图像的实例级别分割的设备和方法
CN110853064B (zh) 一种基于最小模糊散度的图像协同分割方法
CN111583279A (zh) 一种基于pcba的超像素图像分割方法
US7715632B2 (en) Apparatus and method for recognizing an image
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN111414938B (zh) 一种板式换热器内气泡的目标检测方法
CN114359323A (zh) 一种基于视觉注意机制的图像目标区域检测方法
CN115457551A (zh) 适用于小样本条件的叶片损伤识别方法
CN111783673B (zh) 一种基于osvos的视频分割改进方法
CN106997599A (zh) 一种光照敏感的视频运动目标分割方法
CN109886325B (zh) 一种非线性颜色空间分类的模板选择与加速匹配方法
CN109241865B (zh) 一种弱对比度交通场景下的车辆检测分割算法
CN111145221A (zh) 一种基于多层深度特征提取的目标跟踪算法
CN113034454B (zh) 一种基于人类视觉感官的水下图像质量评价方法
CN113763474B (zh) 一种基于场景几何约束的室内单目深度估算方法
CN110599518B (zh) 一种基于视觉显著度的超像素分割与条件数分块的目标跟踪方法
CN112949389A (zh) 一种基于改进目标检测网络的雾霾图像目标检测方法
CN113223098A (zh) 图像颜色分类的预处理优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant