CN113128344A - 一种多信息融合的立体视频显著性检测方法 - Google Patents

一种多信息融合的立体视频显著性检测方法 Download PDF

Info

Publication number
CN113128344A
CN113128344A CN202110297430.4A CN202110297430A CN113128344A CN 113128344 A CN113128344 A CN 113128344A CN 202110297430 A CN202110297430 A CN 202110297430A CN 113128344 A CN113128344 A CN 113128344A
Authority
CN
China
Prior art keywords
saliency
depth
representing
pixel
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110297430.4A
Other languages
English (en)
Other versions
CN113128344B (zh
Inventor
任建凯
周洋
徐岩
殷海兵
陆宇
黄晓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202110297430.4A priority Critical patent/CN113128344B/zh
Publication of CN113128344A publication Critical patent/CN113128344A/zh
Application granted granted Critical
Publication of CN113128344B publication Critical patent/CN113128344B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Abstract

本发明方法公开了一种多信息融合的立体视频显著性检测方法。本发明方法首先通过2D视频序列的色彩特征、空间特征、中心位置特征计算,得到2D空间显著图;基于时空一致性,在2D空间显著图的基础上获得2D运动显著图;然后利用不同区域的深度差异度计算深度空间显著图;提取深度变化的信息,获得深度运动图;最后使用多层细胞自动机融合产生的视频序列的四种显著图,得到立体视频的显著图。本发明方法根据人眼视觉注意力对色彩、空间位置、物体远近的敏感机制,尤其利用深度信息与运动信息在立体视觉显著性检测中的重要作用,融合了多种立体视频在空间和时间上的特征,消除单一特征计算显著性带来的噪声影响。

Description

一种多信息融合的立体视频显著性检测方法
技术领域
本发明属于图像处理技术领域,具体是立体视频处理技术领域,涉及一种多信息融合的立体视频显著性检测方法。
背景技术
随着多媒体技术的发展,多媒体数据呈现爆炸式的增长趋势。其中,图像和视频数据因其生动、形象、真实等特点,越来越多地出现在人们生活的方方面面,成为海量视觉信息的主流。计算机智能地帮助人类分析和处理图像数据成为主要趋势。但是在实际运用中,如何让计算机像人眼一样处理图像和视频是计算机视觉领域非常热门的研究方向。在现实生活中,大脑总是对感兴趣的信息优先进行处理,对所有的视觉信息同时进行分析处理,这在人类视觉系统(Human Visual System,HVS)中称为视觉注意机制(Visual AttentionMechanism,VAM)。人们让计算机通过智能算法模拟人的视觉注意机制,提取图像中的显著区域。
近些年来,显著性检测研究发展较快,在2D视觉显著性检测方向的研究已趋于成熟,一些2D显著性检测模型都拥有较高的准确性和可靠性,但在自然场景中,人类视觉系统除了感知颜色、形状等信息时,还会对场景距离远近进行处理,也即感知深度信息。在立体图像的显著性检测模型中,深度信息是不可缺少的一个考虑因素。深度信息的加入将会提高显著性检测模型的稳定性和可靠性。另外,针对立体视频的显著性检测模型,还应该考虑视频的特殊信息,即相邻帧之间的运动信息与深度变化信息。目前在立体视觉显著性检测方面的研究还远不如平面的视觉显著性检测成熟。
发明内容
本发明的目的是针对立体视频显著性检测方面的研究,提供一种多信息融合的立体视频显著性检测方法。
本发明方法提出的立体视频显著性检测,不仅考虑立体视频平面的时间与空间信息,而且还将深度信息加入其中。
本发明方法以视频序列的帧为单位,利用空间和时间上的平面与深度信息分别计算2D空间显著图、深度空间显著图、2D运动显著图、深度运动显著图,然后采用多层元胞自动机(Multi-layer Cellular Automata,MCA)来融合得到立体视频的显著图。
本发明方法具体步骤是:
步骤(1)通过2D视频序列的色彩特征、空间特征、中心位置特征计算,得到2D空间显著图
Figure BDA0002984870240000021
步骤(2)基于时空一致性,在2D空间显著图的基础上获得2D运动显著图;
步骤(3)利用不同区域的深度差异度计算深度空间显著图
Figure BDA0002984870240000022
步骤(4)提取深度变化的信息,获得深度运动图;
步骤(5)使用多层细胞自动机融合步骤(1)~(4)产生的视频序列的四种显著图,得到立体视频的显著图。
进一步,步骤(1)具体是:
(1-1)采用线性迭代聚类SLIC超像素分割算法对第K帧视频序列进行超像素分割;
将每个超像素所包含的所有像素的LAB空间颜色信息的平均值作为对应超像素的颜色特征ci,表示第i个超像素的颜色特征;
将每个超像素所包含的所有像素的平均坐标信息作为对应超像素的空间位置特征li,表示第i个超像素的位置特征;
计算第i个超像素与集合B中所有背景节点的色彩差异度∑j∈B||ci-cj||、集合B中所有背景节点的平均色彩特征
Figure BDA0002984870240000023
空间位置距离权重为
Figure BDA0002984870240000024
其中,B为位于上、下、左、右四个边界的超像素标记背景先验节点集合,[B]表示集合B中背景节点的个数,cj表示集合B中第j个背景节点的颜色特征,lj表示集合B中第j个背景节点的位置特征;||·||表示两个坐标间欧氏距离,e指数学中的自然常数,α为控制系数;
(1-2)将基于中心位置的目标先验加入到显著性目标检验中,第i个超像素的显著值
Figure BDA0002984870240000025
Figure BDA0002984870240000026
为影响显著目标的中心位置权重因子,
Figure BDA0002984870240000027
表示第i个超像素的中心与图像中心的距离,DL表示图像对角线的长度;
(1-3)通过以上计算获得初始的2D空间显著图并不能良好的突出前景目标,通过单层元胞自动机更新迭代,其中每个元胞代表初始2D空间显著图其中的一个超像素,每个元胞自动更新到更准确和稳定的状态,获得2D空间显著图
Figure BDA0002984870240000028
更进一步,步骤(2)具体是:
(2-1)对相邻帧FK和FK+1的2D空间显著图构建权重图ξK=(ψKK);其中,ψK表示包含第K帧和第K+1帧视频序列中所有的超像素RK和RK+1;θK表示超像素间的两种边缘:帧内边缘连接的是所有空间相邻的超像素,帧间边缘连接所有时间上相邻的超像素;
对每一帧设定一个自适应阈值μK=m(O(RK)),将帧区分为背景区域BK和待判断的前景区域UK,m(·)表示根据基于2D空间显著目标计算第K帧中所有像素的平均前景可能性,O(·)为超像素的平均像素值;在计算帧序列时,前一帧的背景信息作为当前帧的背景先验;
背景区域BK={RK|OK,n<μK}∪{RK|RK∈BK-1};
前景区域UK=RK-BK;OK,n表示第K帧中第n个超像素的平均像素值;
(2-2)超像素块RK,n的测地显著值计算即为在权重图中从RK,n到BK的最短路径的积累:
Figure BDA0002984870240000031
其中,RK,n表示第K帧中第n个超像素块,
Figure BDA0002984870240000032
表示RK,n与BK之间的连接程度,p表示权重图中所有超像素索引值;
第K帧视频序列的运动显著性
Figure BDA0002984870240000033
计算所有超像素块的最短路径,所有超像素块的最短路径构成2D运动显著图;
利用超像素RK为边界邻居的概率EK(RK,n)计算权重矩阵
Figure BDA0002984870240000034
RK,m表示第K帧中第m个超像素块;RK,n与BK之间的连接程度
Figure BDA0002984870240000035
又进一步,步骤(3)是利用超像素间的距离与边界连通性增强超像素之间的差异度:
Figure BDA0002984870240000036
d(p,pi)表示超像素p和pi间的距离,Wl(p,pi)表示超像素p和pi间位置权重因子,
Figure BDA0002984870240000037
表示第i个超像素与图像边界的连通权重,N为超像素分割的数量;
将第K帧的深度图分割为N个超像素,为深度超像素pi与其他超像素的深度值差异度
Figure BDA0002984870240000038
ddep(p,pi)表示深度超像素pi与超像素p平均深度的欧氏距离;超像素间位置权重因子
Figure BDA0002984870240000039
dS(p,pi)表示两个超像素质心的最短距离,σS表示位置系数,pi与边界连通权重
Figure BDA0002984870240000041
con2(pi)表示pi与图像边界的连通性,σcon表示连通系数;
通过计算每个深度超像素与其他超像素的多权重深度差异度,得到深度空间显著图
Figure BDA0002984870240000042
更进一步,步骤(4)是采用大位移运动估计算法计算相邻帧对应像素的运动光流场FLd,对运动光流场FLd进行处理,将基于颜色对比度的显著性算法修改运用到光流场,对光流场进行基于颜色对比度的处理获得深度运动图;计算像素q的显著值与运动光流场中的所有其他像素的对比度
Figure BDA0002984870240000043
其中D(I′q,I′qm)表示像素q显著值I′q和其他像素qm显著值I′qm之差。
还进一步,步骤(5)步骤具体是:多层元胞自动机将不同显著图中空间位置相同的像素设置为邻居,对于显著图中的任何像素,更新迭代规则为:
Figure BDA0002984870240000044
其中,
Figure BDA0002984870240000045
表示在t时刻第m个显著图所有像素的显著值,ri表示二值化显著图的阈值,相邻的像素判定为前景的概率λ>0.5。
本发明方法在立体视频处理研究领域中提出了一种多种信息融合的立体视频显著性检测技术,根据人眼视觉注意力对色彩、空间位置、物体远近的敏感机制。改进了已有的立体视频显著目标检测算法,尤其利用深度信息与运动信息在立体视觉显著性检测中的重要作用。本发明融合了多种立体视频在空间和时间上的特征,消除单一特征计算显著性带来的噪声影响。该模型可以直接应用在3D视频处理,3D视频/图像物体识别等领域。
具体实施方式
一种多信息融合的立体视频显著性检测方法,以视频序列的帧为单位,利用空间和时间上的平面与深度信息分别计算2D空间显著图、深度空间显著图、2D运动显著图、深度运动显著图,然后采用多层元胞自动机(Multi-layer Cellular Automata,MCA)来融合得到立体视频的显著图。具体步骤如下:
步骤(1)通过2D视频序列的色彩特征、空间特征、中心位置特征计算2D空间显著图,具体是:
(1-1)采用线性迭代聚类SLIC超像素分割算法对第K帧视频序列进行超像素分割;
将每个超像素所包含的所有像素的LAB空间颜色信息的平均值作为对应超像素的颜色特征ci,表示第i个超像素的颜色特征;
将每个超像素所包含的所有像素的平均坐标信息作为对应超像素的空间位置特征li,表示第i个超像素的位置特征;
计算第i个超像素与集合B中所有背景节点的色彩差异度∑j∈B||ci-cj||、集合B中所有背景节点的平均色彩特征
Figure BDA0002984870240000051
空间位置距离权重为
Figure BDA0002984870240000052
其中,B为位于上、下、左、右四个边界的超像素标记背景先验节点集合,[B]表示集合B中背景节点的个数,cj表示集合B中第j个背景节点的颜色特征,lj表示集合B中第j个背景节点的位置特征;||·||表示两个坐标间欧氏距离,e指数学中的自然常数,α为控制系数,α=0.5。
(1-2)将基于中心位置的目标先验加入到显著性目标检验中,第i个超像素的显著值
Figure BDA0002984870240000053
Figure BDA0002984870240000054
为影响显著目标的中心位置权重因子,其中
Figure BDA0002984870240000055
表示第i个超像素的中心与图像中心的距离,DL表示图像对角线的长度;
(1-3)通过以上计算获得初始的2D空间显著图并不能良好的突出前景目标,接下来通过已有的单层元胞自动机(Single-layer Cellular Automata,SCA)更新迭代,其中每个元胞代表初始2D空间显著图其中的一个超像素,每个元胞自动更新到更准确和稳定的状态,获得2D空间显著图
Figure BDA0002984870240000056
步骤(2)基于时空一致性在2D空间显著图的基础上获得2D运动显著图,具体是:
(2-1)对相邻帧FK和FK+1构建权重图ξK=(ψKK);其中,ψK表示包含第K帧和第K+1帧视频序列中所有的超像素RK和RK+1;θK表示超像素间的两种边缘:帧内边缘连接的是所有空间相邻的超像素,帧间边缘连接所有时间上相邻的超像素。
基于2D空间显著目标的前景可能性后,分析相邻帧之间显著目标的时空一致性时着重考虑分离部分背景。对于每一帧设定一个自适应阈值μK=m(O(RK)),将帧区分为背景区域BK和待判断的前景区域UK,m(·)表示根据基于2D空间显著目标来计算第K帧中所有像素的平均前景可能性,O(·)为超像素的平均像素值;在计算帧序列时,前一帧的背景信息作为当前帧的背景先验;
背景区域BK={RK|OK,n<μK}∪{RK|RK∈BK-1};前景区域UK=RK-BK;OK,n表示第K帧中第n个超像素的平均像素值。
(2-2)超像素块RK,n的测地显著值计算即为在权重图中从RK,n到BK的最短路径的积累:
Figure BDA0002984870240000061
其中,RK,n表示第K帧中第n个超像素块,
Figure BDA0002984870240000062
表示RK,n与BK之间的连接程度,p表示权重图中所有超像素索引值。
则第K帧视频序列的运动显著性
Figure BDA0002984870240000063
采用已有的Johnson算法计算所有超像素块的最短路径。
利用超像素RK为边界邻居的概率EK(RK,n)计算权重矩阵
Figure BDA0002984870240000064
RK,m表示第K帧中第m个超像素块;RK,n与BK之间的连接程度
Figure BDA0002984870240000065
即超像素RK中属于边界的周长与超像素面积的平方根之比。
步骤(3)利用不同区域的深度差异度来计算深度空间显著图;
利用超像素间的距离与边界连通性增强超像素之间的差异度,称为多权重深度差异度:
Figure BDA0002984870240000066
d(p,pi)表示超像素p和pi间的距离,Wl(p,pi)表示超像素p和pi间位置权重因子,
Figure BDA0002984870240000067
表示第i个超像素与图像边界的连通权重,N为超像素分割的数量。
将第K帧的深度图分割为N个超像素(N=200,与彩色图分割方法及数量相同),为深度超像素pi与其他超像素的深度值差异度
Figure BDA0002984870240000068
ddep(p,pi)表示深度超像素pi与超像素p平均深度的欧氏距离;超像素间位置权重因子
Figure BDA0002984870240000069
dS(p,pi)表示两个超像素质心的最短距离,取位置系数σS=0.3,pi与边界连通权重
Figure BDA00029848702400000610
con2(pi)表示pi与图像边界的连通性,连通系数σcon=1;
通过计算每个深度超像素与其他超像素的多权重深度差异度,得到深度空间显著图
Figure BDA00029848702400000611
步骤(4)提取深度变化的信息来获得深度运动图。
深度运动信息主要是第K帧与第K+1帧之间深度的变化,即相邻帧之间对应像素点的深度值在时间轴上的变化。采用已有的大位移运动估计算法(large displacementmotion estimation algorithm,LDOF)计算相邻帧对应像素的运动光流场FLd,对运动光流场FLd进行处理,将基于颜色对比度的显著性算法修改运用到光流场,计算像素q的显著值与运动光流场中的所有其他像素的对比度
Figure BDA0002984870240000071
其中D(I′q,I′qm)表示像素q显著值I′q和其他像素qm显著值I′qm之差。
步骤(5)使用多层细胞自动机的融合步骤(1)-(4)产生的视频序列的四种显著图,得到立体视频的显著图。
多层元胞自动机将不同显著图中空间位置相同的像素设置为邻居。对于显著图中的任何像素,它在其他图中可能有N-1个邻居,更新迭代规则为:
Figure BDA0002984870240000072
其中,
Figure BDA0002984870240000073
表示在t时刻第m个显著图所有像素的显著值,ri表示二值化显著图的阈值,由已有的OTSU算法产生:当x>0,sing(x)=1;当x=0,sing(x)=0;当x<0,sing(x)=-1。如果像素i被判定为前景,那么与像素i相邻的像素判定为前景的概率λ会增加,即λ>0.5,取
Figure BDA0002984870240000074

Claims (8)

1.一种多信息融合的立体视频显著性检测方法,其特征在于,该方法步骤是:
步骤(1)通过2D视频序列的色彩特征、空间特征、中心位置特征计算,得到2D空间显著图
Figure FDA0002984870230000011
步骤(2)基于时空一致性,在2D空间显著图的基础上获得2D运动显著图;
步骤(3)利用不同区域的深度差异度计算深度空间显著图
Figure FDA0002984870230000012
步骤(4)提取深度变化的信息,获得深度运动图;
步骤(5)使用多层细胞自动机融合步骤(1)~(4)产生的视频序列的四种显著图,得到立体视频的显著图。
2.如权利要求1所述的一种多信息融合的立体视频显著性检测方法,其特征在于,步骤(1)具体是:
(1-1)采用线性迭代聚类SLIC超像素分割算法对第K帧视频序列进行超像素分割;
将每个超像素所包含的所有像素的LAB空间颜色信息的平均值作为对应超像素的颜色特征ci,表示第i个超像素的颜色特征;
将每个超像素所包含的所有像素的平均坐标信息作为对应超像素的空间位置特征li,表示第i个超像素的位置特征;
计算第i个超像素与集合B中所有背景节点的色彩差异度∑j∈B||ci-cj||、集合B中所有背景节点的平均色彩特征
Figure FDA0002984870230000013
空间位置距离权重为
Figure FDA0002984870230000014
其中,B为位于上、下、左、右四个边界的超像素标记背景先验节点集合,[B]表示集合B中背景节点的个数,cj表示集合B中第j个背景节点的颜色特征,lj表示集合B中第j个背景节点的位置特征;||·||表示两个坐标间欧氏距离,e指数学中的自然常数,α为控制系数;
(1-2)将基于中心位置的目标先验加入到显著性目标检验中,第i个超像素的显著值
Figure FDA0002984870230000015
Figure FDA0002984870230000016
为影响显著目标的中心位置权重因子,
Figure FDA0002984870230000017
表示第i个超像素的中心与图像中心的距离,DL表示图像对角线的长度;
(1-3)通过以上计算获得初始的2D空间显著图并不能良好的突出前景目标,通过单层元胞自动机更新迭代,其中每个元胞代表初始2D空间显著图其中的一个超像素,每个元胞自动更新到更准确和稳定的状态,获得2D空间显著图
Figure FDA0002984870230000021
3.如权利要求2所述的一种多信息融合的立体视频显著性检测方法,其特征在于,步骤(2)具体是:
(2-1)对相邻帧FK和FK+1的2D空间显著图构建权重图ξK=(ψKK);其中,ψK表示包含第K帧和第K+1帧视频序列中所有的超像素RK和RK+1;θK表示超像素间的两种边缘:帧内边缘连接的是所有空间相邻的超像素,帧间边缘连接所有时间上相邻的超像素;
对每一帧设定一个自适应阈值μK=m(O(RK)),将帧区分为背景区域BK和待判断的前景区域UK,m(·)表示根据基于2D空间显著目标计算第K帧中所有像素的平均前景可能性,O(·)为超像素的平均像素值;在计算帧序列时,前一帧的背景信息作为当前帧的背景先验;
背景区域BK={RK|OK,n<μK}∪{RK|RK∈BK-1};
前景区域UK=RK-BK;OK,n表示第K帧中第n个超像素的平均像素值;
(2-2)超像素块RK,n的测地显著值计算即为在权重图中从RK,n到BK的最短路径的积累:
Figure FDA0002984870230000022
其中,RK,n表示第K帧中第n个超像素块,
Figure FDA0002984870230000023
表示RK,n与BK之间的连接程度,p表示权重图中所有超像素索引值;
第K帧视频序列的运动显著性
Figure FDA0002984870230000024
计算所有超像素块的最短路径,所有超像素块的最短路径构成2D运动显著图;
利用超像素RK为边界邻居的概率EK(RK,n)计算权重矩阵
Figure FDA0002984870230000025
RK,m表示第K帧中第m个超像素块;RK,n与BK之间的连接程度
Figure FDA0002984870230000026
4.如权利要求3所述的一种多信息融合的立体视频显著性检测方法,其特征在于,步骤(3)是利用超像素间的距离与边界连通性增强超像素之间的差异度:
Figure FDA0002984870230000027
d(p,pi)表示超像素p和pi间的距离,Wl(p,pi)表示超像素p和pi间位置权重因子,Wi b表示第i个超像素与图像边界的连通权重,N为超像素分割的数量;
将第K帧的深度图分割为N个超像素,为深度超像素pi与其他超像素的深度值差异度
Figure FDA0002984870230000031
ddep(p,pi)表示深度超像素pi与超像素p平均深度的欧氏距离;超像素间位置权重因子
Figure FDA0002984870230000032
dS(p,pi)表示两个超像素质心的最短距离,σS表示位置系数,pi与边界连通权重
Figure FDA0002984870230000033
con2(pi)表示pi与图像边界的连通性,σcon表示连通系数;
通过计算每个深度超像素与其他超像素的多权重深度差异度,得到深度空间显著图
Figure FDA0002984870230000034
5.如权利要求4所述的一种多信息融合的立体视频显著性检测方法,其特征在于,步骤(4)是采用大位移运动估计算法计算相邻帧对应像素的运动光流场FLd,对运动光流场FLd进行处理,将基于颜色对比度的显著性算法修改运用到光流场,对光流场进行基于颜色对比度的处理获得深度运动图;计算像素q的显著值与运动光流场中的所有其他像素的对比度
Figure FDA0002984870230000035
其中D(I′q,I′qm)表示像素q显著值I′q和其他像素qm显著值I′qm之差。
6.如权利要求5所述的一种多信息融合的立体视频显著性检测方法,其特征在于,步骤(5)步骤具体是:多层元胞自动机将不同显著图中空间位置相同的像素设置为邻居,对于显著图中的任何像素,更新迭代规则为:
Figure FDA0002984870230000036
其中,
Figure FDA0002984870230000037
表示在t时刻第m个显著图所有像素的显著值,ri表示二值化显著图的阈值,相邻的像素判定为前景的概率λ>0.5。
7.如权利要求2所述的一种多信息融合的立体视频显著性检测方法,其特征在于:所述的控制系数α=0.5。
8.如权利要求4所述的一种多信息融合的立体视频显著性检测方法,其特征在于:所述的位置系数σS=0.3,所述的连通系数σcon=1。
CN202110297430.4A 2021-03-19 2021-03-19 一种多信息融合的立体视频显著性检测方法 Active CN113128344B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110297430.4A CN113128344B (zh) 2021-03-19 2021-03-19 一种多信息融合的立体视频显著性检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110297430.4A CN113128344B (zh) 2021-03-19 2021-03-19 一种多信息融合的立体视频显著性检测方法

Publications (2)

Publication Number Publication Date
CN113128344A true CN113128344A (zh) 2021-07-16
CN113128344B CN113128344B (zh) 2024-02-02

Family

ID=76773615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110297430.4A Active CN113128344B (zh) 2021-03-19 2021-03-19 一种多信息融合的立体视频显著性检测方法

Country Status (1)

Country Link
CN (1) CN113128344B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113916192A (zh) * 2021-11-05 2022-01-11 郑州信息科技职业学院 喀斯特溶洞图像采集监测与成像系统
CN114639171A (zh) * 2022-05-18 2022-06-17 松立控股集团股份有限公司 一种停车场全景安全监控方法
CN115953419A (zh) * 2023-03-09 2023-04-11 天津艾思科尔科技有限公司 一种基于超像素分析的动态视频检测预处理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107564022A (zh) * 2017-07-13 2018-01-09 西安电子科技大学 基于贝叶斯融合的视频显著性检测方法
CN109711417A (zh) * 2018-12-06 2019-05-03 重庆邮电大学 一种基于低水平显著性融合和测地线的视频显著性检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107564022A (zh) * 2017-07-13 2018-01-09 西安电子科技大学 基于贝叶斯融合的视频显著性检测方法
CN109711417A (zh) * 2018-12-06 2019-05-03 重庆邮电大学 一种基于低水平显著性融合和测地线的视频显著性检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周洋;何永健;唐向宏;陆宇;蒋刚毅;: "融合双目多维感知特征的立体视频显著性检测", 中国图象图形学报, no. 03 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113916192A (zh) * 2021-11-05 2022-01-11 郑州信息科技职业学院 喀斯特溶洞图像采集监测与成像系统
CN113916192B (zh) * 2021-11-05 2023-06-23 郑州信息科技职业学院 喀斯特溶洞图像采集监测与成像系统
CN114639171A (zh) * 2022-05-18 2022-06-17 松立控股集团股份有限公司 一种停车场全景安全监控方法
CN114639171B (zh) * 2022-05-18 2022-07-29 松立控股集团股份有限公司 一种停车场全景安全监控方法
CN115953419A (zh) * 2023-03-09 2023-04-11 天津艾思科尔科技有限公司 一种基于超像素分析的动态视频检测预处理方法

Also Published As

Publication number Publication date
CN113128344B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN113128344B (zh) 一种多信息融合的立体视频显著性检测方法
CN108241849B (zh) 基于视频的人体交互动作识别方法
CN111797716B (zh) 一种基于Siamese网络的单目标跟踪方法
Zhu et al. A three-pathway psychobiological framework of salient object detection using stereoscopic technology
CN108682017B (zh) 基于Node2Vec算法的超像素图像边缘检测方法
CN101789124B (zh) 视频序列的时空一致性分割方法
CN110210539A (zh) 多级深度特征融合的rgb-t图像显著性目标检测方法
CN112396607A (zh) 一种可变形卷积融合增强的街景图像语义分割方法
CN113592026A (zh) 一种基于空洞卷积和级联代价卷的双目视觉立体匹配方法
CN112288776B (zh) 一种基于多时间步金字塔编解码器的目标跟踪方法
CN112465021B (zh) 基于图像插帧法的位姿轨迹估计方法
CN110706269A (zh) 一种基于双目视觉slam的动态场景密集建模方法
CN114220061A (zh) 一种基于深度学习的多目标跟踪方法
CN108388901B (zh) 基于空间-语义通道的协同显著目标检测方法
CN111681275A (zh) 一种双特征融合的半全局立体匹配方法
CN104700384B (zh) 基于增强现实技术的展示系统及展示方法
CN109002808B (zh) 一种人体行为识别方法及系统
CN109215047B (zh) 基于深海视频的运动目标检测方法和装置
CN113988269A (zh) 一种基于改进孪生网络的回环检测及优化方法
CN114707611B (zh) 基于图神经网络特征提取与匹配的移动机器人地图构建方法、存储介质及设备
CN115311327A (zh) 融合共现统计与fhog梯度特征的目标跟踪方法及系统
CN112509014B (zh) 金字塔遮挡检测块匹配的鲁棒插值光流计算方法
CN114445618A (zh) 一种跨模态交互rgb-d图像显著区域检测方法
CN114067240A (zh) 一种融合行人特性的在线更新策略行人单目标跟踪方法
CN109711445B (zh) 目标跟踪分类器在线训练样本的超像素中智相似加权方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant