CN110211146B - 视交叉仿真的视频前景分割方法及装置 - Google Patents

视交叉仿真的视频前景分割方法及装置 Download PDF

Info

Publication number
CN110211146B
CN110211146B CN201910406011.2A CN201910406011A CN110211146B CN 110211146 B CN110211146 B CN 110211146B CN 201910406011 A CN201910406011 A CN 201910406011A CN 110211146 B CN110211146 B CN 110211146B
Authority
CN
China
Prior art keywords
network
foreground segmentation
feature
decoder
paths
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910406011.2A
Other languages
English (en)
Other versions
CN110211146A (zh
Inventor
张锦
李玉东
邱俊洋
王帅辉
周星宇
潘志松
白玮
张艳艳
李阳
焦珊珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Army Engineering University of PLA
Army Military Transportation University of PLA Zhenjiang
Original Assignee
Army Engineering University of PLA
Army Military Transportation University of PLA Zhenjiang
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Army Engineering University of PLA, Army Military Transportation University of PLA Zhenjiang filed Critical Army Engineering University of PLA
Priority to CN201910406011.2A priority Critical patent/CN110211146B/zh
Publication of CN110211146A publication Critical patent/CN110211146A/zh
Application granted granted Critical
Publication of CN110211146B publication Critical patent/CN110211146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及视频处理技术领域，特别涉及一种视交叉仿真的视频前景分割方法及装置。一种视交叉仿真的视频前景分割方法，包括如下步骤：S1，构建编码网络，两条收缩路径模拟人眼的双目视神经功能，从两个相似帧中进行信息感知和特征提取；S2，构建融合网络，对两条收缩路径中学习到的信息在本网络中进行融合；S3，构建解码器网络，解码器网络包括两条独立的路径，在相同配置下，模拟两个人大脑的高级语义分析功能，同时执行检测、定位和分类。通过融合网络将编码网络和解码网络（分别具有两个分支）组合在一起，形成X型结构，能够同时感知到两幅相似的图像，并从中提取特征，然后融合信息。

Description

视交叉仿真的视频前景分割方法及装置
技术领域
本发明涉及视频处理技术领域，特别涉及一种视交叉仿真的视频前景分割方法及装置。
背景技术
前景分割又称背景减除，是视频处理中的一项关键任务.它是交通监测、异常检测和行为识别等许多更高级应用的基础。在给定一个场景S的情况下，前景分割算法通常是通过建立一个S的表示，称为背景模型(BM)，然后通过该模型对每个输入帧进行变化区域(即前景)进行检测。多年来，人们提出了各种方法来构建合适的BM。统计建模背景是一种常用的分割前景对象的方法。一些典型的算法，如GMM、KDE和PBAS假设像素间的相互独立，并对每个像素随时间的变化进行建模。另一种流行的策略，如RPCA、和RNMF使用降维思想来达到鲁棒的分割效果。然而，这些传统的方法缺乏提取高级特征以表示每个像素，来进行语义预测的能力。它们难以同时应对诸如动态背景、光照变化、重阴影、伪装和相机运动等诸多挑战。
近年来，卷积神经网络(CNNs)已被证明是一个强大的特征提取器，能够从数据中学习有用的特征表示。特别是基于迁移学习的全卷积网络在像素级分类任务中表现出了较好的优异性能。因此，基于深度学习的背景模型(DBMs)已经成为人们关注的焦点，并大大超过了传统的方法。一般来说，现有的DBMs可以分为以下两类:图像块级的模型和图像级的模型。图像块级的模型将图像块提供给CNN，以预测这些图像块中心像素的前景概率。这些模型简单、规模较小，但相邻像素之间存在较大的重叠，这将导致计算效率低和“过拟合”。此外，图像块的固定尺寸可能会导致高级上下文信息丢失，特别是当图像中物体比块的尺寸大得多时。图像级模型通过使用整幅图像来预测前景概率图来解决这些问题。一些图像级方法将视频序列分割视为单帧图像分割。这些工作忽略了视频序列的相关性，但取得了显著的结果。一些方法使用一个目标帧及其参考帧(前几帧)作为输入来一次生成一个前景预测图。虽然这些DBMs利用了时序信息，但它们的精度仍然不能超过一些高性能的单帧图像分割方法，例如FgSegNet_v2。
发明内容
本发明的目的是通过有效地利用视频时序特性，可以进一步提高分割精度。基于该目的，本发明采用的技术方案如下：
一种视交叉仿真的视频前景分割方法，包括如下步骤：S1，构建编码网络，两条收缩路径模拟人眼的双目视神经功能，从两个相似帧中进行信息感知和特征提取；S2，构建融合网络，对两条收缩路径中学习到的信息在本网络中进行融合；S3，构建解码器网络，解码器网络包括两条独立的路径，在相同配置下，模拟两个人大脑的高级语义分析功能，同时执行检测、定位和分类。们注意到了人类视觉系统中的X型视交叉[20]，[21]。(图1).它允许大脑的每一半接收来自双眼的视觉信号，从而产生双目视觉，有助于同时感知、融合和微弱的物体检测[22]。基于此，我们将MIMO结构实例化为X型网络，称为X-Net.更具体地说，它通过融合网络将编码网络和解码网络(分别具有两个分支)组合在一起，形成X型结构(图2).该结构不仅模拟了人类双目视觉中视交叉的结构，而且还模拟了其的机理。X-Net能够同时感知到两幅相似的图像，并从中提取特征，然后融合信息。此外，X-Net中解码网络的每个分支都可以获取两幅输入图像的信息，如同人类双目视觉机制。
进一步地，所述步骤S1中，编码器网络为孪生网。
进一步地，所述步骤S1中，采用多尺度输入输入信息。
进一步地，所述步骤S2中，首先用1×1转置卷积将高维特征映射在深度维度投影到较低维度，然后采用3×3卷积进行特征融合。
进一步地，所述步骤S2中，采用采用1×1的转置卷积来增加特征映射的数目。
进一步地，所述步骤S3中，使用转置卷积来逐渐减少特征通道和提高特征映射尺度到原来的大小。
进一步地，所述步骤S3中，为了弥补采样过程中高级特征分辨率低的缺点，采用跳层连接的方法来利用中、早期的特征映射。
一种视交叉仿真的视频前景分割装置，包括：图像获取模块，用于获取图像；图像处理模块，用于处理获取的图像；所述图像处理模块包括编码网络，所述编码网络采用两条收缩路径模拟人眼的双目视神经功能，从两个相似帧中进行信息感知和特征提取；融合网络，所述融合网络对编码器网络中两条收缩路径中学习到的信息在本网络中进行融合；解码器网络，所述解码器网络包括两条独立的路径，在相同配置下，模拟两个人大脑的高级语义分析功能，同时执行检测、定位和分类；图像输出模块，用于对处理后的图像进行输出。
进一步地，所述编码网络为孪生网。
进一步地，所述解码器网络采用跳层连接的方法利用中、早期的特征映射。
相比较现有技术，本发明具有的有益效果：(1)首次提出了一种MIMO DBM框架，该框架部分地受人类视觉系统中的视交叉的启发，有效地结合了时序信息来学习不同场景下背景的时空表示；是利用连续帧之间的相关性，提出了一种新的多输入多输出(MIMO)结构的DBM：多输入(MI)结构为目标帧提供参考，有利于通过比较提取有辨别力的特征；多输出(MO)结构使每个输入帧同时充当目标帧和参考帧；同时，MO结构自然会导致多输出损失函数和多任务学习，因此，MO结构可以直观地发现所有输入帧之间的异同，从而学习背景的时空特性；将MIMO结构实例化为X型网络，称为X-Net，它通过融合网络将编码网络和解码网络(分别具有两个分支)组合在一起，形成X型结构，该结构不仅模拟了人类双目视觉中视交叉的结构，而且还模拟了其的机理，X-Net能够同时感知到两幅相似的图像，并从中提取特征，然后融合信息，此外，X-Net中解码网络的每个分支都可以获取两幅输入图像的信息，如同人类双目视觉机制，同时感知、融合和微弱的物体检测。
(2)经验证，该方法超过了CDnet 2014数据集上所有现有的最先进方法的准确性。
附图说明
图1为人类视觉系统中的X型视交叉示意图；
图2为X-Net体系结构的一个实例图；
图3为五种方法在CDnet2014的典型复杂场景的分割效果图；
图2.是X-Net体系结构的一个实例：编码器网络(标记为斜线)、融合网络(标记为黑色)和解码器网络(标记为小方格)。Conv和tconv代表卷积和转置卷积运算。Relu和sigmoid为激活函数，max pooling表示最大池化操作,concatenate表示按通道拼接，upsampling表示2倍上采样，dropout(0.5)表示以0.5的概率随机抛弃神经元的一种正则化策略。每个块表示一个特征映射，块旁边的一个数字或一个算术表达式来表示该特征映射的通道数目。h和w表示输入帧的高度和宽度。斜网格块表示由两个输入帧在三个尺度(h×w、h/2×w/2和h/4×w/4)生成的多尺度特征映射。他们经过1倍、2倍和4倍上采样后，这些特征映射按通道拼接组合成多尺度特征映。
具体实施方式
下面结合实施例以及附图对本发明作进一步描述。
实施例1
一种视交叉仿真的视频前景分割方法，包括如下步骤：S1，构建编码网络，两条收缩路径模拟人眼的双目视神经功能，从两个相似帧中进行信息感知和特征提取；S2，构建融合网络，对两条收缩路径中学习到的信息在本网络中进行融合；S3，构建解码器网络，解码器网络包括两条独立的路径，在相同配置下，模拟两个人大脑的高级语义分析功能，同时执行检测、定位和分类。
具体来说，各步骤中的采用的方法如下：
如图2所示，编码网络：两条收缩路径模拟人眼的双目视神经功能，从两个相似帧中进行信息感知和特征提取。它们逐渐缩小特征映射的大小，增加了学习高级和非本地特征的特征通道的数量。此外，由于以下考虑，编码器网络被设计为孪生网。首先，共享参数意味着它们使用相同的方法从两幅图像中提取特征。由于这两幅输入图像是相邻的帧，具有相似的特征和时间连续性，因此自然应当以同样的方式进行特征提取。第二，参数共享机制可以将编码网络的学习参数减少一半，以避免因训练样本太少而造成的“过拟合”。
此外，不能使用太多的池化层来增加感受视野的大小以提取高级的信息。因为这对还原输出特征映射直至原尺寸分辨率的这一过程造成了严重的挑战。我们以一种简单的方式来缓解这一矛盾，即多尺度输入，如FgSegNet_M。更准确地说，给定以RBG颜色空间表示的一对输入图像IL0/IR0(尺寸为H×W)，它们是缩小为两个不同的尺度IL1/IR1(H/2×W/2)和IL2/IR2(H/4×W/4)。在本实施例中，我们使用0.5和0.25两个尺度。这三对图像同时被并行地送到编码网络。这在三个不同的尺度上产生三对输出：OL0/OR0、OL1/OR1和OL2/OR2。然后，对OL1/OR1和OL2/OR2进行上采样，以匹配OL0/OR0的比例尺。最后，将它们沿深度方向拼在一起并输入到融合网络中。
融合网络：从两个收缩路径中学习到的表示在本网络中进行融合这使得解码网络的每个分支都可以感知每个输入帧中的信息，类似于人类视交叉的功能。编码网络提取的特征映射具有较大的深度，即3072，这是在两个收缩路径中三种不同尺度的特征通道集成到一起的总数量。为了提高计算效率，我们首先用1×1转置卷积将高维特征映射在深度维度投影到较低维度，然后采用3×3卷积进行特征融合。为了提高特征映射的非线性表示能力，又采用1×1的转置卷积来增加特征映射的数目。特征映射是三位数据，即(长*宽*深度)，长*宽表示尺度(比如解码网络第三行的“尺度”表示长*宽)，深度也称通道(比如解码网络第三行的“通道”就表示深度)。
解码器网络：该网络包括两条独立的路径在相同配置下，模拟两人大脑的高级语义分析功能。它同时执行检测、定位和分类。我们使用一系列的转置卷积来逐渐减少特征通道和提高特征映射尺度到原来的大小。同时，为了弥补上采样过程中高级特征分辨率低的缺点，采用跳层连接的方法来利用中、早期的特征映射。更具体地说，在1×、2×和4×上采样后，从两个输入帧生成的三种不同尺度的特征映射被连接到每个扩张路径(图2中编码器和解码器之间的蓝色空心箭头)。最后，我们在最后一层应用一个Sigmoid函数，为每个像素生成两副前景概率预测图。
我们在CDnet 2014数据集上评估了我们的方法，CDnet 2014数据集是最大的具有像素级精确标注的数据集。该数据集包括11个类别的53个场景，包括badWeather(BW),baseline(BL),cameraJitter(CJ),dynamicBackground(DB),interactiveObjectMotion(IOM),lowFramerate(LF),nightVideos(NV),PTZ,shadow(SH),thermal(TH)andturbulence(TU)。它包含15万帧标注数据，涵盖范围广泛的具有挑战性的场景。这使得它成为一个严格和综合的学术基准，可以对我们的方法进行更全面的评估。
官方正式提出的有七个评价指标:Recall(Re),Specificity(Sp),FalsePositive Rate(FPR),False Negative Rate(FNR),Percentage of WrongClassifications(PWC),Precision(Pr)and F-Measure(FM)。其中，FM作为一种能够全面代表一个模型整体性能的指标被广泛接受，它与CDnet2014网站的排名高度相关。因此，我们主要使用FM来比较性能。它的值从0到1：值越大，效果越好。它表示为
Figure GDA0002100892600000071
其中，precision＝TP/(TP+FP).recall＝TP/(TP+FN)；TP和FP分别表示正确的正样本和错误的正样本,F N和T N表示错误的负样本和正确的负样本。
使用图2中所示的配置对X-Net进行端到端训练。为了融合高级语义知识，并提高训练效率，采用预先训练的VGG-16模型对编码网络进行权值初始化。实验在基于Tensorflow后端的Keras框架上实现。采用Soft focal loss(γ＝1)损失函数对X-Net进行优化。注意，该模型对训练过程中不感兴趣区域(NON-ROI)和未知区域造成的损失不进行梯度反向传播。
与单流DBMs不同，X-Net作为成对输入网络，需要选择成对的帧来构建训练集。这种网络通常在遍历所有给定的帧对后构建训练集。当给定m帧时，训练集的最大尺寸可以达到m2。为了在不造成训练时间爆炸的情况下利用时序信息，我们提出了一种不同的策略，步骤如下：
1.对给定的m帧按其在视频中的序号重新排列，然后重新编号为1，2，···，m。
2.计算每对帧之间的序列号差，选取绝对值小于k_close大于0的成对帧组成训练集。例如，当m＝200,k_close＝2时，我们可以选择398对帧。3.随机分割所有选定配对帧的80％用于训练，20％用于验证。对于训练集规模为50(m＝50)，我们令k_close＝6；对于200个训练样本(m＝200)，我们令k_close＝2。这两种情况下训练集和验证集的总大小分别达到470和398对帧。
由于我们的网络输出是一对概率图，每个像素的值介于0到1之间，因此我们将阈值设置为0.5，将这些概率转换为二进制图，以得到更好的解释。以200帧和50帧为训练样本，在两种设置下进行实验。为了进行公平的比较，我们使用了FgSegNet_S[12](https://github.com/limanggun/fgsegnet)，提供的训练样本，其中的样本是通过随机手工选择来挑选的。此外，我们只考虑数据集中含有标签的帧来进行性能测试。需要注意的是，这些值仅使用测试帧计算，即在性能评估中不使用训练帧。
表1:在200帧和50帧两帧设置下，针对CDnet 2014数据集的11类场景得到测试结果。每行显示每个类别中的平均结果。注意，该结果的计算仅基于测试帧。
Figure GDA0002100892600000081
在上述设置下，X-Net在50帧实验中的总体性能为FM＝0.9748，在200帧实验中的总体性能为FM＝0.9839(见表1)。与其他类别相比，BL类别产生的平均FM最高。LF类平均FM最低，但也达到0.9304。
此外，我们还将我们的结果与相关领域中使用的5中方法进行了比较。FgSegNet_v2和FgSegNet_S是CNnet 2014数据集中性能最高的两种方法；3D SegNet是利用了时序信息的先进DBM；Cascade CNN是一种先进的图像块级的DBM；IUTIS-5[5]是最高性能的非深度学习方法。为了将我们的结果与这些方法进行比较，我们需要考虑数据集中所有带标签的帧，即训练和测试帧，因为这些方法也包括所有的帧。
表2中展示了这些方法基于FM的性能结果。总体而言，DBMs可以大幅度地超过传统的BMs，特别是在极具挑战性的类别，如PTZ和nightVideos。此外，我们的模型能够达到所有模型中的最高精度。FgSegNet_v2(目前排名第一)已将FgSegNet_S(排名第2)的FM提高了0.0012，但我们的模型可以将此度量进一步提高0.003，性能提升幅度是其2.5倍。但是，需要注意的是，所有其他DBMs的训练集规模是200帧，而3D SegNet使用了所有标注数据的70％进行训练。
表2:六种方法的性能比较.行表示每种方法基于FM的平均性能。每列表示每类场景下的平均FM性能.该结果考虑了CDnet 2014数据集中所有带标签的样本.
Figure GDA0002100892600000091
Figure GDA0002100892600000101
在图3提供了一些示例性的结果，以验证了几种方法在典型复杂场景下的分割性能。从图3可以看出，我们的方法可以精确地估计物体的边界，无论是大尺度物体，和还是小物体。同时，我们的方法即使面对微小的前景对象也能产生较少的错误正样本，即便面对在光照较差的环境。另外，对于前景和背景有很大相似之处的一些场景，我们的模型也能对分割结果做出准确的判断。
实施例2
本实施例提供一种视交叉仿真的视频前景分割装置。
一种视交叉仿真的视频前景分割装置，包括：图像获取模块，用于获取要处理的图像，并把要处理的图像发送给图像处理模块；图像处理模块，用于处理获取的图像；所述图像处理模块包括编码网络，所述编码网络采用两条收缩路径模拟人眼的双目视神经功能，从两个相似帧中进行信息感知和特征提取；融合网络，所述融合网络对编码器网络中两条收缩路径中学习到的信息在本网络中进行融合；解码器网络，所述解码器网络包括两条独立的路径，在相同配置下，模拟两个人大脑的高级语义分析功能，同时执行检测、定位和分类；图像处理模块处理完成的图像输送给图像输出模块，图像输出模块用于对处理后的图像进行输出。
所述图像处理模块中，所述编码网络为孪生网。所述解码器网络采用跳层连接的方法利用中、早期的特征映射。
最后应说明的是：以上实施例仅用以说明本发明而并非限制本发明所描述的技术方案；因此，尽管本说明书参照上述的各个实施例对本发明已进行了详细的说明，但是，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或等同替换；而一切不脱离本发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围中。

Claims (7)

1.一种视交叉仿真的视频前景分割方法，其特征在于，包括如下步骤：
S1，构建编码网络，两条收缩路径模拟人眼的双目视神经功能，采用多输入(MI)结构和多输出(MO)结构从两个相似帧中进行信息感知和特征提取，编码器网络被设置为孪生网；
S2，构建融合网络，对两条收缩路径中学习到的信息在本网络中进行融合，将MIMO结构实例化为X型网络，称为X-Net，它通过融合网络将编码网络和解码网络组合在一起，形成X型结构，X-Net能够同时感知到两幅相似的图像，并从中提取特征，然后融合信息；
S3，构建解码器网络，解码器网络包括两条独立的路径，在相同结构配置下，模拟两个人大脑的高级语义分析功能，同时执行检测、定位和分类。
2.根据权利要求1所述的视交叉仿真的视频前景分割方法，其特征在于，所述步骤S2中，首先用1×1转置卷积将高维特征映射在深度维度投影到较低维度，然后采用3×3卷积进行特征融合。
3.根据权利要求2所述的视交叉仿真的视频前景分割方法，其特征在于，所述步骤S2中，采用采用1×1的转置卷积来增加特征映射的数目。
4.根据权利要求1所述的视交叉仿真的视频前景分割方法，其特征在于，所述步骤S3中，使用转置卷积来逐渐减少特征通道和提高特征映射尺度到原来的大小。
5.根据权利要求4所述的视交叉仿真的视频前景分割方法，其特征在于，所述步骤S3中，为了弥补采样过程中高级特征分辨率低的缺点，采用跳层连接的方法来利用中、早期的特征映射。
6.一种视交叉仿真的视频前景分割装置，其特征在于，包括：
图像获取模块，用于获取图像；
图像处理模块，用于处理获取的图像；所述图像处理模块包括编码网络，所述编码网络采用两条收缩路径模拟人眼的双目视神经功能，采用多输入(MI)结构和多输出(MO)结构从两个相似帧中进行信息感知和特征提取，编码器网络被设置为孪生网；融合网络，所述融合网络对编码器网络中两条收缩路径中学习到的信息在本网络中进行融合，将MIMO结构实例化为X型网络，称为X-Net，它通过融合网络将编码网络和解码网络组合在一起，形成X型结构，X-Net能够同时感知到两幅相似的图像，并从中提取特征，然后融合信息；解码器网络，所述解码器网络包括两条独立的路径，在相同配置下，模拟两个人大脑的高级语义分析功能，同时执行检测、定位和分类；
图像输出模块，用于对处理后的图像进行输出。
7.根据权利要求6所述的视交叉仿真的视频前景分割装置，其特征在于，所述解码器网络采用跳层连接的方法利用中、早期的特征映射。
CN201910406011.2A 2019-05-16 2019-05-16 视交叉仿真的视频前景分割方法及装置 Active CN110211146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910406011.2A CN110211146B (zh) 2019-05-16 2019-05-16 视交叉仿真的视频前景分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910406011.2A CN110211146B (zh) 2019-05-16 2019-05-16 视交叉仿真的视频前景分割方法及装置

Publications (2)

Publication Number Publication Date
CN110211146A CN110211146A (zh) 2019-09-06
CN110211146B true CN110211146B (zh) 2020-03-24

Family

ID=67787385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910406011.2A Active CN110211146B (zh) 2019-05-16 2019-05-16 视交叉仿真的视频前景分割方法及装置

Country Status (1)

Country Link
CN (1) CN110211146B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652899B (zh) * 2020-05-29 2023-11-14 中国矿业大学 一种时空部件图的视频目标分割方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764308A (zh) * 2018-05-16 2018-11-06 中国人民解放军陆军工程大学 一种基于卷积循环网络的行人重识别方法
CN109284606A (zh) * 2018-09-04 2019-01-29 中国人民解放军陆军工程大学 基于经验特征与卷积神经网络的数据流异常检测系统
CN109598727A (zh) * 2018-11-28 2019-04-09 北京工业大学 一种基于深度神经网络的ct图像肺实质三维语义分割方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
CN103260033B (zh) * 2013-04-26 2017-02-08 西安交通大学 一种联合端系统和中继节点网络编码的鲁棒视频传输方法
CN103945206B (zh) * 2014-04-22 2015-08-26 冠捷显示科技（厦门）有限公司 一种基于相似帧比较的立体图像合成系统
CN108198563A (zh) * 2017-12-14 2018-06-22 安徽新华传媒股份有限公司 一种数字版权保护与内容认证的多功能音频保护方法
CN108427925B (zh) * 2018-03-12 2020-07-21 中国人民解放军国防科技大学 一种基于连续拷贝帧序列的拷贝视频检测方法
CN108984648A (zh) * 2018-06-27 2018-12-11 武汉大学深圳研究院 数字动画的主特征提取及动画视频的检索和篡改检测方法
CN109447993A (zh) * 2018-10-25 2019-03-08 哈尔滨工程大学 一种基于混合真伪样本策略的海冰图像分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764308A (zh) * 2018-05-16 2018-11-06 中国人民解放军陆军工程大学 一种基于卷积循环网络的行人重识别方法
CN109284606A (zh) * 2018-09-04 2019-01-29 中国人民解放军陆军工程大学 基于经验特征与卷积神经网络的数据流异常检测系统
CN109598727A (zh) * 2018-11-28 2019-04-09 北京工业大学 一种基于深度神经网络的ct图像肺实质三维语义分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Fully Convolutional Two-Stream Fusion Network for Interactive Image segmentation;Yang Hu etc.;《arXiv:1807.02480v2》;20181031;第1-15页 *
Background Subtraction Using Encoder-Decoder Structured Convolutional Neural Network;Kyungsun Lim etc.;《IEEE AVSS》;20170831;第1-6页 *
Foreground Segmentation Using a Triplet Convolutional Neural Network f or Multiscale Feature Encoding;Long Ang Lim etc.;《arXiv:1801.02225v1》;20180107;第1-14页 *
Improving Cytoarchitectonic Segmentation of Human Brain Areas with Self-supervised Siamese Networks;Hannah Spitzer etc.;《arXiv:1806.05104v1》;20180113;第1-8页 *

Also Published As

Publication number Publication date
CN110211146A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
CN110516536B (zh) 一种基于时序类别激活图互补的弱监督视频行为检测方法
CN108229338B (zh) 一种基于深度卷积特征的视频行为识别方法
Pan et al. Deepfake detection through deep learning
Li et al. No-reference image quality assessment with deep convolutional neural networks
CN112446476A (zh) 神经网络模型压缩的方法、装置、存储介质和芯片
Rahmon et al. Motion U-Net: Multi-cue encoder-decoder network for motion segmentation
CN112651978A (zh) 舌下微循环图像分割方法和装置、电子设备、存储介质
CN109993269B (zh) 基于注意力机制的单张图像人群计数方法
Fang et al. Stereoscopic image quality assessment by deep convolutional neural network
CN110689599A (zh) 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN113011357A (zh) 基于时空融合的深度伪造人脸视频定位方法
CN112906631B (zh) 一种基于视频的危险驾驶行为检测方法和检测系统
CN114187311A (zh) 一种图像语义分割方法、装置、设备及存储介质
CN111666852A (zh) 一种基于卷积神经网络的微表情双流网络识别方法
CN112507920A (zh) 一种基于时间位移和注意力机制的考试异常行为识别方法
CN111242068B (zh) 基于视频的行为识别方法、装置、电子设备和存储介质
CN112418032A (zh) 一种人体行为识别方法、装置、电子设备及存储介质
CN113807356B (zh) 一种端到端的低能见度图像语义分割方法
CN113936235A (zh) 一种基于质量评估的视频显著性目标检测方法
CN114360073A (zh) 一种图像识别方法及相关装置
Singh et al. Action recognition in dark videos using spatio-temporal features and bidirectional encoder representations from transformers
CN110211146B (zh) 视交叉仿真的视频前景分割方法及装置
CN113066074A (zh) 一种基于双目视差偏移融合的视觉显著性预测方法
CN111242114B (zh) 文字识别方法及装置
CN112560668A (zh) 一种基于场景先验知识的人体行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Zhang Jin

Inventor after: Jiao Shanshan

Inventor after: Pan Zhisong

Inventor after: Li Yang

Inventor after: Li Yudong

Inventor after: Qiu Junyang

Inventor after: Wang Shuaihui

Inventor after: Zhou Xingyu

Inventor after: Bai Wei

Inventor after: Zhang Yanyan

Inventor before: Zhang Jin

Inventor before: Jiao Shanshan

Inventor before: Li Yudong

Inventor before: Qiu Junyang

Inventor before: Wang Shuaihui

Inventor before: Zhou Xingyu

Inventor before: Pan Zhisong

Inventor before: Bai Wei

Inventor before: Zhang Yanyan

Inventor before: Li Yang

CB03 Change of inventor or designer information