CN109389588A - 度量视频连续帧与其卷积特征图间差异的方法 - Google Patents

度量视频连续帧与其卷积特征图间差异的方法 Download PDF

Info

Publication number
CN109389588A
CN109389588A CN201811138461.XA CN201811138461A CN109389588A CN 109389588 A CN109389588 A CN 109389588A CN 201811138461 A CN201811138461 A CN 201811138461A CN 109389588 A CN109389588 A CN 109389588A
Authority
CN
China
Prior art keywords
difference
characteristic pattern
video
convolution characteristic
temporal information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201811138461.XA
Other languages
English (en)
Inventor
毛琳
陈思宇
杨大伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Minzu University
Original Assignee
Dalian Nationalities University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Nationalities University filed Critical Dalian Nationalities University
Priority to CN201811138461.XA priority Critical patent/CN109389588A/zh
Publication of CN109389588A publication Critical patent/CN109389588A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

度量视频连续帧与其卷积特征图间差异的方法,属于计算机视觉应用中的视频理解领域，为了解决增加卷积神经网络可获取信息的种类，从而加大卷积神经网络对于视频数据的理解能力的问题，将视频连续帧数据与其对应卷积特征图用于计算，以获取二者的关于时间信息的差异；将其作为神经网络损失函数的一部分，参与神经网络反向传播的梯度下降过程，使卷积核的梯度参数朝着保留输入数据时间信息的情况来进行参数更新，效果是能够提高该神经网络模型在视频理解相关的多种应用中的准确程度。

Description

度量视频连续帧与其卷积特征图间差异的方法
技术领域
本发明属于计算机视觉应用中的视频理解领域，具体的说是一种度量视频连续帧与其卷积特征图间差异的方法。
背景技术
深度学习利用神经网络结构构建的模型实现了端到端应用方式的同时，模型本身对于庞大数据中关键信息的储存能力保证了模型的可靠程度，使深度学习模型相较于传统算法来说有着不可比拟的优势，在短暂的几年时间中被图像、语音、文本领域的众多学者研究并取得了长足的发展。
在计算机视觉技术中的目标检测、目标分类、目标识别、目标分割等针对单帧图像应用中，深度学习都能够得到满足实际落地需求精度的对应模型。Faster-RCNN算法作为当下多种目标检测算法的基础计算结构，利用建议区域与提取特征卷积的双重结构在目标检测的过程中相互反馈，将建议区域生成窗口的置信度、卷积特征权重与最终输出目标检测结果的正确率进行关联式计算，使之在神经网络正反向传播的过程中共同提升拟合程度，最终达到优良的效果。深度残差神经网络在多个计算机视觉应用的方向都表现出了良好的效果，它通过阶段式的引入短路层的方法来处理神经元之间交换的信息，使神经网络的正向传递过程变得十分平滑，从而有效解决深度神经网络中的梯度消失和梯度爆炸问题。OSVOS(One ShotVideo Object Segmentation)算法作为一种经典的目标分割神经网络方法，将图像提取前景与轮廓的部分分流计算，与前景掩码重合度大于一定程度的轮廓区域作为最终的分割结果，使目标分割具有良好的鲁棒性。
随着对于单帧图像相关应用技术的日渐成熟，进一步的，对连续图像帧之间逻辑信息的理解，即对视频连续帧时间信息理解的研究需求也被提出。在对视频中的行人动作分类这一研究方向上，最主要的技术手段有两种，分别为利用光流信息的双流网络与3D卷积神经网络。双流网络将视频帧的RGB图像和光流图像分别作为输入数据，输入到两个网络来进行模型的训练，将彼此输出的判定信息融合计算，来得到最终的行人动作分类结果。3D卷积神经网络利用3维卷积核处理连续的多帧图像，保留了视频连续帧的时间信息，从而得到可靠地分类结果。但由于视频理解方向的发展时间并不算长，在实际应用场景下的准确度并不能让人满意。越来越多的学者认为现有的方法无法准确的提取视频连续帧的时间信息，从而导致模型的准确度不足以达到应用需求，需要对原始方法进一步改进。
发明内容
为了解决增加卷积神经网络可获取信息的种类，从而加大卷积神经网络对于视频数据的理解能力的问题，本发明提出如下技术方案：一种度量视频连续帧与其卷积特征图间差异的方法，将视频连续帧数据与其对应卷积特征图用于计算，以获取二者的关于时间信息的差异；将其作为神经网络损失函数的一部分，参与神经网络反向传播的梯度下降过程，使卷积核的梯度参数朝着保留输入数据时间信息的情况来进行参数更新。
进一步的，步骤将视频连续帧数据与其对应卷积特征图用于计算，以获取二者的关于时间信息的差异的具体方法如下：
第一步：对原始视频图像帧xi，以及该图像帧对应的卷积特征图得到相邻的两个图像作为集合内的一组待计算时间信息元素；
第二步：得到数据同维度第二原始视频图像集合P'n-1与第二卷积特征图集合Q'n-1；
第三步：得到映射的第三原始视频图像集合f(x)与第三卷积特征图集合f(xc)；
第四步：得到时间信息的最大均值差异；
第五步：将时间信息的最大均值差异的数值作为卷积神经网络模型损失函数的一部分，参与网络反向传播中的梯度下降过程，使卷积核的梯度参数朝着保留输入数据时间信息的情况来进行参数更新。
进一步的，所述第一步具体为：将视频转换为图像，得到总数为n的视频帧图像，取出所有原始视频图像帧xi，以及该图像帧对应的卷积特征图其中i代表帧数，将原始视频图像与卷积特征图分为两个集合，各集合内，相邻的两个图像作为集合内的一组待计算时间信息元素。
进一步的，所述第二步具体为：对维度不同的数据的进行补零升维或去零降维以使得各数据同维度，得到第二原始视频图像集合P'n-1与第二卷积特征图集合Q'n-1。
进一步的，所述第三步具体为：将第二原始视频图像集合P'n-1与第二卷积特征图集合Q'n-1的集合内的所有数据进行空间映射计算并求平均，得到第三原始视频图像集合f(x)与第三卷积特征图集合f(xc)；其中f代表被映射的可再生核希尔伯特空间上的连续函数集。
进一步的，所述第四步具体为：对第三原始视频图像集合f(x)、第三卷积特征图集合f(xc)，分别计算各集合内的各组待计算同维度时间信息元素的映射数据的差值，对差值求和并计算平均值，对所述两个均值作差并平方，得到时间信息的最大均值差异。
进一步的，第一原始视频图像集合表示为：
Pn-1＝{[x1,x2],[x2,x3],[x3,x4]…[xn-1,xn]}
第一卷积特征图集合表示为：
用算式表示时间信息的最大均值差异为：
进一步的，可再生核希尔伯特空间是利用可再生核函数作为空间内基础数据构成的具有完备性的内积空间，完备性代表该空间内任何函数的极限运算都不能脱离该空间的范围。
进一步的，内积空间为一种任意维度空间内任意数据都可进行内积并满足数据间共轭对称、线性性与正定性的空间，任何满足上述两个条件的空间都被称为希尔伯特空间，可再生核函数代表满足在无限维空间中拥有特征值与特征函数且任意特征函数都两两正交的核函数。
进一步的，所述将其作为神经网络损失函数的一部分，参与神经网络反向传播的梯度下降过程，使卷积核的梯度参数朝着保留输入数据时间信息的情况来进行参数更新，其具体方法是：神经网络在更新各个神经元的梯度时不仅运用了输出值与真实值的差异大小信息，也运用了最大均值差异来作为梯度更新的计算依据，使各个神经元的梯度参数朝着减小最大均值差异的方向进行更新，减小两组时间信息的最大均值差异，代表：随着梯度下降，两组时间信息的相似度趋向于增加，从而保证神经网络能够更好的保留原始数据的时间信息。
有益效果：
(1)利用时间信息差异方法得到可靠的时间信息差异，可以在神经网络的训练过程中得以良好的运用。通过原输入视频连续帧与其卷积特征图间的时间信息差异来丰富神经网络的梯度信息，使训练神经网络模型的过程更为可靠，最终提升模型对输入数据时间信息的理解能力。将时间信息差异参数作为损失函数的一部分，使其参与神经网络反向传播的梯度下降过程，由于梯度下降过程本身能够根据损失函数的数值来对网络中各个神经元的梯度进行对应的求导和更新，以降低损失函数的数值为反向传播的最终目的。而将时间信息差异参数也作为损失函数一部分的同时，使反向传播不仅减小原网络仅根据输出值与真实值的差异大小来决定的损失，同时也减小时间信息差异参数，也就是减小原输入视频连续帧与其卷积特征图间时间信息的差异大小，使卷积核的梯度参数朝着保留输入数据时间信息的情况来进行参数更新。
(2)时间信息差异方法中运用的可再生核希尔伯特空间拥有完备的内积空间，将信息映射到该空间能够完好的保留原始数据的性质，保证时间信息差异方法计算的数据足够可靠，能有效的体现出视频连续帧与其卷积特征图间的时间信息差异。同时，该映射空间本身具有稳健的正则性，可以保证方法具有足够的连续性，即随着输入数据集合的增大，方法也能够快速收敛到它的期望值。
(3)现有常见卷积神经网络的特征计算重点仅仅在于场景信息上，无法很好地运用到时间信息，本方法将卷积神经网络结合时间信息差异方法来使其获取了视频连续帧与其卷积特征图间的时间信息差异，提升了网络可获取信息的种类，从而加大卷积神经网络对于视频数据的理解能力。通过度量视频连续帧与其卷积特征图间时间信息差异并使其参与反向传播过程，从而提升模型对视频连续帧时间信息理解能力的同时，也能够提高该神经网络模型在视频理解相关的多种应用中的准确程度，例如提升视频动作分类的正确性，提高视频行为识别的精确性，保证监控视频内异常行为检测的有效输出等等。进一步的在其他应用场景下也能够提供一定的辅助功能，例如在航拍视频的相关识别应用中提供可靠的时间信息差异，在自主汽车视觉感应部分的障碍物检测系统中提升对非静态物体的理解能力，加大对不同时间段实时路况时间信息差异的理解能力，给自主汽车后续操作预判、路径规划等操作提供有效帮助。
(4)由于本方法的计算逻辑主要针对不同数据之间的差异性来进行度量计算，通过对不同的输入数据使用合适的跨领域转换手段，可以使本方法不仅能够用于度量视频连续帧与其卷积特征图之间的时间信息差异，也能够有助于度量连续的语音信息的相关应用任务：比如将不同地方方言甚至不同语言的语音数据进行提取比较，得出不同语言之间的音调差异与语法结构差异，使神经网络具备根据语音数据来判断不同语言类型的能力；或者针对连续的文本信息的相关应用任务：通过对不同体裁的文本信息差异进行对比计算，使神经网络具备根据文本信息来判断该文本体裁类型的能力；等其他可以运用其他数据类型差异信息的相关应用，拥有很好的跨领域推广性。
附图说明
图1是本方法处理某一组视频连续帧与其卷积特征图的示意图
图2是实施实例1中两幅原始的视频连续帧图像
图3是实施实例1中两幅原始视频连续帧图像对应的卷积特征图
图4是实施实例1所得的量化时间信息差异距离
图5是实施实例2中两幅原始的视频连续帧图像
图6是实施实例2中两幅原始视频连续帧图像对应的卷积特征图
图7是实施实例2所得的量化时间信息差异距离
图8是实施实例3中两幅原始的视频连续帧图像
图9是实施实例3中两幅原始视频连续帧图像对应的卷积特征图
图10是实施实例3所得的量化时间信息差异距离
图11是实施实例4中两幅原始的视频连续帧图像
图12是实施实例4中两幅原始视频连续帧图像对应的卷积特征图
图13是实施实例4所得的量化时间信息差异距离
图14是实施实例5中两幅原始的视频连续帧图像
图15是实施实例5中两幅原始视频连续帧图像对应的卷积特征图
图16是实施实例5所得的量化时间信息差异距离
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
实施例：本实施例为了加深神经网络对于视频连续帧中时间信息的理解能力，针对卷积神经网络设计了一种方法来计算视频连续帧与其卷积特征图间的时间信息差异，该方法可以由软件实现，是一种能进一步提升网络模型对时间信息理解能力的度量差异方法。利用计算度量得到的视频连续帧与其卷积特征图之间的量化时间信息差异，将差异反馈至神经网络的训练过程中，使神经网络在更新权重时能够运用到时间信息差异，提高对视频连续帧间时间信息的理解能力。
本实施例方法能够稳健计算不同领域样本之间差异距离的内涵，创新地将其结合卷积神经网络来运用至视频连续帧与其卷积特征图间的时间信息差异计算上，使网络能够加深对视频连续帧中时间信息的理解。
其中，视频连续帧代表将原始视频转化为以帧为单位的图像数据中，连续的前后两帧或任意帧图像。卷积特征图代表将原始图像数据经过卷积运算后得到的，相较于原图来说具有一定针对性特征性质的图像数据。
其中，时间信息代表着一种需要通过对视频连续帧数据进行差值运算，来得到的同一视频下不同时刻图像帧之间的时间差值数据，对应卷积特征图时间信息的获取方式同理。由于视频连续帧与其卷积特征图具备来源关系，所以两组数据的时间信息也可以被视为拥有直接联系，合理运用两者之间的联系对于视频理解领域及其相关应用具有一定的价值。
本实施例是通过以下技术方案实现的，一种度量视频连续帧与其卷积特征图间差异的方法，上述系统及装置即是由该方法而获得，该算法内容具体包括如下步骤：
第一步：将视频转换为图像，得到总数为n的视频帧图像，取出所有原始视频图像帧xi，以及该图像帧对应的卷积特征图其中i代表帧数。将原始图像与卷积特征图分为两个集合，各集合内，相邻的两个图像作为集合内的一组待计算时间信息元素。即对原始图像集合Pn-1与卷积特征图集合Qn-1内数据进行一定的划分处理，使集合内的每一组待计算时间信息元素是由该图像集合的两个相邻图像数据构成，如x1与x2为一组，x2与x3为一组，卷积特征图集合同理。其中原始图像集合可表示为：
Pn-1＝{[x1,x2],[x2,x3],[x3,x4]…[xn-1,xn]}
卷积特征图集合可表示为：
第二步：对所有不同大小数据的维度进行补零升维，或去零降维的处理，得到维度处理后的原始图像集合P'n-1与维度处理后的卷积特征图集合Q'n-1，两个集合内所有数据的维度大小都相同，本操作能够便于度量运算的进行；
第三步：将两个维度处理后集合内的所有数据进行空间映射计算并求平均，得到映射后原始图像集合f(x)与映射后卷积特征图集合f(xc)；
其中f代表被映射的可再生核希尔伯特空间上的连续函数集，f(x)代表将数据映射后的函数结果；
其中可再生核希尔伯特空间是一种利用可再生核函数作为空间内基础数据构成的具有完备性的内积空间。完备性代表该空间内任何函数的极限运算都不能脱离该空间的范围，内积空间为一种任意维度空间内任意数据都可进行内积并满足数据间共轭对称、线性性与正定性的空间，任何满足上述两个条件的空间都被称为希尔伯特空间。可再生核函数代表满足在无限维空间中拥有特征值与特征函数且任意特征函数都两两正交的核函数；
第四步：将两个集合内的每组待计算时间信息元素的两个数据的升维、映射后数据进行差值运算，分别计算各集合内的各组待计算时间维度元素的映射数据的差值，对差值求和并计算平均值，计算原始图像集合P'n-1的映射集合的所述的平均值与卷积特征图集合Q'n-1的映射集合的所述均值，并对所述两个均值作差并平方，得时间信息的最大均值差异。用算式可表示为：
得到原始图像与卷积特征图间时间信息差异的量化结果。
第五步：将最大均值差异的数值作为卷积神经网络模型损失函数的一部分，参与网络反向传播中的梯度下降过程，使网络的权重梯度不仅只根据输出值与真实值的差异大小来决定梯度的下降方向，同时也朝着减小最大均值差异数值的方向进行更新，使卷积核的权重参数朝着减小最大均值差异数值的方向更新。
上述技术方案是一种度量视频连续帧与其卷积特征图间差异的方法，简洁的说，其包括如下步骤：
第一步：将视频转换为图像，得到总数为n的视频帧图像，取出所有原始视频图像帧xi，以及该图像帧对应的卷积特征图其中i代表帧数，将原始视频图像与卷积特征图分为两个集合，各集合内，相邻的两个图像作为集合内的一组待计算时间信息元素：
第一原始视频图像集合表示为：
Pn-1＝{[x1,x2],[x2,x3],[x3,x4]…[xn-1,xn]}
第一卷积特征图集合表示为：
第二步：对维度不同的数据的进行补零升维或去零降维以使得各数据同维度，得到第二原始视频图像集合P'n-1与第二卷积特征图集合Q'n-1。
第三步：将第二原始视频图像集合P'n-1与第二卷积特征图集合Q'n-1的集合内的所有数据进行空间映射计算并求平均，得到第三原始视频图像集合f(x)与第三卷积特征图集合f(xc)；其中f代表被映射的可再生核希尔伯特空间上的连续函数集。
第四步：对第三原始视频图像集合f(x)、第三卷积特征图集合f(xc)，分别计算各集合内的各组待计算同维度时间信息元素的映射数据的差值，对差值求和并计算平均值，对所述两个均值作差并平方，得到时间信息的最大均值差异，用算式表示时间信息的最大均值差异为：
由上述，本实施例提出一种方法来度量视频连续帧与其卷积特征图间差异的方法，即通过对视频连续帧数据和其卷积特征图数据的维度处理、空间映射及差异计算，最终得到两组数据间时间信息差异的量化数值。可以将通过本方法得到的时间信息差异反馈到卷积神经网络的训练过程，从而提升该神经网络对于视频连续帧间时间信息差异的理解程度，影响到视频理解方向的后续其他应用。
现有技术中公开与本公开相关的方案如下：
2016年，发明专利申请《视频理解方法及装置》(公开号：CN107563257A)，公开了一种基于场景深度估计并得到深度场景信息，从而进一步对场景内容进行理解和分析的方法，该发明主要运用多种不同的神经网络结构来得到场景的深度信息。不同点在于，本实施例主要利用计算方法来针对原视频连续帧数据与其卷积特征图数据之间的时间信息差异，而非通过多重网络结构来得到视频场景内的深度信息。
2017年，发明专利申请《一种基于稳健主成分分析法的图像差异检测方法》(公开号：CNIO7705295A)，公开了一种针对同一场景下，不同时间、不同视角所获得的数据信息进行建模并分析处理，从而得到稳健的场景信息。不同点在于，本实施例主要针对视频连续帧与其卷积特征图来度量两者之间的时间信息差异，通过训练卷积神经网络降低视频连续帧与其卷积特征图之间时间信息差异大小的方法来加强卷积神经网络对时间信息的掌握能力，加大网络模型对于视频时间信息的理解能力，而非利用不同条件下同一场景的数据信息的分析处理从而获得差异信息。
2017年，发明专利申请《一种基于深度学习的视频理解方法》(公开号：CNIO7909014A)，公开了一种通过LSTM网络、C3D算法和PCA算法三种方法结合运算，进一步得到可靠性较强的待检测视频语句信息的视频理解方法。不同点在于，本实施例利用时间信息差异方法来度量视频连续帧与其卷积特征图之间的时间信息差异，最终得到量化的差异数值结果，与视频的语句理解没有关联。
实施例1：
本实施实例对于如图2所示的一组原始视频连续帧图像及如图3所示的对应卷积特征图进行的距离度量计算，图4为所得计算结果。
实施例2：
本实施实例对于如图5所示的一组原始视频连续帧图像及如图6所示的对应卷积特征图进行的距离度量计算，图7为所得计算结果。
实施例3：
本实施实例对于如图8所示的一组原始视频连续帧图像及如图9所示的对应卷积特征图进行的距离度量计算，图10为所得计算结果。
实施例4：
本实施实例对于如图11所示的一组原始视频连续帧图像及如图12所示的对应卷积特征图进行的距离度量计算，图13为所得计算结果。
实施例5：
本实施实例对于如图14所示的一组原始视频连续帧图像及如图15所示的对应卷积特征图进行的距离度量计算，图16为所得计算结果。
以上所述，仅为本发明创造较佳的具体实施方式，但本发明创造的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明创造披露的技术范围内，根据本发明创造的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明创造的保护范围之内。

Claims (10)

1.一种度量视频连续帧与其卷积特征图间差异的方法，其特征在于：将视频连续帧数据与其对应卷积特征图用于计算，以获取二者的关于时间信息的差异；将其作为神经网络损失函数的一部分，参与神经网络反向传播的梯度下降过程，使卷积核的梯度参数朝着保留输入数据时间信息的情况来进行参数更新。
2.如权利要求1所述的度量视频连续帧与其卷积特征图间差异的方法，其特征在于：步骤将视频连续帧数据与其对应卷积特征图用于计算，以获取二者的关于时间信息的差异的具体方法如下：
第一步：对原始视频图像帧xi，以及该图像帧对应的卷积特征图得到相邻的两个图像作为集合内的一组待计算时间信息元素；
第二步：得到数据同维度第二原始视频图像集合P′n-1与第二卷积特征图集合Q′n-1；
第三步：得到映射的第三原始视频图像集合f(x)与第三卷积特征图集合f(xc)；
第四步：得到时间信息的最大均值差异；
第五步：将时间信息的最大均值差异的数值作为卷积神经网络模型损失函数的一部分，参与网络反向传播中的梯度下降过程，使卷积核的梯度参数朝着保留输入数据时间信息的情况来进行参数更新。
3.如权利要求2所述的度量视频连续帧与其卷积特征图间差异的方法，其特征在于：所述第一步具体为：将视频转换为图像，得到总数为n的视频帧图像，取出所有原始视频图像帧xi，以及该图像帧对应的卷积特征图其中i代表帧数，将原始视频图像与卷积特征图分为两个集合，各集合内，相邻的两个图像作为集合内的一组待计算时间信息元素。
4.如权利要求2所述的度量视频连续帧与其卷积特征图间差异的方法，其特征在于：所述第二步具体为：对维度不同的数据的进行补零升维或去零降维以使得各数据同维度，得到第二原始视频图像集合P′n-1与第二卷积特征图集合Q′n-1。
5.如权利要求2所述的度量视频连续帧与其卷积特征图间差异的方法，其特征在于：所述第三步具体为：将第二原始视频图像集合P′n-1与第二卷积特征图集合Q′n-1的集合内的所有数据进行空间映射计算并求平均，得到第三原始视频图像集合f(x)与第三卷积特征图集合f(xc)；其中f代表被映射的可再生核希尔伯特空间上的连续函数集。
6.如权利要求2所述的度量视频连续帧与其卷积特征图间差异的方法，其特征在于：所述第四步具体为：对第三原始视频图像集合f(x)、第三卷积特征图集合f(xc)，分别计算各集合内的各组待计算同维度时间信息元素的映射数据的差值，对差值求和并计算平均值，对所述两个均值作差并平方，得到时间信息的最大均值差异。
7.如权利要求2所述的度量视频连续帧与其卷积特征图间差异的方法，其特征在于：
第一原始视频图像集合表示为：
Pn-1＝{[x1,x2],[x2,x3],[x3,x4]…[xn-1,xn]}
第一卷积特征图集合表示为：
用算式表示时间信息的最大均值差异为：
8.如权利要求2所述的度量视频连续帧与其卷积特征图间差异的方法，其特征在于：可再生核希尔伯特空间是利用可再生核函数作为空间内基础数据构成的具有完备性的内积空间，完备性代表该空间内任何函数的极限运算都不能脱离该空间的范围。
9.如权利要求8所述的度量视频连续帧与其卷积特征图间差异的方法，其特征在于：内积空间为一种任意维度空间内任意数据都可进行内积并满足数据间共轭对称、线性性与正定性的空间，任何满足上述两个条件的空间都被称为希尔伯特空间，可再生核函数代表满足在无限维空间中拥有特征值与特征函数且任意特征函数都两两正交的核函数。
10.如权利要求2所述的度量视频连续帧与其卷积特征图间差异的方法，其特征在于：所述将其作为神经网络损失函数的一部分，参与神经网络反向传播的梯度下降过程，使卷积核的梯度参数朝着保留输入数据时间信息的情况来进行参数更新，其具体方法是：神经网络在更新各个神经元的梯度时不仅运用了输出值与真实值的差异大小信息，也运用了最大均值差异来作为梯度更新的计算依据，使各个神经元的梯度参数朝着减小最大均值差异的方向进行更新，减小两组时间信息的最大均值差异，代表：随着梯度下降，两组时间信息的相似度趋向于增加，从而保证神经网络能够更好的保留原始数据的时间信息。
CN201811138461.XA 2018-09-28 2018-09-28 度量视频连续帧与其卷积特征图间差异的方法 Withdrawn CN109389588A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811138461.XA CN109389588A (zh) 2018-09-28 2018-09-28 度量视频连续帧与其卷积特征图间差异的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811138461.XA CN109389588A (zh) 2018-09-28 2018-09-28 度量视频连续帧与其卷积特征图间差异的方法

Publications (1)

Publication Number Publication Date
CN109389588A true CN109389588A (zh) 2019-02-26

Family

ID=65418149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811138461.XA Withdrawn CN109389588A (zh) 2018-09-28 2018-09-28 度量视频连续帧与其卷积特征图间差异的方法

Country Status (1)

Country Link
CN (1) CN109389588A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866509A (zh) * 2019-11-20 2020-03-06 腾讯科技（深圳）有限公司 动作识别方法、装置、计算机存储介质和计算机设备
CN111695381A (zh) * 2019-03-13 2020-09-22 杭州海康威视数字技术股份有限公司 一种文本特征提取方法、装置、电子设备及可读存储介质
CN112819150A (zh) * 2019-11-18 2021-05-18 浙江大学 基于神经网络的预测块生成方法及装置
CN113033582A (zh) * 2019-12-09 2021-06-25 杭州海康威视数字技术股份有限公司 模型训练方法、特征提取方法及装置
CN113159267A (zh) * 2020-01-07 2021-07-23 Tcl集团股份有限公司 一种图像数据处理方法、装置及终端设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845357A (zh) * 2016-12-26 2017-06-13 银江股份有限公司 一种基于多通道网络的视频人脸检测和识别方法
WO2017185391A1 (zh) * 2016-04-29 2017-11-02 北京中科寒武纪科技有限公司 一种用于执行卷积神经网络训练的装置和方法
CN107818345A (zh) * 2017-10-25 2018-03-20 中山大学 一种基于数据转换之间保持最大依赖关系的域自适应降维方法
CN108280426A (zh) * 2018-01-23 2018-07-13 深圳极视角科技有限公司 基于迁移学习的暗光源表情识别方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017185391A1 (zh) * 2016-04-29 2017-11-02 北京中科寒武纪科技有限公司 一种用于执行卷积神经网络训练的装置和方法
CN106845357A (zh) * 2016-12-26 2017-06-13 银江股份有限公司 一种基于多通道网络的视频人脸检测和识别方法
CN107818345A (zh) * 2017-10-25 2018-03-20 中山大学 一种基于数据转换之间保持最大依赖关系的域自适应降维方法
CN108280426A (zh) * 2018-01-23 2018-07-13 深圳极视角科技有限公司 基于迁移学习的暗光源表情识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
顾婷婷等: "基于帧间信息提取的单幅红外图像深度估计", 《激光与光电子学进展》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695381A (zh) * 2019-03-13 2020-09-22 杭州海康威视数字技术股份有限公司 一种文本特征提取方法、装置、电子设备及可读存储介质
CN111695381B (zh) * 2019-03-13 2024-02-02 杭州海康威视数字技术股份有限公司 一种文本特征提取方法、装置、电子设备及可读存储介质
CN112819150A (zh) * 2019-11-18 2021-05-18 浙江大学 基于神经网络的预测块生成方法及装置
CN112819150B (zh) * 2019-11-18 2024-05-07 浙江大学 基于神经网络的预测块生成方法及装置
CN110866509A (zh) * 2019-11-20 2020-03-06 腾讯科技（深圳）有限公司 动作识别方法、装置、计算机存储介质和计算机设备
CN110866509B (zh) * 2019-11-20 2023-04-28 腾讯科技（深圳）有限公司 动作识别方法、装置、计算机存储介质和计算机设备
CN113033582A (zh) * 2019-12-09 2021-06-25 杭州海康威视数字技术股份有限公司 模型训练方法、特征提取方法及装置
CN113033582B (zh) * 2019-12-09 2023-09-26 杭州海康威视数字技术股份有限公司 模型训练方法、特征提取方法及装置
CN113159267A (zh) * 2020-01-07 2021-07-23 Tcl集团股份有限公司 一种图像数据处理方法、装置及终端设备
CN113159267B (zh) * 2020-01-07 2024-08-27 Tcl科技集团股份有限公司 一种图像数据处理方法、装置及终端设备

Similar Documents

Publication Publication Date Title
CN109389588A (zh) 度量视频连续帧与其卷积特征图间差异的方法
CN111061961B (zh) 一种融合多特征的矩阵分解兴趣点推荐方法及其实现系统
CN104615983B (zh) 基于递归神经网络和人体骨架运动序列的行为识别方法
CN109284720A (zh) 度量视频连续帧与其卷积特征图间差异在视频行为识别中的应用
CN110443843A (zh) 一种基于生成对抗网络的无监督单目深度估计方法
CN110490884A (zh) 一种基于对抗的轻量级网络语义分割方法
CN103942575A (zh) 基于场景和马尔科夫逻辑网的智能行为分析系统及方法
CN106909938B (zh) 基于深度学习网络的视角无关性行为识别方法
CN106228539A (zh) 一种三维点云中多种几何基元自动识别方法
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN108830170B (zh) 一种基于分层特征表示的端到端目标跟踪方法
CN113326735B (zh) 一种基于YOLOv5的多模态小目标检测方法
CN112288778B (zh) 一种基于多帧回归深度网络的红外小目标检测方法
Wang et al. A hybrid air quality index prediction model based on CNN and attention gate unit
CN117523514A (zh) 基于交叉注意力的雷达视觉融合数据目标检测方法及系统
CN106815563A (zh) 一种基于人体表观结构的人群数量预测方法
CN116485839A (zh) 一种基于注意力自适应选择Transformer的视觉跟踪方法
CN114998890A (zh) 一种基于图神经网络的三维点云目标检测算法
Chen et al. Feature extraction method of 3D art creation based on deep learning
CN109344764A (zh) 度量视频连续帧与其卷积特征图间差异的系统及装置
Lu et al. An object detection algorithm combining self-attention and YOLOv4 in traffic scene
Qiao et al. Group behavior recognition based on deep hierarchical network
CN115719363B (zh) 可进行二维动态检测和三维重建的环境感知方法与系统
CN109389066A (zh) 度量视频连续帧与其卷积特征图间差异在航拍视频的相关识别中的应用
CN109145874A (zh) 度量视频连续帧与其卷积特征图间差异在自主汽车视觉感应部分的障碍物检测中的应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190226