CN107194359B - 一种视频图像序列的尺度空间构造方法及装置 - Google Patents

一种视频图像序列的尺度空间构造方法及装置 Download PDF

Info

Publication number
CN107194359B
CN107194359B CN201710381909.XA CN201710381909A CN107194359B CN 107194359 B CN107194359 B CN 107194359B CN 201710381909 A CN201710381909 A CN 201710381909A CN 107194359 B CN107194359 B CN 107194359B
Authority
CN
China
Prior art keywords
video
scale
space
gray
gmcm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710381909.XA
Other languages
English (en)
Other versions
CN107194359A (zh
Inventor
李岩山
谢维信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201710381909.XA priority Critical patent/CN107194359B/zh
Publication of CN107194359A publication Critical patent/CN107194359A/zh
Application granted granted Critical
Publication of CN107194359B publication Critical patent/CN107194359B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视频图像序列的尺度空间构造方法及装置，方法包括：基于视频包含的视频图像序列的视频图像空域信息和时域信息，得到该视频的三维几何代数空间，遍历该三维几何代数空间中的所有像素点，利用预置的灰度‑运动矢量算法计算遍历到的像素点的灰度‑运动矢量，且利用所有像素点的灰度‑运动矢量，构造该视频的GMCM，并根据该视频的GMCM与预先设置的高斯函数，构造该视频的尺度空间。本发明构造了几何代数框架下的包含灰度信息和运动变化信息的GMCM，并通过该GMCM及预先设置的变尺度的高斯函数构造得到尺度空间，使得构造与运动变化信息的尺度空间成为可能，以便进一步的实现与运动变化信息有关的STIP检测。

Description

一种视频图像序列的尺度空间构造方法及装置
技术领域
本发明涉及视频图像领域，尤其涉及一种视频图像序列的尺度空间构造方 法及装置。
背景技术
视频中的行为识别是当下热门的研究课题，虽然基于深度学习的行为识别 方法在视频大数据集上的行为识别上取得突破性进展，但是它难以应用在小样 本数据集上。如交通事故的视频数据，由于交通事故数据难以采集和模拟，数 据量非常有限，深度学习的方法就难以应用到视频中交通事故的识别中。而传 统的基于视频时空兴趣点(Spatio-Temporal Interest Point,STIP for short)和支持 向量机(Support Vector Machine，SVM)的行为识别算法可以很好的应用于小 样本数据集，因此，这类方法仍具有重要的研究意义。
时空兴趣点是一种视频图像上的局部不变特征(Local Invariant Feature)， 是视频的一种重要的特征。自2003年提出后就受到了研究者的关注，目前已被 应用于人体行为识别、视频检索、交通异常检测、视频监控等智能视频处理与 分析领域中。
其中，现有的STIP检测算法均是由二维图像的局部不变特征检测算法扩展 而来，没有充分利用视频时域上的运动变化信息，从而降低了视频中的STIP 的可重复性、鲁棒性等性能。
然而，若需要利用视频图像时域上的运动信息，需要先构造一种与运动变 化信息有关的尺度空间的构造方法，因此，如何实现与运动变化信息有关的尺 度空间的构造是目前亟待解决的问题。
发明内容
本发明的主要目的在于提供一种视频图像序列的尺度空间构造方法及装 置，旨在解决现有技术中无法构造与运动信息有关的尺度空间的技术问题。
为实现上述目的，本发明第一方面提供一种视频图像序列的尺度空间构造 方法，该方法包括：
基于视频包含的视频图像序列的视频图像空域信息和时域信息，得到所述 视频的三维几何代数空间；
遍历所述视频的三维几何代数空间的所有像素点，利用预置的灰度-运动矢 量算法计算遍历到的像素点的灰度-运动矢量；
利用所述视频的三维几何代数空间的所有像素点的灰度-运动矢量，构造所 述视频的灰度与运动变化矩阵GMCM；
根据所述视频的GMCM与预先设置的变尺度的高斯函数，构造所述视频 的尺度空间。
为实现上述目的，本发明第二方面提供一种视频图像序列的尺度空间构造 装置，该装置包括：
几何构造模块，用于基于视频包含的视频图像序列的视频图像空域信息和 时域信息，得到所述视频的三维几何代数空间；
遍历计算模块，用于遍历所述视频的三维几何代数空间的所有像素点，利 用预置的灰度-运动矢量算法计算遍历到的像素点的灰度-运动矢量；
GMCM构造模块，用于利用所述视频的三维几何代数空间的所有像素点的 灰度-运动矢量，构造所述视频的灰度与运动变化矩阵GMCM；
尺度空间构造模块，用于根据所述视频的GMCM与预先设置的变尺度的 高斯函数，构造所述视频的尺度空间。
本发明提供一种视频图像序列的尺度空间构造方法，该方法包括：基于视 频包含的视频图像序列的视频图像空域信息和时域信息，得到该视频的三维几 何代数空间，遍历该视频的三维几何代数空间中的所有像素点，利用预置的灰 度-运动矢量算法计算遍历到的像素点的灰度-运动矢量，且利用视频的三维几 何代数空间的所有像素点的灰度-运动矢量，构造该视频的灰度与运动变化矩阵 (Gray and Motion Change InformationMatrix，GMCM)，并根据该视频的 GMCM与预先设置的变尺度的高斯函数，构造该视频的尺度空间。相对于现有 技术，本发明构造了几何代数框架下的包含灰度信息和运动变化信息的GMCM，并通过该GMCM及预先设置的变尺度的高斯函数构造得到尺度空间， 由于GMCM不仅包含视频的三维几何代数空间中的像素点的灰度信息，还包 含了运动变化信息，使得构造与运动变化信息的尺度空间成为可能，以便进一 步的实现与运动变化信息有关的STIP检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述 中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创 造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明第一实施例中视频图像序列的尺度空间构造方法的流程示意 图；
图2为本发明第二实施例中视频图像序列的尺度空间构造装置的功能模块 的示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结 合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描 述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基 于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的 所有其他实施例，都属于本发明保护的范围。
由于现有技术中存在无法构造与运动信息有关的尺度空间的技术问题。
为了解决上述技术问题，本发明提出一种视频图像序列的尺度空间构造方 法及装置，本发明构造了几何代数框架下的包含灰度信息和运动变化信息的 GMCM，并通过该GMCM及预先设置的变尺度的高斯函数构造得到尺度空间， 且该尺度空间是与运动变化信息有关的，因此，使得构造与运动变化信息的尺 度空间成为可能，以便进一步的实现与运动变化信息有关的STIP检测。
请参阅图1，为本发明第一实施例中视频图像序列的尺度空间构造方法的 流程示意图，该视频图像序列的尺度空间构造方法包括：
步骤101、基于视频包含的视频图像序列的视频图像空域信息和时域信息， 得到所述视频的三维几何代数空间；
在本发明实施例中，尺度空间的构造是在一个视频中进行，该视频中包含 的视频图像(视频帧)序列可以表示为一个视频立方体，包含空域信息(x，y) 和时域信息t，即对于一个空域尺度为M*N，视频帧数为n的视频图像序列F， 它可以表示为：
F＝f(x，y，t) (公式一)
在公式一中，f(x,y,t)表示视频图像的函数，(x,y,t)表示视频图像的三维坐 标，x,y表示空域坐标，t表示时域坐标，其中，0＜x＜M，0＜y＜N，0＜t＜n。
需要说明的是，采用几何代数作为视频表示和分析的数学框架，几何代数 可称为Clifford Algebra，是由Clifford代数和Grassmann代数发展而来，它将 几何问题转化为代数的方式进行解决，为几何分析提供了一个功能强大的代数 框架，作为几何分析的有效工具。本发明即是基于几何代数框架表示视频的视 频图像序列的，下面将阐述几何代数框架下的视频图像序列的表示模型。
设R3是视频包含的视频图像序列的空域信息和时域信息组成的三维欧式空 间，它的规范正交基为{e1,e2,e3}，那么这些规范正交基通过几何张成上R3的几 何代数空间为
Figure BDA0001305355880000042
该
Figure BDA0001305355880000043
即为上述视频的三维几何代数空间，在本发明实 施例中，后续将该
Figure BDA0001305355880000051
简记为
Figure BDA0001305355880000052
它的一组规范基为：
E3:＝{Ei|i＝0,1,2,…,23-1}＝{1,e1,e2,e3,e1∧e2,e2∧e3,e1∧e3,e1∧e2∧e3} (公式二)
其中，“∧”表示几何代数外积计算的符号，e1∧e2，e2∧e3及e1∧e3是由三 个正交基e1、e2及e3得到的三个独立的二重外积，这三个二重外积几何意义上分 别表示了
Figure RE-GDA0001337679290000057
空间两个矢量表示的平面，e1∧e2∧e3是三重外积： e1∧e2∧e3＝(e1∧e2)e3，其几何解释是：二重外积e1∧e2沿着矢量e3移动所获得的有 向几何体。{e1，e2，e3}可以看作
Figure RE-GDA0001337679290000056
的3维向量子空间的基向量{x，y，t}。
将e1e2e3记为I，由于ei 2＝1，则e1e2＝Ie3，e2e3＝Ie1以及e3e1＝Ie2。并满足
(e1e2)2＝(e2e3)2＝(e3e1)2＝-1 (公式三)
设
Figure BDA0001305355880000056
且p＝xe1+ye2+te3，则视频视可以表示为：
F＝f(p) (公式四)
f(p)则表示视频F在像素点p处的像元灰度值。
设
Figure BDA0001305355880000057
且p1＝x1e1+y1e2+t1e3，p2＝x2e1+y2e2+t2e3，则它们的几何积可以 表示为：
p1p2＝p1·p2+p1∧p2 (公式五)
它表示两个矢量的几何积是由内积(p1·p2)和外积(p1∧p2)之和组成。
在
Figure BDA0001305355880000058
中，p1和p2的距离可以用Δp表示，即：
Δp＝p1-p2＝(x1-x2)e1+(y1-y2)e2+(t1-t2)e3 (公式六)
它表示一个从p2指向p1的矢量，它不仅是两个像素点距离的度量，而且也 可以反映像素点在视频序列中的运动情况。
以上即为本发明实施例中视频的三维几何代数空间的介绍。
步骤102、遍历所述视频的三维几何代数空间的所有像素点，利用预置的 灰度-运动矢量算法计算遍历到的像素点的灰度-运动矢量；
在本发明实施例中，在得到视频的三维几何代数空间之后，将遍历该视频 的三维几何代数空间的所有像素点，利用预置的灰度-运动矢量算法计算遍历到 的像素点的灰度-运动矢量。
其中，上述的灰度-运动矢量算法为：
Figure BDA00013053558800000617
其中，p0表示遍历到的视频的三维几何代数空间中的像素点，f′(p0)表示像 素点p0的灰度-运动矢量，f(p0)为像素点p0的灰度值，
Figure BDA00013053558800000616
表示像素点p0的运动 变化矢量。
为了更加地理解本发明实施例中的技术方案，下面将详细介绍上述灰度- 运动矢量算法的推导过程，如下：
1、对于运动信息的定义
设
Figure BDA0001305355880000061
且p0＝xie1+yje2+tke3，p1＝xie1+yje2+(tk+1)e3，即p0和p1为相邻平 面上的像素点，S为在t＝tk+1平面上以像素点p1为中心的l×l的邻域的像素点的 集合，则
Figure BDA0001305355880000062
上的像素点p0的运动信息
Figure BDA0001305355880000063
定义为：
Figure BDA0001305355880000064
其中
Figure BDA0001305355880000065
其中，
Figure BDA0001305355880000066
反映像素点p0的运动信息，包括运动方向、运动速度等等。
其中，平面可以理解为视频帧或视频图像，视频的每一个帧都可以理解成 一个二维的平面。
2、对运动变化矢量的定义
设
Figure BDA0001305355880000067
且p0＝xie1+yje2+tke3，p1＝xie1+yje2+(tk+1)e3， p2＝xie1+yje2+(tk-1)e3，则
Figure BDA0001305355880000068
上的像素点p0的运动变化矢量
Figure BDA0001305355880000069
定义为：
Figure BDA00013053558800000610
其中
Figure BDA00013053558800000611
和
Figure BDA00013053558800000612
分别是像素点p1和像素点p2的运动信息。
Figure BDA00013053558800000613
反映了像素点p0的运动变化情况，包括运动方向变化、运动速度变化等，可以用它的模值来反 映变化幅度。一般情况，像素点p0的运动方向变化越大，
Figure BDA00013053558800000614
的模值越大；速 度变化越大，
Figure BDA00013053558800000615
的模值越大，反之亦然。
3、灰度-运动矢量的定义
在本发明实施例中，在对运动矢量进行定义之后，为了反映像素点p0的所 具有的灰度信息和运动信息，按照如下的方式定义像素点p0的灰度-运动矢量：
设
Figure BDA0001305355880000071
f(p0)为p0处的灰度值，
Figure BDA0001305355880000072
为运动变化矢量，则灰度-运动矢量 f′(p0)定义如下：
Figure BDA0001305355880000073
f′(p0)是一个既含有标量信息又含有矢量信息的矢量，不仅反映了灰度信息， 而且还反映了运动方向和速度变化情况。
步骤103、利用所述视频的三维几何代数空间的所有像素点的灰度-运动矢 量，构造所述视频的GMCM；
在本发明实施例中，在得到视频的三维几何代数空间的所有像素点的灰度- 运动矢量之后，将利用该所有像素点的灰度-运动矢量构造该视频的GMCM。
步骤104、根据所述视频的GMCM与预先设置的变尺度的高斯函数，构造 所述视频的尺度空间。
在本发明实施例中，在得到视频的GMCM之后，将进一步根据该视频的 GMCM与预先设置的变尺度的高斯函数，构造该视频的尺度空间。具体可以为： 将所述视频图像的GMCM与所述预先设置的变尺度的高斯函数进行卷积运算， 构造所述视频图像的GMCM的尺度空间。
其中，利用视频的GMCM与预先设置的变尺度的高斯函数，构造该视频 的尺度空间的计算公式如下：
Figure BDA0001305355880000074
其中，
Figure BDA0001305355880000075
表示卷积运算，p表示像素点，f′(p)表示像素点p的灰度-运动矢 量，f(p)为像素点p的灰度值，dvp表示像素点p的运动变化矢量，G(p,σ)表示 预先设置的变尺度的的高斯函数，σ表示所述视频的三维几何代数空间中所述 高斯函数的尺度因子，L(p,σ)表示视频图像的GMCM的尺度空间。
在本发明实施例中，上述预先设置的变尺度的高斯函数如下：
Figure BDA0001305355880000081
其中，G(p,σ)表示所述变尺度的高斯函数，σ表示所述视频的三维几何代 数空间中所述高斯函数的尺度因子，p表示像素点，“∧”表示外积计算符号， “·”表示内积计算符号，且所述高斯函数的窗口大小为l×l×l，且l＝6σ+1。
需要说明的是，由于灰度图像的尺度空间是由图像和不同尺度的高斯函数 卷积产生的，借鉴该种思路，本发明实施例中提供了如公式十所示的在视频的 三维几何代数空间中用于生成尺度空间的高斯函数。
为了更好的理解本发明实施例中的技术方案，下面将证明上述的高斯函数 G(p,σ)是视频的三维几何代数空间
Figure BDA0001305355880000082
中有效的高斯函数。
证明：|p·σ|2可以进一步展开如下：
Figure BDA0001305355880000083
σ∧σ∧σ可以进一步展开如下：
Figure BDA0001305355880000084
利用|p·σ|2和σ∧σ∧σ展开后的公式带入公式十，可以得到：
Figure BDA0001305355880000091
基于上述证明，可见，将G(p,σ)转为
Figure BDA0001305355880000092
中的形式与普通三维高斯函数是一 致的，因此，本发明实施例中提供的高斯函数G(p,σ)是有效的高斯函数。
在本发明实施例中，基于视频包含的视频图像序列的视频图像空域信息和 时域信息，得到该视频的三维几何代数空间，遍历该视频的三维几何代数空间 中的所有像素点，利用预置的灰度-运动矢量算法计算遍历到的像素点的灰度- 运动矢量，且利用视频的三维几何代数空间的所有像素点的灰度-运动矢量，构 造该视频的灰度与运动变化矩阵(Gray and Motion Change Information Matrix， GMCM)，并根据该视频的GMCM与预先设置的变尺度的高斯函数，构造该 视频的尺度空间。相对于现有技术，本发明构造了几何代数框架下的包含灰度 信息和运动变化信息的GMCM，并通过该GMCM及预先设置的变尺度的高斯 函数构造得到尺度空间，由于GMCM不仅包含视频的三维几何代数空间中的 像素点的灰度信息，还包含了运动变化信息，使得构造与运动变化信息的尺度 空间成为可能，以便进一步的实现与运动变化信息有关的STIP检测。
请参阅图2，为本发明第二实施例中视频图像序列的尺度空间构造装置的 功能模块的示意图，该视频图像序列的尺度空间构造装置包括：
几何构造模块201，用于基于视频包含的视频图像序列的视频图像空域信 息和时域信息，得到所述视频的三维几何代数空间；
遍历计算模块202，用于遍历所述视频的三维几何代数空间的所有像素点， 利用预置的灰度-运动矢量算法计算遍历到的像素点的灰度-运动矢量；
GMCM构造模块203，用于利用所述视频的三维几何代数空间的所有像素 点的灰度-运动矢量，构造所述视频的灰度与运动变化矩阵GMCM；
尺度空间构造模块204，用于根据所述视频的GMCM与预先设置的变尺度 的高斯函数，构造所述视频的尺度空间。
在本发明实施例中，尺度空间的构造是在一个视频中进行，该视频中包含 的视频图像(视频帧)序列可以表示为一个视频立方体，包含空域信息(x，y) 和时域信息t，即对于一个空域尺度为M*N，视频帧数为n的视频图像序列F， 它可以表示为：
F＝f(x,y,t) (如第一实施例中的公式一)
在公式一中，f(x,y,t)表示视频图像的函数，(x,y,t)表示视频图像的三维坐 标，x,y表示空域坐标，t表示时域坐标，其中，0＜x＜M，0＜y＜N，0＜t＜n。
需要说明的是，采用几何代数作为视频表示和分析的数学框架，几何代数 可称为Clifford Algebra，是由Clifford代数和Grassmann代数发展而来，它将 几何问题转化为代数的方式进行解决，为几何分析提供了一个功能强大的代数 框架，作为几何分析的有效工具。本发明即是基于几何代数框架表示视频的视 频图像序列的，下面将阐述几何代数框架下的视频图像序列的表示模型。
设R3是视频包含的视频图像序列的空域信息和时域信息组成的三维欧式空 间，它的规范正交基为{e1,e2,e3}，那么这些规范正交基通过几何张成上R3的几 何代数空间为
Figure BDA0001305355880000101
该
Figure BDA0001305355880000102
即为上述视频的三维几何代数空间，在本发明实 施例中，后续将该
Figure BDA0001305355880000103
简记为
Figure BDA0001305355880000104
它的一组规范基为：
E3:＝{Ei|i＝0,1,2,…,23-1}＝{1,e1,e2,e3,e1∧e2,e2∧e3,e1∧e3,e1∧e2∧e3} (如第一实 施例中的公式二)
其中，“∧”表示几何代数外积计算的符号，e1∧e2，e2∧e3及e1∧e3是由三 个正交基e1、e2及e3得到的三个独立的二重外积，这三个二重外积几何意义上分 别表示了
Figure RE-GDA0001337679290000105
空间两个矢量表示的平面，e1∧e2∧e3是三重外积： e1∧e2∧e3＝(e1∧e2)e3，其几何解释是：二重外积e1∧e2沿着矢量e3移动所获得的有 向几何体。{e1，e2，e3}可以看作
Figure RE-GDA0001337679290000106
的3维向量子空间的基向量{x，y，t}。
将e1e2e3记为I，由于ei 2＝1，则e1e2＝Ie3，e2e3＝Ie1以及e3e1＝Ie2。并满足
(e1e2)2＝(e2e3)2＝(e3e1)2＝-1 (如第一实施例中的公式三)
设
Figure BDA0001305355880000111
且p＝xe1+ye2+te3，则视频视可以表示为：
F＝f(p) (如第一实施例中的公式四)
f(p)则表示视频F在像素点p处的像元灰度值。
设
Figure BDA0001305355880000112
且p1＝x1e1+y1e2+t1e3，p2＝x2e1+y2e2+t2e3，则它们的几何积可以 表示为：
p1p2＝p1·p2+p1∧p2 (如第一实施例中的公式五)
它表示两个矢量的几何积是由内积(p1·p2)和外积(p1∧p2)之和组成。
在
Figure BDA0001305355880000113
中，p1和p2的距离可以用Δp表示，即：
Δp＝p1-p2＝(x1-x2)e1+(y1-y2)e2+(t1-t2)e3 (如第一实施例中的公式六)
它表示一个从p2指向p1的矢量，它不仅是两个像素点距离的度量，而且也 可以反映像素点在视频序列中的运动情况。
以上即为本发明实施例中视频的三维几何代数空间的介绍。本发明实施例 中，几何构造模块201基于视频包含的视频图像序列的视频图像空域信息和时 域信息，得到该视频的三维几何代数空间。在得到视频的三维几何代数空间之 后，遍历计算模块202将遍历该视频的三维几何代数空间的所有像素点，利用 预置的灰度-运动矢量算法计算遍历到的像素点的灰度-运动矢量。
其中，上述的灰度-运动矢量算法为：
Figure BDA0001305355880000114
(如第一实施例中的公式七)
其中，p0表示遍历到的视频的三维几何代数空间中的像素点，f′(p0)表示像 素点p0的灰度-运动矢量，f(p0)为像素点p0的灰度值，
Figure BDA0001305355880000115
表示像素点p0的运动 变化矢量。
为了便于理解本发明实施例中的技术方案，下面将详细介绍上述灰度-运动 矢量算法的推导过程，如下：
1、对于运动信息的定义
设
Figure BDA0001305355880000121
且p0＝xie1+yje2+tke3，p1＝xie1+yje2+(tk+1)e3，即p0和p1为相邻平 面上的像素点，S为在t＝tk+1平面上以像素点p1为中心的l×l的邻域的像素点的 集合，则
Figure BDA0001305355880000122
上的像素点p0的运动信息
Figure BDA0001305355880000123
定义为：
Figure BDA0001305355880000124
(如第一实施例中的公式八)
其中
Figure BDA0001305355880000125
其中，
Figure BDA0001305355880000126
反映像素点p0的运动信息，包括运动方向、运动速度等等。
其中，平面可以理解为视频帧或视频图像，视频的每一个帧都可以理解成 一个二维的平面。
2、对运动变化矢量的定义
设
Figure BDA0001305355880000127
且p0＝xie1+yje2+tke3，p1＝xie1+yje2+(tk+1)e3， p2＝xie1+yje2+(tk-1)e3，则
Figure BDA0001305355880000128
上的像素点p0的运动变化矢量
Figure BDA0001305355880000129
定义为：
Figure BDA00013053558800001210
其中
Figure BDA00013053558800001211
和
Figure BDA00013053558800001212
分别是像素点p1和像素点p2的运动信息。
Figure BDA00013053558800001213
反映了像素点p0的运动变化情况，包括运动方向变化、运动速度变化等，可以用它的模值来反 映变化幅度。一般情况，像素点p0的运动方向变化越大，
Figure BDA00013053558800001214
的模值越大；速 度变化越大，
Figure BDA00013053558800001215
的模值越大，反之亦然。
3、灰度-运动矢量的定义
在本发明实施例中，在对运动矢量进行定义之后，为了反映像素点p0的所 具有的灰度信息和运动信息，按照如下的方式定义像素点p0的灰度-运动矢量：
设
Figure BDA00013053558800001216
f(p0)为p0处的灰度值，
Figure BDA00013053558800001217
为运动变化矢量，则灰度-运动矢量 f′(p0)定义如下：
Figure BDA00013053558800001218
(如第一实施例中的公式七)
f′(p0)是一个既含有标量信息又含有矢量信息的矢量，不仅反映了灰度信息， 而且还反映了运动方向和速度变化情况。
在本发明实施例中，在得到视频的三维几何代数空间的所有像素点的灰度- 运动矢量之后，GMCM构造模块203将利用该所有像素点的灰度-运动矢量构 造该视频的GMCM。
在本发明实施例中，在得到视频的GMCM之后，尺度空间构造模块204 将进一步根据该视频的GMCM与预先设置的变尺度的高斯函数，构造该视频 的尺度空间。具体可以为：尺度空间构造模块204将所述视频图像的GMCM 与所述预先设置的变尺度的高斯函数进行卷积运算，构造所述视频图像的 GMCM的尺度空间。
其中，利用视频的GMCM与预先设置的变尺度的高斯函数，构造该视频 的尺度空间的计算公式如下：
Figure BDA0001305355880000131
(如第一实施例中的公式九)
其中，
Figure BDA0001305355880000132
表示卷积运算，p表示像素点，f′(p)表示像素点p的灰度-运动矢 量，f(p)为像素点p的灰度值，dvp表示像素点p的运动变化矢量，G(p,σ)表示 预先设置的变尺度的的高斯函数，σ表示所述视频的三维几何代数空间中所述 高斯函数的尺度因子，L(p,σ)表示视频图像的GMCM的尺度空间。
在本发明实施例中，上述预先设置的变尺度的高斯函数如下：
Figure BDA0001305355880000133
(如第一实施例中的公式十)
其中，G(p,σ)表示所述变尺度的高斯函数，σ表示所述视频的三维几何代 数空间中所述高斯函数的尺度因子，p表示像素点，“∧”表示外积计算符号， “·”表示内积计算符号，且所述高斯函数的窗口大小为l×l×l，且l＝6σ+1。
需要说明的是，由于灰度图像的尺度空间是由图像和不同尺度的高斯函数 卷积产生的，借鉴该种思路，本发明实施例中提供了如公式十所示的在视频的 三维几何代数空间中用于生成尺度空间的高斯函数。
为了更好的理解本发明实施例中的技术方案，下面将证明上述的高斯函数 G(p,σ)是视频的三维几何代数空间
Figure BDA0001305355880000134
中有效的高斯函数。
证明：|p·σ|2可以进一步展开如下：
Figure BDA0001305355880000141
σ∧σ∧σ可以进一步展开如下：
Figure BDA0001305355880000142
利用|p·σ|2和σ∧σ∧σ展开后的公式带入公式十，可以得到：
Figure BDA0001305355880000143
基于上述证明，可见，将G(p,σ)转为
Figure BDA0001305355880000144
中的形式与普通三维高斯函数是一 致的，因此，本发明实施例中提供的高斯函数G(p,σ)是有效的高斯函数。
在本发明实施例中，基于视频包含的视频图像序列的视频图像空域信息和 时域信息，得到该视频的三维几何代数空间，遍历该视频的三维几何代数空间 中的所有像素点，利用预置的灰度-运动矢量算法计算遍历到的像素点的灰度 -运动矢量，且利用视频的三维几何代数空间的所有像素点的灰度-运动矢量， 构造该视频的灰度与运动变化矩阵(Gray and Motion Change Information Matrix，GMCM)，并根据该视频的GMCM与预先设置的变尺度的高斯函数， 构造该视频的尺度空间。相对于现有技术，本发明构造了几何代数框架下的包 含灰度信息和运动变化信息的GMCM，并通过该GMCM及预先设置的变尺度 的高斯函数构造得到尺度空间，由于GMCM不仅包含视频的三维几何代数空 间中的像素点的灰度信息，还包含了运动变化信息，使得构造与运动变化信息 的尺度空间成为可能，以便进一步的实现与运动变化信息有关的STIP检测。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可 以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例 如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划 分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特 征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合 或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是 电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为 模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者 也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部 模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中， 也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块 中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的 形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或 使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明 的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或 部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质 中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或 者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的 存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、 随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以 存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述 为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的 动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。 其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施 例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详 述的部分，可以参见其它实施例的相关描述。
以上为对本发明所提供的一种视频图像序列的尺度空间构造方法及装置的 描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及 应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种视频图像序列的尺度空间构造方法，其特征在于，所述方法包括：
基于视频包含的视频图像序列的视频图像空域信息和时域信息，得到所述视频的三维几何代数空间；
遍历所述视频的三维几何代数空间的所有像素点，利用预置的灰度-运动矢量算法计算遍历到的像素点的灰度-运动矢量；
利用所述视频的三维几何代数空间的所有像素点的灰度-运动矢量，构造所述视频的灰度与运动变化矩阵GMCM；
根据所述视频的GMCM与预先设置的变尺度的高斯函数，构造所述视频的尺度空间，其中，
所述灰度-运动矢量算法为：
Figure FDA0002706509990000011
其中，p0表示遍历到的所述视频的三维几何代数空间中的像素点，f′(p0)表示像素点p0的灰度-运动矢量，f(p0)为像素点p0的灰度值，
Figure FDA0002706509990000012
表示像素点p0的运动变化矢量。
2.根据权利要求1所述的方法，其特征在于，所述根据所述视频图像的GMCM与预先设置的变尺度的高斯函数，构造所述视频图像的GMCM的尺度空间，包括：
将所述视频图像的GMCM与所述预先设置的变尺度的高斯函数进行卷积运算，构造所述视频图像的GMCM的尺度空间。
3.根据权利要求2所述的方法，其特征在于，所述将所述视频图像的GMCM与所述预先设置的变尺度的高斯函数进行卷积运算，构造所述视频图像的GMCM的尺度空间，包括：
Figure FDA0002706509990000013
其中，
Figure FDA0002706509990000021
表示卷积运算，p表示像素点，f′(p)表示像素点p的灰度-运动矢量，f(p)为像素点p的灰度值，dvp表示像素点p的运动变化矢量，G(p,σ)表示预先设置的变尺度的的高斯函数，σ表示所述视频的三维几何代数空间中所述高斯函数的尺度因子，L(p,σ)表示视频图像的GMCM的尺度空间。
4.根据权利要求3所述的方法，其特征在于，所述预先设置的变尺度的高斯函数如下：
Figure FDA0002706509990000022
其中，G(p,σ)表示所述变尺度的高斯函数，σ表示所述视频的三维几何代数空间中所述高斯函数的尺度因子，p表示像素点，“∧”表示外积计算符号，“·”表示内积计算符号，且所述高斯函数的窗口大小为l×l×l，且l＝6σ+1。
5.一种视频图像序列的尺度空间构造装置，其特征在于，所述装置包括：
几何构造模块，用于基于视频包含的视频图像序列的视频图像空域信息和时域信息，得到所述视频的三维几何代数空间；
遍历计算模块，用于遍历所述视频的三维几何代数空间的所有像素点，利用预置的灰度-运动矢量算法计算遍历到的像素点的灰度-运动矢量；
GMCM构造模块，用于利用所述视频的三维几何代数空间的所有像素点的灰度-运动矢量，构造所述视频的灰度与运动变化矩阵GMCM；
尺度空间构造模块，用于根据所述视频的GMCM与预先设置的变尺度的高斯函数，构造所述视频的尺度空间，其中，
所述灰度-运动矢量算法为：
Figure FDA0002706509990000023
其中，p0表示遍历到的所述视频的三维几何代数空间中的像素点，f′(p0)表示像素点p0的灰度-运动矢量，f(p0)为像素点p0的灰度值，
Figure FDA0002706509990000024
表示像素点p0的运动变化矢量。
6.根据权利要求5所述的装置，其特征在于，所述尺度空间构造模块具体用于：
将所述视频图像的GMCM与所述预先设置的变尺度的高斯函数进行卷积运算，构造所述视频图像的GMCM的尺度空间。
7.根据权利要求6所述的装置，其特征在于，所述卷积运算包括：
Figure FDA0002706509990000031
其中，
Figure FDA0002706509990000032
表示卷积运算，p表示像素点，f′(p)表示像素点p的灰度-运动矢量，f(p)为像素点p的灰度值，dvp表示像素点p的运动变化矢量，G(p,σ)表示预先设置的变尺度的的高斯函数，σ表示所述视频的三维几何代数空间中所述高斯函数的尺度因子，L(p,σ)表示视频图像的GMCM的尺度空间。
8.根据权利要求7所述的装置，其特征在于，所述预先设置的变尺度的高斯函数如下：
Figure FDA0002706509990000033
其中，G(p,σ)表示所述变尺度的高斯函数，σ表示所述视频的三维几何代数空间中所述高斯函数的尺度因子，p表示像素点，“∧”表示外积计算符号，“·”表示内积计算符号，且所述高斯函数的窗口大小为l×l×l，且l＝6σ+1。
CN201710381909.XA 2017-05-26 2017-05-26 一种视频图像序列的尺度空间构造方法及装置 Active CN107194359B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710381909.XA CN107194359B (zh) 2017-05-26 2017-05-26 一种视频图像序列的尺度空间构造方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710381909.XA CN107194359B (zh) 2017-05-26 2017-05-26 一种视频图像序列的尺度空间构造方法及装置

Publications (2)

Publication Number Publication Date
CN107194359A CN107194359A (zh) 2017-09-22
CN107194359B true CN107194359B (zh) 2021-01-22

Family

ID=59874992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710381909.XA Active CN107194359B (zh) 2017-05-26 2017-05-26 一种视频图像序列的尺度空间构造方法及装置

Country Status (1)

Country Link
CN (1) CN107194359B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052859B (zh) * 2017-10-31 2022-02-25 深圳大学 一种基于聚类光流特征的异常行为检测方法、系统及装置
CN108596959A (zh) * 2018-05-21 2018-09-28 深圳大学 一种视频图像时空特征点的提取方法
CN110837770B (zh) * 2019-08-30 2022-11-04 深圳大学 一种基于多高斯模型的视频行为自适应分割方法及装置
CN111833408A (zh) * 2020-05-19 2020-10-27 南京泛在地理信息产业研究院有限公司 一种图像操作信息的层次编码与溯源方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043967A (zh) * 2010-12-08 2011-05-04 中国科学院自动化研究所 一种有效的运动目标行为建模与识别方法
CN103325127A (zh) * 2013-05-15 2013-09-25 深圳大学 一种多光谱图像sift特征提取和描述方法及其系统
CN105893936A (zh) * 2016-03-28 2016-08-24 浙江工业大学 一种基于hoirm和局部特征融合的行为识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101299799B (zh) * 2008-06-13 2011-11-09 北京中星微电子有限公司 图像检测、修复方法和图像检测、修复装置
CN104915967B (zh) * 2015-05-08 2018-03-06 南京邮电大学 一种隧道内车辆运动路径的预测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043967A (zh) * 2010-12-08 2011-05-04 中国科学院自动化研究所 一种有效的运动目标行为建模与识别方法
CN103325127A (zh) * 2013-05-15 2013-09-25 深圳大学 一种多光谱图像sift特征提取和描述方法及其系统
CN105893936A (zh) * 2016-03-28 2016-08-24 浙江工业大学 一种基于hoirm和局部特征融合的行为识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Dense saliency-based spatiotemporal feature points for action recognition;Konstantinos Rapantzikos等;《2009 IEEE Conference on Computer Vision and Pattern Recognition》;20090818;1454-1461 *
基于局部不变特征的交通异常视频图像检测的关键技术研究;李岩山;《中国博士学位论文全文数据库 信息科技辑》;20160115(第01期);正文第20-26，103页 *
基于局部时空兴趣点的人体行为识别方法研究;郭峰;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170515(第05期);I138-893 *

Also Published As

Publication number Publication date
CN107194359A (zh) 2017-09-22

Similar Documents

Publication Publication Date Title
US12062249B2 (en) System and method for generating image landmarks
Kim et al. Deep fluids: A generative network for parameterized fluid simulations
CN111108507B (zh) 根据二维图像和点云数据生成三维边界框
CN107507126B (zh) 一种利用rgb图像还原3d场景的方法
CN107194359B (zh) 一种视频图像序列的尺度空间构造方法及装置
CN110728219B (zh) 基于多列多尺度图卷积神经网络的3d人脸生成方法
Wang et al. Cross self-attention network for 3D point cloud
AU2017324923A1 (en) Predicting depth from image data using a statistical model
Freifeld et al. Transformations based on continuous piecewise-affine velocity fields
JP7273129B2 (ja) 車線検出方法、装置、電子機器、記憶媒体及び車両
Dwibedi et al. Deep cuboid detection: Beyond 2d bounding boxes
CN103714554A (zh) 一种基于传播融合的视频跟踪方法
CN111242003B (zh) 一种基于多尺度受约束自注意机制的视频显著性物体检测的方法
CN107403182A (zh) 基于3d sift框架的时空兴趣点的检测方法及装置
Ning et al. Point-voxel and bird-eye-view representation aggregation network for single stage 3D object detection
Šlapak et al. Neural radiance fields in the industrial and robotics domain: applications, research opportunities and use cases
Kant Learning gaussian maps for dense object detection
Prantl et al. Generating liquid simulations with deformation-aware neural networks
Shamai et al. Efficient inter-geodesic distance computation and fast classical scaling
Ren et al. Class-agnostic reconstruction of dynamic objects from videos
CN115205793B (zh) 基于深度学习二次确认的电力机房烟雾检测方法及装置
Zolfaghari et al. 3D human pose estimation from image using couple sparse coding
Geng et al. Part-level car parsing and reconstruction in single street view images
CN115205974A (zh) 手势识别方法及相关设备
CN114612572A (zh) 一种基于深度学习的激光雷达与相机外参标定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Li Yanshan

Inventor after: Xie Weixin

Inventor before: Li Yanshan

Inventor before: Li Hongyi

Inventor before: Xie Weixin

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant