CN104159114A - 一种计算图像帧间大运动速度的光流方法 - Google Patents
一种计算图像帧间大运动速度的光流方法 Download PDFInfo
- Publication number
- CN104159114A CN104159114A CN201310173323.6A CN201310173323A CN104159114A CN 104159114 A CN104159114 A CN 104159114A CN 201310173323 A CN201310173323 A CN 201310173323A CN 104159114 A CN104159114 A CN 104159114A
- Authority
- CN
- China
- Prior art keywords
- image
- diffusion
- equation
- formula
- optical flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种用于计算图像帧间运动速度及速度变化都较大时的鲁棒性光流算法。本发明的新颖之处在于：通过对图像时间导数的分析，改进的微分光流算法在松弛迭代过程中体现了估计图像与真实图像之间差值平方和最小化的特点；各向异性扩散应用于不同分辨率的光流松弛迭代计算中，有效地抑制了对边缘的过度平滑；在由粗到细的流速映射中，采用双线性插值方法，这种插值隐含了重叠映射的思想。本发明不但可以精确地计算较大的运动速度及其变化，而且在运动边界处的流速计算也具有很好的精度。
Description
技术领域
本发明与计算机视觉和图像理解有关，随着视频流的广泛应用，需要更好的光流算法计算图像帧间的大运动速度及其速度变化，本发明涉及一种计算图像帧间大运动速度及其变化的鲁棒性光流方法。
背景技术
在计算机视觉和图像理解领域，随着光流理论的发展，人们日益关注着光流的鲁棒性算法的研究，尤其是对图像景物与摄像机之间的相对运动速度及其变化都较大时的计算精度和鲁棒性问题，算法的鲁棒性应该体现在对外层数据的干扰并不敏感，并且不产生大的估计误差，这已经成为光流算法的难点，采用多尺度的思想，尤其是由粗到细的多栅格图像金字塔算法是较为常用的技术途径，但是，均匀的多栅格方法存在着一个不足：如果在低的分辨率层光流的估计是错误的，那么这个错误的估计在高分辨率层不但不能被纠正，而且被传播，这种现象被称为“误差传播”效应.
在先方法 [1] （参见P. Anandan A computation framework and an algorithm for the measurement of visual motion Int J. Comp. Vision, 1988, 2: 283-310）在由粗到细的流速映射中采用了重叠映射的方法，以削弱错误分量的影响；在先方法 [2] （参见R. Battiti, E. Amaldi and C. Koch Computing optical flow across multiple scales: an adaptive coarse-to-fine strategy. Int J. Comp. Vision, 1991, 6(2): 133-145）提出了自适应由粗到细的控制策略，从最低的分辨率层就引入相对误差的计算，用以控制对应点的流速向高分辨率层传播的方式；在先方法 [3] （参见M. R. Mahzoun, J. Kim. A scaled multigrid optical flow algorithm based on the least RMS error between real and estimated second image. Pattern Recognition, 1999, 32: 657-670）引入了估计图像和真实图像的平均平方根误差估计RMS，并将由估计图像和真实图像计算的误差流速和优化的映射流速之和作为在高一层次光流计算的初始值，具有一定的新颖性.
不同于在先方法[1，2，3]，本发明具有如下特点：通过对图像时间导数的分析，改进的微分光流算法在松弛迭代过程中体现了估计图像与真实图像之间差值平方和最小化的特点；各向异性扩散应用于不同分辨率的光流松弛迭代计算中，有效地抑制了对边缘的过度平滑；在由粗到细的流速映射中，采用双线性插值方法，这种插值隐含了重叠映射的思想, 这些特点使本发明不但可以精确地计算较大的运动速度及其变化，而且在运动边界处的流速计算也具有很好的精度.
发明内容
一、一种多尺度框架下的微分光流算法，基于一阶时空梯度的微分光流算法引入了对光流场的全局均匀平坦性附加约束，光流场的计算归结为求如下方程的解
(1)
式中，为在点图像上点处分别沿方向的流速，为图像序列的简写，表示时刻的图像在点处的亮度，为在点处分别沿方向的偏导数。是用流速梯度描述的流速在图像平面上的平滑程度，为控制平滑程度的权值。最后可以得到松弛迭代形式的流速解
(2)
(3)
是分别对的估计值.
本发明重点考虑在这种更新过程中的特性. 假设在时刻的，若有速度，则可得到在时刻的相应估计, 那么
(4)
由泰勒级数展开
(5)
(6)
将(5)、(6)式带入(4)式右端前两项，可以得到
(7)
将(7)式代入 (2)、(3)中得到改进的迭代算法：
(8)
(9)
现在，可以清晰地看出，随着的迭代更新，是不断地趋近于时刻的真实图像的，即
(10)
如果和，那么由(7)式
(11)
此时(8)，(9)与(2)，(3)是一致的，但是在多栅格算法中，当分辨率较低时，图像的梯度计算很难得到满意的结果，(2)，(3)式易于在松弛迭代过程中收敛于局域最小值，这点本发明在实验中得到了验证，而(8)，(9)这种差分形式可以避免由于梯度的不准确带来收敛于局域最小值的影响.
二、应用各向异性扩散于平滑约束中，为抑制方程(1)对运动边缘的过度平滑，本发明建立了独立的扩散方程，并计算出体现各向异性扩散特性的方程系数，在连续域，图像函数的扩散方程如下式:
(12)
这里是梯度算子，为散度算子，是扩散系数，的选择确定了扩散的形式。如果根据局部图像的梯度而改变，则为各向异性扩散，这种扩散可以很好地保持图像的边缘，参数的一种定义形式为
(13)
为权值，可见由方向梯度控制，采用离散化迭代方法，可建立扩散过程，由公式(14)描述
(14)
是扩散中需要计算的方向数，这个方程体现了图像函数在迭代过程中的扩散过程，称之为图像扩散方程.
三、针对速度函数，本发明建立其离散化的速度扩散方程
(15)
(16)
在上式中本发明选择图像扩散方程的扩散系数，这是考虑到运动的边缘多是在图像的边缘，希望用图像的方向梯度来抑制迭代过程中对图像边缘的“过度”平滑.
本发明的技术效果：
本发明与在先技术[1,2,3]的不同之处在于，本发明针对运动速度及速度变化较大时的光流计算，其中建立的微分光流算法在松弛迭代过程中体现了估计图像与真实图像之间差值平方和最小化的特点，其次，将各向异性扩散应用于不同分辨率的光流松弛迭代计算中，用以抑制对边缘的过度平滑；最后，在由粗到细的流速映射中，采用双线性插值方法，这种插值隐含了重叠映射的思想。这些特点使本发明不但可以精确地计算较大的运动速度及其变化，而且在运动边界处的流速计算也具有很好的精度。
附图说明：
图1为本发明给出的多尺度分解的金字塔结构
图2为本发明给出的Yosmite序列：分别为第8和第9帧
图3为本发明计算出的Yosemite序列光流场，其中图3a为相邻帧之间标准光流场，图3b为本发明计算的第8与第9 帧之间的光流场
图4为本发明计算出的Yosemite序列光流场，其中图4a、图4b分别是第8帧与第10帧和第8帧与第11帧之间的光流场
图5为本发明给出的Taxi序列：(a)~(d)分别为第15~18帧
图6为本发明计算的Taxi序列光流场，其中图6a为第15帧与第16帧之间的光流场、图6b为第15帧与17帧之间的光流长，图6c为第15帧与18帧之间的光流场。
[0005] 具体实施方式：
本实施方式结合图1-6对本发明进行具体介绍.
(1) 以多分辨率分析为基础，建立图像的多尺度框架，在图像的多尺度框架中，高分辨率对应着小的尺度，低分辨率对应着大的尺度，整个结构呈现金字塔型，参见图1所示，其中，原始的图像具有最高分辨率和最小的尺度，在金字塔结构中处于第零层，很显然，随着尺度的增大，图像的运动速度将成比例地减小，在小的运动速度下，微分光流算法的先验条件可以得到更好的满足，因此，先用粗的分辨率对运动进行估计，然后逐渐提高分辨率，进一步对运动进行计算.
(2) 建立一种多尺度框架下的微分光流算法, 基于一阶时空梯度的微分光流算法归结为求如下方程的解
(1)
式中为图像序列的简写，表示时刻的图像在点处的亮度，为在点处分别沿方向的偏导数，是用流速梯度描述的流速在图像平面上的平滑程度，为控制平滑程度的权值，最后可以得到松弛迭代形式的流速解
(2)
(3)
是分别对的估计值.
本发明重点考虑在这种更新过程中的特性，假设在时刻的，若有速度，则可得到在时刻的相应估计。那么
(4)
由泰勒级数展开
(5)
(6)
将(5)、(6)式带入(4)式右端前两项，可以得到
(7)
将(7)式代入 (2)、(3)中得到改进的迭代算法：
(8)
(9)
可以清晰地看出，随着的迭代更新，是不断地趋近于时刻的真实图像的，(8)，(9)这种差分形式可以避免由于梯度的不准确带来收敛于局域最小值的影响.
(3) 应用各向异性扩散于平滑约束中, 本发明建立独立的扩散方程，并计算出体现各向异性扩散特性的方程系数，在连续域，图像函数的扩散方程如下式:
(11)
这里是梯度算子，为散度算子，是扩散系数，的选择确定了扩散的形式，如果根据局部图像的梯度而改变，则为各向异性扩散，这种扩散可以很好地保持图像的边缘，参数的一种定义形式为
(12)
为权值，可见由方向梯度控制，采用离散化迭代方法，可建立扩散过程，由公式(14)描述
(13)
是扩散中需要计算的方向数，这个方程体现了图像函数在迭代过程中的扩散过程，称之为图像扩散方程.
针对速度函数，本发明建立其离散化的速度扩散方程
(14)
(15)
在上式中本发明选择图像扩散方程的扩散系数，这是考虑到运动的边缘多是在图像的边缘，希望用图像的方向梯度来抑制迭代过程中对图像边缘的“过度”平滑.
(4) 采用多栅格控制策略, 本发明将对图像的高斯金字塔实现由粗到细的序列处理, 对和两个相邻时刻的()图像和建立高斯金字塔，最小金字塔层次由决定。对和按精度递减被分成不同分辨率的层次 ,，然后，按如下步骤逐点完成光流场计算：
（i）令，初始化矢量场和；
（ii）在上由公式(14)、(15)扩散方程计算速度矢量；然后根据公式(8)、(9)逐点计算出和；
（iii）判断，如果，则结束，否则，继续；
（iv）根据映射算子 ，由和计算高一分辨率层的速度矢量初值和；
（v），返回（ii）.
(5) 本发明采用一组人工合成的图像序列Yosemite序列，以及一组真实的图像序列Taxi序列进行实验.对人工合成的图像序列，相邻帧之间的标准光流场是已知的，因此不同帧间间隔的标准光流场也是已知的,使用本发明的方法计算不同帧间间隔的光流场，与对应的标准光流场逐点进行比较，可以获得定量的评估：图2(a)-图2(b)是人工合成图像Yosemite序列的第8至第9帧，上方的云以2像素/帧的速度向右方平移，下方的山谷向左下方运动，在运动中有些发散，速度大小约为4-5像素/帧,这个图像序列由于包含了不同的速度范围以及山谷和天空的相互遮掩，对光流的算法有一定的挑战性，当帧间间隔为3时,流速最大几乎达到15像素/帧.图3a是Trans-tree图像序列中相邻帧之间的标准光流场；图3b是利用本发明计算的第8帧和第9帧之间的光流场.将本发明与几种经典光流算法进行比较可以看出，本发明对Yosemite序列的平均角误差和标准偏差是较低的.
为了验证本发明对较大速度的鲁棒性，将分别计算第8帧与第10和11帧之间的光流场，图4a和图4b分别是用本发明计算出的不同帧间间隔的光流场.当帧间运动速度增大到2倍和3倍，平均角误差仅增加 和，标准角偏差增加和，这表明我们的算法对大的速度及其变化有很好的适应性，误差的波动也不明显. 图5中(a)~(d)是真实图像Taxi序列的第15至第18帧.在街道场景中有3个明显运动的目标，已在图中标出，其中目标1正向右转过街角，它的运动速度约为1.0像素/帧；目标2从右向左运动，速度约为3.0像素/帧；目标3从左向右运动，速度约为3.0像素/帧。由于标准的光流场是不可得到的，因而只能直观的评估. 图6a至图6c是用本发明计算的不同帧间间隔的光流场，光流场的密度为100%。很明显，这些光流场对不同的帧间间隔的流速很好地进行了描述，并且在目标的边界上表现也很明显。
Claims (7)
1.一种多尺度框架下的微分光流算法，基于一阶时空梯度的微分光流算法引入了对光流场的全局均匀平坦性附加约束，光流场的计算归结为求如下方程的解
(1)
式中，为在点图像上点处分别沿方向的流速，为图像序列的简写，表示时刻的图像在点处的亮度，为在点处分别沿方向的偏导数，是用流速梯度描述的流速在图像平面上的平滑程度，为控制平滑程度的权值。
2.最后可以得到松弛迭代形式的流速解
(2)
(3)
是分别对的估计值。
3. 本发明重点考虑在这种更新过程中的特性. 假设在时刻的，若有速度，则可得到在时刻的相应估计, 那么
(4)
由泰勒级数展开
(5)
(6)
将(5)、(6)式带入(4)式右端前两项，可以得到
(7)
将(7)式代入 (2)、(3)中得到改进的迭代算法：
(8)
(9)
现在，可以清晰地看出，随着的迭代更新，是不断地趋近于时刻的真实图像的，即
(10)
如果和，那么由(7)式
(11)
此时(8)，(9)与(2)，(3)是一致的，但是在多栅格算法中，当分辨率较低时，图像的梯度计算很难得到满意的结果，(2)，(3)式易于在松弛迭代过程中收敛于局域最小值，这点本发明在实验中得到了验证，而(8)，(9)这种差分形式可以避免由于梯度的不准确带来收敛于局域最小值的影响。
4.应用各向异性扩散于平滑约束中，为抑制方程(1)对运动边缘的过度平滑，本发明建立了独立的扩散方程，并计算出体现各向异性扩散特性的方程系数，在连续域，图像函数的扩散方程如下式:
(12)
这里是梯度算子，为散度算子，是扩散系数，的选择确定了扩散的形式。
5.如果根据局部图像的梯度而改变，则为各向异性扩散，这种扩散可以很好地保持图像的边缘。
6.参数的一种定义形式为
(13)
为权值，可见由方向梯度控制，采用离散化迭代方法，可建立扩散过程，由公式(14)描述
(14)
是扩散中需要计算的方向数，这个方程体现了图像函数在迭代过程中的扩散过程，称之为图像扩散方程。
7. 针对速度函数，本发明建立其离散化的速度扩散方程
(15)
(16)
在上式中本发明选择图像扩散方程的扩散系数，这是考虑到运动的边缘多是在图像的边缘，希望用图像的方向梯度来抑制迭代过程中对图像边缘的“过度”平滑。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310173323.6A CN104159114A (zh) | 2013-05-13 | 2013-05-13 | 一种计算图像帧间大运动速度的光流方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310173323.6A CN104159114A (zh) | 2013-05-13 | 2013-05-13 | 一种计算图像帧间大运动速度的光流方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104159114A true CN104159114A (zh) | 2014-11-19 |
Family
ID=51884505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310173323.6A Pending CN104159114A (zh) | 2013-05-13 | 2013-05-13 | 一种计算图像帧间大运动速度的光流方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104159114A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108363988A (zh) * | 2018-03-09 | 2018-08-03 | 燕山大学 | 一种结合图像特征和流体力学特征的人群计数方法 |
| CN108810317A (zh) * | 2017-05-05 | 2018-11-13 | 展讯通信（上海）有限公司 | 真实运动估计方法及装置、计算机可读存储介质、终端 |
| CN109102523A (zh) * | 2018-07-13 | 2018-12-28 | 南京理工大学 | 一种运动目标检测和跟踪方法 |
| CN109151474A (zh) * | 2018-08-23 | 2019-01-04 | 复旦大学 | 一种生成新视频帧的方法 |
| CN113168703A (zh) * | 2018-12-13 | 2021-07-23 | 罗伯特·博世有限公司 | 用于借助数字图像序列来确定相对运动的方法 |
| CN116358547A (zh) * | 2022-12-09 | 2023-06-30 | 珠海创智科技有限公司 | 一种基于光流估计获取agv位置的方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102509071A (zh) * | 2011-10-14 | 2012-06-20 | 江南大学 | 光流计算系统和方法 |
| US20120219213A1 (en) * | 2011-02-28 | 2012-08-30 | Jinjun Wang | Embedded Optical Flow Features |
-
2013
- 2013-05-13 CN CN201310173323.6A patent/CN104159114A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120219213A1 (en) * | 2011-02-28 | 2012-08-30 | Jinjun Wang | Embedded Optical Flow Features |
| CN102509071A (zh) * | 2011-10-14 | 2012-06-20 | 江南大学 | 光流计算系统和方法 |
Non-Patent Citations (3)
| Title |
|---|
| 卫保国: "一种针对大尺度运动的快速光流算法", 《计算机应用研究》 * |
| 张泽旭等: "一种鲁棒性的光流算法研究", 《电子学报》 * |
| 袁猛: "基于变分理论的光流计算计算研究", 《中国优秀学位论文全文数据库》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108810317A (zh) * | 2017-05-05 | 2018-11-13 | 展讯通信（上海）有限公司 | 真实运动估计方法及装置、计算机可读存储介质、终端 |
| CN108810317B (zh) * | 2017-05-05 | 2021-03-09 | 展讯通信（上海）有限公司 | 真实运动估计方法及装置、计算机可读存储介质、终端 |
| CN108363988A (zh) * | 2018-03-09 | 2018-08-03 | 燕山大学 | 一种结合图像特征和流体力学特征的人群计数方法 |
| CN109102523A (zh) * | 2018-07-13 | 2018-12-28 | 南京理工大学 | 一种运动目标检测和跟踪方法 |
| CN109151474A (zh) * | 2018-08-23 | 2019-01-04 | 复旦大学 | 一种生成新视频帧的方法 |
| CN109151474B (zh) * | 2018-08-23 | 2020-10-30 | 复旦大学 | 一种生成新视频帧的方法 |
| CN113168703A (zh) * | 2018-12-13 | 2021-07-23 | 罗伯特·博世有限公司 | 用于借助数字图像序列来确定相对运动的方法 |
| CN116358547A (zh) * | 2022-12-09 | 2023-06-30 | 珠海创智科技有限公司 | 一种基于光流估计获取agv位置的方法 |
| CN116358547B (zh) * | 2022-12-09 | 2024-01-30 | 珠海创智科技有限公司 | 一种基于光流估计获取agv位置的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104159114A (zh) | 一种计算图像帧间大运动速度的光流方法 | |
| CN103247075B (zh) | 基于变分机制的室内环境三维重建方法 | |
| CN103106667B (zh) | 一种面向遮挡和场景变换的运动对象追踪方法 | |
| CN106683118B (zh) | 一种基于分层模型的无人机目标跟踪方法 | |
| CN106210449B (zh) | 一种多信息融合的帧率上变换运动估计方法及系统 | |
| CN110941999B (zh) | 一种人群计数系统中自适应计算高斯核大小的方法 | |
| CN110032197A (zh) | 一种基于有限时间制导和控制的无人船路径跟踪控制方法 | |
| CN102110296A (zh) | 一种复杂场景下的运动目标跟踪方法 | |
| Taketomi et al. | Real-time and accurate extrinsic camera parameter estimation using feature landmark database for augmented reality | |
| CN106485269B (zh) | 基于混合统计分布与多部件模型的sar图像目标检测方法 | |
| JP5476264B2 (ja) | カメラトラッキング装置およびそのプログラム | |
| CN108022261B (zh) | 一种基于改进光流场模型的非刚性图像配准方法 | |
| CN104933738A (zh) | 一种基于局部结构检测和对比度的视觉显著图生成方法 | |
| CN105704496A (zh) | 一种基于边缘检测的自适应模板匹配算法 | |
| CN103826032A (zh) | 深度图后期处理方法 | |
| CN107527366A (zh) | 一种面向深度相机的相机跟踪方法 | |
| CN108492315A (zh) | 一种动态人脸跟踪方法 | |
| CN107220996A (zh) | 一种基于三角结构一致的无人机线阵与面阵影像匹配方法 | |
| CN102074000B (zh) | 一种利用方差率最优解自适应调整窗宽的跟踪方法 | |
| CN108680177A (zh) | 基于啮齿类动物模型的同步定位与地图构建方法及装置 | |
| CN115063599A (zh) | 一种应用于中小型水库大坝监测的小波光流估计与图像相关变形识别方法 | |
| KR101766823B1 (ko) | 불규칙한 조도 변화에 강건한 영상 기반 주행거리 측정 시스템 및 방법 | |
| Concha et al. | An evaluation of robust cost functions for RGB direct mapping | |
| Fan et al. | A robust template tracking algorithm with weighted active drift correction | |
| CN104156933A (zh) | 一种基于光流场的图像配准方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20141119 |