CN111402292B - 基于特征变形误差遮挡检测的图像序列光流计算方法 - Google Patents

基于特征变形误差遮挡检测的图像序列光流计算方法 Download PDF

Info

Publication number
CN111402292B
CN111402292B CN202010160354.8A CN202010160354A CN111402292B CN 111402292 B CN111402292 B CN 111402292B CN 202010160354 A CN202010160354 A CN 202010160354A CN 111402292 B CN111402292 B CN 111402292B
Authority
CN
China
Prior art keywords
pyramid
characteristic
deformation
optical flow
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010160354.8A
Other languages
English (en)
Other versions
CN111402292A (zh
Inventor
张聪炫
周仲凯
陈震
黎明
江少锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Hangkong University
Original Assignee
Nanchang Hangkong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Hangkong University filed Critical Nanchang Hangkong University
Priority to CN202010160354.8A priority Critical patent/CN111402292B/zh
Publication of CN111402292A publication Critical patent/CN111402292A/zh
Application granted granted Critical
Publication of CN111402292B publication Critical patent/CN111402292B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种基于特征变形误差遮挡检测的图像序列光流计算方法，它包含如下步骤：一、选择任意连续两帧图像；二、对两帧图像进行特征金字塔下采样分层；三、在每层金字塔中对当前层中的第二帧图像特征进行变形，得到第二帧的变形特征，与第一帧图像特征相减得到特征变形误差；四、构建基于光流特征变形误差的自学习遮挡检测模块；五、为遮挡检测模块输入特征变形误差，得到遮挡特征图；六、在金字塔各层中进行相同的自学习遮挡检测，并连结用于光流估计的匹配代价特征，在到达金字塔顶层时，输出最终光流；本发明避免了模型训练过程对图像序列中遮挡真实值的依赖，对于复杂场景和复杂边缘图像序列具有更高的计算精度和更好的适用性。

Description

基于特征变形误差遮挡检测的图像序列光流计算方法
技术领域
本发明涉及图像序列光流计算技术领域，具体涉及基于特征变形误差遮挡检测的图像序列光流计算方法。
背景技术
光流是运动物体或场景表面像素点在投影平面的二维瞬时速度，其不仅包含了图像中运动目标与场景的运动参数，更携带了目标与场景的结构信息。研究光流计算的目的就是从图像序列中恢复目标物体与场景的运动和结构信息，进而应用于更高级的视觉任务。近年来，随着深度学习理论与技术的快速发展，卷积神经网络模型被广泛应用于光流计算技术研究，由于该类方法具有计算速度快、稳定性高等显著优点，因此逐渐成为光流计算研究领域的热点，研究成果被广泛应用于无人机实时导航与避障、车辆前景检测与辅助驾驶、运动目标跟踪与识别以及视频压缩与传输等对光流计算实时性要求较高的领域。
目前，基于光流前后一致性的遮挡检测技术是图像序列光流计算技术中最常采用的一类遮挡检测方法，该类方法能够计算得到较为精确的遮挡图。但由于此类方法需要额外计算后向光流，并且对遮挡阈值参数的选取较为敏感，限制了此类方法关于实时领域的应用。
发明内容
本发明的目的在于针对现有技术的缺陷和不足，提供一种基于特征变形误差遮挡检测的图像序列光流计算方法，利用求得的遮挡特征图优化金字塔各层的匹配代价，以提高图像序列金字塔分层模型光流计算结果对遮挡区域的鲁棒性。
为实现上述目的，本发明采用的技术方案是：它包含如下步骤：
一、选择输入图像序列中的任意连续两帧图像；
二、对选择的两帧图像进行特征金字塔下采样分层；
三、在每层金字塔中，利用金字塔前层估计光流对当前层中的第二帧图像特征进行变形，得到第二帧的变形特征，并与第一帧图像特征相减，得到特征变形误差，计算公式如下：
Iw(x)＝I2(x+w(x)) 式(1)
式(1)中,w(x)表示像素点x的前层光流矢量，I2(x)与Iw(x)分别表示金字塔当前层第二帧图像特征和变形特征在像素点x处的亮度值；
IE(x)＝Iw(x)-I1(x) 式(2)
式(2)中,IE(x)与I1(x)分别为金字塔当前层特征变形误差与第一帧图像特征在像素点x处的亮度值；
四、构建基于光流特征变形误差的自学习遮挡检测模块，模块中包括连续两层3×3卷积，卷积后的激活函数分别为LeakyReLU以及Sigmoid，计算公式如下：
Figure BDA0002405562030000021
式(3)中α为斜率常数；
Figure BDA0002405562030000022
五、为遮挡检测模块输入特征变形误差IE(x)，即可得到遮挡特征图；整张遮挡特征图被Sigmoid函数约束在0至1之间，在遮挡特征图中，像素点的值越低，代表此像素点在第二帧中发生遮挡的概率越大，而像素点的值越高，代表此像素点在第一帧中发生遮挡的概率越大；
六、在金字塔各层中进行相同的自学习遮挡检测，并连结用于光流估计的匹配代价特征，在到达金字塔顶层时，输出最终光流。
进一步地，步骤四中式(3)中斜率常数a＞0。
采用上述方案后，本发明有益效果为：本发明所述的基于特征变形误差遮挡检测的图像序列光流计算方法，采用遮挡特征图对图像序列遮挡处起到补偿作用，避免了模型训练过程对图像序列中遮挡真实值的依赖，对于复杂场景和复杂边缘图像序列具有更高的计算精度和更好的适用性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例Temple3图像序列第一帧图像；
图2是本发明实施例Temple3图像序列第二帧图像；
图3是本发明实施例图像序列金字塔分层模型总体图；
图4是本发明实施例中基于特征变形误差的遮挡检测模块；
图5是本发明实施例计算所得的Temple3图像序列遮挡特征图；
图6是本发明实施例计算所得的Temple3图像序列二值化遮挡特征图；
图7是本发明实施例计算所得的Temple3图像序列遮挡真实值；
图8是计算所得的Temple3图像序列光流图。
具体实施方式
下面结合附图，对本发明作进一步的说明。
参看图1-8所示，本实施例基于特征变形误差遮挡检测的图像序列光流计算方法，使用Temple3图像序列光流计算实验进行说明：
它包含如下步骤：
一、输入图1和图2是Temple3图像序列连续两帧图像；其中：图1是第一帧图像，图2是第二帧图像；
二、参看图3所示，对输入的Temple3图像序列进行特征金字塔下采样分层，分层数为3层；
三、在每级金字塔中，利用金字塔前层估计光流对当前层中的第二帧图像特征进行变形，得到第二帧的变形特征，并与第一帧图像特征相减，得到特征变形误差，计算公式如下：
Iw(x)＝I2(x+w(x)) 式(1)
式(1)中,w(x)表示像素点x的前层光流矢量，I2(x)与Iw(x)分别表示金字塔当前层第二帧图像特征和变形特征在像素点x处的亮度值；
IE(x)＝Iw(x)-I1(x) 式(2)
式(2)中,IE(x)与I1(x)分别为金字塔当前层特征变形误差与第一帧图像特征在像素点x处的亮度值；
四、参看图4所示，构建基于光流特征变形误差的自学习遮挡检测模块，模块中包括连续两层3×3卷积，卷积后的激活函数分别为LeakyReLU以及Sigmoid,计算公式如下：
Figure BDA0002405562030000041
式(3)中α为斜率常数；
Figure BDA0002405562030000042
五、为遮挡检测模块输入特征变形误差IE(x)，即可得到遮挡特征图，如图5所示；整张遮挡特征图被Sigmoid函数约束在0至1之间，在遮挡特征图中，像素点的值越低，代表此像素点在第二帧中发生遮挡的概率越大，而像素点的值越高，代表此像素点在第一帧中发生遮挡的概率越大；对遮挡特征图进行阈值可得到二值化遮挡特征图，二值化遮挡特征图与遮挡真实值如图6、7所示；
六、在金字塔各层中进行相同的自学习遮挡检测，并连结用于光流估计的匹配代价特征，在到达金字塔顶层时，输出最终光流，如图8所示；
根据图8中遮挡特征图以及光流计算结果可以看出，本发明所述的基于特征变形误差遮挡检测的图像序列光流计算方法可获得较为精确的遮挡特征图，并且显著提升了模型在遮挡区域的鲁棒性，在安全监控、交通检测以及目标分割与跟踪等领域具有广泛的应用前景。
以上所述，仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其它修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (2)

1.基于特征变形误差遮挡检测的图像序列光流计算方法，其特征在于，它包含如下步骤：
一、选择输入图像序列中的任意连续两帧图像；
二、对选择的两帧图像进行特征金字塔下采样分层；
三、在每层金字塔中，利用金字塔前层估计光流对当前层中的第二帧图像特征进行变形，得到第二帧的变形特征，并与当前层中的第一帧图像特征相减，得到特征变形误差，计算公式如下：
Iw(x)＝I2(x+w(x)) 式(1)
式(1)中,w(x)表示像素点x的前层光流矢量，I2(x)与Iw(x)分别表示金字塔当前层第二帧图像特征和变形特征在像素点x处的亮度值；
IE(x)＝Iw(x)-I1(x) 式(2)
式(2)中,IE(x)与I1(x)分别为金字塔当前层特征变形误差与第一帧图像特征在像素点x处的亮度值；
四、构建基于光流特征变形误差的自学习遮挡检测模块，模块中包括连续两层3×3卷积，卷积后的激活函数分别为Leaky ReLU以及Sigmoid，计算公式如下：
Figure FDA0004084843320000011
式(3)中α为斜率常数；
Figure FDA0004084843320000012
五、为遮挡检测模块输入特征变形误差IE(x)，即可得到遮挡特征图；整张遮挡特征图被Sigmoid函数约束在0至1之间，在遮挡特征图中，像素点的值越低，代表此像素点在第二帧中发生遮挡的概率越大，而像素点的值越高，代表此像素点在第一帧中发生遮挡的概率越大；
六、在金字塔各层中进行相同的自学习遮挡检测，并连结用于光流估计的匹配代价特征，在到达金字塔顶层时，输出最终光流。
2.根据权利要求1所述的基于特征变形误差遮挡检测的图像序列光流计算方法，其特征在于，步骤四中式(3)中斜率常数α＞0。
CN202010160354.8A 2020-03-10 2020-03-10 基于特征变形误差遮挡检测的图像序列光流计算方法 Active CN111402292B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010160354.8A CN111402292B (zh) 2020-03-10 2020-03-10 基于特征变形误差遮挡检测的图像序列光流计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010160354.8A CN111402292B (zh) 2020-03-10 2020-03-10 基于特征变形误差遮挡检测的图像序列光流计算方法

Publications (2)

Publication Number Publication Date
CN111402292A CN111402292A (zh) 2020-07-10
CN111402292B true CN111402292B (zh) 2023-04-07

Family

ID=71428691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010160354.8A Active CN111402292B (zh) 2020-03-10 2020-03-10 基于特征变形误差遮挡检测的图像序列光流计算方法

Country Status (1)

Country Link
CN (1) CN111402292B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132871B (zh) * 2020-08-05 2022-12-06 天津(滨海)人工智能军民融合创新中心 一种基于特征光流信息的视觉特征点追踪方法、装置、存储介质及终端
CN111986233B (zh) * 2020-08-20 2023-02-10 西安电子科技大学 基于特征自学习的大场景极小目标遥感视频跟踪方法
CN112465872B (zh) * 2020-12-10 2022-08-26 南昌航空大学 一种基于可学习遮挡掩模与二次变形优化的图像序列光流估计方法
CN115984336A (zh) * 2021-10-14 2023-04-18 华为技术有限公司 一种光流估计方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934820A (zh) * 2017-03-17 2017-07-07 南昌航空大学 基于引导滤波的图像序列金字塔分层光流计算方法
CN109190581A (zh) * 2018-09-17 2019-01-11 金陵科技学院 图像序列目标检测识别方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2747028B1 (en) * 2012-12-18 2015-08-19 Universitat Pompeu Fabra Method for recovering a relative depth map from a single image or a sequence of still images
CN103426184B (zh) * 2013-08-01 2016-08-10 华为技术有限公司 一种光流跟踪方法和装置
EP2927872A1 (en) * 2014-04-02 2015-10-07 Thomson Licensing Method and device for processing a video sequence
CN106056630B (zh) * 2016-06-06 2018-09-21 南昌航空大学 基于图像序列光流与三角网格的遮挡区域检测方法
US11138742B2 (en) * 2017-02-14 2021-10-05 The Trustees Of The University Of Pennsylvania Event-based feature tracking
US10424069B2 (en) * 2017-04-07 2019-09-24 Nvidia Corporation System and method for optical flow estimation
US10410358B2 (en) * 2017-06-26 2019-09-10 Samsung Electronics Co., Ltd. Image processing with occlusion and error handling in motion fields
US10366500B2 (en) * 2017-06-30 2019-07-30 The United States Of America, As Represented By The Secretary Of The Navy Autonomous characterization of water flow from surface water velocity
CN107845108B (zh) * 2017-09-21 2021-10-26 张家港康得新光电材料有限公司 一种光流值计算方法、装置及电子设备
CN109102523A (zh) * 2018-07-13 2018-12-28 南京理工大学 一种运动目标检测和跟踪方法
CN109918995B (zh) * 2019-01-16 2023-07-28 上海理工大学 一种基于深度学习的人群异常检测方法
CN110009665B (zh) * 2019-03-12 2020-12-29 华中科技大学 一种遮挡环境下的目标检测跟踪方法
CN110348356A (zh) * 2019-07-03 2019-10-18 北京遥感设备研究所 一种基于深度光流网络的连续帧rd图像目标识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934820A (zh) * 2017-03-17 2017-07-07 南昌航空大学 基于引导滤波的图像序列金字塔分层光流计算方法
CN109190581A (zh) * 2018-09-17 2019-01-11 金陵科技学院 图像序列目标检测识别方法

Also Published As

Publication number Publication date
CN111402292A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN111402292B (zh) 基于特征变形误差遮挡检测的图像序列光流计算方法
CN109740465B (zh) 一种基于实例分割神经网络框架的车道线检测算法
CN110111366B (zh) 一种基于多级损失量的端到端光流估计方法
CN109377530B (zh) 一种基于深度神经网络的双目深度估计方法
CN111340844B (zh) 基于自注意力机制的多尺度特征光流学习计算方法
CN109145747B (zh) 一种水面全景图像语义分割方法
US11604272B2 (en) Methods and systems for object detection
CN111652081B (zh) 一种基于光流特征融合的视频语义分割方法
CN109801297B (zh) 一种基于卷积实现的图像全景分割预测优化方法
CN108648216B (zh) 一种基于光流与深度学习的视觉里程计实现方法和系统
CN111612825A (zh) 基于光流与多尺度上下文的图像序列运动遮挡检测方法
CN115511759A (zh) 一种基于级联特征交互的点云图像深度补全方法
CN115587987A (zh) 一种蓄电池缺陷检测方法、装置、存储介质及电子设备
CN113936034B (zh) 一种结合帧间光流的表观运动联合弱小运动目标检测方法
CN116309705A (zh) 一种基于特征交互的卫星视频单目标跟踪方法及系统
CN111950551B (zh) 一种基于卷积神经网络的目标检测方法
CN111444913B (zh) 一种基于边缘引导稀疏注意力机制的车牌实时检测方法
CN117197438A (zh) 一种基于视觉显著性的目标检测方法
CN117115616A (zh) 一种基于卷积神经网络的实时低照度图像目标检测方法
CN115578436A (zh) 一种基于多级特征并行交互融合的单目深度预测方法
CN115063704A (zh) 一种立体特征融合语义分割的无人机监测目标分类方法
CN111008555B (zh) 一种无人机图像弱小目标增强提取方法
Li et al. CB-YOLOv5 Algorithm for Small Target Detection in Aerial Images
CN116977826B (zh) 一种边缘端计算架构下的可重构神经网络目标检测方法
CN116311002B (zh) 一种基于光流信息的无监督视频目标分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant