CN112967313A - 一种基于运动图像回溯的床面颗粒辨识追踪方法 - Google Patents
一种基于运动图像回溯的床面颗粒辨识追踪方法 Download PDFInfo
- Publication number
- CN112967313A CN112967313A CN202110180857.6A CN202110180857A CN112967313A CN 112967313 A CN112967313 A CN 112967313A CN 202110180857 A CN202110180857 A CN 202110180857A CN 112967313 A CN112967313 A CN 112967313A
- Authority
- CN
- China
- Prior art keywords
- particle
- particles
- motion
- moving
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002245 particle Substances 0.000 title claims abstract description 342
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000001914 filtration Methods 0.000 claims abstract description 18
- 238000004458 analytical method Methods 0.000 claims abstract description 17
- 238000005516 engineering process Methods 0.000 claims abstract description 17
- 238000012216 screening Methods 0.000 claims abstract description 17
- 230000000694 effects Effects 0.000 claims abstract description 12
- 239000000203 mixture Substances 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 18
- 238000006073 displacement reaction Methods 0.000 claims description 16
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 13
- 238000012544 monitoring process Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 10
- 230000000877 morphologic effect Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 7
- 230000001133 acceleration Effects 0.000 claims description 6
- 239000008187 granular material Substances 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 239000011164 primary particle Substances 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 claims description 2
- 206010044565 Tremor Diseases 0.000 claims 1
- 230000007704 transition Effects 0.000 claims 1
- 230000008030 elimination Effects 0.000 abstract 1
- 238000003379 elimination reaction Methods 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000013049 sediment Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000000037 particle-tracking velocimetry Methods 0.000 description 2
- 238000006555 catalytic reaction Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000917 particle-image velocimetry Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P5/00—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft
- G01P5/18—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft by measuring the time taken to traverse a fixed distance
- G01P5/20—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft by measuring the time taken to traverse a fixed distance using particles entrained by a fluid stream
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Health & Medical Sciences (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于运动图像回溯的床面颗粒辨识追踪方法,通过九个步骤完成辨识追踪任务。利用二值法对合格床面颗粒运动图像进行分辨率调节预处理。采用二维高斯混合模型将运动颗粒去背景化;使用运动回溯方法,基于帧间粒子辨识模型,确定连续帧中目标粒子运动位置,利用动态阈值和斑点分析法滤除数据噪声。通过对活性与惰性的状态识别以及有效活性粒子数据集的建立,筛选出具备运动、等待全部行为特征的粒子轨迹样本集和空间坐标数据集。在连续帧图像中追踪运动颗粒形成坐标轨迹链,获取多尺度运动信息;采用消除颗粒定位误差与最佳识别链接技术,提高了有效活性粒子运动数据质量;实现了对目标颗粒运动的精细辨识、多维信息采集与全过程追踪。
Description
技术领域
本发明属于水力学及河流动力学研究技术领域,具体地涉及基于模式识别与运动回溯的床面颗粒辨识追踪方法。
背景技术
河流床面的泥沙颗粒随机运动规律复杂,近几十年来国内外众多学者一致致力于其运动特征的研究,由于试验技术所限,精准可靠的试验资料比较匮乏,使得对颗粒运动速度、单步时长等运动参量的基本认识还存在不少分歧。
目前水下高速摄影技术已经开始在推移质精准观测中应用,一般多采用侧视和俯视两种观测方式。苗蔚等将高速摄影技术用于泥沙起动概率的测量,通过图像识别与分析,实现了起动概率的非接触测量;但在在拍摄方式、采样频率、图像处理方法以及对测量数据的科学分析方面还存在一些值得商榷的地方。
近年还有学者利用交通监控视频,研究基于图像识别的交通流量监测和交通违规查询。在遇到目标被遮掩,不同视角下的目标和不同光照背景下的目标存在不能准确追踪目标轨迹;也有人采用在计算机图像处理和识别领域获得良好效果的卷积神经网络CNNs方法,能够适应复杂交通领域行人,车辆识别监测。CNNs所具有的对观测对象平移、缩放和旋转的不变形,则能够很好的应对复杂场景,不断变化的光强,观察视角变化。
发明内容
高速摄像和粒子跟踪测速(PTV)技术提供了高效的图像采集及分析方法,水下摄像技术为研究床面颗粒运动可以提供较好的视频图像资料;但要获取准确、可靠的颗粒状态特征数据,还需在图像采集质量、颗粒图像处理、运动区域与样本选取、数据筛选等不少方面予以改进和完善,才能使基于图像识别的颗粒运动分析更为可信,推动推移质运动理论研究与测验技术应用的发展。
本发明的目的在于提供一种基于运动图像回溯的床面颗粒辨识追踪方法,解决水下摄影获取的明流床面颗粒运动状态图像的解析与运动要素的提取.。
本发明为解决上述技术问题采用以下技术方案:
一种基于运动图像回溯的床面颗粒辨识追踪方法,包含如下9个步骤:
步骤1) ,基于水下摄影的明槽床面颗粒状态图像采集技术,通过实时监控获取水槽床面颗粒运动的图像信息;利用粒子图像测速技术获取水流实时运动速度信息。
步骤2),对获取的视频进行预处理,利用二值法调节其数据分辨率,使每帧图片都适用于后续辨识与跟踪处理。
步骤3),对采集视频图像采用特征检测和提取算法进行读取、解析。首先引入视觉.前景探测器(vision. Foreground Detector )作为检测函数,采用二维高斯混合模型检测前景;随后使用斑点分析(BlobAnalysis)组件函数检测连通域;将背景与前景中的运动颗粒分开,获取辨识追踪运动目标;随后,根据颗粒大小与形态学特征对前景图像中的噪点进行剔除;综合考虑光照、颗粒形态多因素对运动颗粒检测面像素域面积的影响,剔除的噪点为椭圆长边小于拍摄视野内肉眼可见的运动颗粒粒径的2/3的目标;对剔除噪点以后的前景内连通域进行形态矫正后,确认为获取有效的辨识追踪运动目标;利用中心输出端口(CentroidOutputPort)定位运动目标质心,并输出纵横坐标(x p0, y p0)。
步骤4),连接所识别的前景对象(运动颗粒),使用运动回溯方法辨识、追踪每个运动粒子在不同帧像中的位置。基于帧间粒子辨识模型,确定在连续帧中粒子运动位置:辨识过程是通过回溯颗粒运动历史及运动特征,对颗粒在下一帧图像中可能到达的区域范围进行分析定位(见附图2)。基于其帧间投影位置,通过对粒子多个比较循环的重复识别,剔除匹配性差的目标,提取匹配性优良的目标,辨识锁定目标颗粒在当前帧中的位置;确定被检测辨识出的运动颗粒在每帧图像中的质心位置,获取在观测区中的颗粒纵横坐标(x p, y p),同时利用动态阈值和形态学斑点分析法去除数据噪声。
步骤5),活性粒子与惰性粒子的识别:在低强度起动环境条件下,选择采样间隔Δt内顺流向位移达0.1D 50为颗粒运动阈值(u c),进行颗粒活跃性甄别。若颗粒持续运动的u p≥ u c,则颗粒处于运动状态,属活性粒子。反之,则认为颗粒处于等待状态,属静止或微幅摆动的惰性粒子;根据起动阈值对采集数据进行分类识别,摈除惰性粒子颤抖效应的噪声干扰,筛选出满足起动阈值以上的床面活性粒子。依据Baek-Lee松弛算法进行粒子运动追踪与运动状态的三维重构。通过上述对颗粒活动性的甄别,提高颗粒运动数据质量与可靠度。
步骤6),每个运动颗粒在连续帧间移动时的质心被标识后,采集在不同帧间运动的活性粒子质心像素坐标(x p,y p),以此方法在帧流图像中锁定各帧中目标颗粒位置,然后在帧之间识别每个活性粒子的自身运动轨迹,在连续帧图像中追踪同一颗粒形成坐标轨迹链;计算确定其在流场中的纵向位移Δx p和横向位移Δy p,获取各种运动特征值,包括速度、加速度(1~4式)、相对于流向的位移角、最大运动距离以及颗粒运动轨迹等多尺度信息,实现对目标颗粒运动过程的追踪与运动状态多维信息的采集。
Δx p= x p(t +Δt)- x p(t) (1)
Δy p= y p(t +Δt)- y p(t) (2)
u px=Δx p/Δt);u py =Δy p/ Δt (3)
a px=Δu px/Δt);a py =Δu py/Δt (4)
式中:x p(t)和x p(t+Δt)分别为在t时刻和经过Δt后,活性粒子的质心像素纵坐标;y p(t)和y p(t+Δt)分别为在t时刻和经过Δt后,活性粒子的质心像素横坐标;Δt为视频采样时间间隔。
步骤7),基于滤波的有效活性粒子数据集建立:采用滤波除噪技术对床面活性粒子进行运动过程的完整有效性识别,建立有效活性粒子运动数据集。根据完整性定义,视频刚开始即离开采集视场或视频将完时才进入采集视场的粒子数据均属不完整无效数据。为满足颗粒至少经历一次“运动-停止-运动”状态转换,选择运动轨迹累积超过10D 50为床面活性粒子的有效样本;使筛选出的有效活性粒子数据具备运动、等待交替出现的全部行为特征,以及运动时间与等待时间交替出现的完整时间特征。根据上述标准界定具有完整状态转换的有效序列样本,对所有床面活性粒子数据进行滤波除噪筛选;剔除运动不完整的无效颗粒数据,最终筛选出有效活性颗粒轨迹样本集和空间坐标数据集N s。
步骤8),追踪中的颗粒定位误差处理:在床面运动颗粒识别跟踪时,为避免将颗粒单个坐标链接到运动轨迹中产生的定位误差,采用两种降低误差的方法。一是对颗粒运动轨迹数据进行滤波处理:沿颗粒运动轨迹,搜索颗粒各单步位移;然后滤除其中的颗粒运动无效步长L s(L s <D 50/4);二是对采集颗粒图像清晰度的限制要求:在分析图像中,单颗粒子的直径不小于3个像素,由此限制试验颗粒的最小直径。这样就可以避免跟踪模糊度、减小定位误判,保证颗粒追踪质量。
步骤9) ,对沿运动轨迹的颗粒速度进行平滑滤波处理;然后在确认选择的有效活性粒子长轨迹数据集里,进行颗粒状态特征值的分析与提取;输出床面颗粒的拉格朗日Lagrange坐标轨迹链表(见附图3)和活性粒子的各种运动特征值。
上述基于运动图像回溯的床面颗粒辨识追踪方法,所述步骤4)中所述帧间粒子辨识模型,其基本原理与辨识方法(见附图2)如下:
首先在上一帧中检测到了一个移动粒子,为追踪它需要在接下来的帧中通过回溯颗粒运动历程从其他移动粒子中辨识出这个粒子。用于分辨-识别-锁定连续帧中的同一颗粒的指标包括运动方向、转向角度、最大运动距离及运动历史。以运动粒子P0为例,基于质点的步进能力与运动历程,设定两个限制层级R-Ⅰ(半径R≈2d 50)和R-Ⅱ(半径R≈3d 50),用以跟踪粒子运动的方向和投射可能域。若粒子末速度u p0<u m/4(u m为粒子最大速度),在当前帧中P0质心的潜在位置就应在R-Ⅰ的半圆域内;若粒子末速度u p0>u m/4,P0质心的潜在位置则限制在的半圆域内;故在辨识过程中本帧超出R-Ⅱ区域的粒子(附图2中带有×的两个椭圆)不再认定为P0。同时根据粒子质心正弦角在帧间变化最小原则,可以确定粒子的可能运动方向;通过比较“后续”粒子(附图2中P1和P2)的正弦角α i与原始粒子P0的正弦角α 0,最接近者即为P0在当前帧中的后继者(附图2中P2的位置是P0在当前帧中的位置)。
上述基于运动图像回溯的床面颗粒辨识追踪方法,所述步骤1),所述基于水下摄影的明槽床面颗粒状态图像采集技术,包括依靠安装在待测水槽水下及床面颗粒上方的水下摄像机,通过实时监控录像,获取床面颗粒运动的视频图像信息;利用安装在待测水槽上的粒子图像像测速仪,获取水流瞬时运动速度信息。
上述基于运动图像回溯的床面颗粒辨识追踪方法,所述步骤6)中所述坐标轨迹链,需要进行下述工作:
对于要跟踪的每个颗粒,在下一个时间帧中要尝试对多个相邻目标颗粒进行比较识别链接;最佳识别链接按如下原则选定:根据实际颗粒速度的投射位置即最小加速度条件,或者按离上一帧中位置最近;设置匹配概率阈值,经过多次迭代得到前一帧及后一帧图像中颗粒的完全匹配;为提高对颗粒的识别精度,识别过程中附加三个约束条件:
1) 颗粒最大速度不超过距床面约4D 50处测得的时均最大流速U m;
2) 每个△t 时段内,颗粒速度的增量不超过0.5U m;
3) 每个△t 时段内,颗粒向后(逆流向)摆动的幅度不超过中值粒径D 50的1/10。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:
以往的颗粒运动图像识别方法相比,本技术采用帧间粒子辨识模型和目标粒子轨迹链的方法,实现了对目标颗粒运动的精细辨识、多维信息采集与全过程追踪。获取了床面颗粒较为完整的踪迹数据,进行的颗粒Lagrange运动过程分析显示颗粒速度的PDF具有很好的伽马函数分布,其细尾变化特征与国内外主流研究成果一致,表明获取数据具有较高的质量与可信度。
本发明通过误差控制与最佳识别模式控制条件,可以大大提高数据精度与可信度,获取的有效活性粒子运动轨迹是以往研究者数据的5倍,大大提高对床面颗粒完整运动过程的认识和粒子运动多维信息的获取;
本发明对颗粒的辨识追踪能够达到实时检测要求,在精确检测模式下每秒处理图像不低于40帧;大大提高了对床面颗粒运动实时监测的能力。
附图说明
图1为发明技术方法的颗粒辨识追踪基本流程图;
图2为帧间粒子辨识示意图;
图3是追踪颗粒的有效运动轨迹。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明:
如附图1所示,本发明公开了一种基于运动图像回溯的床面颗粒辨识追踪方法,包含如下步骤:
步骤1),获取实时监控视频信息:基于水下摄影的水下摄像和粒子图像测速技术,通过实时监控获取水槽床面颗粒运动的图像信息与水流多点瞬时流速信息;
泥沙颗粒控制条件:粒度比较均匀的窄级配泥沙,D 50=0.8~1.5mm;水流强度控制范围:弗汝德数F r=0.25~0.36;相应床面颗粒运动控制强度为:Shields数θ=0.021~0.042;图像采集要求:视频像素为640×480,图像采集频率不低于120帧/s,每个采集视频时长不低于20s;保证视频图像数量达到2400帧以上,每两帧图像间隔0.0083秒以内;
步骤2),对获取的视频进行预处理,利用二值法调节其数据分辨率,使每帧图片都适用于后续辨识与跟踪处理;
步骤3),对采集视频图像采用特征检测和提取算法进行读取、解析:首先引入视觉.前景探测器(vision. Foreground Detector) 作为检测函数,采用二维高斯混合模型检测前景;随后使用斑点分析(BlobA nalysis)组件函数检测连通域;将背景与前景中的运动颗粒分开,获取辨识追踪运动目标;随后,根据颗粒大小与形态学特征对前景图像中的噪点进行剔除;综合考虑光照、颗粒形态多因素对运动颗粒检测面像素域面积的影响,剔除的噪点为椭圆长边小于拍摄视野内肉眼可见的运动颗粒粒径的2/3的目标,不大于1/3d 50;对剔除噪点以后的前景内连通域进行形态矫正后,确认为获取有效的辨识追踪运动目标;利用中心输出端口(CentroidOutputPort)定位运动目标质心,并输出纵横坐标(x p0, y p0);
步骤4),连接所识别的前景对象(运动颗粒),使用运动回溯方法辨识、追踪每个运动粒子在不同帧像中的位置。基于帧间粒子辨识模型,确定在连续帧中粒子运动位置:辨识过程是通过回溯颗粒运动历史及运动特征,对颗粒在下一帧图像中可能到达的区域范围进行分析定位(见附图2)。基于其帧间投影位置,通过对粒子多个比较循环的重复识别,剔除匹配性差的目标,提取匹配性优良的目标,辨识锁定目标颗粒在当前帧中的位置;确定被检测辨识出的运动颗粒在每帧图像中的质心位置,获取在观测区中的颗粒纵横坐标(x p, y p),同时利用动态阈值和形态学斑点分析法对原始数据进行第一层次的滤波降噪。
步骤5),活性粒子与惰性粒子的识别:在低强度起动环境条件下,选择采样间隔Δt内顺流向位移达0.1D 50为颗粒运动阈值(u c),进行颗粒活跃性甄别。若颗粒持续运动的u p≥ u c,则颗粒处于运动状态,属活性粒子。反之,则认为颗粒处于等待状态,属静止或微幅摆动的惰性粒子;根据起动阈值对采集数据进行分类识别,摈除惰性粒子颤抖效应的噪声干扰,筛选出满足起动阈值以上的床面活性粒子。依据Baek-Lee松弛算法进行粒子运动追踪与运动状态的三维重构。通过上述对颗粒活动性的甄别,提高颗粒运动数据质量与可靠度。
步骤6),每个运动颗粒在连续帧间移动时的质心被标识后,采集在不同帧间运动的活性粒子质心像素坐标(x p,y p),以此方法在帧流图像中锁定各帧中目标颗粒位置,然后在帧之间识别每个活性粒子的自身运动轨迹,在连续帧图像中追踪同一颗粒形成坐标轨迹链;计算确定其在流场中的纵向位移Δx p和横向位移Δy p,获取各种运动特征值,包括速度、加速度(1~4式)、相对于流向的位移角、最大运动距离以及颗粒运动轨迹等多尺度信息,实现对目标颗粒运动过程的追踪与运动状态多维信息的采集。
Δx p= x p(t +Δt)- x p(t) (1)
Δy p= y p(t +Δt)- y p(t) (2)
u px=Δx p/Δt);u py =Δy p/ Δt (3)
a px=Δu px/Δt);a py =Δu py/Δt (4)
式中:x p(t)和x p(t+Δt)分别为在t时刻和经过Δt后,活性粒子的质心像素纵坐标;y p(t)和y p(t+Δt)分别为在t时刻和经过Δt后,活性粒子的质心像素横坐标;Δt为视频采样时间间隔。
步骤7),基于滤波的有效活性粒子数据集建立:采用滤波除噪技术对床面活性粒子进行运动过程的完整有效性识别,建立有效活性粒子运动数据集。根据完整性定义,视频刚开始即离开采集视场或视频将完时才进入采集视场的粒子数据均属不完整无效数据。为满足颗粒至少经历一次“运动-停止-运动”状态转换,选择运动轨迹累积超过10D 50为床面活性粒子的有效样本;使筛选出的有效活性粒子数据具备运动、等待交替出现的全部行为特征,以及运动时间与等待时间交替出现的完整时间特征。根据上述标准界定具有完整状态转换的有效序列样本,对所有床面活性粒子数据进行第二重滤波降噪筛选;剔除运动不完整的无效颗粒数据,最终筛选出有效活性颗粒轨迹样本集和空间坐标数据集N s。
步骤8),追踪中的颗粒定位误差处理:在床面运动颗粒识别跟踪时,为避免将颗粒单个坐标链接到运动轨迹中产生的定位误差,采用两种降低误差的方法。一是对颗粒运动轨迹数据进行滤波处理:沿颗粒运动轨迹,搜索颗粒各单步位移;然后滤除其中的颗粒运动无效步长L s(L s <D 50/4);二是对采集颗粒图像清晰度的限制要求:在分析图像中,单颗粒子的直径不小于3个像素,由此限制试验颗粒的最小直径。通过第三重的滤波降噪,就可以避免跟踪模糊度、减小定位误判,保证颗粒追踪质量。
步骤9) ,通过上述三重对颗粒速度进行的平滑滤波处理;然后在确认选择的有效活性粒子长轨迹数据集里,进行颗粒状态特征值的分析与提取;输出床面颗粒的拉格朗日Lagrange坐标轨迹链表(见附图3)和活性粒子的各种运动特征值。
上述基于运动图像回溯的床面颗粒辨识追踪方法,所述步骤4)中所述帧间粒子辨识模型,其基本原理与辨识方法(见附图2)如下:
首先在上一帧中检测到了一个移动粒子,为追踪它需要在接下来的帧中通过回溯颗粒运动历程从其他移动粒子中辨识出这个粒子。用于分辨-识别-锁定连续帧中的同一颗粒的指标包括运动方向、转向角度、最大运动距离及运动历史。以运动粒子P0为例,基于质点的步进能力与运动历程,设定两个限制层级R-Ⅰ(半径R≈2d 50)和R-Ⅱ(半径R≈3d 50),用以跟踪粒子运动的方向和投射可能域。若粒子末速度u p0<u m/4(u m为粒子最大速度),在当前帧中P0质心的潜在位置就应在R-Ⅰ的半圆域内;若粒子末速度u p0>u m/4,P0质心的潜在位置则限制在的半圆域内;故在辨识过程中本帧超出R-Ⅱ区域的粒子(附图2中带有×的两个椭圆)不再认定为P0。同时根据粒子质心正弦角在帧间变化最小原则,可以确定粒子的可能运动方向;通过比较“后续”粒子(附图2中P1和P2)的正弦角α i与原始粒子P0的正弦角α 0,最接近者即为P0在当前帧中的后继者(附图2中P2的位置是P0在当前帧中的位置)。
上述基于运动图像回溯的床面颗粒辨识追踪方法,所述步骤1),所述基于水下摄影的明槽床面颗粒状态图像采集技术,包括依靠安装在待测水槽水下(床面颗粒上方)的水下摄像机,通过实时监控录像,获取床面颗粒运动的视频图像信息,供后续对运动颗粒的辨识追踪使用;利用安装在待测水槽上的粒子图像像测速仪,获取试验段多点瞬时流速信息,供紊流结构分析使用。
上述基于运动图像回溯的床面颗粒辨识追踪方法,所述步骤6)中所述坐标轨迹链,需要进行下述工作:
对于要跟踪的每个颗粒,在下一个时间帧中要尝试对多个相邻目标颗粒进行比较识别链接;最佳识别链接按如下原则选定:根据实际颗粒速度的投射位置即最小加速度条件,或者按离上一帧中位置最近;设置匹配概率阈值,经过多次迭代得到前一帧及后一帧图像中颗粒的完全匹配;为提高对颗粒的识别精度,识别过程中附加三个约束条件:
1) 颗粒最大速度不超过距床面约4D 50处测得的时均最大流速U m;
2) 每个△t 时段内,颗粒速度的增量不超过0.5U m;
3) 每个△t 时段内,颗粒向后(逆流向)摆动的幅度不超过中值粒径D 50的1/10。
本技术领域技术人员可以理解的是,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.基于运动图像回溯的床面颗粒辨识追踪方法,其特征在于:对符合采集条件的水槽床面颗粒运动图像信息进行辨识与跟踪,获取颗粒随机运动的全过程特征信息;
具体包含以下步骤:
步骤1),基于水下摄影的明槽床面颗粒状态图像采集技术,通过实时监控获取水槽床面颗粒运动的图像信息;
泥沙颗粒控制条件:粒度比较均匀的窄级配泥沙,D 50=0.8~1.5mm;水流强度控制范围:弗汝德数F r=0.25~0.36;相应床面颗粒运动控制强度为:Shields数θ=0.021~0.042;图像采集要求:视频像素为640×480,图像采集频率不低于120帧/s,每个采集视频时长不低于20s;保证视频图像数量达到2400帧以上,每两帧图像间隔0.0083秒以内;
步骤2),对获取的视频进行预处理,利用二值法调节其图像数据分辨率,使每帧图片都适用于后续辨识与跟踪处理;
步骤3),对采集视频图像采用特征检测和提取算法进行读取、解析;首先引入视觉.前景探测器作为检测模块,采用二维高斯混合模型检测前景;随后使用斑点分析组件函数检测连通域,通过去背景化,将背景与前景中的运动颗粒分开,获取辨识追踪运动目标;随后,在综合考虑光照、颗粒形态等因素对颗粒检测面像素域面积影响的基础上,根据颗粒大小与形态学特征对前景图像中的噪点进行剔除;剔除的噪点为椭圆长边小于拍摄视野内运动颗粒粒径2/3的目标,对剔除噪点以后的前景内连通域进行形态矫正后,确认获取有效的辨识追踪运动目标;利用中心输出端口定位运动目标质心,并输出纵横坐标(x p0, y p0);
步骤4),给每一颗料获取的运动目标以数字编号命名,链接后续帧流图像中所识别的前景对象运动颗粒,使用运动回溯方法辨识、追踪每个运动粒子在不同帧像中的位置;基于帧间粒子辨识模型,确定在连续帧中粒子运动位置:辨识过程是通过回溯颗粒运动历史及运动特征,对颗粒在下一帧图像中可能到达的区域范围进行分析定位;基于其帧间投影位置,通过对粒子多个比较循环的重复识别,剔除匹配性差的目标,提取匹配性优良的目标,辨识锁定目标颗粒在当前帧中的位置,从而将其与以往帧流中的某一颗粒链接成功,并以该颗粒的编号命名;其它目标将视为首次起动的颗粒,以新的编号命名,在以后的帧流图像中再进行筛选与之链接的目标,实现对其的辨识追踪;同时利用动态阈值和形态学斑点分析法去除数据噪声,最终确定被检测辨识出的运动颗粒在每帧图像中的质心位置,获取在观测区中的颗粒纵横坐标(x p, y p);
步骤5),活性粒子与惰性粒子的识别:在低强度起动环境条件下,选择采样间隔Δt内顺流向位移达0.1D 50为颗粒运动阈值u c,进行颗粒活跃性甄别;若颗粒持续运动的u p ≥ u c,则颗粒处于运动状态,属活性粒子;反之,则认为颗粒处于等待状态,属静止或微幅摆动的惰性粒子;根据起动阈值对采集数据进行分类识别,摈除惰性粒子颤抖效应的噪声干扰,筛选出满足起动阈值以上的床面活性粒子;依据Baek-Lee松弛算法进行粒子运动追踪与运动状态的三维重构;
通过上述对颗粒活动性的甄别,提高颗粒运动数据质量与可靠度;
步骤6),每个运动颗粒在连续帧间移动时的质心被标识后,采集在不同帧间运动的活性粒子质心像素坐标(x p,y p),以此方法在帧流图像中锁定各帧中目标颗粒位置,然后在帧之间识别每个活性粒子的自身运动轨迹,在连续帧图像中追踪同一颗粒形成坐标轨迹链;计算确定其在流场中的纵向位移Δx p和横向位移Δy p,获取各种运动特征值,包括速度、加速度(1~4式)、相对于流向的位移角、最大运动距离以及颗粒运动轨迹等多尺度信息,实现对目标颗粒运动过程的追踪与运动状态多维信息的采集;
Δx p= x p(t +Δt)- x p(t) (1)
Δy p= y p(t +Δt)- y p(t) (2)
u px=Δx p/Δt);u py =Δy p/ Δt (3)
a px=Δu px/Δt);a py =Δu py/Δt (4)
式中:x p(t)和x p(t+Δt)分别为在t时刻和经过Δt后,活性粒子的质心像素纵坐标;y p(t)和y p(t+Δt)分别为在t时刻和经过Δt后,活性粒子的质心像素横坐标;Δt为视频采样时间间隔;
步骤7),基于滤波的有效活性粒子数据集建立:采用滤波除噪技术对床面活性粒子进行运动过程的完整有效性识别,建立有效活性粒子运动数据集;根据完整性定义,视频刚开始即离开采集视场或视频将完时才进入采集视场的粒子数据均属信息不完整的无效数据;为满足颗粒至少经历一次“运动-停止-运动”状态转换,选择运动轨迹累积位移超过10D 50为床面活性粒子的有效样本;使筛选出的有效活性粒子数据具备运动、等待交替出现的全部行为特征,以及运动时间与等待时间交替出现的完整时间特征;根据上述标准界定具有完整状态转换的有效序列样本,对所有床面活性粒子数据进行滤波除噪筛选;剔除运动不完整的无效颗粒数据,最终筛选出有效活性颗粒轨迹样本集和空间坐标数据集N s ;
步骤8),追踪中的颗粒定位误差处理:在床面运动颗粒识别跟踪时,为避免将颗粒单个坐标链接到运动轨迹中产生的定位误差,采用两种降低误差的方法;一是对颗粒运动轨迹数据进行滤波处理:沿颗粒运动轨迹,搜索颗粒各单步位移;然后滤除其中的颗粒运动无效步长L s(L s <D 50/4);二是对采集颗粒图像清晰度的限制要求:在分析图像中,单颗粒子的直径不小于3个像素,由此限制试验颗粒的最小直径;这样就可以避免跟踪模糊度、减小定位误判,保证颗粒追踪质量;
步骤9) ,对沿运动轨迹的颗粒速度进行平滑滤波处理;然后在确认选择的有效活性粒子长轨迹数据集里,进行颗粒状态特征值的分析与提取;输出床面颗粒的拉格朗日坐标轨迹链表和活性粒子的各种运动特征值。
2.根据权利要求1所述的基于运动图像回溯的床面颗粒辨识追踪方法,其特征在于:所述步骤4)中所述帧间粒子辨识模型,其基本原理与辨识方法如下:
首先在上一帧中检测到了一个移动粒子,为追踪它需要在接下来的帧中通过回溯颗粒运动历程从床面上所有的移动粒子中辨识出这个粒子;用于分辨-识别-锁定连续帧中的同一颗粒的指标包括运动方向、转向角度、最大运动距离及运动历史;以运动粒子P0为例,基于质点的步进能力与运动历程,设定两个限制层级R-Ⅰ,即半径R≈2d 50,和R-Ⅱ,即半径R≈3d 50,用以跟踪粒子运动的方向和投射可能域;若粒子末速度u p0<u m/4,其中u m为粒子最大速度,在当前帧中P0质心的潜在位置就应在R-Ⅰ的半圆域内;若粒子末速度u p0>u m/4,P0质心的潜在位置则限制在的半圆域内;故在辨识过程中本帧超出R-Ⅱ区域的粒子不再认定为P0;同时根据粒子质心正弦角在帧间变化最小原则,可以确定粒子的可能运动方向;通过比较“后续”粒子的正弦角α i与原始粒子P0的正弦角α 0,最接近者即为P0在当前帧中的后继者。
3.根据权利要求1所述的基于运动图像回溯的床面颗粒辨识追踪方法,其特征在于:所述步骤1)中所述基于水下摄影的明槽床面颗粒状态图像采集技术,包括依靠安装在待测水槽水下及床面颗粒上方的水下摄像机,通过实时监控录像,获取床面颗粒运动的视频图像信息;利用安装在待测水槽上的粒子图像像测速仪,获取水流瞬时运动速度信息。
4.根据权利要求1所述的基于运动图像回溯的床面颗粒辨识追踪方法,其特征在于:所述步骤6)中所述坐标轨迹链,需要进行下述工作:
对于要跟踪的每个颗粒,在下一个时间帧中要尝试对多个相邻目标颗粒进行比较识别链接;最佳识别链接按如下原则选定:根据实际颗粒速度的投射位置即最小加速度条件,或者按离上一帧中位置最近;设置匹配概率阈值,经过多次迭代得到前一帧及后一帧图像中颗粒的完全匹配;为提高对颗粒的识别精度,识别过程中附加三个约束条件:
1) 颗粒最大速度不超过距床面约4D 50处测得的时均最大流速U m;
2) 每个△t 时段内,颗粒速度的增量不超过0.5U m;
3) 每个△t 时段内,颗粒向后即逆流向摆动的幅度不超过中值粒径D 50的1/10。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110180857.6A CN112967313B (zh) | 2021-02-10 | 2021-02-10 | 一种基于运动图像回溯的床面颗粒辨识追踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110180857.6A CN112967313B (zh) | 2021-02-10 | 2021-02-10 | 一种基于运动图像回溯的床面颗粒辨识追踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112967313A true CN112967313A (zh) | 2021-06-15 |
CN112967313B CN112967313B (zh) | 2024-02-20 |
Family
ID=76284652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110180857.6A Active CN112967313B (zh) | 2021-02-10 | 2021-02-10 | 一种基于运动图像回溯的床面颗粒辨识追踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112967313B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113821965A (zh) * | 2021-09-23 | 2021-12-21 | 盐城师范学院 | 一种活性粒子轨迹追踪方法及系统 |
CN114221748A (zh) * | 2021-11-30 | 2022-03-22 | 中国人民解放军63921部队 | 一种深空低码率数据帧回溯方法 |
CN116629086A (zh) * | 2023-07-19 | 2023-08-22 | 水利部交通运输部国家能源局南京水利科学研究院 | 复式河道植被区泥沙起动计算方法及系统 |
CN116738810A (zh) * | 2023-07-04 | 2023-09-12 | 东北石油大学 | 基于粒子追踪法的盆地构造有限应变分布分析方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140002617A1 (en) * | 2012-06-27 | 2014-01-02 | The Board Of Trustees Of The University Of Illinois | Particle tracking system and method |
CN106127802A (zh) * | 2016-06-16 | 2016-11-16 | 南京邮电大学盐城大数据研究院有限公司 | 一种运动目标轨迹追踪方法 |
CN107705321A (zh) * | 2016-08-05 | 2018-02-16 | 南京理工大学 | 基于嵌入式系统的运动目标检测与跟踪方法 |
CN111968159A (zh) * | 2020-08-28 | 2020-11-20 | 厦门大学 | 一种简单通用的鱼群视频图像轨迹追踪方法 |
-
2021
- 2021-02-10 CN CN202110180857.6A patent/CN112967313B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140002617A1 (en) * | 2012-06-27 | 2014-01-02 | The Board Of Trustees Of The University Of Illinois | Particle tracking system and method |
CN106127802A (zh) * | 2016-06-16 | 2016-11-16 | 南京邮电大学盐城大数据研究院有限公司 | 一种运动目标轨迹追踪方法 |
CN107705321A (zh) * | 2016-08-05 | 2018-02-16 | 南京理工大学 | 基于嵌入式系统的运动目标检测与跟踪方法 |
CN111968159A (zh) * | 2020-08-28 | 2020-11-20 | 厦门大学 | 一种简单通用的鱼群视频图像轨迹追踪方法 |
Non-Patent Citations (1)
Title |
---|
张玉荣;: "基于多变量动态建模的粒子滤波行人跟踪算法实现", 佛山科学技术学院学报(自然科学版), no. 04, 15 July 2017 (2017-07-15) * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113821965A (zh) * | 2021-09-23 | 2021-12-21 | 盐城师范学院 | 一种活性粒子轨迹追踪方法及系统 |
CN114221748A (zh) * | 2021-11-30 | 2022-03-22 | 中国人民解放军63921部队 | 一种深空低码率数据帧回溯方法 |
CN116738810A (zh) * | 2023-07-04 | 2023-09-12 | 东北石油大学 | 基于粒子追踪法的盆地构造有限应变分布分析方法及系统 |
CN116738810B (zh) * | 2023-07-04 | 2024-02-20 | 东北石油大学 | 基于粒子追踪法的盆地构造有限应变分布分析方法及系统 |
CN116629086A (zh) * | 2023-07-19 | 2023-08-22 | 水利部交通运输部国家能源局南京水利科学研究院 | 复式河道植被区泥沙起动计算方法及系统 |
CN116629086B (zh) * | 2023-07-19 | 2023-09-19 | 水利部交通运输部国家能源局南京水利科学研究院 | 复式河道植被区泥沙起动计算方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112967313B (zh) | 2024-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112967313B (zh) | 一种基于运动图像回溯的床面颗粒辨识追踪方法 | |
Chiverton | Helmet presence classification with motorcycle detection and tracking | |
CN101339655B (zh) | 基于目标特征和贝叶斯滤波的视觉跟踪方法 | |
CN100544446C (zh) | 用于视频监控的实时运动检测方法 | |
CN109446917B (zh) | 一种基于级联霍夫变换的消失点检测方法 | |
CN111563469A (zh) | 一种不规范停车行为识别方法及装置 | |
CN101576952B (zh) | 一种检测静止目标的方法和装置 | |
CN106128121B (zh) | 基于局部特征分析的车辆排队长度快速检测算法 | |
CN104318263A (zh) | 一种实时高精度人流计数方法 | |
CN104378582A (zh) | 一种基于ptz摄像机巡航的智能视频分析系统及方法 | |
CN102447835A (zh) | 无盲区多目标协同跟踪方法及系统 | |
Yadav | Vision-based detection, tracking, and classification of vehicles | |
CN106570490A (zh) | 一种基于快速聚类的行人实时跟踪方法 | |
CN109271868B (zh) | 基于密集连接卷积网络超球体嵌入的目标重识别方法 | |
CN108764338A (zh) | 一种应用于视频分析的行人跟踪算法 | |
He et al. | A novel multi-source vehicle detection algorithm based on deep learning | |
Su et al. | A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification | |
Raktrakulthum et al. | Vehicle classification in congested traffic based on 3D point cloud using SVM and KNN | |
CN105046285B (zh) | 一种基于运动约束的异常行为辨识方法 | |
Marek | Image-based parking space occupancy classification: Dataset and baseline | |
CN110189365A (zh) | 抗遮挡相关滤波跟踪方法 | |
Yang et al. | A novel vision-based framework for real-time lane detection and tracking | |
Huang et al. | Bioinspired approach-sensitive neural network for collision detection in cluttered and dynamic backgrounds | |
Beemelmanns et al. | Multicorrupt: A multi-modal robustness dataset and benchmark of lidar-camera fusion for 3d object detection | |
Ramalingam et al. | Vehicle detection for traffic flow analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |