CN109900331A - 基于深度相机特征跟踪的河流流量在线检测方法 - Google Patents
基于深度相机特征跟踪的河流流量在线检测方法 Download PDFInfo
- Publication number
- CN109900331A CN109900331A CN201910176531.9A CN201910176531A CN109900331A CN 109900331 A CN109900331 A CN 109900331A CN 201910176531 A CN201910176531 A CN 201910176531A CN 109900331 A CN109900331 A CN 109900331A
- Authority
- CN
- China
- Prior art keywords
- coordinate
- point
- image
- depth camera
- motion information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Indicating Or Recording The Presence, Absence, Or Direction Of Movement (AREA)
Abstract
本发明公开了基于深度相机特征跟踪的河流流量在线检测方法,具体包括如下步骤:101)测站部署步骤、102)流场测量步骤、103)流量估计步骤;本发明提供更便捷快的基于深度相机特征跟踪的河流流量在线检测方法。
Description
技术领域
本发明涉及计算机视觉领域,更具体的说,它涉及基于深度相机特征跟踪的河流流量在线检测方法。
背景技术
目前,河流流量在线测试方法主要分为以下几种方法:
(1)建筑物测流法,采用堰槽量水设备,具体做法是让水流通过束缩的过水断面形成缓流到急流的过渡即临界流,保证稳定的水位与流量之间的关系,采用类似于超声波水位计的非接触式水位计测出水位,根据率定曲线计算出动态流量。
(2)流速面积法,流速面积法是一种量测流量的方法,由测定流速和过水断面面积两部分工作组成,据断面流速分布来求算流量。实际操作,以测速垂线为界将河流断面划分为几个子区域,根据实测流速及水深计算各子区域的断面面积、平均流速及流量,然后将各个子区域的流量求和得到总的断面流量。其中根据使用传感器的不同,量测流量的方法可以分为以下几种:
1.1接触式,其中,基于转子式流速仪的方法被认为是河流流量测验的标准方法,但由于流速仪测得的是点流速,历时长,需配合横跨河道的桥梁或缆道系统才能实现自动测验,因此,采用铅鱼流速仪所测流速值的空间和时间分辨率都较差。此外,对于污水渠道,这种流速仪必须放置于污水内,因此不能可靠地用于长期监测。
1.2微侵入式,典型的是目前较为先进的声学多普勒流速剖面仪法(ADCP)。座底式或水平式ADCP可在短时内直接测得断面子区域中各水层的平均流速,实现河流流量在线测验,但存在盲区且其对含沙量较为敏感,通常只适用于形状规则的人工渠道;此外,由于换能器必须浸没于水中,易受高速水流及漂浮物的冲击,并受河床冲淤影响,导致仪器运行的不可靠甚至损毁。
1.3非接触式,比较成熟的是电波流速仪法,它测量的是位于波束与水面交界处的一维表面流速,空间分辨率有限,并且当风或湍流在水面产生细小的波动时才能产生足够强的反射回波,因此,不适用于水面平静的低流速河流。
1.4基于图像流速测量方法,以中国专利CN 102564508B公开了一种基于视频图像的河流流量在线测验实现方法。该方法包括测站部署阶段、流场测量阶段与流量估计阶段。相对于传统测量方法,该方法具有时空分辨率高,测量值可靠,抗毁行强,操作安全,原理直观,成本低廉,配置灵活,可测量极低与极高流速。
但是也存在如下缺点:(1)布设摄像机标定系统与勘测地面控制点坐标,需要手动布置至少6个共面的控制点,得到其世界坐标系下的坐标(XW1,YW1),(XW2,YW2)......(XW6,YW6)与以及对应的图像坐标(x1,y1),(x2,y2)......(x6,y6)(该图像坐标是摄像头通过标定已经去畸变的图像坐标)。手动布置控制点比较麻烦。(2)流量测量阶段,需要手动投放粒子,利用相关跟踪的流速提取算法。手动投放粒子比较麻烦,而且投放粒子不均匀,有些水域可能覆盖不到。
发明内容
本发明所要解决的技术问题是提供基于深度相机特征跟踪的河流流量在线检测方法。
为了解决上述技术问题,本发明的技术方案如下:
基于深度相机特征跟踪的河流流量在线检测方法,具体包括如下步骤:
101)测站部署步骤:通过深度相机,划定水平面区域,将根据图像坐标先得到相机坐标系坐标,再通过公式转换为世界坐标系坐标;
102)流场测量步骤:根据深度相机拍摄划定水平面区域的图像,获取的图像设定图像阈值,即根据得到的每一个位置像素前后的两帧图像做差,若差的绝对值大于设定的阈值,则在图像对应的该点位置的值置为1,否则置为0,得到帧差图像;
在帧差图像上利用角点检测方法来保证光流跟踪的初始位置是运动的,且处于纹理丰富的位置,作为选取的光流初始点;根据光流跟踪初始点位置,并通过光流跟踪方法得到给出上一帧的初始跟踪点在下一帧的位置,即得到光流跟踪初始点的运动信息;
遍历所有的光流跟踪中得到的运动信息,在每一次遍历中,以该次光流运动信息得到平动模型,并判断剩余光流点是否符合该平动模型,同时记录符合该平动模型点的个数,得到具有最大内点集的模型和运动信息;对不属于最大内点集里的光流矢量继续重复迭代,直到得到三个内点集,以及对应的运动信息;根据运动信息组成流场;
103)流量估计步骤:利用水面流速场以及勘测测流断面水下地形和水位值,基于流速-面积法计算出河流流量。
进一步的,步骤101)中图像坐标转换为相机坐标系下坐标具体公式如下:
其中d为深度相机的视差,B为深度相机的基线距离,f为焦距;得到相机坐标系下的Zc,然后得到Xc与Yc;x、y为图像坐标;
空间中某点在地面坐标系下的坐标为在相机坐标系下坐标为因为坐标系变换满足刚体变换,所以公式如下:
其中为正交矩阵,为常量;
河道水平面为零高度Zw≡0,所以0=R31Xc+R32Yc+R33Zc+c;设置地面坐标系的原点在相机坐标系的原点正下方,通过深度相机获得多个图像坐标利用奇异值分解得到特征值最小的所对应的特征向量R31,R32,R33,并根据0=R31Xc+R32Yc+R33Zc+c,得到c;
地面坐标系的原点在相机坐标系的原点正下方,则代入得到a=b=0;利用施密特正交,得到R11,R12,R13,然后利用R11,R12,R13与R31,R32,R33叉乘得到R21,R22,R23。
本发明相比现有技术优点在于:本发明利用深度相机,通过划定水平面区域,得到世界坐标系下的坐标与图像坐标的关系,计算出深度相机外参进行标定,大大简化了标定的过程。本发明利用光流算法得到更稠密的流速场,提升了计算出的流速场矢量的完整性;克服了现有技术中利用相关跟踪的流速提取算法,需要手动投放粒子,有些水域覆盖不到的问题。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进一步说明。
如图1所示,基于深度相机特征跟踪的河流流量在线检测方法,具体包括如下步骤:
101)测站部署步骤:通过深度相机,划定水平面区域,将根据图像坐标先得到相机坐标系坐标,再通过公式转换为世界坐标系坐标。具体如下:
空间中某点在地面坐标系下的坐标为在相机坐标系下坐标为图像坐标为(x,y)。
图像坐标转换为相机坐标系下坐标,具体公式如下:
其中x、y为图像坐标,d为深度相机的视差,B为深度相机的基线距离,f为焦距。根据公式(1)得到相机坐标系下的Zc,然后得到Xc与Yc。
因为坐标系变换满足刚体变换,所以相机坐标系坐标转换为世界坐标系坐标公式如下:
其中为正交矩阵,为常量。
河道水平面为恒定零高度Zw≡0,所以0=R31Xc+R32Yc+R33Zc+c。设置地面坐标系的原点在相机坐标系的原点正下方,并通过深度相机获得多个图像坐标因为不关心X与Y坐标,所以只需要得到R31,R32,R33与c。即通过获得n个点的相机坐标系的坐标,则可以利用奇异值分解得到特征值最小的所对应的特征向量即为R31,R32,R33,并根据0=R31Xc+R32Yc+R33Zc+c,可以得到所需要求得的c。
地面坐标系的原点在相机坐标系的原点正下方,则代入相应坐标数据即得到a=b=0。利用施密特正交,得到R11,R12,R13,然后利用R11,R12,R13与R31,R32,R33叉乘得到R21,R22,R23。这样公式(2)里面所有的参数都得到了。至此,河流水平面在双目深度相机左相机的图像坐标到河流水平面世界坐标转换关系已经得到。简单来说由图像坐标(x,y)得到相机坐标系下坐标(Xc,Yc,Zc),然后通过上述公式转换为世界坐标系下坐标(Xw,Yw,0)。
102)流场测量步骤:根据深度相机拍摄划定水平面区域的图像,划定河道水平面在摄像机成像区域,划定规则区域以后,可以从原始图像中截取图像进行分析,降低了整体的运算量。给获取的图像设定图像阈值,即根据得到的每一个位置像素前后的两帧图像做差,若差的绝对值大于设定的阈值,则在图像对应的该点位置的值置为1,否则置为0,得到帧差图像。
在帧差图像上利用角点检测方法来保证光流跟踪的初始位置是运动的,且处于纹理丰富的位置,作为选取的光流初始点。通过光流初始点选取这些位置可以提升后续光流跟踪的准确性。根据光流跟踪初始点位置,并通过光流跟踪方法得到给出上一帧的初始跟踪点在下一帧的位置,即得到光流跟踪初始点的运动信息即主要是光流矢量信息。
遍历所有的光流跟踪中得到的运动信息,在每一次遍历中,以该次光流运动信息得到平动模型,并判断剩余光流点是否符合该平动模型,同时记录符合该平动模型点的个数,得到具有最大内点集的模型和符合该模型的运动信息。对不属于最大内点集里的光流矢量继续重复迭代,直到得到三个内点集,以及对应的运动信息。
其中,具体的剩余光流点的运动信息即剩余矢量,因为光流对应的是前一帧和当前帧的两个点,得到一个矢量。假设有100个矢量,利用第一个矢量得到平动模型,然后用剩余的矢量在一定阈值下看是否满足这个模型,假设有50满足这个模型。那遍历所有矢量重复上述操作,可以找到一个矢量得到的平动模型,剩余矢量满足这个模型最多的,即成为具有最大内点集(矢量集)的模型。重复迭代是指找到了最大矢量集,把对应的最大矢量集的所有矢量从100个矢量中删掉,在剩余矢量集里面重复刚才找最大内点集的过程,这样找到第二最大内点集,第三最大内点集。然后结束操作。此中已去除错误的光流运动信息,那正确的光流运动信息最终组成流场。
103)流量估计步骤:利用水面流速场以及勘测测流断面水下地形和水位值,基于流速-面积法计算出河流流量。具体已在背景技术的专利CN 102564508B中公开。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员,在不脱离本发明构思的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明保护范围内。
Claims (2)
1.基于深度相机特征跟踪的河流流量在线检测方法,其特征在于,具体包括如下步骤:
101)测站部署步骤:通过深度相机,划定水平面区域,将根据图像坐标先得到相机坐标系坐标,再通过公式转换为世界坐标系坐标;
102)流场测量步骤:根据深度相机拍摄划定水平面区域的图像,获取的图像设定图像阈值,即根据得到的每一个位置像素前后的两帧图像做差,若差的绝对值大于设定的阈值,则在图像对应的该点位置的值置为1,否则置为0,得到帧差图像;
在帧差图像上利用角点检测方法来保证光流跟踪的初始位置是运动的,且处于纹理丰富的位置,作为选取的光流初始点;根据光流跟踪初始点位置,并通过光流跟踪方法得到给出上一帧的初始跟踪点在下一帧的位置,即得到光流跟踪初始点的运动信息;
遍历所有的光流跟踪中得到的运动信息,在每一次遍历中,以该次光流运动信息得到平动模型,并判断剩余光流点是否符合该平动模型,同时记录符合该平动模型点的个数,得到具有最大内点集的模型和运动信息;对不属于最大内点集里的光流矢量继续重复迭代,直到得到三个内点集,以及对应的运动信息;根据运动信息组成流场;
103)流量估计步骤:利用水面流速场以及勘测测流断面水下地形和水位值,基于流速-面积法计算出河流流量。
2.根据权利要求1所述的基于深度相机特征跟踪的河流流量在线检测方法,其特征在于,步骤101)中图像坐标转换为相机坐标系下坐标具体公式如下:
其中d为深度相机的视差,B为深度相机的基线距离,f为焦距;得到相机坐标系下的Zc,然后得到Xc与Yc;x、y为图像坐标;
空间中某点在地面坐标系下的坐标为在相机坐标系下坐标为因为坐标系变换满足刚体变换,所以公式如下:
其中为正交矩阵,为常量;
河道水平面为零高度Zw≡0,所以0=R31Xc+R32Yc+R33Zc+c;设置地面坐标系的原点在相机坐标系的原点正下方,通过深度相机获得多个图像坐标利用奇异值分解得到特征值最小的所对应的特征向量R31,R32,R33,并根据0=R31Xc+R32Yc+R33Zc+c,得到c;
地面坐标系的原点在相机坐标系的原点正下方,则代入得到a=b=0;利用施密特正交,得到R11,R12,R13,然后利用R11,R12,R13与R31,R32,R33叉乘得到R21,R22,R23。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910176531.9A CN109900331A (zh) | 2019-03-08 | 2019-03-08 | 基于深度相机特征跟踪的河流流量在线检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910176531.9A CN109900331A (zh) | 2019-03-08 | 2019-03-08 | 基于深度相机特征跟踪的河流流量在线检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109900331A true CN109900331A (zh) | 2019-06-18 |
Family
ID=66946699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910176531.9A Pending CN109900331A (zh) | 2019-03-08 | 2019-03-08 | 基于深度相机特征跟踪的河流流量在线检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109900331A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111089625A (zh) * | 2019-12-13 | 2020-05-01 | 国网浙江省电力有限公司紧水滩水力发电厂 | 一种模拟双目视觉的河流流量实时监测系统及方法 |
CN112686204A (zh) * | 2021-01-12 | 2021-04-20 | 昆明理工大学 | 一种基于稀疏像素点跟踪的视频测流方法及装置 |
CN113436119A (zh) * | 2021-08-25 | 2021-09-24 | 上海海栎创科技股份有限公司 | 基于光流对齐的双目手机预览实时计算视差图方法 |
CN113804917A (zh) * | 2021-09-17 | 2021-12-17 | 山东新一代信息产业技术研究院有限公司 | 一种基于点扩散估计的河流表面流速测量方法 |
GB2598384B (en) * | 2020-08-29 | 2023-10-04 | Linx Printing Tech Limited | Ink jet printer and method of monitoring an ink jet printer |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102564508A (zh) * | 2011-12-14 | 2012-07-11 | 河海大学 | 基于视频图像的河流流量在线测验实现方法 |
US20130064454A1 (en) * | 2005-07-11 | 2013-03-14 | Canon Kabushiki Kaisha | Information processing apparatus and method |
CN103745452A (zh) * | 2013-11-26 | 2014-04-23 | 理光软件研究所(北京)有限公司 | 相机外参评估方法、装置、相机外参标定方法和装置 |
CN104036522A (zh) * | 2014-04-16 | 2014-09-10 | 嘉兴博海信息科技有限公司 | 一种基于视频中运动目标识别的流水速度监测方法 |
CN108230305A (zh) * | 2017-12-27 | 2018-06-29 | 浙江新再灵科技股份有限公司 | 基于视频分析扶梯异常运行状态检测的方法 |
CN108596946A (zh) * | 2018-03-21 | 2018-09-28 | 中国航空工业集团公司洛阳电光设备研究所 | 一种运动目标实时检测方法及系统 |
-
2019
- 2019-03-08 CN CN201910176531.9A patent/CN109900331A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130064454A1 (en) * | 2005-07-11 | 2013-03-14 | Canon Kabushiki Kaisha | Information processing apparatus and method |
CN102564508A (zh) * | 2011-12-14 | 2012-07-11 | 河海大学 | 基于视频图像的河流流量在线测验实现方法 |
CN103745452A (zh) * | 2013-11-26 | 2014-04-23 | 理光软件研究所(北京)有限公司 | 相机外参评估方法、装置、相机外参标定方法和装置 |
CN104036522A (zh) * | 2014-04-16 | 2014-09-10 | 嘉兴博海信息科技有限公司 | 一种基于视频中运动目标识别的流水速度监测方法 |
CN108230305A (zh) * | 2017-12-27 | 2018-06-29 | 浙江新再灵科技股份有限公司 | 基于视频分析扶梯异常运行状态检测的方法 |
CN108596946A (zh) * | 2018-03-21 | 2018-09-28 | 中国航空工业集团公司洛阳电光设备研究所 | 一种运动目标实时检测方法及系统 |
Non-Patent Citations (2)
Title |
---|
刘国华: "《HALCON数字图像处理》", 31 May 2018, 西安电子科技大学出版社 * |
李刚: "基于图像处理的山溪性河流流速测量研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111089625A (zh) * | 2019-12-13 | 2020-05-01 | 国网浙江省电力有限公司紧水滩水力发电厂 | 一种模拟双目视觉的河流流量实时监测系统及方法 |
GB2598384B (en) * | 2020-08-29 | 2023-10-04 | Linx Printing Tech Limited | Ink jet printer and method of monitoring an ink jet printer |
CN112686204A (zh) * | 2021-01-12 | 2021-04-20 | 昆明理工大学 | 一种基于稀疏像素点跟踪的视频测流方法及装置 |
CN112686204B (zh) * | 2021-01-12 | 2022-09-02 | 昆明理工大学 | 一种基于稀疏像素点跟踪的视频测流方法及装置 |
CN113436119A (zh) * | 2021-08-25 | 2021-09-24 | 上海海栎创科技股份有限公司 | 基于光流对齐的双目手机预览实时计算视差图方法 |
CN113436119B (zh) * | 2021-08-25 | 2021-12-28 | 上海海栎创科技股份有限公司 | 基于光流对齐的双目手机预览实时计算视差图方法 |
CN113804917A (zh) * | 2021-09-17 | 2021-12-17 | 山东新一代信息产业技术研究院有限公司 | 一种基于点扩散估计的河流表面流速测量方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109900331A (zh) | 基于深度相机特征跟踪的河流流量在线检测方法 | |
KR101996992B1 (ko) | 옵티컬 플로우 영상 처리를 이용하는 하천 유속 측정 장치 및 방법 | |
Benetazzo | Measurements of short water waves using stereo matched image sequences | |
Fujita et al. | Development of a non‐intrusive and efficient flow monitoring technique: The space‐time image velocimetry (STIV) | |
CN111798386B (zh) | 一种基于边缘识别与最大序列密度估计的河道流速测量方法 | |
Lippmann et al. | Quantification of sand bar morphology: A video technique based on wave dissipation | |
Mead et al. | Predicting the breaking intensity of surfing waves | |
CN103996171B (zh) | 基于时空图像的流体运动矢量估计方法 | |
KR102523451B1 (ko) | 드론 영상 기반의 하천 유속 측정을 위한 장치 및 방법 | |
CN107077740A (zh) | 用于确定移动流体表面的速度的方法和系统 | |
CN110473260A (zh) | 一种波浪视频测量装置及方法 | |
CN108845317B (zh) | 一种基于分层介质格林函数的频域逆时偏移方法 | |
CN110796681A (zh) | 一种用于船舶协同工作的视觉定位系统及方法 | |
CN109443476A (zh) | 一种水位波动过程非接触量测装置及方法 | |
Menna et al. | Towards real-time underwater photogrammetry for subsea metrology applications | |
CN104359422B (zh) | 一种钻孔摄像探测空腔几何轮廓的装置及方法 | |
Buyer et al. | Extraction of discontinuity orientations in point clouds | |
Ahn et al. | Shoreline change monitoring using high resolution digital photogrammetric technique | |
CN106443674B (zh) | 一种基于衍射和成像与最小熵技术的探地雷达波速估计方法 | |
Partama et al. | A simple and empirical refraction correction method for UAV-based shallow-water photogrammetry | |
KR102462351B1 (ko) | 옵티컬 플로우를 활용한 상호상관법의 탐색영역 결정방법 | |
Kuo et al. | Implementation of inverse perspective mapping for camera-vision water-level measurements | |
Papantoniou et al. | Recent advances in 3-D particle tracking velocimetry | |
CN116047112A (zh) | 测量流体表面流速的方法、装置及存储介质 | |
Esquivel et al. | Reconstruction of sewer shaft profiles from fisheye-lens camera images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190618 |