CN116342656A - 一种基于自适应边缘检测的时空图像测速方法和装置 - Google Patents

一种基于自适应边缘检测的时空图像测速方法和装置 Download PDF

Info

Publication number
CN116342656A
CN116342656A CN202310319512.3A CN202310319512A CN116342656A CN 116342656 A CN116342656 A CN 116342656A CN 202310319512 A CN202310319512 A CN 202310319512A CN 116342656 A CN116342656 A CN 116342656A
Authority
CN
China
Prior art keywords
gradient
image
space
threshold
velocimetry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310319512.3A
Other languages
English (en)
Other versions
CN116342656B (zh
Inventor
郑树
袁泽瑞
俞孝文
宋文婕
相东
才伟光
陆强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China Electric Power University
Original Assignee
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Electric Power University filed Critical North China Electric Power University
Priority to CN202310319512.3A priority Critical patent/CN116342656B/zh
Publication of CN116342656A publication Critical patent/CN116342656A/zh
Application granted granted Critical
Publication of CN116342656B publication Critical patent/CN116342656B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P5/00—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft
    • G01P5/26—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft by measuring the direct influence of the streaming fluid on the properties of a detecting optical wave
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Abstract

本发明提供一种基于自适应边缘检测的时空图像测速方法和装置，所述方法包括：获取相平面坐标与实际空间直角坐标关系以进行相机标定；选取测速线以生成时空图像；对时空图像进行高斯滤波；基于高斯滤波后的时空图像，采用Sobel算子计算梯度强度和梯度方向；应用非极大值抑制技术NMS来消除时空图像的边缘误检；基于消除边缘误检的时空图像，进行双阈值检测以分割边缘信息与背景，得到二值图；对二值图进行二维傅里叶变换得到频谱图；基于频谱图，采用设置搜索线求积分的方法确定纹理主方向；根据测速线的实际长度及纹理主方向，计算河流表面流速。本发明能够实现对河流视频边缘信息的准确、实时提取，满足流速测量实时、准确的要求。

Description

一种基于自适应边缘检测的时空图像测速方法和装置
技术领域
本发明涉及图像处理领域，具体地涉及一种基于自适应边缘检测的时空图像测速方法和装置。
背景技术
在水文学中，流速数据是水文研究最为基础的数据之一，也是许多水文研究的基础。在当前洪水与干旱等极端情况频发的情况下，对于及时获取河流流速信息的需求更为迫切。传统测速方法使用旋桨式测速仪、声学多普勒测速仪、雷达波测速仪等仪器进行测量，虽然具有测量精度高的优点，但是成本高、实时性不够、检测范围窄，难以满足大规模系统部署的需要。随着计算机视觉技术的进步和成本的降低，采用视频图像进行流速检测成为一种可能。
Fujita等人首次提出了时空图像测速技术，在频域上对时空图像进行去噪处理的方法：利用傅里叶变换计算原始时空图像的频域特性，随后根据累计亮度统计特性生成一张主特征掩码，然后通过掩码和原图像点积相乘保留主要的特征。该技术用来获得整条河道的径向流速分布。但是，传统的时空图像测速法对河流视频边缘信息的提取不准确，难以满足流速测量实时、准确的要求。
发明内容
本发明实施例的目的是提供一种基于自适应边缘检测的时空图像测速方法和装置，该基于自适应边缘检测的时空图像测速方法和装置能够实现对河流视频边缘信息的准确、实时提取，满足流速测量实时、准确的要求。
为了实现上述目的，本发明实施例提供一种基于自适应边缘检测的时空图像测速方法，所述方法包括：获取相平面坐标(x,y)与实际空间直角坐标(X,Y,Z)关系以进行相机标定；根据采集到的监测区域的视频图像，选取测速线以生成时空图像；对所述时空图像进行高斯滤波；基于高斯滤波后的时空图像，采用Sobel算子计算梯度强度和梯度方向；根据所述梯度强度和所述梯度方向，应用非极大值抑制技术NMS来消除时空图像的边缘误检；基于消除边缘误检的时空图像，进行双阈值检测以分割边缘信息与背景，得到二值图；对二值图进行二维傅里叶变换得到频谱图；基于所述频谱图，采用设置搜索线求积分的方法确定纹理主方向；根据所述测速线的实际长度及所述纹理主方向，计算河流表面流速。
优选地，获取相平面坐标(x,y)与实际空间直角坐标(X,Y,Z)关系以进行相机标定包括：通过以下公式确定相平面坐标(x,y)与实际空间直角坐标(X,Y,Z)关系：
Figure BDA0004151163630000021
其中，(xp,yp)为像主点的相平面坐标，(Xp,Yp,Zp)为相机的实际空间直角坐标，f为焦距，(Δx，Δy)为镜头畸变校正数，rij(i，j＝1-3)为两个坐标的转换系数。
优选地，对所述时空图像进行高斯滤波包括：所述高斯滤波中，模板的系数通过以下公式得到：
Figure BDA0004151163630000022
Figure BDA0004151163630000031
Figure BDA0004151163630000032
其中，(x,y)为每一个像素的相平面坐标，(xo,yo)为中心点坐标，σ为标准差，F为灰度值，μ为总体均值，N为总体例数。
优选地，基于高斯滤波后的时空图像，采用Sobel算子计算梯度强度和梯度方向包括：用水平方向的卷积核Gx来检测y方向的梯度分量gy，用垂直方向的卷积核Gy来检测x方向的梯度分量gx，两个卷积核为：
Figure BDA0004151163630000033
将所述时空图像中的每个像素分别和这两个卷积核做卷积，得到梯度方向和梯度大小，其中卷积核滑动步长为1，梯度方向用如下公式计算：
Figure BDA0004151163630000034
梯度大小M用如下公式计算：
Figure BDA0004151163630000035
其中，gy为为梯度在y方向上的分量，gx为梯度在x方向上的分量。
优选地，根据所述梯度强度和所述梯度方向，应用非极大值抑制技术NMS来消除时空图像的边缘误检包括：将梯度方向近似为下值中的一个：0°，45°，90°，135°，180°，225°，270°，315°；比较每个像素点和其梯度方向正负方向的像素点的梯度大小；如果该像素点梯度大小最大则保留，否则置为0。
优选地，基于消除边缘误检的时空图像，进行双阈值检测以分割边缘信息与背景，得到二值图包括：确定阈值上界maxVal和阈值下界minVal；将所述时空图像中像素点梯度值大于所述阈值上界maxVal的像素点的梯度值置为1，小于所述阈值下界minVal的像素点的梯度值置为0；查看大于等于所述阈值下界minVal，小于等于所述阈值上界maxVal的弱边缘像素点的8个邻域像素，在至少其中一个邻域像素的梯度值大于所述阈值上界maxVal时，将所述弱边缘像素点的梯度值置为1，在没有一个邻域像素的梯度值大于所述阈值上界maxVal时，将所述弱边缘像素点的梯度值置为0。
优选地，确定阈值上界maxVal和阈值下界minVal包括：通过以下公式计算小于所述阈值上界maxVal的像素点占整幅时空图像的比例和大于所述阈值上界maxVal的像素点占整幅时空图像的比例：
ω0＝N0/(M×N)
ω1＝N1/(M×N)
利用以下公式计算整幅时空图像的平均梯度值：
μ＝ω0×μ0+ω1×μ1
利用以下公式计算图像的类间方差：
σB＝ω0×(μ0-μ)2+ω1×(μ1-μ)2
其中，N0为小于所述阈值上界maxVal的梯度个数，N1为大于所述阈值上界maxVal的梯度个数，M×N为时空图像大小，σB为类间方差，μ0为小于所述阈值上界maxVal的梯度平均值，μ1为大于所述阈值上界maxVal的梯度平均值，μ为整幅时空图像的梯度平均值，ω0为小于所述阈值上界maxVal的像素点占整幅时空图像的比例，ω1为大于所述阈值上界maxVal的像素点占整幅时空图像的比例；
采用遍历的方法得到使类间方差σB最大的所述阈值上界maxVal，并取所述阈值下界minVal为所述阈值上界maxVal的一半。
优选地，基于所述频谱图，采用设置搜索线求积分的方法确定纹理主方向包括：以点(M/2，N/2)为原点，M和N中的短边为半径建立极坐标系；在极坐标系中设置一条过原点且半径为R的搜索线，对于固定的角度γ计算线积分：
Figure BDA0004151163630000051
在0～180°的半圆空间内以0.1°为步进进行搜索，以F(γ)取最大值时对应的γ为纹理主方向。
优选地，根据所述测速线的实际长度及所述纹理主方向，计算河流表面流速包括：通过以下公式计算河流表面流速
F＝W×tan(γ)
T＝F/fps
V＝W/T
其中，F为水流在测速线上的流动帧差，W为所述测速线的实际长度，fps为视频帧率，T为对应的流动时间，γ为纹理主方向，V为河流表面流速。
本发明实施例还提供一种基于自适应边缘检测的时空图像测速装置，该装置包括：标定单元、处理单元以及计算单元，其中，所述标定单元用于获取相平面坐标(x,y)与实际空间直角坐标(X,Y,Z)关系以进行相机标定；所述处理单元用于：根据采集到的监测区域的视频图像，选取测速线以生成时空图像；对所述时空图像进行高斯滤波；基于高斯滤波后的时空图像，采用Sobel算子计算梯度强度和梯度方向；根据所述梯度强度和所述梯度方向，应用非极大值抑制技术NMS来消除时空图像的边缘误检；基于消除边缘误检的时空图像，进行双阈值检测以分割边缘信息与背景，得到二值图；对二值图进行二维傅里叶变换得到频谱图；基于所述频谱图，采用设置搜索线求积分的方法确定纹理主方向；所述计算单元用于根据所述测速线的实际长度及所述纹理主方向，计算河流表面流速。
通过上述技术方案，本发明实施例提供了一种基于自适应边缘检测的时空图像测速方法和装置应用自适应算法选取双阈值，对灰度梯度进行双阈值检测，实用性强，结果可靠，能够实现对河流视频边缘信息的准确、实时提取，满足流速测量实时、准确的要求。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1是本发明一实施例提供的基于自适应边缘检测的时空图像测速方法的流程图；
图2是本发明一实施例提供的监测区域的图像；
图3是本发明一实施例提供的时空图像；
图4是本发明一实施例提供的使用传统时空图像测速法得到的二值图；
图5是本发明一实施例提供的通过传统方式得到的二值图确定的频谱图；
图6是本发明一实施例提供的通过本发明的方法得到的二值图；
图7是本发明一实施例提供的计算流速和实际流速的对比折线图；
图8是本发明一实施例提供的基于自适应边缘检测的时空图像测速装置的结构框图。
附图标记说明
1 标定单元 2 处理单元
3计算单元
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
图1是本发明一实施例提供的基于自适应边缘检测的时空图像测速方法的流程图。如图1所示，所述方法包括：
步骤S101，获取相平面坐标(x,y)与实际空间直角坐标(X,Y,Z)关系以进行相机标定；
其中，首先进行相机的标定，在现场设定6个或6个以上的地面标定牌，用全站仪测出它们相对于测站点的实际空间直角坐标，其相平面坐标则可直接从视频图像中获得。
相平面坐标(x,y)与实际空间直角坐标(X,Y,Z)的关系如下
Figure BDA0004151163630000071
式中，(xp,yp)表示像主点的相平面坐标，(Xp,Yp,Zp)表示相机的实际空间直角坐标，f表示焦距，(Δx，Δy)表示镜头畸变校正数，rij(i，j＝1-3)是两个坐标的转换系数；
步骤S102，根据采集到的监测区域的视频图像，选取测速线以生成时空图像；
其中，接着进行监测区域图像序列采集，如图2所示，选取水文特征较明显的流段，确定监测区域。使用相机正对实验流段，拍摄一段时长15秒，每秒30帧的视频并传输到计算机，准备合成时空图像。
按照水流方向设置长度为300像素，宽度为1像素的测速线。根据测速线的像素坐标位置，遍历i(i＝1-400)帧图像并提取测速线的灰度，并按照从上往下的顺序进行排列，即得到时空图像。其中，时空图像的横坐标代表测速线的长度，纵坐标代表视频拍摄时间。
时空图像中可看到由涟漪、波纹、泡沫等水面特征移动产生的方向一致的纹理，这种纹理与水平方向的夹角为纹理主方向，如图3所示。
步骤S103，对所述时空图像进行高斯滤波；
其中，对时空图像进行高斯滤波，即用一个模板扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值，模板系数服从二维高斯函数；
Figure BDA0004151163630000081
式中(x,y)为每一个像素的相平面坐标，(xo,yo)为中心点坐标，σ为标准差。用模板对时空图像进行图像卷积，实现高斯滤波。高斯滤波器模板的生成最重要的参数就是高斯分布的标准差σ，传统高斯滤波标准差需要人工选取，无法实现实时性。本发明对每一个像素点进行标准差计算，计算公式如下：
Figure BDA0004151163630000082
Figure BDA0004151163630000083
其中F为灰度值，μ为总体均值，N为总体例数。将标准差及各像素点坐标代入公式(1)得到模板系数；将各像素点灰度值与对应模板系数相乘再相加；以相同步骤遍历所有像素点，完成高斯滤波。
步骤S104，基于高斯滤波后的时空图像，采用Sobel算子计算梯度强度和梯度方向；
其中，在完成高斯滤波后寻找边缘，即灰度强度变化最强的位置，用水平方向的卷积核Gx来检测y方向的梯度分量gy，用垂直方向的卷积核Gy来检测x方向的梯度分量gx，两个卷积核如下所示:
Figure BDA0004151163630000091
将图像中的每个像素分别和这两个卷积核做卷积，卷积核滑动步长为1，得到梯度的方向和大小，梯度方向用如下公式计算：
Figure BDA0004151163630000092
式中gy为为梯度在y方向上的分量，gx为梯度在x方向上的分量。
梯度大小M用如下公式计算：
Figure BDA0004151163630000093
步骤S105，根据所述梯度强度和所述梯度方向，应用非极大值抑制技术NMS来消除时空图像的边缘误检；
其中，将梯度方向近似为下值中的一个：0°，45°，90°，135°，180°，225°，270°，315°；
比较该像素点和其梯度方向正负方向的像素点的梯度强度；
如果该像素点梯度强度最大则保留，否则置为0。用如下公式表示:
Figure BDA0004151163630000094
步骤S106，基于消除边缘误检的时空图像，进行双阈值检测以分割边缘信息与背景，得到二值图；
其中，经过非极大值抑制后图像中仍然有很多噪声点，对图像进行双阈值检测可以去除噪声点，同时将有效信息即边缘信息与背景分割。设定一个阈值上界maxVal和一个阈值下界minVal，图像中的像素点梯度值如果大于阈值上界则认为必然是边界(称为强边缘，strong edge)，梯度值置为1；小于阈值下界则认为必然不是边界，梯度值置为0；两者之间的则认为是候选项(称为弱边缘，weak edge)，需进行进一步处理，弱边缘和不是边界可归为非强边缘。利用滞后技术来跟踪边界，通过查看弱边缘像素及其8个邻域像素，只要其中一个为强边缘像素，则该弱边缘点就可以保留为真实的边缘，梯度值置为1，否则置为0。相较于设置一个阈值边界，双阈值检测增加了一次选择，在两个阈值边界之间再进行一步选择，以减小对非边缘信息的误检并尽可能保留边缘信息。完成双阈值检测可得到二值图。
步骤S107，对二值图进行二维傅里叶变换得到频谱图；
其中，图4为使用传统时空图像测速法得到的二值图，可见对时空图像直接进行双阈值检测，在去除噪声点方面有良好效果，但对边缘的检测效果不佳，图5为由该二值图得到的频谱图，其线条不清晰，且亮度分布不均匀，会影响后续纹理主方向的计算。本发明对梯度MT(m,n)进行双阈值检测，运用最大类间方差法自适应地确定双阈值，设置一阈值上界，按图像的梯度特性，将图像分成强边缘和非强边缘两部分。两部分之间的类间方差越大说明构成图像的两部分的差别越大，当部分非强边缘错分为强边缘或部分强边缘错分为非强边缘都会导致两部分差别变小。因此使类间方差最大的分割意味着错分概率最小。步骤如下：
利用下式计算小于阈值上界的像素点占整幅图像的比例和大于阈值上界的像素点占整幅图像的比例：
ω0＝N0/(M×N) (8)
ω1＝N1/(M×N) (9)
式中N0为小于阈值上界maxVal的梯度个数，N1为大于阈值上界的梯度个数，M×N为图像大小，ω0表示小于阈值上界的像素点占整幅图像的比例，ω1表示大于阈值上界的像素点占整幅图像的比例；
利用公式计算整幅图像的平均梯度值：
μ＝ω0×μ0+ω1×μ1 (10)
μ0为小于阈值上界的梯度平均值，μ1为大于阈值上界的梯度平均值，μ为整幅图像的梯度平均值；
利用下式计算图像的类间方差：
σB＝ω0×(μ0-μ)2+ω1×(μ1-μ)2 (11)
式中σB为类间方差。改写公式(11)得到等效公式:
σB＝ω0×ω1×(μ0-μ1)2 (12)
采用遍历的方法得到使类间方差σB最大的阈值上界maxVal，取minVal＝maxVal/2。
在得到阈值上界和阈值下界后，进行以下操作：
图像中的像素点梯度值如果大于阈值上界则认为是强边缘像素，梯度值置为1；小于阈值下界则认为不是边界，梯度值置为0；两者之间的为弱边缘像素，需进行进一步处理，弱边缘和不是边界可归为非强边缘。利用滞后技术来跟踪边界，通过查看弱边缘像素及其8个邻域像素，只要其中一个为强边缘像素，则该弱边缘点就可以保留为真实的边缘，梯度值置为1，否则置为0。相较于设置一个阈值边界，双阈值检测增加了一次选择，在两个阈值边界之间再进行一步选择，以减小对非边缘信息的误检并尽可能保留边缘信息。图6为使用本发明实际操作得到的二值图。
步骤S108，基于所述频谱图，采用设置搜索线求积分的方法确定纹理主方向；
其中，二维傅里叶变换公式如下:
Figure BDA0004151163630000121
F(u,v)表示频域图像；f(x,y)表示时域图像，在本发明中即二值图。对频域图像进行频移，将零频点移到频谱的中间，对频移后频域图像进行对数变换，公式如下：
S(u,v)＝log[F(u.v)|+1] (14)
其中S(u,v)表示频谱图。
纹理主方向在频谱图中表现为过中心坐标，亮度最大的一条直线。本发明采用一种设置搜索线求积分的方法得到这条直线，具体步骤如下：
以点(M/2，N/2)为原点，M和N中的短边为半径建立极坐标系；
在极坐标系中设置一条过原点且半径为R的搜索线，对于固定的角度γ计算线积分：
Figure BDA0004151163630000122
在0～180°的半圆空间内以0.1°为步进进行搜索，F(γ)取最大值时对应的γ即为纹理主方向。
步骤S109，根据所述测速线的实际长度及所述纹理主方向，计算河流表面流速。
其中，通过相机的标定，依据(1)式算出时空图像上任意一点的实际空间直角坐标，从而求得所设置测速线的实际长度。
获得纹理主方向以及测速线实际长度后，代入下列公式即可求得表面流速：
F＝W×tan(γ) (16)
T＝F/fps (17)
V＝W/T (18)
式中F为水流在测速线上的流动帧差，W为测速线长度，fps为视频帧率，T为对应的流动时间。
以下提供一实施例如下：
如图7所示，图7为本发明一实施例提供的计算流速和实际流速的对比折线图。应用该基于自适应边缘检测的时空图像测速法对河流进行流速检测得到流速Vn，应用传统时空图像测速法对河流进行流速检测得到流速Vm，在视频图像不同位置选取测速线计算流速，与流速仪测得实际流速Vr对比，并计算误差。通过对比分析实验数据，发现传统时空图像测速法由于边缘信息未能被很好得分离出来，导致纹理主方向计算不准确，比人工选取标记点测得的纹理主方向小2°-3°，引起流速Vm大于实际流速Vr和应用本发明得到的流速Vn，且相对误差较大，而本发明得到的时空图像测速法能很好地分离出边缘信息，测得Vn相对误差较小，在10％～13％之间。
表1流速仪流速和两种时空图像测速法所得流速及相对误差
Vr(m/s) Vm(m/s) Vn(m/s)
1 0.1676 0.2129 0.1974
2 0.1496 0.2231 0.1931
3 0.1577 0.1966 0.1848
4 0.1633 0.2164 0.1986
5 0.1846 0.2026 0.1896
6 0.2125 0.1921 0.1937
7 0.1549 0.2126 0.1981
8 0.1856 0.2157 0.1797
9 0.1689 0.2269 0.2087
10 0.1665 0.2067 0.1895
平均值 0.1711 0.2106 0.1933
相对误差 / 23.1％ 12.9％
图8是本发明一实施例提供的基于自适应边缘检测的时空图像测速装置的结构框图。如图8所示，该装置包括：标定单元1、处理单元2以及计算单元3，其中，所述标定单元1用于获取相平面坐标(x,y)与实际空间直角坐标(X,Y,Z)关系以进行相机标定；所述处理单元2用于：根据采集到的监测区域的视频图像，选取测速线以生成时空图像；对所述时空图像进行高斯滤波；基于高斯滤波后的时空图像，采用Sobel算子计算梯度强度和梯度方向；根据所述梯度强度和所述梯度方向，应用非极大值抑制技术NMS来消除时空图像的边缘误检；基于消除边缘误检的时空图像，进行双阈值检测以分割边缘信息与背景，得到二值图；对二值图进行二维傅里叶变换得到频谱图；基于所述频谱图，采用设置搜索线求积分的方法确定纹理主方向；所述计算单元3用于根据所述测速线的实际长度及所述纹理主方向，计算河流表面流速。
上述基于自适应边缘检测的时空图像测速装置与上文所述的基于自适应边缘检测的时空图像测速方法的实施例类似，在此不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于自适应边缘检测的时空图像测速方法，其特征在于，所述方法包括：
获取相平面坐标(x,y)与实际空间直角坐标(X,Y,Z)关系以进行相机标定；
根据采集到的监测区域的视频图像，选取测速线以生成时空图像；
对所述时空图像进行高斯滤波；
基于高斯滤波后的时空图像，采用Sobel算子计算梯度强度和梯度方向；
根据所述梯度强度和所述梯度方向，应用非极大值抑制技术NMS来消除时空图像的边缘误检；
基于消除边缘误检的时空图像，进行双阈值检测以分割边缘信息与背景，得到二值图；
对二值图进行二维傅里叶变换得到频谱图；
基于所述频谱图，采用设置搜索线求积分的方法确定纹理主方向；
根据所述测速线的实际长度及所述纹理主方向，计算河流表面流速。
2.根据权利要求1所述的基于自适应边缘检测的时空图像测速方法，其特征在于，获取相平面坐标(x,y)与实际空间直角坐标(X,Y,Z)关系以进行相机标定包括：
通过以下公式确定相平面坐标(x,y)与实际空间直角坐标(X,Y,Z)关系：
Figure FDA0004151163620000011
其中，(xp,yp)为像主点的相平面坐标，(Xp,Yp,Zp)为相机的实际空间直角坐标，f为焦距，(Δx，Δy)为镜头畸变校正数，rij(i，j＝1-3)为两个坐标的转换系数。
3.根据权利要求1所述的基于自适应边缘检测的时空图像测速方法，其特征在于，对所述时空图像进行高斯滤波包括：
所述高斯滤波中，模板的系数通过以下公式得到：
Figure FDA0004151163620000021
Figure FDA0004151163620000022
Figure FDA0004151163620000023
其中，(x,y)为每一个像素的相平面坐标，(xo,yo)为中心点坐标，σ为标准差，F为灰度值，μ为总体均值，N为总体例数。
4.根据权利要求1所述的基于自适应边缘检测的时空图像测速方法，其特征在于，基于高斯滤波后的时空图像，采用Sobel算子计算梯度强度和梯度方向包括：
用水平方向的卷积核Gx来检测y方向的梯度分量gy，用垂直方向的卷积核Gy来检测x方向的梯度分量gx，两个卷积核为：
Figure FDA0004151163620000024
将所述时空图像中的每个像素分别和这两个卷积核做卷积，得到梯度方向和梯度大小，其中卷积核滑动步长为1，梯度方向用如下公式计算：
Figure FDA0004151163620000031
梯度大小M用如下公式计算：
Figure FDA0004151163620000032
其中，gy为为梯度在y方向上的分量，gx为梯度在x方向上的分量。
5.根据权利要求1所述的基于自适应边缘检测的时空图像测速方法，其特征在于，根据所述梯度强度和所述梯度方向，应用非极大值抑制技术NMS来消除时空图像的边缘误检包括：
将梯度方向近似为下值中的一个：0°，45°，90°，135°，180°，225°，270°，315°；
比较每个像素点和其梯度方向正负方向的像素点的梯度大小；
如果该像素点梯度大小最大则保留，否则置为0。
6.根据权利要求1所述的基于自适应边缘检测的时空图像测速方法，其特征在于，基于消除边缘误检的时空图像，进行双阈值检测以分割边缘信息与背景，得到二值图包括：
确定阈值上界maxVal和阈值下界minVal；
将所述时空图像中像素点梯度值大于所述阈值上界maxVal的像素点的梯度值置为1，小于所述阈值下界minVal的像素点的梯度值置为0；
查看大于等于所述阈值下界minVal，小于等于所述阈值上界maxVal的弱边缘像素点的8个邻域像素，在至少其中一个邻域像素的梯度值大于所述阈值上界maxVal时，将所述弱边缘像素点的梯度值置为1，在没有一个邻域像素的梯度值大于所述阈值上界maxVal时，将所述弱边缘像素点的梯度值置为0。
7.根据权利要求6所述的基于自适应边缘检测的时空图像测速方法，其特征在于，确定阈值上界maxVal和阈值下界minVal包括：
通过以下公式计算小于所述阈值上界maxVal的像素点占整幅时空图像的比例和大于所述阈值上界maxVal的像素点占整幅时空图像的比例：
ω0＝N0/(M×N)
ω1＝N1/(M×N)
利用以下公式计算整幅时空图像的平均梯度值：
μ＝ω0×μ0+ω1×μ1
利用以下公式计算图像的类间方差：
σB＝ω0×(μ0-μ)2+ω1×(μ1-μ)2
其中，N0为小于所述阈值上界maxVal的梯度个数，N1为大于所述阈值上界maxVal的梯度个数，M×N为时空图像大小，σB为类间方差，μ0为小于所述阈值上界maxVal的梯度平均值，μ1为大于所述阈值上界maxVal的梯度平均值，μ为整幅时空图像的梯度平均值，ω0为小于所述阈值上界maxVal的像素点占整幅时空图像的比例，ω1为大于所述阈值上界maxVal的像素点占整幅时空图像的比例；
采用遍历的方法得到使类间方差σB最大的所述阈值上界maxVal，并取所述阈值下界minVal为所述阈值上界maxVal的一半。
8.根据权利要求1所述的基于自适应边缘检测的时空图像测速方法，其特征在于，基于所述频谱图，采用设置搜索线求积分的方法确定纹理主方向包括：
以点(M/2，N/2)为原点，M和N中的短边为半径建立极坐标系；
在极坐标系中设置一条过原点且半径为R的搜索线，对于固定的角度γ计算线积分：
Figure FDA0004151163620000051
在0～180°的半圆空间内以0.1°为步进进行搜索，以F(γ)取最大值时对应的γ为纹理主方向。
9.根据权利要求1所述的基于自适应边缘检测的时空图像测速方法，其特征在于，根据所述测速线的实际长度及所述纹理主方向，计算河流表面流速包括：
通过以下公式计算河流表面流速
F＝W×tan(γ)
T＝F/fps
V＝W/T
其中，F为水流在测速线上的流动帧差，W为所述测速线的实际长度，fps为视频帧率，T为对应的流动时间，γ为纹理主方向，V为河流表面流速。
10.一种基于自适应边缘检测的时空图像测速装置，其特征在于，该装置包括：
标定单元、处理单元以及计算单元，其中，
所述标定单元用于获取相平面坐标(x,y)与实际空间直角坐标(X,Y,Z)关系以进行相机标定；
所述处理单元用于：
根据采集到的监测区域的视频图像，选取测速线以生成时空图像；
对所述时空图像进行高斯滤波；
基于高斯滤波后的时空图像，采用Sobel算子计算梯度强度和梯度方向；
根据所述梯度强度和所述梯度方向，应用非极大值抑制技术NMS来消除时空图像的边缘误检；
基于消除边缘误检的时空图像，进行双阈值检测以分割边缘信息与背景，得到二值图；
对二值图进行二维傅里叶变换得到频谱图；
基于所述频谱图，采用设置搜索线求积分的方法确定纹理主方向；所述计算单元用于根据所述测速线的实际长度及所述纹理主方向，计算河流表面流速。
CN202310319512.3A 2023-03-29 2023-03-29 一种基于自适应边缘检测的时空图像测速方法和装置 Active CN116342656B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310319512.3A CN116342656B (zh) 2023-03-29 2023-03-29 一种基于自适应边缘检测的时空图像测速方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310319512.3A CN116342656B (zh) 2023-03-29 2023-03-29 一种基于自适应边缘检测的时空图像测速方法和装置

Publications (2)

Publication Number Publication Date
CN116342656A true CN116342656A (zh) 2023-06-27
CN116342656B CN116342656B (zh) 2024-04-26

Family

ID=86883639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310319512.3A Active CN116342656B (zh) 2023-03-29 2023-03-29 一种基于自适应边缘检测的时空图像测速方法和装置

Country Status (1)

Country Link
CN (1) CN116342656B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117196999A (zh) * 2023-11-06 2023-12-08 浙江芯劢微电子股份有限公司 一种自适应视频流图像边缘增强方法和系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120082385A1 (en) * 2010-09-30 2012-04-05 Sharp Laboratories Of America, Inc. Edge based template matching
CN103996171A (zh) * 2014-05-05 2014-08-20 河海大学 基于时空图像的流体运动矢量估计方法
CN105678737A (zh) * 2015-12-24 2016-06-15 华北电力大学（保定） 一种基于Radon变换的数字图像角点检测方法
CN109977829A (zh) * 2019-03-18 2019-07-05 江河瑞通（北京）技术有限公司 基于图像识别分析技术的流速检测方法及装置
US20190213420A1 (en) * 2018-01-09 2019-07-11 Qualcomm Incorporated Adaptive object detection and recognition
WO2020147398A1 (zh) * 2019-01-17 2020-07-23 平安科技（深圳）有限公司 翻拍图像检测方法、装置、计算机设备及存储介质
CN113689473A (zh) * 2021-10-26 2021-11-23 武汉大学 基于变分原理的河道表面流速计算方法及装置
CN114581470A (zh) * 2022-02-16 2022-06-03 三峡大学 一种基于植物群落行为的图像边缘检测方法
CN114663374A (zh) * 2022-03-14 2022-06-24 深圳蓄能发电有限公司 一种基于双边滤波和伽马变换的隧道墙体裂缝检测方法
CN115456916A (zh) * 2022-11-11 2022-12-09 武汉大水云科技有限公司 一种基于图像质量的表面流速计算方法
CN115713492A (zh) * 2022-11-02 2023-02-24 佳源科技股份有限公司 一种架空输电线路覆冰检测与预警系统
CN115761563A (zh) * 2022-09-27 2023-03-07 武汉大水云科技有限公司 一种基于光流测算的河流表面流速的计算方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120082385A1 (en) * 2010-09-30 2012-04-05 Sharp Laboratories Of America, Inc. Edge based template matching
CN103996171A (zh) * 2014-05-05 2014-08-20 河海大学 基于时空图像的流体运动矢量估计方法
CN105678737A (zh) * 2015-12-24 2016-06-15 华北电力大学（保定） 一种基于Radon变换的数字图像角点检测方法
US20190213420A1 (en) * 2018-01-09 2019-07-11 Qualcomm Incorporated Adaptive object detection and recognition
WO2020147398A1 (zh) * 2019-01-17 2020-07-23 平安科技（深圳）有限公司 翻拍图像检测方法、装置、计算机设备及存储介质
CN109977829A (zh) * 2019-03-18 2019-07-05 江河瑞通（北京）技术有限公司 基于图像识别分析技术的流速检测方法及装置
CN113689473A (zh) * 2021-10-26 2021-11-23 武汉大学 基于变分原理的河道表面流速计算方法及装置
CN114581470A (zh) * 2022-02-16 2022-06-03 三峡大学 一种基于植物群落行为的图像边缘检测方法
CN114663374A (zh) * 2022-03-14 2022-06-24 深圳蓄能发电有限公司 一种基于双边滤波和伽马变换的隧道墙体裂缝检测方法
CN115761563A (zh) * 2022-09-27 2023-03-07 武汉大水云科技有限公司 一种基于光流测算的河流表面流速的计算方法及系统
CN115713492A (zh) * 2022-11-02 2023-02-24 佳源科技股份有限公司 一种架空输电线路覆冰检测与预警系统
CN115456916A (zh) * 2022-11-11 2022-12-09 武汉大水云科技有限公司 一种基于图像质量的表面流速计算方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TING ZHANG: "Trajectory Prediction based on Constraints of Vehicle Kinematics and Social Interaction", 《2020 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS (SMC)》, 14 December 2020 (2020-12-14) *
张振: "频域时空图像测速法的图像滤波器敏感性分析", 《仪器仪表学报》, 28 February 2022 (2022-02-28) *
王嘉俊;段先华;: "改进Canny算子在水面目标边缘检测中的研究", 计算机时代, no. 01, 14 January 2020 (2020-01-14) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117196999A (zh) * 2023-11-06 2023-12-08 浙江芯劢微电子股份有限公司 一种自适应视频流图像边缘增强方法和系统
CN117196999B (zh) * 2023-11-06 2024-03-12 浙江芯劢微电子股份有限公司 一种自适应视频流图像边缘增强方法和系统

Also Published As

Publication number Publication date
CN116342656B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN108242062B (zh) 基于深度特征流的目标跟踪方法、系统、终端及介质
CN110031843B (zh) 基于roi区域的sar图像目标定位方法、系统、装置
TWI676963B (zh) 目標獲取方法及設備
Tiwari et al. Review of motion blur estimation techniques
US7430303B2 (en) Target detection method and system
CN107220988B (zh) 基于改进canny算子的零部件图像边缘提取方法
CN111080661B (zh) 基于图像的直线检测方法、装置以及电子设备
US20120328161A1 (en) Method and multi-scale attention system for spatiotemporal change determination and object detection
EP1881454A1 (en) Image processing for change detection
US20150279021A1 (en) Video object tracking in traffic monitoring
CN110852997B (zh) 动态图像清晰度检测方法、装置、电子设备及存储介质
CN111027546B (zh) 一种字符分割方法、装置以及计算机可读存储介质
CN116342656B (zh) 一种基于自适应边缘检测的时空图像测速方法和装置
US20220128358A1 (en) Smart Sensor Based System and Method for Automatic Measurement of Water Level and Water Flow Velocity and Prediction
Tiwari et al. Blur parameters identification for simultaneous defocus and motion blur
US20230046545A1 (en) Tilt variance method of detecting and accounting for true motion of imagery subject to atmospheric turbulence
CN111160260A (zh) 一种sar图像目标检测方法及系统
Roy et al. Removal of ‘salt & pepper’noise from color images using adaptive fuzzy technique based on histogram estimation
CN106778822B (zh) 基于漏斗变换的图像直线检测方法
CN112613456A (zh) 一种基于多帧差分图像累积的小目标检测方法
CN111462099A (zh) 一种基于快速积分图监测的图像细胞区域定位方法
CN111445435A (zh) 一种基于多区块小波变换的无参考图像质量评价方法
Shi et al. Dissimilar pixel counting based impulse detector for two-phase mixed noise removal
CN113111883B (zh) 车牌检测方法、电子设备及存储介质
CN114429593A (zh) 基于快速导向滤波的红外小目标检测方法及其应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant