CN115409741A - 一种利用河流表面色差测量泥沙含量的机器视觉识别算法 - Google Patents

一种利用河流表面色差测量泥沙含量的机器视觉识别算法 Download PDF

Info

Publication number
CN115409741A
CN115409741A CN202211357681.8A CN202211357681A CN115409741A CN 115409741 A CN115409741 A CN 115409741A CN 202211357681 A CN202211357681 A CN 202211357681A CN 115409741 A CN115409741 A CN 115409741A
Authority
CN
China
Prior art keywords
image
river surface
river
sediment content
shot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211357681.8A
Other languages
English (en)
Other versions
CN115409741B (zh
Inventor
梁波
乐零陵
刘亚青
崔磊
朱钊
谌睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changjiang Institute of Survey Planning Design and Research Co Ltd
Original Assignee
Changjiang Institute of Survey Planning Design and Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changjiang Institute of Survey Planning Design and Research Co Ltd filed Critical Changjiang Institute of Survey Planning Design and Research Co Ltd
Priority to CN202211357681.8A priority Critical patent/CN115409741B/zh
Publication of CN115409741A publication Critical patent/CN115409741A/zh
Application granted granted Critical
Publication of CN115409741B publication Critical patent/CN115409741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种利用河流表面色差测量泥沙含量的机器视觉识别算法。它包括如下步骤，步骤一：获取待测江面的图像；步骤二：去噪处理，图像增强；步骤三：对所摄江面图像中的颜色进行由RGB模型到HSL模型的转换；步骤四：基于K‑means算法对所摄江面图像进行分别，进而提取江面颜色特征值；步骤五：预测目标观测断面的泥沙含量；步骤六：基于获得的大量的江面颜色，采用CNN‑LSTM网络混合模型预测观测断面泥沙含量趋势。本发明具有能实现无传感器、无接触、无需取样的流动水体泥沙含量状态监测的优点。

Description

一种利用河流表面色差测量泥沙含量的机器视觉识别算法
技术领域
本发明涉及水利水电及人工智能领域，更具体的说是一种利用河流表面色差测量泥沙含量的机器视觉识别算法。更具体的说是一种根据河流的表面颜色色差和河水悬移质含量的对应关系，通过机器视觉精准识别河水表面色差达到能无接触、不采样条件下测量出河流泥沙含量的方法。本发明还涉及利用表面色差高精度识别测量河流泥沙含量的机器视觉系统。
背景技术
在水利水电工程中，河流泥沙含量往往对工程设施的运行有着重要影响，如对水电站水轮机转轮的磨损、对闸门及启闭机门槽的侵蚀等，都会对水利水电设施的长期运行构成直接影响因素； 另外，在有泥石流、洪水发生时，河流泥沙含量急剧上升，在一定流速下对水利设施会产生巨大的破坏力，因此河流的泥沙含量，特别是悬移质泥沙含量非常有必要进行实时、在线的监测；
目前河流的泥沙含量监测通常采用河水取样测量方法，受取样条件的限制，特别是在河流流速较高（如汛期、洪水期），人工取样不仅困难，采样分析得到结果的时间也较长，更无法实现实时、在线的长期泥沙含量监测，不仅对水利水电设施缺乏有效的泥沙含量运行影响监测，也容易在某些如洪水、泥石流等突发情况下由于没有及时预警而导致的安全危害；
因此，开发一种实现无传感器、无接触、无需取样的流动水体泥沙含量状态监测方法及系统很有必要。
发明内容
本发明的目的是为了提供一种利用河流表面色差测量泥沙含量的机器视觉识别算法，基于河流水面在自然光或人工照明下的色差，通过机器视觉人工智能算法，可对视域内的河流的泥沙悬移质含量进行实时在线的高精度识别和测量，从而实现无传感器、无接触、无需取样的流动水体泥沙含量状态监测，本方法同样适用湖泊、水库、水池等非流动的静止水体泥沙含量的在线监测，系统装置简洁、成本低，具有十分显著的社会效益和经济效益；克服了现有技术通过人工取样不仅困难，采样分析得到结果的时间也较长，更无法实现实时、在线的长期泥沙含量监测，不仅对水利水电设施缺乏有效的泥沙含量运行影响监测，也容易在某些如洪水、泥石流等突发情况下由于没有及时预警而导致的安全危害的缺陷；具体应用时，本发明针对某条具体的河流，根据泥沙含量在河流中的某一区域范围内呈现的水体颜色的关系，基于高分辨率、全彩图像机器视觉识别和算法，直接读取得到水中泥沙含量。
为了实现上述目的，本发明的技术方案为：一种利用河流表面色差测量泥沙含量的机器视觉识别算法，其特征在于：通过本发明的色差识别和对应的流量算法，在不接触水体、无需采样的情况下高精度获得河水泥沙含量信息，特别是悬移质泥沙含量的信息，并能通过阙值的设置以及不同区段泥沙含量（通过河水表面颜色色差反映）的对比，对泥沙含量过高、洪水、泥石流等情况进行预报，保证河流所在工程安全、设备安全、运行安全；
具体方法，包括如下步骤，
步骤一：获取待测江面的图像；
通过利用表面色差高精度识别测量河流泥沙含量的机器视觉系统中的图像采集卡、图像采集模块获取待测江面的图像；
步骤二：采用中值滤波和8领域连通区域对所摄江面图像进行去噪处理，采用直方图均衡化方法进行图像增强；
步骤三：对所摄江面图像中的颜色进行由RGB模型到HSL模型的转换；
步骤四：基于K-means算法对所摄江面图像进行区分，进而提取江面颜色特征值；
步骤五：采用多项Logistic模型对江面颜色和泥沙含量的关系进行分析，从而预测目标观测断面的泥沙含量；本发明通过利用表面色差高精度识别测量河流泥沙含量的机器视觉系统的机器识别及AI算法处理单元实现图像增强、提取江面颜色特征值以及预测目标观测断面的泥沙含量；
本发明通过图像去燥、图像增强、图像分割等基于机器视觉图像颜色色差的识别算法实现无接触、无内置传感器、无需采样的目标对象颜色的高精度参数识别、获取、预知、预警，通过多项Logistic模型分析河流表面颜色与泥沙含量的关系，实现泥沙含量的测量；本发明对机器视觉高精度识别的色差的变化率按流动或非流动（静止）水体表面的场景进行基于安全系数的阙值设定，并根据和阙值的比对发出如泥石流、局部水华等危险状态的预警；水体机器视觉色差识别对应变化率△aC/day、△aC/week或△aC/month基于卷积神经网络（CNN）和长短期记忆（LSTM）网络结合的机器深度学习，提出预防极端天气的方案；
步骤六：基于获得的大量的江面颜色，采用CNN-LSTM网络混合模型预测观测断面泥沙含量趋势（如图3所示）；本发明通过利用表面色差高精度识别测量河流泥沙含量的机器视觉系统的深度学习单元实现预测观测断面泥沙含量趋势；本发明通过卷积神经网络（CNN）和长短期记忆（LSTM）网络结合的预测方法，挖掘海量数据中蕴含的有效信息，分析目标断面泥沙含量的变化趋势，提高测量精度。
在上述技术方案中，在步骤二中，采用中值滤波对所摄江面图像进行去噪处理的具体方法为：滤波器对所摄江面图像的像素点在3×3范围内计算中值，用于替换图像中目标像素；
采用8领域连通区域对所摄江面图像进行去噪处理的具体方法为：采用8领域连通区域分析所摄江面图像，将相同像素值的相邻像素组成集合，历遍整个图像并为每一个连通区域设置标记，完成连通域分析；设置连通域面积删除國值，通过所摄江面图像删除像素面积小于该國值的连通域，进而在保证所摄江面目标完整性的前提下，去除可见漂浮物、杂草等其它大规模的干扰像素；
结合中值滤波和8领域连通区域阈值去燥有效地抑制由于不同原因形成的噪声，进而保持所摄江面图像的完整性，以便于对江面颜色进行分析；
采用直方图均衡化方法对所摄江面图像进行图像增强处理的具体方法为：对所摄江面图像中的所有像素点进行灰度拉伸，并对每个像素值点的像素值进行重新分配，是使像素点重新分配后的江面图像的各个灰度级的灰度分布均匀，图像增强处理后的图像的灰度范围变广，进而使图像的对比度得到提高；具体的数学表达式如下所示：
Figure 576988DEST_PATH_IMAGE001
（1）
Figure 314000DEST_PATH_IMAGE002
（2）
公式（1）用于计算所摄江面图像中灰度为
Figure 368544DEST_PATH_IMAGE003
的像素点出现的概率；
公式（1）中，
Figure 798388DEST_PATH_IMAGE004
表示所摄江面图像中第i个灰度级像素的数量；L表示图像中灰度级的总数，N表示图像中像素点的总数
公式（2）用于计算累积函数
Figure 774434DEST_PATH_IMAGE005
，用于对
Figure 49558DEST_PATH_IMAGE006
进行灰度的映射归一化；图像经直方图均衡化处理后能够在视觉体验上得到一定的改善。
在上述技术方案中，在步骤三中，对所摄江面图像中的颜色进行由RGB模型到HSL模型的转换的具体方法为：首先利用RGB颜色模型提取所摄江面区域像素点，然后将提取的像素点转换到HSL颜色模型中，并计算HSL各分量的均值；
HSL模型中的方位角H的取值表示图像中不同的颜色，坐标的径向距离S的取值表示图像中颜色的饱和度，坐标高度L的取值表示图像中颜色显示的明暗状态，H、S、L的值均是通过RGM模型的参数转换而成，其数学模型可表达如下：
Figure 693029DEST_PATH_IMAGE007
（3）
Figure 74200DEST_PATH_IMAGE008
（4）
Figure 803122DEST_PATH_IMAGE009
（5）
公式（3）-（5）中，
Figure 881936DEST_PATH_IMAGE010
，
Figure 911072DEST_PATH_IMAGE011
，
Figure 417140DEST_PATH_IMAGE012
，
Figure 633358DEST_PATH_IMAGE013
，
Figure 250284DEST_PATH_IMAGE014
；在HSL模型中，所摄江面图像的饱和度是从等价的灰色逐渐到达完全饱和，而亮度是从最小值的黑色经过不同颜色最终达到最大值白色。
在上述技术方案中，在步骤四中，基于K-means算法对所摄江面图像进行分割，进而提取江面颜色特征值的具体方法为：
采用K-means聚类算法对所摄江面图像进行图像分割，把从目标江面图像中读取到的数据划分为k类，然后利用迭代搜索等方法寻找相似的数据，并将其归为一类，其数学模型可表示如下：
Figure 602768DEST_PATH_IMAGE015
（6）
公式（6）计算指标E，其表示每个特征点与其各自对应类的平均值的距离和，而K-means算法的目标是在迭代搜索的过程中使得指标E的值最小；公式（6）中，x=（x1，x2）是在所摄江面图像中任意一个像素的坐标值，g（x）是该像素点的特征值，
Figure 545316DEST_PATH_IMAGE016
表示第i次迭代计算后赋予第k类的特征点集合，
Figure 779988DEST_PATH_IMAGE017
表示第i+1次迭代时第k类的平均值；
在对所摄江面图像进行分割后，对该图像中的目标特征（江面的颜色特征）进行提取，具体方法为：本发明采用的图像色差的识别进行基于图像模型色彩色差分析计算得到水体悬移质（泥沙含量）的算法，对机器视觉高精度识别的色差按运用场景进行基于安全系数的阙值设定，并根据和阙值的比对发出危险泥沙状态的预警，提高检测精度；
对所摄图像中江面的颜色特征进行提取后，根据K-means聚类算法得到的图像分割结果，选取目标江面图像中的n个特征点，并记录不同特征点的数学模型
Figure 200605DEST_PATH_IMAGE018
，然后可以根据公式（7）计算该断面的泥沙含量
Figure 407596DEST_PATH_IMAGE019
（Sediment content）；
Figure 255466DEST_PATH_IMAGE020
（7）
该关系函数通过采用模型预测方法对历史数据得到，由于外部光照会随着时间发生变化，进而影响本发明中对于江面颜色的分析和读取，因此将时间t作为变化因素包含在关系函数中进行预测。
在上述技术方案中，在步骤五中，采用多项Logistic模型对江面颜色和泥沙含量的关系进行分析，从而预测目标观测断面的泥沙含量的具体方法为：
在分析和预测江面颜色与观测断面泥沙含量的关系时，该方法将把江面颜色与观测断面泥沙含量的关系分为M个类别，并对其分别进行两两组合，最终将其（即江面颜色与观测断面泥沙含量的关系）转化为二分类问题，其中与江面颜色对用的预测数量最多的泥沙含量则作为最终的预测结果；
通过Sigmoid函数将输出特征值的形式由连续的形式转化为0/1的形式，进而得到具有分类概率模型性质的函数；其数学表达式如下：
Figure 180697DEST_PATH_IMAGE021
(8)
Figure 936163DEST_PATH_IMAGE022
(9)
公式（8）表示输出的
Figure 263239DEST_PATH_IMAGE023
函数的计算法，该
Figure 547590DEST_PATH_IMAGE023
函数的图像呈S型曲线；该函数的性质为：若
Figure 507587DEST_PATH_IMAGE024
时，
Figure 270006DEST_PATH_IMAGE025
，
Figure 451589DEST_PATH_IMAGE026
，若
Figure 641262DEST_PATH_IMAGE027
时，
Figure 541085DEST_PATH_IMAGE028
，
Figure 903933DEST_PATH_IMAGE029
；基于此，公式（9）为计算Y的概率分布函数表达式；采用此方法得到目标河流观测断面的泥沙含量；当监测对象水体中的泥沙含量超过设定阙值时，发出预警信号。
在上述技术方案中，在步骤六中，基于获得的大量的江面颜色，采用CNN-LSTM网络混合模型预测观测断面泥沙含量趋势的具体方法为：
以观测断面泥沙含量的时间序列特征图作为网络的输入，将某一时刻观测断面泥沙含量的特征串联成向量表示,进而形成一个全新的时间序列数据；CNN模型采用局部连接和共享权值的方式来提取数据特征,直接从原始数据中通过卷积层和池化层交替使用来获取有效表征，自动提取数据的局部特征，并建立稠密、完备的特征向量；
LSTM网络通过增加额外的遗忘门解决在模型训练中“梯度消失”的问题，其计算公式如下：
Figure 2339DEST_PATH_IMAGE030
（10）
Figure 628492DEST_PATH_IMAGE031
(11)
Figure 796037DEST_PATH_IMAGE032
(12)
Figure 900260DEST_PATH_IMAGE033
(13)
Figure 56435DEST_PATH_IMAGE034
(14)
Figure 587910DEST_PATH_IMAGE035
(15)
公式(10)- (15)中，
Figure 196746DEST_PATH_IMAGE036
，
Figure 166976DEST_PATH_IMAGE037
，
Figure 177657DEST_PATH_IMAGE038
，
Figure 145613DEST_PATH_IMAGE039
，
Figure 976166DEST_PATH_IMAGE040
和
Figure 422191DEST_PATH_IMAGE041
分别表示网络中遗忘门、输入门、输入节点、输出门、状态单元和中间输出的状态，
Figure 552958DEST_PATH_IMAGE042
和
Figure 222974DEST_PATH_IMAGE043
分别表示sigmoid函数变化和tanh函数变化，
Figure 806402DEST_PATH_IMAGE044
和
Figure 56118DEST_PATH_IMAGE045
分别表示与输入与中间输出相乘的矩阵权重，
Figure 838129DEST_PATH_IMAGE046
分别表示偏置项，
Figure 147887DEST_PATH_IMAGE047
表示各向量按元素相乘；
本发明通过卷积神经网络（CNN）和长短期记忆（LSTM）网络结合的预测方法，挖掘海量数据中蕴含的有效信息，分析目标断面泥沙含量的变化趋势；当采用CNN模型对观测断面泥沙含量进行特征提取后，LSTM网络主要负责对观测断面泥沙含量的趋势进行预测；
具体的预测方法为：设置4层LSTM网络层，并通过随机失活方法用于防止模型的过拟合，在全连接层可以输出指定格式的向量，即输出泥沙含量的趋势分析，并发出预报预警。
在上述技术方案中，利用表面色差高精度识别测量河流泥沙含量的机器视觉系统，其特征在于：包括光学系统、图像采集模块、图像处理系统和预警等状态输出交互界面；
光学系统设置在流动或静止的水体的侧方；流动或静止的水体为泥沙含量识别的目标对象，包括流动的水体，如自然河流、干渠、运河等；静止的水体，如湖泊、水库、蓄水池等；
图像采集模块设置在光学系统侧方、且位于光学系统侧方；
图像采集模块、图像处理系统和输出交互界面依次连接；
图像处理系统包括图像采集卡、机器识别及AI算法处理单元和深度学习单元；图像采集模块、图像采集卡、机器识别及AI算法处理单元、深度学习单元、输出交互界面依次；将图像采集卡采集到的图片输入到机器识别及AI算法处理单元和深度学习单元进行识别和分析；
机器识别及AI算法处理单元分别与输出交互界面、深度学习单元、图像采集模块和光学系统连接；图像采集卡用于对工业级相机镜头获取的图像采集和预处理，数据接口根据分辨率和帧率决定传输带宽，结合传输距离可选择USB3.0、Camera Link或GigE接口；
机器识别及AI算法处理单元通过高速、高动态的机器视觉成像，借助色彩色差的识别算法，高精度识别水体表面的颜色色差值，结合和水体悬移质比例和色差的对应关系，得到目标河流观测断面的泥沙含量（悬移质的百分比）；通过本发明的色差识别和对应的流量算法，能在不接触水体、无需采样的情况下高精度获得河水泥沙，特别是悬移质泥沙含量的信息，并能通过阙值的设置以及不同区段泥沙含量（通过河水表面颜色色差反映）的对比，对泥沙含量过高、洪水、泥石流等预报，保证河流所在工程安全、设备安全、运行安全；
深度学习单元用于对实时获得的水体泥沙含量进行时域上的对比分析和深度学习，当发生突然变化趋势时，可对如洪水洪峰、泥石流、水华（静止或流速低的水体）等现象进行智能识别和预报、预警；
电源控制箱通过控制电缆分别与光学系统、图像采集模块和输出交互界面连接；电源及控制电缆用于连接上述设备的动力电缆接入和控制电缆连接（如图1、图2所示）。
在上述技术方案中，图像采集模块选用高分辨率、低帧率的工业级相机；光学系统相机设置和标定，相机为高分辨率、低帧频的单目或多目相机，根据监测的目标为彩色成像相机；
工业级相机选择面阵相机或线阵相机；
对水体颜色色差的识别，优选用面阵相机；在识别水体表面色差的情景下，可选用高动态、全彩相机；相机分辨率根据实际图像幅宽与精度要求计算，本例要求高精度、色差动态识别，因此选择较高分辨率1920像素×1080像素；一般即本例为长期状态监测，由于水体泥沙含量的变化速度较慢，帧率可选用低帧率如1fps；由于本例相机一般位置固定，因此镜头可采用定焦、固定光圈。
在上述技术方案中，光学系统为正面或正侧面的补充光源（夜间条件）；一般情况下，工业级相机在自然光线下即可识别流动或静止的水体，专用光源是考虑夜间条件下的水体泥沙含量识别所必要的补充光源，识别目标对象的颜色色差，可选用正面或正侧面光源，并避免反光、炫光对色差识别的影响；本发明方法对自然光对河流表面的颜色色差进行高精度识别，在没有自然光的夜晚也可设置照明设备对河水表面进行识别和测量。
在上述技术方案中，预警装置设置在输出交互界面上，用于当发生超过预警阙值的泥沙含量或变化量（单位时间）时，发出预警信号；
输出交互界面为趋势状态输出显示装置，用于深度学习单元在水体表面色差-时间参数分析下的流动或静止水体的泥沙含量变化趋势的状态输出和显示；
本发明中的利用河流表面色差测量泥沙含量的机器视觉识别算法采用的系统，通过光学系统提供补充光源、通过工业相机在线实时获取河流等流动或静止的水体的图像，并将图像传递给图像采集卡，机器识别及AI算法处理单元识别图像采集卡中获取的水体表面的颜色色差值，得到目标河流观测断面的泥沙含量，深度学习单元对实时获得的水体泥沙含量进行时域上的对比分析和深度学习，当发生突然变化趋势时进行智能识别和预报、预警并通过输出交互界面显示、通过预警装置发出警报（如图4所示）；
本发明利用河流等水体表面的颜色和水体内泥沙含量的对应关系，通过自然光或夜间人工光照对水体表面进行基于机器视觉图像色差的识别，通过高精度识别图像的色差耦合水体流速参数因素，可根据色差-水体悬移质比例（含量）的非线性关系通过算法得到水体泥沙含量百分比，实现无传感器、无接触、无需取样的流动水体泥沙含量状态监测。
本发明技术方案的优点及积极效果如下：
（1）本方法识别精度偏差（δ）统计平均值＜5%，表面色差和悬移质关联精度（识别测量有效率）达到95%，在固定断面实现机器学习方式下的高精度识别和测量；
（2）本发明的方法无传感器、无接触、无需取样的流动水体泥沙含量状态监测，大大提高了河流泥沙含量测量的效率，极大减少了常规水体采样测量的劳动强度和风险，特别是对于河流断面大、流速快、河中取样困难时，更是提供了创新性的泥沙在线监测手段，对电站安全运行和流域防洪安全等都具有重要的意义；
（3）本发明由于不需在河道中实时采样测量，能长时间在线监测河流某断面、多断面的水体泥沙含量和变化趋势，通过趋势分析，能及时有效提供突发洪水等预警、预报，保证河流所在地的工程、设备、行洪等运行安全；克服了现有技术通过人工取样不仅困难，采样分析得到结果的时间也较长，更无法实现实时、在线的长期泥沙含量监测及快速响应，不仅对水利水电设施缺乏有效的泥沙含量运行影响监测，也容易在某些如洪水、泥石流等突发情况下由于没有及时预警而导致的安全危害；
（4）本发明能对自然光对河流表面的颜色色差进行高精度识别，在没有自然光的夜晚也可设置照明设备对河水表面进行识别和测量。
附图说明
图1为本发明利用河流表面色差测量泥沙含量的机器视觉识别算法示意图一；
图2为本发明利用河流表面色差测量泥沙含量的机器视觉识别算法示意图二；
图3为本发明利用表面色差高精度识别测量河流泥沙含量的方法原理流程框图；
图4为本发明利用河流表面色差测量泥沙含量的机器视觉识别算法采用的系统的结构框图；
在图1中，A1表示照明及控制电缆；A2表示控制及数据电缆；
图中1-光学系统，2-图像采集模块，3-图像处理系统，31-机器识别及AI算法处理单元，32-深度学习单元，4-输出交互界面，5-流动或静止的水体，6-预警装置，7-电源控制箱。
具体实施方式
下面结合附图详细说明本发明的实施情况，但它们并不构成对本发明的限定，仅作举例而已。同时通过说明使本发明的优点更加清楚和容易理解。
本发明的机器视觉人工智能算法可利用机器视觉的图像去燥、图像增强、图像分割等算法，对自然光条件下的河流表面的颜色色差进行高精度识别，并通过多项Logistic模型分析河流表面颜色与泥沙含量的关系，实现泥沙含量的测量，在没有自然光的夜晚也可设置照明设备对河水表面进行识别和测量；通过本发明的色差识别和对应的流量算法，能在不接触水体、无需采样的情况下高精度获得河水泥沙，特别是悬移质泥沙含量的信息，并能通过阙值的设置以及不同区段泥沙含量（通过河水表面颜色色差反映）的对比，通过卷积神经网络（CNN）和长短期记忆（LSTM）网络结合的预测方法，挖掘海量数据中蕴含的有效信息，分析目标断面泥沙含量的变化趋势，对泥沙含量过高、洪水、泥石流等预报，保证河流所在工程安全、设备安全、运行安全；
本发明的方法可用在水力水电工程上述重要、关键设备安全运行的场景，也可用于如干渠、运河、湖泊等水体泥沙含量的识别及测量的场景。
实施例：现以本发明适用于某水电站上游至某大坝下游的某河流泥沙含量的识别和测量为实施例对本发明进行详细说明，对本发明应用于其它流动或静止的水体的泥沙含量的识别和测量同样具有指导作用。
本实施例中的某河流为自然河流，其他流动、非流动水体场景的机器视觉识别方法同理类推；
某江设置在某水电站和某大坝之间的区段由于受上游某水电站的调蓄作用，水体泥沙含量较小，其下游30km的某坝电站来水的泥沙较大程度取决于某枢纽的运行方式，如在某大坝泄洪时，该区段江水会明显变浑浊，而在枯水期某水电站高位蓄水发电时，该段江水明显变清；因此某坝-某水电站区段的某江长度不长，但清混变化较多，江水泥沙含量实时监测困难；
本实施例采用本发明方法进行泥沙含量的识别和测量，具体方法为：首先在需要观测和测量泥沙含量的江面段安装固定的机器视觉光学系统，对准目标江面设置正面相机或正侧面相机，使江面水体的图像在标定相机视域范围内；对应相机镜头图像范围，设置LED光源补光（用于夜间照明），满足现场高清晰成像的照度要求；相机为工业级，1920像素×1080d像素，选用1fps帧率；采用图像采集卡用于上述工业级相机镜头获取的图像采集和预处理，数据接口根据上述分辨率和帧率所决定传输带宽选择USB3.0接口；
然后对通过高速、高动态的机器视觉成像，借助色彩色差的识别算法，高精度识别水体表面的颜色色差值，结合和水体悬移质比例和色差的对应关系，得到目标河流观测断面的泥沙含量（悬移质的百分比）；
当监测对象水体中的泥沙含量超过设定阙值时，发出预警信号；并根据泥沙含量（悬移质百分比）在两个或多个时间序列上的△C（悬移质）/day、△C/week或△C/month以及对应的变化率△aC/day、△aC/week或△aC/month通过BP神经网络或SVMC（支持向量机）算法的机器深度学习输出泥沙含量的趋势分析，并发出预报预警；
机器视觉方法测试该江段从汛期的悬移质最大0.30kg/m3到枯期的0.05kg/m3范围内，本方法识别精度偏差（δ）统计平均值＜5%，表面色差和悬移质关联精度（识别测量有效率）达到95%，在固定断面实现机器学习方式下的高精度识别和测量；本例△C、△aC根据在该处河流断面，同时考虑水流速，均采用0.01kg/m3为基准参数，预警设定阈值分汛期和枯期两种情形，分别为0.25kg/m3、0.10kg/m3；
本实施例主要研究河流表面色差与目标观测断面泥沙含量的关系，采用常规滤波对所摄江面图像进行处理会使图像变模糊并弱化目标细节，而且可能会改变所摄江面图像表面像素点的颜色值；采用中值滤波对所摄江面图像进行处理能够更利于对河流表面颜色特征的提取；中值滤波是局部非线性滤波，其主要原理是滤波器对所摄江面图像的像素点在3×3范围内计算中值，用于替换图像中目标像素，该方法利用了噪声点分布的特点,对于椒盐噪声的滤波效果很好。然而，中值滤波对于所摄江面图像中的高斯噪声滤波效果不好，存在边缘模糊现象，而且不能很好的去除可见的疵点；为了解决中值滤波无法去除大面积噪声像素的问题，需要进一步地采用8领域连通区域分析所摄江面图像，将相同像素值的相邻像素组成集合，历遍整个图像并为每一个连通区域设置标记，完成连通域分析。设置连通域面积删除國值,通过所摄江面图像删除像素面积小于该國值的连通域。进而在保证所摄江面目标完整性的前提下，去除可见漂浮物、杂草等其它大规模的干扰像素。结合中值滤波和8领域连通区域阈值去燥能够有效地抑制由于不同原因形成的噪声，进而保持所摄江面图像的完整性，以便于对江面颜色进行分析；
对于需要分析表面颜色的江面而言，野外的大雾天气以及光照环境会使得其采集的图像质量下降，导致难以准确辨认江面颜色。因此需要提供相应的图像增强算法对所摄江面图像进行处理。本实施例主要采用直方图均衡化方法对所摄江面图像进行图像增强处理。直方图均衡化方法的工作原理为对所摄江面图像中的所有像素点进行灰度拉伸，并对每个像素值点的像素值进行重新分配，目的是使像素点重新分配后的江面图像的各个灰度级的灰度分布均匀；采用该方法后的图像的灰度范围变广，进而使其对比度得到提高。具体的数学表达式如下所示：
Figure 953032DEST_PATH_IMAGE048
（1）
Figure 6439DEST_PATH_IMAGE049
（2）
公式（1）计算了所摄江面图像中灰度为
Figure 846219DEST_PATH_IMAGE003
的像素点出现的概率；公式（1）中，
Figure 608770DEST_PATH_IMAGE004
表示所摄江面图像中第i个灰度级像素的数量；L表示图像中灰度级的总数，N表示图像中像素点的总数；公式（2）计算了累积函数
Figure 901211DEST_PATH_IMAGE005
，用于对
Figure 758308DEST_PATH_IMAGE006
进行灰度的映射归一化；图像经直方图均衡化处理后能够在视觉体验上得到一定的改善；
获得所摄江面的增强图像后，为了结合颜色均值对特征提取方法对江面颜色进行分析，本实施例首先利用RGB颜色模型提取所摄江面区域像素点，然后将提取的像素点转换到HSL颜色模型中，并计算HSL各分量的均值。RGB颜色模型是人类根据自身视觉系统原理定义的彩色空间，在计算机图形学领域存在多种不同标准的RGB彩色模型。而HSL模型接近于人类对颜色的感知方式，如采用颜色、颜色的深浅和显示的明暗度等方式来描述色彩。其采用三维圆柱坐标来表示所摄江面图像的色相、饱和度、明暗三个参数。其中，方位角H的取值表示图像中不同的颜色，坐标的径向距离S的取值表示图像中颜色的饱和度，坐标高度L的取值表示图像中颜色显示的明暗状态，其值均是通过RGM模型的参数转换而成。其数学模型可表达如下：
Figure 249333DEST_PATH_IMAGE050
（3）
Figure 900894DEST_PATH_IMAGE051
（4）
Figure 946210DEST_PATH_IMAGE052
（5）
公式（3）-（5）中，
Figure 75840DEST_PATH_IMAGE010
，
Figure 624633DEST_PATH_IMAGE011
，
Figure 509413DEST_PATH_IMAGE012
，
Figure 776446DEST_PATH_IMAGE013
，
Figure 709767DEST_PATH_IMAGE014
；在HSL模型中，所摄江面图像的饱和度是从等价的灰色逐渐到达完全饱和，而亮度是从最小值的黑色经过不同颜色最终达到最大值白色；
基于所摄江面图像的HSL模型提取江面区域并分析江面颜色时，首先需要将其与江岸或其他背景进行分离。本实施例采用K-means聚类算法对其进行图像分割，其原理在于把从目标江面图像中读取到的数据划分为k类，然后利用迭代搜索等方法寻找相似的数据，并将其归为一类；其数学模型可表示如下：
Figure 909804DEST_PATH_IMAGE053
（6）
公式（6）计算了指标E，其表示每个特征点与其各自对应类的平均值的距离和，而K-means算法的目标是在迭代搜索的过程中使得指标E的值最小。公式（6）中，x=（x1，x2）是在所摄江面图像中任意一个像素的坐标值，g（x）是该像素点的特征值，
Figure 168747DEST_PATH_IMAGE016
表示第i次迭代计算后赋予第k类的特征点集合，
Figure 657497DEST_PATH_IMAGE017
表示第i+1次迭代时第k类的平均值。在本实施例所摄江面图像中，一般只有一个目标江面且背景简单，因此采用K-means聚类算法对其进行图像分享能取得较好的效果。在对所摄江面图像进行分割后，需要对该图像中的关键信息，即目标特征进行提取，在本实施例中主要提取图像中江面的颜色特征；
对所摄图像中江面的颜色特征进行提取后，根据K-means聚类算法得到的图像分割结果，选取目标江面图像中的n个特征点，并记录不同特征点的数学模型
Figure 394509DEST_PATH_IMAGE054
，然后可以根据公式（7）计算该断面的泥沙含量
Figure 917894DEST_PATH_IMAGE019
（Sedimentcontent）；
Figure 82159DEST_PATH_IMAGE055
（7）
该关系函数通过采用模型预测方法对历史数据得到，由于外部光照会随着时间发生变化，进而影响本实施例中对于江面颜色的分析和读取，因此将时间t作为变化因素包含在关系函数中进行预测。长江断面泥沙含量预测模型的本质是解决江面颜色数据链的分类问题，可以采用多项Logistic模型进行预测，其分类过程是在二项Logistic回归过程上的延续和发展，具体表现为将多分类任务转化为多个二分类的任务。在分析和预测江面颜色与观测断面泥沙含量的关系时，该方法将把江面颜色与观测断面泥沙含量的关系分为M个类别，并对其分别进行两两组合，最终将其转化为二分类问题，其中与江面颜色对用的预测数量最多的泥沙含量则作为最终的预测结果。对于二分类问题，其输出值仅为0或1，而线性回归模型
Figure 369790DEST_PATH_IMAGE056
（
Figure 910493DEST_PATH_IMAGE057
表示输入样本矩阵X和输出特征向量Y之间的线性关系系数）的输出值却是连续的，因此需要通过Sigmoid函数将输出特征值的形式由连续的形式转化为0/1的形式，进而得到具有分类概率模型性质的函数。其数学表达式如下：
Figure 819543DEST_PATH_IMAGE021
(8)
Figure 420289DEST_PATH_IMAGE022
(9)
公式（8）表示输出的
Figure 883631DEST_PATH_IMAGE023
函数的计算法，该
Figure 962445DEST_PATH_IMAGE023
函数的图像呈S型曲线，该函数的性质为：若
Figure 460423DEST_PATH_IMAGE024
时，
Figure 966491DEST_PATH_IMAGE025
，
Figure 979446DEST_PATH_IMAGE026
，若
Figure 861951DEST_PATH_IMAGE027
时，
Figure 948856DEST_PATH_IMAGE028
，
Figure 625825DEST_PATH_IMAGE029
。基于此，公式（9）计算了Y的概率分布函数表达式。采用此方法得到目标河流观测断面的泥沙含量。当监测对象水体中的泥沙含量超过设定阙值时，发出预警信号；
基于获得的大量江面颜色及观测断面泥沙含量随时间变化数据，采用CNN-LSTM网络混合模型提取当前观测断面泥沙含量的变化趋势。其以观测断面泥沙含量的时间序列特征图作为网络的输入，江面颜色及观测断面泥沙含量等数据实际上都是相互独立的时间序列。为了耦合这些影响预测的特征信息，本实施例参考词向量表示方法，将某一时刻观测断面泥沙含量的特征串联成向量表示，进而形成一个全新的时间序列数据。CNN模型采用局部连接和共享权值的方式来提取数据特征,直接从原始数据中通过卷积层和池化层交替使用来获取有效表征，自动提取数据的局部特征，并建立稠密、完备的特征向量。而LSTM网络是一种改进的时间循环神经网络，通过增加额外的遗忘门解决在模型训练中“梯度消失”的问题，其计算公式如下：
Figure 63760DEST_PATH_IMAGE058
（10）
Figure 281114DEST_PATH_IMAGE059
(11)
Figure 488105DEST_PATH_IMAGE060
(12)
Figure 601554DEST_PATH_IMAGE061
(13)
Figure 74255DEST_PATH_IMAGE062
(14)
Figure 298563DEST_PATH_IMAGE063
(15)
公式(10)- (15)中，
Figure 625639DEST_PATH_IMAGE036
，
Figure 644411DEST_PATH_IMAGE037
，
Figure 791358DEST_PATH_IMAGE038
，
Figure 616095DEST_PATH_IMAGE039
，
Figure 797677DEST_PATH_IMAGE040
和
Figure 252930DEST_PATH_IMAGE041
分别表示网络中遗忘门、输入门、输入节点、输出门、状态单元和中间输出的状态，
Figure 683911DEST_PATH_IMAGE064
和
Figure 250021DEST_PATH_IMAGE065
分别表示sigmoid函数变化和tanh函数变化，
Figure 286111DEST_PATH_IMAGE066
和
Figure 646685DEST_PATH_IMAGE067
分别表示与输入与中间输出相乘的矩阵权重，
Figure 768225DEST_PATH_IMAGE068
分别表示偏置项，
Figure 934764DEST_PATH_IMAGE047
表示各向量按元素相乘。当采用CNN模型对观测断面泥沙含量进行特征提取后，LSTM网络主要负责对观测断面泥沙含量的趋势进行预测。本实施例中设置了4层LSTM网络层，并通过随机失活方法用于防止模型的过拟合，在全连接层可以输出指定格式的向量，即输出泥沙含量的趋势分析，并发出预报预警；
结论：本实施例采用本发明选择在某水电站尾水处下1km的断面进行了技术实施研究和测试，通过本发明机器视觉方法测试结合该江段水文局已有的实际采样测量进行了实测数据和本发明方法的分析对比，时间周期为8个月（6月份汛期到第二年2月份枯期），经对比分析发现，本发明技术方案的优点及积极效果如下：
（1）该江段水文局已有的实际采样测量进行了实测数据和本发明方法分析对比下，从汛期的悬移质最大0.30kg/m3到枯期的0.05kg/m3范围内，本方法识别精度偏差（
Figure 90939DEST_PATH_IMAGE069
）统计平均值＜5%，表面色差和悬移质关联精度（识别测量有效率）达到95%，在固定断面实现机器学习方式下的高精度识别和测量；
（2）本发明的方法无传感器、无接触、无需取样的流动水体泥沙含量状态监测，大大提高了河流泥沙含量测量的效率，极大减少了常规水体采样测量的劳动强度和风险，特别是对于河流断面大、流速快、河中取样困难时，更是提供了创新性的泥沙在线监测手段，对电站安全运行和流域防洪安全等都具有重要的意义；
（3）本发明由于不需在河道中实时采样测量，能长时间在线监测河流某断面、多断面的水体泥沙含量和变化趋势，通过趋势分析，能及时/实时有效提供突发洪水等预警、预报，保证河流所在地的工程、设备、行洪等运行安全；而常规测量方法，由于需要采样，时间长，无法做到本发明方法的实时、快速响应；
（4）本发明能在自然光条件下对河流表面的颜色色差进行高精度识别，在没有自然光的夜晚也可设置照明设备对河水表面进行识别和测量。
其它未说明的部分均属于现有技术。

Claims (10)

1.一种利用河流表面色差测量泥沙含量的机器视觉识别算法，其特征在于：通过色差识别和对应的流量算法，在不接触水体、无需采样的情况下高精度获得河流泥沙含量信息，并通过阙值的设置以及不同区段泥沙含量的对比，对泥沙含量过高、洪水、泥石流这些情况进行预报；
具体方法，包括如下步骤，
步骤一：获取待测江面的图像；
通过利用河流表面色差测量泥沙含量的机器视觉识别算法采用的系统中的图像采集模块获取待测江面的图像；
步骤二：采用中值滤波和8领域连通区域对所摄江面图像进行去噪处理，采用直方图均衡化方法进行图像增强；
步骤三：对所摄江面图像中的颜色进行由RGB模型到HSL模型的转换；
步骤四：基于K-means算法对所摄江面图像进行区分，进而提取江面颜色特征值；
步骤五：采用多项Logistic模型对江面颜色和泥沙含量的关系进行分析，从而预测目标观测断面的泥沙含量；
步骤六：基于获得的江面颜色，采用CNN-LSTM网络混合模型预测观测断面泥沙含量趋势。
2.根据权利要求1所述的利用河流表面色差测量泥沙含量的机器视觉识别算法，其特征在于：在步骤二中，采用中值滤波对所摄江面图像进行去噪处理的具体方法为：滤波器对所摄江面图像的像素点在3×3范围内计算中值，用于替换图像中目标像素；
采用8领域连通区域对所摄江面图像进行去噪处理的具体方法为：采用8领域连通区域分析所摄江面图像，将相同像素值的相邻像素组成集合，历遍整个图像并为每一个连通区域设置标记，完成连通域分析；设置连通域面积删除國值，通过所摄江面图像删除像素面积小于该阙值的连通域，进而在保证所摄江面目标完整性的前提下，去除可见漂浮物、杂草这些干扰像素；
采用直方图均衡化方法对所摄江面图像进行图像增强处理的具体方法为：对所摄江面图像中的所有像素点进行灰度拉伸，并对每个像素值点的像素值进行重新分配，使像素点重新分配后的江面图像的各个灰度级的灰度分布均匀；具体的数学表达式如下所示：
Figure 783570DEST_PATH_IMAGE001
（1）
Figure 938608DEST_PATH_IMAGE002
（2）
公式（1）用于计算所摄江面图像中灰度为
Figure 411178DEST_PATH_IMAGE003
的像素点出现的概率；
公式（1）中，
Figure 806518DEST_PATH_IMAGE004
表示所摄江面图像中第i个灰度级像素的数量；L表示图像中灰度级的总数，N表示图像中像素点的总数；
公式（2）用于计算累积函数
Figure 731749DEST_PATH_IMAGE005
，用于对
Figure 956057DEST_PATH_IMAGE006
进行灰度的映射归一化。
3.根据权利要求1或2所述的利用河流表面色差测量泥沙含量的机器视觉识别算法，其特征在于：在步骤三中，对所摄江面图像中的颜色进行由RGB模型到HSL模型的转换的具体方法为：首先利用RGB颜色模型提取所摄江面区域像素点，然后将提取的像素点转换到HSL颜色模型中，并计算HSL各分量的均值；
HSL模型中的方位角H的取值表示图像中不同的颜色，坐标的径向距离S的取值表示图像中颜色的饱和度，坐标高度L的取值表示图像中颜色显示的明暗状态，H、S、L的值均是通过RGM模型的参数转换而成，数学模型表达如下：
Figure 814291DEST_PATH_IMAGE007
（3）
Figure 98642DEST_PATH_IMAGE008
（4）
Figure 245590DEST_PATH_IMAGE009
（5）
公式（3）-（5）中，
Figure 273588DEST_PATH_IMAGE010
，
Figure 455171DEST_PATH_IMAGE011
，
Figure 441582DEST_PATH_IMAGE012
，
Figure 341404DEST_PATH_IMAGE013
，
Figure 438673DEST_PATH_IMAGE014
。
4.根据权利要求3所述的利用河流表面色差测量泥沙含量的机器视觉识别算法，其特征在于：在步骤四中，基于K-means算法对所摄江面图像进行分割，进而提取江面颜色特征值的具体方法为：
采用K-means聚类算法对所摄江面图像进行图像分割，把从目标江面图像中读取到的数据划分为k类，然后利用迭代搜索方法寻找相似的数据，并将其归为一类；数学模型表示如下：
Figure 740342DEST_PATH_IMAGE015
（6）
公式（6）计算指标E，表示每个特征点与其各自对应类的平均值的距离和，而K-means算法的目标是在迭代搜索的过程中使得指标E的值最小；公式（6）中，x=（x1，x2）是在所摄江面图像中任意一个像素的坐标值，g（x）是该像素点的特征值，
Figure 100916DEST_PATH_IMAGE016
表示第i次迭代计算后赋予第k类的特征点集合，
Figure 222456DEST_PATH_IMAGE017
表示第i+1次迭代时第k类的平均值；
在对所摄江面图像进行分割后，对该图像中的目标特征进行提取，具体方法为：
对所摄图像中江面的颜色特征进行提取后，根据K-means聚类算法得到的图像分割结果，选取目标江面图像中的n个特征点，并记录不同特征点的数学模型
Figure 592257DEST_PATH_IMAGE018
，根据公式（7）计算该断面的泥沙含量
Figure 482853DEST_PATH_IMAGE019
；
Figure 325913DEST_PATH_IMAGE020
（7）。
5.根据权利要求4所述的利用河流表面色差测量泥沙含量的机器视觉识别算法，其特征在于：在步骤五中，采用多项Logistic模型对江面颜色和泥沙含量的关系进行分析，从而预测目标观测断面的泥沙含量的具体方法为：
在分析和预测江面颜色与观测断面泥沙含量的关系时，将江面颜色与观测断面泥沙含量的关系分为M个类别，分别进行两两组合，最终将江面颜色与观测断面泥沙含量的关系转化为二分类问题，其中与江面颜色对应的预测数量最多的泥沙含量则作为最终的预测结果；
通过Sigmoid函数将输出特征值的形式由连续的形式转化为0/1的形式，进而得到具有分类概率模型性质的函数，数学表达式如下：
Figure 934749DEST_PATH_IMAGE021
(8)
Figure 639400DEST_PATH_IMAGE022
(9)
公式（8）表示输出的
Figure 650081DEST_PATH_IMAGE023
函数的计算法，该
Figure 618037DEST_PATH_IMAGE023
函数的图像呈S型曲线，该函数的性质为：若
Figure 448590DEST_PATH_IMAGE024
时，
Figure 160194DEST_PATH_IMAGE025
，
Figure 25382DEST_PATH_IMAGE026
，若
Figure 960976DEST_PATH_IMAGE027
时，
Figure 544405DEST_PATH_IMAGE028
，
Figure 794120DEST_PATH_IMAGE029
；基于此，公式（9）为计算Y的概率分布函数表达式；采用此方法得到目标河流观测断面的泥沙含量；当监测对象水体中的泥沙含量超过设定阙值时，发出预警信号。
6.根据权利要求5所述的利用河流表面色差测量泥沙含量的机器视觉识别算法，其特征在于：在步骤六中，基于获得的江面颜色，采用CNN-LSTM网络混合模型预测观测断面泥沙含量趋势的具体方法为：
以观测断面泥沙含量的时间序列特征图作为网络的输入，将某一时刻观测断面泥沙含量的特征串联成向量表示,进而形成一个全新的时间序列数据；CNN模型采用局部连接和共享权值的方式来提取数据特征,直接从原始数据中通过卷积层和池化层交替使用来获取有效表征，自动提取数据的局部特征，并建立特征向量；
LSTM网络通过增加额外的遗忘门解决在模型训练中“梯度消失”的问题，其计算公式如下：
Figure 513815DEST_PATH_IMAGE030
（10）
Figure 823573DEST_PATH_IMAGE031
(11)
Figure 425456DEST_PATH_IMAGE032
(12)
Figure 478863DEST_PATH_IMAGE033
(13)
Figure 866113DEST_PATH_IMAGE034
(14)
Figure 346773DEST_PATH_IMAGE035
(15)
公式(10)-(15)中，
Figure 639214DEST_PATH_IMAGE036
，
Figure 230732DEST_PATH_IMAGE037
，
Figure 925018DEST_PATH_IMAGE038
，
Figure 373317DEST_PATH_IMAGE039
，
Figure 418634DEST_PATH_IMAGE040
和
Figure 813843DEST_PATH_IMAGE041
分别表示网络中遗忘门、输入门、输入节点、输出门、状态单元和中间输出的状态，
Figure 893794DEST_PATH_IMAGE042
和
Figure 981836DEST_PATH_IMAGE043
分别表示sigmoid函数变化和tanh函数变化，
Figure 983290DEST_PATH_IMAGE044
和
Figure 182190DEST_PATH_IMAGE045
分别表示与输入与中间输出相乘的矩阵权重，
Figure 585490DEST_PATH_IMAGE046
分别表示偏置项，
Figure 641171DEST_PATH_IMAGE047
表示各向量按元素相乘；
当采用CNN模型对观测断面泥沙含量进行特征提取后，LSTM网络负责对观测断面泥沙含量的趋势进行预测；
具体的预测方法为：设置4层LSTM网络层，并通过随机失活方法用于防止模型的过拟合，在全连接层输出指定格式的向量，即输出泥沙含量的趋势分析，并发出预报预警。
7.根据权利要求6所述的利用河流表面色差测量泥沙含量的机器视觉识别算法，其特征在于：利用河流表面色差测量泥沙含量的机器视觉识别算法采用的系统包括光学系统(1)、图像采集模块(2)、图像处理系统(3)和输出交互界面(4)；光学系统(1)设置在流动或静止的水体(5)的侧方；图像采集模块(2)设置在光学系统(1)侧方、且位于流动或静止的水体(5)侧方；
图像采集模块(2)、图像处理系统(3)和输出交互界面(4)依次连接；
图像处理系统(3)包括图像采集卡、机器识别及AI算法处理单元(31)和深度学习单元(32)；将图像采集卡采集到的图片输入到机器识别及AI算法处理单元和深度学习单元 进行识别和分析；
图像采集模块(2)、图像采集卡、机器识别及AI算法处理单元、深度学习单元、输出交互界面依次连接；
机器识别及AI算法处理单元(31)通过高速、高动态的机器视觉成像，借助色彩色差的识别算法，高精度识别水体表面的颜色色差值，结合和水体悬移质比例和色差的对应关系，得到目标河流观测断面的泥沙含量；
深度学习单元(32)用于对实时获得的水体泥沙含量进行时域上的对比分析和深度学习并进行智能识别和预报、预警；
电源控制箱(7)通过控制电缆分别与光学系统(1)、图像采集模块(2)和输出交互界面(4)连接。
8.根据权利要求7所述的利用河流表面色差测量泥沙含量的机器视觉识别算法，其特征在于：图像采集模块(2)选用高分辨率、低帧率的工业级相机；工业级相机选择面阵相机或线阵相机。
9.根据权利要求8所述的利用河流表面色差测量泥沙含量的机器视觉识别算法，其特征在于：光学系统(1)为正面或正侧面的补充光源。
10.根据权利要求9所述的利用河流表面色差测量泥沙含量的机器视觉识别算法，其特征在于：预警装置(6)设置在输出交互界面(4)上，用于当发生超过预警阙值的泥沙含量或变化量时，发出预警信号；
输出交互界面(4)为趋势状态输出显示装置，用于深度学习单元在水体表面色差-时间参数分析下的流动或静止水体的泥沙含量变化趋势的状态输出和显示。
CN202211357681.8A 2022-11-01 2022-11-01 一种利用河流表面色差测量泥沙含量的机器视觉识别方法 Active CN115409741B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211357681.8A CN115409741B (zh) 2022-11-01 2022-11-01 一种利用河流表面色差测量泥沙含量的机器视觉识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211357681.8A CN115409741B (zh) 2022-11-01 2022-11-01 一种利用河流表面色差测量泥沙含量的机器视觉识别方法

Publications (2)

Publication Number Publication Date
CN115409741A true CN115409741A (zh) 2022-11-29
CN115409741B CN115409741B (zh) 2023-02-28

Family

ID=84169327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211357681.8A Active CN115409741B (zh) 2022-11-01 2022-11-01 一种利用河流表面色差测量泥沙含量的机器视觉识别方法

Country Status (1)

Country Link
CN (1) CN115409741B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661154A (zh) * 2022-12-27 2023-01-31 长江勘测规划设计研究有限责任公司 机器视觉识别发电机集电环碳刷接触状态的系统及方法
CN116310760A (zh) * 2023-04-06 2023-06-23 河南禹宏实业有限公司 基于机器视觉的智能水利监测系统
CN116499519A (zh) * 2023-03-21 2023-07-28 珠江水利委员会珠江流域水土保持监测中心站 城市黄泥水信息化感知的监测预警装置及方法
CN116663223A (zh) * 2023-02-09 2023-08-29 北方工业大学 一种基于断波原理的溃坝洪水演进预测方法
CN117274822A (zh) * 2023-11-21 2023-12-22 中国电建集团华东勘测设计研究院有限公司 水土流失监测模型的处理方法、装置和电子设备
CN117968646A (zh) * 2024-02-21 2024-05-03 无锡学院 河道水文测绘监测方法
CN118549616A (zh) * 2024-07-25 2024-08-27 南京光时代生态科技有限公司 一种泥沙含量微型自动监测站及监测方法
CN118644820A (zh) * 2024-08-15 2024-09-13 中铁水利信息科技有限公司 一种水库溢洪道过水监控视觉识别系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110376142A (zh) * 2019-08-20 2019-10-25 陕西中医药大学 中药红花质量等级的检测方法
CN110782455A (zh) * 2019-11-19 2020-02-11 哈尔滨理工大学 一种基于图像处理方法测定原砂的含泥量的新方法
CN111160622A (zh) * 2019-12-09 2020-05-15 北京建筑大学 基于混合神经网络模型的景区客流预测方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110376142A (zh) * 2019-08-20 2019-10-25 陕西中医药大学 中药红花质量等级的检测方法
CN110782455A (zh) * 2019-11-19 2020-02-11 哈尔滨理工大学 一种基于图像处理方法测定原砂的含泥量的新方法
CN111160622A (zh) * 2019-12-09 2020-05-15 北京建筑大学 基于混合神经网络模型的景区客流预测方法和装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661154A (zh) * 2022-12-27 2023-01-31 长江勘测规划设计研究有限责任公司 机器视觉识别发电机集电环碳刷接触状态的系统及方法
CN116663223A (zh) * 2023-02-09 2023-08-29 北方工业大学 一种基于断波原理的溃坝洪水演进预测方法
CN116663223B (zh) * 2023-02-09 2024-05-03 北方工业大学 一种基于断波原理的溃坝洪水演进预测方法
CN116499519A (zh) * 2023-03-21 2023-07-28 珠江水利委员会珠江流域水土保持监测中心站 城市黄泥水信息化感知的监测预警装置及方法
CN116499519B (zh) * 2023-03-21 2023-10-03 珠江水利委员会珠江流域水土保持监测中心站 城市黄泥水信息化感知的监测预警装置及方法
CN116310760A (zh) * 2023-04-06 2023-06-23 河南禹宏实业有限公司 基于机器视觉的智能水利监测系统
CN116310760B (zh) * 2023-04-06 2023-09-22 河南禹宏实业有限公司 基于机器视觉的智能水利监测系统
CN117274822A (zh) * 2023-11-21 2023-12-22 中国电建集团华东勘测设计研究院有限公司 水土流失监测模型的处理方法、装置和电子设备
CN117274822B (zh) * 2023-11-21 2024-06-25 中国电建集团华东勘测设计研究院有限公司 水土流失监测模型的处理方法、装置和电子设备
CN117968646A (zh) * 2024-02-21 2024-05-03 无锡学院 河道水文测绘监测方法
CN118549616A (zh) * 2024-07-25 2024-08-27 南京光时代生态科技有限公司 一种泥沙含量微型自动监测站及监测方法
CN118644820A (zh) * 2024-08-15 2024-09-13 中铁水利信息科技有限公司 一种水库溢洪道过水监控视觉识别系统

Also Published As

Publication number Publication date
CN115409741B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
CN115409741B (zh) 一种利用河流表面色差测量泥沙含量的机器视觉识别方法
CN104112269B (zh) 一种基于机器视觉的太阳能电池激光刻线参数检测方法及系统
CN107506798A (zh) 一种基于图像识别的水位监测方法
CN109740485B (zh) 基于光谱分析和深度卷积神经网络的水库或塘坝识别方法
CN112163496B (zh) 一种基于语义分割的嵌入式终端水库水位预警方法
Benacchio et al. A new methodology for monitoring wood fluxes in rivers using a ground camera: Potential and limits
CN113065578A (zh) 一种基于双路区域注意力编解码的图像视觉语义分割方法
CN108509980B (zh) 一种基于字典学习的水位监测方法
CN110751644B (zh) 道路表面裂纹检测方法
CN111814696A (zh) 一种基于改进YOLOv3的视频船舶目标检测方法
Zhang et al. Flotation bubble size distribution detection based on semantic segmentation
CN115345859A (zh) 隧道渗漏水图像的智能检测方法、装置、设备及存储介质
Jiao et al. A steerable pyramid autoencoder based framework for anomaly frame detection of water pipeline CCTV inspection
CN114639064A (zh) 一种水位识别方法及装置
CN115760850B (zh) 一种利用机器视觉的无标尺识别水位的方法
CN115493740B (zh) 利用机器视觉测量水轮机内部流道压力脉动的方法及系统
CN117372854A (zh) 一种大坝深水结构隐患病害实时检测方法
CN115841557B (zh) 基于数字孪生技术的智能起重机操作环境构建方法
Yang et al. Measure dry beach length of tailings pond using deep learning algorithm
CN115797411B (zh) 一种利用机器视觉在线识别水电站电缆桥架形变的方法
CN116580328A (zh) 基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法
CN116682045A (zh) 一种基于智能视频分析的游梁式抽油机故障检测方法
Moumtzidou et al. Flood detection with Sentinel-2 satellite images in crisis management systems.
CN113781513B (zh) 一种电厂供水管道泄漏检测方法及系统
Jiang et al. Visual inspection system for CNC turning tool wear based on transfer learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant