CN116310999A - 一种水力发电站库区大型漂浮物检测方法 - Google Patents
一种水力发电站库区大型漂浮物检测方法 Download PDFInfo
- Publication number
- CN116310999A CN116310999A CN202310495773.0A CN202310495773A CN116310999A CN 116310999 A CN116310999 A CN 116310999A CN 202310495773 A CN202310495773 A CN 202310495773A CN 116310999 A CN116310999 A CN 116310999A
- Authority
- CN
- China
- Prior art keywords
- image
- identified
- edge
- coordinate
- hydroelectric power
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/20—Hydro energy
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及图像识别技术领域,为一种水库管理中图像识别应用技术,具体涉及一种水力发电站库区大型漂浮物检测方法。通过对视频帧中的图像进行转换得到待识别目标的标准图像,并通过具有神经网络结构的检测模型对待识别图像进行特征提取和识别分类,得到最终的检测结果。
Description
技术领域
本申请涉及图像识别技术领域,为一种水库管理中图像识别应用技术,具体涉及一种水力发电站库区大型漂浮物检测方法。
背景技术
目前水库运行管理的漂浮物、水质变化状况主要依赖人工现场巡查,人力成本高,巡查效率低。近20年来,水库越来越广泛地建设图像监测和视频监控系统,但目前图像及视频监控基本采用人工判读。虽然图像及视频监控可以用于对水库现场漂浮物情况的及时了解,但其潜在的效能还远远没有发挥出来,主要体现在以下方面:1)人工判读工作量大。由于水库数量多,图像及视频监控站点多,对于一个县级、市级甚至省级水库管理单位的工作人员而言,人工逐一判读漂浮物的工作量太大。因此,大部分图像和视频信息仅仅作为必要的辅助手段,在水库出现问题时才会重点关注。2)人工判读不及时。由于站点数量大,人工判读通常难以及时发现大面积漂浮物问题,不能及时取证并预警,造成常态化清漂工作效率较低,水质生态监管能力弱。3)视频传输与存储压力大。人工判读需要测站将图像和视频信息全部传回应用中心,所以对视频传输和存储都带来很大压力。这也是限制视频监控站点进一步普及的重要因素。
发明内容
为了解决以上的技术问题,本申请提供一种水力发电站库区大型漂浮物检测方法,能够构建模型识别目标区域内的漂浮物以及对漂浮物进行分类识别,并获取符合分类要求的目标物的位置信息,实现对于水力发电站库区内的漂浮物的自动化识别。
为了达到上述目的,本申请实施例采用的技术方案如下:
第一方面,一种水力发电站库区大型漂浮物检测方法,方法应用于服务器,所述方法包括:提取采集到的目标区域内的视频帧中的边缘轮廓,并将所述边缘轮廓与标准图像进行比对,剔除所述视频帧中与所述标准图像匹配的边缘特征,得到待识别边缘特征,并将所述待识别边缘特征进行提取为初步识别图像;基于矫正模型对所述初步识别图像进行矫正处理,得到调整后的初步识别图像,并提取所述初步识别图像在所述视频帧中的坐标数据,根据所述初步识别图像在所述视频帧中的相对位置,基于尺寸映射模型调整所述初步识别图像的边缘数据得到待识别图像,对待识别图像中的目标特征进行尺寸还原;所述基于矫正模型对所述初步识别图像进行矫正处理,包括:提取所述初步识别图像中多个像素,并将所述初步识别图像中的各像素的灰度值依次按坐标提取为数组,基于所述矫正模型依次求取每个像素点的实际坐标点 ,对应的畸变图像坐标点,并基于所述畸变图像坐标点的灰度值中矫正后图像上的对应坐标点,后将校正后的各像素的灰度值的数组恢复为图像;将所述待识别图像输入至训练后的检测模型,通过所述检测模型对所述待识别图像进行分类识别得到识别结果并确定待识别对象的位置信息。
进一步的,所述矫正模型为训练后的神经网络模型,所述神经网络模型包括输入层、卷积层、池化层、全连接层和输出层;所述卷积层数量为四个,所述池化层数量为四个,所述全连接层数量为两个。
进一步的,基于尺寸映射模型调整所述初步识别图像的边缘数据得到待识别图像,包括:提取所述初步识别图像边缘像素点至所述视频帧四个边框的位置向量,基于所述位置向量确定各边缘像素点所在边缘的放大系数,基于所述放大系数确定各边缘真实尺寸,并将真实尺寸对应的各边缘进行整合为全局边缘,将所述全局边缘组成所述待识别图像。
进一步的,基于所述位置向量确定各边缘像素点所在边缘的放大系数,包括:获取所述各像素点的坐标数据,并将所述各像素点进行连接,基于连接后的各像素点的坐标数据获取边缘的形状特征,基于所述边缘的形状特征确定对应边缘的放大系数。
进一步的,将所述全局边缘组成所述待识别图像,包括:将所述全局边缘基于预设缩小系数进行缩放至目标尺寸,形成目标尺寸内的待识别图像,并在所述待识别图像上进行尺寸标注。
进一步的,将所述待识别图像输入至训练后的检测模型,通过所述检测模型对所述待识别图像进行分类识别得到识别结果,包括:对所述待识别图像进行初步识别,当所述待识别图像中的尺寸标注信息小于预设的阈值范围,则确定所述待识别图像为非目标物。
进一步的,所述检测模型为神经网络结构,包括三层卷积层、三层池化层、两层全连接层和softmax回归层。
进一步的,所述检测模型的损失函数为:
进一步的,确定待识别对象的位置信息,包括:将各像素点坐标基于第一转换矩阵进行转换为图像坐标,将所述图像坐标基于第二转换矩阵进行转换为三维坐标;并获取待识别对象的环境数据,将所述环境数据带入所述三维坐标得到未来时间段的三维坐标信息为位置信息。
第二方面,提供一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任意一项所述的检测方法。
第三方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的检测方法。
本申请实施例提供的技术方案中,通过对视频帧中的图像进行转换得到待识别目标的标准图像,并通过具有神经网络结构的检测模型对待识别图像进行特征提取和识别分类,得到最终的检测结果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
附图中的方法、系统和/或程序将根据示例性实施例进一步描述。这些示例性实施例将参照图纸进行详细描述。这些示例性实施例是非限制的示例性实施例,其中示例数字在附图的各个视图中代表相似的机构。
图1是本申请实施例提供的水力发电站库区大型漂浮物检测方法流程示意图。
图2是本申请实施例提供的水力发电站库区大型漂浮物检测装置结构图。
图3是本申请实施例提供的水力发电站库区大型漂浮物检测设备结构示意图。
具体实施方式
为了更好的理解上述技术方案,下面通过附图以及具体实施例对本申请技术方案做详细的说明,应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明,而不是对本申请技术方案的限定,在不冲突的情况下,本申请实施例以及实施例中的技术特征可以相互组合。
在下面的详细描述中,通过实例阐述了许多具体细节,以便提供对相关指导的全面了解。然而,对于本领域的技术人员来说,显然可以在没有这些细节的情况下实施本申请。在其他情况下,公知的方法、程序、系统、组成和/或电路已经在一个相对较高水平上被描述,没有细节,以避免不必要的模糊本申请的方面。
本申请中使用流程图说明根据本申请的实施例的系统所执行的执行过程。应当明确理解的是,流程图的执行过程可以不按顺序执行。相反,这些执行过程可以以相反的顺序或同时执行。另外,可以将至少一个其他执行过程添加到流程图。一个或多个执行过程可以从流程图中删除。
对本发明实施例进行进一步详细说明之前,对本发明实施例中涉及的名词和术语进行说明,本发明实施例中涉及的名词和术语适用于如下的解释。
(1)响应于,用于表示所执行的操作所依赖的条件或者状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。
(2)基于,用于表示所执行的操作所依赖的条件或者状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。
(3)机器视觉,机器视觉(Machine Vision)一般指计算机视觉(ComputerVision),简单来说就是研究如何让机器看懂东西。指用摄像机或者电脑代替人眼对物体目标进行识别等机器视觉,进一步做图像处理,能够让电脑处理成为更适合人眼观察或传送给仪器检测的图像。
本申请实施例提供的技术方案,主要的应用场景为针对于库区水面的漂浮物进行管理,随着我国制造产业的迅猛发展,人民群众生活水平的飞速提升,以及水利水电建设的大规模开展,水电厂、水利枢纽的库区开始出现和聚集大量的漂浮物,其成分主要包含生活垃圾、工业废弃物及树干枝叶等。由于水电厂或水利枢纽一般承担着防洪、供水、发电、航运及旅游等社会和民生功能,防漂浮物的存在不仅对运管单位的水工设施、交通安全、机电设备等造成危害,更会污染水体,破坏地区生态环境,因此,及时地监控、估算库区漂浮物,从而合理制定和安排漂浮物清除作业,无疑具有极其重要的经济和安全效益。
在现有技术中,对于库区漂浮物的实时监测主要依赖人工巡检及机器视觉等方式。人工巡检实施简单但耗费人力,也无法实现实时监测,对于当前漂浮物的体量难以量化预估,不利于后续组织安排清除作业船只。基于远程摄像的机器视觉是一种借助图形图像处理方法进行成像中目标物检测、分割和识别的技术,具备自动化、智能化等特性,是进行库区漂浮物在线监控和分析的良好途径。目前公开的技术方案中,针对于库区的漂浮物识别技术中已经提出基于图像灰度和边缘曲线的BP神经网络用于树枝和漂浮瓶的判别模型,基于Faster-R-CNN、R-FCN和SSD等多种深度学习网络用于落叶和水草的目标检测,以及基于AlexNet卷积神经网络用于水面塑料制品的识别等,均取得了一定的识别效果。其中,BP神经网络及深度学习算法关于复杂非线性映射关系良好的拟合能力,在图形图像分析识别中确实具有一定的优势,但其限制条件也很显著,如网络模型的精度是由数据驱动的,需要大样本的漂浮物图像集并一一加以标注,数据预处理工作量巨大;网络模型的结构设计困难且复杂,模型超参数量巨大且不易设定,模型训练耗时耗资源,导致产出门槛较高等问题。
基于以上的技术背景,本申请实施例提供一种水力发电站库区大型漂浮物检测方法,针对此方法包括:
步骤S110.提取采集到的目标区域内的视频帧中的边缘特征,将所述边缘特征进行处理得到待识别边缘特征,并将所述待识别边缘特征进行提取为初步识别图像。
在本申请实施例中,通过图像采集装置对库区目标水域内的水面进行视频监控。而针对于视频中出现的漂浮物特征的识别基于图像处理技术进行,所以需要针对视频中的每一帧图像进行特征进行提取识别和归类即针对视频中的视频帧进行特征提、识别和分类。
其中,针对于待识别边缘特征基于边缘轮廓进行,具体为将边缘轮廓与标准图像进行比对,剔除视频帧中与标准图像匹配的边缘特征,得到待识别边缘特征。在本申请实施例中,针对于标准图像为目标水域内的静止背景图像,例如目标水域周围的建筑物、植物以及其他标准静止图像。通过此步骤的处理,获取图像中与待识别目标无关的背景图像,降低图像处理的成本。
步骤S120.对待识别图像进行矫正处理,得到调整后的初步识别图像,并对初步识别图像进行坐标变换,得到待识别图像。
针对于步骤S110中获取到的初步识别图像,因为图像采集装置镜头会产生畸变,所以导致在视频帧中截取的初步识别图像中包含待识别目标的图像产生因为镜头物理畸变导致的图像失真,这种失真会导致后续目标识别过程中识别不准确的问题。所以,在对目标进行识别之前需要对视频帧中的初步识别图像进行矫正处理,对失真后的图像进行矫正还原。
由于机器视觉系统的镜头工艺以及相机位置对系统的图像影响程度不同,导致图像的畸变程度千变万化,因此需要一个能够通过机器视觉系统的畸变模板图像就能得到该系统的图像非线性畸变模型的神经网络架构,使该神经网络可以应用于存在不同程度图像畸变的机器视觉系统。
本申请实施例中,通过矫正模型直接对畸变图像进行回归,输出结果为图像非线性畸变模型所包括的所有畸变参数。其中,针对于本申请实施例中的矫正模型为训练后的神经网络模型,具体包括输入层、卷积层、池化层、全连接层和输出层;所述卷积层数量为四个,所述池化层数量为四个,所述全连接层数量为两个。本申请实施例利用对畸变图像进行回归,对图像非线性畸变模型进行求解,得到其中的畸变参数。
其中针对于矫正处理包括:提取所述初步识别图像中多个像素,并将所述初步识别图像中的各像素的灰度值依次按坐标提取为数组,基于所述矫正模型依次求取每个像素点的实际坐标点 ,对应的畸变图像坐标点,并基于所述畸变图像坐标点的灰度值中矫正后图像上的对应坐标点,后将校正后的各像素的灰度值的数组恢复为图像,得到校正后的待识别图像。
其中,针对于畸变图像坐标点,如果计算出的畸变图像坐标点不是整数,则用二次线性插值法计算该点灰度值。
具体到对应的神经网络其处理过程为:输入卷积层的特征图像经过卷积核的卷积操作,得到该层的输出结果。针对于卷积层中的卷积核对输入特征图像进行特征提取,卷积层中卷积核常见的大小有7×7,5×5,3×3。一般来讲,卷积的padding操作包括VALID 和SAME 两种形式,如果padding 引用“VALID”,说明当卷积核提取图像特征且无法到达边缘像素时,将边缘像素舍弃,则输出特征图像的尺寸与输入特征图像尺寸、卷积核大小和步长的选择都有关。如果padding选用“SAME”形式,当卷积核在特征图像上进行卷积操作但无法到达边缘的像素时,对图像边缘进行补零填充操作,避免丢失边界信息。此时的输出特征图像的尺寸与卷积核大小选择无关。本申请实施例选用 3×3 大小的卷积核,步长设置为1,padding 选用“SAME”形式。
针对于池化层采用最大池化方式,其中针对于池化核大小为 2×2,步长为2,padding 引用“SAME”。经过池化层,特征图像的尺寸减小,数据量将大大的减少。
针对于全连接层在本申请实施例采用两层结构,并应用激活函数进行非线性处理,便能够较好地解决非线性问题。本申请实施例中,第一层全连接层的神经元设置为512,全连接层的输出神经元设置为5,激活函数应用 relu 激活函数。
针对于以上处理过程将镜头物理参数而导致的畸变进行矫正得到符合标准的初步待识别图像。
而针对于初步待识别图像其在视频帧中因为视觉的关系,导致远处的物体因为视距的原因导致尺寸的失真,所以需要对图像中目标进行尺寸的还原,此还原用于后续对于大尺寸的目标的初步识别。
在本申请实施例中主要针对大型漂浮物的检测,而针对于镜头的成像原因,容易导致距离图像采集装置远处的大型漂浮物呈现小尺寸的特点,从而导致识别不准确的问题。所以,针对于本申请实施例中应用场景需要对待识别图像中的目标特征进行尺寸还原。
针对于尺寸还原方法,基于尺寸映射模型进行调整,具体为提取所述初步识别图像边缘像素点至所述视频帧四个边框的位置向量,基于所述位置向量确定各边缘像素点所在边缘的放大系数,基于所述放大系数确定各边缘真实尺寸,并将真实尺寸对应的各边缘进行整合为全局边缘,将所述全局边缘组成所述待识别图像。
其中针对于放大系数的获得为获取所述各像素点的坐标数据,并将所述各像素点进行连接,基于连接后的各像素点的坐标数据获取边缘的形状特征,基于所述边缘的形状特征确定对应边缘的放大系数。
对于将全局边缘组成待识别图像具体为将所述全局边缘基于预设缩小系数进行缩放至目标尺寸,形成目标尺寸内的待识别图像,并在所述待识别图像上进行尺寸标注。
步骤S130.将所述待识别图像输入至训练后的检测模型,通过所述检测模型对所述待识别图像进行分类识别得到识别结果并确定待识别对象的位置信息。
针对于步骤S120,主要是将包含目标的图像进行尺寸处理得到待识别图像,而针对后续的处理则针对于待识别图像进行分类识别。在本申请实施例采用的分类识别基于检测模型进行,其中检测模型为神经网络结构模型,具体包括三层卷积层、三层池化层、两层全连接层和softmax回归层。
在本申请实施例中,针对于模型检测之前还进行初步识别,针对于初步识别主要是用于识别符合尺寸要求的漂浮物,具体为符合大尺寸要求的漂浮物。其中针对于此过程主要通过阈值比较的方式进行,具体为对所述待识别图像进行初步识别,当所述待识别图像中的尺寸标注信息小于预设的阈值范围,则确定所述待识别图像为非目标物。
在本申请实施例中,卷积层通过卷积运算提取原图像的特征数据,使得特征信号增强同时降低噪声。卷积层的操作如下所示:
,其中/>为输入卷积层的特征图的子集;/>为第l层中输出特征图j的激活函数值,/>为第L-1层特征图i与第L层特征图j之间的卷积核,/>为第L层第j个特征图的偏置值,/>为二维离散卷积运算符,l-1为L-1层特征图,/>为L-1层特征图数组表达。
针对于本申请实施例中的检测模型的损失函数为:
在本申请实施例中,针对于上述处理过程能够得到关于漂浮物目标的识别,而针对于库区面积较大,需要对存在漂浮物区域的漂浮物进行打捞和处理,则需要获取漂浮物的位置信息,所以在本申请实施例中提供的方法中对漂浮物的位置进行确定,具体包括:将各像素点坐标基于第一转换矩阵进行转换为图像坐标,将所述图像坐标基于第二转换矩阵进行转换为三维坐标;并获取待识别对象的环境数据,将所述环境数据带入所述三维坐标得到未来时间段的三维坐标信息为位置信息。
针对于图像坐标转换为三维坐标,在此过程中先将图像坐标转换为相机坐标。其中,利用凸透镜成像原理完成物体成像在平面上的过程由相机坐标系到图像坐标系的变换,并且物距,焦距和像距有如下关系:
针对于图像坐标基于第二转换矩阵进行转换为三维坐标,具体为将像极坐标系转换为世界坐标系中的一点,采用平移矩阵和空间矩阵进行矩阵处理,该转变过程为:
通过以上的矩阵转换能够得到三维坐标信息中的三维坐标点数据。
因为在实际场景中,因为收到风力以及水流的影响,针对于库区表面上的漂浮物会产生对应的移动,此移动的范围基于目标识别为节点进行。所以为了实现对于漂浮物的定位,还需要引入环境数据以及时间数据对漂浮物的移动进行预测,具体为获取时间段内的外部环境因素,结合识别后的目标的物理特性进行漂浮距离以及漂浮方向的预测。
参阅图2,本申请实施例还提供一种水力发电站库区大型漂浮物检测装置200,包括:
初步识别图像获取模块210,此模块基于采集到的目标区域内的视频帧中的边缘轮廓,并将所述边缘轮廓与标准图像进行比对,剔除所述视频帧中与所述标准图像匹配的边缘特征,得到待识别边缘特征,并将所述待识别边缘特征进行提取为初步识别图像。
待识别图像获取模块220,此模块基于矫正模型对所述初步识别图像进行矫正处理,得到调整后的初步识别图像,并提取所述初步识别图像在所述视频帧中的坐标数据,根据所述初步识别图像在所述视频帧中的相对位置,基于尺寸映射模型调整所述初步识别图像的边缘数据得到待识别图像。
识别模块230,此模块用于将所述待识别图像输入至训练后的检测模型,通过所述检测模型对所述待识别图像进行分类识别得到识别结果并确定待识别对象的位置信息。
参阅图3,水力发电站库区大型漂浮物检测设备300可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器301和存储器302,存储器302中可以存储有一个或一个以上存储应用程序或数据。其中,存储器302可以是短暂存储或持久存储。存储在存储器302的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括虚拟世界的广告投放处理设备中的一系列计算机可执行指令。更进一步地,处理器401可以设置为与存储器302通信,在水力发电站库区大型漂浮物检测设备上执行存储器302中的一系列计算机可执行指令。虚拟世界的广告投放处理设备还可以包括一个或一个以上电源303,一个或一个以上有线或无线网络接口304,一个或一个以上输入/输出接口305,一个或一个以上键盘306等。
在一个具体的实施例中,水力发电站库区大型漂浮物检测设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对水力发电站库区大型漂浮物检测设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
提取采集到的目标区域内的视频帧中的边缘轮廓,并将所述边缘轮廓与标准图像进行比对,剔除所述视频帧中与所述标准图像匹配的边缘特征,得到待识别边缘特征,并将所述待识别边缘特征进行提取为初步识别图像;
基于矫正模型对所述初步识别图像进行矫正处理,得到调整后的初步识别图像,并提取所述初步识别图像在所述视频帧中的坐标数据,根据所述初步识别图像在所述视频帧中的相对位置,基于尺寸映射模型调整所述初步识别图像的边缘数据得到待识别图像;
将所述待识别图像输入至训练后的检测模型,通过所述检测模型对所述待识别图像进行分类识别得到识别结果并确定待识别对象的位置信息。
下面对处理器的各个构成部件进行具体的介绍:
其中,在本实施例中,处理器是特定集成电路(application specificintegrated circuit,ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路,例如:一个或多个微处理器(digital signal processor,DSP),或,一个或者多个现场可编程门阵列(field programmable gate array,FPGA)。
可选地,处理器可以通过运行或执行存储在存储器内的软件程序,以及调用存储在存储器内的数据,执行各种功能,例如执行上述图2所示的方法。
在具体的实现中,作为一种实施例,处理器可以包括一个或多个微处理器。
其中,所述存储器用于存储执行本申请方案的软件程序,并由处理器来控制执行,具体实现方式可以参考上述方法实施例,此处不再赘述。
可选地,存储器可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory,EEPROM)、只读光盘(compactdisc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以和处理器集成在一起,也可以独立存在,并通过处理器的接口电路与处理单元进行耦合,本申请实施例对此不作具体限定。
需要说明的是,在本实施例中示出的处理器的结构并不构成对该装置的限定,实际的装置可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
此外,处理器的技术效果可以参考上述方法实施例所述的方法的技术效果,此处不再赘述。
应理解,在本申请实施例中的处理器可以是其他通用处理器、数字信号处理器(digital signal processor,DSP)、专用集成电路(application specific integratedcircuit,ASIC)、现成可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的随机存取存储器(random accessmemory,RAM)可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
上述实施例,可以全部或部分地通过软件、硬件(如电路)、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质。半导体介质可以是固态硬盘。
本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a, b, c, a-b, a-c, b-c, 或a-b-c,其中a,b,c可以是单个,也可以是多个。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (9)
1.一种水力发电站库区大型漂浮物检测方法,其特征在于,方法应用于服务器,所述方法包括:
提取采集到的目标区域内的视频帧中的边缘轮廓,并将所述边缘轮廓与标准图像进行比对,剔除所述视频帧中与所述标准图像匹配的边缘特征,得到待识别边缘特征,并将所述待识别边缘特征进行提取为初步识别图像;
基于矫正模型对所述初步识别图像进行矫正处理,得到调整后的初步识别图像,并提取所述初步识别图像在所述视频帧中的坐标数据,根据所述初步识别图像在所述视频帧中的相对位置,基于尺寸映射模型调整所述初步识别图像的边缘数据得到待识别图像,对待识别图像中的目标特征进行尺寸还原;所述基于矫正模型对所述初步识别图像进行矫正处理,包括:提取所述初步识别图像中多个像素,并将所述初步识别图像中的各像素的灰度值依次按坐标提取为数组,基于所述矫正模型依次求取每个像素点的实际坐标点 ,对应的畸变图像坐标点,并基于所述畸变图像坐标点的灰度值中矫正后图像上的对应坐标点,后将校正后的各像素的灰度值的数组恢复为图像;
将所述待识别图像输入至训练后的检测模型,通过所述检测模型对所述待识别图像进行分类识别得到识别结果并确定待识别对象的位置信息。
2.根据权利要求1所述的水力发电站库区大型漂浮物检测方法,其特征在于,所述矫正模型为训练后的神经网络模型,所述神经网络模型包括输入层、卷积层、池化层、全连接层和输出层;所述卷积层数量为四个,所述池化层数量为四个,所述全连接层数量为两个。
3.根据权利要求1所述的水力发电站库区大型漂浮物检测方法,其特征在于,基于尺寸映射模型调整所述初步识别图像的边缘数据得到待识别图像,包括:提取所述初步识别图像边缘像素点至所述视频帧四个边框的位置向量,基于所述位置向量确定各边缘像素点所在边缘的放大系数,基于所述放大系数确定各边缘真实尺寸,并将真实尺寸对应的各边缘进行整合为全局边缘,将所述全局边缘组成所述待识别图像。
4.根据权利要求3所述的水力发电站库区大型漂浮物检测方法,其特征在于,基于所述位置向量确定各边缘像素点所在边缘的放大系数,包括:获取所述各像素点的坐标数据,并将所述各像素点进行连接,基于连接后的各像素点的坐标数据获取边缘的形状特征,基于所述边缘的形状特征确定对应边缘的放大系数。
5.根据权利要求4所述的水力发电站库区大型漂浮物检测方法,其特征在于,将所述全局边缘组成所述待识别图像,包括:将所述全局边缘基于预设缩小系数进行缩放至目标尺寸,形成目标尺寸内的待识别图像,并在所述待识别图像上进行尺寸标注。
6.根据权利要求5所述的水力发电站库区大型漂浮物检测方法,其特征在于,将所述待识别图像输入至训练后的检测模型,通过所述检测模型对所述待识别图像进行分类识别得到识别结果,包括:对所述待识别图像进行初步识别,当所述待识别图像中的尺寸标注信息小于预设的阈值范围,则确定所述待识别图像为非目标物。
7.根据权利要求6所述的水力发电站库区大型漂浮物检测方法,其特征在于,所述检测模型为神经网络结构,包括三层卷积层、三层池化层、两层全连接层和softmax回归层。
9.根据权利要求4所述的水力发电站库区大型漂浮物检测方法,其特征在于,确定待识别对象的位置信息,包括:将各像素点坐标基于第一转换矩阵进行转换为图像坐标,将所述图像坐标基于第二转换矩阵进行转换为三维坐标;并获取待识别对象的环境数据,将所述环境数据带入所述三维坐标得到未来时间段的三维坐标信息为位置信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310495773.0A CN116310999B (zh) | 2023-05-05 | 2023-05-05 | 一种水力发电站库区大型漂浮物检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310495773.0A CN116310999B (zh) | 2023-05-05 | 2023-05-05 | 一种水力发电站库区大型漂浮物检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116310999A true CN116310999A (zh) | 2023-06-23 |
CN116310999B CN116310999B (zh) | 2023-07-21 |
Family
ID=86830780
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310495773.0A Active CN116310999B (zh) | 2023-05-05 | 2023-05-05 | 一种水力发电站库区大型漂浮物检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116310999B (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004076972A1 (ja) * | 2003-02-27 | 2004-09-10 | Mitsubishi Denki Kabushiki Kaisha | 水位計測システム |
KR101207391B1 (ko) * | 2011-10-05 | 2012-12-04 | 한국서부발전 주식회사 | 수면부상형 사방여과방식 우수처리장치 |
CN105354568A (zh) * | 2015-08-24 | 2016-02-24 | 西安电子科技大学 | 基于卷积神经网络的车标识别方法 |
CN105957098A (zh) * | 2016-04-15 | 2016-09-21 | 张志华 | 一种无人值守水库监控系统 |
CN107133943A (zh) * | 2017-04-26 | 2017-09-05 | 贵州电网有限责任公司输电运行检修分公司 | 一种防震锤缺陷检测的视觉检测方法 |
CN110188696A (zh) * | 2019-05-31 | 2019-08-30 | 华南理工大学 | 一种水面无人装备多源感知方法及系统 |
CN110414334A (zh) * | 2019-06-20 | 2019-11-05 | 浙江大学 | 一种基于无人机巡视的智能水质识别方法 |
CN111856448A (zh) * | 2020-07-02 | 2020-10-30 | 山东省科学院海洋仪器仪表研究所 | 基于双目视觉和雷达的海上障碍物识别方法及系统 |
CN113065486A (zh) * | 2021-04-09 | 2021-07-02 | 中电科数字科技(集团)有限公司 | 适用于河道的漂浮物识别方法与系统、设备、介质 |
CN113344885A (zh) * | 2021-06-15 | 2021-09-03 | 温州大学 | 基于级联卷积神经网络的河道漂浮物检测方法 |
CN114022811A (zh) * | 2021-10-29 | 2022-02-08 | 长视科技股份有限公司 | 基于持续学习的水面漂浮物监测方法与系统 |
CN114067147A (zh) * | 2021-11-12 | 2022-02-18 | 北京航空航天大学 | 一种基于局部形状匹配的舰船目标确认方法 |
CN115497015A (zh) * | 2021-06-16 | 2022-12-20 | 中国科学院沈阳计算技术研究所有限公司 | 一种基于卷积神经网络的河流漂浮污染物识别方法 |
CN115761580A (zh) * | 2022-11-15 | 2023-03-07 | 深圳航天智慧城市系统技术研究院有限公司 | 一种水面漂浮物的检测方法、边缘计算终端及存储介质 |
-
2023
- 2023-05-05 CN CN202310495773.0A patent/CN116310999B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004076972A1 (ja) * | 2003-02-27 | 2004-09-10 | Mitsubishi Denki Kabushiki Kaisha | 水位計測システム |
KR101207391B1 (ko) * | 2011-10-05 | 2012-12-04 | 한국서부발전 주식회사 | 수면부상형 사방여과방식 우수처리장치 |
CN105354568A (zh) * | 2015-08-24 | 2016-02-24 | 西安电子科技大学 | 基于卷积神经网络的车标识别方法 |
CN105957098A (zh) * | 2016-04-15 | 2016-09-21 | 张志华 | 一种无人值守水库监控系统 |
CN107133943A (zh) * | 2017-04-26 | 2017-09-05 | 贵州电网有限责任公司输电运行检修分公司 | 一种防震锤缺陷检测的视觉检测方法 |
CN110188696A (zh) * | 2019-05-31 | 2019-08-30 | 华南理工大学 | 一种水面无人装备多源感知方法及系统 |
CN110414334A (zh) * | 2019-06-20 | 2019-11-05 | 浙江大学 | 一种基于无人机巡视的智能水质识别方法 |
CN111856448A (zh) * | 2020-07-02 | 2020-10-30 | 山东省科学院海洋仪器仪表研究所 | 基于双目视觉和雷达的海上障碍物识别方法及系统 |
CN113065486A (zh) * | 2021-04-09 | 2021-07-02 | 中电科数字科技(集团)有限公司 | 适用于河道的漂浮物识别方法与系统、设备、介质 |
CN113344885A (zh) * | 2021-06-15 | 2021-09-03 | 温州大学 | 基于级联卷积神经网络的河道漂浮物检测方法 |
CN115497015A (zh) * | 2021-06-16 | 2022-12-20 | 中国科学院沈阳计算技术研究所有限公司 | 一种基于卷积神经网络的河流漂浮污染物识别方法 |
CN114022811A (zh) * | 2021-10-29 | 2022-02-08 | 长视科技股份有限公司 | 基于持续学习的水面漂浮物监测方法与系统 |
CN114067147A (zh) * | 2021-11-12 | 2022-02-18 | 北京航空航天大学 | 一种基于局部形状匹配的舰船目标确认方法 |
CN115761580A (zh) * | 2022-11-15 | 2023-03-07 | 深圳航天智慧城市系统技术研究院有限公司 | 一种水面漂浮物的检测方法、边缘计算终端及存储介质 |
Non-Patent Citations (4)
Title |
---|
唐小敏;舒远仲;刘文祥;刘金梅;: "基于SSD深度网络的河道漂浮物检测技术研究", 计算机技术与发展, no. 09, pages 160 - 164 * |
陈荣盛, 袁小海, 胡震, 刘培林, 陈向丽, 吴文伟: "水下机器人目标搜索与识别算法", 中国海洋平台, no. 04, pages 39 - 44 * |
黄嘉明;胡欣欣;韦亦龙;史筱川;周灏;李剑;: "一种基于红外图像的电缆终端异常发热自动诊断方法", 广东电力, no. 03, pages 109 - 116 * |
黎嘉明;谢兴;张铅海;周连娣;: "基于对抗生成网络的漂浮物分割算法研究", 数字技术与应用, no. 01, pages 118 - 119 * |
Also Published As
Publication number | Publication date |
---|---|
CN116310999B (zh) | 2023-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107563372B (zh) | 一种基于深度学习ssd框架的车牌定位方法 | |
CN107545263B (zh) | 一种物体检测方法及装置 | |
CN109886159B (zh) | 一种非限定条件下的人脸检测方法 | |
Çelik et al. | A sigmoid‐optimized encoder–decoder network for crack segmentation with copy‐edit‐paste transfer learning | |
Xie et al. | A binocular vision application in IoT: Realtime trustworthy road condition detection system in passable area | |
CN111368637B (zh) | 一种基于多掩模卷积神经网络的搬运机器人识别目标方法 | |
CN116258757A (zh) | 一种基于多尺度交叉注意力的单目图像深度估计方法 | |
CN114241310B (zh) | 基于改进yolo模型的堤防管涌险情智能识别方法 | |
CN116597270A (zh) | 基于注意力机制集成学习网络的道路损毁目标检测方法 | |
CN115019274A (zh) | 一种融合追踪与检索算法的路面病害识别方法 | |
Guo et al. | Intelligent vision-enabled detection of water-surface targets for video surveillance in maritime transportation | |
Feng et al. | Improved SOLOv2 detection method for shield tunnel lining water leakages | |
CN116310999B (zh) | 一种水力发电站库区大型漂浮物检测方法 | |
Kumar | Solar potential analysis of rooftops using satellite imagery | |
Xie et al. | Efficient Region Segmentation of PV Module in Infrared Imagery using Segnet | |
Li | Construction method of swimming pool intelligent assisted drowning detection model based on computer feature pyramid networks | |
Ren et al. | Cultivated land segmentation of remote sensing image based on PSPNet of attention mechanism | |
Cai et al. | Unfeatured weld positioning technology based on neural network and machine vision | |
Ullah et al. | Real-time video dehazing for industrial image processing | |
Chen et al. | Improved Faster R-CNN identification method for containers | |
CN116580328B (zh) | 基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法 | |
Zhou et al. | Water leakage detection and its application of turbine floor equipment based on MaskRCNN | |
Matsui et al. | Enhanced YOLO using Attention for Apple grading | |
CN113449611B (zh) | 一种基于yolo网络压缩算法的安全帽识别智能监控系统 | |
CN114842330B (zh) | 一种多尺度背景感知池化弱监督建筑物提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |