CN110163798A - 渔场围网破损检测方法及系统 - Google Patents
渔场围网破损检测方法及系统 Download PDFInfo
- Publication number
- CN110163798A CN110163798A CN201910312619.9A CN201910312619A CN110163798A CN 110163798 A CN110163798 A CN 110163798A CN 201910312619 A CN201910312619 A CN 201910312619A CN 110163798 A CN110163798 A CN 110163798A
- Authority
- CN
- China
- Prior art keywords
- image
- purse seine
- target detection
- fishing ground
- background image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 91
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 230000033001 locomotion Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 239000000463 material Substances 0.000 abstract description 5
- 238000012549 training Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 241000251468 Actinopterygii Species 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000009360 aquaculture Methods 0.000 description 3
- 244000144974 aquaculture Species 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009313 farming Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009318 large scale farming Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种渔场围网破损检测方法及系统,该方法包括:获取待检测的渔场围网的完整图像,并对完整图像进行背景建模,获得背景图像;将背景图像输入至目标检测模型,获得目标检测模型输出的渔场围网的破损检测结果;其中,目标检测模型是基于样本背景图像及预先确定的破损结果标注进行训练后获得的。本发明实施例通过获取渔场围网的背景图像,并将背景图像输入至目标检测模型,获得目标检测模型输出的渔场围网的破损检测结果,能够对渔场围网的破损情况进行自动的分析处理;相比于现有技术中的人工观察的方式,减少了人力物力的消耗,提高了检测效率和检测精度。
Description
技术领域
本发明涉及渔场养殖领域,更具体地,涉及一种渔场围网破损检测方法及系统。
背景技术
大型网围养殖渔业是在湖泊养蟹、养鱼的基础上发展起来的,它利用了湖泊大水体优越的生态环境,具有成本低、养殖方式灵活的优点。大型网围养殖渔业解决了捕鱼业与养殖业之间的矛盾,使大规模养殖渔业发展到一个新阶段,还使其经济效益和生态效益紧密结合。如今,大型网围养殖渔业已经进一步向海域扩展,进行更大规模的网围养殖。但是,若发生围网破损,不及时的采取措施会造成大范围的养殖生物逃逸,为养殖场带来巨大的经济损失。现有技术中,通常采用人工观察的方式获得渔场围网的破损情况,但这种方式需要耗费大量的人力物力,且检测结果受限于人的精力而不准确。
发明内容
为了解决上述问题,本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的渔场围网破损检测方法及系统。
根据本发明实施例的第一方面,提供一种渔场围网破损检测方法,该方法包括:获取待检测的渔场围网的完整图像,并对完整图像进行背景建模,获得背景图像;将背景图像输入至目标检测模型,获得目标检测模型输出的渔场围网的破损检测结果;其中,目标检测模型是基于样本背景图像及预先确定的破损结果标注进行训练后获得的。
根据本发明实施例第二方面,提供了一种渔场围网破损检测系统,该系统包括:上位机;上位机包括:获取模块和检测模块;获取模块用于获取待检测的渔场围网的完整图像,并对完整图像进行背景建模,获得背景图像;检测模块用于将背景图像输入至目标检测模型,获得目标检测模型输出的渔场围网的破损检测结果;其中,目标检测模型是基于样本背景图像及预先确定的破损结果标注进行训练后获得的。
根据本发明实施例的第三方面,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的渔场围网破损检测方法。
本发明实施例提供的渔场围网破损检测方法及系统,通过获取渔场围网的背景图像,并将背景图像输入至目标检测模型,获得目标检测模型输出的渔场围网的破损检测结果,能够对渔场围网的破损情况进行自动的分析处理;相比于现有技术中的人工观察的方式,减少了人力物力的消耗,提高了检测效率和检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些图获得其他的附图。
图1为本发明实施例提供的渔场围网破损检测方法的流程示意图;
图2为本发明实施例提供的渔场围网破损检测系统的结构示意图;
图3为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种渔场围网破损检测方法,参见图1,该方法包括但不限于如下步骤:
步骤100、获取待检测的渔场围网的完整图像,并对完整图像进行背景建模,获得背景图像。
其中,渔场围网是由多个区域的渔网合围而成,而渔场围网的完整图像包括了各区域渔网的图像。由于在获取完整图像的过程中,除了拍摄到了渔网,还可能拍摄到了水下的鱼等其他干扰物,因此,可进一步将完整图像分为前景图像和背景图像。其中,前景是图像或视频场景中可见性、显著性更强的部分。在渔场围网的完整图像中,前景图像可包括运动状态的鱼,而背景图像包括处于相对静止状态的围网。因此,通过对完整图像进行背景建模,获取背景图像,能够排除掉完整图像中除渔网外的其他的动态干扰物,提高了检测结果的准确性。
步骤200、将背景图像输入至目标检测模型,获得目标检测模型输出的渔场围网的破损检测结果;其中,目标检测模型是基于样本背景图像及预先确定的破损结果标注进行训练后获得的。
具体地,在步骤100中获得了背景图像之后,可采用目标检测模型对背景图像进行检测,获得破损检测结果。其中,破损检测结果可以指示渔场围网中是否存在破损,以及在存在破损时破损的位置信息。
其中,在步骤200前可预先训练获得目标检测模型。在训练过程中,首先可获得一定数量的训练样本。具体地,首先获取一定数量的渔场围网的样本背景图像,然后可采用标注工具对样本背景图像进行标注,获得每个样本背景图像对应的破损结果标注。样本背景图像及对应的破损结果标注组成训练样本。由于目标检测模型要识别的目标是围网破损,简单来说就是一个有关围网是否破损的二分类问题加上一个破损位置回归问题,因此,可以采用基于深度学习的目标检测方法,本发明实施例以RCNN为例进行说明,但本发明实施例的保护范围不限于此。在创建一个深度学习的模型后,可将训练样本输入至该模型中以进行模型训练,训练至模型收敛后,即获得了训练完成的目标检测模型。
本发明实施例提供的渔场围网破损检测方法,通过获取渔场围网的背景图像,并将背景图像输入至目标检测模型,获得目标检测模型输出的渔场围网的破损检测结果,能够对渔场围网的破损情况进行自动的分析处理;相比于现有技术中的人工观察的方式,减少了人力物力的消耗,提高了检测效率和检测精度。
基于上述实施例的内容,作为一种可选实施例,提供一种获取待检测的渔场围网的完整图像的方法,包括但不限于如下步骤:
步骤101、获取渔场围网的各区域分别对应的原始图像。
具体地,可利用平移拍摄的模式,通过水下机器人采集到四面围网各个区域的原始图像。并且,由于渔场有四面围网,因此,可以利用四个水下机器人分别对不同区域的围网面进行检测。
步骤102、将多张原始图像进行图像拼接,获得完整图像。换言之,将采集到的渔场四面围网各区域的原始图像进行图像拼接,以获取到渔场四面围网的完整图像。
步骤103、对完整图像进行二值化处理、去噪处理和图像增强处理。换言之,对渔场围网的完整图像进行预处理,预处理包括:二值化、去噪、增强等操作。上述处理能够使完整图像具有较好的显示效果,从而使得检测效果更加准确。
基于上述实施例的内容,作为一种可选实施例,提供一种将多张原始图像进行图像拼接,获得完整图像的方法,包括但不限于如下步骤:
步骤1021、分别对每张原始图像进行噪声抑制处理和边缘提取处理。
具体地,本步骤为图像的预处理操作,是对各区域的原始图像进行一些噪声抑制、边缘提取等数字图像处理的基础操作。从而对由于光学成像系统或电子扫描系统的限制而产生的畸变进行校正。
步骤1022、选择多张原始图像中的一张作为参考图像,将多张原始图像中除参考图像外的其他原始图像作为搜索图像;对于每张搜索图像,将参考图像与搜索图像进行配准,获得搜索图像与参考图像之间的坐标变换矩阵;基于坐标变换矩阵,将搜索图像和参考图像的坐标变换至同一坐标系下。即,本步骤的目的是对原始图像进行配准。
步骤1023、在同一坐标系下将参考图像和搜索图像进行拼接,对拼接后获得的图像进行图像融合处理,获得完整图像。
具体地,本步骤的目的是进行图像融合。在步骤1022中的参考图像和搜索图像转换到同一坐标系下后,即可对图像进行拼接,形成一张完整的图像。但是,拼接图的交界处可能会由于光照色泽等原因出现拼接不自然的状况,因此可以利用或改进MATLAB提供的工具箱算法对拼接后获得的图像进行融合,得到渔场四面围网的完整图像。从而可以通过图像融合使拼接后的图像更加自然,提高检测的准确性。
基于上述实施例的内容,作为一种可选实施例,提供一种将参考图像与搜索图像进行配准,获得搜索图像与参考图像之间的坐标变换矩阵的方法,包括但不限于如下步骤:
在参考图像中选择一个图像子块作为配准模板,将配准模板沿设定路径在搜索图像上移动;在移动过程中,配准模板每移动到一个位置,将配准模板与位置对应的搜索图像中的图像子块进行比较;根据不同位置分别对应的比较结果获得配准位置,并根据配准位置获取搜索图像与参考图像之间的坐标变换矩阵。
具体地,首先取多张原始图像中一幅原始图像作为配准的基准,即参考图像,下一幅图像为搜索图像。在参考图像上选取以某一目标点为中心的图像子块,将该图像子块作为图像配准的配准模板。然后让配准模板在搜索图像上有秩序地移动(即沿设定路径在搜索图像上移动),每移到一个位置,把配准模板与搜索图像中的对应部分(即该位置对应的搜索图像中的图像子块)进行相关比较,直到查找到配准位置为止。得到了待拼接图的匹配点集后,可求得坐标变换矩阵,然后将待拼接图像(即搜索图像和参考图像)转换为同一坐标系下,完成图像配准。
基于上述实施例的内容,作为一种可选实施例,提供一种对完整图像进行背景建模,获得背景图像的方法,包括但不限于如下步骤:
步骤104、分别对完整图像中的每个像素建立混合高斯模型,并对混合高斯模型的参数进行更新。本步骤中,可进一步分为如下两个步骤:
步骤1041、首先对完整图像上的各个像素建立混合高斯模型,即用多个高斯模型作为一个像素位置的模型,其中在t时刻x,y处像素模型的定义为:
P(p)={[wi(x,y,t),ui(x,y,t),σi(x,y,t)2]},i=1,2,......,K;
式中,K表示混合高斯模型中包含单模型的个数,wi(x,y,t)表示每个模型的权重,ui(x,y,t)表示每个模型的均值,σi(x,y,t)表示每个模型的方差,且权重满足:
权值、均值和方差这三个参数确定一个单模型。在建立了混合高斯模型后,可对混合高斯模型参数进行初始化。
步骤1042、本步骤是对混合高斯模型的参数进行更新以及对完整图像进行前景检测。
首先新读入另外一张对应于不同时刻的完整图像。如果新读入的完整图像在(x,y)处的像素值对于i=1,2,......,K满足:
I(x,y,t)-ui(x,y,t)≤λ·σi(x,y,t);
其中,I(x,y,t)表示视频图像序列中的第t张图像(x,y)位置处的像素值,λ为一个可调节的常数,上述不等式表示的完整含义是:若新的图片中相应位置的像素值与对应模型中的像素的均值的距离小于标准差的λ倍,即存在与新像素匹配的单模型,则判断该点为背景,并进入步骤S1;否则,不存在与新像素匹配的模型,判断该点为前景,并进入S2。
S1:修正与新像素匹配的单模型的权值,权值增量为dw=α·(1-wi(x,y,t-1)),新的权值表示如下:
wi=wi(x,y,t-1)+dw=wi(x,y,t-1)+α·(1-wi(x,y,t-1))
修正与新像素匹配的单模型的均值和方差,公式如下:
u(x,y,t)=(1-α)×u(x,y,t-1)+α×u(x,y,t)
σ2(x,y,t)=(1-α)×σ2(x,y,t-1)+α×[I(x,y,t)-u(x,y,t)]2
S2:若当前像素与其高斯模型不匹配,则不更新高斯分量的均值与方差,此时用初始的均值和协方差初始化该像素作为新的高斯分量,替换最后一个高斯分量,并将所有分量的权值归一化。归一化公式如下:
步骤105、对更新后的多个混合高斯模型的重要性进行排序,若排序中的前设定数量的混合高斯模型的权重满足设定条件,则将前设定数量的混合高斯模型作为背景图像。
具体地,本步骤的目的是对多个高斯混合模型进行排序和删减。具体以wi(x,y,t)/σii(x,y,t)作为各个高斯模型重要性排序依据,若前单N个模型的权重满足:
则仅用这N个单高斯模型作为背景模型(即背景图像),删除其他模型。
基于上述实施例的内容,作为一种可选实施例,目标检测模型包括卷积神经网络和SVM分类模型;破损检测结果为带有目标检测框的背景图像副本;
相应地,提供一种将背景图像输入至目标检测模型,获得目标检测模型输出的破损检测结果的方法,包括但不限于如下步骤:
步骤201、提取背景图像中的多个候选区域。
在本步骤中,输入背景图像后,可利用selective search算法从下到上的在背景图像中提取各候选区域。
步骤202、对于每个候选区域,将候选区域输入至卷积神经网络,获得卷积神经网络输出的候选区域的特征信息;将特征信息输入至分类模型中,获得分类模型输出的识别结果;识别结果用于指示候选区域内是否存在破损。
具体地,在输入卷积神经网络之前,可将每个候选区域缩放至统一的尺寸(例如227×227)。然后分别将每个候选区域输入至CNN卷积神经网络中。卷积神经网络可提取每个候选区域的特征信息,之后对每个候选区域的特征信息输入到分类模型(例如SVM分类模型)中,分类模型可判断该候选区域内是否存在破损,并输出对应的识别结果。
步骤203、根据每个候选区域分别对应的识别结果,输出带有目标检测框的背景图像副本;目标检测框位于背景图像副本中的目标候选区域,目标候选区域的识别结果为存在破损。
具体地,可在候选区域中筛选出识别结果为存在破损的目标候选区域。然后在背景图像副本中该目标候选区域的位置处设置一个目标检测框,从而通过目标检测框标识出存在破损的位置。
另外,由于最终的目标检测框的位置不可能与人工标注的位置完全匹配,因此还可对目标检测框在背景图像副本中的位置进行精确修正。本发明实施例可使用回归器修正目标检测框的位置,具体可通过如下定位精度的评价公式:
IOU=(DetectionResult∩GroundTruth)/(DetectionResult∪GroundTruth)。
基于上述实施例的内容,作为一种可选实施例,输出带有目标检测框的背景图像副本之后,还包括:
在背景图像副本中建立坐标系,获取目标检测框的坐标;根据目标检测框的坐标和渔场围网的尺寸信息,获取渔场围网的破损区域的位置信息。
其中,可通过如下方式建立坐标系:以背景图像的左上角为坐标原点,右上角为x轴正方向,左下角为y轴正方向构建二维坐标系。然后将检测到的破损目标(xi,yi)(即目标检测框的坐标)映射到二维坐标系中,根据单面围网待检测图像的长宽和单面围网的实际长宽之间的比例关系,可以推断出实际破损的具体位置。
综上,本发明实施例提供的渔场围网破损检测方法,通过获取完整的四面围网图像数据,采用图像处理技术对围网破损情况进行自动的分析处理,可以自动提取围网破损处的纹理、形状等,无需人工观察描述便可以获得围网是否破损的信息,还可以计算出围网破损的较精确位置,避免了人为进行破损定位所耗费的大量人力、财力,更防止了养殖生物大规模逃逸所造成的巨额损失。
基于上述实施例的内容,本发明实施例提供了一种渔场围网破损检测系统,该渔场围网破损检测系统用于执行上述方法实施例中的渔场围网破损检测方法。参见图2,该系统包括:上位机301;上位机301包括:获取模块和检测模块;获取模块用于获取待检测的渔场围网的完整图像,并对完整图像进行背景建模,获得背景图像;检测模块用于将背景图像输入至目标检测模型,获得目标检测模型输出的渔场围网的破损检测结果;其中,目标检测模型是基于样本背景图像及预先确定的破损结果标注进行训练后获得的。
具体地,由于获取模块在获取完整图像的过程中,除了拍摄到了渔网,还可能拍摄到了水下的鱼等其他干扰物,因此,可进一步将完整图像分为前景图像和背景图像。因此,通过获取模块对完整图像进行背景建模,获取背景图像,能够排除掉完整图像中除渔网外的其他的动态干扰物,提高了检测结果的准确性。检测模块可采用目标检测模型对背景图像进行检测,获得破损检测结果。其中,破损检测结果可以指示渔场围网中是否存在破损,以及在存在破损时破损的位置信息。其中,检测模块可预先训练获得目标检测模型。
本发明实施例提供的渔场围网破损检测系统,通过获取渔场围网的背景图像,并将背景图像输入至目标检测模型,获得目标检测模型输出的渔场围网的破损检测结果,能够对渔场围网的破损情况进行自动的分析处理;相比于现有技术中的人工观察的方式,减少了人力物力的消耗,提高了检测效率和检测精度。
基于上述实施例的内容,作为一种可选实施例,渔场围网破损检测系统还包括:水下机器人和下位机302;上位机301和下位机302组成VDSL网络;水下机器人用于获取渔场围网的各区域分别对应的原始图像;下位机302用于将原始图像发送至上位机301,以及控制水下机器人中的各执行模块的运动;执行模块包括推进器、水下灯、摄像机和电源阵列模块中的至少一个;上位机301还包括拼接模块,拼接模块用于将多张原始图像进行图像拼接,获得完整图像;以及对完整图像进行二值化处理、去噪处理和图像增强处理。
具体地,渔场围网破损检测系统采用上、下位机302的分层控制系统。图2示出了该系统的完整工作。渔场围网破损检测系统主要包括:电源箱、上位机301和水下机器人的核心——下位机302。其中上位机301的作用为:用于显示水下机器人的各种状态参数和采集到的视频、图像数据;用于输入控制指令,实现水下机器人的运动控制;用于对下位机302传输的图像数据(即原始图像)进行处理分析,及时获取到围网的破损信息。下位机302负责推动水下机器人各执行机模块的运动,其中各执行模块可能包括:推进器、水下灯、摄像机、电源阵列模块等。上位机301和下位机302间组成VDSL网络,进行远程数据传输。
本发明实施例提供了一种电子设备,如图3所示,该设备包括:处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503和通信总线504,其中,处理器501,通信接口502,存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503上并可在处理器501上运行的计算机程序,以执行上述各实施例提供的渔场围网破损检测方法,例如包括:获取待检测的渔场围网的完整图像,并对完整图像进行背景建模,获得背景图像;将背景图像输入至目标检测模型,获得目标检测模型输出的渔场围网的破损检测结果;其中,目标检测模型是基于样本背景图像及预先确定的破损结果标注进行训练后获得的。
此外,上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的电子设备等实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种渔场围网破损检测方法,其特征在于,包括:
获取待检测的渔场围网的完整图像,并对所述完整图像进行背景建模,获得背景图像;
将所述背景图像输入至目标检测模型,获得所述目标检测模型输出的所述渔场围网的破损检测结果;其中,所述目标检测模型是基于样本背景图像及预先确定的破损结果标注进行训练后获得的。
2.根据权利要求1所述的方法,其特征在于,所述获取待检测的渔场围网的完整图像,包括:
获取所述渔场围网的各区域分别对应的原始图像;
将多张所述原始图像进行图像拼接,获得所述完整图像;
对所述完整图像进行二值化处理、去噪处理和图像增强处理。
3.根据权利要求2所述的方法,其特征在于,所述将多张所述原始图像进行图像拼接,获得所述完整图像,包括:
分别对每张所述原始图像进行噪声抑制处理和边缘提取处理;
选择所述多张原始图像中的一张作为参考图像,将所述多张原始图像中除所述参考图像外的其他原始图像作为搜索图像;对于每张所述搜索图像,将所述参考图像与所述搜索图像进行配准,获得所述搜索图像与所述参考图像之间的坐标变换矩阵;基于所述坐标变换矩阵,将所述搜索图像和所述参考图像的坐标变换至同一坐标系下;
在同一坐标系下将所述参考图像和所述搜索图像进行拼接,对拼接后获得的图像进行图像融合处理,获得所述完整图像。
4.根据权利要求3所述的方法,其特征在于,所述将所述参考图像与所述搜索图像进行配准,获得所述搜索图像与所述参考图像之间的坐标变换矩阵,包括:
在所述参考图像中选择一个图像子块作为配准模板,将所述配准模板沿设定路径在所述搜索图像上移动;
在移动过程中,所述配准模板每移动到一个位置,将所述配准模板与所述位置对应的所述搜索图像中的图像子块进行比较;
根据不同位置分别对应的比较结果获得配准位置,并根据所述配准位置获取所述搜索图像与所述参考图像之间的所述坐标变换矩阵。
5.根据权利要求1所述的方法,其特征在于,所述对所述完整图像进行背景建模,获得背景图像,包括:
分别对所述完整图像中的每个像素建立混合高斯模型,并对所述混合高斯模型的参数进行更新;
对更新后的多个所述混合高斯模型的重要性进行排序,若所述排序中的前设定数量的所述混合高斯模型的权重满足设定条件,则将所述前设定数量的混合高斯模型作为所述背景图像。
6.根据权利要求1所述的方法,其特征在于,所述目标检测模型包括卷积神经网络和SVM分类模型;所述破损检测结果为带有目标检测框的背景图像副本;
相应地,所述将所述背景图像输入至目标检测模型,获得所述目标检测模型输出的破损检测结果,包括:
提取所述背景图像中的多个候选区域;
对于每个所述候选区域,将所述候选区域输入至所述卷积神经网络,获得所述卷积神经网络输出的所述候选区域的特征信息;将所述特征信息输入至所述分类模型中,获得所述分类模型输出的识别结果;所述识别结果用于指示所述候选区域内是否存在破损;
根据每个所述候选区域分别对应的识别结果,输出带有目标检测框的背景图像副本;所述目标检测框位于所述背景图像副本中的目标候选区域,所述目标候选区域的识别结果为存在破损。
7.根据权利要求6所述的方法,其特征在于,所述输出带有目标检测框的背景图像副本之后,还包括:
在所述背景图像副本中建立坐标系,获取所述目标检测框的坐标;
根据所述目标检测框的坐标和所述渔场围网的尺寸信息,获取所述渔场围网的破损区域的位置信息。
8.一种渔场围网破损检测系统,其特征在于,包括:上位机;所述上位机包括:获取模块和检测模块;
所述获取模块用于获取待检测的渔场围网的完整图像,并对所述完整图像进行背景建模,获得背景图像;
所述检测模块用于将所述背景图像输入至目标检测模型,获得所述目标检测模型输出的所述渔场围网的破损检测结果;其中,所述目标检测模型是基于样本背景图像及预先确定的破损结果标注进行训练后获得的。
9.根据权利要求8所述的系统,其特征在于,还包括:水下机器人和下位机;所述上位机和所述下位机组成VDSL网络;
所述水下机器人用于获取所述渔场围网的各区域分别对应的原始图像;
所述下位机用于将所述原始图像发送至所述上位机,以及控制所述水下机器人中的各执行模块的运动;所述执行模块包括推进器、水下灯、摄像机和电源阵列模块中的至少一个;
所述上位机还包括拼接模块,所述拼接模块用于将多张所述原始图像进行图像拼接,获得所述完整图像;以及对所述完整图像进行二值化处理、去噪处理和图像增强处理。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述渔场围网破损检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910312619.9A CN110163798B (zh) | 2019-04-18 | 2019-04-18 | 渔场围网破损检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910312619.9A CN110163798B (zh) | 2019-04-18 | 2019-04-18 | 渔场围网破损检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110163798A true CN110163798A (zh) | 2019-08-23 |
CN110163798B CN110163798B (zh) | 2020-12-04 |
Family
ID=67639458
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910312619.9A Active CN110163798B (zh) | 2019-04-18 | 2019-04-18 | 渔场围网破损检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110163798B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111882555A (zh) * | 2020-08-07 | 2020-11-03 | 中国农业大学 | 基于深度学习的网衣检测方法、装置、设备及存储介质 |
CN112529853A (zh) * | 2020-11-30 | 2021-03-19 | 南京工程学院 | 一种用于水下养殖网箱的网衣破损检测方法及装置 |
WO2022062242A1 (zh) * | 2020-09-27 | 2022-03-31 | 广东海洋大学 | 一种基于深度学习的水下成像鱼网破损识别方法及系统 |
CN114758260A (zh) * | 2022-06-15 | 2022-07-15 | 成都鹏业软件股份有限公司 | 工地安全防护网检测方法及系统 |
CN115187601A (zh) * | 2022-09-13 | 2022-10-14 | 山东滨州八匹马塑料化纤制品有限公司 | 基于图像理解的深海渔网生产过程缺陷检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104535576A (zh) * | 2014-11-26 | 2015-04-22 | 浙江中烟工业有限责任公司 | 一种顺光光源塑料托盘检损装置及方法 |
CN105067633A (zh) * | 2015-08-11 | 2015-11-18 | 江西省公路工程检测中心 | 基于图像处理的车载式路面破损自动识别装置及使用方法 |
CN105447864A (zh) * | 2015-11-20 | 2016-03-30 | 小米科技有限责任公司 | 图像的处理方法、装置及终端 |
CN107153842A (zh) * | 2017-04-27 | 2017-09-12 | 西安交通大学 | 基于边缘分割的风机叶片保护膜损伤检测方法 |
CN109632822A (zh) * | 2018-12-25 | 2019-04-16 | 东南大学 | 一种准静态高精度路面破损智能识别装置及其方法 |
-
2019
- 2019-04-18 CN CN201910312619.9A patent/CN110163798B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104535576A (zh) * | 2014-11-26 | 2015-04-22 | 浙江中烟工业有限责任公司 | 一种顺光光源塑料托盘检损装置及方法 |
CN105067633A (zh) * | 2015-08-11 | 2015-11-18 | 江西省公路工程检测中心 | 基于图像处理的车载式路面破损自动识别装置及使用方法 |
CN105447864A (zh) * | 2015-11-20 | 2016-03-30 | 小米科技有限责任公司 | 图像的处理方法、装置及终端 |
CN107153842A (zh) * | 2017-04-27 | 2017-09-12 | 西安交通大学 | 基于边缘分割的风机叶片保护膜损伤检测方法 |
CN109632822A (zh) * | 2018-12-25 | 2019-04-16 | 东南大学 | 一种准静态高精度路面破损智能识别装置及其方法 |
Non-Patent Citations (3)
Title |
---|
李亿杨 等: "基于混合高斯模型的生猪个体检测算法", 《中国农业文摘 农业工程》 * |
赵小川编: "《机器人技术创意设计》", 31 January 2013, 北京航空航天大学出版社 * |
赵相伟编著: "《MATLAB与测量数据处理》", 31 March 2014, 中国矿业大学出版社 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111882555A (zh) * | 2020-08-07 | 2020-11-03 | 中国农业大学 | 基于深度学习的网衣检测方法、装置、设备及存储介质 |
CN111882555B (zh) * | 2020-08-07 | 2024-03-12 | 中国农业大学 | 基于深度学习的网衣检测方法、装置、设备及存储介质 |
WO2022062242A1 (zh) * | 2020-09-27 | 2022-03-31 | 广东海洋大学 | 一种基于深度学习的水下成像鱼网破损识别方法及系统 |
CN112529853A (zh) * | 2020-11-30 | 2021-03-19 | 南京工程学院 | 一种用于水下养殖网箱的网衣破损检测方法及装置 |
CN114758260A (zh) * | 2022-06-15 | 2022-07-15 | 成都鹏业软件股份有限公司 | 工地安全防护网检测方法及系统 |
CN114758260B (zh) * | 2022-06-15 | 2022-10-18 | 成都鹏业软件股份有限公司 | 工地安全防护网检测方法及系统 |
CN115187601A (zh) * | 2022-09-13 | 2022-10-14 | 山东滨州八匹马塑料化纤制品有限公司 | 基于图像理解的深海渔网生产过程缺陷检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110163798B (zh) | 2020-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ngugi et al. | Tomato leaf segmentation algorithms for mobile phone applications using deep learning | |
CN110163798A (zh) | 渔场围网破损检测方法及系统 | |
Fernandes et al. | Deep Learning image segmentation for extraction of fish body measurements and prediction of body weight and carcass traits in Nile tilapia | |
Mandal et al. | Assessing fish abundance from underwater video using deep neural networks | |
Andrea et al. | Precise weed and maize classification through convolutional neuronal networks | |
Mohamed et al. | Msr-yolo: Method to enhance fish detection and tracking in fish farms | |
CN110705425B (zh) | 一种基于图卷积网络的舌象多标签分类方法 | |
CN113076871B (zh) | 一种基于目标遮挡补偿的鱼群自动检测方法 | |
CN111178197A (zh) | 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法 | |
CN111046880A (zh) | 一种红外目标图像分割方法、系统、电子设备及存储介质 | |
CN112598713A (zh) | 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法 | |
EP3789934A1 (en) | Method for calculating deviation relations of a population | |
Le et al. | An automated fish counting algorithm in aquaculture based on image processing | |
Pavoni et al. | TagLab: AI‐assisted annotation for the fast and accurate semantic segmentation of coral reef orthoimages | |
CN113221864A (zh) | 多区域深度特征融合的病鸡视觉识别模型构建及应用方法 | |
Djemame et al. | Solving reverse emergence with quantum PSO application to image processing | |
Dohmen et al. | Image-based body mass prediction of heifers using deep neural networks | |
CN110853070A (zh) | 基于显著性与Grabcut的水下海参图像分割方法 | |
Saifullah | Segmentation for embryonated egg images detection using the K-means algorithm in image processing | |
Rasmussen et al. | Deep census: AUV-based scallop population monitoring | |
CN116543386A (zh) | 一种基于卷积神经网络的农业病虫害图像识别方法 | |
Feng et al. | Classification of shellfish recognition based on improved faster r-cnn framework of deep learning | |
Muñoz-Benavent et al. | Impact evaluation of deep learning on image segmentation for automatic bluefin tuna sizing | |
McLeay et al. | Deep convolutional neural networks with transfer learning for waterline detection in mussel farms | |
CN112883915A (zh) | 一种基于迁移学习的麦穗自动识别方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |