CN111080696A - 一种基于计算机视觉的水下海参识别及定位方法 - Google Patents

一种基于计算机视觉的水下海参识别及定位方法 Download PDF

Info

Publication number
CN111080696A
CN111080696A CN201911021894.1A CN201911021894A CN111080696A CN 111080696 A CN111080696 A CN 111080696A CN 201911021894 A CN201911021894 A CN 201911021894A CN 111080696 A CN111080696 A CN 111080696A
Authority
CN
China
Prior art keywords
sea cucumber
image
underwater
thorn
edge detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911021894.1A
Other languages
English (en)
Other versions
CN111080696B (zh
Inventor
李娟�
李波
李文升
韩仲志
张维东
邓立苗
王峰
张韫峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LAIZHOU MINGBO AQUATIC CO LTD
Qingdao Agricultural University
Original Assignee
LAIZHOU MINGBO AQUATIC CO LTD
Qingdao Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LAIZHOU MINGBO AQUATIC CO LTD, Qingdao Agricultural University filed Critical LAIZHOU MINGBO AQUATIC CO LTD
Priority to CN201911021894.1A priority Critical patent/CN111080696B/zh
Publication of CN111080696A publication Critical patent/CN111080696A/zh
Application granted granted Critical
Publication of CN111080696B publication Critical patent/CN111080696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81Aquaculture, e.g. of fish

Abstract

本发明提出一种基于计算机视觉的水下海参识别及定位方法,包括获取水下海参图像,图像预处理,边缘检测,膨胀操作,轮廊增强,海参刺轮廓填充,海参刺质心提取,椭圆拟合,获得椭圆中心坐标,将椭圆中心坐标作为海参的捕捞点坐标等步骤,其中对图像预处理过程中提出十位精度的灰度转换方法,在保证运行效率的情况下实现海参的精准定位。

Description

一种基于计算机视觉的水下海参识别及定位方法
技术领域
本发明涉及计算机视觉与渔业领域,特别是一种一种基于计算机视觉的水下海参识别方法。
背景技术
相关数据显示,近年来我国渔业产业发展较快,海参以其特有的营养价值和药用价值在产量和利润方面增势明显,目前海参已经成为经济效益最好的渔业产品。我国的海参养殖历史悠久且已经形成山东、辽宁、河北、福建几大产区,这其中又以山东的海参产量最高并且因其盛产高品质的刺参而享誉全球。青岛、威海、烟台等地区凭借其独特的地理优势大力发展海参养殖产业当前已经形成完整产业链,对经济的带动作用非常明显,目前已经形成好当家、老尹家、东方海洋等几大知名品牌。
随着世界范围内的海参需求量的不断增大,各大产区的养殖面积也在逐渐增大,但是海参产业仍然存在相关问题制约其发展。海参捕捞就是众多制约海参产业发展因素中的一个关键因素,根据实际调查发现,目前海参捕捞主要以人工捕捞为主且捕捞时间一般在每年的5月份和11月份,人工捕捞效率低且危险系数高的问题尤为突出。潜水员在水下进行海参捕捞时因受到气温和压强的影响极易引发危险,对个人和家庭造成无法挽回的损失。而如果能够发明出水下海参识别算法并进而进而发明水下海参识别系统将会对海参产业的发展起到极好的推动作用。
综合以上的背景分析可知,目前急需能够对水下海参进行自动捕捞的设备,而要实现自动捕捞首先要做到的是对海参的识别和定位,计算机视觉技术作为新兴技术目前被广泛应用到工业生产的各个领域极大的减轻了人们的劳动强度,这也为我们运用计算机视觉技术对水下海参图像进行识别奠定了基础。
对于水下海参图像的识别技术研究一直是相关专家学者研究的重点问题,水下图像因其拍摄环境较为复杂导致其图像中含有较大的噪声,而且图像一般较为模糊并且信息丢失严重,这极大的增加了海参识别的难度。水下图像的噪声处理是海参识别的关键,目前以我们的知识暂未见到普遍适用的水下图像去燥算法,现有的相关算法在实验室可以取得较好的效果但是应用到实际还是不理想,因此发明一种适用于水下海参图像去噪的方法是非常有必要的。
以及,海参识别与定位是海参捕捞自动化和智能化的前提和关键。海参生活环境复杂、水中光照强度低且海参体色随环境变化,为了解决复杂多变环境下海参识别及精准定位的难题,本发明提出基于计算机视觉的水下海参识别方法,针对水下海参图像噪声多、对比度低、图像失真严重,并且以往的图像处理速度慢识别效果不理想等问题,计划先对水下海参图像进行相应的预处理工作,然后通过图像融合以及边缘检测方法发明出适合水下海参刺分割的方法进而获取海参的区域,基于获取海参的区域进一步并精准定位海参的位置,完成水下海参识别方法的发明。
发明内容
本发明目的主要是:(1)提出了一种十位精度的灰度转换式以及适应于水下海参RGB三通道灰度图像融合突出海参刺的方法,使得运行效率得到大幅提升以及能够针对性的突出海参刺,并通过边缘检测获取海参刺轮廓区域;(2)提出了基于直接最小二乘的海参刺质心椭圆拟合识别海参的方法;将拟合得到的海参椭圆轮廓质心作为捕捞点图像像素坐标。
为达到上述技术目的,本发明的技术方案提供一种基于计算机视觉的水下海参识别及定位方法,包括:
A:获取水下海参图像,所述水下海参图像为彩色图像;
B:图像预处理,将所述水下海参图像转换为灰色图像,然后对所述灰色图像进行图像增强和去燥处理,得到图像预处理图像;
C:边缘检测,采用边缘检测算法将海参刺分割出来,得到海参刺轮廊二值图像;
D:膨胀操作,对所述边缘检测后的海参刺轮廓二值图像进行形态学膨胀操作;
E:轮廊增强,包括:
E1:对进行形态学膨胀操作后的图像中边缘像素点的八邻域进行对角像素填充;
E2:移除孤立点像素,移除没有相邻像素的像素点。
F:去除小轮廊,对图像中的海参图像轮廓面积进行筛选,设定一个阈值,将轮廊面积小于该阈值的轮廓去除,大于的保留。
G:海参刺轮廓填充,对所述边缘检测后的海参刺轮廓二值图像进行轮廊填充操作;
H:海参刺质心提取,提取每个轮廊区域的质心,并获得各个质心坐标;
I椭圆拟合,以获取的每个轮廊区域质心坐标为依据使用最小二乘法拟合出椭圆形状;
J:获得椭圆中心坐标,将椭圆中心坐标作为海参的捕捞点坐标。
附图说明
图1本发明方法流程图
图2水下海参图像
图3水下海参图像样本
图4图像预处理实施例一流程图
图5灰度转换后水下海参图像
图6灰度转换后CLAHE算法增强
图7灰度变换后软阈值小波变换去除噪声
图8图像预处理实施方式二流程图
图9水下海参图像典型样本RGB空间分布
图10a R通道水下海参灰度图
图10b G通道水下海参灰度图
图10c B通道水下海参灰度图
图11图像融合后突出的海参刺图像
图12图像融合后CLAHE算法增强
图13图像融合后软阈值小波变换去燥
图14 Canny边缘检测结果
图15经膨胀操作后的水下海参刺轮廓图像
图16移除八邻域背景和轮廓增强
图17图像区域轮廓筛选
图18轮廓填充后的海参刺图像
图19膨胀并进行填充后海参刺图像
图20标注质心的海参刺图
图21a二值图像中椭圆拟合
图21b原图中椭圆拟合
图22椭圆示意图
图23获取海参中心坐标系统界面
具体实施方式
下面结合附图和实施例对本发明作进一步说明:
图1显示本发明方法流程图。
A水下海参图像采水
水下海参图像的采水是进行后期处理的一个关键因素,为尽量准确的获取真实场景下的水下海参图像,图像采水设备使用的是GoPro的HERO 6 BLACK水下相机,该相机像素为1200万,画面每秒传输30帧,最大防水深度为10米,完全符合水下海参图像采水的实际需求。本发明使用的图像是在水下现场采水的海参图像,使用该相机拍摄到的水下海参图像如图2所示。
通过分析实际中拍摄的水下海参图像可以清楚地发现,海参所处的生活环境非常复杂,并且水下摄影时不可避免地存在水对光的选择吸收作用,这就导致了水下摄影所拍摄到的图像清晰度较差,并且海参生活环境中的海草、海蛎子、贝壳、河床也会对海参的识别造成比较严重的干扰,这无形之中增加了海参识别的难度。我们以水下拍摄到的海参图像2为例做了典型海参图像样本如图3所示。
水下海参图像样本中清楚地标记了水草、海参主干、沙地、贝壳、海蛎子、海参刺的特征,然而对于彩色图来说,要想通过颜色实现海参的识别是相对比较困难的。海参具有较强的自我保护能力,其主干会随着居住环境的颜色变化而改变颜色,图2中海参主干颜色与背景颜色接近,难以通过肉眼识别。水下海参图像样本中海参主干、海参刺及背景颜色统计情况如表1所示。
表1水下海参图像特征物及背景颜色统计表
Figure BDA0002247487080000061
B图像预处理,可选的图4为图像预处理实施方式一流程图,将所述海参图像转换为灰色图像,然后对所述灰色图像进行图像增强和去燥处理;
B1水下海参图像灰度转换
目前摄像机拍摄的照片大多使用RGB颜色模式,在该颜色模式由R、G、B三通道组成,每个通道亮度区间为[0,255]。其中R代表红色,G代表绿色,B代表蓝色,一般的颜色均可使用三通道的亮度组合表达。在本发明中获取的水下海参图像同样采用的是该模式,但是RGB颜色模式在进行处理时要分别对R、G、B三个通道进行操作,这给图像处理过程带来了极大的不便,并且RGB颜色模式因其不能反映图像中的形态特征而表现出明显的劣势,在图像处理中如何解决上述问题成为图像预处理的关键。
为避免图像处理中RGB颜色模型对水下海参图像识别的制约,在本发明中首先对图像进行灰度化操作,灰度化是一种将彩色图像中R、G、B三通道分量取值相同的操作。目前进行图像的灰度化主要有两条主线,其一为求RGB三通道平均值的方法,其二为根据RGB与YUV颜色分量之间关系使用亮度值Y表示图像灰度值Grey。本发明中采用的是第二种方法,该操作可以将三通道的彩色图像转换成单通道的灰度图像,在灰度图像中像素点的表示采用不同像素的灰度值表示,取值区间为[0,255],根据式(1)完成水下海参图像灰度转换。
Grey=0.299*R+0.587*G+0.114*B (1)
式(1)可以完成需要的灰度转换功能,但考虑到海参识别系统的运行速度需要对该灰度转换模型进行改进,在计算机算术逻辑单元(ALU)中相关运算方式的运算速度由高到低排序为:位操作、整数加法、整数乘法、浮点数运算。基于以上思想将式(1)改进得到十位精度的灰度转换式(2)。
Grey=(306*R+601*G+117*B)>>10 (2)
经试验使用式(1)时运行时间为0.2536s,使用式(2)时程序运行时间为0.2013s,运行效率得到大幅提升,使用式(2)将彩色图2转换成灰度图结果如图5。
B2水下海参图像增强
使用HE算法进行水下海参图像增强时会将图像中的背景信息对比度同时增强,这对于水下海参图像识别是不利的,因此在发明时本着最优化发明的原则对限制对比度自适应直方图均衡CLAHE(Contrast Limited Adaptive Histongram Equalization)算法进行分析。
CLAHE在进行图像增强时对图像对比度的幅度进行了限制,是对HE算法的一种优化发明,这种方法避免了HE算法实现时出现的背景噪声被放大的现象,发明时使用CLAHE算法对灰度转换后水下海参图5处理得到图6。
B3基于软阈值的小波变换去燥
水下采水到的海参图像中含有较多噪声,如何进行噪声处理也是本发明中需要考虑的关键问题,常用的滤波方式有高斯滤波、中值滤波、低通滤波、均值滤波和小波滤波等。其中均值滤波、中值滤波、高斯滤波可以去除高斯白噪声,中值滤波可以去除椒盐噪声,而小波变换可以实现对多种噪声的处理。图像增强后为消除水下海参图像中的噪声干扰,本发明引入了小波变换去噪的方式,常用的小波变换去噪方式有软阈值、硬阈值、软硬阈值等方式。本发明对以上去噪方式进行了综合对比,发现目前软阈值小波变换去噪是最合适的。图7为基于软阈值小波变换去燥结果图。
B'图像预处理,可选的图8显示图像预处理实施方式二,对水下海参图像进行图像融合处理,然后进行图像增强和去燥处理;
为直观地看到水下海参图像中海参与背景在RGB颜色空间上的区别,本发明根据图9中水下海参图像典型样本以RGB三通道的亮度值作为坐标轴,然后采水相关数据后绘制典型样本空间分布图如图9所示。通过对水下海参图像典型样本RGB空间分布图分析可知,海参刺RGB颜色空间分布与海参主干、贝壳、海蛎子、沙地、水草RGB颜色空间分布信息有明显差异,而海参主干、贝壳、海蛎子、沙地、水草在RGB颜色空间的分布特征区分度较低,在海参识别是可以首先将海参刺分割出来,然后再通过发明相应的算法实现水下海参图像的识别。
B'1水下海参图像融合处理
图像融合是通过将同一时间内采水到的目标多源图像经某种变换重新合成新的图像,新图像中感兴趣区域被突出,有利于对图像进行分割处理。图像融合技术因对图像分割具有非常重要的意义被广泛应用在图像分割中,特别是对农业产品的图像分割,例如西红柿、枸杞、黄瓜、金银花等。
本发明图像融合过程以典型海参图像水下样本空间分布为依据,充分挖掘水下海参图像中海参刺、海参主干、贝壳、海蛎子、沙地、水草的RGB三通道数据信息,并以图2为依据分别做出R通道下的灰度图、G通道下的灰度图、B通道下的灰度图如图10a、图10b、图10c所示。
为突出图像中的海参,在本章中对R通道下水下海参图像灰度图、G通道下水下海参灰度图、B通道下水下海参灰度图进行多次算术运算,发明出了一种可以较好地实现水下海参图像中的海参刺突出式(3),该公式完成前文三通道数值的计算,经试验该融合算法可以较好地突出海参刺。而对于海参主干,因海参主干与背景中水草、贝壳、海蛎子等在颜色上相似度较高,在进行图像融合时虽能实现突出海参主干,但背景中的水草、贝壳、海蛎子也被突出,因此暂未找出具有较高通用性的海参主干图像融合方式。
Figure BDA0002247487080000091
经式(3)对分解后的单通道水下海参图像重新融合得到图像11
B’2 CLAHE算法图像增强
从图中可以清楚地发现海参刺非常突出,图像融合公式(3)较好的完成了图像融合突出海参刺的功能,但经图像融合后的图像中仍有背景被增强,背景中被突出的样本较少且被突出的背景面积相对海参刺要小很多,可以通过后续的处理过程将其去除。经式(3)重新融合突出海参刺后的图像11比较模糊,不利于后续的图像处理,因此我们使用CLAHE算法增强图像11得到图像12。对比图11和图12可以发现图像的清晰度明显提高,对后续图像中海参刺的分割非常有利。
B’3基于软阈值的小波变换去燥
在这里本发明仍选取基于软阈值的小波变换去燥操作,小波变换去噪后的图像如图13所示。
C水下海参图像海参刺边缘检测
在图像中边缘总是亮度信息变化最显著的区域,因此边缘检测在图像处理中得到了广泛应用,可选的边缘检测算法有Robert边缘检测算法、Sobel和Prewitt边缘检测算法、Laplacian边缘检测算法、Log边缘检测算法以及Canny边缘检测算法,这些算法在实际中被广泛应用,但是也各有其优缺点。图14为Canny边缘检测结果。
D膨胀边缘检测后的海参刺轮廓图像
Canny边缘检测后海参刺轮廓被检测出来,但是检测出的海参刺边缘并不是连续的,而是一些孤立的点,因此首先需要对Canny边缘检测后的图像14进行膨胀操作,将图像中相邻的元素连接起来。经膨胀操作后得到图15。对膨胀后的水下海参刺边缘轮廓图像分析可知,被膨胀后的海参刺轮廓边缘被明显突出,并且边缘被较好的连接,通过以上算法提取到的海参刺相对比较完整。但是图14中背景中的干扰因素也被膨胀,因此接下来要对图像中非海参刺轮廓进行处理,以排除背景中的干扰因素并准确提取海参刺。
E轮廓增强
膨胀操作连接了海参刺边缘并使其边缘更加清晰,但是图像中对海参刺检测有干扰的背景物同样被膨胀,为去除图像中干扰背景影响在发明中进一步对轮廊增强。进行轮廊增强时我们分两步进行,首先对图像中边缘像素点的八邻域进行对角像素填充,对当前像素点Point八邻域对角填充即填充下表格中X1,X3,X6,X8像素点,然后移除孤立点像素,移除没有相邻像素的像素。进一步轮廊增强如图16所示。
X_1 X_2 X_3
X_4 Piont X_5
X_6 X_7 X_8
八邻域:x_1,x_2,x_3,……,x_6,x_7,x_8。
F去除小轮廓
经过膨胀和形态学处理后的海参刺图像中仍有一些背景噪声的干扰,如何消除这些轮廓成为一个关键为题,进行噪声处理可以将水下海参图像中的相应噪声去除,实现对于水下海参的准确识别。通过分析图16中海参刺轮廓以及其他轮廓后可以总结出一非常明显的特征,即海参刺轮廓时封闭的,而背景中被检测出的干扰因素的轮廓大多不构成封闭且较小。
通过以上分析,在本发明中可以通过发明算法首先对图像中的海参图像轮廓面积进行筛选。本发明在筛选时设定一个阈值,将小于该阈值的轮廓去除,大于的保留。这样便能够准确的将水下海参图像背景物的干扰去除。为实现将小于一定大小的海参刺轮廓删掉,在本发明中引入bwareaop en函数,该函数可以实现将图像中八邻域内轮廓面积小于指定大小的轮廓删除。经过大量试验,在本发明中设定最小轮廓面积为700,删除图像中轮廓面积小于设定面积的轮廓。经轮廓筛选去毛刺后的图像如图17所示,对比图16可以发现该算法基本实现消除背景中非海参刺干扰。虽然在进行水下海参刺轮廓筛选的过程中,一些较小的海参刺轮廓被删掉,但是保留下的海参刺轮廓已经足够通过本发明的最小二乘法海参刺质心椭圆拟合算法拟合出海参轮廓。
经过筛选后的水下海参图像中海参刺轮廓清晰且全为海参刺轮廓,面对这些海参刺轮廓,如何通过发明相应的算法获取海参主干区域成为本发明的关键。经查阅大量资料后确定椭圆拟合的方式实现海参主干区域的获取,因为在一般情况下,从侧面看海参本身就是椭圆形状,而且海参具有较强的自我保护能力,其主干颜色会随着生活环境而改变。例如生活在礁石附近的海参其主干颜色一般为棕色或者是淡蓝色,而生活在海藻和一些水草中的海参其主干颜色一般为淡绿色,因此简单的通过主干颜色对海参进行识别是难度较大的。通过海参刺区域拟合获取水下海参图像中海参主干区域由海参刺轮廓填充、海参刺质心提取以及海参轮廓拟合三个阶段。
G海参刺轮廓填充
图17中已经完成水下海参图像中海参刺轮廓的筛选,经过相应的筛选后,图像中全部为海参刺轮廓。为获取水下海参主干轮廓,首先进行海参刺轮廓的填充,为此引入imfill函数将二值图像中白色轮廓内部全部填充,经过处理后的图像如图18所示。
分析图18可知,图18中的海参刺轮廓基本全被填充,左下角仍有一个轮廓未被填充,经放大后发现该区域未被填充的原因是该轮廓并非一个闭合的区域,因而无法对其进行填充。为避免出现如图18这种因轮廓不闭合造成的海参刺填充的状况,在轮廓填充之前再引入一次膨胀操作,本次膨胀操作按照公式(4)中矩阵P进行膨胀,经膨胀操作后再进行填充的海参刺图像如图19所示。
Figure BDA0002247487080000131
与未进行第二次海参刺膨胀操作的海参刺图像14相比,经膨胀后的水下海参刺图像19将18中未能填充的轮廓准确的填充,这为下一步水下海参刺图像的质心获取奠定了基础,可见进行形态学膨胀操作对于非连续性轮廓的处理非常重要。
H海参刺质心提取
获得轮廓填充后的海参刺图像后便要开始对海参刺的质心进行提取,为此引入regionprops函数,通过编程遍历图像中的所有轮廓并计算出每个轮廓在图像中的质心坐标。得到每个区域的质心坐标后,再调用plot函数将每个质心坐标绘制到轮廓填充后的海参刺图像中,经过质心标注后的海参刺图像如图20所示。在图20中每个质心坐标都被准确的绘制,且每个质心使用不同颜色的*表示。
I椭圆拟合
通过分析水下海参图像的形态特征可以发现,海参大多为椭圆状且形状特征较稳定。因此本发明采用椭圆拟合的方式获取海参主干,在图20中以获取的海参刺质心坐标为依据使用最小二乘法拟合出椭圆形状如图21所示,本发明中最小二乘法椭圆拟合算法原理如下。
在本发明中假设海参刺拟合得到的椭圆方程为:
F(α,X)=α·X=Ax2+Bxy+Cy2+Dx+Ey+F=0 (5)
式(5)中各参数构成参数矩阵α=[A,B,C,D,E,F]T,各变量构成矩阵
Figure BDA0002247487080000141
并设
Figure BDA0002247487080000142
则海参刺质心坐标(xi,yi)到拟合曲线F(α,X)的距离可以表示为F(α,Xi),通过海参刺拟合曲线获取海参轮廓时首先求解所有海参刺质心的最小代数距离平方和,进而求解出相应的曲线方程。当获取海参刺质心坐标个数为n时,可以建立数学关系如式(6)。
Figure BDA0002247487080000143
将拟合得到的曲线方程限制为椭圆时需满足椭圆的限制条件b2-4ac<0,若无法满足该限制条件拟合得到的将是抛物线或者是双曲线。而因b2-4ac<0并不是等式的限制条件,根据库恩塔克条件可知在该限制条件下求解方程存在无解的情况,为此将该限制条件转换为b2-4ac=-1并以矩阵形式表示为:
αTCα=1 (7)
其中:
Figure BDA0002247487080000144
将以上海参刺质心椭圆拟合问题转换为最优化问题,即:
Hmin=min||Lα||2 s.t.αTCα=1 (8)
具体求解过程根据拉格朗日乘子法引入Lagrange算子并进行求导计算得到如下公式:
Figure BDA0002247487080000151
为便于分析可令S=LTL,因此可将式(9)简化得到:
Figure BDA0002247487080000152
求解方程Sα=λCα可以求得特征值λi和该特征值所对应的特征向量ui,设变量ρi为任意实数,则ρiui也是满足方程Sα=λCα的特征解。将α=ρiui代入限制条件αTCα=1后可求得唯一的ρi满足
Figure BDA0002247487080000153
据此可求得常数ρi
Figure BDA0002247487080000154
则根据以上计算结果令:
Figure BDA0002247487080000155
式(12)计算得到对应ρi>0的特征向量
Figure BDA0002247487080000156
并将其作为水下海参图像海参刺质心椭圆拟合得到椭圆方程的参数矩阵。为检验基于直接最小二乘的海参刺质心椭圆拟合算法对海参主干获取的准确性,本文首先以获取的海参刺质心坐标为依据在二值图像中拟合椭圆如图21a,并进一步将拟合得到的椭圆绘制在海参图像中如图21b。在图21b中拟合得到的椭圆区域将海参主干很好的包围起来,达到了对水下海参图像中海参主干提取的目的。
J几何计算获取海参中心坐标
前文已经通过海参刺质心最小二乘法椭圆拟合算法将水下海参图像中的海参轮廓拟合出,而要实现水下海参的捕捞还要将海参的坐标提取出来。因此在该阶段本发明通过最小二乘法海参刺质心椭圆拟合算法,对拟合出的海参轮廓求取中心点坐标,并且认为该坐标即为海参捕捞坐标。
根据公式(4.4)设椭圆方程一般式为:
F(α,X)=Ax2+Bxy+Cy2+Dx+Ey+F=0 (13)
并绘制椭圆示意图像如图22所示。
在图像22中,假设椭圆的原点坐标为o(x0,y0),长半轴长为a,短半轴长为b,椭圆的长轴和x轴之间的夹角为θ,根据椭圆方程各变量的几何关系得到椭圆一般式各系数与长轴长a、短轴长b以及夹角θ之间关系式如下:
Figure BDA0002247487080000161
通过联合公式(13)以及公式(14)便可求出椭圆中心坐标o(x0,y0),在本发明中认为该坐标即为水下海参的捕捞点坐标。
图23显示海参识别系统海参轮廓中心坐标获取界面,海参刺拟合获得椭圆后发现拟合出的椭圆很好的将海参区域包围起来,且该椭圆与海参轮廓基本符合,因此本发明采用的最小二乘法椭圆质心拟合算法拟合海参轮廓区域是可行的。而为实现海参捕捞还需要获取海参的坐标信息,在此阶段本发明通过计算拟合出的椭圆海参轮廓获得其中点坐标,并将该图像像素坐标系的坐标经单目相机测距的坐标转换后发送给海参捕捞装置实现捕捞。
上面以举例方式对本发明进行了说明,但本发明不限于上述具体实施例,凡基于本发明所做的任何改动或变型均属于本发明要求保护的范围。

Claims (7)

1.一种基于计算机视觉的水下海参识别及定位方法,其特征在于,包括:
A:获取水下海参图像,所述水下海参图像为彩色图像;
B:图像预处理,将所述水下海参图像转换为灰色图像,然后对所述灰色图像进行图像增强和去燥处理,得到图像预处理图像;
C:边缘检测,采用边缘检测算法将海参刺分割出来,得到海参刺轮廊二值图像;
D:膨胀操作,对所述边缘检测后的海参刺轮廓二值图像进行形态学膨胀操作;
E:轮廊增强,包括:
E1:对进行形态学膨胀操作后的图像中边缘像素点的八邻域进行对角像素填充;
E2:移除孤立点像素,移除没有相邻像素的像素点;
F:去除小轮廊,对图像中的海参图像轮廓面积进行筛选,设定一个阈值,将轮廊面积小于该阈值的轮廓去除,大于的保留;
G:海参刺轮廓填充,对所述边缘检测后的海参刺轮廓二值图像进行轮廊填充操作;
H:海参刺质心提取,提取每个轮廊区域的质心,并获得各个质心坐标;
I椭圆拟合,以获取的每个轮廊区域质心坐标为依据使用最小二乘法拟合出椭圆形状;
J:获得椭圆中心坐标,将椭圆中心坐标作为海参的捕捞点坐标。
2.根据权利要求1所述的水下海参识别及定位方法,所述步骤B图像预处理进一步包括,所述将海参图像转换为灰色图像通过公式(1)计算得到
Grey=(306*R+601*G+117*B)>>10 (1)。
3.根据权利要求1所述的水下海参识别及定位方法,所述步骤B图像预处理进一步包括,所述灰色图像进行图像增强包括,采用CLAHE算法。
4.根据权利要求1所述的水下海参识别及定位方法,所述步骤B图像预处理进一步包括,所述去燥处理包括,基于软阈值的小波变换去燥。
5.根据权利要求1所述的水下海参识别及定位方法,所述步骤C边缘检测进一步包括,Robert边缘检测算法、Sobel边缘检测算法、Prewitt边缘检测算法、Laplacian边缘检测算法、Log边缘检测算法、Canny边缘检测算法中任意一种。
6.根据权利要求1所述的水下海参识别及定位方法,所述步骤F海参刺轮廓填充进一步包括:采用imfill函数将海参刺轮廓二值图像中轮廓内部全部填充。
7.根据权利要求1所述的水下海参识别及定位方法,所述步骤F海参刺轮廓填充进一步包括:对海参刺轮廓二值图像中轮廓内部进行二次填充,所述二次填充包括,按照公式(2)中矩阵P进行膨胀;
Figure FDA0002247487070000021
CN201911021894.1A 2019-10-25 2019-10-25 一种基于计算机视觉的水下海参识别及定位方法 Active CN111080696B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911021894.1A CN111080696B (zh) 2019-10-25 2019-10-25 一种基于计算机视觉的水下海参识别及定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911021894.1A CN111080696B (zh) 2019-10-25 2019-10-25 一种基于计算机视觉的水下海参识别及定位方法

Publications (2)

Publication Number Publication Date
CN111080696A true CN111080696A (zh) 2020-04-28
CN111080696B CN111080696B (zh) 2023-08-08

Family

ID=70310503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911021894.1A Active CN111080696B (zh) 2019-10-25 2019-10-25 一种基于计算机视觉的水下海参识别及定位方法

Country Status (1)

Country Link
CN (1) CN111080696B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111735409A (zh) * 2020-06-04 2020-10-02 深圳职业技术学院 软体机器人臂形测量方法、系统及存储介质
CN112077018A (zh) * 2020-08-30 2020-12-15 哈尔滨工程大学 一种采用计算机视觉的海参大小筛选方法
CN112819749A (zh) * 2020-12-30 2021-05-18 中冶赛迪重庆信息技术有限公司 一种转炉出钢钢包液位识别方法、系统、介质及终端
CN113222978A (zh) * 2021-05-31 2021-08-06 安徽国芯智能装备有限公司 一种靶标识别方法
CN113255537A (zh) * 2021-06-01 2021-08-13 贵州财经大学 一种用于航行船舶识别的图像增强去噪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097320A (zh) * 2016-06-06 2016-11-09 中国农业大学 水下海参图像自动分割方法及装置
CN106875441A (zh) * 2016-12-20 2017-06-20 浙江工业大学 一种基于机器视觉的在线pe瓶识别定位方法
CN107369140A (zh) * 2017-06-29 2017-11-21 大连理工大学 非结构化环境下的高精密靶球中心提取方法
WO2018086299A1 (zh) * 2016-11-11 2018-05-17 广东电网有限责任公司清远供电局 基于图像处理的绝缘子缺陷检测方法及系统
WO2019062092A1 (zh) * 2017-09-30 2019-04-04 深圳市颐通科技有限公司 基于超像素-多色彩空间的人体轮廓提取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097320A (zh) * 2016-06-06 2016-11-09 中国农业大学 水下海参图像自动分割方法及装置
WO2018086299A1 (zh) * 2016-11-11 2018-05-17 广东电网有限责任公司清远供电局 基于图像处理的绝缘子缺陷检测方法及系统
CN106875441A (zh) * 2016-12-20 2017-06-20 浙江工业大学 一种基于机器视觉的在线pe瓶识别定位方法
CN107369140A (zh) * 2017-06-29 2017-11-21 大连理工大学 非结构化环境下的高精密靶球中心提取方法
WO2019062092A1 (zh) * 2017-09-30 2019-04-04 深圳市颐通科技有限公司 基于超像素-多色彩空间的人体轮廓提取方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111735409A (zh) * 2020-06-04 2020-10-02 深圳职业技术学院 软体机器人臂形测量方法、系统及存储介质
CN112077018A (zh) * 2020-08-30 2020-12-15 哈尔滨工程大学 一种采用计算机视觉的海参大小筛选方法
CN112819749A (zh) * 2020-12-30 2021-05-18 中冶赛迪重庆信息技术有限公司 一种转炉出钢钢包液位识别方法、系统、介质及终端
CN113222978A (zh) * 2021-05-31 2021-08-06 安徽国芯智能装备有限公司 一种靶标识别方法
CN113255537A (zh) * 2021-06-01 2021-08-13 贵州财经大学 一种用于航行船舶识别的图像增强去噪方法

Also Published As

Publication number Publication date
CN111080696B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN107862667B (zh) 一种基于高分辨率遥感影像的城市阴影检测与去除方法
CN111080696A (zh) 一种基于计算机视觉的水下海参识别及定位方法
CN108596849B (zh) 一种基于天空区域分割的单幅图像去雾方法
CN106651872B (zh) 基于Prewitt算子的路面裂缝识别方法及系统
CN105354865B (zh) 多光谱遥感卫星影像自动云检测方法及系统
CN109636784B (zh) 基于最大邻域和超像素分割的图像显著性目标检测方法
CN105718945B (zh) 基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法
CN107194937B (zh) 一种开放环境下中医舌象图像分割方法
Qiao et al. An automatic active contour method for sea cucumber segmentation in natural underwater environments
CN110309781B (zh) 基于多尺度光谱纹理自适应融合的房屋损毁遥感识别方法
CN109978848B (zh) 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法
CN115578660B (zh) 基于遥感图像的土地地块分割方法
CN109785321A (zh) 基于深度学习和Gabor滤波器的睑板腺区域提取方法
CN113077486A (zh) 一种山区植被覆盖率监测方法及系统
CN112861654A (zh) 一种基于机器视觉的名优茶采摘点位置信息获取方法
CN114764801A (zh) 基于多视觉显著特征的弱小舰船目标融合检测方法及装置
Chehata et al. Object-based forest change detection using high resolution satellite images
CN105354547A (zh) 一种结合纹理和彩色特征的行人检测方法
CN111046726A (zh) 一种基于ai智能视觉的水下海参识别及定位方法
CN111105390B (zh) 一种改进的海天线检测和评估方法
CN115601301B (zh) 鱼类表型特征测量方法、系统、电子设备及存储介质
CN115841618A (zh) 一种基于聚类和边缘检测的遥感影像海岸线提取方法
Kaewapichai et al. Fitting a pineapple model for automatic maturity grading
CN114862883A (zh) 一种目标边缘提取方法、图像分割方法及系统
CN109345539B (zh) 基于图像抽象的自适应Mean-Shift立木图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant