CN113706529A - 利用卷积神经网络对育苗期鲍鱼计数的方法、系统及装置 - Google Patents
利用卷积神经网络对育苗期鲍鱼计数的方法、系统及装置 Download PDFInfo
- Publication number
- CN113706529A CN113706529A CN202111258646.6A CN202111258646A CN113706529A CN 113706529 A CN113706529 A CN 113706529A CN 202111258646 A CN202111258646 A CN 202111258646A CN 113706529 A CN113706529 A CN 113706529A
- Authority
- CN
- China
- Prior art keywords
- matrix
- abalone
- young
- image
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种利用卷积神经网络对育苗期鲍鱼计数的方法,并设计了相应的系统及配套使用的装置,属于图像处理技术领域。一种利用卷积神经网络对育苗期鲍鱼计数的方法,其特殊之处在于,通过如下的步骤实现对育苗期鲍鱼的计数:通过拍摄鲍鱼幼苗附着的瓦片的初始图像、初始图像处理和幼鲍个体检测三个过程,实现对鲍鱼幼苗的数量的检测。本申请的优点在于,通过对图像的处理,获得鲍鱼幼苗图像的细致的颜色纹理信息,实现对鲍鱼幼苗数量的确定。
Description
技术领域
本发明涉及一种利用卷积神经网络对育苗期鲍鱼计数的方法,并设计了相应的系统及配套使用的装置,属于图像处理技术领域。
背景技术
鲍鱼营养价值丰富,国内外市场对鲍鱼的需求量持续增大,但鲍鱼的自然产量较低,远不能满足市场需求。我国鲍鱼工厂化养殖快速发展,鲍鱼育苗是工厂化养殖的重要组成部分。当鲍鱼壳体长到1.8mm,形成第一个孔时算成苗,称为稚鲍。稚鲍数量要严格控制,防止密度大饵料不足造成稚鲍生长缓慢,密度小影响生产效益。当稚鲍壳长为3~5mm时对其进行剥离,并进行3~4个月幼鲍培育阶段。当鲍苗长到10~20mm时,成为商品鲍苗, 鲍苗个体大小参差不齐,需要进行筛选分级再作为种苗出售或进行成鲍培养。我国现阶段剥离稚鲍、幼鲍计数依赖人工,工作量大且易出错。将卷积神经网络应用到幼鲍检测和计数,提高检测和计数的准确率,是鲍鱼育苗的关键工作之一。
针对育苗期鲍鱼个体小且形状、颜色、纹理相近的问题,本发明研究了一种二维特征矩阵的层次化融合方法,即融合两个二维特征矩阵得到新的特征矩阵,二维特征矩阵中包含多个先验框,用于表示输入图像经过卷积操作后检测到的鲍鱼的粗略位置和大小,新特征矩阵包含多个预测框,预测框框是通过层次化融合方法将先验框进行筛选和位置大小微调后得到的。融合后的新特征矩阵中包含更多的幼鲍颜色、纹理特征信息,更有利于检测幼鲍,因此,新特征矩阵中的幼鲍预测框比融合前二维特征矩阵的幼鲍先验框更能准确地预测鲍鱼大小和位置。对每张图像中的预测框进行计数,得到图像中幼鲍数量。利用本方法对育苗期鲍鱼进行检测和计数得结果准确度较高。
发明内容
针对现有技术中对于育苗期鲍鱼幼苗难以检测数量的问题,提供一种利用卷积神经网络对育苗期鲍鱼计数的方法,并设计了相应的系统及配套使用的装置。
本发明是通过如下的技术方案,解决上述技术问题:一种利用卷积神经网络对育苗期鲍鱼计数的方法,其特殊之处在于,通过如下的步骤实现对育苗期鲍鱼的计数:
步骤1,从育苗池中选取鲍鱼幼苗附着的瓦片,并通过灯光模拟养殖环境,拍摄大小为512*512的初始图像;
步骤2,初始图像处理,初始图像发送到图像处理模块,首先利用灰度方差算法计算初始图像的模糊度,模糊度低于100,重新拍摄,模糊度高于100的图像作为预处理图像;
步骤3,幼鲍个体检测,利用asarray函数读取预处理图像的每个像素,获得初始矩阵,通过卷积神经网络处理初始矩阵,通过对初始矩阵连续的卷积处理,形成连续的多个二维特征矩阵;对二维特征矩阵采用融合处理,获得融合矩阵;提取最终形成的融合矩阵中的信息,获得图片中的幼鲍位置信息、颜色纹理信息,并将信息保存在幼鲍个体检测模块;
为了统计育苗池中鲍鱼的数量,可以使用如下的步骤:
步骤4,对育苗池进行连续的拍照,获得育苗池中鲍鱼幼苗的整体图像,利用步骤3获取的幼鲍位置、颜色和纹理信息以及二维特征矩阵的层次化融合方法对育苗池照片中的幼鲍进行检测,识别育苗池中的幼鲍个体并得到图像中幼鲍的预测框,对预测框进行计数获得育苗池中幼鲍的数量。
为了能够更好实现本申请的发明目的,在上述技术方案的基础上,作出如下的细化及完善:
进一步,所述的通过灯光模拟养殖环境是采用四个等级亮度的灯光,且每个等级的灯光设置三种色温;四个等级亮度分别为55lm的低亮、260lm的中亮、760lm的高亮、1800lm的极亮;三种色温分别为5800k~6300k的正白光、3000k~5000k的中性光、低于3000k的暖黄光。
上述技术特征的优势在于,通过模拟不同的鲍鱼幼苗所处的养殖环境,提高拍摄的原始相片对鲍鱼幼苗生存环境的模拟。
进一步,所述初始矩阵为:
,其中,图像大小表示为N,N=H*W,图像高为H,宽为W,卷积层通道数为C,其中矩阵中的元素(x=1,2,……,c;y=1,2,……,n)代表育苗期幼鲍图像的像素信息,矩阵中元素代表图像中包含颜色和位置的小方格,此时的颜色信息和位置信息是一个组合(一组颜色位置信息存在于一个小方格中),利用卷积神经网络进行特征提取之后会将颜色信息和位置信息分开存储在网络中,他们的信息数量也会因为网络中卷积层的不同而有所差异。接下来通过矩阵融合,在保证位置信息不变的情况下,增加矩阵包含的颜色纹理特征信息,以此提高对颜色纹理相近的小鲍鱼的检测性能。
进一步,所述二维特征矩阵,是利用C1、C2卷积层对图像输入矩阵X进行卷积操作得到二维特征矩阵A1;再利用C3、C4卷积层对A1进行卷积操作得到二维特征矩阵A2;再利用C5、C6卷积层对二维特征矩阵A2进行卷积操作得到A3;再利用C7、C8卷积层对A3进行卷积操作得到二维特征矩阵A4。
A1矩阵到A4矩阵利用不同卷积层逐步获取更多的颜色纹理特征信息,A1到A4颜色纹理信息是逐渐增多的。这样做的目的是:接下来我们可以将颜色纹理特征多的矩阵A4和比A4的位置信息丰富的A3融合,这是逐步获取更多的颜色纹理信息的原因。
进一步,所述融合矩阵,将二维矩阵A3和A4进行融合;处理矩阵A4,利用M4(, )将二维矩阵A4从(c, )改为(c, ),M4为转换矩阵,转换矩阵为自定义矩阵,用于转换矩阵的行列数,如转换矩阵M4将二维特征矩阵A4转换为二维矩阵U4,本申请中的M矩阵和L矩阵,均为转换矩阵;处理矩阵A3,利用L3(c, c)将二维矩阵A3从(2c, )改为(c, ),转换矩阵L3用于转换二维矩阵A3的行列数,将二维特征矩阵A3转换为B3;A3和A4处理过后得到的的矩阵B3和U4行列数相同,并对其进行相加运算得到合并后的特征矩阵D3;融合二维矩阵A2和D3;处理矩阵D3,利用M3(,)将二维矩阵D3从(c, )改为(c, );处理矩阵A2,利用L2(c, 4c)将二维矩阵A2从(4c, )改为(c, );A2和D3处理过后得到的矩阵B2和U3行列数相同,并对其进行相加运算得到合并后的特征矩阵D2;融合二维矩阵A1和D2,处理矩阵D2,利用M2(,n)将二维矩阵D2从(c, )改为(c,n);处理矩阵A1,利用L1(c, 2c)将二维矩阵A1从(2c,n)改为(c, n);A1和D2处理过后得到的的矩阵B1和U2行列数相同,并对其进行相加运算得到合并后的特征矩阵D1;利用含有较多颜色纹理信息的二维矩阵D1在幼鲍特征图上检测图中所有幼鲍,并通过显示先验框(x,y,w,h)突出幼鲍区域、进一步确定幼鲍大体位置。
在上述技术方案的基础上,还设计了相应的计数系统:
一种利用卷积神经网络对育苗期鲍鱼计数的系统,其特殊之处在于,所述系统包括拍照模块和幼鲍个体检测模块;所述拍照模块包括相机、灯和用于调节灯的亮度调节器;幼鲍个体检测模块包括内置的预处理图像分模块和幼鲍个体检测分模块;所述预处理图像分模块将拍摄的图片通过预处理,利用图像模糊度对幼鲍图像进行筛选:利用灰度方差算法计算图像的模糊度,删除模糊度低于100的幼鲍图像并重新拍摄,保留模糊度高于100的图像。对于筛选后保留下来的模糊度高于100的图像,以原图像中心为中心点将大小为512*512的幼鲍图像裁剪成256*256大小的预处理图像;所述幼鲍个体检测分模块,将预处理图像传输到幼鲍个体检测模块,利用二维特征矩阵的层次化融合方法对鲍鱼个体进行检测识别,二维特征矩阵的层次化融合方法为系统提供更多的幼鲍颜色纹理信息,使得系统能提取更多的颜色纹理特征,进一步提高幼鲍先验框的准确性,提高在幼鲍颜色、纹理相近情况下的检测精度。
在上述技术方案的基础上,还设计了相应的计数装置:
一种利用卷积神经网络对育苗期鲍鱼计数的装置,其特殊之处在于,所述装置包括相机,用于放置附有鲍鱼幼苗的瓦片的玻璃板,用于模仿鲍鱼幼苗生存环境的灯,用于控制灯的亮度和色温的亮度调节器,以及内置幼鲍个体检测模块的电脑。
进一步,所述的灯为环形灯。
本申请的技术方案的有益效果是:
将处理好的幼鲍图像传输到幼鲍个体检测模块,利用二维特征矩阵的层次化融合方法对鲍鱼个体进行检测识别。二维特征矩阵的层次化融合方法为网络提供更多的幼鲍颜色纹理信息,使得网络能提取更多的颜色纹理特征,进一步提高幼鲍先验框的准确性,提高在幼鲍颜色、纹理相近情况下的检测精度。对鲍鱼个体进行检测识别得到幼鲍先验框以及每个先验框上对应的分数,其中,先验框上对应的分数代表网络检测到的此先验框与幼鲍实际位置的交并比(交并比:先验框、幼鲍实际位置的交集与先验框、幼鲍实际位置的并集的比值),利用交并比对先验框进行从大到小的排序,筛选出与幼鲍实际位置交并比最高的先验框,并利用网络的训练权重对先验框进行微调得到幼鲍预测框,并将带有预测框的幼鲍图像输出。提高了在幼鲍颜色纹理相近情况下的检测精度。其中,一个图像中预测框的x,y,w,h参数表示幼鲍的位置信息,而预测框的个数代表此图中幼鲍的数量。这样我们就利用二维特征矩阵的层次化融合方法对鲍鱼个体进行检测识别,并统计幼鲍预测框的位置信息和数量作为每张图像中幼鲍的位置和数量信息。
附图说明
图1为本申请利用卷积神经网络对育苗期鲍鱼计数的方法的流程图;
图2为本申请利用卷积神经网络对育苗期鲍鱼计数的装置的结构示意图。
具体实施方式
以下实施例结合附图,仅是为了对权利要求书中所记载的技术方案加以说明,并非是对权利要求保护范围的限制。
一种利用卷积神经网络对育苗期鲍鱼计数的方法,通过如下的步骤实现对育苗期鲍鱼的计数:
步骤1,从育苗池中选取鲍鱼幼苗附着的瓦片,并通过灯光模拟养殖环境,拍摄大小为512*512的初始图像;
步骤2,初始图像处理,初始图像发送到图像处理模块,首先利用灰度方差算法计算初始图像的模糊度,模糊度低于100,重新拍摄,模糊度高于100的图像作为预处理图像;
步骤3,幼鲍个体检测,利用asarray函数读取预处理图像的每个像素,获得初始矩阵,通过卷积神经网络处理初始矩阵,通过对初始矩阵连续的卷积处理,形成连续的多个二维特征矩阵;对二维特征矩阵采用融合处理,获得融合矩阵;提取最终形成的融合矩阵中的信息,获得图片中的幼鲍位置信息、颜色纹理信息,并将信息保存在幼鲍个体检测模块;
为了统计育苗池中鲍鱼的数量,可以使用如下的步骤:
步骤4,对育苗池进行连续的拍照,获得育苗池中鲍鱼幼苗的整体图像,利用步骤3获取的幼鲍位置、颜色和纹理信息以及二维特征矩阵的层次化融合方法对育苗池照片中的幼鲍进行检测,识别育苗池中的幼鲍个体并得到图像中幼鲍的预测框,对预测框进行计数获得育苗池中幼鲍的数量。
进一步,所述的通过灯光模拟养殖环境是采用四个等级亮度的灯光,且每个等级的灯光设置三种色温;四个等级亮度分别为55lm的低亮、260lm的中亮、760lm的高亮、1800lm的极亮;三种色温分别为5800k~6300k的正白光、3000k~5000k的中性光、低于3000k的暖黄光。
上述技术特征的优势在于,通过模拟不同的鲍鱼幼苗所处的养殖环境,提高拍摄的原始相片对鲍鱼幼苗生存环境的模拟。
进一步,所述初始矩阵为:
,其中,图像大小表示为N,N=H*W,图像高为H,宽为W,卷积层通道数为C,其中矩阵中的元素(x=1,2,……,c;y=1,2,……,n)代表育苗期幼鲍图像的像素信息,矩阵中元素代表图像中包含颜色和位置的小方格,此时的颜色信息和位置信息是一个组合(一组颜色位置信息存在于一个小方格中),利用卷积神经网络进行特征提取之后会将颜色信息和位置信息分开存储在网络中,他们的信息数量也会因为网络中卷积层的不同而有所差异。接下来通过矩阵融合,在保证位置信息不变的情况下,增加矩阵包含的颜色纹理特征信息,以此提高对颜色纹理相近的小鲍鱼的检测性能。
进一步,所述二维特征矩阵,是利用C1、C2卷积层对图像输入矩阵X进行卷积操作得到二维特征矩阵A1;再利用C3、C4卷积层对A1进行卷积操作得到二维特征矩阵A2;再利用C5、C6卷积层对二维特征矩阵A2进行卷积操作得到A3;再利用C7、C8卷积层对A3进行卷积操作得到二维特征矩阵A4。
进一步,所述融合矩阵,将二维矩阵A3和A4进行融合;处理矩阵A4,利用M4(, )将二维矩阵A4从(c, )改为(c, ),M4为转换矩阵,转换矩阵为自定义矩阵,用于转换矩阵的行列数,如转换矩阵M4将二维特征矩阵A4转换为二维矩阵U4,本申请中的M矩阵和L矩阵,均为转换矩阵;处理矩阵A3,利用L3(c, c)将二维矩阵A3从(2c, )改为(c, ),转换矩阵L3用于转换二维矩阵A3的行列数,将二维特征矩阵A3转换为B3;A3和A4处理过后得到的的矩阵B3和U4行列数相同,并对其进行相加运算得到合并后的特征矩阵D3;融合二维矩阵A2和D3;处理矩阵D3,利用M3(,)将二维矩阵D3从(c, )改为(c, );处理矩阵A2,利用L2(c, 4c)将二维矩阵A2从(4c, )改为(c, );A2和D3处理过后得到的矩阵B2和U3行列数相同,并对其进行相加运算得到合并后的特征矩阵D2;融合二维矩阵A1和D2,处理矩阵D2,利用M2(,n)将二维矩阵D2从(c, )改为(c,n);处理矩阵A1,利用L1(c, 2c)将二维矩阵A1从(2c,n)改为(c, n);A1和D2处理过后得到的的矩阵B1和U2行列数相同,并对其进行相加运算得到合并后的特征矩阵D1;利用含有较多颜色纹理信息的二维矩阵D1在幼鲍特征图上检测图中所有幼鲍,并通过显示先验框(x,y,w,h)突出幼鲍区域、进一步确定幼鲍大体位置。
其配套的装置包括相机,用于放置附有鲍鱼幼苗的瓦片的玻璃板,用于模仿鲍鱼幼苗生存环境的灯,用于控制灯的亮度和色温的亮度调节器,以及内置幼鲍个体检测模块的电脑;所述的灯为环形灯。
具体的:
在长10米、宽8米、高0.4米的养殖池中培育鲍鱼,长0.25米、宽0.1米的瓦片规则排列在养殖池中,且每个瓦片上大约养殖5mm~13mm的鲍鱼30~200个,在幼鲍培育阶段,需要根据幼鲍的大小和数量估计养殖密度,进而确定投喂量,防止饵料过少影响幼鲍发育;防止饵料过多污染养殖环境导致鲍鱼发病。
育苗期幼鲍个体较小且鲍鱼个体之间颜色纹理相近,检测和计数准确度较低。为解决这一问题,提出了一种技术方案:二维特征矩阵的层次化融合策略。
育苗期鲍鱼图像采集模块包含相机、固定架、环形灯、亮度控制器、玻璃板。将包含30~200个壳长5mm~13mm的鲍鱼的瓦片放置在玻璃板上,玻璃板上方放置的环形灯由亮度控制器控制亮度和色温,其中,亮度控制器有四种亮度档位(55lm的低亮、260lm的中亮、760lm的高亮、1800lm的极亮),三种色温(5800k~6300k的正白光、3000k~5000k的中性光、低于3000k的暖黄光),四种亮度档位和三种色温组合形成12种不同的光亮和色温环境:低亮的正白光、中亮的正白光、高亮的正白光、极亮的正白光、低亮的中性光、中亮的中性光、高亮的中性光、极亮的中性光、低亮的暖黄光、中亮的暖黄光、高亮的暖黄光、极亮的暖黄光。亮度和色温的12种排列组合用于模拟实际生产中不同的养殖环境,使得获取到的幼鲍图像中亮度和色温贴合实际生产环境的亮度和色温,验证该方法在实际鲍鱼养殖应用中的有效性。将鲍鱼放置在玻璃板上并通过调节环形灯光的亮度和色温选择一种光亮和色温组合,使用相机进行拍摄,将拍摄到的512*512大小的鲍鱼图像,传输到育苗期鲍鱼图像处理模块。
育苗期鲍鱼图像处理模块由一台计算机组成,计算机用于接收相机传输过来的幼鲍图像并对其进行处理。首先,计算机利用图像模糊度对幼鲍图像进行筛选:利用灰度方差算法计算图像的模糊度,删除模糊度低于100的幼鲍图像并重新拍摄,保留模糊度高于100的图像。将处理好的幼鲍图像传输到幼鲍个体检测模块。
针对育苗期鲍鱼图像采集和处理装置整体结构示意图如下图2所示。其中育苗期鲍鱼图像采集和处理装置1,图像采集模块2,图像处理模块3,相机4,环形灯5,亮度控制器6,亮度控制模块7,玻璃板8。
二维特征矩阵的层次化融合:
第一步,将育苗期鲍鱼图像处理模块处理后的幼鲍图像作为本模块的输入图像,其中,输入图像大小表示为n(n=h*w,图像高为h,宽为w),图像通道数为c。利用asarray函数读取输入图像中的每个像素(共c*n个像素)并转换成矩阵的形式,获取图像的输入矩阵。接下来,利用C1、C2卷积层对图像输入矩阵X进行卷积操作得到二维特征矩阵A1;再利用C3、C4卷积层对A1进行卷积操作得到二维特征矩阵A2;再利用C5、C6卷积层对二维特征矩阵A2进行卷积操作得到A3;再利用C7、C8卷积层对A3进行卷积操作得到二维特征矩阵A4。具体地,
其中,矩阵C2、C4、C6、C8用于提取鲍鱼的位置信息,这四个矩阵的每一列可以提取
一条鲍鱼位置信息,所以n列的C2、列的C4、列的C6、列的C8分别可以提取n条、条、
条、条的鲍鱼位置信息,并分别存储到A1、A2、A3、A4矩阵中。因此,A1、A2、A3、A4分别包含n
条、条、条、条的鲍鱼位置信息。此外,这个网络共2n条有用信息,理论上包含n条颜色
纹理位置信息和n条边缘、形状信息,但为了获取更多的颜色纹理位置信息,提高在鲍鱼外
壳颜色纹理相近情况下的检测性能,便将条的边缘、形状信息所占空间转让给了颜色纹
理位置信息,所以实际上颜色纹理和位置信息共条,边缘、形状信息共条。由上可知,
颜色纹理和位置信息共条,A1、A2、A3、A4包含的鲍鱼位置信息分别有n条、条、条、
条。理论上,颜色纹理信息条数=颜色纹理位置信息条数-位置信息条数。因此A1、A2、A3、A4
包含的颜色纹理信息分别有条、条、条、n条;但在卷积过程中会丢失颜色纹理信
息,A2、A3都丢失了条的颜色纹理信息。所以,A2的颜色纹理信息,同理A3的
颜色纹理信息有条。综上所述,卷积之后A1、A2、A3、A4实际上包含的颜色纹理信息分别有条、条、条、n条。此时,根据二维矩阵A1、A2、A3、A4所包含的颜色纹理信息在幼鲍特征
图上检测图中所有幼鲍,并通过显示先验框突出幼鲍区域、确定幼鲍大体位置,先验框的x,
y,w,h参数分别对应幼鲍所在先验框的中心位置的横坐标、中心位置的纵坐标、先验框的宽
度、先验框的高度,以此确定幼鲍位置。
第二步,为了获取更多的颜色纹理和位置信息,将二维矩阵A3和A4进行融合。处理矩阵A4,利用M4(, )将二维矩阵A4从(c, )改为(c, );处理矩阵A3,利用L3(c, c)将二维矩阵A3从(2c, )改为(c, );A3和A4处理过后得到的的矩阵B3和U4行列数相同,并对其进行相加运算得到合并后的特征矩阵D3。D3有n条颜色纹理信息、条位置信息,而A3只有条颜色纹理信息、条位置信息,A4只有n条颜色纹理信息、条位置信息。因此,含有n条颜色纹理信息D3代替只含有条颜色纹理信息的A3作为输出更有助于特征信息的提取。具体地,
此时,含有n条颜色纹理信息的D3代替只含有条颜色纹理信息的A3作为输出,利用含有较多颜色纹理信息的二维矩阵D3在幼鲍特征图上检测图中所有幼鲍,并通过显示先验框(x,y,w,h)突出幼鲍区域、进一步确定幼鲍大体位置。此时得到的幼鲍先验框位置比利用A3检测幼鲍得到的先验框位置更接近幼鲍实际位置,提高幼鲍颜色纹理相近情况下的检测精度。
第三步,类似地,融合二维矩阵A2和D3。处理矩阵D3,利用M3(,)将二维矩阵D3从(c, )改为(c, );处理矩阵A2,利用L2(c, 4c)将二维矩阵A2从(4c, )改为(c, );A2和D3处理过后得到的的矩阵B2和U3行列数相同,并对其进行相加运算得到合并后的特征矩阵D2。D2有n条颜色纹理信息、条位置信息,而A2只有条颜色纹理信息、条位置信息,D3只有n条颜色纹理信息、条位置信息。因此,含有n条颜色纹理信息的D2代替只含有条颜色纹理信息的A2作为输出更有助于特征信息的提取。具体地,
此时,含有n条颜色纹理信息的D2代替只含有条颜色纹理信息的A2作为输出,利用含有较多颜色纹理信息的二维矩阵D2在幼鲍特征图上检测图中所有幼鲍,并通过显示先验框(x,y,w,h)突出幼鲍区域、进一步确定幼鲍大体位置。此时得到的幼鲍先验框位置比利用A2检测幼鲍得到的先验框位置更接近幼鲍实际位置,提高幼鲍颜色纹理相近情况下的检测精度。
第四步,类似地,融合二维矩阵A1和D2。处理矩阵D2,利用M2(,n)将二维矩阵D2从(c, )改为(c,n);处理矩阵A1,利用L1(c, 2c)将二维矩阵A1从(2c,n)改为(c, n);A1和D2处理过后得到的的矩阵B1和U2行列数相同,并对其进行相加运算得到合并后的特征矩阵D1。D1有n条颜色纹理信息、n条位置信息,而A1只有条颜色纹理信息、n条位置信息,D2只有n条颜色纹理信息、条位置信息。因此,含有n条颜色纹理信息D1代替只含有条颜色纹理信息的A1作为输出更有助于特征信息的提取。具体地,
此时,含有n条颜色纹理信息D1代替只含有条颜色纹理信息的A1作为输出,利用含有较多颜色纹理信息的二维矩阵D1在幼鲍特征图上检测图中所有幼鲍,并通过显示先验框(x,y,w,h)突出幼鲍区域、进一步确定幼鲍大体位置。此时得到的幼鲍先验框位置比利用A1检测幼鲍得到的先验框位置更接近幼鲍实际位置,提高幼鲍颜色纹理相近情况下的检测精度。
这样,特征矩阵A1,A2,A3,A4经过层次化融合得到特征矩阵D1,D2,D3。D3结合了A3的位置信息和A4的颜色纹理信息;D2结合了A2的位置信息和D3的颜色纹理信息;D1结合了A1的位置信息和D2的颜色纹理信息。最终含有n条颜色纹理信息的矩阵D1、D2、D3分别代替含有条颜色纹理信息的矩阵A1、含有条颜色纹理信息的矩阵A2、含有条颜色纹理信息的矩阵A3输出,使得网络获取的颜色纹理信息更多,利用获取到的颜色纹理信息检测幼鲍得到的先验框位置就更准确、更接近幼鲍实际位置,从而提高幼鲍颜色纹理相近情况下的检测精度。
上述的图像处理方法,将处理好的幼鲍图像传输到幼鲍个体检测模块,利用二维特征矩阵的层次化融合方法对鲍鱼个体进行检测识别。二维特征矩阵的层次化融合方法为网络提供更多的幼鲍颜色纹理信息,使得网络能提取更多的颜色纹理特征,进一步提高幼鲍先验框的准确性,提高在幼鲍颜色、纹理相近情况下的检测精度。对鲍鱼个体进行检测识别得到幼鲍先验框以及每个先验框上对应的分数,其中,先验框上对应的分数代表网络检测到的此先验框与幼鲍实际位置的交并比(交并比:先验框、幼鲍实际位置的交集与先验框、幼鲍实际位置的并集的比值),利用交并比对先验框进行从大到小的排序,筛选出与幼鲍实际位置交并比最高的先验框,并利用网络的训练权重对先验框进行微调得到幼鲍预测框,并将带有预测框的幼鲍图像输出。提高了在幼鲍颜色纹理相近情况下的检测精度。其中,一个图像中预测框的x,y,w,h参数表示幼鲍的位置信息,而预测框的个数代表此图中幼鲍的数量。这样我们就利用二维特征矩阵的层次化融合方法对鲍鱼个体进行检测识别,并统计幼鲍预测框的位置信息和数量作为每张图像中幼鲍的位置和数量信息;通过上述方法对单个瓦片上的幼鲍数量的确认,对育苗池进行连续的拍照,利用步骤3获取的幼鲍位置、颜色和纹理信息以及二维特征矩阵的层次化融合方法对育苗池照片中的幼鲍进行检测,识别育苗池中的幼鲍个体并得到图像中幼鲍的预测框,对预测框进行计数获得育苗池中幼鲍的数量。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种利用卷积神经网络对育苗期鲍鱼计数的方法,其特征在于,通过如下的步骤实现对育苗期鲍鱼的计数:
步骤1,从育苗池中选取鲍鱼幼苗附着的瓦片,并通过灯光模拟养殖环境,拍摄大小为512*512的初始图像;
步骤2,初始图像处理,首先利用灰度方差算法计算初始图像的模糊度,模糊度低于100,重新拍摄,模糊度高于100,作为预处理图像;
步骤3,幼鲍个体检测,利用asarray函数读取预处理图像的每个像素,获得初始矩阵,通过卷积神经网络处理初始矩阵,通过对初始矩阵连续的卷积处理,形成连续的多个二维特征矩阵;对二维特征矩阵采用融合处理,获得融合矩阵;提取最终形成的融合矩阵中的信息,获得图片中的幼鲍位置信息、颜色纹理信息,并将信息保存在幼鲍个体检测模块;
步骤4,对育苗池进行连续的拍照,获得育苗池中鲍鱼幼苗的整体图像,利用步骤3获取的幼鲍位置、颜色和纹理信息以及二维特征矩阵的层次化融合方法对育苗池照片中的幼鲍进行检测,识别育苗池中的幼鲍个体并得到图像中幼鲍的预测框,对预测框进行计数获得育苗池中幼鲍的数量。
2.根据权利要求1所述的利用卷积神经网络对育苗期鲍鱼计数的方法,其特征在于,所述的通过灯光模拟养殖环境是采用四个等级亮度的灯光,且每个等级的灯光设置三种色温;四个等级亮度分别为55lm的低亮、260lm的中亮、760lm的高亮、1800lm的极亮;三种色温分别为5800k~6300k的正白光、3000k~5000k的中性光、低于3000k的暖黄光。
4.根据权利要求3所述的利用卷积神经网络对育苗期鲍鱼计数的方法,其特征在于,所述二维特征矩阵,是利用C1、C2卷积层对图像输入矩阵X进行卷积操作得到二维特征矩阵A1;再利用C3、C4卷积层对A1进行卷积操作得到二维特征矩阵A2;再利用C5、C6卷积层对二维特征矩阵A2进行卷积操作得到A3;再利用C7、C8卷积层对A3进行卷积操作得到二维特征矩阵A4。
5.根据权利要求4所述的利用卷积神经网络对育苗期鲍鱼计数的方法,其特征在于,所述融合矩阵,将二维矩阵A3和A4进行融合;处理矩阵A4,利用M4(, )将二维矩阵A4从(c, )改为(c, );处理矩阵A3,利用L3(c, c)将二维矩阵A3从(2c, )改为(c, );A3和A4处理过后得到的的矩阵B3和U4行列数相同,并对其进行相加运算得到合并后的特征矩阵D3;融合二维矩阵A2和D3;处理矩阵D3,利用M3(,)将二维矩阵D3从(c, )改为(c, );处理矩阵A2,利用L2(c, 4c)将二维矩阵A2从(4c, )改为(c, );A2和D3处理过后得到的矩阵B2和U3行列数相同,并对其进行相加运算得到合并后的特征矩阵D2;融合二维矩阵A1和D2,处理矩阵D2,利用M2(,n)将二维矩阵D2从(c, )改为(c,n);处理矩阵A1,利用L1(c, 2c)将二维矩阵A1从(2c,n)改为(c, n);A1和D2处理过后得到的的矩阵B1和U2行列数相同,并对其进行相加运算得到合并后的特征矩阵D1;利用含有较多颜色纹理信息的二维矩阵D1在幼鲍特征图上检测图中所有幼鲍,并通过显示先验框(x,y,w,h)突出幼鲍区域、进一步确定幼鲍大体位置。
6.一种权利要求1所述的利用卷积神经网络对育苗期鲍鱼计数的系统,其特征在于,所述系统包括拍照模块和幼鲍个体检测模块;所述拍照模块包括相机、灯和用于调节灯的亮度调节器;幼鲍个体检测模块包括内置的预处理图像分模块和幼鲍个体检测分模块;所述预处理图像分模块将拍摄的图片通过预处理,利用图像模糊度对幼鲍图像进行筛选:利用灰度方差算法计算图像的模糊度,删除模糊度低于100的幼鲍图像并重新拍摄,保留模糊度高于100的图像;对于筛选后保留下来的模糊度高于100的图像,以原图像中心为中心点将大小为512*512的幼鲍图像裁剪成256*256大小的预处理图像;所述幼鲍个体检测分模块,将预处理图像传输到幼鲍个体检测模块,利用二维特征矩阵的层次化融合方法对鲍鱼个体进行检测识别,二维特征矩阵的层次化融合方法为系统提供更多的幼鲍颜色纹理信息,使得系统能提取更多的颜色纹理特征,进一步提高幼鲍先验框的准确性,提高在幼鲍颜色、纹理相近情况下的检测精度。
7.一种权利要求1所述的利用卷积神经网络对育苗期鲍鱼计数的装置,其特征在于,所述装置包括相机,用于放置附有鲍鱼幼苗的瓦片的玻璃板,用于模仿鲍鱼幼苗生存环境的灯,用于控制灯的亮度和色温的亮度调节器,以及内置幼鲍个体检测模块的电脑。
8.根据权利要求7所述的利用卷积神经网络对育苗期鲍鱼计数的装置,其特征在于,所述的灯为环形灯。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111258646.6A CN113706529B (zh) | 2021-10-28 | 2021-10-28 | 利用卷积神经网络对育苗期鲍鱼计数的方法、系统及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111258646.6A CN113706529B (zh) | 2021-10-28 | 2021-10-28 | 利用卷积神经网络对育苗期鲍鱼计数的方法、系统及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113706529A true CN113706529A (zh) | 2021-11-26 |
CN113706529B CN113706529B (zh) | 2022-01-28 |
Family
ID=78647158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111258646.6A Active CN113706529B (zh) | 2021-10-28 | 2021-10-28 | 利用卷积神经网络对育苗期鲍鱼计数的方法、系统及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113706529B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100046612A (ko) * | 2008-10-27 | 2010-05-07 | 전남대학교산학협력단 | 치패 선별 및 계수 시스템 |
CN107862261A (zh) * | 2017-10-25 | 2018-03-30 | 天津大学 | 基于多尺度卷积神经网络的图像人群计数方法 |
CN110866453A (zh) * | 2019-10-22 | 2020-03-06 | 同济大学 | 基于卷积神经网络的实时人群稳定状态识别方法及装置 |
CN110991225A (zh) * | 2019-10-22 | 2020-04-10 | 同济大学 | 基于多列卷积神经网络的人群计数与密度估计方法及装置 |
CN111666897A (zh) * | 2020-06-08 | 2020-09-15 | 鲁东大学 | 基于卷积神经网络的斑石鲷个体识别方法 |
US10853943B2 (en) * | 2018-07-31 | 2020-12-01 | Element Ai Inc. | Counting objects in images based on approximate locations |
CN112215798A (zh) * | 2020-09-14 | 2021-01-12 | 江苏大学 | 一种基于机器视觉的鱼苗计数检测方法与装置 |
CN113392775A (zh) * | 2021-06-17 | 2021-09-14 | 广西大学 | 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法 |
-
2021
- 2021-10-28 CN CN202111258646.6A patent/CN113706529B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100046612A (ko) * | 2008-10-27 | 2010-05-07 | 전남대학교산학협력단 | 치패 선별 및 계수 시스템 |
CN107862261A (zh) * | 2017-10-25 | 2018-03-30 | 天津大学 | 基于多尺度卷积神经网络的图像人群计数方法 |
US10853943B2 (en) * | 2018-07-31 | 2020-12-01 | Element Ai Inc. | Counting objects in images based on approximate locations |
CN110866453A (zh) * | 2019-10-22 | 2020-03-06 | 同济大学 | 基于卷积神经网络的实时人群稳定状态识别方法及装置 |
CN110991225A (zh) * | 2019-10-22 | 2020-04-10 | 同济大学 | 基于多列卷积神经网络的人群计数与密度估计方法及装置 |
CN111666897A (zh) * | 2020-06-08 | 2020-09-15 | 鲁东大学 | 基于卷积神经网络的斑石鲷个体识别方法 |
CN112215798A (zh) * | 2020-09-14 | 2021-01-12 | 江苏大学 | 一种基于机器视觉的鱼苗计数检测方法与装置 |
CN113392775A (zh) * | 2021-06-17 | 2021-09-14 | 广西大学 | 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法 |
Non-Patent Citations (2)
Title |
---|
LE WANG ETAL.: "A Convolutional Neural Network-Based Method for Corn Stand Counting in the Field", 《SENSORS 2021》 * |
范松伟等: "基于改进的卷积神经网络的虾苗自动计数研究", 《渔业现代化》 * |
Also Published As
Publication number | Publication date |
---|---|
CN113706529B (zh) | 2022-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Burks et al. | Classification of weed species using color texture features and discriminant analysis | |
EP3387894A1 (en) | Information processing device, information processing method, and program | |
CN109086826B (zh) | 基于图像深度学习的小麦干旱识别方法 | |
GB2598012A (en) | System and method for crop monitoring | |
JP2022120848A (ja) | 情報処理装置、及び、情報処理方法、情報処理システム、並びにプログラム | |
CN109117811A (zh) | 一种基于低空遥感测量技术估算城市植被覆盖率的系统及方法 | |
Ise et al. | Identifying 3 moss species by deep learning, using the" chopped picture" method | |
CN109325495A (zh) | 一种基于深度神经网络建模的作物图像分割系统及方法 | |
Roth et al. | Repeated multiview imaging for estimating seedling tiller counts of wheat genotypes using drones | |
CN107491733A (zh) | 一种基于深度神经网络的菊花识别方法 | |
CN115661544B (zh) | 基于N-MobileNetXt的菠菜幼苗水分胁迫等级分类系统及方法 | |
Borra-Serrano et al. | Towards an objective evaluation of persistency of Lolium perenne swards using UAV imagery | |
CN104296696B (zh) | 一种利用植被冠层阴影提取叶面积指数与平均叶倾角的方法 | |
CN113706529B (zh) | 利用卷积神经网络对育苗期鲍鱼计数的方法、系统及装置 | |
CN117036926A (zh) | 一种融合深度学习与图像处理的杂草识别方法 | |
CN114612788B (zh) | 基于神经网络的城市景观植物多样性监测方法 | |
CN115359324A (zh) | 一种中华绒螯蟹头胸甲特征点识别的方法 | |
CN116258844A (zh) | 一种棉花叶片表型性状快速精准鉴定方法 | |
CN114937030A (zh) | 一种用于智慧农业种植生菜的表型参数计算方法 | |
CN115035423A (zh) | 一种基于无人机遥感影像的杂交水稻父母本识别提取方法 | |
Baesso et al. | Analysis of nitrogen deficiency of bean plant using digital images | |
Zhou et al. | Yield estimation of soybean breeding lines using UAV multispectral imagery and convolutional neuron network | |
Barlow | A comparative study of raster and vector based approaches in vegetation mapping on Five Islands off the coast of Port Kembla. | |
Zhou | Development of UAV-based High-Throughput Phenotyping Technologies towards improving soybean breeding efficiency | |
Wallen et al. | Alfalfa Winter Injury, Survival, and Vigor Determined from Aerial Photographs 1 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |