CN111667496A - 粘连鱼体图像分割方法及装置 - Google Patents
粘连鱼体图像分割方法及装置 Download PDFInfo
- Publication number
- CN111667496A CN111667496A CN202010421660.2A CN202010421660A CN111667496A CN 111667496 A CN111667496 A CN 111667496A CN 202010421660 A CN202010421660 A CN 202010421660A CN 111667496 A CN111667496 A CN 111667496A
- Authority
- CN
- China
- Prior art keywords
- fish body
- image
- adhered
- segmentation
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000251468 Actinopterygii Species 0.000 title claims abstract description 326
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000011218 segmentation Effects 0.000 claims abstract description 173
- 210000000746 body region Anatomy 0.000 claims description 12
- 238000003709 image segmentation Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 8
- 230000001464 adherent effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 9
- 238000009360 aquaculture Methods 0.000 description 4
- 244000144974 aquaculture Species 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 102100025878 C1q-related factor Human genes 0.000 description 2
- 241000282887 Suidae Species 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 2
- 230000001070 adhesive effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241001609213 Carassius carassius Species 0.000 description 1
- 244000141359 Malus pumila Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 235000013339 cereals Nutrition 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000006694 eating habits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 230000000050 nutritive effect Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种粘连鱼体图像分割方法及装置，该方法包括：获取包含粘连鱼体轮廓的粘连鱼体图像，粘连鱼体轮廓内的区域为粘连鱼体区域；获取粘连鱼体区域的凸包，将粘连鱼体区域的凸包与粘连鱼体区域相减，得到多个凹区域；获取每个凹区域的凸包，对每个凹区域凸包中的所有凸点，用粘连鱼体轮廓上与凸点距离最小的点替代凸点后，得到候选分割点；对于每个凹区域，确定所有候选分割点与粘连鱼体区域的质心距离，选取距离最小的候选分割点作为对应凹区域的一个目标分割点；根据目标分割点，对粘连鱼体图像进行分割。该方法降低了分割点搜索的复杂度，有利于根据鱼体粘连形状，自动确定分割线的数目，实现粘连鱼体图像的准确分割。
Description
技术领域
本发明涉及计算机视觉领域，尤其涉及一种粘连鱼体图像分割方法及装置。
背景技术
随着消费水平的提高，人们的生活方式和饮食习惯逐渐发生转变，更加重视日常饮食中的营养搭配。鱼类含有丰富的优质蛋白，具有较高的营养价值，深受广大消费者的欢迎。采用自动图像分析技术能够准确地实现鱼体尺寸测量和种群计数等基本养殖操作，避免人工操作效率低和出错多的问题。对于鱼类福利化养殖，提升养殖企业效益具有重要意义。
图像分割是图像自动分析的前提和基础，其目的是将图像划分成若干个互不相交的、有意义的区域并提取出感兴趣目标。在实际的水产养殖中通常采用高密度养殖，导致养殖区域内的鱼群俯视图像中存在很多鱼体粘连现象。一般的图像分割方法只能将目标从背景中分割，无法实现粘连目标的分离，因此需要针对粘连目标进行分割。
目前多针对如苹果、米粒和细胞等，形态轮廓简单且静止不动的对象开展粘连图像分割方法研究，也有对粘连生猪分割方法进行研究的，但是由于生猪自身的特性，如很少运动或者运动幅度较小等，致使生猪粘连的形态也不会太多样。而在水产养殖中，由于鱼类生活在三维水体中，且其具有频繁游动的特点，加之不同种类的鱼的形态也不一样，导致粘连鱼体的形态非常复杂多样，现有的方法无法较好地解决粘连鱼体的分割。因此，需要针对鱼类的特点，提出一种粘连图像分割方法。
发明内容
为了解决上述问题，本发明实施例提供一种粘连鱼体图像分割方法及装置。
第一方面，本发明实施例提供一种粘连鱼体图像分割方法，包括：获取包含粘连鱼体轮廓的粘连鱼体图像，所述粘连鱼体轮廓内的区域为粘连鱼体区域；获取所述粘连鱼体区域的凸包，将粘连鱼体区域的凸包与所述粘连鱼体区域相减，得到多个凹区域；获取每个凹区域的凸包，对每个凹区域凸包中的所有凸点，用所述粘连鱼体轮廓上与凸点距离最小的点替代凸点后，得到候选分割点；对于每个凹区域，确定所有候选分割点与所述粘连鱼体区域的质心距离，选取距离最小的候选分割点作为对应凹区域的一个目标分割点；根据所述目标分割点，对所述粘连鱼体图像进行分割。
进一步地，所述获取包含粘连鱼体轮廓的粘连鱼体图像，包括：获取候选的鱼体图像；根据鱼体区域的周长和面积，确定鱼体区域的边界复杂度；根据所述边界复杂度和所述面积，分别与对应预设阈值的比较结果，获取包含粘连鱼体轮廓的粘连鱼体图像。
进一步地，所述根据所述目标分割点，对所述粘连鱼体图像进行分割，包括：若所述目标分割点的数目大于或等于4，则选取与所述粘连鱼体区域的质心距离最近的4个目标分割点，确定两条分割线，对所述粘连鱼体图像进行分割；若所述目标分割点的数目为2或3，则选取与所述粘连鱼体区域的质心距离最近的2个目标分割点，确定一条分割线，对所述粘连鱼体图像进行分割。
进一步地，若只有一个目标分割点，则所述根据所述目标分割点，对所述粘连鱼体图像进行分割，具体为：根据角点检测算法，确定所述粘连鱼体区域像素点的多个角点；选取与目标分割点距离最小的角点作为另一目标分割点，确定一条分割线，对所述粘连鱼体图像进行分割。
进一步地，所述获取候选的鱼体图像，包括：对原始鱼体图像提取HSV颜色空间的V分量，得到鱼体图像的二值化图像；采用背景差分法实现初步分割，提取得到所述候选的鱼体图像。
进一步地，所述确定两条分割线，对所述粘连鱼体图像进行分割，包括：根据4个目标分割点，基于非最大距离的分割点配对法进行配对；将配对后得到的两条分割线，对所述粘连鱼体图像进行分割。
第二方面，本发明实施例提供一种粘连鱼体图像分割装置，包括：图像获取模块，用于获取包含粘连鱼体轮廓的粘连鱼体图像，所述粘连鱼体轮廓内的区域为粘连鱼体区域；分割点确定模块，用于获取所述粘连鱼体区域的凸包，将粘连鱼体区域的凸包与所述粘连鱼体区域相减，得到多个凹区域；获取每个凹区域的凸包，对每个凹区域凸包中的所有凸点，用所述粘连鱼体轮廓上与凸点距离最小的点替代凸点后，得到候选分割点；对于每个凹区域，确定所有候选分割点与所述粘连鱼体区域的质心距离，选取距离最小的候选分割点作为对应凹区域的一个目标分割点；图像分割模块，用于根据所述目标分割点，对所述粘连鱼体图像进行分割。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现本发明第一方面粘连鱼体图像分割方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明第一方面粘连鱼体图像分割方法的步骤。
本发明实施例提供的粘连鱼体图像分割方法及装置，获取每个凹区域的凸包，对每个凹区域凸包中的所有凸点，用所述粘连鱼体轮廓上与凸点距离最小的点替代凸点后，得到候选分割点,对于每个凹区域，确定所有候选分割点与所述粘连鱼体区域的质心距离，选取距离最小的候选分割点作为对应凹区域的一个目标分割点，降低了分割点搜索的复杂度。该方法有利于根据鱼体粘连形状，自动确定分割线的数目，实现粘连鱼体图像的准确分割，为实现鱼体尺寸测量和种群计数提供支撑。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的粘连鱼体图像分割方法流程图；
图2为本发明实施例提供的粘连鱼体图像分割装置结构图；
图3为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例以鲫鱼为例进行具体说明，需要说明的是，本发明实施例提供的方法也可应用于其它鱼体。
图1为本发明实施例提供的粘连鱼体图像分割方法流程图，如图1所示，本发明实施例提供一种粘连鱼体图像分割方法，包括：
101、获取包含粘连鱼体轮廓的粘连鱼体图像，所述粘连鱼体轮廓内的区域为粘连鱼体区域。
首先，采集鱼群图像。例如，在实验室搭建鱼群图像采集平台，进行鱼群图像采集。平台涉及的硬件设备有：鱼缸、增氧机、摄像头、计算机、路由器等。摄像头安装在鱼缸正上方，采集到的鱼群视频数据被传送到计算机中存储。将采集的鱼群视频数据进行视频帧截取，则获得鱼群图像。
其次，对鱼群图像进行预处理。为了去除鱼群图像中的背景噪声，准确实现鱼体分割，需要对所获得的鱼群图像进行预处理。本发明实施例鱼群图像预处理包括颜色空间选取、图像初分割和鱼体轮廓提取。轮廓提取后，即得到候选的鱼体图像。
102、获取所述粘连鱼体区域的凸包，将粘连鱼体区域的凸包与所述粘连鱼体区域相减，得到多个凹区域；获取每个凹区域的凸包，对每个凹区域凸包中的所有凸点，用所述粘连鱼体轮廓上与凸点距离最小的点替代凸点后，得到候选分割点；对于每个凹区域，确定所有候选分割点与所述粘连鱼体区域的质心距离，选取距离最小的候选分割点作为对应凹区域的一个目标分割点。鱼体粘连部位会形成凹陷，基于凹陷区域的最小距离点(凹点)的连线可实现粘连鱼体的分离，则这些凹点即为分割点。
由于鱼体粘连的形态不一样，形成的凹陷区域的个数也不同。直接采用凹点检测算法搜索粘连鱼体的分割点存在复杂度高的问题。因此，本发明实施例将粘连鱼体轮廓上的凹点检测转化为凹区域上的凸点检测问题。通过绘制目标粘连鱼体区域的凸包与目标粘连鱼体区域相减后的凹区域，获得凹区域上的凸点。基于检测出的凸点确定最终的分割点，降低了分割点搜索的复杂度。
首先绘制粘连鱼体区域的凸包，将粘连鱼体区域的凸包与所述粘连鱼体区域相减得到凹区域集合，表示为CA＝{a1,a2,…,an},CA表示该粘连鱼体区域得到的凹区域集合，ai表示一个凹区域，n表示该粘连鱼体区域得到的凹区域的个数。
其次绘制凹区域的凸包，并提取其凸点，表示为p(ai)＝{pi1,pi2,…,pim}，p(ai)表示凹区域ai的凸点集合，pij表示ai的一个凸点。但由于检测到的凸点可能不在目标粘连鱼体轮廓上，因而计算凸点与粘连鱼体轮廓上点的距离，采用轮廓上与该凸点距离最小的点代替该凸点。本发明实施例采用欧式距离进行距离计算，其公式如下。
式中，(xij,yij)表示凸点pij的坐标，(xk,yk)表示粘连鱼体轮廓上点的坐标，dijk表示两个点之间的欧式距离。因此，在粘连鱼体轮廓上获得的所有替代点即为该凹区域的候选分割点，表示为s(ai)＝{si1,si2,…,sim}，s(ai)表示凹区域ai的候选分割点集合，sij表示ai的一个候选分割点。
由于每一个凹区域上候选分割点的个数均不少于1个，但同一个凹区域上的分割点不能构成分割线。因此，需要针对每一个凹区域，从候选分割点中确定一个最终的分割点。质心是物体的质量中心。对于密度分布均匀的粘连鱼体来说，其质心在粘连鱼体区域的几何中心。通过观察多个粘连鱼体图像的凹区域发现，与质心距离最小的点最有可能成为该凹区域的凹点，即该凹区域的分割点。因此，本发明实施例采用计算凹区域上候选分割点与目标粘连鱼体区域质心距离的方法，实现最终分割点的确定。距离计算可采用欧式距离。粘连鱼体区域质心的坐标计算公式如下。
式中，x0和y0分别为粘连鱼体区域质心的横和纵像素坐标，l为粘连鱼体区域内第l个像素点，w表示整个粘连鱼体区域包含的像素个数，xl和yl分别表示第l个点的横纵坐标。
因此，与质心距离最小的点即为凹区域ai的最终分割点，记为si。该粘连鱼体区域的分割点集合为s＝{s1,s2,…,sm}，m表示该粘连鱼体凹区域的个数，即为分割点的个数。
103、根据所述目标分割点，对所述粘连鱼体图像进行分割。
通过获得的分割点进行配对，绘制分割线，然后将分割线图像与待分割粘连鱼体的二值图像进行布尔运算，即可实现粘连鱼体图像的分割。粘连鱼体的分割图像表示如下。
t_seg＝(～line)∧(t_binary)
式中，t_seg表示粘连鱼体的分割图像，line表示分割线图像，t_binary表示待分割粘连鱼体的二值图像，～表示取反运算，∧表示与运算。
对粘连鱼体图像的分割结果采用面积阈值法去除小面积噪声，可得到最终的分割结果。
本发明实施例提供的粘连鱼体图像分割方法，获取每个凹区域的凸包，对每个凹区域凸包中的所有凸点，用所述粘连鱼体轮廓上与凸点距离最小的点替代凸点后，得到候选分割点，降低了分割点搜索的复杂度。对于每个凹区域，确定所有候选分割点与所述粘连鱼体区域的质心距离，选取距离最小的候选分割点作为对应凹区域的一个目标分割点，去除了每个凹区域的伪分割点，提高了分割结果的准确度。该方法有利于根据鱼体粘连形状，确定分割线的数目，实现粘连鱼体图像的准确分割，为实现鱼体尺寸测量和种群计数提供支撑。
基于上述实施例的内容，作为一种可选实施例，获取包含粘连鱼体轮廓的粘连鱼体图像，包括：获取候选的鱼体图像；根据鱼体区域的周长和面积，确定鱼体区域的边界复杂度；根据所述边界复杂度和所述面积，分别与对应预设阈值的比较结果，获取包含粘连鱼体轮廓的粘连鱼体图像。
考虑到预处理得到的候选的鱼体图像，既包括粘连鱼体图像、也包括非粘连鱼体图像。因此，需要对预处理后的候选的鱼体图像进行进一步识别，从而获得粘连鱼体图像。
当多条鱼体形成粘连时，其连通区域边界会出现明显的凹陷。在连通区域相等的情况下，有凹陷的连通区域的周长比没有凹陷的周长大，即粘连鱼体连通区域边界相较于非粘连鱼体连通区域边界更加复杂。此外，多条鱼体粘连形成的连通区域面积比单条鱼体的连通区域面积大。因此，本发明实施例采用可描述目标边界复杂度的边界复杂度和边界连通区域的面积，此两个尺寸因子作为粘连区域判断的参数，通过设定阈值的方法进行鱼体粘连区域的识别。目标鱼体边界复杂度的计算公式如下：
式中，C表示鱼体区域的边界复杂度，P为候选的鱼体图像的连通区域的周长，A为候选的鱼体图像的连通区域面积。
当鱼体区域边界复杂度大于设定的复杂度阈值，并且鱼体区域面积大于设定的面积阈值时，该区域为粘连区域。设Ct为复杂度的预设阈值，At为面积的预设阈值，则鱼体粘连区域判定条件表示如下：
式中，f(t)表示鱼体区域t是/否为粘连区域。当f(t)＝1时，该区域为粘连区域，当f(t)＝0时，该区域不是粘连区域，不进行粘连鱼体分割。
本发明实施例提供的粘连鱼体图像分割方法，根据所述边界复杂度和面积，分别与对应预设阈值的比较结果，获取包含粘连鱼体轮廓的粘连鱼体图像，能够得到准确的粘连鱼体图像，提高分割结果的准确度。
基于上述实施例的内容，作为一种可选实施例，所述根据所述目标分割点，对所述粘连鱼体图像进行分割，包括：若所述目标分割点的数目大于或等于4，则选取与所述粘连鱼体区域的质心距离最近的4个目标分割点，确定两条分割线，对所述粘连鱼体图像进行分割；若所述目标分割点的数目为2或3，则选取与所述粘连鱼体区域的质心距离最近的2个目标分割点，确定一条分割线，对所述粘连鱼体图像进行分割。
在对粘连鱼体图像分割的过程中，如何确定粘连鱼体图像中的分割点、如何对分割点进行正确配对，确保准确地实现粘连鱼体的分割，是一个亟待解决的问题。
在获得粘连鱼体的分割点后，需要对这些分割点进行两两匹配，再基于配对的分割点绘制分割线，实现粘连鱼体的分割。但是由于目标鱼体的粘连形状不同，导致基于凹区域检测获得的分割点的个数不相同，以及需要分割线的条数也不相同。并且，由于获得的分割点可能出现1个、3个等奇数个的情况，导致两两配对无法直接进行。
因此，针对上述问题，在本发明实施例研究的粘连鱼体中，通过观察他们的粘连形状，发现根据分割点的个数，只要确定1条或2条分割线即可实现分割。设L(t)为实现粘连鱼体区域t分割的分割线的数目，m表示粘连鱼体区域分割点的数目，则根据分割点个数的不同，分割线的数目确定如下。
因此，在进行分割点配对时，对于多余的分割点，需要删除。根据分割点两两配对的原则，只有当分割点个数为2和4时，分割点数目无需增删，最终得到最多两条分割线。多余的目标分割点，根据与所粘连鱼体区域的质心距离，将最远的删除。
基于上述实施例的内容，作为一种可选实施例，若只有一个目标分割点，所述根据所有目标分割点，对所述粘连鱼体图像进行分割，具体为：根据角点检测算法，确定所述粘连鱼体区域像素点的多个角点；选取与目标分割点距离最小的角点作为另一目标分割点，确定一条分割线，对所述粘连鱼体图像进行分割。
考虑到目标分割点为1的情况，需要增加一个目标分割点，才能够得到一条分割线。
对于需要增加分割点的情况，本发明实施例采用Harris角点检测算法获得新增的分割点。在Harris算法中，假设目标像素点(x,y)向任意方向的偏移量(u,v)，则相对应灰度的改变量E(u,v)如下式所示：
式中，w(x,y)表示窗口函数，I(x,y)表示平移前窗口中目标像素点(x,y)的灰度值，I(x+u,y+v)表示平移后点(x,y)的灰度值。进行数学转换后，上式可表示为下式：
式中，M表示像素(u,v)的自相关矩阵，表示如下：
式中，Ix(x,y)和Iy(x,y)分别表示图像在水平、垂直方向的灰度梯度。
Harris角点响应函数CRF表示如下：
CRF＝det(M)-k(trace(M))2
式中，det(M)表示M的行列式值，trace(M)表示M的迹，k是经验常数，取值范围是0.04～0.06。
由于检测出的角点不止一个，因此通过计算角点与分割点的距离，距离越小的点越可能成为该粘连鱼体的凹点，因此选择最小距离的角点作为另一个分割点。
本发明实施例提供的粘连鱼体图像分割方法，在目标分割点为1个的情况下，进一步确定粘连鱼体图像中的另一分割点、对分割点进行正确配对得到分割线，确保准确地实现粘连鱼体的分割。
基于上述实施例的内容，作为一种可选实施例，所述获取候选的鱼体图像，包括：对原始鱼体图像提取HSV颜色空间的V分量，得到鱼体图像的二值化图像；采用背景差分法实现初步分割，提取得到所述候选的鱼体图像。
鱼体鱼群原始图像为RGB彩色图像，由鱼体区域和鱼缸背景区域组成，而鱼体颜色与鱼缸背景的部分颜色存在一定的相似性。通过对采集的鱼体鱼群图像进行直方图观察，基于RGB图像或灰度图像，难以设定合适的阈值进行分割。本发明实施例将原始图像转换至HSV((Hue-Saturation-Value)、HSI(Hue-Saturation-Intensity)、Lab等颜色空间，发现鱼体在HSV颜色空间中的V分量图像与背景具有明显的颜色反差。因此，将采集的RGB图像转换为HSV颜色空间中的V分量图像再进行分割。V分量的计算公式如下。
V＝max(R+G+B)
式中，R,G和B分别为RGB颜色空间中像素点的像素值。
图像初分割：为了增强鱼体图像分割的准确性，本发明实施例采用形态学方法对鱼群图像进行初步分割，去除图像中的鱼缸等背景噪声，只保留目标鱼群。对鱼群图像进行的操作包括：中值滤波、背景减除、开运算、闭运算和去除小面积噪声等。
首先，对鱼群图像进行中值滤波处理，去除图像中的大部分噪声，同时保护目标鱼体的轮廓，使之不被模糊。
其次，对鱼群图像进行背景减除处理。由于本发明实施例中采集的鱼群图像来自同一实验平台，所有图像具有相同的鱼缸背景，因此采用背景差分法去除图像背景噪声。操作公式如下。
t_fore＝t_fish-t_back
式中，t_fore表示去除了鱼缸背景的鱼群图像，t_fish表示中值滤波处理后的鱼群图像，即包含和鱼缸背景，t_back表示鱼缸背景图像。
最后对去除了背景的鱼群图像进行开运算和闭运算处理，去除图像中孤立的小点和毛刺等噪声，获得光滑的图像轮廓。与此同时采用面积阈值法去除图像中的小面积噪声，得到连通的鱼体区域，实现鱼群图像的初分割。
鱼体轮廓提取：在获得的初分割鱼群图像的基础上，采用OpenCv中的轮廓提取函数，获取图像中所有鱼体的轮廓，从而得到候选的鱼体图像。
基于上述实施例的内容，作为一种可选实施例，所述确定两条分割线，对所述粘连鱼体图像进行分割，包括：根据4个目标分割点，基于非最大距离的分割点配对法进行配对；将配对后得到的两条分割线，对所述粘连鱼体图像进行分割。
根据上述实施例的说明，通过计算分割点与粘连鲫鱼区域质心的距离，删除距离最大的几个点，只保留距离较小的四个点，即为最终的分割点。当分割点个数不多于3个时，通过增加或删除分割点，实现只保留2个分割点，将其配对，构成1条分割线。
本实施例考虑当分割点个数多于3个时，通过删除分割点，实现只保留4个分割点，再采用基于非最大距离的方法实现分割点两两配对。
基于非最大距离的分割点配对方法主要思想是分割点中距离最大的两个点不能进行配对，即计算任意一个分割点与其余三个分割点的距离，将该分割点与非最大距离点中的任意一个进行配对，构成第一条分割线，则剩下的两个分割点对，构成第二条分割线。
图2为本发明实施例提供的粘连鱼体图像分割装置结构图，如图2所示，该粘连鱼体图像分割装置包括：图像获取模块201、分割点确定模块202和图像分割模块203。其中，图像获取模块201用于获取包含粘连鱼体轮廓的粘连鱼体图像，所述粘连鱼体轮廓内的区域为粘连鱼体区域；分割点确定模块202用于获取所述粘连鱼体区域的凸包，将粘连鱼体区域的凸包与所述粘连鱼体区域相减，得到多个凹区域；获取每个凹区域的凸包，对每个凹区域凸包中的所有凸点，用所述粘连鱼体轮廓上与凸点距离最小的点替代凸点后，得到候选分割点，对于每个凹区域，确定所有候选分割点与所述粘连鱼体区域的质心距离，选取距离最小的候选分割点作为对应凹区域的一个目标分割点；图像分割模块203用于根据所述目标分割点，对所述粘连鱼体图像进行分割。
本发明实施例提供的装置实施例是为了实现上述各方法实施例的，具体流程和详细内容请参照上述方法实施例，此处不再赘述。
本发明实施例提供的粘连鱼体图像分割装置，获取每个凹区域的凸包，对每个凹区域凸包中的所有凸点，用所述粘连鱼体轮廓上与凸点距离最小的点替代凸点后，得到候选分割点，对于每个凹区域，确定所有候选分割点与所述粘连鱼体区域的质心距离，选取距离最小的候选分割点作为对应凹区域的一个目标分割点，降低了分割点搜索的复杂度。该方法有利于根据鱼体粘连形状，自动确定分割线的数目，实现粘连鱼体图像的准确分割，为实现鱼体尺寸测量和种群计数提供支撑。
图3为本发明实施例提供的一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、通信接口(Communications Interface)302、存储器(memory)303和总线304，其中，处理器301，通信接口302，存储器303通过总线304完成相互间的通信。通信接口302可以用于电子设备的信息传输。处理器301可以调用存储器303中的逻辑指令，以执行包括如下的方法：获取包含粘连鱼体轮廓的粘连鱼体图像，所述粘连鱼体轮廓内的区域为粘连鱼体区域；获取所述粘连鱼体区域的凸包，将粘连鱼体区域的凸包与所述粘连鱼体区域相减，得到多个凹区域；获取每个凹区域的凸包，对每个凹区域凸包中的所有凸点，用所述粘连鱼体轮廓上与凸点距离最小的点替代凸点后，得到候选分割点；对于每个凹区域，确定所有候选分割点与所述粘连鱼体区域的质心距离，选取距离最小的候选分割点作为对应凹区域的一个目标分割点；根据所述目标分割点，对所述粘连鱼体图像进行分割。
此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明上述各方法实施例的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机获取包含粘连鱼体轮廓的粘连鱼体图像，所述粘连鱼体轮廓内的区域为粘连鱼体区域；获取所述粘连鱼体区域的凸包，将粘连鱼体区域的凸包与所述粘连鱼体区域相减，得到多个凹区域；获取每个凹区域的凸包，对每个凹区域凸包中的所有凸点，用所述粘连鱼体轮廓上与凸点距离最小的点替代凸点后，得到候选分割点；对于每个凹区域，确定所有候选分割点与所述粘连鱼体区域的质心距离，选取距离最小的候选分割点作为对应凹区域的一个目标分割点；根据所述目标分割点，对所述粘连鱼体图像进行分割。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种粘连鱼体图像分割方法，其特征在于，包括：
获取包含粘连鱼体轮廓的粘连鱼体图像，所述粘连鱼体轮廓内的区域为粘连鱼体区域；
获取所述粘连鱼体区域的凸包，将粘连鱼体区域的凸包与所述粘连鱼体区域相减，得到多个凹区域；获取每个凹区域的凸包，对每个凹区域凸包中的所有凸点，用所述粘连鱼体轮廓上与凸点距离最小的点替代凸点后，得到候选分割点；对于每个凹区域，确定所有候选分割点与所述粘连鱼体区域的质心距离，选取距离最小的候选分割点作为对应凹区域的一个目标分割点；
根据所述目标分割点，对所述粘连鱼体图像进行分割。
2.根据权利要求1所述的粘连鱼体图像分割方法，其特征在于，所述获取包含粘连鱼体轮廓的粘连鱼体图像，包括：
获取候选的鱼体图像；
根据鱼体区域的周长和面积，确定鱼体区域的边界复杂度；
根据所述边界复杂度和所述面积，分别与对应预设阈值的比较结果，获取包含粘连鱼体轮廓的粘连鱼体图像。
3.根据权利要求1所述的粘连鱼体图像分割方法，其特征在于，所述根据所述目标分割点，对所述粘连鱼体图像进行分割，包括：
若所述目标分割点的数目大于或等于4，则选取与所述粘连鱼体区域的质心距离最近的4个目标分割点，确定两条分割线，对所述粘连鱼体图像进行分割；
若所述目标分割点的数目为2或3，则选取与所述粘连鱼体区域的质心距离最近的2个目标分割点，确定一条分割线，对所述粘连鱼体图像进行分割。
4.根据权利要求3所述的粘连鱼体图像分割方法，其特征在于，若只有一个目标分割点，则所述根据所述目标分割点，对所述粘连鱼体图像进行分割，具体为：
根据角点检测算法，确定所述粘连鱼体区域像素点的多个角点；
选取与目标分割点距离最小的角点作为另一目标分割点，确定一条分割线，对所述粘连鱼体图像进行分割。
5.根据权利要求3所述的粘连鱼体图像分割方法，其特征在于，所述确定两条分割线，对所述粘连鱼体图像进行分割，包括：
根据4个目标分割点，基于非最大距离的分割点配对法进行配对；
将配对后得到的两条分割线，对所述粘连鱼体图像进行分割。
6.根据权利要求2所述的粘连鱼体图像分割方法，其特征在于，所述获取候选的鱼体图像，包括：
对原始鱼体图像提取HSV颜色空间的V分量，得到鱼体图像的二值化图像；
采用背景差分法实现初步分割，提取得到所述候选的鱼体图像。
7.一种粘连鱼体图像分割装置，其特征在于，包括：
图像获取模块，用于获取包含粘连鱼体轮廓的粘连鱼体图像，所述粘连鱼体轮廓内的区域为粘连鱼体区域；
分割点确定模块，用于获取所述粘连鱼体区域的凸包，将粘连鱼体区域的凸包与所述粘连鱼体区域相减，得到多个凹区域；获取每个凹区域的凸包，对每个凹区域凸包中的所有凸点，用所述粘连鱼体轮廓上与凸点距离最小的点替代凸点后，得到候选分割点；对于每个凹区域，确定所有候选分割点与所述粘连鱼体区域的质心距离，选取距离最小的候选分割点作为对应凹区域的一个目标分割点；图像分割模块，用于根据所述目标分割点，对所述粘连鱼体图像进行分割。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述粘连鱼体图像分割方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述粘连鱼体图像分割方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010421660.2A CN111667496B (zh) | 2020-05-18 | 2020-05-18 | 粘连鱼体图像分割方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010421660.2A CN111667496B (zh) | 2020-05-18 | 2020-05-18 | 粘连鱼体图像分割方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111667496A true CN111667496A (zh) | 2020-09-15 |
| CN111667496B CN111667496B (zh) | 2023-11-21 |
Family
ID=72383857
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010421660.2A Active CN111667496B (zh) | 2020-05-18 | 2020-05-18 | 粘连鱼体图像分割方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111667496B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120133352A (ko) * | 2011-05-31 | 2012-12-10 | 관동대학교산학협력단 | 영상에서의 목표형상 검출장치 및 방법 |
| CN106447669A (zh) * | 2016-04-08 | 2017-02-22 | 潍坊学院 | 基于圆形蒙版面积比率判别的粘连颗粒图像凹点分割方法 |
| CN106447672A (zh) * | 2016-09-14 | 2017-02-22 | 燕山大学 | 一种交叉遮挡鱼体识别计数方法 |
| CN107256406A (zh) * | 2017-04-19 | 2017-10-17 | 深圳清华大学研究院 | 重叠纤维图像分割方法、装置、存储介质和计算机设备 |
| CN109191473A (zh) * | 2018-08-31 | 2019-01-11 | 安徽三联学院 | 一种基于对称分析的车辆粘连分割方法 |
| CN109801308A (zh) * | 2018-12-28 | 2019-05-24 | 西安电子科技大学 | 粘连类圆形目标图像的分割方法 |
| CN110246140A (zh) * | 2019-05-14 | 2019-09-17 | 电子科技大学 | 一种改进的基于凹点匹配的粘连颗粒目标分割方法 |
| WO2019242178A1 (zh) * | 2018-06-20 | 2019-12-26 | 湖南自兴智慧医疗科技有限公司 | 基于几何特征与区域融合的g显带粘连染色体分割方法、装置及染色体核型分析设备 |
-
2020
- 2020-05-18 CN CN202010421660.2A patent/CN111667496B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120133352A (ko) * | 2011-05-31 | 2012-12-10 | 관동대학교산학협력단 | 영상에서의 목표형상 검출장치 및 방법 |
| CN106447669A (zh) * | 2016-04-08 | 2017-02-22 | 潍坊学院 | 基于圆形蒙版面积比率判别的粘连颗粒图像凹点分割方法 |
| CN106447672A (zh) * | 2016-09-14 | 2017-02-22 | 燕山大学 | 一种交叉遮挡鱼体识别计数方法 |
| CN107256406A (zh) * | 2017-04-19 | 2017-10-17 | 深圳清华大学研究院 | 重叠纤维图像分割方法、装置、存储介质和计算机设备 |
| WO2019242178A1 (zh) * | 2018-06-20 | 2019-12-26 | 湖南自兴智慧医疗科技有限公司 | 基于几何特征与区域融合的g显带粘连染色体分割方法、装置及染色体核型分析设备 |
| CN109191473A (zh) * | 2018-08-31 | 2019-01-11 | 安徽三联学院 | 一种基于对称分析的车辆粘连分割方法 |
| CN109801308A (zh) * | 2018-12-28 | 2019-05-24 | 西安电子科技大学 | 粘连类圆形目标图像的分割方法 |
| CN110246140A (zh) * | 2019-05-14 | 2019-09-17 | 电子科技大学 | 一种改进的基于凹点匹配的粘连颗粒目标分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| 傅蓉: "细胞重叠与融合性图像的分离与分割技术研究", 《中国博士学位论文全文数据库医药卫生科技辑》, pages 080 - 9 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111667496B (zh) | 2023-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109522908B (zh) | 基于区域标签融合的图像显著性检测方法 | |
| CN109685060B (zh) | 图像处理方法和装置 | |
| Guo et al. | Multi-object extraction from topview group-housed pig images based on adaptive partitioning and multilevel thresholding segmentation | |
| CN106327507B (zh) | 一种基于背景和前景信息的彩色图像显著性检测方法 | |
| CN113466232B (zh) | 一种基于计算机图像的脆化鱼肉快速检测方法及系统 | |
| Ravanbakhsh et al. | Automated Fish Detection in Underwater Images Using Shape‐Based Level Sets | |
| Le et al. | An automated fish counting algorithm in aquaculture based on image processing | |
| CN109145808B (zh) | 一种基于自适应鱼体弯曲模型的金枪鱼识别方法 | |
| Duan et al. | An automatic counting system for transparent pelagic fish eggs based on computer vision | |
| CN109543595B (zh) | 基于深度可分离卷积神经网络的电线的训练方法和检测方法 | |
| CN111406693A (zh) | 基于仿生海鳗的海洋牧场渔业资源养护效果评价方法 | |
| CN108830293B (zh) | 动物体重的识别方法及装置 | |
| CN113012173A (zh) | 基于心脏mri的心脏分割模型和病理分类模型训练、心脏分割、病理分类方法及装置 | |
| Shortis et al. | Progress in the automated identification, measurement, and counting of fish in underwater image sequences | |
| CN111882561A (zh) | 一种癌细胞识别诊断系统 | |
| CN113592896A (zh) | 基于图像处理的鱼类投喂方法、系统、设备及存储介质 | |
| CN109389613B (zh) | 一种基于计算机视觉的残留鱼饵计数方法 | |
| Min et al. | MRI images enhancement and tumor segmentation for brain | |
| CN108765448B (zh) | 一种基于改进tv-l1模型的虾苗计数分析方法 | |
| CN105913425B (zh) | 一种基于自适应椭圆分块和小波变换的多猪轮廓提取方法 | |
| CN111968081A (zh) | 鱼群自动计数方法、装置、电子设备及存储介质 | |
| CN114550167B (zh) | 一种基于人工智能的梨的品质分类方法及装置 | |
| CN111126296A (zh) | 水果定位方法及装置 | |
| CN104573701A (zh) | 一种玉米雄穗性状的自动检测方法 | |
| CN113284164A (zh) | 虾群自动计数方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |