CN117522951A - 鱼类监测方法、装置、设备及存储介质 - Google Patents
鱼类监测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117522951A CN117522951A CN202311845001.1A CN202311845001A CN117522951A CN 117522951 A CN117522951 A CN 117522951A CN 202311845001 A CN202311845001 A CN 202311845001A CN 117522951 A CN117522951 A CN 117522951A
- Authority
- CN
- China
- Prior art keywords
- image
- fish
- fish body
- images
- prediction model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012544 monitoring process Methods 0.000 title claims abstract description 33
- 241000251468 Actinopterygii Species 0.000 claims abstract description 223
- 238000001514 detection method Methods 0.000 claims abstract description 62
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 13
- 238000012806 monitoring device Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种鱼类监测方法、装置、设备及存储介质，该方法包括：获取鱼群的多张拍摄图像；生成所述多张拍摄图像对应的二值图像，根据所述二值图像，确定所述多张拍摄图像中的至少一张目标图像，所述目标图像的清晰度高于其他拍摄图像的清晰度；根据所述目标图像，生成单个鱼体的检测图像；将每张所述检测图像输入训练好的图像预测模型，输出每张所述检测图像对应反面的预测图像；对所述单个鱼体对应的所述检测图像和所述预测图像进行合成，生成3D图像；根据所述3D图像，获得所述单个鱼体的尺寸以及重量；基于各个鱼体的所述尺寸和所述重量，确定鱼类生长信息。本申请实施例实现提高了鱼类监测的效率和可靠性。
Description
技术领域
本申请涉及渔业技术领域，尤其涉及一种鱼类监测方法、装置、设备及存储介质。
背景技术
为了实现可持续、合理化捕鱼，需要对不同种类、以及不同尺寸大小的鱼类进行选择性捕捞，这就需要获悉鱼群的生长情况。目前，一般是采取在各个不同区域渔船拉网、撒网的方式捕鱼上来，根据捕到的鱼预估鱼群的生长情况，不仅人工劳动量大，效率低下，而且也不能确保预估的可靠性。
因此，如何实现提高鱼类监测的效率和可靠性成为亟需解决的问题。
发明内容
本申请实施例提供一种鱼类监测方法、装置、设备及存储介质，可以提高鱼类监测的效率和可靠性。
第一方面，本申请实施例提供了一种鱼类监测方法，包括：
获取鱼群的多张拍摄图像；
生成所述多张拍摄图像对应的二值图像，根据所述二值图像，确定所述多张拍摄图像中的至少一张目标图像，所述目标图像的清晰度高于其他拍摄图像的清晰度；
根据所述目标图像，生成单个鱼体的检测图像；
将每张所述检测图像输入训练好的图像预测模型，输出每张所述检测图像对应反面的预测图像；
对所述单个鱼体对应的所述检测图像和所述预测图像进行合成，生成3D图像；
根据所述3D图像，获得所述单个鱼体的尺寸以及重量；
基于各个鱼体的所述尺寸和所述重量，确定鱼类生长信息。
第二方面，本申请实施例还提供了一种鱼类监测装置，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行上述的鱼类监测方法。
第三方面，本申请实施例还提供了一种计算机设备，所述计算机设备包括如上述的鱼类监测装置。
第四方面，本申请实施例还提供了一种存储介质，所述存储介质用于存储计算机程序，所述计算机程序被处理器执行时使所述处理器实现上述的鱼类监测方法。
本申请实施例提供了一种鱼类监测方法、装置、设备及存储介质，通过获取鱼群的多张拍摄图像，并生成多张拍摄图像对应的二值图像，根据二值图像，确定多张拍摄图像中的至少一张目标图像，目标图像的清晰度高于其他拍摄图像的清晰度，然后根据目标图像，生成单个鱼体的检测图像，将每张检测图像输入训练好的图像预测模型，输出每张检测图像对应反面的预测图像，对单个鱼体对应的检测图像和预测图像进行合成，生成3D图像，之后根据3D图像，获得单个鱼体的尺寸以及重量，基于各个鱼体的尺寸和重量，确定鱼类生长信息，相比于通过捕鱼来预估鱼群的生长情况，提高了鱼类监测的效率和可靠性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种鱼类监测方法的步骤示意流程图；
图2是本申请实施例提供的一种生成所述多张拍摄图像对应的二值图像的步骤示意流程图；
图3是本申请实施例提供的一种单个鱼体的检测图像的示意图；
图4是本申请实施例提供的一种预测图像的示意图；
图5是本申请实施例提供的一种获得所述单个鱼体的尺寸以及重量的步骤示意流程图；
图6是本申请实施例提供的另一种鱼类监测方法的步骤示意流程图；
图7是本申请实施例提供的一种鱼类监测装置的示意性框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在部分实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
本申请实施例提供了一种鱼类监测方法、装置、设备及存储介质，其中，该方法通过获取鱼群的多张拍摄图像，并生成多张拍摄图像对应的二值图像，根据二值图像，确定多张拍摄图像中的至少一张目标图像，目标图像的清晰度高于其他拍摄图像的清晰度，然后根据目标图像，生成单个鱼体的检测图像，将每张检测图像输入训练好的图像预测模型，输出每张检测图像对应反面的预测图像，对单个鱼体对应的检测图像和预测图像进行合成，生成3D图像，之后根据3D图像，获得单个鱼体的尺寸以及重量，基于各个鱼体的尺寸和重量，确定鱼类生长信息，相比于通过捕鱼来预估鱼群的生长情况，提高了鱼类监测的效率和可靠性。
请参阅图1，图1是本申请实施例提供的鱼类监测方法的流程示意图，该方法可以应用于鱼类监测装置，或应用于包括鱼类监测装置的计算机设备，本申请实施例中不作任何限制。
如图1所示，本申请实施例提供的鱼类监测方法包括步骤S101至步骤S107。
S101、获取鱼群的多张拍摄图像。
为了对某一水域内鱼群的生长情况进行监测，示例性的，通过摄像装置对鱼群进行拍摄，获得鱼群的多张拍摄图像。其中，摄像装置包括但不限于水下摄像机、深度相机等设备。
S102、生成所述多张拍摄图像对应的二值图像，根据所述二值图像，确定所述多张拍摄图像中的至少一张目标图像，所述目标图像的清晰度高于其他拍摄图像的清晰度。
获得多张拍摄图像后，对每一张拍摄图像进行二值化处理，生成每一张拍摄图像对应的二值图像。
在一些实施例中，如图2所示，所述步骤S102可以包括子步骤S1021和子步骤S1022。
S1021、根据所述多张拍摄图像对应的灰度信息，确定目标灰度值；
S1022、根据所述目标灰度值，对每张所述拍摄图像进行图像二值化处理，获得对应的所述二值图像。
示例性的，获得每一张拍摄图像的各个像素点的灰度值，根据各张拍摄图像的各个像素点的灰度值，确定目标灰度值。之后，基于确定的目标灰度值，若拍摄图像中像素点的灰度值大于或等于目标灰度值，则将该像素点对应的像素值标记为1，若像素点的灰度值小于目标灰度值，则将像素点对应的像素值标记为0，获得拍摄图像对应的二值图像。
在一些实施例中，所述根据所述多张拍摄图像对应的灰度信息，确定目标灰度值，包括：
计算每张所述拍摄图像的各个像素点的灰度值的平均值；
将所述多张拍摄图像对应的多个所述平均值进行均值计算，获得所述目标灰度值。
获得每一张拍摄图像的各个像素点的灰度值之后，首先计算每一张拍摄图像的各个像素点的灰度值的平均值，从而获得多张拍摄图像对应的多个平均值，然后将多张拍摄图像对应的多个平均值进行均值计算，得到一个灰度均值，将该灰度均值确定为目标灰度值。
之后，基于确定的目标灰度值，对每一张拍摄图像进行图像二值化处理，获得每一张拍摄图像对应的二值图像。
在一些实施例中，对每一张拍摄图像进行鱼体轮廓提取，获得鱼体轮廓图像，然后计算每一张鱼体轮廓图像的各个像素点的灰度值的平均值，将各张鱼体轮廓图像对应的灰度值的平均值进行均值计算，得到目标灰度值。之后，基于确定的目标灰度值，对每一张拍摄图像进行图像二值化处理，获得每一张拍摄图像对应的二值图像。
需要说明的是，生成二值图像的方式不限于上述列举的方式，本申请中不作具体限制。
每一张拍摄图像对应的二值图像之后，基于各张二值图像，从多张拍摄图像中选择清晰度高的至少一张拍摄图像，确定为目标图像，其中，目标图像的清晰度高于其他未选择的拍摄图像的清晰度。
示例性的，获得每一张拍摄图像对应的二值图像之后，对各张二值图像中像素值为1的像素点进行计数，获得每张二值图像对应的像素值为1的像素点数量。像素值为1的像素点数量越多的二值图像，其对应的拍摄图像的清晰度最高。
通过将清晰度高的拍摄图像作为目标图像，进而基于目标图像来监测鱼类生长信息，可以确保鱼类监测的可靠性。
S103、根据所述目标图像，生成单个鱼体的检测图像。
确定了至少一张目标图像后，对于每一张目标图像，由于目标图像中包括至少一条鱼体对象，分别获得其中单个鱼体的图像。为了便于区分描述，下文将单个鱼体的图像称为检测图像。
在一些实施例中，所述根据所述目标图像，生成单个鱼体的检测图像，包括：
对所述目标图像进行单个鱼体轮廓提取，基于提取的每个所述轮廓，生成对应的所述单个鱼体的所述检测图像。
示例性的，对于目标图像中包括的至少一条鱼体对象，对目标图像进行图像中的单个鱼体轮廓提取，然后根据提取的每个鱼体轮廓，生成对应的单个鱼体的检测图像。例如，如图3所示，图3为其中一单个鱼体的检测图像。通过该方式，获得多张单个鱼体的检测图像。
S104、将每张所述检测图像输入训练好的图像预测模型，输出每张所述检测图像对应反面的预测图像。
示例性的，可以通过CNN（Convolutional Neural Networks，卷积神经网络）、SVM（Support Vector Machine，支持向量机）、SSD（Single Shot MultiBox Detector，单步多框目标检测）等算法进行图像预测模型建模。然后，对图像预测模型进行模型训练，得到训练好的图像预测模型。
在模型训练阶段，首先获得多对样本，其中，每一对样本包括同一鱼体对象对应的相对两面的图像，比如鱼体两相对侧面的图像a与图像b。
然后，将每一对样本中的其中之一图像输入图像预测模型，通过图像预测模型处理，输出每一对样本图像中的其中之一图像对应反面的预测图像。比如，将一对样本中的图像a输入图像预测模型，通过图像预测模型输出该图像a对应反面的图像a´，图像a´为图像b的预测图像。
并且，获得图像a´与图像b的灰度信息，例如，获得图像a´与图像b中各像素点的灰度值。通过上述方式，可以获得各样本图像及其对应预测图像的灰度信息，根据多对灰度信息，可以确定图像预测模型的损失函数值。
示例性的，计算样本图像与其对应预测图像的每一对像素点的灰度值之差的平方值，将各对像素点对应的灰度值之差的平方值求和，获得图像预测模型的损失函数值。
若图像预测模型对应的损失函数值未达到收敛，说明图像预测模型还未收敛，此时，继续对图像预测模型进行模型训练，按照上述方式继续确定图像预测模型最新的损失函数值，重复操作直至确定图像预测模型的损失函数值达到收敛，说明图像预测模型已收敛，此时，结束对图像预测模型的训练操作，获得训练好的图像预测模型。
之后，调用训练好的图像预测模型，将获得的单个鱼体的检测图像输入训练好的图像预测模型，输出单个鱼体的检测图像对应反面的预测图像。例如，将图3所示的检测图像输入训练好的图像预测模型，输出如图4所示的预测图像。
S105、对所述单个鱼体对应的所述检测图像和所述预测图像进行合成，生成3D图像。
例如，将图3所示的检测图像与图4所示的预测图像进行图像拼接合成处理，生成相应的3D图像。
在一些实施例中，所述对所述单个鱼体对应的所述检测图像和所述预测图像进行合成，生成3D图像，包括：
将所述单个鱼体对应的所述检测图像和所述预测图像转换至同一坐标系中，在所述同一坐标系中对所述检测图像和所述预测图像进行配准，并对配准后的所述检测图像和所述预测图像进行合成，生成所述3D图像。
仍以图3所示的检测图像与图4所示的预测图像为例，首先，将这一对检测图像和预测图像转换至同一坐标系中，其中，该同一坐标系包括但不限于世界坐标系、绝对坐标系等，从而获得检测图像和预测图像在同一坐标系中的空间坐标。
示例性的，为了获得检测图像和预测图像在同一坐标系中的空间坐标，先获得摄像装置的内参矩阵，摄像装置的内参矩阵反映了摄像装置自身的属性，可以理解的是，不同摄像装置对应的内参矩阵也不一样。基于摄像装置的内参矩阵，求得内参矩阵的逆矩阵，然后通过将逆矩阵乘以检测图像对应的像素坐标，获得检测图像在同一坐标系中的空间坐标。同理，将逆矩阵乘以预测图像对应的像素坐标，获得预测图像在同一坐标系中的空间坐标。
获得预测图像在同一坐标系中的空间坐标后，对预测图像进行翻转，获得翻转后的预测图像在同一坐标系中的空间坐标。例如，基于旋转矩阵，将预测图像在同一坐标系中的空间坐标乘以旋转矩阵，得到翻转后的预测图像在同一坐标系中的空间坐标。
之后，基于检测图像在同一坐标系中的空间坐标，以及翻转后的预测图像在同一坐标系中的空间坐标，对检测图像和翻转后的预测图像进行配准拼接，合成一个完整的3D图像。示例性的，使用ICP（Iterative Closest Point，迭代最近点）算法对检测图像和翻转后的预测图像进行配准，并进行拼接合成3D图像。
通过上述方式，就可以获得多张单个鱼体的3D图像。
S106、根据所述3D图像，获得所述单个鱼体的尺寸以及重量。
获得多张单个鱼体对应的3D图像后，根据其中每一张3D图像，预测每一张3D图像对应的单个鱼体的尺寸以及重量。
在一些实施例中，如图5所示，所述步骤S106可以包括子步骤S1061和子步骤S1062。
S1061、将所述3D图像输入训练好的鱼体识别预测模型，输出所述3D图像对应的所述单个鱼体的类别、以及所述单个鱼体的尺寸；
S1062、根据预设的各种类别鱼体对应的尺寸与重量关联关系，确定所述单个鱼体的重量。
在进行单个鱼体的重量预测之前，先进行鱼体识别预测模型建模。然后，对鱼体识别预测模型进行模型训练，得到训练好的鱼体识别预测模型。
在一些实施例中，如图6所示，所述步骤S1061之前可以包括步骤S108和步骤S109。
S108、获取多张3D样本图像，所述3D样本图像包含标签信息，所述标签信息包括鱼体类别信息、鱼体尺寸信息；
S109、将所述3D样本图像输入鱼体识别预测模型，对所述鱼体识别预测模型进行模型训练，直至所述鱼体识别预测模型收敛，获得训练好的所述鱼体识别预测模型。
在鱼体识别预测模型训练阶段，首先获取多张鱼体对应的3D图像，并对这些3D图像进行标签标注，生成包含标签信息的3D样本图像。其中，标签信息包括但不限于鱼体类别信息、鱼体尺寸信息等。
之后，将获得的3D样本图像作为鱼体识别预测模型的输入，通过3D样本图像对该鱼体识别预测模型进行模型训练，直至该鱼体识别预测模型收敛，获得训练好的鱼体识别预测模型。鱼体识别预测模型的具体训练过程可参考上述图像预测模型的训练过程，故在此不再赘述。
通过上述步骤获得多张单个鱼体的3D图像后，调用训练好的鱼体识别预测模型，将3D图像输入训练好的鱼体识别预测模型，输出3D图像对应的单个鱼体的类别、以及单个鱼体的尺寸等预测信息。
示例性的，预先通过测量大量各种类别鱼体的尺寸和重量数据，基于各种类别鱼体的尺寸和重量数据，生成各种类别鱼体对应的尺寸与重量关联关系。在通过训练好的鱼体识别预测模型获得单个鱼体的类别、以及单个鱼体的尺寸之后，根据上述生成的各种类别鱼体对应的尺寸与重量关联关系，确定单个鱼体的重量。
需要说明的是，除了上述获得单个鱼体的重量的方式以外，也可以通过其他方式比如通过训练好的鱼体重量预测模型来获得单个鱼体的重量，本申请中不作具体限制。
S107、基于各个鱼体的所述尺寸和所述重量，确定鱼类生长信息。
获得了各个鱼体的类别、尺寸、以及重量信息后，可以根据各个鱼体的类别、尺寸、以及重量信息，确定出鱼群中各种类别鱼体的生长信息。
示例性的，可以根据各个鱼体的类别、尺寸、以及重量信息，生成鱼类生长报告。其中，该报告中包括但不限于鱼体的类别、尺寸、重量信息，以及鱼体捕捞分析信息，比如，适合捕捞、不适合捕捞等信息。
上述实施例通过获取鱼群的多张拍摄图像，并生成多张拍摄图像对应的二值图像，根据二值图像，确定多张拍摄图像中的至少一张目标图像，目标图像的清晰度高于其他拍摄图像的清晰度，然后根据目标图像，生成单个鱼体的检测图像，将每张检测图像输入训练好的图像预测模型，输出每张检测图像对应反面的预测图像，对单个鱼体对应的检测图像和预测图像进行合成，生成3D图像，之后根据3D图像，获得单个鱼体的尺寸以及重量，基于各个鱼体的尺寸和重量，确定鱼类生长信息，相比于通过捕鱼来预估鱼群的生长情况，提高了鱼类监测的效率和可靠性。
请参阅图7，图7为本申请实施例提供的一种鱼类监测装置的的示意性框图。
如图7所示，该鱼类监测装置200可以包括处理器211和存储器212，处理器211和存储器212通过总线连接，该总线比如为I2C（Inter-integrated Circuit）总线。
具体地，处理器211可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
具体地，存储器212可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。存储器212中存储有供处理器211执行的各种计算机程序。
其中，所述处理器211用于运行存储在存储器处理器211中的计算机程序，并在执行所述计算机程序时实现如下步骤：
获取鱼群的多张拍摄图像；
生成所述多张拍摄图像对应的二值图像，根据所述二值图像，确定所述多张拍摄图像中的至少一张目标图像，所述目标图像的清晰度高于其他拍摄图像的清晰度；
根据所述目标图像，生成单个鱼体的检测图像；
将每张所述检测图像输入训练好的图像预测模型，输出每张所述检测图像对应反面的预测图像；
对所述单个鱼体对应的所述检测图像和所述预测图像进行合成，生成3D图像；
根据所述3D图像，获得所述单个鱼体的尺寸以及重量；
基于各个鱼体的所述尺寸和所述重量，确定鱼类生长信息。
在一些实施例中，处理器211在实现所述根据所述3D图像，获得所述单个鱼体的尺寸以及重量时，用于实现：
将所述3D图像输入训练好的鱼体识别预测模型，输出所述3D图像对应的所述单个鱼体的类别、以及所述单个鱼体的尺寸；
根据预设的各种类别鱼体对应的尺寸与重量关联关系，确定所述单个鱼体的重量。
在一些实施例中，处理器211在实现所述将所述3D图像输入训练好的鱼体识别预测模型，输出所述3D图像对应的所述单个鱼体的类别、以及所述单个鱼体的尺寸之前，用于实现：
获取多张3D样本图像，所述3D样本图像包含标签信息，所述标签信息包括鱼体类别信息、鱼体尺寸信息；
将所述3D样本图像输入鱼体识别预测模型，对所述鱼体识别预测模型进行模型训练，直至所述鱼体识别预测模型收敛，获得训练好的所述鱼体识别预测模型。
在一些实施例中，处理器211在实现所述对所述单个鱼体对应的所述检测图像和所述预测图像进行合成，生成3D图像时，用于实现：
将所述单个鱼体对应的所述检测图像和所述预测图像转换至同一坐标系中，在所述同一坐标系中对所述检测图像和所述预测图像进行配准，并对配准后的所述检测图像和所述预测图像进行合成，生成所述3D图像。
在一些实施例中，处理器211在实现所述生成所述多张拍摄图像对应的二值图像时，用于实现：
根据所述多张拍摄图像对应的灰度信息，确定目标灰度值；
根据所述目标灰度值，对每张所述拍摄图像进行图像二值化处理，获得对应的所述二值图像。
在一些实施例中，处理器211在实现所述根据所述多张拍摄图像对应的灰度信息，确定目标灰度值时，用于实现：
计算每张所述拍摄图像的各个像素点的灰度值的平均值；
将所述多张拍摄图像对应的多个所述平均值进行均值计算，获得所述目标灰度值。
在一些实施例中，处理器211在实现所述根据所述目标图像，生成单个鱼体的检测图像时，用于实现：
对所述目标图像进行单个鱼体轮廓提取，基于提取的每个所述轮廓，生成对应的所述单个鱼体的所述检测图像。
该鱼类监测装置200可以执行本申请实施例所提供的任一种鱼类监测方法，因此，可以实现本申请实施例所提供的任一种鱼类监测方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
此外，本申请的实施例中还提供一种计算机设备，该计算机设备包括鱼类监测装置，示例性的，该鱼类监测装置可以为上述实施例中的鱼类监测装置200。计算机设备可以执行本申请实施例所提供的任一种鱼类监测方法，因此，可以实现本申请实施例所提供的任一种鱼类监测方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
本申请的实施例中还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现上述实施例提供的鱼类监测方法的步骤。例如，该计算机程序被处理器加载，可以执行如下步骤：
获取鱼群的多张拍摄图像；
生成所述多张拍摄图像对应的二值图像，根据所述二值图像，确定所述多张拍摄图像中的至少一张目标图像，所述目标图像的清晰度高于其他拍摄图像的清晰度；
根据所述目标图像，生成单个鱼体的检测图像；
将每张所述检测图像输入训练好的图像预测模型，输出每张所述检测图像对应反面的预测图像；
对所述单个鱼体对应的所述检测图像和所述预测图像进行合成，生成3D图像；
根据所述3D图像，获得所述单个鱼体的尺寸以及重量；
基于各个鱼体的所述尺寸和所述重量，确定鱼类生长信息。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，所述存储介质可以是前述实施例的鱼类监测装置或计算机设备的内部存储单元，例如鱼类监测装置或计算机设备的硬盘或内存。所述存储介质也可以是鱼类监测装置或计算机设备的外部存储设备，例如鱼类监测装置或计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(FlashCard)等。
由于该存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种鱼类监测方法，因此，可以实现本申请实施例所提供的任一种鱼类监测方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种鱼类监测方法，其特征在于，包括：
获取鱼群的多张拍摄图像；
生成所述多张拍摄图像对应的二值图像，根据所述二值图像，确定所述多张拍摄图像中的至少一张目标图像，所述目标图像的清晰度高于其他拍摄图像的清晰度；
根据所述目标图像，生成单个鱼体的检测图像；
将每张所述检测图像输入训练好的图像预测模型，输出每张所述检测图像对应反面的预测图像；
对所述单个鱼体对应的所述检测图像和所述预测图像进行合成，生成3D图像；
根据所述3D图像，获得所述单个鱼体的尺寸以及重量；
基于各个鱼体的所述尺寸和所述重量，确定鱼类生长信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述3D图像，获得所述单个鱼体的尺寸以及重量，包括：
将所述3D图像输入训练好的鱼体识别预测模型，输出所述3D图像对应的所述单个鱼体的类别、以及所述单个鱼体的尺寸；
根据预设的各种类别鱼体对应的尺寸与重量关联关系，确定所述单个鱼体的重量。
3.根据权利要求2所述的方法，其特征在于，所述将所述3D图像输入训练好的鱼体识别预测模型，输出所述3D图像对应的所述单个鱼体的类别、以及所述单个鱼体的尺寸之前，包括：
获取多张3D样本图像，所述3D样本图像包含标签信息，所述标签信息包括鱼体类别信息、鱼体尺寸信息；
将所述3D样本图像输入鱼体识别预测模型，对所述鱼体识别预测模型进行模型训练，直至所述鱼体识别预测模型收敛，获得训练好的所述鱼体识别预测模型。
4.根据权利要求1所述的方法，其特征在于，所述对所述单个鱼体对应的所述检测图像和所述预测图像进行合成，生成3D图像，包括：
将所述单个鱼体对应的所述检测图像和所述预测图像转换至同一坐标系中，在所述同一坐标系中对所述检测图像和所述预测图像进行配准，并对配准后的所述检测图像和所述预测图像进行合成，生成所述3D图像。
5.根据权利要求1所述的方法，其特征在于，所述生成所述多张拍摄图像对应的二值图像，包括：
根据所述多张拍摄图像对应的灰度信息，确定目标灰度值；
根据所述目标灰度值，对每张所述拍摄图像进行图像二值化处理，获得对应的所述二值图像。
6.根据权利要求5所述的方法，其特征在于，所述根据所述多张拍摄图像对应的灰度信息，确定目标灰度值，包括：
计算每张所述拍摄图像的各个像素点的灰度值的平均值；
将所述多张拍摄图像对应的多个所述平均值进行均值计算，获得所述目标灰度值。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述根据所述目标图像，生成单个鱼体的检测图像，包括：
对所述目标图像进行单个鱼体轮廓提取，基于提取的每个所述轮廓，生成对应的所述单个鱼体的所述检测图像。
8.一种鱼类监测装置，其特征在于，包括：处理器、存储器，所述存储器存储有可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1至7中任一项所述的鱼类监测方法。
9.一种计算机设备，其特征在于，所述计算机设备包括如权利要求8所述的鱼类监测装置。
10.一种存储介质，用于计算机可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至7中任一项所述的鱼类监测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311845001.1A CN117522951B (zh) | 2023-12-29 | 2023-12-29 | 鱼类监测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311845001.1A CN117522951B (zh) | 2023-12-29 | 2023-12-29 | 鱼类监测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117522951A true CN117522951A (zh) | 2024-02-06 |
| CN117522951B CN117522951B (zh) | 2024-04-09 |
Family
ID=89766718
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311845001.1A Active CN117522951B (zh) | 2023-12-29 | 2023-12-29 | 鱼类监测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117522951B (zh) |
Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002232646A (ja) * | 2001-02-02 | 2002-08-16 | Ricoh Co Ltd | 画像読み取り装置 |
| US20090262989A1 (en) * | 2007-07-12 | 2009-10-22 | Tatsuo Kozakaya | Image processing apparatus and method |
| CN109657673A (zh) * | 2017-10-11 | 2019-04-19 | 阿里巴巴集团控股有限公司 | 图像识别方法和终端 |
| CN110472602A (zh) * | 2019-08-20 | 2019-11-19 | 腾讯科技（深圳）有限公司 | 一种卡证识别方法、装置、终端及存储介质 |
| CN111862048A (zh) * | 2020-07-22 | 2020-10-30 | 浙大城市学院 | 基于关键点检测和深度卷积神经网络的鱼体姿态与长度自动分析方法 |
| CN112465778A (zh) * | 2020-11-26 | 2021-03-09 | 江苏国和智能科技有限公司 | 一种水下鱼群观测装置及方法 |
| CN113065569A (zh) * | 2021-04-13 | 2021-07-02 | 广东省科学院智能制造研究所 | 基于神经网络的鱼质量估计方法及系统、装置与存储介质 |
| US20210209351A1 (en) * | 2020-01-06 | 2021-07-08 | X Development Llc | Fish biomass, shape, size, or health determination |
| CN113191222A (zh) * | 2021-04-15 | 2021-07-30 | 中国农业大学 | 水下鱼类目标检测方法及装置 |
| CN114170497A (zh) * | 2021-11-03 | 2022-03-11 | 中国农业大学 | 一种基于注意力模块的多尺度水下鱼群检测方法 |
| CN114241031A (zh) * | 2021-12-22 | 2022-03-25 | 华南农业大学 | 基于双视角融合的鱼类体尺测量和体重预测的方法及装置 |
| CN114612856A (zh) * | 2022-02-17 | 2022-06-10 | 深圳市爱深盈通信息技术有限公司 | 预设水体区域中移动目标的检测方法、装置和系统 |
| US20220270348A1 (en) * | 2020-05-22 | 2022-08-25 | Tencent Technology (Shenzhen) Company Limited | Face recognition method and apparatus, computer device, and storage medium |
| US20220327721A1 (en) * | 2019-09-30 | 2022-10-13 | Nec Corporation | Size estimation device, size estimation method, and recording medium |
| CN115512215A (zh) * | 2022-09-28 | 2022-12-23 | 中国船舶集团有限公司第七一一研究所 | 水下生物监测方法、装置及存储介质 |
| CN115731282A (zh) * | 2022-11-21 | 2023-03-03 | 华南农业大学 | 基于深度学习的水下鱼类重量估计方法、系统及电子设备 |
| JP7239121B1 (ja) * | 2022-08-01 | 2023-03-14 | 三信トレーディング株式会社 | 生物の成長予測装置、方法およびプログラム並びに３次元画像生成表示システム |
| CN115908268A (zh) * | 2022-10-25 | 2023-04-04 | 中国农业大学 | 一种水下鱼体生物量实时测量方法及装置 |
| CN116071246A (zh) * | 2021-10-29 | 2023-05-05 | 深圳市瑞图生物技术有限公司 | 图像处理方法、图像处理设备及存储介质 |
| CN116863078A (zh) * | 2023-07-14 | 2023-10-10 | 中国电信股份有限公司技术创新中心 | 三维人体模型重建方法、装置、电子设备和可读介质 |
| CN116883483A (zh) * | 2023-08-01 | 2023-10-13 | 中国水产科学研究院东海水产研究所 | 一种基于激光摄像机系统的鱼体量测方法 |
-
2023
- 2023-12-29 CN CN202311845001.1A patent/CN117522951B/zh active Active
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002232646A (ja) * | 2001-02-02 | 2002-08-16 | Ricoh Co Ltd | 画像読み取り装置 |
| US20090262989A1 (en) * | 2007-07-12 | 2009-10-22 | Tatsuo Kozakaya | Image processing apparatus and method |
| CN109657673A (zh) * | 2017-10-11 | 2019-04-19 | 阿里巴巴集团控股有限公司 | 图像识别方法和终端 |
| CN110472602A (zh) * | 2019-08-20 | 2019-11-19 | 腾讯科技（深圳）有限公司 | 一种卡证识别方法、装置、终端及存储介质 |
| US20220327721A1 (en) * | 2019-09-30 | 2022-10-13 | Nec Corporation | Size estimation device, size estimation method, and recording medium |
| US20210209351A1 (en) * | 2020-01-06 | 2021-07-08 | X Development Llc | Fish biomass, shape, size, or health determination |
| US20220270348A1 (en) * | 2020-05-22 | 2022-08-25 | Tencent Technology (Shenzhen) Company Limited | Face recognition method and apparatus, computer device, and storage medium |
| CN111862048A (zh) * | 2020-07-22 | 2020-10-30 | 浙大城市学院 | 基于关键点检测和深度卷积神经网络的鱼体姿态与长度自动分析方法 |
| CN112465778A (zh) * | 2020-11-26 | 2021-03-09 | 江苏国和智能科技有限公司 | 一种水下鱼群观测装置及方法 |
| CN113065569A (zh) * | 2021-04-13 | 2021-07-02 | 广东省科学院智能制造研究所 | 基于神经网络的鱼质量估计方法及系统、装置与存储介质 |
| CN113191222A (zh) * | 2021-04-15 | 2021-07-30 | 中国农业大学 | 水下鱼类目标检测方法及装置 |
| CN116071246A (zh) * | 2021-10-29 | 2023-05-05 | 深圳市瑞图生物技术有限公司 | 图像处理方法、图像处理设备及存储介质 |
| CN114170497A (zh) * | 2021-11-03 | 2022-03-11 | 中国农业大学 | 一种基于注意力模块的多尺度水下鱼群检测方法 |
| CN114241031A (zh) * | 2021-12-22 | 2022-03-25 | 华南农业大学 | 基于双视角融合的鱼类体尺测量和体重预测的方法及装置 |
| CN114612856A (zh) * | 2022-02-17 | 2022-06-10 | 深圳市爱深盈通信息技术有限公司 | 预设水体区域中移动目标的检测方法、装置和系统 |
| JP7239121B1 (ja) * | 2022-08-01 | 2023-03-14 | 三信トレーディング株式会社 | 生物の成長予測装置、方法およびプログラム並びに３次元画像生成表示システム |
| CN115512215A (zh) * | 2022-09-28 | 2022-12-23 | 中国船舶集团有限公司第七一一研究所 | 水下生物监测方法、装置及存储介质 |
| CN115908268A (zh) * | 2022-10-25 | 2023-04-04 | 中国农业大学 | 一种水下鱼体生物量实时测量方法及装置 |
| CN115731282A (zh) * | 2022-11-21 | 2023-03-03 | 华南农业大学 | 基于深度学习的水下鱼类重量估计方法、系统及电子设备 |
| CN116863078A (zh) * | 2023-07-14 | 2023-10-10 | 中国电信股份有限公司技术创新中心 | 三维人体模型重建方法、装置、电子设备和可读介质 |
| CN116883483A (zh) * | 2023-08-01 | 2023-10-13 | 中国水产科学研究院东海水产研究所 | 一种基于激光摄像机系统的鱼体量测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 袁红春 等: "基于Faster R-CNN和图像增强的水下鱼类目标检测方法", 大连海洋大学学报, no. 04, 31 December 2020 (2020-12-31), pages 146 - 153 * |
| 袁红春;张硕;: "基于Faster R-CNN和图像增强的水下鱼类目标检测方法", 大连海洋大学学报, no. 04 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117522951B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107301402B (zh) | 一种现实场景关键帧的确定方法、装置、介质及设备 | |
| CN110443210B (zh) | 一种行人跟踪方法、装置以及终端 | |
| JP5422018B2 (ja) | 画像処理方法および画像処理装置 | |
| EP3709266A1 (en) | Human-tracking methods, apparatuses, systems, and storage media | |
| CN108229418B (zh) | 人体关键点检测方法和装置、电子设备、存储介质和程序 | |
| CN111397541A (zh) | 排土场的边坡角测量方法、装置、终端及介质 | |
| US11354923B2 (en) | Human body recognition method and apparatus, and storage medium | |
| WO2019198611A1 (ja) | 特徴推定装置および特徴推定方法 | |
| CN108229281B (zh) | 神经网络的生成方法和人脸检测方法、装置及电子设备 | |
| CN111368698A (zh) | 主体识别方法、装置、电子设备及介质 | |
| CN111126296A (zh) | 水果定位方法及装置 | |
| CN107798292B (zh) | 对象识别方法、计算机程序、存储介质及电子设备 | |
| CN111127432B (zh) | 一种医学图像检测方法、装置、设备及存储介质 | |
| CN117522951B (zh) | 鱼类监测方法、装置、设备及存储介质 | |
| CN111723688B (zh) | 人体动作识别结果的评价方法、装置和电子设备 | |
| CN116977895A (zh) | 用于通用相机镜头的污渍检测方法、装置及计算机设备 | |
| CN114549429B (zh) | 基于超图结构的深度数据质量评价方法及装置 | |
| JP2002032760A (ja) | 動物体抽出方法および装置 | |
| CN112329729B (zh) | 小目标船只检测方法、装置及电子设备 | |
| CN116129316A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN115880428A (zh) | 一种基于三维技术的动物检测数据处理方法、装置及设备 | |
| CN110889438B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN114255203B (zh) | 一种鱼苗数量估计方法及系统 | |
| US20110097000A1 (en) | Face-detection Processing Methods, Image Processing Devices, And Articles Of Manufacture | |
| CN113158824A (zh) | 一种水下视频鱼类识别方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240428 Address after: 518000 floors 1 and 9-13, ocean fishery building, Jinshiji South Road, Shekou street, Nanshan District, Shenzhen, Guangdong Patentee after: Shenzhen Fisheries Development Research Center (Aquatic animal Epidemic Prevention and Quarantine Station) Country or region after: China Patentee after: SHENZHEN LIGHTSUN TECHNOLOGY Co.,Ltd. Address before: Room 501, Rongsheng building, No. three, 88 Bagua Road, Futian District, Guangdong, Shenzhen 518029 Patentee before: SHENZHEN LIGHTSUN TECHNOLOGY Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right |