CN113837104B - 基于卷积神经网络的水下鱼类目标检测方法、装置及存储介质 - Google Patents
基于卷积神经网络的水下鱼类目标检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN113837104B CN113837104B CN202111129667.8A CN202111129667A CN113837104B CN 113837104 B CN113837104 B CN 113837104B CN 202111129667 A CN202111129667 A CN 202111129667A CN 113837104 B CN113837104 B CN 113837104B
- Authority
- CN
- China
- Prior art keywords
- neural network
- convolutional
- underwater
- convolutional neural
- target detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 84
- 241000251468 Actinopterygii Species 0.000 title claims abstract description 64
- 238000001514 detection method Methods 0.000 title claims abstract description 64
- 230000009977 dual effect Effects 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims description 60
- 238000013528 artificial neural network Methods 0.000 claims description 43
- 238000000034 method Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 206010042434 Sudden death Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009360 aquaculture Methods 0.000 description 1
- 244000144974 aquaculture Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009372 pisciculture Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Agronomy & Crop Science (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- Animal Husbandry (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于卷积神经网络的水下鱼类目标检测方法、装置及存储介质，对水下鱼类目标检测模型中的主干网络进行了改进，改进后的主干网络包括卷积及其对偶操作的两个卷积神经网络，分别得到待检测水下图像的局部特征图和全局特征图，然后调整输出特征图维度，将具有相同维度的各个通道特征图进行融合，以保证所得各通道不同特征图，且每个特征图均学习到全局信息，从而获取更优质图像特征，为下游目标检测提供可靠数据基础，进而提高水下鱼类目标的检测准确率。
Description
技术领域
本发明涉及目标检测技术领域，特别是涉及一种基于卷积神经网络的水下鱼类目标检测方法、装置及存储介质。
背景技术
鱼类养殖在水产养殖中占据主导地位。为了保证鱼类的产量，有必要对养殖的鱼类的数量进行估算，或者监测其生长状态。另外，为了预防鱼的突然死亡对其他鱼的生长造成严重影响，有必要对出现异常状况的目标鱼类进行个体跟踪。
目前主要根据水下视频或图像，采用机器学习算法对鱼类进行目标检测，以对水下鱼类生长状态进行监控和计数，以及对鱼类个体进行追踪。其中，在机器学习算法中，主干网络为目标检测网络中最为重要的部分。主干网络是目标检测网络中用来负责特征提取的网络，一般用于前端提取不同层次、不同尺度的图像特征，并生成特征图以供后面的网络使用。
目前常用的主干网络多为卷积神经网络。然而，卷积神经网络仅能获得图像的局部信息，且浅层网络感受野小，对于高度集约化养殖的水下鱼类检测目标而言，尺度较小的鱼类目标在检测过程中易被丢失，尺度较大的鱼类目标会因为特征信息不全而无法检测，导致检测准确率较低。
发明内容
有鉴于此，本发明提供了一种基于卷积神经网络的水下鱼类目标检测方法、装置及存储介质，以提高水下鱼类目标检测的准确率。
为此，本发明提供了以下技术方案：
一方面，本发明提供了一种基于卷积神经网络的水下鱼类目标检测方法，所述方法包括：
获取待检测水下图像；
将所述待检测水下图像输入至水下鱼类目标检测模型的主干网络，得到特征提取结果；所述主干网络包括第一卷积神经网络和所述第二卷积神经网络，所述第一卷积神经网络在特征图通道维度采用不同卷积核，在空间维度采用相同卷积操作；所述第二卷积神经网络在特征图空间维度采用不同卷积核，在通道维度采用相同卷积操作；
基于所述特征提取结果，得到水下鱼类目标检测结果。
进一步地，将所述待检测水下图像输入至水下鱼类目标检测模型的主干网络，得到特征提取结果，包括：
所述主干网络的第一卷积神经网络对所述待检测水下图像进行特征提取，得到局部特征图；
所述主干网络的第二卷积神经网络对所述待检测水下图像进行特征提取，得到全局特征图；
将所述局部特征图和所述全局特征图按照通道进行逐像素相加。
进一步地，所述第一卷积神经网络在空间维度采用的卷积核大小为3x3 尺寸。
进一步地，所述第二卷积神经网络在通道维度采用的卷积核大小为3x3 尺寸。
又一方面，本发明还提供了一种基于卷积神经网络的水下鱼类目标检测装置，包括：
图像获取单元，用于获取待检测水下图像；
特征提取单元，用于将所述图像获取单元获取的待检测水下图像输入至水下鱼类目标检测模型的主干网络，得到特征提取结果；所述主干网络包括第一卷积神经网络和所述第二卷积神经网络，所述第一卷积神经网络在特征图通道维度采用不同卷积核，在空间维度采用相同卷积操作；所述第二卷积神经网络在特征图空间维度采用不同卷积核，在通道维度采用相同卷积操作；
目标检测单元，用于基于所述特征提取单元得到的特征提取结果，得到水下鱼类目标检测结果。
进一步地，所述特征提取单元包括：
局部特征提取子单元，用于利用所述主干网络的第一卷积神经网络对所述待检测水下图像进行特征提取，得到局部特征图；
全局特征提取子单元，用于利用所述主干网络的第二卷积神经网络对所述待检测水下图像进行特征提取，得到全局特征图；
特征融合子单元，用于将所述局部特征提取子单元得到的局部特征图和所述全局特征提取子单元得到的全局特征图按照通道进行逐像素相加，得到特征提取结果。
进一步地，所述第一卷积神经网络在空间维度采用的卷积核大小为3x3 尺寸。
进一步地，所述第二卷积神经网络在通道维度采用的卷积核大小为3x3 尺寸。
又一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现上述基于卷积神经网络的水下鱼类目标检测方法。
本发明的优点和积极效果：本发明中，对水下鱼类目标检测模型中的主干网络进行了改进，改进后的主干网络包括卷积及其对偶操作的两个卷积神经网络，分别得到待检测水下图像的局部特征图和全局特征图，然后调整输出特征图维度，将具有相同维度的各个通道特征图进行融合，以保证所得各通道不同特征图，且每个特征图均学习到全局信息，从而获取更优质图像特征，为下游目标检测提供可靠数据基础，进而提高水下鱼类目标的检测准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中水下鱼类目标检测模型的网络结构示意图；
图2为本发明实施例中第一卷积神经网络的结构示意图；
图3为本发明实施例中第二卷积神经网络的结构示意图；
图4为本发明实施例中一种基于卷积神经网络的水下鱼类目标检测方法的流程图；
图5为本发明实施例中一种基于卷积神经网络的水下鱼类目标检测装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
卷积神经网络以卷积算子为基础，卷积(Convolution)算子具有2个重要特征：空间不变性(Spatial-agnostic)和通道各异性(Channel-specific)，单个通道特征图的卷积核参数是共享的，不同通道使用的采用不同的卷积核，这两个特征也带来了两点不足：1、获得的是图像的局部信息，若想获得更多信息(即增大感受野)，需要增加网络深度，也就增加了模型的规模。2、很多通道之间存在着大量冗余，即使设计初衷是想使每个通道的卷积核参数不同，从而获得丰富的特征信息，然而事实证明，各通道学习所得各个通道特征图很多是相近的。
为了解决上述卷积神经网络提取特征时存在的不足，本发明提出一种新的网络模型，如图1所示，该网络模型包括第一卷积神经网络和第二卷积神经网络，第一卷积神经网络包括1*1卷积层、3*3卷积层、1*1卷积层，第二卷积神经网络包括1*1卷积层、3*3内卷层、1*1卷积层，其中，两个卷积神经网络中的1*1卷积层可共用，两个卷积神经网络中3*3卷积层和3*3内卷层的卷积操作对偶，即卷积层在特征图通道维度采用不同卷积核，在空间维度采用相同卷积操作；内卷层在特征图空间维度采用不同卷积核，在通道维度采用相同卷积操作。将第一卷积神经网络各通道不同特征的多样性和第二卷积神经网络获取特征图空间全局信息相结合，从而提高模型特征提取能力。在实际应用中，第一卷积神经网络和第二卷积神经网络的结构不限于图1中的结构，如第一卷积神经网络可以包括若干个1*1卷积层、3*3卷积层、1*1卷积层形成的卷积模块；第二卷积神经网络可以包括若干个1*1卷积层、3*3内卷层、1*1卷积层形成的卷积模块，甚至更大尺寸的卷积模块如 7*7卷积层，又如，第一卷积神经网络可以包括2个3*3卷积层，第二卷积神经网络可以包括2个3*3内卷层。只要两个卷积神经网络的卷积特性呈对偶，都在本发明保护范围内。
本发明将输入的待检测水下图像分别利用第一卷积神经网络和第二卷积神经网络进行卷积，然后调整输出特征图维度，将具有相同维度的各个通道特征图进行融合，以保证所得各通道不同特征图，且每个特征图均学习到全局信息，从而获取更优质图像特征，为下游视觉任务(目标检测，实例分割等) 提供可靠数据基础。具体地：
首先，利用第一卷积神经网络对输入图像进行特征提取，操作示意图如图2所示。从图2中可以看出，第一卷积神经网络在单个通道使用相同卷积核进行卷积，且获取信息能力与卷积核大小有关(常采用3x3尺寸)，小尺寸卷积核获取局部信息能力弱，大尺寸卷积核增加模型规模，计算量大，目前多采用增加模型网络深度的办法增大感受野，从而提高模型性能。同时，各个通道间采用不同卷积核，可保证通道特征多样性。
然后，利用第二卷积神经网络对输入图像进行特征提取，操作示意图如图3所示。从图3中可以看出，第二卷积神经网络与第一卷积神经网络的卷积操作对偶，所有通道采用相同卷积核，所有通道特征图相同，特征多样性大幅度降低。但单通道特征图每个位置具有特征各异性，可以获得考虑输入图像全局信息的特征图。
可以理解的是，利用第一卷积神经网络对输入图像进行特征提取的步骤和利用第二卷积神经网络对输入图像进行特征提取的步骤的执行顺序对结果没有影响，可以是任意的，在具体实施中，可以先利用第一卷积神经网络进行特征提取，再利用第二卷积神经网络进行特征提取；也可以先利用第二卷积神经网络进行特征提取，再利用第一卷积神经网络进行特征提取；还可以同时利用两个卷积神经网络进行特征提取。
最后，将第一卷积神经网络和第二卷积神经网络所得特征图按照通道进行逐像素相加，融合上述两个算子的特征提取结果，进而获得既考虑单通道空间全局信息又保证各通道多样性特征提取结果，从而提高模型性能。
参见图4，其示出了本发明实施例中一种基于卷积神经网络的水下鱼类目标检测方法的流程图，该方法包括：
S1、获取待检测水下图像；
S2、将所述待检测水下图像输入至水下鱼类目标检测模型的主干网络，得到特征提取结果；所述主干网络包括第一卷积神经网络和所述第二卷积神经网络，所述第一卷积神经网络在特征图通道维度采用不同卷积核，在空间维度采用相同卷积操作；所述第二卷积神经网络在特征图空间维度采用不同卷积核，在通道维度采用相同卷积操作；
水下鱼类目标检测模型包括前端负责特征提取的主干网络以及后端负责根据提取出的特征进行目标检测的检测网络，本发明中主要对主干网络进行改进，后端检测网络的网络结构此处不做限定。
在具体实施中，S2具体包括以下步骤：
S21、所述主干网络的第一卷积神经网络对所述待检测水下图像进行特征提取，得到最终局部特征图；
第一卷积神经网络在特征图通道维度获得不同特征图，在空间维度采用相同卷积操作，在空间维度采用的卷积核大小为3x3尺寸。
S22、所述主干网络的第二卷积神经网络对所述待检测水下图像进行特征提取，得到全局特征图；
第二卷积神经网络在特征图空间维度采用不同卷积核，大小为3x3尺寸，在通道维度获得相同特征值。
例如，待检测水下图像的尺寸为640*640像素，经过第一卷积神经网络提取特征之后，最终得到20*20像素的局部特征图；经过第二卷积神经网络提取特征之后，最终得到20*20像素的全局特征图。
S23、将所述第一特征图和所述第二特征图按照通道进行逐像素相加，得到特征提取结果。
S3、基于所述特征提取结果，得到水下鱼类目标检测结果。
在具体实施中，可以将得到的特征提取结果输入至水下鱼类目标检测模型中的后端目标检测网络，进而得到水下鱼类目标检测结果。
上述实施例中基于卷积神经网络的水下鱼类目标检测方法，水下鱼类目标检测模型的主干网络包括卷积及其对偶操作的两个卷积神经网络，分别得到待检测水下图像的局部特征图和全局特征图，然后调整输出特征图维度，将具有相同维度的各个通道特征图进行融合，以保证所得各通道不同特征图，且每个特征图均学习到全局信息，从而获取更优质图像特征，为下游目标检测提供可靠数据基础，进而提高水下鱼类目标的检测准确率。
对应本发明中的基于卷积神经网络的水下鱼类目标检测方法，本发明还提供了一种基于卷积神经网络的水下鱼类目标检测装置。如图5所示，其示出了本发明实施例中一种基于卷积神经网络的水下鱼类目标检测装置的结构示意图，该装置包括：
图像获取单元100，用于获取待检测水下图像；
特征提取单元200，用于将所述图像获取单元获取的待检测水下图像输入至水下鱼类目标检测模型的主干网络，得到特征提取结果；所述主干网络包括第一卷积神经网络和所述第二卷积神经网络，所述第一卷积神经网络在特征图通道维度采用不同卷积核，在空间维度采用相同卷积操作；所述第二卷积神经网络在特征图空间维度采用不同卷积核，在通道维度采用相同卷积操作；
目标检测单元300，用于基于所述特征提取单元得到的特征提取结果，得到水下鱼类目标检测结果。
进一步地，所述特征提取单元200包括：
局部特征提取子单元201，用于利用所述主干网络的第一卷积神经网络对所述待检测水下图像进行特征提取，得到局部特征图；可选地，所述第一卷积神经网络在空间维度采用的卷积核大小为3x3尺寸；
全局特征提取子单元202，用于利用所述主干网络的第二卷积神经网络对所述待检测水下图像进行特征提取，得到全局特征图；可选地，所述第二卷积神经网络在通道维度采用的卷积核大小为3x3尺寸；
特征融合子单元203，用于将所述局部特征提取子单元201得到的局部特征图和所述全局特征提取子单元202得到的全局特征图按照通道进行逐像素相加，得到特征提取结果。
上述实施例中的基于卷积神经网络的水下鱼类目标检测装置，水下鱼类目标检测模型的主干网络包括卷积及其对偶操作的两个卷积神经网络，分别得到待检测水下图像的局部特征图和全局特征图，然后调整输出特征图维度，将具有相同维度的各个通道特征图进行融合，以保证所得各通道不同特征图，且每个特征图均学习到全局信息，从而获取更优质图像特征，为下游目标检测提供可靠数据基础，进而提高水下鱼类目标的检测准确率。
对于本发明实施例的基于卷积神经网络的水下鱼类目标检测装置而言，由于其与上面实施例中的基于卷积神经网络的水下鱼类目标检测方法方法相对应，所以描述的比较简单，相关相似之处请参见上面实施例中部分的说明即可，此处不再详述。
本发明实施例还公开了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如上文任一实施例所提供的基于卷积神经网络的水下鱼类目标检测方法。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本发明所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (9)
1.一种基于卷积神经网络的水下鱼类目标检测方法，其特征在于，所述方法包括：
获取待检测水下图像；
将所述待检测水下图像输入至水下鱼类目标检测模型的主干网络，得到特征提取结果；所述主干网络包括第一卷积神经网络和第二卷积神经网络，所述第一卷积神经网络在特征图通道维度采用不同卷积核，在空间维度采用相同卷积操作；所述第二卷积神经网络在特征图空间维度采用不同卷积核，在通道维度采用相同卷积操作；所述第一卷积神经网络包括1*1卷积层、3*3卷积层、1*1卷积层，所述第二卷积神经网络包括1*1卷积层、3*3内卷层、1*1卷积层，其中，两个卷积神经网络中的1*1卷积层能够共用，两个卷积神经网络中3*3卷积层和3*3内卷层的卷积操作对偶；
基于所述特征提取结果，得到水下鱼类目标检测结果。
2.根据权利要求1所述的基于卷积神经网络的水下鱼类目标检测方法，其特征在于，将所述待检测水下图像输入至水下鱼类目标检测模型的主干网络，得到特征提取结果，包括：
所述主干网络的第一卷积神经网络对所述待检测水下图像进行特征提取，得到局部特征图；
所述主干网络的第二卷积神经网络对所述待检测水下图像进行特征提取，得到全局特征图；
将所述局部特征图和所述全局特征图按照通道进行逐像素相加。
3.根据权利要求1或2所述的基于卷积神经网络的水下鱼类目标检测方法，其特征在于，所述第一卷积神经网络在空间维度采用的卷积核大小为3x3尺寸。
4.根据权利要求1或2所述的基于卷积神经网络的水下鱼类目标检测方法，其特征在于，所述第二卷积神经网络在通道维度采用的卷积核大小为3x3尺寸。
5.一种基于卷积神经网络的水下鱼类目标检测装置，其特征在于，所述装置包括：
图像获取单元，用于获取待检测水下图像；
特征提取单元，用于将所述图像获取单元获取的待检测水下图像输入至水下鱼类目标检测模型的主干网络，得到特征提取结果；所述主干网络包括第一卷积神经网络和第二卷积神经网络，所述第一卷积神经网络在特征图通道维度采用不同卷积核，在空间维度采用相同卷积操作；所述第二卷积神经网络在特征图空间维度采用不同卷积核，在通道维度采用相同卷积操作；所述第一卷积神经网络包括1*1卷积层、3*3卷积层、1*1卷积层，所述第二卷积神经网络包括1*1卷积层、3*3内卷层、1*1卷积层，其中，两个卷积神经网络中的1*1卷积层能够共用，两个卷积神经网络中3*3卷积层和3*3内卷层的卷积操作对偶；
目标检测单元，用于基于所述特征提取单元得到的特征提取结果，得到水下鱼类目标检测结果。
6.根据权利要求5所述的基于卷积神经网络的水下鱼类目标检测装置，其特征在于，所述特征提取单元包括：
局部特征提取子单元，用于利用所述主干网络的第一卷积神经网络对所述待检测水下图像进行特征提取，得到局部特征图；
全局特征提取子单元，用于利用所述主干网络的第二卷积神经网络对所述待检测水下图像进行特征提取，得到全局特征图；
特征融合子单元，用于将所述局部特征提取子单元得到的局部特征图和所述全局特征提取子单元得到的全局特征图按照通道进行逐像素相加，得到特征提取结果。
7.根据权利要求5或6所述的基于卷积神经网络的水下鱼类目标检测装置，其特征在于，所述第一卷积神经网络在空间维度采用的卷积核大小为3x3尺寸。
8.根据权利要求5或6所述的基于卷积神经网络的水下鱼类目标检测装置，其特征在于，所述第二卷积神经网络在通道维度采用的卷积核大小为3x3尺寸。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如权利要求1～4中任一项所述的一种基于卷积神经网络的水下鱼类目标检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111129667.8A CN113837104B (zh) | 2021-09-26 | 2021-09-26 | 基于卷积神经网络的水下鱼类目标检测方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111129667.8A CN113837104B (zh) | 2021-09-26 | 2021-09-26 | 基于卷积神经网络的水下鱼类目标检测方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113837104A CN113837104A (zh) | 2021-12-24 |
| CN113837104B true CN113837104B (zh) | 2024-03-15 |
Family
ID=78970448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111129667.8A Active CN113837104B (zh) | 2021-09-26 | 2021-09-26 | 基于卷积神经网络的水下鱼类目标检测方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113837104B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114240686B (zh) * | 2022-02-24 | 2022-06-03 | 深圳市旗扬特种装备技术工程有限公司 | 智慧渔业监测系统 |
| CN114612397A (zh) * | 2022-03-02 | 2022-06-10 | 广东省农业科学院农业经济与信息研究所 | 鱼苗分选方法、系统、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019020075A1 (zh) * | 2017-07-28 | 2019-01-31 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、存储介质、计算机程序和电子设备 |
| CN111985617A (zh) * | 2020-08-14 | 2020-11-24 | 杭州海康威视数字技术股份有限公司 | 3d卷积神经网络在神经网络处理器上的处理方法和装置 |
| CN112016507A (zh) * | 2020-09-07 | 2020-12-01 | 平安科技（深圳）有限公司 | 基于超分辨率的车辆检测方法、装置、设备及存储介质 |
| CN112767997A (zh) * | 2021-02-04 | 2021-05-07 | 齐鲁工业大学 | 一种基于多尺度卷积注意力神经网络的蛋白质二级结构预测方法 |
| CN113240090A (zh) * | 2021-05-27 | 2021-08-10 | 北京达佳互联信息技术有限公司 | 图像处理模型生成方法、图像处理方法、装置及电子设备 |
| WO2021159643A1 (zh) * | 2020-02-11 | 2021-08-19 | 平安科技（深圳）有限公司 | 基于眼部oct图像的视杯和视盘定位点检测方法及装置 |
| CN113420729A (zh) * | 2021-08-23 | 2021-09-21 | 城云科技（中国）有限公司 | 多尺度目标检测方法、模型、电子设备及其应用 |
-
2021
- 2021-09-26 CN CN202111129667.8A patent/CN113837104B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019020075A1 (zh) * | 2017-07-28 | 2019-01-31 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、存储介质、计算机程序和电子设备 |
| WO2021159643A1 (zh) * | 2020-02-11 | 2021-08-19 | 平安科技（深圳）有限公司 | 基于眼部oct图像的视杯和视盘定位点检测方法及装置 |
| CN111985617A (zh) * | 2020-08-14 | 2020-11-24 | 杭州海康威视数字技术股份有限公司 | 3d卷积神经网络在神经网络处理器上的处理方法和装置 |
| CN112016507A (zh) * | 2020-09-07 | 2020-12-01 | 平安科技（深圳）有限公司 | 基于超分辨率的车辆检测方法、装置、设备及存储介质 |
| CN112767997A (zh) * | 2021-02-04 | 2021-05-07 | 齐鲁工业大学 | 一种基于多尺度卷积注意力神经网络的蛋白质二级结构预测方法 |
| CN113240090A (zh) * | 2021-05-27 | 2021-08-10 | 北京达佳互联信息技术有限公司 | 图像处理模型生成方法、图像处理方法、装置及电子设备 |
| CN113420729A (zh) * | 2021-08-23 | 2021-09-21 | 城云科技（中国）有限公司 | 多尺度目标检测方法、模型、电子设备及其应用 |
Non-Patent Citations (2)
| Title |
|---|
| 基于改进SSD的水下目标检测算法研究;强伟;贺昱曜;郭玉锦;李宝奇;何灵蛟;;西北工业大学学报(04);全文 * |
| 结合混合域注意力与空洞卷积的3维目标检测;严娟;方志军;高永彬;;中国图象图形学报(06);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113837104A (zh) | 2021-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113837104B (zh) | 基于卷积神经网络的水下鱼类目标检测方法、装置及存储介质 | |
| CN111681273B (zh) | 图像分割方法、装置、电子设备及可读存储介质 | |
| Peng et al. | Weed detection in paddy field using an improved RetinaNet network | |
| CN111738344B (zh) | 一种基于多尺度融合的快速目标检测方法 | |
| CA3121440A1 (en) | Assembly body change detection method, device and medium based on attention mechanism | |
| KR20230005874A (ko) | 물고기 부피 추정, 중량 추정, 및 분석 값 생성을 위한 시스템 및 방법 | |
| EP2908287B1 (en) | Image segmentation device, image segmentation method, and depth map generating method | |
| WO2019041360A1 (zh) | 行人属性识别与定位方法以及卷积神经网络系统 | |
| Cao et al. | Automatic change detection in high-resolution remote-sensing images by means of level set evolution and support vector machine classification | |
| CN112529897B (zh) | 一种图像检测方法、装置、计算机设备及存储介质 | |
| Wang et al. | An image segmentation method based on deep learning for damage assessment of the invasive weed Solanum rostratum Dunal | |
| de Silva et al. | Towards agricultural autonomy: crop row detection under varying field conditions using deep learning | |
| Xu et al. | A lightweight SSV2-YOLO based model for detection of sugarcane aphids in unstructured natural environments | |
| Zhang et al. | Detection of regions of interest in a high-spatial-resolution remote sensing image based on an adaptive spatial subsampling visual attention model | |
| CN112861718A (zh) | 一种轻量级特征融合人群计数方法及系统 | |
| Wu et al. | A method for identifying grape stems using keypoints | |
| CN115578624A (zh) | 农业病虫害模型构建方法、检测方法及装置 | |
| CN112053382A (zh) | 出入口监测方法、设备及计算机可读存储介质 | |
| Liao et al. | 3DPhenoFish: Application for two-and three-dimensional fish morphological phenotype extraction from point cloud analysis | |
| CN107113421B (zh) | 一种光学系统成像质量的检测方法和装置 | |
| CN113869330A (zh) | 水下鱼类目标检测方法、装置及存储介质 | |
| CN113222889B (zh) | 高分辨率图像下水产养殖物的工厂化养殖计数方法及装置 | |
| Veeragandham et al. | Optimization enabled Deep Quantum Neural Network for weed classification and density estimation | |
| CN109784131B (zh) | 对象检测方法、装置、存储介质及处理器 | |
| CN116188855A (zh) | 多尺度的植物病害识别方法、设备、存储介质及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |