CN113781421A - 基于水下的目标识别方法、装置及系统 - Google Patents
基于水下的目标识别方法、装置及系统 Download PDFInfo
- Publication number
- CN113781421A CN113781421A CN202111018066.XA CN202111018066A CN113781421A CN 113781421 A CN113781421 A CN 113781421A CN 202111018066 A CN202111018066 A CN 202111018066A CN 113781421 A CN113781421 A CN 113781421A
- Authority
- CN
- China
- Prior art keywords
- target
- recognition
- image
- optical image
- underwater
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000003287 optical effect Effects 0.000 claims abstract description 132
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 7
- 230000015654 memory Effects 0.000 claims description 33
- 238000001514 detection method Methods 0.000 claims description 18
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 7
- 238000009432 framing Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 3
- 241000251468 Actinopterygii Species 0.000 description 14
- 239000010813 municipal solid waste Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000008030 elimination Effects 0.000 description 4
- 238000003379 elimination reaction Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Abstract
本申请公开一种基于水下的目标识别方法、装置及系统，涉及图像识别技术领域。其基于水下的目标识别方法包括：将获取的第一光学图像和第一声呐图像分别送入光学图像目标识别模型和声呐图像目标识别模型进行目标识别，输出第二光学图像和第二声呐图像；基于第二光学图像和第二声呐图像提取第一识别目标和第二识别目标；计算第一识别目标和第二识别目标的重合度，并根据重合度进行第一识别目标和第二识别目标合成，确定出水下识别目标。通过利用第一光学图像识别出水下可视范围内的目标，而通过第一声呐图像则对一定范围内的水下目标进行识别，之后将其二者图像进行合并，能够更加准确的识别出水下目标。
Description
技术领域
本申请涉及水下识别技术领域，具体涉及一种基于水下的目标识别方法、装置及系统。
背景技术
水下自动目标识别是一项具有多样性的图像检测采集的挑战，在现有技术中虽然可以通过对所拍摄的水下画面进行图像检测，以实现水下的目标识别，但由于水下目标识别方式单一及水下拍摄的光源受水环境的干扰，使其拍摄范围较小从而导致无法准确识别出水下目标。
发明内容
有鉴于此，本申请提供一种基于水下的目标识别方法、装置及可读存储介质，以解决在现有技术中，无法准确识别水下目标的问题。
根据第一方面，本申请提供的一种基于水下的目标识别方法，包括：获取同一时刻采集的预设目标水域中的第一光学图像和预设目标水域中的第一声呐图像；将所述第一光学图像和所述第一声呐图像分别送入光学图像目标识别模型和声呐图像目标识别模型进行目标识别，输出带有目标识别标记的第二光学图像和输出带有目标识别标记的第二声呐图像；基于所述第二光学图像和第二声呐图像提取所述第二光学图像中的第一识别目标和提取所述第二声呐图像中的第二识别目标；计算所述第一识别目标和所述第二识别目标的重合度，并根据所述重合度进行第一识别目标和第二识别目标合成，确定出水下识别目标。
本申请提供的基于水下的目标识别方法，通过利用第一光学图像识别出水下可视范围内的目标，而通过第一声呐图像则对一定范围内的水下目标进行识别，之后将其二者图像进行合并，从而能够准确的识别出水下目标。
结合第一方面，在第一方面的第一实施例中，所述将所述第一光学图像和所述第一声呐图像分别送入光学图像目标识别模型和声呐图像目标识别模型进行目标识别，输出带有目标识别标记的第二光学图像和输出带有目标识别标记的第二声呐图像之前，包括：基于所述第一光学图像和所述第一声呐图像进行图像噪声剔除，输出第一预处理光学图像和第一预处理声呐图像；将所述第一预处理光学图像和第一预处理声呐图像，分别送入光学图像目标识别模型和声呐图像目标识别模型进行目标识别。
在本实施例提供的基于水下的目标识别方法中，通过对图像噪声的剔除，能够减小图像噪声在进行光学图像、声呐图像的目标识别时干扰，从而能够准确识别出识别目标，从而提高水下目标识别的能力。
结合第一方面，在第一方面的第二实施方式中，所述将所述第一光学图像和所述第一声呐图像分别送入光学图像目标识别模型和声呐图像目标识别模型进行目标识别，输出带有目标识别标记的第二光学图像和输出带有目标识别标记的第二声呐图像，包括：根据所述第一光学图像中识别目标在所述第一光学图像中的第一面积占比；确定所述第一面积占比是否满足所述预设占比范围，输出满足预设占比范围的第一光学图像；基于所述满足预设占比范围的第一光学图像进行目标识别标记，输出带有目标识别标记的第二光学图像；和，根据所述第一声呐图像中识别目标在所述第一声呐图像中的第二面积占比；确定所述第二面积占比是否满足所述预设占比范围，输出满足预设占比范围的第一声呐图像；基于所述满足预设占比范围的第一声呐图像进行目标识别标记，输出带有目标识别标记的第二声呐图像。
在本实施例提供的基于水下的目标识别方法中，计算第一光学图像中的第一面积占比和计算第一声呐图像中识别目标在所述第一声呐图像中的第二面积占比，并根据其占比判断需要进行目标检测的图像中是否存在无法进行目标识别的图像，并进行剔除，从而进一步提高水下目标识别的能力。
结合第一方面的第二实施方式，在第一方面的第三实施方式中，所述基于所述满足预设占比范围的第一光学图像进行目标识别标记，和，所述基于所述满足预设占比范围的第一声呐图像进行目标识别标记，包括：对所述第一光学图像中的待识别目标进行目标识别，并对识别目标进行框选以进行目标识别标记，和，对所述第一声呐图像中的待识别目标进行目标识别，并对识别目标进行框选以进行目标识别标记。
在本实施例提供的基于水下的目标识别方法中，通过对第一光学图像中的待识别目标和第一声呐图像中的待识别目标进行标识，从而为后一步进行分类提取节约时间，提高识别准确率。
结合第一方面，在第一方面的第四实施方式中，所述基于所述第二光学图像和第二声呐图像提取所述第二光学图像中的第一识别目标和提取所述第二声呐图像中的第二识别目标，还包括：将所述第一识别目标和第二识别目标分别送入分类器中进行类别检测，确定出所述第一识别目标中的类别信息和所述第二识别目标中的类别信息。
在本实施例提供的基于水下的目标识别方法中，通过对第一识别目标和第二识别目标进行分类检测，从而提高水下识别效率。
结合第一方面，在第一方面的第五实施方式中，所述计算所述第一识别目标和所述第二识别目标的重合度，并根据所述重合度进行第一识别目标和第二识别目标合成，确定出水下识别目标，包括：确定所述第一识别目标和第二识别目标的中心位置，将所述第二识别目标的中心位置与所述第一识别目标的中心位置进行相互对应后，将所述第二识别目标叠加至所述第一识别目标，计算所述第二识别目标的面积在所述第一识别目标的面积占比；判断所述面积占比是否大于所述预设比值；若所述面积占比大于所述预设比值，则将所述第一识别目标与所述第二识别目标进行合并，输出所述水下识别目标。
在本实施例提供的基于水下的目标识别方法中，通过计算第一识别目标和第二识别目标的重合度，之后根据重合度将其第一识别目标与第二识别目标进行合并，获得最终的识别目标，从而能够保证目标识别的准确性。
结合第一方面，在第一方面的第六实施方式中，还包括：获取所述水下识别目标；基于所述水下识别目标进行分类检测，输出所述水下识别目标的分类图像，更新所述目标识别标记。
在本实施例提供的基于水下的目标识别方法中，通过分类检测能够进一步保证所识别的水下目标的准确性。
根据第二方面，本申请提供的一种基于水下的目标识别装置，包括：获取模块，用于获取同一时刻采集的预设目标水域中的第一光学图像和预设目标水域中的第一声呐图像；标记模块，用于将所述第一光学图像和所述第一声呐图像分别送入光学图像目标识别模型和声呐图像目标识别模型进行目标识别，输出带有目标识别标记的第二光学图像和输出带有目标识别标记的第二声呐图像；提取模块，用于基于所述第二光学图像和第二声呐图像提取所述第二光学图像中的第一识别目标和提取所述第二声呐图像中的第二识别目标；确定模块，用于计算所述第一识别目标和所述第二识别目标的重合度，并根据所述重合度进行第一识别目标和第二识别目标合成，确定出水下识别目标。
本申请提供的基于水下的目标识别装置，通过获取模块获取第一光学图像和第一声学图像，将所获取的第一光学图像和第一声学图像送入标记模块进行识别目标标记后输出第二光学图像和第二声呐图像，之后再将第二光学图像和第二声呐图像送入提取模块提取第一识别目标和第二识别目标，最后将第一识别目标和第二识别目标进行合并，输出最后的水下识别目标，从而实现准确识别水下目标。
根据第三方面，本发明实施例提供了一种系统，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的基于水下的目标识别方法。
根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的基于水下的目标识别方法。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于水下的目标识别方法的流程图；
图2是本申请可选实施例提供的一种基于水下的目标识别方法中步骤S11至S12的流程示意图；
图3是本申请可选实施例提供的一种基于水下的目标识别方法中步骤S1-S2的流程示意图；
图4是本申请可选实施例提供的一种基于水下的目标识别方法中步骤S4的流程示意图；
图5是本申请可选实施例提供的一种基于水下的目标识别方法的流程示意图；
图6是本申请实施例提供的一种基于水下的目标识别装置的结构框图；
图7是本申请可选实施例提供的一种基于水下的目标识别系统的结构示意图。
附图标记
获取模块-1；标记模块-2；提取模块-3；确定模块-4；光学传感器-5；声学探测仪-6；存储器-7；处理器-8。
具体实施方式
下面结合附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，下述各个实施例及其技术特征可以相互组合。
需要说明的是，本发明实施例中的基于水下的目标识别方法，可用于识别水下垃圾、地形及生物，例如：鱼。具体的，本实施例提供的一种基于水下的目标识别方法，如图1所示，是根据本发明实施例提供的基于水下的目标识别方法的流程图，该流程包括如下步骤：
S1，获取同一时刻采集的预设目标水域中的第一光学图像和预设目标水域中的第一声呐图像。
在本实施例中，水下摄像机和声呐探测仪统一对同一时刻，同一方向上的水下信息进行拍摄或探测，并生成对应的水下画面，其中，第一光学图像为水下摄像机拍摄的水下画面，第一声呐图像则是通过声呐探测仪所探测到的声呐图像，另外，由于光学图像拍摄的画面质量会受到水下环境的影响，而声呐图像是通过声呐探测仪所探测获得图像，因此，声呐图像拍摄范围和图像识别的清晰度比光学图像拍摄范围更好，这样也能够更好的确定出水下目标。
S2，将第一光学图像和第一声呐图像分别送入光学图像目标识别模型和声呐图像目标识别模型进行目标识别，输出带有目标识别标记的第二光学图像和输出带有目标识别标记的第二声呐图像。
在本实施例中，将所获得的水下光学图像和水下声呐图像送入目标识别模型中进行识别目标标记，输出带有标记的第二光学图像和第二声学图像，其中，目标识别标记可以是将特定的鱼类，或生物进行框选。
S3，基于第二光学图像和第二声呐图像提取第二光学图像中的第一识别目标和提取第二声呐图像中的第二识别目标。
S4，计算第一识别目标和第二识别目标的重合度，并根据重合度进行第一识别目标和第二识别目标合成，确定出水下识别目标。
在本实施例中，第一识别目标和第二识别目标的重合度为第一识别目标的面积占第二识别目标面积之比，其中，第一识别目标的面积和第二识别目标的面积，可以通过测绘软件进行计算得出；当重合度大于预设的重合度时，则将第一识别目标和第二识别目标进行图像合成输出最后识别出来的水下识别目标。
本实施例提供的基于水下的目标识别方法，通过利用第一光学图像识别出水下可视范围内的目标，而通过第一声呐图像则对一定范围内的水下目标进行识别，之后将其二者图像进行合并，能够更加准确的识别出水下目标。
可选的，在步骤S2之前，还可以包括，如图2所示的步骤：
S11，基于第一光学图像和第一声呐图像进行图像噪声剔除，输出第一预处理光学图像和第一预处理声呐图像。
在本实施例中，可以通过对第一光学图像和第一声呐图像进行 Gabor滤波，以便剔除第一光学图像和第一声呐图像中的噪点、畸变、模糊等问题，并同时对图像进行修正，以保证后续图像识别的准确性。
在本实施例中，第一光学图像和第一声呐图像进行图像噪声剔除还可以事先得到初步目标定位后，进行水下目标的图像增强训练，此时可以使用retinex算法进行图像增强，常用的模型有SSR、MSR、MSRCR，此外，相对于特殊情况下的场景，例如：夜间，可以是获取夜视图像和图像颜色算法进行比对分析过滤，保留其结果的最优值，从而增强弱光摄影下图像的对比度，减少图像噪声干扰；此外，对于水下图像增强训练，还可以通过分析比较限制对比度自适应直方图均衡化(CLAHE)、同态滤波(HF)和小波阈值降噪(WTD)等算法在HSI，HSV，YUV，YCrCb，XYZ， Lab不同的颜色空间中对水下图像的增强效果，从而保证数据/图像获取的准确性，减少图像噪声干扰。另外，在基于颜色特征目标识别应用中，也可以针对不同11个光照不变性颜色分量和由其颜色分量组成多种彩色空间，同时通过目标拍摄角度以及目标与镜头的距离发生变化时对目标正确识别率的影响，以完成对水下图像噪声的剔除。
在本实施例中，提取水下图像噪声的公式可以是：
其中，P′为去除噪声后的水下图像；P为原带有图像噪声的水下图像；SP为预设噪声调整参数。在本实施例中，对带有图像噪声的水下图像进行图像噪声调整，从而以剔除或减小水下图像噪声对后续水下图像识别的干扰，其中，SP为预设噪声调整参数，该参数可根据用户需要进行设置。
可选的，水下图像噪声剔除还可以是获取水下目标图像，之后分割水下目标图像的RGB三通道，结合直方图均衡滤波(HE)、直方图均衡化(CLAHE)、训练优化修改NumTiles、clipLimit、Distribution、Alpha 等参数，以此完成对三通道图像进行合成比对，以得到最终的增强图像。
S12，将第一预处理光学图像和第一预处理声呐图像，分别送入光学图像目标识别模型和声呐图像目标识别模型进行目标识别。
通过将第一预处理光学图像和第一预处理声呐图像送入光学图像目标识别模型和声呐图像目标识别模型进行目标识别，以保证水下图像识别的准确性。
本实施例提供一种可选的基于水下的目标识别方法，包括：
可选的，如图3所示，步骤S2还可以包括：
S21，根据第一光学图像中识别目标在第一光学图像中的第一面积占比。
在本实施例中，有目标识别模型输出第一光学图像中的识别目标后，需要通过测绘软件计算出，该识别目标在第一光学图像中的第一面积占比，其中，识别目标可以是被框选出的水下鱼类、水下垃圾等是水下物体。
S22，确定第一面积占比是否满足预设占比范围，输出满足预设占比范围的第一光学图像。
在本实施例中，预设占比范围可以是识别目标不超过光学图像或声呐图像的可识别的最大/小框选像素，例如：光学图像/声呐图像的像素尺寸为256＊256，其预设占比范围为200＊200至16＊16，由于需要保证标记，为此需要预留部分像素进行标记，因此最大的占比范围的上限需要小于图像本身的尺寸，而又为了防止存在过小目标，因此最小的占比范围下限可以是16＊16，其中预设占比范围，在预留一定上限范围的情况下，也可以由用户自行定义。
S23，基于满足预设占比范围的第一光学图像进行目标识别标记，输出带有目标识别标记的第二光学图像。
在本实施例中，当确定出识别目标后，需要在提取识别目标的图像中对目标进行框选标记及备注。
和，
S24，根据第一声呐图像中识别目标在第一声呐图像中的第二面积占比。
S25，确定第二面积占比是否满足预设占比范围，输出满足预设占比范围的第一声呐图像。
S26，基于满足预设占比范围的第一声呐图像进行目标识别标记，输出带有目标识别标记的第二声呐图像。
在本实施例中，获取第二光学图像和第二声呐图像，通过利用占比大小来提高图像提取的特征或目标识别的准确性。
可选的，步骤S23可以是对第一光学图像中的待识别目标进行目标识别，并对识别目标进行框选以进行目标识别标记。
可选的，步骤S26可以是对第一声呐图像中的待识别目标进行目标识别，并对识别目标进行框选以进行目标识别标记。
可选的，步骤S3还可以包括：将第一识别目标和第二识别目标分别送入分类器中进行类别检测，确定出第一识别目标中的类别信息和第二识别目标中的类别信息。在本实施例中，在获得进行框选的第一识别目标和第二识别目标后，需要对所识别/框选的目标进行类别进行检测，以确定出所识别目标的类别，例如：将框选的目标标记为鱼类或垃圾。
可选的，如图4所示，步骤S4还可以包括：
S41，确定第一识别目标和第二识别目标的中心位置，将第二识别目标的中心位置与第一识别目标的中心位置进行相互对应后，将第二识别目标叠加至第一识别目标，计算第二识别目标的面积在第一识别目标的面积占比。
在本实施例中，从第一识别目标和第一识别目标中通过测绘软件确定出第一识别目标和第二识别目标的中心位置，之后将其二者中心位置进行对应后将第二识别目标的图像与第一识别目标图像进行叠加，之后计算出第二识别目标的面积在第一识别目标的面积占比。
S42，判断面积占比是否大于预设比值。
可选的，预设比值为0.5。当面积占比大于0.5时说明光学图像和声呐图像中图像重合度为50％。从而能够保证光学图像和声呐图像完成图像合并。
S43，若面积占比大于预设比值，则将第一识别目标与第二识别目标进行合并，输出出水下识别目标。其中，所输出的水下识别目标为识别目标的图像和类别标记。
S44，若面积占比小于或等于预设比值，则舍弃当前第一识别目标与第二识别目标的合并，进入下一组第一识别目标与第二识别目标的识别合并。
在本实施例中，为了节约计算资源，在识别目标面积不满足需求时，将直接舍弃识别目标。
本申请实施例还提供了一种基于水下的目标识别方法，为了能实现对水下生物的识别，本实施例在实施上述步骤S1至S4的基础上，还执行如图5所示的步骤，包括：
S5，获取水下识别目标。
在本实施例中，通过步骤S1-S4获得对应的水下识别目标，其中水下识别目标为，水下生物或静物，例如鱼类或垃圾；其中该水下识别目标中包括了类别标签。
S6，基于水下识别目标进行分类检测，输出水下识别目标的分类图像，更新目标识别标记。
在本实施例中，将水下识别目标送入分类器或执行分类算法的分类模型中进行计算，之后输出水下识别目标的分类图像，从而保证数据的准确性同时能够确定出识别目标后更新其目标识别标记；其中将水下识别目标送入分类器进行计算判断，在本实施例中，所使用的分类器为两级分类器，一级分类器主要是用于判断所识别的目标的类别信息，其次二级分类器主要是根据类别进一步分析在所识别的目标中是否为对应的目标图像或物。例如：在进行水下垃圾识别时，可以先获取水下环境的场景，在从其场景中获取确定出需要识别的目标图像或物，之后将其影像数据送入第一级分类器中，进行大类也就是目标类别信息的判断，如：将所识别的目标分为，鱼和物，之后在从预设需要分拣的第二级分类器中对识别目标进行细分，确定出垃圾物并对确认出的目标进行标记，如：在物的分类中，得到贝壳和水瓶，之后对水瓶进行标记，这样能够避免多次对目标进行识别标记，节省运算强度，保证运算性能。
例如：将其目标识别方法应用到娱乐场的水下项目中，对娱乐场中的水下环境进行自动识别，通过汇总鱼类的分布和种类，将其显示在大屏幕上供游客进行观赏，也可以设置自动检测功能，清洁水下环境，并回收游客丢弃垃圾或其它垃圾。
可选的，在本实施例中，将图像分类识别技术和声呐图形结合，对各种品种的鱼类进行识别，还原并显示出鱼的种类汇总情况，例如：显示不同鱼类的体形，和识别同一类鱼中不同品种通常具有相似的外形、尺寸以及纹理、颜色等特征差异。
可选的，在完成鱼类检测和分类后，可将所采集到数据回传至云端数据中心，之后由云端段控制，并记录当前位置，当有需求时，则提取对应的图像数据。
相应地，请参考图6，本发明实施例提供的一种基于水下的目标识别装置，该装置具体包括：
获取模块1，用于获取同一时刻采集的预设目标水域中的第一光学图像和预设目标水域中的第一声呐图像，详细内容参考步骤S1所述。
标记模块2，用于将所述第一光学图像和所述第一声呐图像分别送入光学图像目标识别模型和声呐图像目标识别模型进行目标识别，输出带有目标识别标记的第二光学图像和输出带有目标识别标记的第二声呐图像，详细内容参考步骤S2所述。
提取模块3，用于基于所述第二光学图像和第二声呐图像提取所述第二光学图像中的第一识别目标和提取所述第二声呐图像中的第二识别目标，详细内容参考步骤S3所述。
确定模块4，用于计算所述第一识别目标和所述第二识别目标的重合度，并根据所述重合度进行第一识别目标和第二识别目标合成，确定出水下识别目标，详细内容参考步骤S4所述。
本实施例提供的基于水下的目标识别装置，是通过获取模块获取第一光学图像和第一声学图像，将所获取的第一光学图像和第一声学图像送入标记模块进行识别目标标记后输出第二光学图像和第二声呐图像，之后再将第二光学图像和第二声呐图像送入提取模块提取第一识别目标和第二识别目标，最后将第一识别目标和第二识别目标进行合并，输出最后的水下识别目标，从而实现准确识别水下目标。
请参阅图7，图7是本发明可选实施例提供的一种基于水下的目标识别系统的结构示意图，如图7所示，该系统可以包括：光学传感器5、声学探测仪6、存储器7和处理器8，例如CPU(Central Processing Unit，中央处理器)。其中，光学传感器5、声学探测仪6与存储器和所述处理器之间互相通信连接；光学传感器5可以采集光学图像，例如：水下摄像头；声学探测仪6可以采集水下声呐图像，例如：通过侧扫声呐或前扫声呐采集的水下图像；存储器7可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器7 可选的还可以是至少一个位于远离前述处理器8的存储装置。其中处理器8可以结合图6所描述的装置，存储器7中存储应用程序，且处理器 8调用存储器7中存储的程序代码，以用于执行上述任一方法步骤。
此外，存储器7可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器7还可以包括上述种类的存储器的组合。
处理器8可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。其中，处理器8还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specificintegrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmablelogic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gatearray，缩写：FPGA)，通用阵列逻辑(英文：generic array logic，缩写：GAL) 或其任意组合。
可选地，存储器7还用于存储程序指令。处理器8可以调用程序指令，实现如本申请图1至图5实施例中所示的基于水下的目标识别方法。
本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于水下的目标识别方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(HardDisk Drive，缩写：HDD)或固态硬盘(Solid-State Drive， SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种基于水下的目标识别方法，其特征在于，包括：
获取同一时刻采集的预设目标水域中的第一光学图像和预设目标水域中的第一声呐图像；
将所述第一光学图像和所述第一声呐图像分别送入光学图像目标识别模型和声呐图像目标识别模型进行目标识别，输出带有目标识别标记的第二光学图像和输出带有目标识别标记的第二声呐图像；
基于所述第二光学图像和第二声呐图像提取所述第二光学图像中的第一识别目标和提取所述第二声呐图像中的第二识别目标；
计算所述第一识别目标和所述第二识别目标的重合度，并根据所述重合度进行第一识别目标和第二识别目标合成，确定出水下识别目标。
2.根据权利要求1所述的目标识别方法，其特征在于，所述将所述第一光学图像和所述第一声呐图像分别送入光学图像目标识别模型和声呐图像目标识别模型进行目标识别，输出带有目标识别标记的第二光学图像和输出带有目标识别标记的第二声呐图像之前，包括：
基于所述第一光学图像和所述第一声呐图像进行图像噪声剔除，输出第一预处理光学图像和第一预处理声呐图像；
将所述第一预处理光学图像和第一预处理声呐图像，分别送入光学图像目标识别模型和声呐图像目标识别模型进行目标识别。
3.根据权利要求1所述的目标识别方法，其特征在于，所述将所述第一光学图像和所述第一声呐图像分别送入光学图像目标识别模型和声呐图像目标识别模型进行目标识别，输出带有目标识别标记的第二光学图像和输出带有目标识别标记的第二声呐图像，包括：
根据所述第一光学图像中识别目标在所述第一光学图像中的第一面积占比；
确定所述第一面积占比是否满足预设占比范围，输出满足预设占比范围的第一光学图像；
基于所述满足预设占比范围的第一光学图像进行目标识别标记，输出带有目标识别标记的第二光学图像；
和，根据所述第一声呐图像中识别目标在所述第一声呐图像中的第二面积占比；
确定所述第二面积占比是否满足所述预设占比范围，输出满足预设占比范围的第一声呐图像；
基于所述满足预设占比范围的第一声呐图像进行目标识别标记，输出带有目标识别标记的第二声呐图像。
4.根据权利要求3所述的目标识别方法，其特征在于，所述基于所述满足预设占比范围的第一光学图像进行目标识别标记，和，所述基于所述满足预设占比范围的第一声呐图像进行目标识别标记，包括：
对所述第一光学图像中的待识别目标进行目标识别，并对识别目标进行框选以进行目标识别标记；
和，对所述第一声呐图像中的待识别目标进行目标识别，并对识别目标进行框选以进行目标识别标记。
5.根据权利要求1所述的目标识别方法，其特征在于，所述基于所述第二光学图像和第二声呐图像提取所述第二光学图像中的第一识别目标和提取所述第二声呐图像中的第二识别目标，还包括：
将所述第一识别目标和第二识别目标分别送入分类器中进行类别检测，确定出所述第一识别目标中的类别信息和所述第二识别目标中的类别信息。
6.根据权利要求1所述的目标识别方法，其特征在于，所述计算所述第一识别目标和所述第二识别目标的重合度，并根据所述重合度进行第一识别目标和第二识别目标合成，确定出水下识别目标，包括：
确定所述第一识别目标和第二识别目标的中心位置，将所述第二识别目标的中心位置与所述第一识别目标的中心位置进行相互对应后，将所述第二识别目标叠加至所述第一识别目标，计算所述第二识别目标的面积在所述第一识别目标的面积占比；
判断所述面积占比是否大于所述预设比值；
若所述面积占比大于所述预设比值，则将所述第一识别目标与所述第二识别目标进行合并，输出所述水下识别目标。
7.根据权利要求1所述的目标识别方法，其特征在于，还包括：
获取所述水下识别目标；
基于所述水下识别目标进行分类检测，输出所述水下识别目标的分类图像，更新所述目标识别标记。
8.一种基于水下的目标识别装置，其特征在于，包括：
获取模块，用于获取同一时刻采集的预设目标水域中的第一光学图像和预设目标水域中的第一声呐图像；
标记模块，用于将所述第一光学图像和所述第一声呐图像分别送入光学图像目标识别模型和声呐图像目标识别模型进行目标识别，输出带有目标识别标记的第二光学图像和输出带有目标识别标记的第二声呐图像；
提取模块，用于基于所述第二光学图像和第二声呐图像提取所述第二光学图像中的第一识别目标和提取所述第二声呐图像中的第二识别目标；
确定模块，用于计算所述第一识别目标和所述第二识别目标的重合度，并根据所述重合度进行第一识别目标和第二识别目标合成，确定出水下识别目标。
9.一种基于水下的目标识别系统，其特征在于，包括：
光学传感器、声学探测仪，存储器和处理器，所述光学传感器、声学探测仪、存储器和所述处理器之间互相通信连接，所述光学传感器、声学探测仪采集光学图像和声学图像，并发送所述光学图像和所述声学图像，存储器中存储有所述光学图像、所述声学图像和计算机指令，所述处理器通过获取所述光学图像、所述声学图像，执行所述计算机指令，从而执行权利要求1－7中任一项所述的基于水下的目标识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1－7中任一项所述的基于水下的目标识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111018066.XA CN113781421A (zh) | 2021-08-31 | 2021-08-31 | 基于水下的目标识别方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111018066.XA CN113781421A (zh) | 2021-08-31 | 2021-08-31 | 基于水下的目标识别方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113781421A true CN113781421A (zh) | 2021-12-10 |
Family
ID=78840432
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111018066.XA Pending CN113781421A (zh) | 2021-08-31 | 2021-08-31 | 基于水下的目标识别方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113781421A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114076949A (zh) * | 2022-01-07 | 2022-02-22 | 视丰达科技（深圳）有限公司 | 一种探鱼器数据识别处理方法及其设备 |
| CN114987721A (zh) * | 2022-05-26 | 2022-09-02 | 南方科技大学 | 一种水下清洁方法及其装置、电子设备、存储介质 |
| CN115560736A (zh) * | 2022-09-22 | 2023-01-03 | 山东省地质测绘院 | 一种海洋工程测绘用的水下测绘装置及方法 |
-
2021
- 2021-08-31 CN CN202111018066.XA patent/CN113781421A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114076949A (zh) * | 2022-01-07 | 2022-02-22 | 视丰达科技（深圳）有限公司 | 一种探鱼器数据识别处理方法及其设备 |
| CN114987721A (zh) * | 2022-05-26 | 2022-09-02 | 南方科技大学 | 一种水下清洁方法及其装置、电子设备、存储介质 |
| CN115560736A (zh) * | 2022-09-22 | 2023-01-03 | 山东省地质测绘院 | 一种海洋工程测绘用的水下测绘装置及方法 |
| CN115560736B (zh) * | 2022-09-22 | 2024-04-05 | 山东省地质测绘院 | 一种海洋工程测绘用的水下测绘装置及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022036953A1 (zh) | 缺陷检测方法和相关装置、设备、存储介质、计算机程序产品 | |
| US11457138B2 (en) | Method and device for image processing, method for training object detection model | |
| US10896323B2 (en) | Method and device for image processing, computer readable storage medium, and electronic device | |
| US8594439B2 (en) | Image processing | |
| EP3477931A1 (en) | Image processing method and device, readable storage medium and electronic device | |
| US8345921B1 (en) | Object detection with false positive filtering | |
| CN113781421A (zh) | 基于水下的目标识别方法、装置及系统 | |
| JP7026456B2 (ja) | 画像処理装置、学習装置、フォーカス制御装置、露出制御装置、画像処理方法、学習方法、及びプログラム | |
| CN111967319B (zh) | 基于红外和可见光的活体检测方法、装置、设备和存储介质 | |
| CN116309607B (zh) | 基于机器视觉的船艇式智能水上救援平台 | |
| CN111832461A (zh) | 一种基于视频流的非机动车骑行人员头盔佩戴检测方法 | |
| CN107564041B (zh) | 一种可见光图像空中运动目标的检测方法 | |
| US7620246B2 (en) | Method and apparatus for image processing | |
| CN116129291A (zh) | 一种面向无人机畜牧的图像目标识别方法及其装置 | |
| US20110158511A1 (en) | Method and apparatus for filtering red and/or golden eye artifacts | |
| CN107194946B (zh) | 一种基于fpga的红外显著物体检测方法 | |
| JP7300027B2 (ja) | 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム | |
| JP4285640B2 (ja) | オブジェクト識別方法および装置ならびにプログラム | |
| CN112532938B (zh) | 一种基于大数据技术的视频监控系统 | |
| JP2001167273A (ja) | 顔面検出方法及びその装置、コンピュータ可読媒体 | |
| CN112949423A (zh) | 物体识别方法、物体识别装置及机器人 | |
| CN111859022A (zh) | 封面生成方法、电子设备及计算机可读存储介质 | |
| JP2024518492A (ja) | ペットの識別のためのオブジェクトを撮影するための方法及び電子装置 | |
| CN115937806A (zh) | 图像处理方法、装置及计算机可读存储介质 | |
| CN113850224A (zh) | 基于轻量深度学习网络的活体识别方法及其识别系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |