CN112396062A - 一种用于海底生物的识别分割方法及处理终端 - Google Patents

一种用于海底生物的识别分割方法及处理终端 Download PDF

Info

Publication number
CN112396062A
CN112396062A CN202011396765.3A CN202011396765A CN112396062A CN 112396062 A CN112396062 A CN 112396062A CN 202011396765 A CN202011396765 A CN 202011396765A CN 112396062 A CN112396062 A CN 112396062A
Authority
CN
China
Prior art keywords
benthos
image
label
effective
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011396765.3A
Other languages
English (en)
Inventor
吴婷婷
关永贤
尉建功
刘胜旋
张如伟
张宝金
杨振
吴艳芳
戴振宇
马金凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Marine Geological Survey
Original Assignee
Guangzhou Marine Geological Survey
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Marine Geological Survey filed Critical Guangzhou Marine Geological Survey
Priority to CN202011396765.3A priority Critical patent/CN112396062A/zh
Publication of CN112396062A publication Critical patent/CN112396062A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Abstract

本发明涉及一种用于海底生物的识别分割方法及处理终端，所述方法包括，步骤1：获得若干张有效海底生物图像；步骤2：利将所有的所述有效海底生物图像输入到图像多标签模型进行多标签预测，得到多标签预测结果；步骤3：按筛选规则对有效海底生物图像的多标签预测结果进行筛选，得到有效多标签预测结果集和标签结果集；步骤4：将所有有效多标签预测结果集中的所述有效海底生物图像进行图像分割的结果预测；步骤5：使用图像多标签分类对图像分割结果进行校验，得到的标签和对应的概率作为最终的预测结果。本发明能够很好地识别出海底生物图片中的海底生物类别并且基于像素点预测出海底生物在图片中的位置，达到识别和定位双重效果。

Description

一种用于海底生物的识别分割方法及处理终端
技术领域
本发明涉及海底生物识别和定位技术领域，具体涉及一种用于海底生物的识别分割方法及处理终端。
背景技术
近来，深度学习在视频图像、语音识别、自然语言处理等相关领域得到了广泛应用。其中，卷积神经网络(CNN)作为深度学习的一个重要分支，由于其超强的拟合能力以及端到端的全局优化能力，使得视频图像分类任务在应用卷积神经网络之后，预测精度大幅提升。在对海底生物的类别识别上，可以通过深度学习建立图像多标签模型进行图像多标签处理(也即进行图像分类处理)，从而对海底生物图像输出多个标签，每个标签代表对应一个类别。
然而，在真实的应用场景中，我们期望能够对输入数据给出多个标签的同时给出海底生物的对应位置，也即给出各个类别的海底生物在图像上的对应位置。但仅使用图像分类技术无法解决这个问题，因此，还需要一个能够定位海底生物的图像分割方法，以使得在对海底生物输出标签的同时进行定位。
发明内容
针对现有技术的不足，本发明的目的之一提供一种用于海底生物的识别分割方法，其能够解决海底生物识别和定位的问题；
本发明的目的之二提供一种处理终端，其能够解决海底生物识别和定位的问题。
实现本发明的目的之一的技术方案为：一种用于海底生物的识别分割方法，包括如下步骤：
步骤1：获得若干张有效海底生物图像，其中，第i张有效海底生物图像记为imagei，i＝1,2,3,…,N，N表示有效海底生物图像的总张数；
步骤2：将所有的所述有效海底生物图像输入到图像多标签模型进行多标签预测，其中，第i张有效海底生物图像imagei的多标签预测结果记为(labeli,prob-clfi)，(labeli,prob-clfi)表示有效海底生物图像imagei预测结果为标签labeli的概率为prob-clfi；
步骤3：按筛选规则对有效海底生物图像的多标签预测结果进行筛选，得到有效多标签预测结果集Sl-p和标签结果集Sl，筛选规则如下：
Figure BDA0002814947270000021
Figure BDA0002814947270000022
其中，thresclf为预设的阈值，0≤thresclf≤1；
步骤4：将所有有效多标签预测结果集Sl-p中的所述有效海底生物图像输入到图像分割模型进行图像分割的结果预测，其中，第i张有效海底生物图像imagei的在第m个像素点的图像分割预测结果记为(labeli,m,probi,m)，(labeli,m,probi,m)表示有效海底生物图像imagei图像分割后的预测结果为在第m个像素点为标签labeli的概率为probi,m；
步骤5：按公式①使用图像多标签分类对图像分割结果进行校验，得到校验结果，将校验结果和对应的概率作为最终的预测结果，公式①如下：
Figure BDA0002814947270000031
其中，backgroundi表示第i张有效海底生物图像的背景，
然后将公式①得到的标签label′i,m和对应的概率probi,m作为最终的预测结果(label′i,m,probi,m)。
进一步地，获得海底生物图像，对海底生物图像识别是否含有生物，将含有生物的图像作为所述有效海底生物图像。
实现本发明的目的之二的技术方案为：一种处理终端，其包括：
存储器，用于存储程序指令；
处理器，用于运行所述程序指令，以执行所述用于海底生物的识别分割方法的步骤。
本发明的有益效果为：本发明能够很好地识别出海底生物图片中的海底生物类别并且基于像素点预测出海底生物在图片中的位置，达到识别和定位双重效果，识别精度和定位准确率得到提高。
附图说明
图1为较佳实施例的流程示意图；
图2为处理终端的示意图。
具体实施方式
下面，结合附图以及具体实施方案，对本发明做进一步描述。
如图1所示，一种用于海底生物的识别分割方法，包括如下步骤：
步骤1：获得若干张海底生物图像，并对海底生物图像进行生物识别，筛选出包含了生物的海底生物图像并作为有效海底生物图像，其中，第i张有效海底生物图像记为imagei，i＝1,2,3,…,N，N表示有效海底生物图像的总张数。当然也可以直接获得已事先筛选好的海底生物图像，也即直接获得有效海底生物图像。
本步骤中，通过拍摄获得的海底生物图像中通常是含有生物的，但因某些原因，也会包含未拍摄到生物的图像，这类图像相当于是只含有背景的图像，因此需要先识别出海底生物图像中是否真的有生物，然后再将识别出含有生物的海底生物图像筛选处理作为有效海底生物图像。识别海底生物图像中是否真的有生物可以通过人工方法或通过现有生物识别方法完成得到，其属于现有技术，在此不赘述。
步骤2：将所有的所述有效海底生物图像输入到图像多标签模型进行多标签预测，其中，第i张有效海底生物图像imagei的多标签预测结果记为(labeli,prob-clfi)，(labeli,prob-clfi)表示有效海底生物图像imagei预测结果为标签labeli的概率为prob-clfi。相当于将标签和概率构成二元组，二元组的个数为N。
本步骤中，可以采用现有的图像多标签分类技术进行多标签预测，例如采用HCP模型或公开号为CN111209961A提到的多标签处理方法，从而得到有效海底生物图像的多标签预测结果。
步骤3：按筛选规则对有效海底生物图像的多标签预测结果进行筛选，得到有效多标签预测结果集Sl-p和标签结果集Sl，筛选规则如下：
Figure BDA0002814947270000041
Figure BDA0002814947270000042
其中，thresclf为预设的阈值，代表一个概率值，其值介于0-1，也即0≤thresclf≤1。
步骤4：将所有有效多标签预测结果集Sl-p中的所述有效海底生物图像输入到图像分割模型进行图像分割的结果预测，其中，第i张有效海底生物图像imagei的在第m个像素点的图像分割预测结果记为(labeli,m,probi,m)，(labeli,m,probi,m)表示有效海底生物图像imagei图像分割后的预测结果为在第m个像素点为标签labeli的概率为probi,m。其中，m的取值取决于当前有效海底生物图像的总像素点数，总共像素点可以记为M，则m＝1,2,3,…,M。
步骤5：按公式①使用图像多标签分类对图像分割结果进行校验，得到校验结果，将校验结果和对应的概率作为最终的预测结果，公式①如下：
Figure BDA0002814947270000051
其中，backgroundi表示第i张有效海底生物图像的背景。然后将公式①得到的标签label′i,m和对应的概率probi,m作为最终的预测结果，也即预测结果可以记为(label′i,m,probi,m)。
图像多标签处理在计算机视觉技术中，相对比较简单、精度高，图像分割处理精细更高，但精度更低，通过图像标签来校验图像分割的预测结果，相当于通过简单、高精度的模型来校验复杂低精度的模型，有效减少处理量，并且能够很好地识别海底生物并定位出海底生物的位置。通过本发明，能够很好地识别出海底生物图片中的海底生物类别并且基于像素点预测出海底生物在图片中的位置，达到识别和定位双重效果。
通过本发明能够对海底生物进行识别和在拍摄图像中的位置进行定位，从而可以根据在海洋中的拍摄地点确定各处的海底生物情况，得到海底生物群体分布情况，从而可以作为基于位置评估海洋环境的依据，进而根据海洋环境评估海洋工程风险情况。例如，生物群体种类丰富且数据居多的区域属于海洋工程高风险区域，相反，则可以认为是低风险区域。同时将本发明应用在海洋测量设备中(例如传感器设备或监测设备)，从而可以监测海底生物情况，可以作为海洋水质和生态要素监测手段之一，可以很好地应用在海洋环境监测中。
如图2所示，本发明还涉及一种处理终端100，其包括：
存储器101，用于存储程序指令；
处理器102，用于运行所述程序指令，以执行所述用于海底生物的识别分割方法的步骤。
本说明书所公开的实施例只是对本发明单方面特征的一个例证，本发明的保护范围不限于此实施例，其他任何功能等效的实施例均落入本发明的保护范围内。对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及变形，而所有的这些改变以及变形都应该属于本发明权利要求的保护范围之内。

Claims (3)

1.一种用于海底生物的识别分割方法，其特征在于，包括如下步骤：
步骤1：获得若干张有效海底生物图像，其中，第i张有效海底生物图像记为imagei，i＝1,2,3,…,N，N表示有效海底生物图像的总张数；
步骤2：将所有的所述有效海底生物图像输入到图像多标签模型进行多标签预测，其中，第i张有效海底生物图像imagei的多标签预测结果记为(labeli,prob_clfi)，(labeli,prob_clfi)表示有效海底生物图像imagei预测结果为标签labeli的概率为prob_clfi；
步骤3：按筛选规则对有效海底生物图像的多标签预测结果进行筛选，得到有效多标签预测结果集Sl-p和标签结果集Sl，筛选规则如下：
Figure FDA0002814947260000011
Figure FDA0002814947260000012
其中，thresclf为预设的阈值，0≤thresclf≤1；
步骤4：将所有有效多标签预测结果集Sl-p中的所述有效海底生物图像输入到图像分割模型进行图像分割的结果预测，其中，第i张有效海底生物图像imagei的在第m个像素点的图像分割预测结果记为(labeli,m,probi,m)，(labeli,m,probi,m)表示有效海底生物图像imagei图像分割后的预测结果为在第m个像素点为标签labeli的概率为probi,m；
步骤5：按公式①使用图像多标签分类对图像分割结果进行校验，得到校验结果，将校验结果和对应的概率作为最终的预测结果，公式①如下：
Figure FDA0002814947260000021
其中，backgroundi表示第i张有效海底生物图像的背景，
然后将公式①得到的标签label′i,m和对应的概率probi,m作为最终的预测结果(label′i,m,probi,m)。
2.根据权利要求1所述的用于海底生物的识别分割方法，其特征在于，获得海底生物图像，对海底生物图像识别是否含有生物，将含有生物的图像作为所述有效海底生物图像。
3.一种处理终端，其特征在于，其包括：
存储器，用于存储程序指令；
处理器，用于运行所述程序指令，以执行如权利要求1或2所述用于海底生物的识别分割方法的步骤。
CN202011396765.3A 2020-12-03 2020-12-03 一种用于海底生物的识别分割方法及处理终端 Pending CN112396062A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011396765.3A CN112396062A (zh) 2020-12-03 2020-12-03 一种用于海底生物的识别分割方法及处理终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011396765.3A CN112396062A (zh) 2020-12-03 2020-12-03 一种用于海底生物的识别分割方法及处理终端

Publications (1)

Publication Number Publication Date
CN112396062A true CN112396062A (zh) 2021-02-23

Family

ID=74605748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011396765.3A Pending CN112396062A (zh) 2020-12-03 2020-12-03 一种用于海底生物的识别分割方法及处理终端

Country Status (1)

Country Link
CN (1) CN112396062A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354816A (zh) * 2015-09-24 2016-02-24 广州视源电子科技股份有限公司 一种电子元件定位方法及装置
CN110555424A (zh) * 2019-09-10 2019-12-10 深圳前海微众银行股份有限公司 港口集装箱布局检测方法、装置、设备及可读存储介质
CN111209961A (zh) * 2020-01-03 2020-05-29 广州海洋地质调查局 一种冷泉区海底生物识别方法及处理终端
CN111275688A (zh) * 2020-01-19 2020-06-12 合肥工业大学 基于注意力机制的上下文特征融合筛选的小目标检测方法
CN111951276A (zh) * 2020-07-28 2020-11-17 上海联影智能医疗科技有限公司 图像分割方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354816A (zh) * 2015-09-24 2016-02-24 广州视源电子科技股份有限公司 一种电子元件定位方法及装置
CN110555424A (zh) * 2019-09-10 2019-12-10 深圳前海微众银行股份有限公司 港口集装箱布局检测方法、装置、设备及可读存储介质
CN111209961A (zh) * 2020-01-03 2020-05-29 广州海洋地质调查局 一种冷泉区海底生物识别方法及处理终端
CN111275688A (zh) * 2020-01-19 2020-06-12 合肥工业大学 基于注意力机制的上下文特征融合筛选的小目标检测方法
CN111951276A (zh) * 2020-07-28 2020-11-17 上海联影智能医疗科技有限公司 图像分割方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN109086811B (zh) 多标签图像分类方法、装置及电子设备
CN112668462B (zh) 车损检测模型训练、车损检测方法、装置、设备及介质
CN113205507B (zh) 一种视觉问答方法、系统及服务器
Chen et al. Fast PCB defect detection method based on FasterNet backbone network and CBAM attention mechanism integrated with feature fusion module in improved YOLOv7
CN114821154A (zh) 一种基于深度学习的粮库通风窗状态检测算法
CN109256341B (zh) 用于检测单晶硅太阳能电池的方法和装置
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
CN112561885A (zh) 基于YOLOv4-tiny的插板阀开度检测方法
CN112434730A (zh) 一种基于GoogleNet的视频图像质量异常分类方法
CN112434600A (zh) 一种无人机巡检方法及系统
CN114693554B (zh) 一种大数据图像处理方法及系统
CN115661542A (zh) 一种基于特征关系迁移的小样本目标检测方法
CN112396062A (zh) 一种用于海底生物的识别分割方法及处理终端
CN114757941A (zh) 变电站设备缺陷的识别方法、装置、电子设备及存储介质
CN115082650A (zh) 一种基于卷积神经网络的管道缺陷自动标注工具的实现方法
CN114170269A (zh) 一种基于时空相关性的多目标跟踪方法、设备及存储介质
CN113192108A (zh) 一种针对视觉跟踪模型的人在回路训练方法及相关装置
CN113673589A (zh) 基于边框距离度量的标签选择自适应增量检测方法及系统
CN111476129A (zh) 一种基于深度学习的土壤杂质检测方法
CN116168398B (zh) 基于图像识别的试卷审批方法、装置和设备
CN113591771B (zh) 一种多场景配电室物体检测模型的训练方法和设备
CN112508986B (zh) 一种基于深度卷积网络与随机场的水位测量方法
CN115393846B (zh) 一种血细胞识别方法、装置、设备及可读存储介质
CN114332061A (zh) 一种防震锤缺陷检测方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210223

RJ01 Rejection of invention patent application after publication