CN111209961B - 一种冷泉区海底生物识别方法及处理终端 - Google Patents

一种冷泉区海底生物识别方法及处理终端 Download PDF

Info

Publication number
CN111209961B
CN111209961B CN202010008208.3A CN202010008208A CN111209961B CN 111209961 B CN111209961 B CN 111209961B CN 202010008208 A CN202010008208 A CN 202010008208A CN 111209961 B CN111209961 B CN 111209961B
Authority
CN
China
Prior art keywords
cold spring
neural network
benthos
mark
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010008208.3A
Other languages
English (en)
Other versions
CN111209961A (zh
Inventor
吴婷婷
关永贤
尉建功
刘胜旋
冯震宇
张宝金
张如伟
吴艳芳
戴振宇
马金凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Marine Geological Survey
Original Assignee
Guangzhou Marine Geological Survey
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Marine Geological Survey filed Critical Guangzhou Marine Geological Survey
Priority to CN202010008208.3A priority Critical patent/CN111209961B/zh
Publication of CN111209961A publication Critical patent/CN111209961A/zh
Application granted granted Critical
Publication of CN111209961B publication Critical patent/CN111209961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Farming Of Fish And Shellfish (AREA)

Abstract

本发明涉及一种冷泉区海底生物识别方法及处理终端，所述方法包括如下步骤：步骤1：获得冷泉区海底生物图片，并接收对冷泉区海底生物照片上的冷泉生物进行标记；步骤2：将所述图像数据输入卷积神经网络，卷积神经网络输出结果为图像数据的视觉特征，将标签数据输入嵌入神经网络，嵌入神经网络输出结果为标签数据的文本特征；步骤3：将视觉特征和文本特征输入循环神经网络进行特征融合；步骤4：将每一次的输出特征输入深度神经网络进行标签预测，从开始标记开始预测，直至结束标记结束预测，深度神经网络输出的预测结果为对冷泉生物的识别结果。本发明能够冷泉区的冷泉生物进行多标签标记，并识别出冷泉生物，识别结果准确性高。

Description

一种冷泉区海底生物识别方法及处理终端
技术领域
本发明涉及海底生物识别技术领域，具体涉及一种冷泉区海底生物识别方法及处理终端。
背景技术
冷泉区域海底水合物的形成有密切关系，冷泉区提供的甲烷等烃类气体不仅可作为合成海底水合物的材料，同时还为冷泉区的海底生物提供能量。依赖于海底冷泉区渗漏的气体为生的生物，通常被叫作冷泉生物，冷泉生物主要包括白瓜贝，贻贝，细菌席等生物。而这些冷泉生物的出现、分布与密度能够表征所在地冷泉的活跃程度，进而还可以根据冷泉的活跃程度判断海底是否存在水合物。因此，对冷泉区海底生物识别具有重要的现实意义。
目前，深度学习在视频图像、语音识别、自然语言处理等相关领域得到了广泛应用。卷积神经网络(CNN)作为深度学习的一个重要分支，由于其超强的拟合能力以及端到端的全局优化能力，使得视频图像分类任务在应用卷积神经网络之后，预测精度大幅提升。因此，可以通过卷积神经网络对冷泉去海底生物照片进行标记并输出标签，每一个标签对应一个生物，从而识别出冷泉生物。但目前卷积神经网络仅能对一个输入的数据给出一个标签，而无法给出多标签。然而在真实的应用场景中，一般对冷泉去海底生物的图片通常包括多个物体，相应的，期望能够对输入数据给出多个分类结果。而且，对于冷泉去海底生物识别的场景中，很多冷泉生物之间存在伴生依赖关系，也即，很多冷泉生物可能会同时出现或者同时不出现，单纯的多标签分类方法很难捕捉到标签之间的相关性。因此，需要一种能够对冷泉区海底生物进行多标签标记以达到识别冷泉生物的目的。
发明内容
针对现有技术的不足，本发明的目的之一提供一种冷泉区海底生物识别方法，其能够解决冷泉区海底生物识别的问题；
本发明的目的之二提供一种处理终端，其能够解决冷泉区海底生物识别的问题。
实现本发明的目的之一的技术方案为：一种冷泉区海底生物识别方法，包括如下步骤：
步骤1：获得冷泉区海底生物图片，并接收对冷泉区海底生物照片上的冷泉生物进行标记，所述标记至少包括表征开始标记的开始标记<start>和表征结束标记的结束标记<end>，标记后的冷泉区海底生物图片为包括图像数据和标签数据的样本数据；
步骤2：将所述图像数据输入卷积神经网络，卷积神经网络输出结果为图像数据的视觉特征，视觉特征记为featureimage，
将标签数据输入嵌入神经网络，嵌入神经网络输出结果为标签数据的文本特征，其中，第i个标签对应的文本特征记为
Figure BDA0002355333780000021
i为正整数；
步骤3：将视觉特征和文本特征输入循环神经网络进行特征融合，对于循环神经网络的第i次循环，对应的输入特征为
Figure BDA0002355333780000022
对应的输出特征为
Figure BDA0002355333780000023
每一次循环按公式①进行特征融合：
Figure BDA0002355333780000031
其中，输出特征
Figure BDA0002355333780000032
的初始值，即
Figure BDA0002355333780000033
设置全为1。
步骤4：将每一次的输出特征
Figure BDA0002355333780000034
输入深度神经网络进行标签预测，从表征开始标记的开始标记<start>开始预测，直至遇到表征结束标记的结束标记<end>结束预测，深度神经网络输出的预测结果为对冷泉生物的识别结果。
进一步地，所述卷积神经网络为采用任意的网络结构。
进一步地，所述步骤4中，深度神经网络进行标签预测，采用softmax交叉熵作为损失函数。
实现本发明的目的之二的技术方案为：一种处理终端，其包括，存储器，用于存储程序指令；
处理器，用于运行所述程序指令，以执行所述的冷泉区海底生物识别方法的步骤。
本发明的有益效果为：本发明能够冷泉区的冷泉生物进行多标签标记，并识别出冷泉生物，识别结果准确性高。
附图说明
图1为本发明的流程示意图；
图2为本发明一种处理终端的结构示意图。
具体实施方式
下面，结合附图以及具体实施方案，对本发明做进一步描述。
如图1所示，一种冷泉区海底生物识别方法，包括如下步骤：
步骤1：获得冷泉区海底生物的拍摄照片，该拍摄照片也即是冷泉区海底生物图片，并对冷泉区海底生物照片上的冷泉生物进行标记。例如对冷泉区海底生物图片中的白瓜贝进行标记，例如标记为“白瓜贝”，标记除了对冷泉区海底生物图片中的生物进行标记之外，还至少包括表征开始标记的开始标记，以及表征结束标记的结束标记，可以分别用<start>、<end>两个标签来表示。标记后的冷泉区海底生物图片为样本数据，也即样本数据包括图像数据和标签数据，图像数据即是冷泉区海底生物图片本身，而标签数据即是标记。
本步骤中，可以采用照相设备在冷泉去进行拍摄，从而可以得到冷泉区海底生物图片。冷泉区海底生物图片中通常包括冷泉生物。通过人工对冷泉区海底生物照片上的冷泉生物进行人工标记，不同冷泉生物用不同标记，人工进行标记可以有效得到较为真实、准确的冷泉区海底生物图片中的各个冷泉生物。
步骤2：将所述图像数据输入卷积神经网络，卷积神经网络输出结果为图像数据的视觉特征，视觉特征记为featureimage，卷积神经网络可以采用任意的网络结构，包括开源(例如Inception、VGG、ResNet)或专有的网络，不作具体限定。其中，每一个图像数据输入卷积神经网络均对应一个视觉特征，也即每一张冷泉区海底生物图片经卷积神经网络处理后，输出一个视觉特征。
将标签数据输入嵌入神经网络，嵌入神经网络输出结果为标签数据的文本特征，其中，第i个标签对应的文本特征记为
Figure BDA0002355333780000041
i为正整数，嵌入神经网络也称为Embedding网络。对于一个样本数据而言，其对应有一张冷泉区海底生物图片，而一张冷泉区海底生物图片中则可能包括多个标签，而每一个标签数据输入嵌入神经网络后，均输出一个对应的文本特征。因此，一个样本数据的标签数据输入嵌入神经网络后，得到多个标签数据的文本特征。
步骤3：将视觉特征和文本特征输入循环神经网络(Recurrent Neural Network,RNN)进行特征融合，对于循环神经网络的第i次循环，对应的输入特征为
Figure BDA0002355333780000051
对应的输出特征为
Figure BDA0002355333780000052
因此，对于一个样本数据，其循环的次数N为样本数据中的标签个数。每一次循环按公式①进行特征融合：
Figure BDA0002355333780000053
公式①也即是表示视觉特征和文本特征融合特征后的结果与上一次循环神经网络的输出特征相乘，相乘结果作为当前循环神经网络的输入特征，从而对循环神经网络输出的特征结果添加注意力机制，以预测不定长的多标签感知结果。其中，⊕表示拼接运算，也即是将两个特征数据拼接在一起，例如，假设featureimage＝[1,2,3]，
Figure BDA0002355333780000054
则
Figure BDA0002355333780000055
表示相乘运算，假设，
Figure BDA0002355333780000056
则
Figure BDA0002355333780000057
的初始值即
Figure BDA0002355333780000058
设置为全1。
本步骤中，每一次循环都有一个输出特征，对第i次循环，输出特征为
Figure BDA0002355333780000059
步骤4：将步骤3中经过循环神经网络处理的输出结果，也即是将每一次的输出特征为
Figure BDA00023553337800000510
输入深度神经网络做最终问题拟合，从而预测每一个标签，并采用softmax交叉熵作为损失函数。也即表征开始标记的开始标记<start>开始预测，直至遇到表征结束标记的结束标记<end>结束，输出结果即为对冷泉生物的识别结果。
本步骤中，每一个标签有一个输出特征，对应有一个预测结果，从而实现多标签的感知结果，也即能够识别出一个样本数据中的各个冷泉生物。
本发明还涉及冷泉区海底生物识别方法的实体实现处理终端100，其包括，
存储器101，用于存储程序指令；
处理器102，用于运行所述程序指令，以执行所述冷泉区海底生物识别方法的步骤。
本说明书所公开的实施例只是对本发明单方面特征的一个例证，本发明的保护范围不限于此实施例，其他任何功能等效的实施例均落入本发明的保护范围内。对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及变形，而所有的这些改变以及变形都应该属于本发明权利要求的保护范围之内。

Claims (4)

1.一种冷泉区海底生物识别方法，其特征在于，包括如下步骤：
步骤1：获得冷泉区海底生物图片，并接收对冷泉区海底生物照片上的冷泉生物进行标记，所述标记至少包括表征开始标记的开始标记<start>和表征结束标记的结束标记<end>，标记后的冷泉区海底生物图片为包括图像数据和标签数据的样本数据；
步骤2：将所述图像数据输入卷积神经网络，卷积神经网络输出结果为图像数据的视觉特征，视觉特征记为featureimage，
将标签数据输入嵌入神经网络，嵌入神经网络输出结果为标签数据的文本特征，其中，第i个标签对应的文本特征记为
Figure FDA0002355333770000011
i为正整数；
步骤3：将视觉特征和文本特征输入循环神经网络进行特征融合，对于循环神经网络的第i次循环，对应的输入特征为
Figure FDA0002355333770000012
对应的输出特征为
Figure FDA0002355333770000013
每一次循环按公式①进行特征融合：
Figure FDA0002355333770000014
其中，输出特征
Figure FDA0002355333770000015
的初始值，即
Figure FDA0002355333770000016
设置全为1，
步骤4：将每一次的输出特征
Figure FDA0002355333770000017
输入深度神经网络进行标签预测，从表征开始标记的开始标记<start>开始预测，直至遇到表征结束标记的结束标记<end>结束预测，深度神经网络输出的预测结果为对冷泉生物的识别结果。
2.根据权利要求1所述的冷泉区海底生物识别方法，其特征在于，所述卷积神经网络为采用任意的网络结构。
3.根据权利要求1所述的冷泉区海底生物识别方法，其特征在于，所述步骤4中，深度神经网络进行标签预测，采用softmax交叉熵作为损失函数。
4.一种处理终端，其特征在于：其包括，
存储器，用于存储程序指令；
处理器，用于运行所述程序指令，以执行如权利要求1至3任一项所述的冷泉区海底生物识别方法的步骤。
CN202010008208.3A 2020-01-03 2020-01-03 一种冷泉区海底生物识别方法及处理终端 Active CN111209961B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010008208.3A CN111209961B (zh) 2020-01-03 2020-01-03 一种冷泉区海底生物识别方法及处理终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010008208.3A CN111209961B (zh) 2020-01-03 2020-01-03 一种冷泉区海底生物识别方法及处理终端

Publications (2)

Publication Number Publication Date
CN111209961A CN111209961A (zh) 2020-05-29
CN111209961B true CN111209961B (zh) 2020-10-09

Family

ID=70788416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010008208.3A Active CN111209961B (zh) 2020-01-03 2020-01-03 一种冷泉区海底生物识别方法及处理终端

Country Status (1)

Country Link
CN (1) CN111209961B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112396062A (zh) * 2020-12-03 2021-02-23 广州海洋地质调查局 一种用于海底生物的识别分割方法及处理终端
CN113539491B (zh) * 2021-06-16 2022-05-13 武汉大学中南医院 基于深度学习的良性前列腺增生评估决策辅助系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701173A (zh) * 2016-01-05 2016-06-22 中国电影科学技术研究所 一种基于外观设计专利的多模态图像检索方法
CN106777185A (zh) * 2016-12-23 2017-05-31 浙江大学 一种基于深度学习的跨媒体中草药植物图像搜索方法
CN108734212A (zh) * 2018-05-17 2018-11-02 腾讯科技（深圳）有限公司 一种确定分类结果的方法以及相关装置
CN109002852A (zh) * 2018-07-11 2018-12-14 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN109522942A (zh) * 2018-10-29 2019-03-26 中国科学院深圳先进技术研究院 一种图像分类方法、装置、终端设备和存储介质
CN109670576A (zh) * 2018-11-29 2019-04-23 中山大学 一种多尺度视觉关注图像描述方法
CN109711464A (zh) * 2018-12-25 2019-05-03 中山大学 基于层次化特征关系图构建的图像描述方法
CN109783657A (zh) * 2019-01-07 2019-05-21 北京大学深圳研究生院 基于受限文本空间的多步自注意力跨媒体检索方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190007816A (ko) * 2017-07-13 2019-01-23 삼성전자주식회사 동영상 분류를 위한 전자 장치 및 그의 동작 방법
US10872596B2 (en) * 2017-10-19 2020-12-22 Baidu Usa Llc Systems and methods for parallel wave generation in end-to-end text-to-speech
CN108154105B (zh) * 2017-12-21 2020-08-07 深圳先进技术研究院 水下生物检测与识别方法、装置、服务器及终端设备
CN110414515B (zh) * 2019-08-01 2023-12-08 上海海事大学 基于信息融合处理的汉字图像识别方法、装置及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701173A (zh) * 2016-01-05 2016-06-22 中国电影科学技术研究所 一种基于外观设计专利的多模态图像检索方法
CN106777185A (zh) * 2016-12-23 2017-05-31 浙江大学 一种基于深度学习的跨媒体中草药植物图像搜索方法
CN108734212A (zh) * 2018-05-17 2018-11-02 腾讯科技（深圳）有限公司 一种确定分类结果的方法以及相关装置
CN109002852A (zh) * 2018-07-11 2018-12-14 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN109522942A (zh) * 2018-10-29 2019-03-26 中国科学院深圳先进技术研究院 一种图像分类方法、装置、终端设备和存储介质
CN109670576A (zh) * 2018-11-29 2019-04-23 中山大学 一种多尺度视觉关注图像描述方法
CN109711464A (zh) * 2018-12-25 2019-05-03 中山大学 基于层次化特征关系图构建的图像描述方法
CN109783657A (zh) * 2019-01-07 2019-05-21 北京大学深圳研究生院 基于受限文本空间的多步自注意力跨媒体检索方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Attend and Imagine: Multi-Label Image Classification With Visual Attention and Recurrent Neural Networks;Fan Lyu 等;《IEEE Transactions on Multimedia》;20190123;第21卷(第8期);第1971-1981页第III-IV节、图2、图5 *
CNN-RNN: A Unified Framework for Multi-label Image Classification;Jiang Wang 等;《2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）》;20161212;第2285-2294页 *
基于文本与视觉信息的细粒度图像分类;袁建平 等;《图学学报》;20190630;第40卷(第3期);第503-512页 *
基于深度学习的细粒度图像识别方法研究;庄培钦;《中国优秀硕士学位论文全文数据库信息科技辑》;20190615;第I138-566页 *

Also Published As

Publication number Publication date
CN111209961A (zh) 2020-05-29

Similar Documents

Publication Publication Date Title
CN109754015B (zh) 用于画作多标签识别的神经网络及相关方法、介质和设备
CN111914778B (zh) 一种基于弱监督学习的视频行为定位方法
CN111209961B (zh) 一种冷泉区海底生物识别方法及处理终端
CN107993191A (zh) 一种图像处理方法和装置
CN109102024B (zh) 一种用于物体精细识别的层次语义嵌入模型及其实现方法
CN108959462A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
WO2022156067A1 (zh) 商标相似性检测方法、装置、电子设备和存储介质
CN110765814A (zh) 一种黑板书写行为识别方法、装置及摄像机
CN111507325B (zh) 基于深度学习的工业视觉ocr识别系统及方法
CN115829983B (zh) 一种基于知识蒸馏的高速工业场景视觉质量检测方法
CN113704522A (zh) 基于人工智能的目标图像快速检索方法及系统
CN115063859A (zh) 基于生成对抗网络的人脸图像转换成素描的方法及系统
CN114596584A (zh) 海洋生物智能检测识别方法
CN115690566B (zh) 一种基于深度迁移聚类学习的深海动物新物种识别方法
CN113591583A (zh) 一种智能硼矿选矿系统及方法
CN116311001A (zh) 鱼群行为识别方法、装置、系统、设备及介质
CN116563230A (zh) 焊缝缺陷识别方法及系统
CN113128608B (zh) 一种基于5g和图嵌入优化的tsvm模型自优化与预测方法、设备及存储介质
CN115100502A (zh) 一种基于标签推理的多标签图像识别算法研究
CN114118305A (zh) 一种样本筛选方法、装置、设备及计算机介质
CN113919358A (zh) 一种基于主动学习的命名实体识别方法和系统
Martinho et al. An Approach for Fish Detection in Underwater Images
Lai et al. FSCD-Net: A Few-Shot Stego Cross-Domain Net for Image Steganalysis
Paraskevas et al. Detecting Holes in Fishery Nets using an ROV
Paraskevas et al. Underwater Detection of Ancient Pottery Sherds Using Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant