CN111046812B - 基于孪生网络的水面漂浮物检测的方法 - Google Patents
基于孪生网络的水面漂浮物检测的方法 Download PDFInfo
- Publication number
- CN111046812B CN111046812B CN201911305517.0A CN201911305517A CN111046812B CN 111046812 B CN111046812 B CN 111046812B CN 201911305517 A CN201911305517 A CN 201911305517A CN 111046812 B CN111046812 B CN 111046812B
- Authority
- CN
- China
- Prior art keywords
- feature
- mapping
- feature mapping
- water surface
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于孪生网络的水面漂浮物检测的方法，包括以下步骤：步骤S1:截取待测水面漂浮物的视频内两张图片，并作为输入图像INPUT A和输入图像INPUT B；步骤S2:将两张输入图像分别输入至特征提取器中，作特征提取卷积操作，并得到各自对应的多层特征映射图;步骤S3:创建特征映射层,并根据多层特征映射图，得到各自对应的原始特征映射；步骤S4:将得到的原始特征映射图，分别对应地按通道深度作连接操作，后再对得到的连接操作结果分别做卷积操作，得到特征映射图；步骤S5:通过PRN以及R‑CNN技术，根据得到的特征映射图分别作区域推荐、分类及框坐标回归操作，得到检测结果。本发明利用PRN以及R‑CNN技术，自动地完成对水面漂浮物的检测，误检率低，应用广。
Description
技术领域
本发明涉及图像处理领域，具体涉及一种基于孪生网络的水面漂浮物检测的方法。
背景技术
我国水域面积广大，但近年来，水域环境逐渐恶化，难以治理。其中，水面漂浮物污染问题尤为突出，治理水面漂浮物污染问题，改善水域环境行动刻不容缓。水面漂浮物检测功能应需而生。
在过去，水面漂浮物的检测方法是基于定点图像分析的，其通过水面背景建模、图像配准、河道水体部分提取和异常检测等传统图像处理方法完成对漂浮物的检测。对于水域范围广的区域，前期水面背景建模工作复杂繁重，若用基于定点图像分析的方法，部署实行需消耗大量人力时间。每新增加一个应用场景，就得增加对应场景的水面背景建模工作；另外，该方法因是由人为构建图像特征，而自然场景和漂浮物千变万化，易有较多误检。
发明内容
有鉴于此，本发明的目的在于提供一种基于孪生网络的水面漂浮物检测的方法，可以自动地完成对水面漂浮物的检测。
为实现上述目的，本发明采用如下技术方案：
一种基于孪生网络的水面漂浮物检测的方法，包括以下步骤：
步骤S1:截取待测水面漂浮物的视频内两张图片，并作为输入图像INPUT A 和 输入图像INPUT B；
步骤S2:将两张输入图像分别输入至Res-Net特征提取器中，作特征提取卷积操作，并得到各自对应的多层特征映射图;
步骤S3:创建特征映射层,并根据多层特征映射图，得到各自对应的原始特征映射；
步骤S4:将得到的原始特征映射图，分别对应地按通道深度作连接操作，后再对得到的连接操作结果分别做卷积操作，得到特征映射图；
步骤S5:：通过RPN技术，对得到的特征映射图作区域推荐操作：对特征映射图分别作两次卷积操作，通过R-CNN技术，得到最终分类及框坐标结果：将特征映射图与RPN提供的区域推荐信息结合，再将结合得到的特征映射图做全连接及分类、回归操作，得到检测结果。
进一步的，所述多层特征映射图包括属于输入图像INPUT A的特征映射图C1_A、C2_A、C3_A与属于输入图像INPUT B的特征映射图C1_B、C2_B、C3_B。
进一步的，所述步骤S3具体为：
步骤S31:创建特征映射层P3_A，其特征映射值与特征映射C3_A相等;
步骤S32:将特征映射P3_A作上采样操作，并将该结果与将特征映射C2_A作卷积操作的结果相加，得到特征映射P2_A;
步骤S33:将特征映射P2_A作上采样操作，并将该结果与将特征映射C1_A作卷积操作的结果相加，得到特征映射P1_A;
步骤S34:创建特征映射层P3_B,其特征映射值与特征映射C3_B相等;，重复步骤S32-S33，得到P3_B、P2_B、P1_B。
进一步的，所述步骤S4具体为：将得到的特征映射图P1_A和P1_B、P2_A和特征映射图P2_B、P3_A和P3_B分别对应地按通道深度作连接操作，后再对得到的连接操作结果分别做卷积操作，得到特征映射图P1、P2、P3。
本发明与现有技术相比具有以下有益效果：
本发明利用PRN以及R-CNN技术，自动地完成对水面漂浮物的检测，误检率低，应用广。
附图说明
图1是本发明流程原理图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种基于孪生网络的水面漂浮物检测的方法，包括以下步骤：
步骤S1:截取待测水面漂浮物的视频内两张图片，并作为输入图像INPUT A 和 输入图像INPUT B；
步骤S2:将两张输入图像分别输入至Res-Net特征提取器中，作特征提取卷积操作，并得到各自对应的多层特征映射图;得到属于输入图像INPUT A的特征映射图C1_A、C2_A、C3_A，与属于输入图像INPUT B的特征映射图C1_B、C2_B、C3_B；
步骤S3:创建特征映射层,并根据多层特征映射图，得到各自对应的原始特征映射；具体为：
步骤S31:创建特征映射层P3_A，其特征映射值与特征映射C3_A相等;
步骤S32:将特征映射P3_A作上采样操作，并将该结果与将特征映射C2_A作卷积操作的结果相加，得到特征映射P2_A;
步骤S33:将特征映射P2_A作上采样操作，并将该结果与将特征映射C1_A作卷积操作的结果相加，得到特征映射P1_A;
步骤S34:创建特征映射层P3_B,其特征映射值与特征映射C3_B相等;，重复步骤S32-S33，得到P3_B、P2_B、P1_B。
步骤S4:将得到的原始特征映射图，分别对应地按通道深度作连接操作，后再对得到的连接操作结果分别做卷积操作，得到特征映射图；具体为：将得到的特征映射图P1_A和P1_B、P2_A和特征映射图P2_B、P3_A和P3_B分别对应地按通道深度作连接操作，后再对得到的连接操作结果分别做卷积操作，得到特征映射图P1、P2、P3。
步骤S5:：通过RPN技术，对得到的特征映射图作区域推荐操作：对特征映射图分别作两次卷积操作。
其中一个卷积针对前景、背景的分类，得到（1，x，x，18）的特征映射图卷积，再将其重塑成大小为（1，x，x，2）的卷积映射图，后对其做softmax操作，获得前景类别得分最高的256个特征映射图；另外一个卷积针对框坐标回归，得到（1，x，x，36）的特征映射图。结合两个结果，得到256个区域推荐。
通过R-CNN技术，得到最终分类及框坐标结果：将S4得到的特征映射图与RPN提供的区域推荐信息结合，再将结合得到的特征映射图做多次全连接及分类、回归操作，得到最终结果。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (2)
1.一种基于孪生网络的水面漂浮物检测的方法，其特征在于，包括以下步骤：
步骤S1:截取待测水面漂浮物的视频内两张图片，并作为输入图像INPUTA和输入图像INPUTB；
步骤S2:将两张输入图像分别输入至Res-Net特征提取器中，作特征提取卷积操作，并得到各自对应的多层特征映射图；包括属于输入图像INPUTA的特征映射图C1_A、C2_A、C3_A与属于输入图像INPUTB的特征映射图C1_B、C2_B、C3_B；
步骤S3:创建特征映射层,并根据多层特征映射图，得到各自对应的原始特征映射；
步骤S4:将得到的原始特征映射图，分别对应地按通道深度作连接操作，后再对得到的连接操作结果分别做卷积操作，得到特征映射图；
步骤S5:通过RPN技术，对得到的特征映射图作区域推荐操作：对特征映射图分别作两次卷积操作，通过R-CNN技术，得到最终分类及框坐标结果：
将特征映射图与RPN提供的区域推荐信息结合，再将结合得到的特征映射图做全连接及分类、回归操作，得到检测结果；所述多层特征映射图包括属于输入图像INPUTA的特征映射图C1_A、C2_A、C3_A与属于输入图像INPUTB的特征映射图C1_B、C2_B、C3_B；
所述步骤S3具体为：
步骤S31:创建特征映射层P3_A，其特征映射值与特征映射C3_A相等；
步骤S32:将特征映射P3_A作上采样操作，并将该结果与将特征映射C2_A作卷积操作的结果相加，得到特征映射P2_A；
步骤S33:将特征映射P2_A作上采样操作，并将该结果与将特征映射C1_A作卷积操作的结果相加，得到特征映射P1_A；
步骤S34:创建特征映射层P3_B,其特征映射值与特征映射C3_B相等；，重复步骤S32-S33，得到P3_B、P2_B、P1_B。
2.根据权利要求1 所述的基于孪生网络的水面漂浮物检测的方法，其特征在于，所述步骤S4具体为：将得到的特征映射图P1_A和P1_B、P2_A和特征映射图P2_B、P3_A和P3_B分别对应地按通道深度作连接操作，后再对得到的连接操作结果分别做卷积操作，得到特征映射图P1、P2、P3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911305517.0A CN111046812B (zh) | 2019-12-18 | 2019-12-18 | 基于孪生网络的水面漂浮物检测的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911305517.0A CN111046812B (zh) | 2019-12-18 | 2019-12-18 | 基于孪生网络的水面漂浮物检测的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111046812A CN111046812A (zh) | 2020-04-21 |
| CN111046812B true CN111046812B (zh) | 2023-04-07 |
Family
ID=70237072
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911305517.0A Active CN111046812B (zh) | 2019-12-18 | 2019-12-18 | 基于孪生网络的水面漂浮物检测的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111046812B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101833763A (zh) * | 2010-04-28 | 2010-09-15 | 天津大学 | 一种水面倒影图像检测方法 |
| CN103942803A (zh) * | 2014-05-05 | 2014-07-23 | 北京理工大学 | 基于sar图像的水域自动检测方法 |
| KR101743270B1 (ko) * | 2017-03-08 | 2017-06-05 | (주)나인정보시스템 | 다수의 플랑크톤이 응집 혹은 산재해 있는 현미경 영상에서 딥러닝을 이용하여 개개 플랑크톤을 분리 및 인식하는 방법 |
| CN107609512A (zh) * | 2017-09-12 | 2018-01-19 | 上海敏识网络科技有限公司 | 一种基于神经网络的视频人脸捕捉方法 |
| CN109214319A (zh) * | 2018-08-23 | 2019-01-15 | 中国农业大学 | 一种水下图像目标检测方法及系统 |
| CN110427836A (zh) * | 2019-07-11 | 2019-11-08 | 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) | 一种基于多尺度优化的高分辨率遥感影像水体提取方法 |
-
2019
- 2019-12-18 CN CN201911305517.0A patent/CN111046812B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101833763A (zh) * | 2010-04-28 | 2010-09-15 | 天津大学 | 一种水面倒影图像检测方法 |
| CN103942803A (zh) * | 2014-05-05 | 2014-07-23 | 北京理工大学 | 基于sar图像的水域自动检测方法 |
| KR101743270B1 (ko) * | 2017-03-08 | 2017-06-05 | (주)나인정보시스템 | 다수의 플랑크톤이 응집 혹은 산재해 있는 현미경 영상에서 딥러닝을 이용하여 개개 플랑크톤을 분리 및 인식하는 방법 |
| CN107609512A (zh) * | 2017-09-12 | 2018-01-19 | 上海敏识网络科技有限公司 | 一种基于神经网络的视频人脸捕捉方法 |
| CN109214319A (zh) * | 2018-08-23 | 2019-01-15 | 中国农业大学 | 一种水下图像目标检测方法及系统 |
| CN110427836A (zh) * | 2019-07-11 | 2019-11-08 | 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) | 一种基于多尺度优化的高分辨率遥感影像水体提取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111046812A (zh) | 2020-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110264416B (zh) | 稀疏点云分割方法及装置 | |
| CN110276264B (zh) | 一种基于前景分割图的人群密度估计方法 | |
| CN110472628B (zh) | 一种基于视频特征的改进Faster R-CNN网络检测漂浮物方法 | |
| CN110598610A (zh) | 一种基于神经选择注意的目标显著性检测方法 | |
| CN108288088A (zh) | 一种基于端到端全卷积神经网络的场景文本检测方法 | |
| CN107066916B (zh) | 基于反卷积神经网络的场景语义分割方法 | |
| CN108805863B (zh) | 深度卷积神经网络结合形态学检测图像变化的方法 | |
| CN108960404B (zh) | 一种基于图像的人群计数方法及设备 | |
| CN108053412B (zh) | 融合多定量评价指标的遥感影像最优分割结果确定方法 | |
| CN112489054A (zh) | 一种基于深度学习的遥感图像语义分割方法 | |
| CN107016682A (zh) | 一种自然图像显著对象自适应分割方法 | |
| CN109299303B (zh) | 基于可变形卷积与深度网络的手绘草图检索方法 | |
| CN112364865B (zh) | 一种复杂场景中运动小目标的检测方法 | |
| Yan et al. | Depth map generation for 2d-to-3d conversion by limited user inputs and depth propagation | |
| CN102147922A (zh) | 灰度图像二维Otsu折线阈值分割法 | |
| CN103914829B (zh) | 一种含噪图像边缘检测方法 | |
| CN105093289A (zh) | 一种基于图像处理的地震层位识别方法 | |
| CN112733711A (zh) | 基于多尺度场景变化检测的遥感影像损毁建筑物提取方法 | |
| CN110516527B (zh) | 一种基于实例分割的视觉slam回环检测改进方法 | |
| CN116563262A (zh) | 基于多模态的建筑裂缝检测算法 | |
| CN114049347A (zh) | 一种基于特征增强的原油泄漏检测方法 | |
| CN111046812B (zh) | 基于孪生网络的水面漂浮物检测的方法 | |
| CN113361496A (zh) | 一种基于U-Net的城市建成区统计方法 | |
| JP2019087050A (ja) | 構造物維持管理業務支援システム | |
| CN105828061A (zh) | 一种基于视觉掩蔽效应的虚拟视点质量评价方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |