CN114972740A - 自动化舰船样本采集方法及系统 - Google Patents

自动化舰船样本采集方法及系统 Download PDF

Info

Publication number
CN114972740A
CN114972740A CN202210902320.0A CN202210902320A CN114972740A CN 114972740 A CN114972740 A CN 114972740A CN 202210902320 A CN202210902320 A CN 202210902320A CN 114972740 A CN114972740 A CN 114972740A
Authority
CN
China
Prior art keywords
image
ship
water surface
target
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210902320.0A
Other languages
English (en)
Inventor
邓宏平
高祥
罗杨杨
林德银
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yingjue Technology Co ltd
Original Assignee
Shanghai Yingjue Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yingjue Technology Co ltd filed Critical Shanghai Yingjue Technology Co ltd
Priority to CN202210902320.0A priority Critical patent/CN114972740A/zh
Publication of CN114972740A publication Critical patent/CN114972740A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种自动化舰船样本采集方法及系统，包括：步骤S1：获取部署的相机所拍摄的图像/视频；步骤S2：对拍摄的图像/视频设置感兴趣区域，区分图像/视频中的水面区域和岸边区域；步骤S3：分别建立岸边区域检测模型和水面区域检测模型，利用所述岸边区域检测模型和所述水面区域检测模型分别对图像/视频进行样本采集。本发明通过基于深度学习方法的背景建模、前景检测的方式，实现运动目标的初步检测，将动目标中心位于图像中心附近的图像推荐给标注人员，从而大幅度提高了采样的效率，降低了成本。

Description

自动化舰船样本采集方法及系统
技术领域
本发明涉及样本采集技术领域，具体地，涉及一种自动化舰船样本采集方法及系统。
背景技术
深度学习在基于视频监控的目标智能分析任务中已经成为当前最主流的方法。该方法依赖于人工对样本的大量采集，依赖于标注过程中所凝聚的人类的经验知识。样本的数量和质量，都对深度网络的检测质量影响很大。目前，每一个深度学习项目中，样本采集所消耗的成本，已经占据机器学习系统成本的最大的一部分。如何尽最大可能降低样本采集在人力和时间方面的成本，从而降低整个系统的成本，已经成为了该领域内一个至关重要的研究问题。
在舰船样本收集这个领域中，面临着如下问题的困扰：样本通常来自于安装于野外的监控相机系统。而每一个这样的监控系统中，往往包含数百个相机，每一个相机又存储至少半年以上的视频。而很多监控点中舰船的出现往往是偶发的，频率较低。因此要从这样海量的视频文件中，确定有船出现的时刻并且标记下来，将是一件非常耗费人力的事情，因为有船的时刻相对于整个监控时长来说是极其稀疏的。如何对该步骤进行自动化，通过开发自动化算法将视频中有船出现的图片帧自动挑选出来，是一件非常值得探索的事情。
在公开号为CN112164097A的中国专利文献中，公开了一种船舶视频检测样本采集方法，包括视频船舶目标检测方法；船舶目标跟踪方法；运动目标检测方法；样本采集策略。该文献能够自动从海事CCTV监控视频拍摄的实时视频和历史录像视频中采集高质量的船舶目标数据集，为基于深度学习的船舶目标检测提供数据支撑，在目标检测的过程中积累数据，不断提高深度学习的效果。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种自动化舰船样本采集方法及系统。
根据本发明提供的一种自动化舰船样本采集方法，包括以下步骤：
步骤S1：获取部署的相机所拍摄的图像/视频；
步骤S2：对拍摄的图像/视频设置感兴趣区域，区分图像/视频中的水面区域和岸边区域；
步骤S3：分别建立岸边区域检测模型和水面区域检测模型，利用所述岸边区域检测模型和所述水面区域检测模型分别对图像/视频进行样本采集。
优选的，所述步骤S1中针对多个监控点的每一个监控点都部署多个不同镜头参数的可见光相机以及红外相机。
优选的，所述感兴趣区域通过人工采集样例图，以多边形点列形成边界线划分岸边背景和水面区域，所述感兴趣区域信息以多边形点列的方式进行存储。
优选的，所述岸边区域检测模型建立包括以下步骤：
步骤S1.1：将图像等尺寸划分成多个子方格，对每个子方格内的图像内容，单独进行建模；
步骤S1.2：对每个子方格内的图像进行定时采集，去除包含运动目标的图像，收集当前子方格的图像生成对应的样本集；
步骤S1.3：利用生成的样本集训练匹配网络，该匹配网络用于将采集的背景图像与模板图进行匹配；
步骤S1.4：利用预先训练好的深度网络检测器，对图像中目标进行检测，通过匹配网络将被检测到的目标与模板库中的模板图进行匹配；若匹配成功，则当前图像为背景，若匹配不成功，则当前图像为前景。
优选的，所述匹配网络训练时的损失函数为三元损失，使得同一个子集内的特征距离小于第一设定值，不同子集的特征距离大于第二设定值。
优选的，所述步骤S1.4中，所述深度网络检测器采用定时检测，将当前被检测图像与上一张图像进行像素级RGB匹配，若运动像素数目没有超过经验阈值，则认定没有前景目标出现，反之则认定出现前景目标，并调用匹配网络进行匹配。
优选的，当所述子方格的图像在连续设定时间内均出现前景，则判定背景被改变，将设定时间内的平均图像作为模板图加入模板库中。
优选的，所述水面区域检测模型的建立包括以下步骤：
步骤S2.1：从监控视频中分别采集没有舰船目标出现的视频帧和有舰船目标出现的视频帧并保存，将所有的视频帧图像均划分成多个子方格，对应生成水面样本和目标样本；
步骤S2.2：采用深度网络模型，训练分类器，用来判断当前子方格为水面还是舰船目标，分别用水面样本和目标样本对深度网络模型训练；
步骤S2.3：根据所有子方格的判断结果对监控图像进行分析，当监控图像中含有目标的子方格数量超过设定值，则认定有舰船目标出现，采集有舰船目标出现的图像。
优选的，所述步骤S2.3中的采集方式包括：
针对视野范围能覆盖到的船，选择最靠近图像中心的时刻作为样本；
针对视野范围无法覆盖的船，统计舰船目标出现的整个时长，以整个时长中多个设定的时间点为目标进行采集，作为样本。
根据本发明提供的一种自动化舰船样本采集系统，包括以下模块：
模块M1：获取部署的相机所拍摄的图像/视频；
模块M2：对拍摄的图像/视频设置感兴趣区域，区分图像/视频中的水面区域和岸边区域；
模块M3：分别建立岸边区域检测模型和水面区域检测模型，利用所述岸边区域检测模型和所述水面区域检测模型分别对图像/视频进行样本采集；
所述模块M1中针对多个监控点的每一个监控点都部署多个不同镜头参数的可见光相机以及红外相机；
所述感兴趣区域通过人工采集样例图，以多边形点列形成边界线划分岸边背景和水面区域，所述感兴趣区域信息以多边形点列的方式进行存储；
所述模块M2中的岸边区域检测模型建立包括以下子模块：
模块M1.1：将图像等尺寸划分成多个子方格，对每个子方格内的图像内容，单独进行建模；
模块M1.2：对每个子方格内的图像进行定时采集，去除包含运动目标的图像，收集当前子方格的图像生成对应的样本集；
模块M1.3：利用生成的样本集训练匹配网络，该匹配网络用于将采集的背景图像与模板图进行匹配；
模块M1.4：利用预先训练好的深度网络检测器，对图像中目标进行检测，通过匹配网络将被检测到的目标与模板库中的模板图进行匹配；若匹配成功，则当前图像为背景，若匹配不成功，则当前图像为前景；
所述深度网络检测器采用定时检测，将当前被检测图像与上一张图像进行像素级RGB匹配，若运动像素数目没有超过经验阈值，则认定没有前景目标出现，反之则认定出现前景目标，并调用匹配网络进行匹配；
所述匹配网络训练时的损失函数为三元损失，使得同一个子集内的特征距离小于第一设定值，不同子集的特征距离大于第二设定值；
当所述子方格的图像在连续设定时间内均出现前景，则判定背景被改变，将设定时间内的平均图像作为模板图加入模板库中；
所述模块M2中的水面区域检测模型的建立包括以下子模块：
模块M2.1：从监控视频中分别采集没有舰船目标出现的视频帧和有舰船目标出现的视频帧并保存，将所有的视频帧图像均划分成多个子方格，对应生成水面样本和目标样本；
模块M2.2：采用深度网络模型，训练分类器，用来判断当前子方格为水面还是舰船目标，分别用水面样本和目标样本对深度网络模型训练；
模块M2.3：根据所有子方格的判断结果对监控图像进行分析，当监控图像中含有目标的子方格数量超过设定值，则认定有舰船目标出现，采集有舰船目标出现的图像；
所述模块M2.3中的采集方式包括：
针对视野范围能覆盖到的船，选择最靠近图像中心的时刻作为样本；
针对视野范围无法覆盖的船，统计舰船目标出现的整个时长，以整个时长中多个设定的时间点为目标进行采集，作为样本。
与现有技术相比，本发明具有如下的有益效果：
1、本发明通过基于深度学习方法的背景建模、前景检测的方式，实现运动目标的初步检测。将动目标中心位于图像中心附近的图像推荐给标注人员，从而大幅度提高了采样的效率，降低了成本。
2、本发明通过在拍摄位置设置不同参数的摄像头解决了部分样本无法使用的情况，且提高了样本多样性。
3、通过图像间像素级的比较判断是否有运动目标出现，减少了匹配网络的调用次数。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明自动化舰船样本采集方法流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明公开一种自动化舰船样本采集方法，本方法的基本思路为：在现场部署相机，固定视角方位和视野大小。通过基于深度学习方法的背景建模、前景检测的方式，实现运动目标的初步检测。将动目标中心位于图像中心附近的图像推荐给标注人员。因为推荐的图大概率是包含舰船的，因此省却了人工从海量图像中挑选稀疏舰船样本的麻烦。具体的，参照图1，本方法包括以下步骤：
步骤S1：获取部署的相机所拍摄的图像/视频；
用于监控的相机是部署在江边、河边、湖边，或者海边。通过将相机视野对准水面某个区域而进行拍摄。为了能够在同一个监控点，实现全天候的覆盖，需要同时安装可见光相机和红外相机。相机在部署时，尽量保证视野中遮挡物体要少。
为了方便背景建模，需要固定相机的方位角，保证只拍摄同一个水面区域。同时，固定镜头的缩放倍数，使得在监控过程中，视野大小不会发生变化，从而不会给背景建模带来干扰。
这种方式会带来一个问题：经过相机视野的船，可能有一部分船的尺寸很小、分辨率不足，例如远处的船；还有一部分尺寸很大的船，都超过了视野范围、无法全部拍摄例如距离很近的大型货船。这两种情形所采集的图片都不理想。尺寸太小的船只，分辨率不足，不利于训练。尺寸过大的船只，只能看到局部，使得样本的意义有所下降。
解决上述问题的办法是：一个相机只负责一个背景区域，对于尺寸过小、尺寸过大的情形，都不予考虑。而通过增加更多相机，在更多监控点部署的方法来弥补。在不同的监控点，设置不同的镜头参数，使得有些相机能够拍摄远处的船只。而另一些能够把近处的大型船只也完整拍摄下来，从而实现样本的多样性。
步骤S2：对拍摄的图像/视频设置感兴趣区域，区分图像/视频中的水面区域和岸边区域；
在固定了相机的方位角与视野范围之后，通过人工采集样例图，以多边形的方式将岸边背景与水面区域分开。ROI信息以多边形点列的方式存储在文件中，供后续的背景建模程序调用。后续步骤中，针对岸边区域，与水面区域，各自采用不同的背景建模方法来处理。
步骤S3：分别建立岸边区域检测模型和水面区域检测模型，利用所述岸边区域检测模型和所述水面区域检测模型分别对图像/视频进行样本采集。
岸边区域检测模型：传统的背景建模方法，很容易受到相机抖动、光照变化、山体阴影、大气湍流、雾天、雨天等情形的干扰。考虑到深度卷积神经网络强大的特征表达能力，这里采用深度神经网络来进行背景建模。
岸边区域检测模型建立包括以下步骤：
步骤S1.1：将图像等尺寸划分成多个子方格，比如1920*1080的图像，可以划分成20*10个子方格，对每个子方格内的图像内容，单独进行建模；
子方格图像建模采用Deepsort方法与ReID方法的思路。Deepsort方法是用来进行目标跟踪，首先利用训练好的深度网络检测器，实现图像中目标的检测。然后，将当前被检测到的目标，与模板库中的图进行匹配，能够匹配上就认为跟踪成功。与模板图的匹配，使用的是ReID模型，具体网络可以选择wide Resnet等。
由于背景也存在随着时间变化而变化的特点，因此采用模板库、模板图、深度特征匹配这些技巧。将各个时刻某个子方格内的背景图像放置到模板队列中，对于当前需要被鉴定的子方格图，将其与对应的模板队列匹配，以判断其是否为背景。
步骤S1.2：对每个子方格内的图像进行定时采集，去除包含运动目标的图像，收集当前子方格的图像生成对应的样本集。样本的采集方法如下：
1）在某个监控点安装监控相机，配置监控软件；
2）自动收集子方格内的图像，每隔10分钟采集一次。需保证该时刻没有运动目标经过，具体方法是当前时刻的前后各1分钟以内，多次采集图像，每隔10秒钟采集一次，总共12张图，如果这12张图经过逐像素比较之后运动像素的总数目低于经验阈值，比如20个像素，则认定该时刻没有运动目标，可以作为背景样本。逐像素比较的方法是：比较两张图的相同位置像素的RGB值，如果R、G、B的差值都小于10，就认为不是运动像素。
3）经过数天的自动收集之后，人工将所有的当前子方格图片放到一个文件夹中，并且人工核查一遍，去掉有舰船经过的子图，这样就得到了当前子方格的样本集。每个子方格，都需要建立一个样本集。针对1920*1080的图像，总共就是200个样本集。
步骤S1.3：利用生成的样本集训练匹配网络，该匹配网络用于将采集的背景图像与模板图进行匹配。
采用Wide Resnet网络来训练匹配网络。以200个样本子集作为样本来训练，也可以将多个监控相机的所有子方格样本子集一起训练，因为背景都有相似规律。损失函数选择三元损失（Triplet Loss），目标是使得同一个子集内的特征距离（欧氏距离）尽量小，不同子集的特征距离尽量大。经过这种网络和损失函数的训练之后，使得深度网络提取得到的特征，可以让当前方格中同为背景的两张子方格图的特征距离，要比一个是背景一个是舰船时的两张子方格图的特征距离要小。
步骤S1.4：利用预先训练好的深度网络检测器，对图像中目标进行检测，通过匹配网络将被检测到的目标与模板库中的模板图进行匹配；若匹配成功，则当前图像为背景，若匹配不成功，则当前图像为前景。
首先，将当前时刻的子方格图，与5秒前子方格图进行像素级RGB匹配，如果没有出现超过经验阈值的运动像素数目，例如20个，就当做没有前景目标经过。这样做的好处是可以大幅度降低对深度神经网络的调用次数，降低计算量。如果出现了运动像素，才调用匹配网络模型进行匹配，判断是背景，还是前景。
在监控系统使用的过程中，可能会出现背景长期被改变的现象，比如背景中出现新的建筑物。此时，很可能会导致某个子方格出现长期是前景的现象，严重干扰对样本的采集。可以采用如下方法解决：如果某个子方格，在长达1个小时以上的时间跨度内，都检测到属于前景，则说明出现了异常，很可能是背景被长期改变了。此时，可以分析1个小时内的子方格图像，比较是否有变化。如果没有变化，则将该时间段内的平均图像作为模板图加入到模板队列中。
水面区域监测模型：水面的波纹、反光等，都会导致水面与岸边的背景建模方式存在差异，对于岸边区域检测模型建立的方法并不能稳定地实现水面建模，因此需要采用另一种方法来实现水面区域背景建模与前景检测。
水面区域检测模型的建立包括以下步骤：
步骤S2.1：从监控视频中分别采集没有舰船目标出现的视频帧和有舰船目标出现的视频帧并保存，将所有的视频帧图像均划分成多个子方格，对应生成水面样本和目标样本。
通过人工对监控视频进行核查，对于没有舰船目标出现的视频帧进行标记。然后将背景视频帧逐帧保存下来，并且按照子方格进行切分。使用同样的方式，得到有目标经过的视频帧，并且进行逐帧保存和子方格切分。
步骤S2.2：采用深度网络模型，训练分类器，用来判断当前子方格为水面还是舰船目标，分别用水面样本和目标样本对深度网络模型训练，网络模型可以是DenseNet。每个相机单独进行分类训练，因为不同相机水面图像不一样，混合训练可能会增加难度。
步骤S2.3：根据所有子方格的判断结果对监控图像进行分析，当监控图像中含有目标的子方格数量超过设定值，例如3个，则认定有舰船目标出现，采集有舰船目标出现的图像。为了得到最合适时刻的图片，可以采用如下方法进行筛选。
针对视野范围能覆盖到的船，选择最靠近图像中心的时刻作为样本；
将被判断为前景的子方格，将整个子方格变成白色。被判断为背景的子方格，整个子方格变成黑色。如此，得到前景图。在前景图中进行连通域检测。每一个连通域都被认为是一条船。使用团块跟踪策略（前后两帧图像，如果连通域的位置有交叠，则认为是同一个目标）实现简单的跟踪。当该船的中心点坐标出现在图像中心点附近时，开始抓拍，作为样本保存下来。
针对视野范围无法覆盖的船，统计舰船目标出现的整个时长，以整个时长中多个设定的时间点为目标进行采集，作为样本。
对于尺寸超过视野范围的大型船只，需要对从出现到消失的整个过程中的所有图像进行分析，挑选具有代表性的几帧作为样本图，以降低重复样本出现的概率。具体做法是：统计该船出现的整个时长T，然后将其均分成4段。分别挑选1/4T、2/4T、3/4T、4/4T时刻点的图片作为样例。
每一个监控点，都是同时安装了可见光相机和红外相机。二者工作在白天和夜晚的不同时刻，因此需要设置两个相机的工作切换时间：天没黑之前，比如下午5点钟，开始启动红外相机，直到早上天完全亮了为止，比如7点钟，才关闭红外相机，开启可见光相机。可见光相机工作到下午5点，继续切换为红外相机。
本发明还公开了一种自动化舰船样本采集系统，包括以下模块：
模块M1：获取部署的相机所拍摄的图像；
模块M2：对拍摄的图像设置感兴趣区域，区分图像中的水面区域和岸边区域，并存储感兴趣区域信息；
模块M3：分别建立岸边区域检测模型和水面区域检测模型，从而对视频进行样本采集。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种自动化舰船样本采集方法，其特征在于，包括以下步骤：
步骤S1：获取部署的相机所拍摄的图像/视频；
步骤S2：对拍摄的图像/视频设置感兴趣区域，区分图像/视频中的水面区域和岸边区域；
步骤S3：分别建立岸边区域检测模型和水面区域检测模型，利用所述岸边区域检测模型和所述水面区域检测模型分别对图像/视频进行样本采集。
2.根据权利要求1所述的自动化舰船样本采集方法，其特征在于：所述步骤S1中针对多个监控点的每一个监控点都部署多个不同镜头参数的可见光相机以及红外相机。
3.根据权利要求1所述的自动化舰船样本采集方法，其特征在于：所述感兴趣区域通过人工采集样例图，以多边形点列形成边界线划分岸边背景和水面区域，所述感兴趣区域信息以多边形点列的方式进行存储。
4.根据权利要求1所述的自动化舰船样本采集方法，其特征在于：所述岸边区域检测模型建立包括以下步骤：
步骤S1.1：将图像等尺寸划分成多个子方格，对每个子方格内的图像内容，单独进行建模；
步骤S1.2：对每个子方格内的图像进行定时采集，去除包含运动目标的图像，收集当前子方格的图像生成对应的样本集；
步骤S1.3：利用生成的样本集训练匹配网络，该匹配网络用于将采集的背景图像与模板图进行匹配；
步骤S1.4：利用预先训练好的深度网络检测器，对图像中目标进行检测，通过匹配网络将被检测到的目标与模板库中的模板图进行匹配；若匹配成功，则当前图像为背景，若匹配不成功，则当前图像为前景。
5.根据权利要求4所述的自动化舰船样本采集方法，其特征在于：所述匹配网络训练时的损失函数为三元损失，使得同一个子集内的特征距离小于第一设定值，不同子集的特征距离大于第二设定值。
6.根据权利要求4所述的自动化舰船样本采集方法，其特征在于：所述步骤S1.4中，所述深度网络检测器采用定时检测，将当前被检测图像与上一张图像进行像素级RGB匹配，若运动像素数目没有超过经验阈值，则认定没有前景目标出现，反之则认定出现前景目标，并调用匹配网络进行匹配。
7.根据权利要求4所述的自动化舰船样本采集方法，其特征在于：当所述子方格的图像在连续设定时间内均出现前景，则判定背景被改变，将设定时间内的平均图像作为模板图加入模板库中。
8.根据权利要求1所述的自动化舰船样本采集方法，其特征在于：所述水面区域检测模型的建立包括以下步骤：
步骤S2.1：从监控视频中分别采集没有舰船目标出现的视频帧和有舰船目标出现的视频帧并保存，将所有的视频帧图像均划分成多个子方格，对应生成水面样本和目标样本；
步骤S2.2：采用深度网络模型，训练分类器，用来判断当前子方格为水面还是舰船目标，分别用水面样本和目标样本对深度网络模型训练；
步骤S2.3：根据所有子方格的判断结果对监控图像进行分析，当监控图像中含有目标的子方格数量超过设定值，则认定有舰船目标出现，采集有舰船目标出现的图像。
9.根据权利要求8所述的自动化舰船样本采集方法，其特征在于：所述步骤S2.3中的采集方式包括：
针对视野范围能覆盖到的船，选择最靠近图像中心的时刻作为样本；
针对视野范围无法覆盖的船，统计舰船目标出现的整个时长，以整个时长中多个设定的时间点为目标进行采集，作为样本。
10.一种自动化舰船样本采集系统，其特征在于：包括以下模块：
模块M1：获取部署的相机所拍摄的图像/视频；
模块M2：对拍摄的图像/视频设置感兴趣区域，区分图像/视频中的水面区域和岸边区域；
模块M3：分别建立岸边区域检测模型和水面区域检测模型，利用所述岸边区域检测模型和所述水面区域检测模型分别对图像/视频进行样本采集。
CN202210902320.0A 2022-07-29 2022-07-29 自动化舰船样本采集方法及系统 Pending CN114972740A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210902320.0A CN114972740A (zh) 2022-07-29 2022-07-29 自动化舰船样本采集方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210902320.0A CN114972740A (zh) 2022-07-29 2022-07-29 自动化舰船样本采集方法及系统

Publications (1)

Publication Number Publication Date
CN114972740A true CN114972740A (zh) 2022-08-30

Family

ID=82969651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210902320.0A Pending CN114972740A (zh) 2022-07-29 2022-07-29 自动化舰船样本采集方法及系统

Country Status (1)

Country Link
CN (1) CN114972740A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118097473A (zh) * 2024-04-22 2024-05-28 中国科学院西安光学精密机械研究所 一种飞行器用海面目标的感知方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764269A (zh) * 2018-04-03 2018-11-06 华南理工大学 一种基于时空约束增量学习的跨数据集行人再识别方法
CN108805077A (zh) * 2018-06-11 2018-11-13 深圳市唯特视科技有限公司 一种基于三元组损失函数的深度学习网络的人脸识别系统
CN108921147A (zh) * 2018-09-03 2018-11-30 东南大学 一种基于动态纹理和变换域时空特征的黑烟车识别方法
CN109325426A (zh) * 2018-09-03 2019-02-12 东南大学 一种基于三正交平面时空特征的黑烟车检测方法
CN109344845A (zh) * 2018-09-21 2019-02-15 哈尔滨工业大学 一种基于Triplet深度神经网络结构的特征匹配方法
CN109598241A (zh) * 2018-12-05 2019-04-09 武汉大学 基于Faster R-CNN的卫星图像海上舰船识别方法
CN109800716A (zh) * 2019-01-22 2019-05-24 华中科技大学 一种基于特征金字塔的海面遥感图像船舶检测方法
CN110473255A (zh) * 2019-07-17 2019-11-19 南京畅淼科技有限责任公司 一种基于多重网格划分的船舶系船柱定位方法
CN110598702A (zh) * 2019-09-23 2019-12-20 青岛科技大学 一种船舰目标检测数据集的制备方法、系统、设备及介质
CN111354016A (zh) * 2020-02-28 2020-06-30 珠海大横琴科技发展有限公司 基于深度学习和差异值哈希的无人机舰船跟踪方法及系统
CN111461190A (zh) * 2020-03-24 2020-07-28 华南理工大学 一种基于深度卷积神经网络的非均衡船舶分类方法
CN111611836A (zh) * 2019-12-27 2020-09-01 珠海大横琴科技发展有限公司 基于背景消除法的船只检测模型训练及船只跟踪方法
CN113239952A (zh) * 2021-03-30 2021-08-10 西北工业大学 一种基于空间尺度注意力机制和矢量地图的航空图像地理定位方法
CN113936029A (zh) * 2021-11-10 2022-01-14 上海鹰觉科技有限公司 基于视频的违法捕鱼自动检测方法及系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764269A (zh) * 2018-04-03 2018-11-06 华南理工大学 一种基于时空约束增量学习的跨数据集行人再识别方法
CN108805077A (zh) * 2018-06-11 2018-11-13 深圳市唯特视科技有限公司 一种基于三元组损失函数的深度学习网络的人脸识别系统
CN108921147A (zh) * 2018-09-03 2018-11-30 东南大学 一种基于动态纹理和变换域时空特征的黑烟车识别方法
CN109325426A (zh) * 2018-09-03 2019-02-12 东南大学 一种基于三正交平面时空特征的黑烟车检测方法
CN109344845A (zh) * 2018-09-21 2019-02-15 哈尔滨工业大学 一种基于Triplet深度神经网络结构的特征匹配方法
CN109598241A (zh) * 2018-12-05 2019-04-09 武汉大学 基于Faster R-CNN的卫星图像海上舰船识别方法
CN109800716A (zh) * 2019-01-22 2019-05-24 华中科技大学 一种基于特征金字塔的海面遥感图像船舶检测方法
CN110473255A (zh) * 2019-07-17 2019-11-19 南京畅淼科技有限责任公司 一种基于多重网格划分的船舶系船柱定位方法
CN110598702A (zh) * 2019-09-23 2019-12-20 青岛科技大学 一种船舰目标检测数据集的制备方法、系统、设备及介质
CN111611836A (zh) * 2019-12-27 2020-09-01 珠海大横琴科技发展有限公司 基于背景消除法的船只检测模型训练及船只跟踪方法
CN111354016A (zh) * 2020-02-28 2020-06-30 珠海大横琴科技发展有限公司 基于深度学习和差异值哈希的无人机舰船跟踪方法及系统
CN111461190A (zh) * 2020-03-24 2020-07-28 华南理工大学 一种基于深度卷积神经网络的非均衡船舶分类方法
CN113239952A (zh) * 2021-03-30 2021-08-10 西北工业大学 一种基于空间尺度注意力机制和矢量地图的航空图像地理定位方法
CN113936029A (zh) * 2021-11-10 2022-01-14 上海鹰觉科技有限公司 基于视频的违法捕鱼自动检测方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118097473A (zh) * 2024-04-22 2024-05-28 中国科学院西安光学精密机械研究所 一种飞行器用海面目标的感知方法

Similar Documents

Publication Publication Date Title
US20210073573A1 (en) Ship identity recognition method based on fusion of ais data and video data
CN101833859B (zh) 基于虚拟线圈的自触发车牌识别方法
CN108806334A (zh) 一种基于图像的智能船舶身份识别方法
CN110427922A (zh) 一种基于机器视觉和卷积神经网络病虫害识别系统和方法
CN105163110A (zh) 摄像头清洁度的检测方法、检测系统及拍摄终端
CN111553403B (zh) 基于伪3d卷积神经网络的烟雾检测方法及系统
CN106339657A (zh) 基于监控视频的秸秆焚烧监测方法、装置
CN110490043A (zh) 一种基于区域划分和特征提取的森林烟火检测方法
CN113936029A (zh) 基于视频的违法捕鱼自动检测方法及系统
CN114972740A (zh) 自动化舰船样本采集方法及系统
CN112750104B (zh) 一种多相机监控船舶自动匹配最优相机的方法及装置
CN110610485A (zh) 一种基于ssim算法的特高压输电线路通道隐患预警方法
CN113507577A (zh) 目标对象检测方法、装置、设备及存储介质
CN112465699A (zh) 一种基于云检测的遥感影像拼接方法
EP2447912B1 (en) Method and device for the detection of change in illumination for vision systems
CN112163626A (zh) 基于多维度感知的光伏电池遮荫区域成因分类方法及系统
CN109841022B (zh) 一种目标移动轨迹侦测报警方法、系统及存储介质
CN113065454B (zh) 一种高空抛物目标识别比较的方法及装置
CN112307943B (zh) 一种水域人船目标检测方法、系统、终端及介质
CN109145820B (zh) 一种基于视频动态图像的河道位置标注方法
KR102040562B1 (ko) 영상정보를 활용한 시정거리 추정 방법
CN106991682B (zh) 自动港口货船的提取方法及装置
CN112585655A (zh) 基于5g的无人驾驶电子交警执勤系统
CN104820818B (zh) 一种移动物体的快速识别方法
CN114782875A (zh) 一种基于鱼道构建的鱼类细粒度信息获取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220830

WD01 Invention patent application deemed withdrawn after publication