CN113139477A - 训练井盖检测模型的方法、装置、设备及计算机存储介质 - Google Patents

训练井盖检测模型的方法、装置、设备及计算机存储介质 Download PDF

Info

Publication number
CN113139477A
CN113139477A CN202110460708.5A CN202110460708A CN113139477A CN 113139477 A CN113139477 A CN 113139477A CN 202110460708 A CN202110460708 A CN 202110460708A CN 113139477 A CN113139477 A CN 113139477A
Authority
CN
China
Prior art keywords
well lid
image
information
training
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110460708.5A
Other languages
English (en)
Inventor
王意如
窦浩轩
甘伟豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202110460708.5A priority Critical patent/CN113139477A/zh
Publication of CN113139477A publication Critical patent/CN113139477A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种训练井盖检测模型的方法、装置、设备及计算机存储介质，该方法包括：获取用于井盖检测的至少一张目标图像；所述目标图像是将从第一视频流中截取的待检测图像集输入至所述井盖检测模型，根据所述井盖检测模型输出的检测结果确定的；所述井盖检测模型是采用第一训练数据集进行训练的；获取对所述至少一张目标图像人工标注而得到的标注后的至少一张目标图像；将所述标注后的至少一张目标图像作为训练样本合并到所述第一训练数据集，得到第二训练数据集；利用第二训练数据集对所述井盖检测模型进行训练。

Description

训练井盖检测模型的方法、装置、设备及计算机存储介质
技术领域
本申请涉及但不限于智能检测领域，尤其涉及一种训练井盖检测模型的方法、装置、设备及计算机存储介质。
背景技术
在智慧城市和安防检测中，人们通常只会对环境中的人和/或车进行检测。然而，伴随着城市的发展，在城市建设中存在大量的地下管道，比如下水道、地下煤气与天然气管道、自来水管道、电力管道、通讯管道等，相对应的就出现了大量井盖。近年来，全国范围内井盖所造成的各类伤人、损车事件频发，严重影响了人们的出行安全。因此，对井盖的检测是非常重要的。
但是，相较于传统的人和/或车的检测，由于井盖面积小、种类多，导致检测井盖所需的计算成本高。
发明内容
本申请提供一种训练井盖检测模型的方法、装置、设备及计算机存储介质。
第一方面，提供一种训练井盖检测模型的方法，所述方法包括：
获取用于井盖检测的至少一张目标图像；所述目标图像是将从第一视频流中截取的待检测图像集输入至所述井盖检测模型，根据所述井盖检测模型输出的检测结果确定的；所述井盖检测模型是采用第一训练数据集进行训练的；获取对所述至少一张目标图像人工标注而得到的标注后的至少一张目标图像；将所述标注后的至少一张目标图像作为训练样本合并到所述第一训练数据集，得到第二训练数据集；利用第二训练数据集对所述井盖检测模型进行训练。
在一些实施方式中，所述至少一张目标图像包括第一目标图像和/或第二目标图像；所述获取对所述至少一张目标图像人工标注而得到的标注后的至少一张目标图像，包括：在所述至少一张目标图像的所述第一目标图像中存在井盖的情况下，对所述第一目标图像中井盖的特征信息、井盖在所述第一目标图像中的位置信息以及用于标识存在井盖的信息中的至少一者进行标注，得到标注后的第一目标图像；在所述至少一张目标图像的所述第二目标图像中不存在井盖的情况下，对所述第二目标图像进行不存在井盖信息的标注，得到标注后的第二目标图像；其中，所述特征信息包括以下至少之一：边界框信息、类型信息、形状信息、纹理信息、颜色信息、尺寸信息、地理位置信息。
这样，由于采用第一训练数据集训练得到的井盖检测模型确定出的至少一张目标图像中，可能既具有存在井盖的目标图像，存在井盖的目标图像又称为正样例，又可能具有不存在井盖的目标图像，不存在井盖的目标图像又称为负样例，通过对正样例和负样例进行人工标注得到标注后的正样例和标注后的负样例，并将标注后的负样例和正样例输入到井盖检测模型中，负样例有助于优化井盖检测模型在真实场景下对误报的抑制，正样例有助于井盖检测模型快速地适应目前区域的井盖形状、光照与环境。
在一些实施例中，所述利用第二训练数据集对所述井盖检测模型进行训练之后，所述方法还包括：从第二视频流中截取第一特定图像；将所述第一特定图像输入至训练后的井盖检测模型，得到所述第一特定图像中存在井盖的第一后验概率；在所述第一后验概率大于第一阈值的情况下，确定所述第一特定图像中存在井盖；在所述第一后验概率小于或等于所述第一阈值的情况下，确定所述第一特定图像中不存在井盖。
这样，在得到训练后的井盖检测模型之后，可以采用训练后的井盖检测模型对第一特定图像进行是否存在井盖进行检测，从而能够自动地确定第一特定图像中是否存在井盖，提高了井盖检测的自动化水平；并且，在检测到第一特定图像中存在井盖时，对第一特定图像中的井盖进行标注，从而用户能够容易地得知第一特定图像中井盖的相关信息，避免了由于井盖的颜色与井盖周围地面的颜色相近，导致用户不容易发现井盖位置的情况发生。
在一些实施例中，所述在所述第一后验概率大于第一阈值的情况下，确定所述第一特定图像中存在井盖之后，所述方法还包括：确定所述第一特定图像中井盖的目标位置信息和/或目标尺寸信息；在所述目标位置信息与设定位置信息之间的位置差距信息大于第二阈值，和/或，所述目标尺寸信息与设定尺寸信息之间的尺寸差距信息大于第三阈值的情况下，确定所述第一特定图像中井盖的位置变动和/或井盖破损；向电子设备发送第一告警通知；所述第一告警通知包括或指示以下至少之一：所述第一特定图像中井盖的地理位置信息、所述第一特定图像中井盖的位置变动和/或井盖破损的信息、所述第一特定图像中井盖的维护方式信息、维护所述第一特定图像中井盖的紧急程度信息。
这样，在确定第一特定图像中存在井盖的情况下，还可以确定第一特定图像中井盖的目标位置信息和/或目标尺寸信息，在目标位置信息与设定位置信息之间的位置差距信息过大的情况下，可以确定第一特定图像中井盖的位置发生变动，在目标尺寸信息与目标尺寸信息之间的尺寸差距信息过大的情况下，可以确定第一特定图像中的井盖破损，进而可以通过电子设备提醒用户井盖的位置发生移动或破损的信息，使得用户可以及时地对井盖进行维护。
在一些实施例中，所述在所述第一后验概率大于第一阈值的情况下，确定所述第一特定图像中存在井盖之后，所述方法还包括：从所述第二视频流中截取至少一个第二特定图像；在所述至少一个第二特定图像中均不存在井盖，且所述至少一个第二特定图像中与所述第一特定图像的井盖位置对应的位置处存在积水的情况下，确定所述第一特定图像中井盖被水淹没；向电子设备发送第二告警通知；所述第二告警通知包括或指示以下至少之一：所述第一特定图像中井盖的地理位置信息、所述第一特定图像中井盖被水淹没的信息、疏通所述第一特定图像中井盖的紧急程度信息。
这样，在确定第一特定图像中存在井盖的情况下，还可以继续截取至少一个第二特定图像，并在至少一个第二特定图像中均不存在井盖，且至少一个第二特定图像中与第一特定图像的井盖位置对应的位置均处存在积水的情况下，确定井盖被水淹没，进而可以通过电子设备提醒用户及时疏通井盖，从而避免了第一特定图像中的井盖堵塞水进入排水管道，导致道路淹没的情况发生。
在一些实施例中，所述在所述第一后验概率大于第一阈值的情况下，确定所述第一特定图像中存在井盖之后，所述方法还包括：从所述第二视频流中截取至少一个第三特定图像；在所述至少一个第三特定图像中均不存在井盖，且所述至少一个第三特定图像中与所述第一特定图像的井盖位置对应的位置周围均不存在路障、维护标识、维护人员中的至少一者的情况下，确定所述第一特定图像中井盖丢失；向电子设备发送第三告警通知；所述第三告警通知包括或指示以下至少之一：所述第一特定图像中井盖的地理位置信息、所述第一特定图像中井盖丢失的信息、所述第一特定图像中井盖的型号信息、可疑者的信息、补充所述第一特定图像中井盖的紧急程度。
这样，在确定第一特定图像中存在井盖的情况下，还可以继续截取至少一个第三特定图像，并在所述至少一个第三特定图像中均不存在井盖，且所述至少一个第三特定图像中与所述第一特定图像的井盖位置对应的位置周围均不存在路障、维护标识、维护人员中的至少一者的情况下，确定第一特定图像中的井盖丢失，进而可以通过电子设备提醒用户及时补充井盖，从而避免了井盖丢失可能导致的伤人、损车事件发生。
在一些实施例中，所述利用第二训练数据集对所述井盖检测模型进行训练之后，所述方法还包括：获取用于井盖检测的至少一张设定图像；所述设定图像是将从第三视频流中截取的待测试图像集输入至训练后的井盖检测模型，根据所述训练后的井盖检测模型输出的检测结果确定的；获取对所述至少一张设定图像人工标注而得到的标注后的至少一张设定图像；将所述标注后的至少一张设定图像作为训练样本合并到所述第二训练数据集，得到第三训练数据集；利用所述第三训练数据集对所述训练后的所述井盖检测模型进行训练。
这样，通过将标注后的至少一张设定图像作为训练样本合并到第二训练数据集，得到第三训练数据集，并采用第三训练数据集对训练后的井盖检测模型再次进行训练，从而再次得到的训练后的井盖检测模型能够更加适应不同场景下的井盖检测，并采用再次得到的训练后的井盖检测模型能够进一步提高井盖检测的准确性。
在一些实施例中，所述获取用于井盖检测的至少一张目标图像，包括：将所述待检测图像集输入至所述井盖检测模型，得到所述待检测图像集中每一帧待检测图像中存在井盖的第二后验概率；将所述第二后验概率中大于第一阈值的概率所对应的至少一帧检测图像，确定为所述至少一张目标图像。
这样，只有在第一后验概率大于第一阈值的情况下，才将该第一后验概率所对应的检测图像作为目标图像，从而能够降低误判概率，使得确定的目标图像中有尽可能大的概率存在井盖，进而提高了至少一张目标图像的价值水平。
在一些实施例中，所述方法还包括：根据所述第一视频流的属性信息，确定截取时间间隔；根据所述截取时间间隔，从所述第一视频流中截取所述待检测图像集；其中，所述属性信息包括以下至少之一：亮度信息、色温信息、对应的天气信息、井盖周围的人和/或车的数量信息、井盖的类型信息、井盖的形状信息、井盖的纹理信息、井盖的颜色信息、井盖的尺寸信息、井盖的地理位置信息。
这样，可以按照第一视频流的属性信息，确定一个合适的截取时间间隔，并根据截取时间间隔截取得到待检测图像集，从而根据第一视频流的属性信息确定需要较长的截取时间间隔时，可以以较长的截取时间间隔截取得到待检测图像集，进而提高了待检测图像集之间的差异度，而根据第一视频流的属性信息确定需要较短的截取时间间隔时，可以以较短的截取时间间隔截取得到待检测图像集，进而尽可能少的遗漏关键信息。
在一些实施例中，所述方法还包括：获取从第四视频流截取的训练图像集中对井盖的人工标注而得到的标注后的训练图像集，将所述标注后的训练图像集确定为所述第一训练数据集；其中，所述第一视频流包括多个第一摄像头中每一第一摄像头实时采集的视频流；所述第四视频流包括多个第二摄像头中每一第二摄像头实时采集的视频流；所述多个第一摄像头与所述多个第二摄像头至少部分相同，和/或，所述第一视频流的属性信息和所述第四视频流的属性信息不同。
这样，由于第一视频流是多个第一摄像头所采集的视频流，第四视频流是多个第二摄像头所采集的视频流，多个第一摄像头与多个第二摄像头至少部分相同，从而采用通过第一视频流确定的标注后的至少一张目标图像对井盖检测模型进行训练后的模型，能够更加适应不同的环境亮度、不同的环境色温、不同的天气信息、井盖周围不同的环境信息以及不同的井盖的特征信息中的至少一者，进而提高训练后的井盖检测模型在检测井盖时对井盖的特征信息、光照与环境的适应能力，从而快速提高训练后的井盖检测模型的性能。
第二方面，提供一种训练井盖检测模型的装置，包括：
获取单元，用于获取用于井盖检测的至少一张目标图像；所述目标图像是将从第一视频流中截取的待检测图像集输入至所述井盖检测模型，根据所述井盖检测模型输出的检测结果确定的；所述井盖检测模型是采用第一训练数据集进行训练的；
所述获取单元，还用于获取对所述至少一张目标图像人工标注而得到的标注后的至少一张目标图像；
合并单元，用于将所述标注后的至少一张目标图像作为训练样本合并到所述第一训练数据集，得到第二训练数据集；
训练单元，用于利用第二训练数据集对所述井盖检测模型进行训练。
第三方面，提供一种训练井盖检测模型的设备，包括：存储器和处理器，
所述存储器存储有可在所述处理器上运行的计算机程序，
所述处理器执行所述计算机程序时实现上述方法中的步骤。
第四方面，提供一种计算机存储介质，所述计算机存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述方法中的步骤。
在本申请实施例中，由于采用井盖检测模型从包括大量待检测图像的待检测图像集中，确定出对井盖检测模型的训练具有高价值的至少一张目标图像，从而将标注后的至少一张目标图像合并到第一训练数据集得到第二训练数据集，并采用第二训练数据集对井盖检测模型进行训练，进而不仅使得训练后的井盖检测模型在检测井盖时的检测结果更加准确，还能够通过有限的标注后的至少一张目标图像来有效提升井盖检测模型性能，使得深度学习时的计算成本低。
附图说明
图1为本申请实施例提供的一种训练井盖检测模型的方法的流程示意图；
图2为本申请实施例提供的一种井盖检测模型的架构示意图；
图3为本申请实施例提供的另一种训练井盖检测模型的方法的流程示意图；
图4为本申请实施例提供的又一种训练井盖检测模型的方法的流程示意图；
图5为本申请实施例提供的再一种训练井盖检测模型的方法的流程示意图；
图6为本申请另一实施例提供的一种训练井盖检测模型的方法的流程示意图；
图7为本申请又一实施例提供的一种训练井盖检测模型的方法的流程示意图；
图8为本申请实施例提供的一种井盖检测模型的训练过程的框架示意图；
图9为本申请实施例提供的一种训练井盖检测模型的装置的组成结构示意图；
图10为本申请实施例提供的一种训练井盖检测模型的设备的硬件实体示意图。
具体实施方式
下面将通过实施例并结合附图具体地对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
需要说明的是：在本申请实例中，“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
另外，本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
大规模井盖检测在智慧城市和安防检测中有着非常重要的作用，相比于常规的人和/或车检测，井盖检测具有更多的挑战。
井盖检测的难点至少在于：井盖是比较小的物体，在对小物体的检测时检测效果比较差；井盖种类较多，所处的背景比较复杂，很多井盖与井盖周围的环境背景颜色非常相近。
对人和/或车的检测方法一般是：采集数据样本，对数据样本进行标注，对标注后的数据样本进行训练得到检测模型。然而，由于井盖检测的特殊性，如果将对人和/或车的检测模型的训练方法应用于井盖，得到的用于井盖的检测模型很难满足需求。
基于此，本申请实施例提供了一种新的训练井盖检测模型的方法，不仅能够提高井盖检测模型在检测井盖时的准确度，还能够减少训练井盖检测模型的计算成本。
图1为本申请实施例提供的一种训练井盖检测模型的方法的流程示意图，如图1所示，该方法可以应用于训练井盖检测模型的设备，该方法包括：
S101、获取用于井盖检测的至少一张目标图像；目标图像是将从第一视频流中截取的待检测图像集输入至井盖检测模型，根据井盖检测模型输出的检测结果确定的；井盖检测模型是采用第一训练数据集进行训练的。
处理器、芯片、训练井盖检测模型的装置或训练井盖检测模型的设备可以执行本申请实施例的方法，处理器、芯片或训练井盖检测模型的装置可以应用于训练井盖检测模型的设备中，训练井盖检测模型的设备可以为任一能够进行模型训练的设备，例如，训练井盖检测模型的设备可以为设置在机房或管理中心的控制设备、服务器、云端设备、手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理、便捷式媒体播放器、智能音箱、导航装置、显示设备、智能手环等可穿戴设备、虚拟现实(Virtual Reality，VR)设备、增强现实(Augmented Reality，AR)设备、数字TV或者台式计算机等。训练井盖检测模型的设备可以与用于采集路面的一个或至少两个摄像头通信连接，从而可以接收到一个或至少两个摄像头发送的视频。在城市检测场景中，训练井盖检测模型的设备通常可以与很多的摄像头通信连接。
生活中有很多井盖，井盖按照类型可以分为：雨水井盖、污水井盖、阀门井盖或电力井盖等。井盖按照形状可以分为：圆形井盖、长方形井盖、椭圆形井盖或其它形状井盖等。井盖按照颜色信息可以分为：黑色井盖、灰色井盖、绿色井盖、红色井盖、蓝色井盖或具有涂鸦的井盖等。
至少一种目标图像中的每一个目标图像都可以用于井盖检测。其中，至少一种目标图像中可以包括存在井盖的图像，和/或，包括不存在井盖的图像。
在本申请实施例中，第一视频流包括至少两个第一摄像头中每一第一摄像头实时采集的视频流。这样，训练后的井盖检测模型能够适应不同的摄像头拍摄的不同场景下的井盖，从而扩展了训练后的井盖检测模型的应用范围。
在其它实施例中，第一视频流包括一个第一摄像头实时采集的视频流。这样，不同的摄像头能够确定不同的待检测图像集，不同的检测图像集可以对应不同的训练后的井盖检测模型，这样，一个井盖检测模型可以只对应一个摄像头，从而使得得到的井盖检测模型能够较为准确的检测到对应的摄像头拍摄的场景中是否存在井盖。
在一些实施例中，训练井盖检测模型的设备可以按照设定时长从第一视频流中截取待检测图像集。设定时长可以是在训练井盖检测模型的设备中存储的一个固定的时长，或者，设定时长可以根据用户需求进行改变。例如，设定时长可以是1秒钟至30分钟的任一时长，例如，设定时长可以为1秒、5秒、1分钟、10分钟或30分钟等。在另一些实施例中，训练井盖检测模型的设备可以根据实际情况(例如，第一视频流的属性信息)确定截取时间间隔，并根据该截取时间间隔从第一视频流中截取待检测图像集。
待检测图像集中待检测图像的数量可以根据实际情况来确定，在第一视频流对应的第一摄像头的数量较多时，表明井盖检测模型应用的场景较多且复杂，因此待检测图像集中可以包括较多数量的待检测图像；在第一视频流对应的第一摄像头的数量较少时，表明井盖检测模型应用的场景较少且简单，因此，待检测图像集中可以包括较少数量的待检测图像。
第一训练数据集可以包括标注后的训练图像集，训练图像集中包括多个训练图像，训练图像集中训练图像的数量可以根据训练任务的属性参数来确定，例如，在训练任务的属性参数表征检测环境简单(例如人和/或车流量较少的环境)时，可以将训练图像集中的训练图像的数量设置的少一些，在训练任务的属性参数表征检测环境复杂(例如商场附近的环境)时，可以将训练图像集中的训练图像的数量设置的多一些。经过多次分析和验证，为了平衡训练井盖检测模型所需的计算量和训练后的井盖检测模型在井盖检测时的准确性，训练图像集中包括的训练图像的数量可以在一千张至九千张之间，例如，训练图像集中的训练图像的数量可以为一千张、五千张或九千张等。
在本申请实施例中，训练井盖检测模型的设备可以通过以下方式获取第一训练数据：获取从第四视频流截取的训练图像集中的对井盖的人工标注而得到的标注后的训练图像集，将标注后的训练图像集确定为第一训练数据集。在其它实施例中，训练井盖检测模型的设备可以通过以下方式获取第一训练数据：获取多张不同形态的训练图像，对多张不同形态的训练图像进行人工标注，得到对井盖的人工标注的标注后的训练图像，将标注后的训练图像集确定为第一训练数据集；其中，不同形态的训练图像包括：不同图像中井盖的以下至少之一不同：亮度信息、色温信息、对应的天气信息、井盖周围的人和/或车的数量信息、井盖在图像中的位置信息、井盖的边界框信息、井盖的类型信息、井盖的形状信息、井盖的纹理信息、井盖的颜色信息、井盖的尺寸信息、井盖的地理位置信息。
在本申请实施例中，训练图像集中的每一个训练图像均可以包括井盖。在其它实施例中，训练图像集中的部分图像中可以包括井盖，而另一部分图像包括容易误判成井盖的其它对象。
标注后的训练图像集中的每一个训练图像中可以标注井盖的特征信息。特征信息包括以下至少之一：边界框信息、类型信息、形状信息、纹理信息、颜色信息、尺寸信息、地理位置信息。
其中，边界框信息可以包括边界框位置信息，边界框信息为用于描述井盖边界框位置和尺寸的信息，根据边界框信息可以确定井盖边界框在图像中的位置。具体的边界框位置信息可以包括以下至少之一：边界框X轴方向坐标、边界框Y轴方向坐标、边界框宽度和边界框高度。
在本申请实施例中，训练井盖检测模型的设备可以先根据第一训练数据训练得到井盖检测模型，然后将获取的待检测图像集输入到该井盖检测模型，以使该井盖检测模型输出待检测图像集的输出结果，基于输出结果得到从待检测图像集中选择出至少一张目标图像。至少一张目标图像可以是井盖检测模型认为的待检测图像集中包括井盖的图像。
需理解的是，本申请实施例中的第一训练数据集中包括的训练图像是标注后的图像，而待检测图像集中包括的待检测图像为未标注的图像。
由于采用第一训练数据集进行训练得到的井盖检测模型在检测井盖时的准确度不高，因此，可以根据至少一张目标图像继续对井盖检测模型进行训练，训练方法可以见S102和S103。
S102、获取对至少一张目标图像人工标注而得到的标注后的至少一张目标图像。
S103、将标注后的至少一张目标图像作为训练样本合并到第一训练数据集，得到第二训练数据集。
在一些实施例中，至少一张目标图像是井盖检测模型认为的包括井盖的图像，至少一张目标图像中的每一目标图像可以携带以下至少之一的标注信息：井盖的特征信息、井盖在目标图像中的位置信息、用于标识存在井盖的信息等。
例如，至少一张目标图像的每一目标图像上可以存在边界框信息。这样，在进行人工标注时，如果确定到至少一张目标图像中的某一张目标图像中包括井盖，且关于井盖的边界框信息标注正确时，可以将机器标注的结果作为人工标注结果；如果确定到至少一张目标图像中某一张目标图像中包括井盖，且关于井盖的边界框信息标注错误时，可以修正井盖的边界框信息，从而得到该目标图像的人工标注结果；如果确定到至少一张目标图像中某一张目标图像中不包括井盖时，可以除去该标注框信息并标注该目标图像中不存在井盖的信息。
在另一些实施例中，至少一张目标图像中每一目标图像可以不携带标注信息。这样，在进行人工标注时，可以对每一张目标图像中的井盖的特征信息、井盖在目标图像中的位置信息、用于标识存在井盖的信息等中的至少之一进行标注。
S104、利用第二训练数据集对井盖检测模型进行训练。
在本申请实施例中，由于采用井盖检测模型从包括大量待检测图像的待检测图像集中，确定出对井盖检测模型的训练具有高价值的至少一张目标图像，从而将标注后的至少一张目标图像合并到第一训练数据集得到第二训练数据集，并采用第二训练数据集对井盖检测模型进行训练，进而不仅使得训练后的井盖检测模型在检测井盖时的检测结果更加准确，还能够通过有限的标注后的至少一张目标图像来有效提升井盖检测模型性能，使得深度学习时的计算成本低。
图2为本申请实施例提供的一种井盖检测模型的架构示意图，如图2所示，本申请实施例中的井盖检测模型可以为RetinaNet网络模型，RetinaNet网络模型可以包括一个骨干网和N个包括分类子网和回归子网的网络，其中，分类子网和回归子网可以简称为分类和回归子网。骨干网用于计算和输出整个输入图像的卷积特征图。分类子网对骨干网的输出进行分类，回归子网用于对骨干网的输出执行卷积边框回归任务。
特征金字塔网络(Feature Pyramid Net，FPN)作为骨干网，建立在标准的深度残差网络(ResNet)之上。FPN通过自顶向下和横向连接扩展ResNet，生成丰富的多尺度卷积特征金字塔。ResNet的思想在于引入深度残差来解决梯度消失问题，即令卷积网络去学习残差映射。ResNet主要有2个最基本块(block)，其中一个基本块是标识块(Identity Block)，其输入和输出的维度保持相同，因此可以对该结构多次串联；另外一个基本块为卷积块(Conv Block)，其输入和输出的维度是不相同的，因此不能进行连续串联，卷积块的目的是为了改变输出特征向量的维度。
自下而上的路径(例如ResNet)可以用于特征提取，无论输入图像的大小如何，该路径会以不同的比例来计算特征图。自上而下的路径可以从较高的金字塔等级对空间上较粗糙的特征图进行上采样，并且横向连接将具有相同空间大小的自上而下的层和自下而上的层合并在一起。
分类子网是附加到FPN的每个层的小型全卷积网络。回归子网可以与分类子网络并行处理，其网络结构与分类子网几乎相同，但不共享参数。
在本申请实施例中，回归子网能够获取图像中不同的检测框，分类子网能够获取不同的检测框中的物体类别，在分类子网确定某一检测框中的物体类别为井盖的情况下，可以将该检测框作为该图像中井盖的边界框。
其中，图2中的W可以表示特征图的宽度，H可以表示特征图的高度，256、KA以及4A均表示图像的通道数或滤波器的数量。
在其它实施例中，井盖检测模型还可以采用其它的网络模型，例如基于区域的全卷积网络(Region-based Fully Convolutional Network，RFCN)模型或特征金字塔网络等，本申请实施例对井盖检测模型所采用的网络模型不做限制。
图3为本申请实施例提供的另一种训练井盖检测模型的方法的流程示意图，如图3所示，该方法可以应用于训练井盖检测模型的设备，至少一张目标图像包括第一目标图像和/或第二目标图像；该方法包括：
S301、获取用于井盖检测的至少一张目标图像。
在一些实施例中，至少一张目标图像的每一目标图像可以携带以下至少之一的标识信息：井盖的特征信息、井盖在目标图像中的位置信息、用于标识存在井盖的信息等。在另一些实施例中，至少一张目标图像的每一目标图像可以不携带标识信息。
S302、在至少一张目标图像的第一目标图像中存在井盖的情况下，对第一目标图像中井盖的特征信息、井盖在第一目标图像中的位置信息以及用于标识存在井盖的信息中的至少一者进行标注，得到标注后的第一目标图像。
第一目标图像或第二目标图像可以是一张图像或者至少两张图像。
在一些实施例中，在第一目标图像中携带井盖的特征信息、井盖在目标图像中的位置信息、用于标识存在井盖的信息等至少之一的标注信息情况下，用户可以确定第一目标图像中携带的信息是否准确，如果准确，则将该第一目标图像携带的标注信息确定为第一目标图像的人工标注结果，如果不准确，则对该第一目标图像携带的标注信息进行修改，得到第一目标图像的人工标注结果。
在另一些实施例中，在第一目标图像中不携带标注信息的情况下，用户可以通过可视化设备(例如，训练井盖检测模型的设备或电子设备)对第一目标图像中井盖的特征信息、井盖在第一目标图像中的位置信息以及用于标识存在井盖的信息中的至少一者进行标注。
S303、在至少一张目标图像的第二目标图像中不存在井盖的情况下，对第二目标图像进行不存在井盖信息的标注，得到标注后的第二目标图像。
在一些实施例中，如果第二目标图像中携带有标识信息，用户可以通过可视化设备对第二目标图像中携带的标识信息进行去除，并对第二目标图像进行不存在井盖信息的标注。
在另一些实施例中，如果第二目标图像中不携带标识信息，用户可以直接对第二目标图像进行不存在井盖信息的标注。
S304、将标注后的包括第一目标图像和/或第二目标图像的至少一张目标图像作为训练样本合并到第一训练数据集，得到第二训练数据集。
S305、利用第二训练数据集对井盖检测模型进行训练。
在本申请实施例中，由于采用第一训练数据集训练得到的井盖检测模型确定出的至少一张目标图像中，可能既具有存在井盖的目标图像，存在井盖的目标图像又称为正样例，又可能具有不存在井盖的目标图像，不存在井盖的目标图像又称为负样例，通过对正样例和负样例进行人工标注得到标注后的正样例和标注后的负样例，并将标注后的负样例和正样例输入到井盖检测模型中，负样例有助于优化井盖检测模型在真实场景下对误报的抑制，正样例有助于井盖检测模型快速地适应目前区域的井盖形状、光照与环境。
在得到训练后的井盖检测模型的情况下，可以采用训练后的井盖检测模型对图像进行检测。图4为本申请实施例提供的又一种训练井盖检测模型的方法的流程示意图，如图4所示，该方法可以应用于训练井盖检测模型的设备，该方法包括：
S401、获取用于井盖检测的至少一张目标图像。
S402、获取对至少一张目标图像人工标注而得到的标注后的至少一张目标图像。
S403、将标注后的至少一张目标图像作为训练样本合并到第一训练数据集，得到第二训练数据集。
S404、利用第二训练数据集对井盖检测模型进行训练。
S405、从第二视频流中截取第一特定图像。
第二视频流可以包括一个或多个第三摄像头实时采集的视频流。
在一些实施例中，一个或多个第三摄像头与一个或多个第一摄像头可以至少部分相同。在另一些实施例中，一个或多个第三摄像头中的任一个与一个或多个第一摄像头中的任一个均不同。
训练井盖检测模型的设备可以按照设定时长从第二视频流中截取图像，或者根据第二视频流的属性信息确定的截取时间间隔从第二视频流中截取图像。第一特定图像可以为从第二视频流中截取的当前图像。
S406、将第一特定图像输入至训练后的井盖检测模型，得到第一特定图像中存在井盖的第一后验概率。
S407、在第一后验概率大于第一阈值的情况下，确定第一特定图像中存在井盖。
在一些实施例中，训练井盖检测模型的设备可以不仅确定第一特定图像中存在井盖，还可以对第一特定图像中井盖的特征信息、井盖在第一特定图像中的位置信息以及用于标识存在井盖的信息中的至少一者进行标注。
S408、在第一后验概率小于或等于第一阈值的情况下，确定第一特定图像中不存在井盖。
在一些实施例中，训练井盖检测模型的设备可以不仅确定第一特定图像中不存在井盖，还可以对第一特定图像进行用于标识不存在井盖的信息的标注。
在一些实施例中，训练井盖检测模型的设备可以选择S407和S408中的任一者或两者来执行。
在本申请实施例中，在得到训练后的井盖检测模型之后，可以采用训练后的井盖检测模型对第一特定图像进行是否存在井盖进行检测，从而能够自动地确定第一特定图像中是否存在井盖，提高了井盖检测的自动化水平；并且，在检测到第一特定图像中存在井盖时，对第一特定图像中的井盖进行标注，从而用户能够容易地得知第一特定图像中井盖的相关信息，避免了由于井盖的颜色与井盖周围地面的颜色相近，导致用户不容易发现井盖位置的情况发生。
井盖常常会出现位置偏移或破损的问题，为了解决之一问题，本申请实施例中，在训练井盖检测模型的设备确定第一特定图像中存在井盖之后，训练井盖检测模型的设备还可以执行以下步骤A1至A3：
步骤A1、确定第一特定图像中井盖的目标位置信息和/或目标尺寸信息。
井盖的目标位置信息可以包括以下之一：井盖的边界框在图像中的位置信息、井盖在第一特定图像中的位置信息、基于井盖在第一特定图像中的位置信息确定的井盖的地理位置信息。
井盖的目标尺寸信息可以包括以下之一：井盖的边界框的尺寸信息、井盖在图像中的尺寸信息，基于井盖在图像中的尺寸信息确定的井盖的在真实环境中的尺寸信息。
步骤A2、在目标位置信息与设定位置信息之间的位置差距信息大于第二阈值，和/或，目标尺寸信息与设定尺寸信息之间的尺寸差距信息大于第三阈值的情况下，确定第一特定图像中井盖的位置变动和/或井盖破损。
设定位置信息可以是刚开始设置井盖时的位置信息，目标位置信息可以与设定位置信息相对应，例如，在目标位置信息为边界框在图像中的位置信息时，设定位置信息也应为边界框在图像中的位置信息。设定尺寸信息可以是刚开始设置井盖时的尺寸信息。
设定位置信息和/或设定尺寸信息可以存储于训练井盖检测模型的设备的存储器中。
能够理解地是，在位置差距信息大于第二阈值时，确定井盖的位置变动，在尺寸差距信息大于第三阈值时，确定井盖破损。
步骤A3、向电子设备发送第一告警通知；第一告警通知包括或指示以下至少之一：第一特定图像中井盖的地理位置信息、第一特定图像中井盖的位置变动和/或井盖破损的信息、第一特定图像中井盖的维护方式信息、维护第一特定图像中井盖的紧急程度信息。
电子设备可以是上述的可视化设备，或者，便于用户携带的终端设备，或者，本申请实施例中的训练井盖检测模型的设备包括的显示设备。
训练井盖检测模型的设备可以基于拍摄第一特定图像的摄像头和/或井盖在第一特定图像中的位置，来确定第一特定图像中井盖的地理位置信息。
井盖的位置变动信息可以包括井盖的位置变动量信息。井盖破损的信息可以包括井盖的破损程度信息和/或破损类型信息。
井盖的维护方式信息可以包括调整井盖位置和/或更换井盖等。
训练井盖检测模型的设备可以根据井盖周围的人流量和/或车流量等，确定维护第一特定图像中井盖的紧急程度信息。
在本申请实施例中，在确定第一特定图像中存在井盖的情况下，还可以确定第一特定图像中井盖的目标位置信息和/或目标尺寸信息，在目标位置信息与设定位置信息之间的位置差距信息过大的情况下，可以确定第一特定图像中井盖的位置发生变动，在目标尺寸信息与目标尺寸信息之间的尺寸差距信息过大的情况下，可以确定第一特定图像中的井盖破损，进而可以通过电子设备提醒用户井盖的位置发生移动或破损的信息，使得用户可以及时地对井盖进行维护。
城市道路中的排水井盖由于长时间不疏通，经常会导致排水井盖堵塞，导致在大雨或暴雨时无法及时排水，导致道路淹没的情况发生，为了解决这一问题，本申请实施例中，在训练井盖检测模型的设备确定第一特定图像中存在井盖之后，训练井盖检测模型的设备还可以执行以下步骤B1至B3：
步骤B1、从第二视频流中截取至少一个第二特定图像。
至少一个第二特定对象是在第一特定对象之后截取的。第一特定图像所对应的摄像头可以与至少一个第二特定图像中每一第二特定图像所对应的摄像头是同一个摄像头。在一些实施例中，训练井盖检测模型的设备可以每隔设定时长截取一个第二特定图像，从而得到至少一个第二特定图像。
步骤B2、在至少一个第二特定图像中均不存在井盖，且至少一个第二特定图像中与第一特定图像的井盖位置对应的位置处均存在积水的情况下，确定第一特定图像中井盖被水淹没。
步骤B3、向电子设备发送第二告警通知；第二告警通知包括或指示以下至少之一：第一特定图像中井盖的地理位置信息、第一特定图像中井盖被水淹没的信息、疏通第一特定图像中井盖的紧急程度信息。
在本申请实施例中，在确定第一特定图像中存在井盖的情况下，还可以继续截取至少一个第二特定图像，并在至少一个第二特定图像中均不存在井盖，且至少一个第二特定图像中与第一特定图像的井盖位置对应的位置均处存在积水的情况下，确定井盖被水淹没，进而可以通过电子设备提醒用户及时疏通井盖，从而避免了第一特定图像中的井盖堵塞水进入排水管道，导致道路淹没的情况发生。
城市中井盖丢失的现象层出不止，井盖的丢失会对行人和/或车辆造成巨大的伤害，为了解决这一问题，本申请实施例中，在训练井盖检测模型的设备确定第一特定图像中存在井盖之后，训练井盖检测模型的设备还可以执行以下步骤C1至C3：
步骤C1、从第二视频流中截取至少一个第三特定图像。
至少一个第三特定对象是在第一特定对象之后截取的。第一特定图像所对应的摄像头可以与至少一个第三特定图像中每一第三特定图像所对应的摄像头是同一个摄像头。在一些实施例中，训练井盖检测模型的设备可以每隔设定时长截取一个第三特定图像，从而得到至少一个第三特定图像。
步骤C2、在至少一个第三特定图像中均不存在井盖，且至少一个第三特定图像中与第一特定图像的井盖位置对应的位置周围均不存在路障、维护标识、维护人员中的至少一者的情况下，确定第一特定图像中井盖丢失。
步骤C3、向电子设备发送第三告警通知；第三告警通知包括或指示以下至少之一：第一特定图像中井盖的地理位置信息、第一特定图像中井盖丢失的信息、第一特定图像中井盖的型号信息、可疑者的信息、补充第一特定图像中井盖的紧急程度。
可疑者信息可以是对至少一个第三特定图像之前的一张或多张特定图像进行分析，得到的疑似盗取井盖的人。
在本申请实施例中，在确定第一特定图像中存在井盖的情况下，还可以继续截取至少一个第三特定图像，并在至少一个第三特定图像中均不存在井盖，且至少一个第三特定图像中与第一特定图像的井盖位置对应的位置周围均不存在路障、维护标识、维护人员中的至少一者的情况下，确定第一特定图像中的井盖丢失，进而可以通过电子设备提醒用户及时补充井盖，从而避免了井盖丢失可能导致的伤人、损车事件发生。
在本申请实施例中，在电子设备接收到第一告警通知、第二告警通知以及第三告警通知中的至少一者时，电子设备的显示屏可以显示该第一告警通知、第二告警通知以及第三告警通知中的至少一者。在一些实施例中，电子设备还可以发出告警声音来提醒相关工作人员，不同的告警通知所对应的告警声音可以相同或不同。
相关工作人员在看到第一告警通知、第二告警通知以及第三告警通知中的至少一者时，可以从显示屏上看到负责相关问题的技术人员的联系方式，或者，可以从训练井盖检测模型的设备中查找该技术人员的联系方式，进而联系该技术以解决问题。
在一些实施方式中，电子设备还可以与其它设备连接，其它设备可以是解决告警的分管理中心的显示设备，以使分管理者中心的相关人员进行问题处理。
为了继续提升井盖检测模型的性能，可以对训练后的井盖检测模型继续训练。图5为本申请实施例提供的再一种训练井盖检测模型的方法的流程示意图，如图5所示，该方法可以应用于训练井盖检测模型的设备，该方法包括：
S501、获取用于井盖检测的至少一张目标图像。
S502、获取对至少一张目标图像人工标注而得到的标注后的至少一张目标图像。
S503、将标注后的至少一张目标图像作为训练样本合并到第一训练数据集，得到第二训练数据集。
S504、利用第二训练数据集对井盖检测模型进行训练。
S505、获取用于井盖检测的至少一张设定图像；设定图像是将从第三视频流中截取的待测试图像集输入至训练后的井盖检测模型，根据训练后的井盖检测模型输出的检测结果确定的。
第三视频流可以包括一个或多个第四摄像头实时采集的视频流。
在一些实施例中，一个或多个第四摄像头与一个或多个第一摄像头可以至少部分相同。在另一些实施例中，一个或多个第四摄像头中的任一个与一个或多个第一摄像头中的任一个均不同。
训练井盖检测模型的设备可以按照设定时长从第三视频流中截取待测试图像，从而得到待测试图像集，或者，第三视频流的属性信息确定的截取时间间隔，从第三视频流中截取待测试图像，从而得到待测试图像集。
在一些实施例中，可以将待测试图像集输入至训练后的井盖检测模型后，得到每一帧待测试图像中存在井盖的第三后验概率，将第三后验概率中大于第一阈值的概率所对应的至少一帧待测试图像，确定为至少一张设定图像。
S506、获取对至少一张设定图像人工标注而得到的标注后的至少一张设定图像。
S507、将标注后的至少一张设定图像作为训练样本合并到第二训练数据集，得到第三训练数据集。
获取对至少一张设定图像人工标注的步骤，可以与S102中获取对至少一张目标图像人工标注的步骤类似，此处不作赘述。
S508、利用第三训练数据集对训练后的井盖检测模型进行训练。
在本申请实施例中，通过将标注后的至少一张设定图像作为训练样本合并到第二训练数据集，得到第三训练数据集，并采用第三训练数据集对训练后的井盖检测模型再次进行训练，从而再次得到的训练后的井盖检测模型能够更加适应不同场景下的井盖检测，并采用再次得到的训练后的井盖检测模型能够进一步提高井盖检测的准确性。
图6为本申请另一实施例提供的一种训练井盖检测模型的方法的流程示意图，如图6所示，该方法可以应用于训练井盖检测模型的设备，该方法包括：
S601、将待检测图像集输入至井盖检测模型，得到待检测图像集中每一帧待检测图像中存在井盖的第二后验概率。
S602、将第二后验概率中大于第一阈值的概率所对应的至少一帧检测图像，确定为至少一张目标图像。
在S602中，还可以执行对至少一帧检测图像的每一帧检测图像中井盖的特征信息、井盖在每一帧检测图像中的位置信息以及用于标识存在井盖的信息中的至少一者进行标注的步骤。
本申请实施例中的第一阈值可以根据实际情况来确定，例如，如果想要得到尽可能多的目标图像，可以将第一阈值设置的较小一点，如果想要得到的目标图像中有较大概率存在井盖的情况下，可以将第一阈值设置的较大一点。
S603、获取对至少一张目标图像人工标注而得到的标注后的至少一张目标图像。
S604、将标注后的至少一张目标图像作为训练样本合并到第一训练数据集，得到第二训练数据集。
S605、利用第二训练数据集对井盖检测模型进行训练。
在本申请实施例中，在第一后验概率大于第一阈值的情况下，才将该第一后验概率所对应的检测图像作为目标图像，从而能够降低误判概率，使得确定的目标图像中有尽可能大的概率存在井盖，进而提高了至少一张目标图像的价值水平。
图7为本申请又一实施例提供的一种训练井盖检测模型的方法的流程示意图，如图7所示，该方法可以应用于训练井盖检测模型的设备，该方法包括：
S701、获取从第四视频流截取的训练图像集中对井盖的人工标注而得到的标注后的训练图像集，将标注后的训练图像集确定为第一训练数据集。
本申请实施例中的第四视频流包括一个或多个第二摄像头中每一第二摄像头实时采集的视频流。
在一些实施例中，一个或多个第二摄像头与一个或多个第一摄像头可以至少部分相同。在另一些实施例中，一个或多个第二摄像头中的任一个与一个或多个第一摄像头中的任一个均不同。
训练井盖检测模型的设备可以按照设定时长从第四视频流中截取到训练图像集，或者根据第四视频流的属性信息确定的截取时间间隔从第四视频流中截取到训练图像集。
S702、采用第一训练数据集训练得到井盖检测模型。
在一些实施例中，训练井盖检测模型的设备可以获取初始检测模型，初始检测模型可以是初始的RetinaNet网络检测模型，然后采用第一训练数据集对初始检测模型训练得到井盖检测模型。
S703、根据第一视频流的属性信息，确定截取时间间隔。
在一些实施例中，第一视频流的属性信息和第四视频流的属性信息不同。在一些实施例中，第一视频流的属性信息、第二视频流的属性信息、第三视频流的属性信息以及第四视频流的属性信息中的任两者可以相同或不同。
本申请实施例中的第一视频流、第二视频流、第三视频流以及第四视频流中的至少一者的属性信息可以包括以下至少之一：亮度信息、色温信息、对应的天气信息、井盖周围的人和/或车的数量信息、井盖的类型信息、井盖的形状信息、井盖的纹理信息、井盖的颜色信息、井盖的尺寸信息、井盖的地理位置信息。
例如，在一些实施例中，如果第一视频流中井盖周围的人和/或车的数量信息较高时，确定此时是人流的高峰期，确定的截取时间间隔可以较小，如果第一视频流中井盖周围的人和/或车的数量信息较低时，确定此时是人流的低谷期，确定的截取时间间隔可以较大。
S704、根据截取时间间隔，从第一视频流中截取待检测图像集。
训练井盖检测模型的设备可以每隔截取时间间隔，从第一视频流中截取一个待检测图像，从而得到待检测图像集。
S705、将待检测图像集输入至井盖检测模型，得到待检测图像集中每一帧待检测图像中存在井盖的第二后验概率。
S706、将第二后验概率中大于第一阈值的概率所对应的至少一帧检测图像，确定为至少一张目标图像。
S707、获取对至少一张目标图像人工标注而得到的标注后的至少一张目标图像，将标注后的至少一张目标图像作为训练样本合并到第一训练数据集，得到第二训练数据集。
S708、利用第二训练数据集对井盖检测模型进行训练。
在本申请实施例中，可以按照第一视频流的属性信息，确定一个合适的截取时间间隔，并根据截取时间间隔截取得到待检测图像集，从而根据第一视频流的属性信息确定需要较长的截取时间间隔时，可以以较长的截取时间间隔截取得到待检测图像集，进而提高了待检测图像集之间的差异度，而根据第一视频流的属性信息确定需要较短的截取时间间隔时，可以以较短的截取时间间隔截取得到待检测图像集，进而尽可能少的遗漏关键信息。
在本申请实施例中，由于第一视频流是多个第一摄像头所采集的视频流，第四视频流是多个第二摄像头所采集的视频流，多个第一摄像头与多个第二摄像头至少部分相同，从而采用通过第一视频流确定的标注后的至少一张目标图像对井盖检测模型进行训练后的模型，能够更加适应多个第一摄像头中与第二摄像头相同的摄像头所拍摄的场景，进而提高训练后的井盖检测模型在检测井盖时的场景适应能力。
在本申请实施例中，采用通过第一视频流确定的标注后的至少一张目标图像对井盖检测模型进行训练后的模型，能够更加适应不同的环境亮度、不同的环境色温、不同的天气信息、井盖周围不同的环境信息以及不同的井盖的特征信息中的至少一者，进而提高训练后的井盖检测模型在检测井盖时对井盖的特征信息、光照与环境的适应能力，从而快速提高训练后的井盖检测模型的性能。
图8为本申请实施例提供的一种井盖检测模型的训练过程的框架示意图，如图8所示，对井盖检测模型的训练可以分为目标检测模型训练和数据挖掘标注。
在目标检测模型训练中，需要真实场景下的小部分井盖检测冷启动数据，通常通过手动在城市视频流中截帧并标注来采集得到，数据量级在千张即可。在具备冷启动数据之后，基于RetinaNet目标检测网络，训练井盖检测模型。
其中，目标检测模型可以是上述任一实施例中的井盖检测模型；冷启动数据可以为上述任一实施例中的第一训练数据集；城市视频流可以是上述实施例中的第一视频流、第二视频流、第三视频流、第四视频流中一个或至少两个的结合。
在数据挖掘标注中，基于得到的井盖检测模型，在城市视频流中运行数据挖掘流程。城市视频流通常包含几百至几千路摄像头点位的实时视频，需要对其进行截帧操作，即每隔设定时长抽取一个视频帧。通常设定时长可以设置为5秒钟，也可按照实际需求设置。通过这种截帧操作可以从城市视频流得到大量图片数据供后续挖掘(也可以通过对大量级城市采集视频截帧或者直接输入大量采集图片来供后续挖掘)。数据挖掘流程可以通过以下方式来实现：在截取的大量视频帧上运行井盖检测模型并得到模型判断的后验概率，当后验概率大于阈值t(上述的第一阈值)时，此图片数据被认定为需要挖掘标注的数据。可以对所有的需要挖掘标注的数据进行人工标注，并且合并到冷启动数据中。此过程会采集较多真实场景正样例图片，也可能产生较多负样例误报，负样例误报加入模型训练有助于优化模型在真实场景下对误报的抑制，正样例有助于模型快速适应目前区域的井盖形状、光照与环境。每隔一段时间，累积了足够的挖掘合并图片后，重复进行井盖检测模型训练，新的模型会更加适应目前实战场景的井盖形状、光照与环境，并快速提高性能。
继续参阅图8，本申请实施例中，首先对城市视频流进行截帧操作，对截帧得到的冷启动数据集训练得到井盖检测模型。然后通过井盖检测模型挖掘出挖掘数据(即上述实施例中的至少一张目标图像)，将标注后的挖掘数据合并到冷启动数据集中，并最后采用合并后的冷启动数据集中的模型数据对井盖检测模型进行模型训练。其中，冷启动数据集可以是上述的第一训练数据集，合并后的冷启动数据集可以是上述的第二训练数据集或者第三训练数据集。
在本申请实施例中，通过数据挖掘技术从实战城市视频流挖掘高价值数据并合并到训练集中进行井盖检测模型训练，使得模型可以在节省人力算力的情况下快速适应到复杂实战环境中并提升性能。通过本申请实施例中的模型训练方法，采用主动学习的方式，可在巨量的未标注数据中挖掘对于模型提升有帮助的潜在高价值样本，可在有限的标注与计算资源环境下有效提升模型性能，大量节省深度学习模型应用新的业务上所需的人力以及计算成本。
从用户的角度来看，用户可以使用本训练井盖检测模型的方法，在有限的人工以及计算资源下，在线上对于智能视频分析或者智能检测中潜在的目标检测应用进行快速迭代提升，用较小的人力和计算成本快速达到业务所需的性能要求，并能在之后继续持续提升模型性能。
基于前述的实施例，本申请实施例提供一种训练井盖检测模型的装置，该装置包括所包括的各单元、以及各单元所包括的各模块，可以通过训练井盖检测模型的设备中的处理器来实现；当然也可通过具体的逻辑电路实现。
图9为本申请实施例提供的一种训练井盖检测模型的装置的组成结构示意图，如图9所示，训练井盖检测模型的装置900包括：
获取单元901，用于获取用于井盖检测的至少一张目标图像；目标图像是将从第一视频流中截取的待检测图像集输入至井盖检测模型，根据井盖检测模型输出的检测结果确定的；井盖检测模型是采用第一训练数据集进行训练的；获取对至少一张目标图像人工标注而得到的标注后的至少一张目标图像；合并单元902，用于将标注后的至少一张目标图像作为训练样本合并到第一训练数据集，得到第二训练数据集；训练单元903，用于利用第二训练数据集对井盖检测模型进行训练。
在一些实施例中，至少一张目标图像包括第一目标图像和/或第二目标图像，合并单元902，还用于在至少一张目标图像的第一目标图像中存在井盖的情况下，对第一目标图像中井盖的特征信息、井盖在第一目标图像中的位置信息以及用于标识存在井盖的信息中的至少一者进行标注，得到标注后的第一目标图像；在至少一张目标图像的第二目标图像中不存在井盖的情况下，对第二目标图像进行不存在井盖信息的标注，得到标注后的第二目标图像；其中，特征信息包括以下至少之一：边界框信息、类型信息、形状信息、纹理信息、颜色信息、尺寸信息、地理位置信息。
在一些实施例中，获取单元901，还用于从第二视频流中截取第一特定图像；将第一特定图像输入至训练后的井盖检测模型，得到第一特定图像中存在井盖的第一后验概率；训练井盖检测模型的装置900还包括：检测单元904，用于在第一后验概率大于第一阈值的情况下，确定第一特定图像中存在井盖；在第一后验概率小于或等于第一阈值的情况下，确定第一特定图像中不存在井盖。
在一些实施例中，检测单元904，还用于确定第一特定图像中井盖的目标位置信息和/或目标尺寸信息；在目标位置信息与设定位置信息之间的位置差距信息大于第二阈值，和/或，目标尺寸信息与设定尺寸信息之间的尺寸差距信息大于第三阈值的情况下，确定第一特定图像中井盖的位置变动和/或井盖破损；
训练井盖检测模型的装置900还包括：告警单元905，用于向电子设备发送第一告警通知；第一告警通知包括或指示以下至少之一：第一特定图像中井盖的地理位置信息、第一特定图像中井盖的位置变动和/或井盖破损的信息、第一特定图像中井盖的维护方式信息、维护第一特定图像中井盖的紧急程度信息。
在一些实施例中，检测单元904，还用于从第二视频流中截取至少一个第二特定图像；在至少一个第二特定图像中均不存在井盖，且至少一个第二特定图像中与第一特定图像的井盖位置对应的位置处均存在积水的情况下，确定第一特定图像中井盖被水淹没；
告警单元905，还用于向电子设备发送第二告警通知；第二告警通知包括或指示以下至少之一：第一特定图像中井盖的地理位置信息、第一特定图像中井盖被水淹没的信息、疏通第一特定图像中井盖的紧急程度信息。
在一些实施例中，检测单元904，还用于从第二视频流中截取至少一个第三特定图像；在至少一个第三特定图像中均不存在井盖，且至少一个第三特定图像中与第一特定图像的井盖位置对应的位置周围均不存在路障、维护标识、维护人员中的至少一者的情况下，确定第一特定图像中井盖丢失；
告警单元905，还用于向电子设备发送第三告警通知；第三告警通知包括或指示以下至少之一：第一特定图像中井盖的地理位置信息、第一特定图像中井盖丢失的信息、第一特定图像中井盖的型号信息、可疑者的信息、补充第一特定图像中井盖的紧急程度。
在一些实施例中，获取单元901，还用于获取用于井盖检测的至少一张设定图像；设定图像是将从第三视频流中截取的待测试图像集输入至训练后的井盖检测模型，根据训练后的井盖检测模型输出的检测结果确定的；获取对至少一张设定图像人工标注而得到的标注后的至少一张设定图像；合并单元902，还用于将标注后的至少一张设定图像作为训练样本合并到第二训练数据集，得到第三训练数据集；训练单元903，还用于利用第三训练数据集对训练后的井盖检测模型进行训练。
在一些实施例中，获取单元901，还用于将待检测图像集输入至井盖检测模型，得到待检测图像集中每一帧待检测图像中存在井盖的第二后验概率；将第二后验概率中大于第一阈值的概率所对应的至少一帧检测图像，确定为至少一张目标图像。
在一些实施例中，获取单元901，还用于根据第一视频流的属性信息，确定截取时间间隔；根据截取时间间隔，从第一视频流中截取待检测图像集；其中，所述属性信息包括以下至少之一：亮度信息、色温信息、对应的天气信息、井盖周围的人和/或车的数量信息、井盖的类型信息、井盖的形状信息、井盖的纹理信息、井盖的颜色信息、井盖的尺寸信息、井盖的地理位置信息。
在一些实施例中，获取单元901，还用于获取从第四视频流截取的训练图像集中对井盖的人工标注而得到的标注后的训练图像集，将所述标注后的训练图像集确定为所述第一训练数据集；其中，所述第一视频流包括多个第一摄像头中每一第一摄像头实时采集的视频流；所述第四视频流包括多个第二摄像头中每一第二摄像头实时采集的视频流；所述多个第一摄像头与所述多个第二摄像头至少部分相同，和/或，所述第一视频流的属性信息和所述第四视频流的属性信息不同。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的模式控制方法，并作为独立的产品销售或使用时，也可以存储在一个计算机存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机存储介质中，包括若干指令用以使得一台训练井盖检测模型的设备执行本申请各个实施例所述方法的全部或部分。
需要说明的是，图10为本申请实施例提供的一种训练井盖检测模型的设备的硬件实体示意图，如图10所示，该训练井盖检测模型的设备1000的硬件实体包括：处理器1001和存储器1002，其中，存储器1002存储有可在处理器1001上运行的计算机程序，处理器1001执行程序时实现上述任一实施例的方法中的步骤。
上述处理器1001可以为特定用途集成电路(Application Specific IntegratedCircuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(Programmable LogicDevice，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、中央处理器(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)、神经网络处理器(Neural Network Processing Unit，NPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。
存储器1002存储有可在处理器上运行的计算机程序，存储器1002配置为存储由处理器1001可执行的指令和应用，还可以缓存待处理器1001以及训练井盖检测模型的设备1000中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random Access Memory，RAM)实现。
处理器1001执行程序时实现上述任一项的训练井盖检测模型的方法的步骤。处理器1001通常控制制训练井盖检测模型的设备1000的总体操作。
本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现如上任一实施例的训练井盖检测模型的方法的步骤。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
上述计算机存储介质/存储器1002可以是只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory，FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”或“本申请实施例”或“前述实施例”或“一些实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“本申请实施例”或“前述实施例”或“一些实施例”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在未做特殊说明的情况下，训练井盖检测模型的设备执行本申请实施例中的任一步骤，可以是训练井盖检测模型的设备的处理器执行该步骤。除非特殊说明，本申请实施例并不限定训练井盖检测模型的设备执行下述步骤的先后顺序。另外，不同实施例中对数据进行处理所采用的方式可以是相同的方法或不同的方法。还需说明的是，本申请实施例中的任一步骤是训练井盖检测模型的设备可以独立执行的，即训练井盖检测模型的设备执行上述实施例中的任一步骤时，可以不依赖于其它步骤的执行。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请实施例中，在未作说明的情况下，多个可以至两个或两个以上。
以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种训练井盖检测模型的方法，其特征在于，所述方法包括：
获取用于井盖检测的至少一张目标图像；所述目标图像是将从第一视频流中截取的待检测图像集输入至所述井盖检测模型，根据所述井盖检测模型输出的检测结果确定的；所述井盖检测模型是采用第一训练数据集进行训练的；
获取对所述至少一张目标图像人工标注而得到的标注后的至少一张目标图像；
将所述标注后的至少一张目标图像作为训练样本合并到所述第一训练数据集，得到第二训练数据集；
利用第二训练数据集对所述井盖检测模型进行训练。
2.根据权利要求1所述的方法，其特征在于，所述至少一张目标图像包括第一目标图像和/或第二目标图像；所述获取对所述至少一张目标图像人工标注而得到的标注后的至少一张目标图像，包括：
在所述至少一张目标图像的所述第一目标图像中存在井盖的情况下，对所述第一目标图像中井盖的特征信息、井盖在所述第一目标图像中的位置信息以及用于标识存在井盖的信息中的至少一者进行标注，得到标注后的第一目标图像；
在所述至少一张目标图像的所述第二目标图像中不存在井盖的情况下，对所述第二目标图像进行不存在井盖信息的标注，得到标注后的第二目标图像；
其中，所述特征信息包括以下至少之一：边界框信息、类型信息、形状信息、纹理信息、颜色信息、尺寸信息、地理位置信息。
3.根据权利要求1或2所述的方法，其特征在于，所述利用第二训练数据集对所述井盖检测模型进行训练之后，所述方法还包括：
从第二视频流中截取第一特定图像；
将所述第一特定图像输入至训练后的井盖检测模型，得到所述第一特定图像中存在井盖的第一后验概率；
在所述第一后验概率大于第一阈值的情况下，确定所述第一特定图像中存在井盖；
在所述第一后验概率小于或等于所述第一阈值的情况下，确定所述第一特定图像中不存在井盖。
4.根据权利要求3所述的方法，其特征在于，所述在所述第一后验概率大于第一阈值的情况下，确定所述第一特定图像中存在井盖之后，所述方法还包括：
确定所述第一特定图像中井盖的目标位置信息和/或目标尺寸信息；
在所述目标位置信息与设定位置信息之间的位置差距信息大于第二阈值，和/或，所述目标尺寸信息与设定尺寸信息之间的尺寸差距信息大于第三阈值的情况下，确定所述第一特定图像中井盖的位置变动和/或井盖破损；
向电子设备发送第一告警通知；所述第一告警通知包括或指示以下至少之一：所述第一特定图像中井盖的地理位置信息、所述第一特定图像中井盖的位置变动和/或井盖破损的信息、所述第一特定图像中井盖的维护方式信息、维护所述第一特定图像中井盖的紧急程度信息。
5.根据权利要求3或4所述的方法，其特征在于，所述在所述第一后验概率大于第一阈值的情况下，确定所述第一特定图像中存在井盖之后，所述方法还包括：
从所述第二视频流中截取至少一个第二特定图像；
在所述至少一个第二特定图像中均不存在井盖，且所述至少一个第二特定图像中与所述第一特定图像的井盖位置对应的位置处均存在积水的情况下，确定所述第一特定图像中井盖被水淹没；
向电子设备发送第二告警通知；所述第二告警通知包括或指示以下至少之一：所述第一特定图像中井盖的地理位置信息、所述第一特定图像中井盖被水淹没的信息、疏通所述第一特定图像中井盖的紧急程度信息。
6.根据权利要求3至5任一项所述的方法，其特征在于，所述在所述第一后验概率大于第一阈值的情况下，确定所述第一特定图像中存在井盖之后，所述方法还包括：
从所述第二视频流中截取至少一个第三特定图像；
在所述至少一个第三特定图像中均不存在井盖，且所述至少一个第三特定图像中与所述第一特定图像的井盖位置对应的位置周围均不存在路障、维护标识、维护人员中的至少一者的情况下，确定所述第一特定图像中井盖丢失；
向电子设备发送第三告警通知；所述第三告警通知包括或指示以下至少之一：所述第一特定图像中井盖的地理位置信息、所述第一特定图像中井盖丢失的信息、所述第一特定图像中井盖的型号信息、可疑者的信息、补充所述第一特定图像中井盖的紧急程度。
7.根据权利要求1或2所述的方法，其特征在于，所述利用第二训练数据集对所述井盖检测模型进行训练之后，所述方法还包括：
获取用于井盖检测的至少一张设定图像；所述设定图像是将从第三视频流中截取的待测试图像集输入至训练后的井盖检测模型，根据所述训练后的井盖检测模型输出的检测结果确定的；
获取对所述至少一张设定图像人工标注而得到的标注后的至少一张设定图像；
将所述标注后的至少一张设定图像作为训练样本合并到所述第二训练数据集，得到第三训练数据集；
利用所述第三训练数据集对所述训练后的所述井盖检测模型进行训练。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述获取用于井盖检测的至少一张目标图像，包括：
将所述待检测图像集输入至所述井盖检测模型，得到所述待检测图像集中每一帧待检测图像中存在井盖的第二后验概率；
将所述第二后验概率中大于第一阈值的概率所对应的至少一帧检测图像，确定为所述至少一张目标图像。
9.根据权利要求1至8任一项所述的方法，其特征在于，所述方法还包括：
根据所述第一视频流的属性信息，确定截取时间间隔；
根据所述截取时间间隔，从所述第一视频流中截取所述待检测图像集；
其中，所述属性信息包括以下至少之一：亮度信息、色温信息、对应的天气信息、井盖周围的人和/或车的数量信息、井盖的类型信息、井盖的形状信息、井盖的纹理信息、井盖的颜色信息、井盖的尺寸信息、井盖的地理位置信息。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
获取从第四视频流截取的训练图像集中对井盖的人工标注而得到的标注后的训练图像集，将所述标注后的训练图像集确定为所述第一训练数据集；
其中，所述第一视频流包括多个第一摄像头中每一第一摄像头实时采集的视频流；所述第四视频流包括多个第二摄像头中每一第二摄像头实时采集的视频流；所述多个第一摄像头与所述多个第二摄像头至少部分相同，和/或，所述第一视频流的属性信息和所述第四视频流的属性信息不同。
11.一种训练井盖检测模型的装置，其特征在于，包括：
获取单元，用于获取用于井盖检测的至少一张目标图像；所述目标图像是将从第一视频流中截取的待检测图像集输入至所述井盖检测模型，根据所述井盖检测模型输出的检测结果确定的；所述井盖检测模型是采用第一训练数据集进行训练的；
所述获取单元，还用于获取对所述至少一张目标图像人工标注而得到的标注后的至少一张目标图像；
合并单元，用于将所述标注后的至少一张目标图像作为训练样本合并到所述第一训练数据集，得到第二训练数据集；
训练单元，用于利用第二训练数据集对所述井盖检测模型进行训练。
12.一种训练井盖检测模型的设备，其特征在于，包括：存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述方法中的步骤。
13.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至10中任一项所述方法中的步骤。
CN202110460708.5A 2021-04-27 2021-04-27 训练井盖检测模型的方法、装置、设备及计算机存储介质 Pending CN113139477A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110460708.5A CN113139477A (zh) 2021-04-27 2021-04-27 训练井盖检测模型的方法、装置、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110460708.5A CN113139477A (zh) 2021-04-27 2021-04-27 训练井盖检测模型的方法、装置、设备及计算机存储介质

Publications (1)

Publication Number Publication Date
CN113139477A true CN113139477A (zh) 2021-07-20

Family

ID=76816156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110460708.5A Pending CN113139477A (zh) 2021-04-27 2021-04-27 训练井盖检测模型的方法、装置、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN113139477A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724259A (zh) * 2021-11-03 2021-11-30 城云科技（中国）有限公司 井盖异常检测方法、装置及其应用
CN116310764A (zh) * 2023-05-18 2023-06-23 西南交通大学 一种路面井盖智能检测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697468A (zh) * 2018-12-24 2019-04-30 苏州科达科技股份有限公司 样本图像的标注方法、装置及存储介质
CN111914634A (zh) * 2020-06-23 2020-11-10 华南理工大学 一种抗复杂场景干扰的井盖类别自动检测方法和系统
CN111967429A (zh) * 2020-08-28 2020-11-20 清华大学 一种基于主动学习的行人重识别模型训练方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697468A (zh) * 2018-12-24 2019-04-30 苏州科达科技股份有限公司 样本图像的标注方法、装置及存储介质
CN111914634A (zh) * 2020-06-23 2020-11-10 华南理工大学 一种抗复杂场景干扰的井盖类别自动检测方法和系统
CN111967429A (zh) * 2020-08-28 2020-11-20 清华大学 一种基于主动学习的行人重识别模型训练方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724259A (zh) * 2021-11-03 2021-11-30 城云科技（中国）有限公司 井盖异常检测方法、装置及其应用
CN116310764A (zh) * 2023-05-18 2023-06-23 西南交通大学 一种路面井盖智能检测方法及系统
CN116310764B (zh) * 2023-05-18 2023-07-21 西南交通大学 一种路面井盖智能检测方法及系统

Similar Documents

Publication Publication Date Title
EP3806064B1 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN104766086B (zh) 一种公路标识的监管方法和系统
CN109409238B (zh) 一种障碍物检测方法、装置及终端设备
Tae-Hyun et al. Detection of traffic lights for vision-based car navigation system
CN110659546B (zh) 一种违法摊位检测方法及装置
JP6653361B2 (ja) 路面標示画像処理装置、路面標示画像処理方法及び路面標示画像処理プログラム
CN109740444B (zh) 人流量信息展示方法及相关产品
CN104616021A (zh) 交通标志图像处理方法及装置
CN109583345A (zh) 道路识别方法、装置、计算机装置及计算机可读存储介质
CN110659391A (zh) 一种视频侦查方法及装置
CN113139477A (zh) 训练井盖检测模型的方法、装置、设备及计算机存储介质
JP3466169B2 (ja) 道路や周辺施設等の管理システム
CN112149649B (zh) 一种道路抛洒物检测方法、计算机设备及存储介质
CN110636281B (zh) 一种基于背景模型的监控摄像头遮挡实时检测方法
US20160180201A1 (en) Image processing
CN106339657A (zh) 基于监控视频的秸秆焚烧监测方法、装置
CN114299457A (zh) 积水深度检测方法及装置
CN113505643B (zh) 违章目标物检测方法及相关装置
CN113378668A (zh) 积水类别的确定方法、装置、设备及存储介质
CN114926791A (zh) 一种路口车辆异常变道检测方法、装置、存储介质及电子设备
CN112084892B (zh) 一种道路异常事件检测管理装置及其方法
CN108898098A (zh) 基于监控平台的早期视频烟雾检测方法
CN114049488A (zh) 一种多维信息融合的远距离弱小目标检测方法和终端
CN113743151A (zh) 一种检测路面抛洒物的方法、装置及存储介质
CN110852172B (zh) 一种基于Cycle Gan图片拼贴并增强的扩充人群计数数据集的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210720

RJ01 Rejection of invention patent application after publication