CN112613370A - 目标缺损的检测方法、设备及计算机存储介质 - Google Patents

目标缺损的检测方法、设备及计算机存储介质 Download PDF

Info

Publication number
CN112613370A
CN112613370A CN202011483561.3A CN202011483561A CN112613370A CN 112613370 A CN112613370 A CN 112613370A CN 202011483561 A CN202011483561 A CN 202011483561A CN 112613370 A CN112613370 A CN 112613370A
Authority
CN
China
Prior art keywords
target
image
frame
preset
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011483561.3A
Other languages
English (en)
Inventor
王耀农
廖炳焱
王亚运
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202011483561.3A priority Critical patent/CN112613370A/zh
Publication of CN112613370A publication Critical patent/CN112613370A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种目标缺损的检测方法、设备及计算机存储介质，该目标缺损的检测方法包括：获取待检测区域的多帧图像；对多帧图像进行非目标检测，得到非目标的位置信息；利用非目标的位置信息对每帧图像中的非目标进行剔除；对剔除非目标后的多帧图像进行目标预测，以融合目标预测后的多帧图像，得到目标图像，目标图像包括目标预测结果；利用目标图像与预设图像之间的相似度确定待检测区域中目标的缺损程度。上述方案，提高了目标检测的准确性。

Description

目标缺损的检测方法、设备及计算机存储介质
技术领域
本申请涉及智能交通技术领域，特别是涉及一种目标缺损的检测方法、设备及计算机存储介质。
背景技术
随着我国经济的快速发展，道路建设也在飞速的发展。在城市复杂道路环境中，地面标线是驾驶员安全驾驶的重要参考，能够有效引导驾驶员安全驾驶。然而，由于车流量巨大，造成地面标线磨损严重并呈现不清晰的状态，使得驾驶员做出错误的判断，导致交通事故的发生。
现有技术中，通常利用巡逻车按照既定路线巡逻，以观察地面标线的状态，但存在由于遮挡、盲区等问题造成检测遗漏，导致地面标线检测准确性低。
发明内容
本申请至少提供一种目标缺损的检测方法、设备及计算机存储介质，能够提高目标检测的准确性。
本申请第一方面提供了一种目标缺损的检测方法，所述目标缺损的检测方法包括：
获取待检测区域的多帧图像；
对所述多帧图像进行非目标检测，得到非目标的位置信息；
利用所述非目标的位置信息对所述每帧图像中的非目标进行剔除；
对剔除非目标后的多帧图像进行目标预测，以融合目标预测后的多帧图像，得到目标图像，所述目标图像包括目标预测结果；
利用所述目标图像与预设图像之间的相似度确定所述待检测区域中目标的缺损程度。
本申请第二方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的目标缺损的检测方法。
本申请第三方面提供了一种计算机存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的目标缺损的检测方法。
本申请中获取待检测区域的多帧图像；对多帧图像进行非目标检测，得到非目标的位置信息；利用非目标的位置信息对每帧图像中的非目标进行剔除；对剔除非目标后的多帧图像进行目标预测，以融合目标预测后的多帧图像，得到目标图像，目标图像包括目标预测结果；利用目标图像与预设图像之间的相似度确定待检测区域中目标的缺损程度。目标缺损检测装置通过检测非目标，并在每帧图像中剔除非目标，利用剔除非目标的多帧图像进行目标的预测，以确定目标的缺损程度，避免了非目标对目标预测的影响，提高了目标检测的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1是本申请提供的目标缺损的检测方法一实施例的流程示意图；
图2是图1所示的目标缺损的检测方法中S104一实施例的流程示意图；
图3是本申请提供的目标缺损的检测方法中多尺度级联技术的示意图；
图4是图1所示的目标缺损的检测方法中S105一实施例的流程示意图；
图5是本申请提供的目标缺损的检测方法中孪生网络的示意图；
图6是本申请提供的目标缺损的检测方法中目标图像中目标类别的简易示意图；
图7是图1所示的目标缺损的检测方法中S101一实施例的流程示意图；
图8是图1所示的目标缺损的检测方法中S103之后一实施例的流程示意图；
图9是本申请提供的目标缺损检测装置一实施例的框架示意图；
图10是本申请提供的电子设备一实施例的框架示意图；
图11是本申请提供的计算机存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
本申请提出了一种目标缺损的检测方法，可应用于检测地面标线的缺损程度。请参阅图1，图1是本申请提供的目标缺损的检测方法一实施例的流程示意图。
其中，目标缺损的检测方法的执行主体可以是目标缺损检测装置，例如，目标缺损的检测方法可以由电子设备或服务器或其它处理设备执行，其中，电子设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该目标缺损的检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
具体而言，本实施例的目标缺损的检测方法包括如下步骤：
S101：获取待检测区域的多帧图像。
本公开实施例中，考虑到交通场景下往来车辆较多，车辆出现在同一交通场景下的位置不固定。由此，本实施例的目标缺损检测装置获取同一区域下的多帧初始图像。其中，初始图像包括车辆行驶区域和其他区域。
进一步地，为了避免其他区域对检测车辆行驶区域中地面标线的影响，本实施例的目标缺损检测装置获取待检测区域的多帧图像。
其中，待检测区域即车辆行驶区域，其他区域可以为非车辆行驶区域。
S102：对多帧图像进行非目标检测，得到非目标的位置信息。
考虑到多帧图像中存在车辆，若目标缺损检测装置直接对多帧图像中的地面标线进行检测，将降低地面标线的检测准确性。因为，多帧图像中的车辆可能遮挡地面标线。为此，本实施例的目标缺损检测装置在对地面标线进行检测时，需剔除多帧图像中的车辆。具体地，本实施例的目标缺损检测装置对每帧图像进行非目标检测，得到非目标的位置信息。其中，目标即为地面标线，非目标即为车辆。在其他实施例中，非目标还可以为其他遮挡住地面标线的物体。
进一步地，本实施例的目标缺损检测装置可采用轻量型的检测网络对多帧图像中的非目标进行检测，并记录非目标的位置及非目标在图像中的所在区域。例如，多帧图像中的第i张图像用Qi表示，目标缺损检测装置检测出Qi的第j个非目标位置为[xij，yij，wij，hij]。其中，(xij，yij)代表非目标左上角坐标，wij，hij分别代表非目标的宽和高。在目标缺损检测装置检测出Qi中存在多个非目标位置信息时，可用集合Qtp表示Qi中的多个非目标位置信息，Qtp＝{Pi0，Pi1，Pi2...Pin}。
S103：利用非目标的位置信息对每帧图像中的非目标进行剔除。
基于S102中获取的多帧图像中非目标的位置信息，本实施例的目标缺损检测装置剔除每帧图像中的非目标，以对剔除非目标后的多帧图像进行目标预测。
S104：对剔除非目标后的多帧图像进行目标预测，以融合目标预测后的多帧图像，得到目标图像，目标图像包括目标预测结果。
考虑到地面标线不具有固定形状且有些图像中的地面标线被车辆遮挡，若直接利用目标缺损检测装置检测每帧图像中的地面标线，将导致检测出的地面标线准确性低。为此，目标缺损检测装置对剔除非目标后的多帧图像进行目标预测，并将预测后的多帧图像进行融合，得到目标图像。其中，目标图像包括目标预测结果。
S105：利用目标图像与预设图像之间的相似度确定待检测区域中目标的缺损程度。
为了提高目标缺损的速率，本实施例的目标缺损检测装置可利用目标图像与预设图像之间的相似度确定待检测区域中目标的缺损程度。
进一步地，考虑到目标图像中可能存在多个目标，目标缺损检测装置可将目标图像中的多个目标进行分离，利用每个目标与预设图像中对应的模板目标之间的相似度确定待检测区域中目标的缺损程度。
上述方案中，目标缺损检测装置获取待检测区域的多帧图像；对多帧图像进行非目标检测，得到非目标的位置信息；利用非目标的位置信息对每帧图像中的非目标进行剔除；对剔除非目标后的多帧图像进行目标预测，以融合目标预测后的多帧图像，得到目标图像，目标图像包括目标预测结果；利用目标图像与预设图像之间的相似度确定待检测区域中目标的缺损程度。本实施例的目标缺损检测装置通过检测非目标，并在每帧图像中剔除非目标，利用剔除非目标的多帧图像进行目标的预测，以确定目标的缺损程度，避免了非目标对目标预测的影响，提高了目标检测的准确性。
请继续参阅图2，图2是图1所示的目标缺损的检测方法中S104的一实施例的流程示意图。具体而言，在上述公开实施例的目标缺损的检测方法的基础上，S104还包括以下步骤：
S201：对剔除非目标后的每帧图像分别进行上采样处理，得到第一采样图像。
考虑到道路场景中，由于视野问题，地面标线一般具有较大的尺度变换范围，为了准确预测目标，本实施例的目标缺损检测装置可采用多尺度级联技术对剔除非目标后的多帧图像进行特征提取，得到特征图像。具体可参阅图3，目标缺损检测装置对剔除非目标后的图像分别进行上采样处理，得到第一采样图像。第一采样图像为图3中的Qi1。
S202：对剔除非目标后的每帧图像分别进行下采样处理，得到第二采样图像。
可继续参阅图3，目标缺损检测装置对剔除非目标后的图像分别进行下采样处理，得到第二采样图像。第一采样图像为图3中的Qi2。
S203：将第一采样图像、第二采样图像和剔除非目标后的图像输入特征提取网络中进行注意力机制学习，得到特征图像。
基于S201获取的第一采样图像和S202中获取的第二采样图像，目标缺损检测装置将第一采样图像、第二采样图像和剔除非目标后的图像输入特征提取网络中进行注意力机制学习，得到特征图像。如图3所示，具体为特征提取网络分别对输入其中的第一采样图像、第二采样图像和剔除非目标后的图像进行特征提取，得到与第一采样图像对应的特征图1、与第二采样图像对应的特征图3及与剔除非目标后的图像对应的特征图2。并将特征图1、特征图2和特征图3按照与其对应的注意力特征图进行注意力机制学习，以输出特征图像。
S204：将特征图像输入语义分割网络中，得到第一概率矩阵，第一概率矩阵中的每一元素包括多个类别概率。
由于地面标线不具有固定形状，为了准确预测地面标线，目标缺损检测装置可利用语义分割网络预测目标。具体为目标缺损检测装置将特征图像输入语义分割网络中，得到第一概率矩阵Pri。其中，第一概率矩阵Pri中的每一元素包括多个类别概率。也即图像中每一像素点包括多个类别，每一类别概率代表像素点属于何类地面标线的概率。
S205：将第一概率矩阵中与图像的非目标所在像素点对应元素的一类别概率设置为第一阈值，其余类别概率设置为第二阈值，得到第二概率矩阵，第一概率矩阵中的元素与图像中的像素点对应，图像的非目标位置信息包括非目标所在像素点。
考虑到地面标线可能被车辆遮挡，在图像进行预测时，车辆可能对地面标线的预测存在影响。为了避免目标检测准确性低，目标缺损检测装置将第一概率矩阵中与图像的非目标所在像素点对应元素的一类别概率设置为第一阈值，其余类别概率设置为第二阈值，得到第二概率矩阵
Figure BDA0002838335450000071
也即目标缺损检测装置将图像中车辆所在位置的像素点对应的类别概率设置为第一阈值，该像素点对应的其他类别概率设置为第二阈值。在具体实施例中，第一阈值可以为0.1，第二阈值可以为0。
S206：将与多帧特征图像对应的第二概率矩阵进行叠加，得到目标图像。
由于多帧图像中的非目标所在位置不固定，目标缺损检测装置对剔除非目标后的多帧图像进行预测的结果有所不同。为了能够准确预测待检测区域的目标，本实施例的目标缺损检测装置可将与多帧特征图像对应的第二概率矩阵
Figure BDA0002838335450000072
进行叠加，得到最终的概率矩阵Pr；根据最终的概率矩阵预测目标预测结果，得到目标图像。
具体地，最终的概率矩阵Pr满足下式：
Figure BDA0002838335450000073
其中，Pr为最终的概率矩阵，M′i为第i张待预测的图像，也即第i张剔除非目标后的图像，
Figure BDA0002838335450000074
为第二概率矩阵。
上述方案中，目标缺损检测装置对剔除非目标后的每帧图像分别进行上采样处理，得到第一采样图像；对剔除非目标后的每帧图像分别进行下采样处理，得到第二采样图像；将第一采样图像、第二采样图像和剔除非目标后的图像输入特征提取网络中进行注意力机制学习，得到特征图像；将与多帧特征图像对应的第二概率矩阵进行叠加，得到目标图像。本申请的目标缺损检测装置采用多尺度级联技术对剔除非目标后的多帧图像进行特征提取，得到特征图像，提高了目标预测的准确性；将第一概率矩阵中与图像的非目标所在像素点对应元素的一类别概率设置为第一阈值，其余类别概率设置为第二阈值，考虑了地面标线可能被车辆遮挡，在图像进行预测时，车辆可能对地面标线的预测存在影响，提高了目标预测的准确性。
请继续参阅图4，图4是图1所示的目标缺损的检测方法中S105一实施例的流程示意图。具体而言，在上述公开实施例的目标缺损的检测方法的基础上，S105还包括以下步骤：
S301：将多个预设目标输入孪生网络，得到与多个预设目标对应的预设目标特征。
相较于现有技术中采用腐蚀膨胀计算误差的方式来说，本实施例的目标缺损检测装置采用孪生网络判断目标图像中的目标与预设目标之间的误差，使得对大面积目标的缺损判定更合理。可参阅图5，图5是本申请提供的目标缺损的检测方法中孪生网络的示意图。具体地，为了提高推理速度，减少重复计算，目标缺损检测装置可先将预设目标输入孪生网络进行特征提取，得到与多个预设目标对应的预设目标特征。具体地，预设目标为标准的地面标线，例如左转弯标线、直行标线等。需要说明的是图5中的模板图中包括多个预设目标。在具体实施例中，记多个预设目标总共有C类，第i类预设目标的预设目标特征记为fi。
S302：将目标图像输入孪生网络，得到目标特征图像，目标特征图像包括多个目标特征。
可继续参阅图6，为了方便孪生网络提取目标图像中的目标特征，目标缺损检测装置将目标图像中的目标进行分离，并将多类目标输入孪生网络中进行特征提取，得到与多类目标对应的目标特征。具体地，将第i类目标的目标特征记为f′i。
S303：计算目标特征图像中的目标特征与对应的预设目标特征之间的相似度。
基于S301中获取的预设目标特征和S302中获取的目标特征，目标缺损检测装置计算预设目标特征和与其对应的目标特征之间的特征相似度。
S304：判断目标特征图像中的目标特征与对应的预设目标特征之间的相似度是否大于等于预设相似度阈值。
基于S303中计算的预设目标特征和与其对应的目标特征之间的特征相似度。目标缺损检测装置判断目标特征图像中的目标特征与对应的预设目标特征之间的相似度是否大于等于预设相似度阈值，若是，则执行S305；若否，则执行S306。
在具体实施例中，目标缺损检测装置也可如图6所示，对预设目标特征和与其对应的目标特征之间的特征相似度进行完整性打分。具体地，预设目标特征和与其对应的目标特征之间的特征相似度越高，目标的完整性分值越高，预设目标特征和与其对应的目标特征之间的特征相似度越低，目标的完整性分值越低。目标缺损检测装置可根据输出的完整性分值判断目标缺损情况。例如，设置分值阈值，在输出的完整性分值大于等于分值阈值时，执行S305；在输出的完整性分值小于分值阈值时，执行S306。
S305：判定目标图像中的目标完整。
其中，目标完整表示无需道路养护的工作人员对其进行养护。
S306：判定目标图像中的目标缺损。
其中，目标缺损表示需要道路养护的工作人员及时对其进行养护，避免由于目标缺损而导致驾驶人员做出错误判断。
上述方案中，目标缺损检测装置将多个预设目标输入孪生网络，得到与多个预设目标对应的预设目标特征；将目标图像输入孪生网络，得到目标特征图像，目标特征图像包括多个目标特征；计算目标特征图像中的目标特征与对应的预设目标特征之间的相似度；判断目标特征图像中的目标特征与对应的预设目标特征之间的相似度是否大于等于预设相似度阈值；若是，判定目标图像中的目标完整；若否，判定目标图像中的目标缺损。本申请利用孪生网络判定目标的缺损情况，提高了目标缺损判定的速率。
请继续参阅图7，图7是图1所示的目标缺损的检测方法中S101一实施例的流程示意图。具体而言，在上述公开实施例的目标缺损的检测方法的基础上，S101还包括以下步骤：
S401：对同一区域下的多帧初始图像进行图像变换处理，得到多帧变换后的初始图像。
由于存在阳光反光、灯光照射等环境因素，初始图像的亮度可能在短时间内存在较为强烈的变换，导致对初始图像中的目标检测影响较大。为此，本实施例的目标缺损检测装置将初始图像转换为YUV图像，也即变换后的初始图像。其中，YUV图像中的Y分量可表示图像亮度，也即亮度分量。
需要说明的是，此时的初始图像包括车辆行驶区域和其他区域。
S402：利用变换后的初始图像中亮度分量的亮度值对多帧变换后的初始图像进行筛选，得到多帧筛选后的初始图像。
考虑到变换后的初始图像中存在过亮或过暗的图像，若直接对过亮或过暗的图像中的目标进行检测，将导致检测效果差。为此，目标缺损检测装置对变换后的初始图像中过亮和过暗的图像进行筛除。具体为目标缺损检测装置筛除多帧变换后的初始图像中亮度分量的亮度值大于等于第一亮度阈值的图像，并筛除多帧变换后的初始图像中亮度分量的亮度值小于第二亮度阈值的图像，得到多帧筛选后的初始图像。其中，第一亮度阈值大于第二亮度阈值。
S403：对多帧筛选后的初始图像进行图像质量评估，并标定多帧质量评估后的初始图像中的待检测区域，得到多帧图像。
为了提高目标检测的准确性，目标缺损检测装置再次对筛选后的初始图像进行第二次筛除。具体地，目标缺损检测装置对多帧筛选后的初始图像进行图像质量评估，即对多帧筛选后的初始图像的图像质量进行打分，将图像质量分值较高的保留，将图像质量较低的筛除，直到高质量图像数量达到预设数量即停止初始图像采集。预设数量可为M。
在具体实施例中，目标缺损检测装置可利用概率模型对多帧筛选后的初始图像进行图像质量评估。其中，概率模型可以为多变量高斯分布模型。
进一步地，在目标检测之前，为了避免其他区域对检测车辆行驶区域中地面标线的影响，目标缺损检测装置对待检测区域进行标定，得到待检测区域的多帧图像。具体地，目标缺损检测装置可利用轻量型语义分割网络标定待检测区域。待检测区域也即车辆行驶区域，记为S。
上述方案中，目标缺损检测装置对同一区域下的多帧初始图像进行图像变换处理，得到多帧变换后的初始图像；利用变换后的初始图像中亮度分量的亮度值对多帧变换后的初始图像进行筛选，得到多帧筛选后的初始图像；利用变换后的初始图像中亮度分量的亮度值对多帧变换后的初始图像进行筛选，得到多帧筛选后的初始图像；对多帧筛选后的初始图像进行图像质量评估，并标定多帧质量评估后的初始图像中的待检测区域，得到多帧图像。本申请对获取的多帧初始图像进行筛除，去掉过亮和过暗的图像，避免过亮和过暗图像对目标检测的影响；对多帧筛选后的初始图像进行图像质量评估，再次筛除图像质量较低的图像；对待检测区域进行标定，避免了其他区域对检测车辆行驶区域中地面标线的影响，提高了目标检测的准确性。
请继续参阅图8，图8是图1所示的目标缺损的检测方法中S103之后一实施例的流程示意图。具体而言，在上述公开实施例的目标缺损的检测方法的基础上，S103之后还包括以下步骤：
S501：计算每帧图像中其余区域之间的并集，得到区域集，图像包括非目标所在区域和其余区域。
考虑到用于进行目标检测的图像的多少将影响目标检测的效率及准确性。为此，目标缺损检测装置在获取的图像满足预设要求时，则停止获取图像。具体地，目标缺损检测装置计算每帧图像中其余区域之间的并集，得到区域集。也即目标缺损检测装置利用图像中非目标位置信息的集合Qip构建遮挡目标掩膜
Figure BDA0002838335450000111
多帧图像中非目标位置信息集合构成的遮挡目标掩膜集合为Qmask。
具体地，多帧图像中非目标位置信息集合构成的遮挡目标掩膜集合满足下式：
Figure BDA0002838335450000112
其中，
Figure BDA0002838335450000113
为第i张图像中非目标位置信息集合构成的遮挡目标掩膜，M为图像数量。
S502：计算区域集与预设区域集之间的交集，并判断区域集与预设区域集之间的交集是否等于预设区域集。
其中，目标缺损检测装置判断区域集与预设区域集之间的交集是否等于预设区域集，若是，则执行S503。也就是说，目标缺损检测装置获取到剔除非目标后的多帧图像的并集能够得到完整的待检测区域。具体为，Smask∩Qmask＝Smask。其中，预设区域集为利用待检测区域构建的掩膜Smask。
S503：停止获取多帧图像，得到剔除非目标后的多帧图像。
其中，目标缺损检测装置此时获取的多帧图像数量记为M′。
上述方案中，目标缺损检测装置计算每帧图像中其余区域之间的并集，得到区域集，图像包括非目标所在区域和其余区域；计算区域集与预设区域集之间的交集，并判断区域集与预设区域集之间的交集是否等于预设区域集；若是，停止获取多帧图像，得到剔除非目标后的多帧图像，提高了目标检测的准确性。
请继续参阅图9，图9是本申请提供的目标缺损检测装置一实施例的框架示意图。具体而言，本公开实施例的目标缺损检测装置90包括：获取单元91、非目标检测单元92、剔除单元93、预测单元94和确定单元95。
具体地，获取单元91，用于获取待检测区域的多帧图像；
非目标检测单元92，用于对多帧图像进行非目标检测，得到非目标的位置信息；
剔除单元93，用于利用非目标的位置信息对每帧图像中的非目标进行剔除；
预测单元94，用于对剔除非目标后的多帧图像进行目标预测，以融合目标预测后的多帧图像，得到目标图像，目标图像包括目标预测结果；
确定单元95，用于利用目标图像与预设图像之间的相似度确定待检测区域中目标的缺损程度。
请参阅图10，图10是本申请提供的电子设备一实施例的框架示意图。电子设备100包括相互耦接的存储器101和处理器102，处理器102用于执行存储器101中存储的程序指令，以实现上述任一目标缺损的检测方法实施例中的步骤。在一个具体的实施场景中，电子设备100可以包括但不限于：微型计算机、服务器，此外，电子设备100还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器102用于控制其自身以及存储器101以实现上述任一目标缺损的检测方法实施例中的步骤。处理器102还可以称为CPU(Central Processing Unit，中央处理单元)。处理器102可能是一种集成电路芯片，具有信号的处理能力。处理器102还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器102可以由集成电路芯片共同实现。
请参阅图11，图11是本申请提供的计算机存储介质一实施例的框架示意图。计算机存储介质110存储有能够被处理器运行的程序指令1101，程序指令1101用于实现上述任一目标缺损的检测方法实施例中的步骤。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种目标缺损的检测方法，其特征在于，所述目标缺损的检测方法包括：
获取待检测区域的多帧图像；
对所述多帧图像进行非目标检测，得到非目标的位置信息；
利用所述非目标的位置信息对每帧图像中的非目标进行剔除；
对剔除非目标后的多帧图像进行目标预测，以融合目标预测后的多帧图像，得到目标图像，所述目标图像包括目标预测结果；
利用所述目标图像与预设图像之间的相似度确定所述待检测区域中目标的缺损程度。
2.根据权利要求1所述的目标缺损的检测方法，其特征在于，
所述非目标的位置信息包括非目标所在区域，所述利用所述非目标的位置信息对所述每帧图像中的非目标进行剔除的步骤之后，包括：
计算所述每帧图像中其余区域之间的并集，得到区域集，所述图像包括所述非目标所在区域和所述其余区域；
计算所述区域集与预设区域集之间的交集，并判断所述区域集与所述预设区域集之间的交集是否等于所述预设区域集；
若是，停止获取图像，得到剔除非目标后的多帧图像。
3.根据权利要求1所述的目标缺损的检测方法，其特征在于，
所述对剔除非目标后的多帧图像进行目标预测的步骤，包括：
采用多尺度级联技术对所述剔除非目标后的多帧图像进行特征提取，得到多帧特征图像；
采用语义分割网络对所述每帧特征图像进行目标预测。
4.根据权利要求3所述的目标缺损的检测方法，其特征在于，
所述采用多尺度级联技术对所述剔除非目标后的多帧图像进行特征提取，得到多帧特征图像的步骤，包括：
对所述剔除非目标后的每帧图像分别进行上采样处理，得到第一采样图像；
对所述剔除非目标后的每帧图像分别进行下采样处理，得到第二采样图像；
将所述第一采样图像、所述第二采样图像和所述剔除非目标后的图像输入特征提取网络中进行注意力机制学习，得到特征图像。
5.根据权利要求3所述的目标缺损的检测方法，其特征在于，
所述采用所述语义分割网络对所述多帧特征图像进行目标预测，得到目标预测后的多帧图像的步骤，包括：
将所述特征图像输入所述语义分割网络中，得到第一概率矩阵，所述第一概率矩阵中的每一元素包括多个类别概率；
将所述第一概率矩阵中与所述图像的非目标所在像素点对应元素的一类别概率设置为第一阈值，其余类别概率设置为第二阈值，得到第二概率矩阵，所述第一概率矩阵中的元素与所述图像中的像素点对应，所述图像的非目标位置信息包括非目标所在像素点；
所述融合目标预测后的多帧图像，得到目标图像的步骤，包括：
将与所述多帧特征图像对应的第二概率矩阵进行叠加，得到目标图像。
6.根据权利要求1所述的目标缺损的检测方法，其特征在于，
所述预设图像包括多个预设目标，所述利用所述目标图像与预设图像之间的相似度确定所述待检测区域中目标的缺损程度的步骤，包括：
将所述多个预设目标输入孪生网络，得到与所述多个预设目标对应的预设目标特征；
将所述目标图像输入所述孪生网络，得到目标特征图像，所述目标特征图像包括多个目标特征；
计算所述目标特征图像中的目标特征与对应的预设目标特征之间的相似度；
在所述目标特征图像中的目标特征与对应的预设目标特征之间的相似度大于等于预设相似度阈值的情况下，判定所述目标图像中的目标完整；
在所述目标特征图像中的目标特征与对应的预设目标特征之间的相似度小于所述预设相似度阈值的情况下，判定所述目标图像中的目标缺损。
7.根据权利要求1所述的目标缺损的检测方法，其特征在于，
所述获取待检测区域的多帧图像的步骤，还包括：
对同一区域下的多帧初始图像进行图像变换处理，得到多帧变换后的初始图像；
利用所述变换后的初始图像中亮度分量的亮度值对所述多帧变换后的初始图像进行筛选，得到多帧筛选后的初始图像；
对所述多帧筛选后的初始图像进行图像质量评估，并标定所述多帧质量评估后的初始图像中的待检测区域，得到多帧图像。
8.根据权利要求7所述的目标缺损的检测方法，其特征在于，
所述利用所述变换后的初始图像中亮度分量的亮度值对所述多帧变换后的初始图像进行筛选，得到多帧筛选后的初始图像的步骤，包括：
筛除所述多帧变换后的初始图像中亮度分量的亮度值大于等于第一亮度阈值的图像，并筛除所述多帧变换后的初始图像中亮度分量的亮度值小于第二亮度阈值的图像，得到多帧筛选后的初始图像；
其中，所述第一亮度阈值大于所述第二亮度阈值。
9.一种电子设备，其特征在于，所述设备包括存储器以及与所述存储器耦接的处理器；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1～8任一项所述的目标缺损的检测方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如权利要求1～8任一项所述的目标缺损的检测方法。
CN202011483561.3A 2020-12-15 2020-12-15 目标缺损的检测方法、设备及计算机存储介质 Pending CN112613370A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011483561.3A CN112613370A (zh) 2020-12-15 2020-12-15 目标缺损的检测方法、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011483561.3A CN112613370A (zh) 2020-12-15 2020-12-15 目标缺损的检测方法、设备及计算机存储介质

Publications (1)

Publication Number Publication Date
CN112613370A true CN112613370A (zh) 2021-04-06

Family

ID=75239498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011483561.3A Pending CN112613370A (zh) 2020-12-15 2020-12-15 目标缺损的检测方法、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN112613370A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332184A (zh) * 2021-11-30 2022-04-12 南京行者易智能交通科技有限公司 一种基于单目深度估计的乘客统计识别的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010045511A1 (de) * 2010-09-15 2012-03-15 Daimler Ag Verfahren und Vorrichtung zur Detektion von Fahrbahnmarkierungen in einem Bild
CN110765875A (zh) * 2019-09-20 2020-02-07 浙江大华技术股份有限公司 交通目标的边界检测方法、设备及装置
CN111476245A (zh) * 2020-05-29 2020-07-31 上海眼控科技股份有限公司 车辆左转违规检测方法、装置、计算机设备和存储介质
CN111723723A (zh) * 2020-06-16 2020-09-29 东软睿驰汽车技术（沈阳）有限公司 一种图像检测方法及装置
CN111985457A (zh) * 2020-09-11 2020-11-24 北京百度网讯科技有限公司 交通设施损坏识别方法、装置、设备和存储介质
CN112069892A (zh) * 2020-08-03 2020-12-11 清华大学 一种图像识别方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010045511A1 (de) * 2010-09-15 2012-03-15 Daimler Ag Verfahren und Vorrichtung zur Detektion von Fahrbahnmarkierungen in einem Bild
CN110765875A (zh) * 2019-09-20 2020-02-07 浙江大华技术股份有限公司 交通目标的边界检测方法、设备及装置
CN111476245A (zh) * 2020-05-29 2020-07-31 上海眼控科技股份有限公司 车辆左转违规检测方法、装置、计算机设备和存储介质
CN111723723A (zh) * 2020-06-16 2020-09-29 东软睿驰汽车技术（沈阳）有限公司 一种图像检测方法及装置
CN112069892A (zh) * 2020-08-03 2020-12-11 清华大学 一种图像识别方法、装置、设备及存储介质
CN111985457A (zh) * 2020-09-11 2020-11-24 北京百度网讯科技有限公司 交通设施损坏识别方法、装置、设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332184A (zh) * 2021-11-30 2022-04-12 南京行者易智能交通科技有限公司 一种基于单目深度估计的乘客统计识别的方法及装置

Similar Documents

Publication Publication Date Title
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
US11455805B2 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN109087510B (zh) 交通监测方法及装置
CN112233097B (zh) 基于空时域多维融合的道路场景他车检测系统和方法
CN113033604B (zh) 一种基于SF-YOLOv4网络模型的车辆检测方法、系统及存储介质
WO2021174863A1 (zh) 车辆年款识别模型的训练方法以及车辆年款的识别方法
CN104167109B (zh) 车辆位置的检测方法和检测装置
CN107909012B (zh) 一种基于视差图的实时车辆跟踪检测方法与装置
CN110610153A (zh) 一种用于自动驾驶的车道识别方法及系统
CN112052807B (zh) 车辆位置检测方法、装置、电子设备及存储介质
CN112446316A (zh) 事故检测方法、电子设备及存储介质
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN111191604A (zh) 检测车牌完整性的方法、设备和存储介质
CN111444847B (zh) 一种交通标志检测识别方法、系统、装置及存储介质
CN114663859A (zh) 灵敏准确的复杂路况车道偏移实时预警系统
CN114240816A (zh) 道路环境感知方法、装置、存储介质、电子设备及车辆
CN112613370A (zh) 目标缺损的检测方法、设备及计算机存储介质
CN113158954B (zh) 交通非现场的基于ai技术的斑马线区域自动检测方法
CN114141022B (zh) 应急车道占用行为检测方法、装置、电子设备及存储介质
CN111881752A (zh) 一种护栏检测分类方法、装置、电子设备及存储介质
CN116721396A (zh) 车道线检测方法、设备及存储介质
CN116682101A (zh) 车牌号码识别方法以及系统
CN109543610A (zh) 车辆检测跟踪方法、装置、设备及存储介质
CN112016514B (zh) 一种交通标志识别方法、装置、设备及储存介质
CN112308061B (zh) 一种车牌字符识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination