CN116824549B - 基于多检测网络融合的目标检测方法、装置及车辆 - Google Patents

基于多检测网络融合的目标检测方法、装置及车辆 Download PDF

Info

Publication number
CN116824549B
CN116824549B CN202311091506.3A CN202311091506A CN116824549B CN 116824549 B CN116824549 B CN 116824549B CN 202311091506 A CN202311091506 A CN 202311091506A CN 116824549 B CN116824549 B CN 116824549B
Authority
CN
China
Prior art keywords
detection
target
matting
detection frame
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311091506.3A
Other languages
English (en)
Other versions
CN116824549A (zh
Inventor
徐显杰
陈国茗
薛英
于彬
马维博
孟令航
李晓东
荆茂盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suotuo Shandong Big Data Service Co ltd
Original Assignee
Suotuo Shandong Big Data Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suotuo Shandong Big Data Service Co ltd filed Critical Suotuo Shandong Big Data Service Co ltd
Priority to CN202311091506.3A priority Critical patent/CN116824549B/zh
Publication of CN116824549A publication Critical patent/CN116824549A/zh
Application granted granted Critical
Publication of CN116824549B publication Critical patent/CN116824549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及图像数据处理技术领域，提供一种基于多检测网络融合的目标检测方法、装置及车辆，该方法包括：将当前图像的缩放图像和抠图图像分别对应输入缩放目标检测网络和抠图目标检测网络分别得到缩放和抠图检测框，并对应存放至缩放和抠图数据集；任取缩放和抠图检测框进行匹配；根据匹配遍历结果更新缩放数据集得到整合数据集；分别从当前和前一帧图像的整合数据集中任取检测框进行匹配确定检测目标；在检测目标存活周期大于设定周期时对照当前图像的语义分割结果计算目标可信度，确定大于设定阈值的检测目标为真实跟踪目标。本申请结合多个网络对图像信息处理，综合某目标在多个网络中的检测结果进行对比分析，提高目标检测准确性。

Description

基于多检测网络融合的目标检测方法、装置及车辆
技术领域
本申请涉及图像数据处理技术领域，尤其涉及一种基于多检测网络融合的目标检测方法、装置及车辆。
背景技术
目前，目标检测是自动驾驶技术中一项重要的任务，对于基于时序的目标检测算法，在进行每帧图像的检测时，检测模型往往会输出大量的检测框以提高召回率，但是存在同个目标的重复无效检测框。
现有技术中提供了非极大值抑制(Non-Maximum Suppression，NMS)算法，经过NMS处理后，可以去除对应于同个目标的重复的无效检测框，但仍存在与有碰撞风险目标相关度低的检测框，即现有目标检测方案对目标的检测精确度有待进一步提高。
发明内容
本申请实施例提供了一种基于多检测网络融合的目标检测方法、装置及车辆，以解决如何提高对目标的检测精确度的问题。
第一方面，本申请实施例提供了一种基于多检测网络融合的目标检测方法，包括：
将当前图像的缩放图像输入提前训练好的缩放目标检测网络得到缩放检测框，将当前图像的抠图图像输入提前训练好的抠图目标检测网络得到抠图检测框，并将缩放检测框和抠图检测框对应存放至缩放数据集和抠图数据集；其中，所述抠图目标检测网络以前一帧图像中的真实跟踪目标为中心对当前图像抠图后执行目标检测；
任取一个缩放检测框和一个抠图检测框进行匹配，完成所有缩放检测框和抠图检测框的匹配遍历，并根据匹配结果，从抠图检测框和/或缩放检测框中确定目标的真实检测框，存储各目标的真实检测框得到当前图像的整合数据集，得到更新后的缩放数据集记作整合数据集；
分别从当前图像和前一帧图像的整合数据集中任取一个检测框进行匹配确定检测目标，并获取提前训练好的语义分割网络对当前图像进行语义分割后得出的语义分割结果；
在检测目标存活周期小于等于设定周期时，将检测目标作为临时跟踪目标；在检测目标存活周期大于设定周期时，根据检测框和所述语义分割结果计算目标可信度，并确定目标可信度大于设定阈值的检测目标为真实跟踪目标；确定目标可信度小于或等于设定阈值的检测目标为假跟踪目标。
在一种可能的实现方式中，所述将当前图像的抠图图像输入提前训练好的抠图目标检测网络得到抠图检测框，包括：
获取前一帧图像中的真实跟踪目标；
以真实跟踪目标中心点为抠图中心点，并按照设定抠图尺寸对当前图像进行抠图；
将抠图后的图像输入提前训练好的抠图目标检测网络得到抠图检测框；其中，所述设定抠图尺寸小于当前图像尺寸。
在一种可能的实现方式中，在以真实跟踪目标中心点为抠图中心点之前，还包括：
在真实跟踪目标数量为多个时，确定多个真实跟踪目标中一个真实跟踪目标为主目标，以基于所述主目标中心点为抠图中心点；其中，所述主目标为多个真实跟踪目标中碰撞风险最高的目标。
在一种可能的实现方式中，在以真实跟踪目标中心点为抠图中心点，并按照设定抠图尺寸对当前图像进行抠图之前，还包括：
在真实跟踪目标数量为零时，以当前图像的中心点为抠图中心点，并按照设定抠图尺寸对当前图像进行抠图。
在一种可能的实现方式中，所述将当前图像的缩放图像输入提前训练好的缩放目标检测网络得到缩放检测框，包括：
依据当前图像对应运动目标的特征信息，确定运动目标在真实场景下的检测区域，将当前图像中的检测区域缩放到设定缩放尺寸；
将缩放后的图像输入提前训练好的缩放目标检测网络得到缩放检测框。
在一种可能的实现方式中，所述任取一个缩放检测框和一个抠图检测框进行匹配，完成所有缩放检测框和抠图检测框的匹配遍历，包括：
从所述缩放数据集任取一个缩放检测框，并从所述抠图数据集任取一个抠图检测框，计算两个检测框的重叠度比例；
将重叠度比例存入第一关联矩阵；
根据所述第一关联矩阵和设定匹配算法确定缩放检测框和抠图检测框的匹配结果，以确定目标是否被所述缩放目标检测网络和所述抠图目标检测网络同时检出。
在一种可能的实现方式中，所述根据匹配结果，从抠图检测框和/或缩放检测框中确定目标的真实检测框，存储各目标的真实检测框得到当前图像的整合数据集，得到更新后的缩放数据集记作整合数据集，包括：
在匹配失败时，将抠图检测框转存至所述缩放数据集，并从所述抠图数据集中删除；
在匹配成功时，将缩放检测框和抠图检测框进行组合，将组合检测框存放至所述缩放数据集，并分别从缩放数据集和抠图数据集中删除组合前原检测框；
对所有抠图检测框完成匹配后，得到更新后的缩放数据集记作整合数据集。
在一种可能的实现方式中，在所述确定目标可信度小于或等于设定阈值的检测目标为假跟踪目标后，还包括：
将假跟踪目标对应的检测框从当前图像的整合数据集中删除；或者，
将假跟踪目标对应的检测框从当前图像的整合数据集和前一帧图像对应的整合数据集中删除。
在一种可能的实现方式中，抠图检测框、缩放检测框和组合检测框的属性信息中包括网络来源信息，以区分更新后的缩放数据集中各检测框为抠图检测框、缩放检测框或组合检测框。
在一种可能的实现方式中，所述分别从当前图像和前一帧图像的整合数据集中任取一个检测框进行匹配确定检测目标，包括：
从所述整合数据集中任取一个检测框，并从前一帧图像对应的整合数据集中任取一个检测框；
确定两个检测框的网络来源信息，在网络来源信息满足相似度计算条件时，计算两个检测框的相似度值；否则，确定两检测框的相似度为设定值；
将所有相似度计算结果存入第二关联矩阵；
根据所述第二关联矩阵和设定匹配算法确定当前图像整合数据集中检测框与前一帧图像整合数据集中检测框的匹配结果，并根据匹配结果确定检测目标；
其中，所述相似度计算条件包括：根据网络来源确定两个检测框均为抠图检测框或均非抠图检测框。
第二方面，本申请实施例提供了一种基于多检测网络融合的目标检测装置，包括：
检测模块，用于将当前图像的缩放图像输入提前训练好的缩放目标检测网络得到缩放检测框，并将当前图像的抠图图像输入提前训练好的抠图目标检测网络得到抠图检测框，并将缩放检测框和抠图检测框对应存放至缩放数据集和抠图数据集；其中，所述抠图目标检测网络以前一帧图像中的真实跟踪目标为中心对当前图像抠图后执行目标检测；
匹配融合模块，用于任取一个缩放检测框和一个抠图检测框进行匹配，完成所有缩放检测框和抠图检测框的匹配遍历，并根据匹配结果，从抠图检测框和/或缩放检测框中确定目标的真实检测框，存储各目标的真实检测框得到当前图像的整合数据集，得到更新后的缩放数据集记作整合数据集；
目标跟踪模块，用于分别从当前图像和前一帧图像的整合数据集中任取一个检测框进行匹配确定检测目标，并获取提前训练好的语义分割网络对当前图像进行语义分割后得出的语义分割结果；
在检测目标存活周期小于等于设定周期时，将检测目标作为临时跟踪目标；在检测目标存活周期大于设定周期时，根据检测框和所述语义分割结果计算目标可信度，并确定目标可信度大于设定阈值的检测目标为真实跟踪目标。
在一种可能的实现方式中，所述检测模块，具体用于：
获取前一帧图像中的真实跟踪目标；
以真实跟踪目标中心点为抠图中心点，并按照设定抠图尺寸对当前图像进行抠图；
将抠图后的图像输入提前训练好的抠图目标检测网络得到抠图检测框；其中，所述设定抠图尺寸小于当前图像尺寸。
在一种可能的实现方式中，所述检测模块，还用于在真实跟踪目标数量为多个时，确定多个真实跟踪目标中一个真实跟踪目标为主目标，以基于所述主目标中心点为抠图中心点；其中，所述主目标为多个真实跟踪目标中碰撞风险最高的目标。
在一种可能的实现方式中，所述检测模块，还用于在真实跟踪目标数量为零时，以当前图像的中心点为抠图中心点，并按照设定抠图尺寸对当前图像进行抠图。
在一种可能的实现方式中，所述检测模块，具体用于：
依据当前图像对应运动目标的特征信息，确定运动目标在真实场景下的检测区域，将当前图像中的检测区域缩放到设定缩放尺寸；
将缩放后的图像输入提前训练好的缩放目标检测网络得到缩放检测框。
在一种可能的实现方式中，所述匹配融合模块，具体用于：
从所述缩放数据集任取一个缩放检测框，并从所述抠图数据集任取一个抠图检测框，计算两个检测框的重叠度比例；
将重叠度比例存入第一关联矩阵；
根据所述第一关联矩阵和设定匹配算法确定缩放检测框和抠图检测框的匹配结果，以确定目标是否被所述缩放目标检测网络和所述抠图目标检测网络同时检出。
在一种可能的实现方式中，所述匹配融合模块，具体用于：
在匹配失败时，将抠图检测框转存至所述缩放数据集，并从所述抠图数据集中删除；
在匹配成功时，将缩放检测框和抠图检测框进行组合，将组合检测框存放至所述缩放数据集，并分别从缩放数据集和抠图数据集中删除组合前原检测框；
对所有抠图检测框完成匹配后，得到更新后的缩放数据集记作整合数据集。
在一种可能的实现方式中，抠图检测框、缩放检测框和组合检测框的属性信息中包括网络来源信息，以区分更新后的缩放数据集中各检测框为抠图检测框、缩放检测框或组合检测框。
在一种可能的实现方式中，所述目标跟踪模块，具体用于：
从所述整合数据集中任取一个检测框，并从前一帧图像对应的整合数据集中任取一个检测框；
确定两个检测框的网络来源信息，在网络来源信息满足相似度计算条件时，计算两个检测框的相似度值；否则，确定两检测框的相似度为设定值；
将所有相似度计算结果存入第二关联矩阵；
根据所述第二关联矩阵和设定匹配算法确定当前图像整合数据集中检测框与前一帧图像整合数据集中检测框的匹配结果，并根据匹配结果确定检测目标；
其中，所述相似度计算条件包括：根据网络来源确定两个检测框均为抠图检测框或均非抠图检测框。
第三方面，本申请实施例提供了一种车辆，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。
本申请实施例提供一种基于多检测网络融合的目标检测方法、装置及车辆，通过将当前图像的缩放图像和抠图图像分别对应输入提前训练好的缩放目标检测网络和抠图目标检测网络得到缩放检测框和抠图检测框，基于缩放目标检测网络获得大场景图像中检测框，提升检测框计算速度，并基于抠图目标检测网络获得小范围内图像中检测框，提升局部图像检测框检测精确度。然后，分别将缩放检测框和抠图检测框对应存放至缩放数据集和抠图数据集，任取一个缩放检测框和一个抠图检测框进行匹配，完成所有缩放检测框和抠图检测框的匹配遍历，根据匹配结果将抠图检测框转存至缩放数据集，避免存在由于缩放导致目标模糊导致的目标丢失，并根据匹配结果将缩放检测框和抠图检测框组合后的组合检测框存放至缩放数据集，以对检测到同一目标的缩放检测框和一个抠图检测框进行组合得到清晰的检测框。将更新后的缩放数据集记作整合数据集，从整合数据集中任取一个检测框，并从前一帧图像对应的整合数据集中任取一个检测框进行匹配确定检测目标，避免前后两帧图像由于光线反射或拍摄角度不同导致目标误报。在检测目标存活周期小于等于设定周期时，将检测目标作为临时跟踪目标，并在后续连续多帧中进行跟踪观察，以确定是否为短暂出现或误检测出的目标。在检测目标存活周期大于设定周期时对照当前图像的语义分割结果计算目标可信度，确定各目标可信度大于设定阈值的检测目标即经过多个网络检出的目标为真实跟踪目标，也即行车过程中需要重点关注有碰撞风险的目标。本申请实施例结合多个网络对图像信息处理，综合某目标在多个网络中的检测结果进行对比分析，提高目标检测准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的基于多检测网络融合的目标检测方法的实现流程图；
图2a是本申请一实施例提供的目标检测网络融合的实现流程图；
图2b是本申请一实施例提供的目标跟踪的实现流程图；
图3是本申请一实施例提供的基于多检测网络融合的目标检测装置的结构示意图；
图4是本申请一实施例提供的车辆的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
本申请中使用的用词仅用于描述实施例并且不用于限制具体保护范围。如在实施例的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”（a）、“一个”（an）和“所述”（the）旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的匹配。另外，当用于本申请中时，术语“包括”（comprise）及其变型“包括”（comprises）和/或包括（comprising）等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本申请中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本申请方案适用于商用车行驶过程中车辆周围目标检测。基于本申请提供的基于多检测网络融合的目标检测方法，能够提升对容易发生碰撞的目标的检测精确度，降低事故发生概率，提升驾驶安全性。
在本申请实施例中，检测框即对图像进行识别处理后，针对行人、车辆、信号灯、道路标志牌、锥形桶、围栏等不同进行标注得出的检测框。因此，根据各检测框根据对应选框范围内目标不同而有所不同。后续未特指的情况下，缩放检测框、抠图检测框和检测框统可称为检测框。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图通过具体实施例来进行说明。
图1是本申请一实施例提供的基于多检测网络融合的目标检测方法的实现流程图，如图1所示，该方法包括如下步骤：
S101，将当前图像的缩放图像输入提前训练好的缩放目标检测网络得到缩放检测框，将当前图像的抠图图像输入提前训练好的抠图目标检测网络得到抠图检测框，并将缩放检测框和抠图检测框对应存放至缩放数据集和抠图数据集；其中，抠图目标检测网络以前一帧图像中的真实跟踪目标为中心对当前图像抠图后执行目标检测。
本申请实施例提供的方法执行主体为车辆控制器，且车辆为具有智能驾驶功能的车辆，该车辆可以是商用车，也可以是乘用车。基于本申请实施例提供的方法，旨在实现车辆运行过程中，车辆周围物体的精确识别，以避免发生碰撞等交通事故，提升驾驶安全性。
其中，当前图像为车辆行驶过程中，车辆配置的图像获取装置实时采集的图像，例如：图像获取装置为行车记录仪、车体外部摄像头等。
另外，当前图像的缩放图像为按照设定比例对宽度、高度或分辨率中一项或多项进行缩放处理后得出的图像，缩放图像相较于当前图像的原始图像分辨率会降低。
其中，对原图进行缩放会导致远处目标丢失，因此，结合抠图图像和抠图目标检测网络，以前一帧图像中的真实跟踪目标为中心对当前图像原图抠图后执行目标检测，由于抠图图像与当前图像的原始图像分辨率一致，因此，避免造成目标漏检。其中，前一帧图像即当前图像的前一帧采样得到的图像。
由于在车辆行驶过程中，周围目标的种类众多，包括行人、车辆、信号灯、道路标志牌、锥形桶、围栏等。其中，静止的物体包括信号灯、道路标志牌、锥形桶、围栏等，而行人、车辆等移动状态的目标是易发生碰撞的目标，因此，需要重点对移动状态的目标进行跟踪关注，在存在发生碰撞风险时，及时提醒驾驶员，以辅助驾驶员安全驾驶。为了实现对移动状态的目标进行跟踪关注，则以当前图像的前一帧图像中的移动状态的目标作为真实跟踪目标，并以当前图像的前一帧图像中的真实跟踪目标为中心对当前图像抠图后执行目标检测。
其中，由于缩放网络和抠图网络是对不同分辨率的图像进行识别，因此，为提升识别效率，分别对缩放目标检测网络和抠图目标检测网络进行训练。
在实施目标检测方法之前，提前根据车辆的基本参数对应进行缩放目标检测网络和抠图目标检测网络的训练。可选的，车辆的基本参数包括车辆的长、宽、高、车辆盲区、车辆可视区域、车辆行驶速度、车辆载重量中的一项或多项。
在具体实施过程中，根据车辆基本参数不同，则在相同目标与车辆距离一致的情况下，不同车辆与该目标发生碰撞的概率不同，因此，针对性基于车辆的基本参数提前训练缩放目标检测网络和抠图目标检测网络，能够提升网络对目标检测的适应性，提高车辆驾驶安全。
车辆配置的图像获取装置采集的图像能够涵盖车辆周围一定范围内的图像，图像数据量大，因此，通过将当前图像缩放，能够降低缩放目标检测网络的计算时间，提升缩放检测框的检测效率。
另外，抠图目标检测网络是对于抠图图像进行计算处理，数据处理范围小，缩放目标检测网络和抠图目标检测网络能够同时执行计算处理，不影响缩放目标检测网络的计算效率，同时，不影响整体的计算效率。
在一种可能的实现方式中，在将缩放检测框和抠图检测框对应存放至缩放数据集和抠图数据集之前，还包括：
对缩放检测框和抠图检测框进行去重处理。
在具体实施例中，基于NMS算法对缩放检测框和抠图检测框进行去重处理。在实际处理过程中，对于同一目标，由于目标的形状不规则难免会得出多个大小不一的检测框，或对于有重叠区域的两个目标也会得出多个大小不一的检测框。因此，基于NMS算法对包含同一个目标的多个检测框进行去重处理，保留一个或多个重复率较低的检测框，降低目标检测噪声数据，以提升基于检测框的计算效率。
另外，抠图目标检测网络以当前图像的前一帧图像中的真实跟踪目标为中心对当前图像抠图后执行目标检测，旨在实现对检测目标的再检测，以基于前后两帧或持续多帧图像的检测结果确定真实跟踪目标是否在多次检测中发生误检或从图像获取区域内消失。
之后，将缩放检测框和抠图检测框进行分组保存，能够实现不同分组的目标检测结果的相互验证，以避免发生误报或漏报。
S102，任取一个缩放检测框和一个抠图检测框进行匹配，完成所有缩放检测框和抠图检测框的匹配遍历，并根据匹配结果，从抠图检测框和/或缩放检测框中确定目标的真实检测框，存储各目标的真实检测框得到当前图像的整合数据集，得到更新后的缩放数据集记作整合数据集。
其中，由于缩放网络是对原图像进行数据压缩后的图像做识别处理，因此，存在较小的目标或者图像中远处的目标因压缩而发生模糊，在识别时未被识别的情况发生，则在缩放数据集中不存在该目标的检测框，而在抠图数据集中存在该目标的检测框，为了便于与历史图像的检测框进行对比分析实现目标跟踪，需要将缩放数据集和抠图数据集进行整合处理。
具体的，任选一个缩放检测框和一个抠图检测框进行匹配，根据匹配结果，将缩放数据集中不存在而抠图数据集中存在的检测框判断为由于图像压缩丢失掉的目标，将抠图检测框转存至缩放数据集，避免目标漏检。另外，根据匹配结果，将缩放数据集和抠图数据集中均存在的检测框判断为同一目标时，将缩放检测框和抠图检测框组合，提升检测框中目标的图像清晰度。
其中，以缩放检测框数量M个，抠图检测框数量N个为例进行说明，任取一个缩放检测框和一个抠图检测框进行匹配，完成所有缩放检测框和抠图检测框的匹配遍历，即进行M*N次匹配过程。
在一种可能的实现方式中，在将缩放检测框和抠图检测框组合后的组合检测框存放至缩放数据集之后，还包括：
从缩放数据集中删除组合检测框对应的原缩放检测框。
其中，将缩放检测框和抠图检测框组合后的组合检测框存放至缩放数据集之后，将对应的原缩放检测框删除，避免缩放数据集存在对同一目标的重复的检测框降低计算效率。
在具体实施过程中，对于检测框的匹配，即对检测框中目标图像的匹配。当两个检测框中目标一致时，则确定两个检测框匹配成功。由于缩放检测框和抠图检测框分别为针对原图像和缩放图像进行识别得出，因此，针对同一目标的抠图检测框较缩放检测框相对清晰。根据匹配结果将缩放检测框和抠图检测框组合能够提高目标识别效率。
S103，分别从当前图像和前一帧图像的整合数据集中任取一个检测框进行匹配确定检测目标，并获取提前训练好的语义分割网络对当前图像进行语义分割后得出的语义分割结果。
其中，一方面基于当前图像和当前图像的前一帧图像的整合数据集中的检测框实现目标的跟踪。另一方面，在车辆行驶过程中，难免出现前后两次获取的图像中目标由于在不同光照角度或拍摄角度下导致识别结果不同，因此，基于当前图像和当前图像的前一帧图像的整合数据集进行对比分析，判断目标是否是短时检测到的目标，避免发生误报。例如：针对落地广告牌中人像，前后两帧图像由于拍摄角度不同识别结果分别为行人和广告牌，则两次识别结果不同，第二次识别结果为真实的目标类别。
在具体实施过程中，综合连续多帧图像的整合数据集进行相邻两帧图像的匹配处理，以避免车辆配置的图像获取装置对图像采样间隔短，导致对目标识别身份相邻两次均有误。
由于基于相邻两帧图像或连续多帧图像的整合数据集进行相邻两帧图像的匹配处理仍存在目标识别错误的情况，因此，在本实施例中进一步获取语义分割网络对当前图像进行语义分割后得出的语义分割结果，以综合整合数据集和语义分割结果判断目标检出的可信度，当目标被多个网络检出时，则目标的可信度越高。
其中，语义分割网络在进行训练时，基于移动目标和静止目标进行针对性训练，且基于车辆历史运行数据进行训练，以提升语义分割网络的计算精确度和对不同目标的检测准确性。
S104，在检测目标存活周期小于等于设定周期时，将检测目标作为临时跟踪目标；在检测目标存活周期大于设定周期时，根据检测框和语义分割结果计算目标可信度，并确定目标可信度大于设定阈值的检测目标为真实跟踪目标；确定目标可信度小于或等于设定阈值的检测目标为假跟踪目标。
在检测目标存活周期小于等于设定周期时，将检测目标作为临时跟踪目标，若后续确认为误报的目标则舍弃。在检测目标存活周期大于设定周期时，即连续多帧图像中均匹配成功时，将检测框与语义分割结果进行对照分析，实现对于检测框对应目标类别的识别，以更加准确区分有碰撞风险目标和无碰撞风险目标。
在具体实施过程中，车辆配置的图像获取装置能够获取到人行道和两旁非机动车道上等不同路段的图像，在车辆行驶过程中，难免出现基于第一帧图像进行目标检测网络计算后得出行人的检测框，基于第二帧图像进行目标检测时行人未出现在画面中。相应的，基于第一帧图像进行目标检测网络计算后得出该行人的检测框，在第二帧图像中未检测到该行人的检测框，且连续出现的次数小于两次或两次以上时，则可以将该目标舍弃。相反，在第一帧图像中未检测到该行人，在第二帧图像中检测到该行人时，则后续图像输入目标检测网络后，需要基于检测框检测结果对目标进行跟踪匹配，当连续出现两次或两次以上时，则判断该行人在本车的碰撞区域内。为进一步确认目标的可信度，在检测目标存活周期大于设定周期时引入语义分割结果进行对比分析，判断该目标是否与语义分割网络结果一致，并计算目标可信度。
在本实施例中，通过将当前图像的缩放图像和抠图图像分别对应输入提前训练好的缩放目标检测网络和抠图目标检测网络得到缩放检测框和抠图检测框，基于缩放目标检测网络获得大场景图像中检测框，提升检测框计算速度，并基于抠图目标检测网络获得小范围内图像中检测框，提升局部图像检测框检测精确度。然后，分别将缩放检测框和抠图检测框对应存放至缩放数据集和抠图数据集，任取一个缩放检测框和一个抠图检测框进行匹配，完成所有缩放检测框和抠图检测框的匹配遍历，根据匹配结果将抠图检测框转存至缩放数据集，避免存在由于缩放导致目标模糊导致的目标丢失，并根据匹配结果将缩放检测框和抠图检测框组合后的组合检测框存放至缩放数据集，以对检测到同一目标的缩放检测框和一个抠图检测框进行组合得到清晰的检测框。将更新后的缩放数据集记作整合数据集，从整合数据集中任取一个检测框，并从前一帧图像对应的整合数据集中任取一个检测框进行匹配确定检测目标，避免前后两帧图像由于光线反射或拍摄角度不同导致目标误报。在检测目标存活周期小于等于设定周期时，将检测目标作为临时跟踪目标，并在后续连续多帧中进行跟踪观察，以确定是否为短暂出现或误检测出的目标。在检测目标存活周期大于设定周期时对照当前图像的语义分割结果计算目标可信度，确定各目标可信度大于设定阈值的检测目标即经过多个网络检出的目标为真实跟踪目标，也即行车过程中需要重点关注有碰撞风险的目标。本申请实施例结合多个网络对图像信息处理，综合某目标在多个网络中的检测结果进行对比分析，提高目标检测准确性。
在一种可能的实现方式中，S101中，将当前图像的抠图图像输入提前训练好的抠图目标检测网络得到抠图检测框，包括：
S1011，获取前一帧图像中的真实跟踪目标；
S1012，以真实跟踪目标中心点为抠图中心点，并按照设定抠图尺寸对当前图像进行抠图；
S1013，将抠图后的图像输入提前训练好的抠图目标检测网络得到抠图检测框；其中，设定抠图尺寸小于当前图像尺寸。
其中，车辆配置的图像获取装置获得的图像中包含大量路面、围墙等环境信息，抠图目标检测网络旨在对包含有碰撞风险目标的重点处理分析，因此，抠图尺寸小于当前图像尺寸。可选的，设定抠图尺寸与当前图像尺寸的比例基于车辆可视区域、车长、车宽、车高中一项或多项有关。
在本实施例中，获取当前图像的前一帧图像中的真实跟踪目标，以真实跟踪目标中心点为抠图中心点，能够降低抠图后图像大小，以降低抠图图像的计算量，并提升目标检测效率，便于抠图后图像对有碰撞风险目标的跟踪分析，从而提升驾驶安全性。
在一种可能的实现方式中，在S1012以真实跟踪目标中心点为抠图中心点之前，还包括：
在真实跟踪目标数量为多个时，确定多个真实跟踪目标中一个真实跟踪目标为主目标，以基于主目标中心点为抠图中心点；其中，主目标为多个真实跟踪目标中碰撞风险最高的目标。其中，碰撞风险最高的目标通常为移动跟踪目标和/或距离设定点最近的跟踪目标。
在车辆行驶过程中，在驾驶员注意力集中的情况下，静止的目标与车辆发生碰撞的概率较小，例如：车灯、路障、公交站牌等与车辆发生碰撞的概率较小。因此，在进行目标跟踪时，优先选择移动目标作为跟踪目标。
其中，设定点为基于车辆配置的图像获取装置获得的图像中预设的易发生碰撞的参考点。例如：车辆左前方行人距离左车灯较近时，则易发生左侧碰撞；同理，车辆右前方行人距离右车灯较近时，则易发生右侧碰撞，而距离车辆较远的行人，短时间内不会与车辆发生碰撞。
在本实施例中，以移动跟踪目标和距离设定点最近的跟踪目标确定主目标，并以主目标中心点作为抠图中心点，能够降低抠图数据计算量同时保证对于易发生碰撞目标的识别效率和识别精确度。
在一种可能的实现方式中，该方法还包括：
在真实跟踪目标数量为零时，以当前图像的中心点为抠图中心点，并按照设定抠图尺寸对当前图像进行抠图。
在本实施例中，当车辆夜间行驶或在路况相对简单，行人、车辆数量较少的路段行驶时，存在真实跟踪目标数量为零的情况，此时，则以前图像的中心点为抠图中心点，并按照设定抠图尺寸对当前图像进行抠图，能够提升车辆附近范围内图像的清晰度，相较于缩放目标检测网络，能够提高车辆附近范围内目标检测精确度。
在一种可能的实现方式中，S101中，将当前图像的缩放图像输入提前训练好的缩放目标检测网络得到缩放检测框，包括：
S1011’，依据当前图像对应运动目标的特征信息，确定运动目标在真实场景下的检测区域，将当前图像中的检测区域缩放到设定缩放尺寸；
S1012’，将缩放后的图像输入提前训练好的缩放目标检测网络得到缩放检测框。
在具体实施过程中，车辆配置的图像获取装置获取的图像范围较广，例如车辆配置的图像获取装置为360°摄像头时，能够获取车周360°范围内图像，而在进行目标检测时，可以选择部分图像进行针对性分析，以提升分析效率。在该情况下，将当前图像中的检测区域缩放到设定缩放尺寸，以提升目标检测前图像处理效率，提高图像中目标的参考意义。确定当前图像对应运动目标的特征信息即车辆自身的特征信息，确定运动目标在真实场景下的检测区域，也即根据车辆信息确定车辆可视区域或运行过程中易发生碰撞的检测区域，并基于易发生碰撞的检测区域对图像进行缩放，提高图像缩放效率。
在一种可能的实现方式中，S104中，任取一个缩放检测框和一个抠图检测框进行匹配，完成所有缩放检测框和抠图检测框的匹配遍历，包括：
从缩放数据集任取一个缩放检测框，并从抠图数据集任取一个抠图检测框，计算两个检测框的重叠度比例；
将重叠度比例存入第一关联矩阵；
根据第一关联矩阵和设定匹配算法确定缩放检测框和抠图检测框的匹配结果，以确定目标是否被缩放目标检测网络和抠图目标检测网络同时检出。
在具体实施过程中，计算两个检测框的重叠度比例主要通过不同的交并比(Intersection over Union，IoU)计算得出，例如：IoU、GIoU或DIoU等。
由于缩放目标检测网络和抠图目标检测网络是以同一图像为基础进行计算，因此，对于缩放图形和抠图图像中清晰的目标（例如：车辆近处，图像中显示面积大且反光量小不宜出现不清楚的目标）分别得出缩放检测框和抠图检测框，重叠度比例较高，则基于重叠度比例值的高低可以判断是否匹配成功，即两个检测框是否检测出同一目标。
在计算过程中需要对缩放检测框和抠图检测框进行遍历匹配，因此，会得出多个重叠度比例值，其中，也难免存在重复的重叠度比例值。在本实施例中，在保存重叠度比例值时按照矩阵方式存储，便于根据重叠度比例值所在行列位置确定对应的缩放检测框和抠图检测框的匹配关系。例如：以m个缩放检测框和n个抠图检测框进行匹配后得到m行n列的第一关联矩阵为例进行说明，当读取第2行第3列的重叠度比例值为90%时，则第2个缩放检测框和第3个抠图检测框的重叠度比例值为90%；当读取第4行第5列的重叠度比例值为30%时，则第4个缩放检测框和第5个抠图检测框的重叠度比例值为30%。
在具体实施过程中，设定匹配算法为匈牙利算法或KM算法，综合匹配算法和第一关联矩阵中重叠度比例确定匹配结果。
在一种可能的实现方式中，将重叠度比例存入第一关联矩阵之前，还包括：
分别对缩放数据集的缩放检测框和抠图数据集中的抠图检测框进行编码；
其中，基于检测框的横坐标和/或纵坐标进行编码。
在该实现方式中，按照检测框中心点对应的坐标信息进行检测框编码，作为区分检测框的标识，便于后续存储重叠度比例值至第一关联矩阵和从第一关联矩阵读取重叠度比例值。
在不同实施例中，存储重叠度比例的方式不同。
在一种可能的实现方式中，将重叠度比例的实际计算值存储至第一关联矩阵。
在一种可能的实现方式中，在重叠度比例的实际计算值大于设定重叠度比例值时，按照第一设定重叠度比例值存储至第一关联矩阵；在重叠度比例的实际计算值小于等于设定重叠度比例值时，按照第二设定重叠度比例值存储至第一关联矩阵。
在具体实施例中，以缩放检测框为例进行说明，由于对同一缩放检测框a需要与多个抠图检测框进行匹配，即会得出多个重叠度比例，通常，当抠图数据集中存在与该缩放检测框a对应的抠图检测框b时，则所有缩放检测框a对应的重叠度比例值中，最高值对应的抠图检测框编码为b，则将该重叠度比例值中最高的值按照100%存储，并根据重叠度缩放检测框a的编码确定目标存储位置所在行a，根据抠图检测框b的编码确定目标存储位置所在列为b，另外，a行其他列存储重叠度比例值为0%。基于此，能够便于后续快速根据第一关联矩阵确定缩放检测框和抠图检测框的匹配关系。
在一种可能的实现方式中，S103中，根据匹配结果，从抠图检测框和/或缩放检测框中确定目标的真实检测框，存储各目标的真实检测框得到当前图像的整合数据集，得到更新后的缩放数据集记作整合数据集；包括：
在匹配失败时，将抠图检测框转存至缩放数据集，并从抠图数据集中删除；
在匹配成功时，将缩放检测框和抠图检测框进行组合，将组合检测框存放至缩放数据集，并分别从缩放数据集和抠图数据集中删除组合前原检测框；
对所有抠图检测框完成匹配后，得到更新后的缩放数据集记作整合数据集。
在具体实施过程中，在前述实施例基础上，基于第一关联矩阵中存储的重叠度比例值高低判断是否匹配成功。对于匹配失败的抠图检测框，将该抠图检测框转存至缩放数据集，并从抠图数据集中删除，以便于后续基于缩放数据集中检测框与历史图像的检测框进行对比处理，确定真实跟踪目标。
在匹配成功时，两个目标检测网络得出的缩放检测框和抠图检测框中存在相同目标的检测框。因此，为了避免后续对同一目标不同检测框的重复计算，将缩放检测框和抠图检测框进行组合，将组合检测框存放至缩放数据集，并分别从缩放数据集和抠图数据集中删除组合前原检测框。
可选的，将匹配成功的缩放检测框和抠图检测框进行整合时，基于图像均值法对各检测框进行整合。
在具体实施过程中，基于以上处理后，抠图数据集为空，所有检测框中的目标检测信息汇总至缩放数据集，将该数据集记作整合数据集，并以整合数据集中的内容与历史帧图像的整合数据集中的内容进行对比分析处理，以实现检测目标在多帧图像中的跟踪。
在一种可能的实现方式中，在确定目标可信度小于或等于设定阈值的检测目标为假跟踪目标后，还包括：
将假跟踪目标对应的检测框从当前图像的整合数据集中删除；或者，
将假跟踪目标对应的检测框从当前图像的整合数据集和前一帧图像对应的整合数据集中删除。
其中，当目标为假跟踪目标时，则后续无需对该目标进行跟踪，持续跟踪还会增加计算压力，降低对真实目标跟踪的效率，因此，在检测到假跟踪目标时，直接从整合数据集中删除对应的检测框，能够避免后续对相应检测框的匹配过程，提高跟踪效率。
在一种可能的实现方式中，抠图检测框、缩放检测框和组合检测框的属性信息中包括网络来源信息，以区分更新后的缩放数据集中各检测框为抠图检测框、缩放检测框或组合检测框。
例如：以数字编码的形式标识检测框来源，缩放检测框的网络来源信息为1，抠图检测框的网络来源信息为2，组合检测框的网络来源信息为3。在其他可能的实现方式中，可以以二进制编码、字母编码等标识检测框来源。
在一种可能的实现方式中，S103中，分别从当前图像和前一帧图像的整合数据集中任取一个检测框进行匹配确定检测目标，包括：
从整合数据集中任取一个检测框，并从前一帧图像对应的整合数据集中任取一个检测框；
确定两个检测框的网络来源信息，在网络来源信息满足相似度计算条件时，计算两个检测框的相似度值；否则，确定两检测框的相似度为设定值；
将所有相似度计算结果存入第二关联矩阵；
根据第二关联矩阵和设定匹配算法确定当前图像整合数据集中检测框与前一帧图像整合数据集中检测框的匹配结果，并根据匹配结果确定检测目标；
其中，相似度计算条件包括：根据网络来源确定两个检测框均为抠图检测框或均非抠图检测框。
结合一具体实施例进行说明。以缩放检测框的网络来源信息为1，抠图检测框的网络来源信息为2，组合检测框的网络来源信息为3进行说明，当整合数据集中任取一个检测框，并从当前图像的前一帧图像对应的整合数据集中任取一个检测框，若两检测框的网络来源信息均为2，即两检测框据均为抠图检测框时，两框未经过匹配计算过程，因此，计算两个检测框的相似度值，判断该目标在历史图像中是否出现过，避免目标漏检；同理，若两检测框的网络来源信息均非2，则两框均为的网络来源信息均为1或均为3或一个框来源为1一个框来源为3，同样两框未经过匹配计算过程，计算两个检测框的相似度值，判断该目标在历史图像中是否出现过，避免目标漏检。
其中，相似度值计算区别于前述实施例中重叠度比例值计算。具体的，相似度值由6个维度组成的两向量之间的马氏距离计算得到，这6个维度分别是中心点横、纵坐标、宽高比、IoU、宽度和高度。
具体来看，计算两个检测框的相似度值包括：遍历当前图像的整合数据集中的每一个检测框，并分别计算各检测框和历史图像中所有检测框的中心点横坐标之差、中心点纵坐标之差、宽高比、IoU、像素宽度之差和像素高度之差。6个维度的计算值分别除以对应的最大允许偏差，分别将除完最大允许偏差的6个值取平方并累加即可得相似度。
其中，像素宽度最大允许偏差为网络允许偏差（固定为10个像素）加计算允许偏差，计算允许偏差公式如下：
其中，为像素宽度的计算允许偏差；f是摄像头焦距，W是目标的物理宽度，d是纵向相对距离，v y是纵向相对速度，/> t是本帧图像和历史帧图像的间隔时间。
类似的，像素高度最大允许偏差为网络允许偏差加计算允许偏差，计算允许偏差计算如下：
其中，为像素宽度的计算允许偏差；f是摄像头焦距，H是目标的物理高度，d是纵向相对距离，v y是纵向相对速度，/> t是本帧图像和历史帧图像的间隔时间。其余四项最大允许偏差来自经验值。
另外，基于矩阵的方式存储相似度计算值，便于确定相似度值对应的两检测框。
在具体实施过程中，设定匹配算法为匈牙利算法或KM算法，综合匹配算法和第二关联矩阵中相似度确定当前图像整合数据集中检测框与当前图像的前一帧图像整合数据集中检测框的匹配结果。
在一种可能的实现方式中，S104中，根据检测框和语义分割结果计算目标可信度，具体包括：
基于检测框和语义分割结果进行对照计算，确定检测框中目标占比值；
在占比值大于设定占比值时，调整对应检测框的网络来源信息，并根据检测框更新后网络来源信息确定目标可信度；否则，基于对应检测框的网络来源信息确定目标可信度。其中，根据检测框的来源信息确定检测框经过分析处理次数越多则检测框对应目标的可信度越高。
在一具体实施例中，可信度与网络来源个数成正比，可融合的网络个数越多可信度越高。且可信度与目标生命周期成正比，生命周期越大可信度越高。
具体的，考虑可信度与目标生命周期相关性，可信度生命值计算如下：
其中，是可信度生命值；/>为目标生命周期；
目标的可信度计算如下：
其中，为目标的可信度；/>是目标网络来源对应的网络得分；是可信度生命值。
结合一具体实施例进行说明。以缩放检测框的网络来源信息为1，抠图检测框的网络来源信息为2，组合检测框的网络来源信息为3，基于检测框和语义分割结果进行对照计算，确定检测框中目标占比值大于设定占比值时，将检测框的网络来源信息加4为例进行说明，如果网络来源是1，则网络得分为0.6，如果网络来源是3，则网络得分为0.8，如果网络来源是7，则网络得分为1。
图2a是本申请一实施例提供的目标检测网络融合的实现流程图，如图该方法包括如下步骤：
获取当前图像；
将当前图像的缩放图像和压缩图像分别对应输入缩放目标检测网络和抠图目标检测网络；
缩放数据集存放NMS后的缩放检测框，同时，抠图数据集存放NMS后的抠图检测框；
在抠图检测框非空时，任取一个缩放检测框和一个抠图检测框进行匹配，计算两框的IoU；其中，缩放检测框的网络检测来源为1，抠图检测框的网络检测来源为2；
将IoU值放入第一关联矩阵；
根据第一关联矩阵中存储的IoU值判断缩放检测框和抠图检测框匹配情况，在匹配成功的情况下，将缩放检测框和抠图检测框组合并以网络来源为3存储在缩放数据集中，同时，删除组合前的抠图检测框与缩放检测框；在匹配失败的情况下，将抠图检测框转存至缩放数据集中，并从抠图数据集中删除；
判断抠图数据集中的所有的抠图检测框完成删除或转存，即抠图数据集为空时，输出缩放数据集中存放的检测框，结束目标检测网络融合，以基于整合数据集中的数据与历史帧图像的整合数据集进行目标跟踪分析。
图2b是本申请一实施例提供的目标跟踪的实现流程图，如图该方法包括如下步骤：
输入当前图像和历史图像（即当前图像的前一帧图像）对应的整合数据集；
分别从两个整合数据集中取一个检测框进行相似度计算，并对所有检测框进行遍历；
判断两个框的网络来源是否都是2（即是否都为抠图检测框）或都不是2；在判断结果为是时，对两个检测框进行相似度计算；否则，判断两个检测框无关联关系，将两个框的相似度直接记为0；
将相似度计算结果存放至第二关联矩阵；
根据第二关联矩阵中的相似度计算值判断两个检测框是否匹配成功；
在两检测框匹配成功时，对检测框对应的该目标的生命周期加1处理，并进入预测阶段；若在两检测框匹配失败时，判断检测框对应的目标是否检测到过，若为历史未检测到的新目标，对应的目标的生命周期加1处理，若历史出现过，则对应目标进入预测阶段；
对于进入预测阶段的目标判断生命周期是否大于生命周期阈值；
若大于生命周期阈值即连续多帧图像均检测到，则将该目标对应的检测框对照语义分割网络识别结果，计算语义分割目标占比；
当确定占比值大于占比阈值时，调整目标网络来源，可选的，目标网络来源加3；否则，更新当前图像整合数据集的检测框并作为历史图像的整合数据集。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
以下为本申请的装置实施例，对于其中未详尽描述的细节，可以参考上述对应的方法实施例。
图3是本申请一实施例提供的基于多检测网络融合的目标检测装置的结构示意图，如图3所示，为了便于说明，仅示出了与本申请实施例相关的部分，如图3所示，该装置包括：
检测模块301，用于将当前图像的缩放图像输入提前训练好的缩放目标检测网络得到缩放检测框，并将当前图像的抠图图像输入提前训练好的抠图目标检测网络得到抠图检测框，并将缩放检测框和抠图检测框对应存放至缩放数据集和抠图数据集；其中，抠图目标检测网络以前一帧图像中的真实跟踪目标为中心对当前图像抠图后执行目标检测；
匹配融合模块302，用于任取一个缩放检测框和一个抠图检测框进行匹配，完成所有缩放检测框和抠图检测框的匹配遍历，并根据匹配结果，从抠图检测框和/或缩放检测框中确定目标的真实检测框，存储各目标的真实检测框得到当前图像的整合数据集，得到更新后的缩放数据集记作整合数据集；
目标跟踪模块303，用于分别从当前图像和前一帧图像的整合数据集中任取一个检测框进行匹配确定检测目标，并获取提前训练好的语义分割网络对当前图像进行语义分割后得出的语义分割结果；
在检测目标存活周期小于等于设定周期时，将检测目标作为临时跟踪目标；在检测目标存活周期大于设定周期时，根据检测框和语义分割结果计算目标可信度，并确定目标可信度大于设定阈值的检测目标为真实跟踪目标；确定目标可信度小于或等于设定阈值的检测目标为假跟踪目标。
在一种可能的实现方式中，检测模块301，具体用于：
获取前一帧图像中的真实跟踪目标；
以真实跟踪目标中心点为抠图中心点，并按照设定抠图尺寸对当前图像进行抠图；
将抠图后的图像输入提前训练好的抠图目标检测网络得到抠图检测框；其中，设定抠图尺寸小于当前图像尺寸。
在一种可能的实现方式中，检测模块301，还用于在真实跟踪目标数量为多个时，确定多个真实跟踪目标中一个真实跟踪目标为主目标，以基于主目标中心点为抠图中心点；其中，主目标为多个真实跟踪目标中碰撞风险最高的目标。
在一种可能的实现方式中，检测模块301，还用于在真实跟踪目标数量为零时，以当前图像的中心点为抠图中心点，并按照设定抠图尺寸对当前图像进行抠图。
在一种可能的实现方式中，检测模块301，具体用于：
依据当前图像对应运动目标的特征信息，确定运动目标在真实场景下的检测区域，将当前图像中的检测区域缩放到设定缩放尺寸；
将缩放后的图像输入提前训练好的缩放目标检测网络得到缩放检测框。
在一种可能的实现方式中，匹配融合模块302，具体用于：
从缩放数据集任取一个缩放检测框，并从抠图数据集任取一个抠图检测框，计算两个检测框的重叠度比例；
将重叠度比例存入第一关联矩阵；
根据第一关联矩阵和设定匹配算法确定缩放检测框和抠图检测框的匹配结果，以确定目标是否被缩放目标检测网络和抠图目标检测网络同时检出。
在一种可能的实现方式中，匹配融合模块302，具体用于：
在匹配失败时，将抠图检测框转存至缩放数据集，并从抠图数据集中删除；
在匹配成功时，将缩放检测框和抠图检测框进行组合，将组合检测框存放至缩放数据集，并分别从缩放数据集和抠图数据集中删除组合前原检测框；
对所有抠图检测框完成匹配后，得到更新后的缩放数据集记作整合数据集。
在一种可能的实现方式中，抠图检测框、缩放检测框和组合检测框的属性信息中包括网络来源信息，以区分更新后的缩放数据集中各检测框为抠图检测框、缩放检测框或组合检测框。
在一种可能的实现方式中，目标跟踪模块303，具体用于：
从整合数据集中任取一个检测框，并从前一帧图像对应的整合数据集中任取一个检测框；
确定两个检测框的网络来源信息，在网络来源信息满足相似度计算条件时，计算两个检测框的相似度值；否则，确定两检测框的相似度为设定值；
将所有相似度计算结果存入第二关联矩阵；
根据第二关联矩阵和设定匹配算法确定当前图像整合数据集中检测框与前一帧图像整合数据集中检测框的匹配结果，并根据匹配结果确定检测目标；
其中，相似度计算条件包括：根据网络来源确定两个检测框均为抠图检测框或均非抠图检测框。
在本实施例中，通过将当前图像的缩放图像和抠图图像分别对应输入提前训练好的缩放目标检测网络和抠图目标检测网络得到缩放检测框和抠图检测框，基于缩放目标检测网络获得大场景图像中检测框，提升检测框计算速度，并基于抠图目标检测网络获得小范围内图像中检测框，提升局部图像检测框检测精确度。然后，分别将缩放检测框和抠图检测框对应存放至缩放数据集和抠图数据集，任取一个缩放检测框和一个抠图检测框进行匹配，完成所有缩放检测框和抠图检测框的匹配遍历，根据匹配结果将抠图检测框转存至缩放数据集，避免存在由于缩放导致目标模糊导致的目标丢失，并根据匹配结果将缩放检测框和抠图检测框组合后的组合检测框存放至缩放数据集，以对检测到同一目标的缩放检测框和一个抠图检测框进行组合得到清晰的检测框。将更新后的缩放数据集记作整合数据集，从整合数据集中任取一个检测框，并从前一帧图像对应的整合数据集中任取一个检测框进行匹配确定检测目标，避免前后两帧图像由于光线反射或拍摄角度不同导致目标误报。在检测目标存活周期小于等于设定周期时，将检测目标作为临时跟踪目标，并在后续连续多帧中进行跟踪观察，以确定是否为短暂出现或误检测出的目标。在检测目标存活周期大于设定周期时对照当前图像的语义分割结果计算目标可信度，确定各目标可信度大于设定阈值的检测目标即经过多个网络检出的目标为真实跟踪目标，也即行车过程中需要重点关注有碰撞风险的目标。本申请实施例结合多个网络对图像信息处理，综合某目标在多个网络中的检测结果进行对比分析，提高目标检测准确性。
图4是本申请一实施例提供的车辆的结构示意图。如图4所示，该实施例的车辆4包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42。所述处理器40执行所述计算机程序42时实现上述各个目标检测方法实施例中的步骤，例如图1所示各步骤。或者，所述处理器40执行所述计算机程序42时实现上述各装置实施例中各模块/单元的功能，例如图3所示各模块的功能。
示例性的，所述计算机程序42可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器41中，并由所述处理器40执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序42在所述车辆4中的执行过程。例如，所述计算机程序42可以被分割成图3所示各模块。
所述车辆4可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图4仅仅是车辆4的示例，并不构成对车辆4的限定，可以包括比图示更多或更少的部件，或者匹配某些部件，或者不同的部件，例如所述车辆还可以包括输入输出设备、网络接入设备、总线等。
所称处理器40可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述车辆4的内部存储单元，例如车辆4的硬盘或内存。所述存储器41也可以是所述车辆4的外部存储设备，例如所述车辆4上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器41还可以既包括所述车辆4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述车辆所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本申请中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/车辆和方法，可以通过其它的方式实现。例如，以上所描述的装置/车辆实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。根据这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个目标检测方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (7)

1.一种基于多检测网络融合的目标检测方法，其特征在于，包括：
将当前图像的缩放图像输入提前训练好的缩放目标检测网络得到缩放检测框，将当前图像的抠图图像输入提前训练好的抠图目标检测网络得到抠图检测框，并将缩放检测框和抠图检测框对应存放至缩放数据集和抠图数据集；其中，所述抠图图像以前一帧图像中的真实跟踪目标为中心对当前图像抠图后得出；
任取一个缩放检测框和一个抠图检测框进行匹配，完成所有缩放检测框和抠图检测框的匹配遍历，并根据匹配结果，从抠图检测框和/或缩放检测框中确定目标的真实检测框，存储各目标的真实检测框得到当前图像的整合数据集，得到更新后的缩放数据集记作整合数据集；
分别从当前图像和前一帧图像的整合数据集中任取一个检测框进行匹配确定检测目标，利用提前训练好的语义分割网络对当前图像进行语义分割，得到检测目标的语义分割结果；
若检测目标存活周期小于或等于设定周期，则将检测目标作为临时跟踪目标；若检测目标存活周期大于设定周期，则根据检测框和所述语义分割结果计算目标可信度，并确定目标可信度大于设定阈值的检测目标为真实跟踪目标；确定目标可信度小于或等于设定阈值的检测目标为假跟踪目标；
其中，所述根据检测框和语义分割结果计算目标可信度，包括：
基于检测框和语义分割结果进行对照计算，确定检测框中目标占比值；
在占比值大于设定占比值时，调整对应检测框的网络来源信息，并根据检测框更新后网络来源信息确定目标可信度；否则，基于对应检测框的网络来源信息确定目标可信度；其中，根据检测框的来源信息确定检测框经过分析处理次数越多则检测框对应目标的可信度越高；
可信度生命值计算如下：
其中，是可信度生命值；/>为目标生命周期；
目标的可信度计算如下：
其中，为目标的可信度；/>是目标网络来源对应的网络得分；/>是可信度生命值；
其中，所述根据匹配结果，从抠图检测框和/或缩放检测框中确定目标的真实检测框，存储各目标的真实检测框得到当前图像的整合数据集，得到更新后的缩放数据集记作整合数据集，包括：
在匹配失败时，将抠图检测框转存至所述缩放数据集，并从所述抠图数据集中删除；
在匹配成功时，将缩放检测框和抠图检测框进行组合，将组合检测框存放至所述缩放数据集，并分别从缩放数据集和抠图数据集中删除组合前原检测框；
对所有抠图检测框完成匹配后，得到更新后的缩放数据集记作整合数据集；
其中，抠图检测框、缩放检测框和组合检测框的属性信息中包括网络来源信息，以区分更新后的缩放数据集中各检测框为抠图检测框、缩放检测框或组合检测框；
所述分别从当前图像和前一帧图像的整合数据集中任取一个检测框进行匹配确定检测目标，包括：
从所述整合数据集中任取一个检测框，并从前一帧图像对应的整合数据集中任取一个检测框；
确定两个检测框的网络来源信息，在网络来源信息满足相似度计算条件时，计算两个检测框的相似度值；否则，确定两检测框的相似度为设定值；
将所有相似度计算结果存入第二关联矩阵；
根据所述第二关联矩阵和设定匹配算法确定当前图像整合数据集中检测框与前一帧图像整合数据集中检测框的匹配结果，并根据匹配结果确定检测目标；其中，所述相似度计算条件包括：根据网络来源确定两个检测框均为抠图检测框或均非抠图检测框；
其中，所述根据匹配结果确定检测目标，包括：
在两检测框匹配成功时，对检测框对应的该目标的生命周期加1处理，并进入预测阶段；若在两检测框匹配失败时，判断检测框对应的目标是否检测到过，若为历史未检测到的新目标，对应的目标的生命周期加1处理，若历史出现过，则对应目标进入预测阶段。
2.根据权利要求1所述的目标检测方法，其特征在于，所述将当前图像的抠图图像输入提前训练好的抠图目标检测网络得到抠图检测框，包括：
获取前一帧图像中的真实跟踪目标；
以真实跟踪目标中心点为抠图中心点，并按照设定抠图尺寸对当前图像进行抠图；
将抠图后的图像输入提前训练好的抠图目标检测网络得到抠图检测框；其中，所述设定抠图尺寸小于当前图像尺寸。
3.根据权利要求2所述的目标检测方法，其特征在于，在以真实跟踪目标中心点为抠图中心点，并按照设定抠图尺寸对当前图像进行抠图之前，还包括：
在真实跟踪目标数量为多个时，确定多个真实跟踪目标中一个真实跟踪目标为主目标，以基于所述主目标中心点为抠图中心点；其中，所述主目标为多个真实跟踪目标中碰撞风险最高的目标。
4.根据权利要求2所述的目标检测方法，其特征在于，在以真实跟踪目标中心点为抠图中心点，并按照设定抠图尺寸对当前图像进行抠图之前，还包括：
在真实跟踪目标数量为零时，以当前图像的中心点为抠图中心点，并按照设定抠图尺寸对当前图像进行抠图。
5.根据权利要求1所述的目标检测方法，其特征在于，所述任取一个缩放检测框和一个抠图检测框进行匹配，完成所有缩放检测框和抠图检测框的匹配遍历，包括：
从所述缩放数据集任取一个缩放检测框，并从所述抠图数据集任取一个抠图检测框，计算两个检测框的重叠度比例；
将重叠度比例存入第一关联矩阵；
根据所述第一关联矩阵和设定匹配算法确定缩放检测框和抠图检测框的匹配结果，以确定目标是否被所述缩放目标检测网络和所述抠图目标检测网络同时检出。
6.一种基于多检测网络融合的目标检测装置，其特征在于，包括：
检测模块，用于将当前图像的缩放图像输入提前训练好的缩放目标检测网络得到缩放检测框，并将当前图像的抠图图像输入提前训练好的抠图目标检测网络得到抠图检测框，并将缩放检测框和抠图检测框对应存放至缩放数据集和抠图数据集；其中，所述抠图目标检测网络以前一帧图像中的真实跟踪目标为中心对当前图像抠图后执行目标检测；
匹配融合模块，用于任取一个缩放检测框和一个抠图检测框进行匹配，完成所有缩放检测框和抠图检测框的匹配遍历，并根据匹配结果，从抠图检测框和/或缩放检测框中确定目标的真实检测框，存储各目标的真实检测框得到当前图像的整合数据集，得到更新后的缩放数据集记作整合数据集；
目标跟踪模块，用于分别从当前图像和前一帧图像的整合数据集中任取一个检测框进行匹配确定检测目标，并获取提前训练好的语义分割网络对当前图像进行语义分割后得出的语义分割结果；
在检测目标存活周期小于等于设定周期时，将检测目标作为临时跟踪目标；在检测目标存活周期大于设定周期时，根据检测框和所述语义分割结果计算目标可信度，并确定目标可信度大于设定阈值的检测目标为真实跟踪目标；确定目标可信度小于或等于设定阈值的检测目标为假跟踪目标；
其中，所述目标跟踪模块，具体用于：
基于检测框和语义分割结果进行对照计算，确定检测框中目标占比值；
在占比值大于设定占比值时，调整对应检测框的网络来源信息，并根据检测框更新后网络来源信息确定目标可信度；否则，基于对应检测框的网络来源信息确定目标可信度；其中，根据检测框的来源信息确定检测框经过分析处理次数越多则检测框对应目标的可信度越高；
可信度生命值计算如下：
其中，是可信度生命值；/>为目标生命周期；
目标的可信度计算如下：
其中，为目标的可信度；/>是目标网络来源对应的网络得分；/>是可信度生命值；
其中，所述匹配融合模块，具体用于：
在匹配失败时，将抠图检测框转存至所述缩放数据集，并从所述抠图数据集中删除；
在匹配成功时，将缩放检测框和抠图检测框进行组合，将组合检测框存放至所述缩放数据集，并分别从缩放数据集和抠图数据集中删除组合前原检测框；
对所有抠图检测框完成匹配后，得到更新后的缩放数据集记作整合数据集；其中，抠图检测框、缩放检测框和组合检测框的属性信息中包括网络来源信息，以区分更新后的缩放数据集中各检测框为抠图检测框、缩放检测框或组合检测框；
并具体用于：
从所述整合数据集中任取一个检测框，并从前一帧图像对应的整合数据集中任取一个检测框；
确定两个检测框的网络来源信息，在网络来源信息满足相似度计算条件时，计算两个检测框的相似度值；否则，确定两检测框的相似度为设定值；
将所有相似度计算结果存入第二关联矩阵；
根据所述第二关联矩阵和设定匹配算法确定当前图像整合数据集中检测框与前一帧图像整合数据集中检测框的匹配结果，并根据匹配结果确定检测目标；
其中，所述相似度计算条件包括：根据网络来源确定两个检测框均为抠图检测框或均非抠图检测框；
在两检测框匹配成功时，对检测框对应的该目标的生命周期加1处理，并进入预测阶段；若在两检测框匹配失败时，判断检测框对应的目标是否检测到过，若为历史未检测到的新目标，对应的目标的生命周期加1处理，若历史出现过，则对应目标进入预测阶段。
7.一种车辆，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上的权利要求1至5中任一项所述方法的步骤。
CN202311091506.3A 2023-08-29 2023-08-29 基于多检测网络融合的目标检测方法、装置及车辆 Active CN116824549B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311091506.3A CN116824549B (zh) 2023-08-29 2023-08-29 基于多检测网络融合的目标检测方法、装置及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311091506.3A CN116824549B (zh) 2023-08-29 2023-08-29 基于多检测网络融合的目标检测方法、装置及车辆

Publications (2)

Publication Number Publication Date
CN116824549A CN116824549A (zh) 2023-09-29
CN116824549B true CN116824549B (zh) 2023-12-08

Family

ID=88127723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311091506.3A Active CN116824549B (zh) 2023-08-29 2023-08-29 基于多检测网络融合的目标检测方法、装置及车辆

Country Status (1)

Country Link
CN (1) CN116824549B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163889A (zh) * 2018-10-15 2019-08-23 腾讯科技（深圳）有限公司 目标跟踪方法、目标跟踪装置、目标跟踪设备
CN111783905A (zh) * 2020-09-07 2020-10-16 成都安智杰科技有限公司 一种目标融合方法、装置、存储介质及电子设备
CN112233071A (zh) * 2020-09-28 2021-01-15 国网浙江省电力有限公司杭州供电公司 基于复杂环境下输电网图片的多粒度隐患检测方法及系统
CN112541424A (zh) * 2020-12-07 2021-03-23 南京工程学院 复杂环境下行人跌倒的实时检测方法
CN113674328A (zh) * 2021-07-14 2021-11-19 南京邮电大学 一种多目标车辆跟踪方法
CN113688798A (zh) * 2021-09-29 2021-11-23 北京拙河科技有限公司 一种基于超高清图像的识别方法及装置
CN114155284A (zh) * 2021-12-15 2022-03-08 天翼物联科技有限公司 基于多目标行人场景的行人跟踪方法、装置、设备及介质
CN114972418A (zh) * 2022-03-30 2022-08-30 北京航空航天大学 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法
CN116342642A (zh) * 2023-03-21 2023-06-27 普联技术有限公司 目标跟踪方法、装置、电子设备及可读存储介质
CN116486288A (zh) * 2023-04-23 2023-07-25 东南大学 基于轻量级密度估计网络的航拍目标计数与检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210342997A1 (en) * 2019-12-16 2021-11-04 Insurance Services Office, Inc. Computer Vision Systems and Methods for Vehicle Damage Detection with Reinforcement Learning
WO2022178833A1 (zh) * 2021-02-26 2022-09-01 京东方科技集团股份有限公司 目标检测网络的训练方法、目标检测方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163889A (zh) * 2018-10-15 2019-08-23 腾讯科技（深圳）有限公司 目标跟踪方法、目标跟踪装置、目标跟踪设备
CN111783905A (zh) * 2020-09-07 2020-10-16 成都安智杰科技有限公司 一种目标融合方法、装置、存储介质及电子设备
CN112233071A (zh) * 2020-09-28 2021-01-15 国网浙江省电力有限公司杭州供电公司 基于复杂环境下输电网图片的多粒度隐患检测方法及系统
CN112541424A (zh) * 2020-12-07 2021-03-23 南京工程学院 复杂环境下行人跌倒的实时检测方法
CN113674328A (zh) * 2021-07-14 2021-11-19 南京邮电大学 一种多目标车辆跟踪方法
CN113688798A (zh) * 2021-09-29 2021-11-23 北京拙河科技有限公司 一种基于超高清图像的识别方法及装置
CN114155284A (zh) * 2021-12-15 2022-03-08 天翼物联科技有限公司 基于多目标行人场景的行人跟踪方法、装置、设备及介质
CN114972418A (zh) * 2022-03-30 2022-08-30 北京航空航天大学 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法
CN116342642A (zh) * 2023-03-21 2023-06-27 普联技术有限公司 目标跟踪方法、装置、电子设备及可读存储介质
CN116486288A (zh) * 2023-04-23 2023-07-25 东南大学 基于轻量级密度估计网络的航拍目标计数与检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Effective Local and Global Search for Fast Long-Term Tracking;Haojie Zhao et.al;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;第45卷(第1期);第460-474页 *
基于YOLOv3与卡尔曼滤波的多目标跟踪算法;任珈民;宫宁生;韩镇阳;;计算机应用与软件(05);第175-182页 *
改进的非极大值抑制算法的目标检测;赵文清;严海;邵绪强;;中国图象图形学报(11);第64-73页 *

Also Published As

Publication number Publication date
CN116824549A (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
Abdullah et al. YOLO-based three-stage network for Bangla license plate recognition in Dhaka metropolitan city
CN110619279B (zh) 一种基于跟踪的路面交通标志实例分割方法
CN110298300B (zh) 一种检测车辆违章压线的方法
CN112967283B (zh) 基于双目摄像头的目标识别方法、系统、设备及存储介质
CN108932849B (zh) 一种记录多台机动车低速行驶违法行为的方法及装置
CN113055823B (zh) 一种基于路侧停车管理共享单车的方法及装置
CN113205692B (zh) 一种路侧停车泊位异常变动的自动识别方法
CN112937445B (zh) 360°车辆安全辅助方法及车载系统
JP4951481B2 (ja) 路面標示認識装置
CN112289037B (zh) 基于复杂环境下高视角的机动车辆违规停车检测方法及系统
KR102306789B1 (ko) 교행 다차로에서의 이상차량 인식방법 및 장치
Sunny et al. Image based automatic traffic surveillance system through number-plate identification and accident detection
CN111382735A (zh) 夜间车辆检测方法、装置、设备及存储介质
CN115393803A (zh) 车辆违规检测方法、装置及系统、存储介质
US20100027841A1 (en) Method and system for detecting a signal structure from a moving video platform
CN112633228A (zh) 停车检测方法、装置、设备及存储介质
CN116824549B (zh) 基于多检测网络融合的目标检测方法、装置及车辆
CN114693722B (zh) 一种车辆行驶行为检测方法、检测装置及检测设备
CN115565155A (zh) 神经网络模型的训练方法、车辆视图的生成方法和车辆
CN115909313A (zh) 一种基于深度学习的违停车牌识别方法和装置
CN115762153A (zh) 倒车检测方法及装置
Shahrear et al. An automatic traffic rules violation detection and number plate recognition system for Bangladesh
CN113994391A (zh) 车辆通行提醒方法、装置及车载终端
CN113408514A (zh) 一种基于深度学习检测路侧停车场泊位的方法及装置
CN114612705A (zh) 可移动障碍物位置判断方法、装置、电子设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant