CN116738271A - 基于雷达与视频融合的目标自主识别分类方法、系统 - Google Patents

基于雷达与视频融合的目标自主识别分类方法、系统 Download PDF

Info

Publication number
CN116738271A
CN116738271A CN202310373712.7A CN202310373712A CN116738271A CN 116738271 A CN116738271 A CN 116738271A CN 202310373712 A CN202310373712 A CN 202310373712A CN 116738271 A CN116738271 A CN 116738271A
Authority
CN
China
Prior art keywords
data
radar
classification
video
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310373712.7A
Other languages
English (en)
Inventor
张贵
叶艺山
邓振淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202310373712.7A priority Critical patent/CN116738271A/zh
Publication of CN116738271A publication Critical patent/CN116738271A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明涉及雷达和视频处理技术，为基于雷达与视频融合的目标自动识别分类方法及系统，方法包括：对数据进行自训练，获得雷达数据和视频数据的联合类别标签数据，作为初始标签数据；通过基于自训练的融合，采集实际应用场合中的雷达数据、视频数据，进行智能分类与自动标签生成，利用初始标签数据指导和纠正异常分类，搭建雷达‑视频数据标签的自动创建框架，完成目标分类识别。本发明无需人工对繁琐大量的数据进行标签的设置，通过雷达和视频自主认知目标事物来搭建雷达‑视频数据标签的自动创建框架，从而进行目标分类识别。

Description

基于雷达与视频融合的目标自主识别分类方法、系统
技术领域
本发明涉及雷达和视频处理技术领域，特别是一种基于雷达与视频融合的目标自动识别分类方法及系统。
背景技术
相机图像包含丰富的纹理信息，但它很容易受到光照条件或者是恶劣环境的影响，而毫米波雷达不受光线影响，具有很强的穿透烟雾和灰尘的能力，可以在黑暗或是恶劣的天气条件下探测目标，但是雷达无法对目标进行准确地分类与识别。因此，逐渐有人提出利用毫米波雷达和摄像头结合的方式，以提高在不同场景下目标分类和识别的准确性和鲁棒性，该方式已成为多传感器融合的主流技术手段。
传统的基于雷达的目标分类方法是利用目标的微多普勒效应，人为地提取复杂特征，随后将所提取的复杂特征带入到分类器中实现。而当前基于视频的目标分类识别方法大多利用神经网络，例如经典YOLO网络，但在恶劣环境下采集的视频数据利用神经网络也无法很好地进行目标分类与识别。现有的雷达-视频融合技术虽然结合了这两种传感器的优势，但在融合分类识别前需要人工对大量繁琐的数据进行标签设置，并且大多是只能利用视频辅助雷达而不能有效利用雷达辅助视频进行目标分类与识别，所以现有技术仍具有局限性。
自训练是一种典型的半监督方法，其框架如图1所示，主要思想是使用基于数据特征识别网络进行伪标签的生成，再对伪标签进行过滤后将部分伪标签与原始的标记数据相结合，并在相结合后的数据上进行联合训练，重复此过程直至网络收敛。利用自训练可以用未标记的数据集来扩充已标记的数据集。
使用自训练的方法可以由无标签数据扩充带标签的数据，但自训练最大的问题在于伪标签过滤，过滤不当会使得模型朝着错误的方向发展。
发明内容
为了解决现有技术所存在的技术问题，本发明提供一种基于雷达与视频融合的目标自动识别分类方法及系统，利用雷达和视频数据相结合来进行伪标签数据的鉴别，可以有效避免自训练过程中伪标签的过滤不当带来的模型失效问题。
本发明方法采用如下技术方案实现：一种基于雷达与视频融合的目标自动识别分类方法，包括以下步骤：
对数据进行自训练，获得雷达数据和视频数据的联合类别标签数据，作为初始标签数据；
通过基于自训练的融合，采集实际应用场合中的雷达数据、视频数据，进行智能分类与自动标签生成，利用初始标签数据指导和纠正异常分类，搭建雷达-视频数据标签的自动创建框架，完成目标分类识别。
在优选的技术方案中，对数据进行自训练的过程，包括：
在初步认知场景的良好环境下，采集雷达数据和视频数据；
将采集到的雷达数据和视频数据经过预处理，进行时空标定和多目标跟踪处理，得到若干标定后的单目标数据；
对于同一单目标数据中每一数据帧的视频数据和雷达数据，通过基于特征提取的无监督网络聚类算法，自动提取特征与分类，得到该目标的视频分类与雷达分类；
对于得到的每个单目标数据的视频分类与雷达分类，筛选出每个单目标数据的正确分类，并给每个单目标的正确类别结果赋予一个聚类标签，通过类别关联将同类标签关联在一起，得到雷达-视频数据联合类别标签，作为初步认知结果。
优选地，目标分类识别的过程包括：
将在实际应用场合中采集到的雷达数据和视频数据经过预处理后，分别通过基于自训练的融合，基于雷达特征识别网络和基于视频特征识别网络进行自动特征提取，生成雷达伪标签和视频伪标签；
结合所获得的联合类别标签数据进行异常判断，利用初始标签数据去纠正错误分类，得到正确的目标分类识别结果，获得纠正后的正确标签；
将纠正后的正确标签作为新的数据反馈输入到融合网络中，对雷达伪标签和视频伪标签进行优化，通过反馈优化使后续采集的雷达数据和视频数据再进入融合网络时的异常分类逐渐减少直至无异常分类，最终完成雷达-视频数据联合类别标签对恶劣环境的目标辅助识别。
本发明系统采用如下技术方案实现：一种基于雷达与视频融合的目标自动识别分类系统，包括自主认知框架，所述自主认知框架包括初步认知场景和强化认知场景；
其中，初步认知场景包括：
数据采集模块，用于采集良好环境下的雷达数据和视频数据；
预处理模块，用于对采集到的雷达数据和视频数据进行时空标定和多目标跟踪预处理，将数据分成多个单目标数据，并输入到智能分类模块中；
智能分类模块，用于对预处理后的多个单目标雷达数据和视频数据分别进行自动分类；
数据关联模块，用于筛选出每个单目标数据的正确分类并赋予聚类标签，然后对所有正确分类进行类别关联，得到初步认知结果，即雷达-视频联合标签数据；
强化认知场景包括：
数据采集模块，用于采集实际应用场合中的雷达数据和视频数据；
预处理模块，用于对采集到的雷达数据和视频数据进行时空标定和多目标跟踪预处理，将数据分成多个单目标数据，并输入到智能分类模块中；
智能分类模块，通过基于自训练的融合，基于雷达特征识别网络和基于视频特征识别网络进行自动特征提取，生成雷达伪标签和视频伪标签；
数据关联模块，当强化认知场景处于恶劣环境时，利用初步认知场景得到的雷达-视频联合标签数据进行目标分类的辅助识别和错误标签纠正，标签纠正的结果以反馈的形式，作为新的数据对聚类算法进行优化，不断强化对目标事物的认知，通过反馈优化使后续采集的雷达数据和视频数据再进入融合网络时的异常分类逐渐减少直至无异常分类，最终完成雷达-视频数据联合类别标签对恶劣环境的目标辅助识别。
与现有技术相比，本发明取得的技术效果包括：
1、本发明无需人工对大量繁琐的数据进行标签设置，而是通过雷达和视频自主认知目标事物来搭建雷达-视频数据标签的自动创建框架。
2、本发明设计了自主认知分类框架结构，自主认知框架包括初步认知场景和强化认知场景，结合雷达、摄像机两种传感器的数据对目标事物进行自主认知，进行目标的智能分类与数据的自动标签生成。在初步认知场景中，基于无监督学习网络算法可以得到初步认知结果，即雷达-视频联合标签；在强化认知场景中，将得到的联合标签数据和后续数据进行基于自训练学习的融合，利用雷达和视频数据相结合来进行标签纠正和目标识别分类。
3、本发明通过基于特征提取的无监督网络聚类算法分析数据之间隐含的关系，自动提取视频数据和雷达数据中稳健的特征并进行分类，再通过基于自训练的融合对雷达、摄像机两种传感器的数据进行智能分类与自动标签生成，其中自训练需要的原始标记数据由基于无监督学习网络的采集的数据得到。
附图说明
图1是传统的自训练分类框架示意图；
图2是本发明实施例中目标自主识别分类方法的流程图；
图3是本发明实施例中基于自训练的融合过程示意图；
图4是本发明实施例中初步认知场景的示意图；
图5是本发明实施例中辅助判别器的关联判别示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例1
本实施例提供的是一种基于雷达与视频融合的目标自动识别分类方法，首先通过在初步认知场景中采用基于特征提取的无监督网络聚类算法分析数据之间隐含的关系，自动提取到视频数据和雷达数据中稳健的特征并进行分类，得到对目标事物的初步认知结果，即初始联合标签数据；再通过基于自训练的融合系统对雷达相机两种传感器的数据进行智能分类与自动标签生成，利用初始联合标签数据进行目标分类的辅助识别和错误标签纠正，标签纠正的结果以反馈的形式，作为新的数据对聚类算法进行优化，不断强化系统对目标事物的认知。本发明无需人工对繁琐大量的数据进行标签的设置，通过雷达和视频自主认知目标事物来搭建雷达-视频数据标签的自动创建框架，从而进行目标分类识别。
本实施例在初步认知场景的良好环境下，完成数据的自训练，获得雷达数据和视频数据的联合类别标签数据，自训练的具体过程为：将预处理后的视频数据和雷达数据输入到基于特征提取的无监督网络学习的聚类算法中，从而自动提取到稳健的特征并进行分类，再通过数据关联进行辅助判别和类别关联，得到雷达-视频的联合类别标签数据，作为初始标签数据。此外，本实施例在强化认知场景下，通过基于自训练的融合，采集实际应用场合中的雷达、摄像机两种传感器的数据，即采集实际应用场合中的雷达数据和视频数据，进行智能分类与自动标签生成，利用初始标签数据指导和纠正异常分类，搭建雷达-视频数据标签的自动创建框架，完成目标分类识别。
本实施例的目标自主识别流程如图2所示，具体步骤如下：
S1、在良好环境下，通过初步认知场景进行数据采集。数据采集设备包括雷达和摄像头，通过雷达和摄像头这两个传感器分别采集雷达数据和视频数据。
S2、将采集到的雷达数据和视频数据经过预处理，进行时空标定和多目标跟踪处理，得到若干标定后的单目标数据。
S3、对于同一单目标数据中每一数据帧的视频数据和雷达数据，通过基于特征提取的无监督网络聚类算法，自动提取特征与分类，得到该目标的视频分类与雷达分类。
S4、对于得到的每个单目标数据的视频分类与雷达分类，筛选出每个单目标数据的正确分类，并给每个单目标的正确类别结果赋予一个聚类标签，通过类别关联将同类标签关联在一起，就可以得到雷达-视频数据联合类别标签，从而得到初步认知结果，即雷达-视频联合标签数据。
在类别关联的过程中，可以统计标定后所有数据帧的雷达-视频分类结果，取所有数据帧中置信度最高的联合分类作为该单目标的雷达-视频正确的分类结果。
S5、在强化认知场景下，将在实际应用场合中采集到的雷达数据和视频数据经过预处理后，分别通过基于自训练的融合，基于雷达特征识别网络和基于视频特征识别网络进行自动特征提取，生成雷达伪标签和视频伪标签。基于自训练的融合过程如图3所示。
S6、结合初步认知环境得到的联合类别标签数据进行异常判断，此时若是恶劣环境采集到的数据，会存在一些异常的数据分类，利用初步认知场景得到的雷达-视频数据联合类别标签(即初始标签数据)去纠正错误分类，得到正确的目标分类识别结果，获得纠正后的正确标签。
S7、将纠正后的正确标签作为新的数据反馈输入到融合网络中，对雷达伪标签和视频伪标签进行优化，通过反馈优化使后续采集的雷达数据和视频数据再进入融合网络时的异常分类逐渐减少直至无异常分类，不断强化系统对目标事物的认知。最终完成雷达-视频数据联合类别标签对恶劣环境的目标辅助识别。
在本实施例中，所述雷达数据和视频数据中包括行人和车辆数据；
对数据进行自训练时，将采集到的雷达数据和视频数据进行时空标定和目标跟踪处理，得到标定过后的数据，包括分开的行人和车辆；
对行人目标、车辆目标的多帧数据，使用基于特征提取的聚类算法进行自动提取特征与分类，分别得到每个目标的视频分类与雷达分类；
统计行人目标所有数据帧标定的雷达和视频对应分类数据的结果，取置信度最高的一个分类作为结果，得到视频分类与雷达分类的正确关联；
给判别后的行人目标的联合类别聚类标签为“人”，车辆目标的联合类别聚类标签为“车”，再将同类的聚类标签关联在一起，得到分类为“人”和“车”的雷达-视频数据联合类别标签。
进一步地，在目标分类识别过程中：
行人目标和车辆目标经采集、预处理后，分别通过融合网络的基于雷达特征识别网络和基于视频特征识别网络进行自动特征提取，生成雷达伪标签和视频伪标签；
根据雷达-视频数据联合类别标签对生成的伪标签进行融合判断，根据融合判断结果对标签进行纠正；
将纠正的标签反馈进入融合网络中，并对雷达-视频数据联合类别标签更新，用于优化后续的识别，以不断强化对目标事物的认知，最终得到雷达-视频数据标签自动生成的数据集，用于正确进行目标分类识别。
实施例2
与实施例1基于相同的发明构思，本实施例提供一种基于雷达与视频融合的目标自动识别分类系统，该系统设计了自主认知框架，自主认知框架包括两个场景：初步认知场景和强化认知场景。
初步认知场景是在良好环境下进行的，包括四个模块：数据采集模块，用于采集雷达和视频数据；预处理模块，用于对采集到的雷达、视频数据进行时空标定和多目标跟踪预处理，将数据分成多个单目标数据，并输入到智能分类模块中；智能分类模块，用于对预处理后的多个单目标雷达数据和视频数据分别进行自动分类；数据关联模块，用于筛选出每个单目标数据的正确分类并赋予聚类标签，然后对所有正确分类进行类别关联，最终得到初步认知结果，即雷达-视频联合标签数据。
强化认知场景是同样包括四个模块：
数据采集模块，用于采集实际应用场合中的雷达数据和视频数据；
预处理模块，用于对采集到的雷达数据和视频数据进行时空标定和多目标跟踪预处理，将数据分成多个单目标数据，并输入到智能分类模块中；
智能分类模块，通过基于自训练的融合，基于雷达特征识别网络和基于视频特征识别网络进行自动特征提取，生成雷达伪标签和视频伪标签；
数据关联模块，当强化认知场景处于恶劣环境时，预处理后的数据经过智能分类模块中基于自训练的融合后会出现异常的分类结果，则通过数据关联模块利用初步认知场景得到的雷达-视频联合标签数据进行目标分类的辅助识别和错误标签纠正，标签纠正的结果以反馈的形式，作为新的数据对聚类算法进行优化，不断强化系统对目标事物的认知，通过反馈优化使后续采集的雷达数据和视频数据再进入融合网络时的异常分类逐渐减少直至无异常分类，最终完成雷达-视频数据联合类别标签对恶劣环境的目标辅助识别。
为了更详尽地描述本发明的技术内容，以下将以某场景下运动着的两个行人和一辆车为例，结合图4对本实施例进一步详细说明。
(1)在初步认知场景下，数据采集模块的两个传感器分别采集到的雷达和视频数据中，包括两个行人和一辆车的数据。
(2)预处理模块将采集到的雷达数据和视频数据进行时空标定和目标跟踪处理，得到标定过后的数据，包括分开的两个行人(用a和b表示)，一辆车(用c表示)。
(3)将行人目标a、行人目标b、车辆目标c的多帧数据，分别依次输入到智能分类模块中，使用基于特征提取的聚类算法进行自动提取特征与分类，分别可以得到每个目标的一些视频分类与雷达分类，这些分类中除了正确的结果外(以目标a为例，如图5中的类别Ra和类别Ca)，还存在一些可能的错误分类(如图5中的类别Ra1、Ca1等)。
(4)使用辅助判别器统计行人目标a所有数据帧标定的雷达和视频对应分类数据的结果，如图5所示，取置信度最高的一个分类作为结果，得到视频分类与雷达分类的正确关联，如图5中的类别Ra和类别Ca；目标b和目标c的关联判别处理类似。
(5)给判别后的行人目标a的联合类别(Ra-Ca)聚类标签为“人”，同理行人目标b的联合类别(Rb-Cb)聚类标签为“人”，车辆目标c的联合类别(Rc-Cc)聚类标签为“车”，再将同类的聚类标签关联在一起，就可以得到分类为“人”和“车”的雷达-视频数据联合类别标签(例如联合类别Rc-Cc的标签是“车”)；至此初步认知场景完毕。
(6)在强化认知场景下，“人”或“车”这两类目标，即行人目标和车辆目标经数据采集模块中的雷达和摄像机传感器采集、预处理模块的预处理后，分别通过融合网络的基于雷达特征识别网络和基于视频特征识别网络进行自动特征提取，生成雷达伪标签和视频伪标签。
(7)根据初始认知场景得到的雷达-视频数据联合类别标签(Ra-Ca、Rb-Cb、Rc-Cc)对生成的伪标签进行融合判断，根据融合判断结果对标签进行纠正。比如，处于恶劣环境通过数据采集模块采集到的行人数据再经过预处理模块，得到Rd-Cd，送到融合网络中，此时分两种情况：
a)若恶劣环境是对雷达不利，则得到的雷达分类会异常(Cd与Ca、Cb相似，但Rd异常，与Ra，Rb不具有相似性)，利用初步认知场景得到的分类为“人”的雷达-视频数据联合类别标签(Ra-Ca、Rb-Cb)，将Cd可以归类到标签“人”，并且对异常的雷达分类Rd进行纠正，最终将Rd-Cd扩充在联合标签“人”中，下次与Rd类似的雷达分类可以归类到“人”而不再属于异常分类；
b)同理，若是恶劣环境是对视频不利(如夜晚光线很差的情况)，则得到的视频分类会异常(Rd与Ra、Rb相似，但Cd异常，与Ca，Cb不具有相似性)，利用初步认知场景得到的分类为“人”的雷达-视频数据联合类别标签(Ra-Ca、Rb-Cb)，将Rd可以归类到标签“人”，并且对异常的视频分类Cd进行纠正，最终将Rd-Cd扩充在联合标签“人”中，下次与Cd类似的视频分类可以归类到“人”而不再属于异常分类。
(8)将纠正的标签反馈进入融合网络中，此时分类为“人”的雷达-视频数据联合类别标签更新为(Ra-Ca、Rb-Cb、Rd-Cd)，用于优化后续的识别，通过以上方式不断强化系统对目标事物的认知，最终得到雷达-视频数据标签自动生成的数据集，从而可以正确进行目标分类识别。
显然，上述所述的实施例只是本发明的一部分实施例，而不是全部实施例，本发明不限于上述实施例的细节，任何所属技术领域的普通技术人员对其所做的适当变化或修饰，皆视为不脱离本发明的专利范畴。

Claims (9)

1.一种基于雷达与视频融合的目标自动识别分类方法，其特征在于，包括以下步骤：
对数据进行自训练，获得雷达数据和视频数据的联合类别标签数据，作为初始标签数据；
通过基于自训练的融合，采集实际应用场合中的雷达数据、视频数据，进行智能分类与自动标签生成，利用初始标签数据指导和纠正异常分类，搭建雷达-视频数据标签的自动创建框架，完成目标分类识别。
2.根据权利要求1所述的目标自动识别分类方法，其特征在于，对数据进行自训练的过程，包括：
在初步认知场景的良好环境下，采集雷达数据和视频数据；
将采集到的雷达数据和视频数据经过预处理，进行时空标定和多目标跟踪处理，得到若干标定后的单目标数据；
对于同一单目标数据中每一数据帧的视频数据和雷达数据，通过基于特征提取的无监督网络聚类算法，自动提取特征与分类，得到该目标的视频分类与雷达分类；
对于得到的每个单目标数据的视频分类与雷达分类，筛选出每个单目标数据的正确分类，并给每个单目标的正确类别结果赋予一个聚类标签，通过类别关联将同类标签关联在一起，得到雷达-视频数据联合类别标签，作为初步认知结果。
3.根据权利要求1所述的目标自动识别分类方法，其特征在于，目标分类识别的过程包括：
将在实际应用场合中采集到的雷达数据和视频数据经过预处理后，分别通过基于自训练的融合，基于雷达特征识别网络和基于视频特征识别网络进行自动特征提取，生成雷达伪标签和视频伪标签；
结合所获得的联合类别标签数据进行异常判断，利用初始标签数据去纠正错误分类，得到正确的目标分类识别结果，获得纠正后的正确标签；
将纠正后的正确标签作为新的数据反馈输入到融合网络中，对雷达伪标签和视频伪标签进行优化，通过反馈优化使后续采集的雷达数据和视频数据再进入融合网络时的异常分类逐渐减少直至无异常分类，最终完成雷达-视频数据联合类别标签对恶劣环境的目标辅助识别。
4.根据权利要求2所述的目标自动识别分类方法，其特征在于，所述雷达数据和视频数据中包括行人和车辆数据；
对数据进行自训练时，将采集到的雷达数据和视频数据进行时空标定和目标跟踪处理，得到标定过后的数据，包括分开的行人和车辆；
对行人目标、车辆目标的多帧数据，使用基于特征提取的聚类算法进行自动提取特征与分类，分别得到每个目标的视频分类与雷达分类；
统计行人目标所有数据帧标定的雷达和视频对应分类数据的结果，取置信度最高的一个分类作为结果，得到视频分类与雷达分类的正确关联；
给判别后的行人目标的联合类别聚类标签为“人”，车辆目标的联合类别聚类标签为“车”，再将同类的聚类标签关联在一起，得到分类为“人”和“车”的雷达-视频数据联合类别标签。
5.根据权利要求4所述的目标自动识别分类方法，其特征在于，目标分类识别过程中：
行人目标和车辆目标经采集、预处理后，分别通过融合网络的基于雷达特征识别网络和基于视频特征识别网络进行自动特征提取，生成雷达伪标签和视频伪标签；
根据雷达-视频数据联合类别标签对生成的伪标签进行融合判断，根据融合判断结果对标签进行纠正；
将纠正的标签反馈进入融合网络中，并对雷达-视频数据联合类别标签更新，用于优化后续的识别，以不断强化对目标事物的认知，最终得到雷达-视频数据标签自动生成的数据集，用于正确进行目标分类识别。
6.一种基于雷达与视频融合的目标自动识别分类系统，其特征在于，包括自主认知框架，所述自主认知框架包括初步认知场景和强化认知场景；
其中，初步认知场景包括：
数据采集模块，用于采集良好环境下的雷达数据和视频数据；
预处理模块，用于对采集到的雷达数据和视频数据进行时空标定和多目标跟踪预处理，将数据分成多个单目标数据，并输入到智能分类模块中；
智能分类模块，用于对预处理后的多个单目标雷达数据和视频数据分别进行自动分类；
数据关联模块，用于筛选出每个单目标数据的正确分类并赋予聚类标签，然后对所有正确分类进行类别关联，得到初步认知结果，即雷达-视频联合标签数据；
强化认知场景包括：
数据采集模块，用于采集实际应用场合中的雷达数据和视频数据；
预处理模块，用于对采集到的雷达数据和视频数据进行时空标定和多目标跟踪预处理，将数据分成多个单目标数据，并输入到智能分类模块中；
智能分类模块，通过基于自训练的融合，基于雷达特征识别网络和基于视频特征识别网络进行自动特征提取，生成雷达伪标签和视频伪标签；
数据关联模块，当强化认知场景处于恶劣环境时，利用初步认知场景得到的雷达-视频联合标签数据进行目标分类的辅助识别和错误标签纠正，标签纠正的结果以反馈的形式，作为新的数据对聚类算法进行优化，不断强化对目标事物的认知，通过反馈优化使后续采集的雷达数据和视频数据再进入融合网络时的异常分类逐渐减少直至无异常分类，最终完成雷达-视频数据联合类别标签对恶劣环境的目标辅助识别。
7.根据权利要求6所述的目标自动识别分类系统，其特征在于，数据采集模块包括雷达和摄像机。
8.根据权利要求6所述的目标自动识别分类系统，其特征在于，在初步认知场景下：
数据采集模块采集到雷达和视频数据中包括行人和车辆数据；
预处理模块将采集到的雷达数据和视频数据进行时空标定和目标跟踪处理，得到标定过后的数据，包括分开的行人和车辆；
将行人目标、车辆目标的多帧数据，分别依次输入到智能分类模块中，使用基于特征提取的聚类算法进行自动提取特征与分类，分别得到每个目标的视频分类与雷达分类；
使用辅助判别器统计行人目标所有数据帧标定的雷达和视频对应分类数据的结果，取置信度最高的一个分类作为结果，得到视频分类与雷达分类的正确关联；
给判别后的行人目标的联合类别聚类标签为“人”，车辆目标的联合类别聚类标签为“车”，再将同类的聚类标签关联在一起，得到分类为“人”和“车”的雷达-视频数据联合类别标签。
9.根据权利要求8所述的目标自动识别分类系统，其特征在于，在强化认知场景下：
行人目标和车辆目标经数据采集模块采集、预处理模块的预处理后，分别通过融合网络的基于雷达特征识别网络和基于视频特征识别网络进行自动特征提取，生成雷达伪标签和视频伪标签；
根据初始认知场景得到的雷达-视频数据联合类别标签对生成的伪标签进行融合判断，根据融合判断结果对标签进行纠正；
将纠正的标签反馈进入融合网络中，并对雷达-视频数据联合类别标签更新，用于优化后续的识别，以不断强化对目标事物的认知，最终得到雷达-视频数据标签自动生成的数据集，用于正确进行目标分类识别。
CN202310373712.7A 2023-04-10 2023-04-10 基于雷达与视频融合的目标自主识别分类方法、系统 Pending CN116738271A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310373712.7A CN116738271A (zh) 2023-04-10 2023-04-10 基于雷达与视频融合的目标自主识别分类方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310373712.7A CN116738271A (zh) 2023-04-10 2023-04-10 基于雷达与视频融合的目标自主识别分类方法、系统

Publications (1)

Publication Number Publication Date
CN116738271A true CN116738271A (zh) 2023-09-12

Family

ID=87906800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310373712.7A Pending CN116738271A (zh) 2023-04-10 2023-04-10 基于雷达与视频融合的目标自主识别分类方法、系统

Country Status (1)

Country Link
CN (1) CN116738271A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117093872A (zh) * 2023-10-19 2023-11-21 四川数字交通科技股份有限公司 雷达目标分类模型自训练方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117093872A (zh) * 2023-10-19 2023-11-21 四川数字交通科技股份有限公司 雷达目标分类模型自训练方法及系统
CN117093872B (zh) * 2023-10-19 2024-01-02 四川数字交通科技股份有限公司 雷达目标分类模型自训练方法及系统

Similar Documents

Publication Publication Date Title
CN108460356B (zh) 一种基于监控系统的人脸图像自动处理系统
CN110363140B (zh) 一种基于红外图像的人体动作实时识别方法
CN110363122B (zh) 一种基于多层特征对齐的跨域目标检测方法
CN111241931B (zh) 一种基于YOLOv3的空中无人机目标识别和跟踪方法
US8467570B2 (en) Tracking system with fused motion and object detection
CN112069940B (zh) 一种基于分阶段特征学习的跨域行人重识别方法
CN107316036B (zh) 一种基于级联分类器的害虫识别方法
CN110119726B (zh) 一种基于YOLOv3模型的车辆品牌多角度识别方法
CN101980245B (zh) 一种基于自适应模板匹配的客流统计方法
CN110633632A (zh) 一种基于循环指导的弱监督联合目标检测和语义分割方法
CN103761531A (zh) 基于形状轮廓特征的稀疏编码车牌字符识别方法
CN111368690A (zh) 基于深度学习的海浪影响下视频图像船只检测方法及系统
CN103336971A (zh) 基于多特征融合与增量学习的多摄像机间的目标匹配方法
CN112818951A (zh) 一种票证识别的方法
Weber et al. HDTLR: A CNN based hierarchical detector for traffic lights
CN116738271A (zh) 基于雷达与视频融合的目标自主识别分类方法、系统
CN113361533A (zh) 重叠遮挡的目标物的分割识别方法及系统
CN113673607A (zh) 图像标注模型的训练及图像标注的方法及装置
An Anomalies detection and tracking using Siamese neural networks
CN113065568A (zh) 目标检测、属性识别与跟踪方法及系统
CN113449676B (zh) 一种基于双路互促进解纠缠学习的行人重识别方法
CN115035159A (zh) 一种基于深度学习和时序特征增强的视频多目标跟踪方法
CN115100497A (zh) 基于机器人的通道异常物体巡检方法、装置、设备及介质
CN112307894A (zh) 一种社区监控场景下基于皱纹特征和姿态特征的行人年龄识别方法
CN106169086B (zh) 导航数据辅助下的高分辨率光学影像损毁道路提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination