CN115082731A - 一种基于投票机制的目标分类方法和装置 - Google Patents

一种基于投票机制的目标分类方法和装置 Download PDF

Info

Publication number
CN115082731A
CN115082731A CN202210674872.0A CN202210674872A CN115082731A CN 115082731 A CN115082731 A CN 115082731A CN 202210674872 A CN202210674872 A CN 202210674872A CN 115082731 A CN115082731 A CN 115082731A
Authority
CN
China
Prior art keywords
target
type
image
point cloud
types
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210674872.0A
Other languages
English (en)
Other versions
CN115082731B (zh
Inventor
何哲琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Qingyu Technology Co Ltd
Original Assignee
Suzhou Qingyu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Qingyu Technology Co Ltd filed Critical Suzhou Qingyu Technology Co Ltd
Priority to CN202210674872.0A priority Critical patent/CN115082731B/zh
Publication of CN115082731A publication Critical patent/CN115082731A/zh
Application granted granted Critical
Publication of CN115082731B publication Critical patent/CN115082731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/817—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level by voting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例涉及一种基于投票机制的目标分类方法和装置，所述方法包括：获取第一图像‑点云对序列；对各个第一图像进行图像目标分类处理生成对应的第一目标类型；并对各个第一点云进行点云目标分类处理生成对应的第二目标类型；对所有第一、第二目标类型进行目标类型统计生成对应的第一统计类型集合；根据所有第一、第二目标类型对各个第一统计类型进行投票生成对应的第一票数；将票数值最大的第一票数对应的第一统计类型作为目标分类结果输出。通过本发明，给出了一种可以基于多类感知数据进行目标分类的处理机制，提高了分类识别精度。

Description

一种基于投票机制的目标分类方法和装置
技术领域
本发明涉及数据处理技术领域，特别涉及一种基于投票机制的目标分类方法和装置。
背景技术
虽然在自动或无人驾驶车辆上装有多类传感器(诸如摄像头、激光雷达等)，但传统的自动或无人驾驶系统往往只会基于单类传感器(摄像头或激光雷达)的感知数据(图像或点云)进行目标分类，并未给出可以基于多类感知数据进行目标分类的实现方案。
发明内容
本发明的目的，就是针对现有技术的缺陷，提供一种基于投票机制的目标分类方法、装置、电子设备及计算机可读存储介质，先分别基于多张图像和多个点云进行目标分类，再对两类分类结果进行投票，再将其中票数最高的分类类型作为最终分类结果输出。通过本发明，给出了一种可以基于多类感知数据进行目标分类的处理机制，这种处理机制比传统方式具有更高的分类识别精度。
为实现上述目的，本发明实施例第一方面提供了一种基于投票机制的目标分类方法，所述方法包括：
获取第一图像-点云对序列；所述第一图像-点云对序列包括多个第一图像-点云对；所述第一图像-点云对包括第一图像和第一点云；
对各个所述第一图像进行图像目标分类处理生成对应的第一目标类型；并对各个所述第一点云进行点云目标分类处理生成对应的第二目标类型；所述第一、第二目标类型均满足预设的目标类型范围；所述目标类型范围至少包括车辆目标类型、行人目标类型、两轮车骑行者目标类型、三轮车骑行者目标类型、植物目标类型、栅栏物目标类型和其他目标类型；
对所有所述第一、第二目标类型进行目标类型统计生成对应的第一统计类型集合；所述第一统计类型集合包括多个第一统计类型；
根据所有所述第一、第二目标类型对各个所述第一统计类型进行投票生成对应的第一票数；
将票数值最大的所述第一票数对应的所述第一统计类型作为目标分类结果输出。
优选的，所述第一图像-点云对序列的所有所述第一图像-点云对都对应同一个待分类目标；所述第一图像-点云对的所述第一图像和所述第一点云为车载摄像头和车载激光雷达在同一时间节点对同一个所述待分类目标分别进行图像拍摄和雷达扫描获得的拍摄图像和扫描点云。
优选的，所述对各个所述第一图像进行图像目标分类处理生成对应的第一目标类型，具体包括：
按预设的图像尺寸大小对所述第一图像进行图像缩放处理生成对应的第二图像；并对所述第二图像进行归一化处理生成对应的第三图像；并基于regnetx_800mf网络对所述第三图像进行目标分类识别处理生成对应的所述第一目标类型。
优选的，所述对各个所述第一点云进行点云目标分类处理生成对应的第二目标类型，具体包括：
按预设的点云降采样机制对所述第一点云进行降采样处理生成对应的第二点云；并基于PointNet++网络对所述第二点云进行目标分类识别处理生成对应的所述第二目标类型。
优选的，所述对所有所述第一、第二目标类型进行目标类型统计生成对应的第一统计类型集合，具体包括：
对所述目标类型范围的各个具体目标类型进行遍历；遍历时，将当前遍历的具体目标类型作为当前目标类型，并对所有所述第一、第二目标类型中是否存在与所述当前目标类型匹配的第一或所述第二目标类型进行确认，若确认存在则将所述当前目标类型作为对应的所述第一统计类型；遍历结束时，由得到的所有所述第一统计类型组成对应的所述第一统计类型集合。
优选的，所述根据所有所述第一、第二目标类型对各个所述第一统计类型进行投票生成对应的第一票数，具体包括：
对各个所述第一统计类型进行遍历；遍历时，将当前遍历的所述第一统计类型作为当前统计类型；并对与所述当前统计类型匹配的所述第一、第二目标类型的总量进行统计生成对应的第一总量；并对所述当前统计类型是否为其他目标类型进行识别；若所述当前统计类型为其他目标类型，则将所述第一总量乘以预设的第一投票权值的乘积作为对应的所述第一票数；若所述当前统计类型不为其他目标类型，则将所述第一总量乘以预设的第二投票权值的乘积作为对应的所述第一票数；所述第二投票权值大于所述第一投票权值。
本发明实施例第二方面提供了一种用于实现上述第一方面所述的基于投票机制的目标分类方法的装置,所述装置包括：获取模块、图像点云分类处理模块、统计类型处理模块和投票处理模块；
所述获取模块用于获取第一图像-点云对序列；所述第一图像-点云对序列包括多个第一图像-点云对；所述第一图像-点云对包括第一图像和第一点云；
所述图像点云分类处理模块用于对各个所述第一图像进行图像目标分类处理生成对应的第一目标类型；并对各个所述第一点云进行点云目标分类处理生成对应的第二目标类型；所述第一、第二目标类型均满足预设的目标类型范围；所述目标类型范围至少包括车辆目标类型、行人目标类型、两轮车骑行者目标类型、三轮车骑行者目标类型、植物目标类型、栅栏物目标类型和其他目标类型；
所述统计类型处理模块用于对所有所述第一、第二目标类型进行目标类型统计生成对应的第一统计类型集合；所述第一统计类型集合包括多个第一统计类型；
所述投票处理模块用于根据所有所述第一、第二目标类型对各个所述第一统计类型进行投票生成对应的第一票数；并将票数值最大的所述第一票数对应的所述第一统计类型作为目标分类结果输出。
本发明实施例第三方面提供了一种电子设备，包括：存储器、处理器和收发器；
所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现上述第一方面所述的方法步骤；
所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。
本发明实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行上述第一方面所述的方法的指令。
本发明实施例提供了一种基于投票机制的目标分类方法、装置、电子设备及计算机可读存储介质，先分别基于多张图像和多个点云进行目标分类，再对两类分类结果进行投票，再将其中票数最高的分类类型作为最终分类结果输出。通过本发明，给出了一种可以基于多类感知数据进行目标分类的处理机制，提高了分类识别精度。
附图说明
图1为本发明实施例一提供的一种基于投票机制的目标分类方法示意图；
图2为本发明实施例二提供的一种基于投票机制的目标分类装置的模块结构图；
图3为本发明实施例三提供的一种电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例一提供一种基于投票机制的目标分类方法，如图1为本发明实施例一提供的一种基于投票机制的目标分类方法示意图所示，本方法主要包括如下步骤：
步骤1，获取第一图像-点云对序列；
其中，第一图像-点云对序列包括多个第一图像-点云对；第一图像-点云对包括第一图像和第一点云；第一图像-点云对序列的所有第一图像-点云对都对应同一个待分类目标；第一图像-点云对的第一图像和第一点云为车载摄像头和车载激光雷达在同一时间节点对同一个待分类目标分别进行图像拍摄和雷达扫描获得的拍摄图像和扫描点云。
这里，第一图像-点云对序列中存储的所有第一图像和第一点云都是同一个待分类障碍物目标即上述待分类目标的图像和点云数据；第一图像-点云对序列由多个第一图像-点云对按时间先后顺序排列而成，每个第一图像-点云对与一个时间节点对应；在每个第一图像-点云对中，第一图像为车载摄像头在对应时间节点上对上述待分类目标进行拍摄生成的图像数据，第一点云为车载激光雷达在对应时间节点上对上述待分类目标进行雷达扫描生成的点云数据。为能更好地理解第一图像-点云对序列的数据结构，下文通过一个示例对第一图像-点云对序列的生成过程进行说明。
例如，车辆行驶过程中前方出现一个不明物体A；车载摄像头从时间t1开始每隔一个指定时间间隔△t就对该不明物体A进行一次拍摄，经过10次拍摄获得10张第一图像；车载激光雷达从时间t1开始每隔△t就对该不明物体A进行一次雷达扫描，经过10次扫描获得10个第一点云；按时间节点的对应关系将10张第一图像和10个第一点云进行图像点云对组合得到10个第一图像-点云对，这10个第一图像-点云对对应的时间节点分别为：t1、t1+△t、t1+2△t……t1+9△t；再按对应时间节点的先后顺序对这10个第一图像-点云对进行排序生成对应的第一图像-点云对序列。
步骤2，对各个第一图像进行图像目标分类处理生成对应的第一目标类型；并对各个第一点云进行点云目标分类处理生成对应的第二目标类型；
其中，第一、第二目标类型均满足预设的目标类型范围；目标类型范围至少包括车辆目标类型、行人目标类型、两轮车骑行者目标类型、三轮车骑行者目标类型、植物目标类型、栅栏物目标类型和其他目标类型；
具体包括：步骤21，对各个第一图像进行图像目标分类处理生成对应的第一目标类型；
具体为：按预设的图像尺寸大小对第一图像进行图像缩放处理生成对应的第二图像；并对第二图像进行归一化处理生成对应的第三图像；并基于regnetx_800mf网络对第三图像进行目标分类识别处理生成对应的第一目标类型；
这里，由脸书人工智能研究部门(Facebook AI Research，FAIR)的作者：IlijaRadosavovic，Raj Prateek Kosaraju，Ross Girshick，Kaiming He，Piotr Doll′ar发布的论文《Designing Network Design Spaces》可知，regnetx_800mf网络的网络结构包括stem网络层、body网络层和head网络层；stem网络层由卷积层、归一化(BatchNormalization，BN)层和relu函数激活层组成，stem网络层用于对输入的第三图像进行预处理；body网络层由4个stage网络层堆叠而成，每经过一个stage网络层都会将输入特征矩阵的高度和宽度缩减一半，每个stage网络层又由多个模块堆叠而成，每个stage网络层中除第一个模块之外其余所有模块的结构均相同且都采用残差网络结构，body网络层用于对stem网络层的输出进行特征提取；head网络层由一个全局平均池化层和全连接层构成，head网络层用于对于body网络层的输出进行分类处理生成对应的第一目标类型；
例如，第一图像-点云对序列包括10个第一图像-点云对，每个第一图像-点云对包括1个第一图像和1个第一点云；通过当前步骤对10个第一图像逐个进行图像目标分类处理可以得到10个第一目标类型；
步骤22，对各个第一点云进行点云目标分类处理生成对应的第二目标类型；
具体为：按预设的点云降采样机制对第一点云进行降采样处理生成对应的第二点云；并基于PointNet++网络对第二点云进行目标分类识别处理生成对应的第二目标类型。
这里，本发明实施例支持多种点云降采样机制；其中一种点云降采样机制为：按预设的降采样目标点数n将第一点云的点云空间划分成n个大小一致的栅格单元，并从每个栅格单元中随机抽取一个点作为采样点，并由得到的n个采样点构成第二点云；其中另一种点云降采样机制为：按预设的降采样目标点数n将第一点云的点云空间划分成n个大小一致的栅格单元，并在每个栅格单元中计算各点与其他所有点的距离总和，并将距离总和为最小值的点作为采样点，并由得到的n个采样点构成第二点云；其中另一种点云降采样机制为：按预设的点云密度区间将第一点云的点云空间划分成多个不同点云密度的子空间，并基于点云密度越大栅格大小越小的原则采用不同大小的栅格单元对各个子空间进行栅格划分(但要保证栅格单元的总量为n)，并对各个子空间的所有栅格单元进行采样获得对应的采样点，并由最终得到的n个采样点构成第二点云；
对于PointNet++网络，由斯坦福大学的作者Charles R.Qi、Li Yi、Hao Su、Leonidas J.Guibas发表的论文《PointNet++:Deep Hierarchical Feature Learning onPoint Sets in a Metric Space》可知，该网络有两种应用网络结构：一种用于分类、另一种用于分割；本发明实施例使用的是其中用于分类的应用网络结构，该应用网络结构由分层点集特征学习网络(Hierarchical point set feature learning)和分类网络(Classification)组成；分层点集特征学习网络用于对输入的第二点云进行特征提取，分类网络则用于对分层点集特征学习网络输出的点云特征进行分类处理生成对应的第二目标类型；
例如，第一图像-点云对序列包括10个第一图像-点云对，每个第一图像-点云对包括1个第一图像和1个第一点云；通过当前步骤对10个第一点云逐个进行点云目标分类处理可以得到10个第二目标类型。
步骤3，对所有第一、第二目标类型进行目标类型统计生成对应的第一统计类型集合；
其中，第一统计类型集合包括多个第一统计类型；
具体包括：对目标类型范围的各个具体目标类型进行遍历；遍历时，将当前遍历的具体目标类型作为当前目标类型，并对所有第一、第二目标类型中是否存在与当前目标类型匹配的第一或第二目标类型进行确认，若确认存在则将当前目标类型作为对应的第一统计类型；遍历结束时，由得到的所有第一统计类型组成对应的第一统计类型集合。
例如，得到的10个第一目标类型中：具体为两轮车骑行者目标类型的有6个，具体为三轮车骑行者目标类型的有3个，具体为其他目标类型的有1个；得到的10个第二目标类型中：具体为车辆目标类型的有1个，具体为两轮车骑行者目标类型的有5个，具体为三轮车骑行者目标类型的有2个，具体为其他目标类型的有2个；目标类型范围包括车辆目标类型、行人目标类型、两轮车骑行者目标类型、三轮车骑行者目标类型、植物目标类型、栅栏物目标类型和其他目标类型；
对目标类型范围的各个具体目标类型进行遍历；
当前目标类型为车辆目标类型时，20个第一、第二目标类型中有1个目标类型为车辆目标类型，即在这20个第一、第二目标类型中存在与当前目标类型匹配的第一或第二目标类型，所以得到第1个第一统计类型＝车辆目标类型；
当前目标类型为行人目标类型时，20个第一、第二目标类型中没有任何第一、第二目标类型为行人目标类型，即20个第一、第二目标类型中不存在与当前目标类型匹配的第一或第二目标类型，所以不产生第一统计类型；
当前目标类型为两轮车骑行者目标类型时，20个第一、第二目标类型中有11个目标类型为两轮车骑行者目标类型，即在这20个第一、第二目标类型中存在与当前目标类型匹配的第一或第二目标类型，所以得到第2个第一统计类型＝两轮车骑行者目标类型；
当前目标类型为三轮车骑行者目标类型时，20个第一、第二目标类型中有5个目标类型为三轮车骑行者目标类型，即在这20个第一、第二目标类型中存在与当前目标类型匹配的第一或第二目标类型，所以得到第3个第一统计类型＝三轮车骑行者目标类型；
当前目标类型为植物目标类型时，20个第一、第二目标类型中没有任何第一、第二目标类型为植物目标类型，即20个第一、第二目标类型中不存在与当前目标类型匹配的第一或第二目标类型，所以不产生第一统计类型；
当前目标类型为栅栏物目标类型时，20个第一、第二目标类型中没有任何第一、第二目标类型为栅栏物目标类型，即20个第一、第二目标类型中不存在与当前目标类型匹配的第一或第二目标类型，所以不产生第一统计类型；
当前目标类型为其他目标类型时，20个第一、第二目标类型中有3个目标类型为其他目标类型，即在这20个第一、第二目标类型中存在与当前目标类型匹配的第一或第二目标类型，所以得到第4个第一统计类型＝其他目标类型；
遍历结束时，由第1、2、3、4个第一统计类型组成的第一统计类型集合为{第1个第一统计类型＝车辆目标类型，第2个第一统计类型＝两轮车骑行者目标类型，第3个第一统计类型＝三轮车骑行者目标类型，第4个第一统计类型＝其他目标类型}。
步骤4，根据所有第一、第二目标类型对各个第一统计类型进行投票生成对应的第一票数；
具体包括：对各个第一统计类型进行遍历；遍历时，将当前遍历的第一统计类型作为当前统计类型；并对与当前统计类型匹配的第一、第二目标类型的总量进行统计生成对应的第一总量；并对当前统计类型是否为其他目标类型进行识别；若当前统计类型为其他目标类型，则将第一总量乘以预设的第一投票权值的乘积作为对应的第一票数；若当前统计类型不为其他目标类型，则将第一总量乘以预设的第二投票权值的乘积作为对应的第一票数；
其中，第二投票权值大于第一投票权值；第一投票权值默认为1，第二投票权值默认2。
例如，得到的10个第一目标类型中：具体为两轮车骑行者目标类型的有6个，具体为三轮车骑行者目标类型的有3个，具体为其他目标类型的有1个；得到的10个第二目标类型中：具体为车辆目标类型的有1个，具体为两轮车骑行者目标类型的有5个，具体为三轮车骑行者目标类型的有2个，具体为其他目标类型的有2个；得到的第一统计类型集合为{第1个第一统计类型＝车辆目标类型，第2个第一统计类型＝两轮车骑行者目标类型，第3个第一统计类型＝三轮车骑行者目标类型，第4个第一统计类型＝其他目标类型}；
对各个第一统计类型进行遍历；
当前统计类型为车辆目标类型时，20个第一、第二目标类型中与车辆目标类型匹配的第一、第二目标类型的总量也就是第一总量＝1；因为当前统计类型不是其他目标类型，所以对应的第一票数＝第一总量*第二投票权值＝1*2＝2(票)；
当前统计类型为两轮车骑行者目标类型时，20个第一、第二目标类型中与两轮车骑行者目标类型匹配的第一、第二目标类型的总量也就是第一总量＝11；因为当前统计类型不是其他目标类型，所以对应的第一票数＝第一总量*第二投票权值＝11*2＝22(票)；
当前统计类型为三轮车骑行者目标类型时，20个第一、第二目标类型中与三轮车骑行者目标类型匹配的第一、第二目标类型的总量也就是第一总量＝5；因为当前统计类型不是其他目标类型，所以对应的第一票数＝第一总量*第二投票权值＝5*2＝10(票)；
当前统计类型为其他目标类型时，20个第一、第二目标类型中与三轮车骑行者目标类型匹配的第一、第二目标类型的总量也就是第一总量＝3；因为当前统计类型是其他目标类型，所以对应的第一票数＝第一总量*第一投票权值＝3*1＝3(票)；
遍历结束时，与第一统计类型集合的4个第一统计类型对应的4个第一票数分别为：2票、22票、10票和3票。
步骤5，将票数值最大的第一票数对应的第一统计类型作为目标分类结果输出。
例如，得到4个第一票数分别为2票、22票、10票和3票；其中的最大票数值为22票，22票对应的第一统计类型为两轮车骑行者目标类型，那么最终输出的目标分类结果就是两轮车骑行者目标类型。
图2为本发明实施例二提供的一种基于投票机制的目标分类装置的模块结构图，该装置为实现前述方法实施例的终端设备或者服务器，也可以为能够使得前述终端设备或者服务器实现前述方法实施例的装置，例如该装置可以是前述终端设备或者服务器的装置或芯片系统。如图2所示，该装置包括：获取模块201、图像点云分类处理模块202、统计类型处理模块203和投票处理模块204。
获取模块201用于获取第一图像-点云对序列；第一图像-点云对序列包括多个第一图像-点云对；第一图像-点云对包括第一图像和第一点云。
图像点云分类处理模块202用于对各个第一图像进行图像目标分类处理生成对应的第一目标类型；并对各个第一点云进行点云目标分类处理生成对应的第二目标类型；第一、第二目标类型均满足预设的目标类型范围；目标类型范围至少包括车辆目标类型、行人目标类型、两轮车骑行者目标类型、三轮车骑行者目标类型、植物目标类型、栅栏物目标类型和其他目标类型。
统计类型处理模块203用于对所有第一、第二目标类型进行目标类型统计生成对应的第一统计类型集合；第一统计类型集合包括多个第一统计类型。
投票处理模块204用于根据所有第一、第二目标类型对各个第一统计类型进行投票生成对应的第一票数；并将票数值最大的第一票数对应的第一统计类型作为目标分类结果输出。
本发明实施例提供的一种基于投票机制的目标分类装置，可以执行上述方法实施例中的方法步骤，其实现原理和技术效果类似，在此不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，获取模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，ASIC)，或，一个或多个数字信号处理器(Digital Signal Processor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(System-on-a-chip，SOC)的形式实现。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照前述方法实施例所描述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线路((Digital Subscriber Line，DSL))或无线(例如红外、无线、蓝牙、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
图3为本发明实施例三提供的一种电子设备的结构示意图。该电子设备可以为前述的终端设备或者服务器，也可以为与前述终端设备或者服务器连接的实现本发明实施例方法的终端设备或服务器。如图3所示，该电子设备可以包括：处理器301(例如CPU)、存储器302、收发器303；收发器303耦合至处理器301，处理器301控制收发器303的收发动作。存储器302中可以存储各种指令，以用于完成各种处理功能以及实现前述方法实施例描述的处理步骤。优选的，本发明实施例涉及的电子设备还包括：电源304、系统总线305以及通信端口306。系统总线305用于实现元件之间的通信连接。上述通信端口306用于电子设备与其他外设之间进行连接通信。
在图3中提到的系统总线305可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失性存储器(Non-Volatile Memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器CPU、网络处理器(NetworkProcessor，NP)、图形处理器(Graphics Processing Unit，GPU)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
需要说明的是，本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中提供的方法和处理过程。
本发明实施例还提供一种运行指令的芯片，该芯片用于执行前述方法实施例描述的处理步骤。
本发明实施例提供了一种基于投票机制的目标分类方法、装置、电子设备及计算机可读存储介质，先分别基于多张图像和多个点云进行目标分类，再对两类分类结果进行投票，再将其中票数最高的分类类型作为最终分类结果输出。通过本发明，给出了一种可以基于多类感知数据进行目标分类的处理机制，提高了分类识别精度。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于投票机制的目标分类方法，其特征在于，所述方法包括：
获取第一图像-点云对序列；所述第一图像-点云对序列包括多个第一图像-点云对；所述第一图像-点云对包括第一图像和第一点云；
对各个所述第一图像进行图像目标分类处理生成对应的第一目标类型；并对各个所述第一点云进行点云目标分类处理生成对应的第二目标类型；所述第一、第二目标类型均满足预设的目标类型范围；所述目标类型范围至少包括车辆目标类型、行人目标类型、两轮车骑行者目标类型、三轮车骑行者目标类型、植物目标类型、栅栏物目标类型和其他目标类型；
对所有所述第一、第二目标类型进行目标类型统计生成对应的第一统计类型集合；所述第一统计类型集合包括多个第一统计类型；
根据所有所述第一、第二目标类型对各个所述第一统计类型进行投票生成对应的第一票数；
将票数值最大的所述第一票数对应的所述第一统计类型作为目标分类结果输出。
2.根据权利要求1所述的基于投票机制的目标分类方法，其特征在于，
所述第一图像-点云对序列的所有所述第一图像-点云对都对应同一个待分类目标；所述第一图像-点云对的所述第一图像和所述第一点云为车载摄像头和车载激光雷达在同一时间节点对同一个所述待分类目标分别进行图像拍摄和雷达扫描获得的拍摄图像和扫描点云。
3.根据权利要求1所述的基于投票机制的目标分类方法，其特征在于，所述对各个所述第一图像进行图像目标分类处理生成对应的第一目标类型，具体包括：
按预设的图像尺寸大小对所述第一图像进行图像缩放处理生成对应的第二图像；并对所述第二图像进行归一化处理生成对应的第三图像；并基于regnetx_800mf网络对所述第三图像进行目标分类识别处理生成对应的所述第一目标类型。
4.根据权利要求1所述的基于投票机制的目标分类方法，其特征在于，所述对各个所述第一点云进行点云目标分类处理生成对应的第二目标类型，具体包括：
按预设的点云降采样机制对所述第一点云进行降采样处理生成对应的第二点云；并基于PointNet++网络对所述第二点云进行目标分类识别处理生成对应的所述第二目标类型。
5.根据权利要求1所述的基于投票机制的目标分类方法，其特征在于，所述对所有所述第一、第二目标类型进行目标类型统计生成对应的第一统计类型集合，具体包括：
对所述目标类型范围的各个具体目标类型进行遍历；遍历时，将当前遍历的具体目标类型作为当前目标类型，并对所有所述第一、第二目标类型中是否存在与所述当前目标类型匹配的第一或所述第二目标类型进行确认，若确认存在则将所述当前目标类型作为对应的所述第一统计类型；遍历结束时，由得到的所有所述第一统计类型组成对应的所述第一统计类型集合。
6.根据权利要求1所述的基于投票机制的目标分类方法，其特征在于，所述根据所有所述第一、第二目标类型对各个所述第一统计类型进行投票生成对应的第一票数，具体包括：
对各个所述第一统计类型进行遍历；遍历时，将当前遍历的所述第一统计类型作为当前统计类型；并对与所述当前统计类型匹配的所述第一、第二目标类型的总量进行统计生成对应的第一总量；并对所述当前统计类型是否为其他目标类型进行识别；若所述当前统计类型为其他目标类型，则将所述第一总量乘以预设的第一投票权值的乘积作为对应的所述第一票数；若所述当前统计类型不为其他目标类型，则将所述第一总量乘以预设的第二投票权值的乘积作为对应的所述第一票数；所述第二投票权值大于所述第一投票权值。
7.一种用于实现权利要求1-6任一项所述的基于投票机制的目标分类方法的装置，其特征在于，所述装置包括：获取模块、图像点云分类处理模块、统计类型处理模块和投票处理模块；
所述获取模块用于获取第一图像-点云对序列；所述第一图像-点云对序列包括多个第一图像-点云对；所述第一图像-点云对包括第一图像和第一点云；
所述图像点云分类处理模块用于对各个所述第一图像进行图像目标分类处理生成对应的第一目标类型；并对各个所述第一点云进行点云目标分类处理生成对应的第二目标类型；所述第一、第二目标类型均满足预设的目标类型范围；所述目标类型范围至少包括车辆目标类型、行人目标类型、两轮车骑行者目标类型、三轮车骑行者目标类型、植物目标类型、栅栏物目标类型和其他目标类型；
所述统计类型处理模块用于对所有所述第一、第二目标类型进行目标类型统计生成对应的第一统计类型集合；所述第一统计类型集合包括多个第一统计类型；
所述投票处理模块用于根据所有所述第一、第二目标类型对各个所述第一统计类型进行投票生成对应的第一票数；并将票数值最大的所述第一票数对应的所述第一统计类型作为目标分类结果输出。
8.一种电子设备，其特征在于，包括：存储器、处理器和收发器；
所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现权利要求1-6任一项所述的方法步骤；
所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行权利要求1-6任一项所述的方法的指令。
CN202210674872.0A 2022-06-15 2022-06-15 一种基于投票机制的目标分类方法和装置 Active CN115082731B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210674872.0A CN115082731B (zh) 2022-06-15 2022-06-15 一种基于投票机制的目标分类方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210674872.0A CN115082731B (zh) 2022-06-15 2022-06-15 一种基于投票机制的目标分类方法和装置

Publications (2)

Publication Number Publication Date
CN115082731A true CN115082731A (zh) 2022-09-20
CN115082731B CN115082731B (zh) 2024-03-29

Family

ID=83251015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210674872.0A Active CN115082731B (zh) 2022-06-15 2022-06-15 一种基于投票机制的目标分类方法和装置

Country Status (1)

Country Link
CN (1) CN115082731B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020215172A1 (zh) * 2019-04-20 2020-10-29 深圳市大疆创新科技有限公司 一种障碍物检测方法、设备、可移动平台及存储介质
WO2021134296A1 (zh) * 2019-12-30 2021-07-08 深圳元戎启行科技有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN113095205A (zh) * 2021-04-07 2021-07-09 北京航空航天大学 一种基于改进霍夫投票的点云目标检测方法
CN113902927A (zh) * 2021-12-09 2022-01-07 北京车网科技发展有限公司 一种融合了图像与点云信息的综合信息处理方法
CN113920351A (zh) * 2021-10-20 2022-01-11 北京轻舟智航科技有限公司 一种落叶目标点云的识别方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020215172A1 (zh) * 2019-04-20 2020-10-29 深圳市大疆创新科技有限公司 一种障碍物检测方法、设备、可移动平台及存储介质
WO2021134296A1 (zh) * 2019-12-30 2021-07-08 深圳元戎启行科技有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN113095205A (zh) * 2021-04-07 2021-07-09 北京航空航天大学 一种基于改进霍夫投票的点云目标检测方法
CN113920351A (zh) * 2021-10-20 2022-01-11 北京轻舟智航科技有限公司 一种落叶目标点云的识别方法和装置
CN113902927A (zh) * 2021-12-09 2022-01-07 北京车网科技发展有限公司 一种融合了图像与点云信息的综合信息处理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
何曼芸;程英蕾;廖湘江;赵中阳;: "融合光谱特征和几何特征的建筑物提取算法", 激光与光电子学进展, no. 04, 13 November 2017 (2017-11-13) *
林洪彬;王伟;邵艳川;雷东;: "基于解析张量投票的散乱点云特征提取", 图学学报, no. 02, 15 April 2017 (2017-04-15) *
纪勇;刘丹丹;罗勇;王朋帅;: "基于霍夫投票的变电站设备三维点云识别算法", 郑州大学学报(工学版), no. 03, 17 August 2018 (2018-08-17) *

Also Published As

Publication number Publication date
CN115082731B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
CN110472483B (zh) 一种面向sar图像的小样本语义特征增强的方法及装置
US10970518B1 (en) Voxel-based feature learning network
CN113902926A (zh) 一种基于自注意力机制的通用图像目标检测方法和装置
CN110287873B (zh) 基于深度神经网络的非合作目标位姿测量方法、系统及终端设备
WO2021052283A1 (zh) 处理三维点云数据的方法和计算设备
WO2016119076A1 (en) A method and a system for face recognition
US11687761B2 (en) Improper neural network input detection and handling
CN110148117B (zh) 基于电力图像的电力设备缺陷识别方法、装置与存储介质
CN112396068B (zh) 点云数据的处理方法、装置及电子设备
CN115436910B (zh) 一种对激光雷达点云进行目标检测的数据处理方法和装置
CN113759338B (zh) 一种目标检测方法、装置、电子设备及存储介质
CN114782787A (zh) 一种对点云与图像数据进行特征融合的处理方法和装置
CN114048468A (zh) 入侵检测的方法、入侵检测模型训练的方法、装置及介质
CN111311593B (zh) 一种多椭圆检测和评估算法、装置及终端
CN113076922A (zh) 一种物体检测方法及装置
CN115082731A (zh) 一种基于投票机制的目标分类方法和装置
CN112001414A (zh) 聚类方法、设备及计算机存储介质
CN115685133B (zh) 自动驾驶车辆的定位方法、控制装置、存储介质及车辆
CN115049872A (zh) 一种融合图像点云特征的分类方法和装置
CN116343194A (zh) 基于垂直表征的双流3d目标检测学习方法及系统
WO2022017129A1 (zh) 目标对象检测方法、装置、电子设备及存储介质
CN116206302A (zh) 三维目标检测方法、装置、计算机设备和存储介质
Liu et al. IR ship target saliency detection based on lightweight non-local depth features
CN115856874A (zh) 毫米波雷达点云降噪方法、装置、设备及存储介质
CN112906519B (zh) 一种车辆类型识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant