CN115171072B - 基于fpga车辆检测跟踪算法实现的车辆3d检测方法 - Google Patents
基于fpga车辆检测跟踪算法实现的车辆3d检测方法 Download PDFInfo
- Publication number
- CN115171072B CN115171072B CN202210717770.2A CN202210717770A CN115171072B CN 115171072 B CN115171072 B CN 115171072B CN 202210717770 A CN202210717770 A CN 202210717770A CN 115171072 B CN115171072 B CN 115171072B
- Authority
- CN
- China
- Prior art keywords
- model
- vehicle
- detection
- frame
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 119
- 238000012549 training Methods 0.000 claims abstract description 60
- 238000013139 quantization Methods 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims description 42
- 238000010586 diagram Methods 0.000 claims description 23
- 238000011161 development Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 8
- 238000012986 modification Methods 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 7
- 230000006978 adaptation Effects 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Vascular Medicine (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了基于FPGA车辆检测跟踪算法实现的车辆3D检测方法，涉及自动驾驶技术领域。包括在本体车辆上预设位置固定一台单目相机，利用对单目相机获取的图像进行分析，通过模型训练量化和检测应用，实现对本体车辆周边各个车辆进行3D检测；其能够解决了目前现有技术方案中不稳定、延迟明显、实时检测性、训练数据标注难度大和可靠性差的技术问题。
Description
技术领域
本发明涉及自动驾驶技术领域，具体而言，涉及基于FPGA车辆检测跟踪算法实现的车辆3D检测方法。
背景技术
在动态交通场景下，车辆作为重要的监测对象，周围车辆的行驶情况通常为重要的检测目标。在计算机视觉领域中，单靠单目视觉信息来获取车辆3D信息是一件难事，但为了在视觉上形象表现出3D框等信息，目前3D方案多选择采用双目视觉，以高成本为代价获取更多的车辆信息。另外，由于交通场景下周围环境较为复杂，周围车辆、行人较多，部分车辆往往会被临近车辆和行人遮挡，并且由于二维图片会丢失目标深度信息，因此根据采集的图像识别获取的车轮信息的误差较大，进而导致监测车辆的准确率较低，存在误检和漏检问题。由此需要一种基于FPGA车辆检测跟踪算法实现的车辆3D检测方法。
发明内容
本发明的目的在于提供一种基于FPGA车辆检测跟踪算法实现的车辆3D检测方法，其能够解决了目前现有技术方案中不稳定、延迟明显、实时检测性、训练数据标注难度大和可靠性差的技术问题。
本发明的实施例是这样实现的：
第一方面，本申请实施例提供基于FPGA车辆检测跟踪算法实现的车辆3D检测方法，其包括在本体车辆上预设位置固定一台单目相机，利用对单目相机获取的图像进行分析，通过模型训练量化和检测应用，实现对本体车辆周边各个车辆的进行3D检测；模型训练量化的步骤包括：S1：构建网络,基于TraDeS的方法添加一个远端框高度预测分支、一个近端框长宽预测分支，以及一个近端框热力图预测分支，并由此构建出新的模型；S2：利用单目相机持续获取2D的单目图像，对单目图像上车辆进行远端框、近端框和跟踪id的标注，得到标注结果；将标注结果和单目图像带入模型进行训练，得到一个稳定检测车辆3D框的检测模型；S3：对检测模型依次进行反复训练、量化、矫正以及精度计算获得用于前向传播的模型；检测应用的步骤包括：S4：通过令用于前向传播的模型进行前向传播，获得对应的图像特征值，根据图像特征值对本体车辆周边的各个车辆进行3D检测。
在本发明的一些实施例中，S3：对检测模型依次进行反复训练、量化、矫正以及精度计算获得用于前向传播的模型的步骤包括：S3-1：根据FPGA开发板的适配要求，对模型进行反卷积参数修改，对修改后的模型进行反复训练；S3-2：反复训练后模型，利用预设的量化方法对模型进行量化，得到量化后的模型；S3-3：对量化后的模型利用训练数据进行量化校准训练，得到量化矫正后的模型；S3-4：根据量化矫正后的模型，通过对测试数据的测试，计算量化后模型的精度，获得用于前向传播的模型。
在本发明的一些实施例中，S4：通过令用于前向传播的模型进行前向传播，获得对应的图像特征值，根据图像特征值对本体车辆周边的各个车辆进行3D检测的步骤包括：S4-1：加载用于前向传播的模型，进行初始化工作；S4-2：通过归一化和均值化操作对数据进行预处理；S4-3：通过令用于前向传播的模型进行前向传播，获得类别的热力图、中心偏移量、跟踪id、类别部分的热力图、预测对象的长宽、远端框高度的图像特征值；S4-4：根据图像特征值，通过预设方法进行分析，获得本体车辆周边各个车辆的3D检测框，根据3D检测框对本体车辆周边各个车辆的进行3D检测。
在本发明的一些实施例中，预设方法为根据整车预测框和车头车尾预测框，进行3D检测框方向的判断；再结合预设的图像特征值预测远端框，生成伪3D检测框；同时将预设方法中的模型进行量化，移值到FPGA上。
在本发明的一些实施例中，预测远端框为以关键点P1和整车预测框的左上角P4的长度为预测远端框的长，以车头和车尾预测框的宽为预测远端框的宽。
在本发明的一些实施例中，计算整车预测框与车头车尾预测框的重叠面积，定义为s1，计算车头车尾预测框的面积为，定义为s2，若s1/s2>0.8，则确认两者为同一个对象，并作为伪3D框的输入。
在本发明的一些实施例中，进行3D检测框方向的判断的步骤包括：根据整车预测框的中心点与车头车尾预测框的中心点的位置关系，判断车辆朝向，即3D检测框的方向。
在本发明的一些实施例中，同时将预设方法中的模型进行量化的步骤包括：将模型中的不支持的dcn的部分进行删除，反卷积参数转换为支持开发板的反卷积参数，并且对模型进行量化训练，回归精度。
第二方面，本申请实施例提供基于FPGA车辆检测跟踪算法实现的车辆3D检测系统，其包括硬件预设模块，用于在本体车辆上预设位置固定一台单目相机，利用对单目相机获取的图像进行分析，通过模型训练量化和检测应用，实现对本体车辆周边各个车辆的进行3D检测；模型训练量化模块，用于S1：构建网络,基于TraDeS的方法添加一个远端框高度预测分支、一个近端框长宽预测分支，以及一个近端框热力图预测分支，并由此构建出新的模型；S2：利用单目相机持续获取2D的单目图像，对单目图像上车辆进行远端框、近端框和跟踪id的标注，得到标注结果；将标注结果和单目图像带入模型进行训练，得到一个稳定检测车辆3D框的检测模型；S3：对检测模型依次进行反复训练、量化、矫正以及精度计算获得用于前向传播的模型；检测应用模块，用于S4：通过令用于前向传播的模型进行前向传播，获得对应的图像特征值，根据图像特征值对本体车辆周边的各个车辆进行3D检测。
第三方面，本申请实施例提供一种电子设备，包括至少一个处理器、至少一个存储器和数据总线；其中：处理器与存储器通过数据总线完成相互间的通信；存储器存储有可被处理器执行的程序指令，处理器调用程序指令以执行基于FPGA车辆检测跟踪算法实现的车辆3D检测方法。
相对于现有技术，本发明的实施例至少具有如下优点或有益效果：
本设计利用固定放置在车辆前部的一台单目相机，在车辆行驶的过程中持续获取的图像，再结合基于FPGA的伪3D车辆检测跟踪算法对前方道路中的车辆进行3D检测，由此满足自动驾驶车辆在道路上行驶时对道路前方车辆感知的需求，从而解决了目前现有技术方案中不稳定、延迟明显、实时检测性、训练数据标注难度大和可靠性差的技术问题。其具体实施方式如下：
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明中基于FPGA车辆检测跟踪算法实现的车辆3D检测方法的流程图；
图2为本发明中基于FPGA车辆检测跟踪算法实现的车辆3D检测方法的程序框图；
图3为本发明中模型训练量化的程序框图；
图4为本发明中检测应用的程序框图；
图5为本发明中示出模型跑前向传播后获得的各类图像特征值；
图6为本发明中示出模型通过预设方法从图像特征值中构建出的伪3D检测框；
图7为本发明中基于FPGA车辆检测跟踪算法实现的车辆3D检测系统的结构示意图；
图8为本发明中一种电子设备的结构示意图。
图标：1、硬件预设模块；2、模型训练量化模块；3、检测应用模块；4、处理器；5、存储器；6、数据总线；7、整车预测框；8、车头车尾预测框；9、预测远端框。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。
实施例1
请参阅图1、图2、图3和图4，为本申请实施例提供的基于FPGA车辆检测跟踪算法实现的车辆3D检测方法，本设计利用固定放置在车辆前部的一台单目相机，在车辆行驶的过程中持续获取的图像，再结合基于FPGA的伪3D车辆检测跟踪算法对前方道路中的车辆进行3D检测，由此实现满足自动驾驶车辆在道路上行驶时对道路前方车辆感知的需求，从而解决了目前现有技术方案中不稳定、延迟明显、实时检测性、训练数据标注难度大和可靠性差的技术问题。其具体实施方式如下：
在本体车辆上预设位置固定一台单目相机，利用对单目相机获取的图像进行分析，通过模型训练量化和检测应用，实现对本体车辆周边各个车辆的进行3D检测；其中模型训练量化的步骤包括：
S1：构建网络,基于TraDeS的方法添加一个远端框高度预测分支、一个近端框长宽预测分支，以及一个近端框热力图预测分支，并由此构建出新的模型；该步骤旨在进行初始模型构建，从而为后续步骤提供基础框架。
S2：利用单目相机持续获取2D的单目图像，对单目图像上车辆进行远端框、近端框和跟踪id的标注，得到标注结果；将标注结果和单目图像带入模型进行训练，得到一个稳定检测车辆3D框的检测模型；训练学习则是基于机器学习的一种方式，其实质为图像机器学习训练。从而利用大量数据训练得到一个稳定检测车辆3D框的检测模型。
S3：对检测模型依次进行反复训练、量化、矫正以及精度计算获得用于前向传播的模型；其具体实施方式如下：
S3-1：根据FPGA开发板的适配要求，对模型进行反卷积参数修改，对修改后的模型进行反复训练；
本设计基于FPGA开发板进行设计，其中FPGA属于硬件可重构的芯片结构，内部具有数量丰富的可编程输入输出单元引脚及触发器；故而为了适配FPGA开发板，需要对模型进行反卷积参数修改，并进行反复训练，由此得到适配与FPGA开发板的模型。
S3-2：反复训练后模型，利用预设的量化方法对模型进行量化，得到量化后的模型；
S3-3：对量化后的模型利用训练数据进行量化校准训练，得到量化矫正后的模型；
S3-4：根据量化矫正后的模型，通过对测试数据的测试，计算量化后模型的精度，获得用于前向传播的模型。
量化、校准以及对测试数据的测试则是进一步对检测模型的细节调整，从而得到用于前向传播的模型，方便后续操作。
检测应用的步骤包括：
S4：通过令用于前向传播的模型进行前向传播，获得对应的图像特征值，根据图像特征值对本体车辆周边的各个车辆进行3D检测。其具体实施方式如下：
S4-1：加载用于前向传播的模型，进行初始化工作；
S4-2：通过归一化和均值化操作对数据进行预处理；
上述两个步骤，旨在对模型以及数据进行适应性调整，方便后续计算。
S4-3：通过令用于前向传播的模型进行前向传播，获得类别的热力图、中心偏移量、跟踪id、类别部分的热力图、预测对象的长宽、远端框高度的图像特征值；
过令用于前向传播的模型跑前向传播，从而获得hm、reg、wh、tracking_id、l、hm_part等图像特征值，其中hm为类别的热力图,reg为中心点偏移量,tracking_id为跟踪id,l为远端框高度,hm_part为车头车尾的热力图。如图4中所示，A为类别预测框，类别预测框的长宽为hw，B为车头车尾预测框8，车头车尾预测框8的长宽为h1w1，点P1为远端关键点的位置，点P2为类别热力图中的代表该辆车的点，点P3为车头车尾热力图中的代表该辆车的点。
S4-4：根据图像特征值，通过预设方法进行分析，获得本体车辆周边各个车辆的3D检测框，根据3D检测框对本体车辆周边各个车辆的进行3D检测。其中预设方法为：
根据整车预测框7和车头车尾预测框8，进行3D检测框方向的判断；再结合预设的图像特征值预测远端框9，生成伪3D检测框；同时将预设方法中的模型进行量化，移值到FPGA上。如图5和图6中所示，首先对于3D检测框方向的判断只需要整车预测框7判断出目标车辆，车头车尾预测框8则可以判断车辆车头或车尾，在前向传播的过程中根据动态则可以判断图像，而生成伪3D检测框目的是便于观察，则需要根据预设的图像特征值预测远端框9在图像上进行展示。
请参阅图5，在本发明的一些实施例中，预测远端框9为以关键点P1和整车预测框7的左上角P4的长度为预测远端框9的长，以车头和车尾预测框的宽为预测远端框9的宽。即以l的长为长，以车头车尾预测框8的宽为宽。其旨在根据视角关系，对预测远端框9的位置进行确立。
在本发明的一些实施例中，计算整车预测框7与车头车尾预测框8的重叠面积，定义为s1，计算车头车尾预测框8的面积为，定义为s2，若s1/s2>0.8，则确认两者为同一个对象，并作为伪3D框的输入。
而对于整车预测框7和车头车尾预测框8重叠的问题，其实质为在某个角度下，只排到了车头和车位，其他部位因视角原因无法看到，此时对于重叠面积来说s1/s2>0.8，基本上车身数据已经无法获取，故而直接将该数据作为伪3D框的输入。
请参阅图6，在本发明的一些实施例中，进行3D检测框方向的判断的步骤包括：根据整车预测框7的中心点与车头车尾预测框8的中心点的位置关系，判断车辆朝向，即3D检测框的方向。
在本发明的一些实施例中，同时将预设方法中的模型进行量化的步骤包括：将模型中的不支持的dcn的部分进行删除，反卷积参数转换为支持开发板的反卷积参数，并且对模型进行量化训练，回归精度。
实施例2
请参阅图7，为本发明提供的基于FPGA车辆检测跟踪算法实现的车辆3D检测系统，包括硬件预设模块1，用于在本体车辆上预设位置固定一台单目相机，利用对单目相机获取的图像进行分析，通过模型训练量化和检测应用，实现对本体车辆周边各个车辆的进行3D检测；模型训练量化模块2，用于S1：构建网络,基于TraDeS的方法添加一个远端框高度预测分支、一个近端框长宽预测分支，以及一个近端框热力图预测分支，并由此构建出新的模型；S2：利用单目相机持续获取2D的单目图像，对单目图像上车辆进行远端框、近端框和跟踪id的标注，得到标注结果；将标注结果和单目图像带入模型进行训练，得到一个稳定检测车辆3D框的检测模型；S3：对检测模型依次进行反复训练、量化、矫正以及精度计算获得用于前向传播的模型；检测应用模块3，用于S4：通过令用于前向传播的模型进行前向传播，获得对应的图像特征值，根据图像特征值对本体车辆周边的各个车辆进行3D检测。
实施例3
请参阅图8，为本发明提供的一种电子设备，包括至少一个处理器4、至少一个存储器5和数据总线6；其中：处理器4与存储器5通过数据总线6完成相互间的通信；存储器5存储有可被处理器4执行的程序指令，处理器4调用程序指令以执行基于FPGA车辆检测跟踪算法实现的车辆3D检测方法。例如实现：
在本体车辆上预设位置固定一台单目相机，利用对单目相机获取的图像进行分析，通过模型训练量化和检测应用，实现对本体车辆周边各个车辆的进行3D检测；模型训练量化的步骤包括：S1：构建网络,基于TraDeS的方法添加一个远端框高度预测分支、一个近端框长宽预测分支，以及一个近端框热力图预测分支，并由此构建出新的模型；S2：利用单目相机持续获取2D的单目图像，对单目图像上车辆进行远端框、近端框和跟踪id的标注，得到标注结果；将标注结果和单目图像带入模型进行训练，得到一个稳定检测车辆3D框的检测模型；S3：对检测模型依次进行反复训练、量化、矫正以及精度计算获得用于前向传播的模型；检测应用的步骤包括：S4：通过令用于前向传播的模型进行前向传播，获得对应的图像特征值，根据图像特征值对本体车辆周边的各个车辆进行3D检测。
其中，存储器5可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器4可以是一种集成电路芯片，具有信号处理能力。该处理器4可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (7)
1.基于FPGA车辆检测跟踪算法实现的车辆3D检测方法，其特征在于，包括：
在本体车辆上预设位置固定一台单目相机，利用对所述单目相机获取的图像进行分析，通过模型训练量化和检测应用，实现对所述本体车辆周边各个车辆的进行3D检测；
所述模型训练量化的步骤包括：
S1：构建网络,基于TraDeS的方法添加一个远端框高度预测分支、一个近端框长宽预测分支，以及一个近端框热力图预测分支，并由此构建出新的模型；
S2：利用所述单目相机持续获取2D的单目图像，对所述单目图像上车辆进行远端框、近端框和跟踪id的标注，得到标注结果；将所述标注结果和所述单目图像带入所述模型进行训练，得到一个稳定检测车辆3D框的检测模型；
S3：对所述检测模型依次进行反复训练、量化、矫正以及精度计算获得用于前向传播的模型；
所述检测应用的步骤包括：
S4：通过令用于前向传播的模型进行前向传播，获得对应的图像特征值，根据所述图像特征值对所述本体车辆周边的各个车辆进行3D检测；
其中：
S3：对所述检测模型依次进行反复训练、量化、矫正以及精度计算获得用于前向传播的模型的步骤包括：
S3-1：根据FPGA开发板的适配要求，对模型进行反卷积参数修改，对修改后的模型进行反复训练；
S3-2：反复训练后模型，利用预设的量化方法对模型进行量化，得到量化后的模型；
S3-3：对所述量化后的模型利用训练数据进行量化校准训练，得到量化矫正后的模型；
S3-4：根据量化矫正后的模型，通过对测试数据的测试，计算量化后模型的精度，获得用于前向传播的模型；
S4：通过令用于前向传播的模型进行前向传播，获得对应的图像特征值，根据所述图像特征值对所述本体车辆周边的各个车辆进行3D检测的步骤包括：
S4-1：加载所述用于前向传播的模型，进行初始化工作；
S4-2：通过归一化和均值化操作对数据进行预处理；
S4-3：通过令用于前向传播的模型进行前向传播，获得类别的热力图、中心偏移量、跟踪id、类别部分的热力图、预测对象的长宽、远端框高度的图像特征值；
S4-4：根据所述图像特征值，通过预设方法进行分析，获得本体车辆周边各个车辆的3D检测框，根据所述3D检测框对所述本体车辆周边各个车辆的进行3D检测；
所述预设方法为根据整车预测框和车头车尾预测框，进行3D检测框方向的判断；再结合预设的图像特征值预测远端框，生成伪3D检测框；同时将所述预设方法中的模型进行量化，移值到FPGA上。
2.如权利要求1所述的基于FPGA车辆检测跟踪算法实现的车辆3D检测方法，其特征在于，预测远端框为以关键点P1和整车预测框的左上角P4的长度为所述预测远端框的长，以车头和车尾预测框的宽为所述预测远端框的宽。
3.如权利要求1所述的基于FPGA车辆检测跟踪算法实现的车辆3D检测方法，其特征在于，
计算整车预测框与车头车尾预测框的重叠面积，定义为s1，
计算车头车尾预测框的面积为，定义为s2，若s1/s2>0.8，则确认两者为同一个对象，并作为伪3D框的输入。
4.如权利要求1所述的基于FPGA车辆检测跟踪算法实现的车辆3D检测方法，其特征在于，进行3D检测框方向的判断的步骤包括：
根据所述整车预测框的中心点与车头车尾预测框的中心点的位置关系，判断车辆朝向，即3D检测框的方向。
5.如权利要求1所述的基于FPGA车辆检测跟踪算法实现的车辆3D检测方法，其特征在于，同时将所述预设方法中的模型进行量化的步骤包括：
将模型中的不支持的dcn的部分进行删除，反卷积参数转换为支持开发板的反卷积参数，并且对所述模型进行量化训练，回归精度。
6.基于FPGA车辆检测跟踪算法实现的车辆3D检测系统，其特征在于，包括：
硬件预设模块，用于在本体车辆上预设位置固定一台单目相机，利用对所述单目相机获取的图像进行分析，通过模型训练量化和检测应用，实现对所述本体车辆周边各个车辆的进行3D检测；
模型训练量化模块，用于S1：构建网络,基于TraDeS的方法添加一个远端框高度预测分支、一个近端框长宽预测分支，以及一个近端框热力图预测分支，并由此构建出新的模型；S2：利用所述单目相机持续获取2D的单目图像，对所述单目图像上车辆进行远端框、近端框和跟踪id的标注，得到标注结果；将所述标注结果和所述单目图像带入所述模型进行训练，得到一个稳定检测车辆3D框的检测模型；S3：对所述检测模型依次进行反复训练、量化、矫正以及精度计算获得用于前向传播的模型；S3-1：根据FPGA开发板的适配要求，对模型进行反卷积参数修改，对修改后的模型进行反复训练；S3-2：反复训练后模型，利用预设的量化方法对模型进行量化，得到量化后的模型；S3-3：对所述量化后的模型利用训练数据进行量化校准训练，得到量化矫正后的模型；S3-4：根据量化矫正后的模型，通过对测试数据的测试，计算量化后模型的精度，获得用于前向传播的模型；
检测应用模块，用于S4：通过令用于前向传播的模型进行前向传播，获得对应的图像特征值，根据所述图像特征值对所述本体车辆周边的各个车辆进行3D检测；S4-1：加载所述用于前向传播的模型，进行初始化工作；S4-2：通过归一化和均值化操作对数据进行预处理；S4-3：通过令用于前向传播的模型进行前向传播，获得类别的热力图、中心偏移量、跟踪id、类别部分的热力图、预测对象的长宽、远端框高度的图像特征值；S4-4：根据所述图像特征值，通过预设方法进行分析，获得本体车辆周边各个车辆的3D检测框，根据所述3D检测框对所述本体车辆周边各个车辆的进行3D检测；所述预设方法为根据整车预测框和车头车尾预测框，进行3D检测框方向的判断；再结合预设的图像特征值预测远端框，生成伪3D检测框；同时将所述预设方法中的模型进行量化，移值到FPGA上。
7.一种电子设备，其特征在于，包括至少一个处理器、至少一个存储器和数据总线；其中：所述处理器与所述存储器通过所述数据总线完成相互间的通信；所述存储器存储有被所述处理器执行的程序指令，所述处理器调用所述程序指令以执行如权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210717770.2A CN115171072B (zh) | 2022-06-18 | 2022-06-18 | 基于fpga车辆检测跟踪算法实现的车辆3d检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210717770.2A CN115171072B (zh) | 2022-06-18 | 2022-06-18 | 基于fpga车辆检测跟踪算法实现的车辆3d检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115171072A CN115171072A (zh) | 2022-10-11 |
| CN115171072B true CN115171072B (zh) | 2023-04-21 |
Family
ID=83486420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210717770.2A Active CN115171072B (zh) | 2022-06-18 | 2022-06-18 | 基于fpga车辆检测跟踪算法实现的车辆3d检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115171072B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114373170A (zh) * | 2021-12-15 | 2022-04-19 | 苏州挚途科技有限公司 | 伪3d边界框构建的方法、装置及电子设备 |
| CN114519849A (zh) * | 2022-01-27 | 2022-05-20 | 中汽创智科技有限公司 | 一种车辆跟踪数据处理方法、装置及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109241856A (zh) * | 2018-08-13 | 2019-01-18 | 浙江零跑科技有限公司 | 一种单目车载视觉系统立体目标检测方法 |
| CN111553282B (zh) * | 2020-04-29 | 2024-03-29 | 北京百度网讯科技有限公司 | 用于检测车辆的方法和装置 |
| CN112241718B (zh) * | 2020-10-23 | 2024-05-24 | 北京百度网讯科技有限公司 | 车辆信息的检测方法、检测模型的训练方法和装置 |
| CN112507862B (zh) * | 2020-12-04 | 2023-05-26 | 东风汽车集团有限公司 | 基于多任务卷积神经网络的车辆朝向检测方法及系统 |
| CN114255443A (zh) * | 2021-12-10 | 2022-03-29 | 深圳市旗扬特种装备技术工程有限公司 | 一种交通车辆单目定位方法、装置、设备及存储介质 |
| CN114463713A (zh) * | 2022-02-08 | 2022-05-10 | 天津天瞳威势电子科技有限公司 | 一种车辆在3d空间的信息检测方法、装置及电子设备 |
-
2022
- 2022-06-18 CN CN202210717770.2A patent/CN115171072B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114373170A (zh) * | 2021-12-15 | 2022-04-19 | 苏州挚途科技有限公司 | 伪3d边界框构建的方法、装置及电子设备 |
| CN114519849A (zh) * | 2022-01-27 | 2022-05-20 | 中汽创智科技有限公司 | 一种车辆跟踪数据处理方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115171072A (zh) | 2022-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109165162B (zh) | 一种车载系统的测试方法及相关设备 | |
| EP3506161A1 (en) | Method and apparatus for recovering point cloud data | |
| CN108921925B (zh) | 基于激光雷达和视觉融合的语义点云生成方法和装置 | |
| CN111862228B (zh) | 遮挡检测的方法、系统、计算机设备和可读存储介质 | |
| CN112633152B (zh) | 停车位检测方法、装置、计算机设备和存储介质 | |
| US10748013B2 (en) | Method and apparatus for detecting road lane | |
| US20100266212A1 (en) | Estimating Vanishing Points in Images | |
| CN111753649A (zh) | 车位检测方法、装置、计算机设备和存储介质 | |
| CN109376609A (zh) | 受电弓磨耗的识别方法、装置及智能终端 | |
| CN113744348A (zh) | 一种参数标定方法、装置及雷视融合检测设备 | |
| CN111994081A (zh) | 车位检测方法、设备、存储介质及装置 | |
| CN111144398A (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| CN113490965A (zh) | 图像跟踪处理方法、装置、计算机设备和存储介质 | |
| CN114998856B (zh) | 一种多相机图像的3d目标检测方法、装置、设备及介质 | |
| CN116148801B (zh) | 一种基于毫米波雷达的目标检测方法及系统 | |
| CN112348116A (zh) | 利用空间上下文的目标检测方法、装置和计算机设备 | |
| CN115496923A (zh) | 一种基于不确定性感知的多模态融合目标检测方法及装置 | |
| CN115171072B (zh) | 基于fpga车辆检测跟踪算法实现的车辆3d检测方法 | |
| CN113762079A (zh) | 环境数据处理方法、装置、设备及存储介质 | |
| CN112465886A (zh) | 模型生成方法、装置、设备和可读存储介质 | |
| CN110689556A (zh) | 跟踪方法、装置及智能设备 | |
| EP4050560B1 (en) | Wafer testing method and apparatus, and device and storage medium | |
| CN113348663A (zh) | 一种货箱监控方法、终端设备及存储介质 | |
| CN113673493B (zh) | 一种基于工业车辆视觉的行人感知和定位的方法和系统 | |
| CN115700821B (zh) | 一种基于图像处理的细胞识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Room 905-1, Yintian Building, Ningbo Free Trade Zone, Zhejiang Province, 315899 Patentee after: Perceived Intelligence (Ningbo) Technology Co.,Ltd. Country or region after: China Address before: Room 1306, Building 1, Zhengtai Building, No. 560, Yueming Road, Binjiang District, Hangzhou City, Zhejiang Province, 310051 Patentee before: Perception information technology (Zhejiang) Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240510 Address after: Room 201, Building S3, No. 001, North Side of Baojing Road, Xiongxian County, Baoding City, Hebei Province, 071703 Patentee after: Hebei xiongan Wuwei Zhilian Technology Co.,Ltd. Country or region after: China Address before: Room 905-1, Yintian Building, Ningbo Free Trade Zone, Zhejiang Province, 315899 Patentee before: Perceived Intelligence (Ningbo) Technology Co.,Ltd. Country or region before: China |