CN113449632B - 一种基于融合感知的视觉与雷达感知算法优化方法、系统及汽车 - Google Patents

一种基于融合感知的视觉与雷达感知算法优化方法、系统及汽车 Download PDF

Info

Publication number
CN113449632B
CN113449632B CN202110715646.8A CN202110715646A CN113449632B CN 113449632 B CN113449632 B CN 113449632B CN 202110715646 A CN202110715646 A CN 202110715646A CN 113449632 B CN113449632 B CN 113449632B
Authority
CN
China
Prior art keywords
perception
algorithm
radar
fusion
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110715646.8A
Other languages
English (en)
Other versions
CN113449632A (zh
Inventor
郝金隆
陆思宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Changan Automobile Co Ltd
Original Assignee
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Changan Automobile Co Ltd filed Critical Chongqing Changan Automobile Co Ltd
Priority to CN202110715646.8A priority Critical patent/CN113449632B/zh
Publication of CN113449632A publication Critical patent/CN113449632A/zh
Application granted granted Critical
Publication of CN113449632B publication Critical patent/CN113449632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

一种基于融合感知的视觉与雷达感知算法优化方法，本方法的总体思路是，用已有的车载设备进行图像采集，并用与设备相匹配的融合算法对视觉感知图像结果和雷达感知图像结果进行融合矫正，将满足人工审核条件的融合结果送至人工审核，最后将融合标注的结果用于训练优化视觉感知和雷达感知算法，形成感知算法利用预测图像自训练的闭环。本发明既能获得稳定的图像和点云标注结果，还能将结果用于感知算法的训练优化，提高标注的准确度的同时，减少了人力消耗。

Description

一种基于融合感知的视觉与雷达感知算法优化方法、系统及汽车
技术领域
本发明属于视觉传感器、激光雷达技术和融合算法领域，具体涉及感知算法数据集的筛选和感知算法优化。
背景技术
目前自动驾驶已逐步成为汽车行业研究的重要领域，视觉感知和激光雷达相结合的融合感知技术在自动驾驶技术中的目标检测和图像分割方面起着至关重要的作用。其中，融合感知高度依赖视觉算法和雷达算法，为了训练出高精度的算法模型，需要大量高质量的标注数据集。而大量数据集的标注需要消耗大量的人力，且每一次算法模型的迭代都需要新标注的数据集，导致需要持续投入人力和财力对数据集进行标注。因此，亟需引入高质量的数据集标注纠错方法，减小人工标注工作量。
目前，较常见的分类数据自动标注方法通常是基于自训练的方法，即将已成型的算法预测出的一部分标注结果作为训练数据，送入模型进行进一步训练，但此方法缺少对分类模型分类正确性的评估和判断，自动标注的效果受限于分类模型的分类准确率。
此外，中国专利文献CN201910694450.8和中国专利CN201310514942.7提出了对上述方法的改进，但仍未解决以下问题：自动驾驶领域需要标注的图片往往来源于车载视觉系统，而视觉系统极易受到采集环境的影响，如光照条件和天气都会使图片质量下降，导致视觉算法无法准确识别图片内容，最后导致标注不准确。
发明内容
鉴于问题，本发明的目的是提供基于融合感知的视觉与雷达感知算法优化方法、系统及汽车，以满足高精度的标注要求，且降低标注成本，形成感知算法利用预测图像自训练的闭环。
本发明的技术方案如下所述：
一种基于融合感知的视觉与雷达感知算法优化方法，本方法的总体思路是，用已有的车载设备进行图像采集，并用与设备相匹配的融合算法对视觉感知图像结果和雷达感知图像结果进行融合矫正，将满足人工审核条件的融合结果送至人工审核，最后将融合标注的结果用于训练优化视觉感知和雷达感知算法。本方法包括如下步骤：
S1：通过视觉传感器和算法获取图像特征，通过激光雷达和算法获取点云特征；
S2：融合图像特征和点云特征，得到融合特征，并送入融合算法做最终预测，得到预测结果；S3：利用融合算法的预测结果，分别比对视觉感知检测结果和雷达感知检测结果，筛选出视觉感知或雷达感知检测效果不佳的数据；
S4：通过回放，人工审核视觉感知和雷达感知检测效果不佳的数据，调整或补充标注信息；S5：将人工审核后的数据返回相应检测效果不佳的算法，对算法进行优化训练。
进一步，所述步骤S2包括：
将雷达获取的有效目标特征信息，通过投影，转换到同一时刻采集的图像中：根据车辆的高宽比，建立一个固定比例的矩形框，获得能根据车辆相对位置而变化的雷达感兴趣区域，即雷达ROI信息，获得融合了视觉感知和雷达感知的结果,即融合特征，将结果送入融合感知算法进行最终决策，得到融合感知结果。
进一步，所述步骤S3进行对比的方法是：通过比对融合算法检测结果和单一感知算法检测结果的最终锚框，计算两个ROI的交并比，即IOU值，根据设立的IOU阈值判断单一感知算法的检测是否有效，将视觉感知或雷达感知检测效果判断不佳或没有识别到目标的，将其对应图片加入待审核的数据集，等待人工审核；所述单一感知算法检测结果包括视觉感知检测结果和雷达感知检测结果。
进一步，所述步骤S3进行对比的方法是：通过计算融合算法检测结果与单一感知算法检测结果预测框的差异函数，设立差异函数的阈值来判断单一感知算法检测结果是否准确；所述单一感知算法检测结果包括视觉感知检测结果和雷达感知检测结果。
进一步，所述步骤S4包括：人工校对效果不佳的图像，若确定视觉感知或雷达感知结果不准确，人工修改标注后，将图像作为预测不佳的案例，重新用于模型算法的优化训练。
进一步，所述步骤S5包括：运用人工审核的结果，对算法进行优化训练，形成从算法预测，检测预测准确度，到筛选效果不佳的预测结果，利用修改后的不佳结果进行重新训练的算法闭环。
本发明还提供一种基于融合感知的视觉与雷达感知算法优化系统，其包括：
数据采集和特征提取模块，通过视觉传感器和算法获取图像特征，通过雷达和算法获取点云特征。
特征融合和预测模块，融合图像特征和点云特征，得到融合特征，并送入融合算法做最终预测，得到预测结果。
对比模块：利用融合算法的预测结果，分别比对视觉感知检测结果和雷达感知检测结果，筛选出视觉感知或雷达感知检测效果不佳的数据。
审核模块，通过回放，人工审核视觉感知和雷达感知检测效果不佳的数据，调整或补充标注信息。
算法优化模块，将人工审核后的数据返回相应检测效果不佳的算法，对算法进行优化训练。
本发明还提供一种汽车，该汽车设置有以上所述的基于融合感知的视觉与雷达感知算法优化系统，所述系统被配置为执行以上所述的基于融合感知的视觉与雷达感知算法优化方法。
有技术相比，本发明既能获得稳定的图像和点云标注结果，还能将结果用于感知算法的训练优化，提高标注的准确度的同时，减少了人力消耗，并且形成了感知算法利用预测图像自训练的闭环，具体优点如下：
1、本发明通过融合感知算法进行标注，解决了视觉感知算法难以识别环境状况不佳(如暗光或大雨的环境下)时采集的图片，提高了标注的准确度。
2、本发明通过融合算法结果与单一感知算法的结果比对，筛选单一感知器检测不佳的图片，减小了人工审核步骤的工作量。
3、本发明主要运用已有车载设备和已经成型的融合算法，无需额外设备和开发额外算法，节省人力和财力成本。
3、本发明的数据来源于行车数据，无需从别处购买数据集，节约成本
附图说明
图1为基于融合感知的算法优化方法的流程图。
具体实施方式
下面结合具体实施例和发明附图，对本发明做进一步阐述。应理解的，以下实施例仅用于说明本发明，而不用于限制本发明的范围。
本发明具体实施例的方法流程包括：
通过摄像头和激光雷达分别采集图像数据和雷达数据，经图像识别算法和雷达算法提取图像特征和点云特征，融合图像特征和点云特征并通过融合算法对图片中目标进行标注，利用标注结果比对单一感知器得到的结果，筛选出视觉感知或雷达感知检测不佳的图片，人工审核效果不佳的图片，调整或补充此类图片的标注信息，并将此类作为训练集供视觉算法和雷达算法进行进一步地优化训练，具体流程如附图1所示。
一、数据采集和特征提取
通过车载摄像头和车载激光雷达采集图像数据和雷达数据。将图像抽帧后输入图像识别算法，例如，通过Faster-RCNN算法，从Faster-RCNN的FPN网络得到视觉传感器检测的感兴趣区域，即图像识别的RoI信息，并根据一般道路车辆高宽比调整锚框大小，至此视觉图像特征提取完毕。类似的，通过雷达识别的算法将提取雷达数据的特征信息。
二、融合特征并预测
将激光雷达获取到的有效目标特征信息，通过投影，转换到同一时刻采集的图像中：因雷达能够获取三维信息，所以可将雷达识别到的，如前方车辆相对位置，通过空间坐标转换投影到图像上，此方法仅能将车辆中心位置标注在图像上，还需根据一般车辆的高宽比，建立一个固定比例的矩形框，以获得能根据车辆相对位置而变化的雷达感兴趣区域，即雷达RoI信息。此时，我们已经获得了融合了视觉感知和雷达感知的结果。将结果送入融合感知算法进行最终决策，得到融合感知结果。
三、比对融合感知结果与单一传感器预测结果
比对感知结果的方法有以下，但不限于以下两种，以目标检测为例：
1.比对融合算法检测结果和单一感知算法检测结果的最终锚框，当两种算法识别到的目标非常接近时，两种算法标注的锚框会有重叠，即RoI区域重叠。可以通过计算两个RoI的交并比，即IoU值，根据设立的IoU阈值来判断单一感知算法的检测是否有效。具体的，以比对视觉算法结果举例，如，当融合感知检测结果与视觉感知检测结果的ROI区域IoU值大于0.7时，可将视觉感知结果判断为准确；当IoU值小于0.7时，将视觉感知结果判断为不佳，将其对应图片加入待审核的数据集，等待人工审核；当融合感知检测结果与视觉感知检测结果的RoI区域IoU值非常接近于0时，极有可能是视觉感知算法没有识别到该目标，同样将其加入待审核数据集。可将视觉检测的结果打印在图像上；
2.除此之外，亦可通过计算融合算法检测结果与单一感知算法检测结果预测框的差异函数，同样通过设立差异函数的阈值来判断单一感知算法检测结果是否准确，以比对视觉算法的目标检测结果为例，具体方式如下：
因检测结果包括了对目标的分类和目标的具体位置，因此这里需要用到如下函数来评估相较于融合算法，视觉算法的评估效果。函数所得值越小，表示视觉算法的评估效果越接近融合算法。相应公式如下：
L(p，u，tu，v)＝Lcls(p，u)+λ[u≥1]Lloc(tu，v)，  (1)
在公式(1)中，
Lcls(p，u)＝-log pu，  (2)
公式(2)为对数损失函数，用于评估分类的差异，其中pu视觉算法目标表示识别为类别u的概率。
公式(1)中的Lloc为比较目标框位置差异的函数。其中
Figure BDA0003135042200000041
为视觉感知识别出u类别目标框的中心坐标
Figure BDA0003135042200000051
目标框的宽和高。v＝(vx，vy，vw，vh),表示融合算法感知所得的u类别目标框中心坐标以及框的宽和高。[u≥1]为艾弗森括号方程，当u≥1时，该方程结果为1，否则为0，即分类u不为背景时，Lloc才成立。Lloc可写为以下形式：
Figure BDA0003135042200000052
Figure BDA0003135042200000053
λ用于平衡Lcls分类差异函数和Lloc差异函数，默认为1。
通过设置公式(1)阈值，我们可以评估视觉感知的结果是否有效，若无效，参照方法1，将其送至人工审核。
四、人工审核
得到比对完效果不佳的图像结果后，我们需要人工校对效果不佳的图像。若确定视觉感知或雷达感知结果不准确，人工修改标注后，将图像作为预测不佳的案例，重新用于模型算法的优化训练。
五、算法优化训练
运用人工审核的结果，对算法进行优化训练，形成从算法预测，检测预测准确度，筛选效果不佳的预测结果，利用修改后的不佳结果进行重新训练的算法闭环。
本发明方法运用图像感知和雷达感知技术的融合，解决了传统仅用单一图像算法进行标注所遇到的问题，如：在路桥阴影、夜晚路灯昏暗的光照情况下，或遇雨雪或大雾，能见度不高的天气情况下，视觉算法会出现误检，甚至漏检的情况。同时，解决了车载摄像头上传视频不够清晰，导致图像识别算法不够准确的问题，提成了自动标注的准确率，降低人工标注的人力成本。通过对单一感知不准确结果的审核和筛选，将算法难以识别的图像重新标注后，用于算法优化训练，进而提升算法检测效果。
本发明进一步的实施例是一种基于融合感知的视觉与雷达感知算法优化系统，其用于执行以上实施例所述逇方法，该系统包括：
数据采集和特征提取模块，通过视觉传感器和算法获取图像特征，通过雷达和算法获取点云特征；
特征融合和预测模块，融合图像特征和点云特征，得到融合特征，并送入融合算法做最终预测，得到预测结果；
对比模块：利用融合算法的预测结果，分别比对视觉感知检测结果和雷达感知检测结果，筛选出视觉感知或雷达感知检测效果不佳的数据；
审核模块，通过回放，人工审核视觉感知和雷达感知检测效果不佳的数据，调整或补充标注信息；
算法优化模块，将人工审核后的数据返回相应检测效果不佳的算法，对算法进行优化训练。本领域普通技术人员应知，本发明的过程、方法或算法可由处理装置、控制器或计算机实施，处理装置、控制器或计算机可包括任何现存的可编程电子控制单元或专用电子控制单元。本发明涉及到的控制模块可被分配到一个或多个处理装置、控制器或计算机实施，控制模块仅代表可以实现的功能，不代表具体的处理装置、控制器或计算机。

Claims (8)

1.一种基于融合感知的视觉与雷达感知算法优化方法，包括如下步骤：
S1：通过视觉传感器和算法获取图像特征，通过雷达和算法获取点云特征；
S2：融合图像特征和点云特征，得到融合特征，并送入融合算法做最终预测，得到预测结果；所述步骤S2包括：将雷达获取的有效目标特征信息，通过投影，转换到同一时刻采集的图像中：根据车辆的高宽比，建立一个固定比例的矩形框，获得能根据车辆相对位置而变化的雷达感兴趣区域，即雷达ROI信息，获得融合了视觉感知和雷达感知的结果,即融合特征，将结果送入融合感知算法进行最终决策，得到融合感知结果；
S3：利用融合算法的预测结果，分别比对视觉感知检测结果和雷达感知检测结果，筛选出视觉感知或雷达感知检测效果不佳的数据；
S4：通过回放，人工审核视觉感知和雷达感知检测效果不佳的数据，调整或补充标注信息；
S5：将人工审核后的数据返回相应检测效果不佳的算法，对算法进行优化训练。
2.根据权利要求1所述的基于融合感知的视觉与雷达感知算法优化方法，其特征在于，所述步骤S3进行对比的方法是：通过比对融合算法检测结果和单一感知算法检测结果的最终锚框，计算两个ROI的交并比，即IOU值，根据设立的IOU阈值判断单一感知算法的检测是否有效，将视觉感知或雷达感知检测效果判断不佳或没有识别到目标的，将其对应图片加入待审核的数据集，等待人工审核；所述单一感知算法检测结果包括视觉感知检测结果和雷达感知检测结果；
或者进行对比的方法是：通过计算融合算法检测结果与单一感知算法检测结果预测框的差异函数，设立差异函数的阈值来判断单一感知算法检测结果是否准确；所述单一感知算法检测结果包括视觉感知检测结果和雷达感知检测结果。
3.根据权利要求1所述的基于融合感知的视觉与雷达感知算法优化方法，其特征在于，所述步骤S4包括：人工校对效果不佳的图像，若确定视觉感知或雷达感知结果不准确，人工修改标注后，将图像作为预测不佳的案例，重新用于模型算法的优化训练。
4.根据权利要求1所述的基于融合感知的视觉与雷达感知算法优化方法，其特征在于，所述步骤S5包括：运用人工审核的结果，对算法进行优化训练，形成从算法预测，检测预测准确度，到筛选效果不佳的预测结果，利用修改后的不佳结果进行重新训练的算法闭环。
5.一种基于融合感知的视觉与雷达感知算法优化系统，其特征在于，包括：
数据采集和特征提取模块，通过视觉传感器和算法获取图像特征，通过雷达和算法获取点云特征；
特征融合和预测模块，融合图像特征和点云特征，得到融合特征，并送入融合算法做最终预测，得到预测结果；所述特征融合和预测模块被配置为执行：将雷达获取的有效目标特征信息，通过投影，转换到同一时刻采集的图像中：根据车辆的高宽比，建立一个固定比例的矩形框，获得能根据车辆相对位置而变化的雷达感兴趣区域，即雷达ROI信息，获得融合了视觉感知和雷达感知的结果,即融合特征，将结果送入融合感知算法进行最终决策，得到融合感知结果；
对比模块：利用融合算法的预测结果，分别比对视觉感知检测结果和雷达感知检测结果，筛选出视觉感知或雷达感知检测效果不佳的数据；
审核模块，通过回放，人工审核视觉感知和雷达感知检测效果不佳的数据，调整或补充标注信息；
算法优化模块，将人工审核后的数据返回相应检测效果不佳的算法，对算法进行优化训练。
6.根据权利要求5所述的基于融合感知的视觉与雷达感知算法优化系统，其特征在于，
所述对比模块被配置为执行：通过比对融合算法检测结果和单一感知算法检测结果的最终锚框，计算两个ROI的交并比，即IOU值，根据设立的IOU阈值判断单一感知算法的检测是否有效，将视觉感知或雷达感知检测效果判断不佳或没有识别到目标的，将其对应图片加入待审核的数据集，等待人工审核；所述单一感知算法检测结果包括视觉感知检测结果和雷达感知检测结果；
或者，被配置为执行：通过计算融合算法检测结果与单一感知算法检测结果预测框的差异函数，设立差异函数的阈值来判断单一感知算法检测结果是否准确；所述单一感知算法检测结果包括视觉感知检测结果和雷达感知检测结果。
7.根据权利要求5所述的基于融合感知的视觉与雷达感知算法优化系统，其特征在于，所述审核模块执行：人工校对效果不佳的图像，若确定视觉感知或雷达感知结果不准确，人工修改标注后，将图像作为预测不佳的案例，重新用于模型算法的优化训练。
8.一种汽车，其特征在于，设置有权利要求5-7任一项所述的系统，所述系统被配置为执行权利要求1-4任一项所述的方法。
CN202110715646.8A 2021-06-28 2021-06-28 一种基于融合感知的视觉与雷达感知算法优化方法、系统及汽车 Active CN113449632B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110715646.8A CN113449632B (zh) 2021-06-28 2021-06-28 一种基于融合感知的视觉与雷达感知算法优化方法、系统及汽车

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110715646.8A CN113449632B (zh) 2021-06-28 2021-06-28 一种基于融合感知的视觉与雷达感知算法优化方法、系统及汽车

Publications (2)

Publication Number Publication Date
CN113449632A CN113449632A (zh) 2021-09-28
CN113449632B true CN113449632B (zh) 2023-04-07

Family

ID=77813427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110715646.8A Active CN113449632B (zh) 2021-06-28 2021-06-28 一种基于融合感知的视觉与雷达感知算法优化方法、系统及汽车

Country Status (1)

Country Link
CN (1) CN113449632B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822910A (zh) * 2021-09-30 2021-12-21 上海商汤临港智能科技有限公司 多目标跟踪方法、装置、电子设备及存储介质
CN114511827B (zh) * 2021-11-30 2024-04-12 重庆长安汽车股份有限公司 一种智能辅助驾驶的车云感知闭环处理方法
CN116469014B (zh) * 2023-01-10 2024-04-30 南京航空航天大学 基于优化Mask R-CNN的小样本卫星雷达图像帆板识别和分割方法
CN117093872B (zh) * 2023-10-19 2024-01-02 四川数字交通科技股份有限公司 雷达目标分类模型自训练方法及系统
CN117975394B (zh) * 2024-01-02 2024-08-27 北京理工大学 一种基于检测结果校准的路侧环境感知方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110568445A (zh) * 2019-08-30 2019-12-13 浙江大学 一种轻量化卷积神经网络的激光雷达与视觉融合感知方法
CN110942449A (zh) * 2019-10-30 2020-03-31 华南理工大学 一种基于激光与视觉融合的车辆检测方法
CN111369541A (zh) * 2020-03-06 2020-07-03 吉林大学 一种智能汽车恶劣天气条件下车辆检测方法
CN111368706A (zh) * 2020-03-02 2020-07-03 南京航空航天大学 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605667B (zh) * 2013-10-28 2017-02-08 中国计量学院 一种图像自动标注算法
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
US10768304B2 (en) * 2017-12-13 2020-09-08 Luminar Technologies, Inc. Processing point clouds of vehicle sensors having variable scan line distributions using interpolation functions
CN108229366B (zh) * 2017-12-28 2021-12-14 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CN110018470A (zh) * 2019-03-01 2019-07-16 北京纵目安驰智能科技有限公司 基于多传感器前融合的实例标注方法、模型、终端和存储介质
CN109978955B (zh) * 2019-03-11 2021-03-19 武汉环宇智行科技有限公司 一种联合激光点云与图像的高效标注方法
CN110533074B (zh) * 2019-07-30 2022-03-29 华南理工大学 一种基于双深度神经网络的图片类别自动标注方法及系统
CN110704633B (zh) * 2019-09-04 2023-07-21 平安科技（深圳）有限公司 命名实体识别方法、装置、计算机设备及存储介质
CN110795819B (zh) * 2019-09-16 2022-05-20 腾讯科技（深圳）有限公司 自动驾驶仿真场景的生成方法和装置、存储介质
CN110570664B (zh) * 2019-09-23 2023-04-07 山东科技大学 一种高速公路交通事件自动检测系统
CN110990695A (zh) * 2019-11-22 2020-04-10 厦门美柚股份有限公司 推荐系统内容召回方法及装置
CN112989877B (zh) * 2019-12-13 2024-06-28 浙江菜鸟供应链管理有限公司 点云数据中标注对象的方法及装置
CN111178454A (zh) * 2020-01-03 2020-05-19 北京汽车集团有限公司 自动驾驶数据的标注方法、云端控制平台及存储介质
CN112990293B (zh) * 2021-03-10 2024-03-29 深圳一清创新科技有限公司 一种点云标注方法、装置和电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110568445A (zh) * 2019-08-30 2019-12-13 浙江大学 一种轻量化卷积神经网络的激光雷达与视觉融合感知方法
CN110942449A (zh) * 2019-10-30 2020-03-31 华南理工大学 一种基于激光与视觉融合的车辆检测方法
CN111368706A (zh) * 2020-03-02 2020-07-03 南京航空航天大学 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法
CN111369541A (zh) * 2020-03-06 2020-07-03 吉林大学 一种智能汽车恶劣天气条件下车辆检测方法

Also Published As

Publication number Publication date
CN113449632A (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
CN113449632B (zh) 一种基于融合感知的视觉与雷达感知算法优化方法、系统及汽车
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN100545867C (zh) 航拍交通视频车辆快速检测方法
CN111368687A (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
JP5747549B2 (ja) 信号機検出装置及びプログラム
US20030190058A1 (en) Apparatus and method for measuring queue length of vehicles
CN110415544B (zh) 一种灾害天气预警方法及汽车ar-hud系统
CN112434695A (zh) 一种基于深度学习的上拉杆故障检测方法
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN109086803B (zh) 一种基于深度学习与个性化因子的雾霾能见度检测系统及方法
Naufal et al. Preprocessed mask RCNN for parking space detection in smart parking systems
CN110852164A (zh) 一种基于YOLOv3的自动检测违章建筑方法及系统
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN110084218A (zh) 车辆的雨水分布数据处理方法和装置
CN113111722A (zh) 基于改进Mask R-CNN的自动驾驶目标识别方法
CN108804987A (zh) 门开闭状态检测方法和装置、以及人流检测系统
CN113435407A (zh) 一种输电系统的小目标识别方法及装置
CN117152513A (zh) 一种面向夜间场景的车辆边界定位方法
Mahersatillah et al. Unstructured road detection and steering assist based on hsv color space segmentation for autonomous car
CN112149707B (zh) 图像采集控制方法、装置、介质及设备
CN113902740A (zh) 图像模糊程度评价模型的构建方法
CN110969135B (zh) 自然场景中的车标识别方法
CN113435350A (zh) 一种交通标线检测方法、装置、设备和介质
CN102592125A (zh) 基于标准差特征的运动目标检测方法
CN116630904A (zh) 融合非临近跳连与多尺度残差结构的小目标车辆检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant