CN110501709A - 目标检测系统、自主车辆以及其目标检测方法 - Google Patents

目标检测系统、自主车辆以及其目标检测方法 Download PDF

Info

Publication number
CN110501709A
CN110501709A CN201811099764.5A CN201811099764A CN110501709A CN 110501709 A CN110501709 A CN 110501709A CN 201811099764 A CN201811099764 A CN 201811099764A CN 110501709 A CN110501709 A CN 110501709A
Authority
CN
China
Prior art keywords
sensor
detection
preliminary
object detection
bounding box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811099764.5A
Other languages
English (en)
Other versions
CN110501709B (zh
Inventor
蒋泗得
梁珮蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/009,207 external-priority patent/US10852420B2/en
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN110501709A publication Critical patent/CN110501709A/zh
Application granted granted Critical
Publication of CN110501709B publication Critical patent/CN110501709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开涉及一种目标检测系统，包含：第一类型传感器，用于产生第一传感器数据；第二类型传感器，用于产生第二传感器数据；以及处理器，耦合到第一类型传感器以及第二类型传感器，且至少配置成用于：通过使用多个第一目标检测算法来处理第一传感器数据以及通过使用多个第二目标检测算法来处理第二传感器数据，其中多个第一目标检测算法中的每一个以及多个第二目标检测算法中的每一个包含根据多个参数检测算法计算的环境参数；以及为每一所检测到的目标确定由处理第一传感器数据以及处理第二传感器数据产生的限界框。

Description

目标检测系统、自主车辆以及其目标检测方法
技术领域
本公开涉及一种由自主车辆使用的目标检测系统、一种使用所述目标检测系统的自主车辆以及其目标检测方法。
背景技术
由于包含基于深度学习的目标检测算法的推动以及利用移动强大的计算系统(mobile powerful computing system)来实施先进技术的因素，使得多年来自主车辆的发展飙升。此外，利用更复杂且精确构架的成像传感器的发展已使得传感技术，例如光达(LiDAR)传感器(transducer)以及雷达(RaDAR)传感器的基于有源式的技术，超越如摄像机中所使用的基于无源式的技术。与来自摄像机传感器的例如亮度和色度信息的仅二维(two-dimensional；2D)的信息相比，这些有源式传感器还可通过导入深度信息来提供三维(three-dimensional；3D)信息。另外，各种实施方案已研发多传感技术以从不同类型感测装置的数据融合中获得综合信息，以便增加目标检测系统的精确度。
然而，不同类型感测装置的最近发展以及使用多感测装置的目标检测的现有技术现况的执行具有一些缺点。举例来说，来自用于自主车辆的每种类型的感测装置的数据质量受外部约束条件和内部约束条件影响。对应类型的感测装置的任何不利约束条件将降低数据质量。研发技术以使来自多感测装置的数据融合的技术现况大多数仅主要地考虑内部约束条件(目标相对位置、目标相对距离、分类器可靠度等等)。研发融合技术供用于多感测装置的技术现况中的一些已融合输入级上的信息并且利用单一分类器以执行目标检测。通过这样做，较高的漏检率(miss rate)的可能性可能增加。
在自主车辆中，将安置在车辆内的感测装置视为对于获得周围目标和条件的精确信息为必需的。理想地，通过实施从不同传感模态(即不同类型传感器)中撷取的传感器输入的综合种类和数量，可取得更可靠的信息而每一感测装置还可验证从其它感测装置中撷取的信息。
用于自主车辆研发的常用感测装置可包含成像传感器、光检测与测距(lightdetection and ranging；LiDAR，又称“光达”)传感器以及无线电检测与测距(radiodetection and ranging；RaDAR，又称“雷达”)传感器。这些感测装置中的每一个拥有可保持有利地增强传感性能或不利地恶化传感性能的特性和行为的传感模态。传感性能是增强还是恶化，将取决于归因于每一感测装置的独特操作原理的特定情形和环境。
例如彩色(RGB)摄像机的成像传感器的操作原理是通过从外部环境接收包含从周围目标反射的光的光信息来无源地进行成像。相反地，光达和雷达是有源传感器，其至少依赖于发射器和接收器以获得来自周围目标和环境的信息。光达与雷达之间的差异是所使用的光谱(即红外波相较于毫米波)，所述光谱随后确定对应传感模态的特性。具体来说，光达将使用调制红外(infrared；IR)波来以全方位(即360度)视场测量发射器与接收器之间的飞行时间(time of flight)；然而雷达将使用射频波来以特定角度(例如小于360度)的视场测量发射器与接收器之间的飞行时间。
表1展示通常实施于自主车辆中的各种感测装置中的特性的比较。表1中所示的值仅出于示范性目的示出，同时特定值可基于设计考量而变化。
表1
根据表1以及先前详细阐述，因为较差或过度光强度可能损害所撷取图像的感知质量，所以成像传感器将有可能易受光干扰。与成像传感器的通用特性相反，光达传感器和雷达传感器更不易受光强度的干扰的影响，这是因为光达和雷达的传感介质不在与可见光谱相同的频率范围内。因此，从勒克斯(lux)干扰的角度，在具有一定量的光强度的环境中通过使用成像传感器来执行目标检测，相比于基于光达的目标检测系统或基于雷达的目标检测系统，将有可能是较不利的。
此外，各种感测装置中的比较还展示在自主车辆内操作这些感测装置时受到日晒干扰的潜在可能。对摄像机镜头的直接日晒可能引入信号削波(signal clipping)，所述信号削波使曝光眩光范围内的色彩信息衰减，从而引起无意地移除所撷取图像的显著信息。类似地，光达也对直接日晒轻微敏感，这是因为来自日晒的辐射能量含有可能在光达接收器的光谱的范围内的红外(IR)波。然而，因为来自光达发射器的IR波经调制，所以干扰将几乎不会如摄像机中的一样高。另一方面，因为用于传感的装置含有毫米波长度范围内的射频，所以雷达传感器几乎不受日晒影响。
自主车辆的户外环境产生可明显使每一感测装置的性能降低的自变量。为实施精确目标检测机制，不利天气条件可能是需要考虑的不可避免的约束条件。摄像机、光达以及雷达当中的相似性为可基于非接触式传感技术的构架，所述非接触式传感技术需要一介质，其用于待向外发送的信息以及待由这些不同类型感测装置中的每一个检测的目标收回的信息。在不利天气条件(例如雨、雾或霾)期间，介质可含有不合需要的材料，例如雨中的水滴、雾中的水胶体以及霾中的污染物胶体，这些可能降低可见度且因此使在待检测的目标与其对应感测装置之间传播的信息的强度衰减。
图1A示出用于自主车辆的常用感测装置的特性。图1B示出图1A的感测装置中的每一个的视场(field of view；FOV)和范围。自主车辆可使用彩色摄像机101、光达102以及雷达103以用于感测邻近目标。除了受外部约束条件影响以外，这些感测装置(例如101、102、103)的内部规格也可影响其对目标检测的性能。如表1中可见，可影响感测特性的内部约束条件可划分成至少三个类别，包含(但不限于)：(a)感测范围、(b)FOV以及(c)数据分辨率。这些约束条件中的每一个可操作为彩色摄像机101、光达102以及雷达103的性能中的平衡点(trade-off)。
举例来说，从如图1B中所示感测范围的角度，雷达103可为已知目标检测算法中的大部分提供高达150米的最广感测范围。然而，从FOV的角度，光达102可提供涵盖360°或全视野的最宽视场。然而，雷达103和光达102都将有可能无法提供与彩色摄像机101一样高的数据分辨率。
基于上文所描述的详细阐述，内部约束条件和外部约束条件都可能潜在地干扰数据质量，且因此将影响数据传感器中的每一个的目标检测的性能。然而，因为并不同时对所有传感器施加不利条件，所以有可能通过利用实施多传感模态和多目标检测的全面构架来解决所述缺点。
发明内容
因此，本公开涉及一种由自主车辆使用的目标检测系统、一种使用所述目标检测系统的自主车辆以及其目标检测方法。
在示范性实施例中的一个中，本公开涉及一种目标检测系统，所述目标检测系统应包含(不限于)：第一类型传感器，用于产生第一传感器数据；第二类型传感器，用于产生第二传感器数据；以及处理器，耦合到第一类型传感器以及第二类型传感器，且至少配置成用于：通过使用多个第一目标检测算法来处理第一传感器数据，以产生对应于所述第一类型传感器的第一初步检测结果；以及通过使用多个第二目标检测算法来处理第二传感器数据，以产生对应于所述第二类型传感器的第二初步检测结果；应用参数检测算法以产生多个置信度值，所述参数检测算法包括用于所述第一初步检测结果以及所述第二初步检测结果中的每一个的多个环境参数，其中每一所述置信度值对应于所述多个环境参数中的不同环境参数；以及基于所述第一类型传感器的特性、所述第二类型传感器的特性、所述第一初步检测结果与所述第二初步检测结果之间的关系以及所述多个置信度值来确定所检测到的目标。
在示范性实施例中的一个中，本公开涉及一种自主车辆，所述自主车辆包含(不限于)目标检测系统，其包含：第一类型传感器，用于产生第一传感器数据；第二类型传感器，用于产生第二传感器数据；以及处理器，耦合到第一类型传感器以及第二类型传感器，且至少配置成用于：通过使用多个第一目标检测算法来处理第一传感器数据，以产生对应于所述第一类型传感器的第一初步检测结果；通过使用多个第二目标检测算法来处理第二传感器数据，以产生对应于所述第二类型传感器的第二初步检测结果；应用参数检测算法以产生多个置信度值，所述参数检测算法包括用于所述第一初步检测结果以及所述第二初步检测结果中的每一个的多个环境参数，其中每一所述置信度值对应于所述多个环境参数中的不同环境参数；；以及基于所述第一类型传感器的特性、所述第二类型传感器的特性、所述第一初步检测结果与所述第二初步检测结果之间的关系以及所述多个置信度值来确定所检测到的目标。
在示范性实施例中的一个中，本公开涉及一种由自主车辆使用的目标检测方法，所述方法应包含(不限于)：通过使用第一类型传感器来产生第一传感器数据；通过使用第二类型传感器来产生第二传感器数据；通过使用多个第一目标检测算法来处理第一传感器数据，以产生对应于所述第一类型传感器的第一初步检测结果；以及通过使用多个第二目标检测算法来处理第二传感器数据，以产生对应于所述第二类型传感器的第二初步检测结果；应用参数检测算法以产生多个置信度值，所述参数检测算法包括用于所述第一初步检测结果以及所述第二初步检测结果中的每一个的多个环境参数，其中每一所述置信度值对应于所述多个环境参数中的不同环境参数；以及基于所述第一类型传感器的特性、所述第二类型传感器的特性、所述第一初步检测结果与所述第二初步检测结果之间的关系以及所述多个置信度值来确定所检测到的目标。
为了使得本公开的前述特征和优点便于理解，下文详细描述带有附图的示范性实施例。应理解，前文总体描述以及以下详细描述都是示范性的，并且意图提供对所要求的本公开的进一步说明。
然而，应理解，本公开内容可以并不含有本公开的所有方面和实施例，且因此不意味用任何方式加以限制或约束。此外，本公开应包含本领域技术人员容易理解的改进以及修改。
附图说明
包含附图以便进一步理解本公开，且附图并入本说明书中并构成本说明书的一部分。附图示出本公开的实施例，并与描述一起用于解释本公开的原理。
图1A示出用于自主车辆的常用感测装置的特性。
图1B示出图1A的感测装置中的每一个的FOV和范围。
图2示出根据本公开的示范性实施例中的一个的目标检测系统的硬件框图。
图3示出根据本公开的示范性实施例中的一个的使用目标检测系统的自主车辆。
图4是示出根据本公开的示范性实施例中的一个的目标检测方法的步骤的流程图。
图5示出根据本公开的示范性实施例中的一个的目标检测构架的框图。
图6示出根据本公开的示范性实施例中的一个的用于分析限界框的技术。
图7是示出根据本公开的示范性实施例中的一个产生传感器数据且随后分析检测结果以输出限界框的详细框图。
图8示出根据本公开的示范性实施例中的一个的参数检测算法。
图9示出根据本公开的示范性实施例中的一个的待由自主车辆使用的传感器候选项的FOV以及每一可能的检测情况。
图10A到图10B示出根据本公开的示范性实施例中的一个的目标检测方法的第一实施实例。
图11A到图11B示出根据本公开的示范性实施例中的一个的目标检测方法的第二实施实例。
图12A到图12B示出根据本公开的示范性实施例中的一个的目标检测方法的第三实施实例。
附图标号说明
101：彩色摄像机；
102：光达传感器；
103：雷达传感器；
200：目标检测系统；
201：第一类型传感器；
202：第二类型传感器；
203：处理器；
300：自主车辆；
501：雷达传感器阵列；
502：彩色摄像机阵列；
503：光达传感器阵列；
504：环境传感器阵列；
801：强度测量模块；
802：勒克斯检测模块；
803：天气检测模块；
804：曝光不足检测模块；
805：曝光过度检测模块；
806：角度位置测量模块；
807：基于强度的归一化模块；
808：基于天气的归一化模块；
809：基于曝光的归一化模块；
810：基于深度的归一化模块；
811：基于角度的归一化模块；
A、B、C：标志；
B1、B2、B3、B4、B5：视场；
C1、C2、C3、C4、C5、CcLS：置信度值；
DS：邓普斯特-谢弗；
L2：距离；
S401、S402、S403、S404、S552、S701～S707、S711～S716、S721～S729、S731～S738：：步骤；
S511：A目标检测；
S512、S532：特征对齐、目标检测结果；
S521：B目标检测、目标检测结果；
S531：C目标检测；
S541：环境分析；
S551：基于环境的约束条件建模；
S553：邓普斯特-谢弗模块；
S554、S556：限界框；
S555：参数过滤器模块。
具体实施方式
现在将详细参考本公开的当前示范性实施例，附图中示出了所述示范性实施例的实例。只要有可能，相同的参考标号在图式和描述中用以指代相同或相似部分。
本公开提供自主车辆的构架以检测邻近目标，并且待从目标检测系统、使用所述目标检测系统的自主车辆以及目标检测方法的角度来说明所述构架。系统可安置在自主车辆内，所述自主车辆将自动地操作而无需人为干预，且因此目标检测精确度将至关重要。系统应包含(但不限于)具有重叠FOV的多个不同感测装置集合，例如：成像装置集合，具有用于从周围撷取二维(two dimensional；2D)彩色数据的一个或多个图像传感器；光达传感器集合，具有用于从周围撷取三维(three dimensional；3D)点云体积(point cloudsvolume)的一个或多个光达传感器；雷达传感器集合，具有用于从周围撷取3D回波点体积(echo points volume)的一个或多个雷达传感器；以及处理单元，至少配置成为每种类型的传感器执行目标检测算法集合以及分析来自所有算法的检测结果以基于传感器相对于各种约束条件的特性和行为来确定最终检测结果。这类约束条件可包含光强度、天气条件、曝光程度、目标位置、目标距离以及检测算法的可靠度。从传感器所撷取的可用信息将整合在每一较早检测结果上，其随后由处理装置进一步自动分析以获得最终检测结果，所述最终检测结果可以是用于进一步分析的综合数据的一部分。通过提供的构架，可遏制误报(false positive)从而增加整体目标检测的精确度。图2到图5以其它细节阐明所提供的目标检测构架。
图2示出根据本公开的示范性实施例中的一个的目标检测系统的硬件框图。目标检测系统应包含(不限于)第一类型传感器201、第二类型传感器202以及处理器203。第一类型传感器201可以是成像传感器，例如将指定FOV内的可见光捕获到2D图像中的彩色图像传感器。第二类型传感器202可以是成像传感器或测距传感器，例如从指定FOV内取样反射信号并相应地重构建3D体积的光达传感器或雷达传感器。处理器203将至少配置成通过使用多个第一目标检测算法来处理第一传感器数据以及通过使用多个第二目标检测算法来处理第二传感器数据。多个第一目标检测算法中的每一个以及多个第二目标检测算法中的每一个应包含根据多个参数检测算法计算的环境参数。处理器203将随后配置成用于为每一所检测到的目标确定由处理第一传感器数据以及处理第二传感器数据产生的限界框(bounding box)。
假设第一类型传感器201是例如彩色摄像机的彩色图像传感器，多个第一目标检测算法可包含以下中的一个或组合：‘YOLO’算法，如由J.雷德蒙(J.Redmon)等人，“你只看一次：统一实时的目标检测(You Only Look Once：Unified，Real-time ObjectDetection)”CoRR，卷abs/1506.02640，2016所教示；更快R-CNN(Faster R-CNN)算法，如由S.任(S.Ren)等人“更快R-CNN：利用区域方案网络实现实时目标检测(Faster R-CNN：Towards Real-time Object Detection with Region Proposal Networks)”CoRR，卷abs/1506.01497，2016所教示；以及单发检测(Single Shot Detection；SSD)算法，如由W.刘(W.Liu)等人，“SSD：单发多盒检测器(SSD：Single Shot Multibox Detector)”CoRR，卷abs/1512/02325，2015所教示。上文所述的目标检测算法中的每一个以引用的方式并入。
假设第二类型传感器202是例如光达传感器的成像传感器或测距传感器，多个第二目标检测算法可包含以下中的一个或组合：3D-FCN算法，如由B.Li(B.李)等人，“使用完全卷积网络从3D光达的车辆检测(Vehicle Detection from 3D光达Using FullyConvolutional Network)”，CoRR，卷abs/1608.0791，2016所教示；图森(TuSimple)算法，如由J.郭(J.Guo)等人，“利用所有层：快速且精确的CNN目标检测器，具有尺度相关合并以及级联拒绝分类器(Exploit All the Layers：Fast and Accurate CNN Object Detectorwith Scale Dependent Pooling and Cascaded Rejection Classifiers)”IEEE CVPR，第770至779页，2016所教示；以及L-SVM算法，如由C.吉代(C.Guidel)，“使用CNN特征的联合目标检测和视点估计(Joint Object Detection and Viewpoint Estimation using CNNFeatures)”IEEE VES，第145至150页，2017所教示。上文所述的目标检测算法中的每一个以引用的方式并入。
图3示出根据本公开的示范性实施例中的一个的使用目标检测系统的自主车辆。自主车辆300应包含(不限于)如图2所示的目标检测系统200。
图4是示出根据本公开的示范性实施例中的一个使用目标检测系统的目标检测方法的步骤的流程图。在步骤S401中，目标检测系统将通过使用第一类型传感器产生第一传感器数据。在步骤S402中，目标检测系统将通过使用第二类型传感器产生第二传感器数据。在步骤S403中，目标检测系统将通过使用多个第一目标检测算法来处理第一传感器数据，并且还将通过使用多个第二目标检测算法来处理第二传感器数据。多个第一目标检测算法中的每一个以及多个第二目标检测算法中的每一个应包含根据多个参数检测算法计算的环境参数。在步骤S404中，目标检测系统将为每一所检测到的目标确定由处理第一传感器数据以及处理第二传感器数据产生的限界框。
图5到图12B用一些示范性实施例和实例阐明所提供的目标检测构架。图5示出根据本公开的示范性实施例中的一个的目标检测构架的详细框图。待描述的构架将包含检测融合系统，其利用多种类型的感测装置以通过针对重叠FOV(如图2中所示)上的每种类型的感测装置使用多个目标检测算法(即分类器)来执行目标检测。多种类型的感测装置可包含雷达传感器阵列501、彩色摄像机阵列502、光达传感器阵列503以及环境传感器阵列504。环境传感器阵列504可以是例如一个或多个雨传感器、可见光谱光传感器、压力传感器等等的阵列。
更具体地说，从环境传感器阵列504收集的环境数据可包含所检测到的天气条件、局部强度测量以及曝光过度/曝光不足检测，这些随后由特征对齐模块S512、特征对齐模块S532使用处理以计算目标的相对距离、目标的相对角度位置、对应目标的分类器置信度和/或可基于对应类型传感器影响目标检测性能的任何其它参数。收集的环境数据随后归一化以通过数学建模符合每种类型的传感器的特性，所述数学建模估计归一化值的均匀范围(uniform range)中的结果。
如图5中所示，雷达传感器阵列501可以是一个或多个RF传感器的集合，且每一传感器可收集用于执行A目标检测(A object detection(s))S511的原始传感器数据(rawsensor data)集合。类似地，彩色摄像机阵列502可以是一个或多个图像传感器的集合，且每一图像传感器可收集用于执行B目标检测(B object detection(s))S521的原始传感器数据集合。此外，光达传感器阵列503可以是一个或多个红外传感器的集合，且每一传感器可收集用于执行C目标检测(C object detection(s))S531的原始传感器数据集合。环境传感器阵列504可以是一个或多个不同类型传感器，所述不同类型传感器收集用于执行环境分析S541的环境数据。来自感测装置(即501、502、503、504)中的每一个的原始数据可以同时获得，并且来自不同类型感测装置的目标检测也可以同时执行。
接下来，将应用感测装置(即501、502、503、504)中的每一个的各种目标检测算法以获得每一所检测到的目标的可以由呈限界框(bounding box；BB)表征的类别和位置。在特征对齐(feature alignment)S512、特征对齐S532期间，可以从环境传感器504中的每一个获得基于环境的约束条件。随后将通过使作为步骤S512、步骤S521、步骤S532以及步骤S541的结果的所有数据融合以及为所述结果中的每一个应用一个或多个目标检测算法来执行基于环境的约束条件建模(environmental-based constraints modeling)S551，以便识别一个或多个所检测到的目标类别和位置作为初步检测结果。换句话说，在步骤S551中，将来自雷达传感器阵列501、彩色摄像机阵列502、光达传感器503中的每一个的目标检测结果S512、目S521以及S532与来自环境传感器阵列504中的每一个的一些基于环境的约束条件以及环境分析S541的所获得值组合到一起作为初步检测结果，所述初步检测结果通过决策融合模块融合在一起，所述决策融合模块根据基于环境的约束条件分析初步检测结果。根据环境条件，可根据初步检测结果与对应传感器特性的关系基于各种约束条件由最可靠的检测结果中选出初步检测结果。
将利用产生初步目标检测结果的指定目标检测算法集合指定每种类型的感测装置(例如501、502、503、504)(例如雷达传感器阵列501及光达传感器503在3D坐标系中，同时彩色摄像机阵列502在2D坐标系中)。在可对初步检测结果执行数据融合之前以及在能够产生最终检测结果之前，通过使用特征对齐模块S512、特征对齐模块S532来将来自雷达传感器阵列501及光达传感器阵列503的结果从3D坐标系变换到2D坐标系。这些模块将用于校正2D坐标系中待同步的决策融合的输入格式，其中为每一初步检测结果嵌入深度信息。然而，如果初步检测投影到重叠的FOV外，那么对应数据将直接处理作为3D坐标系中的最终检测结果。
校正初步检测结果中的每一个可以成BB形式，并且两个BB可基于关系标准而成对地分析，所述关系标准可包含空间距离、深度以及类别值的基于目标的约束条件的比较。因此，确定成对校正初步检测结果是否可彼此从属或彼此独立。在图5的情况中，因为每一BB是从不同类型感测装置产生的，所以可能有多达三个BB的群(cluster)。
可使用两种不同技术以基于在每对校正初步检测结果之间观察到的重叠-杂乱标准(overlapping-cluttering criterion)分析校正初步检测结果。因此，在步骤S552中，将确定BB是否是杂乱和重叠的。将基于使用归一化约束条件参数(normalized constraintsparameters)从初步检测结果中确定最终检测结果。基于任何校正初步检测结果对是否小于如基于两个BB之间的中心之间的距离L2计算的预定检测距离阈值来确定是否存在杂乱。此外，基于成对BB之间的重叠区域是否超出预定区域阈值(例如，预定重叠阀值与预定距离阈值)来确定是否存在重叠。如果BB既杂乱又重叠，那么检测结果将利用邓普斯特-谢弗模块(Dempster-Shafer module；DS module)S553；否则，检测结果将利用参数过滤器(parameter filter)模块S555，其中，在未超出预定重叠阈值以及预定距离阈值中的一个时使用参数过滤器模块S555。对于任何从属BB对，邓普斯特-谢弗模块S553可用以基于对所有参数的总置信度的分析来从对应对中保留更可靠的BB且移除另一BB。对于任何独立BB，参数过滤器模块S555将用以基于对相对于其伪BB(pseudo BB)的所有参数的总置信度的分析来确定是否保留或移除独立BB。其中，补充说明的是，基于BB对之间的空间距离、BB的深度信息以及类别值来将成对BB确定为独立BB或从属的BB对。
邓普斯特-谢弗模块S553可简单地描述为根据不同观察变量的置信度值(将在将要到来的部分中进一步详细描述)竞争性地对照BB对的技术。邓普斯特-谢弗模块S553是通过根据观察变量保留具有最高可靠度的检测结果来提高检测精确度。如由邓普斯特-谢弗模块S553确定的最终检测结果将是由BB S554突出显示的目标。类似地，参数过滤器模块S555是一种过滤技术，用于基于不同观察变量的置信度值有区别地测量相较于伪BB的任何独立限界框的可靠度。伪BB是基于初始BB而产生，因此具有相同观察的约束条件。然而，伪限界框的约束条件用建模公式计算，如同用其它类型传感器测量一般。如图6中所示，目标类别的BB对在杂乱距离和重叠面积较小时将通过使用邓普斯特-谢弗模块S553来分析具有相同或不同所检测到的目标类别的BB对；然而目标类别的BB对在杂乱距离和重叠面积较大时将通过使用参数过滤器模块S555来分析具有相同或不同所检测到的目标类别的BB对。
图7通过扩展图5的实施例来展示更详细框图。在图7中，假设实施例使用具有一个或多个雷达传感器的雷达传感器阵列(例如501)、具有一个或多个彩色摄像机的彩色摄像机阵列(例如502)以及具有一个或多个光达传感器的光达传感器阵列(例如503)。雷达传感器阵列将执行步骤S701到步骤S707以产生具有在具有深度信息的2D BB中呈现的一个或多个初步检测到的目标中的每一个的一个或多个雷达初步检测到的目标。彩色摄像机阵列将执行步骤S711到步骤S716以产生具有在具有深度信息的2D BB中呈现的一个或多个初步检测到的目标中的每一个的一个或多个摄像机初步检测到的目标。光达传感器阵列将执行步骤S721到步骤S728，以基于初步检测到的目标是否在与雷达传感器阵列和彩色摄像机阵列的FOV重叠的FOV内来产生具有在具有深度信息的2D BB中呈现的或在3D BB中呈现的一个或多个初步检测到的目标中的每一个的一个或多个光达初步检测到的目标。处理器(例如203)将融合来自雷达传感器阵列、彩色摄像机阵列以及光达传感器阵列的初步检测到的目标的所有信息，并且通过并入基于环境的建模来处理信息以导出在BB中呈现的检测到的目标的最终集合。或者，处理器(例如203)也可执行包含步骤S701到步骤S707、步骤S711到步骤S716、步骤S721到步骤S729以及步骤S731到步骤S738的所有步骤。如下描述图7的细节。
在步骤S701中，雷达传感器阵列的回波点撷取模块将获得来自雷达传感器阵列的原始传感器数据。在步骤S702中，存在nR数目的目标检测算法，实施所述目标检测算法以产生呈3D坐标系的原始检测结果，且所述nR数目是大于一的整数。在步骤S703中，随后基于3D重叠检测分析原始检测结果，所述3D重叠检测测量每对原始检测结果的BB距离以便产生初步检测结果。在步骤S705中，回波点对齐模块将接收来自回波点撷取模块S701的原始传感器数据且产生变换矩阵。在步骤S704中，深度撷取模块将为校正初步检测结果中的每一个计算深度信息。在步骤S706中，初步检测结果经校正以通过使用正向变换模块来将其坐标系从3D转换成2D，并且产生2D BB，所述正向变换模块需要来自回波点对齐模块S705的变换矩阵。在步骤S707中，将产生在嵌入有对应深度信息的2D BB中呈现的一个或多个雷达校正初步检测到的目标。
对于彩色摄像机阵列，在步骤S711中，图像撷取模块将捕获一个或多个静态或连续图像。在步骤S712中，存在nc数目的目标检测算法，实施所述目标检测算法以产生呈2D坐标系格式的原始检测结果。在步骤S713中，基于2D重叠检测分析这些原始检测结果，所述2D重叠检测测量每对原始检测结果的BB距离从而产生初步检测结果。在步骤S714中，反向变换模块(inverse transformation module)将接收初步检测结果以通过使用来自S722的来自点云对齐模块(point clouds alignment module)的变换矩阵来将其从2D转换成3D坐标系格式。在步骤S715中，通过使用呈3D坐标系的转换结果来计算初步检测结果的每一BB的深度信息。在撷取深度信息之后，在步骤S716中，来自步骤S713的校正初步检测结果将嵌入有来自步骤S715的对应深度信息，以产生具有在具有深度信息的2D BB中呈现的一个或多个校正初步检测到的目标中的每一个的一个或多个摄像机初步检测到的目标。
对于光达传感器阵列，在步骤S721中，将从深度撷取模块撷取传感器数据，如3D点云。在步骤S722中，点云对齐模块将接收3D点云以输出变换矩阵。在步骤S723中，存在nL数目的目标检测算法，所述目标检测算法将接收捕获的图像以产生呈3D坐标系格式的原始检测结果。在步骤S724中，随后基于3D重叠检测分析这些原始检测结果，所述3D重叠检测测量每对原始检测结果的BB距离从而产生初步检测结果。在步骤S725中，这些初步检测结果经校正以通过使用正向变换模块来将其坐标系从3D转换成2D，所述正向变换模块需要来自S722的来自点云对齐模块的变换矩阵。在步骤S726中，通过使用深度撷取模块来为呈2D的校正初步检测结果中的每一个计算深度信息(以米为单位)。
在步骤S727中，将确定转换的校正初步检测结果是否在光达传感器阵列和彩色摄像机阵列的FOV重叠的FOV内。如果转换的初步检测结果在光达传感器阵列和彩色摄像机阵列的FOV重叠的FOV内，那么在步骤S728中，转换的校正初步检测结果将嵌入有对应深度信息以产生具有在具有深度信息的2D BB中呈现的一个或多个校正初步检测到的目标中的每一个的一个或多个光达校正初步检测到的目标。如果转换的校正初步检测结果在光达传感器阵列和彩色摄像机阵列的FOV重叠的FOV外，那么在步骤S729中，具有在3D BB中呈现的一个或多个初步检测到的目标中的每一个的一个或多个光达初步检测到的目标将产生并且将直接被视为使用初始3D坐标系的最终检测结果。
在步骤S731中，将来自步骤S707、步骤S716以及步骤S728的所有输出融合在一起以确定BB是否是杂乱和重叠的，以便基于归一化参数确定最终检测结果。假设存在基于先前描述标准的足够的杂乱和重叠，那么将执行步骤S732到步骤S734；否则将执行步骤S735到步骤S738。在步骤S732中，将来自步骤S707、步骤S716、步骤S728的输出中的每一个发送到随后进一步详细描述的参数检测模块中。在步骤S733中，邓普斯特-谢弗模块将通过基于对所有参数的总置信度的分析为每一对应对保留更可靠的BB以及通过移除另一BB来处理所有参数检测模块的输出。邓普斯特-谢弗将输出最终检测结果，其作为由BB S554突出显示的目标并且具有对应深度信息。
在步骤S735中，将来自步骤S707、步骤S716以及步骤S728的输出传送到伪BB产生模块和参数检测模块。伪BB产生模块输出也将传送到参数检测模块。在步骤S736中，参数检测模块中的每一个将处理接收的数据且将经处理数据传送到参数过滤器模块(parameterfiltering module)。将在随后部分进一步详细描述参数检测模块。在步骤S737中，参数过滤器模块将基于相对于伪BB产生模块输出的所有参数的总置信度的分析来确定是否保留或移除独立BB。参数过滤器模块S555将基于不同观察变量的置信度值有区别地测量比较伪版BB与任何独立BB的可靠度。在步骤S738中，参数提交模块将输出最终检测结果，其作为由BB S554突出显示的目标并且具有对应深度信息。
图8示出根据本公开的示范性实施例中的一个的参数检测模块的整体图。参数检测模块可通过利用强度测量模块801、勒克斯检测模块802、天气检测模块803、曝光不足检测(underexposure detection；UE)模块804、曝光过度检测(overexposure detection；OE)模块805以及角度位置测量模块806来指定六个基于环境的约束条件，并且还可指定一个额外约束条件。
强度测量模块801将通过计算每一区域的平均亮度值来测量输入彩色图像的一致大小区域(uniformly-sized regions)中的光强度。对来自摄像机传感器的局部图像块执行测量，其中连续值(I)从范围0(暗)到1(亮)。BB的I值由基于强度的归一化模块807根据传感器类型归一化为：
C1(I)＝1 对于雷达 (1C)
基于强度的归一化模块807的输出表示基于强度测量的置信度值(C1)。
勒克斯检测模块802将通过对图像内的所有局部区域的或指定勒克斯传感器的平均亮度值进行比较来确定输入彩色图像的光强度。检测表征为离散值(L)范围0(暗)或1(亮)。限界框的L值将用于基于强度的归一化模块807。
天气检测模块803将通过分析输入彩色图像的频域的图案来确定实时天气条件。对来自摄像机传感器或来自指定湿度传感器的图像全局地执行测量。检测表征为离散值(W)范围0(不良天气)或1(良好天气)。BB的W值由基于天气的归一化模块808根据传感器类型归一化为：
其中α、β以及γ表示预定常数。基于天气的归一化模块808的输出表示基于天气检测的置信度值(C2)。
曝光不足检测模块804和曝光过度检测模块805将通过评估图像的对比度、亮度以及饱和度来量化输入彩色图像的每一像素的暴露不足和暴露过度程度。对像素层级局部地执行检测，其连续值(U和O)范围0(未曝光不足或曝光过度)到1(曝光不足或曝光过度)。BB的U值和O值由基于曝光的归一化模块809根据传感器类型归一化为：
C3(O，U)＝1-wL×O-(1-wL)×U
其中
C3(O，U)＝1-O 对于光达 (3B)
C3(O，U)＝1 对于雷达 (3C)
基于曝光的归一化模块809的输出表示基于曝光不足和曝光过度的置信度值(C3)。
深度估计(例如S704、S715、S726)将直接撷取来自校正初步检测结果的深度值。检测表征为连续值(D)范围0(太近)或1(太远)。BB的深度(D)值由基于深度的归一化模块810根据传感器类型归一化为：
其中θ表示表征参数。基于深度的归一化模块810的输出表示基于深度值的置信度值(C4)。
角度位置估计模块806将量化从笛卡尔(Cartesian)坐标系到圆柱坐标系的限界框中心的角度位置。所述估计对每一校正初步BB局部地执行为连续值(T)。BB的T值由基于角度的归一化模块811根据传感器类型归一化为：
C5(R，T)＝1 对于光达 (5B)
其中R表示参考坐标。基于角度的归一化模块811的输出表示基于角度位置的置信度值(C5)。
另外，置信度值集合也包括对应目标检测算法的可靠度分数，表示为CCLS。在计算所需的置信度的值之后，独立的校正初步检测结果与置信度值集合一起发送到参数过滤器模块S737。然而，伪BB通过模拟检测结果产生，如同由不同传感模态创建一般。基于提供最低累计置信度值的BB选择用于伪BB的模态。独立的校正初步检测结果的最终置信度值测量为：
其中wi表示每种类型的置信度值的加权系数。另外，伪BB的最终置信度值测量为：
如果那么分类器的检测保持；否则，去除分类器的检测。另外，添加前提条件，其中如果CCLS＝0，那么CCLS＝0.5。
在参数检测(例如S732、S736)已完成之后，包含来自参数检测模块中的每一个的C1到C5以及CCLS的校正初步检测结果与置信度值集合一起传送到邓普斯特-谢弗模块S733或参数过滤器模块S737。对于符合前述标准的待发送到邓普斯特-谢弗模块S733的BB的群，群对(cluster pair)的过程将遵循以下情况中的一个：
针对第1种情况，如果来自第一类型传感器分类器与第二类型传感器分类器的BB的类别相同，那么第一类型传感器的校正初步检测结果的最终置信度值测量为：
并且第二类型传感器的校正初步检测结果的最终置信度值测量为：
如果CA＞CB，那么第一类型传感器的分类器的检测将保持；否则，第二类型传感器的分类器的检测将保持。
针对第2种情况，如果来自第一类型传感器分类器与第二类型传感器分类器的BB的类别不相同，那么第一类型传感器的校正初步检测结果的最终置信度值测量为：
并且第二类型传感器的校正初步检测结果的最终置信度值测量为：
如果CA，1+CB，1＞CA，2+CB，2，那么使用第一类型传感器的分类器的类别；否则，使用第二类型传感器的分类器的类别。此后，过程将继续进行到第1种情况。
针对第3种情况，如果分类器中的任一个没有辨识功能(CA，CLS|CB，CLS＝0)，那么第一类型传感器的校正初步检测结果的最终置信度值测量为：
并且第二类型传感器的校正初步检测结果的最终置信度值测量为：
如果CA＞CB，那么第一类型传感器的分类器的检测将保持；否则，第二类型传感器的分类器的检测将保持。
图9示出根据本公开的示范性实施例中的一个的由自主车辆使用的传感器候选项的FOV以及每一可能的检测情况。参看表2，其描述所提出构架的预设定常数(predefinedconstants)，为增加所提出构架的明确性，并将简单论述所提出构架的性能以及所提出目标检测构架的几个示范性的示范。在一实验中，通过使用两个16束光达、一个32束光达以及一个彩色摄像机来实施所提出构架。
表2
基于这些实验设定，主要对从重叠视场撷取的976帧进行性能评估。真阳性率(true positive rate；TPR)、精密度(precision；PPV)、精确度(accuracy；ACC)以及精密度和精确度的谐波平均值(F1)经测量且呈现在表3中，其展示所提出构架的定量观测(Quantitative Observation)。
表3
根据表3，展示所提出构架能够大体上增强各种目标检测算法的性能，特别是在与基于光达的检测算法相比时。另外，所提出构架的计算成本被认为是高效的，其在具有4GRAM的因特尔i7(Intel i7)中为43.227毫秒。为强调所提出构架的作用，如图10A到图12B中所示的以下详细阐述描述如图9中所示的情况。
在对应于图10A到图10B的第一实例中，假设存在如表4中所示的校正初步检测结果。
ID x y w h MOD CLS
0 546 354 101 103 摄像机 3
1 549 364 165 104 光达 3
2 120 373 68 44 摄像机 3
表4
在表4中作为连续表格，x值和y值表示在笛卡尔系统中的对应2D限界框的左上角坐标。w和h分别表示在像素单元(即笛卡尔)中的对应2D限界框的宽度和高度。MOD表示传感器模态，即对应BB是由哪所述传感器模态产生(例如来自摄像机或来自光达)。CLS表示对应限界框的类别索引。在本示范性实施例以及后续示范性实施例中，基于摄像机的目标检测算法或基于光达的目标检测算法可能将检测到的目标划分为四个或大于四个类别，其中“0”代表行人目标，“1”代表踏板车目标，“2”代表汽车目标以及“3”代表卡车目标。
如图10A中所示，在重叠-杂乱分析之后，已知BB ID＝0和ID＝1发送到邓普斯特-谢弗模块，且BB ID＝2发送到参数过滤器模块。因此，因为BB ID＝2已发送到参数过滤器；伪BB ID＝2′用BB ID＝2的类似规格和约束条件创建，然而具有互补模态(complementingmodality；MOD)。根据图像，可见图10A的环境条件包含高勒克斯和中等局部强度、良好天气，且存在一些曝光不足以及曝光过度。因此，为每一BB计算基于环境的约束条件，如表5所示。
ID I W/L O U D
0 0.989 1/1 0.327 0.310 0.321
1 0.837 1/1 0.751 0.000 0.327
2 0.325 1/1 0.000 0.000 0.421
2′ 0.325 1/1 0.000 0.000 0.421
表5
随后归一化且处理这些约束条件以找出每一BB的最终置信度值，如下表6中所示。
ID C<sub>1</sub> C<sub>2</sub> C<sub>3</sub> C<sub>4</sub> C<sub>5</sub> C<sub>CLs</sub> C
0 0.993 1.000 0.988 0.984 0.911 0.900 0.962
1 0.012 1.000 0.986 0.996 0.800 0.900 0.782
2 0.238 1.000 0.893 0.838 0.375 0.500 0.334
2′ 0.761 1.000 1.000 0.914 0.800 0.500 0.447
表6
根据上述数据，保留BB ID＝0，而去除BB ID＝1。因为最终置信度确实有利于伪BB，所以不保留发送到参数过滤器的BB ID＝2。结果见于图10B中。
在第二实例中，假设存在如下表7中所示的以下初步检测结果：
ID x y w h Mod CLS
0 351 396 110 81 摄像机 2
1 354 396 113 89 光达 3
2 541 396 74 98 光达 3
表7
如图11A中所示，在重叠-杂乱分析之后，已知BB ID＝0和ID＝1发送到邓普斯特-谢弗模块，且BB ID＝2发送到参数过滤器模块。因此，因为BB ID＝2已发送到参数过滤器；伪BB ID＝2′用限界框ID＝2的类似规格和约束条件创建，然而具有互补模态(MOD)。根据图像，可见图11A的环境条件将包含高勒克斯和中等局部强度、良好天气，且存在一些曝光不足以及曝光过度。因此，为每一BB计算基于环境的约束条件，如下表8中所示。
ID I W/L O U D
0 0.090 l/l 0.000 0.302 0.332
1 0.090 l/l 0.000 0.000 0.351
2 0.090 1/1 0.000 0.000 0.411
2′ 0.090 1/1 0.000 0.829 0.411
表8
随后归一化且处理这些约束条件以找出每一BB的最终置信度值，如下表9中所示。
ID C<sub>1</sub> C<sub>2</sub> C<sub>3</sub> C<sub>4</sub> C<sub>5</sub> C<sub>CLS</sub> C
0 0.006 1.000 0.946 0.976 0.561 0.900 0.731
1 0.993 1.000 1.000 0.991 0.800 0.900 0.947
2 0.993 1.000 0.800 0.935 0.800 0.800 0.756
2′ 0.006 1.000 0.982 0.854 0.876 0.200 0.148
表9
根据上述数据，保留BB ID＝1，同时去除BB ID＝0。因为最终置信度并不有利于伪BB，所以保留发送到参数过滤器的BB ID＝2。结果可见于图11B中。
在第三实例中，假设存在如下文表10中所示的以下校正初步检测结果。
ID x y w h MOD CLS
0 692 339 25 26 光达 2
表10
如图12A中所见，在重叠-杂乱分析之后，已知BB ID＝0发送到参数过滤器模块。因此，因为BB ID＝0已发送到参数过滤器；伪BB ID＝0′用BB ID＝0的类似规格和约束条件创建，然而具有互补模态(MOD)。根据图像，可见图12A的环境条件将包含高勒克斯和中等局部强度、良好天气，且存在一些曝光过度。因此，为每一BB计算基于环境的约束条件，如下表11中所示。
ID I W/L O U D
0 0.372 1/1 0.000 0.000 0.627
0′ 0.372 1/1 0.000 0.000 0.627
表11
随后归一化且处理这些约束条件以找出每一限界框的最终置信度值，如下表12中所示。
ID C<sub>1</sub> C<sub>2</sub> C<sub>3</sub> C<sub>4</sub> C<sub>5</sub> C<sub>CLS</sub> C
0 0.365 1.000 1.000 0.750 0.890 0.700 0.560
0′ 0.634 1.000 1.000 0.074 0.800 0.300 0.210
表12
根据上述数据，因为最终置信度并不有利于伪BB，所以保留发送到参数过滤器的BB ID＝0。结果可见于图12B中。
鉴于前述描述，本公开提供适合于用于自主车辆的目标检测系统。具体地说，本公开的目的可包含：通过使用所提供的决策融合来提高每一传感器的分类器的检测率；通过考虑每一传感器的特性和行为来设计所提供的决策融合；以及提供包含限界框位置(以像素为单位且以米为单位)、目标类别以及检测置信度的最终检测结果。通过这种方式，可提高目标检测的精确度。
本申请所公开的实施例的详细描述中使用的元件、动作或指令不应解释为对本公开来说绝对关键或必要的，除非明确地如此描述。而且，如本文中所使用，不定冠词“一(a/an)”可以包含一个以上项目。如果意图表示只有一个项目，那么能够使用术语“单个”或类似语言。此外，如本文中所使用，在多个项目和/或多个项目种类的列表之前的术语“中的任一个”意图包含所述项目和/或项目种类个别地或结合其它项目和/或其它项目种类“中的任一个”、“中的任何组合”、“中的任何多个”和/或“中的多个的任何组合”。此外，如本文中所使用，术语“集合”意图包含任何数目个项目，包含零个。此外，如本文中所使用，术语“数目”意图包含任何数目，包含零。
本领域技术人员将显而易见，在不脱离本公开的范围或精神的情况下，可对所公开的实施例的结构做出各种修改和变化。鉴于前述内容，意图本公开涵盖属于随附权利要求书和其等效物的范围内的本公开的修改及变化。

Claims (20)

1.一种目标检测系统，其特征在于，包括：
第一类型传感器，用于产生第一传感器数据；
第二类型传感器，用于产生第二传感器数据；以及
处理器，耦合到所述第一类型传感器以及所述第二类型传感器，且至少配置成用于：
通过使用多个第一目标检测算法来处理所述第一传感器数据，以产生对应于所述第一类型传感器的第一初步检测结果；
通过使用多个第二目标检测算法来处理所述第二传感器数据，以产生对应于所述第二类型传感器的第二初步检测结果；
应用参数检测算法以产生多个置信度值，所述参数检测算法包括用于所述第一初步检测结果以及所述第二初步检测结果中的每一个的多个环境参数，其中每一所述置信度值对应于所述多个环境参数中的不同环境参数；以及
基于所述第一类型传感器的特性、所述第二类型传感器的特性、所述第一初步检测结果与所述第二初步检测结果之间的关系以及所述多个置信度值来确定所检测到的目标。
2.根据权利要求1所述的目标检测系统，其中所述处理器进一步配置成用于：
使所述第一初步检测结果以及所述第二初步检测结果融合以产生融合的初步检测结果；
使两个限界框配对；以及
通过确定两个限界框是否重叠高于预定重叠阈值以及分离高于预定距离阈值来根据所述融合的初步检测结果执行重叠以及杂乱分析。
3.根据权利要求2所述的目标检测系统，其中所述处理器进一步配置成用于：
在超出所述预定重叠阈值以及所述预定距离阈值两个时使用邓普斯特-谢弗模块。
4.根据权利要求2所述的目标检测系统，其中所述处理器进一步配置成用于：
在未超出所述预定重叠阈值以及所述预定距离阈值中的一个时使用参数过滤器模块。
5.根据权利要求3所述的目标检测系统，其中所述处理器进一步配置成用于：
至少基于所述多个置信度值来保留确定为所述成对限界框中更可靠的第一限界框以及舍弃所述成对限界框中的另一限界框。
6.根据权利要求4所述的目标检测系统，其中所述处理器进一步配置成用于：
确定伪限界框；以及
至少基于所述多个置信度值确定是否保留或移除来自所述融合的初步检测结果的每一限界框。
7.根据权利要求1所述的目标检测系统，其中所述多个环境参数包括以下中的至少一个：天气条件、局部强度测量、曝光过度检测、曝光不足检测、目标的相对距离、所述目标的角度位置以及所述目标的分类器置信度。
8.根据权利要求7所述的目标检测系统，其中将所述多个环境参数归一化以符合所述第一类型传感器以及所述第二类型传感器的范围。
9.根据权利要求2所述的目标检测系统，其中至少基于所述成对限界框之间的空间距离、所述限界框的深度信息以及类别值来将所述成对限界框确定为独立的或从属的。
10.根据权利要求2所述的目标检测系统，其中所述第一类型传感器包括无线电检测与测距传感器，且所述第二类型传感器包括摄像机。
11.一种自主车辆，其特征在于，包括：
目标检测系统，包括：
第一类型传感器，用于产生第一传感器数据；
第二类型传感器，用于产生第二传感器数据；以及
处理器，耦合到所述第一类型传感器以及所述第二类型传感器，且至少配置成用于：
通过使用多个第一目标检测算法来处理所述第一传感器数据，以产生对应于所述第一类型传感器的第一初步检测结果；
通过使用多个第二目标检测算法来处理所述第二传感器数据，以产生对应于所述第二类型传感器的第二初步检测结果；
应用参数检测算法以产生多个置信度值，所述参数检测算法包括用于所述第一初步检测结果以及所述第二初步检测结果中的每一个的多个环境参数，其中每一所述置信度值对应于所述多个环境参数中的不同环境参数；以及
基于所述第一类型传感器的特性、所述第二类型传感器的特性、所述第一初步检测结果与所述第二初步检测结果之间的关系以及所述多个置信度值来确定所检测到的目标。
12.一种由自主车辆使用的目标检测方法，其特征在于，所述方法包括：
通过使用第一类型传感器来产生第一传感器数据；
通过使用第二类型传感器来产生第二传感器数据；
通过使用多个第一目标检测算法来处理所述第一传感器数据，以产生对应于所述第一类型传感器的第一初步检测结果；
通过使用多个第二目标检测算法来处理所述第二传感器数据，以产生对应于所述第二类型传感器的第二初步检测结果；
应用参数检测算法以产生多个置信度值，所述参数检测算法包括用于所述第一初步检测结果以及所述第二初步检测结果中的每一个的多个环境参数，其中每一所述置信度值对应于所述多个环境参数中的不同环境参数；以及
基于所述第一类型传感器的特性、所述第二类型传感器的特性、所述第一初步检测结果与所述第二初步检测结果之间的关系以及所述多个置信度值来确定所检测到的目标。
13.根据权利要求12所述的目标检测方法，进一步包括：
使所述第一初步检测结果以及所述第二初步检测结果融合以产生融合的初步检测结果；
使两个限界框配对；以及
通过确定两个限界框是否重叠高于预定重叠阈值以及分离高于预定距离阈值来根据所述融合的初步检测结果执行重叠以及杂乱分析。
14.根据权利要求13所述的目标检测方法，进一步包括：
在超出所述预定重叠阈值以及所述预定距离阈值两个时使用邓普斯特-谢弗模块。
15.根据权利要求13所述的目标检测方法，进一步包括：
在未超出所述预定重叠阈值以及所述预定距离阈值中的一个时使用参数过滤器模块。
16.根据权利要求14所述的目标检测方法，进一步包括：
至少基于所述多个置信度值来保留确定为所述成对限界框中更可靠的第一限界框以及舍弃所述成对限界框中的另一限界框。
17.根据权利要求15所述的目标检测方法，进一步包括：
确定伪限界框；以及
至少基于所述多个置信度值确定是否保留或移除来自所述融合的初步检测结果的每一限界框。
18.根据权利要求12所述的目标检测方法，其中所述多个环境参数包括以下中的至少一个：天气条件、局部强度测量、曝光过度检测、曝光不足检测、目标的相对距离、所述目标的角度位置以及所述目标的分类器置信度。
19.根据权利要求18所述的目标检测方法，其中
将所述多个环境参数归一化以符合所述第一类型传感器以及所述第二类型传感器的范围。
20.根据权利要求13所述的目标检测方法，其中至少基于所述成对限界框之间的空间距离、所述限界框的深度信息以及类别值来将所述成对限界框确定为独立的或从属的。
CN201811099764.5A 2018-05-18 2018-09-20 目标检测系统、自主车辆以及其目标检测方法 Active CN110501709B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201862673131P 2018-05-18 2018-05-18
US62/673,131 2018-05-18
US16/009,207 US10852420B2 (en) 2018-05-18 2018-06-15 Object detection system, autonomous vehicle using the same, and object detection method thereof
US16/009,207 2018-06-15
TW107127429A TWI685798B (zh) 2018-05-18 2018-08-07 目標檢測系統、自動駕駛車輛以及其目標檢測方法
TW107127429 2018-08-07

Publications (2)

Publication Number Publication Date
CN110501709A true CN110501709A (zh) 2019-11-26
CN110501709B CN110501709B (zh) 2023-03-07

Family

ID=68584929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811099764.5A Active CN110501709B (zh) 2018-05-18 2018-09-20 目标检测系统、自主车辆以及其目标检测方法

Country Status (1)

Country Link
CN (1) CN110501709B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898427A (zh) * 2020-06-22 2020-11-06 西北工业大学 一种基于特征融合深度神经网络的多光谱行人检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099907A (ja) * 2000-09-22 2002-04-05 Mazda Motor Corp 物体認識装置
JP2012048643A (ja) * 2010-08-30 2012-03-08 Denso Corp 物体検出装置
CN107544491A (zh) * 2016-06-24 2018-01-05 三菱电机株式会社 物体识别装置、物体识别方法以及自动驾驶系统
CN107607953A (zh) * 2017-06-01 2018-01-19 王玲 一种侧向车辆防碰撞系统及其方法
CN107784151A (zh) * 2016-08-26 2018-03-09 福特全球技术公司 雷达和超声传感器的物理建模
CN107862287A (zh) * 2017-11-08 2018-03-30 吉林大学 一种前方小区域物体识别及车辆预警方法
CN207274661U (zh) * 2017-10-18 2018-04-27 长沙冰眼电子科技有限公司 无人车环境感知系统
US20180126984A1 (en) * 2016-11-08 2018-05-10 Ford Global Technologies, Llc Object tracking using sensor fusion within a probabilistic framework

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099907A (ja) * 2000-09-22 2002-04-05 Mazda Motor Corp 物体認識装置
JP2012048643A (ja) * 2010-08-30 2012-03-08 Denso Corp 物体検出装置
CN107544491A (zh) * 2016-06-24 2018-01-05 三菱电机株式会社 物体识别装置、物体识别方法以及自动驾驶系统
CN107784151A (zh) * 2016-08-26 2018-03-09 福特全球技术公司 雷达和超声传感器的物理建模
US20180126984A1 (en) * 2016-11-08 2018-05-10 Ford Global Technologies, Llc Object tracking using sensor fusion within a probabilistic framework
CN107607953A (zh) * 2017-06-01 2018-01-19 王玲 一种侧向车辆防碰撞系统及其方法
CN207274661U (zh) * 2017-10-18 2018-04-27 长沙冰眼电子科技有限公司 无人车环境感知系统
CN107862287A (zh) * 2017-11-08 2018-03-30 吉林大学 一种前方小区域物体识别及车辆预警方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ALIREZA ASVADI等: "Multimodal vehicle detection: fusing 3D-LIDAR and color camera data", 《PATTERN RECOGNITION LETTERS》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898427A (zh) * 2020-06-22 2020-11-06 西北工业大学 一种基于特征融合深度神经网络的多光谱行人检测方法

Also Published As

Publication number Publication date
CN110501709B (zh) 2023-03-07

Similar Documents

Publication Publication Date Title
TWI685798B (zh) 目標檢測系統、自動駕駛車輛以及其目標檢測方法
CN104240264B (zh) 一种运动物体的高度检测方法和装置
CN107993258B (zh) 一种图像配准方法及装置
CN111429533B (zh) 一种相机镜头畸变参数估计装置及方法
Wu et al. Passive measurement method of tree diameter at breast height using a smartphone
CA2884383A1 (en) Methods, devices and systems for detecting objects in a video
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
Liu et al. A multispectral 3-D vision system for invertebrate detection on crops
CN110400315A (zh) 一种缺陷检测方法、装置及系统
CN103295221B (zh) 模拟复眼视觉机制和偏振成像的水面目标运动检测方法
CN106952274A (zh) 基于立体视觉的行人检测与测距方法
CN102494663A (zh) 摆动喷管的摆动角度的测量系统及摆动角度的测量方法
CN114399882A (zh) 一种用于消防机器人的火源探测识别并预警方法
CN106919895A (zh) 用于运动目标的跟踪方法和系统
CN116071424A (zh) 基于单目视觉的果实空间坐标定位方法
Xiang et al. Measuring stem diameter of sorghum plants in the field using a high-throughput stereo vision system
CN110135479A (zh) 基于随机森林测度学习的高光谱图像目标探测方法及系统
CN110501709A (zh) 目标检测系统、自主车辆以及其目标检测方法
JP2019165658A (ja) 植物生育指標測定装置、方法およびプログラム
CN113670268B (zh) 基于双目视觉的无人机和电力杆塔距离测量方法
Bandyopadhyay et al. On the fusion of lidar and aerial color imagery to detect urban vegetation and buildings
Sun et al. A vision system based on TOF 3D imaging technology applied to robotic citrus harvesting
CN107038706A (zh) 基于自适应网格的红外图像置信度评估装置及方法
Short 3-D Point Cloud Generation from Rigid and Flexible Stereo Vision Systems
CN116883945B (zh) 一种融合目标边缘检测和尺度不变特征变换的人员识别定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant