CN103823208A - 用于物体感测融合系统的健康状态估计的方法和装置 - Google Patents

用于物体感测融合系统的健康状态估计的方法和装置 Download PDF

Info

Publication number
CN103823208A
CN103823208A CN201310568495.3A CN201310568495A CN103823208A CN 103823208 A CN103823208 A CN 103823208A CN 201310568495 A CN201310568495 A CN 201310568495A CN 103823208 A CN103823208 A CN 103823208A
Authority
CN
China
Prior art keywords
coupling
target data
mark
health status
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310568495.3A
Other languages
English (en)
Other versions
CN103823208B (zh
Inventor
S.曾
Y.张
B.B.利特库希
M.A.萨尔曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN103823208A publication Critical patent/CN103823208A/zh
Application granted granted Critical
Publication of CN103823208B publication Critical patent/CN103823208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4039—Means for monitoring or calibrating of parts of a radar system of sensor or antenna obstruction, e.g. dirt- or ice-coating

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及用于物体感测融合系统的健康状态估计的方法和装置。用于估计物体感测融合系统的健康状态的方法和系统。由物体感测融合系统所使用的来自视觉系统和雷达系统的目标数据也被存储在上下文队列中。上下文队列保持覆盖滑动时间窗口的一序列许多帧的视觉和雷达目标数据。来自上下文队列的目标数据被用于计算匹配分数，其指示视觉目标与雷达目标的相关的程度，反之亦然。匹配分数是在单独的视觉和雷达数据帧内和在一系列多个帧中计算的。匹配分数被用于评估物体感测融合系统的健康状态。如果融合系统的健康状态低于某一阈值，那么确认一个或多个传感器是有故障的。

Description

用于物体感测融合系统的健康状态估计的方法和装置
技术领域
本发明概括地涉及估计物体感测融合系统的健康状态，并且更具体地，涉及用于估计物体感测融合系统的健康状态的方法，其中来自具有交叠的视场的两个或多个物体传感器的目标数据被分析以确定目标相关匹配分数，在这种情况下匹配分数是在单独的数据帧内以及在一系列帧中计算的。
 相关技术的讨论
物体检测系统，也称为物体感测系统，越来越多地在现代交通工具中普及。物体检测系统能够提供关于在交通工具的路径中的物体的报警给驾驶员。物体检测系统也能提供输入给主动交通工具系统－例如自适应巡航控制，其控制交通工具速度以维持与前面的交通工具的合适的纵向间距，和防撞系统，其能控制转向和制动两者以试图避免即将发生的碰撞。
物体检测系统使用一个或多个传感器，它们可以是雷达、激光雷达、摄像机或其它技术，以检测在主交通工具的路径中或附近的物体的存在。用软件来随着时间追踪物体的相对运动，确定物体是否正在移动或静止，确定每个物体可能会是什么（另一交通工具、行人、树等），并确定每个物体是否对本交通工具造成了碰撞威胁。
物体感测融合系统也是本领域已知的，其中融合系统对来自两个或多个传感器的目标数据执行融合计算并提供作为结果的在路径中物体的更稳健的评估。不过，即使是采用物体感测融合系统，如果传感器故障，或者传感器被灰尘或碎片部分地或完全地遮挡，或者传感器被直射的太阳光或其它光眩目，那么准确性也会受到损害。可能有利的是具有对物体感测融合系统的健康状态的评估，以及如果健康状态为低时对可能的故障传感器的指示。
发明内容
根据本发明的教导，公开了用于估计物体感测融合系统的健康状态的方法和系统。由物体感测融合系统所使用的来自视觉系统和雷达系统的目标数据也被存储在上下文（context）队列中。上下文队列保持覆盖滑动时间窗口的一序列许多帧的视觉和雷达目标数据。来自上下文队列的目标数据被用于计算匹配分数，其指示视觉目标与雷达目标的相关的程度，反之亦然。匹配分数是在单独的视觉和雷达数据帧内和在一系列多个帧中计算的。匹配分数被用于评估物体感测融合系统的健康状态。如果融合系统的健康状态低于某一阈值，那么识别一个或多个传感器是有故障的。
通过结合附图理解下面的描述和所附的权利要求能够容易理解本发明的另外的特征。
本发明还提供了如下方案：
方案1. 一种用于确定物体检测融合系统的健康状态的方法，该方法包括：
       从第一物体传感器和第二物体传感器提供目标数据，其中来自所述物体传感器的目标数据由该融合系统使用来计算融合物体检测数据；
       建立包含来自所述物体传感器的目标数据的上下文队列，其中目标数据被布置在序列时间帧中，该帧被存储在上下文队列内一定时间长度，该时间长度定义了滑动时间窗口；
       使用在上下文队列内的目标数据计算匹配分数；以及
       使用微处理器基于匹配分数计算融合系统的健康状态。
方案2. 如方案1所述的方法，还包括如果融合系统的健康状态低于预定阈值，那么就识别一个或多个故障传感器。
方案3. 如方案2所述的方法，其中识别一个或多个故障传感器包括评估来自所述物体传感器的自我诊断信息并识别所述物体传感器中的其中一个的频繁目标切换。
方案4. 如方案1所述的方法，其中计算匹配分数包括计算在上下文队列内的目标数据的序列时间帧中每一个的单个帧匹配分数，和计算在滑动时间窗口中的全部时间帧的序列匹配分数。
方案5. 如方案4所述的方法，其中计算单个帧匹配分数包括将来自第一物体传感器的目标数据和来自第二物体传感器的目标数据布置在匹配对中，计数匹配对的数量，计算匹配对中每一对的中心-中心距离，并且识别来自第一物体传感器和第二物体传感器的多个未匹配的物体。
方案6. 如方案5所述的方法，其中单个帧匹配分数是根据匹配对的数量、每对匹配对的中心-中心距离、来自第一物体传感器和第二物体传感器的未匹配的物体的数量、和未匹配物体的惩罚成本来计算的。
方案7. 如方案4所述的方法，其中计算序列匹配分数包括计数通过在滑动时间窗口内的全部时间帧的匹配对的物体之间的身份切换的数量。
方案8. 如方案7所述的方法，其中序列匹配分数是根据滑动时间窗口中的全部时间帧的单个帧匹配分数、身份切换的数量、和身份切换的惩罚成本计算的。
方案9. 如方案7所述的方法，其中使用第一物体传感器作为身份切换的数量的参考来计算第一序列匹配分数，以及使用第二物体传感器作为身份切换的数量的参考来计算第二序列匹配分数。
方案10. 如方案1所述的方法，其中计算融合系统的健康状态包括使用基于匹配分数的回归函数，其中更低的匹配分数值指示更高的融合系统的健康状态。
方案11. 如方案1所述的方法，其中第一物体传感器是视觉系统，第二物体传感器是雷达系统。
方案12. 如方案11所述的方法，还包括在将来自雷达系统的目标数据提供给上下文队列之前将来自雷达系统的目标数据对齐到视觉系统的坐标系。
方案13. 一种用于确定交通工具上的物体检测融合系统的健康状态的方法，该方法包括：
       提供来自两个或多个物体传感器的目标数据，其中来自所述物体传感器的目标数据由融合系统用来计算融合物体检测数据；
       建立包含来自所述物体传感器的目标数据的上下文队列，其中目标数据被布置在序列时间帧中，该帧被存储在上下文队列内一定时间长度，该时间长度定义了滑动时间窗口；
       使用上下文队列中的目标数据计算匹配分数，包括计算上下文队列中的目标数据的序列时间帧中每一个的单个帧匹配分数和计算在滑动时间窗口中的全部时间帧的序列匹配分数，其中序列匹配分数是使用每个物体传感器轮流作为身份切换的数量的参考来计算的；
       使用基于匹配分数的回归函数使用微处理器计算融合系统的健康状态，其中更低的匹配分数值指示更高的融合系统的健康状态；以及
       如果融合系统的健康状态低于预定阈值，则识别一个或多个故障传感器。
方案14. 如方案13所述的方法，其中识别一个或多个故障传感器包括评估来自物体传感器的自我诊断信息，识别物体传感器中的其中一个的频繁目标切换，并且如果多于两个的物体传感器被使用，那么识别序列匹配分数中的多数一致性。
方案15. 一种用于确定交通工具上的物体检测融合系统的健康状态的系统，所述系统包括：
       上下文队列，其用于存储来自视觉系统的目标数据和来自雷达系统的目标数据，所述目标数据由融合系统用于计算融合物体检测数据，其中目标数据被布置在序列时间帧中，该时间帧被存储在上下文队列内一定时间长度，该时间长度定义了滑动时间窗口；
       匹配分数计算模块，用于计算匹配分数，该匹配分数指示来自视觉系统的目标数据与来自雷达系统的目标数据的相关程度；以及
       健康状态估计模块，其包括构造成基于匹配分数计算融合系统的健康状态的处理器，其中更低的匹配分数值指示更高的融合系统的健康状态。
方案16. 如方案15所述的系统，还包括故障识别模块，其用于在融合系统的健康状态低于预定阈值的情况下，识别是视觉系统还是雷达系统正提供故障目标数据。
方案17. 如方案15所述的系统，还包括对齐模块，其在将来自雷达系统的目标数据提供给上下文队列之前将来自雷达系统的目标数据对齐到视觉系统的坐标系。
方案18. 如方案15所述的系统，其中匹配分数计算模块计算在上下文队列内的目标数据的序列时间帧中每一个的单个帧匹配分数，和计算在滑动时间窗口中的全部时间帧的序列匹配分数。
方案19. 如方案18所述的系统，其中单个帧匹配分数是通过将来自视觉系统的目标数据和来自雷达系统的目标数据布置在匹配对中，计数匹配对的数量、计算每对匹配对的中心-中心距离、识别来自视觉系统和雷达系统的未匹配物体的数量，和根据匹配对的数量、每对匹配对的中心-中心距离、来自视觉系统和雷达系统的未匹配物体的数量、和未匹配物体的惩罚成本来计算单个帧匹配分数而计算的。
方案20. 如方案18所述的系统，其中序列匹配分数是根据滑动时间窗口中的全部时间帧的单个帧匹配分数、通过在滑动时间窗口中的全部时间帧的匹配对物体中的身份切换的数量、和身份切换的惩罚成本来计算的，并且其中序列匹配分数是使用视觉系统和雷达系统中的每一个轮流作为身份切换数量的参考来计算的。
附图说明
图1是带有视觉系统和雷达系统的交通工具的示意图，其中由视觉系统检测的全部目标都匹配由雷达系统检测的目标；
图2是图1的交通工具的示意图，其中在由视觉系统检测的目标和由雷达系统检测的目标之间存在不匹配；
图3是用于估计物体感测融合系统的健康状态，并识别任何故障的传感器的系统的框图；
图4是用于估计物体感测融合系统的健康状态，并识别任何故障的传感器的方法的流程图；
图5是在来自两个传感器的单个数据帧内的匹配分数计算的概念的说明；
图6是在来自两个传感器的一序列数据帧内的匹配分数计算的概念的说明；
图7是示出了在一序列帧上的匹配分数与融合系统健康状态的相关程度的曲线图；以及
图8是用于在融合系统健康状态被确定为低于阈值时识别一个或多个故障的物体检测传感器的方法的流程图。
具体实施方式
下面对涉及估计物体感测融合系统的健康状态的方法和装置的发明的实施例的讨论本质上仅是示例性的，并且绝不是用于限制本发明或其应用或使用。
许多现代交通工具包括物体感测系统以检测在交通工具的路径中的物体。物体感测系统能提供报警给驾驶员，或者甚至触发其它的系统以采取躲避动作来避免交通工具碰撞。一些交通工具还包括物体感测融合系统，其数字地“融合”来自两个或多个物体感测传感器的数据并此后使其物体感测逻辑基于所融合的物体数据。一个这样的融合系统被描述在美国专利7,460,951中，该专利被转让给本申请的受让人，并且其通过引用全部并入本文。
不过，即使是具有物体感测融合系统和两个或多个物体传感器，如果物体检测传感器有故障或以某种方式被遮挡，那么准确性也会受到损害。这个问题的本质被在图1和2中说明。
图1是交通工具10的示意图，该交通工具包括多个物体检测传感器。交通工具10包括物体感测融合系统12，其进而从视觉系统20和雷达系统30接收数据。物体感测融合系统12包括设备，该设备包括微处理器和内存模块，所述设备被构造成带有软件以执行物体感测融合-这是一种将来自两个物体传感器系统的目标数据组合以产生更稳健的结果的方式。除了物体感测融合之外，其它的应用程序也可与物体感测融合系统12在同一微处理器上运行。视觉系统20至少包括摄像机（未被单独地示出）和构造成检测和追踪在摄像机图像内的物体的处理器。雷达系统30至少包括雷达发射/接收单元（未被单独地示出）和构造成检测和追踪在雷达返回内的物体的处理器。视觉系统20和雷达系统30与物体感测融合系统12通信并将它们的感测目标数据提供给物体感测融合系统12，通常通过交通工具总线上的有线连接，但这种通信可以是无线的。
视觉系统20具有视觉覆盖区域22，视觉目标24、26和28存在于该区域中。视觉系统30具有雷达覆盖区域32，雷达目标34、36和38存在于该区域中。在图1的图示中，由视觉系统20检测的全部目标都与由雷达系统30检测的目标匹配。这是正常的操作状态，指示视觉系统20和雷达系统30都在正常操作。在这个图示中，物体感测融合系统12从视觉系统20和雷达系统30接收匹配良好的目标数据，并且可有效地融合该目标数据并准确地识别在交通工具10的路径内或附近的物体。
应该注意到，仅存在于视觉系统20和雷达系统30具有公共视场的区域内的目标可被用于比较。也即，在视觉覆盖区域22与雷达覆盖区域32交叠的区域内的物体，图1中的全部目标都是这样。
图2是图1的交通工具10的示意图，其中在由视觉系统20检测的目标和由雷达系统30检测的目标之间存在不匹配。在图2中，视觉目标26仍然与雷达目标36相关。但是，不存在与雷达目标34相关的视觉目标，并且视觉目标28与雷达目标38匹配得不好。这种相关性的缺少可能是由视觉系统20的部分遮挡，或者视觉系统20、雷达系统30或两者中的故障传感器引起的。在图2所示的情况下，可能有利的是，提供对物体感测融合系统12的可能减少的健康状态的评估，并且还提供关于哪个物体传感器可能正经历故障或被遮挡的指示。
图3是用于估计物体感测融合系统12的健康状态，并识别任何故障的传感器的系统50的框图。视觉系统20和雷达系统30提供它们各自的目标数据给物体感测融合系统12，如前讨论地。而且，视觉系统20提供视觉目标给上下文队列54，在那里它们被存储一定的时间长度并且被用于评估融合系统健康状态，这在下面将被讨论。雷达系统30借助对齐模块52提供雷达目标给上下文队列54。对齐模块52执行了雷达系统30的坐标系上的位置转换，以实现雷达目标与视觉目标的最优对齐。对齐模块52补偿了雷达系统坐标系和视觉系统坐标系的任何相对稳态不对齐，这可能是由传感器或内部标定因素的物理不对齐引起的。对齐模块52的实施例描述在美国专利7,991,550中，该专利被转让给本申请的受让人，并且其通过引用全部并入本文。
上下文队列54是缓冲器，其包含了滑动时间窗口的视觉目标数据和雷达目标数据。上下文队列54中的数据被组织成“帧”，或时间中的快照。数据帧被保持在上下文队列54的缓冲器内一定时间，此后在它们太旧而没有任何用途时被丢弃。上下文队列54提供帧数据-包括视觉目标和雷达目标-给匹配分数计算模块56。匹配分数计算模块56计算匹配分数，这是视觉目标与雷达目标的相关程度的指示。匹配分数包括在单独的帧内的目标匹配分数和在一序列帧上的目标匹配分数，这在下面将被详细讨论。
来自匹配分数计算模块56的匹配分数被提供给健康状态估计模块58，其基于该匹配分数确定物体感测融合系统12的健康状态的值。如果健康状态值低于预定阈值，该阈值可以是在50-70％的范围内，那么故障识别模块60就识别一个或多个故障传感器。故障识别模块60使用来自视觉系统20、雷达系统30和匹配分数计算模块56的数据来识别故障传感器，这在下面将被讨论。
健康状态值和故障传感器信息，如果有的话，可由物体感测融合系统12使用并由其它交通工具控制系统（未示出）使用来提高交通工具控制应用程序的性能，这些应用程序使用物体感测数据。
还注意到，系统50可在视觉系统20和雷达系统30之外包括更多的或不同的物体感测系统。例如，一些交通工具装备有前左和前右雷达系统（未示出），这提供了在交通工具前面侧向区域中的物体感测覆盖。但是这些其它的物体感测系统，例如前左和前右雷达系统，可具有与正前方视觉或雷达系统不同的范围和视场，它们仍然通常具有重要的交叠覆盖区域，并且因此可被用于在系统50中大大受益。
图4是用于估计物体感测融合系统12的健康状态，并识别任何故障的传感器的方法的流程图70。在框72，提供来自视觉系统20的视觉目标数据，和来自雷达系统30的雷达目标数据。在框74，雷达目标数据被对齐到视觉系统20的坐标系中，如前面在讨论对齐模块52时所描述的。在框76，建立上下文队列54，以包含多个帧或时间瞬间的来自视觉目标数据和雷达目标数据的目标。
在框78，基于在上下文队列54中的目标数据计算匹配分数。在框80，从匹配分数计算物体感测融合系统12的健康状态。如果物体感测融合系统12的健康状态被确定为低于某个阈值，那么在框82就识别一个或多个故障传感器。匹配分数和健康状态可由物体感测融合系统12中的处理器或另一车载交通工具处理器计算，或者系统50的元件52-60自身可被打包为处理模块。在任何情况下，匹配分数和健康状态计算都在交通工具12上的某个控制器或微处理器上执行。下面将具体讨论在框78处执行的匹配分数计算、在框80处执行的健康状态计算和在框82处执行的故障传感器识别。
图5是在上下文队列54的单个帧内的匹配分数计算的概念的说明，在这种情况下该帧包含来自视觉系统20和来自雷达系统30的目标数据。在上下文队列54的特定时刻帧                                                ，雷达帧100包含雷达目标102、104和106。在同一时间帧，视觉帧110包含视觉目标112、114和116。组合帧120包含时间帧的雷达目标102-106和视觉目标112-116。还在组合帧120中示出的是邻近的圆圈122、124和126，在这种情况下邻近的圆圈122-126具有半径R并且是围绕着视觉目标112-116中每一个的中心画出的。邻近的圆圈122-126被用于确定视觉目标112-116中哪一个具有匹配雷达目标。
在图5中示出的示例的组合帧120中可以看出邻近的圆圈122和124每一个都包含匹配的雷达和视觉目标，但是邻近的圆圈126包含视觉目标116但没有匹配的雷达目标。雷达目标106在组合帧120单独存在，没有匹配。这种情况可能是由于传感器故障或不对齐，并且将被反映在组合帧120的匹配分数中，下面将对此具体讨论。
匹配分数
Figure 598546DEST_PATH_IMAGE002
被定义为在特定时间帧内的匹配分数，在这种情况下是组合帧120。匹配分数被定位为更小的分数表示传感器目标或帧内物体的更好的匹配。第一，对感兴趣的帧确定三个统计。值
Figure DEST_PATH_IMAGE003
被定义为在该帧内匹配的视觉和雷达物体的对数。对于图5的组合帧120，
Figure 870445DEST_PATH_IMAGE003
＝2，如由邻近的圆圈122和124内的匹配的雷达和视觉目标所代表的。对于每个匹配的对
Figure 505957DEST_PATH_IMAGE004
，距离
Figure DEST_PATH_IMAGE005
被计算为从视觉物体的中心到匹配雷达物体的中心的距离。值
Figure 835307DEST_PATH_IMAGE006
被定义为帧内的不匹配的视觉物体的数量。对于图5的组合帧120，＝1，如由包含视觉目标116但没有匹配的雷达目标的邻近圆圈126所代表的。值
Figure 2013105684953100002DEST_PATH_IMAGE007
被定义为帧内的不匹配的雷达物体的数量。对于图5中的组合帧120，
Figure 578452DEST_PATH_IMAGE007
＝1，如由独自存在的、未匹配的雷达目标106所代表的。
匹配分数
Figure 571816DEST_PATH_IMAGE002
可被计算如下：
Figure 139194DEST_PATH_IMAGE008
其中
Figure DEST_PATH_IMAGE009
是每个缺失的雷达物体的惩罚成本，而
Figure 938523DEST_PATH_IMAGE010
是每个缺失的视觉物体的惩罚成本。
半径R和惩罚成本
Figure 272028DEST_PATH_IMAGE009
和
Figure 701872DEST_PATH_IMAGE010
可被设计为实现匹配分数
Figure 5815DEST_PATH_IMAGE002
中的期望区别，其中匹配得非常好的帧具有接近零的匹配分数，而匹配较差的帧具有更高的匹配分数，这取决于惩罚成本的值（其可等于一或更高）。可对上下文队列54的每个新时间帧
Figure 280938DEST_PATH_IMAGE001
都计算匹配分数
Figure 737458DEST_PATH_IMAGE002
。
图6是在来自上下文队列54的一序列数据帧上的匹配分数计算的概念的说明，其中每个帧包含来自视觉系统20和来自雷达系统30的目标数据。如前所提及的，上下文队列54存储某一时间量的帧，使得上下文队列54总是包含滑动时间窗口。在帧被添加到上下文队列54时为每个新帧
Figure 72625DEST_PATH_IMAGE001
计算上面描述的单个帧的匹配分数
Figure 801546DEST_PATH_IMAGE002
。使用存储在上下文队列54内的数据，此时可以计算在一序列帧上的匹配分数，如在图6中所示并如下面所讨论的。
在图6中，序列130包含了来自上下文队列54的多个帧
Figure 2013105684953100002DEST_PATH_IMAGE011
。序列130中的这些帧横跨了从左到右行进的时间窗口。已经为序列130中的每个帧都计算了单个帧的匹配分数。此时可基于序列130中的
Figure 253704DEST_PATH_IMAGE011
帧中的每一个的单个帧的匹配分数
Figure 25351DEST_PATH_IMAGE002
，并且还基于在序列130上的匹配对中的目标的切换量计算序列匹配分数
Figure 38307DEST_PATH_IMAGE012
。
序列140专注于在
Figure 920812DEST_PATH_IMAGE011
帧数据上的在邻近的圆圈122内的目标。在序列140中，
Figure 86345DEST_PATH_IMAGE011
＝7。在序列140的开始（在左手侧），邻近的圆圈122包含了视觉目标112，其被用于定义圆圈122的中心，以及雷达目标102。虽然雷达目标102的位置相对于视觉目标112稍微四处移动，但是匹配的对仍保持不变。即，在整个序列140内，雷达目标102与视觉目标112匹配。
序列150代表另一情形，其中目标切换随时间流逝发生在匹配对内。在序列150的开始，邻近的圆圈122再一次包含视觉目标112和雷达目标102。不过，在三个帧后，雷达目标102不再出现在邻近的圆圈122内；相反它由雷达目标106代替。两个帧后，雷达目标再次改变，这时是变为雷达目标108。在一序列帧上的匹配目标对中的这些改变或切换将反映在序列匹配分数
Figure 28894DEST_PATH_IMAGE012
中的更高值中，序列匹配分数
Figure 529145DEST_PATH_IMAGE012
可被定义如下：
Figure 2013105684953100002DEST_PATH_IMAGE013
其中
Figure DEST_PATH_IMAGE015
是滑动时间窗口内目标切换的次数，并且是每个目标切换的惩罚成本。在序列150中，
Figure 777460DEST_PATH_IMAGE011
＝7以及
Figure 312346DEST_PATH_IMAGE015
＝2。序列匹配分数的更小的值指示在雷达和视觉目标之间的更好的匹配，这和具有单个帧匹配分数
Figure 164076DEST_PATH_IMAGE002
的情况一样。
当每个新帧
Figure 388384DEST_PATH_IMAGE001
被添加到上下文队列54时，序列130的滑动时间窗口就被调节并且重新计算序列匹配分数。因此，匹配分数在视觉系统20和雷达系统30在交通工具10的驾驶期间追踪物体时被连续地更新。
在图5和6中，邻近的圆圈被围绕着每个视觉物体的中心画出。即，视觉系统20被用作参考，并且测量雷达目标数据的偏离。雷达系统30可相反被用作参考，并且可测量视觉目标数据的偏离。注意到，序列匹配分数
Figure 796548DEST_PATH_IMAGE012
可根据哪个传感器被用作参考而不同。还可能的是，用这两种方式计算计算序列匹配分数
Figure 209075DEST_PATH_IMAGE012
，此时使用视觉系统20作为参考的序列匹配分数被标记为
Figure 50123DEST_PATH_IMAGE017
，并且使用雷达系统30作为参考的序列匹配分数被标记为
Figure DEST_PATH_IMAGE018
。序列匹配分数在前面讨论图3时描述的匹配分数计算模块56中被计算。
图7是示出了在一序列帧上的匹配分数与融合系统健康状态的相关程度的曲线图160。水平轴162代表使用雷达系统30作为参考的序列匹配分数，而竖直轴164代表使用视觉系统20作为参考的序列匹配分数
Figure 483696DEST_PATH_IMAGE017
。对每个时间序列，两个序列匹配分数，
Figure 196568DEST_PATH_IMAGE018
和
Figure 762679DEST_PATH_IMAGE017
，都被计算，并且得到的数据点被绘制在曲线图160上。对于健康的融合系统，两个序列匹配分数都很小，并且数据点的散布也很小。线166代表了在健康融合系统数据点168和不健康融合系统数据点170之间的边界。对于数据点170，可以看到序列匹配分数中的一者或两者都很大。
可使用学习算法建立从这两个序列匹配分数到融合系统健康状态的回归函数。学习算法的示例包括支撑向量机、最近邻、神经网格、和判别分析。也可使用其它类型的学习算法。作为示例，物体感测融合系统12为健康（具有值
Figure DEST_PATH_IMAGE020
）的可能性被如下给出：
Figure 126664DEST_PATH_IMAGE021
其中，
Figure DEST_PATH_IMAGE022
、
Figure DEST_PATH_IMAGE023
和
Figure 359675DEST_PATH_IMAGE024
是从训练数据标定的。从方程3可以看到，匹配分数
Figure 746794DEST_PATH_IMAGE018
和
Figure 929644DEST_PATH_IMAGE017
的值越高，导致了健康融合系统的可能性越低。融合系统健康状态值可等于方程3中计算的完全健康系统的可能性。这种计算可在健康状态估计模块58中执行，前面讨论图3时描述过该模块。
图8是用于在融合系统健康状态被确定为低于阈值时识别一个或多个故障的物体检测传感器的方法的流程图180。流程图180的故障传感器识别是在前面讨论的故障识别模块60中执行的。在开始框182，融合系统健康状态是从健康状态估计模块58提供的。在决定菱形184，确定融合系统健康状态是否大于预定阈值，例如70％。如果健康状态高于该阈值，不要求识别故障传感器，并且该过程在终点186结束。当从健康状态估计模块58提供新的健康状态值时在开始框182再次开始该过程。
在决定菱形184如果融合系统健康状态低于该阈值，那么在框188就从每个物体检测传感器系统收集自我诊断信息。例如，视觉系统20和雷达系统30通常将具有检测某些类型的内部故障的自我诊断能力。在决定菱形190，来自每个物体检测传感器系统的自我诊断信息被评估以确定是否有任何的物体传感器正在报告低的健康状态值。如果有任何的物体传感器报告低于预定阈值的健康状态值，该阈值再一次可为70％或任何其它合适的值，那么故障传感器识别在框192完成。注意到可能有多于一个的故障传感器。相反，当一些外部因素例如遮挡或眩目饱和可能正引起不准确的传感器读数时，可能就没有正在报告低健康状态的传感器。
如果没有物体传感器报告低于阈值的健康状态值，那么在决定菱形194就确定多少物体传感器被包括在交通工具10内并正向物体感测融合系统12提供数据。如果物体传感器的数量小于三（即，二），那么在框196识别在序列中的正经历更频繁的目标切换的传感器。即，在当前的序列中，如果使用视觉系统20作为参考的目标切换的数量（
Figure DEST_PATH_IMAGE025
）为高，那么雷达系统30可能有故障。相反，如果使用雷达系统30作为参考的目标切换的数量（
Figure 882557DEST_PATH_IMAGE026
）为高，那么视觉系统20可能有故障。再一次，此时故障传感器识别是在框192完成的。
如果物体传感器的数量是三或更多，那么在框198使用已知为多数一致性（majority consistency）的另一技术来识别故障传感器。例如，如果有三个车载物体传感器，那么可计算每对传感器之间的序列匹配分数。在传感器1和2之间的序列匹配分数可以被标记为
Figure DEST_PATH_IMAGE027
；在传感器1和3之间的序列匹配分数可被标记为；并且在传感器2和3之间的序列匹配分数可被标记为
Figure 2013105684953100002DEST_PATH_IMAGE029
。那么，例如，如果
Figure 163814DEST_PATH_IMAGE027
低于某个阈值（健康的）当和
Figure 161037DEST_PATH_IMAGE029
都高于该阈值，那么这指示很可能传感器3有故障。在框198处的这种评估后，再一次在框192完成故障传感器识别。
由健康状态估计模块58计算的融合系统健康状态和来自故障识别模块60的故障传感器识别可由物体感测融合系统12或另一车载控制器使用来修改系统功能。例如，如果确定三个物体传感器中的其中一个有故障或提供不准确的数据，那么物体感测融合系统12能临时忽视来自该故障传感器的输入，直到证明该传感器提供可靠的数据时。上述的融合系统健康状态估计方法也使其它类型的系统行为修改逻辑可行。
前面的讨论仅公开和描述了本发明的示例性实施例。本领域技术人员将从这种描述和附图以及权利要求中认识到，可对其进行各种改变、改进和变型，而不脱离在下面的权利要求中定义的本发明的精神和范围。

Claims (10)

1.一种用于确定物体检测融合系统的健康状态的方法，该方法包括：
       从第一物体传感器和第二物体传感器提供目标数据，其中来自所述物体传感器的目标数据由该融合系统使用来计算融合物体检测数据；
       建立包含来自所述物体传感器的目标数据的上下文队列，其中目标数据被布置在序列时间帧中，该帧被存储在上下文队列内一定时间长度，该时间长度定义了滑动时间窗口；
       使用在上下文队列内的目标数据计算匹配分数；以及
       使用微处理器基于匹配分数计算融合系统的健康状态。
2.如权利要求1所述的方法，还包括如果融合系统的健康状态低于预定阈值，那么就识别一个或多个故障传感器。
3.如权利要求2所述的方法，其中识别一个或多个故障传感器包括评估来自所述物体传感器的自我诊断信息并识别所述物体传感器中的其中一个的频繁目标切换。
4.如权利要求1所述的方法，其中计算匹配分数包括计算在上下文队列内的目标数据的序列时间帧中每一个的单个帧匹配分数，和计算在滑动时间窗口中的全部时间帧的序列匹配分数。
5.如权利要求4所述的方法，其中计算单个帧匹配分数包括将来自第一物体传感器的目标数据和来自第二物体传感器的目标数据布置在匹配对中，计数匹配对的数量，计算匹配对中每一对的中心-中心距离，并且识别来自第一物体传感器和第二物体传感器的多个未匹配的物体。
6.如权利要求5所述的方法，其中单个帧匹配分数是根据匹配对的数量、每对匹配对的中心-中心距离、来自第一物体传感器和第二物体传感器的未匹配的物体的数量、和未匹配物体的惩罚成本来计算的。
7.如权利要求4所述的方法，其中计算序列匹配分数包括计数通过在滑动时间窗口内的全部时间帧的匹配对的物体之间的身份切换的数量。
8.如权利要求7所述的方法，其中序列匹配分数是根据滑动时间窗口中的全部时间帧的单个帧匹配分数、身份切换的数量、和身份切换的惩罚成本计算的。
9.一种用于确定交通工具上的物体检测融合系统的健康状态的方法，该方法包括：
       提供来自两个或多个物体传感器的目标数据，其中来自所述物体传感器的目标数据由融合系统用来计算融合物体检测数据；
       建立包含来自所述物体传感器的目标数据的上下文队列，其中目标数据被布置在序列时间帧中，该帧被存储在上下文队列内一定时间长度，该时间长度定义了滑动时间窗口；
       使用上下文队列中的目标数据计算匹配分数，包括计算上下文队列中的目标数据的序列时间帧中每一个的单个帧匹配分数和计算在滑动时间窗口中的全部时间帧的序列匹配分数，其中序列匹配分数是使用每个物体传感器轮流作为身份切换的数量的参考来计算的；
       使用基于匹配分数的回归函数使用微处理器计算融合系统的健康状态，其中更低的匹配分数值指示更高的融合系统的健康状态；以及
       如果融合系统的健康状态低于预定阈值，则识别一个或多个故障传感器。
10.一种用于确定交通工具上的物体检测融合系统的健康状态的系统，所述系统包括：
       上下文队列，其用于存储来自视觉系统的目标数据和来自雷达系统的目标数据，所述目标数据由融合系统用于计算融合物体检测数据，其中目标数据被布置在序列时间帧中，该时间帧被存储在上下文队列内一定时间长度，该时间长度定义了滑动时间窗口；
       匹配分数计算模块，用于计算匹配分数，该匹配分数指示来自视觉系统的目标数据与来自雷达系统的目标数据的相关程度；以及
       健康状态估计模块，其包括构造成基于匹配分数计算融合系统的健康状态的处理器，其中更低的匹配分数值指示更高的融合系统的健康状态。
CN201310568495.3A 2012-11-16 2013-11-15 用于物体感测融合系统的健康状态估计的方法和装置 Active CN103823208B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/679,849 US9152526B2 (en) 2012-11-16 2012-11-16 Method and apparatus for state of health estimation of object sensing fusion system
US13/679849 2012-11-16
US13/679,849 2012-11-16

Publications (2)

Publication Number Publication Date
CN103823208A true CN103823208A (zh) 2014-05-28
CN103823208B CN103823208B (zh) 2016-08-17

Family

ID=50728714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310568495.3A Active CN103823208B (zh) 2012-11-16 2013-11-15 用于物体感测融合系统的健康状态估计的方法和装置

Country Status (2)

Country Link
US (1) US9152526B2 (zh)
CN (1) CN103823208B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107819799A (zh) * 2016-09-13 2018-03-20 北京百度网讯科技有限公司 用于无人驾驶车辆的数据获取方法和装置
CN109581345A (zh) * 2018-11-28 2019-04-05 深圳大学 基于毫米波雷达的目标检测与跟踪方法及系统
CN109937389A (zh) * 2016-08-05 2019-06-25 安波福技术有限公司 用于自动车辆的操作安全系统
CN110031821A (zh) * 2019-03-25 2019-07-19 北京环视光技术有限公司 一种车载避障激光雷达波形提取方法、激光雷达及介质
CN111164456A (zh) * 2017-11-06 2020-05-15 维宁尔美国公司 提示的汽车传感器融合
CN113167888A (zh) * 2018-11-30 2021-07-23 高通股份有限公司 相机帧和雷达帧的早期融合

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2926218A4 (en) * 2012-12-03 2016-08-03 Navisens Inc SYSTEMS AND METHOD FOR ESTIMATING THE MOVEMENT OF AN OBJECT
US9562771B2 (en) * 2013-12-18 2017-02-07 Sharper Shape Ltd Analysis of sensor data
US10871566B2 (en) * 2014-04-09 2020-12-22 Thomas Danaher Harvey Methods and system to assist search and interception of lost objects
US9995824B2 (en) * 2014-04-09 2018-06-12 Thomas Danaher Harvey Methods and system to assist search for lost and submerged objects
JP6424467B2 (ja) * 2014-05-27 2018-11-21 株式会社デンソー 物標検出装置
US9286679B2 (en) 2014-07-22 2016-03-15 GM Global Technology Operations LLC Misalignment correction and state of health estimation for lane management fusion function
US10436904B2 (en) * 2015-04-15 2019-10-08 The Boeing Company Systems and methods for modular LADAR scanning
JP6886237B2 (ja) * 2015-10-27 2021-06-16 シャープ株式会社 移動体
JP6600271B2 (ja) * 2016-03-31 2019-10-30 株式会社デンソー 物体認識装置及び物体認識方法
US9873425B2 (en) * 2016-04-13 2018-01-23 GM Global Technology Operations LLC Detection and reconstruction of roll rate sensor fault
EP3364210B1 (en) * 2017-02-20 2020-10-28 Continental Automotive GmbH Method and device for detecting blockage of a radar system, and vehicle
WO2019017935A1 (en) * 2017-07-19 2019-01-24 Intel Corporation COMPENSATION OF SENSOR DEFICIENCY IN A NETWORK OF HETEROGENEOUS SENSORS
US10656245B2 (en) * 2017-09-05 2020-05-19 Valeo Radar Systems, Inc. Automotive radar sensor blockage detection using adaptive overlapping visibility
WO2019097731A1 (ja) * 2017-11-20 2019-05-23 三菱電機株式会社 障害物認識装置および障害物認識方法
CN108872960A (zh) * 2018-05-09 2018-11-23 南京航空航天大学 用于hrrp目标识别的滑动分帧方法
JP6970065B2 (ja) * 2018-09-06 2021-11-24 株式会社Soken 物体検出装置
EP3861370A1 (en) * 2018-10-01 2021-08-11 KPIT Technologies Limited Perception sensors based fusion system for vehicle control and method thereof
CN109633621A (zh) * 2018-12-26 2019-04-16 杭州奥腾电子股份有限公司 一种车载环境感知系统数据处理方法
JP6789341B2 (ja) * 2019-04-01 2020-11-25 本田技研工業株式会社 物標認識システム、物標認識方法、およびプログラム
US11204417B2 (en) * 2019-05-08 2021-12-21 GM Global Technology Operations LLC Selective attention mechanism for improved perception sensor performance in vehicular applications
CN110275443A (zh) * 2019-05-09 2019-09-24 深圳慧安康科技有限公司 主动的智能控制方法、系统及智能装置
US11436876B2 (en) * 2019-11-01 2022-09-06 GM Global Technology Operations LLC Systems and methods for diagnosing perception systems of vehicles based on temporal continuity of sensor data
US11308363B2 (en) 2020-03-26 2022-04-19 Intel Corporation Device and method for training an object detection model
US11709260B2 (en) * 2021-04-30 2023-07-25 Zoox, Inc. Data driven resolution function derivation
US20230046396A1 (en) * 2021-08-13 2023-02-16 Aptiv Technologies Limited Occlusion Constraints for Resolving Tracks from Multiple Types of Sensors

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080300787A1 (en) * 2006-02-03 2008-12-04 Gm Global Technology Operations, Inc. Method and apparatus for on-vehicle calibration and orientation of object-tracking systems
CN101327796A (zh) * 2007-06-05 2008-12-24 通用汽车环球科技运作公司 用于避免后路口交通碰撞的方法和设备
US20090138141A1 (en) * 2007-11-26 2009-05-28 Honeywell International, Inc. Vehicle health monitoring system architecture for diagnostics and prognostics disclosure

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4255799A (en) * 1960-12-07 1981-03-10 The United States Of America As Represented By The Secretary Of The Navy Underwater-target direction-finding apparatus
US6513022B1 (en) * 2000-04-07 2003-01-28 The United States Of America As Represented By The Secretary Of The Air Force Dynamic programming network
JP5229726B2 (ja) * 2008-08-20 2013-07-03 国立大学法人東京工業大学 遠距離視標探査カメラシステム
US8812226B2 (en) * 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
US8704887B2 (en) * 2010-12-02 2014-04-22 GM Global Technology Operations LLC Multi-object appearance-enhanced fusion of camera and range sensor data
US9128185B2 (en) * 2012-03-15 2015-09-08 GM Global Technology Operations LLC Methods and apparatus of fusing radar/camera object data and LiDAR scan points

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080300787A1 (en) * 2006-02-03 2008-12-04 Gm Global Technology Operations, Inc. Method and apparatus for on-vehicle calibration and orientation of object-tracking systems
CN101327796A (zh) * 2007-06-05 2008-12-24 通用汽车环球科技运作公司 用于避免后路口交通碰撞的方法和设备
US20090138141A1 (en) * 2007-11-26 2009-05-28 Honeywell International, Inc. Vehicle health monitoring system architecture for diagnostics and prognostics disclosure

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109937389A (zh) * 2016-08-05 2019-06-25 安波福技术有限公司 用于自动车辆的操作安全系统
US11194328B2 (en) 2016-08-05 2021-12-07 Motional Ad Llc Operation-security system for an automated vehicle
CN107819799A (zh) * 2016-09-13 2018-03-20 北京百度网讯科技有限公司 用于无人驾驶车辆的数据获取方法和装置
CN107819799B (zh) * 2016-09-13 2019-02-01 北京百度网讯科技有限公司 用于无人驾驶车辆的数据获取方法和装置
CN111164456A (zh) * 2017-11-06 2020-05-15 维宁尔美国公司 提示的汽车传感器融合
CN111164456B (zh) * 2017-11-06 2023-08-01 安致尔软件有限责任公司 提示的汽车传感器融合
CN109581345A (zh) * 2018-11-28 2019-04-05 深圳大学 基于毫米波雷达的目标检测与跟踪方法及系统
CN113167888A (zh) * 2018-11-30 2021-07-23 高通股份有限公司 相机帧和雷达帧的早期融合
CN110031821A (zh) * 2019-03-25 2019-07-19 北京环视光技术有限公司 一种车载避障激光雷达波形提取方法、激光雷达及介质

Also Published As

Publication number Publication date
US20140142800A1 (en) 2014-05-22
CN103823208B (zh) 2016-08-17
US9152526B2 (en) 2015-10-06

Similar Documents

Publication Publication Date Title
CN103823208A (zh) 用于物体感测融合系统的健康状态估计的方法和装置
US10960868B2 (en) Systems and methods for braking a vehicle based on a detected object
US11353553B2 (en) Multisensor data fusion method and apparatus to obtain static and dynamic environment features
EP1640937B1 (en) Collision time estimation apparatus and method for vehicles
CN111932901B (zh) 道路车辆跟踪检测设备、方法及存储介质
CN104115186A (zh) 立体物检测装置
US20080100473A1 (en) Spatial-temporal Image Analysis in Vehicle Detection Systems
US20180173232A1 (en) System and method for sensing the driving environment of a motor vehicle
CN109766867B (zh) 车辆运行状态确定方法、装置、计算机设备和存储介质
EP3070493A1 (en) Vehicle radar system with image reflection detection
US11151395B2 (en) Roadside object detection device, roadside object detection method, and roadside object detection system
US20200307590A1 (en) Highway exit detection and line mirroring for vehicle trajectory determination
US20230415729A1 (en) Vehicular control system
US11748593B2 (en) Sensor fusion target prediction device and method for vehicles and vehicle including the device
WO2019073024A1 (en) WAY DETECTION METHOD
CN115993597A (zh) 一种视觉雷达感知融合方法及终端设备
KR102198809B1 (ko) 객체 추적 시스템 및 방법
CN105022987B (zh) 用于车道感测传感器的偏差纠正和诊断功能的方法
CN116348937A (zh) 物体识别装置
CN113569666B (zh) 车辆连续违法变道的检测方法及计算机设备
CN112990117B (zh) 基于智能驾驶系统的安装数据处理方法及装置
US11852497B2 (en) Method for detecting false positives of an image-processing device of a camera
CN113895462A (zh) 预测车辆换道的方法、装置、计算设备及存储介质
JP2020119526A (ja) 動力車両のドライバーアシストシステムまたは運転システムのアシスト機能または自動運転機能のための主要対象物選定
EP3438933A1 (en) Environment recognition device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant