CN110929475B - 对象的雷达简档的注释 - Google Patents

对象的雷达简档的注释 Download PDF

Info

Publication number
CN110929475B
CN110929475B CN201910802098.5A CN201910802098A CN110929475B CN 110929475 B CN110929475 B CN 110929475B CN 201910802098 A CN201910802098 A CN 201910802098A CN 110929475 B CN110929475 B CN 110929475B
Authority
CN
China
Prior art keywords
radar
profile
determining
controller circuit
annotating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910802098.5A
Other languages
English (en)
Other versions
CN110929475A (zh
Inventor
M·H·劳尔
I·维加严
D·巴拉钱德拉
N·曼高尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Delphi Technologies Inc
Original Assignee
Delphi Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delphi Technologies Inc filed Critical Delphi Technologies Inc
Publication of CN110929475A publication Critical patent/CN110929475A/zh
Application granted granted Critical
Publication of CN110929475B publication Critical patent/CN110929475B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

雷达数据收集系统(10)包括雷达(16)、相机(14)和控制器电路(30)。雷达(16)以及相机(14)是旨在安装在主车辆(12)上的。雷达(16)被配置成用于指示由雷达(16)检测到的对象(18)的雷达简档(22)。相机(14)被配置成用于呈现对象(18)的图像(24)。控制器电路(30)与雷达(16)以及相机(14)通信。控制器(30)被配置成用于依据图像(24)确定对象(18)的身份(26)，并且依据身份(26)注释雷达简档(22)。

Description

对象的雷达简档的注释
技术领域
本公开总体上涉及雷达数据收集系统，并且更具体地涉及依据来自相机的图像确定对象的身份并且依据身份注释来自雷达的雷达简档的系统。
附图说明
现在将通过示例的方式并参照附图来描述本发明，在附图中：
图1是根据一个实施例的雷达数据收集系统的示图；
图2A和图2B是根据一个实施例的由图1的系统确定的雷达简档的示例；以及
图3是根据一个实施例的操作图1的系统的方法。
具体实施方式
现在将详细参照实施例，在附图中示出这些实施例的示例。在以下详细描述中，阐述了众多具体细节以便提供对各个所描述的实施例的透彻理解。然而，对本领域的普通技术人员将显而易见的是，无需这些具体细节就可实践所描述的各种实施例。在其它实例中，并未对公知方法、程序、组件、电路以及网络进行详细描述以免不必要地模糊各实施例的各方面。
“一个或多个(one or more)”包括：由一个要素执行的功能、由不止一个要素例如以分布式方式执行的功能、由一个要素执行的若干功能、由若干要素执行的若干功能、或上述的任何组合。
还将理解的是，虽然在一些实例中，术语第一、第二等在本文中用于描述各种要素，但这些要素不应受这些术语的限制。这些术语仅用于将一个要素与另一个区别开来。例如，第一接触件可被称为第二接触件，并且类似地，第二接触件可被称为第一接触件，而没有背离各个所描述的实施例的范围。第一接触件和第二接触件两者都是接触件，但它们并非相同的接触件。
在对本文中各个所描述的实施例的描述中所使用的术语仅出于描述实施例的目的，而非旨在构成限制。如在对各个所描述的实施例和所附权利要求的描述中所使用的，单数形式“一(a)”、“一(an)”和“所述(the)”旨在也包括复数形式，除非上下文另外明确指出。还将理解的是，本文所使用的术语“和/或”是指并且包含相关联的所列项目中的一个或更多个的所有可能的组合。将进一步理解的是，术语“包括(includes)”、“包括(including)”、“包含(comprises)”和/或“包含(comprising)”当在本申请文件中使用时指明所陈述的特征、整数、步骤、操作、要素和/或组件的存在，但并不排除一个或多个其它特征、整数、步骤、操作、要素、组件和/或其群组的存在或添加。
如本文中所使用的，取决于上下文，术语“如果(if)”可选地被解释为表示“当…时或“在…时”或“响应于确定”或“响应于检测到”。类似地，取决于上下文，短语“如果被确定”或“如果检测到(所陈述的状况或事件)”被可选地解释为表示“在确定…后”或“响应于确定”或“在检测到(所陈述的状况或事件)后”或“响应于检测到(所陈述的状况或事件)”。
图1示出了雷达数据收集系统10(下文称为系统10)的非限制性示例。如下文将更加详细描述的，系统10在创建雷达简档的库时是有用的，该雷达简档是注释了各种信息(诸如但不限于：由雷达检测到的对象(例如，另一车辆或停止标志)的身份(identity))的雷达返回(return)。自动车辆对象检测领域的技术人员将认识到，基于来自相机的图像相比基于来自雷达的雷达返回更容易确定对象的身份。如果主车辆12上的相机14损坏或以其他方式无法操作而雷达16被依赖以用于确定对象的身份，那么雷达简档的库在主车辆12的持续的操作中将是有用的。所设想的是，本文中的教导也适用于注释来自激光雷达的云点(cloud-point)，由此使得激光雷达图的库能够被生成并且后续被用于在相机将要失效的情况下进行主车辆12的更加有效的控制，而无论雷达16存在于或不存在于系统10中。
主车辆12可被表征为自动车辆，并且可被一些人称作按需自动移动(AMOD)类型的车辆。如本文中所使用，术语“自动车辆”可应用于正以自动模式(即，完全自主模式)操作主车辆12的情况，其中主车辆12的操作人员(未示出)可以仅指定目的地以便操作主车辆12。然而，完全自动化不是必需的。所设想的是，当以手动模式操作主车辆12时，本文中所呈现的教导是有用的，其中在手动模式下，自动化程度或等级可以仅仅是向总体上控制着主车辆12的转向、加速器和制动器的人类操作者提供可听或可视的警告。例如，系统10可以仅仅在需要时帮助人类操作者以变道和/或避免与例如诸如其他车辆20之类的对象18的干扰和/或碰撞。
如上文所建议的，系统10包括相机14以及通常被配置或设计成用于安装在主车辆12上的雷达16。为了适合安装在主车辆12上，相机14和雷达16被设计成用于在经受诸如雨、雪、尘土、化学污染、极端温度等由车辆所经历的环境条件时可靠地操作。自动感测技术领域的技术人员将会立即认识到使得相机14和雷达16适合在主车辆12上使用的期望的特征是什么。
雷达16被配置成用于指示由雷达16检测到的对象18的实例的雷达简档22(即，输出指示雷达简档22的信号或输出促进雷达简档22的信号)。如本文所使用的，雷达简档22可包括但不限于：雷达返回的副本(即，由雷达16输出的信号的副本)、从雷达16到对象18上的各个点的距离和/或方向的映射(由雷达16输出的经后处理的信号)、和/或对象18上的一个或多个点的范围速率的映射，即，对象18或对象18的点相对于(例如，向着或远离)雷达16的移动有多快。距离和范围速率信息可以被存储作为时域或频域数据，如雷达信号处理领域的技术人员将认识到的。雷达16可以是指示到雷达返回的实例的距离和方向(即，方位角)的二维(2D)类型的雷达，或可以是也指示仰角的三维(3D)类型的雷达。
如下文将更加详细解释的，雷达简档22可包括可能不易于从由雷达16输出的信号中直接可获取的信息。例如，来自相机14的图像24可轻易地使用已知的处理进行分析以用于确定对象18的身份26(例如，小型汽车、垃圾箱、大型卡车、列车、停止标志、让路标志、铁轨交叉标志)。雷达信号处理领域的技术人员将认识到各种相似大小的对象可能是难以区分的，即，仅使用来自雷达16的雷达返回以确定身份26。然而，本发明人发现一旦该信息(例如，身份26)是已知的并且通过雷达简档22的注释的方式与雷达简档22的实例相关联，则雷达简档22的每一个实例可以在某个未来的日期被引用以用于例如仅使用来自雷达16的雷达返回以确定对象的身份26。
相机14可以是被配置成用于呈现对象18的图像24的单视或立体或立体类型的相机。图像24可以是对象18的单快照或可以是由多个快照组成的视频。相机14可以对可见光和/或红外光敏感。相机14可以与雷达16位于同一位置，作为图1中所提出的对象检测器，或者相机14可以与雷达16隔开。例如，相机可以被安装在主车辆12的车顶上，并且雷达16可以被安装在主车辆的前面，例如，靠近主车辆的前灯或保险杠。对象检测器可以是用于主车辆12的自主操作的感知传感器的全部或部分。
系统10包括经由第一输入28A与雷达16通信并且经由第二输入28B与相机14通信的控制器电路30。如本领域的技术人员将认识到的，通信可以但不限于通过有线、光纤或无线通信。控制器电路30(以下有时称为控制器30)可以包括处理器32的一个或多个实例，诸如，微处理器或者诸如包括如对本领域的技术人员显而易见的用于处理数据的专用集成电路(ASIC)的模拟和/或数字控制电路系统之类的其他控制电路系统的一个或多个实例。尽管本文描述的系统10通常参照具有控制器30的单个实例来被描述，但是应当认识到，控制器30的功能可以在控制器的若干实例之间共享或分布，所述控制器的若干实例各自被配置用于某个特定任务。在下文中，对被配置用于某些事情的控制器30的任何引用也将被解释为建议所述处理器32也可以被配置用于相同的事情。还认识到在控制器30的任何实例中可以存在处理器的多个实例。控制器30可以包括存储器34，即非瞬态计算机可读存储介质，包括非易失性存储器，诸如用于存储一个或多个例程、阈值和捕获到的数据的电可擦除可编程只读存储器(EEPROM)。存储器34可以是处理器32的一部分，或者是控制器30的一部分，或者与控制器30分开，诸如存储在云中的远程存储器。一个或多个例程可以由控制器30或处理器32执行以用于执行用于基于由控制器30接收的来自相机14和雷达16的信号确定雷达简档22的步骤。控制器30被配置(例如，被编程)成用于依据图像24确定对象18的身份26(例如，汽车、卡车、停止标志)，并且依据身份26注释(即，记录、表征或标记)雷达简档22。
图2A和图2B示出了雷达简档22A和雷达简档22B的非限制性示例。在该示例中，雷达简档是由雷达16检测到的雷达返回36A和雷达返回36B的“鸟瞰”或俯视透视映射换位(transposition)，并且包括分别与雷达返回36A和雷达返回36B相关联的图像24A和24B，其在本示例中的每一个可以被表征为反射强度图40。雷达简档也包括指示到其他车辆的每一个实例的距离的注释38，其可被用于使用已知的几何算法确定每一个雷达简档中的其他车辆的大小。图像可使用已知的图像比较技术被分析以用于确定所示出的其他车辆中的每一个的品牌/型号。一旦雷达简档被注释，雷达简档可被存储(以供未来参考)在位于主车辆12上的存储器34中和/或被存储在经注释的雷达简档的远程数据库中，其可以是可由其他车辆访问的分享的数据库。相应地，系统10可包括被用于上传/下载经注释的雷达简档并且随后访问该经注释的雷达简档的库的收发器(例如，Wi-Fi、蜂窝网络等)。
继续参考图1、图2A和图2B，控制器电路30可被配置成用于依据或基于雷达简档22确定对象18的取向角42。例如，如果雷达简档包括如图2B中所提出的距离图，并且对象18的第一角或第一边44A比第二角或第二边44B更远，则这是对象18不与主车辆12成正常取向的指示。已知的几何技术可被用于确定取向角42。进一步所设想的是，距对象18的标称距离、雷达角(第一边44A和第二边44B之间的角度)以及取向角42可被用于确定对象长度，例如，对象18的长度(或宽度)。通过为雷达简档22注释取向角42，雷达返回的未来实例可被更加可靠地与存储在数据库中的经注释的雷达简档相比较。
替代地或额外地，控制器电路30可被配置成用于依据图像24确定对象18的取向角42。例如，另一车辆的取向角42可通过将图像中的车辆的前轮胎和后轮胎的底部边缘在图像24中的高度相比较来从图像24中确定。如上文所述，取向角42可被用于进一步注释雷达简档22。
如上文所指出并且在图2A和图2B中示出的，控制器电路30可被配置成用于依据雷达简档确定反射强度图40。反射强度图40指示位于雷达16的视场中的各种位置的经反射的雷达信号的信号强度。图2A和图2B示出二维反射强度图，并且可设想三维反射强度图，尽管本领域的技术人员将意识到它们较为难以在此示出。车辆的反射强度图表明对象具有一定的深度，因为雷达信号可穿过车辆和/或从车辆的下方(由地面反射)通过并且由非直接可见的表面反射。相比之下，假设不存在靠近停止标志的后方的一些其他的对象，则停止标志的反射强度图不会示出任何深度。
现在应当理解，先前存储的雷达简档22的实例的反射强度图40可与最近接收的雷达返回的反射强度图相比较，并且如果两个反射强度图很好地对应，则与先前存储的雷达简档22的实例相关联的身份26可被推测为最近接收的雷达返回的身份26。与先前存储的雷达简档22的实例相对应的最近接收的雷达返回可使用反射强度图的统计比较和/或其他已知的雷达目标比较算法来确定。反射强度图40可根据时域或频域来存储，这可以取决于所使用的雷达的类型。
控制器电路30可被配置成用于依据雷达简档确定到对象18的距离46和/或方向48和/或高度50，并且依据该距离46和/或方向48和/或高度50来注释雷达简档22。这些相对简单的注释(取向角42、距离46和/或方向48和/或高度50的值)可被用作搜索标记或标签以用于促进在数据库中搜索对应的雷达简档。其他相对简单的特性或值(诸如但不限于：对象深度、对象长度、对象高度、移动相较于静止)可被用于进一步注释雷达简档22并且进一步促进搜索例如对应的反射强度图。
系统10也可包括安装在主车辆12上的传感器52。传感器52被配置成用于指示姿态角54，姿态角54可以是下述(但不限于)中的任意一个或其组合：俯仰角、横摇角、偏航角。传感器52也可指示例如主车辆12的全球定位、速度、朝向、加速度或减速度。控制器电路30经由第三输入54与传感器52通信。通信可以通过下述方式，但不限于：有线、光纤或无线通信，如本领域的技术人员将认识到的。如果姿态角54不是水平，则从相机14、雷达16和/或激光雷达处收集的数据可能需要被补偿以使得所有雷达简档的参考系是一致的。相应地，控制器电路30被配置成用于依据姿态角54注释雷达简档22。
控制器电路30(或处理器32)也可被配置成用于响应于判断最近接收的雷达返回或雷达图与雷达简档22相对应，来依据雷达简档22操作主车辆12。即，如上文所提出并且通过示例的方式，当相机不可用时，系统10或控制器30或处理器32将近期的雷达返回与先前存储的雷达简档相比较以用于确定对象18的身份，并且鉴于对对象18的身份的了解，相应地操作主车辆12。主车辆12的操作可包括车辆控制(包括操作主车辆12的转向、制动器以及加速器)的自主(即，无人驾驶)操作。
图3示出了操作雷达收集系统10的方法100的非限制性示例。如下文将更加详细解释的，方法100帮助克服如果相机14已被阻碍(例如，被泥、冰或虫覆盖)、损坏或以其它方式无法运作则如何继续操作主车辆12的问题。
步骤105“接收雷达简档”可包括由雷达16接收雷达返回并且生成由雷达16检测到的对象18的雷达简档22。
步骤110“接收图像”可包括接收由相机14呈现的对象18的图像24。如果由于相机14和雷达16被隔开导致相机14和雷达16具有相似视场的不同的视角，则接收图像也可包括将已知的换位算法应用至图像24以用于校正视角的差异。
步骤115“确定身份”可包括通过图像24的图像处理的方式确定对象18的身份，其可以包括将图像24与存储在数据库中的经标识的图像的库相比较。该图像与经标识的图像的库的比较可以通过但不限于已知的神经网络算法的方式。
步骤120“确定取向角”是可选步骤，可包括依据雷达简档22确定对象18的取向角42或依据图像24确定对象的取向角。如本文所使用的，取向角42是对象相对于相机14和/或雷达16的孔位置(bore-site)的角度的指示，其中为零(0°)的取向角42与对象的与相机14和/或雷达16的孔位置正交(即，垂直)的主平面相对应。
步骤125“确定反射强度图”是可选步骤，该步骤可包括依据(即，基于)从即时雷达返回确定的雷达简档22确定反射强度图40。
步骤130“接收姿态角”是可选步骤，该步骤可包括接收来自传感器52(诸如加速度计或重力方向检测器)的主车辆12的姿态角54。
步骤135“确定距离/方向/高度”是可选步骤，该步骤可包括依据雷达简档22确定到对象18的距离46和/或方向48和/或高度50。
步骤140“注释雷达简档”可包括利用下述(但不限于)中的任意一个或其组合对雷达简档进行注释：身份、取向角、反射强度图、姿态角、距离、方向以及高度。如本文所使用的，为雷达简档注释意味着记录具有经处理和/或未经处理的雷达返回的信息。一旦注释，即时雷达简档22可被作为经注释的雷达简档的库的部分存储在数据库中，其可在之后的时间/日期根据需要被访问/引用。注释38可被用作搜索参数以用于对加速存储在数据库中的经注释的雷达简档的搜索。搜索的加速是能够搜索/比较相对简单的值而不是仅能够进行雷达数据的直接比较的结果。
步骤145“相机可操作？”可包括发送图像请求至相机14并且验证图像已被提供并且可选地验证图像是否与先前的图像发生了变化。即，验证相机14未在输出图像或即便主车辆12已经移动到足以改变图像但相机14仍在输出相同的图像。如果相机14被视为不可操作(否)，则方法100前进至步骤150。如果相机正在工作(是)，则图像24可被用于在步骤155中标识对象18以用于操作主车辆12。
步骤150“由雷达简档标识对象”可包括忽略来自相机14的图像24并且确定能够从雷达信号中确定的任何信息，并且随后访问数据库以搜索经注释的雷达简档并且基于雷达简档22而不是图像24确定对象的身份26。
步骤155“操作主车辆”可包括控制器30(或处理器32)操作车辆控制以用于控制主车辆12的移动，例如，运送主车辆12的乘客至目的地。即，响应于判断雷达图(即，从雷达16处接收的即时雷达返回)与雷达简档22相对应(该雷达简档22可以先前被存储于数据库中)，依据雷达简档22操作主车辆12。
本文描述的是第一设备30，该第一设备30包括：一个或多个处理器32；存储器34；以及存储在存储器34中的一个或多个程序105-155。一个或多个程序105-155包括用于执行方法100中的全部或部分的指令。此外，本文中所描述的是非瞬态计算机可读存储介质34，该非瞬态计算机可读存储介质34包括用于由第一设备30的一个或多个处理器32执行的一个或多个程序105-155，该一个或多个程序105-155包括指令，当由一个或多个处理器32执行该指令时，致使该第一设备执行方法100中的全部或部分。
因此，提供了一种雷达数据收集系统(系统10)、用于系统10的控制器30和用于操作系统10的方法100。雷达简档22通过注释来自雷达16或相机14的数据/信号产生，并且雷达简档22随后被存储以供日后如果/当相机14无法工作时使用。通过注释雷达简档，雷达简档的库的搜索被加快了，因为注释可被用作搜索参数而无需执行所记录的雷达返回的耗时的一对一比较。即，注释可被用于对组成库的雷达简档进行分类或编目，由此使得能够加速搜索。
尽管已经根据本发明的优选实施例描述了本发明，然而并不旨在受限于此，而是仅受所附权利要求书中所阐述的范围限制。

Claims (26)

1.一种雷达数据收集系统(10)，所述系统(10)包括：
用于安装在主车辆(12)上的雷达(16)，所述雷达(16)被配置成用于提供表示对主车辆附近的对象(18)的检测的雷达数据；
用于安装在主车辆(12)上的相机(14)，所述相机(14)被配置成用于提供表示所述对象(18)的所捕获的图像(24)的图像数据；
与所述雷达(16)和所述相机(14)通信的控制器电路(30)，所述控制器电路(30)被配置成用于：
接收所述雷达数据；
接收所述图像数据；
基于所述图像数据来确定所述对象(18)的身份(26)；
基于所述雷达数据和所述图像数据来确定雷达简档(22)；并且
依据所述身份(26)注释所述雷达简档(22)。
2.根据权利要求1所述的系统(10)，其特征在于，所述控制器电路(30)被配置成用于依据所述雷达简档(22)确定所述对象(18)的取向角(42)；并且依据所述取向角(42)注释所述雷达简档(22)。
3.根据权利要求1所述的系统(10)，其特征在于，所述控制器电路(30)被配置成用于依据所述图像(24)确定所述对象(18)的取向角(42)；并且依据所述取向角(42)注释所述雷达简档(22)。
4.根据权利要求1-3中任一项所述的系统(10)，其特征在于，所述控制器电路(30)被配置成用于依据所述雷达简档(22)确定反射强度图(40)；并且依据所述反射强度图(40)注释所述雷达简档(22)。
5.根据权利要求1-3中任一项所述的系统(10)，其特征在于，所述系统(10)包括安装在所述主车辆(12)上的传感器(52)，所述控制器电路(30)与所述传感器(52)通信，所述传感器(52)被配置成用于指示所述主车辆(12)的姿态角(54)；并且所述控制器电路(30)被配置成用于依据所述姿态角(54)注释所述雷达简档(22)。
6.根据权利要求1-3中任一项所述的系统(10)，其特征在于，所述控制器电路(30)被配置成用于依据所述雷达简档(22)确定到所述对象(18)的距离(46)和方向(48)；并且依据所述距离(46)和所述方向(48)注释所述雷达简档(22)。
7.根据权利要求1-3中任一项所述的系统(10)，其特征在于，所述控制器电路(30)被配置成用于依据所述雷达简档(22)确定到所述对象(18)的高度(50)；并且依据所述高度(50)注释所述雷达简档(22)。
8.根据权利要求1-3中任一项所述的系统(10)，其特征在于，所述控制器电路(30)被配置成用于响应于判断雷达(16)图与所述雷达简档(22)相对应，依据所述雷达简档(22)操作所述主车辆(12)。
9.一种用于雷达(16)数据收集的控制器电路(30)，所述控制器电路(30)被配置成用于：
接收表示对主车辆附近的对象(18)的检测的雷达数据；
接收表示所述对象(18)的所捕获的图像(24)的图像数据；
基于所述图像数据来确定所述对象(18)的身份(26)；
基于所述雷达数据和所述图像数据来确定雷达简档(22)；并且
依据所述身份(26)注释所述雷达简档(22)。
10.根据权利要求9所述的控制器电路(30)，其特征在于，所述控制器电路(30)被配置成用于依据所述雷达简档(22)确定所述对象(18)的取向角(42)；并且依据所述取向角(42)注释所述雷达简档(22)。
11.根据权利要求9所述的控制器电路(30)，其特征在于，控制器电路(30)被配置成用于依据所述图像(24)确定所述对象(18)的取向角(42)；并且依据所述取向角(42)注释所述雷达简档(22)。
12.根据权利要求9-11中任一项所述的控制器电路(30)，其特征在于，所述控制器电路(30)被配置成用于依据所述雷达简档(22)确定反射强度图(40)；并且依据所述反射强度图(40)注释所述雷达简档(22)。
13.根据权利要求9-11中任一项所述的控制器电路(30)，其特征在于，所述控制器电路(30)包括被配置成用于与安装在主车辆(12)上的传感器(52)通信的第三输入(54)，所述传感器(52)被配置成用于指示所述主车辆(12)的姿态角(54)；并且所述控制器电路(30)被配置成用于依据所述姿态角(54)注释所述雷达简档(22)。
14.根据权利要求9-11中任一项所述的控制器电路(30)，其特征在于，所述控制器电路(30)被配置成用于依据所述雷达简档(22)确定到所述对象(18)的距离(46)和方向(48)；并且依据所述距离(46)和所述方向(48)注释所述雷达简档(22)。
15.根据权利要求9-11中任一项所述的控制器电路(30)，其特征在于，所述控制器电路(30)被配置成用于依据所述雷达简档(22)确定到所述对象(18)的高度(50)；并且依据所述高度(50)注释所述雷达简档(22)。
16.根据权利要求9-11中任一项所述的控制器电路(30)，其特征在于，所述控制器电路(30)被配置成用于响应于判断雷达(16)图与所述雷达简档(22)相对应，依据所述雷达简档(22)操作主车辆(12)。
17.一种操作雷达数据收集系统(10)的方法(100)，所述方法(100)包括：
接收表示对主车辆附近的的对象(18)的检测的雷达数据；
接收表示所述对象(18)的所捕获的图像(24)的图像数据；
基于所述图像数据来确定所述对象(18)的身份(26)；
基于所述雷达数据和所述图像数据来确定雷达简档(22)；以及
依据所述身份(26)注释所述雷达简档(22)。
18.根据权利要求17所述的方法(100)，其特征在于，所述方法(100)包括：
依据所述雷达简档(22)确定所述对象(18)的取向角(42)；以及
依据所述取向角(42)注释所述雷达简档(22)。
19.根据权利要求17所述的方法(100)，其特征在于，所述方法(100)包括：
依据所述图像(24)确定所述对象(18)的取向角(42)；以及
依据所述取向角(42)注释所述雷达简档(22)。
20.根据权利要求17-19中任一项所述的方法(100)，其特征在于，所述方法(100)包括：
依据所述雷达简档(22)确定反射强度图(40)；以及
依据所述反射强度图(40)注释所述雷达简档(22)。
21.根据权利要求17-19中任一项所述的方法(100)，其特征在于，所述方法(100)包括：
接收来自传感器(52)的主车辆(12)的姿态角(54)；
依据所述姿态角(54)注释所述雷达简档(22)。
22.根据权利要求17-19中任一项所述的方法(100)，其特征在于，所述方法(100)包括：
依据所述雷达简档(22)确定到所述对象(18)的距离(46)和方向(48)；并且
依据所述距离(46)和所述方向(48)注释所述雷达简档(22)。
23.根据权利要求17-19中任一项所述的方法(100)，其特征在于，所述方法(100)包括：
依据所述雷达简档(22)确定到所述对象(18)的高度(50)；以及
依据所述高度(50)注释所述雷达简档(22)。
24.根据权利要求17-19中任一项所述的方法(100)，其特征在于，所述方法(100)包括：
响应于判断雷达(16)图与所述雷达简档(22)相对应，依据所述雷达简档(22)操作主车辆(12)。
25.一种第一设备(30)，包括：
一个或多个处理器(32)；
存储器(34)；以及
一个或多个程序(105)，所述一个或多个程序(105)被存储在存储器(34)中，所述一个或多个程序(105)包括用于执行如权利要求17-24中任一项所述的方法(100)的指令。
26.一种非瞬态计算机可读存储介质(34)，包括用于由第一设备(30)的一个或多个处理器(32)执行的一个或多个程序(105)，所述一个或多个程序(105)包括指令，当所述指令由所述一个或多个处理器(32)执行时，致使所述第一设备(30)执行如权利要求17-24中任一项所述的方法(100)。
CN201910802098.5A 2018-08-29 2019-08-28 对象的雷达简档的注释 Active CN110929475B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862724080P 2018-08-29 2018-08-29
US62/724,080 2018-08-29
US16/117,709 US11009590B2 (en) 2018-08-29 2018-08-30 Annotation of radar-profiles of objects
US16/117,709 2018-08-30

Publications (2)

Publication Number Publication Date
CN110929475A CN110929475A (zh) 2020-03-27
CN110929475B true CN110929475B (zh) 2024-04-26

Family

ID=67658830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910802098.5A Active CN110929475B (zh) 2018-08-29 2019-08-28 对象的雷达简档的注释

Country Status (3)

Country Link
US (2) US11009590B2 (zh)
EP (2) EP3620818B1 (zh)
CN (1) CN110929475B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11009590B2 (en) 2018-08-29 2021-05-18 Aptiv Technologies Limited Annotation of radar-profiles of objects
US11037440B2 (en) * 2018-12-19 2021-06-15 Sony Group Corporation Vehicle identification for smart patrolling
DE102020127315B4 (de) 2020-10-16 2022-06-15 Friedrich-Alexander-Universität Erlangen-Nürnberg, Körperschaft des öffentlichen Rechts System und Verfahren zum Annotieren von Automobilradardaten

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4347618A (en) * 1980-06-30 1982-08-31 Stephen P. Kavouras Apparatus for processing weather radar information
WO2003001472A1 (en) * 2001-06-23 2003-01-03 Lucas Industries Limited An object location system for a road vehicle
DE102012014022A1 (de) * 2012-07-14 2014-01-16 Thomas Waschulzik Verfahren und Einrichtung zur objekt- und szenenbezogenen Speicherung von Bild-, Sensor- und/oder Tonsequenzen
US9097800B1 (en) * 2012-10-11 2015-08-04 Google Inc. Solid object detection system using laser and radar sensor fusion
CN105867397A (zh) * 2016-04-13 2016-08-17 中国计量学院 一种基于图像处理和模糊控制的无人机精确位置降落方法
JP2016153775A (ja) * 2015-02-16 2016-08-25 パナソニックＩｐマネジメント株式会社 物体検出装置および物体検出方法
CN107531151A (zh) * 2015-06-04 2018-01-02 德尔福技术有限公司 基于操作者意识状态的自动化车辆控制规则选择
CN107839682A (zh) * 2016-09-19 2018-03-27 德尔福技术有限公司 自动车辆安全停车地带的地图绘制系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7596242B2 (en) * 1995-06-07 2009-09-29 Automotive Technologies International, Inc. Image processing for vehicular applications
WO2007106806A2 (en) * 2006-03-13 2007-09-20 Nielsen Media Research, Inc. Methods and apparatus for using radar to monitor audiences in media environments
US8811692B2 (en) * 2007-04-17 2014-08-19 Francine J. Prokoski System and method for using three dimensional infrared imaging for libraries of standardized medical imagery
US8493196B2 (en) * 2010-11-15 2013-07-23 Bendix Commercial Vehicle Systems Llc ACB following distance alert and warning adjustment as a function of forward vehicle size and host vehicle mass
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US9412273B2 (en) * 2012-03-14 2016-08-09 Autoconnect Holdings Llc Radar sensing and emergency response vehicle detection
US9488492B2 (en) * 2014-03-18 2016-11-08 Sri International Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
DE102013113054B4 (de) 2012-12-03 2022-01-27 Denso Corporation Zielerfassungsvorrichtung zum Vermeiden einer Kollision zwischen einem Fahrzeug und einem durch einen an dem Fahrzeug montierten Sensor erfassten Ziel
US9244159B1 (en) * 2013-01-31 2016-01-26 The Boeing Company Distinguishing between maritime targets and clutter in range-doppler maps
US9978013B2 (en) * 2014-07-16 2018-05-22 Deep Learning Analytics, LLC Systems and methods for recognizing objects in radar imagery
US9594155B2 (en) * 2014-08-08 2017-03-14 Delphi Technologies, Inc. Vehicle radar system with trailer detection
US11169988B2 (en) * 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US10061023B2 (en) * 2015-02-16 2018-08-28 Panasonic Intellectual Property Management Co., Ltd. Object detection apparatus and method
US9612123B1 (en) * 2015-11-04 2017-04-04 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes
JP6462630B2 (ja) * 2016-05-24 2019-01-30 株式会社デンソー 物標検出装置
US10481255B2 (en) * 2016-08-09 2019-11-19 Aptiv Technologies Limited Trailer dimension estimation with two dimensional radar and camera
KR20180086794A (ko) * 2017-01-23 2018-08-01 삼성전자주식회사 차량 주변의 객체를 나타내는 영상을 생성하는 방법 및 장치.
US10000153B1 (en) * 2017-08-31 2018-06-19 Honda Motor Co., Ltd. System for object indication on a vehicle display and method thereof
US20190071014A1 (en) * 2017-09-01 2019-03-07 Honda Motor Co., Ltd System for object indication on a vehicle display and method thereof
US10726567B2 (en) * 2018-05-03 2020-07-28 Zoox, Inc. Associating LIDAR data and image data
US11009590B2 (en) 2018-08-29 2021-05-18 Aptiv Technologies Limited Annotation of radar-profiles of objects

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4347618A (en) * 1980-06-30 1982-08-31 Stephen P. Kavouras Apparatus for processing weather radar information
WO2003001472A1 (en) * 2001-06-23 2003-01-03 Lucas Industries Limited An object location system for a road vehicle
DE102012014022A1 (de) * 2012-07-14 2014-01-16 Thomas Waschulzik Verfahren und Einrichtung zur objekt- und szenenbezogenen Speicherung von Bild-, Sensor- und/oder Tonsequenzen
US9097800B1 (en) * 2012-10-11 2015-08-04 Google Inc. Solid object detection system using laser and radar sensor fusion
JP2016153775A (ja) * 2015-02-16 2016-08-25 パナソニックＩｐマネジメント株式会社 物体検出装置および物体検出方法
CN107531151A (zh) * 2015-06-04 2018-01-02 德尔福技术有限公司 基于操作者意识状态的自动化车辆控制规则选择
CN105867397A (zh) * 2016-04-13 2016-08-17 中国计量学院 一种基于图像处理和模糊控制的无人机精确位置降落方法
CN107839682A (zh) * 2016-09-19 2018-03-27 德尔福技术有限公司 自动车辆安全停车地带的地图绘制系统

Also Published As

Publication number Publication date
EP4089441A1 (en) 2022-11-16
CN110929475A (zh) 2020-03-27
EP3620818A1 (en) 2020-03-11
EP3620818B1 (en) 2022-10-05
US11009590B2 (en) 2021-05-18
US20210231774A1 (en) 2021-07-29
US11726176B2 (en) 2023-08-15
US20200072943A1 (en) 2020-03-05

Similar Documents

Publication Publication Date Title
US11003921B2 (en) Apparatus and method for distinguishing false target in vehicle and vehicle including the same
US20220163964A1 (en) Operation-Security System for an Automated Vehicle
US10705184B2 (en) Sensor calibration system
US11726176B2 (en) Annotation of radar-profiles of objects
WO2018047006A1 (en) Low-level sensor fusion
CN111932901B (zh) 道路车辆跟踪检测设备、方法及存储介质
US10325163B2 (en) Vehicle vision
US10955857B2 (en) Stationary camera localization
US20180154901A1 (en) Method and system for localizing a vehicle
GB2558777A (en) Vehicle collision avoidance
KR102166512B1 (ko) 주변 환경에서 자동차를 정밀 위치 추적하기 위한 방법, 디바이스, 맵 관리 장치 및 시스템
JP2008123462A (ja) 物体検知装置
CN107957258B (zh) 道路标记识别装置
WO2015098344A1 (ja) 鉱山用作業機械
JP2018048949A (ja) 物体識別装置
EP3501932A1 (en) Automated vehicle system and method for changing from automated-mode to manual-mode near a construction-zone
US20220253065A1 (en) Information processing apparatus, information processing method, and information processing program
CN109285381A (zh) 用于探测停车场内的空闲区域的方法和系统
US20200098126A1 (en) Object detection apparatus
CN115366885A (zh) 用于辅助机动车的驾驶操作的方法、辅助装置及机动车
CN110893845A (zh) 用于对角车道检测的方法与装置
US11790555B2 (en) System and method for fusion recognition using active stick filter
JP6332045B2 (ja) 障害物識別装置、及び障害物識別システム
JP7401273B2 (ja) 移動体の制御装置及び方法
US20230401680A1 (en) Systems and methods for lidar atmospheric filtering background

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant