CN106560728B - 用于目标速度估算的雷达视觉融合 - Google Patents

用于目标速度估算的雷达视觉融合 Download PDF

Info

Publication number
CN106560728B
CN106560728B CN201610844596.2A CN201610844596A CN106560728B CN 106560728 B CN106560728 B CN 106560728B CN 201610844596 A CN201610844596 A CN 201610844596A CN 106560728 B CN106560728 B CN 106560728B
Authority
CN
China
Prior art keywords
target
vector
light stream
motion vector
radial velocity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610844596.2A
Other languages
English (en)
Other versions
CN106560728A (zh
Inventor
D·李维
S·曾
I·比莱克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN106560728A publication Critical patent/CN106560728A/zh
Application granted granted Critical
Publication of CN106560728B publication Critical patent/CN106560728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

描述了一种确定目标速度的方法和用以确定目标速度的移动平台上的融合系统。该方法包括使用雷达系统获得目标相对于移动平台的位置和径向速度，基于目标相对于移动平台的运动使用视觉系统来获得光流矢量，以及基于光流矢量估算目标的主运动矢量。该方法还包括处理位置、径向速度和主运动矢量以及确定二维中的目标速度。

Description

用于目标速度估算的雷达视觉融合
技术领域
本发明主题涉及用于目标速度估算的雷达视觉融合。
背景技术
使用传感器的信息和数据采集日益可用于各种各样的平台，包括个人便携式装置、车辆和计算装置。许多平台利用多种类型的传感器。在各种种类的车辆的情况下，例如，除了其它传感器(红外线、雷达、视觉(相机))之外的全球定位系统(GPS)的使用正在增加。通常，由每种类型的传感器采集的信息用于不同目的。因此，希望提供一种用于目标速度估算的雷达和相机系统的融合。
发明内容
在本发明的一个示例性实施例中，确定来自移动平台的目标速度的方法包括使用雷达系统获得目标相对于移动平台的位置和径向速度；基于目标相对于移动平台的运动使用视觉系统来获得光流矢量；基于光流矢量估算目标的主运动矢量；以及使用处理器处理位置、径向速度和主运动矢量，以及确定二维中的目标速度。
在本发明的另一个示例性实施例中，用以确定目标速度的移动平台上的融合系统包括雷达系统，其配置成获得目标相对于移动平台的位置和径向速度；视觉系统，其配置成基于目标相对于移动平台的运动来获得光流矢量，以及基于该光流矢量估算主运动矢量；以及处理器，其配置成基于位置、径向速度和主运动矢量确定目标的速度。
本发明的上述特征和优点以及其它特征和优点从结合附图的下列详细描述中显而易见。
附图说明
其它特征、优点和细节，仅以举例的方式出现在以下对实施例的详细描述中，详细描述参考了附图，在附图中：
图1是根据实施例的融合系统的框图；
图2示出了根据实施例的用于融合系统的获得信息和期望信息；
图3是根据实施例确定目标速度的方法的处理流程；
图4示出了根据图3中示出的处理流程由雷达系统进行的目标和RoI标识以及位置确定；
图5示出了根据图3中示出的处理流程用于RoI中的点的光流的计算；以及
图6示出了根据图3中示出的处理流程确定的目标的二维速度。
具体实施方式
以下描述仅是示例的性质，并不意在限制本公开、其应用或用途。应当理解，在整个附图中，对应的参考标号指示相同或相应的部分和特征。
如上所述，许多平台具有用于不同目的采集数据的多种类型的传感器。例如，GPS接收器用于确定位置，视觉或相机系统可用于探测横向运动(角速度)，以及雷达系统测量范围和纵向速度。本文详述的系统和方法的实施例涉及融合从雷达系统和视觉系统获得的信息以克服每个系统的局限性。具体地说，实施例涉及基于雷达数据和视觉数据的融合估算目标速度。尽管出于说明目的示出了具有融合系统的汽车的示例性应用，但实施例不限于任何特定平台。
图1是根据实施例的融合系统100的框图。尽管出于说明目的在图1中示出为容纳在一起，但融合系统100可以在平台的不同部分处采用不同部件布置。雷达系统110包括发射部分113和接收部分115，其可在收发机布置中各自使用不同天线117或共享天线117。雷达系统110发送射频能量并接收从目标150反射的反射能量。反射能量基于雷达系统110和目标150之间的相对运动关于入射发射能量在频率上偏移。该频率偏移(被称为多普勒频移)可用于确定纵向速度(沿视线的相对速度)。从发射到接收的时间可以用于确定从雷达系统110到目标150的范围。融合系统100还包括视觉系统120，该视觉系统120包括相机123和图像处理器125。图像处理器125可使用采用相机123获得的图像来确定目标150相对于视觉系统120的角速度。融合系统100进一步包括处理部分130。该处理部分130包括一个或多个存储装置133和一个或多个处理器135。存储装置133可以存储指令以及由雷达系统110和视觉系统120中一个或二者获得的数据。处理器135基于来自雷达系统110和视觉系统120的信息的融合确定目标150的二维速度，如下面进一步讨论。
图2示出了根据实施例用于融合系统100的获得信息和期望信息。融合系统100可以例如为平台101(诸如车辆)的一部分。融合系统100使用雷达系统110获得纵向速度矢量220。融合系统100使用视觉系统120获得横向速度矢量230。正如所述以及根据实施例在下面进一步讨论，融合系统100基于来自雷达系统110和视觉系统120的信息(包括纵向速度矢量220和横向速度矢量230)来确定目标150的二维速度210。目标150可以为车辆、行人或任何其它移动物体。一旦确定目标的二维速度210，信息可促进大量应用。例如，通过估算目标150的二维速度210，目标150的位置在某一将来时间可以被预测，使得可以采取威胁评价(例如，潜在碰撞的确定)或自主控制决定(例如，用以避免碰撞的规避动作)。由于假定了平台101和目标150的平面布置，所以对二维速度210关注。在替代实施例中，可以将第三维度加入到估算和后续应用中。
图3是根据实施例确定目标150速度(210)的方法的处理流程。在框310处，使用雷达系统110确定目标150的位置p(包括至目标150的范围r)和径向速度rv。该过程开始于目标150的识别。在框320处，限定视觉系统120的关注区域(RoI)包括采用雷达系统110校准视觉系统120。校准的视觉系统120具有已知的参数诸如焦距、光学中心、失真以及相对于平台101的三维安装位置。鉴于这些参数，可以确定一对一映射函数以将来自地面(或接近地面)的像素映射到平台坐标系中的点，反之亦然。以这种方式，校准了视觉系统120。该映射进一步讨论如下。在框330处，计算RoI中的点的光流涉及使用视觉系统120获得两个或更多个图像帧，以及使用已知方程来确定光流矢量或目标150相对于视觉系统120的运动。在框340处，聚群用于计算的光流矢量上以便查找主运动q＝(qu,qv)。如果它们在幅度和取向方面类似，则聚群涉及将附近内的两个光流矢量分配到相同组中。示例性聚群算法包括图形分区、均值偏移和分水线。u-v坐标系是图像坐标系。在框350处，计算目标速度(二维速度210)包括使用以下详述的最小化方程。
主运动矢量q＝(qu,qv)、范围r和径向速度rv、径向速度s和方位角θ均为使用雷达系统110获得的输入。因此，在框350处，获得二维速度210作为解决方法以最小化下式：
目标150位置矢量p由下式给出：
p＝(r cos θ,r sin θ)T [方程2]
由雷达系统110提供的径向速度s的精确度由σ表示。该值是提供有雷达系统110的规范的一部分。Σ是代表主运动矢量q估算的误差的二对二协方差矩阵。凭经验地，可以使用来自RoI的光流的样本协方差矩阵。h(v,p)表示将(雷达系统110的)自上而下的视图x-y坐标系中的位置p处的二维速度210映射到(视觉系统120的)u-v坐标系中的运动矢量q的函数。h(v,p)由相机校准过程预先确定，该相机校准过程为框320的一部分并假定目标150正在平坦地面上移动。该假定赞同平台101和目标150的平面布置的假定。
图4-6示出了参照图3讨论的用于示例性目标150的过程。示例性目标150为货车。图4示出了通过雷达系统110的目标和RoI410规范以及位置确定(框310和320)。通过雷达系统110的目标识别由“+”指示。图5示出了RoI410中的点的光流的计算(框330)。同样示出了示例性主运动矢量q510(框340)。通过领域、范围、方位中的其高度以及径向和纵向速度二者来确定每个主运动矢量q510。图5还示出了示例性非主运动矢量515。图6示出了采用方程1中示出的最小化方程确定的目标150的二维速度210(框350)。
虽然本发明已经参照示例性实施例进行了描述，但本领域技术人员应当理解，在不偏离本发明范围的前提下，可以做出各种变化，并且可以用等效物来替代其元件。此外，可作出许多修改以使特定的情况或材料适应本发明的教导而不偏离其实质范围。因此，其意图是，本发明并不限于所公开的具体实施例，而是本发明将包括落入本申请范围之内的所有实施例。

Claims (10)

1.一种用于从移动平台的确定目标的速度的方法，所述方法包括：
使用雷达系统获得所述目标相对于所述移动平台的位置和径向速度；
基于所述目标相对于所述移动平台的运动使用视觉系统来获得光流矢量；
基于所述光流矢量估算所述目标的主运动矢量；以及
使用处理器处理所述位置、所述径向速度和所述主运动矢量，以及确定二维中的所述目标的速度。
2.根据权利要求1所述的方法，进一步包括使用所述雷达系统限定关注区域。
3.根据权利要求2所述的方法，其中使用所述视觉系统的获得所述光流矢量是用于所述关注区域中的点的。
4.根据权利要求2所述的方法，进一步包括采用所述雷达系统校准所述视觉系统，所述校准包括确定映射函数以将由所述雷达系统使用的x-y坐标系映射到由所述视觉系统使用的u-v坐标系。
5.根据权利要求1所述的方法，其中确定所述主运动矢量包括聚群所述光流矢量。
6.根据权利要求1所述的方法，进一步包括确定范围r、方位角θ、径向速度s以及来自所述位置和所述径向速度的位置矢量p，确定所述径向速度s的精确度σ，以及获得代表所述主运动矢量估算的二对二协方差矩阵Σ。
7.根据权利要求6所述的方法，其中所述确定所述目标的所述速度包括求解以最小化：
，
v为所述目标的所述速度，h（v, p）为将由所述雷达系统使用的x-y坐标系中的所述目标的所述速度映射到由所述视觉系统使用的u-v坐标系中的所述主运动矢量q的函数。
8.根据权利要求6所述的方法，其中确定所述径向速度s的所述精确度σ是基于所述雷达系统的规范。
9.根据权利要求6所述的方法，其中所述二对二协方差矩阵Σ包括使用来自关注区域的所述光流矢量的协方差矩阵。
10.一种用以确定目标速度的移动平台上的融合系统，所述融合系统包括：
雷达系统，其配置成获得所述目标相对于所述移动平台的位置和径向速度；
视觉系统，其配置成基于所述目标相对于所述移动平台的运动来获得光流矢量以及基于所述光流矢量来估算主运动矢量；以及
处理器，其配置成基于所述位置、所述径向速度和所述主运动矢量来确定所述目标的所述速度。
CN201610844596.2A 2015-10-06 2016-09-22 用于目标速度估算的雷达视觉融合 Active CN106560728B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/876134 2015-10-06
US14/876,134 US10094919B2 (en) 2015-10-06 2015-10-06 Radar-vision fusion for target velocity estimation

Publications (2)

Publication Number Publication Date
CN106560728A CN106560728A (zh) 2017-04-12
CN106560728B true CN106560728B (zh) 2019-06-21

Family

ID=58355689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610844596.2A Active CN106560728B (zh) 2015-10-06 2016-09-22 用于目标速度估算的雷达视觉融合

Country Status (3)

Country Link
US (1) US10094919B2 (zh)
CN (1) CN106560728B (zh)
DE (1) DE102016117710B4 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018220048A1 (en) * 2017-06-02 2018-12-06 Sony Corporation Apparatus, method and computer program for computer vision
US10602242B2 (en) * 2017-06-14 2020-03-24 GM Global Technology Operations LLC Apparatus, method and system for multi-mode fusion processing of data of multiple different formats sensed from heterogeneous devices
US10176596B1 (en) 2017-07-06 2019-01-08 GM Global Technology Operations LLC Calibration verification methods for autonomous vehicle operations
US11067686B2 (en) * 2017-12-01 2021-07-20 Electromagnetic Systems, Inc. Obstacle position and extent measurement by automotive radar
EP3499265B1 (en) * 2017-12-12 2020-08-19 Veoneer Sweden AB Determining object motion and acceleration vector in a vehicle radar system
EP3611541A1 (en) * 2018-08-16 2020-02-19 Aptiv Technologies Limited Method of determining an uncertainty estimate of an estimated velocity
CN109300143B (zh) * 2018-09-07 2021-07-27 百度在线网络技术（北京）有限公司 运动向量场的确定方法、装置、设备、存储介质和车辆
CN109471096B (zh) * 2018-10-31 2023-06-27 奇瑞汽车股份有限公司 多传感器目标匹配方法、装置及汽车
CN112415516B (zh) * 2019-08-05 2023-09-08 宇通客车股份有限公司 一种车辆前方障碍区域感知方法及装置
CN111596288B (zh) * 2020-03-31 2022-07-12 广州文远知行科技有限公司 测量速度的方法、装置、车载终端和车载测速系统
CN114076946A (zh) * 2020-08-18 2022-02-22 华为技术有限公司 一种运动估计方法及装置
CN114648871B (zh) * 2020-12-18 2024-01-02 富士通株式会社 速度融合方法和装置
CN113109830A (zh) * 2021-03-29 2021-07-13 桂林电子科技大学 一种采用光流及测距传感器的三维运动测量方法
CN115963485A (zh) * 2021-10-11 2023-04-14 华人运通(上海)自动驾驶科技有限公司 速度检测方法、装置、设备及可读存储介质
CN116027317B (zh) * 2023-01-06 2024-01-26 中国人民解放军空军预警学院 一种基于星载宽带雷达的海面舰船目标二维速度估计方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101033972A (zh) * 2007-02-06 2007-09-12 华中科技大学 一种空间非合作物体三维信息的获取方法
CN101923719A (zh) * 2009-06-12 2010-12-22 新奥特（北京）视频技术有限公司 一种基于粒子滤波和光流矢量的视频目标跟踪方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10312249A1 (de) 2003-03-19 2004-09-30 Ibeo Automobile Sensor Gmbh Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern
JP5892129B2 (ja) * 2013-08-29 2016-03-23 株式会社デンソー 道路形状認識方法、道路形状認識装置、プログラムおよび記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101033972A (zh) * 2007-02-06 2007-09-12 华中科技大学 一种空间非合作物体三维信息的获取方法
CN101923719A (zh) * 2009-06-12 2010-12-22 新奥特（北京）视频技术有限公司 一种基于粒子滤波和光流矢量的视频目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于视频处理的雷达图像目标检测与跟踪的研究";徐蔚然;《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》;20020615(第01期);第24页

Also Published As

Publication number Publication date
DE102016117710A1 (de) 2017-04-06
US20170097411A1 (en) 2017-04-06
US10094919B2 (en) 2018-10-09
CN106560728A (zh) 2017-04-12
DE102016117710B4 (de) 2022-09-22

Similar Documents

Publication Publication Date Title
CN106560728B (zh) 用于目标速度估算的雷达视觉融合
US10739784B2 (en) Radar aided visual inertial odometry initialization
AU2018282302B2 (en) Integrated sensor calibration in natural scenes
US9651384B2 (en) System and method for indoor navigation
WO2018195986A1 (en) Calibration of laser sensors
KR102627453B1 (ko) 위치 추정 장치 및 방법
US20220327737A1 (en) Determining position using computer vision, lidar, and trilateration
US10514456B2 (en) Radar aided visual inertial odometry outlier removal
US10760907B2 (en) System and method for measuring a displacement of a mobile platform
RU2550811C1 (ru) Способ и устройство определения координат объектов
US8107684B2 (en) Method for geolocalization of one or more targets
CN109407049B (zh) 一种全被动探测的目标定位方法和系统
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP6740470B2 (ja) 測定装置、測定方法およびプログラム
US20220089166A1 (en) Motion state estimation method and apparatus
Helgesen et al. Low altitude georeferencing for imaging sensors in maritime tracking
KR101821992B1 (ko) 무인비행체를 이용한 목표물의 3차원 위치 산출 방법 및 장치
WO2022037370A1 (zh) 一种运动估计方法及装置
JP7404011B2 (ja) 情報処理装置
US11372455B2 (en) Imaging sensor-based position detection
KR101900564B1 (ko) 표적 정보 획득 장치
Mares et al. Vehicle self-localization in GPS-denied zones by multi-band imaging and analysis of prominent scene features
KR102106889B1 (ko) 소형통합제어장치
TWI570423B (zh) 定位方法
CN111596288B (zh) 测量速度的方法、装置、车载终端和车载测速系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant