CN114527437A - 雷达校正系统和方法 - Google Patents

雷达校正系统和方法 Download PDF

Info

Publication number
CN114527437A
CN114527437A CN202011430637.6A CN202011430637A CN114527437A CN 114527437 A CN114527437 A CN 114527437A CN 202011430637 A CN202011430637 A CN 202011430637A CN 114527437 A CN114527437 A CN 114527437A
Authority
CN
China
Prior art keywords
radar
sampling
points
image processing
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011430637.6A
Other languages
English (en)
Inventor
林怡君
陈柏玮
张哲睿
陈俊仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN114527437A publication Critical patent/CN114527437A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9321—Velocity regulation, e.g. cruise control

Abstract

本案提供了一种雷达校正系统。雷达校正系统包括摄影装置、雷达装置和图像处理装置。摄影装置产生拍摄图像。雷达装置产生雷达感测信息，其中雷达感测信息对应一组雷达投影参数。图像处理装置根据雷达投影参数，将雷达感测信息投影至拍摄图像，以产生合成图像。此外，图像处理装置根据每一采样时间区间产生的合成图像，取得多个采样雷达点，且对多个采样雷达点，进行统计运算，以产生统计采样雷达点。图像处理装置根据统计采样雷达点，计算距离偏移值。图像处理装置根据距离偏移值，经由算法，对雷达投影参数进行更新，以校正雷达感测信息。

Description

雷达校正系统和方法
技术领域
本案的实施例主要有关于雷达校正技术，特别有关于动态调整雷达投影参数的雷达校正技术。
背景技术
随着科技日益的进步，侦测车辆前方的障碍物的应用(例如：主动巡航控制系统(Autonomous cruise control，ACE))广泛的被提出。在这些应用中，主要通过安装在汽车上的传感器侦测车辆前方的障碍物，并根据侦测到之信息，发出警示讯息或是自动控制车辆与障碍物维持安全距离，以避免驾驶者因疏忽或视线死角等因素导致交通意外的发生。
目前侦测车辆前方障碍物主要利用摄影机和雷达。由于，利用摄影机产生之图像来进行侦测之方式容易受到气候变化(例如：大雨或大雾等造成视线不良之因素)的影响，进而造成车辆系统无法判断或误判情形，因此，会使用雷达来辅助侦测，以降低误判之情况以及提升判断精准度。
传统雷达的雷达投影参数，会在车辆出厂(或出车前)先经由车辆维修厂的专业人员先根据摄影机和雷达的位置进行校正。当车辆行驶时，车辆系统就会根据设定好的雷达投影参数将雷达感测信息投影至摄影机产生的拍摄图像。然而，当摄影机和雷达的位置(例如：受外力产生的偏移)产生偏差时，车辆系统并无法实时地去校正雷达投影参数，因而造成雷达感测信息无法准确地投影到摄影机产生的拍摄图像。因此，将可能造成交通意外的发生。
发明内容
有鉴于上述先前技术的问题，本案的实施例提供了一种雷达校正和方法。
根据本案的实施例提供了一种雷达校正系统。上述雷达校正系统包括摄影装置、雷达装置和图像处理装置。摄影装置配置在车辆，且产生拍摄图像。雷达装置配置在上述车辆，且产生雷达感测信息，其中上述雷达感测信息对应一组雷达投影参数。图像处理装置配置在上述车辆，根据上述雷达投影参数，将上述雷达感测信息投影至上述拍摄图像，以产生合成图像。此外，图像处理装置根据每一采样时间区间产生的上述合成图像，取得多个采样雷达点，且对上述多个采样雷达点，进行统计运算，以产生统计采样雷达点。图像处理装置根据上述统计采样雷达点，计算距离偏移值。图像处理装置根据上述距离偏移值，经由算法，对上述雷达投影参数进行更新，以校正雷达感测信息。
根据实施例提供了一种雷达校正方法。雷达校正方法适用于雷达校正系统。雷达校正方法的步骤可包括：通过雷达校正系统的摄影装置产生拍摄图像；通过雷达校正系统的雷达装置产生雷达感测信息，其中上述雷达感测信息对应一组雷达投影参数；通过雷达校正系统的图像处理装置根据上述雷达投影参数，将上述雷达感测信息投影至上述拍摄图像，以产生合成图像；通过上述图像处理装置根据每一采样时间区间产生的上述合成图像，取得多个采样雷达点；通过上述图像处理装置对上述多个采样雷达点，进行统计运算，以产生统计采样雷达点；通过上述图像处理装置根据上述统计采样雷达点，计算距离偏移值；以及通过上述图像处理装置根据上述距离偏移值，经由算法，对上述雷达投影参数进行更新，以校正雷达感测信息。
关于本案其他附加的特征与优点，此领域的熟习技术人士，在不脱离本发明的精神和范围内，当可根据本案实施方法中所揭露所述的雷达校正系统和方法，做些许的更动与润饰而得到。
附图说明
图1是显示根据实施例所述的雷达校正系统100的方块图。
图2是显示根据实施例所述的图像处理装置130的方块图。
图3是显示根据实施例所述的合成图像的示意图。
图4是显示根据实施例所述的标准化运算的示意图。
图5是显示根据实施例所述的移动平均运算的结果和距离偏移值的示意图。
图6是根据实施例所述的雷达校正方法的流程图。
具体实施方式
本章节所叙述的是本案的可实施方式范例，目的在于说明本案的精神而非用以限定发明的保护范围，发明的保护范围当视后附的权利要求书所界定者为准。
图1是显示根据实施例所述的雷达校正系统100的方块图。雷达校正系统100可应用于车辆上。如图1所示，雷达校正系统100可包括摄影装置110、雷达装置120、图像处理装置130和储存装置140。注意地是，在图1中所示的方块图，仅为了方便说明本案的可实施例，但可实施本案的系统并不以图1为限。雷达校正系统100中亦可包含其他组件。
根据实施例，摄影装置110配置在车辆上。当车辆在行驶时，摄影装置110可用以拍摄车辆可视界(visible view)的景象，以产生拍摄图像。
根据实施例，雷达装置120配置在车辆上。当车辆在行驶时，雷达装置120可用以发射雷达讯号，并接收反射回的雷达讯号，以产生雷达感测信息。根据实施例，雷达感测信息可对应一组雷达投影参数(或转换参数)。图像处理装置130可根据雷达投影参数将雷达感测信息投影至拍摄图像，以产生合成图像，以对车辆可视界前方的目标物(感测物或障碍物)进行监控。根据实施例，初始的雷达投影参数是车辆出厂(或行驶)前，预先根据摄影装置110和雷达装置120配置在车辆上的角度信息所计算出，并储存在储存装置140。在实施例中，图像处理装置130可动态去校正雷达投影参数，以确保雷达感测信息可较准确地投影到拍摄图像。底下的实施例将会有更详细的说明。
根据实施例，储存装置140可是易失性存储器(volatile memory)(例如：随机存取存储器(Random Access Memory,RAM))，或非易失性存储器(Non-volatile memory)(例如：闪存(flash memory)、只读存储器(Read Only Memory,ROM))、硬盘或上述装置的组合。储存装置140可用以储存雷达投影参数和要进行雷达投影参数的校正所需的信息和数据。
图2是显示根据实施例所述的图像处理装置130的方块图。如图2所示，图像处理装置130可包括图像处理电路131、采样电路132、统计运算电路133以及投影参数校正电路134。
根据实施例，图像处理电路131可从摄影装置110取得拍摄图像，以及从雷达装置120取得雷达感测信息。图像处理电路131可根据储存在储存装置140的雷达投影参数，将雷达感测信息投影至拍摄图像，以产生合成图像，以对车辆可视界前方的目标物(感测物或障碍物)进行监控。根据实施例，在车辆行驶过程中，图像处理电路131在采样时间区间内产生的合成图像可包含至少一目标物(例如：车或其他类型感测物或障碍物)以及多个雷达点。在图像处理电路131产生的合成图像中的每一目标物都会对应一定界框(bounding box，B-box)。定界框的尺寸会和车辆和目标物的间的距离(车距)以及目标物的形态或类型相关。当车辆和目标物的距离越近，定界框的尺寸会越大。根据实施例，合成图像产生后，图像处理电路131可将合成图像传送给采样电路132。
根据实施例，采样电路132接收到后合成图像后，采样电路132可先根据默认的目标物类型或形态(例如：小客车、休旅车、机车和卡车的一个或其他任意对象，但不以此为限)和预设的感测距离，去选取每一采样时间区间内产生的合成图像中所要进行后续操作的目标物。举例来说，若默认的目标物类型是小客车，且预设的感测距离是10米，采样电路132可在每一采样时间区间内产生的合成图像中，选取和车辆的距离10米(或最接近10米)的小客车，作为采样电路132要进行后续操作的目标物。根据实施例，每一采样时间区间所对应的感测距离都是相同的距离(即限定的距离)。根据另一实施例，每一采样时间区间所对应的感测距离可是不相同的距离(即不限定的距离)。
根据实施例，不同的目标物类型可通过执行图像识别算法来进行识别。默认的目标物类型(即要进行侦测的目标物类型)可由驾驶预先设定。
根据实施例，采样电路132可使用默认比例将合成图像中选取的目标物对应的定界框的尺寸扩大(例如：扩大10％，但不以此为限)，以产生扩大定界框。接着，采样电路132可滤除在扩大定界框外的雷达点(无效雷达点)，以取得多个候选雷达点。根据实施例，采样电路132可根据默认的感测距离(例如：10米或任一预设感测距离，但不以此为限)从多个候选雷达点选取一个作为采样雷达点。明确地来说，采样电路132可根据默认的感测距离，从多个候选雷达点中选取和车辆间的距离最接近预设的感测距离的候选雷达点，作为一采样雷达点。根据另一实施例，采样电路132亦可从多个候选雷达点中选取距离最接近车辆的候选雷达点，作为采样雷达点。以图3为例，在合成图像S1中，采样电路132可滤除在以预设比例扩大的定界框B1所产生的扩大定界框B2外的雷达点R1(无效雷达点)。在扩大定界框B2内的雷达点R2和R3，则会被视为多个候选雷达点R2和R3。接者，采样电路132可从候选雷达点R2和R3中，选取和车辆间的距离最接近预设的感测距离的候选雷达点作为采样雷达点，或从候选雷达点R2和R3中选取距离最接近车辆的候选雷达点，作为采样雷达点。以此类推，采样电路132在每一采样时间区间内产生的合成图像中，都会取出采样雷达点，且每一采样雷达点都会对应扩大定界框。
根据实施例，若每一采样时间区间所对应的感测距离都是相同的距离(即限定的距离)，即表示每一采样时间区间内所选取的采样雷达点所对应的扩大定界框的尺寸都是相同的。
根据另一实施例，若每一采样时间区间所对应的感测距离可是不相同的距离(即一不限定的距离)，即表示每一采样时间区间内所选取的采样雷达点所对应的扩大定界框的尺寸可不相同。因此，在此实施例中，采样电路132会对不同尺寸的扩大定界框，以及对不同尺寸的扩大定界框所对应的采样雷达点的位置进行标准化(normalize)运算。以图4为例，若第一采样时间区间对应的扩大定界框B3具有第一尺寸，且第二采样时间区间对应的扩大定界框B4具有第二尺寸，采样电路132会对具有第一尺寸的扩大定界框B3和具有第二尺寸的扩大定界框B4进行标准化运算，以产生一经由标准化的扩大定界框B5。此外，如图4所示，采样电路132亦会对扩大定界框B3对应的采样雷达点R4的位置和扩大定界框B4对应的采样雷达点R5的位置亦进行标准化运算。
根据实施例，统计运算电路133可从采样电路132取得采样雷达点。根据实施例，统计运算电路133可判断目前取得的采样雷达点(还未经过统计运算)的数量是否到达第一数量。若目前取得的采样雷达点(还未经过统计运算)的数量尚未到达第一数量，统计运算电路133就会继续收集采样雷达点，直到采样雷达点(还未经过统计运算)的数量达到第一数量。若目前取得的采样雷达点(还未经过统计运算)的数量已到达第一数量，统计运算电路133可对收集到的采样雷达点和具有第二数量的旧采样雷达点(已经用来产生过统计采样雷达点)，进行统计运算(例如：移动平均运算，但不以此为限)，以产生统计采样雷达点。根据实施例，第一数量和第二数量的比例(例如：50比50(50:50)或任意预设比例，但不以此为限)可根据不同的应用情况做调整。
根据实施例，移动平均运算可表示，统计运算电路133会计算所有采样雷达点的像素(包含第一数量的采样雷达点的像素和第二数量的旧采样雷达点的像素)的平均值，以产生统计采样雷达点。根据另一实施例，移动平均运算可表示，统计运算电路133会对所有采样雷达点的像素(包含第一数量的采样雷达点的像素和第二数量的旧采样雷达点的像素)进行标准偏差运算，以产生统计采样雷达点。特别说明地是，所述的统计运算并不以所揭露的移动平均实施例为限，其他以统计运算法则计算的方式亦可应用于本案中。
根据实施例，统计运算电路133取得统计采样雷达点后，统计运算电路133可去计算统计采样雷达点和理想雷达点的距离偏移值，并将距离偏移值传送给投影参数校正电路134。根据本案的实施例，理想雷达点的位置会和目标物类型相关。对于不同目标物类型，理想雷达点的位置会不相同。根据本案的实施例，距离偏移值可是水平距离偏移值和/或垂直距离偏移值。以图5为例，统计运算电路133可先将所有采样雷达点(包含第一数量的采样雷达点和第二数量的旧采样雷达点)Rall移动平均运算以产生统计采样雷达点RS，再去计算统计采样雷达点RS和理想雷达点RI的间的距离偏移值(ΔX和/或ΔY)。
根据实施例，为了避免校正的幅度过大，统计运算电路133可先将距离偏移值乘上预设比例值(例如：1/4，但不以此为限)，再将调整后的距离偏移值传送给投影参数校正电路134。预设比例值可和第一数量和第二数量的比例相关，当第一数量的比例较高，预设比例值可越大。
根据实施例，当投影参数校正电路134取得距离偏移值后，投影参数校正电路134可根据距离偏移值，经由算法，对储存在储存装置140的雷达投影参数进行更新，以校正雷达感测信息。也就是说，利用更新后的雷达投影参数，可让后续接收到的雷达感测信息投影到较准确的位置。
根据实施例，投影参数校正电路134所采用的算法可是机器学习(Machinelearning，ML)算法，例如：主成分分析(Principal components analysis，PCA)算法结合线性回归(Linear Regression)算法、深度学习(Deep Learning，DL)算法，但不以此为限。根据实施例，投影参数校正电路134所采用的算法可是自适应控制(Adaptive control)算法，例如：卡尔曼滤波(Kalman filter)算法、递归最小平方法(Recursive least squares)算法，但不以此为限。
根据实施例，更新雷达投影参数，以校正雷达感测信息后，图像处理电路131即可根据更新后的雷达投影参数，将后续接收到的雷达感测信息投影至后续接收到的拍摄图像中。
图6是根据实施例所述的雷达校正方法的流程图。雷达校正方法可适用雷达校正系统100。如图6所示，在步骤S610，雷达校正系统100的摄影装置产生拍摄图像。
在步骤S620，雷达校正系统100的雷达装置产生雷达感测信息，其中雷达感测信息会对应一组雷达投影参数。
在步骤S630，雷达校正系统100的图像处理装置根据雷达投影参数，将雷达感测信息投影至拍摄图像，以产生合成图像。
在步骤S640，雷达校正系统100的图像处理装置根据每一采样时间区间产生的合成图像，取得多个采样雷达点。
在步骤S650，雷达校正系统100的图像处理装置对多个采样雷达点，进行统计运算(例如：移动平均运算)，以产生统计采样雷达点。
在步骤S660，雷达校正系统100的图像处理装置根据统计采样雷达点，计算距离偏移值。
在步骤S670，雷达校正系统100的图像处理装置根据距离偏移值，经由算法，对雷达投影参数进行更新，以校正雷达感测信息。接着，雷达校正方法回到S630，雷达校正系统100的图像处理装置会根据更新后的雷达投影参数，将后续接收到的雷达感测信息投影至后续接收到的拍摄图像中。
根据实施例，在一采样时间区间内取得的合成图像中包含至少一目标物，以及多个雷达点。每一目标物对应一定界框。
根据实施例，步骤S640还包括，雷达校正系统100的图像处理装置以默认比例扩大定界框，以产生扩大界定框，且根据在采样时间区间取得的合成图像，滤除在扩大界定框外的雷达点，以取得多个候选雷达点，以及根据感测距离，从多个候选雷达点中选取一个，作为多个采样雷达点的一个。在此实施例中，在不同采样时间区间，感测距离可以是一限定距离或不限定距离，且上述定界框的尺寸依据感测物类型或形态而变动。此外，在此实施例中，当上述感测距离是不限定时，雷达校正系统100的图像处理装置将对应第一采样时间区间的具有第一尺寸的扩大定界框和对应第二采样时间区间的具有第二尺寸的扩大定界框进行标准化运算。
根据实施例，步骤S650还包括，雷达校正系统100的图像处理装置会取得多个采样雷达点，并判断多个采样雷达点的数量是否到达第一数量。当多个采样雷达点的数量到达第一数量时，雷达校正系统100的图像处理装置对多个采样雷达点和具有第二数量的旧采样雷达点，进行移动平均运算，以产生上述统计采样雷达点。根据实施例，移动平均运算是去计算多个采样雷达点的像素和具有第二数量的旧采样雷达点的像素的平均值，以产生统计采样雷达点。根据另一实施例，移动平均运算是对多个采样雷达点的像素和具有第二数量的旧采样雷达点的像素进行标准偏差运算，以产生统计采样雷达点。
根据实施例，步骤S660还包括，雷达校正系统100的图像处理装置可根据统计采样雷达点，计算统计采样雷达点和理想雷达点的距离偏移值。此外，根据实施例，雷达校正系统100的图像处理装置会将距离偏移值乘上预设比例值。
根据实施例，步骤S670还包括，雷达校正系统100的图像处理装置会根据距离偏移值，经由算法，对雷达投影参数进行更新，以校正雷达感测信息。根据实施例，上述算法是机器学习算法。根据另一实施例，上述算法是自适应控制算法。
根据实施例，雷达校正方法的步骤还包括，雷达校正系统100的图像处理装置会根据更新后的雷达投影参数，将雷达感测信息投影至拍摄图像。
根据本案所述的雷达校正系统和方法，在车辆行驶时，当雷达装置或摄影装置的位置发生偏移时，雷达投影参数可动态地和实时地被调整，而使得雷达感测信息可较准确地投影至拍摄图像。
本说明书中以及权利要求书中的序号，例如“第一”、“第二”等等，仅为了方便说明，彼此的间并没有顺序上的先后关系。
本说明书所揭露的方法和算法的步骤，可直接透过执行处理器直接应用在硬件以及软件模块或两者的结合上。软件模块(包括执行指令和相关数据)和其它数据可储存在数据存储器中，像是随机存取存储器(RAM)、闪存(flash memory)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、电子可擦除可编程只读存储器(EEPROM)、缓存器、硬盘、可携式硬盘、光盘只读存储器(CD-ROM)、DVD或在此领域习的技术中任何其它计算机可读取的储存介质格式。储存介质可耦接至机器装置，举例来说，像是计算机/处理器(为了说明的方便，在本说明书以处理器来表示)，上述处理器可透过来读取信息(像是程序代码)，以及写入信息至储存介质。储存介质可集成处理器。专用集成电路(ASIC)包括处理器和储存介质。用户设备则包括专用集成电路。换句话说，处理器和储存介质以不直接连接用户设备的方式，包含于用户设备中。此外，在一些实施例中，任何适合计算机程序的产品包括可读取的储存介质，其中可读取的储存介质包括和一个或多个所揭露实施例相关的程序代码。
以上段落使用多种层面描述。显然的，本文的教示可以多种方式实现，而在范例中揭露的任何特定架构或功能仅为代表性的状况。根据本文的教示，任何熟知此技术的人士应理解在本文揭露的各层面可独立实施或两种以上的层面可以合并实施。
虽然本揭露已以实施例揭露如上，然其并非用以限定本揭露，任何熟习此技术者，在不脱离本揭露的精神和范围内，当可作些许的更动与润饰，因此发明的保护范围当视后附的权利要求书所界定者为准。
【符号说明】
100：雷达校正系统
110：摄影装置
120：雷达装置
130：图像处理装置
131：图像处理电路
132：采样电路
133：统计运算电路
134：投影参数校正电路
140：储存装置
B1：定界框
B2～B4：扩大定界框
B5：经由标准化的扩大定界框
R1：无效雷达点
R2、R3：候选雷达点
R4、R5：采样雷达点
Rall：所有采样雷达点
RS：统计采样雷达点
RI：理想雷达点
S1：合成图像
S610～S670：步骤

Claims (21)

1.一种雷达校正系统，包括：
摄影装置，配置在车辆，且产生拍摄图像；
雷达装置，配置在上述车辆，且产生雷达感测信息，其中上述雷达感测信息对应一组雷达投影参数；以及
图像处理装置，配置在上述车辆，根据上述雷达投影参数，将上述雷达感测信息投影至上述拍摄图像，以产生合成图像；
其中上述图像处理装置根据每一采样时间区间产生的上述合成图像，取得多个采样雷达点，且上述图像处理装置对上述多个采样雷达点，进行统计运算，以产生统计采样雷达点，并根据上述统计采样雷达点，计算距离偏移值，以及上述图像处理装置根据上述距离偏移值，经由算法，对上述雷达投影参数进行更新，以校正上述雷达感测信息。
2.根据权利要求1所述的雷达校正系统，其中在一采样时间区间内取得的上述合成图像中包含至少一目标物，以及多个雷达点，其中每一上述目标物对应一定界框。
3.根据权利要求2所述的雷达校正系统，其中上述图像处理装置包括：
采样电路，使用默认比例扩大上述定界框，以产生扩大界定框，且根据在上述采样时间区间取得的上述合成图像，滤除在上述扩大界定框外的雷达点，以取得多个候选雷达点，以及根据感测距离，从上述多个候选雷达点中选取一个，作为上述多个采样雷达点的一个。
4.根据权利要求3所述的雷达校正系统，其中在不同采样时间区间，上述感测距离是限定距离或不限定距离，且上述定界框的尺寸依据感测物类型或形态而变动。
5.根据权利要求4所述的雷达校正系统，其中当不限定上述感测距离时，上述采样电路将对应第一采样时间区间的具有第一尺寸的上述扩大定界框和对应第二采样时间区间的具有第二尺寸的上述扩大定界框进行标准化运算。
6.根据权利要求1所述的雷达校正系统，其中上述图像处理装置包括：
统计运算电路，取得上述多个采样雷达点，并判断上述多个采样雷达点的数量是否到达第一数量，其中当上述多个采样雷达点的数量到达上述第一数量时，上述统计运算电路对上述多个采样雷达点和具有第二数量的旧采样雷达点，进行移动平均运算，以产生上述统计采样雷达点，并根据上述统计采样雷达点，计算上述统计采样雷达点和理想雷达点的上述距离偏移值。
7.根据权利要求6所述的雷达校正系统，其中上述移动平均运算是上述统计运算电路计算上述多个采样雷达点的像素和具有上述第二数量的上述旧采样雷达点的像素的平均值，以产生上述统计采样雷达点，或是上述移动平均运算是上述统计运算电路对上述多个采样雷达点的像素和具有上述第二数量的上述旧采样雷达点的像素进行标准偏差运算，以产生上述统计采样雷达点。
8.根据权利要求6所述的雷达校正系统，其中上述统计运算电路还将上述距离偏移值乘上预设比例值。
9.根据权利要求1所述的雷达校正系统，其中上述图像处理装置还包括：
投影参数校正电路，取得上述距离偏移值，并根据上述距离偏移值，经由上述算法，对上述雷达投影参数进行更新，以校正上述雷达感测信息。
10.根据权利要求9所述的雷达校正系统，其中上述算法是机器学习算法或自适应控制算法。
11.根据权利要求1所述的雷达校正系统，其中上述图像处理装置还包括：
图像处理电路，接收更新后的上述雷达投影参数，并根据更新后的上述雷达投影参数，将上述雷达感测信息投影至上述拍摄图像。
12.一种雷达校正方法，适用于雷达校正系统，包括：
通过雷达校正系统的摄影装置产生拍摄图像；
通过雷达校正系统的雷达装置产生雷达感测信息，其中上述雷达感测信息对应一组雷达投影参数；
通过雷达校正系统的图像处理装置根据上述雷达投影参数，将上述雷达感测信息投影至上述拍摄图像，以产生合成图像；
通过上述图像处理装置根据每一采样时间区间产生的上述合成图像，取得多个采样雷达点；
通过上述图像处理装置对上述多个采样雷达点，进行统计运算，以产生统计采样雷达点；
通过上述图像处理装置根据上述统计采样雷达点，计算距离偏移值；以及
通过上述图像处理装置根据上述距离偏移值，经由算法，对上述雷达投影参数进行更新，以校正上述雷达感测信息。
13.根据权利要求12的雷达校正方法，其中在一采样时间区间内取得的上述合成图像中包含至少一目标物，以及多个雷达点，其中每一上述目标物对应一定界框。
14.根据权利要求13的雷达校正方法，还包括：
通过上述图像处理装置使用默认比例扩大上述定界框，以产生扩大界定框；
通过上述图像处理装置根据在上述采样时间区间取得的上述合成图像，滤除在上述扩大界定框外的雷达点，以取得多个候选雷达点；以及
通过上述图像处理装置根据感测距离，从上述多个候选雷达点中选取一个，作为上述多个采样雷达点的一个。
15.根据权利要求14的雷达校正方法，其中在不同采样时间区间，上述感测距离是限定距离或不限定距离，且上述定界框的尺寸依据感测物类型或形态而变动。
16.根据权利要求15的雷达校正方法，更包括：
当不限定上述感测距离时，通过上述图像处理装置将对应第一采样时间区间的具有第一尺寸的上述扩大定界框和对应第二采样时间区间的具有第二尺寸的上述扩大定界框进行标准化运算。
17.根据权利要求12的雷达校正方法，还包括：
通过上述图像处理装置取得上述多个采样雷达点，并判断上述多个采样雷达点的数量是否到达第一数量；
当上述多个采样雷达点的数量到达上述第一数量时，通过上述图像处理装置对上述多个采样雷达点和具有第二数量的旧采样雷达点，进行移动平均运算，以产生上述统计采样雷达点；以及
通过上述图像处理装置根据上述统计采样雷达点，计算上述统计采样雷达点和理想雷达点的上述距离偏移值。
18.根据权利要求17的雷达校正方法，其中上述移动平均运算是去计算上述多个采样雷达点的像素和具有上述第二数量的上述旧采样雷达点的像素的平均值，以产生上述统计采样雷达点，或是对上述多个采样雷达点的像素和具有上述第二数量的上述旧采样雷达点的像素进行标准偏差运算，以产生上述统计采样雷达点。
19.根据权利要求18的雷达校正方法，还包括：
通过上述图像处理装置将上述距离偏移值乘上预设比例值。
20.根据权利要求12的雷达校正方法，其中上述算法是机器学习算法或自适应控制算法。
21.根据权利要求12的雷达校正方法，还包括：
通过上述图像处理装置根据更新后的上述雷达投影参数，将上述雷达感测信息投影至上述拍摄图像。
CN202011430637.6A 2020-11-23 2020-12-07 雷达校正系统和方法 Pending CN114527437A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW109140938 2020-11-23
TW109140938A TWI734648B (zh) 2020-11-23 2020-11-23 雷達校正系統和方法

Publications (1)

Publication Number Publication Date
CN114527437A true CN114527437A (zh) 2022-05-24

Family

ID=77911153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011430637.6A Pending CN114527437A (zh) 2020-11-23 2020-12-07 雷达校正系统和方法

Country Status (2)

Country Link
CN (1) CN114527437A (zh)
TW (1) TWI734648B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI800140B (zh) * 2021-12-06 2023-04-21 致伸科技股份有限公司 監控方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102628942B (zh) * 2012-04-24 2013-10-23 中国科学院遥感与数字地球研究所 一种雷达影像双视向信息补偿方法
JP6818541B2 (ja) * 2016-03-14 2021-01-20 パナソニック株式会社 レーダ装置および測位方法
WO2018137133A1 (en) * 2017-01-24 2018-08-02 SZ DJI Technology Co., Ltd. Systems and methods for radar control on unmanned movable platforms
US11400956B2 (en) * 2017-02-23 2022-08-02 Richard Anthony Bishel Vehicle guidance system
CN108597234A (zh) * 2018-05-10 2018-09-28 芜湖航飞科技股份有限公司 一种基于高分辨率雷达的智能交通检测仪
US11378654B2 (en) * 2018-08-02 2022-07-05 Metawave Corporation Recurrent super-resolution radar for autonomous vehicles
US10890653B2 (en) * 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
TWI734932B (zh) * 2018-09-17 2021-08-01 為昇科科技股份有限公司 雷達偵測角度校正系統及其方法
CN110221277A (zh) * 2019-06-21 2019-09-10 北京航空航天大学 一种基于激光雷达扫描的隧道表面渗水区域提取方法
CN111811784A (zh) * 2020-07-02 2020-10-23 中航华东光电（上海）有限公司 激光光斑中心坐标确定方法、装置及设备

Also Published As

Publication number Publication date
TW202221355A (zh) 2022-06-01
TWI734648B (zh) 2021-07-21

Similar Documents

Publication Publication Date Title
US11620837B2 (en) Systems and methods for augmenting upright object detection
US7580548B2 (en) Abnormality detecting apparatus for imaging apparatus
US7936283B2 (en) Method for detecting parking area by using range sensor
EP3070675B1 (en) Image processor for correcting deviation of a coordinate in a photographed image at appropriate timing
JP6019646B2 (ja) 位置ずれ検出装置、車両及び位置ずれ検出方法
CN109532662B (zh) 一种车距及碰撞时间计算方法及装置
US20120281881A1 (en) Method for Estimating the Roll Angle in a Travelling Vehicle
US11151395B2 (en) Roadside object detection device, roadside object detection method, and roadside object detection system
WO2018212292A1 (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
JP6407447B1 (ja) 走行路認識装置及び走行路認識方法
US11151729B2 (en) Mobile entity position estimation device and position estimation method
KR20150119736A (ko) 노면 모델 설정을 이용한 장애물 검출 시스템 및 그 방법
WO2019021876A1 (ja) 車載カメラのキャリブレーション装置及び方法
JP2003329439A (ja) 距離検出装置
JP6263453B2 (ja) 運動量推定装置及びプログラム
CN114527437A (zh) 雷达校正系统和方法
US11704815B2 (en) Tracking device, tracking method, and tracking system
CN112304293B (zh) 道路高度检测方法、装置、可读存储介质和电子设备
US20240020868A1 (en) Vehicle and method of controlling the same
US20240010195A1 (en) Method for ascertaining an approximate object position of a dynamic object, computer program, device, and vehicle
CN113753029B (zh) 一种基于光流法的自动泊车方法及系统
US20230368424A1 (en) Vehicle and method of controlling the same
KR102327342B1 (ko) 차량용 카메라 보정 장치
KR20160050739A (ko) 차량 휠반경 보정장치 및 차량 휠반경 보정방법
KR20240030098A (ko) 차량 및 차량의 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination