CN112946627B - 基于视觉信息的毫米波雷达检测系统及检测方法 - Google Patents
基于视觉信息的毫米波雷达检测系统及检测方法 Download PDFInfo
- Publication number
- CN112946627B CN112946627B CN202110124692.0A CN202110124692A CN112946627B CN 112946627 B CN112946627 B CN 112946627B CN 202110124692 A CN202110124692 A CN 202110124692A CN 112946627 B CN112946627 B CN 112946627B
- Authority
- CN
- China
- Prior art keywords
- data
- millimeter wave
- wave radar
- target detection
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 160
- 230000000007 visual effect Effects 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims description 31
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000012850 discrimination method Methods 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000003708 edge detection Methods 0.000 claims description 9
- 230000001427 coherent effect Effects 0.000 claims description 7
- 125000000205 L-threonino group Chemical group [H]OC(=O)[C@@]([H])(N([H])[*])[C@](C([H])([H])[H])([H])O[H] 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000009825 accumulation Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/28—Details of pulse systems
- G01S7/285—Receivers
- G01S7/292—Extracting wanted echo-signals
- G01S7/2923—Extracting wanted echo-signals based on data belonging to a number of consecutive radar periods
- G01S7/2927—Extracting wanted echo-signals based on data belonging to a number of consecutive radar periods by deriving and controlling a threshold value
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/35—Details of non-pulse systems
- G01S7/352—Receivers
- G01S7/354—Extracting wanted echo-signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Abstract
本发明公开了基于视觉信息的毫米波雷达检测系统及检测方法，属于汽车辅助驾驶领域。该系统包括数据采集模块，与数据采集模块连接的数据采集平台，以及与数据采集平台连接的数据检测模块，数据采集模块包括毫米波雷达和视觉装置，数据采集模块将收集的数据存储在数据采集平台中，数据检测模块对毫米波雷达和视觉装置采集到的数据进行对比检测。本发明通过利用同车搭载的视觉装置提供的视觉信息，在不增加硬件成本及目标检测算法的复杂度的情况下，可以解决特定场景下目标检测结果虚警过多的问题，同时也可满足自动驾驶时车载毫米波雷达对数据实时处理的要求。
Description
技术领域
本发明属于汽车辅助驾驶领域，具体是基于视觉信息的毫米波雷达检测系统及检测方法。
背景技术
现有车载毫米波雷达由于自身的工作原理及分辨率低的问题，在车辆行驶中不能准确的区分高架桥、龙门架、路边的栅栏等与路上正常行驶的车辆，会产生过多的虚警点，导致AEB等功能的误触发，常用的提高目标检测效果的方法是采用复杂的恒虚警算法，复杂的恒虚警算法可以在一定程度上改善目标检测效果，但同时算法的时间及空间复杂度会大幅提升，超出芯片的算力，不能满足自动驾驶时车载毫米波雷达对数据实时处理的要求。
发明内容
发明目的：提供基于视觉信息的毫米波雷达检测系统及检测方法，以解决现有技术存在的上述问题。
技术方案：基于视觉信息的毫米波雷达检测系统包括：数据采集模块包括毫米波雷达和视觉装置，所述数据采集模块收集外界数据。
数据采集平台，与数据采集模块连接，所述数据采集平台存储数据采集模块收集的外界数据。
数据检测模块，与数据采集平台电连接，所述数据检测模块对数据采集模块收集的外界数据进行对比检测。在进一步的实施例中，所述数据采集平台内设置有至少一个预定数据库，每个预定数据库内设置有至少一个特定场景的参考数据，所述数据采集平台将数据采集模块收集到的数据分类存储在预定的数据库内。
所述数据检测模块内设置有目标检测方法库，所述目标检测方法库内设置有至少一个特定场景的数据判别方法，所述数据判别方法对数据采集模块采集的信息以及预定数据库内设置的参考数据进行对比，通过在目标检测方法库内设置与特定场景相配合的检测方法，在车载毫米波雷达处于特定场景时，利用同车搭载的视觉装置获取的视觉信息，对场景进行判断识别，同时对车载毫米波雷达的数据进行处理，调整处理过程中的目标检测方法，得到良好的检测效果，在实际应用时，可以根据视觉装置提供的视觉信息识别出的场景信息，选择对应的目标检测方法，获取良好的检测效果，而且将参考数据分别放置在不同的预定数据库内，在实际应用中能够同时将视觉装置和毫米波雷达的数据与多个参考数据进行对比提高了检测效率。
在进一步的实施例中，建立目标检测方法库的步骤如下：S1.针对特定场景采集视觉装置数据及车载毫米波雷达数据。
S2.使用关联算法匹配视觉装置数据及车载毫米波雷达数据，形成视觉装置和毫米波雷达的数据对。
S3.形成特殊场景的视觉装置数据判别方法。
S4.结合视觉装置和毫米波雷达数据形成特殊场景的目标检测策略。
S5.对特殊场景进行编号，记录存储下确定下来的检测方法，保护单元数量，参考单元数量，门限调整因子参数，形成目标检测方法库。
在进一步的实施例中，针对特定场景采集视觉装置数据及车载毫米波雷达数据的数据采集方法包括：1)准备同时搭载视觉装置及车载毫米波雷达的车辆，装备能同时采集视觉装置数据及车载毫米波雷达数据的数据采集平台。
2)选取符合特定场景的地点。
3)在特定场景下，开启采集平台，采集视觉装置数据及车载毫米波雷达数据。
在进一步的实施例中，视觉装置和毫米波雷达的数据对形成方法包括根据时间戳关联和空间关联完成摄像头数据与毫米波雷达数据的匹配；
其中，时间戳关联是毫米波雷达数据与摄像头视觉信息携带不同的时间戳，按照毫米波雷达数据协议与摄像头视觉信息协议进行转换后，设定时间阈值，两者时间差小于阈值的进行匹配关联。
空间关联是毫米波雷达目标信息与摄像头视觉信息属于不同的坐标系，需要进行坐标转换，完成空间上的匹配关联；
关联算法包括：1)雷达坐标系转换到相机坐标系
R:雷达检测到的目标的距离；
α：雷达检测到的目标的角度；
H:雷达坐标系所在水平面与相机坐标系所在平面间的距离；
Zo：雷达坐标系所在的垂直面与相机坐标系所在垂直面的距离；
Xc，Yc，Zc：相机坐标系下目标检测点的坐标；
2)相机坐标系转换到图像坐标系
Xc，Yc，Zc：相机坐标系下目标检测点的坐标；
f：相机焦距；
x，y，1：图像坐标系下目标检测点坐标；
图像去畸变处理
其中r2＝x2+y2
k1，k2，k3，p2，p1：图像畸变向量；
x′，y′：矫正后的目标检测点在图像坐标系下的坐标；
3)图像坐标系与像素坐标系
u0，v0：图像坐标系远点在像素坐标系下的坐标；
dx，dy：每个像素在横轴x，y的物理尺寸；
x′，y′：目标检测点在图像坐标系下的坐标；
u′，v′：目标检测点在像素坐标系下的坐标；
4)完成坐标系转换后，毫米波雷达数据映射到像素坐标系下，与完成时间戳关联的数据进行像素点关联，设定像素点关联阈值，当像素点坐标满足阈值要求时，进行匹配关联，若有多个视觉信息像素匹配时，选择距离最小的值作为关联对象；
|Pr-Pc|＜Pthres
Pr：毫米波雷达目标检测点在像素坐标系下坐标；
Pc：视觉信息在像素坐标系下的坐标；
||：求距离；
Pthres：关联门限。
在进一步的实施例中，视觉装置数据判别方法的形成方法包括：1)对采集的摄像头数据进行处理，分为测试集与验证集。
2)摄像头测试集数据经过深度学习处理，对特殊场景的数据进行标记。
3)摄像头验证集数据验证深度学习形成的神经网络的识别的准确程度。
4)形成特殊场景的摄像头数据判别方法。
在进一步的实施例中，特殊场景的目标检测策略的形成方法包括：1)提取视觉装置和毫米波雷达的数据对。
2)将毫米波雷达数据进行距离维和速度维的算法变换将毫米波雷达数据的时域的信号变换到频域，以及对毫米波雷达数据非相参积累提高信噪比。
3)对数据对进行目标检测算法迭代，调整恒虚警检测参数。
4)观察检测结果，确定特定场景的恒虚警检测参数，形成目标检测策略。
通过将毫米波雷达数据的时域的信号变换到频域能够减少信号的叠加量，将需要的信号分离出来进行检测，降低了时域上信号的信息损失量，从中提取与视觉信息相配合的信息能够极大的提高信息检测的准确度和效率。
在进一步的实施例中，将毫米波雷达数据的时域的信号变换到频域的算法是
其中，N：傅里叶变换的点数，取2n；
∑:求和符号；
x(n)：毫米波雷达距离维数据或速度维数据；
W:旋转因子。
在进一步的实施例中，调整恒虚警检测参数方法包括：根据调整保护单元的个数、参考单元的个数、左窗保护单元以及右窗保护单元是否一致计算恒虚警门限调整参数。
门限调整因子计算算法如下：
α＝N*(Pfa -1/N-1)
或
或
其中，α：均匀背景的门限调整因子；
N:参考单元个数；
Pfa：均匀背景的虚警概率；
T：多目标检测或杂波边缘检测的门限调整因子。
Pd，SO：多目标检测的发现概率；
Pfa，SO:多目标检测的虚警概率；
Pd，GO：杂波边缘检测的发现概率；
Pfa，SO:杂波边缘检测的虚警概率。
在进一步的实施例中，目标检测策略库的应用的步骤如下：
1.获取毫米波雷达数据。
2.对毫米波雷达数据进行距离维和速度维的算法变换，以及非相参积累。
3.目标检测
1)对摄像头获取的视觉信息进行场景识别；
2)判断场景是否属于特殊场景，若不属于特殊场景，则按照常规的目标检测方法进行处理，若判断结果属于特殊场景，则按照特殊场景的类型，在目标检测方法库中选择对应的目标检测方法并执行；
3)输出目标检测结果。
4.针对目标检测结果进行DOA估计，距离、速度信息的解算。
5.目标输出。
有益效果：本发明公开了基于视觉信息的毫米波雷达检测系统及检测方法，通过利用同车搭载的视觉装置提供的视觉信息，在不增加硬件成本及目标检测算法的复杂度的情况下，可以解决特定场景下目标检测结果虚警过多的问题，同时也可满足自动驾驶时车载毫米波雷达对数据实时处理的要求。
附图说明
图1是本发明的建立特定场景目标检测方法库流程示意图。
图2是本发明的目标检测方法库应用工作流程示意图。
图3是本发明的目标检测策略库的应用时目标检测具体工作流程示意图。
图4是本发明的计算恒虚警门限调整参数示意图。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
现有车载毫米波雷达由于自身的工作原理及分辨率低的问题，在车辆行驶中不能准确的区分高架桥、龙门架、路边的栅栏等与路上正常行驶的车辆，会产生过多的虚警点，导致AEB等功能的误触发，常用的提高目标检测效果的方法是采用复杂的恒虚警算法，复杂的恒虚警算法可以在一定程度上改善目标检测效果，但同时算法的时间及空间复杂度会大幅提升，超出芯片的算力，不能满足自动驾驶时车载毫米波雷达对数据实时处理的要求，为了解决上述问题申请人研发了基于视觉信息的毫米波雷达检测系统及检测方法。
该基于视觉信息的毫米波雷达检测系统包括：数据采集模块，与数据采集模块连接的数据采集平台，以及与数据采集平台连接的数据检测模块。
数据采集模块包括毫米波雷达和视觉装置，数据采集模块将收集的数据存储在数据采集平台中，数据检测模块对毫米波雷达和视觉装置采集到的数据进行对比检测。
其中视觉装置是摄像头或相机等能够获取录像或照片等视觉信息的装置。
工作原理：通过利用同车搭载的视觉装置提供的视觉信息，在不增加硬件成本及目标检测算法的复杂度的情况下，可以解决特定场景下目标检测结果虚警过多的问题，同时也可满足自动驾驶时车载毫米波雷达对数据实时处理的要求。
在进一步的实施例中，数据采集平台内设置有至少一个预定数据库，每个预定数据库内设置有至少一个特定场景的参考数据，数据采集平台将数据采集模块收集到的数据分类存储在预定的数据库内。
数据检测模块内设置有目标检测方法库，目标检测方法库内设置有至少一个特定场景的数据判别方法，数据判别方法对数据采集模块采集的信息以及预定数据库内设置的参考数据进行对比。
其中特定场景是存在高架桥、龙门架和路边的栅栏等存在车辆碰撞概率的场景。
通过在目标检测方法库内设置与特定场景相配合的检测方法，在车载毫米波雷达处于特定场景时，利用同车搭载的视觉装置获取的视觉信息，对场景进行判断识别，同时对车载毫米波雷达的数据进行处理，调整处理过程中的目标检测方法，得到良好的检测效果，在实际应用时，可以根据视觉装置提供的视觉信息识别出的场景信息，选择对应的目标检测方法，获取良好的检测效果，而且将参考数据分别放置在不同的预定数据库内，在实际应用中能够同时将视觉装置和毫米波雷达的数据与多个参考数据进行对比提高了检测效率。
在进一步的实施例中，在进一步的实施例中，建立目标检测方法库的步骤如下：S1.针对特定场景采集视觉装置数据及车载毫米波雷达数据。
S2.使用关联算法匹配视觉装置数据及车载毫米波雷达数据，形成视觉装置和毫米波雷达的数据对。
S3.形成特殊场景的视觉装置数据判别方法。
S4.结合视觉装置和毫米波雷达数据形成特殊场景的目标检测策略。
S5.对特殊场景进行编号，记录存储下确定下来的检测方法，保护单元数量，参考单元数量，门限调整因子参数，形成目标检测方法库，其中目标检测方法库内记录存储有至少一个检测方法，一个检测方法对应至少一个特定场景，例如当毫米波雷达数据中出现龙门架数据则调取一个与龙门架数据相对应的检测方法和算法，当毫米波雷达数据中出现高架桥数据则调取另一个与高架桥数据相对应的检测方法和算法，在优化检测算法时能够单独针对其中一个特定场景进行优化，解决了现有检测方法使用通用检测方法和算法在优化时出现优化了一个特定场景的检测算法，又降低了另一个特定场景的检测算法性能的问题。
在进一步的实施例中，针对特定场景采集视觉装置数据及车载毫米波雷达数据的数据采集方法包括：1)准备同时搭载视觉装置及车载毫米波雷达的车辆，装备能同时采集视觉装置数据及车载毫米波雷达数据的数据采集平台。
2)选取符合特定场景的地点。
3)在特定场景下，开启采集平台，采集视觉装置数据及车载毫米波雷达数据。
在进一步的实施例中，视觉装置和毫米波雷达的数据对形成方法包括根据时间戳关联和空间关联完成摄像头数据与毫米波雷达数据的匹配；
其中，时间戳关联是毫米波雷达数据与摄像头视觉信息携带不同的时间戳，按照毫米波雷达数据协议与摄像头视觉信息协议进行转换后，设定时间阈值，两者时间差小于阈值的进行匹配关联；
空间关联是毫米波雷达目标信息与摄像头视觉信息属于不同的坐标系，需要进行坐标转换，完成空间上的匹配关联；
关联算法包括：1)雷达坐标系转换到相机坐标系
R:雷达检测到的目标的距离；
α：雷达检测到的目标的角度；
H:雷达坐标系所在水平面与相机坐标系所在平面间的距离；
Zo：雷达坐标系所在的垂直面与相机坐标系所在垂直面的距离；
Xc，Yc，Zc：相机坐标系下目标检测点的坐标；
2)相机坐标系转换到图像坐标系
Xc，Yc，Zc：相机坐标系下目标检测点的坐标；
f：相机焦距；
x，y，1：图像坐标系下目标检测点坐标；
图像去畸变处理
其中r2＝x2+y2
k1，k2，k3，p2，p1：图像畸变向量；
x′，y′：矫正后的目标检测点在图像坐标系下的坐标；
3)图像坐标系与像素坐标系
u0，v0：图像坐标系远点在像素坐标系下的坐标；
dx，dy：每个像素在横轴x，y的物理尺寸；
x′，y′：目标检测点在图像坐标系下的坐标；
u′，v′：目标检测点在像素坐标系下的坐标；
4)完成坐标系转换后，毫米波雷达数据映射到像素坐标系下，与完成时间戳关联的数据进行像素点关联，设定像素点关联阈值，当像素点坐标满足阈值要求时，进行匹配关联，若有多个视觉信息像素匹配时，选择距离最小的值作为关联对象；
|Pr-Pc|＜Pthres
Pr：毫米波雷达目标检测点在像素坐标系下坐标；
Pc：视觉信息在像素坐标系下的坐标；
||：求距离；
Pthres：关联门限。
该数据匹配方法与现有优化毫米波雷达数据的方法相比极大的简化了算法复杂程度，而且毫米波雷达数据与视觉装置采集的数据两相对比极大的提高了准确度和检测效率，进一步的解决了虚警过多的问题，而且在调校算法时视觉装置采集的数据能够直接给工程师以视觉反馈提高了不同车型的生产效率。
在进一步的实施例中，视觉装置数据判别方法的形成方法包括：1)对采集的摄像头数据进行处理，分为测试集与验证集。
2)摄像头测试集数据经过深度学习处理，对特殊场景的数据进行标记。
3)摄像头验证集数据验证深度学习形成的神经网络的识别的准确程度。
4)形成特殊场景的摄像头数据判别方法。
在进一步的实施例中，特殊场景的目标检测策略的形成方法包括：1)提取视觉装置和毫米波雷达的数据对。
2)将毫米波雷达数据进行距离维和速度维的算法变换将毫米波雷达数据的时域的信号变换到频域，以及对毫米波雷达数据非相参积累提高信噪比。
3)对数据对进行目标检测算法迭代，调整恒虚警检测参数。
4)观察检测结果，确定特定场景的恒虚警检测参数，形成目标检测策略。
通过将毫米波雷达数据的时域的信号变换到频域能够减少信号的叠加量，将需要的信号分离出来进行检测，降低了时域上信号的信息损失量，从中提取与视觉信息相配合的信息能够极大的提高信息检测的准确度和效率，而且利用非相参积累提高信噪比也进一步的增加了信息检测的准确率和效率。
在进一步的实施例中，将毫米波雷达数据的时域的信号变换到频域的算法是
其中，N：傅里叶变换的点数，取2n；
∑:求和符号；
x(n)：毫米波雷达距离维数据或速度维数据；
W:旋转因子。
在进一步的实施例中，现有检测时间过长的问题还在于，现有技术中使用单一的算法存在算法需要满足多场景的要求进行运算，导致算法本身过于复杂，存在运算时间过长的问题。
调整恒虚警检测参数方法包括：根据调整保护单元的个数、参考单元的个数、左窗保护单元以及右窗保护单元是否一致计算恒虚警门限调整参数。
门限调整因子计算算法如下：
α＝N*(Pfa -1/N-1)，通过该算法可以对车行驶在上坡路段等均匀背景环境进行工作，极大的降低了算法的复杂程度，既降低了对芯片的算力要求，又提高了准确度和检测效率。
或
通过该算法可以对路边有栅栏或下雨天气等杂波边缘场景进行检测。
或
通过该算法可以对高架桥等存在多目标的场景进行检测。
其中，α：均匀背景的门限调整因子；
N:参考单元个数；
Pfa：均匀背景的虚警概率；
T：多目标检测或杂波边缘检测的门限调整因子；
Pd，SO：多目标检测的发现概率；
Pfa，SO:多目标检测的虚警概率；
Pd，GO：杂波边缘检测的发现概率；
Pfa，sO:杂波边缘检测的虚警概率。
根据数据采集模块采集到的数据判断车辆所在场景，然后根据特定场景采用不同的算法极大的降低了特定场景中算法的复杂程度，进一步的降低了对芯片的算力要求，提高了检测的准确度和检测效率。
在进一步的实施例中，目标检测策略库的应用的步骤如下：
1.获取毫米波雷达数据。
2.对毫米波雷达数据进行距离维和速度维的算法变换，以及非相参积累。
3.目标检测
1)对摄像头获取的视觉信息进行场景识别；
2)判断场景是否属于特殊场景，若不属于特殊场景，则按照常规的目标检测方法进行处理，若判断结果属于特殊场景，则按照特殊场景的类型，在目标检测方法库中选择对应的目标检测方法并执行；
3)输出目标检测结果。
4.针对目标检测结果进行DOA估计，距离、速度信息的解算。
5.目标输出。
Claims (8)
1.基于视觉信息的毫米波雷达检测系统，其特征在于，包括：数据采集模块包括毫米波雷达和视觉装置，所述数据采集模块收集外界数据；
数据采集平台，与数据采集模块连接，所述数据采集平台存储数据采集模块收集的外界数据；
数据检测模块，与数据采集平台电连接，所述数据检测模块内设置有目标检测方法库,所述目标检测方法库对数据采集模块收集的外界数据进行对比检测；所述目标检测方法库的建立方法包括：
S1.针对特定场景采集视觉装置数据及车载毫米波雷达数据；
S2.使用关联算法匹配视觉装置数据及车载毫米波雷达数据，形成视觉装置和毫米波雷达的数据对；
S3.形成特殊场景的视觉装置数据判别方法；
S4.提取视觉装置和毫米波雷达的数据对；将毫米波雷达数据进行距离维和速度维的算法变换将毫米波雷达数据的时域的信号变换到频域，以及对毫米波雷达数据非相参积累提高信噪比；对数据对进行目标检测算法迭代，根据调整保护单元的个数、参考单元的个数、左窗保护单元以及右窗保护单元是否一致计算恒虚警门限调整参数；观察检测结果，确定特定场景的恒虚警检测参数，形成目标检测策略；
S5.对特殊场景进行编号，记录存储下确定下来的检测方法，保护单元数量，参考单元数量，门限调整因子参数，形成目标检测方法库。
2.根据权利要求1所述基于视觉信息的毫米波雷达检测系统，其特征在于，所述数据采集平台内设置有至少一个预定数据库，每个预定数据库内设置有至少一个特定场景的参考数据，所述数据采集平台将数据采集模块收集到的数据分类存储在预定的数据库内；
所述目标检测方法库内设置有至少一个特定场景的数据判别方法，所述数据判别方法对数据采集模块采集的信息以及预定数据库内设置的参考数据进行对比。
3.根据权利要求1所述视觉信息的毫米波雷达检测系统的检测方法，其特征在于，针对特定场景采集视觉装置数据及车载毫米波雷达数据的数据采集方法包括：1)准备同时搭载视觉装置及车载毫米波雷达的车辆，装备能同时采集视觉装置数据及车载毫米波雷达数据的数据采集平台；
2)选取符合特定场景的地点；
3)在特定场景下，开启采集平台，采集视觉装置数据及车载毫米波雷达数据。
4.根据权利要求1所述视觉信息的毫米波雷达检测系统的检测方法，其特征在于，所述视觉装置和毫米波雷达的数据对形成方法包括根据时间戳关联和空间关联完成摄像头数据与毫米波雷达数据的匹配；
其中，时间戳关联是毫米波雷达数据与摄像头视觉信息携带不同的时间戳，按照毫米波雷达数据协议与摄像头视觉信息协议进行转换后，设定时间阈值，两者时间差小于阈值的进行匹配关联；
空间关联是毫米波雷达目标信息与摄像头视觉信息属于不同的坐标系，需要进行坐标转换，完成空间上的匹配关联；
关联算法包括：1)雷达坐标系转换到相机坐标系
R:雷达检测到的目标的距离；
α：雷达检测到的目标的角度；
H:雷达坐标系所在水平面与相机坐标系所在平面间的距离；
Zo：雷达坐标系所在的垂直面与相机坐标系所在垂直面的距离；
Xc，Yc，Zc：相机坐标系下目标检测点的坐标；
2)相机坐标系转换到图像坐标系
Xc，Yc，Zc：相机坐标系下目标检测点的坐标；
f：相机焦距；
x，y，1：图像坐标系下目标检测点坐标；
图像去畸变处理
其中r2＝x2+y2k1，k2，k3，p2，p1：图像畸变向量；
x′，y′：矫正后的目标检测点在图像坐标系下的坐标；
3)图像坐标系与像素坐标系
u0，v0：图像坐标系远点在像素坐标系下的坐标；
dx，dy：每个像素在横轴x，y的物理尺寸；
x′，y′：目标检测点在图像坐标系下的坐标；
u′，v′：目标检测点在像素坐标系下的坐标；
4)完成坐标系转换后，毫米波雷达数据映射到像素坐标系下，与完成时间戳关联的数据进行像素点关联，设定像素点关联阈值，当像素点坐标满足阈值要求时，进行匹配关联，若有多个视觉信息像素匹配时，选择距离最小的值作为关联对象；
|Pr-Pc|＜Pthres
Pr：毫米波雷达目标检测点在像素坐标系下坐标；
Pc：视觉信息在像素坐标系下的坐标；
||：求距离；
Pthres：关联门限。
5.根据权利要求1所述视觉信息的毫米波雷达检测系统的检测方法，其特征在于，视觉装置数据判别方法的形成方法包括：1)对采集的摄像头数据进行处理，分为测试集与验证集；
2)摄像头测试集数据经过深度学习处理，对特殊场景的数据进行标记；
3)摄像头验证集数据验证深度学习形成的神经网络的识别的准确程度；
4)形成特殊场景的摄像头数据判别方法。
6.根据权利要求1所述视觉信息的毫米波雷达检测系统的检测方法，其特征在于，将毫米波雷达数据的时域的信号变换到频域的算法是
其中，N：傅里叶变换的点数，取2n；
∑:求和符号；
x(n)：毫米波雷达距离维数据或速度维数据；
W:旋转因子。
7.根据权利要求1所述视觉信息的毫米波雷达检测系统的检测方法，其特征在于，门限调整因子计算算法如下：
a＝N*(Pfa -1/N-1)或
或
其中，α：均匀背景的门限调整因子；
N:参考单元个数；
n＝N/2；
i＝0,…n-1；
λ：信噪比；
Pfa：均匀背景的虚警概率；
T：多目标检测或杂波边缘检测的门限调整因子；
Pd，SO：多目标检测的发现概率；
Pfa，SO:多目标检测的虚警概率；
Pd，GO：杂波边缘检测的发现概率；
Pfa，SO:杂波边缘检测的虚警概率。
8.基于权利要求2所述视觉信息的毫米波雷达检测系统的检测方法，其特征在于，目标检测策略库的应用的步骤如下：
1.获取毫米波雷达数据；
2.对毫米波雷达数据进行距离维和速度维的算法变换，以及非相参积累；
3.目标检测
1)对摄像头获取的视觉信息进行场景识别；
2)判断场景是否属于特殊场景，若不属于特殊场景，则按照常规的目标检测方法进行处理，若判断结果属于特殊场景，则按照特殊场景的类型，在目标检测方法库中选择对应的目标检测方法并执行；
3)输出目标检测结果；
4.针对目标检测结果进行DOA估计，距离、速度信息的解算；
5.目标输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110124692.0A CN112946627B (zh) | 2021-01-29 | 2021-01-29 | 基于视觉信息的毫米波雷达检测系统及检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110124692.0A CN112946627B (zh) | 2021-01-29 | 2021-01-29 | 基于视觉信息的毫米波雷达检测系统及检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112946627A CN112946627A (zh) | 2021-06-11 |
| CN112946627B true CN112946627B (zh) | 2024-03-22 |
Family
ID=76239411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110124692.0A Active CN112946627B (zh) | 2021-01-29 | 2021-01-29 | 基于视觉信息的毫米波雷达检测系统及检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112946627B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117389659A (zh) * | 2023-09-06 | 2024-01-12 | 苏州数设科技有限公司 | 一种面向工业软件的方法库管理方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109387192A (zh) * | 2017-08-02 | 2019-02-26 | 湖南格纳微信息科技有限公司 | 一种室内外连续定位方法及装置 |
| CN110361709A (zh) * | 2019-06-28 | 2019-10-22 | 清华大学 | 一种基于动态虚警概率的车载毫米波雷达目标识别方法 |
| WO2020103533A1 (zh) * | 2018-11-20 | 2020-05-28 | 中车株洲电力机车有限公司 | 一种轨道和道路障碍物检测方法 |
| CN111368706A (zh) * | 2020-03-02 | 2020-07-03 | 南京航空航天大学 | 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI504916B (zh) * | 2014-04-01 | 2015-10-21 | Wistron Neweb Corp | 調頻連續波雷達感測系統之信號處理方法及信號處理裝置 |
| CN109059902B (zh) * | 2018-09-07 | 2021-05-28 | 百度在线网络技术（北京）有限公司 | 相对位姿确定方法、装置、设备和介质 |
| US11391836B2 (en) * | 2019-04-10 | 2022-07-19 | Qualcomm Incorporated | Liveliness detection using radar |
-
2021
- 2021-01-29 CN CN202110124692.0A patent/CN112946627B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109387192A (zh) * | 2017-08-02 | 2019-02-26 | 湖南格纳微信息科技有限公司 | 一种室内外连续定位方法及装置 |
| WO2020103533A1 (zh) * | 2018-11-20 | 2020-05-28 | 中车株洲电力机车有限公司 | 一种轨道和道路障碍物检测方法 |
| CN110361709A (zh) * | 2019-06-28 | 2019-10-22 | 清华大学 | 一种基于动态虚警概率的车载毫米波雷达目标识别方法 |
| CN111368706A (zh) * | 2020-03-02 | 2020-07-03 | 南京航空航天大学 | 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 一种基于传感器的目标航迹起始决策算法在摄像头与毫米波雷达融合系统的应用;马振刚 等;设计研究;4-8 * |
| 基于船载雷达图像的海上船只检测方法;刘斌;黄韦艮;杨劲松;范开国;陈鹏;丁献文;;海洋学研究(04);33-38 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112946627A (zh) | 2021-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108983219B (zh) | 一种交通场景的图像信息和雷达信息的融合方法及系统 | |
| CN111429484B (zh) | 一种基于交通监控视频的多目标车辆轨迹实时构建方法 | |
| CN109858479B (zh) | 基于图像配准的机动车违法鸣笛抓拍系统 | |
| CN111027461B (zh) | 基于多维单步lstm网络的车辆轨迹预测方法 | |
| CN110298300B (zh) | 一种检测车辆违章压线的方法 | |
| CN111830502B (zh) | 数据集的建立方法、车辆和存储介质 | |
| CN111582253B (zh) | 基于事件触发的车牌跟踪识别方法 | |
| WO2023155483A1 (zh) | 一种车型识别方法、装置和系统 | |
| CN111208479B (zh) | 一种降低深度网络检测中虚警概率的方法 | |
| CN113111722A (zh) | 基于改进Mask R-CNN的自动驾驶目标识别方法 | |
| CN111915583A (zh) | 复杂场景中基于车载红外热像仪的车辆和行人检测方法 | |
| CN114299002A (zh) | 一种路面抛洒异常行为智能检测系统与方法 | |
| CN112946627B (zh) | 基于视觉信息的毫米波雷达检测系统及检测方法 | |
| CN114280611A (zh) | 一种融合毫米波雷达与摄像头的路侧感知方法 | |
| CN111830470A (zh) | 联合标定方法及装置、目标对象检测方法、系统及装置 | |
| US20220366570A1 (en) | Object tracking device and object tracking method | |
| CN114627447A (zh) | 基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统 | |
| CN113034378A (zh) | 一种区分电动汽车与燃油汽车的方法 | |
| CN114118253B (zh) | 一种基于多源数据融合的车辆检测方法及检测装置 | |
| Steingrube et al. | Performance evaluation of stereo algorithms for automotive applications | |
| CN110458019B (zh) | 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法 | |
| CN116091530A (zh) | 一种基于机器视觉的汽车覆盖件轮廓检测算法 | |
| Lin et al. | Incorporating appearance and edge features for vehicle detection in the blind-spot area | |
| Zhao et al. | Research on vehicle detection and vehicle type recognition under cloud computer vision | |
| CN108062861B (zh) | 一种智能交通监控系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |