CN111427038A

CN111427038A - 车库环境下基于视觉与77GHz雷达的目标识别方法

Info

Publication number: CN111427038A
Application number: CN202010208787.6A
Authority: CN
Inventors: 刘向荣; 李凯; 柳娟
Original assignee: Xiamen University
Current assignee: Xiamen University
Priority date: 2020-03-23
Filing date: 2020-03-23
Publication date: 2020-07-17

Abstract

车库环境下基于视觉与77GHz雷达的目标识别方法，涉及智能监控领域与电子信息技术。车库环境下，使用光学图像记录设备和毫米波雷达设备同步采集检测目标的视频数据和雷达数据；对采集到的视频数据和雷达数据进行处理；对处理后的数据信息展示和预警。克服传统监控领域中仅以光学图像记录设备为监控设备时成像条件苛刻，易被进光量、遮挡物和伪装物影响的缺点。可对车库环境下的动态物体进行实时的检测，为传统车库监控系统中的人力监控巡查方面进行成本缩减。减少了世界坐标系、雷达坐标系、摄像机坐标系和图像坐标系之间转换所产生的误差。将77GHz毫米波雷达信息与视觉信息结合，实现车库环境下动态物体的实时检测。

Description

车库环境下基于视觉与77GHz雷达的目标识别方法

技术领域

本发明涉及智能监控领域与电子信息技术领域，尤其是涉及一种车库环境下基于视觉与 77GHz雷达的目标识别方法。

背景技术

截至2019年3月底，中国机动车保有量达3.3亿辆，驾驶人达4.1亿，机动车、驾驶人总量及增量均居世界第一，与之相对应的是数目庞大的机动车停放车库。我国拥有着大量的机动车停放车库，车库环境内部环境复杂，车库内部所涉及的财产价值巨大。一旦发生人身安全、财产损失等问题，后果将不堪设想。因此，车库监控为车库环境下的安全问题起到了很好的预警、响应作用。

视频录像机等光学图像记录设备目前被广泛运用于车库监控领域，但是光学图像对数据的采集和处理存在着以下缺点：

1.光学图像成像条件较为严苛，容易受到风、雨、云等天气因素的影响；

2.光学图像在夜间等进光量不足的情况下，无法达到较优的成像结果；

光学图像探测范围内若出现遮挡物或伪装物，将会造成图像信息的错误表达；光学图像无法做到车库环境下动态物体的实时监控，需要投入大量的人力资源对光学信息进行人为查看。

毫米波雷达是指工作在毫米波波段(millimeter wave)探测的雷达，频域在30～300GHz 之间，波长在1～10mm之间。毫米波雷达频率高、波长短，不受光线、雾霾、沙尘暴等恶劣天气的影响，所以目前被广泛运用于汽车主动安全领域。目前毫米波雷达在行车安全领域应用的主要设备类别为24GHz毫米波雷达与77GHz毫米波雷达，其中77GHz毫米波雷达的体积更小、检测精度更好，在市场中占有更大的份额。其中，L.H.Kosowsky等人(Kosowsky L H,Aronoff A D,Ferraro R,et al.Integrating 77GHz radar and IRcamera for first responders[C]//Passive and Active Millimeter-Wave ImagingXXI.2018)将77GHz毫米波雷达运用在了消防救援的场景中，Martin Scher

等人(

Martin and Hesch,Clemens and Sevar,Jean-Marie,Fluid SurfaceVelocity Estimation Using a 77 GHz Radar Module,2019IEEE Topical Conferenceon Wireless Sensors and Sensor Networks (WiSNet)，2019.01，pages＝{1-4})将77GHz毫米波雷达用于检测液体表面的流速。赵占锋(赵占锋，一种基于77GHz毫米波雷达信号的手势识别方法。中国专利公布号： CN110348288A)还提出了一种使用77GHz毫米波雷达进行了手势识别的方法，但是目前77GHz 毫米波雷达还没有运用于车库监控领域的专利或研究。

发明内容

本发明的目的在于针对现有技术存在的上述不足之处，结合光学图像记录设备和77GHz 毫米波雷达设备的优点，提供一种车库环境下基于视觉与77GHz雷达的目标识别方法。

本发明包括以下步骤：

1)车库环境下，使用光学图像记录设备和毫米波雷达设备同步采集检测目标的视频数据和雷达数据；

2)对步骤1)采集到的视频数据和雷达数据进行处理；

3)对步骤2)处理后的数据信息展示和预警。

在步骤1)中，所述光学图像记录设备可采用每秒拍摄速率为30帧，拍摄分辨率为1920 ×1080，像素大小为1.14μm，焦距为3.95mm；所述毫米波雷达设备可采用77GHz毫米波雷达设备；所述采集需保证光学图像记录设备和77GHz毫米波雷达设备的采集方向一致，且方向应朝向车库中的通道，确保可以采集车库环境中的动态物体；且在采集过程中，距离光学图像记录设备和毫米波雷达设备前50cm以内的遮挡物存在时间不能超过20min；所述检测目标可为车库环境下的动态物体，包括行人或车辆等。

在步骤2)中，所述对步骤1)采集到的视频数据和雷达数据进行处理的具体方法为：

2.1使用MATLAB编写的77GHz毫米波雷达数据获取程序对车库环境内的数据进行采集，并对雷达数据进行噪点去除、物体聚类以及动态物体轨迹识别处理；

2.2将视频图像数据(30帧/秒)以5帧为间隔进行图像切割，再对处理后的77GHz毫米波雷达数据与切割后的图像数据进行时间融合、空间融合以及信息融合。

在步骤2.2中，所述时间融合是为指定光学图像和雷达数据进行配对，若单个光学图像数据与多个雷达数据存在配对关系，则取多个雷达数据的平均值与图像数据进行配对；

所述空间融合主要采用改进后的张正友标定法，引入世界坐标系，将雷达坐标系和摄像机坐标系相结合，实现了雷达数据和光学图像数据的空间融合，做到77GHz毫米波雷达检测的动态物体能与光学图像数据相对应；

所述信息融合主要是将光学图像数据与77GHz毫米波雷达数据相结合；光学图像数据经过深度学习网络的检测，可以向雷达数据处理模块提供动态物体的数量信息；77GHz毫米波雷达数据通过对信息的提取，可以向图像数据处理模块提供动态物体的速度和距离信息。

在步骤3)中，所述对步骤2)处理后的数据信息展示，为了实现光学图像数据和77GHz 毫米波雷达数据的融合，可利用深度学习中的YOLO v2网络模型对切割后的光学图像数据进行目标检测识别，再与77GHz毫米波雷达数据的目标检测结果进行比对；所述预警是指当信息展示出异常情况时(车库环境下发生人身财产安全问题)，可通过人工查看展示信息、人工查看车库监控系统、设立动态物体监测预警系统等方式对异常情况进行预警，以达到维护车库环境的安全问题。

与现有的技术相比，本发明的优点在于：

1、将77GHz毫米波雷达与光学图像记录设备结合，克服了传统监控领域中仅以光学图像记录设备为监控设备时成像条件苛刻，易被进光量、遮挡物和伪装物影响的缺点。

2、可以对车库环境下的动态物体进行实时的检测，为传统车库监控系统中的人力监控巡查方面进行成本缩减。

3、改进了张正友标定法，减少了世界坐标系、雷达坐标系、摄像机坐标系和图像坐标系之间转换所产生的误差。

4、创新性地将77GHz毫米波雷达信息与视觉信息结合，以实现车库环境下动态物体的实时检测。

附图说明

图1为光学图像记录设备和77GHz毫米波雷达设备数据采集示意图。

图2为77GHz毫米波雷达数据预处理结果示意图。

图3为融合信息结果示意图。

图4为标定板拍摄样例示意图。

具体实施方式

以下实施例将结合说明书附图对本发明作进一步描述。

本发明实施例包括以下步骤：

步骤1：根据图1的数据采集模型，利用光学图像记录设备和77GHz毫米波雷达设备采集光学图像数据(30帧/秒的视频)和77GHz毫米波雷达数据。所述光学图像记录设备采用每秒拍摄速率为30帧，拍摄分辨率为1920×1080，像素大小为1.14μm，焦距为3.95mm；所述77GHz毫米波雷达设备可采用TI公司的AWR1642，覆盖范围为76～81GHz，具有4GHz的可用带宽，具有4个接收通道和2个发送通道，TX功率为12.5dBm，RX噪声系数分别为14dB(76～77GHz)和15dB(77～81GHz)，1MHz时的相位噪声分别为95dBc/Hz(76～77GHz) 和–93dBc/Hz(77～81GHz)。在图1中，①为光学图像记录设备，②为77Ghz毫米波雷达设备，③为行人，④为车辆。①②设备并非与③④等比例缩放，仅为展示而放大。③④可以是其他动态物体。

步骤2：如图2所示，对77GHz毫米波雷达数据进行数据预处理。首先对雷达数据进行噪点去除；随后将同一动态物体反馈的多个雷达数据点进行聚类；最后将动态物体的轨迹进行重复现，并导出对应的雷达坐标系下的若干轨迹坐标数据。数据处理程序是基于德州仪器 TI AWR1642的配套软件和开发工具实现，编写语言为MATLAB，还可用Python、C、C++、C# 等主流、公开的语言编写实现数据处理功能,德州仪器TI AWR1642的配套软件和开发工具可在其官网下载并使用(http://www.ti.com.cn/product/cn/AWR1642)。图2中的XOY平面为水平面，O点位于77GHz毫米波雷达开发板处，X轴正向指向雷达开发板右侧，Y轴正向指向雷达开发板的检测正前方。

步骤3：对采集到的光学图像数据(30帧/秒的视频)按照以5帧为间隔进行图像切割，得到若干光学图像数据(图片)。

步骤4：结合上述两个步骤中的动态物体的雷达轨迹坐标数据和光学图像数据，进行时间融合操作。

步骤5：利用改进后的张正友标定法实现动态物体的雷达轨迹坐标数据和光学图像数据的空间融合，从而使雷达轨迹坐标数据能与光学图像数据中的像素坐标形成对应。其中改进后的张正友标定法叙述如下：

(1)标定板拍摄样例示意图如图4所示，利用步骤1中使用的光学图像记录设备拍摄 15张不同位置的标定板图像，其中不同位置要求标定板位于光学图像记录设备30～50cm位置处，且标定板平面与光学图像记录设备的摄像镜面保持平行；

(2)获取每个拍摄的标定板光学图像中，由标定板上12×9个黑白格自由组成的不重复的若干个四边形的实际面积。

(3)利用图像坐标到世界坐标的含未知量转化公式(求出未知量，即可完成图像坐标到世界坐标的转化)，结合张正友标定法获取的标定板角点数据，得到标定板上12×9个黑白格自由组成的不重复的若干个四边形的理论面积。

(4)利用步骤(2)与(3)中获取的若干个四边形实际面积与理论面积差值之和F，将图像坐标变为世界坐标的问题，转化为求F最小值的问题。随后利用遗传算法，计算当F最小时，图像坐标变为世界坐标的转化公式中未知量的具体数值，由此可以完成动态物体轨迹坐标数据和光学图像数据的空间融合。

步骤6：利用深度学习中的YOLO v2网络训练的模型，对步骤3获取的光学图像中的动态物体进行图像识别，并导出动态物体的数量信息数据。

步骤7：利用步骤6中的动态物体的数量信息数据，导入雷达数据识别模块，并将77GHz 毫米波雷达数据获取的动态物体速度、距离数据进行导出。

步骤8：结合步骤6和7中的导出数据，完成77GHz毫米波数据和光学图像数据的信息融合。添加：图3为融合信息结果示意图。图中的框体是步骤6中图像识别得到的目标框，点为，图中的点是步骤5中空间融合得到的目标雷达坐标转换成的像素坐标，图中框体上方的文字是步骤7中获得的动态物体的速度、距离信息。

步骤9：结合上述步骤获取和融合的数据，将数据以视频的方式进行展示；并构建车库环境下的动态物体监测预警系统，以达到维护车库环境下的安全问题。动态物体监测预警系统可采用基于HTTP协议的Browser/Server模型，用户通过本地计算机的浏览器提交原始的毫米波雷达数据、处理过的毫米波雷达数据或图像数据文件；Web服务器接收并识别这三种文件，根据文件类型进行相应功能操作；用户可以对Web服务器返回的数据进行查看和下载操作。动态物体监测预警系统的前端(即Browser/Server模型中的Browser部分)界面和功能可使用JavaScript语言编写，后端服务器程序(即Browser/Server模型中的Server部分) 可采用Python语言编写，并采用使用基于MTV模式的Web服务框架Django，MTV三个字母分别对应模型(Model)、模板(Template)和视图(View)。Django的具体使用方式可参照其官方文档给定的方案，网址为https://docs.djangoproject.com/en/2.1/)，以达到维护车库环境下的安全问题。

所述预警是指当信息展示出异常情况时(如图2所展示的数据点长时间消失或长时间过多，图3中的图像出现车库环境下的人身财产安全问题)，可通过人工查看展示信息、人工查看车库监控系统、设立动态物体监测预警系统等方式对异常情况进行预警，以达到维护车库环境的安全问题。

本发明实施例使用的77GHz毫米波雷达设备为TEXAS INSTRUMENTS AWR1642，使用的光学图像记录设备为HUAWEI Mate 10。在本发明的实际实施过程中，并不局限于上述两种设备。

本发明提供一种车库环境下基于77GHz毫米波雷达和视觉信息融合的动态目标检测方法。在此基础之上，可以实时监测车库环境下的动态物体，若发现异常行为可以启动相对应的预警监测系统。

本发明实施例步骤5提到的标定板型号为GP200-15-12×9，黑白格的均为15mm的正方形。

本发明实施例步骤6提到的YOLO v2网络训练的模型，指的是使用YOLOv3 YOLO v2网络对本发明测试期间采集到的所有数据集进行训练，从而得到的对车库环境下动态物体的识别模型。模型识别的动态物体标签包括car、person和group。

本发明实施例步骤9提到的动态物体监测预警系统，是对车库环境下的异常情况进行监测预警，预警情况包括但不限于：突发自然灾害导致的车库内部的安全问题、财产损失问题以及人身安全问题等。预警通知方式包括但不限于：车库及相关安全监控室的声音和图像通知、自动报警、自动求救和自动指引和打开车库环境下的安全通道等方式。

上述的实施例仅为本发明的较佳案例，并不是用于限制本发明，若在本发明的精神和原则之内所作的人和修改、等同替换和改进等行为，均应包含在本发明的保护范围之内。

Claims

1.车库环境下基于视觉与77GHz雷达的目标识别方法，其特征在于包括以下步骤：

2)对步骤1)采集到的视频数据和雷达数据进行处理；

3)对步骤2)处理后的数据信息展示和预警。

2.如权利要求1所述车库环境下基于视觉与77GHz雷达的目标识别方法，其特征在于在步骤1)中，所述光学图像记录设备采用每秒拍摄速率为30帧，拍摄分辨率为1920×1080，像素大小为1.14μm，焦距为3.95mm的光学图像记录设备。

3.如权利要求1所述车库环境下基于视觉与77GHz雷达的目标识别方法，其特征在于在步骤1)中，所述毫米波雷达设备采用77GHz毫米波雷达设备。

4.如权利要求1所述车库环境下基于视觉与77GHz雷达的目标识别方法，其特征在于在步骤1)中，所述光学图像记录设备和毫米波雷达设备的采集方向一致，且方向应朝向车库中的通道，以确保可采集车库环境中的动态物体。

5.如权利要求1所述车库环境下基于视觉与77GHz雷达的目标识别方法，其特征在于在步骤1)中，在采集过程中，距离光学图像记录设备和毫米波雷达设备前50cm以内的遮挡物存在时间不超过20min。

6.如权利要求1所述车库环境下基于视觉与77GHz雷达的目标识别方法，其特征在于在步骤1)中，所述检测目标为车库环境下的动态物体，包括行人或车辆。

7.如权利要求1所述车库环境下基于视觉与77GHz雷达的目标识别方法，其特征在于在步骤2)中，所述对步骤1)采集到的视频数据和雷达数据进行处理的具体方法为：

2.2将步骤1)采集的30帧/秒的视频图像数据以5帧为间隔进行图像切割，再对处理后的77GHz毫米波雷达数据与切割后的图像数据进行时间融合、空间融合以及信息融合。

8.如权利要求7所述车库环境下基于视觉与77GHz雷达的目标识别方法，其特征在于在步骤2.2中，所述时间融合是为指定光学图像和雷达数据进行配对，若单个光学图像数据与多个雷达数据存在配对关系，则取多个雷达数据的平均值与图像数据进行配对；

9.如权利要求1所述车库环境下基于视觉与77GHz雷达的目标识别方法，其特征在于在步骤3)中，所述对步骤2)处理后的数据信息展示，为了实现光学图像数据和77GHz毫米波雷达数据的融合，利用深度学习中的YOLO v2网络模型对切割后的光学图像数据进行目标检测识别，再与77GHz毫米波雷达数据的目标检测结果进行比对。

10.如权利要求1所述车库环境下基于视觉与77GHz雷达的目标识别方法，其特征在于在步骤3)中，所述预警是指当信息展示出异常情况时，即车库环境下发生人身财产安全问题时，通过人工查看展示信息、人工查看车库监控系统、设立动态物体监测预警系统的方式对异常情况进行预警，以达到维护车库环境的安全问题。