CN107862287A - 一种前方小区域物体识别及车辆预警方法 - Google Patents

一种前方小区域物体识别及车辆预警方法 Download PDF

Info

Publication number
CN107862287A
CN107862287A CN201711090849.2A CN201711090849A CN107862287A CN 107862287 A CN107862287 A CN 107862287A CN 201711090849 A CN201711090849 A CN 201711090849A CN 107862287 A CN107862287 A CN 107862287A
Authority
CN
China
Prior art keywords
target
layer
image
vehicle
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711090849.2A
Other languages
English (en)
Inventor
金立生
朱菲婷
夏海鹏
冯成浩
朱佳超
高铭
陈梅
郭柏苍
闫福刚
司法
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201711090849.2A priority Critical patent/CN107862287A/zh
Publication of CN107862287A publication Critical patent/CN107862287A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明一种前方小区域物体识别及车辆预警方法，属于车辆前方碰撞预警技术领域，具体如下：获取车辆前方待识别目标图像，并获取感兴趣区域ROI图像；对得到的感兴趣区域图像进行图像预处理，输入改进的YOLO卷积网络结构模型，进行目标识别，输出目标回归框和目标类别：将识别结果输入车辆预警系统，目标回归框的位置位于车辆行驶路线范围外或识别目标为非危险种类时，标记为非危险目标，车辆不预警；目标回归框的位置位于车辆行驶路线以内且识别的物体为危险种类以及无法识别的物体并具有一定的速度特征时，标记为危险目标，车辆预警，提醒驾驶员注意以避免事故发生。

Description

一种前方小区域物体识别及车辆预警方法
技术领域
本发明属于车辆前方碰撞预警技术领域，特别是涉及一种基于改进的YOLO卷积网络结构模型的前方小区域物体的识别及车辆预警方法。
背景技术
随着都市圈的扩大与科技的发展，汽车先进驾驶辅助系统得以迅速发展，其中前方碰撞预警系统在提高道路交通安全上起到了积极作用，已成为当前国际智能交通系统研究的热点。实时地对前方物体进行有效的检测与识别，并将有可能发生的危险信号发送至车辆预警系统，可以有效地防止车辆碰撞事故的发生。
现如今国内外已经有了多种目标检测方法：由使用的传感器可分为基于视觉(单目、双目立体)的方法、基于多传感器融合(激光传感器、毫米波雷达)的方法，由采用的检测算法可分为传统的检测方法与基于神经网络的检测方法等。基于单目视觉的目标检测方法是仅利用一台摄像机来获取物体的二维空间信息，成本低，系统结构简单，但是无法精准的测量目标的深度信息，难以确定目标物体的位置，双目立体视觉能基于视差原理计算出物体的三维空间信息，但是成本高，计算量大，难以达到好的配准效果；激光传感器受障碍物及其表面光滑度影响较大，对光线、雨等干扰非常敏感，不适合应用到小物体检测，毫米波雷达环境适应性好，对烟雾、灰尘的穿透能力强，测量的距离精度高，可以准确获得前方物体的深度信息；传统的检测方法需要大量的人工提取特征，受人为因素影响较大，准确率和实时性差，卷积神经网络在物体识别领域具有独特的优势和无限的潜力，而YOLO(You onlylook once:你只看一次)结构模型基于一种端到端的思想，利用一个网络同时完成分类和标注物体框，但是它对小尺寸物体的测量误差大，且对于细节的区分度太差，网络有待优化。
由于视野中前方小区域物体识别，对识别算法的精准度、实时性、鲁棒性要求更高，因此采用毫米波雷达与单目视觉系统融合的方法获取目标的三维空间信息，获得物体的距离、角度和相对速度，再采用改进后的YOLO卷积网络结构模型来进行物体的识别，以有效提高前方小区域物体的识别准确性，最后将识别结果作为车辆预警系统的输入，进行危险性判断，达到车辆预警效果。
发明内容
本发明所要解决的技术问题是旨在克服图像中小区域物体的大小、距离的不确定性以及采用传统的目标检测算法造成的识别准确率低和实时性差的问题，提供一种前方小区域物体识别及车辆预警方法，有效识别车辆前方行车视野中的小区域物体，并进行危险性判定，同时达到车辆预警效果。
本发明研究对象为小区域物体，该小区域定义为目标所占图像像素尺寸为总图像像素尺寸的百分之一，区域形状为正方体，且本发明仅仅针对图像中的目标都为小区域物体。前方行车路线视野中的小区域物体，有两种可能，一种是近距离的小物体，一种是远距离的大物体。这两种可能导致在视觉图像的呈现中相似。毫米波雷达可获得目标的距离、相对速度、角度，通过机器视觉验证前方目标并获得目标在图像中的位置。规定车辆行驶安全距离为至少大于100米，若目标距离大于100米，则判定为远处的大物体，若目标距离小于100米，则判定为近处的小物体。由于远处的大物体对车辆的行驶安全在短时间内不构成威胁，因此不予考虑和识别，只保留近处的小物体为识别对象，建立小物体的感兴趣区域ROI，将获取的感兴趣区域ROI经过图像预处理后作为卷积神经网络模型的输入。本发明采用的卷积神经网络模型为改进的YOLO卷积网络结构模型，该模型的输出为目标回归框和目标分类概率。将识别结果输入车辆预警系统，当目标回归框的位置位于车辆行驶路线范围外或识别目标为非危险种类时，标记为不危险目标，车辆不预警；当目标回归框的位置位于车辆行驶路线以内且识别的物体为危险种类以及无法识别的物体并具有一定的速度特征时，标记为危险目标，车辆预警，提醒驾驶员注意以避免事故发生。非危险种类包括树叶、塑料袋、泡沫、纸片等对车辆行驶不构成威胁的物体，危险种类包括交通桶、水马、三角警示牌、油漆桶、钢管等。
本发明具体采用如下的技术方案：一种前方小区域物体识别及车辆预警方法，其特征在于，包括如下步骤：
步骤一、获取车辆前方待识别目标图像，并获取感兴趣区域ROI图像；
具体如下：
1)车辆在行驶过程中，车辆前方采用毫米波雷达向前方发射毫米波探测车辆前方目标，并通过摄像机拍摄车辆前方图像；
2)建立毫米波雷达坐标系和图像像素坐标系之间的转换关系，将毫米波雷达坐标转换成图像像素坐标；
3)毫米波雷达提取车辆前方目标信息，信息包括车辆前方目标相对毫米波雷达的角度Angle、距离Range、相对速度RangeRate以及车辆前方目标的编号ID，并根据所提取的距离信息获取待识别目标，同时通过摄像机拍摄待识别目标图像；
具体待识别目标的获取步骤为：
①距离Range>100m，判定目标为远处的大物体，予以排除；
②1m<距离Range<100m,判定目标为近处的小物体，确定为有效目标，即待识别目标，予以保留；
4)将毫米波雷达坐标系下的毫米波雷达扫描点投影到图像像素坐标系，根据投影点在待识别目标图像上建立感兴趣区域ROI，并获取感兴趣区域ROI图像；
步骤二、对步骤一所得到的感兴趣区域ROI图像进行图像预处理，输入卷积神经网络结构模型中，进行目标识别，输出目标回归框和目标类别：
1)图像预处理：将感兴趣区域ROI图像重新设定成规格为448×448的图像；
2)搭建卷积神经网络结构模型进行目标识别，卷积神经网络结构模型采用改进的YOLO卷积网络结构模型；
改进的YOLO卷积网络结构模型共分为八个模块，首先是网络的输入模块即第一层，接着是卷积层加下采样层的组合模块即第二、三层之间，第三个模块是初始模块inception module和下采样层的组合即第四、五层之间，第四个模块为一组级联的卷积层即第六层，第五个模块是一个多层特征融合层即第七层，第六模块是卷积层即第八层，第七个模块是一个全连接层即第九层，第八模块是一个输出层即第十层，其中下采样层采用最大下采样，具体包括如下步骤：
①第一层，输入的图像规格为448×448，然后采用64个规格为7×7的卷积核对原始图像做卷积操作，步长s为2，卷积操作后，生成64个特征图，且特征图尺寸缩减至规格为224×224，然后下采样，设定下采样规格为2×2，步长为2，最后输出64个规格为112×112的特征图；
②第二层，用64个规格为1×1的卷积核对上层输出进行卷积，步长为1，进行降维，接着使用192个规格为3×3的卷积核去卷积上层输出，生成192个规格为112×112的特征图，再经过步长为2，规格为2×2的最大下采样层，最后输出192个规格为56×56的特征图；
③第三层，采用初始模块inception module和下采样的组合模块，其中初始模块inception module包括第一初始模块和第二初始模块，第一初始模块首先分别采用规格为1×1，3×3，5×5的卷积核将原始输入拓宽为四个网络宽度，并且前一层先分三路进行规格为1×1的卷积，最后一路使用最大池化操作，再次分别进入规格为3×3，5×5和1×1的卷积核，最后，将四路所得的特征汇总，一并输出，第一初始模块中最后输出256个规格为56×56的特征图，再经过第二初始模块结构，输出则变为480个规格为56×56的特征图，再经过一个步长为2，池化规格为2×2的最大池化操作，输出480个规格为28×28的特征图；
④第四层，原始图像在经过第三层初始inception和最大池化操作后，该输出再作为输入进入第四层，同样经过四路分支又合并的两组的初始inception后，输出512个规格为28×28的特征图，再经过步长为2，池化规格为2×2的最大池化操作后，输出512个规格为14×14的特征图；
⑤第五层，采用级联不同规格和数量的卷积核操作，将第四层最后输出的特征图经过六次卷积操作，前五次的步长为1，最后一次是1024个规格为3×3的卷积核，步长为2，输出的特征图为1024个规格为7×7的特征图；
⑥第六层，为第五层所输出的1024个规格为7×7的特征图；
⑦第七层，采用多层特征融合方法，将第四层输入的480个规格为28×28的特征图与第六层1024个规格为7×7的特征图进行特征融合，第四层采用下采样得到480个规格为14×14的特征图，第六层采用上采样得到1024个规格为14×14的特征图，最后融合形成1504个规格为14×14的特征图；
⑧第八层，将融合的特征图进行两组1024个规格为3×3的卷积操作，便得到了输出为1024个规格为7×7的特征图；
⑨第九层，进行全卷积，共有4096组滤波器，每组滤波器含有1024个卷积核，每个卷积核规格为7×7，则输出为4096个规格为1×1的特征图；
⑩第十层，再进行一次全卷积，网络输出张量个数为S×S×(B×5+C)，其中S代表图像划分的格数，B代表预测目标回归框的个数，C代表标注的类别，然后将网络预测的类别以及网络筛选好的物体框在图片上显示出来，进行目标的识别；
其中，改进后YOLO卷积网络的损失函数公式为：
其中λcoord表示计算损失时坐标偏差的权重参数，λnoobj表示计算损失时预测框无目标的权重参数，表示落在第i号位置区域的第j号物体框对该区域识别合理，表示落在第i号位置区域的第j号物体框对该区域识别不合理，表示目标物体出现在第i号位置区域中；xi和yi代表第i号位置区域的实际坐标位置，x′i和y′i代表第i号位置区域的预测坐标位置，wi和hi代表第i号位置区域的实际宽度和高度，w′i和h′i表示第i号位置区域的预测宽度和高度，ci表示第i号位置区域实际类别,c′i表示第i号位置区域预测类别，class表示所需要识别物体的总类别，c∈class表示C代表的标注类别属于class所包含的类别，pi(c)表示该物体属于c类物体的实际概率，p′i(c)表示该物体属于c类物体的预测概率；
步骤三、将识别输出结果输入车辆预警系统，目标回归框的位置位于车辆行驶路线范围外或识别目标为非危险种类时，标记为非危险目标，车辆不预警；目标回归框的位置位于车辆行驶路线以内且识别的物体为危险种类以及无法识别的物体并具有一定的速度特征时，标记为危险目标，车辆预警，提醒驾驶员注意以避免事故发生。
进一步，步骤一中的步骤2)所述的建立毫米波雷达坐标系和图像像素坐标系之间的转换关系，其过程包括如下步骤：
1)建立毫米波雷达坐标系和世界坐标系的转换关系，其过程如下：
①毫米波雷达坐标系的X0O0Z0平面与世界坐标系的XOZ平面平行，两平面之间的距离为Y0；
②通过毫米波雷达得到车辆前方目标中心点投影到毫米波雷达扫射平面内的点P相对毫米波雷达的距离R和角度α，其中PO0＝R,单位：m，∠PO0Z＝α,单位：度；
③确定点P在世界坐标系下的坐标，转换关系如下：
2)建立世界坐标系、摄像机坐标系和图像物理坐标系的转换关系，其过程如下：
①摄像机的光轴与地面平行；
②用于标定的棋盘与毫米波雷达反射面在同一平面，且位于其正上方与地平面垂直，棋盘的左上角点与毫米波雷达反射面中心点连线垂直于地平面，确定棋盘左上角点距离安装位置的高度Y0，单位：mm；
③将世界坐标系中P点的坐标(XW，YW，ZW)变换到摄像机坐标(XC，YC，ZC),变换公式如下：
式中，R为世界坐标系到摄像机坐标系的3×3旋转矩阵，t为世界坐标系到摄像机坐标系的3×1平移矩阵，LW表示将的矩阵简化后形成的4×4矩阵；
④将摄像机坐标(XC，YC，ZC)变换到图像物理坐标(x，y)，转换公式如下：
式中,f为摄像机焦距，单位：mm；
3)建立图像物理坐标系和图像像素坐标系的转换关系，其过程如下：
将图像物理坐标(x，y)转换到图像像素坐标(u，v)，转换公式如下：
式中,dx、dy分别为图像物理坐标系下每个象素在横方向轴上的物理尺寸、纵方向轴上的物理尺寸，u0、v0分别为图像像素坐标系下摄像机光轴和图像平面交点的横坐标、纵坐标，单位：pixel。
进一步，步骤一中的步骤4)将毫米波雷达坐标系下的毫米波雷达扫描点投影到图像像素坐标系，根据投影点在待识别目标图像上建立感兴趣区域ROI，并获取感兴趣区域ROI图像,其过程包括如下步骤：
1)利用毫米波雷达坐标系转换到图像像素坐标系的投影矩阵，将毫米波雷达坐标系下的车辆前方待识别目标的中心点在毫米波雷达扫描平面的投影点转换到待识别目标图像平面上；
2)根据投影点的图像像素坐标，小区域的定义范围，建立待识别目标的感兴趣区域ROI，其中小区域定义为目标所占图像像素尺寸为总图像像素尺寸的百分之一，区域形状为正方体。
进一步，步骤三中所述非危险种类包括树叶、塑料袋、泡沫及纸片；危险种类包括交通桶、水马、三角警示牌、油漆桶及钢管。
与现有技术相比，本发明所带来的有益效果为：
1、本发明所述的前方小区域物体识别及车辆预警方法不仅可以获得前方小区域物体的深度、距离信息，而且可以根据毫米波雷达数据信息在二维图像上初步建立感兴趣区域；
2、采用改进的YOLO卷积网络结构模型比原YOLO卷积网络具有更强大的提取图像特征的能力，提取到的特征表达更丰富。一方面新网络使用了不同数目大小尺寸不一的卷积核来增加提取的特征的多样性；另一方面，改进的YOLO卷积网络结构模型采用一种并行的结构，充分整合不同卷积核提取的特征，使得得到的特征表达更丰富；最后改进的YOLO卷积网络结构模型采用多层特征融合的方法，获得表达能力更强的信息，对于小尺寸目标的识别，提升效果更为明显；
3、设计车辆预警系统，将识别结果输入车辆预警系统，自主判定目标的危险性，以提醒驾驶员作出反应，更进一步可应用于无人驾驶领域。
附图说明
图1是本发明一种前方小区域物体识别及车辆预警方法的流程图。
图2是本发明所述方法中的毫米波雷达坐标系和世界坐标系的关系。
图3是本发明所述方法中的摄像机坐标系、世界坐标系和图像物理坐标系的关系。
图4是本发明中所述方法中的图像物理坐标系和图像像素坐标系的关系。
图5是本发明中所述方法中的改进的YOLO卷积网络结构模型的总结构。
图6是本发明实施例中所述方法中的初始模块(3a)网络结构。
图7是本发明实施例中所述方法中的初始模块(3b)网络结构。
图8是本发明实施例中所述方法中的初始模块(4a)网络结构。
图9是本发明实施例中所述方法中的初始模块(4b)网络结构。
图10是本发明中所述方法中的车辆预警系统中车辆行驶范围示意图。
图11是本发明中安全制动距离的组成。
图12是遇到前方紧急停车识别停车三角标志过程示意图。
具体实施方式
下面结合附图，对本发明进一步说明：本发明提出了一种前方小区域物体识别及车辆预警方法，首先获得世界坐标和图像像素坐标的投影矩阵，建立毫米波雷达坐标系和图像像素坐标系之间的转换关系，然后通过毫米波雷达获得车辆前方目标即障碍物的距离、相对速度和目标编号ID等信息，根据距离信息判断小区域物体是否为近距离的小物体，排除远距离目标，确定有效目标后将毫米波雷达坐标系下的毫米波雷达扫描点投影到图像像素坐标系，根据投影点图像像素坐标和小区域物体的定义范围在图像上建立感兴趣区域ROI并截取，将所得到的感兴趣区域ROI图像进行预处理后输入改进的YOLO卷积网络结构模型进行检测识别，并将识别结果输入车辆预警系统，进行危险性判定，从而达到车辆预警效果，避免交通事故发生。
参照图1，本发明所述的一种前方小区域物体识别及车辆预警方法包括如下步骤：
1、建立毫米波雷达坐标系和图像像素坐标系之间的转换关系，其过程包括如下步骤：
1)参阅图2，建立毫米波雷达坐标系和世界坐标系的转换关系，其过程如下：
①毫米波雷达坐标系的X0O0Z0平面与世界坐标系的XOZ平面平行，两平面之间的距离为Y0；
②通过毫米波雷达得到车辆前方目标中心点投影到毫米波雷达扫射平面内的点P相对毫米波雷达的距离R和角度α，其中PO0＝R,单位：m，∠PO0Z＝α,单位：度；
③确定点P在世界坐标系下的坐标，转换关系如下：
2)参阅图3，建立世界坐标系、摄像机坐标系和图像物理坐标系的转换关系，其过程如下：
①使摄像机的光轴与地面平行；
②使用于标定的棋盘与毫米波雷达反射面在同一平面，且位于其正上方与地平面垂直，棋盘的左上角点与毫米波雷达反射面中心点连线垂直于地平面，确定棋盘左上角点距离安装位置的高度Y0，单位：mm；
③将世界坐标系中P点的坐标(XW，YW，ZW)变换到摄像机坐标(XC，YC，ZC),变换公式如下：
式中，R为世界坐标系到摄像机坐标系的3×3旋转矩阵，t为世界坐标系到摄像机坐标系的3×1平移矩阵，LW表示将的矩阵简化后形成的4×4矩阵；
④将摄像机坐标(XC，YC，ZC)变换到图像物理坐标(x，y)，转换公式如下：
式中,f为摄像机焦距，单位：mm；
3)参阅图4，建立图像物理坐标系和图像像素坐标系的转换关系，其过程如下：
将图像物理坐标(x，y)转换到图像像素坐标(u，v)，转换公式如下：
式中,dx、dy分别为图像物理坐标系下每个象素在横方向轴上的物理尺寸、纵方向轴上的物理尺寸，u0、v0分别为图像像素坐标系下摄像机光轴和图像平面交点的横坐标、纵坐标，单位：pixel。
2、解算接收到的毫米波雷达数据信息确定有效目标的步骤如下：
1)对毫米波雷达接收到的数据按照毫米波雷达协议进行解算，得到车辆前方目标相对毫米波雷达的角度Angle、距离Range、相对速度RangeRate以及代表车辆前方目标的编号ID；
2)根据数据中的距离确定有效目标，同时通过摄像机拍摄待识别目标图像，其步骤如下：
①当Range>100m时，判定该小像素区域的物体为远方的大物体，予以排除；
②当1m<Range<100m，判定该小像素区域的物体为近处的小物体，予以保留，确立为有效目标，即待识别目标。
3、在待识别目标图像上建立感兴趣区域ROI包括如下步骤：
1)利用毫米波雷达坐标系转换到图像像素坐标系的投影矩阵，将毫米波雷达坐标系下的车辆前方待识别目标的中心点在毫米波雷达扫描平面的投影点转换到待识别目标图像平面上；
2)根据投影点的图像像素坐标，小区域的定义范围，建立待识别目标的感兴趣区域ROI。
4、基于改进的YOLO卷积网络结构模型方法识别感兴趣区域ROI的步骤如下：
1)截取感兴趣区域ROI图像，并将图像重新设定成规格为448×448；
2)参阅图5，改进的YOLO卷积神经网络结构，共分为八个模块，首先是网络的输入模块即第一层，接着是卷积层加下采样层的组合模块即第二、三层之间，第三个模块是初始模块inception module和下采样层的组合即第四、五层之间，第四个模块为一组级联的卷积层即第六层，第五个模块是一个多层特征融合层即第七层，第六模块是卷积层即第八层，第七个模块是一个全连接层即第九层，第八模块是一个输出层即第十层，其中下采样层采用最大下采样。下面来具体来阐述一下改进的YOLO卷积神经网络结构的总结构，包括如下步骤：
①第一层，输入的图像规格为448×448，然后采用64个规格为7×7的卷积核对原始图像做卷积操作，步长s为2，卷积操作后，会生成64个特征图，特征图尺寸缩减至规格为224×224，然后下采样，设定下采样规格为2×2，步长为2，最后输出64个规格为112×112的特征图；
②第二层，用64个规格为1×1的卷积核对上层输出进行卷积，步长为1，进行降维，接着使用192个规格为3×3的卷积核去卷积上层输出，生成192个规格为112×112的特征图，再经过步长为2，规格为2×2的最大下采样层，最后输出192个规格为56×56的特征图；
③第三层，采用初始模块inception module和下采样的组合模块，图6和图7分别是初始模块(3a)和初始模块(3b)的网络结构，其中图中最大下采样2是指第二层的最大池化层，输出3-1是指初始模块(3a)的输出，输出3-2是指初始模块(3b)的输出，初始模块(3a)分别应用了规格为1×1，3×3，5×5的卷积核，并将原始输入拓宽为四个网络宽度，并且前一层先分三路进行规格为1×1的卷积，以减少网络参数厚度，降低计算量，最后一路使用最大池化操作，以便将上一层特征缩减冗余信息，后面再分别进入规格为3×3，5×5和1×1的卷积核，这样，就实现了在不同尺度下来提取图片的特征，更细致和全面地解读了原始图片中隐藏的丰富的信息，最后，将四路所得的特征汇总，一并输出。初始模块(3a)中最后输出256个规格为56×56的特征图，再经过初始模块(3b)网络结构，输出则变为480个规格为56×56的特征图，再经过一个步长为2，池化规格为2×2的最大池化操作，输出为480个规格为28×28的特征图；
④第四层，图8和图9分别是初始模块(4a)和初始模块(4b)的网络结构，原始图像在经过第三层初始inception和最大池化操作后，该输出再作为输入进入第四层，同样经过四路分支又合并的两组的初始inception后，输出512个规格为28×28的特征图，再经过步长为2，池化规格为2×2的最大池化操作后，输出512个规格为14×14的特征图；
⑤第五层，采用级联不同规格和数量的卷积核操作，将第四层最后输出的特征图经过六次卷积操作，前五次的步长为1，最后一次是1024个规格为3×3的卷积核，步长为2，输出的特征图为1024个规格为7×7的特征图；
⑥第六层，为第五层所输出的1024个规格为7×7的特征图；
⑦第七层，采用多层特征融合方法，将第四层480个规格为28×28的特征图与第六层1024个规格为7×7的特征图进行特征融合，第四层采用下采样得到480个规格为14×14的特征图，第六层采用上采样得到1024个规格为14×14的特征图，最后融合形成1504个规格为14×14的特征图。融合两层而非三层或四层特征图的主要原因是防止输入尺寸过大导致GPU内存占用情况严重，且相邻特征图相关性较大，融合后性能提升不明显，故采用不相邻的两层特征图进行融合；浅层网络更容易提取局部细节信息，深层网络更容易提取全局整体信息，因此融合不同深度卷积层的特征信息可综合局部与全局特征，获得表达能力更强的特征信息，从而改善后续的目标分类与定位效果；
⑧第八层，将融合的特征图进行两组1024个规格为3×3的卷积操作，便得到了输出为1024个规格为7×7的特征图；
⑨第九层，进行全卷积，共有4096组滤波器，每组滤波器含有1024个卷积核，每个卷积核规格为7×7，则输出为4096个规格为1×1的特征图；
⑩第十层，再进行一次全卷积，网络输出张量个数为S×S×(B×5+C)，其中S代表图像划分的格数，B代表预测目标回归框的个数，C代表标注的类别。以YOLO卷积网络所采用的参数为例，S＝7，B＝2，PASCAL VOC(模式分析、静态建模和计算学习视觉在线通讯数据集)有20类标注的类别，所以C＝20，最终网络输出为7×7×30＝1470个张量,然后将网络预测的类别以及网络筛选好的物体框在图片上显示出来。采用不同的数据库，可设置不同的参数，进行目标的识别。
3)改进的YOLO卷积网络结构模型，对原模型主要进行以下四处改进，具体如下：
①修改了原YOLO卷积网络的损失函数，将比例的形式替换了原有差值的形式。相对于旧的损失函数，新的损失函数显得更灵活，优化得更好：
原YOLO卷积网络损失函数如下所示：
改进后YOLO卷积网络的损失函数公式为：
其中λcoord表示计算损失时坐标偏差的权重参数，λnoobj表示计算损失时预测框无目标的权重参数，表示落在第i号位置区域的第j号物体框对该区域识别合理，表示落在第i号位置区域的第j号物体框对该区域识别不合理，表示目标物体出现在第i号位置区域中；xi和yi代表第i号位置区域的实际坐标位置，x′i和y′i代表第i号位置区域的预测坐标位置，wi和hi代表第i号位置区域的实际宽度和高度，w′i和h′i表示第i号位置区域的预测宽度和高度，ci表示第i号位置区域实际类别,c′i表示第i号位置区域预测类别，class表示所需要识别物体的总类别，c∈class表示C代表的标注类别属于class所包含的类别，pi(c)表示该物体属于c类物体的实际概率，p′i(c)表示该物体属于c类物体的预测概率；需要注意的是，该损失函数不仅指导物体所属类别的优化，还指导检测物体的物体框的位置的优化。
②将原YOLO卷积网络的第一二层之间添加了一个64个规格为1×1的卷积核，这样就使得该层的权重参数的数量减少，所提取的特征过渡比较平滑。
③参阅图6至图9，将原YOLO卷积网络的第三层和第四层的结构用新的初始inception结构来替换。初始inception结构本身就有加深和加宽网络的能力，并且在增强网络后还会使得网络的参数减少很多。这就为网络的识别性能和运行时间提供了理论依据。
④提出多层特征融合方法，主要融合第四层和第六层的卷积特征图输出，第四层采用下采样操作，第六层采用上采样操作，以获得更为丰富的细节信息，特别是针对小尺寸目标。考虑到不同深度卷积层的激活值幅值不尽一致，直接将不同层上采样或降维的特征图连接到一起可能会造成某些信息被抑制或被增强，因此采用局部响应归一化操作平滑不同特征图间的激活值。表示某一原始特征图上的点(x，y)上有i个卷积核进行卷积的激活值，则归一化后的激活值为：
其中N是该层总卷积核数目，k，n，α，β是由验证集所决定的超参数。
5、将识别结果输入车辆预警系统，进行危险性判定和标记，对危险性目标采取车辆预警，避免事故发生：
1)国家车辆宽度标准为2.8m～3.0m，为保证车辆安全，因此规定车辆行驶路线范围为以车辆质心纵轴线向左右延伸各2.5m宽度范围，并根据车辆的运行轨迹做适当调整；
2)根据车辆运行速度、前轮转角、方向盘转角信息判定预期的车辆运行轨迹；
3)参照图10，当车辆直行时车辆行驶路线范围为车辆质心纵轴线向左右延伸各2.5m宽度范围，当车辆向左转向行驶且方向盘转角速度向左时车辆行驶路线范围为车辆质心纵轴线向左延伸3.5m，向右延伸1.5m，当车辆向左转向行驶但方向盘转角速度向右时车辆行驶路线范围为车辆质心纵轴线向左延伸3.0m，向右延伸2m，当车辆向右转向行驶且方向盘转角速度向右时车辆行驶路线范围为车辆质心纵轴线向右延伸3.5m，向左延伸1.5m，当车辆向右转向行驶但方向盘转角速度向左时车辆行驶路线范围为车辆质心纵轴线向右延伸3.0m，向左延伸2m。
4)将识别出的目标与毫米波雷达所检测出的车辆前方目标的编号ID所匹配，判断目标物体ID所对应的空间坐标x是否在车辆行驶路线范围内，当目标位于车辆行驶路线范围外或识别目标为树叶、塑料袋等对车辆行驶安全不构成威胁的物体时，标记为不危险目标，车辆不预警；
5)当目标位于车辆行驶路线以内且识别的物体为交通桶、水马、钢管等金属物块以及无法识别的物体时，标记为危险性目标。
6)根据车速计算车辆紧急制动安全距离，当危险情况发生在安全距离内时，启动车辆紧急制动系统，当驾驶员介入操纵时，终止紧急制动系统，交由驾驶员控制车辆；当危险情况在安全距离和1.5倍安全距离之间时，启动车内喇叭系统进行预警提示。
参照图11，车辆紧急制动安全距离la包括两部分：发现危险到操作的反应时间tr行驶的距离、制动车辆到车辆停止的距离。取减速度a用来计算安全距离，v0为发现危险时车辆的行驶速度。计算公式如下：
7)举例说明：
参照图12，当车辆A以10m·s-1的速度在弯曲路面转向行驶，正常驾驶人发现危险到采取操纵正常时间为1.2秒，假设车辆以-4m·s-2的减速度减速，那么此速度下的安全距离为24.5m，1.5倍安全距离值为36.75m。由于车辆左转向，且方向盘没有向右转动，那么车辆的安全行驶区域为车辆中心线向左延伸3.5m向右延伸1.5m的区域。弯道前方区域有车辆B出现事故停在道路上，在车辆后方放置警示三角标志。当道路曲率很大，警示牌进入车辆安全行驶区域时，已经离车辆很近小于24.5m在安全制动距离以内，这时车辆立即启动紧急制动系统，直至驾驶员操纵车辆，触发紧急制动系统关闭。当道路曲率很小，警示牌进入车辆安全行驶区域时，警示牌离车辆的距离虽然大于安全制动距离，但是小于1.5倍的安全距离，这时启动车内喇叭系统进行预警。当道路曲率再小，当警示牌进入车辆安全行驶区域时，其与车辆的距离大于1.5倍安全距离，那么预警系统不工作，危险物暂时对车辆安全行驶没有威胁，同时驾驶员也有足够的时间去反应。
本实例提供了一种基于改进的YOLO卷积网络结构模型的前方障碍物检测和预警方法。依照本实例提供的检测和预警方法，可以有效地识别前方行车路线视野中的小区域物体，并对其类别、距离进行判断，同时根据车辆行驶状况判断是否影响车辆正常安全驾驶。当小区域物体影响车辆正常行驶时，则进行两级的预警系统，保证车辆行驶安全性。
本发明不限于上述实例，可进行各种改变。

Claims (4)

1.一种前方小区域物体识别及车辆预警方法，其特征在于，包括如下步骤：
步骤一、获取车辆前方待识别目标图像，并获取感兴趣区域ROI图像；
具体如下：
1)车辆在行驶过程中，车辆前方采用毫米波雷达向前方发射毫米波探测车辆前方目标，并通过摄像机拍摄车辆前方图像；
2)建立毫米波雷达坐标系和图像像素坐标系之间的转换关系，将毫米波雷达坐标转换成图像像素坐标；
3)毫米波雷达提取车辆前方目标信息，信息包括车辆前方目标相对毫米波雷达的角度Angle、距离Range、相对速度RangeRate以及车辆前方目标的编号ID，并根据所提取的距离信息获取待识别目标，同时通过摄像机拍摄待识别目标图像；
具体待识别目标的获取步骤为：
①距离Range>100m，判定目标为远处的大物体，予以排除；
②1m<距离Range<100m,判定目标为近处的小物体，确定为有效目标，即待识别目标，予以保留；
4)将毫米波雷达坐标系下的毫米波雷达扫描点投影到图像像素坐标系，根据投影点在待识别目标图像上建立感兴趣区域ROI，并获取感兴趣区域ROI图像；
步骤二、对步骤一所得到的感兴趣区域ROI图像进行图像预处理，输入卷积神经网络结构模型中，进行目标识别，输出目标回归框和目标类别：
1)图像预处理：将感兴趣区域ROI图像重新设定成规格为448×448的图像；
2)搭建卷积神经网络结构模型进行目标识别，卷积神经网络结构模型采用改进的YOLO卷积网络结构模型；
改进的YOLO卷积网络结构模型共分为八个模块，首先是网络的输入模块即第一层，接着是卷积层加下采样层的组合模块即第二、三层之间，第三个模块是初始模块inceptionmodule和下采样层的组合即第四、五层之间，第四个模块为一组级联的卷积层即第六层，第五个模块是一个多层特征融合层即第七层，第六模块是卷积层即第八层，第七个模块是一个全连接层即第九层，第八模块是一个输出层即第十层，其中下采样层采用最大下采样，具体包括如下步骤：
①第一层，输入的图像规格为448×448，然后采用64个规格为7×7的卷积核对原始图像做卷积操作，步长s为2，卷积操作后，生成64个特征图，且特征图尺寸缩减至规格为224×224，然后下采样，设定下采样规格为2×2，步长为2，最后输出64个规格为112×112的特征图；
②第二层，用64个规格为1×1的卷积核对上层输出进行卷积，步长为1，进行降维，接着使用192个规格为3×3的卷积核去卷积上层输出，生成192个规格为112×112的特征图，再经过步长为2，规格为2×2的最大下采样层，最后输出192个规格为56×56的特征图；
③第三层，采用初始模块inception module和下采样的组合模块，其中初始模块inception module包括第一初始模块和第二初始模块，第一初始模块首先分别采用规格为1×1，3×3，5×5的卷积核将原始输入拓宽为四个网络宽度，并且前一层先分三路进行规格为1×1的卷积，最后一路使用最大池化操作，再次分别进入规格为3×3，5×5和1×1的卷积核，最后，将四路所得的特征汇总，一并输出，第一初始模块中最后输出256个规格为56×56的特征图，再经过第二初始模块结构，输出则变为480个规格为56×56的特征图，再经过一个步长为2，池化规格为2×2的最大池化操作，输出480个规格为28×28的特征图；
④第四层，原始图像在经过第三层初始inception和最大池化操作后，该输出再作为输入进入第四层，同样经过四路分支又合并的两组的初始inception后，输出512个规格为28×28的特征图，再经过步长为2，池化规格为2×2的最大池化操作后，输出512个规格为14×14的特征图；
⑤第五层，采用级联不同规格和数量的卷积核操作，将第四层最后输出的特征图经过六次卷积操作，前五次的步长为1，最后一次是1024个规格为3×3的卷积核，步长为2，输出的特征图为1024个规格为7×7的特征图；
⑥第六层，为第五层所输出的1024个规格为7×7的特征图；
⑦第七层，采用多层特征融合方法，将第四层输入的480个规格为28×28的特征图与第六层1024个规格为7×7的特征图进行特征融合，第四层采用下采样得到480个规格为14×14的特征图，第六层采用上采样得到1024个规格为14×14的特征图，最后融合形成1504个规格为14×14的特征图；
⑧第八层，将融合的特征图进行两组1024个规格为3×3的卷积操作，便得到了输出为1024个规格为7×7的特征图；
⑨第九层，进行全卷积，共有4096组滤波器，每组滤波器含有1024个卷积核，每个卷积核规格为7×7，则输出为4096个规格为1×1的特征图；
⑩第十层，再进行一次全卷积，网络输出张量个数为S×S×(B×5+C)，其中S代表图像划分的格数，B代表预测目标回归框的个数，C代表标注的类别，然后将网络预测的类别以及网络筛选好的物体框在图片上显示出来，进行目标的识别；
其中，改进后YOLO卷积网络的损失函数公式为：
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>&amp;lambda;</mi> <mrow> <mi>c</mi> <mi>o</mi> <mi>o</mi> <mi>r</mi> <mi>d</mi> </mrow> </msub> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <msup> <mi>S</mi> <mn>2</mn> </msup> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>B</mi> </munderover> <msubsup> <mi>I</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mi>o</mi> <mi>b</mi> <mi>j</mi> </mrow> </msubsup> <mo>&amp;lsqb;</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>y</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>&amp;rsqb;</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>+</mo> <msub> <mi>&amp;lambda;</mi> <mrow> <mi>c</mi> <mi>o</mi> <mi>o</mi> <mi>r</mi> <mi>d</mi> </mrow> </msub> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <msup> <mi>S</mi> <mn>2</mn> </msup> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>B</mi> </munderover> <msubsup> <mi>I</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mi>o</mi> <mi>b</mi> <mi>j</mi> </mrow> </msubsup> <mo>&amp;lsqb;</mo> <msup> <mrow> <mo>(</mo> <mfrac> <mrow> <msub> <mi>w</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>w</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> </mrow> <msubsup> <mi>w</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> </mfrac> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <mfrac> <mrow> <msub> <mi>h</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>h</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> </mrow> <msubsup> <mi>h</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> </mfrac> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>&amp;rsqb;</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>+</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <msup> <mi>S</mi> <mn>2</mn> </msup> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>B</mi> </munderover> <msubsup> <mi>I</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mi>o</mi> <mi>b</mi> <mi>j</mi> </mrow> </msubsup> <msup> <mrow> <mo>(</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>c</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msub> <mi>&amp;lambda;</mi> <mrow> <mi>n</mi> <mi>o</mi> <mi>o</mi> <mi>b</mi> <mi>j</mi> </mrow> </msub> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <msup> <mi>S</mi> <mn>2</mn> </msup> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>B</mi> </munderover> <msubsup> <mi>I</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mi>n</mi> <mi>o</mi> <mi>o</mi> <mi>b</mi> <mi>j</mi> </mrow> </msubsup> <msup> <mrow> <mo>(</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>c</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <msup> <mi>S</mi> <mn>2</mn> </msup> </munderover> <msubsup> <mi>I</mi> <mi>i</mi> <mrow> <mi>o</mi> <mi>b</mi> <mi>j</mi> </mrow> </msubsup> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>c</mi> <mo>&amp;Element;</mo> <mi>c</mi> <mi>l</mi> <mi>a</mi> <mi>s</mi> <mi>s</mi> </mrow> </munder> <msup> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>(</mo> <mi>c</mi> <mo>)</mo> <mo>-</mo> <msubsup> <mi>p</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mo>(</mo> <mi>c</mi> <mo>)</mo> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中λcoord表示计算损失时坐标偏差的权重参数，λnoobj表示计算损失时预测框无目标的权重参数，表示落在第i号位置区域的第j号物体框对该区域识别合理，表示落在第i号位置区域的第j号物体框对该区域识别不合理,表示目标物体出现在第i号位置区域中；xi和yi代表第i号位置区域的实际坐标位置，x′i和y′i代表第i号位置区域的预测坐标位置，wi和hi代表第i号位置区域的实际宽度和高度，w′i和h′i表示第i号位置区域的预测宽度和高度，ci表示第i号位置区域实际类别,c′i表示第i号位置区域预测类别，class表示所需要识别物体的总类别,c∈class表示C代表的标注类别属于class所包含的类别，pi(c)表示该物体属于c类物体的实际概率，p′i(c)表示该物体属于c类物体的预测概率；
步骤三、将识别输出结果输入车辆预警系统，目标回归框的位置位于车辆行驶路线范围外或识别目标为非危险种类时，标记为非危险目标，车辆不预警；目标回归框的位置位于车辆行驶路线以内且识别的物体为危险种类以及无法识别的物体并具有一定的速度特征时，标记为危险目标，车辆预警，提醒驾驶员注意以避免事故发生。
2.根据权利要求1所述的一种前方小区域物体识别及车辆预警方法，其特征在于：步骤一中的步骤2)所述的建立毫米波雷达坐标系和图像像素坐标系之间的转换关系，其过程包括如下步骤：
1)建立毫米波雷达坐标系和世界坐标系的转换关系，其过程如下：
①毫米波雷达坐标系的X0O0Z0平面与世界坐标系的XOZ平面平行，两平面之间的距离为Y0；
②通过毫米波雷达得到车辆前方目标中心点投影到毫米波雷达扫射平面内的点P相对毫米波雷达的距离R和角度α，其中PO0＝R,单位：m，∠PO0Z＝α,单位：度；
③确定点P在世界坐标系下的坐标，转换关系如下：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>X</mi> <mi>W</mi> </msub> <mo>=</mo> <mi>R</mi> <mo>&amp;times;</mo> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&amp;alpha;</mi> <mo>&amp;times;</mo> <mn>1000</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>Y</mi> <mi>W</mi> </msub> <mo>=</mo> <msub> <mi>Y</mi> <mn>0</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>Z</mi> <mi>W</mi> </msub> <mo>=</mo> <mo>-</mo> <mi>R</mi> <mo>&amp;times;</mo> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;alpha;</mi> <mo>&amp;times;</mo> <mn>1000</mn> </mrow> </mtd> </mtr> </mtable> </mfenced>
2)建立世界坐标系、摄像机坐标系和图像物理坐标系的转换关系，其过程如下：
①摄像机的光轴与地面平行；
②用于标定的棋盘与毫米波雷达反射面在同一平面，且位于其正上方与地平面垂直，棋盘的左上角点与毫米波雷达反射面中心点连线垂直于地平面，确定棋盘左上角点距离安装位置的高度Y0，单位：mm；
③将世界坐标系中P点的坐标(XW，YW，ZW)变换到摄像机坐标(XC，YC，ZC),变换公式如下：
<mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>X</mi> <mi>C</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Y</mi> <mi>C</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Z</mi> <mi>C</mi> </msub> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>R</mi> </mtd> <mtd> <mi>t</mi> </mtd> </mtr> <mtr> <mtd> <msup> <mn>0</mn> <mi>T</mi> </msup> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>X</mi> <mi>W</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Y</mi> <mi>W</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Z</mi> <mi>W</mi> </msub> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <msub> <mi>L</mi> <mi>W</mi> </msub> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>X</mi> <mi>W</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Y</mi> <mi>W</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Z</mi> <mi>W</mi> </msub> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> </mrow>
式中，R为世界坐标系到摄像机坐标系的3×3旋转矩阵，t为世界坐标系到摄像机坐标系的3×1平移矩阵，LW表示将的矩阵简化后形成的4×4矩阵；
④将摄像机坐标(XC，YC，ZC)变换到图像物理坐标(x，y)，转换公式如下：
<mrow> <msub> <mi>Z</mi> <mi>C</mi> </msub> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>x</mi> </mtd> </mtr> <mtr> <mtd> <mi>y</mi> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>f</mi> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mi>f</mi> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>X</mi> <mi>C</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Y</mi> <mi>C</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Z</mi> <mi>C</mi> </msub> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> </mrow>
式中,f为摄像机焦距，单位：mm；
3)建立图像物理坐标系和图像像素坐标系的转换关系，其过程如下：
将图像物理坐标(x，y)转换到图像像素坐标(u，v)，转换公式如下：
<mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>u</mi> </mtd> </mtr> <mtr> <mtd> <mi>v</mi> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <mn>1</mn> <mo>/</mo> <msub> <mi>d</mi> <mi>x</mi> </msub> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <msub> <mi>u</mi> <mn>0</mn> </msub> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mn>1</mn> <mo>/</mo> <msub> <mi>d</mi> <mi>y</mi> </msub> </mrow> </mtd> <mtd> <msub> <mi>v</mi> <mn>0</mn> </msub> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>x</mi> </mtd> </mtr> <mtr> <mtd> <mi>y</mi> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> </mrow>
式中,dx、dy分别为图像物理坐标系下每个象素在横方向轴上的物理尺寸、纵方向轴上的物理尺寸，u0、v0分别为图像像素坐标系下摄像机光轴和图像平面交点的横坐标、纵坐标，单位：pixel。
3.根据权利要求1所述的一种前方小区域物体识别及车辆预警方法，其特征在于：步骤一中的步骤4)将毫米波雷达坐标系下的毫米波雷达扫描点投影到图像像素坐标系，根据投影点在待识别目标图像上建立感兴趣区域ROI，并获取感兴趣区域ROI图像,其过程包括如下步骤：
1)利用毫米波雷达坐标系转换到图像像素坐标系的投影矩阵，将毫米波雷达坐标系下的车辆前方待识别目标的中心点在毫米波雷达扫描平面的投影点转换到待识别目标图像平面上；
2)根据投影点的图像像素坐标，小区域的定义范围，建立待识别目标的感兴趣区域ROI，其中小区域定义为目标所占图像像素尺寸为总图像像素尺寸的百分之一，区域形状为正方体。
4.根据权利要求1所述的一种前方小区域物体识别及车辆预警方法，其特征在于：步骤二中所述非危险种类包括树叶、塑料袋、泡沫及纸片；危险种类包括交通桶、水马、三角警示牌、油漆桶及钢管。
CN201711090849.2A 2017-11-08 2017-11-08 一种前方小区域物体识别及车辆预警方法 Pending CN107862287A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711090849.2A CN107862287A (zh) 2017-11-08 2017-11-08 一种前方小区域物体识别及车辆预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711090849.2A CN107862287A (zh) 2017-11-08 2017-11-08 一种前方小区域物体识别及车辆预警方法

Publications (1)

Publication Number Publication Date
CN107862287A true CN107862287A (zh) 2018-03-30

Family

ID=61701214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711090849.2A Pending CN107862287A (zh) 2017-11-08 2017-11-08 一种前方小区域物体识别及车辆预警方法

Country Status (1)

Country Link
CN (1) CN107862287A (zh)

Cited By (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629309A (zh) * 2018-04-28 2018-10-09 成都睿码科技有限责任公司 基坑周围人员安全保障方法
CN108805064A (zh) * 2018-05-31 2018-11-13 中国农业大学 一种基于深度学习的鱼类定位检测和识别方法及系统
CN109003276A (zh) * 2018-06-06 2018-12-14 上海国际汽车城（集团）有限公司 基于双目立体视觉与低线束激光雷达的融合矫正方法
CN109035160A (zh) * 2018-06-29 2018-12-18 哈尔滨商业大学 医学影像的融合方法及基于融合医学影像学习的图像检测方法
CN109033947A (zh) * 2018-06-11 2018-12-18 北京航空航天大学 基于深度学习的路面遗撒识别方法
CN109086690A (zh) * 2018-07-13 2018-12-25 北京旷视科技有限公司 图像特征提取方法、目标识别方法及对应装置
CN109086679A (zh) * 2018-07-10 2018-12-25 西安恒帆电子科技有限公司 一种毫米波雷达安检仪异物检测方法
CN109142371A (zh) * 2018-07-31 2019-01-04 华南理工大学 基于深度学习的高密度柔性基板外观缺陷检测系统与方法
CN109165697A (zh) * 2018-10-12 2019-01-08 福州大学 一种基于注意力机制卷积神经网络的自然场景文字检测方法
CN109241982A (zh) * 2018-09-06 2019-01-18 广西师范大学 基于深浅层卷积神经网络的目标检测方法
CN109242801A (zh) * 2018-09-26 2019-01-18 北京字节跳动网络技术有限公司 图像处理方法和装置
CN109334563A (zh) * 2018-08-31 2019-02-15 江苏大学 一种基于道路前方行人和骑行者的防碰撞预警方法
CN109447101A (zh) * 2018-09-04 2019-03-08 北京悦图遥感科技发展有限公司 基于深度cnn的车辆位置识别方法、装置及存储介质
CN109459750A (zh) * 2018-10-19 2019-03-12 吉林大学 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法
CN109508710A (zh) * 2018-10-23 2019-03-22 东华大学 基于改进YOLOv3网络的无人车夜间环境感知方法
CN109711330A (zh) * 2018-12-25 2019-05-03 山东雷诚电子科技有限公司 一种主动毫米波人体成像威胁物检测方法
CN109726683A (zh) * 2018-12-29 2019-05-07 北京市商汤科技开发有限公司 目标对象检测方法和装置、电子设备和存储介质
CN109902556A (zh) * 2019-01-14 2019-06-18 平安科技（深圳）有限公司 行人检测方法、系统、计算机设备及计算机可存储介质
CN110060286A (zh) * 2019-04-25 2019-07-26 东北大学 一种单目深度估计方法
CN110059554A (zh) * 2019-03-13 2019-07-26 重庆邮电大学 一种基于交通场景的多支路目标检测方法
CN110209865A (zh) * 2019-05-24 2019-09-06 广州市云家居云科技有限公司 一种基于深度学习的物体识别及匹配方法
CN110228413A (zh) * 2019-06-10 2019-09-13 吉林大学 大型车辆转弯时避免行人卷入车下的安全预警系统
CN110412563A (zh) * 2019-07-29 2019-11-05 哈尔滨工业大学 一种基于多传感器融合的辅助列车车皮挂接的便携式测距仪及其工作方法
CN110502019A (zh) * 2019-09-06 2019-11-26 北京云迹科技有限公司 一种室内机器人的避障方法及装置
CN110501709A (zh) * 2018-05-18 2019-11-26 财团法人工业技术研究院 目标检测系统、自主车辆以及其目标检测方法
CN110648490A (zh) * 2019-09-26 2020-01-03 华南师范大学 适用于嵌入式平台的多因子火焰识别方法
CN110660186A (zh) * 2018-06-29 2020-01-07 杭州海康威视数字技术股份有限公司 基于雷达信号在视频图像中识别目标对象的方法及装置
CN110674733A (zh) * 2019-09-23 2020-01-10 厦门金龙联合汽车工业有限公司 多目标检测识别方法和辅助驾驶方法、系统
CN110758354A (zh) * 2019-10-16 2020-02-07 刘志方 基于大数据采集的车辆紧急制动执行系统
CN110826572A (zh) * 2018-08-09 2020-02-21 京东方科技集团股份有限公司 多目标检测的非极大值抑制方法、装置及设备
CN110956575A (zh) * 2018-09-26 2020-04-03 京东方科技集团股份有限公司 转变图像风格的方法和装置、卷积神经网络处理器
CN110969064A (zh) * 2018-09-30 2020-04-07 北京四维图新科技股份有限公司 一种基于单目视觉的图像检测方法、装置及存储设备
CN111091122A (zh) * 2019-11-22 2020-05-01 国网山西省电力公司大同供电公司 一种多尺度特征卷积神经网络的训练和检测方法、装置
CN111186379A (zh) * 2020-01-21 2020-05-22 武汉大学 一种基于深度学习的汽车盲区危险物报警方法
CN111241893A (zh) * 2018-11-29 2020-06-05 阿里巴巴集团控股有限公司 一种标识识别方法、装置及系统
CN111401208A (zh) * 2020-03-11 2020-07-10 北京百度网讯科技有限公司 一种障碍物检测方法、装置、电子设备及存储介质
TWI705016B (zh) * 2019-07-22 2020-09-21 緯創資通股份有限公司 行車預警系統、行車預警方法及使用所述方法的電子裝置
CN111797741A (zh) * 2020-06-24 2020-10-20 中国第一汽车股份有限公司 车辆检测方法、装置、车辆和存储介质
CN111856440A (zh) * 2020-07-21 2020-10-30 北京百度网讯科技有限公司 位置检测方法、装置、设备及可读存储介质
CN111953934A (zh) * 2020-07-03 2020-11-17 北京航空航天大学杭州创新研究院 目标标示方法及装置
WO2020228405A1 (zh) * 2019-05-15 2020-11-19 北京字节跳动网络技术有限公司 图像处理方法、装置及电子设备
CN112026707A (zh) * 2020-09-08 2020-12-04 中国第一汽车股份有限公司 一种行人保护方法、装置、设备及介质
CN112034829A (zh) * 2019-05-15 2020-12-04 广州汽车集团股份有限公司 一种端到端自动驾驶方法及其系统、车辆
CN112233174A (zh) * 2020-09-10 2021-01-15 浙江大华技术股份有限公司 警示区域划分方法及其相关装置
CN112329497A (zh) * 2019-07-18 2021-02-05 杭州海康威视数字技术股份有限公司 一种目标识别方法、装置及设备
CN112349144A (zh) * 2020-11-10 2021-02-09 中科海微(北京)科技有限公司 一种基于单目视觉的车辆碰撞预警方法及系统
CN112428989A (zh) * 2020-10-30 2021-03-02 惠州华阳通用电子有限公司 一种车辆控制方法
CN112622930A (zh) * 2020-12-22 2021-04-09 北京百度网讯科技有限公司 无人车的行驶控制方法、装置、设备以及自动驾驶车辆
CN112744174A (zh) * 2021-01-18 2021-05-04 深圳广联赛讯股份有限公司 车辆碰撞监测方法、装置、设备及计算机可读存储介质
CN112835037A (zh) * 2020-12-29 2021-05-25 清华大学 一种基于视觉和毫米波融合的全天候目标检测方法
CN112896042A (zh) * 2021-03-02 2021-06-04 广州通达汽车电气股份有限公司 一种车辆驾驶预警方法、装置、设备及存储介质
CN112926415A (zh) * 2021-02-05 2021-06-08 西安电子科技大学 一种行人避让系统和行人监测方法
CN113298767A (zh) * 2021-05-19 2021-08-24 南京大学 一种能克服反光现象的围棋图谱可靠识别方法
CN113454636A (zh) * 2018-12-28 2021-09-28 辉达公司 自主机器应用中障碍物检测的距离
WO2021227645A1 (zh) * 2020-05-14 2021-11-18 华为技术有限公司 目标检测方法和装置
CN113723282A (zh) * 2021-08-30 2021-11-30 上海商汤临港智能科技有限公司 车辆行驶提示方法、装置、电子设备以及存储介质
CN113994391A (zh) * 2021-09-23 2022-01-28 深圳市锐明技术股份有限公司 车辆通行提醒方法、装置及车载终端
CN114360291A (zh) * 2021-12-23 2022-04-15 东风柳州汽车有限公司 驾驶员危险预警方法、装置、设备及存储介质
CN117237199A (zh) * 2023-11-15 2023-12-15 中国科学院长春光学精密机械与物理研究所 基于无人机航拍生成模拟gmti雷达图像的方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508246A (zh) * 2011-10-13 2012-06-20 吉林大学 车辆前方障碍物检测跟踪方法
CN104637059A (zh) * 2015-02-09 2015-05-20 吉林大学 基于毫米波雷达和机器视觉的夜间前方车辆检测方法
CN106295459A (zh) * 2015-05-11 2017-01-04 青岛若贝电子有限公司 基于机器视觉和级联分类器的车辆检测和预警方法
CN106778472A (zh) * 2016-11-17 2017-05-31 成都通甲优博科技有限责任公司 基于深度学习的输电走廊常见侵入物目标检测与识别方法
CN106874886A (zh) * 2017-03-10 2017-06-20 南京沃杨机械科技有限公司 用于农机无人驾驶的多传感器融合的农田环境感知方法
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法
CN106909148A (zh) * 2017-03-10 2017-06-30 南京沃杨机械科技有限公司 基于农田环境感知的农机无人驾驶导航方法
CN106950952A (zh) * 2017-03-10 2017-07-14 无锡卡尔曼导航技术有限公司 用于农机无人驾驶的农田环境感知方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508246A (zh) * 2011-10-13 2012-06-20 吉林大学 车辆前方障碍物检测跟踪方法
CN104637059A (zh) * 2015-02-09 2015-05-20 吉林大学 基于毫米波雷达和机器视觉的夜间前方车辆检测方法
CN106295459A (zh) * 2015-05-11 2017-01-04 青岛若贝电子有限公司 基于机器视觉和级联分类器的车辆检测和预警方法
CN106778472A (zh) * 2016-11-17 2017-05-31 成都通甲优博科技有限责任公司 基于深度学习的输电走廊常见侵入物目标检测与识别方法
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法
CN106874886A (zh) * 2017-03-10 2017-06-20 南京沃杨机械科技有限公司 用于农机无人驾驶的多传感器融合的农田环境感知方法
CN106909148A (zh) * 2017-03-10 2017-06-30 南京沃杨机械科技有限公司 基于农田环境感知的农机无人驾驶导航方法
CN106950952A (zh) * 2017-03-10 2017-07-14 无锡卡尔曼导航技术有限公司 用于农机无人驾驶的农田环境感知方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
XIAN ZHOU 等，: "Real-Time Object Detection Using Efficient Convolutional Networks", 《CCBR 2017: BIOMETRIC RECOGNITION》 *
杨眷玉，: "基于卷积神经网络的物体识别研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
王亚丽，: "基于毫米波雷达与机器视觉融合的前方车辆检测研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
金立生 等，: "基于毫米波雷达和机器视觉的夜间前方车辆检测", 《汽车安全与节能学报》 *

Cited By (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629309A (zh) * 2018-04-28 2018-10-09 成都睿码科技有限责任公司 基坑周围人员安全保障方法
CN110501709B (zh) * 2018-05-18 2023-03-07 财团法人工业技术研究院 目标检测系统、自主车辆以及其目标检测方法
CN110501709A (zh) * 2018-05-18 2019-11-26 财团法人工业技术研究院 目标检测系统、自主车辆以及其目标检测方法
CN108805064A (zh) * 2018-05-31 2018-11-13 中国农业大学 一种基于深度学习的鱼类定位检测和识别方法及系统
CN109003276A (zh) * 2018-06-06 2018-12-14 上海国际汽车城（集团）有限公司 基于双目立体视觉与低线束激光雷达的融合矫正方法
CN109033947A (zh) * 2018-06-11 2018-12-18 北京航空航天大学 基于深度学习的路面遗撒识别方法
CN110660186A (zh) * 2018-06-29 2020-01-07 杭州海康威视数字技术股份有限公司 基于雷达信号在视频图像中识别目标对象的方法及装置
CN109035160B (zh) * 2018-06-29 2022-06-21 哈尔滨商业大学 医学影像的融合方法及基于融合医学影像学习的图像检测方法
CN109035160A (zh) * 2018-06-29 2018-12-18 哈尔滨商业大学 医学影像的融合方法及基于融合医学影像学习的图像检测方法
CN110660186B (zh) * 2018-06-29 2022-03-01 杭州海康威视数字技术股份有限公司 基于雷达信号在视频图像中识别目标对象的方法及装置
CN109086679A (zh) * 2018-07-10 2018-12-25 西安恒帆电子科技有限公司 一种毫米波雷达安检仪异物检测方法
CN109086690B (zh) * 2018-07-13 2021-06-22 北京旷视科技有限公司 图像特征提取方法、目标识别方法及对应装置
CN109086690A (zh) * 2018-07-13 2018-12-25 北京旷视科技有限公司 图像特征提取方法、目标识别方法及对应装置
CN109142371A (zh) * 2018-07-31 2019-01-04 华南理工大学 基于深度学习的高密度柔性基板外观缺陷检测系统与方法
CN110826572A (zh) * 2018-08-09 2020-02-21 京东方科技集团股份有限公司 多目标检测的非极大值抑制方法、装置及设备
CN110826572B (zh) * 2018-08-09 2023-04-21 京东方科技集团股份有限公司 多目标检测的非极大值抑制方法、装置及设备
CN109334563B (zh) * 2018-08-31 2021-06-22 江苏大学 一种基于道路前方行人和骑行者的防碰撞预警方法
CN109334563A (zh) * 2018-08-31 2019-02-15 江苏大学 一种基于道路前方行人和骑行者的防碰撞预警方法
CN109447101A (zh) * 2018-09-04 2019-03-08 北京悦图遥感科技发展有限公司 基于深度cnn的车辆位置识别方法、装置及存储介质
CN109447101B (zh) * 2018-09-04 2021-07-09 北京悦图数据科技发展有限公司 基于深度cnn的车辆位置识别方法、装置及存储介质
CN109241982A (zh) * 2018-09-06 2019-01-18 广西师范大学 基于深浅层卷积神经网络的目标检测方法
CN109242801A (zh) * 2018-09-26 2019-01-18 北京字节跳动网络技术有限公司 图像处理方法和装置
US11842267B2 (en) 2018-09-26 2023-12-12 Boe Technology Group Co., Ltd. Computer-implemented method using a neural network comprising down-sampling segment, densely connected segment, and up-sampling segment, apparatus, and computer-program product
CN110956575A (zh) * 2018-09-26 2020-04-03 京东方科技集团股份有限公司 转变图像风格的方法和装置、卷积神经网络处理器
CN110956575B (zh) * 2018-09-26 2022-04-12 京东方科技集团股份有限公司 转变图像风格的方法和装置、卷积神经网络处理器
CN110969064B (zh) * 2018-09-30 2023-10-27 北京四维图新科技股份有限公司 一种基于单目视觉的图像检测方法、装置及存储设备
CN110969064A (zh) * 2018-09-30 2020-04-07 北京四维图新科技股份有限公司 一种基于单目视觉的图像检测方法、装置及存储设备
CN109165697A (zh) * 2018-10-12 2019-01-08 福州大学 一种基于注意力机制卷积神经网络的自然场景文字检测方法
CN109459750A (zh) * 2018-10-19 2019-03-12 吉林大学 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法
CN109508710A (zh) * 2018-10-23 2019-03-22 东华大学 基于改进YOLOv3网络的无人车夜间环境感知方法
CN111241893B (zh) * 2018-11-29 2023-06-16 阿里巴巴集团控股有限公司 一种标识识别方法、装置及系统
CN111241893A (zh) * 2018-11-29 2020-06-05 阿里巴巴集团控股有限公司 一种标识识别方法、装置及系统
CN109711330A (zh) * 2018-12-25 2019-05-03 山东雷诚电子科技有限公司 一种主动毫米波人体成像威胁物检测方法
CN113454636A (zh) * 2018-12-28 2021-09-28 辉达公司 自主机器应用中障碍物检测的距离
US11423666B2 (en) 2018-12-29 2022-08-23 Beijing Sensetime Technology Development Co., Ltd. Method of detecting target object detection method and device for detecting target object, electronic apparatus and storage medium
CN109726683A (zh) * 2018-12-29 2019-05-07 北京市商汤科技开发有限公司 目标对象检测方法和装置、电子设备和存储介质
CN109902556A (zh) * 2019-01-14 2019-06-18 平安科技（深圳）有限公司 行人检测方法、系统、计算机设备及计算机可存储介质
WO2020147410A1 (zh) * 2019-01-14 2020-07-23 平安科技（深圳）有限公司 行人检测方法、系统、计算机设备及计算机可存储介质
CN110059554A (zh) * 2019-03-13 2019-07-26 重庆邮电大学 一种基于交通场景的多支路目标检测方法
CN110059554B (zh) * 2019-03-13 2022-07-01 重庆邮电大学 一种基于交通场景的多支路目标检测方法
CN110060286A (zh) * 2019-04-25 2019-07-26 东北大学 一种单目深度估计方法
CN110060286B (zh) * 2019-04-25 2023-05-23 东北大学 一种单目深度估计方法
WO2020228405A1 (zh) * 2019-05-15 2020-11-19 北京字节跳动网络技术有限公司 图像处理方法、装置及电子设备
CN112034829A (zh) * 2019-05-15 2020-12-04 广州汽车集团股份有限公司 一种端到端自动驾驶方法及其系统、车辆
CN110209865B (zh) * 2019-05-24 2023-05-16 广州市云家居云科技有限公司 一种基于深度学习的物体识别及匹配方法
CN110209865A (zh) * 2019-05-24 2019-09-06 广州市云家居云科技有限公司 一种基于深度学习的物体识别及匹配方法
CN110228413B (zh) * 2019-06-10 2020-07-14 吉林大学 大型车辆转弯时避免行人卷入车下的安全预警系统
CN110228413A (zh) * 2019-06-10 2019-09-13 吉林大学 大型车辆转弯时避免行人卷入车下的安全预警系统
CN112329497A (zh) * 2019-07-18 2021-02-05 杭州海康威视数字技术股份有限公司 一种目标识别方法、装置及设备
TWI705016B (zh) * 2019-07-22 2020-09-21 緯創資通股份有限公司 行車預警系統、行車預警方法及使用所述方法的電子裝置
CN110412563A (zh) * 2019-07-29 2019-11-05 哈尔滨工业大学 一种基于多传感器融合的辅助列车车皮挂接的便携式测距仪及其工作方法
CN110502019A (zh) * 2019-09-06 2019-11-26 北京云迹科技有限公司 一种室内机器人的避障方法及装置
WO2021056895A1 (zh) * 2019-09-23 2021-04-01 厦门金龙联合汽车工业有限公司 多目标检测识别方法和辅助驾驶方法、系统
CN110674733A (zh) * 2019-09-23 2020-01-10 厦门金龙联合汽车工业有限公司 多目标检测识别方法和辅助驾驶方法、系统
CN110648490A (zh) * 2019-09-26 2020-01-03 华南师范大学 适用于嵌入式平台的多因子火焰识别方法
CN110648490B (zh) * 2019-09-26 2021-07-27 华南师范大学 适用于嵌入式平台的多因子火焰识别方法
CN110758354A (zh) * 2019-10-16 2020-02-07 刘志方 基于大数据采集的车辆紧急制动执行系统
CN111091122A (zh) * 2019-11-22 2020-05-01 国网山西省电力公司大同供电公司 一种多尺度特征卷积神经网络的训练和检测方法、装置
CN111091122B (zh) * 2019-11-22 2024-01-05 国网山西省电力公司大同供电公司 一种多尺度特征卷积神经网络的训练和检测方法、装置
CN111186379A (zh) * 2020-01-21 2020-05-22 武汉大学 一种基于深度学习的汽车盲区危险物报警方法
CN111186379B (zh) * 2020-01-21 2021-12-03 武汉大学 一种基于深度学习的汽车盲区危险物报警方法
CN111401208B (zh) * 2020-03-11 2023-09-22 阿波罗智能技术(北京)有限公司 一种障碍物检测方法、装置、电子设备及存储介质
CN111401208A (zh) * 2020-03-11 2020-07-10 北京百度网讯科技有限公司 一种障碍物检测方法、装置、电子设备及存储介质
WO2021227645A1 (zh) * 2020-05-14 2021-11-18 华为技术有限公司 目标检测方法和装置
CN111797741A (zh) * 2020-06-24 2020-10-20 中国第一汽车股份有限公司 车辆检测方法、装置、车辆和存储介质
CN111953934A (zh) * 2020-07-03 2020-11-17 北京航空航天大学杭州创新研究院 目标标示方法及装置
CN111953934B (zh) * 2020-07-03 2022-06-10 北京航空航天大学杭州创新研究院 目标标示方法及装置
CN111856440B (zh) * 2020-07-21 2024-04-05 阿波罗智联(北京)科技有限公司 位置检测方法、装置、设备及可读存储介质
CN111856440A (zh) * 2020-07-21 2020-10-30 北京百度网讯科技有限公司 位置检测方法、装置、设备及可读存储介质
CN112026707A (zh) * 2020-09-08 2020-12-04 中国第一汽车股份有限公司 一种行人保护方法、装置、设备及介质
CN112233174A (zh) * 2020-09-10 2021-01-15 浙江大华技术股份有限公司 警示区域划分方法及其相关装置
CN112428989A (zh) * 2020-10-30 2021-03-02 惠州华阳通用电子有限公司 一种车辆控制方法
CN112428989B (zh) * 2020-10-30 2022-03-11 惠州华阳通用电子有限公司 一种车辆控制方法
CN112349144A (zh) * 2020-11-10 2021-02-09 中科海微(北京)科技有限公司 一种基于单目视觉的车辆碰撞预警方法及系统
CN112349144B (zh) * 2020-11-10 2022-04-19 中科海微(北京)科技有限公司 一种基于单目视觉的车辆碰撞预警方法及系统
CN112622930A (zh) * 2020-12-22 2021-04-09 北京百度网讯科技有限公司 无人车的行驶控制方法、装置、设备以及自动驾驶车辆
US11380089B1 (en) 2020-12-29 2022-07-05 Tsinghua University All-weather target detection method based on vision and millimeter wave fusion
CN112835037B (zh) * 2020-12-29 2021-12-07 清华大学 一种基于视觉和毫米波融合的全天候目标检测方法
CN112835037A (zh) * 2020-12-29 2021-05-25 清华大学 一种基于视觉和毫米波融合的全天候目标检测方法
CN112744174A (zh) * 2021-01-18 2021-05-04 深圳广联赛讯股份有限公司 车辆碰撞监测方法、装置、设备及计算机可读存储介质
CN112926415A (zh) * 2021-02-05 2021-06-08 西安电子科技大学 一种行人避让系统和行人监测方法
CN112896042A (zh) * 2021-03-02 2021-06-04 广州通达汽车电气股份有限公司 一种车辆驾驶预警方法、装置、设备及存储介质
CN113298767A (zh) * 2021-05-19 2021-08-24 南京大学 一种能克服反光现象的围棋图谱可靠识别方法
CN113723282B (zh) * 2021-08-30 2024-03-22 上海商汤临港智能科技有限公司 车辆行驶提示方法、装置、电子设备以及存储介质
CN113723282A (zh) * 2021-08-30 2021-11-30 上海商汤临港智能科技有限公司 车辆行驶提示方法、装置、电子设备以及存储介质
CN113994391B (zh) * 2021-09-23 2023-06-09 深圳市锐明技术股份有限公司 车辆通行提醒方法、装置及车载终端
CN113994391A (zh) * 2021-09-23 2022-01-28 深圳市锐明技术股份有限公司 车辆通行提醒方法、装置及车载终端
CN114360291A (zh) * 2021-12-23 2022-04-15 东风柳州汽车有限公司 驾驶员危险预警方法、装置、设备及存储介质
CN117237199A (zh) * 2023-11-15 2023-12-15 中国科学院长春光学精密机械与物理研究所 基于无人机航拍生成模拟gmti雷达图像的方法
CN117237199B (zh) * 2023-11-15 2024-01-26 中国科学院长春光学精密机械与物理研究所 基于无人机航拍生成模拟gmti雷达图像的方法

Similar Documents

Publication Publication Date Title
CN107862287A (zh) 一种前方小区域物体识别及车辆预警方法
US10690770B2 (en) Navigation based on radar-cued visual imaging
US11940290B2 (en) Virtual stop line mapping and navigation
CN109643367B (zh) 用于自主车辆导航的众包和分发稀疏地图以及车道测量的方法、系统和可读介质
CN113313154A (zh) 一体化融合多传感器自动驾驶智能感知装置
JP6773540B2 (ja) 車載用画像処理装置
CN115824194A (zh) 一种用于为车辆规划路线的系统和方法
Labayrade et al. In-vehicle obstacles detection and characterization by stereovision
CN101941438B (zh) 安全车距智能检控装置与方法
US20210341303A1 (en) Clustering event information for vehicle navigation
US20220035378A1 (en) Image segmentation
CN108830159A (zh) 一种前方车辆单目视觉测距系统及方法
CN110065494A (zh) 一种基于车轮检测的车辆防碰撞方法
US11403951B2 (en) Driving assistance for a motor vehicle when approaching a tollgate
Labayrade et al. Robust and fast stereovision based obstacles detection for driving safety assistance
CN116580366A (zh) 用于运载工具的方法、系统和存储介质
CN113432615B (zh) 基于多传感器融合可驾驶区域的检测方法、系统和车辆
Liu et al. Research on security of key algorithms in intelligent driving system
CN116242375A (zh) 一种基于多传感器的高精度电子地图生成方法和系统
Beresnev et al. Automated Driving System based on Roadway and Traffic Conditions Monitoring.
Labayrade et al. Obstacle detection based on fusion between stereovision and 2d laser scanner
Lai et al. Sensor fusion of camera and MMW radar based on machine learning for vehicles
CN115985109B (zh) 一种无人驾驶矿车环境感知方法和系统
서호태 Development of Pedestrian State Estimation Algorithm on Autonomous Driving
van Nunen et al. Implementation of probabilistic risk estimation for VRU safety

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180330

RJ01 Rejection of invention patent application after publication