CN112356815B - 一种基于单目相机的行人主动避撞系统及方法 - Google Patents

一种基于单目相机的行人主动避撞系统及方法 Download PDF

Info

Publication number
CN112356815B
CN112356815B CN202011383475.5A CN202011383475A CN112356815B CN 112356815 B CN112356815 B CN 112356815B CN 202011383475 A CN202011383475 A CN 202011383475A CN 112356815 B CN112356815 B CN 112356815B
Authority
CN
China
Prior art keywords
pedestrian
follows
camera
braking
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011383475.5A
Other languages
English (en)
Other versions
CN112356815A (zh
Inventor
姜景文
朱冰
马天飞
赵健
李波
禚凇瑀
孙一
姜泓屹
靳万里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202011383475.5A priority Critical patent/CN112356815B/zh
Publication of CN112356815A publication Critical patent/CN112356815A/zh
Application granted granted Critical
Publication of CN112356815B publication Critical patent/CN112356815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于单目相机的行人主动避撞系统及方法。本发明所提出的基于单目相机的主动避撞方法，首先，利用目标检测算法并结合深度估计网络与相机内参实现了行人检测与空间位置估计，弥补了单目视觉深度信息缺失问题，且相较于毫米波雷达的行人检测方案具有更高的准确性和鲁棒性。然后，利用卡尔曼滤波和匈牙利算法实现了行人跟踪与速度估计，并根据安全距离模型提出碰撞风险评估模型，能够有效避免制动误触发工况，提升驾驶舒适性。本发明所提出的基于单目相机的主动避撞系统具有成本低，通用性强，可扩展性好等优点。

Description

一种基于单目相机的行人主动避撞系统及方法
技术领域
本发明涉及一种行人主动避撞系统及方法，特别涉及一种基于单目相机的行人主动避撞系统及方法。
背景技术
目前，行人主动避撞系统的发展对减少道路交通事故，提高驾驶安全性具有重要意义，主要包括行人检测，测距和主动制动等方面的研究。
在行人检测方面，基于毫米波雷达的行人检测方案可以直接返回障碍物的距离，但是毫米波雷达对金属表面敏感，行人反射波很弱，容易引起误判，同时失去语义信息。随着深度学习的发展，基于视觉的行人检测方法在准确性和鲁棒性等方面都取得了极大的进步，但是受到相机成像的限制，基于视觉的行人检测方案无法直接测量行人距离。而近年来，基于单目视觉的深度估计方法不断发展，极大地提高了视觉测距的准确性，弥补了单目视觉深度缺失的问题。
在主动制动方面，安全距离模型主要根据距离车辆最近的行人距离决定是否采取主动制动。这样容易产生车辆检测到行人处于安全距离阈值内，即触发主动制动的敏感工况发生。而在人车交通环境中，距离自车最近的行人碰撞风险不一定最高，在自车前进方向上的行人也不一定会发生碰撞。因此，需要对行人进行跟踪和速度估计并对碰撞风险进行评估，从而决定是否采取主动制动，以防止制动误触发，提升驾驶舒适性。
发明内容
本发明的目的是为了提高行人主动避撞系统对行人检测的准确性和鲁棒性，减少系统成本，增加系统可扩展性，同时，避免制动误触发工况，提升驾驶舒适性而提供的一种基于单目相机的行人主动避撞系统及方法。
本发明提供的基于单目相机的行人主动避撞系统包括有相机、USB传输模块、车速传感器、RS485传输模块、主控器、显示器、HDMI传输模块、显卡、PCI-E传输模块、制动控制器、CAN传输模块和电源，其中相机通过USB传输模块与主控器连接；车速传感器通过RS485传输模块与主控器连接；显示器通过HDMI传输模块与主控器连接；显卡通过PCI-E传输模块与主控器连接，制动控制器通过CAN传输模块与主控器连接；电源与主控器、显示器和制动控制器相连接，电源为主控器、显示器和制动控制器提供电能。
主控器中设置有中央处理单元CPU、Flash存储器和DDR4内存，同时配有UBS接口、RS485接口、CAN接口、HDMI接口和PCI-E接口，主控器接受来自相机的图像数据和来自车速传感器的车速信息，处理后向制动控制器发送控制指令。
电源内包括有锂电池和稳压电路，锂电池与稳压电路连接后形成稳定的12V、5V和24V电压，其中24V电压负责为显示器供电，12V电压负责为主控器供电，5V电压负责为制动控制器供电。
制动控制器中设置有CAN收发电路、滤波电路、保护电路和电机控制电路，其中CAN收发电路依次连接滤波电路和保护电路，以抑制数据传输过程中的噪声和辐射干扰；电机控制电路设置保护电路和继电器从而实现对线控制动系统中助力电机的转速和启停控制。
上述的相机、USB传输模块、车速传感器、RS485传输模块、主控器、显示器、HIDM传输模块、显卡、PCI-E传输模块、制动控制器、CAN传输模块、电源、锂电池、稳压电路、CPU、Flash存储器和DDR4内存均为现有设备的组装，因此，具体型号和规格没有进行赘述。
本发明提供的基于单目相机的行人主动避撞方法，其方法如下所述：
第一步、通过相机和车速传感器获取图像数据和当前车速，并标定相机内参；
第二步、将图像输入到行人检测网络与深度估计网络，得到行人检测边框和对应深度图；
第三步、根据图像检测边框和对应深度图，并结合相机内参，计算行人在相机坐标系下的空间位置；
第四步、根据检测边框与行人空间位置，利用行人跟踪算法对行人进行跟踪和速度估计；
第五步、根据当前车速和预期安全距离，计算安全距离阈值；
第六步、根据安全距离阈值，行人空间位置和速度以及行人跟踪编号，进行行人碰撞风险评估；
第七步、在分析出当前行人有碰撞风险后，向制动控制器发送制动信号，采用分级制动，进行主动制动。
第一步中，单目相机标定后的内参矩阵记为K，公式如下：
Figure BDA0002810307530000031
其中fx和fy为相机在x和y方向的焦距，cx和cy为像素坐标平移量，单目相机标定，可自制棋盘格标定板，并采用Matlab标定工具箱或ROS标定工具进行标定。
第二步中行人检测网络采用单阶段检测网络，并将原通用物体检测权重作为预训练权重，利用迁移学习再训练，提升网络对行人的检测精度和速度，前述的单阶段检测网络可采用YOLO或SSD或CenterNet，深度估计网络可采用Monodepth等无监督深度估计网络。
在第三步中行人空间位置计算的具体步骤如下：
步骤1、通过行人检测网络和深度估计网络获取行人检测边框和对应深度图；
步骤2、提取检测框内对应的行人深度图；
步骤3、用聚类算法将检测框内的深度图分为前景和背景；
步骤4、根据相机内参和深度图计算前景坐标空间位置，具体公式如下：
Figure BDA0002810307530000041
Figure BDA0002810307530000042
其中，u，v和zc代表深度图中的像素坐标和深度，fx和fy为相机焦距，cx和cy为像素坐标平移量，xc和yc是前景的空间坐标；
步骤5、计算出前景坐标的空间位置后，取平均值作为当前行人的空间位置坐标。
第四步中行人跟踪与速度估计的具体步骤如下：
步骤1、构建行人状态向量X＝[x，y，z，vx，vy，vz]，其中x，y，z代表行人的位置，vx，vy，vz代表行人速度，并且所有速度都初始化为0；
步骤2、建立卡尔曼滤波器的预测公式如下所示：
X′＝FX：
其中X′为当前时刻状态向量，X为前一时刻状态向量，F为状态转移矩阵；假设行人为匀速运动模型，可得：
Figure BDA0002810307530000051
其中，dt为采样时间；
步骤3、构建方差矩阵，公式如下：
P′＝FPFT+Q；
其中P′为当前时刻协方差矩阵，P为前一时刻协方差矩阵，Q为系统噪声；考虑到速度状态的不确定性大于位置的不确定性，可得公式如下：
P＝diag([10，10，10，1e4，1e4，1e4])
步骤4、计算前后两帧中行人状态向量的欧式距离，公式如下：
Figure BDA0002810307530000052
其中下标i和j代表前后两帧中的行人编号；
构建NxM的度量矩阵A，其中N是前一帧中行人检测框的数量，M是当前帧中行人检测框的数量，矩阵中的元素aij由dij构成；
步骤5、根据度量矩阵，利用匈牙利匹配算法，对行人进行匹配；
步骤6、根据匹配后的观测值进行状态更新，具体公式如下：
y＝z-HX′；
S＝HP′HT+R
K＝P′HTS-1：
X＝X′+Ky
P＝(I-KH)P′；
其中z＝[x，y，z]为测量值，H为测量矩阵，y为测量残差，s为测量残差协方差，K为卡尔曼增益，X′为更新前的状态估计，X更新后的状态估计，P更新后的协方差估计；
Figure BDA0002810307530000061
负责将状态向量映射为测量值。
预测，匹配和更新循环迭代，即可完成行人跟踪和速度估计。
第六步中行人碰撞风险评估的具体步骤如下：
步骤1、找到距离车辆最近的行人，并判断当前距离是否小于预警距离，如果不小于则直接进行下一帧判断；如果小于则继续进行下一步；
步骤2、根据安全距离模型中的预警距离Sw以及当前车速v0，求出车辆行驶到最近行人处的时间t，公式如下：
Figure BDA0002810307530000062
步骤3、假设车辆的宽度为w，已知行人横向速度vy和横向距离dh即可求出行人到达危险区域的时间t1和离开危险区域的时间t2，公式如下：
Figure BDA0002810307530000063
Figure BDA0002810307530000064
步骤4、根据车辆行驶时间t和行人碰撞危险时间[t1，t2]，进行碰撞风险评估，决定是否采取主动制动，具体方式如下：
如果t不属于[t1，t2]，则认为不存在碰撞风险，忽略该标号行人，并对其他行人继续进行风险评估；
如果t属于[t1，t2]，则认为存在碰撞风险，进一步采取主动制动策略。
第七步中主动制动策略分为三级，包括一级预警和两级制动，三级制动的安全距离阈值分别为Sw，Sd和Sb，距离行人越近则制动强度越大，通过分级制动提高驾驶舒适性。
本发明的有益效果：
第一，本发明利用目标检测算法并结合深度估计网络实现了行人检测与距离估计，弥补了单目视觉深度信息缺失问题，且具有更高的准确性和鲁棒性。
第二，本发明利用卡尔曼滤波和匈牙利算法实现了行人跟踪与速度估计，并基于安全距离模型提出碰撞风险评估模型，能够有效避免制动误触发工况，提升驾驶舒适性。
第三，本发明所提出的基于单目相机的主动避撞系统具有成本低，通用性强，可扩展性好等优点。
附图说明
图1为本发明所述的避撞系统整体结构示意图。
图2为本发明所述的避撞方法整体流程示意图。
图3为本发明所述的行人空间位置计算流程图。
图4为本发明所述的原始输入图片。
图5为本发明所述的行人检测网络输出图。
图6为本发明所述的为深度估计网络输出图。
图7为本发明所述的行人空间位置输出图。
图8为本发明所述的行人跟踪与速度估计输出图。
图9为本发明所述的分级制动过程示意图。
图10为本发明所述的安全距离阈值示意图。
图11为本发明所述的碰撞风险评估模型流程图。
图12为本发明所述的碰撞风险评估模型示意图。
图1中的标注如下：
1、相机 2、USB传输模块 3、车速传感器 4、RS485传输模块
5、主控器 6、显示器 7、HDMI传输模块 8、显卡 9、PCI-E传输模块
10、制动控制器 11、CAN传输模块 12、电源 13、锂电池
14、稳压电路 15、CPU 16、Flash存储器 17、DDR4内存。
具体实施方式
请参阅图1至图12所示：
本发明提供的基于单目相机的行人主动避撞系统包括有相机1、USB传输模块2、车速传感器3、RS485传输模块4、主控器5、显示器6、HDMI传输模块7、显卡8、PCI-E传输模块9、制动控制器10、CAN传输模块11和电源12，其中相机1通过USB传输模块2与主控器5连接；车速传感器3通过RS485传输模块4与主控器5连接；显示器6通过HDMI传输模块7与主控器5连接；显卡8通过PCI-E传输模块9与主控器5连接，制动控制器10通过CAN传输模块11与主控器5连接；电源12与主控器5、显示器6和制动控制器10相连接，电源12为主控器5、显示器6和制动控制器10提供电能。
主控器5中设置有中央处理单元CPU15、Flash存储器16和DDR4内存17，同时配有UBS接口、RS485接口、CAN接口、HDMI接口和PCI-E接口，主控器5接受来自相机1的图像数据和来自车速传感器3的车速信息，处理后向制动控制器10发送控制指令。
电源12内包括有锂电池13和稳压电路14，锂电池13与稳压电路14连接后形成稳定的12V、5V和24V电压，其中24V电压负责为显示器6供电，12V电压负责为主控器5供电，5V电压负责为制动控制器10供电。
制动控制器10中设置有CAN收发电路、滤波电路、保护电路和电机控制电路，其中CAN收发电路依次连接滤波电路和保护电路，以抑制数据传输过程中的噪声和辐射干扰；电机控制电路设置保护电路和继电器从而实现对线控制动系统中助力电机的转速和启停控制。
上述的相机、USB传输模块、车速传感器、RS485传输模块、主控器、显示器、HIDM传输模块、显卡、PCI-E传输模块、制动控制器、CAN传输模块、电源、锂电池、稳压电路、CPU、Flash存储器和DDR4内存均为现有设备的组装，因此，具体型号和规格没有进行赘述。
本发明提供的基于单目相机的行人主动避撞方法，其方法如下所述：
第一步、通过相机1和车速传感器3获取图像数据和当前车速，并标定相机1内参；
第二步、将图像输入到行人检测网络与深度估计网络，得到行人检测边框和对应深度图；
第三步、根据图像检测边框和对应深度图，并结合相机1内参，计算行人在相机1坐标系下的空间位置；
第四步、根据检测边框与行人空间位置，利用行人跟踪算法对行人进行跟踪和速度估计；
第五步、根据当前车速和预期安全距离，计算安全距离阈值；
第六步、根据安全距离阈值，行人空间位置和速度以及行人跟踪编号，进行行人碰撞风险评估；
第七步、在分析出当前行人有碰撞风险后，向制动控制器10发送制动信号，采用分级制动，进行主动制动。
第一步中，单目相机1标定后的内参矩阵记为K，公式如下：
Figure BDA0002810307530000101
其中fx和fy为相机在x和y方向的焦距，cx和cy为像素坐标平移量，单目相机1标定，可自制棋盘格标定板，并采用Matlab标定工具箱或ROS标定工具进行标定。
第二步中行人检测网络采用单阶段检测网络，并将原通用物体检测权重作为预训练权重，利用迁移学习再训练，提升网络对行人的检测精度和速度，前述的单阶段检测网络可采用YOLO或SSD或CenterNet，深度估计网络可采用Monodepth等无监督深度估计网络。
在第三步中行人空间位置计算的具体步骤如下：
步骤1、通过行人检测网络和深度估计网络获取行人检测边框和对应深度图；
步骤2、提取检测框内对应的行人深度图；
步骤3、用聚类算法将检测框内的深度图分为前景和背景；
步骤4、根据相机内参和深度图计算前景坐标空间位置，具体公式如下：
Figure BDA0002810307530000102
Figure BDA0002810307530000103
其中，u，v和zc代表深度图中的像素坐标和深度，fx和fy为相机焦距，cx和cy为像素坐标平移量，xc和yc是前景的空间坐标；
步骤5、计算出前景坐标的空间位置后，取平均值作为当前行人的空间位置坐标。
第四步中行人跟踪与速度估计的具体步骤如下：
步骤1、构建行人状态向量X＝[x，y，z，vx，vy，vz]，其中x，y，z代表行人的位置，vx，vy，vz代表行人速度，并且所有速度都初始化为0；
步骤2、建立卡尔曼滤波器的预测公式如下所示：
X′＝FX；
其中X′为当前时刻状态向量，X为前一时刻状态向量，F为状态转移矩阵；假设行人为匀速运动模型，可得：
Figure BDA0002810307530000111
其中，dt为采样时间；
步骤3、构建方差矩阵，公式如下：
P′＝FPFT+Q；
其中P′为当前时刻协方差矩阵，P为前一时刻协方差矩阵，Q为系统噪声；考虑到速度状态的不确定性大于位置的不确定性，可得公式如下：
P＝diag([10，10，10，1e4，1e4，1e4])
步骤4、计算前后两帧中行人状态向量的欧式距离，公式如下：
Figure BDA0002810307530000112
其中下标i和j代表前后两帧中的行人编号；
构建NxM的度量矩阵A，其中N是前一帧中行人检测框的数量，M是当前帧中行人检测框的数量，矩阵中的元素aij由dij构成；
步骤5、根据度量矩阵，利用匈牙利匹配算法，对行人进行匹配；
步骤6、根据匹配后的观测值进行状态更新，具体公式如下：
y＝z-HX′；
S＝HP′HT+R
K＝P′HTS-1：
X＝X′+Ky
P＝(I-KH)P′；
其中z＝[x，y，z]为测量值，H为测量矩阵，y为测量残差，S为测量残差协方差，K为卡尔曼增益，X′为更新前的状态估计，X更新后的状态估计，P更新后的协方差估计；
Figure BDA0002810307530000121
负责将状态向量映射为测量值。
预测，匹配和更新循环迭代，即可完成行人跟踪和速度估计。
第六步中行人碰撞风险评估的具体步骤如下：
步骤1、找到距离车辆最近的行人，并判断当前距离是否小于预警距离，如果不小于则直接进行下一帧判断；如果小于则继续进行下一步；
步骤2、根据安全距离模型中的预警距离Sw以及当前车速v0，求出车辆行驶到最近行人处的时间t，公式如下：
Figure BDA0002810307530000122
步骤3、假设车辆的宽度为w，已知行人横向速度vy和横向距离dh即可求出行人到达危险区域的时间t1和离开危险区域的时间t2，公式如下：
Figure BDA0002810307530000123
Figure BDA0002810307530000124
步骤4、根据车辆行驶时间t和行人碰撞危险时间[t1，t2]，进行碰撞风险评估，决定是否采取主动制动，具体方式如下：
如果t不属于[t1，t2]，则认为不存在碰撞风险，忽略该标号行人，并对其他行人继续进行风险评估；
如果t属于[t1，t2]，则认为存在碰撞风险，进一步采取主动制动策略。
第七步中主动制动策略分为三级，包括一级预警和两级制动，三级制动的安全距离阈值分别为Sw，Sd和Sb，距离行人越近则制动强度越大，通过分级制动提高驾驶舒适性。
以图12为例，说明本发明所提出的碰撞风险评估模型可以避免制动误触发工况，具体如下：
图中ID4号行人当前距离车辆最近，且达到安全距离阈值。但该行人横向距离较远，此时碰撞风险评估模型计算出车辆行驶时间t不属于行人碰撞危险时间[t1，t2]，即可忽略ID4号行人。
再判断距离第二近的ID2号行人，该行人速度为正，横向距离为负，所以碰撞时间为负，即可忽略ID2号行人。
再判断ID3号行人，计算得出，当车辆距离该行人达到安全距离阈值时，车辆行驶时间t属于行人碰撞危险时间[t1，t2]，则采取主动制动策略。
碰撞风险评估模型使得车辆忽略了距离较近但没有碰撞风险的ID2号和ID4号行人。而在真正有碰撞风险的ID3号行人处，采取了主动制动。如果没有ID3号行人，在对ID1号行人进行风险评估后，也可忽略该行人，那么车辆无需停车，即可直接通过，提高了驾驶的舒适性。

Claims (1)

1.一种基于单目相机的行人主动避撞方法，其特征在于：其方法如下所述：
第一步、通过相机和车速传感器获取图像数据和当前车速，并标定相机内参；
单目相机标定后的内参矩阵记为K，公式如下：
Figure FDA0004051125070000011
其中fx和fy为相机在x和y方向的焦距，cx和cy为像素坐标平移量，单目相机标定，可制棋盘格标定板，并采用Matlab标定工具箱或ROS标定工具进行标定；
第二步、将图像输入到行人检测网络与深度估计网络，得到行人检测边框和对应深度图；
行人检测网络采用单阶段检测网络，并将原通用物体检测权重作为预训练权重，利用迁移学习再训练，提升网络对行人的检测精度和速度，前述的单阶段检测网络采用YOLO或SSD或CenterNet，深度估计网络采用Monodepth无监督深度估计网络；
第三步、根据图像检测边框和对应深度图，并结合相机内参，计算行人在相机坐标系下的空间位置；
行人空间位置计算的具体步骤如下：
步骤1、通过行人检测网络和深度估计网络获取行人检测边框和对应深度图；
步骤2、提取检测框内对应的行人深度图；
步骤3、用聚类算法将检测框内的深度图分为前景和背景；
步骤4、根据相机内参和深度图计算前景坐标空间位置，具体公式如下：
Figure FDA0004051125070000021
Figure FDA0004051125070000022
其中，u，v和zc代表深度图中的像素坐标和深度，fx和fy为相机焦距，cx和cy为像素坐标平移量，xc和yc是前景的空间坐标；
步骤5、计算出前景坐标的空间位置后，取平均值作为当前行人的空间位置坐标；
第四步、根据检测边框与行人空间位置，利用行人跟踪算法对行人进行跟踪和速度估计；
行人跟踪与速度估计的具体步骤如下：
步骤1、构建行人状态向量X＝[x，y，z，vx，vy，vz],其中x，y，z代表行人的位置，vx，vy，vz代表行人速度，并且所有速度都初始化为0；
步骤2、建立卡尔曼滤波器的预测公式如下所示：
X′＝FX；
其中X′为当前时刻状态向量，X为前一时刻状态向量，F为状态转移矩阵；假设行人为匀速运动模型，可得：
Figure FDA0004051125070000023
其中，dt为采样时间；
步骤3、构建方差矩阵，公式如下：
P′＝FPFT+Q；
其中P′为当前时刻协方差矩阵，P为前一时刻协方差矩阵，Q为系统噪声；考虑到速度状态的不确定性大于位置的不确定性，可得公式如下：
P＝diag([10，10，10，1e4，1e4，1e4])
步骤4、计算前后两帧中行人状态向量的欧式距离，公式如下：
Figure FDA0004051125070000031
其中下标i和j代表前后两帧中的行人编号；
构建NxM的度量矩阵A，其中N是前一帧中行人检测框的数量，M是当前帧中行人检测框的数量，矩阵中的元素aij由dij构成；
步骤5、根据度量矩阵，利用匈牙利匹配算法，对行人进行匹配；
步骤6、根据匹配后的观测值进行状态更新，具体公式如下：
y＝z-HX′；
S＝HP′HT+R
K＝P′HTS-1；
X＝X′+Ky
P＝(I-KH)P′；
其中z＝[x，y，z]为测量值，H为测量矩阵，y为测量残差，S为测量残差协方差，K为卡尔曼增益，X′为更新前的状态估计，X更新后的状态估计，P更新后的协方差估计；
Figure FDA0004051125070000032
负责将状态向量映射为测量值；
预测、匹配和更新循环迭代，即完成行人跟踪和速度估计；
第五步、根据当前车速和预期安全距离，计算安全距离阈值；
第六步、根据安全距离阈值，行人空间位置和速度以及行人跟踪编号，进行行人碰撞风险评估；
行人碰撞风险评估的具体步骤如下：
步骤1、找到距离车辆最近的行人，并判断当前距离是否小于预警距离，如果不小于则直接进行下一帧判断；如果小于则继续进行下一步；
步骤2、根据安全距离模型中的预警距离Sw以及当前车速v0，求出车辆行驶到最近行人处的时间t，公式如下：
Figure FDA0004051125070000041
步骤3、假设车辆的宽度为w，已知行人横向速度vy和横向距离dh即可求出行人到达危险区域的时间t1和离开危险区域的时间t2，公式如下：
Figure FDA0004051125070000042
Figure FDA0004051125070000043
步骤4、根据车辆行驶时间t和行人碰撞危险时间[t1，t2]，进行碰撞风险评估，决定是否采取主动制动，具体方式如下：
如果t不属于[t1，t2]，则认为不存在碰撞风险，忽略这个标号行人，并对其他行人继续进行风险评估；
如果t属于[t1，t2]，则认为存在碰撞风险，进一步采取主动制动策略；
第七步、在分析出当前行人有碰撞风险后，向制动控制器发送制动信号，采用分级制动，进行主动制动，主动制动策略分为三级，包括一级预警和两级制动，三级制动的安全距离阈值分别为Sw，Sd和Sb，距离行人越近则制动强度越大，通过分级制动提高驾驶舒适性。
CN202011383475.5A 2020-12-01 2020-12-01 一种基于单目相机的行人主动避撞系统及方法 Active CN112356815B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011383475.5A CN112356815B (zh) 2020-12-01 2020-12-01 一种基于单目相机的行人主动避撞系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011383475.5A CN112356815B (zh) 2020-12-01 2020-12-01 一种基于单目相机的行人主动避撞系统及方法

Publications (2)

Publication Number Publication Date
CN112356815A CN112356815A (zh) 2021-02-12
CN112356815B true CN112356815B (zh) 2023-04-25

Family

ID=74536934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011383475.5A Active CN112356815B (zh) 2020-12-01 2020-12-01 一种基于单目相机的行人主动避撞系统及方法

Country Status (1)

Country Link
CN (1) CN112356815B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449646A (zh) * 2021-06-29 2021-09-28 长沙理工大学 一种具有安全距离提示的抬头显示系统
CN113587895B (zh) * 2021-07-30 2023-06-30 杭州三坛医疗科技有限公司 双目测距方法及装置
CN116012453B (zh) * 2023-03-28 2023-06-09 常州星宇车灯股份有限公司 车辆智能驾驶的单目测距方法、装置、设备、介质及车辆

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106671961A (zh) * 2017-03-02 2017-05-17 吉林大学 一种基于电动汽车的主动防碰撞系统及其控制方法
CN108205658A (zh) * 2017-11-30 2018-06-26 中原智慧城市设计研究院有限公司 基于单双目视觉融合的障碍物检测预警系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4657765B2 (ja) * 2005-03-09 2011-03-23 三菱自動車工業株式会社 ノーズビューシステム
US20140176714A1 (en) * 2012-12-26 2014-06-26 Automotive Research & Test Center Collision prevention warning method and device capable of tracking moving object
CN103204123B (zh) * 2013-03-25 2015-07-08 中国电子科技集团公司第三十八研究所 一种车辆行人检测跟踪预警装置及其预警方法
CN104210489B (zh) * 2014-09-16 2017-06-13 武汉理工大学 车路协同环境下车辆与行人碰撞规避方法与系统
CN104442571B (zh) * 2014-11-26 2016-06-01 重庆长安汽车股份有限公司 一种夜视导航集成系统及控制方法
EP3526548A2 (en) * 2016-10-11 2019-08-21 Mobileye Vision Technologies Ltd. Navigating a vehicle based on a detected barrier
KR101851155B1 (ko) * 2016-10-12 2018-06-04 현대자동차주식회사 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법
JP6589926B2 (ja) * 2017-04-07 2019-10-16 トヨタ自動車株式会社 物体検出装置
CN107886043B (zh) * 2017-07-20 2022-04-01 吉林大学 视觉感知的汽车前视车辆和行人防碰撞预警系统及方法
CN107757583A (zh) * 2017-10-13 2018-03-06 奇瑞汽车股份有限公司 一种低速行车主动制动方法和系统
CN108583571A (zh) * 2018-04-28 2018-09-28 深圳市商汤科技有限公司 碰撞控制方法及装置、电子设备和存储介质
CN111754542B (zh) * 2019-03-27 2023-08-04 丰翼科技(深圳)有限公司 目标对象确定方法、跟踪方法、装置、设备及其存储介质
CN110276988A (zh) * 2019-06-26 2019-09-24 重庆邮电大学 一种基于碰撞预警算法的辅助驾驶系统
CN110765922B (zh) * 2019-10-18 2023-05-02 华南理工大学 一种agv用双目视觉物体检测障碍物系统
CN111332288A (zh) * 2020-03-14 2020-06-26 昆明理工大学 一种基于视觉系统的车辆行人碰撞避免方法
CN111731240A (zh) * 2020-06-18 2020-10-02 北京百度网讯科技有限公司 急刹车合理性评估方法、装置、设备以及存储介质
CN112001298B (zh) * 2020-08-20 2021-09-21 佳都科技集团股份有限公司 行人检测方法、装置、电子设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106671961A (zh) * 2017-03-02 2017-05-17 吉林大学 一种基于电动汽车的主动防碰撞系统及其控制方法
CN108205658A (zh) * 2017-11-30 2018-06-26 中原智慧城市设计研究院有限公司 基于单双目视觉融合的障碍物检测预警系统

Also Published As

Publication number Publication date
CN112356815A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN112356815B (zh) 一种基于单目相机的行人主动避撞系统及方法
CN107972662B (zh) 一种基于深度学习的车辆前向碰撞预警方法
CN107031623B (zh) 一种基于车载盲区相机的道路预警方法
CN109334563B (zh) 一种基于道路前方行人和骑行者的防碰撞预警方法
CN110573905B (zh) 障碍物检知装置
CN113370977B (zh) 一种基于视觉的智能车辆前向碰撞预警方法及系统
WO2019210142A1 (en) Device and method for determining a center of a trailer tow coupler
EP2960858B1 (en) Sensor system for determining distance information based on stereoscopic images
CN108604405A (zh) 利用环境和深度次序探测局部被遮挡的物体
CN105922990A (zh) 一种基于云端机器学习的车辆环境感知和控制方法
CN106537180A (zh) 用于用针对行人的主动制动的摄影机输入缓解雷达传感器限制的方法
CN113848545B (zh) 一种基于视觉和毫米波雷达的融合目标检测和跟踪方法
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN108021899A (zh) 基于双目相机的车载智能前车防撞预警方法
CN111332288A (zh) 一种基于视觉系统的车辆行人碰撞避免方法
WO2019065970A1 (ja) 車両用外界認識装置
JP2018063476A (ja) 運転支援装置、運転支援方法及び運転支援用コンピュータプログラム
EP4365046A1 (en) Pedestrian minor-collision identification method and system in low-speed scenario
CN105300390B (zh) 障碍物体运动轨迹的确定方法及装置
WO2019123582A1 (ja) 物体情報生成装置及び物体情報生成プログラム
CN113548056A (zh) 一种基于计算机视觉的汽车安全辅助驾驶系统
CN107256382A (zh) 基于图像识别的虚拟保险杠控制方法和系统
Kim et al. Traffic Accident Detection Based on Ego Motion and Object Tracking
CN115616557A (zh) 一种车辆能见度检测方法及系统
Xu et al. Extended Kalman filter based pedestrian localization for collision avoidance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant