CN115909222A - 车辆开门预警方法 - Google Patents

Abstract

本发明公开了一种车辆开门预警方法，包括：S1：获取车辆的环视图像，提取并筛选环视图像的角点，通过光流法得到环视图像的角点的轨迹；S2：设置预定周期的扫描滑窗，得到时间与纵向位移的波形图和纵向位移差值序列；S3：计算纵向位移变化率的参考量，若参考量小于或等于参考量阈值，根据轨迹的始末方向判断轨迹是否为风险轨迹；否则根据波形图中波峰与波谷数量、上升沿与下降沿数量、轨迹的始末方向判断轨迹是否为风险轨迹；S4：获取环视图像的预定区域内标记的风险轨迹的数量，若预定区域内的风险轨迹的数量大于第一数量阈值，车辆产生报警信号；否则车辆不产生报警信号。能够降低非刚性物体错杂轨迹带来的误报概率。

Description

车辆开门预警方法

技术领域

本发明属于图像处理技术领域，特别涉及一种车辆开门预警方法。

背景技术

车辆驻车时开门不当将导致同向行驶的机动车、非机动车、行人撞上车门，造成车损甚至人员伤亡。开门预警功能是指在乘客上下车时，若后方有靠近的机动车、非机动车、行人等物体时，车辆借助摄像头、雷达等传感器及时发现危险目标，并通过声音或灯光等方式给予提醒，避免危险的发生。现有的开门预警装置多采用雷达或摄像头，其中采用摄像头的方案有着更好的成本优势。

在低成本计算平台上基于鱼眼摄像头生成的环视图进行开门预警检测，光流算法可有效判断刚性物体的运动趋势信息并做出及时报警。然而对于行人类的非刚性物体，由于从鱼眼图到环视图像转换过程中的投影变换将大幅拉伸和曲变车辆周围高于地面的物体，行人的肢体动作可能在环视图上形成错杂的大幅跳跃的轨迹，进而容易在行人从车尾横向经过等场景下诱发误报警。

发明内容

本发明的目的在于解决现有技术中对于车辆后方的行人类非刚性物体可能触发误报警的问题。本发明提供了一种车辆开门预警方法，在保留对车辆后方的行人类非刚性物体报警的同时，有效排除非刚性物体错杂轨迹带来的误报问题。

本发明实施方式公开了一种车辆开门预警方法，包括以下步骤：

S1：获取车辆后方左右两侧的环视图像，提取环视图像中的角点，且对提取的环视图像中的角点进行筛选，通过光流法得到环视图像中的角点的轨迹；

S2：通过设置预定周期的扫描滑窗，获取轨迹中各时刻的角点的纵向位移，得到时间与纵向位移的波形图；获取每个预定周期内的角点的纵向位移差值以形成纵向位移差值序列；

S3：根据纵向位移差值序列计算纵向位移变化率的参考量，并根据参考量判断轨迹是否为风险轨迹；其中，

若参考量小于或等于参考量阈值，根据轨迹的始末方向判断轨迹是否为风险轨迹；其中，若是，将轨迹标记为风险轨迹，若否，将轨迹标记为非风险轨迹；

若参考量大于参考量阈值，根据波形图中波峰数量与波谷数量、上升沿数量与下降沿数量、以及轨迹的始末方向判断轨迹是否为风险轨迹；其中，若是，将轨迹标记为风险轨迹，若否，将轨迹标记为非风险轨迹；

S4：获取环视图像的预定区域内标记的风险轨迹的数量，根据预定区域内的风险轨迹的数量判断车辆是否产生报警信号；其中，

若预定区域内的风险轨迹的数量大于第一数量阈值，则车辆产生报警信号；

若预定区域内的风险轨迹的数量小于或等于第一数量阈值，则车辆不产生报警信号。

采用上述技术方案，获取车辆后方左右两侧的环视图像，提取环视图像中的角点，对提取的环视图像中的角点进行筛选，并通过光流法得到环视图像中的角点的轨迹，再通过设置预定周期的扫描滑窗，获取轨迹中各时刻的角点的纵向位移，得到时间与所述纵向位移的波形图，获取轨迹中每个预定周期内角点的纵向位移以形成纵向位移序列，通过参考量与参考量阈值的大小关系，即根据轨迹的波动情况，设置两种不同的判断轨迹是否为风险轨迹的方法。若参考量小于或等于参考量阈值，即轨迹较为平稳，只需要根据轨迹的始末方向判断轨迹是否为风险轨迹，若参考量大于参考量阈值，即轨迹波动明显，就需要根据波形图中波峰数量与波谷数量、上升沿数量与下降沿数量、以及轨迹的始末方向判断轨迹是否为风险轨迹，这样能够更加精确地确定该轨迹是否为风险轨迹，能够降低非刚性物体错杂轨迹带来的误报概率。判断完轨迹是否为风险轨迹后，需要判断预定区域内风险轨迹的数量是否大于第一数量阈值，若大于第一数量阈值，则车辆产生报警信号，这样通过产生的报警信号能够给准备开门下车的乘客或驾驶员安全提示，可以避免危险的发生。

根据本发明的另一具体实施方式，本发明的实施方式公开的车辆开门预警方法，步骤S3中，若参考量大于参考量阈值，且波形图中波峰数量与波谷数量的和大于第二数量阈值、上升沿数量大于或等于下降沿数量，以及轨迹的始末方向为向前时，则轨迹为风险轨迹；否则，轨迹为非风险轨迹。

采用上述技术方案，若参考量大于参考量阈值，则说明轨迹发生了明显的波动，为了减少错误报警的产生，即使轨迹的始末方向满足要求，也需要结合波形图中波峰数量与波谷数量的和与第二数量阈值的关系、上升沿数量与下降沿数量关系，来判断该轨迹是否为风险轨迹，这样能够正确的对靠近车辆的行人类非刚性物体进行报警，能够有效降低误报发生的概率。其中，波形图中波峰数量与波谷数量的和大于第二数量阈值表示已经观察该目标物体的角点轨迹足够多的运动特征，能够避免系统由于偶发的波动，避免过早地给出风险判断结论。

根据本发明的另一具体实施方式，本发明的实施方式公开的车辆开门预警方法，步骤S3中，若参考量小于或等于参考量阈值，且轨迹的始末方向为向前时，轨迹为风险轨迹；否则，轨迹为非风险轨迹。

采用上述技术方案，若参考量小于或等于参考量阈值，说明该轨迹较为稳定，若轨迹的始末方向为向前时能够直接判断该轨迹为风险轨迹，这样能够快速地作出该轨迹是否为风险轨迹的判断，若该轨迹为风险轨迹，车辆能够及时发出报警信号以预警快速靠近的物体给乘客安全提示，从而可以避免危险的发生。

根据本发明的另一具体实施方式，本发明的实施方式公开的车辆开门预警方法，步骤S3中，计算纵向位移差值序列的均值和方差，并根据以下公式计算纵向位移变化率的参考量：

Y’_var＝Y_var/Y_mean ²

其中，Y’_var为纵向位移变化率的参考量；Y_var为纵向位移差值序列的方差；Y_mean为纵向位移差值序列的均值。

采用上述技术方案，纵向位移变化率的参考量与纵向位移差值序列的方差和均值的平方有关，该参考量用于描述轨迹的综合波动强度。对于无论是高速运动或低速运动的物体，采用同一个参考量阈值均可准确将轨迹划分为波动轨迹和非波动轨迹。

根据本发明的另一具体实施方式，本发明的实施方式公开的车辆开门预警方法，步骤S1中，采用FAST检测法提取环视图像中的角点。

采用上述技术方案，FAST角点检测计算的时间复杂度小，检测效果突出。

根据本发明的另一具体实施方式，本发明的实施方式公开的车辆开门预警方法，步骤S1中，采用四叉树均衡算法对提取的环视图像中的角点分布进行均匀化。

采用上述技术方案，采用四叉树均衡算法能够提高提取的每一帧环视图像中的角点分布的均匀度。

根据本发明的另一具体实施方式，本发明的实施方式公开的车辆开门预警方法，步骤S1中，对提取的环视图像中的角点进行筛选包括以下步骤：

S11：获取当前帧环视图像后，分别计算前一帧环视图像中提取的每个角点与角点管理列表中的每个角点的距离；其中，设定当前帧环视图像为第t帧环视图像，且t≥3；

S12：判断前一帧环视图像中是否存在与角点管理列表中的角点的距离小于距离阈值的角点；

若是，则角点管理列表中对应的角点的被命中次数加1，被命中次数的上限为M，M为正整数；

若否，则角点管理列表中对应的角点的被命中次数减1，被命中次数的下限为0；

S13：判断前一帧环视图像中是否存在与角点管理列表中每个角点的距离均大于或者等于距离阈值的角点；

若是，则将对应的角点加入角点管理列表中，且对应的角点的被命中次数计为M；

S14：删除角点管理列表中被命中次数为0的角点，得到新的角点管理列表，继续通过光流法得到包括当前帧环视图像中的角点的轨迹。

采用上述方案，若前一帧环视图像中存在与角点管理列表中的角点的距离小于距离阈值的角点，则角点管理列表中对应的角点的被命中次数加1，若前一帧环视图像中不存在与角点管理列表中的角点的距离小于距离阈值的角点，则角点管理列表中对应的角点的被命中次数减1，若前一帧环视图像中存在与角点管理列表中每个角点的距离均大于或者等于距离阈值的角点，则将对应的角点加入角点管理列表中，且对应的角点的被命中次数计为M，这样能够保证角点管理列表中不会存在大量过于临近的点，从而能够避免重复计算非常临近的点的轨迹，能够减少内存开销和计算开销。

根据本发明的另一具体实施方式，本发明的实施方式公开的车辆开门预警方法，步骤S1中，采用LK光流法得到角点的轨迹，包括以下步骤：

S15：在当前帧环视图像和前一帧环视图像之间对在新的角点管理列表中的角点，通过LK光流法进行光流跟踪并判断角点是否跟踪成功；

若跟踪成功，则记录对应的角点和对应的角点的轨迹；

若跟踪失败，则删除新的角点管理列表中对应的角点和对应的角点的轨迹；

得到包括当前帧环视图像中的角点的轨迹，之后继续进行步骤S2。

采用上述方案，LK光流法跟踪角点的性能较优，运算速度较快，能够快速地获得环视图像中的角点轨迹。

根据本发明的另一具体实施方式，本发明的实施方式公开的车辆开门预警方法，步骤S1中，获取车辆后方左右两侧的环视图像，包括：

通过车辆左右两侧的车载鱼眼摄像头获取车辆后方左右两侧的鱼眼图像，将车辆后方左右两侧的鱼眼图像经过环视拼接后形成车辆后方左右两侧的环视图像。

采用上述技术方案，通过车辆左右两侧的车载鱼眼摄像头获取车辆后方左右两侧的鱼眼图像，从而得到环视图像，能够实时监控车辆后方两侧的物体的运动情况。

根据本发明的另一具体实施方式，本发明的实施方式公开的车辆开门预警方法，参考量阈值的取值范围为0.2～0.5；第一数量阈值为3或4；第二数量阈值的取值范围为3～6。

本发明的有益效果是：

本发明提供了一种车辆开门预警方法，获取车辆后方左右两侧的环视图像，提取环视图像中的角点，对提取的环视图像中的角点进行筛选，并通过光流法得到环视图像中的角点的轨迹，再通过设置预定周期的扫描滑窗，获取轨迹中各时刻的角点的纵向位移，得到时间与所述纵向位移的波形图，获取轨迹中每个预定周期内角点的纵向位移以形成纵向位移序列，通过参考量与参考量阈值的大小关系，即根据轨迹的波动情况，设置两种不同的判断轨迹是否为风险轨迹的方法。若参考量小于或等于参考量阈值，即轨迹较为平稳，只需要根据轨迹的始末方向判断轨迹是否为风险轨迹，若参考量大于参考量阈值，即轨迹波动明显，就需要根据波形图中波峰数量与波谷数量、上升沿数量与下降沿数量、以及轨迹的始末方向判断轨迹是否为风险轨迹，这样能够更加精确地确定该轨迹是否为风险轨迹，能够降低非刚性物体错杂轨迹带来的误报概率。判断完轨迹是否为风险轨迹后，需要判断预定区域内风险轨迹的数量是否大于第一数量阈值，若大于第一数量阈值，则车辆产生报警信号，这样通过产生的报警信号能够给准备开门下车的乘客或驾驶员安全提示，可以避免危险的发生。

附图说明

图1为本发明实施例的车辆开门预警方法的流程图；

图2为本发明实施例的车辆开门预警方法的环视图像拼接示意图；

图3为本发明实施例的车辆开门预警方法的刚性物体的角点的轨迹的示意图；

图4为本发明实施例的车辆开门预警方法的非刚性物体的角点的轨迹的示意图；

图5为本发明实施例的车辆开门预警方法的时间与角点的纵向位移的波形图；

图6为本发明实施例的车辆开门预警方法中对提取的环视图像中的角点进行筛选的流程图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。虽然本发明的描述将结合较佳实施例一起介绍，但这并不代表此发明的特征仅限于该实施方式。恰恰相反，结合实施方式作发明介绍的目的是为了覆盖基于本发明的权利要求而有可能延伸出的其它选择或改造。为了提供对本发明的深度了解，以下描述中将包含许多具体的细节。本发明也可以不使用这些细节实施。此外，为了避免混乱或模糊本发明的重点，有些具体细节将在描述中被省略。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

应注意的是，在本说明书中，相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本实施例的描述中，需要说明的是，术语“上”、“下”、“内”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本实施例的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本实施例中的具体含义。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

如图1所示，本发明实施方式公开了一种车辆开门预警方法，包括以下步骤：

S1：获取车辆后方左右两侧的环视图像，提取环视图像中的角点，且对提取的环视图像中的角点进行筛选，通过光流法得到环视图像中的角点的轨迹。

在一种具体实施方式中，获取车辆后方左右两侧的环视图像包括：通过车辆左右两侧的车载鱼眼摄像头获取车辆后方左右两侧的鱼眼图像，将车辆后方左右两侧的鱼眼图像经过环视拼接后形成车辆后方左右两侧的环视图像。

如图2所示，借助车载左右两侧鱼眼摄像头的全向相机模型内参信息、畸变参数信息和外参信息，经过环视拼接后生成仅包含左右侧相机视野的环视图像。环视图像的纵向视野起点与后视镜齐平，纵向物理长度为L米，横向视野起点为左右侧车身边缘，横向物理宽度左右侧均为W米。

本实施方式中，可以通过Harris检测法、AHI-Tomasi检测法、SUSAN检测法、FAST检测法等本领域技术人员常用的角点检测方法提取环视图像中的角点，本实施方式对此不做具体限制。例如，环视图像中有一个正方形，提取的角点可以是正方形的四个角。

本实施方式中，相邻两帧环视图像中的角点可以通过LK(Lucas-Kanade)光流法、HS(Horn Schunck)光流法等本领域技术人员常用的光流法进行追踪，从而得到环视图像中的角点的轨迹。例如，图3为本发明实施例的车辆开门预警方法的刚性物体的角点的轨迹的示意图，图3中的黑色的圆点表示刚性物体的角点，实线表示刚性物体的角点的运动轨迹，从图3中可以看出刚性物体的每个角点轨迹相互平行，运动方向一致，虚线表示刚性物体的轮廓。图4为本发明实施例的车辆开门预警方法的非刚性物体的角点的轨迹的示意图，图4中的黑色的圆点表示非刚性物体的角点，实线刚性物体的角点的运动轨迹，从4图中可以看出非刚性物体的每个角点轨迹错综复杂，虚线表示非刚性物体的轮廓。如图3和图4所示，非刚性物体的角点的运动相较于刚体物体更复杂，角点的运动轨迹相较于刚体物体更复杂。

S2：通过设置预定周期为win的扫描滑窗，获取轨迹中各时刻的角点的纵向位移，得到时间与纵向位移的波形图，如图5所示。例如，角点在t时刻的纵向位移为

获取每个预定周期内的角点的纵向位移差值

其中，角点纵向位移差值

的计算公式为：

以形成纵向位移差值序列。

本实施方式中，若环视图像的刷新率(Frame Per Second，FPS)为30，即30帧/秒，预定周期可以设置为2帧，即win＝2，则每个预定周期内的角点的纵向位移差值

S3：根据纵向位移差值序列计算纵向位移变化率的参考量，并根据参考量判断轨迹是否为风险轨迹；其中，

若参考量小于或等于参考量阈值，根据轨迹的始末方向判断轨迹是否为风险轨迹；其中，若是，将轨迹标记为风险轨迹，若否，将轨迹标记为非风险轨迹；

若参考量大于参考量阈值，根据波形图中波峰数量与波谷数量、上升沿数量与下降沿数量、以及轨迹的始末方向判断轨迹是否为风险轨迹；其中，若是，将轨迹标记为风险轨迹，若否，将轨迹标记为非风险轨迹。

需要说明的是，本实施方式中，对于每一个波峰，只有在其距离上一个波谷的正向位移量超过阈值T_up时，才统计入上升降沿数量。同理，对于每一个波谷，只有在其距离上一个波峰的负向位移量超过阈值T_down时，才统计入下降沿数量。其中，T_up的取值可以为物理世界中0.5米在环视图上所对应的像素数量，T_down的取值可为物理世界中0.1米在环视图上所对应的像素数量。这样约束了上升沿和下降沿出现的形式和数量。例如，若轨迹中仅有一个有效的、非常大幅的正向上升沿，其余有许多有效的、小幅的下降沿，上升沿数量与下降沿数量需要根据波谷的正向位移量、阈值T_up、波峰的负向位移量、T_down确定，因此这类轨迹不一定为风险轨迹。

本实施方式中，纵向位移变化率的参考量可以根据纵向位移差值序列的均值和方差确定。本实施方式中，参考量阈值的取值范围为0.2～0.5，具体可以为0.2、0.3、0.4、0.5，还可以为0.2～0.5范围内的其他数值，本领域技术人员可根据实际情况设置，本实施方式对此不做具体限制。

S4：获取环视图像的预定区域内标记的风险轨迹的数量，根据预定区域内的风险轨迹的数量判断车辆是否产生报警信号；其中，

若预定区域内的风险轨迹的数量大于第一数量阈值，则车辆产生报警信号；

若预定区域内的风险轨迹的数量小于或等于第一数量阈值，则车辆不产生报警信号。

需要说明是，本实施方式中，步骤S1中环视图像是一帧一帧获取的，每次获取新的一帧环视图像，通过该车辆开门预警方法就可以给出是否报警的决策，该方法初始的第一帧环视图像例外。另外，在第一次执行步骤S2之前需要得到一定长度的轨迹，因此需要在获取新的一帧环视图像后需要重复几次步骤S1之后在执行步骤S2，具体的重复次数本领域技术人员可以根据需要设置，在得到达到要求的长度轨迹之前，每次获取新的一帧环视图像也不会给出是否报警的决策。

本实施方式中，预定区域可以设置为物理世界中的1.5米×3米的区域在环视图上所对应的像素大小。第一数量阈值可以设置为3，也可以设置为4，本领域技术人员可以根据实际情况设置，本实施方式对此不做具体限制。若车辆产生报警信号，预定区域对应的车辆对应侧产生报警信号，具体可以通过指示灯及车内的报警音给予乘客安全提示。

采用上述方案，获取车辆后方左右两侧的环视图像，提取环视图像中的角点，对提取的环视图像中的角点进行筛选，并通过光流法得到环视图像中的角点的轨迹，再通过设置预定周期的扫描滑窗，获取轨迹中各时刻的角点的纵向位移，得到时间与纵向位移的波形图，获取轨迹中每个预定周期内角点的纵向位移以形成纵向位移序列，通过参考量与参考量阈值的大小关系，即根据轨迹的波动情况，设置两种不同的判断轨迹是否为风险轨迹的方法。若参考量小于或等于参考量阈值，即轨迹较为平稳，只需要根据轨迹的始末方向判断轨迹是否为风险轨迹，若参考量大于参考量阈值，即轨迹波动明显，就需要根据波形图中波峰数量与波谷数量、上升沿数量与下降沿数量、以及轨迹的始末方向判断轨迹是否为风险轨迹，这样能够更加精确地确定该轨迹是否为风险轨迹，能够降低非刚性物体错杂轨迹带来的误报概率。判断完轨迹是否为风险轨迹后，需要判断预定区域内风险轨迹的数量是否大于第一数量阈值，若大于第一数量阈值，则车辆产生报警信号，这样通过产生的报警信号能够给准备开门下车的乘客或驾驶员安全提示，可以避免危险的发生。

在一种具体实施方式中，步骤S3中，若参考量大于参考量阈值，且波形图中波峰数量与波谷数量的和大于第二数量阈值、上升沿数量大于或等于下降沿数量，以及轨迹的始末方向为向前时，则轨迹为风险轨迹；否则，轨迹为非风险轨迹。

本实施方式中，第二数量阈值的取值范围为3～6，具体可以为3、4、5、6，本领域技术人员可以根据实际情况设置，本实施方式对此不做具体限制。轨迹的始末方向为向前指的是轨迹的终点相对于起点具有正向位移。

采用上述技术方案，若参考量大于参考量阈值，则说明轨迹发生了明显的波动，为了减少错误报警的产生，即使轨迹的始末方向满足要求，车辆也暂时延缓报警信号的发出，除了轨迹的始末方向外，还需要结合波形图中波峰数量与波谷数量的和与第二数量阈值的关系、上升沿数量与下降沿数量关系，来判断该轨迹是否为风险轨迹，才能够正确地对靠近车辆的行人类非刚性物体进行报警，能够有效降低误报发生的概率。由于行人这类速度较低的非刚性物体通常容易产生这类波动的轨迹，所以在这种情况下适当的延后报警并不会对系统的报警及时性产生大的损害，还能够有效降低误报发生的概率。

在一种具体实施方式中，步骤S3中，若参考量小于或等于参考量阈值，且轨迹的始末方向为向前时，轨迹为风险轨迹；否则，轨迹为非风险轨迹。

若参考量小于或等于参考量阈值，说明该轨迹较为稳定，若轨迹的始末方向为向前时能够直接判断该轨迹为风险轨迹，这样能够比较快速地作出该轨迹是否为风险轨迹的判断。若该轨迹为风险轨迹，也能够快速地给乘客安全提示，从而可以避免危险的发生。

在一种具体实施方式中，步骤S3中，计算纵向位移差值序列的均值和方差，并根据以下公式计算纵向位移变化率的参考量：

Y’_var＝Y_var/Y_mean ²

其中，Y’_var为纵向位移变化率的参考量；Y_var为纵向位移差值序列的的方差；Y_mean为纵向位移差值序列的均值；

本实施方式中，纵向位移变化率的参考量与纵向位移差值序列的方差和均值的平方有关，该参考量用于描述轨迹的综合波动强度。对于无论是高速运动或低速运动的物体，采用同一个参考量阈值均可准确将轨迹划分为波动轨迹和非波动轨迹。

在一种具体实施方式中，步骤S1中，采用FAST检测法提取环视图像中的角点。FAST检测法属于本领域常用的一种图像中角点提取方法，具有计算的时间短、复杂度小，检测效果突出的特点。

在一种具体实施方式中，步骤S1中，采用四叉树均衡算法对提取的环视图像中的角点分布进行均匀化，四叉树均衡算法能够提高角点分布的均匀度，便于之后对角点的筛选和角点的光流跟踪。

具体地，四叉树均衡算法属于本领域常见的技术方法，本实施方式中，首选预设每一帧环视图像中角点的目标数量，通过四叉树均衡算法能够将提取环视图像的实际角点数量删减到目标数量，比如在环视图像上的小范围内具有多个角点，可以只保留一个角点，删除其余角点，来提高角点分布的均匀度。

在一种具体实施方式中，如图6所示，步骤S1中，对提取的环视图像中的角点进行筛选包括以下步骤：

S11：获取当前帧环视图像后，分别计算前一帧环视图像中提取的每个角点与角点管理列表中的每个角点的距离；其中，设定当前帧环视图像为第t帧环视图像，且t≥3；该距离具体可以为欧式距离。需要说明的是，第1帧环视图像和第2帧环视图像不是根据步骤S11-S15得到初始的角点管理列表和第1环视图像和2帧环视图像中的角点的轨迹。因此，本实施方式要求步骤S11中，要求t≥3。

需要说明的是，步骤S11中初始的角点管理列表的建立如下：首先建立空的角点管理列表，获取第1帧环视图像，提取第1帧环视图像中的角点；将第1帧环视图像中提取的角点加入角点管理列表，角点管理列表的角点的被命中次数计为M，其中，M为正整数；若环视图像的FPS为30，即30帧/秒，M的取值可以设置为15，相当于15帧环视图像作为一个角点筛选周期。

进一步，获取第2帧环视图像，提取第2帧环视图像中的角点；在第2帧环视图像和第1帧环视图像之间对在角点管理列表中的角点，采用LK光流法进行光流跟踪并判断角点是否跟踪成功；若跟踪成功，则记录对应的角点的轨迹；若跟踪失败，则删除角点管理列表中对应的角点的轨迹和角点管理列表中对应的角点，得到初始的角点管理列表和第1环视图像和2帧环视图像中的角点的轨迹。之后获取第3帧环视图像后按照步骤S11-S14更新管理列表。

S12：判断前一帧环视图像中是否存在与角点管理列表中的角点的距离小于距离阈值的角点；若是，则角点管理列表中对应的角点的被命中次数加1，被命中次数的上限为M，其中，M为正整数；若否，则角点管理列表中对应的角点的被命中次数减1，被命中次数的下限为0。

本实施方式中，若前一帧环视图像的角点与角点管理列表中的一个角点的距离小于距离阈值，角点管理列表中该角点的被命中次数加1。经过步骤S13后，一个角点的被命中次数最多加1；一个角点的被命中次数最多减1。距离阈值可以设置为物理世界中距离为0.5米的对应的环视图像中的像素长度，还可以设置为物理距离为其他数据对应的环视图像中的像素长度，本领域技术人员可根据实际需要设置。

S13：判断前一帧环视图像中是否存在与角点管理列表中每个角点的距离均大于距离阈值的角点；若是，则将对应的角点加入角点管理列表中，且对应的角点的被命中次数计为M。

S14：删除角点管理列表中被命中次数为0的角点，得到新的角点管理列表，继续通过光流法得到包括当前帧环视图像中的角点的轨迹。

由于重复计算非常临近的点的轨迹并不会为算法最终性能带来提升，只会造成不必要的内存开销和计算开销。采用上述方案，前一帧环视图像中存在与角点管理列表中的角点的距离小于距离阈值的角点，则角点管理列表中对应的角点的被命中次数加1，若前一帧环视图像中不存在与角点管理列表中的角点的距离小于距离阈值的角点，则角点管理列表中对应的角点的被命中次数减1；若前一帧环视图像中存在与角点管理列表中每个角点的距离均大于或者等于距离阈值的角点，则将对应的角点加入角点管理列表中，且对应的角点的被命中次数计为M，这样能够保证角点管理列表中不会存在大量过于临近的点，从而能够避免重复计算非常临近的点的轨迹，能够减少内存开销和计算开销。

在一种具体实施方式中，步骤S1中，采用LK光流法得到角点的轨迹，包括以下步骤：

S15：在当前帧环视图像和前一帧环视图像之间对在新的角点管理列表中的角点，通过LK光流法进行光流跟踪并判断角点是否跟踪成功；其中，设定当前帧环视图像为第t帧环视图像；并且，

若跟踪成功，则记录对应的角点和对应的角点的轨迹；

若跟踪失败，则删除新的角点管理列表中对应的角点和对应的角点的轨迹；

得到包括当前帧环视图像中的角点的轨迹，之后继续进行步骤S2。

具体地，通过LK光流法光流跟踪并判断角点是否跟踪成功属于本领域常用的一种方法，通过一个偏差值err来判断，该偏差值表示的是角点原始位置周围WxH的图片块与角点跟踪后位置周围WxH的图片块之间的像素灰度差的绝对值之和。当err小于阈值T_optical时，则认为跟踪成功，反之跟踪失败。本实施方式中，W和H可以均取11，阈值T_optical可以为8。

需要说明的是，本实施方式中，在执行步骤S2之前，需要先判断得到的包括当前帧环形图像中的角点的轨迹是否为有效轨迹，若是，则继续执行步骤S2；若否，设定当前帧环视图像为第t+1帧环视图像，然后继续执行步骤S11-S15，直至角点的轨迹为有效轨迹后，继续执行步骤S2。其中，有效轨迹指的是至少一个角点在连续k帧环视图形中均能获得其轨迹，即当前帧环视图像为第t+k帧环视图像，继续执行步骤S11-S15，得到的轨迹。若环视图像的刷新率(Frame Per Second，FPS)为30，即30帧/秒，k可以为5。

采用上述方案，LK光流法跟踪角点的性能较优，运算速度较快，能够快速地获得环视图像中的角点轨迹。

本实施方式中，车辆开门预警方法的整个过程循环流如下：如果已经获取t-1帧环视图像和有效的角点轨迹；获取第t帧的环视图像，若FPS＝30，t≥6，即计算第t-1帧的角点与角点管理列表中角点的距离，根据第t-1帧的角点进行增删角点管理列表，更新后的角点管理列表内的角点在第t-1帧与第t帧之间进行光流跟踪，根据跟踪结果更新管理列表内的角点坐标位置到第t帧坐标下，并得到包括第t帧环视图像的角点轨迹，通过步骤S2-S3对上述轨迹进行判断，决策获取第t帧的环视图像后车辆是否输出报警信号。之后继续获取第t+1帧环视图像，开始新的循环，继续执行上述操作决策获取第t+1帧环视图像后车辆是否输出报警信号。

本发明提供了一种车辆开门预警方法，获取车辆后方左右两侧的环视图像，提取环视图像中的角点，对提取的环视图像中的角点进行筛选，并通过光流法得到环视图像中的角点的轨迹，再通过设置预定周期的扫描滑窗，获取轨迹中各时刻的角点的纵向位移，得到时间与纵向位移的波形图，获取轨迹中每个预定周期内角点的纵向位移以形成纵向位移序列，通过参考量与参考量阈值的大小关系，即根据轨迹的波动情况，设置两种不同的判断轨迹是否为风险轨迹的方法。若参考量小于或等于参考量阈值，即轨迹较为平稳，只需要根据轨迹的始末方向判断轨迹是否为风险轨迹，若参考量大于参考量阈值，即轨迹波动明显，就需要根据波形图中波峰数量与波谷数量、上升沿数量与下降沿数量、以及轨迹的始末方向判断轨迹是否为风险轨迹，这样能够更加精确地确定该轨迹是否为风险轨迹，能够降低非刚性物体错杂轨迹带来的误报概率。判断完轨迹是否为风险轨迹后，需要判断预定区域内风险轨迹的数量是否大于第一数量阈值，若大于第一数量阈值，则车辆产生报警信号，这样通过产生的报警信号能够给准备开门下车的乘客或驾驶员安全提示，可以避免危险的发生。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。本领域技术人员可以在形式上和细节上对其作各种改变，包括做出若干简单推演或替换，而不偏离本发明的精神和范围。

Claims (10)

1.一种车辆开门预警方法，其特征在于，包括以下步骤：

S1：获取车辆后方左右两侧的环视图像，提取所述环视图像中的角点，且对提取的所述环视图像中的所述角点进行筛选，通过光流法得到所述环视图像中的所述角点的轨迹；

S2：通过设置预定周期的扫描滑窗，获取所述轨迹中各时刻的所述角点的纵向位移，得到时间与所述纵向位移的波形图；获取每个所述预定周期内的所述角点的纵向位移差值以形成纵向位移差值序列；

S3：根据所述纵向位移差值序列计算纵向位移变化率的参考量，并根据所述参考量判断所述轨迹是否为风险轨迹；其中，

若所述参考量小于或等于参考量阈值，根据所述轨迹的始末方向判断所述轨迹是否为所述风险轨迹；其中，若是，将所述轨迹标记为风险轨迹，若否，将所述轨迹标记为非风险轨迹；

若所述参考量大于所述参考量阈值，根据所述波形图中波峰数量与波谷数量、上升沿数量与下降沿数量、以及所述轨迹的始末方向判断所述轨迹是否为所述风险轨迹；其中，若是，将所述轨迹标记为风险轨迹，若否，将所述轨迹标记为非风险轨迹；

S4：获取所述环视图像的预定区域内标记的所述风险轨迹的数量，根据所述预定区域内的所述风险轨迹的数量判断车辆是否产生报警信号；其中，

若所述预定区域内的所述风险轨迹的数量大于第一数量阈值，则所述车辆产生报警信号；

若所述预定区域内的所述风险轨迹的数量小于或等于所述第一数量阈值，则所述车辆不产生所述报警信号。

2.如权利要求1所述的车辆开门预警方法，其特征在于，所述步骤S3中，若所述参考量大于所述参考量阈值，且所述波形图中所述波峰数量与所述波谷数量的和大于第二数量阈值、所述上升沿数量大于或等于所述下降沿数量，以及所述轨迹的始末方向为向前时，则所述轨迹为风险轨迹；否则，所述轨迹为非风险轨迹。

3.如权利要求2所述的车辆开门预警方法，其特征在于，所述步骤S3中，若所述参考量小于或等于所述参考量阈值，且所述轨迹的始末方向为向前时，所述轨迹为风险轨迹；否则，所述轨迹为非风险轨迹。

4.如权利要求3所述的车辆开门预警方法，其特征在于，所述步骤S3中，计算所述纵向位移差值序列的均值和方差，并根据以下公式计算所述纵向位移变化率的所述参考量：

Y’_var＝Y_var/Y_mean ²

其中，Y’_var为所述纵向位移变化率的所述参考量；Y_var为所述纵向位移差值序列的方差；Y_mean为所述纵向位移差值序列的均值。

5.如权利要求4所述的车辆开门预警方法，其特征在于，所述步骤S1中，采用FAST检测法提取所述环视图像中的所述角点。

6.如权利要求5所述的车辆开门预警方法，其特征在于，所述步骤S1中，采用四叉树均衡算法对提取的所述环视图像中的角点分布进行均匀化。

7.如权利要求6所述的车辆开门预警方法，其特征在于，所述步骤S1中，对提取的所述环视图像中的所述角点进行筛选包括以下步骤：

S11：获取当前帧环视图像后，分别计算前一帧环视图像中提取的每个所述角点与角点管理列表中的每个所述角点的距离；设定所述当前帧环视图像为第t帧环视图像，且t≥3；

S12：判断所述前一帧环视图像中是否存在与所述角点管理列表中的所述角点的距离小于距离阈值的角点；

若是，则所述角点管理列表中对应的所述角点的被命中次数加1，所述被命中次数的上限为M，M为正整数；

若否，则所述角点管理列表中对应的所述角点的所述被命中次数减1，所述被命中次数的下限为0；

S13：判断所述前一帧环视图像中是否存在与所述角点管理列表中每个所述角点的距离均大于或者等于所述距离阈值的角点；

若是，则将对应的所述角点加入所述角点管理列表中，且对应的所述角点的所述被命中次数计为M；

S14：删除所述角点管理列表中所述被命中次数为0的所述角点，得到新的角点管理列表，继续通过光流法得到包括所述当前帧环视图像中的所述角点的轨迹。

8.如权利要求7所述的车辆开门预警方法，其特征在于，所述步骤S1中，采用LK光流法得到所述角点的轨迹，包括以下步骤：

S15：在所述当前帧环视图像和所述前一帧环视图像之间对在所述新的角点管理列表中的所述角点，通过LK光流法进行光流跟踪并判断所述角点是否跟踪成功；

若跟踪成功，则记录对应的所述角点和对应的所述角点的轨迹；

若跟踪失败，则删除所述新的角点管理列表中对应的所述角点和对应的所述角点的轨迹；

得到包括所述当前帧环视图像中的所述角点的轨迹，之后继续进行所述步骤S2。

9.如权利要求1-8任一项所述的车辆开门预警方法，其特征在于，所述步骤S1中，获取车辆后方左右两侧的环视图像，包括：

通过车辆左右两侧的车载鱼眼摄像头获取车辆后方左右两侧的鱼眼图像，将车辆后方左右两侧的所述鱼眼图像经过环视拼接后形成车辆后方左右两侧的所述环视图像。

10.如权利要求2-8任一项所述的车辆开门预警方法，其特征在于，所述参考量阈值的取值范围为0.2～0.5；所述第一数量阈值为3或4；所述第二数量阈值的取值范围为3～6。

Images