CN107452230A - 一种障碍物检测方法、装置、终端设备及存储介质 - Google Patents

一种障碍物检测方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN107452230A
CN107452230A CN201710632610.7A CN201710632610A CN107452230A CN 107452230 A CN107452230 A CN 107452230A CN 201710632610 A CN201710632610 A CN 201710632610A CN 107452230 A CN107452230 A CN 107452230A
Authority
CN
China
Prior art keywords
current vehicle
orientation
image
moment
gear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710632610.7A
Other languages
English (en)
Other versions
CN107452230B (zh
Inventor
范佐灯
叶志聪
蔡运文
柯文平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ming Ming (xiamen) Technology Co Ltd
Original Assignee
Ming Ming (xiamen) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ming Ming (xiamen) Technology Co Ltd filed Critical Ming Ming (xiamen) Technology Co Ltd
Priority to CN201710632610.7A priority Critical patent/CN107452230B/zh
Publication of CN107452230A publication Critical patent/CN107452230A/zh
Application granted granted Critical
Publication of CN107452230B publication Critical patent/CN107452230B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

本发明公开了一种障碍物检测方法、装置、终端设备及存储介质，在该方法中，首先获取当前车辆的档位信息和与档位信息对应的各方位图像，并将各方位图像转换为各方位俯瞰图，提取各方位俯瞰图的图像信息并存储，再根据当前车辆所处档位采用不同的图像处理方法判断图像中是否存在障碍物，并存在障碍物时在当前车辆的人机界面的相应位置标出障碍物所在区域。也就是说，本发明实施例所述技术方案可适用于本车静止或者本车运动两种状态，并根据车辆平动和鸟瞰图的特点，有效地克服本车运动状态下，透视画面中检测移动物体的难题，且本方法简单易于实现，并且具有主动防撞报警功能，进一步提高了行车安全。

Description

一种障碍物检测方法、装置、终端设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种障碍物检测方法、装置、终 端设备及存储介质。
背景技术
对于一般车辆而言，由于车辆的构造使得驾驶员的视野存在盲区，不利于 行车安全。而随着智能科技的发展，出现了车载环视系统，能为驾驶员提供360 度的行车视野，基本上消除了盲区。但由于人类的思维惯性，有时可能并不注 意观察环视系统中出现的情况，或是将注意力过分集中在环视系统上造成驾驶 操作失误，容易发生交通事故。
也就是说，虽然现有车载环视系统为驾驶员提供更为广阔的视野，但是并 没有对视野内的障碍物和移动物体等进行检测并主动提醒驾驶员，从而使得即 使安装有车载环视系统的车辆仍存在安全隐患。
发明内容
本发明实施例提供了一种障碍物检测方法、装置、终端设备及存储介质， 用以解决现有车载环视系统未对视野内的障碍物进行检测并主动提醒驾驶员， 以及安全性低的问题。
本发明实施例提供了一种障碍物检测方法，所述方法包括：
获取当前车辆的档位信息，并根据所述档位信息获取与所述档位信息对应 的各方位图像；
将所述各方位图像转换为各方位俯瞰图，提取所述各方位俯瞰图的图像信 息并存储；
根据所述档位信息判断当前车辆的行驶状态，当确定当前车辆处于驻车挡 位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆 四周是否存在移动物体，若是则发出报警，并在当前车辆的人机界面的相应位 置标出移动物体所在区域；当确定当前车辆处于前进档位或后退档位时，根据 存储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四周是否存 在移动物体或者静止障碍物，若是则发出报警，并在当前车辆的人机界面的相 应位置标出移动物体或者静止障碍物所在区域。
进一步地，作为一个可执行方案，所述根据所述档位信息获取与所述档位 信息对应的各方位图像，包括：
根据所述档位信息确定当前车辆处于驻车挡位时，则获取当前车辆的前后 左右四个方位的图像；或
根据所述档位信息确定当前车辆处于前进挡位时，则获取当前车辆的前左 右三个方位的图像；或
根据所述档位信息确定当前车辆处于后退挡位时，则获取当前车辆的后左 右三个方位的图像。
进一步地，作为一个可执行方案，所述图像信息至少包括轮廓信息和特征 点信息。
具体地，作为一个可执行方案，当确定当前车辆处于驻车挡位时，根据存 储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四周是否存在 移动物体，若是则发出报警，并在当前车辆的人机界面的相应位置标出移动物 体所在区域，包括：
分别获取k和k+1时刻g方位采集得到的图像信息Ik，g(i,j)和Ik+1，g(i,j)，并计 算k和k+1时刻g方位的图像残差；
其中，k和k+1时刻的图像残差求解公式为：
其中，E(k,k+1,g)表示k和k+1时刻g方位的图像残差；Ik，g(i,j)表示k时 刻g方位采集到的图像信息；Ik+1，g(i,j)表示k+1时刻g方位采集到的图像信息；TI为像素阈值；
当g方位连续某三个时刻的图像残差满足以下条件时，确定当前车辆存在 移动物体，发出报警，并在当前车辆的人机界面内g方位、且满足条件的图像 残差对应的图像信息所在位置用高亮方框标出移动物体所在区域；
其中，E(k,k+1,g)表示k和k+1时刻g方位的图像残差；E(k+1,k+2,g)表 示k+1和k+2时刻g方位的图像残差；TI表示像素阈值，TE表示图像残差阈值， MIN(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较小值， MAX(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较大值。
具体地，作为一个可执行方案，当确定当前车辆处于前进档位或后退档位 时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四 周是否存在移动物体或者静止障碍物，若是则发出报警，并在当前车辆的人机 界面的相应位置标出移动物体或者静止障碍物所在区域，包括以下步骤：
步骤一：分别获取k和k+1时刻g方位采集得到的图像信息Ik，g(i,j)和Ik+1，g(i,j)；
步骤二：提取k时刻图像信息Ik，g(i,j)的特征点，形成k时刻g方向的特征 点集P并存储；其中，特征点集P记为{P|pi∈P,i＝0,1,2...N}；
步骤三：采用LK光流法计算点集P中每一点在k+1时刻的对应点，组成 点集{P'|pi'∈P',i＝0,1,2...N}，并根据当前车辆处于前进档位或后退档位和当前车速 滤除错误对应点对；
步骤四：从剩余对应点对中选取一组，将k时刻图像信息Ik，g(i,j)按照该对 应点对的移动方向和距离变换成I‘k，g(i,j)，并计算I‘k，g(i,j)和k+1时刻g方位的图 像信息Ik+1，g(i,j)的图像残差，直至遍历所有剩余对应点对；
步骤五：选取图像残差最小的一组对应点对；
即，i＝argmin(E(k',k+1,g))
其中，i表示最小的一组对应点对，(E(k',k+1,g)表示I'k,g与Ik+1,g在g方位 的图像残差；
步骤六：当g方位连续某三个时刻根据上述步骤一至步骤五选取的图像残 差满足以下条件时，确定当前车辆存在移动物体或静止障碍物，发出报警，并 在当前车辆的人机界面内g方位、且满足条件的图像残差对应的图像信息所在 位置用高亮方框标出移动物体或静止障碍物所在区域；
其中，E(k,k+1,g)表示k和k+1时刻g方位的图像残差；E(k+1,k+2,g)表 示k+1和k+2时刻g方位的图像残差；TI表示像素阈值，TE表示图像残差阈值， MIN(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较小值， MAX(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较大值。
具体地，作为一个可执行方案，，步骤三：采用LK光流法计算点集P中每 一点在k+1时刻的对应点，组成点集{P'|pi'∈P',i＝0,1,2...N}，并根据当前车辆处于 前进档位或后退档位和当前车速滤除错误对应点对，包括：
计算对应点对的距离|pip’i|；
获取g方位俯瞰图中k和k+1时刻的两帧图像的间隔时间ΔT以及当前车 速，并计算在ΔT内，两帧图像的距离d。
当对应点对的距离|pip’i|与两帧图像的距离d的差的绝对值大于Td时，则删 除该对应点对，其中，Td表示允许的距离误差阈值。
进一步地，本发明实施例还提供了一种障碍物检测装置，包括：
采集单元，用于获取当前车辆的档位信息，并根据所述档位信息获取与所 述档位信息对应的各方位图像；
图像处理存储单元，用于将所述各方位图像转换为各方位俯瞰图，提取所 述各方位俯瞰图的图像信息并存储；
判断处理单元，用于根据所述档位信息判断当前车辆的行驶状态，当确定 当前车辆处于驻车挡位时，根据存储的连续帧的所述各方位俯瞰图的所述图像 信息判断，当前车辆四周是否存在移动物体，若是则发出报警，并在当前车辆 的人机界面的相应位置标出移动物体所在区域；当确定当前车辆处于前进档位 或后退档位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断， 当前车辆四周是否存在移动物体或者静止障碍物，若是则发出报警，并在当前 车辆的人机界面的相应位置标出移动物体或者静止障碍物所在区域。
进一步地，本发明实施例还提供了一种障碍物检测终端设备，包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述 处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。
进一步地，本发明实施例还提供了一种计算机可读存储介质，所述计算机 可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明 实施例上述的方法的步骤。
本发明有益效果如下：
本发明实施例提供了一种障碍物检测方法、装置、终端设备及存储介质， 在该方法中，首先获取当前车辆的档位信息和与档位信息对应的各方位图像， 并将各方位图像转换为各方位俯瞰图，提取各方位俯瞰图的图像信息并存储， 再根据当前车辆所处档位采用不同的图像处理方法判断图像中是否存在障碍 物，并存在障碍物时在当前车辆的人机界面的相应位置标出障碍物所在区域。 也就是说，本发明实施例所述技术方案可适用于本车静止或者本车运动两种状 态，并根据车辆平动和鸟瞰图的特点，有效地克服本车运动状态下，透视画面 中检测移动物体的难题，且本方法简单易于实现，并且具有主动防撞报警功能， 进一步提高了行车安全。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所 需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的 一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。
图1所示为所述的一种障碍物检测方法的流程示意图；
图2所示为所述的一种障碍物检测装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发 明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例， 而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一：
本发明实施例一提供了一种障碍物检测方法，如图1所示，其为本发明实 施例一所述的障碍物检测方法的流程示意图，所述方法可包括以下步骤：
步骤101：获取当前车辆的档位信息，并根据所述档位信息获取与所述档 位信息对应的各方位图像；
步骤102：将所述各方位图像转换为各方位俯瞰图，提取所述各方位俯瞰 图的图像信息并存储；
其中，所述图像信息可至少包括轮廓信息和特征点信息，本发明实施例对 此不做限定。
步骤103：根据所述档位信息判断当前车辆的行驶状态，当确定当前车辆 处于驻车挡位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断， 当前车辆四周是否存在移动物体，若是则发出报警，并在当前车辆的人机界面 的相应位置标出移动物体所在区域；当确定当前车辆处于前进档位或后退档位 时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四 周是否存在移动物体或者静止障碍物，若是则发出报警，并在当前车辆的人机 界面的相应位置标出移动物体或者静止障碍物所在区域。
需要说明的是，本发明实施例适用于车载360度环视系统，且当前车辆至 少包含4路摄像装置，用于摄取的图像，分别获取车辆前、后、左、右四个方 位的画面。再有，需要说明的是，步骤102中将所述各方位图像转换为各方位 俯瞰图，具体可通过摄像机标定方法将各方位图像转换为各方位俯瞰图，本发 明实施例对此不做赘述。最后，需要说明的是，根据获取到的档位信息可进一 步获取当前车辆的移动速度，并根据不同运动状态采用不同的图像处理方式， 本发明实施例适用于速度较低的运动车辆，例如速度低于10km/h可采用本发明 所述技术方案，当车速大于10km/h时则关闭该功能。
也就是说，本发明实施例所述技术方案可适用于本车静止或者本车运动两 种状态，并根据车辆平动和鸟瞰图的特点，有效地克服本车运动状态下，透视 画面中检测移动物体的难题，且本方法简单易于实现，并且具有主动防撞报警 功能，进一步提高了行车安全。
进一步地，对于步骤101中所述根据所述档位信息获取与所述档位信息对 应的各方位图像，可具体包括：
根据所述档位信息确定当前车辆处于驻车挡位时，则获取当前车辆的前后 左右四个方位的图像；或
根据所述档位信息确定当前车辆处于前进挡位时，则获取当前车辆的前左 右三个方位的图像；或
根据所述档位信息确定当前车辆处于后退挡位时，则获取当前车辆的后左 右三个方位的图像。
这样根据当前车辆的档位信息分别获取不同方位的图像更加人性化，在图 像处理上也能减少不必要的图像信息处理，使得本发明技术方案计算过程更为 精准。
进一步地，为了使得本发明技术方案更为详细，在步骤103中当确定当前 车辆处于驻车挡位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息 判断，当前车辆四周是否存在移动物体，若是则发出报警，并在当前车辆的人 机界面的相应位置标出移动物体所在区域，可具体包括以下步骤S1～S2：
步骤S1：分别获取k和k+1时刻g方位采集得到的图像信息Ik，g(i,j)和 Ik+1，g(i,j)，并计算k和k+1时刻g方位的图像残差；
其中，k和k+1时刻的图像残差求解公式为：
其中，E(k,k+1,g)表示k和k+1时刻g方位的图像残差；Ik，g(i,j)表示k时 刻g方位采集到的图像信息；Ik+1，g(i,j)表示k+1时刻g方位采集到的图像信息；TI为像素阈值；
步骤S12：当g方位连续某三个时刻的图像残差满足以下条件时，确定当 前车辆存在移动物体，发出报警，并在当前车辆的人机界面内g方位、且满足 条件的图像残差对应的图像信息所在位置用高亮方框标出移动物体所在区域；
其中，E(k,k+1,g)表示k和k+1时刻g方位的图像残差；E(k+1,k+2,g)表 示k+1和k+2时刻g方位的图像残差；TI表示像素阈值，TE表示图像残差阈值， MIN(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较小值，MAX(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较大值。
也就是说，当当前车辆为驻车状态时可采用上述步骤S1～S2所述的图像处 理方式来检测移动物体所在区域。
进一步地，当确定当前车辆处于前进档位或后退档位时，根据存储的连续 帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四周是否存在移动物体 或者静止障碍物，若是则发出报警，并在当前车辆的人机界面的相应位置标出 移动物体或者静止障碍物所在区域，可具体包括以下步骤：
步骤一：分别获取k和k+1时刻g方位采集得到的图像信息Ik，g(i,j)和Ik+1，g(i,j)；
步骤二：提取k时刻图像信息Ik，g(i,j)的特征点，形成k时刻g方向的特征 点集P并存储；其中，特征点集P记为{P|pi∈P,i＝0,1,2...N}；
步骤三：采用LK光流法计算点集P中每一点在k+1时刻的对应点，组成 点集{P'|pi'∈P',i＝0,1,2...N}，并根据当前车辆处于前进档位或后退档位和当前车速 滤除错误对应点对；
需要说明的是，由于使用LK光流法计算出的对应点对可能存在误差，因 此可根据当前车速与行驶方向进行判断，滤除错误对应点对。
具体地，滤除错误对应点对的步骤如下：
1、计算对应点对的距离|pip’i|；
2、获取g方位俯瞰图中k和k+1时刻的两帧图像的间隔时间ΔT以及当前 车速，并计算在ΔT内，两帧图像的距离d。
3、当对应点对的距离|pip’i|与两帧图像的距离d的差的绝对值大于Td时，则 删除该对应点对，其中，Td表示允许的距离误差阈值。
这里需要特别说明一下两帧图像的距离d，上述提到可通过摄像机标定方 法将获取的图像转换成俯瞰图，同时也能得到俯瞰图中每个像素代表的实际距 离。因此，当使用ΔT*v来计算距离d时(v为车速)，也就可以换算出图像需 要移动几个像素，再与通过图像处理方法计算的|pip’i|作比较，这样即可滤除错 误的对应点对。
步骤四：从剩余对应点对中选取一组，将k时刻图像信息Ik，g(i,j)按照该对 应点对的移动方向和距离变换成I‘k，g(i,j)，并计算I‘k，g(i,j)和k+1时刻g方位的图 像信息Ik+1，g(i,j)的图像残差，直至遍历所有剩余对应点对；
步骤五：选取图像残差最小的一组对应点对；
即，i＝argmin(E(k',k+1,g))
其中，i表示最小的一组对应点对，(E(k',k+1,g)表示I'k,g与Ik+1,g在g方位 的图像残差；
这里需要了解，由于鸟瞰图是将透视图像投影到地平面的特点以及车辆在 路面上平动的特点，那么高出路面的物体将不符合2D图像画面中的平动规律， 因此计算I'k,g与Ik+1,g的图像残差，可选择满足图像残差最小的一组对应点对作为 最优结果，即i＝argmin(E(k',k+1,g))，之后再按照步骤六进行判断，当满足判断 条件时，说明图像画面中出现移动物体或者高出路面的障碍物，此时在人机界 面g方位的画面中用高亮方框显示，并发出警报声。
步骤六：当g方位连续某三个时刻根据上述步骤一至步骤五选取的图像残 差满足以下条件时，确定当前车辆存在移动物体或静止障碍物，发出报警，并 在当前车辆的人机界面内g方位、且满足条件的图像残差对应的图像信息所在 位置用高亮方框标出移动物体或静止障碍物所在区域；
其中，E(k,k+1,g)表示k和k+1时刻g方位的图像残差；E(k+1,k+2,g)表 示k+1和k+2时刻g方位的图像残差；TI表示像素阈值，TE表示图像残差阈值，MIN(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较小值， MAX(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较大值。
本发明实施例一提供了一种障碍物检测方法，在该方法中，首先获取当前 车辆的档位信息和与档位信息对应的各方位图像，并将各方位图像转换为各方 位俯瞰图，提取各方位俯瞰图的图像信息并存储，再根据当前车辆所处档位采 用不同的图像处理方法判断图像中是否存在障碍物，并存在障碍物时在当前车 辆的人机界面的相应位置标出障碍物所在区域。也就是说，本发明实施例所述 技术方案可适用于本车静止或者本车运动两种状态，并根据车辆平动和鸟瞰图 的特点，有效地克服本车运动状态下，透视画面中检测移动物体的难题，且本 方法简单易于实现，并且具有主动防撞报警功能，进一步提高了行车安全。
实施例二
基于与本发明实施例一相同的发明构思，本发明实施例二提供了一种障碍 物检测装置，该装置的具体实施可参见上述方法实施例一中的相关描述，重复 之处不再赘述，其结构示意图如图2所示，该装置主要可包括：
采集单元21，可用于获取当前车辆的档位信息，并根据所述档位信息获取 与所述档位信息对应的各方位图像；
图像处理存储单元22，可用于将所述各方位图像转换为各方位俯瞰图，提 取所述各方位俯瞰图的图像信息并存储；
判断处理单元23，可用于根据所述档位信息判断当前车辆的行驶状态，当 确定当前车辆处于驻车挡位时，根据存储的连续帧的所述各方位俯瞰图的所述 图像信息判断，当前车辆四周是否存在移动物体，若是则发出报警，并在当前 车辆的人机界面的相应位置标出移动物体所在区域；当确定当前车辆处于前进 档位或后退档位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判 断，当前车辆四周是否存在移动物体或者静止障碍物，若是则发出报警，并在 当前车辆的人机界面的相应位置标出移动物体或者静止障碍物所在区域。
进一步地，作为一个可执行方案，所述采集单元21，可具体用于根据所述 档位信息确定当前车辆处于驻车挡位时，则获取当前车辆的前后左右四个方位 的图像；或根据所述档位信息确定当前车辆处于前进挡位时，则获取当前车辆 的前左右三个方位的图像；或根据所述档位信息确定当前车辆处于后退挡位时， 则获取当前车辆的后左右三个方位的图像。
进一步地，作为一个可执行方案，所述图像信息至少包括轮廓信息和特征 点信息；
所述判断处理单元23可包括第一判断处理子单元和第二判断处理子单元；
所述第一判断处理子单元，可用于分别获取k和k+1时刻g方位采集得到 的图像信息Ik，g(i,j)和Ik+1，g(i,j)，并计算k和k+1时刻g方位的图像残差；
其中，k和k+1时刻的图像残差求解公式为：
其中，E(k,k+1,g)表示k和k+1时刻g方位的图像残差；Ik，g(i,j)表示k时 刻g方位采集到的图像信息；Ik+1，g(i,j)表示k+1时刻g方位采集到的图像信息；TI为像素阈值；
当g方位连续某三个时刻的图像残差满足以下条件时，确定当前车辆存在 移动物体，发出报警，并在当前车辆的人机界面内g方位、且满足条件的图像 残差对应的图像信息所在位置用高亮方框标出移动物体所在区域；
其中，E(k,k+1,g)表示k和k+1时刻g方位的图像残差；E(k+1,k+2,g)表 示k+1和k+2时刻g方位的图像残差；TI表示像素阈值，TE表示图像残差阈值， MIN(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较小值， MAX(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较大值；
所述第二判断处理子单元，可用于步骤一：分别获取k和k+1时刻g方位 采集得到的图像信息Ik，g(i,j)和Ik+1，g(i,j)；步骤二：提取k时刻图像信息Ik，g(i,j)的特 征点，形成k时刻g方向的特征点集P并存储；其中，特征点集P记为 {P|pi∈P,i＝0,1,2...N}；步骤三：采用LK光流法计算点集P中每一点在k+1时刻 的对应点，组成点集{P'|pi'∈P',i＝0,1,2...N}，并根据当前车辆处于前进档位或后退 档位和当前车速滤除错误对应点对；步骤四：从剩余对应点对中选取一组，将 k时刻图像信息Ik，g(i,j)按照该对应点对的移动方向和距离变换成I‘k，g(i,j)，并计算 I‘k，g(i,j)和k+1时刻g方位的图像信息Ik+1，g(i,j)的图像残差，直至遍历所有剩余对 应点对；步骤五：选取图像残差最小的一组对应点对；
即，i＝argmin(E(k',k+1,g))
其中，i表示最小的一组对应点对，(E(k',k+1,g)表示I'k,g与Ik+1,g在g方位 的图像残差；
步骤六：当g方位连续某三个时刻根据上述步骤一至步骤五选取的图像残 差满足以下条件时，确定当前车辆存在移动物体或静止障碍物，发出报警，并 在当前车辆的人机界面内g方位、且满足条件的图像残差对应的图像信息所在 位置用高亮方框标出移动物体或静止障碍物所在区域；
其中，E(k,k+1,g)表示k和k+1时刻g方位的图像残差；E(k+1,k+2,g)表 示k+1和k+2时刻g方位的图像残差；TI表示像素阈值，TE表示图像残差阈值， MIN(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较小值， MAX(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较大值。
进一步地，作为一个可执行方案，所述第二判断处理子单元，可具体用于
步骤三：计算对应点对的距离|pip’i|；
获取g方位俯瞰图中k和k+1时刻的两帧图像的间隔时间ΔT以及当前车 速，并计算在ΔT内，两帧图像的距离d。
当对应点对的距离|pip’i|与两帧图像的距离d的差的绝对值大于Td时，则删 除该对应点对，其中，Td表示允许的距离误差阈值。
本发明实施例二提供了一种障碍物检测装置，首先获取当前车辆的档位信 息和与档位信息对应的各方位图像，并将各方位图像转换为各方位俯瞰图，提 取各方位俯瞰图的图像信息并存储，再根据当前车辆所处档位采用不同的图像 处理方法判断图像中是否存在障碍物，并存在障碍物时在当前车辆的人机界面 的相应位置标出障碍物所在区域。也就是说，本发明实施例所述技术方案可适 用于本车静止或者本车运动两种状态，并根据车辆平动和鸟瞰图的特点，有效 地克服本车运动状态下，透视画面中检测移动物体的难题，且本方法简单易于 实现，并且具有主动防撞报警功能，进一步提高了行车安全。
进一步地，本发明实施例还提供了一种障碍物检测终端设备，包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述 处理器执行所述计算机程序时实现本发明实施例上述方法实施例中的步骤，例 如图1所示的步骤101-103等方法步骤。或者，所述处理器执行所述计算机程 序时实现上述各装置实施例中各模块/单元的功能，例如实现上述采集单元21、 图像处理存储单元22和判断处理单元23等单元的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个 或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发 明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指 令段，该指令段用于描述所述计算机程序在所述障碍物检测终端设备中的执行 过程。例如，所述计算机程序可以被分割成采集单元21、图像处理存储单元22 和判断处理单元23等单元，各模块具体功能如下：
采集单元21，可用于获取当前车辆的档位信息，并根据所述档位信息获取 与所述档位信息对应的各方位图像；
图像处理存储单元22，可用于将所述各方位图像转换为各方位俯瞰图，提 取所述各方位俯瞰图的图像信息并存储；
判断处理单元23，可用于根据所述档位信息判断当前车辆的行驶状态，当 确定当前车辆处于驻车挡位时，根据存储的连续帧的所述各方位俯瞰图的所述 图像信息判断，当前车辆四周是否存在移动物体，若是则发出报警，并在当前 车辆的人机界面的相应位置标出移动物体所在区域；当确定当前车辆处于前进 档位或后退档位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判 断，当前车辆四周是否存在移动物体或者静止障碍物，若是则发出报警，并在 当前车辆的人机界面的相应位置标出移动物体或者静止障碍物所在区域。
进一步地，作为一个可执行方案，所述障碍物检测终端设备可以是桌上型 计算机、笔记本、掌上电脑及云端服务器等计算设备。所述障碍物检测终端设 备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述障 碍物检测终端设备的组成结构仅仅是障碍物检测终端设备的示例，并不构成对 障碍物检测终端设备的限定，可以包括比上述更多或更少的部件，或者组合某 些部件，或者不同的部件，例如所述障碍物检测终端设备还可以包括输入输出 设备、网络接入设备、总线等，本发明实施例对此不做限定。
进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit， ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他 可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器 可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所 述障碍物检测终端设备的控制中心，利用各种接口和线路连接整个障碍物检测 终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或 执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的 数据，实现所述障碍物检测终端设备的各种功能。所述存储器可主要包括存储 程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需 的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根 据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可 以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、 插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易 失性固态存储器件。
进一步地，本发明实施例还提供了一种计算机可读存储介质，所述计算机 可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明 实施例上述方法的步骤。
所述障碍物检测终端设备集成的模块/单元如果以软件功能单元的形式实 现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。 基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通 过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机 可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施 例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码 可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算 机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录 介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、 电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内 容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些 司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信 信号。
也就是说，在本发明实施例中，通过获取当前车辆的档位信息和与档位信 息对应的各方位图像，并将各方位图像转换为各方位俯瞰图，提取各方位俯瞰 图的图像信息并存储，再根据当前车辆所处档位采用不同的图像处理方法判断 图像中是否存在障碍物，并存在障碍物时在当前车辆的人机界面的相应位置标 出障碍物所在区域。也就是说，本发明实施例所述技术方案可适用于本车静止 或者本车运动两种状态，并根据车辆平动和鸟瞰图的特点，有效地克服本车运 动状态下，透视画面中检测移动物体的难题，且本方法简单易于实现，并且具 有主动防撞报警功能，进一步提高了行车安全。
需要说明的是，尽管已描述了本发明的优选实施例，但本领域内的技术人 员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所 以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更 和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发 明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及 其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种障碍物检测方法，其特征在于，所述方法包括：
获取当前车辆的档位信息，并根据所述档位信息获取与所述档位信息对应的各方位图像；
将所述各方位图像转换为各方位俯瞰图，提取所述各方位俯瞰图的图像信息并存储；
根据所述档位信息判断当前车辆的行驶状态，当确定当前车辆处于驻车挡位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四周是否存在移动物体，若是则发出报警，并在当前车辆的人机界面的相应位置标出移动物体所在区域；当确定当前车辆处于前进档位或后退档位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四周是否存在移动物体或者静止障碍物，若是则发出报警，并在当前车辆的人机界面的相应位置标出移动物体或者静止障碍物所在区域。
2.如权利要求1所述的方法，其特征在于，所述根据所述档位信息获取与所述档位信息对应的各方位图像，包括：
根据所述档位信息确定当前车辆处于驻车挡位时，则获取当前车辆的前后左右四个方位的图像；或
根据所述档位信息确定当前车辆处于前进挡位时，则获取当前车辆的前左右三个方位的图像；或
根据所述档位信息确定当前车辆处于后退挡位时，则获取当前车辆的后左右三个方位的图像。
3.如权利要求1所述的方法，其特征在于，所述图像信息至少包括轮廓信息和特征点信息。
4.如权利要求3所述的方法，其特征在于，当确定当前车辆处于驻车挡位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四周是否存在移动物体，若是则发出报警，并在当前车辆的人机界面的相应位置标出移动物体所在区域，包括：
分别获取k和k+1时刻g方位采集得到的图像信息Ik，g(i,j)和Ik+1，g(i,j)，并计算k和k+1时刻g方位的图像残差；
其中，k和k+1时刻的图像残差求解公式为：
其中，E(k,k+1,g)表示k和k+1时刻g方位的图像残差；Ik，g(i,j)表示k时刻g方位采集到的图像信息；Ik+1，g(i,j)表示k+1时刻g方位采集到的图像信息；TI为像素阈值；
当g方位连续某三个时刻的图像残差满足以下条件时，确定当前车辆存在移动物体，发出报警，并在当前车辆的人机界面内g方位、且满足条件的图像残差对应的图像信息所在位置用高亮方框标出移动物体所在区域；
其中，E(k,k+1,g)表示k和k+1时刻g方位的图像残差；E(k+1,k+2,g)表示k+1和k+2时刻g方位的图像残差；TI表示像素阈值，TE表示图像残差阈值，MIN(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较小值，MAX(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较大值。
5.如权利要求3所述的方法，其特征在于，当确定当前车辆处于前进档位或后退档位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四周是否存在移动物体或者静止障碍物，若是则发出报警，并在当前车辆的人机界面的相应位置标出移动物体或者静止障碍物所在区域，包括以下步骤：
步骤一：分别获取k和k+1时刻g方位采集得到的图像信息Ik，g(i,j)和Ik+1，g(i,j)；
步骤二：提取k时刻图像信息Ik，g(i,j)的特征点，形成k时刻g方向的特征点集P并存储；其中，特征点集P记为{P|pi∈P,i＝0,1,2...N}；
步骤三：采用LK光流法计算点集P中每一点在k+1时刻的对应点，组成点集{P'|p′i∈P',i＝0,1,2...N}，并根据当前车辆处于前进档位或后退档位和当前车速滤除错误对应点对；
步骤四：从剩余对应点对中选取一组，将k时刻图像信息Ik，g(i,j)按照该对应点对的移动方向和距离变换成I‘k，g(i,j)，并计算I‘k，g(i,j)和k+1时刻g方位的图像信息Ik+1，g(i,j)的图像残差，直至遍历所有剩余对应点对；
步骤五：选取图像残差最小的一组对应点对；
即，i＝argmin(E(k',k+1,g))
其中，i表示最小的一组对应点对，(E(k',k+1,g)表示I'k,g与Ik+1,g在g方位的图像残差；
步骤六：当g方位连续某三个时刻根据上述步骤一至步骤五选取的图像残差满足以下条件时，确定当前车辆存在移动物体或静止障碍物，发出报警，并在当前车辆的人机界面内g方位、且满足条件的图像残差对应的图像信息所在位置用高亮方框标出移动物体或静止障碍物所在区域；
其中，E(k,k+1,g)表示k和k+1时刻g方位的图像残差；E(k+1,k+2,g)表示k+1和k+2时刻g方位的图像残差；TI表示像素阈值，TE表示图像残差阈值，MIN(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较小值，MAX(E(k,k+1,g),E(k+1,k+2,g))表示取两者中较大值。
6.如权利要求5所述的方法，其特征在于，步骤三：采用LK光流法计算点集P中每一点在k+1时刻的对应点，组成点集{P'|p′i∈P',i＝0,1,2...N}，并根据当前车辆处于前进档位或后退档位和当前车速滤除错误对应点对，包括：
计算对应点对的距离|pip′i|；
获取g方位俯瞰图中k和k+1时刻的两帧图像的间隔时间ΔT以及当前车速，并计算在ΔT内，两帧图像的距离d。
当对应点对的距离|pip′i|与两帧图像的距离d的差的绝对值大于Td时，则删除该对应点对，其中，Td表示允许的距离误差阈值。
7.一种障碍物检测装置，其特征在于，包括：
采集单元，用于获取当前车辆的档位信息，并根据所述档位信息获取与所述档位信息对应的各方位图像；
图像处理存储单元，用于将所述各方位图像转换为各方位俯瞰图，提取所述各方位俯瞰图的图像信息并存储；
判断处理单元，用于根据所述档位信息判断当前车辆的行驶状态，当确定当前车辆处于驻车挡位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四周是否存在移动物体，若是则发出报警，并在当前车辆的人机界面的相应位置标出移动物体所在区域；当确定当前车辆处于前进档位或后退档位时，根据存储的连续帧的所述各方位俯瞰图的所述图像信息判断，当前车辆四周是否存在移动物体或者静止障碍物，若是则发出报警，并在当前车辆的人机界面的相应位置标出移动物体或者静止障碍物所在区域。
8.一种障碍物检测终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1～6所述方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～6所述方法的步骤。
CN201710632610.7A 2017-07-28 2017-07-28 一种障碍物检测方法、装置、终端设备及存储介质 Active CN107452230B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710632610.7A CN107452230B (zh) 2017-07-28 2017-07-28 一种障碍物检测方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710632610.7A CN107452230B (zh) 2017-07-28 2017-07-28 一种障碍物检测方法、装置、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN107452230A true CN107452230A (zh) 2017-12-08
CN107452230B CN107452230B (zh) 2020-01-10

Family

ID=60490456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710632610.7A Active CN107452230B (zh) 2017-07-28 2017-07-28 一种障碍物检测方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN107452230B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111351474A (zh) * 2018-12-24 2020-06-30 上海欧菲智能车联科技有限公司 车辆移动目标检测方法、装置和系统
CN113569698A (zh) * 2021-07-22 2021-10-29 上汽通用五菱汽车股份有限公司 车辆监控方法、车辆及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509287A (zh) * 2011-10-12 2012-06-20 西安理工大学 针对静止目标的基于经纬度定位和图像配准的查找方法
CN103950410A (zh) * 2014-04-29 2014-07-30 深圳前向启创数码技术有限公司 全景式辅助驾驶方法及系统
US20160207526A1 (en) * 2012-12-05 2016-07-21 Daimler Ag Vehicle-side method and vehicle-side device for detecting and displaying parking spaces for a vehicle
CN106143309A (zh) * 2016-07-18 2016-11-23 乐视控股（北京）有限公司 一种车辆盲区提醒方法及系统
CN106358014A (zh) * 2016-08-29 2017-01-25 乐视控股（北京）有限公司 一种车辆行车信息的监控方法和装置
CN106485233A (zh) * 2016-10-21 2017-03-08 深圳地平线机器人科技有限公司 可行驶区域检测方法、装置和电子设备
CN106709512A (zh) * 2016-12-09 2017-05-24 河海大学 基于局部稀疏表示和对比度的红外目标检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509287A (zh) * 2011-10-12 2012-06-20 西安理工大学 针对静止目标的基于经纬度定位和图像配准的查找方法
US20160207526A1 (en) * 2012-12-05 2016-07-21 Daimler Ag Vehicle-side method and vehicle-side device for detecting and displaying parking spaces for a vehicle
CN103950410A (zh) * 2014-04-29 2014-07-30 深圳前向启创数码技术有限公司 全景式辅助驾驶方法及系统
CN106143309A (zh) * 2016-07-18 2016-11-23 乐视控股（北京）有限公司 一种车辆盲区提醒方法及系统
CN106358014A (zh) * 2016-08-29 2017-01-25 乐视控股（北京）有限公司 一种车辆行车信息的监控方法和装置
CN106485233A (zh) * 2016-10-21 2017-03-08 深圳地平线机器人科技有限公司 可行驶区域检测方法、装置和电子设备
CN106709512A (zh) * 2016-12-09 2017-05-24 河海大学 基于局部稀疏表示和对比度的红外目标检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111351474A (zh) * 2018-12-24 2020-06-30 上海欧菲智能车联科技有限公司 车辆移动目标检测方法、装置和系统
CN111351474B (zh) * 2018-12-24 2022-07-12 上海欧菲智能车联科技有限公司 车辆移动目标检测方法、装置和系统
CN113569698A (zh) * 2021-07-22 2021-10-29 上汽通用五菱汽车股份有限公司 车辆监控方法、车辆及计算机可读存储介质
CN113569698B (zh) * 2021-07-22 2023-10-27 上汽通用五菱汽车股份有限公司 车辆监控方法、车辆及计算机可读存储介质

Also Published As

Publication number Publication date
CN107452230B (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
Chen et al. Lane departure warning systems and lane line detection methods based on image processing and semantic segmentation: A review
Song et al. Real-time obstacles detection and status classification for collision warning in a vehicle active safety system
CN104008645B (zh) 一种适用于城市道路车道线预测及预警方法
CN106611512B (zh) 前车起步的处理方法、装置和系统
US7046822B1 (en) Method of detecting objects within a wide range of a road vehicle
CN105206109B (zh) 一种基于红外ccd的车辆雾天识别预警系统及方法
CN111209780A (zh) 车道线属性检测方法、装置、电子设备及可读存储介质
CN104376297A (zh) 道路上的线型指示标志的检测方法和装置
DE102019118999A1 (de) Lidar-basierte objektdetektion und -klassifikation
EP2813973B1 (en) Method and system for processing video image
CN106064587A (zh) 一种基于车牌识别的多车道车间距识别方法及装置
CN110458050B (zh) 基于车载视频的车辆切入检测方法及装置
KR20210052031A (ko) 딥러닝 기반 교통 흐름 분석 방법 및 시스템
CN111915883A (zh) 一种基于车载摄像的道路交通状况检测方法
CN112967283A (zh) 基于双目摄像头的目标识别方法、系统、设备及存储介质
CN111091023A (zh) 一种车辆检测方法、装置及电子设备
CN109263557A (zh) 车辆盲区侦测方法
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN104574993A (zh) 一种道路监控的方法及装置
CN113469115A (zh) 用于输出信息的方法和装置
Ketcham et al. Recognizing the Illegal Parking Patterns of Cars on the Road in Front of the Bus Stop Using the Support Vector Machine
Xu et al. Road lane modeling based on RANSAC algorithm and hyperbolic model
Huang Real-time multi-vehicle detection and sub-feature based tracking for traffic surveillance systems
CN107452230A (zh) 一种障碍物检测方法、装置、终端设备及存储介质
CN112183206B (zh) 一种基于路侧单目摄像头的交通参与者定位方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Xie Chao

Inventor after: Chen Conghua

Inventor after: Ren Fu

Inventor after: Chen Haiza

Inventor after: Ye Deyan

Inventor before: Fan Zuodeng

Inventor before: Ye Zhicong

Inventor before: Cai Yunwen

Inventor before: Ke Wenping

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant