CN111401135A - 开门防撞方法、装置、计算机设备和存储介质 - Google Patents

开门防撞方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111401135A
CN111401135A CN202010105072.8A CN202010105072A CN111401135A CN 111401135 A CN111401135 A CN 111401135A CN 202010105072 A CN202010105072 A CN 202010105072A CN 111401135 A CN111401135 A CN 111401135A
Authority
CN
China
Prior art keywords
foreground
foreground target
target
image
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010105072.8A
Other languages
English (en)
Other versions
CN111401135B (zh
Inventor
胡荣东
唐铭希
连春燕
黄倩倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Intelligent Driving Research Institute Co Ltd
Original Assignee
Changsha Intelligent Driving Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Intelligent Driving Research Institute Co Ltd filed Critical Changsha Intelligent Driving Research Institute Co Ltd
Priority to CN202010105072.8A priority Critical patent/CN111401135B/zh
Publication of CN111401135A publication Critical patent/CN111401135A/zh
Application granted granted Critical
Publication of CN111401135B publication Critical patent/CN111401135B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本申请涉及一种开门防撞方法、装置、计算机设备和存储介质。所述方法包括：从获取的即将停车的车辆的全景图像中提取并聚类前景像素点得到包括第一前景目标的前景图像；第一前景目标分别与前景图像相邻上一帧前景图像中的第二前景目标进行匹配；匹配成功时获取与第一前景目标匹配成功的第二前景目标的关键点集合；对第二前景目标的关键点集合中的像素点进行目标跟踪、筛选和补充，得到第一前景目标的关键点集合；基于第一前景目标的关键点集合中各像素点的运动速度确定第一前景目标的运动速度；根据运动速度预测第一前景目标运动后的位置；当确定第一前景目标运动后的位置处于警示区域内时，启动车门防撞警报。采用本方法能够提高精确性。

Description

开门防撞方法、装置、计算机设备和存储介质
技术领域
本申请涉及智能驾驶技术领域，特别是涉及一种开门防撞方法、装置、计算机设备和存储介质。
背景技术
随着社会的发展，各类交通工具逐渐普及。交通工具的普及和增加能够给人们的出行带来舒适和便利。但是，交通工具在运行时需要停靠车辆上下客，尤其是公交车。而在车辆停车下客时，由于存在视线盲区，下车的乘客可能会因此遭受车外运动物体的碰撞而受到意外伤害。因此，交通工具所带来的安全问题也是不容忽视的。为了解决下车导致的碰撞事故，已经研发并在车辆上投入使用了各类车门开启防撞系统用于检测车外的运动物体去避免下车碰撞事故。
然而，传统的车门开启防撞系统通常是结合摄像头和雷达进行检测。但是由于图像检测目标和雷达检测目标融合算法的复杂性，容易导致传统的车门开启防撞系统发生漏检，从而降低精确性。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高精确性的开门防撞方法、装置、计算机设备和存储介质。
一种开门防撞方法，所述方法包括：
获取即将停车的车辆的全景图像；
从所述全景图像中提取前景像素点，并对所述前景像素点进行聚类，得到包括至少一个第一前景目标的前景图像；
将所述前景图像中的各所述第一前景目标分别与所述前景图像相邻的上一帧前景图像中的各第二前景目标进行匹配；
当所述第一前景目标匹配成功时，获取与所述第一前景目标匹配成功的所述第二前景目标的关键点集合；
对所述第二前景目标的关键点集合中的像素点进行目标跟踪，并对目标跟踪后的关键点集合进行筛选和补充，得到所述第一前景目标的关键点集合；
基于所述第一前景目标的关键点集合中各像素点的运动速度确定所述第一前景目标的运动速度；
根据所述运动速度预测所述第一前景目标运动后的位置；
当确定所述第一前景目标运动后的位置处于警示区域内时，启动车门防撞警报。
在其中一个实施例中，所述将所述前景图像中的各所述第一前景目标分别与所述前景图像相邻的上一帧前景图像中的各第二前景目标进行匹配，包括：
对各所述第一前景目标进行特征提取，得到各所述第一前景目标的第一特征向量，以及获取各所述第一前景目标的第一包络框；
获取存储的各所述第二前景目标的第二特征向量和第二包络框；
基于所述第一特征向量和所述第一包络框、以及所述第二特征向量和第二包络框进行前景目标的匹配。
在其中一个实施例中，所述基于所述第一特征向量和所述第一包络框、以及所述第二特征向量和第二包络框进行前景目标的匹配，包括：
确定所述第一包络框的中心点在所述前景图像中的第一图像坐标、以及确定所述第二包络框的中心点在所述上一帧前景图像中的第二图像坐标；
根据所述第一图像坐标和第二图像坐标计算所述第一前景目标和所述第二前景目标的距离；
计算所述第一特征向量与所述第二特征向量的差值；
根据所述第一前景目标和所述第二前景目标的距离以及所述差值，确定所述第一前景目标和所述第二前景目标的匹配值；
将所述匹配值和预设匹配阈值进行大小比较，根据比较结果确定所述第一前景目标是否匹配成功。
在其中一个实施例中，所述方法还包括：
当所述第一前景目标匹配失败时，将匹配失败的所述第一前景目标的运动速度初始化为预设速度；
根据所述预设速度预测所述第一前景目标运动后的位置。
在其中一个实施例中，所述方法还包括：
获取所述第一前景目标的第一包络框；
根据所述第一前景目标的第一包络框的大小确定所述第一前景目标的关键点集合的所需像素点个数；
从所述第一前景目标中随机选择与所述所需像素点个数相同的像素点组成所述第一前景目标的关键点集合。
在其中一个实施例中，所述对所述第二前景目标的关键点集合中的像素点进行目标跟踪，并对目标跟踪后的关键点集合进行筛选和补充，得到所述第一前景目标的关键点集合，包括：
根据所述第二前景目标的关键点集合中的像素点在所述前景图像中进行目标跟踪，得到跟踪关键点集合；
将所述跟踪关键点集合中不属于所述第一前景目标的像素点剔除，得到筛选关键点集合；
从所述第一前景目标中随机选择与剔除的像素点的个数相同的像素点；
将选择的像素点补充至所述筛选关键点集合中，得到所述第一前景目标的关键点集合。
在其中一个实施例中，所述基于所述第一前景目标的关键点集合中各像素点的运动速度确定所述第一前景目标的运动速度，包括：
获取所述第一前景目标的关键点集合中各像素点在所述前景图像中对应的第三图像坐标，以及获取所述第二前景目标的关键点集合中各像素点在所述上一帧前景图像中对应的第四图像坐标；
计算对应的第三图像坐标和第四图像坐标的差值，得到所述第一前景目标的关键点集合中各像素点的运动速度；
计算所述第一前景目标的关键点集合中各像素点的运动速度的均值，得到所述第一前景目标的运动速度。
在其中一个实施例中，所述根据所述运动速度预测所述第一前景目标运动后的位置，包括：
确定所述第一前景目标的当前位置以及运动时间；
基于所述运动速度和所述运动时间确定所述第一前景目标的运动距离，将所述运动距离与所述当前位置相加得到所述第一前景目标运动后的位置。
在其中一个实施例中，确定所述第一前景目标运动后的位置是否处于警示区域内，包括：
确定所述前景图像中所述车辆的车门位置；
基于所述第一前景目标运动后的位置与所述车门位置的距离，确定所述第一前景目标运动后的位置是否处于警示区域内。
在其中一个实施例中，所述对所述前景像素点进行聚类，得到包括至少一个第一前景目标的前景图像之后，还包括：
计算各所述第一前景目标的像素面积；
将所述像素面积不满足要求的所述第一前景目标剔除，得到最终的第一前景目标。
一种开门防撞装置，所述装置包括：
拼图模块，用于获取即将停车的车辆的全景图像；
提取模块，用于从所述全景图像中提取前景像素点，并对所述前景像素点进行聚类，得到包括至少一个第一前景目标的前景图像；
匹配模块，用于将所述前景图像中的各所述第一前景目标分别与所述前景图像相邻的上一帧前景图像中的各第二前景目标进行匹配；
获取模块，用于当所述第一前景目标匹配成功时，获取与所述第一前景目标匹配成功的所述第二前景目标的关键点集合；
跟踪模块，用于对所述第二前景目标的关键点集合中的像素点进行目标跟踪，并对目标跟踪后的关键点集合进行筛选和补充，得到所述第一前景目标的关键点集合；
计算模块，用于基于所述第一前景目标的关键点集合中各像素点的运动速度确定所述第一前景目标的运动速度；
预测模块，用于根据所述运动速度预测所述第一前景目标运动后的位置；
报警模块，用于当确定所述第一前景目标运动后的位置处于警示区域内时，启动车门防撞警报。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述开门防撞方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述开门防撞方法的步骤。
上述开门防撞方法、装置、计算机设备和存储介质，从获取的车辆的全景图像中提取前景图像，通过全景图像可以有效的解决车辆遮挡引起的盲区问题，从而减低漏检率提高精确性。同时，将前景图像中的第一前景目标与上一帧前景图像中的第二前景目标进行匹配、通过对匹配到的第二前景目标的关键点集合中的像素点进行目标跟踪、筛选以及补充得到第一前景目标的关键点集合，进而通过第一前景目标的关键点集合中像素点的运动速度确定第一前景目标的运动速度，根据运动速度去预测第一前景目标运动后的位置实现车门开启安全性的判定。一方面，通过目标跟踪实现在帧间关联目标，根据定量的像素点计算目标的运动速度，无需辨别目标的类别，减少时间和资源。另一方面，目标跟踪后的关键点集合还进一步的进行像素点的筛选和补充，从而能够避免因视角变换带来的目标畸变，降低目标畸变带来的影响从而提高精确性。
附图说明
图1为一个实施例中开门防撞方法的应用环境图；
图2为一个实施例中开门防撞方法的流程示意图；
图3为一个实施例中将前景图像中的各第一前景目标分别与前景图像相邻的上一帧前景图像中的各第二前景目标进行匹配步骤的流程示意图；
图4为另一个实施例中开门防撞方法的流程示意图；
图5为一个实施例中全景可视区域示意图；
图6为一个实施例中开门防撞装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的开门防撞方法，可以应用于如图1所示的应用环境中。其中，图像采集设备102通过网络与计算机设备104进行通信。计算机设备104获取图像采集设备102采集的图像，图像是图像采集设备102对即将停车车辆的周边路况进行图像采集得到的。若计算机设备104获取到的图像不是全景图像，可以将获取的图像进行拼接得到全景图像。计算机设备104从全景图像中提取前景像素点，并对前景像素点进行聚类，得到包括至少一个第一前景目标的前景图像；计算机设备104将前景图像中的各第一前景目标分别与前景图像相邻的上一帧前景图像中的各第二前景目标进行匹配；当第一前景目标匹配成功时，计算机设备104获取与第一前景目标匹配成功的第二前景目标的关键点集合；计算机设备104对第二前景目标的关键点集合中的像素点进行目标跟踪，并对目标跟踪后的关键点集合进行筛选和补充，得到第一前景目标的关键点集合；计算机设备104基于第一前景目标的关键点集合中各像素点的运动速度确定第一前景目标的运动速度；计算机设备104根据运动速度预测第一前景目标运动后的位置；当计算机设备104确定第一前景目标运动后的位置处于警示区域内时，启动车门防撞警报。其中，图像采集设备102可以但不限于是各种相机、全景相机、摄像机或带有摄像头的设备。计算机设备104可以是终端或者服务器，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种车门防撞方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：
步骤S202，获取即将停车的车辆的全景图像。
具体地，对行驶中的车辆进行车速监测，当监测到车速低于预设速度时，确定车辆即将停车，则开启防撞系统。通过安装于车辆上的图像采集设备对车辆的周边路况进行图像采集，得到采集的图像。当车辆停稳，即车速为0时，计算机设备获取图像采集设备采集的图像。当安装于车辆上的图像采集设备是可采集全景图像的设备，例如全景相机时，计算机设备从图像采集设备所获取的图像即为全景图像。而当安装于车辆图像采集设备是只能采集固定范围内的设备时，计算机设备获取各个安装于不同位置图像采集设备采集的图像。然后，将获取到各个图像进行拼接得到全景图像。按照图像采集设备的外参将多个安装位置不同的图像采集设备所采集的图像进行拼接，例如按照各个相机之间的位置关系参数进行拼接，从而获取到全景图像。
步骤S204，从全景图像中提取前景像素点，并对前景像素点进行聚类，得到包括至少一个第一前景目标的前景图像。
其中，前景像素点是全景图像中确定为运动目标的像素点，前景图像是只包括运动目标的图像，可以理解为去除背景像素点之后的全景图像。第一前景目标即为前景图像中的运动目标，例如行人、机动车等。
具体地，计算机设备获取到全景图像之后，调用背景建模算法从全景图像中提取前景像素点，由所提取到的前景像素点组成的图像为得到的前景图像。并且，通过聚类方法将前景图像中的前景像素点进行聚类，将各个前景像素点准确地归属到不同的目标，聚类之后得到的目标为前景图像中的第一前景目标。例如，通过聚类将前景图像中各个前景像素点划分为四个部分，则这四个部分为四个第一前景目标。
在本实施例中，背景建模算法可以是帧差法、混合高斯模型以及VIBE (VisualBackground Extractor，视觉背景提取)算法中的任意一种或多种，本实施例优选VIBE算法。聚类算法可以是基于划分的聚类、基于密度的聚类和基于层次的聚类这三类算法中任一类算法中的任意一种聚类算法。本实施例优选基于密度的聚类算法DBSCAN(Density-Based Spatial Clustering of Application with Noise，基于密度的噪声应用空间聚类)。
步骤S206，将前景图像中的各第一前景目标分别与前景图像相邻的上一帧前景图像中的各第二前景目标进行匹配。
其中，第二前景目标是指相邻的上一帧前景图像中的运动目标。
具体地，由于在处理当前这一帧前景图像时，相邻的上一帧前景图像为已经处理过的图像，所以上一帧前景图像的第二前景目标是已知的。上一帧前景图像同样是通过对上一帧全景图像进行前景像素点提取和聚类等处理得到。因此，当得到当前这一帧前景图像的第一前景目标之后，直接获取当前这一帧前景图像相邻的上一帧前景图像。将第一前景目标分别与相邻的上一帧前景图像中的第二前景目标一一进行匹配。通过提取每一个第一前景目标和每一个第二前景目标的特征向量，根据特征向量将每一个第一前景目标分别与每一个第二前景目标进行匹配。当通过特征向量匹配确定第二前景目标中存在与第一前景目标相匹配的前景目标时，表示第一前景目标匹配成功。反之，当第二前景目标中不存在与第一前景目标匹配的前景目标时，确定第一前景目标匹配失败。
步骤S208，当第一前景目标匹配成功时，获取与第一前景目标匹配成功的第二前景目标的关键点集合。
其中，关键点集合是包括多个像素点的集合，每一个关键点集合中的像素点均属于同一个前景目标。关键点集合中的像素点个数可以根据前景目标的大小设定，也可以根据实际情况进行设定。另外，关键点集合中的像素点可以是从前景目标中随机选取像素点得到，也可以是通过对与其匹配的另一个前景目标的关键点集合中的像素点进行目标跟踪得到。
具体地，当确定第一前景目标存在匹配成功的第二前景目标时，获取匹配成功的第二前景目标的关键点集合。在第二前景目标是匹配失败的前景目标时，那么第二前景目标的关键点集合则是从第二前景目标中随机选取预定数量的像素点组成的。而在第二前景目标是匹配成功的前景目标时，那么第二前景目标的关键点集合则是通过对与其匹配成功的前景目标的关键点集合进行目标跟踪得到的。
步骤S210，对第二前景目标的关键点集合中的像素点进行目标跟踪，并对目标跟踪后的关键点集合进行筛选和补充，得到第一前景目标的关键点集合。
其中，目标跟踪通常是指在连续视频帧或连续图像中定位某一物体。在本实施例中，由于第一前景目标与第二前景目标相匹配，目标跟踪可以理解为通过对第二前景目标中的像素点进行跟踪从而得到第一前景目标的像素点。
在一个实施例中，步骤S210具体包括：根据第二前景目标的关键点集合中的像素点在前景图像中进行目标跟踪，得到跟踪关键点集合；将跟踪关键点集合中不属于第一前景目标的像素点剔除，得到筛选关键点集合；从第一前景目标中随机选择与剔除的像素点的个数相同的像素点；将选择的像素点补充至筛选关键点集合中，得到第一前景目标的关键点集合。
其中，跟踪关键点集合是对第二前景目标的关键点集合中的像素点进行目标跟踪后得到的关键点集合。筛选关键点集合是从跟踪关键点集合中删除了不属于第一前景目标的像素点后得到的关键点集合。
具体地，假设第一前景目标为M1，与第一前景目标M1匹配成功的第二前景目标为M2，M2的关键点集合为S2。首先采用稀疏光流对第二前景目标M2 的关键点集合S2中的像素点进行跟踪，得到跟踪后的跟踪关键点集合S2-1。然后，对跟踪关键点集合S2-1中的每一像素点，如果位于M1内，确定其为有效像素点，则保留。若不位于M1内，确定其为无效像素点，则删除，从而得到筛选关键点集合。最后，由于关键点集合中的像素点个数是固定的，在删除了部分无效像素点之后，需要重新从M1中随机选择有效像素点补充至筛选关键点集合中，最终得到第一前景目标M1的关键点集合S1。补充的像素点的数量应当与删除的像素点的个数相同，即删除1个无效像素点就补充1个有效像素点，没有删除像素点就无需进行像素点补充。
在本实施例中，由于随着目标运动或视角的变换，目标大小和形状可能会发生改变。因此在帧间进行目标跟踪时，通过不断删减失效的像素点补充有效的像素点，能够有效降低畸变带来的影响，从而提高精确性。
步骤S212，基于第一前景目标的关键点集合中各像素点的运动速度确定第一前景目标的运动速度。
具体地，当得到第一前景目标的关键点集合之后，计算第一前景目标的关键点集合中各个像素点的运动速度，第一前景目标的关键点集合中所有像素点的运动速度均值为第一前景目标的运动速度。由于第一前景目标和第二前景目标是匹配的目标，第一前景目标相当于是运动后的第二前景目标。因此，各像素点的运动速度可以通过计算与对应的像素点的位置之差得到。首先从第二前景目标的关键点集合中确定与第一前景目标的关键点集合中各个像素点所对应的像素点，然后计算这两个对应的像素点之间的位置之差，得到的差值为像素点的运动速度。
在一个实施例中，基于第一前景目标的关键点集合中各像素点的运动速度确定第一前景目标的运动速度，包括：获取第一前景目标的关键点集合中各像素点在前景图像中对应的第三图像坐标，以及获取第二前景目标的关键点集合中各像素点在上一帧前景图像中对应的第四图像坐标；计算对应的第三图像坐标和第四图像坐标的差值，得到第一前景目标的关键点集合中各像素点的运动速度；计算第一前景目标的关键点集合中各像素点的运动速度的均值，得到第一前景目标的运动速度。
具体地，像素点的位置由像素点在对应图像的图像坐标表示，而坐标包括水平方向和竖直方向，因此像素点的运动速度包括水平方向的运动速度vx和竖直方向的运动速度vy。前景目标的运动速度计算公式如下：
Figure RE-GDA0002470573990000101
Figure RE-GDA0002470573990000102
其中，N为关键点集合中像素点的总数量。(xi,yi)为第一前景目标的关键点集合S1中像素点的坐标，即第三图像坐标。(xi-1,yi-1)为第二前景目标的关键点集合S2中像素点的坐标，即第四图像坐标。应当理解的是，第三图像坐标与第四图像坐标是对应两个像素点的坐标。例如，第一前景目标的关键点集合中的像素点A与第二前景目标的关键点集合中的像素点C对应。那么，计算像素点A的运动速度时，第三图像坐标是像素点A的坐标，第四图像坐标就是像素点C的坐标。
步骤S214，根据运动速度预测第一前景目标运动后的位置。
其中，当得到第一前景目标的运动速度之后，即可根据运动速度预测第一前景目标在预测时间T时刻以内运动后的位置。
在一个实施例中，根据运动速度预测第一前景目标运动后的位置具体包括：确定第一前景目标的当前位置以及运动时间；基于运动速度和运动时间确定第一前景目标的运动距离，将运动距离与当前位置相加得到第一前景目标运动后的位置。
其中，当前位置的是指第一前景目标在前景图像的位置，运动时间是指需要预测多长时间以后的运动位置。例如，需要预测10s之后第一前景目标的运动位置，运动时间即为10s，具体数值可以根据实际情况设定。
具体地，当得到第一前景目标的运动速度(vx,vy)之后，确定第一前景目标在前景图像的当前位置坐标(x1,y1)。根据当前位置坐标和运动速度对所有的第一前景目标在将来T时刻以内的位置进行预测估计，位置估计公式如下：
xpredict＝x1+vx*t
ypredict＝y1+vy*t
其中0≤t≤T，(xpredict,ypredict)为第一前景目标运动后的位置。
步骤S216，当确定第一前景目标运动后的位置处于警示区域内时，启动车门防撞警报。
具体地，当得到第一前景目标在T时刻以内的运动位置之后，通过估计运动位置是否进入警示区域内来判定车门开启的安全性。当第一前景目标在T时刻以内进入警示区域内，则开启车门防撞警报。通过车门防撞警报提醒驾驶人员延迟开门。而在第一前景目标在T时刻以内没有进入警示区域内，不用启动警报，驾驶人员可以正常开启车门。
在一个实施例中，确定第一前景目标运动后的位置是否处于警示区域内具体包括：确定前景图像中车辆的车门位置O(xo，yo)；基于第一前景目标运动后的位置(xpredict,ypredict)与车门位置O(xo，yo)的距离，确定第一前景目标运动后的位置是否处于警示区域内。
具体地，假设定义半径R像素的区域为警示区域，运动后的位置满足警示区域的条件公式为：
(xpredict-xo)2+(ypredict-yo)2≤R2
若条件成立，表示T时刻以内运动后的第一前景目标进入了警示区域，启动警报。若条件不成立，表示T时刻以内运动后的第一前景目标没有进入警示区域，可以正常开启车门。
上述开门防撞方法，从获取的车辆的全景图像中提取前景图像，通过全景图像可以有效的解决车辆遮挡引起的盲区问题，从而减低漏检率提高精确性。同时，将前景图像中的第一前景目标与上一帧前景图像中的第二前景目标进行匹配、通过对匹配到的第二前景目标的关键点集合中的像素点进行目标跟踪、筛选以及补充得到第一前景目标的关键点集合，进而通过第一前景目标的关键点集合中像素点的运动速度确定第一前景目标的运动速度，根据运动速度去预测第一前景目标运动后的位置实现车门开启安全性的判定。一方面，通过目标跟踪实现在帧间关联目标，根据定量的像素点计算目标的运动速度，无需辨别目标的类别，减少时间和资源。另一方面，目标跟踪后的关键点集合还进一步的进行像素点的筛选和补充，从而能够避免因视角变换带来的目标畸变，降低目标畸变带来的影响从而提高精确性。
在一个实施例中，如图3所示，步骤S206，包括：
步骤S302，对各第一前景目标进行特征提取，得到各第一前景目标的第一特征向量，以及获取各第一前景目标的第一包络框。
其中，包络框是指包围第一前景目标的矩形区域，可以理解为是第一前景目标的最小外接矩形。包络框在对前景图像中的前景像素点进行聚类之后，求出各个聚类后结果的包络框得到。
具体地，当进行前景目标的匹配时，首先对所有的第一前景目标进行全局特征提取。同时获取聚类之后各第一前景目标的包络框。本实施例中，特征提取可以采用一种特征提取算法进行，例如可以为HOG(Histogram of Oriented Gradient，方向梯度直方图)、SIFT(Scale-invariant Feature Transform，尺度不变特征变换)中的任意一种或多种。
步骤S304，获取存储的各第二前景目标的第二特征向量和第二包络框。
具体地，当计算机设备获取到任意前景目标的特征向量和包络框之后，都会将获取到的特征向量和包络框进行存储。而第二前景目标作为相邻的上一帧前景图像中的前景目标，其对应的第二特征向量和第二包络框已经存储在本地。因此，计算机设备直接从对应的存储路径获取第二特征向量和第二包络框。应当理解的是，第二特征向量同样是通过特征提取算法对上一帧前景图像进行特征提取得到。第二包络框也是通过对上一帧前景图像进行聚类后求出的各个聚类结果的包络框。
步骤S306，基于第一特征向量和第一包络框、以及第二特征向量和第二包络框进行前景目标的匹配。
在一个实施例中，步骤S306，基于第一特征向量和第一包络框、以及第二特征向量和第二包络框进行前景目标的匹配具体包括：确定第一包络框的中心点在前景图像中的第一图像坐标、以及确定第二包络框的中心点在上一帧前景图像中的第二图像坐标；根据第一图像坐标和第二图像坐标计算第一前景目标和第二前景目标的距离；计算第一特征向量与第二特征向量的差值；根据第一前景目标和第二前景目标的距离以及差值，确定第一前景目标和第二前景目标的匹配值；将匹配值和预设匹配阈值进行大小比较，根据比较结果确定第一前景目标是否匹配成功。
具体地，利用匈牙利匹配算法将第一前景目标与第二前景目标进行匹配，假设第一前景目标的第一特征向量为F1，第一前景目标的第一包络框的中心点在图像坐标系中的坐标为(cx1,cy1)，第二前景目标的第二特征向量为F0，第二前景目标的第二包络框的中心点在图像坐标系中的坐标为(cx0,cy0)，匹配代价函数如下：
Figure RE-GDA0002470573990000131
其中，α、β为权重参数。当计算得到的匹配值Loss大于预设匹配阈值，则表示第一前景目标与第二前景目标未匹配上，表示匹配失败。而当计算得到的 Loss小于等于预设匹配值，表示匹配成功。在本实施例中，通过提取的特征向量和目标之间的距离进行匹配，提高匹配的准确性。
在一个实施例中，如图4所示，开门防撞方法还包括：
步骤S218，当第一前景目标匹配失败时，将匹配失败的第一前景目标的运动速度初始化为预设速度。
步骤S220，根据预设速度预测第一前景目标运动后的位置。
具体地，当根据匹配值Loss大于预设匹配阈值确定第一前景目标与第二前景目标匹配失败时，表示第一前景目标在前景图像上是新出现的目标。新出现的目标表示相邻上一帧前景图像中没有匹配的前景目标，所以无法通过在帧间进行目标跟踪等手段确定第一前景目标的关键点集合和运动速度。因此，对于新出现的目标，计算机设备将运动速度初始化为预设速度，即将新出现的目标的运动速度初始化为0。将预测速度0代入位置估计公式预测第一前景目标运动后的位置。
在一个实施例中，当第一前景目标匹配失败时，还包括：获取第一前景目标的第一包络框；根据第一前景目标的第一包络框的大小确定第一前景目标的关键点集合的所需像素点个数；从第一前景目标中随机选择与所需像素点个数相同的像素点组成所述第一前景目标的关键点集合。
具体地，为了提高对准确性，前景目标的关键点集合中的像素点的数量可以与前景目标面积相关。因此，通过前景目标的包络框的大小确定所需像素点个数，所需像素点个数计算公式如下：
Figure RE-GDA0002470573990000141
其中，N为所需像素点个数，w为包络框的宽度，h为包络框的长度。确定所需像素点个数之后，通过随机机制从前景目标中选取N个像素点作为关键像素点组成关键点集合。本实施例中，通过随机选取固定数量的像素点组成关键点集合，避免新出现的目标没有关键点集合，而影响后一帧前景图像中前景目标的处理。
在一个实施例中，在步骤S204，从全景图像中提取前景像素点，并对前景像素点进行聚类，得到包括至少一个第一前景目标的前景图像之后，还包括：计算各第一前景目标的像素面积；将像素面积不满足要求的第一前景目标剔除，得到最终的第一前景目标。
其中，前景目标的像素面积是指前景目标的掩膜面积，可以理解为前景目标的有效像素点个数，就是组成前景目标的像素点的个数。例如，前景目标由3 个像素点组成，那么该前景目标的像素面积为3。
具体地，当通过聚类将各个前景像素点归属到不同的目标，得到各个第一前景目标之后，计算机设备通过计算各个第一前景目标的像素面积。然后，将像素面积小于面积阈值P的第一前景目标剔除，最终剩余的第一前景目标为最终的第一前景目标。在本实施例中，通过设定的面积阈值P删除大小不合适的前景目标，保留可能是人、机动车、非机动车的运动目标，从而排除无严重撞击危害的运动目标，节省时间和计算资源。
在一个实施例中，以公交车为例对开门防撞方法进行详细的解释说明，如图5所示，在公交车前后左后各安装一个带夜视功能的相机，安装位置能够覆盖公交车的全视角，具体包括以下步骤：
S1，当通过公交车的定位系统获取的公交车当前位置，根据当前位置确定公交车距离下一停靠站点S米时，可以开始监测公交车的车速。当监测到车速低于V0米/秒时，开启公交车的防撞系统。其中，S和V0可以根据实际情况设定，本实施例不做具体限定。
S2，在公交车停稳后，同步获取四个相机拍摄到的图像。根据预先标定的各相机之间的位置关系参数，例如旋转参数、平移参数等将四个相机采集的同一时刻下的图像投影到同一个坐标系中。然后，将处于同一个坐标系中的四张图像进行拼接，对于重叠区域进行图像融合，得到全景图像。
S3，获取到全景图像之后，利用背景建模算法从全景图像中提取前景像素点得到前景图像。
S4，利用DBSCAN聚类对前景图像进行聚类，将前景图像中的各个前景像素点归属到不同的目标中，得到前景目标。剔除聚类后像素点面积小于阈值P 的前景目标，得到最终的前景目标。同时获取各个前景目标的包络框。
S5，获取到最终的前景目标之后，利用特征提取算法对各帧前景图像的各个前景目标进行全局特征提取，得到对应的特征向量。当处理的是第一帧前景图像时，将第一帧前景图像的前景目标的特征向量以及在前景图像中的位置进行存储即可。而当前处理的不是第一帧前景图像时，除了存储特征向量和位置之外，还利用匹配代价函数将当前处理的前景图像的前景目标分别与上一帧前景图像的前景目标进行匹配。将得到的匹配值与预设匹配阈值进行大小比较，匹配值小于预设匹配阈值表示匹配失败，反之匹配成功。
S6，对于匹配失败的前景目标，将运动速度初始化为预设速度0。将预设速度0代入位置估计公式预测前景目标后的运动位置。同时，根据前景目标的包络框的大小确定所需像素点个数。从前景目标中随机选取与所需像素点个数相同数量的像素点组成匹配失败的前景目标的关键点集合。
S7，对于匹配成功的前景目标，获取与其匹配的前景目标的关键点集合。利用稀疏光流对匹配的前景目标的关键点集合进行目标跟踪、删除无效像素点和补充有效像素点等处理，得到匹配成功的前景目标的关键点集合。通过计算关键点集合中各像素点的运动速度均值得到前景目标的运动速度。将运动速度代入位置估计公式得到前景目标运动后的位置。
S8，在获取到前景目标运动后的位置之后，获取公交车在前景图像中的位置。将车门的位置和前景目标运动后的位置代入条件公式中计算前景目标在T 时刻以内运动是否会处于警示区域内。当前景目标在T时刻以内进入警示区域内，则开启车门防撞警报。通过车门防撞警报提醒驾驶人员延迟开门。而在前景目标在T时刻以内没有进入警示区域内，不用启动警报，驾驶人员可以正常开启车门。
S9，车门开启之后，可以重复S3-S8持续对警示区域继续观测。一旦检测到可疑的运动目标出现，发出警报。以及，车门关闭之后，通过重复S3-S7对公交车前侧区域进行观测。当确定公交车前方由障碍物穿行时，发出警报。而在车辆起步之后，防撞系统即可进入休眠状态。
应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种开门防撞装置，包括：拼图模块602、提取模块604、匹配模块606、获取模块608、跟踪模块610、计算模块 612、预测模块614和报警模块616，其中：
拼图模块602，用于获取即将停车的车辆的全景图像。
提取模块604，用于从全景图像中提取前景像素点，并对前景像素点进行聚类，得到包括至少一个第一前景目标的前景图像。
匹配模块606，用于将前景图像中的各第一前景目标分别与前景图像相邻的上一帧前景图像中的各第二前景目标进行匹配。
获取模块608，用于当第一前景目标匹配成功时，获取与第一前景目标匹配成功的第二前景目标的关键点集合。
跟踪模块610，用于对第二前景目标的关键点集合中的像素点进行目标跟踪，并对目标跟踪后的关键点集合进行筛选和补充，得到第一前景目标的关键点集合。
计算模块612，用于基于第一前景目标的关键点集合中各像素点的运动速度确定第一前景目标的运动速度。
预测模块614，用于根据运动速度预测第一前景目标运动后的位置。
报警模块616，用于当确定第一前景目标运动后的位置处于警示区域内时，启动车门防撞警报。
在一个实施例中，匹配模块606还用于对各第一前景目标进行特征提取，得到各第一前景目标的第一特征向量，以及获取各第一前景目标的第一包络框；获取存储的各第二前景目标的第二特征向量和第二包络框；基于第一特征向量和第一包络框、以及第二特征向量和第二包络框进行前景目标的匹配。
在一个实施例中，匹配模块606还用于确定第一包络框的中心点在前景图像中的第一图像坐标、以及确定第二包络框的中心点在上一帧前景图像中的第二图像坐标；根据第一图像坐标和第二图像坐标计算第一前景目标和第二前景目标的距离；计算第一特征向量与第二特征向量的差值；根据第一前景目标和第二前景目标的距离以及差值，确定第一前景目标和第二前景目标的匹配值；将匹配值和预设匹配阈值进行大小比较，根据比较结果确定第一前景目标是否匹配成功。
在一个实施例中，车门防撞装置还包括初始化模块，用于当第一前景目标匹配失败时，将匹配失败的第一前景目标的运动速度初始化为预设速度；根据预设速度预测第一前景目标运动后的位置。
在一个实施例中，初始化模块还用于根据第一前景目标的第一包络框的大小确定第一前景目标的关键点集合的所需像素点个数；从第一前景目标中随机选择与所需像素点个数相同的像素点组成所述第一前景目标的关键点集合。
在一个实施例中，跟踪模块610还用于根据第二前景目标的关键点集合中的像素点在前景图像中进行目标跟踪，得到跟踪关键点集合；将跟踪关键点集合中不属于第一前景目标的像素点剔除，得到筛选关键点集合；从第一前景目标中随机选择与剔除的像素点的个数相同的像素点；将选择的像素点补充至筛选关键点集合中，得到第一前景目标的关键点集合。
在一个实施例中，计算模块612还用于获取第一前景目标的关键点集合中各像素点在前景图像中对应的第三图像坐标，以及获取第二前景目标的关键点集合中各像素点在上一帧前景图像中对应的第四图像坐标；计算对应的第三图像坐标和第四图像坐标的差值，得到第一前景目标的关键点集合中各像素点的运动速度；计算第一前景目标的关键点集合中各像素点的运动速度的均值，得到第一前景目标的运动速度。
在一个实施例中，预测模块614还用于确定第一前景目标的当前位置以及运动时间；基于运动速度和运动时间确定第一前景目标的运动距离，将运动距离与当前位置相加得到第一前景目标运动后的位置。
在一个实施例中，车门防撞装置还包括确定模块，用于确定前景图像中车辆的车门位置；基于第一前景目标运动后的位置与车门位置的距离，确定第一前景目标运动后的位置是否处于警示区域内。
在一个实施例中，车门防撞装置还包括筛选模块，用于计算各第一前景目标的像素面积；将像素面积不满足要求的第一前景目标剔除，得到最终的第一前景目标。
关于车门防撞装置的具体限定可以参见上文中对于车门防撞方法的限定，在此不再赘述。上述车门防撞装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种车门防撞方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取即将停车的车辆的全景图像；
从全景图像中提取前景像素点，并对前景像素点进行聚类，得到包括至少一个第一前景目标的前景图像；
将前景图像中的各第一前景目标分别与前景图像相邻的上一帧前景图像中的各第二前景目标进行匹配；
当第一前景目标匹配成功时，获取与第一前景目标匹配成功的第二前景目标的关键点集合；
对第二前景目标的关键点集合中的像素点进行目标跟踪，并对目标跟踪后的关键点集合进行筛选和补充，得到第一前景目标的关键点集合；
基于第一前景目标的关键点集合中各像素点的运动速度确定第一前景目标的运动速度；
根据运动速度预测第一前景目标运动后的位置；
当确定第一前景目标运动后的位置处于警示区域内时，启动车门防撞警报。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对各第一前景目标进行特征提取，得到各第一前景目标的第一特征向量，以及获取各第一前景目标的第一包络框；获取存储的各第二前景目标的第二特征向量和第二包络框；基于第一特征向量和第一包络框、以及第二特征向量和第二包络框进行前景目标的匹配。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：确定第一包络框的中心点在前景图像中的第一图像坐标、以及确定第二包络框的中心点在上一帧前景图像中的第二图像坐标；根据第一图像坐标和第二图像坐标计算第一前景目标和第二前景目标的距离；计算第一特征向量与第二特征向量的差值；根据第一前景目标和第二前景目标的距离以及差值，确定第一前景目标和第二前景目标的匹配值；将匹配值和预设匹配阈值进行大小比较，根据比较结果确定第一前景目标是否匹配成功。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：当第一前景目标匹配失败时，将匹配失败的第一前景目标的运动速度初始化为预设速度；根据预设速度预测第一前景目标运动后的位置。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据第一前景目标的第一包络框的大小确定第一前景目标的关键点集合的所需像素点个数；从第一前景目标中随机选择与所需像素点个数相同的像素点组成所述第一前景目标的关键点集合。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据第二前景目标的关键点集合中的像素点在前景图像中进行目标跟踪，得到跟踪关键点集合；将跟踪关键点集合中不属于第一前景目标的像素点剔除，得到筛选关键点集合；从第一前景目标中随机选择与剔除的像素点的个数相同的像素点；将选择的像素点补充至筛选关键点集合中，得到第一前景目标的关键点集合。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取第一前景目标的关键点集合中各像素点在前景图像中对应的第三图像坐标，以及获取第二前景目标的关键点集合中各像素点在上一帧前景图像中对应的第四图像坐标；计算对应的第三图像坐标和第四图像坐标的差值，得到第一前景目标的关键点集合中各像素点的运动速度；计算第一前景目标的关键点集合中各像素点的运动速度的均值，得到第一前景目标的运动速度。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：确定第一前景目标的当前位置以及运动时间；基于运动速度和运动时间确定第一前景目标的运动距离，将运动距离与当前位置相加得到第一前景目标运动后的位置。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：确定前景图像中车辆的车门位置；基于第一前景目标运动后的位置与车门位置的距离，确定第一前景目标运动后的位置是否处于警示区域内。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：计算各第一前景目标的像素面积；将像素面积不满足要求的第一前景目标剔除，得到最终的第一前景目标。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取即将停车的车辆的全景图像；
从全景图像中提取前景像素点，并对前景像素点进行聚类，得到包括至少一个第一前景目标的前景图像；
将前景图像中的各第一前景目标分别与前景图像相邻的上一帧前景图像中的各第二前景目标进行匹配；
当第一前景目标匹配成功时，获取与第一前景目标匹配成功的第二前景目标的关键点集合；
对第二前景目标的关键点集合中的像素点进行目标跟踪，并对目标跟踪后的关键点集合进行筛选和补充，得到第一前景目标的关键点集合；
基于第一前景目标的关键点集合中各像素点的运动速度确定第一前景目标的运动速度；
根据运动速度预测第一前景目标运动后的位置；
当确定第一前景目标运动后的位置处于警示区域内时，启动车门防撞警报。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对各第一前景目标进行特征提取，得到各第一前景目标的第一特征向量，以及获取各第一前景目标的第一包络框；获取存储的各第二前景目标的第二特征向量和第二包络框；基于第一特征向量和第一包络框、以及第二特征向量和第二包络框进行前景目标的匹配。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：确定第一包络框的中心点在前景图像中的第一图像坐标、以及确定第二包络框的中心点在上一帧前景图像中的第二图像坐标；根据第一图像坐标和第二图像坐标计算第一前景目标和第二前景目标的距离；计算第一特征向量与第二特征向量的差值；根据第一前景目标和第二前景目标的距离以及差值，确定第一前景目标和第二前景目标的匹配值；将匹配值和预设匹配阈值进行大小比较，根据比较结果确定第一前景目标是否匹配成功。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当第一前景目标匹配失败时，将匹配失败的第一前景目标的运动速度初始化为预设速度；根据预设速度预测第一前景目标运动后的位置。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据第一前景目标的第一包络框的大小确定第一前景目标的关键点集合的所需像素点个数；从第一前景目标中随机选择与所需像素点个数相同的像素点组成所述第一前景目标的关键点集合。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据第二前景目标的关键点集合中的像素点在前景图像中进行目标跟踪，得到跟踪关键点集合；将跟踪关键点集合中不属于第一前景目标的像素点剔除，得到筛选关键点集合；从第一前景目标中随机选择与剔除的像素点的个数相同的像素点；将选择的像素点补充至筛选关键点集合中，得到第一前景目标的关键点集合。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取第一前景目标的关键点集合中各像素点在前景图像中对应的第三图像坐标，以及获取第二前景目标的关键点集合中各像素点在上一帧前景图像中对应的第四图像坐标；计算对应的第三图像坐标和第四图像坐标的差值，得到第一前景目标的关键点集合中各像素点的运动速度；计算第一前景目标的关键点集合中各像素点的运动速度的均值，得到第一前景目标的运动速度。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：确定第一前景目标的当前位置以及运动时间；基于运动速度和运动时间确定第一前景目标的运动距离，将运动距离与当前位置相加得到第一前景目标运动后的位置。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：确定前景图像中车辆的车门位置；基于第一前景目标运动后的位置与车门位置的距离，确定第一前景目标运动后的位置是否处于警示区域内。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：计算各第一前景目标的像素面积；将像素面积不满足要求的第一前景目标剔除，得到最终的第一前景目标。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种开门防撞方法，所述方法包括：
获取即将停车的车辆的全景图像；
从所述全景图像中提取前景像素点，并对所述前景像素点进行聚类，得到包括至少一个第一前景目标的前景图像；
将所述前景图像中的各所述第一前景目标分别与所述前景图像相邻的上一帧前景图像中的各第二前景目标进行匹配；
当所述第一前景目标匹配成功时，获取与所述第一前景目标匹配成功的所述第二前景目标的关键点集合；
对所述第二前景目标的关键点集合中的像素点进行目标跟踪，并对目标跟踪后的关键点集合进行筛选和补充，得到所述第一前景目标的关键点集合；
基于所述第一前景目标的关键点集合中各像素点的运动速度确定所述第一前景目标的运动速度；
根据所述运动速度预测所述第一前景目标运动后的位置；
当确定所述第一前景目标运动后的位置处于警示区域内时，启动车门防撞警报。
2.根据权利要求1所述的方法，其特征在于，所述将所述前景图像中的各所述第一前景目标分别与所述前景图像相邻的上一帧前景图像中的各第二前景目标进行匹配，包括：
对各所述第一前景目标进行特征提取，得到各所述第一前景目标的第一特征向量，以及获取各所述第一前景目标的第一包络框；
获取存储的各所述第二前景目标的第二特征向量和第二包络框；
基于所述第一特征向量和所述第一包络框、以及所述第二特征向量和第二包络框进行前景目标的匹配。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一特征向量和所述第一包络框、以及所述第二特征向量和第二包络框进行前景目标的匹配，包括：
确定所述第一包络框的中心点在所述前景图像中的第一图像坐标、以及确定所述第二包络框的中心点在所述上一帧前景图像中的第二图像坐标；
根据所述第一图像坐标和第二图像坐标计算所述第一前景目标和所述第二前景目标的距离；
计算所述第一特征向量与所述第二特征向量的差值；
根据所述第一前景目标和所述第二前景目标的距离以及所述差值，确定所述第一前景目标和所述第二前景目标的匹配值；
将所述匹配值和预设匹配阈值进行大小比较，根据比较结果确定所述第一前景目标是否匹配成功。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述第一前景目标匹配失败时，将匹配失败的所述第一前景目标的运动速度初始化为预设速度；
根据所述预设速度预测所述第一前景目标运动后的位置。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
获取所述第一前景目标的第一包络框；
根据所述第一前景目标的第一包络框的大小确定所述第一前景目标的关键点集合的所需像素点个数；
从所述第一前景目标中随机选择与所述所需像素点个数相同的像素点组成所述第一前景目标的关键点集合。
6.根据权利要求1所述的方法，其特征在于，所述对所述第二前景目标的关键点集合中的像素点进行目标跟踪，并对目标跟踪后的关键点集合进行筛选和补充，得到所述第一前景目标的关键点集合，包括：
根据所述第二前景目标的关键点集合中的像素点在所述前景图像中进行目标跟踪，得到跟踪关键点集合；
将所述跟踪关键点集合中不属于所述第一前景目标的像素点剔除，得到筛选关键点集合；
从所述第一前景目标中随机选择与剔除的像素点的个数相同的像素点；
将选择的像素点补充至所述筛选关键点集合中，得到所述第一前景目标的关键点集合。
7.根据权利要求1所述的方法，其特征在于，所述基于所述第一前景目标的关键点集合中各像素点的运动速度确定所述第一前景目标的运动速度，包括：
获取所述第一前景目标的关键点集合中各像素点在所述前景图像中对应的第三图像坐标，以及获取所述第二前景目标的关键点集合中各像素点在所述上一帧前景图像中对应的第四图像坐标；
计算对应的第三图像坐标和第四图像坐标的差值，得到所述第一前景目标的关键点集合中各像素点的运动速度；
计算所述第一前景目标的关键点集合中各像素点的运动速度的均值，得到所述第一前景目标的运动速度。
8.根据权利要求1所述的方法，其特征在于，所述根据所述运动速度预测所述第一前景目标运动后的位置，包括：
确定所述第一前景目标的当前位置以及运动时间；
基于所述运动速度和所述运动时间确定所述第一前景目标的运动距离，将所述运动距离与所述当前位置相加得到所述第一前景目标运动后的位置。
9.根据权利要求1所述的方法，其特征在于，确定所述第一前景目标运动后的位置是否处于警示区域内，包括：
确定所述前景图像中所述车辆的车门位置；
基于所述第一前景目标运动后的位置与所述车门位置的距离，确定所述第一前景目标运动后的位置是否处于警示区域内。
10.根据权利要求1所述的方法，其特征在于，所述对所述前景像素点进行聚类，得到包括至少一个第一前景目标的前景图像之后，还包括：
计算各所述第一前景目标的像素面积；
将所述像素面积不满足要求的所述第一前景目标剔除，得到最终的第一前景目标。
11.一种开门防撞装置，其特征在于，所述装置包括：
拼图模块，用于获取即将停车的车辆的全景图像；
提取模块，用于从所述全景图像中提取前景像素点，并对所述前景像素点进行聚类，得到包括至少一个第一前景目标的前景图像；
匹配模块，用于将所述前景图像中的各所述第一前景目标分别与所述前景图像相邻的上一帧前景图像中的各第二前景目标进行匹配；
获取模块，用于当所述第一前景目标匹配成功时，获取与所述第一前景目标匹配成功的所述第二前景目标的关键点集合；
跟踪模块，用于对所述第二前景目标的关键点集合中的像素点进行目标跟踪，并对目标跟踪后的关键点集合进行筛选和补充，得到所述第一前景目标的关键点集合；
计算模块，用于基于所述第一前景目标的关键点集合中各像素点的运动速度确定所述第一前景目标的运动速度；
预测模块，用于根据所述运动速度预测所述第一前景目标运动后的位置；
报警模块，用于当确定所述第一前景目标运动后的位置处于警示区域内时，启动车门防撞警报。
12.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
CN202010105072.8A 2020-02-20 2020-02-20 开门防撞方法、装置、计算机设备和存储介质 Active CN111401135B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010105072.8A CN111401135B (zh) 2020-02-20 2020-02-20 开门防撞方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010105072.8A CN111401135B (zh) 2020-02-20 2020-02-20 开门防撞方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111401135A true CN111401135A (zh) 2020-07-10
CN111401135B CN111401135B (zh) 2023-09-26

Family

ID=71430348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010105072.8A Active CN111401135B (zh) 2020-02-20 2020-02-20 开门防撞方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111401135B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077656A (zh) * 2021-03-23 2021-07-06 吉林大学 一种基于车与车rfid通信的泊车路段防碰撞预警方法
CN115331481A (zh) * 2021-05-10 2022-11-11 北京万集科技股份有限公司 车辆开门方法、装置、设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473791A (zh) * 2013-09-10 2013-12-25 惠州学院 监控视频中异常速度事件自动识别方法
US20140063247A1 (en) * 2012-08-31 2014-03-06 Xerox Corporation Video-based vehicle speed estimation from motion vectors in video streams
US20160063308A1 (en) * 2014-08-29 2016-03-03 Definiens Ag Learning Pixel Visual Context from Object Characteristics to Generate Rich Semantic Images
CN106203277A (zh) * 2016-06-28 2016-12-07 华南理工大学 基于sift特征聚类的固定镜头实时监控视频特征提取方法
CN106780557A (zh) * 2016-12-23 2017-05-31 南京邮电大学 一种基于光流法和关键点特征的运动目标跟踪方法
US20170302901A1 (en) * 2015-01-06 2017-10-19 Huawei Technologies Co., Ltd. Image Processing Method and Apparatus
CN107507223A (zh) * 2017-07-28 2017-12-22 武汉工程大学 动态环境下基于多特征聚类匹配的目标跟踪方法
US20190122040A1 (en) * 2016-04-29 2019-04-25 Marss Ventures S.A. Method of verifying a triggered alert and alert verification processing apparatus

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140063247A1 (en) * 2012-08-31 2014-03-06 Xerox Corporation Video-based vehicle speed estimation from motion vectors in video streams
CN103473791A (zh) * 2013-09-10 2013-12-25 惠州学院 监控视频中异常速度事件自动识别方法
US20160063308A1 (en) * 2014-08-29 2016-03-03 Definiens Ag Learning Pixel Visual Context from Object Characteristics to Generate Rich Semantic Images
US20170302901A1 (en) * 2015-01-06 2017-10-19 Huawei Technologies Co., Ltd. Image Processing Method and Apparatus
US20190122040A1 (en) * 2016-04-29 2019-04-25 Marss Ventures S.A. Method of verifying a triggered alert and alert verification processing apparatus
CN106203277A (zh) * 2016-06-28 2016-12-07 华南理工大学 基于sift特征聚类的固定镜头实时监控视频特征提取方法
CN106780557A (zh) * 2016-12-23 2017-05-31 南京邮电大学 一种基于光流法和关键点特征的运动目标跟踪方法
CN107507223A (zh) * 2017-07-28 2017-12-22 武汉工程大学 动态环境下基于多特征聚类匹配的目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DANILO AVOLA 等: "A keypoint-based method for background modeling and foreground detection using a PTZ camera", vol. 96, no. 1, pages 96 - 105, XP085183482, DOI: 10.1016/j.patrec.2016.10.015 *
朱娟娟;郭宝龙;: "复杂场景中基于变块差分的运动目标检测", 光学精密工程, no. 01, pages 191 - 199 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077656A (zh) * 2021-03-23 2021-07-06 吉林大学 一种基于车与车rfid通信的泊车路段防碰撞预警方法
CN113077656B (zh) * 2021-03-23 2022-02-11 吉林大学 一种基于车与车rfid通信的泊车路段防碰撞预警方法
CN115331481A (zh) * 2021-05-10 2022-11-11 北京万集科技股份有限公司 车辆开门方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN111401135B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
US10043082B2 (en) Image processing method for detecting objects using relative motion
Gandhi et al. Pedestrian collision avoidance systems: A survey of computer vision based recent studies
CN112329552A (zh) 基于汽车的障碍物检测方法及装置
JP5297078B2 (ja) 車両の死角における移動物体を検知するための方法、および死角検知装置
US20190347486A1 (en) Method and apparatus for detecting a garbage dumping action in real time on video surveillance system
CN109035295B (zh) 多目标跟踪方法、装置、计算机设备和存储介质
CN109766867B (zh) 车辆运行状态确定方法、装置、计算机设备和存储介质
CN111178245A (zh) 车道线检测方法、装置、计算机设备和存储介质
US9460367B2 (en) Method and system for automating an image rejection process
JP2010517139A (ja) 車両を検出および追跡するためのシステムおよび方法
JP2014071902A5 (zh)
CN111401135B (zh) 开门防撞方法、装置、计算机设备和存储介质
CN106326866B (zh) 车辆碰撞的预警方法及装置
CN111891061B (zh) 车辆碰撞检测方法、装置和计算机设备
JP7459916B2 (ja) 物体追跡方法、物体追跡装置、及びプログラム
Scharfenberger et al. Robust image processing for an omnidirectional camera-based smart car door
CN112733598A (zh) 车辆违法判别方法、装置、计算机设备和存储介质
CN115063781A (zh) 车位检测方法、装置、设备和存储介质
JP6708368B2 (ja) 変形可能部分モデルを使用した車両追跡における部分的隠蔽処理方法及びシステム
Baek et al. Fast and reliable tracking algorithm for on-road vehicle detection systems
CN115862167A (zh) 道闸控制方法、装置、计算机设备和存储介质
CN112507757A (zh) 车辆行为检测方法、装置和计算机可读介质
KR20140037354A (ko) 방치물 및 도난물 탐지 시스템
CN108830303B (zh) 车辆识别方法、装置、计算机设备和存储介质
CN112183277A (zh) 遗留物与遗失物的检测方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant