CN110717361A - 本车停车检测方法、前车起步提醒方法及存储介质 - Google Patents

本车停车检测方法、前车起步提醒方法及存储介质 Download PDF

Info

Publication number
CN110717361A
CN110717361A CN201810766942.9A CN201810766942A CN110717361A CN 110717361 A CN110717361 A CN 110717361A CN 201810766942 A CN201810766942 A CN 201810766942A CN 110717361 A CN110717361 A CN 110717361A
Authority
CN
China
Prior art keywords
area
vehicle
differential
image
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810766942.9A
Other languages
English (en)
Inventor
张长隆
程卓
肖德贵
李智勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Intelligent Driving Research Institute Co Ltd
Original Assignee
Changsha Intelligent Driving Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Intelligent Driving Research Institute Co Ltd filed Critical Changsha Intelligent Driving Research Institute Co Ltd
Priority to CN201810766942.9A priority Critical patent/CN110717361A/zh
Publication of CN110717361A publication Critical patent/CN110717361A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明公开了一种本车停车检测方法、前车起步提醒方法及存储介质，本车停车检测方法包括：图像预处理和区域划分：根据实时采集的本车前方道路的图像帧数据，将获取的图像帧进行预处理并划分成多个区域；计算各区域的差分像素占比阈值：计算出各区域中的边缘像素的占比，并对占比作线性变换以自适应地获得对应区域的差分像素占比阈值；图像帧间的差分运算：基于当前帧在各区域中分别用当前帧与上一帧作帧差运算，获取各区域的差分图像，并统计各区域的差分图像中差分像素的占比；各区域状态检测判断：通过分别将各区域的差分像素的占比与对应区域的差分像素占比阈值进行比较，检测各区域的状态；综合各区域的状态判断本车是否处于停车状态。

Description

本车停车检测方法、前车起步提醒方法及存储介质
技术领域
本发明涉及车辆辅助驾驶技术领域，特别地，涉及一种本车停车检测方法、前车起步提醒方法及存储介质。
背景技术
随着城市道路交通系统的发展迅速，城市道路交通的场景越来越复杂。机动车驾驶员在城市道路行车的过程中会频繁地遇到交通管制，机动车排着长长的车队停车等候的情况随处可见。现有一些停车等待提醒系统，以智能化的操控系统来实现对本车是否停车进行判断，以及在判断本车为停车状态的基础上对前车是否起步进行检测判断，实现对驾驶员的智能化提醒，从而提供更为舒适放心的驾驶体验。
而现有技术中，一般是利用重力传感器测量本车的加速度信息，基于加速度信息确定本车的状态为行驶状态还是静止的停车状态。这种方案要想比较精确地获取本车是否停车的状态，对传感器的精度有较高的要求，若传感器的灵敏度和精度稍有降低或者出现故障，则容易影响判定的结果造成误判。
发明内容
本发明提供了一种本车停车检测方法、前车起步提醒方法及存储介质，以解决现有技术采用传感器测加速度信息来判断本车是否停车的方案容易因传感器精度而无法精确判断本车是否停车的技术问题。
本发明采用的技术方案如下：
一种本车停车检测方法，包括以下步骤：
图像预处理和区域划分：根据实时采集的本车前方道路的图像帧数据，将获取的图像帧进行预处理并划分成多个区域；
计算各区域的差分像素占比阈值：计算出各区域中的边缘像素的占比，并对占比作线性变换以自适应地获得对应区域的差分像素占比阈值；
图像帧间的差分运算：基于当前帧在各区域中分别用当前帧与上一帧作帧差运算，获取各区域的差分图像，并统计各区域的差分图像中差分像素的占比；
各区域状态检测判断：通过分别将各区域的差分像素的占比与对应区域的差分像素占比阈值进行比较，检测各区域的状态；
综合各区域的状态判断本车是否处于停车状态。
进一步地，图像预处理和区域划分的步骤包括：将获取的图像帧进行灰度化处理，并将灰度化后的整帧图像划分成至少包含左上区域、左下区域、右上区域、右下区域和中间区域。
进一步地，计算各区域的差分像素占比阈值的步骤包括：
计算边缘像素占比：在包含左上区域、左下区域、右上区域、右下区域的至少四个区域中通过边缘检测算法分别计算各区域中的边缘像素的个数，并获取至少四个区域中各区域内的边缘像素在对应区域所有像素中的占比；
计算差分像素占比阈值：对占比作线性变换以自适应地算出当前帧对应区域的帧差图像的差分像素占比阈值。
进一步地，图像帧间的差分运算的步骤包括：基于当前帧在至少四个区域中分别用当前帧与上一帧作帧差运算，获取各区域的差分图像，并分别将至少四个区域获得的差分图像进行二值化，统计其中差分像素的在各差分图像中的占比。
进一步地，各区域状态检测判断的步骤包括：将左上区域、左下区域、右上区域、右下区域四个区域中每个区域计算得到的差分像素的占比与对应区域的差分像素占比阈值进行比较，若该区域的差分像素的占比大于该区域的差分像素占比阈值，则判定该区域在当前帧的状态为行车状态，否则为停车状态。
进一步地，综合各区域的状态判断本车是否处于停车状态的步骤包括：当且仅当左下区域与右下区域都为行车状态、且左上区域与右上区域中至少有一个区域为行车状态时，判定本车的状态为行车状态，否则为停车状态。
进一步地，本车停车检测方法还包括：在得到本车的状态后，将当前帧的状态输入到管理本车状态的状态机中，通过状态机来管理本车的当前状态，状态机用于根据最近历史帧的本车状态决策当前帧的本车状态。
根据本发明的另一方面，还提供了一种前车起步提醒方法，在根据上述的本车停车检测方法确定本车处于停车状态的基础上，根据实时采集的本车前方道路的图像帧数据判断前车是否起步，并在判定前车起步时发出提醒。
进一步地，根据实时采集的本车前方道路的图像帧数据判断前车是否起步包括以下步骤：
选定检测区域：在图像帧数据中选取当前帧的一个区域作为检测区域，检测区域中包含前车图像；
确定目标区域：采用预先训练好的分类器对检测区域进行多尺度的目标检测，得到前车的部分图像区域作为前车目标区域；
计算前车目标区域的差分像素占比阈值：计算出前车目标区域中的边缘像素的占比，并对前车目标区域中的边缘像素的占比作线性变换以自适应地获得前车目标区域的差分像素占比阈值；
图像帧间差分运算：基于当前帧在前车目标区域中用当前帧与上一帧作帧差运算，获取前车目标区域的差分图像，并统计前车目标区域的差分图像中差分像素的占比；
状态检测判断：通过将前车目标区域的差分图像中差分像素的占比与前车目标区域的差分像素占比阈值进行比较，检测前车是否处于起步状态。
进一步地，确定目标区域的步骤包括：
通过基于Haar特征的图像特征提取算法，计算检测区域内多尺度的Haar特征，将Haar特征描述子送入已经训练好的用于识别车尾的Adboost-cascade分类器中，通过分类器的分类结果得到检测到的多个矩形框；
将多个矩形框按重叠面积进行非极大抑制选择，选择一个面积最大的矩形框作为当前帧的目标区域送入近期检测到的近期目标区域队列；
对近期目标区域队列进行管理，并对近期目标区域队列中的所有目标区域进行重叠面积计算，若所有目标区域的共同重叠面积占所有目标区域总面积的比率达到预定阈值，则取近期目标区域队列中所有目标区域的共有区域作为检测到的前车目标区域。
进一步地，对近期目标区域队列进行管理，并对近期目标区域队列中的所有目标区域进行重叠面积计算，若所有目标区域的共同重叠面积占所有目标区域总面积的比率达到预定阈值，则取队列中所有目标区域的共有区域作为检测到的前车目标区域的步骤包括：
预先设定近期目标区域队列的最大长度；
每当新的一帧的目标区域进入近期目标区域队列之后，对近期目标区域队列中所有的目标区域的共同面积ΔScommon进行计算，且若共同面积ΔScommon占每一个目标区域的面积ΔSi的占比p大于设定阈值时，则判定当前的近期目标区域队列中的目标区域有效，否则删除近期目标区域队列的队首目标区域，然后再次判定当前的近期目标区域队列中所有的目标区域是否有效，如此循环直至近期目标区域队列有效或者队列元素为空；
当近期目标区域队列的长度达到最大长度时，则取近期目标区域队列中所有目标区域的共有区域作为检测到的前车目标区域。
根据本发明的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述的本车停车检测方法以及前车起步提醒方法的步骤。
本发明的本车停车检测方法和前车起步提醒方法，对行车过程中前方道路的实时图像信息，通过图像边缘检测算法以及图像差分计算来判断本车是否处于停车状态，在检测到本车处于停车状态的基础上，判断前车是否起步，一旦检测到前车起步则发出起步提醒，有利于车辆驾驶者及时作出起步反应，从而提高道路通行效率。相比传统传感器测量加速度信息以判定本车是否停车的方式，本发明基于纯视觉算法检测本车是否停车并基于此判断前车是否起步，精度更高，故障几率降低，且不易误判，实用性更强。
本发明的存储介质，可直接应用于车载设备中并配合车载前向摄像头使用以实现其功能，有利于降低生产成本。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明的本车停车检测方法的流程图；
图2是本发明的前车起步提醒方法中判断前车是否起步的流程图；
图3是本发明优选实施例的本车停车检测和前车起步提醒方法的流程图；
图4是本发明优选实施例的方法中对图像帧进行区域划分的具体划分方式示意图；
图5是本发明优选实施例的方法中图像帧间的差分运算步骤的具体运算流程图；
图6是本发明优选实施例的方法中对近期目标区域队列管理以获得前车目标区域的过程示意图；
图7是本发明优选实施例的方法中在当前帧中检测到的目标区域的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
参照图1，本发明提供了一种本车停车检测方法，包括以下步骤：
步骤S110，图像预处理和区域划分：根据实时采集的本车前方道路的图像帧数据，将获取的图像帧进行预处理并划分成多个区域；
步骤S120，计算各区域的差分像素占比阈值：计算出各区域中的边缘像素的占比，并对占比作线性变换以自适应地获得对应区域的差分像素占比阈值；
步骤S130，图像帧间的差分运算：基于当前帧在各区域中分别用当前帧与上一帧作帧差运算，获取各区域的差分图像，并统计各区域的差分图像中差分像素的占比；
步骤S140，各区域状态检测判断：通过分别将各区域的差分像素的占比与对应区域的差分像素占比阈值进行比较，检测各区域的状态；
步骤S150，综合各区域的状态判断本车是否处于停车状态。
本发明采用车载前向摄像头实时本车采集前方道路的图像帧数据，摄像头方向朝本车的车身正前方向并与道路平面保持平行。
图像预处理和区域划分的步骤S110具体包括：将获取的图像帧进行灰度化处理，并将灰度化后的整帧图像划分成至少包含左上区域、左下区域、右上区域、右下区域和中间区域。
结合图3所示的优选实施例，本发明将车载前向摄像头获取的实时图像首先进行预处理和区域划分，图像预处理即将当前帧进行灰度化处理，并优选将该图像划分为左上区域、左下区域、右上区域、右下区域、中间区域总共五个区域。本优选实施例中，本车停车检测主要对左上区域、左下区域、右上区域、右下区域这四个区域中的图像信息进行计算和处理来判断本车的状态，图像帧的区域的具体划分方式如图4示。
本发明中对本车状态的检测是基于对差分图像的分析，此步骤将当前帧图像划分为这四个区域能够更好地利用差分图像判断本车状态而更少地受到复杂交通场景和特殊行车场景的影响。所谓复杂交通场景和特殊行车场景，即外在交通环境因素或者行车过程中特殊的背景因素会对帧与帧之间的差分运算的结果产生影响，本发明通过将图像帧分成这四个区域，后续分别作差分运算，然后根据四个区域的计算结果综合判断。本实施例中，将除中间区域以外的左右两侧划分成四个区域即可满足后续的判断的要求，同时可尽量降低数据的处理量，保证精度和提高效率。在其它实施例中，也可以将中间区域两侧的区域划分成更多数量的区域。
计算各区域的差分像素占比阈值的步骤S120具体包括：
步骤S121，计算边缘像素占比：在包含左上、左下、右上、右下至少四个区域中通过边缘检测算法分别计算各区域中的边缘像素的个数，并获取所述至少四个区域中各区域内的边缘像素在对应区域所有像素中的占比。
本发明的优选实施例将图像划分为五个区域，因此，本步骤中通过Sobel算子(索贝尔算子)边缘检测算法分别计算步骤S110中左上、左下、右上、右下四个区域的边缘像素，统计边缘像素的个数m，记该区域内所有像素点的个数为n，则该区域的边缘像素的占比r为：
Figure BDA0001729237080000051
步骤S122，计算差分像素占比阈值：计算出上述四个区域中各区域内的边缘像素在对应区域所有像素中的占比r后，对占比r作线性变换以自适应地算出当前帧对应区域的帧差图像的差分像素占比阈值α。
本发明的本车停车检测方法中对某一个区域的状态的判断是根据其当前帧与上一帧的差分图像中的差分像素的占比是否超过该区域的阈值来决定的，而该区域的阈值是根据当前帧自身的数据来自适应调整的。当前帧该区域的差分像素占比阈值是通过该区域边缘像素占比作线性变换而来，即当前帧该区域的差分像素占比阈值α的计算公式：
α＝k×r+b (2)
其中，k、b分别为线性变化的两个系数，这两个系数应当根据摄像头的硬件型号和成像效果来具体来定。
图像帧间的差分运算的步骤S130具体包括：基于当前帧在上述四个区域中分别用当前帧与上一帧作帧差运算，获取各区域的差分图像，并分别将上述四个区域获得的差分图像进行二值化，统计其中差分像素的在各差分图像中的占比β。
本步骤中，分别基于当前帧对步骤S110中所划分的四个区域分别进行图像差分运算，即将当前帧像素数据Fk+1(x,y)与上一帧相同坐标位置的像素数据Fk(x,y)相减并取绝对值，则当前帧差分图像的表达式为：
Hk+1(x,y)＝|Fk+1(x,y)-Fk(x,y)| (3)
根据Hk+1(x,y)中像素的数据与预先设定的二值化阈值T进行比较并基于比较结果对每个像素的值进行二值化，将差分图像二值化后统计其差分像素的个数，计算差分像素占整个区域的像素数量占比β。图像差分运算的具体运算流程可以见图5。
各区域状态检测判断步骤S140包括：
将四个区域中每个区域计算得到的差分像素的占比β与对应区域的差分像素占比阈值α进行比较，若该区域的差分像素的占比β大于该区域的差分像素占比阈值α，则判定该区域在当前帧的状态为行车状态，否则为停车状态。
步骤S150包括：当且仅当左下区域与右下区域都为行车状态、且左上区域与右上区域中至少有一个区域为行车状态时，判定本车的状态为行车状态，否则为停车状态。
本步骤中，若利用布尔表达式的真值true与伪值false分别表示行车状态和停车状态，则将左上区域、左下区域、右上区域、右下区域这四个区域的状态分别用四个布尔变量表示：Lt、Lb、Rt、Rb。通过综合四个区域的当前帧状态来对当前帧本车的状态来进行判断。综合四个区域的状态来判断：当且仅当左下区域与右下区域都为行车状态的时候且左上与右上两个区域中至少有一区域是行车状态，系统判定本车为行车状态，否则为停车状态，则本车状态的布尔表达式S为：
S＝(Lt∨Rt)∧(Lb∧Rb) (4)
本发明中，在得到本车的状态后，将当前帧的状态输入到管理本车状态的状态机中，通过状态机来管理本车的当前状态，消除误检产生的闪现等现象。状态机用于根据最近历史帧的本车状态决策当前帧的本车状态。比如，若判断结果一直都是停车，突然某一帧结果为行车，然后又一直都是停车，这样本车状态的当前帧判断结果就会受到干扰。状态机可以根据历史帧把这种情况下的错误判断过滤掉，并且在停车状态和行车状态之间转换的时候，显示结果更为稳定，不会出现来回闪现的情况。
作为其中一种可选的实施方式，本发明的状态机实现过程如下：用一个状态量X的值来决定当前帧的结果，X有具有上限和下限，比如，X上限为5，下限为0。若当前帧结果为停车，则X加1；若当前帧结果为行车，则X减1。当且仅当X＝5时，当前帧结果判断为停车；当且仅当X为0时，当前帧结果判断为行车。当状态量为其他的值时，也就是X＝1、2、3、4时，当前帧结果将上一帧结果作为当前帧结果。
本发明采用状态机管理本车状态，通过这种机制能够消除由于图像中的噪声或者算法上的误检产生的状态闪现，使用状态机来管理当前本车的状态能让当前帧的本车状态更加稳定。
根据本发明的另一方面，还提供了一种前车起步提醒方法，该方法中与本车停车检测方法使用同一车载前向摄像头采集前向道路实时图像信息。前车起步提醒方法是在本车停车检测方法检测到本车的状态为停车状态的时候才在此基础之上开始执行，根据实时采集的本车前方道路的图像帧数据判断前车是否起步，并在判定前车起步时发出提醒。
参照图2，具体地，前车起步提醒方法中根据实时采集的本车前方道路的图像帧数据判断前车是否起步包括以下步骤：
步骤S210，选定检测区域：在图像帧数据中选取当前帧的一个区域作为检测区域，检测区域中包含前车图像。
步骤S220，确定目标区域：采用预先训练好的分类器对检测区域进行多尺度的目标检测，得到前车的部分图像区域作为前车目标区域；
步骤S230，计算前车目标区域的差分像素占比阈值：计算出所述前车目标区域中的边缘像素的占比，并对所述前车目标区域中的边缘像素的占比作线性变换以自适应地获得所述前车目标区域的差分像素占比阈值；
步骤S240，图像帧间差分运算：基于当前帧在所述前车目标区域中用当前帧与上一帧作帧差运算，获取所述前车目标区域的差分图像，并统计所述前车目标区域的差分图像中差分像素的占比；
步骤S250，状态检测判断：通过将所述前车目标区域的差分图像中差分像素的占比与所述前车目标区域的差分像素占比阈值进行比较，检测前车是否处于起步状态。
结合图3，本优选实施例中，确定目标区域的步骤S220包括：
步骤S221，通过基于Haar特征的图像特征提取算法，计算检测区域内多尺度的Haar特征，将Haar特征描述子送入已经训练好的用于识别车尾的Adboost-cascade分类器中，通过分类器的分类结果得到检测到的多个矩形框。
本实施例中采用的分类器所检测的目标为前向道路中的前车车尾。在其它实施例中也可以检测前车的车牌或者其它位置，针对不同的检测目标分别使用不同的分类器。通过分类器得到的目标区域即矩形框，存在同一目标有多次分类器检出的情况，这样就出现了图像帧中的真实目标会有多个被监测到的目标区域框住。
步骤S222，将多个矩形框按重叠面积进行非极大抑制选择，选择一个面积最大的矩形框作为当前帧的目标区域送入近期检测到的近期目标区域队列。近期目标区域队列亦即ROI(region of interest，感兴趣区域)队列。
本发明使用NMS算法(非极大抑制算法)来消除分类器所检测到的重叠的目标区域，最终对于每一个真实目标都只有一个目标区域检出。进行完NMS算法消除重叠目标区域之后，对于每一帧，本发明只选取目标区域面积最大的区域，考虑到目标检测的过程中可能会检测到多个目标，本发明则选取距离本车最近的一个目标的图像区域作为当前帧的目标区域。
步骤S223，对近期目标区域队列进行管理，并对近期目标区域队列中的所有目标区域进行重叠面积计算，若所有目标区域的共同重叠面积占所有目标区域总面积的比率达到预定阈值，则取队列中所有目标区域的共有区域作为检测到的前车目标区域。
本发明的前车起步提醒方法通过维护一个近期目标区域队列来管理分类器从近期历史帧中检测到的目标区域。参照图6，步骤S223具体过程如下：
预先设定近期目标区域队列的最大长度Maxsize；
每当新的一帧的目标区域(即如图6中标示的当前帧目标区域)进入近期目标区域队列之后，对近期目标区域队列中所有的目标区域的共同面积ΔScommon进行计算，且若共同面积ΔScommon占每一个目标区域的面积ΔSi的占比p大于设定阈值时，则判定当前的近期目标区域队列中的目标区域有效，否则删除近期目标区域队列的队首目标区域即近期目标区域队列中距离当前帧目标区域最远的历史帧目标区域，然后再次判定当前的近期目标区域队列中所有的目标区域是否有效，如此循环直至近期目标区域队列有效或者队列元素为空；
当近期目标区域队列的长度达到最大长度Maxsize时，亦即如图6中虚线框所示的窗口长度，则取近期目标区域队列中所有目标区域的共有区域作为检测到的前车目标区域。
上述对近期目标区域队列进行管理的过程中，近期目标区域队列是一个动态变化的队列窗口，在最初状态时其包含图6中标示的历史帧目标区域，但经过上述判定后，这些历史帧目标区域可能被删除。
上述步骤中，占比p的设定阈值一般设定为0.8及以上会比较精准，但也不宜太高，p值设定的太高可能会导致无法使该队列中的所有目标区域的重叠面积达到该要求，从而发生漏检。近期目标区域队列可以在前车运动的过程中进行检测，即使前车运动，本发明的前车起步提醒也能在前车停车之前保持检测，直到前车静止目标区域确定。如图7中所示，为在当前帧中检测到的目标区域的示意图。
在步骤S220之后，进行步骤S230至步骤S250。
本发明的前车起步提醒方法中，对步骤S220确定的当前帧的前车目标区域进行的S230至步骤S250处理与本车停车检测过程中对四个区域的处理类似，具体过程如下：
首先通过边缘检测算法计算前车目标区域中的边缘像素的个数，同样地，本步骤可通过Sobel算子(索贝尔算子)边缘检测算法计算步骤S220中得到的前车目标区域内的边缘像素，统计边缘像素在前车目标区域中占所有像素的占比；
对该占比作线性变换以自适应地算出前车目标区域在当前帧与上一帧的差分像素占比阈值α1，具体的线性变换过程同步骤S122中公式(2)；
然后对当前帧的前车目标区域内的图像与上一帧作帧差运算，亦即将前车目标区域内的当前帧图像像素数值减去上一帧的图像像素数值并取绝对值，以获取前车目标区域内的差分图像，并对差分图像进行二值化后统计前车目标区域中差分像素的占比β1；
将差分像素的占比β1与差分像素占比阈值α1进行比较，若差分像素的占比β1大于差分像素占比阈值α1，则判定前车为起步状态，否则判定前车为静止状态。
本发明的前车起步提醒方法还包括：在判定前车为起步状态时发出提醒。本发明的方法中所发出的提醒可以是语音提醒或者其它声音提醒，也可以是灯光提醒。
本发明采用车载前向摄像头采集行车过程中前方道路的实时图像信息，通过图像边缘检测算法以及图像差分计算来判断本车是否处于停车状态，一旦检测到本车处于停车状态，则开启前车起步提醒；通过目标检测的算法和图像差分计算来判断前车是否起步，一旦检测到前车起步则发出起步提醒。
根据本发明的另一方面，本发明还提供一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述的本车停车检测方法以及前车起步提醒方法步骤。
本发明对行车过程中前方道路的实时图像信息，通过图像边缘检测算法以及图像差分计算来判断本车是否处于停车状态，在检测到本车处于停车状态的基础上，判断前车是否起步，一旦检测到前车起步则发出起步提醒，有利于车辆驾驶者及时作出起步反应，从而提高道路通行效率。相比传统传感器测量加速度信息以判定本车是否停车的方式，本发明基于纯视觉算法检测本车是否停车并基于此判断前车是否起步，精度更高，故障几率降低，且不易误判，实用性更强。
本发明的存储介质，可直接应用于车载设备中并配合车载前向摄像头使用以实现其功能，有利于降低生产成本。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种本车停车检测方法，其特征在于，包括以下步骤：
图像预处理和区域划分：根据实时采集的本车前方道路的图像帧数据，将获取的图像帧进行预处理并划分成多个区域；
计算各区域的差分像素占比阈值：计算出各区域中的边缘像素的占比，并对所述占比作线性变换以自适应地获得对应区域的差分像素占比阈值；
图像帧间的差分运算：基于当前帧在各区域中分别用当前帧与上一帧作帧差运算，获取各区域的差分图像，并统计各区域的差分图像中差分像素的占比；
各区域状态检测判断：通过分别将各区域的差分像素的占比与对应区域的差分像素占比阈值进行比较，检测各区域的状态；
综合各区域的状态判断本车是否处于停车状态。
2.根据权利要求1所述的本车停车检测方法，其特征在于，
所述图像预处理和区域划分的步骤包括：将获取的图像帧进行灰度化处理，并将灰度化后的整帧图像划分成至少包含左上区域、左下区域、右上区域、右下区域和中间区域。
3.根据权利要求2所述的本车停车检测方法，其特征在于，所述计算各区域的差分像素占比阈值的步骤包括：
计算边缘像素占比：在包含所述左上区域、所述左下区域、所述右上区域、所述右下区域的至少四个区域中通过边缘检测算法分别计算各区域中的边缘像素的个数，并获取所述至少四个区域中各区域内的边缘像素在对应区域所有像素中的占比；
计算差分像素占比阈值：对所述占比作线性变换以自适应地算出当前帧对应区域的帧差图像的差分像素占比阈值。
4.根据权利要求3所述的本车停车检测方法，其特征在于，所述图像帧间的差分运算的步骤包括：
基于当前帧在所述至少四个区域中分别用当前帧与上一帧作帧差运算，获取各区域的差分图像，并分别将所述至少四个区域获得的差分图像进行二值化，统计其中差分像素的在各差分图像中的占比。
5.根据权利要求4所述的本车停车检测方法，其特征在于，所述各区域状态检测判断的步骤包括：
将所述左上区域、所述左下区域、所述右上区域、所述右下区域四个区域中每个区域计算得到的差分像素的占比与对应区域的差分像素占比阈值进行比较，若该区域的差分像素的占比大于该区域的差分像素占比阈值，则判定该区域在当前帧的状态为行车状态，否则为停车状态。
6.根据权利要求5所述的本车停车检测方法，其特征在于，所述综合各区域的状态判断本车是否处于停车状态的步骤包括：
当且仅当所述左下区域与所述右下区域都为行车状态、且所述左上区域与所述右上区域中至少有一个区域为行车状态时，判定本车的状态为行车状态，否则为停车状态。
7.根据权利要求5所述的本车停车检测方法，其特征在于，所述本车停车检测方法还包括：
在得到本车的状态后，将当前帧的状态输入到管理本车状态的状态机中，通过状态机来管理本车的当前状态，所述状态机用于根据最近历史帧的本车状态决策当前帧的本车状态。
8.一种前车起步提醒方法，其特征在于，在根据如权利要求1到7中任一项所述的本车停车检测方法确定本车处于停车状态的基础上，根据实时采集的本车前方道路的图像帧数据判断前车是否起步，并在判定前车起步时发出提醒。
9.根据权利要求8所述的前车起步提醒方法，其特征在于，所述根据实时采集的本车前方道路的图像帧数据判断前车是否起步包括以下步骤：
选定检测区域：在所述图像帧数据中选取当前帧的一个区域作为检测区域，所述检测区域中包含前车图像；
确定目标区域：采用预先训练好的分类器对所述检测区域进行多尺度的目标检测，得到前车的部分图像区域作为前车目标区域；
计算前车目标区域的差分像素占比阈值：计算出所述前车目标区域中的边缘像素的占比，并对所述前车目标区域中的边缘像素的占比作线性变换以自适应地获得所述前车目标区域的差分像素占比阈值；
图像帧间差分运算：基于当前帧在所述前车目标区域中用当前帧与上一帧作帧差运算，获取所述前车目标区域的差分图像，并统计所述前车目标区域的差分图像中差分像素的占比；
状态检测判断：通过将所述前车目标区域的差分图像中差分像素的占比与所述前车目标区域的差分像素占比阈值进行比较，检测前车是否处于起步状态。
10.根据权利要求9所述的前车起步提醒方法，其特征在于，所述确定目标区域的步骤包括：
通过基于Haar特征的图像特征提取算法，计算所述检测区域内多尺度的Haar特征，将Haar特征描述子送入已经训练好的用于识别车尾的Adboost-cascade分类器中，通过分类器的分类结果得到检测到的多个矩形框；
将多个矩形框按重叠面积进行非极大抑制选择，选择一个面积最大的矩形框作为当前帧的目标区域送入近期检测到的近期目标区域队列；
对所述近期目标区域队列进行管理，并对所述近期目标区域队列中的所有目标区域进行重叠面积计算，若所有目标区域的共同重叠面积占所有目标区域总面积的比率达到预定阈值，则取所述近期目标区域队列中所有目标区域的共有区域作为检测到的前车目标区域。
11.根据权利要求10所述的前车起步提醒方法，其特征在于，所述对近期目标区域队列进行管理，并对所述近期目标区域队列中的所有目标区域进行重叠面积计算，若所有目标区域的共同重叠面积占所有目标区域总面积的比率达到预定阈值，则取队列中所有目标区域的共有区域作为检测到的前车目标区域的步骤包括：
预先设定所述近期目标区域队列的最大长度；
每当新的一帧的目标区域进入所述近期目标区域队列之后，对所述近期目标区域队列中所有的目标区域的共同面积ΔScommon进行计算，且若共同面积ΔScommon占每一个目标区域的面积ΔSi的占比p大于设定阈值时，则判定当前的近期目标区域队列中的目标区域有效，否则删除所述近期目标区域队列的队首目标区域，然后再次判定当前的近期目标区域队列中所有的目标区域是否有效，如此循环直至所述近期目标区域队列有效或者队列元素为空；
当所述近期目标区域队列的长度达到所述最大长度时，则取所述近期目标区域队列中所有目标区域的共有区域作为检测到的前车目标区域。
12.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1至11中任一项所述的方法步骤。
CN201810766942.9A 2018-07-13 2018-07-13 本车停车检测方法、前车起步提醒方法及存储介质 Pending CN110717361A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810766942.9A CN110717361A (zh) 2018-07-13 2018-07-13 本车停车检测方法、前车起步提醒方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810766942.9A CN110717361A (zh) 2018-07-13 2018-07-13 本车停车检测方法、前车起步提醒方法及存储介质

Publications (1)

Publication Number Publication Date
CN110717361A true CN110717361A (zh) 2020-01-21

Family

ID=69209227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810766942.9A Pending CN110717361A (zh) 2018-07-13 2018-07-13 本车停车检测方法、前车起步提醒方法及存储介质

Country Status (1)

Country Link
CN (1) CN110717361A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191221A (zh) * 2021-04-15 2021-07-30 浙江大华技术股份有限公司 基于全景相机的车辆检测方法、装置以及计算机存储介质
CN113255612A (zh) * 2021-07-05 2021-08-13 智道网联科技(北京)有限公司 前车起步提醒方法及系统、电子设备和存储介质
CN113361299A (zh) * 2020-03-03 2021-09-07 浙江宇视科技有限公司 一种异常停车的检测方法、装置、存储介质及电子设备
WO2023221848A1 (zh) * 2022-05-17 2023-11-23 华为技术有限公司 车辆起步行为的预测方法、装置、存储介质及程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101236656A (zh) * 2008-02-29 2008-08-06 上海华平信息技术股份有限公司 基于块划分的图像中运动目标的检测方法
CN101783015A (zh) * 2009-01-19 2010-07-21 北京中星微电子有限公司 一种视频跟踪设备及方法
US20160019429A1 (en) * 2014-07-17 2016-01-21 Tomoko Ishigaki Image processing apparatus, solid object detection method, solid object detection program, and moving object control system
CN106611512A (zh) * 2015-10-23 2017-05-03 杭州海康威视数字技术股份有限公司 前车起步的处理方法、装置和系统
CN107292297A (zh) * 2017-08-09 2017-10-24 电子科技大学 一种基于深度学习和重叠率跟踪的视频车流量检测方法
CN107331181A (zh) * 2016-12-29 2017-11-07 佛山科学技术学院 一种车辆跟车智能提醒方法及其系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101236656A (zh) * 2008-02-29 2008-08-06 上海华平信息技术股份有限公司 基于块划分的图像中运动目标的检测方法
CN101783015A (zh) * 2009-01-19 2010-07-21 北京中星微电子有限公司 一种视频跟踪设备及方法
US20160019429A1 (en) * 2014-07-17 2016-01-21 Tomoko Ishigaki Image processing apparatus, solid object detection method, solid object detection program, and moving object control system
CN106611512A (zh) * 2015-10-23 2017-05-03 杭州海康威视数字技术股份有限公司 前车起步的处理方法、装置和系统
CN107331181A (zh) * 2016-12-29 2017-11-07 佛山科学技术学院 一种车辆跟车智能提醒方法及其系统
CN107292297A (zh) * 2017-08-09 2017-10-24 电子科技大学 一种基于深度学习和重叠率跟踪的视频车流量检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
狄超等: "《 FPGA之道》", 31 August 2014 *
王全宁等: "目标跟踪器性能评估方法研究进展", 《计算机与现代化》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361299A (zh) * 2020-03-03 2021-09-07 浙江宇视科技有限公司 一种异常停车的检测方法、装置、存储介质及电子设备
CN113361299B (zh) * 2020-03-03 2023-08-15 浙江宇视科技有限公司 一种异常停车的检测方法、装置、存储介质及电子设备
CN113191221A (zh) * 2021-04-15 2021-07-30 浙江大华技术股份有限公司 基于全景相机的车辆检测方法、装置以及计算机存储介质
CN113191221B (zh) * 2021-04-15 2022-04-19 浙江大华技术股份有限公司 基于全景相机的车辆检测方法、装置以及计算机存储介质
CN113255612A (zh) * 2021-07-05 2021-08-13 智道网联科技(北京)有限公司 前车起步提醒方法及系统、电子设备和存储介质
WO2023221848A1 (zh) * 2022-05-17 2023-11-23 华为技术有限公司 车辆起步行为的预测方法、装置、存储介质及程序产品

Similar Documents

Publication Publication Date Title
CN110717361A (zh) 本车停车检测方法、前车起步提醒方法及存储介质
US10606264B2 (en) Control method and control device of automatic driving vehicle
US10081308B2 (en) Image-based vehicle detection and distance measuring method and apparatus
US9704391B2 (en) Traffic accident detection device and method of detecting traffic accident
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
WO2016129403A1 (ja) 物体検知装置
CN112349144B (zh) 一种基于单目视觉的车辆碰撞预警方法及系统
CN109997148B (zh) 信息处理装置、成像装置、设备控制系统、移动对象、信息处理方法和计算机可读记录介质
JP6722084B2 (ja) 物体検出装置
CN110490217B (zh) 用于改进对象检测和对象分类的方法和系统
US10944958B2 (en) Method and device for detecting height-limiting rod, and automatic driving system
US8160301B2 (en) Vehicle surroundings monitoring apparatus
GB2462071A (en) Method for determining the separation distance between automotive vehicles
CN114037924A (zh) 一种基于图像识别技术的车辆过闸判断方法及相关装置
JP2012088217A (ja) 運転支援制御装置
JP5172422B2 (ja) 運転支援システム
CN111976585A (zh) 基于人工神经网络的投射信息识别装置及其方法
US20160307055A1 (en) Stereoscopic object detection device and stereoscopic object detection method
JP5411671B2 (ja) 物体検出装置および運転支援システム
CN113581069B (zh) 基于计算机视觉的车辆防止碰撞的预警方法及装置
US11816903B2 (en) Method for determining a type of parking space
CN114255452A (zh) 目标测距方法及装置
JP5957182B2 (ja) 路面上パターン認識方法および車両用情報記録装置
Gao et al. An In-Car Objects Detection Algorithm Based on Improved Spatial-Temporal Entropy Image
JP7385118B2 (ja) タイヤ空気圧低下度判定装置、タイヤ空気圧低下度判定方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200121