CN111626189A - 一种路面异常检测方法、装置、电子设备及存储介质 - Google Patents

一种路面异常检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111626189A
CN111626189A CN202010454737.6A CN202010454737A CN111626189A CN 111626189 A CN111626189 A CN 111626189A CN 202010454737 A CN202010454737 A CN 202010454737A CN 111626189 A CN111626189 A CN 111626189A
Authority
CN
China
Prior art keywords
vehicle
lane
determining
image
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010454737.6A
Other languages
English (en)
Other versions
CN111626189B (zh
Inventor
邓钱亮
孙文峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010454737.6A priority Critical patent/CN111626189B/zh
Publication of CN111626189A publication Critical patent/CN111626189A/zh
Application granted granted Critical
Publication of CN111626189B publication Critical patent/CN111626189B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种路面异常检测方法、装置、电子设备及存储介质，包括：针对第一图像中的每个车道，确定所述车道上每个车辆的第一行驶轨迹线；根据所述每个车辆的第一行驶轨迹线，确定所述车道上的车辆未进入区域；判断所述车辆未进入区域中，是否能够容纳预设的障碍物区域，如果是，确定所述车道存在异常。本发明实施例基于每个车辆的第一行驶轨迹线来确定车辆未进入区域，然后根据车辆未进入区域判断路面是否存在障碍物。对图像质量的要求较低，即使在天气突然起雾、太阳光直射、白天夜晚图像切换等情况下，也能保证路面异常检测的准确性。并且无需进行CNN模型训练，降低了路面异常检测算法的复杂度，提高了路面异常检测算法的效率。

Description

一种路面异常检测方法、装置、电子设备及存储介质
技术领域
本发明涉及视频监控技术领域，尤其涉及一种路面异常检测方法、装置、电子设备及存储介质。
背景技术
在智能交通领域，视频监控技术得到了广泛的应用。视频分析通常以图像为基础，辅以CNN(Convolutional Neural Networks)类算法对视频图像序列做分析。在车载或车辆电警、卡口模式下，通常按照上述方式来发现路面的异常情况，作出报警处理。
上述基于图像进行路面异常检测的方案受到外界因素影响比较多，比如天气突然起雾、太阳光直射、白天夜晚图像切换等情况一旦出现，监控设备采集的图像质量会较差，当图像质量较差时，会导致路面异常检测的准确性较差，甚至无法进行路面异常检测。另外，CNN类算法中需要输入人工判定因素，模型训练工作量大、效率低；如果训练集中障碍物类型不全面，在实际检测时也有可能出现检测失误的情况，CNN模型的生成对后续检测有直接的关系，如果该模型有瑕疵或者质量不高，将直接影响到后续的路面异常检测。
发明内容
本发明实施例提供了一种路面异常检测方法、装置、电子设备及存储介质，用以解决现有技术中路面异常检测准确性较差的问题。
本发明实施例提供了一种路面异常检测方法，所述方法包括：
针对第一图像中的每个车道，确定所述车道上每个车辆的第一行驶轨迹线；
根据所述每个车辆的第一行驶轨迹线，确定所述车道上的车辆未进入区域；
判断所述车辆未进入区域中，是否能够容纳预设的障碍物区域，如果是，确定所述车道存在异常。
进一步地，所述针对第一图像中的每个车道，确定所述车道上每个车辆的第一行驶轨迹线包括：
获取第二图像，确定所述第二图像中的每个车道上每个车辆的第二行驶轨迹线；
根据车道线划分指令，在所述第二图像中截取第三图像；其中，所述车道线划分指令携带每条车道线的坐标信息和所述每条车道线的上下底边的坐标信息；
针对所述第三图像中的每行像素点，根据该行像素点的水平方向长度与所述第三图像下底边的水平方向长度的比值，确定该行像素点的坐标转换系数；将该行像素点的水平方向坐标除以所述坐标转换系数，该行像素点的垂直方向坐标保持不变，得到第一图像；其中，所述第一图像中的每个车辆的行驶轨迹线为第一行驶轨迹线。
进一步地，确定每个车辆的行驶轨迹线的过程包括：
根据目标跟踪算法确定每个车辆的跟踪框，将该车辆的跟踪框下底边中间点的轨迹线确定为该车辆的行驶轨迹线。
进一步地，所述根据所述每个车辆的第一行驶轨迹线，确定所述车道上的车辆未进入区域包括：
判断所述每个车辆的第一行驶轨迹线是否存在交叉点，如果是，将每个第一行驶轨迹线形成的最内侧区域确定为车辆未进入区域。
进一步地，判断所述每个车辆的第一行驶轨迹线存在交叉点之后，将每个第一行驶轨迹线形成的最内侧区域确定为车辆未进入区域之前，所述方法还包括：
判断所述每个车辆的第一行驶轨迹线存在交叉点的数量是否达到预设的数量阈值，如果是，将每个第一行驶轨迹线形成的最内侧区域确定为车辆未进入区域。
进一步地，所述判断所述每个车辆的第一行驶轨迹线存在的交叉点的数量是否达到预设的数量阈值包括：
判断所述每个车辆的第一行驶轨迹线存在的交叉点包含于预设大小的窗口的数量是否达到预设的数量阈值。
进一步地，所述方法还包括：
若所述每个车辆的第一行驶轨迹线不存在交叉点，或所述每个车辆的第一行驶轨迹线存在交叉点的数量未达到预设的数量阈值，或所述每个车辆的第一行驶轨迹线存在的交叉点包含于预设大小的窗口的数量未达到预设的数量阈值，将所述车道中每个第一行驶轨迹线形成的最外侧的区域确定为车辆未进入区域。
进一步地，所述判断所述车辆未进入区域中，是否能够容纳预设的障碍物区域包括：
设置预设的障碍物区域为预设半径的圆形区域；判断是否存在与所述车辆未进入区域内切的所述预设半径的圆形区域。
另一方面，本发明实施例提供了一种路面异常检测装置，所述装置包括：
第一确定模块，用于针对第一图像中的每个车道，确定所述车道上每个车辆的第一行驶轨迹线；
第二确定模块，用于根据所述每个车辆的第一行驶轨迹线，确定所述车道上的车辆未进入区域；
第三确定模块，用于判断所述车辆未进入区域中，是否能够容纳预设的障碍物区域，如果是，确定所述车道存在异常。
进一步地，所述第一确定模块，具体用于获取第二图像，确定所述第二图像中的每个车道上每个车辆的第二行驶轨迹线；根据车道线划分指令，在所述第二图像中截取第三图像；其中，所述车道线划分指令携带每条车道线的坐标信息和所述每条车道线的上下底边的坐标信息；针对所述第三图像中的每行像素点，根据该行像素点的水平方向长度与所述第三图像下底边的水平方向长度的比值，确定该行像素点的坐标转换系数；将该行像素点的水平方向坐标除以所述坐标转换系数，将该行像素点的垂直方向坐标保持不变，得到第一图像；其中，所述第一图像中的每个车辆的行驶轨迹线为第一行驶轨迹线。
进一步地，所述第一确定模块，具体用于根据目标跟踪算法确定每个车辆的跟踪框，将该车辆的跟踪框下底边中间点的轨迹线确定为该车辆的行驶轨迹线。
进一步地，所述第二确定模块，具体用于判断所述每个车辆的第一行驶轨迹线是否存在交叉点，如果是，将每个第一行驶轨迹线形成的最内侧区域确定为车辆未进入区域。
进一步地，所述装置还包括：
判断模块，用于判断所述每个车辆的第一行驶轨迹线存在交叉点的数量是否达到预设的数量阈值，如果是，触发所述第二确定模块。
进一步地，所述判断模块，具体用于判断所述每个车辆的第一行驶轨迹线存在的交叉点包含于预设大小的窗口的数量是否达到预设的数量阈值。
进一步地，所述装置还包括：
第四确定模块，用于若所述每个车辆的第一行驶轨迹线不存在交叉点，或所述每个车辆的第一行驶轨迹线存在交叉点的数量未达到预设的数量阈值，或所述每个车辆的第一行驶轨迹线存在的交叉点包含于预设大小的窗口的数量未达到预设的数量阈值，将所述车道中每个第一行驶轨迹线形成的最外侧的区域确定为车辆未进入区域。
进一步地，所述第三确定模块，具体用于设置预设的障碍物区域为预设半径的圆形区域；判断是否存在与所述车辆未进入区域内切的所述预设半径的圆形区域。
另一方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一项所述的方法步骤。
另一方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法步骤。
本发明实施例提供了一种路面异常检测方法、装置、电子设备及存储介质，所述方法包括：针对第一图像中的每个车道，确定所述车道上每个车辆的第一行驶轨迹线；根据所述每个车辆的第一行驶轨迹线，确定所述车道上的车辆未进入区域；判断所述车辆未进入区域中，是否能够容纳预设的障碍物区域，如果是，确定所述车道存在异常。
由于在本发明实施例中，基于每个车辆的第一行驶轨迹线来确定车辆未进入区域，然后根据车辆未进入区域判断路面是否存在障碍物。对图像质量的要求较低，即使在天气突然起雾、太阳光直射、白天夜晚图像切换等情况下，也能保证路面异常检测的准确性。并且无需进行CNN模型训练，降低了路面异常检测算法的复杂度，提高了路面异常检测算法的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的路面异常检测过程示意图；
图2为本发明实施例提供的监控设备采集的第二图像示意图；
图3为本发明实施例提供的第三图像示意图；
图4为本发明实施例提供的坐标转换后的第一图像示意图；
图5为本发明实施例提供的选取跟踪基点示意图；
图6为本发明实施例提供的选取最内侧区域为车辆未进入区域示意图；
图7为本发明实施例提供的选取最外侧区域为车辆未进入区域示意图；
图8为本发明实施例提供的路面异常检测详细流程图；
图9为本发明实施例提供的路面异常检测装置结构示意图；
图10为本发明实施例提供的电子设备结构示意图。
具体实施方式
下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1：
图1为本发明实施例提供的路面异常检测过程示意图，该过程包括以下步骤：
S101：针对第一图像中的每个车道，确定所述车道上每个车辆的第一行驶轨迹线。
本发明实施例提供的路面异常检测方法应用于电子设备，该电子设备可以时候PC、平板电脑等设备，也可以是智能图像采集设备。
如果电子设备为智能图像采集设备，智能图像采集设备在采集到包含车道的第一图像之后，针对第一图像中的每个车道，确定所述车道上每个车辆的第一行驶轨迹线。如果电子设备为PC、平板电脑等设备，智能图像采集设备在采集到包含车道的第一图像之后，将第一图像发送至电子设备，电子设备针对第一图像中的每个车道，确定所述车道上每个车辆的第一行驶轨迹线。
具体的，电子设备通过识别图像中的每条车道线，可以确定出每个车道。在确定每个车道上每个车辆的第一行驶轨迹线时，可以统计预设时长内的第一行驶轨迹线，预设时长可以是5分钟、10分钟等。
在确定每个车辆的第一行驶轨迹线时，根据目标跟踪算法可以确定每个车辆的跟踪框，针对每个车辆，可以将该车辆的跟踪框上的任意一点的轨迹线确定为该车辆的第一行驶轨迹线。
S102：根据所述每个车辆的第一行驶轨迹线，确定所述车道上的车辆未进入区域。
电子设备确定出每个车辆的第一行驶轨迹线之后，可以识别出最内侧的轨迹线和最外侧的轨迹线。在本发明实施例中，可以将最内侧的轨迹线的内侧区域以及最外侧的轨迹线的外侧区域分别作为车辆未进入区域。
S103：判断所述车辆未进入区域中，是否能够容纳预设的障碍物区域，如果是，确定所述车道存在异常。
电子设备中保存有预设的障碍物区域，预设的障碍物区域的大小形状不进行限定，可根据用户需求自适应进行配置。电子设备确定出车辆为进入区域之后，判断车辆未进入区域中，是否能够容纳预设的障碍物区域，如果是，确定车道存在异常，也就是说车道存在障碍物；如果否，确定车道不存在异常，也就是说车道不存在障碍物。
具体的，在判断车辆未进入区域中，是否能够容纳预设的障碍物区域时，可以按照预设的顺序，在第一图像中逐步移动预设的障碍物区域。因为电子设备可以确定第一图像中的车辆未进入区域的坐标信息，预设的障碍物区域放置在第一图像之后，电子设备也能够确定预设的障碍物区域在第一图像中的坐标信息，因此，根据车辆未进入区域的坐标信息，以及预设的障碍物区域在第一图像中逐步移动过程中的坐标信息，可以确定出车辆未进入区域中是否能够容纳预设的障碍物区域。其中，预设的顺序可以是从左到右从上到下的顺序，也可以是从下倒到上从右到左的顺序等等。
由于在本发明实施例中，基于每个车辆的第一行驶轨迹线来确定车辆未进入区域，然后根据车辆未进入区域判断路面是否存在障碍物。对图像质量的要求较低，即使在天气突然起雾、太阳光直射、白天夜晚图像切换等情况下，也能保证路面异常检测的准确性。并且无需进行CNN模型训练，降低了路面异常检测算法的复杂度，提高了路面异常检测算法的效率。
实施例2：
由于监控设备采集的第二图像中每个车道基本都是梯形的，在图像处理领域，对于梯形图像的相关分析和处理是相对困难的，为了提高路面异常检测的简易度，在上述实施例的基础上，在本发明实施例中，所述针对第一图像中的每个车道，确定所述车道上每个车辆的第一行驶轨迹线包括：
获取第二图像，确定所述第二图像中的每个车道上每个车辆的第二行驶轨迹线；
根据车道线划分指令，在所述第二图像中截取第三图像；其中，所述车道线划分指令携带每条车道线的坐标信息和所述每条车道线的上下底边的坐标信息；
针对所述第三图像中的每行像素点，根据该行像素点的水平方向长度与所述第三图像下底边的水平方向长度的比值，确定该行像素点的坐标转换系数；将该行像素点的水平方向坐标除以所述坐标转换系数，该行像素点的垂直方向坐标保持不变，得到第一图像；其中，所述第一图像中的每个车辆的行驶轨迹线为第一行驶轨迹线。
本发明实施例的目的是将梯形的车道区域转化为矩形区域，使得对图像处理的过程相对简单，进而使得路面异常检测的过程相对简单。将梯形的车道区域转化为矩形区域的过程描述如下。
电子设备获取监控设备采集的第二图像之后，可以确定出第二图像中的每个车道上每个车辆的第二行驶轨迹线，接收用户的车道线划分指令，用户的车道线划分指令为用户在第二图像中手动画出每条车道线以及上下底边。用户在电子设备显示的第二图像上画线的过程中，电子设备可以识别每条车道线的坐标信息和上下底边的坐标信息，然后根据每条车道线的坐标信息和上下底边的坐标信息在第二图像中截取第三图像。为了保证图像转换的准确性，要求上下底边平行。
图2为本发明实施例提供的监控设备采集的第二图像示意图，用户在第二图像中手动画出每条车道线以及上下底边，电子设备根据每条车道线的坐标信息和上下底边的坐标信息截取第二图像，得到如图3所示的第三图像。电子设备对梯形的第三图像进行坐标转换，得到如图4所示的矩形的第一图像。电子设备可以确定出第二图像中每个车道上车辆的行驶轨迹线，截取得到第三图像之后，第三图像中，以及坐标转换后得到的第一图像中仍包含行驶轨迹线(图2、图3和图4中未示出行驶轨迹线)。在本发明实施例中将第三图像中的每个车道上每个车辆的行驶轨迹线称为第二行驶轨迹线。
电子设备将第三图像进行坐标转换是根据如下公式进行的，以第一行像素点转换为例进行说明：
F(X＇)＝X/α；
F(Y＇)＝Y；
其中，α＝Distance((X11,Y11)，(X1k,Y11))/Distance((X00,Y00)，(XM0,Y00))；
式中，以第三图像的下底边为x轴，垂直于下底边为y轴建立坐标系，X为第三图像中第一行像素点的横坐标，Y为第三图像中第一行像素点的纵坐标，F(X＇)为坐标转换后的第一行像素点的横坐标，F(Y＇)为坐标转换后的第一行像素点的纵坐标，α为坐标转换系数，(X11,Y11)和(X1k,Y11)为第三图像中第一行的两个端点的像素点的坐标信息，(X00,Y00)和(XM0,Y00)为)第三图像中第最后一行的两个端点的像素点的坐标信息。
针对第三图像中的每行像素点都按照上述方法进行坐标转换，从而得到图4所示的第一图像。
由于在本发明实施例中，将梯形的第三图像转换为矩形的第一图像，降低了后续图像处理过程中的难度，进而降低了路面异常检测过程中的计算量和难度。
实施例3：
为了使确定每个车辆的行驶轨迹线更准确，在上述各实施例的基础上，在本发明实施例中，确定每个车辆的行驶轨迹线的过程包括：
根据目标跟踪算法确定每个车辆的跟踪框，将该车辆的跟踪框下底边中间点的轨迹线确定为该车辆的行驶轨迹线。
如图5所示，电子设备通过目标跟踪算法可以确定出每个车辆的跟踪框，然后针对每个车辆，选取该车辆的跟踪框的下底边中间点为确定轨迹线的基点，将基点的轨迹线确定为该车辆的行驶轨迹线。
在确定车辆的行驶轨迹线时，针对每个车辆，在连续的N帧中分别确定该车辆的基点的位置，该车辆的基点的多个位置所形成的连线即为该车辆的行驶轨迹线。连续的N帧可以是连续的4帧、6帧、8帧等。图6为某个车道中确定的每个车辆的行驶轨迹线的示意图。
由于在本发明实施例中，针对每个车辆，将该车辆的跟踪框下底边中间点的轨迹线确定为该车辆的行驶轨迹线，从而使确定每个车辆的行驶轨迹线更准确。
实施例4：
为了使确定车辆未进入区域更准确，在上述各实施例的基础上，在本发明实施例中，所述根据所述每个车辆的第一行驶轨迹线，确定所述车道上的车辆未进入区域包括：
判断所述每个车辆的第一行驶轨迹线是否存在交叉点，如果是，将每个第一行驶轨迹线形成的最内侧区域确定为车辆未进入区域。
在本发明实施例中，针对每个车道，确定出该车道中每个车辆的第一行驶轨迹线之后，判断每条第一行驶轨迹线是否存在交叉点，如果存在，则将每个第一行驶轨迹线形成的最内侧区域确定为车辆未进入区域，如图6所示，图6中标识的检测区即为车辆未进入区域。
为了进一步使确定车辆未进入区域更准确，在本发明实施例中，判断所述每个车辆的第一行驶轨迹线存在交叉点之后，将每个第一行驶轨迹线形成的最内侧区域确定为车辆未进入区域之前，所述方法还包括：
判断所述每个车辆的第一行驶轨迹线存在交叉点的数量是否达到预设的数量阈值，如果是，将每个第一行驶轨迹线形成的最内侧区域确定为车辆未进入区域。
在本发明实施例中，增加一个判断条件，从而增加确定的车辆未进入区域的准确性。该判断条件为判断每个车辆的第一行驶轨迹线存在交叉点的数量是否达到预设的数量阈值。在确定每个车辆的第一行驶轨迹线存在交叉点之后，进行上述判断条件，上述判断条件的判断结果为是时，也就是说判断每个车辆的第一行驶轨迹线存在交叉点的数量达到预设的数量阈值时，进行将每个第一行驶轨迹线形成的最内侧区域确定为车辆未进入区域的步骤。其中，预设的数量阈值可以是2个、4个、8个等。
为了进一步使确定车辆未进入区域更准确，在本发明实施例中，所述判断所述每个车辆的第一行驶轨迹线存在的交叉点的数量是否达到预设的数量阈值包括：
判断所述每个车辆的第一行驶轨迹线存在的交叉点包含于预设大小的窗口的数量是否达到预设的数量阈值。
在本发明实施例中，预设大小的窗口例如是60*40的窗口、70*50的窗口等，判断每个车辆的第一行驶轨迹线存在的交叉点的数量是否达到预设的数量阈值的具体过程为，判断每个车辆的第一行驶轨迹线存在的交叉点包含于预设大小的窗口的数量是否达到预设的数量阈值。在实际应用过程中，可以按照预设的顺序在图6中移动预设大小的窗口，判断是否存在某个位置的预设大小的窗口内包含的交叉点的数量达到预设的数量阈值，如果存在，则说明每个车辆的第一行驶轨迹线存在的交叉点包含于预设大小的窗口的数量达到预设的数量阈值，如果不存在，则说明每个车辆的第一行驶轨迹线存在的交叉点包含于预设大小的窗口的数量未达到预设的数量阈值。当每个车辆的第一行驶轨迹线存在的交叉点包含于预设大小的窗口的数量达到预设的数量阈值时，进行后续将每个第一行驶轨迹线形成的最内侧区域确定为车辆未进入区域的步骤。
在本发明实施例中，所述方法还包括：
若所述每个车辆的第一行驶轨迹线不存在交叉点，或所述每个车辆的第一行驶轨迹线存在交叉点的数量未达到预设的数量阈值，或所述每个车辆的第一行驶轨迹线存在的交叉点包含于预设大小的窗口的数量未达到预设的数量阈值，将所述车道中每个第一行驶轨迹线形成的最外侧的区域确定为车辆未进入区域。
在本发明实施例中，如果不满足将每个第一行驶轨迹线形成的最内侧区域确定为车辆未进入区域的判断条件，也就是说每个车辆的第一行驶轨迹线不存在交叉点，或每个车辆的第一行驶轨迹线存在交叉点的数量未达到预设的数量阈值，或所述每个车辆的第一行驶轨迹线存在的交叉点包含于预设大小的窗口的数量未达到预设的数量阈值，此时将车道中每个第一行驶轨迹线形成的最外侧的区域确定为车辆未进入区域。如图7所示，图7中的轨迹线的左下角区域和右上角区域均确定为车辆未进入区域，需要说明的是，图7中仅示出了左下角区域的待检测区为车辆未进入区域。
电子设备在确定出车辆未进入区域后，所述判断所述车辆未进入区域中，是否能够容纳预设的障碍物区域包括：
设置预设的障碍物区域为预设半径的圆形区域；判断是否存在与所述车辆未进入区域内切的所述预设半径的圆形区域。
图6和图7中的黑色的圆形障碍物区即为本发明实施例中的预设的障碍物区域。其中，预设半径可以取2、4、6、8等数量的像素点。半径r设置为用户行为，即用户希望检测的最小障碍物多大，设置值越小将越灵敏，负面效果是误报率上升。对于300W像素画面r值可以设置为8。
判断车辆未进入区域中，是否能够容纳预设的障碍物区域的方法为：按照r值像素半径圆在检测区中例如根据从左到右、从上到下的顺序寻找内切圆。当寻找到内切圆时，确定已找到障碍物区域。需要说明的是，按照顺序寻找内切圆时，一旦找到一个符合要求的内切圆，可以停止寻找，从而节省电子设备的计算资源。
当确定车道存在异常时，电子设备抓拍图像并触发报警。然后将抓拍的图像上传至服务器，由人工进一步判断车道是否存在异常。电子设备在触发报警时，可以按照10分钟、20分钟、30分钟等时间间隔来触发报警，在一个报警时间间隔内，只触发一次报警。
图8为本发明实施例提供的路面异常检测流程图，包括以下步骤：
S201：获取监控设备采集的第二图像，确定所述第二图像中的每个车道上每个车辆的第二行驶轨迹线。
S202：根据车道线划分指令，在所述第二图像中截取第三图像。
S203：针对所述第三图像中的每行像素点，根据该行像素点的水平方向长度与所述第三图像下底边的水平方向长度的比值，确定该行像素点的坐标转换系数；将该行像素点的水平方向坐标除以所述坐标转换系数，垂直方向坐标保持不变，得到第一图像；其中，第一图像中的每个车辆的行驶轨迹线为第一行驶轨迹线。
S204：判断每个车辆的第一行驶轨迹线存在的交叉点包含于预设大小的窗口的数量是否达到预设的数量阈值，如果是，进行S205，如果否，进行S206。
S205：将每个第一行驶轨迹线形成的最内侧区域确定为车辆未进入区域。
S206：将每个第一行驶轨迹线形成的最外侧的区域确定为车辆未进入区域。
S207：设置预设的障碍物区域为预设半径的圆形区域；判断是否存在与所述车辆未进入区域内切的所述预设半径的圆形区域，如果是，进行S208，如果否，进行S209。
S208：确述车道存在异常，抓拍图像并触发报警。
S209：确述车道不存在异常。
本发明实施例提供的路面异常检测方法的优势在于：无需大量CNN训练，摒除复杂的算法模型，简洁有效；对图像质量成像要求降低；环境适应性增强，安装要求降低、天气影响因素降低；障碍物识别灵敏度可调。
实施例5：
图9为本发明实施例提供的路面异常检测装置结构示意图，该装置包括：
第一确定模块91，用于针对第一图像中的每个车道，确定所述车道上每个车辆的第一行驶轨迹线；
第二确定模块92，用于根据所述每个车辆的第一行驶轨迹线，确定所述车道上的车辆未进入区域；
第三确定模块93，用于判断所述车辆未进入区域中，是否能够容纳预设的障碍物区域，如果是，确定所述车道存在异常。
所述第一确定模块91，具体用于获取第二图像，确定所述第二图像中的每个车道上每个车辆的第二行驶轨迹线；根据车道线划分指令，在所述第二图像中截取第三图像；其中，所述车道线划分指令携带每条车道线的坐标信息所述每条车道线的和上下底边的坐标信息；针对所述第三图像中的每行像素点，根据该行像素点的水平方向长度与所述第三图像下底边的水平方向长度的比值，确定该行像素点的坐标转换系数；将该行像素点的水平方向坐标除以所述坐标转换系数，该行像素点的垂直方向坐标保持不变，得到第一图像；其中，所述第一图像中的每个车辆的行驶轨迹线为第一行驶轨迹线。
所述第一确定模块91，具体用于根据目标跟踪算法确定每个车辆的跟踪框，将该车辆的跟踪框下底边中间点的轨迹线确定为该车辆的行驶轨迹线。
所述第二确定模块92，具体用于判断所述每个车辆的第一行驶轨迹线是否存在交叉点，如果是，将每个第一行驶轨迹线形成的最内侧区域确定为车辆未进入区域。
所述装置还包括：
判断模块94，用于判断所述每个车辆的第一行驶轨迹线存在交叉点的数量是否达到预设的数量阈值，如果是，触发所述第二确定模块92。
所述判断模块94，具体用于判断所述每个车辆的第一行驶轨迹线存在的交叉点包含于预设大小的窗口的数量是否达到预设的数量阈值。
所述装置还包括：
第四确定模块95，用于若所述每个车辆的第一行驶轨迹线不存在交叉点，或所述每个车辆的第一行驶轨迹线存在交叉点的数量未达到预设的数量阈值，或所述每个车辆的第一行驶轨迹线存在的交叉点包含于预设大小的窗口的数量未达到预设的数量阈值，将所述车道中每个第一行驶轨迹线形成的最外侧的区域确定为车辆未进入区域。
所述第三确定模块93，具体用于设置预设的障碍物区域为预设半径的圆形区域；判断是否存在与所述车辆未进入区域内切的所述预设半径的圆形区域。
实施例6：
在上述各实施例的基础上，本发明实施例中还提供了一种电子设备，如图10所示，包括：处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信；
所述存储器303中存储有计算机程序，当所述程序被所述处理器301执行时，使得所述处理器301执行如下步骤：
针对第一图像中的每个车道，确定所述车道上每个车辆的第一行驶轨迹线；
根据所述每个车辆的第一行驶轨迹线，确定所述车道上的车辆未进入区域；
判断所述车辆未进入区域中，是否能够容纳预设的障碍物区域，如果是，确定所述车道存在异常。
基于同一发明构思，本发明实施例中还提供了一种电子设备，由于上述电子设备解决问题的原理与路面异常检测方法相似，因此上述电子设备的实施可以参见方法的实施，重复之处不再赘述。
本发明实施例提供的电子设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、网络侧设备等。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口302用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在本发明实施例中处理器执行存储器上所存放的程序时，实现针对第一图像中的每个车道，确定所述车道上每个车辆的第一行驶轨迹线；根据所述每个车辆的第一行驶轨迹线，确定所述车道上的车辆未进入区域；判断所述车辆未进入区域中，是否能够容纳预设的障碍物区域，如果是，确定所述车道存在异常。由于在本发明实施例中，基于每个车辆的第一行驶轨迹线来确定车辆未进入区域，然后根据车辆未进入区域判断路面是否存在障碍物。对图像质量的要求较低，即使在天气突然起雾、太阳光直射、白天夜晚图像切换等情况下，也能保证路面异常检测的准确性。并且无需进行CNN模型训练，降低了路面异常检测算法的复杂度，提高了路面异常检测算法的效率。
实施例7：
在上述各实施例的基础上，本发明实施例还提供了一种计算机存储可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现如下步骤：
针对第一图像中的每个车道，确定所述车道上每个车辆的第一行驶轨迹线；
根据所述每个车辆的第一行驶轨迹线，确定所述车道上的车辆未进入区域；
判断所述车辆未进入区域中，是否能够容纳预设的障碍物区域，如果是，确定所述车道存在异常。
基于同一发明构思，本发明实施例中还提供了一种计算机可读存储介质，由于处理器在执行上述计算机可读存储介质上存储的计算机程序时解决问题的原理与路面异常检测方法相似，因此处理器在执行上述计算机可读存储介质存储的计算机程序的实施可以参见方法的实施，重复之处不再赘述。
上述计算机可读存储介质可以是电子设备中的处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(MO)等、光学存储器如CD、DVD、BD、HVD等、以及半导体存储器如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD)等。
在本发明实施例中提供的计算机可读存储介质内存储计算机程序，计算机程序被处理器执行时实现针对第一图像中的每个车道，确定所述车道上每个车辆的第一行驶轨迹线；根据所述每个车辆的第一行驶轨迹线，确定所述车道上的车辆未进入区域；判断所述车辆未进入区域中，是否能够容纳预设的障碍物区域，如果是，确定所述车道存在异常。由于在本发明实施例中，基于每个车辆的第一行驶轨迹线来确定车辆未进入区域，然后根据车辆未进入区域判断路面是否存在障碍物。对图像质量的要求较低，即使在天气突然起雾、太阳光直射、白天夜晚图像切换等情况下，也能保证路面异常检测的准确性。并且无需进行CNN模型训练，降低了路面异常检测算法的复杂度，提高了路面异常检测算法的效率。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种路面异常检测方法，其特征在于，所述方法包括：
针对第一图像中的每个车道，确定所述车道上每个车辆的第一行驶轨迹线；
根据所述每个车辆的第一行驶轨迹线，确定所述车道上的车辆未进入区域；
判断所述车辆未进入区域中，是否能够容纳预设的障碍物区域，如果是，确定所述车道存在异常。
2.如权利要求1所述的方法，其特征在于，所述针对第一图像中的每个车道，确定所述车道上每个车辆的第一行驶轨迹线包括：
获取第二图像，确定所述第二图像中的每个车道上每个车辆的第二行驶轨迹线；
根据车道线划分指令，在所述第二图像中截取第三图像；其中，所述车道线划分指令携带每条车道线的坐标信息和所述每条车道线的上下底边的坐标信息；
针对所述第三图像中的每行像素点，根据该行像素点的水平方向长度与所述第三图像下底边的水平方向长度的比值，确定该行像素点的坐标转换系数；将该行像素点的水平方向坐标除以所述坐标转换系数，该行像素点的垂直方向坐标保持不变，得到第一图像；其中，所述第一图像中的每个车辆的行驶轨迹线为第一行驶轨迹线。
3.如权利要求1或2所述的方法，其特征在于，确定每个车辆的行驶轨迹线的过程包括：
根据目标跟踪算法确定每个车辆的跟踪框，将该车辆的跟踪框下底边中间点的轨迹线确定为该车辆的行驶轨迹线。
4.如权利要求1所述的方法，其特征在于，所述根据所述每个车辆的第一行驶轨迹线，确定所述车道上的车辆未进入区域包括：
判断所述每个车辆的第一行驶轨迹线是否存在交叉点，如果是，将每个第一行驶轨迹线形成的最内侧区域确定为车辆未进入区域。
5.如权利要求4所述的方法，其特征在于，判断所述每个车辆的第一行驶轨迹线存在交叉点之后，将每个第一行驶轨迹线形成的最内侧区域确定为车辆未进入区域之前，所述方法还包括：
判断所述每个车辆的第一行驶轨迹线存在交叉点的数量是否达到预设的数量阈值，如果是，将每个第一行驶轨迹线形成的最内侧区域确定为车辆未进入区域。
6.如权利要求5所述的方法，其特征在于，所述判断所述每个车辆的第一行驶轨迹线存在的交叉点的数量是否达到预设的数量阈值包括：
判断所述每个车辆的第一行驶轨迹线存在的交叉点包含于预设大小的窗口的数量是否达到预设的数量阈值。
7.如权利要求6所述的方法，其特征在于，所述方法还包括：
若所述每个车辆的第一行驶轨迹线不存在交叉点，或所述每个车辆的第一行驶轨迹线存在交叉点的数量未达到预设的数量阈值，或所述每个车辆的第一行驶轨迹线存在的交叉点包含于预设大小的窗口的数量未达到预设的数量阈值，将所述车道中每个第一行驶轨迹线形成的最外侧的区域确定为车辆未进入区域。
8.一种路面异常检测装置，其特征在于，所述装置包括：
第一确定模块，用于针对第一图像中的每个车道，确定所述车道上每个车辆的第一行驶轨迹线；
第二确定模块，用于根据所述每个车辆的第一行驶轨迹线，确定所述车道上的车辆未进入区域；
第三确定模块，用于判断所述车辆未进入区域中，是否能够容纳预设的障碍物区域，如果是，确定所述车道存在异常。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一项所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法步骤。
CN202010454737.6A 2020-05-26 2020-05-26 一种路面异常检测方法、装置、电子设备及存储介质 Active CN111626189B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010454737.6A CN111626189B (zh) 2020-05-26 2020-05-26 一种路面异常检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010454737.6A CN111626189B (zh) 2020-05-26 2020-05-26 一种路面异常检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111626189A true CN111626189A (zh) 2020-09-04
CN111626189B CN111626189B (zh) 2023-04-18

Family

ID=72260000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010454737.6A Active CN111626189B (zh) 2020-05-26 2020-05-26 一种路面异常检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111626189B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200044A (zh) * 2020-09-30 2021-01-08 北京四维图新科技股份有限公司 异常行为检测方法、装置及电子设备
WO2022230334A1 (ja) * 2021-04-28 2022-11-03 住友電気工業株式会社 表示装置、コンピュータプログラム、及び設定方法
CN117912289A (zh) * 2024-03-19 2024-04-19 西安九天数智信息科技有限公司 一种基于图像识别的车辆群行驶预警方法、装置及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280362A (ja) * 2003-03-14 2004-10-07 Natl Inst For Land & Infrastructure Management Mlit 車両の横位置の判定方法及び装置
CN107111954A (zh) * 2015-01-05 2017-08-29 日产自动车株式会社 目标路径生成装置及行驶控制装置
CN107316006A (zh) * 2017-06-07 2017-11-03 北京京东尚科信息技术有限公司 一种道路障碍物检测的方法和系统
US20180345963A1 (en) * 2015-12-22 2018-12-06 Aisin Aw Co., Ltd. Autonomous driving assistance system, autonomous driving assistance method, and computer program
US20190050653A1 (en) * 2018-09-28 2019-02-14 Intel Corporation Perception device for obstacle detection and tracking and a perception method for obstacle detection and tracking
US20200124423A1 (en) * 2018-10-19 2020-04-23 Baidu Usa Llc Labeling scheme for labeling and generating high-definition map based on trajectories driven by vehicles

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280362A (ja) * 2003-03-14 2004-10-07 Natl Inst For Land & Infrastructure Management Mlit 車両の横位置の判定方法及び装置
CN107111954A (zh) * 2015-01-05 2017-08-29 日产自动车株式会社 目标路径生成装置及行驶控制装置
US20180345963A1 (en) * 2015-12-22 2018-12-06 Aisin Aw Co., Ltd. Autonomous driving assistance system, autonomous driving assistance method, and computer program
CN107316006A (zh) * 2017-06-07 2017-11-03 北京京东尚科信息技术有限公司 一种道路障碍物检测的方法和系统
US20190050653A1 (en) * 2018-09-28 2019-02-14 Intel Corporation Perception device for obstacle detection and tracking and a perception method for obstacle detection and tracking
US20200124423A1 (en) * 2018-10-19 2020-04-23 Baidu Usa Llc Labeling scheme for labeling and generating high-definition map based on trajectories driven by vehicles

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200044A (zh) * 2020-09-30 2021-01-08 北京四维图新科技股份有限公司 异常行为检测方法、装置及电子设备
CN112200044B (zh) * 2020-09-30 2024-04-30 北京四维图新科技股份有限公司 异常行为检测方法、装置及电子设备
WO2022230334A1 (ja) * 2021-04-28 2022-11-03 住友電気工業株式会社 表示装置、コンピュータプログラム、及び設定方法
CN117912289A (zh) * 2024-03-19 2024-04-19 西安九天数智信息科技有限公司 一种基于图像识别的车辆群行驶预警方法、装置及系统

Also Published As

Publication number Publication date
CN111626189B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN111626189B (zh) 一种路面异常检测方法、装置、电子设备及存储介质
US20240062518A1 (en) Method, apparatus, computer device and storage medium for detecting objects thrown from height
CN103826102A (zh) 一种运动目标的识别方法、装置
CN112069944A (zh) 一种道路拥堵等级确定方法
CN101281644A (zh) 基于视觉的导航和制导系统
CN111898491A (zh) 一种车辆逆向行驶的识别方法、装置及电子设备
CN111914656A (zh) 一种人员行为检测方法、装置、电子设备及存储介质
CN110866428B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN113807471A (zh) 雷达与视觉融合的车辆识别方法、装置、设备及介质
Qu et al. Improving maritime traffic surveillance in inland waterways using the robust fusion of AIS and visual data
WO2018103024A1 (zh) 智能导盲方法和装置
CN112597807A (zh) 一种违章检测系统、方法、装置、图像采集设备及介质
CN105469054A (zh) 正常行为的模型构建方法及异常行为的检测方法
CN109948436B (zh) 一种监控道路上车辆的方法及装置
CN112801024B (zh) 一种检测信息处理方法和装置
CN113361299B (zh) 一种异常停车的检测方法、装置、存储介质及电子设备
CN115984780B (zh) 工业固体废物出入库判别方法、装置、电子设备及介质
CN109188419B (zh) 障碍物速度的检测方法、装置、计算机设备及存储介质
Tiwari et al. Real Time Traffic Management Using Machine Learning
CN116363583A (zh) 一种用于顶视角的人体识别方法、装置、设备及介质
CN116343169A (zh) 路径规划方法、目标对象运动控制方法、装置及电子设备
CN115792945A (zh) 一种浮空障碍物检测方法、装置和电子设备、存储介质
CN117523914A (zh) 碰撞预警方法、装置、设备、可读存储介质及程序产品
CN114663479A (zh) 一种基于计算机视觉的智能监控预警方法及系统
CN110309741B (zh) 障碍物检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant