CN109426788B - 排队长度检测方法、装置及服务器 - Google Patents
排队长度检测方法、装置及服务器 Download PDFInfo
- Publication number
- CN109426788B CN109426788B CN201710770577.4A CN201710770577A CN109426788B CN 109426788 B CN109426788 B CN 109426788B CN 201710770577 A CN201710770577 A CN 201710770577A CN 109426788 B CN109426788 B CN 109426788B
- Authority
- CN
- China
- Prior art keywords
- image
- vehicle
- lane
- detection area
- length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种排队长度检测方法、装置及服务器。所述方法包括:将监控图像初步划分为上、下两个检测区域,并对上、下两个检测区域之间的分界线进行自动调整;对下检测区域图像进行车辆定位,得到对应车辆所处车道,并判断该车辆是否静止;若静止,对上检测区域内所述车道在各分段的图像进行处理,得到车辆排队时队尾位置坐标;根据队尾位置坐标及该车道的起始坐标,得到两坐标间的车道线长度,并根据坐标映射关系转换得到对应的排队长度。所述车辆误判率低、检测时间短、人力资源消耗小、排队误检率低、排队长度准确度高、鲁棒性好,能够自动地对两个检测区域的分界线进行调整,能够改善临边车道干扰问题,实现良好的排队长度检测。
Description
技术领域
本发明涉及智能交通领域,具体而言,涉及一种排队长度检测方法、装置及服务器。
背景技术
随着交通运输业的迅速发展,交通拥堵现象已经愈发严重,尤其以高速公路收费站和城市交通信号灯前的拥堵现象尤为突出。因此对能够合理分流城市道路车辆,控制疏导交通,缓解城市交通阻塞等问题的智能交通系统(Intelligent TransportationSystem,ITS)来说,如何实时获取到准确度高的交通路口车辆排队长度,便是一个极为重要的技术问题。
就目前而言,现有的车辆排队长度检测方案是直接通过对监控图像进行帧差值计算处理,并对帧差值变化状况进行分析,从而判断监控图像中车辆的启停信息及对应的排队长度。但这种方案车辆误判率高,检测时间长,人力资源消耗大,未考虑到临边车道车辆对当前车道车辆的影响,排队误检率高,整体的排队判断准确性低,鲁棒性不高。
发明内容
为了克服现有技术中的上述不足,本发明的目的在于提供一种排队长度检测方法、装置及服务器。所述排队长度检测方法车辆误判率低、检测时间短、人力资源消耗小、排队误检率低、排队长度准确度高、鲁棒性好,能够自动地对监控图像的上、下检测区域的分界线进行调整,并通过对监控图像进行车道标定、分段标定及机器学习算法检测的方式,改善现有技术中临边车道干扰问题,实现良好地排队长度检测。
就排队长度检测方法而言,本发明较佳的实施例提供一种排队长度检测方法,用于测量卡口监控中车辆的排队长度。所述方法包括:
根据监控图像的能量分布将监控图像初步划分为上、下两个检测区域,并根据对下检测区域图像进行机器学习算法检测时的检测时长,对上、下两个检测区域之间的分界线进行自动调整;
基于机器学习算法对下检测区域图像内的车辆进行定位,得到所述车辆所处车道的车道信息,并判断所述车辆是否处于静止状态;
若所述车辆处于静止状态,对上检测区域内所述车道在各分段的图像进行处理,得到对应分段图像中车辆排队时的队尾位置坐标;
根据所述队尾位置坐标及监控图像中所述车道的起始坐标,得到队尾位置坐标与起始坐标之间的车道线长度,并根据图像坐标与实际世界坐标之间的映射关系对所述车道线长度进行转换,得到对应的排队长度。
就排队长度检测装置而言,本发明较佳的实施例提供一种排队长度检测装置,用于测量卡口监控中车辆的排队长度。所述装置包括:
检测区域划分模块,用于根据监控图像的能量分布将监控图像初步划分为上、下两个检测区域,并根据对下检测区域图像进行机器学习算法检测时的检测时长,对上、下两个检测区域之间的分界线进行调整;
运动状态判断模块,用于基于机器学习算法对下检测区域图像内的车辆进行定位,得到所述车辆所处车道的车道信息,并判断所述车辆是否处于静止状态;
队尾坐标获取模块,用于若所述车辆处于静止状态,对上检测区域内所述车道在各分段的图像进行处理,得到对应分段图像中车辆排队时的队尾位置坐标;
排队长度获取模块,用于根据所述队尾位置坐标及监控图像中所述车道的起始坐标,得到队尾位置坐标与起始坐标之间的车道线长度,并根据图像坐标与实际世界坐标之间的映射关系对所述车道线长度进行转换,得到对应的排队长度。
就服务器而言,本发明较佳的实施例提供一种服务器,所述服务器包括处理器及存储有若干计算机指令的非易失性存储器,所述计算机指令被所述处理器执行时,所述服务器执行上述的排队长度检测方法的步骤。
相对于现有技术而言,本发明较佳的实施例提供的排队长度检测方法、装置及服务器具有以下有益效果:所述排队长度检测方法车辆误判率低、检测时间短、人力资源消耗小、排队误检率低、排队长度准确度高、鲁棒性好,能够自动地对图像的上、下检测区域的分界线进行调整,并通过对监控图像进行车道标定、分段标定及机器学习算法检测的方式,改善现有技术中临边车道干扰问题,实现良好地排队长度检测。具体地,所述方法根据监控图像的能量分布将监控图像初步划分为上、下两个检测区域,并根据对下检测区域图像进行机器学习算法检测时的检测时长,对上、下两个检测区域之间的分界线进行自动调整的方式,对监控图像的两个图像处理区域进行划分,使划分出的两个检测区域符合当前监控图像中车辆排队情况;所述方法基于机器学习算法对下检测区域图像内的车辆进行定位,得到所述车辆所处车道的车道信息,并判断所述车辆是否处于静止状态;所述方法在所述车辆处于静止状态时,通过对上检测区域内所述车道在各分段的图像进行处理,得到车辆排队时形成的队列中队尾位置所处的分段图像,并从所述分段图像中提取出车辆排队时的队尾位置坐标;所述方法在得到对应的队尾位置坐标后,将根据所述队尾位置坐标及监控图像中所述车道的起始坐标,得到队尾位置坐标与起始坐标之间的车道线长度,从而根据图像坐标与实际世界坐标之间的映射关系对所述车道线长度进行转换,得到准确度高的车辆排队长度。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举本发明较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对本发明权利要求保护范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明较佳的实施例提供的服务器与至少一个监控设备的交互示意图。
图2为图1中所示的服务器的一种方框示意图。
图3为本发明较佳的实施例提供的排队长度检测方法的一种流程示意图。
图4为本发明较佳的实施例提供的上、下两个检测区域的划分示意图。
图5为图3中步骤S310包括的一部分子步骤的流程示意图。
图6为图3中步骤S310包括的另一部分子步骤的流程示意图。
图7为图3中步骤S330包括的子步骤的一种流程示意图。
图8为图7中子步骤S331包括的子步骤的一种流程示意图。
图9为图7中子步骤S333包括的子步骤的一种流程示意图。
图10为本发明较佳的实施例提供的排队长度检测方法的另一种流程示意图。
图11为图10中步骤S309包括的子步骤的一种流程示意图。
图12为本发明较佳的实施例提供的图2中所示的排队长度检测装置的一种方框示意图。
图13为本发明较佳的实施例提供的图2中所示的排队长度检测装置的另一种方框示意图。
图标:10-服务器;20-监控设备;11-数据库;12-处理器;13-通信单元;100-排队长度检测装置;110-检测区域划分模块;120-运动状态判断模块;130-队尾坐标获取模块;140-排队长度获取模块;150-映射关系建立模块;160-车道分段标定模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该发明产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参照图1,在本发明实施例中,所述服务器10通过网络与至少一个监控设备20通信连接,从所述监控设备20处获取到监控路口处的监控图像,并对所述监控图像进行处理,以实现误判率低、误检率低、准确度高、鲁棒性好的车辆排队长度检测。在本实施例中,所述监控设备20安装在监控路口附近,以对所述监控路口处的交通状况进行监控,得到对应的监控图像。其中,所述监控设备20可以是,但不限于,网络摄像机、全景摄像机等,在本实施例的一种实施方式中,所述监控设备20优选为网络摄像机。所述网络可以是,但不限于,有线网络或无线网络。
请参照图2,在本发明实施例中,所述服务器10包括排队长度检测装置100、数据库11、处理器12及通信单元13。所述数据库11、处理器12及通信单元13各个元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中,所述数据库11可用于存储所述监控设备20监控到的监控路口处的监控图像,还可用于存储图像坐标与实际世界坐标之间的映射关系。其中,所述数据库11包括存储器,所述数据库11通过所述存储器对各种数据进行存储,所述存储器可以是,但不限于,随机存取存储器,只读存储器,可编程只读存储器,可擦除可编程只读存储器,电可擦除可编程只读存储器等。在本实施例中,所述数据库11还可以存储程序,所述处理器12在接收到执行指令后,可相应地执行所述程序。
所述处理器12可以是一种具有信号的处理能力的集成电路芯片。所述处理器12可以是通用处理器,包括中央处理器、网络处理器等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述通信单元13用于通过网络建立所述服务器10与至少一个所述监控设备20之间的通信连接,并通过网络收发数据。
所述排队长度检测装置100包括至少一个能够以软件或固件的形式存储于所述数据库11中或固化在所述服务器10的操作系统中的软件功能模块。所述处理器12可用于执行所述数据库11存储的可执行模块,例如所述排队长度检测装置100所包括的软件功能模块及计算机程序等。在本实施例中,所述排队长度检测装置100可自动地对监控图像的上、下检测区域的分界线进行调整,并通过对监控图像进行车道标定、分段标定及机器学习算法检测的方式,改善现有技术中临边车道干扰问题,提供准确度高的排队长度检测服务,以使智能交通系统能够更精准地进行交通疏导,提高交通便利程度。具体的排队长度检测方法在后文中进行详细描述。
请参照图3,在本发明实施例中,所述排队长度检测方法应用于所述服务器10,用于测量卡口监控中车辆的排队长度,其中所述卡口包括上述的交通路口。下面对图3所示的排队长度检测方法具体流程和步骤进行详细阐述。
在本发明实施例中,所述排队长度检测方法包括以下步骤:
步骤S310,将监控图像初步划分为上、下两个检测区域,并对上、下两个检测区域之间的分界线进行自动调整。
在本实施例中,所述监控设备20拍摄到的监控图像中的下边缘图像为所述监控设备20进行拍摄时的监控设备20视野近景点对应的图像,监控图像中的上边缘图像为所述监控设备20进行拍摄时的监控设备20视野远景点对应的图像,其中监控图像中下边缘附近区域内的物体相对于上边缘附近区域内的类似物体来说,形状较大且特征较为明显。因此,初步划分出的两个检测区域中的上检测区域为所述监控图像中靠近上边缘的用于进行图像处理以判断车辆排队时队头位置或队尾位置的区域,两个检测区域中的下检测区域为所述监控图像中靠近下边缘的用于进行机器学习算法检测以判断车辆运动状态的区域,所述上检测区域与所述下检测区域之间的分界线为平行于上下边缘的直线,所述分界线直接将所述监控图像划分为两个区域,可以参照图4,是本发明较佳的实施例提供的上、下两个检测区域的划分示意图。
在本实施例中,所述监控设备20拍摄到的监控图像中,若车辆排队长度较短,队头位置与队尾位置同时处于下检测区域,则在本发明实施例中,可通过采用机器学习算法检测下检测区域图像中各车辆的位置坐标,并根据车队两端的车辆坐标得出车辆的排队长度;若车辆排队时的队头位置位于下检测区域,则队尾位置将位于上检测区域;若车辆排队时的队头位置位于上检测区域,则队尾位置将位于下检测区域。本发明提供的排队长度检测方法适用于上述两种状况,下面优选地对队头位置位于下检测区域而队尾位置位于上检测区域时的排队长度检测方法进行详细描述。
在本实施例中,所述服务器10根据所述监控图像的能量分布将所述监控图像初步划分为上、下两个检测区域。具体地,请参照图5,在本实施例中,所述步骤S310中将监控图像初步划分为上、下两个检测区域的步骤可以包括子步骤S311、子步骤S312及子步骤S313。其中,所述子步骤S311、子步骤S312及子步骤S313如下所示:
子步骤S311,对监控图像进行采样,并利用滑动窗口对采样后得到的图像进行滑动处理。
在本实施例中,所述服务器10可通过对所述监控图像进行采样的方式,提取出各车道对应区域的图像,并利用滑动窗口对各车道对应区域的图像进行滑动处理,每滑动一次,则通过采样后得到的图像对滑动窗口范围内的图像进行一次更新。
子步骤S312,对滑动窗口内的图像进行二次采样和多个任意方向的梯度处理,得到所述滑动窗口内的图像对应的能量比值信息。
在本实施例中,所述任意方向可以是水平方向,也可以是垂直方向,还可以是45度方向,具体的方向可以通过随机函数进行确定。在本实施例中,所述服务器10通过对上述采样后的图像进行二次采样,得到携带有原监控图像的大量信息的低频窗口图,而所述服务器10对上述采样后的图像进行梯度处理后得到的图像可统称为高频窗口图,所述高频窗口图中的携带有原监控图像的边缘纹理信息。此时,所述服务器10可对所述低频窗口图及各高频窗口图的能量值进行计算,并相应地得到所述低频窗口图能量值与其他高频窗口图能量值总和之间的比值信息,即所述能量比值信息。其中,所述能量值为对应图像的像素值所对应纹理信息强度,所述能量比值的大小程度代表着对应滑动窗口内图像的边缘纹理信息的丰富程度。其中,所述能量值可由所述服务器10对图像进行空间域到频域的傅里叶变换得到,也可由所述服务器10对图像的像素值的分布状况进行分析得到,还可直接以图像的像素值的平方作为对应的能量值。在本实施例的一种实施方式中,优选地采用对图像的像素值的分布状况进行分析的方式,得到各图像的能量值,及相应的能量比值,具体的可用公式表示如下:
其中,W表示像素点个数,y(i,j)表示在图像中第i行j列的像素点的像素值,u表示平均像素值,E1表示低频窗口图能量值,E2,E3,E4,......,En表示其他高频窗口图能量值,则r表示对应的能量比值。
子步骤S313,将能量比值大于第一能量比例阈值的区域转换为对应的连通域,选取图像中最上方连通域的上边缘的纵坐标对应的直线,作为初步划分上、下两个检测区域的分界线。
在本实施例中,所述第一能量比例阈值用于划分滑动窗口内图像是否可能存在有车辆,若能量比值大于第一能量比例阈值,则该能量比值对应的滑动窗口图像区域中极有可能地存在有车辆,反之则不存在有车辆。所述服务器10通过将能量比值大于第一能量比例阈值的区域转换为对应的连通域的方式,在监控图像中对车辆集中区域进行标记,并选取图像中最上方连通域的上边缘的纵坐标对应的直线,作为初步划分上、下两个检测区域的分界线。其中,所述区域可以是采样前的图像区域,也可以是采样后的图像区域,若所述区域为采样后的图像区域时,所述分界线与所述纵坐标存在采样倍率的比例关系,即所述分界线为所述纵坐标乘以采样倍率后的纵坐标值所对应的直线,所述最上方连通域为所述监控图像中最靠近监控设备20视野远景点对应图像的连通域,所述最上方连通域的上边缘的纵坐标为所述最上方连通域的最靠近远景点对应图像的位置处的纵坐标值,则最上方连通域的上边缘的纵坐标对应的直线即平行于监控图像上下边缘且经过所述最上方连通域的最靠近远景点对应图像的位置处的直线。
在本实施例中,所述服务器10通过机器学习算法对下检测区域图像进行检测,并根据对应检测时长,对上、下两个检测区域之间的分界线进行调整。具体地,请参照图6,在本实施例中,所述步骤S310中对上、下两个检测区域之间的分界线进行自动调整的步骤可以包括子步骤S315及子步骤S316。其中,所述子步骤S315及子步骤S316如下所示:
子步骤S315,对下检测区域内的图像进行机器学习算法检测,并将对应的检测时长与预设检测时长进行比较。
在本实施例中,所述服务器10通过对下检测区域内的图像进行机器学习算法检测,得到对应检测时长,并将对应时长与预设检测时长进行比较的方式,判断划分上、下两个检测区域的分界线是否合适。其中所述预设检测时长可以是,但不限于,30ms、40ms或45ms等,在本实施例的一种实施方式中,所述预设检测时长优选为40ms。
子步骤S316,若大于预设检测时长,则将分界线向下移动对应分段的距离,并返回上述对下检测区域内的图像进行检测的步骤继续执行,直至对应的检测时长小于预设检测时长。
在本实施例中,若对应的检测时长大于预设检测时长,则表明当前分界线不合适,整个检测过程耗时过长,需要将所述分界线按照上检测区域指向下检测区域的方向移动对应分段的距离,并重新执行上述子步骤S315,直至机器学习算法检测的检测时长小于预设检测时长为止,以完成对上、下两个检测区域之间的分界线进行自动调整。其中,所述对应分段为所述分界线所在分段,则移动对应分段的距离即将所述分界线按照各分段的标定情况向朝向下检测区域的方向移动至下一分段。在本实施例中,所述服务器10初次对车辆排队长度进行检测时花费的用于调整分界线的时间可能较长,当所述服务器10初次完成对分界线的调整后,如果再进行排队长度检测,车辆排队长度发生变化,需要对分界线进行调整时,所述服务器10可将初次完成分界线调整时该分界线对应的位置,作为此次分界线调整的初始位置,从而节省分界线调整时间。
请再次参照图3,步骤S320,基于机器学习算法对下检测区域图像内的车辆进行定位,得到所述车辆所处车道的车道信息,并判断所述车辆是否处于静止状态。
在本实施例中,所述服务器10基于机器学习算法对下检测区域图像内的车辆进行定位,得到所述车辆所处车道的车道信息,并判断所述车辆是否处于静止状态的步骤包括:
基于机器学习算法对下检测区域图像内的车辆进行检测,得到所述车辆的坐标信息;
根据所述车辆的坐标信息及各车道线的位置信息,得到所述车辆所处车道的车道信息;
将所述车辆的坐标前后帧位移值与预设位移阈值进行比较,若所述坐标前后帧位移值小于预设位移阈值,则判定所述车辆处于静止状态,反之则判定所述车辆处于运动状态。
其中,所述服务器10通过对车辆的显著特征进行识别的方式,完成对下检测区域图像内的车辆的检测,所述显著特征包括车牌或车头等。
步骤S330,若所述车辆处于静止状态,对上检测区域内所述车道在各分段的图像进行处理,得到对应分段图像中车辆排队时的队尾位置坐标。
在本实施例中,若所述服务器10检测到下检测区域图像内的车辆处于静止状态时,所述服务器10将对上检测区域内所述车辆对应的车道在各分段的图像进行图像处理,得到车辆排队时形成的队列中队尾位置所处的分段图像,并从所述分段图像中提取出车辆排队时的队尾位置坐标。
具体地,请参照图7,在本实施例中,所述步骤330可以包括子步骤S331、子步骤S332及子步骤S333。其中,所述子步骤S331、子步骤S332及子步骤S333如下所示:
子步骤S331,若处于静止状态,对上检测区域内所述车道对应的每帧图像进行能量值计算,并根据每帧图像的能量值分布状况选取没有车辆运动的图像作为背景图。
在本实施例中,若下检测区域图像内的车辆处于静止状态,则按照与子步骤S312类似的处理方式对所述车辆所处车道对应的每一帧图像进行能量值计算,以选取没有车辆运动的图像作为背景图,其中所述背景图按照预设时间间隔进行更新,所述预设时间间隔可以是2min、3min或3.5min,在本实施例的一种实施方式中,所述预设时间间隔优选为3min。
请参照图8,在本实施例中,所述子步骤S331可以包括子步骤S3311及子步骤S3312。其中,所述子步骤S3311及子步骤S3312如下所示:
子步骤S3311,对上检测区域内对应车道的每帧图像进行以水平方向为基线小于预设角度方向的梯度处理,得到每帧图像在水平方向的能量分布比值。
在本实施例中,所述服务器10通过对上检测区域内对应车道的每帧图像进行以水平方向为基线小于预设角度方向的梯度处理,并相应地对各梯度图进行能量值计算的方式,得到每帧图像的各梯度图对应的能量值。所述服务器10根据各梯度图的能量值,计算得到水平方向梯度图能量值与其他梯度图能量值总和之间的比值信息,即每帧图像在水平方向的能量分布比值。其中,所述预设角度可以是,但不限于,30度、40度或45度等,在本实施例的一种实施方式中,所述预设角度优选为45度,其中所述能量分布比值可用公式表示为:
其中,E2表示水平方向梯度图能量值,Ei表示以水平方向为基线小于45度方向的梯度图能量值,则p表示每帧图像在水平方向的能量分布比值。
子步骤S3312,选取能量分布比值小于第二能量比例阈值的图像作为背景图。
在本实施例中,所述第二能量比例阈值用于判定上检测区域对应车道内否有车辆运动,若能量分布比值小于第二能量比例阈值,则该能量分布比值对应的车道图像无车辆运动,反之则有车辆运动。所述服务器10选取上检测区域对应车道内无车辆运动的图像作为背景图。在本实施例的一种实施方式中,所述服务器10可选取能量分布比值小于第二能量比例阈值且能量比值小于第一能量比例阈值的车道图像作为背景图。
子步骤S332,对上检测区域内所述车道的每一分段的图像进行帧差值计算,并从下往上地将每一分段的帧差值与移动阈值进行比较。
在本实施例中,所述服务器10通过对上检测区域内对应车道的每一分段的多帧图像进行帧差值计算的方式,得到各分段的帧差值变化情况,并从下往上地将每一分段的帧差值与移动阈值进行比较,以判断对应车道内是否有车辆运动。其中从下往上的比较方向为从下检测区域指向上检测区域的方向。
子步骤S333,若大于移动阈值,则根据背景图对所述帧差值对应分段的前一分段的图像进行图像处理,得到该分段图像中车辆的队尾位置坐标。
在本实施例中,若帧差值大于移动阈值,则表明所述帧差值对应分段内有车辆运动,所述分段的前一分段为车辆排队时队尾所在的分段,所述服务器10将根据背景图对队尾所在的分段的图像进行图像处理,得到该分段图像中车辆的队尾位置坐标。具体地,请参照图9,在本实施例中,所述子步骤S333可以包括子步骤S3331及子步骤S3332。其中,所述子步骤S3331及子步骤S3332如下所示:
子步骤S3331,将帧差值大于移动阈值的分段的前一分段的图像与背景图进行相减运算,得到对应的前景图。
在本实施例中,所述服务器10通过将队尾所在分段的图像与背景图进行相减运算的方式,得到对应的前景图。
子步骤S3332,对所述前景图进行边缘分割得到对应的边缘信息,并对所述边缘信息进行二值化处理及连通域处理,以从所述前景图中提取出对应车辆在最上边缘处的坐标。
在本实施例中,所述服务器10通过依次对所述前景图像进行边缘分割、二值化处理及连通域处理的方式,从所述前景图中提取出车辆对应的连通域的位置信息,选取所述连通域最靠近监控设备20视野远景点的边缘坐标,作为整个车辆排队的队尾位置坐标。其中所述最上边缘处即为所述连通域最靠近监控设备20视野远景点的边缘位置。
步骤S340,根据队尾位置坐标及车道的起始坐标,得到队尾位置坐标与起始坐标之间的车道线长度,并根据图像坐标与实际世界坐标之间的映射关系对所述车道线长度进行转换,得到对应的排队长度。
在本实施例中,所述车道的起始坐标为车辆排队时队头所在位置坐标,所述服务器10在获取到队尾位置坐标及该队尾所处车道的车道线起始坐标后,可对上述两个坐标进行计算,得到所述队尾位置坐标与起始坐标之间的车道线长度。其中所述车道线长度为监控图像中的车道线长度,所述服务器10需要根据图像坐标与实际世界坐标之间的映射关系对所述车道线长度进行转换,得到现实中所述车道线长度对应的长度,即现实中车辆排队的排队长度。
请参照图10,在本发明实施例中,所述排队长度检测方法还可以包括:
步骤S308,建立图像坐标与实际世界坐标之间的映射关系。
在本实施例中,所述服务器10分别对监控图像及所述图像对应的现实场景进行坐标化,建立图像坐标与实际世界坐标之间的映射关系。
步骤S309,基于图像坐标对监控图像中各车道及各分段进行标定。
在本实施例中,所述服务器10可根据监控图像中各车道线的位置信息对各车道进行标定。所述服务器10可根据监控图像中车辆排满对应车道时的各车辆宽度信息,对各分段进行标定;也可通过将监控图像进行平均划分的方式,将所述监控图像分为多个分段。在本实施例的一种实施方式中,优选地采用根据监控图像中车辆排满对应车道时的各车辆宽度信息对各分段进行标定的方式。具体地,请参照图11,在本实施例中,所述步骤S309可以包括子步骤S301及子步骤S302。其中,所述子步骤S301及子步骤S302如下所示:
子步骤S301,根据监控图像中各车道对应的车道线的起始坐标及终止坐标,对各车道线进行定位,以完成对各车道的标定。
在本实施例中,所述服务器10根据图像坐标系中各车道线的起始坐标及终止坐标,以直线公式对各车道线表示,以对各车道对应区域进行划分,完成对各车道的标定。
子步骤S302,根据各车道线的位置信息及车辆在对应车道内排满时靠近图像下边缘的车辆宽度信息,计算得到各车辆的长度信息,并按照各车辆的长度信息从下往上地对所述监控图像进行分段处理,以完成对各分段的标定。
在本发明实施例中,假设监控图像中车辆宽度与长度相同,当得到图像中各车辆的宽度信息时,即可得到各车辆对应的长度信息。具体地,所述服务器10可根据监控图像中各车道线的位置信息,得到图像中各车道线的长度,并从车辆在对应车道内排满时的监控图像中提取出离所述图像下边缘最近车辆的宽度信息,从而根据相似映射关系,对图像中各车辆的宽度信息进行计算,得到各车辆对应的长度信息。所述服务器10在得到车辆在对应车道内排满时的各车辆的长度信息后,将按照各车辆的长度信息从图像近景点指向图像远景点的方向依次地对所述监控图像进行分段处理,得到图像覆盖范围不同的各分段,以完成各分段的标定,从而降低所述服务器10对排队长度进行检测时的误检率。其中,具体的车辆宽度的计算公式如下所示:
其中,m1表示距离图像下边缘最近的车辆的宽度,mi表示各车辆在图像中的宽度,L表示车道线长度,其中i=2…K,i为从图像近景点指向图像远景点的方向上的车辆序号,K表示车辆在对应车道内排满时的车辆总数,mi-1表示车辆序号为i-1的车辆在图像中的宽度。
请参照图12,在本发明实施例中,所述排队长度检测装置100用于测量卡口监控中车辆的排队长度,所述排队长度检测装置100可以包括检测区域划分模块110、运动状态判断模块120、队尾坐标获取模块130及排队长度获取模块140。
所述检测区域划分模块110,用于根据监控图像的能量分布将监控图像初步划分为上、下两个检测区域,并根据对下检测区域图像进行机器学习算法检测时的检测时长,对上、下两个检测区域之间的分界线进行调整。
在本实施例中,所述检测区域划分模块110可以执行图3中的步骤S310,图5中的子步骤S311、子步骤S312、子步骤S313,及图6中的子步骤S315、子步骤S316,具体的描述可参照上文中对步骤S310、子步骤S311、子步骤S312、子步骤S313、子步骤S315及子步骤S316的详细描述。
所述运动状态判断模块120,用于基于机器学习算法对下检测区域图像内的车辆进行定位,得到所述车辆所处车道的车道信息,并判断所述车辆是否处于静止状态。
在本实施例中,所述运动状态判断模块120可以执行图3中的步骤S320,具体的描述可参照上文中对步骤S320的详细描述。
所述队尾坐标获取模块130,用于若所述车辆处于静止状态,对上检测区域内所述车道在各分段的图像进行处理,得到对应分段图像中车辆排队时的队尾位置坐标。
在本实施例中,所述队尾坐标获取模块130可以执行图3中的步骤S330,图7中的子步骤S331、子步骤S332、子步骤S333,图8中的子步骤S3311、子步骤S3312,及图9中子步骤S3331、子步骤S3332,具体的描述可参照上文中对步骤S330、子步骤S331、子步骤S332、子步骤S333、子步骤S3311、子步骤S3312、子步骤S3331及子步骤S3332的详细描述。
所述排队长度获取模块140,用于根据所述队尾位置坐标及监控图像中所述车道的起始坐标,得到队尾位置坐标与起始坐标之间的车道线长度,并根据图像坐标与实际世界坐标之间的映射关系对所述车道线长度进行转换,得到对应的排队长度。
在本实施例中,所述排队长度获取模块140可以执行图3中的步骤S340,具体的描述可参照上文中对步骤S340的详细描述。
请参照图12,在本发明实施例中,所述排队长度检测装置100还可以包括映射关系建立模块150及车道分段标定模块160。
所述映射关系建立模块150,用于建立图像坐标与实际世界坐标之间的映射关系。
在本实施例中,所述映射关系建立模块150可以执行图10中的步骤S308,具体的描述可参照上文中对步骤S308的详细描述。
所述车道分段标定模块160,用于基于图像坐标对监控图像中各车道及各分段进行标定。
在本实施例中,所述车道分段标定模块160可以执行图10中的步骤S309及图11中的子步骤S301、子步骤S302,具体的描述可参照上文中对步骤S309、子步骤S301及子步骤S302的详细描述。
综上所述,在本发明较佳的实施例提供的排队长度检测方法、装置及服务器中,所述排队长度检测方法车辆误判率低、检测时间短、人力资源消耗小、排队误检率低、排队长度准确度高、鲁棒性好,能够自动地对图像的上、下检测区域的分界线进行调整,并通过对监控图像进行车道标定、分段标定及机器学习算法检测的方式,改善现有技术中临边车道干扰问题,实现良好地排队长度检测。具体地,所述方法根据监控图像的能量分布将监控图像初步划分为上、下两个检测区域,并根据对下检测区域图像进行机器学习算法检测时的检测时长,对上、下两个检测区域之间的分界线进行自动调整的方式,对监控图像的两个图像处理区域进行划分,使划分出的两个检测区域符合当前监控图像中车辆排队情况;所述方法基于机器学习算法对下检测区域图像内的车辆进行定位,得到所述车辆所处车道的车道信息,并判断所述车辆是否处于静止状态;所述方法在所述车辆处于静止状态时,通过对上检测区域内所述车道在各分段的图像进行处理,得到车辆排队时形成的队列中队尾位置所处的分段图像,并从所述分段图像中提取出车辆排队时的队尾位置坐标;所述方法在得到对应的队尾位置坐标后,将根据所述队尾位置坐标及监控图像中所述车道的起始坐标,得到队尾位置坐标与起始坐标之间的车道线长度,从而根据图像坐标与实际世界坐标之间的映射关系对所述车道线长度进行转换,得到准确度高的车辆排队长度。
其中,所述方法在所述车辆处于静止状态时得到队尾位置坐标的具体表现为:所述方法通过对上检测区域内所述车道对应的每一帧图像进行能量值计算,并根据每帧图像的能量值分布状况选取没有车辆运动的图像作为背景图,其中所述背景图按照预设时间间隔进行更新;所述方法通过对上检测区域内所述车道的每一分段的图像进行帧差值计算,并从下往上地将每一分段的帧差值与移动阈值进行比较的方式,对上检测区域内该车道内车辆的运动状态进行检测;若帧差值大于移动阈值,则所述方法根据所述背景图对所述帧差值对应分段的前一分段的图像进行图像处理,得到该分段图像中车辆的队尾位置坐标,改善现有技术中临边车道干扰问题。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种排队长度检测方法,用于测量卡口监控中车辆的排队长度,其特征在于,所述方法包括:
根据监控图像的能量分布将监控图像初步划分为上、下两个检测区域,并根据对下检测区域图像进行机器学习算法检测时的检测时长,对上、下两个检测区域之间的分界线进行自动调整;
基于机器学习算法对下检测区域图像内的车辆进行定位,得到所述车辆所处车道的车道信息,并判断所述车辆是否处于静止状态;
若所述车辆处于静止状态,对上检测区域内所述车道在各分段的图像进行处理,得到对应分段图像中车辆排队时的队尾位置坐标;
根据所述队尾位置坐标及监控图像中所述车道的起始坐标,得到队尾位置坐标与起始坐标之间的车道线长度,并根据图像坐标与实际世界坐标之间的映射关系对所述车道线长度进行转换,得到对应的排队长度。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
建立图像坐标与实际世界坐标之间的映射关系;
基于图像坐标对监控图像中各车道及各分段进行标定。
3.根据权利要求2所述的方法,其特征在于,所述基于图像坐标对监控图像中各车道及各分段进行标定的步骤包括:
根据监控图像中各车道对应的车道线的起始坐标及终止坐标,对各车道线进行定位,以完成对各车道的标定;
根据监控图像中各车道线的位置信息及车辆在对应车道内排满时靠近图像下边缘的车辆宽度信息,计算得到各车辆的长度信息,并按照各车辆的长度信息从下往上地对所述监控图像进行分段处理,以完成对各分段的标定。
4.根据权利要求1所述的方法,其特征在于,所述根据监控图像的能量分布将监控图像初步划分为上、下两个检测区域的步骤包括:
对监控图像进行采样,并利用滑动窗口对采样后得到的图像进行滑动处理;
对滑动窗口内的图像进行二次采样和多个任意方向的梯度处理,得到所述滑动窗口内的图像对应的能量比值信息;
将能量比值大于第一能量比例阈值的区域转换为对应的连通域,选取图像中最上方连通域的上边缘的纵坐标对应的直线,作为初步划分上、下两个检测区域的分界线。
5.根据权利要求4所述的方法,其特征在于,所述根据对下检测区域图像进行机器学习算法检测的检测时长,对上、下两个检测区域之间的分界线进行自动调整的步骤包括:
对下检测区域内的图像进行基于机器学习算法的检测,并将对应的检测时长与预设检测时长进行比较;
若对应的检测时长大于预设检测时长,则将分界线向下移动对应分段的距离,并返回上述对下检测区域内的图像进行检测的步骤继续执行,直至对应的检测时长小于预设检测时长,以完成对上、下两个检测区域之间的分界线进行自动调整。
6.根据权利要求1所述的方法,其特征在于,所述基于机器学习算法对下检测区域图像内的车辆进行定位,得到所述车辆所处车道的车道信息,并判断所述车辆是否处于静止状态的步骤包括:
基于机器学习算法对下检测区域图像内的车辆进行检测,得到所述车辆的坐标信息;
根据所述车辆的坐标信息及各车道线的位置信息,得到所述车辆所处车道的车道信息;
将所述车辆的坐标前后帧位移值与预设位移阈值进行比较,若所述坐标前后帧位移值小于预设位移阈值,则判定所述车辆处于静止状态,反之则判定所述车辆处于运动状态。
7.根据权利要求1所述的方法,其特征在于,所述若所述车辆处于静止状态,对上检测区域内所述车道在各分段的图像进行处理,得到对应分段图像中车辆排队时的队尾位置坐标的步骤包括:
若所述车辆处于静止状态,对上检测区域内所述车道对应的每一帧图像进行能量值计算,并根据每帧图像的能量值分布状况选取没有车辆运动的图像作为背景图,其中所述背景图按照预设时间间隔进行更新;
对上检测区域内所述车道的每一分段的图像进行帧差值计算,并从下往上地将每一分段的帧差值与移动阈值进行比较;
若帧差值大于移动阈值,则根据所述背景图对所述帧差值对应分段的前一分段的图像进行图像处理,得到该分段图像中车辆的队尾位置坐标。
8.根据权利要求7所述的方法,其特征在于,所述对上检测区域内所述车道对应的每一帧图像进行能量值计算,并根据每帧图像的能量值分布状况选取没有车辆运动的图像作为背景图的步骤包括:
对上检测区域内对应车道的每一帧图像进行以水平方向为基线小于预设角度方向的梯度处理,得到每帧图像在水平方向的能量分布比值;
选取能量分布比值小于第二能量比例阈值的图像作为背景图。
9.一种排队长度检测装置,用于测量卡口监控中车辆的排队长度,其特征在于,所述装置包括:
检测区域划分模块,用于根据监控图像的能量分布将监控图像初步划分为上、下两个检测区域,并根据对下检测区域图像进行机器学习算法检测时的检测时长,对上、下两个检测区域之间的分界线进行自动调整;
运动状态判断模块,用于基于机器学习算法对下检测区域图像内的车辆进行定位,得到所述车辆所处车道的车道信息,并判断所述车辆是否处于静止状态;
队尾坐标获取模块,用于若所述车辆处于静止状态,对上检测区域内所述车道在各分段的图像进行处理,得到对应分段图像中车辆排队时的队尾位置坐标;
排队长度获取模块,用于根据所述队尾位置坐标及监控图像中所述车道的起始坐标,得到队尾位置坐标与起始坐标之间的车道线长度,并根据图像坐标与实际世界坐标之间的映射关系对所述车道线长度进行转换,得到对应的排队长度。
10.一种服务器,包括处理器及存储有若干计算机指令的非易失性存储器,其特征在于,所述计算机指令被所述处理器执行时,所述服务器执行权利要求1-8中任意一项所述的排队长度检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710770577.4A CN109426788B (zh) | 2017-08-31 | 2017-08-31 | 排队长度检测方法、装置及服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710770577.4A CN109426788B (zh) | 2017-08-31 | 2017-08-31 | 排队长度检测方法、装置及服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109426788A CN109426788A (zh) | 2019-03-05 |
CN109426788B true CN109426788B (zh) | 2020-08-28 |
Family
ID=65504687
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710770577.4A Active CN109426788B (zh) | 2017-08-31 | 2017-08-31 | 排队长度检测方法、装置及服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109426788B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111815966B (zh) * | 2019-04-12 | 2022-08-09 | 杭州海康威视数字技术股份有限公司 | 排队长度预测方法、装置、计算设备和存储介质 |
CN110213488B (zh) * | 2019-06-06 | 2022-01-18 | 腾讯科技(深圳)有限公司 | 一种定位方法及相关设备 |
CN112949350B (zh) * | 2019-12-10 | 2024-04-09 | 晶睿通讯股份有限公司 | 队列分析方法及其图像监控设备 |
CN111627241B (zh) * | 2020-05-27 | 2024-04-09 | 阿波罗智联(北京)科技有限公司 | 用于生成路口车辆排队信息的方法和装置 |
CN112163686B (zh) * | 2020-10-23 | 2021-07-09 | 江西师范大学 | 一种g/g/1排队系统的等待响应时间置信区间预测方法和装置 |
CN113129595B (zh) * | 2021-04-23 | 2022-06-10 | 山东金宇信息科技集团有限公司 | 一种用于道路交叉口的交通信号控制方法、设备及介质 |
CN113177504B (zh) * | 2021-05-13 | 2022-07-29 | 中移(上海)信息通信科技有限公司 | 车辆排队信息检测方法、装置、电子设备以及存储介质 |
CN113435370B (zh) * | 2021-06-30 | 2024-02-23 | 北京英泰智科技股份有限公司 | 一种基于图像特征融合获取车辆排队长度的方法及装置 |
CN114067573B (zh) * | 2022-01-11 | 2022-04-12 | 成都宜泊信息科技有限公司 | 一种停车场值守方法、系统、存储介质及电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101510356A (zh) * | 2009-02-24 | 2009-08-19 | 上海高德威智能交通系统有限公司 | 视频检测系统及其数据处理装置、视频检测方法 |
US20140348390A1 (en) * | 2013-05-21 | 2014-11-27 | Peking University Founder Group Co., Ltd. | Method and apparatus for detecting traffic monitoring video |
-
2017
- 2017-08-31 CN CN201710770577.4A patent/CN109426788B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101510356A (zh) * | 2009-02-24 | 2009-08-19 | 上海高德威智能交通系统有限公司 | 视频检测系统及其数据处理装置、视频检测方法 |
US20140348390A1 (en) * | 2013-05-21 | 2014-11-27 | Peking University Founder Group Co., Ltd. | Method and apparatus for detecting traffic monitoring video |
Non-Patent Citations (2)
Title |
---|
基于视觉的路口车辆排队长度检测方法;沈振乾等;《计算机工程》;20140430;第40卷(第04期);全文 * |
基于视频图像处理的车辆排队长度检测;贺晓锋等;《交通与计算机》;20061231;第24卷(第05期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109426788A (zh) | 2019-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109426788B (zh) | 排队长度检测方法、装置及服务器 | |
EP3680609A1 (en) | Antenna downward inclination angle measurement method based on multi-scale deep semantic segmentation network | |
US9070023B2 (en) | System and method of alerting a driver that visual perception of pedestrian may be difficult | |
US20180157920A1 (en) | Method and apparatus for recognizing obstacle of vehicle | |
CN106570863A (zh) | 一种输电线路的检测方法及装置 | |
JP2013257864A (ja) | 自動ナンバープレート認識のための幾何学的事前補正 | |
CN111259704B (zh) | 一种虚线车道线端点检测模型的训练方法 | |
WO2017149385A1 (en) | Visual vehicle parking occupancy sensor | |
CN114913399B (zh) | 一种车辆轨迹优化方法及智能交通系统 | |
CN112802092B (zh) | 一种障碍物感知方法、装置以及电子设备 | |
CN104167109A (zh) | 车辆位置的检测方法和检测装置 | |
CN112013921B (zh) | 一种基于水位尺测量图像获取水位信息的方法、装置和系统 | |
CN112396044B (zh) | 车道线属性信息检测模型训练、车道线属性信息检测方法 | |
CN114252884A (zh) | 路侧雷达定位监测方法、装置、计算机设备和存储介质 | |
EP4170601A1 (en) | Traffic marker detection method and training method for traffic marker detection model | |
US11443131B2 (en) | Systems and methods for creating a parking map | |
CN109238281B (zh) | 基于图像螺旋线的视觉导航及避障方法 | |
CN113239864A (zh) | 一种适用于农业调查的无人机的路线规划方法 | |
CN112132131A (zh) | 量筒液位识别方法和装置 | |
CN109903308B (zh) | 用于获取信息的方法及装置 | |
CN112017213B (zh) | 一种目标对象的位置更新方法及系统 | |
CN111260934B (zh) | 一种基于交通视频网的车流量检测方法 | |
CN110147695B (zh) | 一种用于公交站点识别的站点标志牌和公交站点的识别系统 | |
CN112037255A (zh) | 目标跟踪方法和装置 | |
US10719707B2 (en) | Pedestrian detection method and related monitoring camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |