CN116168325A - 车辆变道检测方法、装置、电子设备以及可读存储介质 - Google Patents
车辆变道检测方法、装置、电子设备以及可读存储介质 Download PDFInfo
- Publication number
- CN116168325A CN116168325A CN202310132551.2A CN202310132551A CN116168325A CN 116168325 A CN116168325 A CN 116168325A CN 202310132551 A CN202310132551 A CN 202310132551A CN 116168325 A CN116168325 A CN 116168325A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- detected
- lane
- frame
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本申请实施例公开了一种车辆变道检测方法、装置、电子设备以及可读存储介质,用于解决目前对于车辆变道检测准确率不高的问题,该车辆变道检测方法包括:获取当前帧,当前帧中包括至少一个待检测车辆;确定当前帧中待检测车辆的检测框;基于检测框,通过改进的卡尔曼滤波算法进行轨迹预测以获取预测框;将预测框和下一帧中的待检测车辆的检测框进行级联匹配和IOU匹配,得到匹配结果;基于匹配结果,通过改进的卡尔曼滤波算法进行轨迹更新,得到标识信息;针对具有相同标识信息的待检测车辆,确定第一时刻的第一坐标和第二时刻的第二坐标,根据第一坐标、第二坐标以及车道基线的两个端点坐标确定待检测车辆的变道情况。
Description
技术领域
本申请属于人工智能技术领域,尤其涉及一种车辆变道检测方法、装置、电子设备以及可读存储介质。
背景技术
违章变道是一种很常见的交通违章行为,而且其危害巨大,因此对于违章变道的检测显得尤为重要,很多利用图像处理技术检测违章变道的方法也应运而生。
但是目前对于违章变道的检测方法仍然存在一些问题,具体表现为当画面中出现多辆车或者车辆被遮挡时,容易将前后两帧或多帧画面中不同车辆识别为同一车辆,或者是将同一车辆识别为不同车辆,造成违章变道检测的准确率不高。
发明内容
本申请实施例提供了一种车辆变道检测方法,可以解决目前对于车辆变道的检测准确率不高的问题。
第一方面,本申请实施例提供了一种车辆变道检测方法,包括:
获取当前帧,当前帧中包括至少一个待检测车辆;
确定当前帧中待检测车辆的检测框;
基于检测框,通过改进的卡尔曼滤波算法进行轨迹预测以获取预测框,改进的卡尔曼滤波算法为使用优化后的状态向量进行轨迹预测的卡尔曼滤波算法,优化后的状态向量包括预测参数,预测参数为第一参数和第二参数的比值,第一参数为检测框的中心点到车道基线的中点的距离,第二参数为检测框的面积;
将预测框和下一帧中的待检测车辆的检测框进行级联匹配和IOU匹配,得到匹配结果;
基于匹配结果,通过改进的卡尔曼滤波算法进行轨迹更新,得到标识信息,标识信息用于标识一个待检测车辆;
针对具有相同标识信息的待检测车辆,确定第一时刻的第一坐标和第二时刻的第二坐标,根据第一坐标、第二坐标以及车道基线的两个端点坐标确定待检测车辆的变道情况。
本申请实施例通过使用卡尔曼滤波算法进行轨迹预测和轨迹更新,并对卡尔曼滤波算法进行改进,在原来用于表示运动状态的状态向量中加入预测参数。预测参数基于车辆检测框的中心点到车道基线中心点的距离和车辆检测框的面积得到。在车辆运动过程中,预测参数随着上述两中心点的距离和车辆检测框的面积的曲线变化而进行曲线地变化。相比于原来采用线性匀速预测的卡尔曼滤波算法,本申请实施例提供的改进的卡尔曼滤波算法进行轨迹预测的准确率更高。在此基础上,本申请实施例对于视频图像中前后两帧或多帧的同一车辆的判断更准确,在检测车辆违章变道时,能够取得更高的准确率。
在第一方面的一种可能的实现方式中,根据第一坐标、第二坐标以及车道基线的两个端点坐标确定待检测车辆的变道情况,包括:
根据公式f(xt)=(yt-ya0)*xa1-xa0)-(xt-xa0)*(ya1-ya0)确定第一变道值;
根据公式f(xt+1)=(yt+1-ya0)*(xa1-xa0)-(xt+1-xa0)*(ya1-ya0)确定第二变道值;
根据第一变道值和第二变道值确定待检测车辆的变道情况;
其中,f(xt)为第一变道值,xt和yt为第一坐标,xa0和ya0为车道基线的一个端点坐标,xa1和ya1为车道基线的另一个端点坐标;f(xt+1)为第二变道值,xt+1和yt+1为第二坐标。
在第一方面的一种可能的实现方式中,根据第一变道值和第二变道值确定待检测车辆的变道情况,包括:
若f(xt)*f(xt+1)<0,则确定待检测车辆进行了变道;
其中,f(xt)为第一变道值,f(xt+1)为第二变道值。
在第一方面的一种可能的实现方式中,根据第一坐标、第二坐标以及车道基线的两个端点坐标确定待检测车辆的变道情况之后,还包括:
若待检测车辆进行了变道,则提取预设时间范围内的视频图像。
在第一方面的一种可能的实现方式中,确定当前帧中待检测车辆的检测框,包括:
将当前帧输入至训练好的yolov5模型,得到yolov5模型输出的检测框。
第二方面,本申请实施例提供了一种车辆变道检测装置,包括:
获取模块,用于获取当前帧,当前帧中包括至少一个待检测车辆;
检测模块,用于确定当前帧中待检测车辆的检测框;
轨迹预测模块,用于基于检测框通过改进的卡尔曼滤波算法进行轨迹预测以获取预测框,改进的卡尔曼滤波算法使用优化后的状态向量进行轨迹预测,优化后的状态向量包括预测参数,预测参数为第一参数和第二参数的比值,第一参数为检测框的中心点到车道基线的中点的距离,第二参数为检测框的面积;
匹配模块,将预测框和下一帧中的待检测车辆的检测框进行级联匹配和IOU匹配,得到匹配结果;
轨迹更新模块,用于基于匹配结果,通过改进的卡尔曼滤波算法进行轨迹更新,得到标识信息,标识信息用于标识一个待检测车辆;
变道检测模块,用于针对具有相同标识信息的待检测车辆,确定第一时刻的第一坐标和第二时刻的第二坐标,根据第一坐标、第二坐标以及车道基线的两个端点坐标确定待检测车辆的变道情况。
在第二方面的一种可能的实现方式中,还包括:
取证模块,用于若待检测车辆变道,则提取预设时间范围内的视频图像。
在第二方面的一种可能的实现方式中,检测模块具体用于:
将当前帧输入至训练好的yolov5模型中,得到yolov5模型输出的检测框。
第三方面,本申请实施例提供了一种电子设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,其特征在于,处理器执行计算机程序时实现如上述第一方面任一项的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,包括:
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述第一方面任一项的方法。
可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的车辆变道检测方法的流程示意图;
图2是本申请一实施例提供的车辆变道检测装置的结构框图;
图3是本申请一实施例提供的电子设备的结构框图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
如背景技术所言,对于车辆违章变道的检测十分重要,因此出现了很多使用图像处理技术检测车辆是否违章变道的方法,但是这些方法在面对画面中出现多辆车或是车辆被遮挡的情况时,容易将前后两帧或多帧画面中不同车辆识别为同一车辆,或者是将同一车辆识别为不同车辆,从而导致对于违章变道检测的准确率不高。
针对于此,本申请实施例提供了一种车辆变道检测方法,通过将目标检测技术结合deepsort算法实现对车辆的轨迹追踪,在实现对车辆追踪的基础上进行车辆变道的检测。本申请实施例还对deepsort算法中的卡尔曼滤波算法进行改进,在原来用于表示运动状态的状态向量中加入预测参数。预测参数基于车辆检测框的中心点到车道基线中心点的距离和车辆检测框的面积得到。在车辆运动过程中,预测参数随着上述两中心点的距离和车辆检测框的面积的曲线变化而进行曲线地变化。相比于原来采用线性匀速预测的卡尔曼滤波算法,本申请实施例提供的改进的卡尔曼滤波算法进行轨迹预测的准确率更高。在此基础上,本申请实施例对于视频图像中前后两帧或多帧的同一车辆的判断更准确,在检测车辆违章变道时,能够取得更高的准确率。
本申请实施例提供的车辆变道检测方法可以应用于笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、服务器等电子设备上。服务器包括但不限于独立服务器或者云服务器等。本申请实施例对终端设备的具体类型不作任何限制。
请参见图1,图1为本申请实施例提供的一种车辆变道检测方法流程示意图,该方法可以包括以下步骤:
步骤S101、获取当前帧。
其中,当前帧可以是摄像头实时采集的视频图像,也可以是录像中的视频图像,本申请实施例对于当前帧不做任何限定。当前帧中包括至少一个待检测车辆,待检测车辆为进行变道检测的车辆。
步骤S102、确定当前帧中待检测车辆的检测框。
确定待检测车辆的检测框可认为是在当前帧中找出待检测车辆的位置,并将待检测车辆在当前帧中的位置和大小进行标注。在一些实施例中,可以将当前帧输入至目标检测模型,以获取目标检测模型输出的检测框。其中,每一个检测框代表目标检测模型在当前帧中检测到的待检测车辆,模型输出的检测框中所包含的信息包括检测框中心点坐标以及检测框的高和宽,中心点坐标用于表示车辆在当前帧中的位置,检测框的高和宽用于表示车辆在当前帧中的大小。
其中,目标检测模型可以是yolov5、R-CNN或者RetinaNet,也可以根据实际情况选择其他的目标检测模型,本申请实施例对此不作限定。在实际应用过程中,为保证目标检测模型的准确率,可以对目标检测模型进行训练,下面对训练过程进行介绍。
作为示例而非限定,首先通过摄像机采集车辆图片以及获取网络上的车辆图片,其中车辆类型可以包括小轿车、卡车、公交车以及非机动车,为保证数据集的多样性,选取至少5000张车辆图片作为样本。然后使用labelimg工具对采集到的车辆图片进行图像数据框选以及标注,并将图像数据集按照4:1的比例随机划分为训练数据集和测试集。为了使训练出的模型具有高鲁棒性,还可以对图像数据集中的图像进行预处理,包括对训练数据集中的图像进行灰度变换、随机水平翻转、随机剪裁、随机角度旋转以及改变对比度和饱和度等操作。最后将图像数据集输入至目标检测模型中,得到训练好的目标检测模型。
当然,还可以有其他的确定当前帧中待检测车辆的检测框的方法,本申请实施例对于如何确定当前帧中待检测车辆的检测框不作限定。
步骤S103、基于检测框,通过改进的卡尔曼滤波算法进行轨迹预测以获取预测框。
具体地,可以将检测框输入至deepsort目标追踪模型中,deepsort模型使用改进的卡尔曼滤波算法进行轨迹预测以获取预测框。为了便于理解,下面首先对原始的卡尔曼滤波算法进行介绍。
原始的卡尔曼滤波算法通过状态向量(cx,cy,r,h,vx,vy,vr,vh)描述目标的运动状态,其中(cx,cy)为目标的中心坐标,r是目标的高宽比,h表示目标的高度,vx、vy、vr以及vh分别为cx、cy、r以及h在图像坐标中的运动信息。通过上述状态向量对目标的运动状态进行预测,预测的结果为(cx’,cy’,r’,h’),即为预测的目标的中心坐标、高宽比以及高度。原始的卡尔曼滤波算法进行线性匀速预测,相对于车辆复杂的行驶过程,原始的卡尔曼滤波算法预测的准确率不高。
而本申请所提出的改进的卡尔曼滤波算法使用优化后的状态向量描述目标的运动状态,并通过优化后的状态向量对目标的运动状态进行预测。其中,优化后的状态向量为在原来的状态向量中加入了预测参数s的状态向量,即改进的卡尔曼滤波算法使用的状态向量为(cx,cy,r,h,vx,vy,vr,vh,s)。其中预测参数s为第一参数和第二参数的比值,即s=d/m2,其中d为第一参数,表示通过目标检测得到的检测框的中心点到车道基线的中点的距离,m2为第二参数,表示检测框的面积。
在车辆运动过程中,车辆和摄像头的位置是由远及近或由近及远,相应地,第一参数会随之进行由大变小再变大的曲线变化,第二参数会随之进行由小到大或是由大到小的曲线变化。因此,在车辆运动过程中,预测参数随着车辆的运动进行曲线的变化,相比于原来采用线性匀速预测的卡尔曼滤波算法,本申请提出的改进的卡尔曼滤波算法对于车辆的轨迹预测更加准确。使用改进后的卡尔曼滤波算法进行轨迹预测的公式如下。
其中,x代表t时刻的状态向量,F代表状态转移矩阵,x代表t-1时刻的状态向量。
上述车道基线为用于计算车辆变道情况的一条基线,可以是根据采集到的图像中真实的车道线进行标注得到,例如对摄像头标注两个点,两个点为视频图像中真实的车道线上的两个点,将两个点的连线作为车道基线。当然,车道基线也可以根据实际情况通过另外的方式得到,本申请实施例对于车道基线的标注方式不作限定。
步骤S104、将预测框和下一帧中的待检测车辆的检测框进行级联匹配和IOU匹配,得到匹配结果。
其中,下一帧中的待检测车辆的检测框可以通过步骤S101得到,级联匹配中的特征提取网络可以使用步骤S102中的图像数据集进行训练
步骤S105、基于匹配结果,通过改进的卡尔曼滤波算法进行轨迹更新,得到标识信息。
其中,每个待检测车辆可以被认为是一个进行追踪的目标,对于每一个目标,设置一个计数器ak表示第k个目标最后一次出现到当前帧所间隔的帧数,每次目标出现都将刷新计数器,即将计数器置为0,若ak>Amax,则目标k追踪结束。其中Amax的值可以是30,也可以根据实际情况选择其他的值,本申请实施例对此不作限定。
若目标匹配过程中,有目标始终无法与已存在路径相匹配,则认为该目标可能为新出现的目标,如果接下来的m帧都连续检测到了该目标,则该目标将被认定为新出现的跟踪目标,并以此目标为起始目标生成新的跟踪路径以及生成相应的标识信息,否则不生成新的跟踪路径,标识信息用于在不同时刻标识同一目标,其中,m可以是3,也可以根据实际情况选择其他的值,本申请实施例对此不做限定。
步骤S106、确定待检测车辆的变道情况。
在一些实施例中,可以根据待检测车辆第一时刻的第一坐标、第二时刻的第二坐标以及车道基线的两个端点坐标确定待检测车辆的变道情况。其中,第一时刻代表某一个时刻,例如在对实时的视频图像进行检测时,第一时刻可以是当前时刻;在对录像视频图像进行检测时,第一时刻可以是录像中某个时刻。第二时刻代表第一时刻之后的某一个时刻,第一时刻和第二时刻的间隔可以根据实际情况确定,本申请实施例对此不作限定。第一坐标代表在第一时刻时待检测车辆在图像中的位置,第二坐标代表第二时刻时待检测车辆在图像中的位置。
具体地,根据公式f(xt)=(yt-ya0)*xa1-xa0)-(xt-xa0)*(ya1-ya0)确定第一变道值,根据公式f(xt+1)=(yt+1-ya0)*(xa1-xa0)-(xt+1-xa0)*(ya1-ya0)确定第二变道值,若f(xt)*f(xt +1)<0,则确定待检测车辆进行了变道。其中,f(xt)为第一变道值,xt和yt为第一坐标,xa0和ya0为车道基线的一个端点坐标,xa1和ya1为车道基线的另一个端点坐标;f(xt+1)为第二变道值,xt+1和yt+1为第二坐标。
在一些实施例中,为保证准确性,在检测到f(xt)*f(xt+1)<0时,还需要计算之后n个时刻的变道值,并将n个时刻的变道值与第一变道值进行比较,若结果均小于0,才能够确定车辆在t至t+n时刻中进行了变道。其中,t表示时刻,n可以是3或者4,也可以根据实际情况确定,本申请对此不作限定。
在一些实施例中,在确定车辆进行变道之后,可以提取预设时间范围内的视频图像,将视频图像作为车辆违规变道的证据。其中,预设时间范围可以是t-n1至t+n2,t表示时刻,n1和n2可以分别是10和20,也可以根据实际情况确定,本申请对此不做限定。
应当理解的是,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例的车辆变道检测方法,图2示出了本申请实施例提供的车辆变道检测装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图2,该装置包括:
获取模块21,用于获取当前帧的当前帧,当前帧中包括至少一个待检测车辆;
检测模块22,用于确定当前帧中待检测车辆的检测框;
轨迹预测模块23,用于基于检测框通过改进的卡尔曼滤波算法进行轨迹预测以获取预测框,改进的卡尔曼滤波算法使用优化后的状态向量进行轨迹预测,优化后的状态向量包括预测参数,预测参数为第一参数和第二参数的比值,第一参数为检测框的中心点到车道基线的中点的距离,第二参数为检测框的面积;
匹配模块24,用于将预测框和下一帧中的待检测车辆的检测框进行级联匹配和IOU匹配,得到匹配结果;
轨迹更新模块25,用于基于匹配结果通过改进的卡尔曼滤波算法进行轨迹更新,得到标识信息,标识信息用于标识一个待检测车辆;
变道检测模块26,用于针对具有相同标识信息的待检测车辆,确定第一时刻的第一坐标和第二时刻的第二坐标,根据第一坐标、第二坐标以及车道基线的两个端点坐标确定待检测车辆的变道情况。
在一些实施例中,车辆变道检测装置还包括:
取证模块,用于若待检测车辆变道,则提取预设时间范围内的视频图像。
在一些实施例中,检测模块具体用于:将当前帧输入至训练好的yolov5模型中,得到yolov5模型输出的检测框。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请实施例方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
图3为本申请一实施例提供的电子设备的结构示意图。如图3所示,该实施例的电子设备3包括:至少一个处理器30(图3中仅示出一个)处理器、存储器31以及存储在存储器31中并可在至少一个处理器30上运行的计算机程序32,处理器30执行计算机程序32时实现上述任意各个车辆变道检测方法实施例中的步骤。
电子设备3可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该电子设备可包括,但不仅限于,处理器30、存储器31。本领域技术人员可以理解,图3仅仅是电子设备3的举例,并不构成对电子设备3的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
所称处理器30可以是中央处理单元(Central Processing Unit,CPU),该处理器30还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器31在一些实施例中可以是电子设备3的内部存储单元,例如电子设备3的硬盘或内存。存储器31在另一些实施例中也可以是电子设备3的外部存储设备,例如电子设备3上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器31还可以既包括电子设备3的内部存储单元也包括外部存储设备。存储器31用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如计算机程序的程序代码等。存储器31还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例还提供了一种网络设备,该网络设备包括:至少一个处理器、存储器以及存储在存储器中并可在至少一个处理器上运行的计算机程序,处理器执行计算机程序时实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在移动终端上运行时,使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/网络设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/网络设备实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种车辆变道检测方法,其特征在于,所述方法包括:
获取当前帧,所述当前帧中包括至少一个待检测车辆;
确定所述当前帧中所述待检测车辆的检测框;
基于所述检测框,通过改进的卡尔曼滤波算法进行轨迹预测以获取预测框,所述改进的卡尔曼滤波算法为使用优化后的状态向量进行轨迹预测的卡尔曼滤波算法,所述优化后的状态向量包括预测参数,所述预测参数为第一参数和第二参数的比值,所述第一参数为所述检测框的中心点到车道基线的中点的距离,所述第二参数为所述检测框的面积;
将所述预测框和下一帧中的待检测车辆的检测框进行级联匹配和IOU匹配,得到匹配结果;
基于所述匹配结果,通过所述改进的卡尔曼滤波算法进行轨迹更新,得到标识信息,所述标识信息用于标识一个待检测车辆;
针对具有相同所述标识信息的所述待检测车辆,确定第一时刻的第一坐标和第二时刻的第二坐标,根据所述第一坐标、所述第二坐标以及所述车道基线的两个端点坐标确定所述待检测车辆的变道情况。
2.根据权利要求1所述的车辆变道检测方法,其特征在于,所述根据所述第一坐标、所述第二坐标以及所述车道基线的两个端点坐标确定所述待检测车辆的变道情况,包括:
根据公式f(xt)=(yt-ya0)*xa1-xa0)-(xt-xa0)*(ya1-ya0)确定第一变道值;
根据公式f(xt+1)=(yt+1-ya0)*(xa1-xa0)-(xt+1-xa0)*(ya1-ya0)确定第二变道值;
根据所述第一变道值和所述第二变道值确定所述待检测车辆的变道情况;
其中,f(xt)为所述第一变道值,xt和yt为所述第一坐标,xa0和ya0为所述车道基线的一个端点坐标,xa1和ya1为所述车道基线的另一个端点坐标;f(xt+1)为所述第二变道值,xt+1和yt +1为所述第二坐标。
3.根据权利要求2所述的车辆变道检测方法,其特征在于,所述根据所述第一变道值和所述第二变道值确定所述待检测车辆的变道情况,包括:
若f(xt)*f(xt+1)<0,则确定所述待检测车辆进行了变道;
其中,f(xt)为所述第一变道值,f(xt+1)为所述第二变道值。
4.根据权利要求1所述的车辆变道检测方法,其特征在于,所述根据所述第一坐标、所述第二坐标以及所述车道基线的两个端点坐标确定所述待检测车辆的变道情况之后,还包括:
若所述待检测车辆进行了变道,则提取预设时间范围内的视频图像。
5.根据权利要求1所述的车辆变道检测方法,其特征在于,确定所述当前帧中待检测车辆的检测框,包括:
将所述当前帧输入至训练好的yolov5模型,得到所述yolov5模型输出的所述检测框。
6.一种车辆变道检测装置,其特征在于,包括:
获取模块,用于获取当前帧,所述当前帧中包括至少一个待检测车辆;
检测模块,用于确定所述当前帧中所述待检测车辆的检测框;
轨迹预测模块,用于基于所述检测框通过改进的卡尔曼滤波算法进行轨迹预测以获取预测框,所述改进的卡尔曼滤波算法使用优化后的状态向量进行轨迹预测,所述优化后的状态向量包括预测参数,所述预测参数为第一参数和第二参数的比值,所述第一参数为所述检测框的中心点到车道基线的中点的距离,所述第二参数为所述检测框的面积;
匹配模块,将所述预测框和下一帧中的待检测车辆的检测框进行级联匹配和IOU匹配,得到匹配结果;
轨迹更新模块,用于基于所述匹配结果,通过所述改进的卡尔曼滤波算法进行轨迹更新,得到标识信息,所述标识信息用于标识一个待检测车辆;
变道检测模块,用于针对具有相同所述标识信息的所述待检测车辆,确定第一时刻的第一坐标和第二时刻的第二坐标,根据所述第一坐标、所述第二坐标以及所述车道基线的两个端点坐标确定所述待检测车辆的变道情况。
7.根据权利要求6所述的装置,其特征在于,还包括:
取证模块,用于若所述待检测车辆变道,则提取预设时间范围内的视频图像。
8.根据权利要求6或7所述的装置,其特征在于,检测模块具体用于:
将所述当前帧输入至训练好的yolov5模型中,得到所述yolov5模型输出的所述检测框。
9.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310132551.2A CN116168325A (zh) | 2023-02-07 | 2023-02-07 | 车辆变道检测方法、装置、电子设备以及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310132551.2A CN116168325A (zh) | 2023-02-07 | 2023-02-07 | 车辆变道检测方法、装置、电子设备以及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116168325A true CN116168325A (zh) | 2023-05-26 |
Family
ID=86412908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310132551.2A Pending CN116168325A (zh) | 2023-02-07 | 2023-02-07 | 车辆变道检测方法、装置、电子设备以及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116168325A (zh) |
-
2023
- 2023-02-07 CN CN202310132551.2A patent/CN116168325A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112528878B (zh) | 检测车道线的方法、装置、终端设备及可读存储介质 | |
CN110929655B (zh) | 一种行驶过程中车道线识别方法、终端设备及存储介质 | |
CN115063454B (zh) | 多目标跟踪匹配方法、装置、终端及存储介质 | |
CN112528807A (zh) | 行驶轨迹的预测方法、装置、电子设备及存储介质 | |
CN112330715A (zh) | 一种跟踪方法、跟踪装置、终端设备及可读存储介质 | |
CN112862856A (zh) | 违停车辆的识别方法、装置、设备及计算机可读存储介质 | |
CN108693517B (zh) | 车辆定位方法、装置和雷达 | |
CN113297939B (zh) | 障碍物检测方法、系统、终端设备及存储介质 | |
CN116863124B (zh) | 车辆姿态确定方法、控制器及存储介质 | |
CN112837384A (zh) | 车辆标记方法、装置和电子设备 | |
CN116168325A (zh) | 车辆变道检测方法、装置、电子设备以及可读存储介质 | |
CN114037977B (zh) | 道路灭点的检测方法、装置、设备及存储介质 | |
CN116259033A (zh) | 车辆信息丢失的目标跟踪方法、系统、介质及设备 | |
CN112950961B (zh) | 车流量统计方法、装置、设备和存储介质 | |
CN112767412B (zh) | 车辆部件级分割方法、装置以及电子设备 | |
CN111462176B (zh) | 一种目标追踪方法、目标追踪装置及终端设备 | |
CN112270257A (zh) | 一种运动轨迹确定方法、装置及计算机可读存储介质 | |
CN114627651B (zh) | 一种行人保护预警方法、装置、电子设备及可读存储介质 | |
CN113269007A (zh) | 道路监控视频的目标跟踪装置以及方法 | |
CN116503695B (zh) | 目标检测模型的训练方法、目标检测方法及设备 | |
CN116091600B (zh) | 一种图像目标的定位方法、装置、终端设备和存储介质 | |
CN117576926B (zh) | 车辆违规检测方法、设备及存储介质 | |
CN114898325B (zh) | 一种车辆危险变道检测方法、装置及电子设备 | |
CN116793345A (zh) | 一种自移动设备的姿态估计方法、装置及可读存储介质 | |
CN117935303A (zh) | 目标跟踪方法、终端设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |