CN113962249B - 压线识别方法及装置、电子设备和存储介质 - Google Patents
压线识别方法及装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113962249B CN113962249B CN202111475782.0A CN202111475782A CN113962249B CN 113962249 B CN113962249 B CN 113962249B CN 202111475782 A CN202111475782 A CN 202111475782A CN 113962249 B CN113962249 B CN 113962249B
- Authority
- CN
- China
- Prior art keywords
- target
- key point
- vehicle
- target key
- axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种压线识别方法及装置、电子设备和存储介质,其中,压线识别方法包括:在当前帧中确定目标车辆对应的车辆区域;检测得到所述当前帧中的目标车辆的目标关键点;利用目标关键点,对当前帧的车辆区域进行修正;基于修正后的所述车辆区域,对所述目标车辆进行压线识别,得到压线识别结果。上述方案,能够提高车辆压线识别的准确性。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种压线识别方法及装置、电子设备和存储介质。
背景技术
随着计算机视觉的发展,计算机视觉技术逐渐在交通监控领域得到了快速发展。例如,大量的高速公路、城市快速路、高架桥、隧道、跨海大桥等道路中,需要对这些交通场景进行监管。计算机视觉技术应用于交通监控领域的快速发展,不仅节约了人力物力和财力,而且能更加快速的了解道路的异常路况,如此种种,不一而足。
目前,对路段的监管一般采用现场工作人员和协管人员进行现场监督以及通过道路的监控视频进行人为识别道路的压线行为,该方式耗费大量人力资源,并且容易对于压线识别产生偏差,进而造成对道路监管的严谨性难以保障。有鉴于此,如何提高车辆压线识别的准确性成为亟待解决的问题。
发明内容
本申请主要解决的技术问题是提供一种压线识别方法及装置、电子设备和存储介质,能够提高车辆压线识别的准确性。
为了解决上述技术问题,本申请第一方面提供了一种压线识别方法,包括:在当前帧中确定目标车辆对应的车辆区域;检测得到所述当前帧中的目标车辆的目标关键点;利用所述目标关键点,对所述当前帧的所述车辆区域进行修正;基于修正后的所述车辆区域,对所述目标车辆进行压线识别,得到压线识别结果。
为了解决上述技术问题,本申请第二方面提供了一种压线识别装置,包括确认模块,用于在当前帧中确定目标车辆对应的车辆区域;检测模块,用于检测得到所述当前帧中的目标车辆的目标关键点;修正模块,用于利用所述目标关键点,对所述当前帧的所述车辆区域进行修正;识别模块,用于基于修正后的所述车辆区域,对所述目标车辆进行压线识别,得到压线识别结果。
为了解决上述技术问题,本申请第三方面提供了一种电子设备,包括相互耦接的存储器和处理器,存储器中存储有程序指令,处理器用于执行程序指令以实现上述第一方面中的压线识别方法。
为了解决上述技术问题,本申请第四方面提供了一种计算机可读存储介质,存储有能够被处理器运行的程序指令,程序指令用于实现上述第一方面中的压线识别方法。
上述方案,通过在当前帧中确定目标车辆对应的车辆区域;并利用位置调整后的目标关键点,对当前帧的车辆区域进行修正,进而基于修正后的车辆区域,对目标车辆进行压线识别,由于对车辆识别过程中,基于目标关键点的位置信息,对车辆位置信息进行修正,故能够提高车辆区域的准确度,进而利用修正后的车辆区域进行压线识别,可以提高车辆压线识别的准确性。
附图说明
图1是本申请压线识别方法一实施例的流程示意图;
图2是图1中步骤S11一实施例的检测区域示意图;
图3是图1中步骤S12一实施例的目标关键点调整示意图;
图4是图1中步骤S12一实施例的目标关键点调整示意图;
图5是本申请压线识别方法一实施例的流程示意图;
图6是本申请压线识别装置一实施例的框架示意图;
图7是本申请电子设备一实施例的框架示意图;
图8是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。
请参阅图1,图1是本申请压线识别方法一实施例的流程示意图。具体而言,可以包括如下步骤:
步骤S11:在当前帧中确定目标车辆对应的车辆区域。
在一个实施场景中,目标车辆可以是追踪的某一车辆,也可以是当前帧中的某一车辆,具体情况可以在实际情况中进行设置,在此不做限定。当前帧可以是一个视频中某一个画面对应的图像,这个图像可以是对目标区域监控得到的任何一帧图像,本申请中目标区域是道路区域,对道路区域进行监控,得到画面对应的图像。
在一个实施场景中,该车辆区域可以理解为当前帧中包含该目标车辆的区域,该车辆区域可以是目标车辆的轮廓以内的区域,或者为包含该目标车辆轮廓的预设形状的区域,该预设形状可以为矩形、圆形等。本实施例中,可以通过对当前帧进行车辆检测,以得到目标车辆的位置信息,该位置信息能够定义出该目标车辆的车辆区域。在一具体应用场景中,该车辆区域为矩形区域,对应地,该目标车辆的位置信息可以为该矩形区域的两个顶点的坐标信息,例如为左下顶点与右上顶点的的坐标,又例如为右下顶点与左上顶点的坐标。对于确定目标车辆对应的车辆区域方式具体可以根据实际情况进行确定,在此不做限定。
本实施例中,可利用车辆检测模型对当前帧进行车辆检测跟踪,以得到当前帧中各车辆的检测区域的相关信息,其中,该检测区域的相关信息可以包括该检测区域的位置信息以及对应车辆标识(如车辆ID)。在一具体应用中,如图2所示,图2是图1中步骤S11一实施例的检测区域示意图,该检测区域11为矩形区域,则该检测区域的位置信息可以为检测区域的两个顶点的坐标信息,例如为左下顶点与右上顶点的的坐标,又例如为右下顶点与左上顶点的坐标。其中,车辆检测模型可以为卷积神经网络,可预先将有车辆标注的素材输入到卷积神经网络中进行训练,以得车辆检测模型。
在得到当前帧中各车辆的检测区域,可选择部分车辆作为目标车辆,进而将目标车辆的检测区域作为目标车辆的车辆区域。具体地,可根据实际需求选择车辆作为目标车辆,例如可选择车牌不符合规定的车辆、在车道线内的车辆、超速的车辆等等作为目标车辆。
在一实施场景中,可选择在车道线内的车辆作为目标车辆。对应地,可先对当前帧进行车道线识别,得到车道线识别结果,该车道线识别结果包括当前帧属于车道线的位置信息。进而,基于所述车道线识别结果,将当前帧中位于车道线内的车辆确定为目标车辆。
在一具体应用场景中,可利用车道线识别模型对图像中的车道线进行检测识别,该车道线识别模型能够检测出车道线结果。本实施例中,该车道线识别模型为Ultra FastStructure-aware Deep Lane Detection算法模型,具体地,该车道线识别模型可以将输入图像划分为若干细长条,即row achor,并检测出输入图像中的各row achor中属于车道线的块的位置,由此可减少语义分割复杂度,同时也可使用全局特征增加网络了感受野,提升在有车辆遮挡关系下的网络推理能力。
具体地,车道线数量可以设置为laneMaxNum,row anchor的数量为h,每一个rowanchor块的数量为w。若输入图像为image,fij是车道线识别模型中预测第i条车道线第j个row anchor的分类器,用于输出第j个row anchor中第i条车道线所在块的位置,具体表示如下:
Pi,j,:是w+1维的向量,表示第j个row anchor的w个块以及最后一个额外增加的块中每个块中存在第i条车道线的预测概率,上述公式表示在i∈[1,laneMaxNum],j∈[1,h]时,在该输入图像中第j个row anchor的w个块以及最后一个额外增加的块中每个块中存在第i条车道线的概率。利用该分类器可获取各车道线在每个row anchor块的位置,若某个row anchor中不存在车道线,则输出最后一个块的位置;也即是说,若某个row anchor中存在车道线,则最后一个块不输出信息,直接输出该row anchor中属于该车道线的块的位置。
在训练过程中,利用原始的车道线识别模型对样本输入图像进行车辆线检测得到样本输入图像的Pi,j,:。定义Ti,j,:是w+1维的向量标签,表示样本输入图像的第j个rowanchor的w个块以及最后一个额外增加的块中每个块中存在第i条车道线的真实概率。Σ表示求和,即从Σ中下标开始至上标结束的函数累加和,利用检测结果和该向量标签计算得到车道线识别模型的损失,本实施例中,该损失可包括交叉熵损失、结构化损失和分割分支损失。
具体,利用检测结果和该向量标签计算得到各row anchor和各车道线对应的交叉熵损失LCE,并对各row anchor和各车道线对应的交叉熵损失LCE进行累加和得到Lcls,具体如下:
由于在图像中车道线一般是光滑的,故相邻的row anchor 中车道线所在块的位置不存在突变,这意味着相邻两个row anchor块类别概率分布是相似的,因此,在本实施例训练过程中,利用可获得最终的相似性损失Lsim,||Pi,j,:-Pi,j+1,:||1表示为1范数,即Pi,j,:-Pi,j+1,:绝对值之和,Σ表示求和,即从Σ中下标开始至上标结束的函数累加和,也可以理解为利用各row anchor和各车道线对应计算相似性损失Lsim:
常见的,车道线大多数是直线,为表示车道线的形状,可以用二阶差分进行表示,二阶差分可以反映变量之间的变化,将变量之间的关系表达出来,进行二阶差分之前需要对变量位置进行确定,即计算出第i条车道线中第j个row anchor中可能存在的车道线的位置。考虑可以通过argmax函数进行计算,通过argmax函数计算后可以得到一个集合,即离散的车辆在车道线点的位置;其中Pi,j,:是w+1维的向量,表示第j个row anchor的w个块以及最后一个额外增加的块中每个块中存在第i条车道线的预测概率,通过计算可得车道线中车辆点的位置,但是考虑到argmax函数表达的是离散的函数,并且不可倒,因此不可以使用argmax函数构造损失函数。由此,可以得出需要对测量的向量结果进行归一化处理,可以利用softmax函数对测量的向量进行处理,softmax函数可以经过计算得到各车道线在每个row anchor块的位置存在的概率,即此时Pi,j,:表示w维的向量,表示第j个row anchor的w个块以及最后一个额外增加的块中每个块中存在第i条车道线的预测概率,通过softmax函数进行归一化处理后得到车道线在每个row anchor块的概率Probi,j,:,具体表示如下:
上述公式表示,目标车辆穿过各车道线在每个row anchor块的位置存在的概率,可以通过计算期望值得到近似的车辆位置。Σ表示求和,即从Σ中下标1开始至上标w结束的函数累加和,得到车道线中车辆点的位置,具体如下:
通过计算得到两个利用车道线的物理结构构造的损失函数Lsim、Lshp后,再对两个损失函数添加参数处理,进而得到结构化损失Lstr,是平衡两个损失的参数,具体如下:
Lstr=Lsim+μLshp
在车道线识别模型的训练过程中,可在车道线识别模型的提取特征流程中,增加辅助的分割分支,其中分割分支只在训练时使用,后续应用时不使用该分支,由此可计算得到分割分支损失Lseg。
利用上述计算得到的交叉熵损失、结构化损失和分割分支损失进行加权和,以得到车道线识别模型的总损失Ltotal。其中,结构化损失的权重为参数α、分割分支损失的权重为参数β,表示如下:
Ltotal=Lcls+αLstr+βLseg
通过上述公式可以计算得到车道线识别模型的总损失后,利用该总损失调整车道线识别模型的网络参数。
步骤S12:检测得到当前帧中的目标车辆的目标关键点。
本实施例中,可以对当前帧中的目标车辆进行关键点检测,得到目标车辆的若干关键点,进而从标车辆的若干关键点中查找出目标关键点。
在一个实施场景中,获取确定目标车辆对应的车辆区域后,对目标车辆进行关键点检测,得到目标车辆的若干关键点。具体地,该若干关键点可以是左前轮、左后轮、右前轮、右后轮、右雾灯、左雾灯、右大灯、左大灯、前面车牌、后面车牌、左后视镜、右后视镜、左后灯、右后灯、左后围板点和右后围板点中的至少一个,具体情况可以根据实际情况进行确定检测何种关键点,在此不做限定。
本实施例中,可采用关键点检测模型进行关键点检测。在一个具体实施场景中,该关键点检测模型可以但不限为是HRNet(High-Resolution Net)算法模型。相比于现有技术中其他车辆关键点检测算法采用高分辨率特征图下采样至低分辨率,再从低分辨率特征图恢复值高分辨率的思路,HRNet算法在整个过程中都有高分辨率特征图,没有分辨率恢复的过程,该网络在深度不断加深的同时,通过下采样使得特征图分辨率变小,相同深度的高分辨率和低分辨率特征图有一个融合的过程。在使用关键点检测模型前,需要先训练。首先需要对样本图像进行标注,对图像内的车辆的关键点进行标注完成后,利用样本图像集对关键点检测模型进行训练。
在一些实施例中,考虑关键点检测需要损耗较多硬件性能,故为了平衡硬件性能以及车辆位置的准确性要求,可以跳帧进行关键点检测,换言之,可以视频中的部分帧进行关键点检测并利用关键点检测结果对该部分帧中目标车辆的车辆区域进行修正,由此可以保证硬件性能、硬件成本和方案效果的最优化,从而可以在同等条件,硬件成本和方案性能和效果达到最优的平衡。但是,单纯地采取跳帧进行关键点检测,可能导致压线识别的精度受到影响,因此,对于未进行关键点检测的剩余帧,可以通过与历史帧相互融合,即基于进行关键点检测的历史帧中修正后的车辆区域,对剩余帧的车辆区域进行修正,由此可以确保整体提案呈现的整体效果。当然,在本方法执行设备的硬件性能比较良好的情况下,也可以选择对每帧图像做关键点检测,进而利用每帧的关键点检测结果对每帧中目标车辆的车辆区域进行修正,具体检测方式可以根据实际情况进行设置,在此不做限定。可以理解的是,在采用跳帧进行关键点检测的情况下,可根据实际情况从视频中选择部分帧进行关键点检测,例如可以从视频中每间隔预设数量帧选择一帧作为进行关键点检测的帧,在一具体场景中,该预设数量可以为一帧,即视频中的奇数帧进行关键点检测,偶数帧不进行关键点检测。当然,也可以从视频中随机选出关键点检测的帧,在此不对进行关键点检测的帧的确定进行具体限定。
在一些实施例中,考虑关键点检测算法本身缺陷、目标车辆可能会受到遮挡以及像素模糊的问题,可能造成车辆检测的关键点的类型或位置出错,故可对目标关键点进行位置调整。例如,利用若干关键点中的预设类型关键点或车辆区域的尺寸,对若干关键点中的目标关键点进行位置调整。由于基于预设类型关键点或车辆区域的尺寸调整目标关键点的位置信息,有助于提升提高对目标关键点的位置信息的准确度,故可以进一步提高车辆位置信息的准确性,进而提高车辆压线识别的准确性。
在一个实施场景中,利用若干关键点中的预设类型关键点或车辆区域的尺寸,对若干关键点中的目标关键点进行位置调整,可以从若干关键点中,查找出符合第一位置条件的至少一个目标关键点;若该若干关键点中存在预设类型关键点,则利用预设类型关键点的位置,对目标关键点进行位置调整;若该若干关键点中不存在预设类型关键点,且目标关键点间不满足预设位置关系,则利用车辆区域的尺寸,对目标关键点进行位置调整。上述方式,通过查找目标关键点的结果,判定对目标关键点所采取的调整方式,不同的查找结果对应不同的调整方式,进而使得对目标关键点的位置调整结果更准确。
为了表征出图像中目标车辆的关键点的位置信息,可以基于该目标车辆的车辆区域建立坐标轴,利用该坐标轴表征该目标车辆的关键点的位置信息。具体地,可以将车辆区域的任一顶点作为原点建立二维坐标轴,其中,该二维坐标轴的第一轴和第二轴可以分别为横向轴和纵向轴。为便于描述,下文均以车辆区域为矩形、车辆区域的左上顶点为原点、左上顶点至右上顶点为第一轴的正方向、左上顶点至左下顶点为第二轴的正方向进行举例说明。可以理解的是,在其他实施例中,也可以以左下顶点、右上顶点或右下顶点作为原点,以右侧顶点至左侧顶点为第一轴的正方向、下侧顶点至上侧顶点为第二轴的正方向。另外,该坐标轴也可不基于车辆区域建立,例如可以直接基于图像建立,具体如以图像的某个顶点作为原点建立坐标轴,故该坐标轴的具体设置方式可以根据实际需求确定。在建立坐标轴之后,可以将关键点在该坐标轴上的坐标作为该关键点的位置信息。为了便于描述,下文将第一轴坐标定义为X值,第二轴坐标定义为Y值。
在一个实施场景中,考虑距离地面越远的关键点越难判断其是否车辆区域的位置情况,例如与车道线之间的位置关系,故具体可以基于与地面距离确定目标关键点。例如,可从若干关键点中,查找出与当前帧中的地面间的第二距离满足预设要求的两个目标关键点。上述方式,根据预设要求查找出两个目标关键点,进而通过两个目标关键点对车辆区域进行调整,进而使车辆位置信息更加准确。该第二距离可以是基于关键点在前述建立的坐标轴中的第二轴坐标确定的,例如,在以车辆区域的左上顶点为原点、左上顶点至右上顶点为第一轴的正方向、左上顶点至左下顶点为第二轴的正方向的坐标轴中,该关键点的第二轴坐标越大,则表示关键点的第二距离越小,又例如,在以车辆区域的右下顶点为原点、右下顶点至左下顶点为第一轴的正方向、右下顶点至右上顶点为第二轴的正方向的坐标轴中,该关键点的第二轴坐标越小,则表示关键点的第二距离越小。
在一个实施场景中,该预设要求可以为第二距离最小,即可以从若干关键点中,查找出与当前帧中的地面间的第二距离最小的两个关键点作为目标关键点。
在另一实施场景中,考虑满足预设要求的关键点可以分布在目标车辆的同一边,为了避免此情况,可以进一步结合该若干关键点的重心确定目标关键点。例如,可先获取若干关键点的重心;在若干关键点中,选择位于重心的第一侧且与第二距离满足预设要求的一个关键点作为第一目标关键点,选择位于重心的第二侧且与第二距离满足预设要求的一个关键点作为第二目标关键点,其中,第一侧的第一轴坐标小于第二侧的第一轴坐标。例如,继续以车辆区域的左上顶点为原点、左上顶点至右上顶点为第一轴的正方向、左上顶点至左下顶点为第二轴的正方向为例,在确定重心之后,将位于重心的左侧中第二距离最小的一个关键点作为第一目标关键点,选择位于重心的右侧中第二距离最小的一个关键点作为第二目标关键点。上述方式,通过预设要求查找出两个目标关键点,并获取目标关键点的重心,进而确定第一目标关键点与第二目标关键点,避免对于目标关键点的确定出现偏差问题,使车辆位置信息进一步准确。
在一个实施场景中,由于对于两个目标关键点的确认需要确保处于车辆的两端,由此,可以对若干关键点进行处理。首先获取若干关键点的重心,假设几何图形N个点分别为(X1,Y1),(X2,Y2),…,(XN,YN),该几何图形的重心坐标计算方式为:
几何重心的坐标为:(Xgravity,Ygravity)。计算出重心坐标后,选择位于重心的第一侧且与第二距离满足预设要求的一个关键点作为第一目标关键点,也即是说,关键点在几何重心的左边,即关键点坐标X的值小于Xgravity,并且第二距离最小的一个关键点作为第一目标关键点;选择位于重心的第二侧且与第二距离满足预设要求的一个关键点作为第二目标关键点,也即是说,关键点在几何重心的右边,即关键点坐标X的值大于Xgravity,并且第二距离最小的一个关键点作为第二目标关键点;其中,第一侧的第一轴坐标小于第二侧的第一轴坐标,第一目标关键点坐标的X值小于第二目标关键点坐标的X值,进而确保了第一目标关键点位于第二目标关键点的左侧,并且第一目标关键点和第二目标关键点均为几何重心坐标对应第一侧和第二侧的Y值最大的两个关键点。
在确定目标关键点之后,可以利用若干关键点中的预设类型关键点或车辆区域的尺寸,对该目标关键点进行位置调整。
在一个实施场景中,预设类型关键点可以但不限为车牌关键点,该车牌关键点可以为前车牌关键点和后车牌关键点,对于预设类型关键点的类型可以根据实际应用进行设置,在此不做限定。
在一个实施场景中,目标关键点包括第一目标关键点和第二目标关键点,第一目标关键点的第一轴坐标小于第二目标关键点的第一轴坐标,继续以车辆区域的左上顶点为原点、左上顶点至右上顶点为第一轴的正方向、左上顶点至左下顶点为第二轴的正方向为例,该第一目标关键点也可以称为左侧目标关键点,第二目标关键点也可以称为右侧目标关键点。利用预设类型关键点的位置,对目标关键点进行位置调整,可以分别获取预设类型关键点的第一轴坐标与各目标关键点的第一轴坐标之间的坐标差值;再基于坐标差值得到参考差值;最后利用参考差值和预设类型关键点的第一轴坐标,确定第一目标关键点和第二目标关键点的第一轴坐标,以及利用预设类型关键点的第二轴坐标,确定第一目标关键点和第二目标关键点的第二轴坐标。上述方式,通过对目标关键点进行位置调整,进而获取调整后的目标关键点,对车辆区域的位置信息准确性更高,为道路监管带来便利,进一步节省了人力物力和财力。
请参阅图3,图3是图1中步骤S12一实施例的目标关键点调整示意图。如图3所示,第一目标关键点为左车灯关键点,第二目标关键点为右车灯关键点,预设类型关键点为车牌关键点21。第一目标关键点和第二目标关键点在位置调整之前分别位于位置点20、位置点22;位置调整之后分别位于位置点23和位置点24。
在一个实施场景中,基于坐标差值得到参考差值,可以选择所有目标关键点对应的坐标差值中的最大值,作为参考差值;利用参考差值和预设类型关键点的第一轴坐标,确定第一目标关键点和第二目标关键点的第一轴坐标,可以将预设类型关键点的第一轴坐标与参考差值之差,作为第一目标关键点的第一轴坐标,以及预设类型关键点的第一轴坐标与参考差值之和,作为第二目标关键点的第一轴坐标;再利用预设类型关键点的第二轴坐标,确定第一目标关键点和第二目标关键点的第二轴坐标,可以将预设类型关键点的第二轴坐标,分别作为第一目标关键点和第二目标关键点的第二轴坐标。上述方式,通过对目标关键点进行调整,使得车辆中目标关键点的位置更加准确,进一步为目标车辆的监管提供便利。
在一个具体实施场景中,预设类型关键点的位置,为车牌关键点的位置,目标关键点的分布是依赖关键点检测效果,经过试验验证,不同图像场景是会影响目标关键点的检测效果的,上述对目标关键点的调整,可以解决这类问题。首先获取预设类型关键点的第一轴坐标与各目标关键点的第一轴坐标之间的坐标差值;再基于坐标差值得到参考差值;此时第一轴坐标指的是X轴,将坐标建立在左上顶点,获取预设类型关键点的第一轴坐标与各目标关键点的第一轴坐标之间的坐标差值,MiddleKeypoint为车牌关键点,keypointLeft为第一目标关键点,keypointRight为第二目标关键点,MiddleKeypoint.X表示车牌关键点X轴坐标值,keypointRight.X表示第二目标关键点X轴坐标值,keypointLeft.X表示第一目标关键点X轴坐标值,具体如下:
XMAX=MAX(abs(MiddleKeypoint.X-keypointRight.X),
(MiddleKeypoint.X-keypointLeft.X)
其中,MAX是求取两数最大值,abs是求取绝对值,进而获取坐标差值,再基于坐标差值得到参考差值;最后利用参考差值和预设类型关键点的第一轴坐标,确定第一目标关键点和第二目标关键点的第一轴坐标,也即是说,利用参考差值和预设类型关键点的X轴坐标,确定第一目标关键点和第二目标关键点的X轴坐标值;以及利用预设类型关键点的第二轴坐标,确定第一目标关键点和第二目标关键点的第二轴坐标,也即是说,利用预设类型关键点的Y轴坐标,确定第一目标关键点和第二目标关键点的Y轴坐标,MiddleKeypoint为车牌关键点,keypointLeft为第一目标关键点,keypointRight为第二目标关键点,MiddleKeypoint.X表示车牌关键点X轴坐标值,keypointRight.y表示第二目标关键点Y轴坐标值,keypointLeft.y表示第一目标关键点Y轴坐标值,可以使用如下计算方法:
keypointRight.x=MiddleKeypoint.X+XMAX
keypointRight.y=MiddleKeypoint.Y
keypointLeft.x=MiddleKeypoint.X-XMAX
keypointLeft.y=MiddleKeypoint.Y
在一个实施场景中,可以利用车辆区域的尺寸对该目标关键点进行位置调整。具体地,若车辆区域的目标关键点之间不满足预设位置关系,利用车辆区域的尺寸对该车辆区域的目标关键点进行位置调整,若车辆区域的目标关键点满足预设位置关系,则不需对该车辆区域的目标关键点进行位置调整,具体情况可以根据实际情况进行判断,在此不做限定。
在一个实施场景中,目标关键点包括第一目标关键点和第二目标关键点,第一目标关键点的第一轴坐标小于第二目标关键点的第一轴坐标,继续以车辆区域的左上顶点为原点、左上顶点至右上顶点为第一轴的正方向、左上顶点至左下顶点为第二轴的正方向为例,该第一目标关键点也可以称为左侧目标关键点,第二目标关键点也可以称为右侧目标关键点。预设位置关系为第一目标关键点与第二目标关键点在第一轴上的第一距离小于参考距离,参考距离为车辆区域的宽的预设比值;利用车辆区域的尺寸,对目标关键点进行位置调整,可以从第一目标关键点和第二目标关键点中,选出符合第二位置条件的参考关键点;再利用参考关键点的坐标和车辆区域的宽,确定第一目标关键点和第二目标关键点的坐标。上述方式,通过利用参考关键点的坐标和车辆区域的宽,对目标关键点进行调整,确保目标关键点在目标车辆汇总的应用可以完成常见的操作和监管,进而提高用户的工作效率。
在一个具体实施场景中,第二位置条件为在第一目标关键点和第二目标关键点中第二轴坐标最大的目标关键点。
在一个具体实施场景中,利用参考关键点的坐标和车辆区域的宽,确定第一目标关键点和第二目标关键点的坐标,若预设位置关系为第一目标关键点与第二目标关键点均位于第一侧顶点在第一轴上的参考距离范围内,则将参考关键点的坐标作为第一目标关键点的坐标,将参考关键点的第一轴坐标与参考距离之和作为第二目标关键点的第一轴坐标,将参考关键点的第二轴坐标作为第二目标关键点的第二轴坐标;若预设位置关系为第一目标关键点与第二目标关键点均位于第二侧顶点在第一轴上的参考距离范围内,则将参考关键点的坐标作为第二目标关键点的坐标,将参考关键点的第一轴坐标与参考距离之差作为第一目标关键点的第一轴坐标,将参考关键点的第二轴坐标作为第一目标关键点的第二轴坐标;其中,第一侧顶点和第二侧顶点为车辆区域的顶点,且第一侧顶点的第一轴坐标小于第二侧顶点的第一轴坐标。并且预设位置关系可以根据实际应用场景进行设置,预设位置关系表明第一目标关键点与第二目标关键点的位置均处于车辆区域的一侧,并且通过预设位置关系不能体现车辆区域的具体位置信息,预设位置关系的具体条件可以根据实际应用中场景进行设置,在此不做限定。参考距离用来区分对第一目标关键点和第二目标关键点的距离,若在参考距离之内,则距离过近,需要对第一目标关键点和第二目标关键点加工处理。由此,参考距离可以根据实际应用中情况进行设置,在此不做限定。上述方式,根据关键点信息确定目标关键点,进而提高目标车辆位置信息。
在一个具体实施场景中,当坐标原点建立在图像左上顶点时,若预设位置关系为第一目标关键点与第二目标关键点均位于第一侧顶点在第一轴上的参考距离范围内,即若车辆区域的左上顶点的坐标X值rect.ul.x为车辆区域左上顶点坐标X值,keypointLeft.x表示第一目标关键点的坐标X值,keypointRight.x表示第二目标关键点的坐标X值,width(rect)表示当前车辆区域的宽度,则可以用表达式表示为:rect.ul.x<keypointLeft.x,keypointRight.x< rect.ul.x+0.25*width(rect),即当前第一目标关键点与第二目标关键点均处于车辆区域偏左四分之一区间内,由此需要对目标关键点进行调整,可取keypointLeft和keypointRight中Y值最大的点并且使用YMaxPoint表示,YMaxPoint.X表示YMaxPoint值X轴坐标,YMaxPoint.y表示YMaxPoint值Y轴坐标,调整的方法可用表达式表示为:
keypointRight.x=YMaxPoint.X+0.25*width(rect)
keypointRight.y=YMaxPoint.y
keypointLeft=YMaxPoint
即将参考关键点的坐标作为第一目标关键点的坐标,将参考关键点的第一轴坐标与参考距离之和作为第二目标关键点的第一轴坐标,将参考关键点的第二轴坐标作为第二目标关键点的第二轴坐标;若预设位置关系为第一目标关键点与第二目标关键点均位于第二侧顶点在第一轴上的参考距离范围内,即若车辆区域的右上顶点的坐标X值rect.lr.x为车辆区域左上顶点坐标X值,keypointLeft.x表示第一目标关键点的坐标X值,keypointRight.x表示第二目标关键点的坐标X值,width(rect)表示当前车辆区域的宽度,则可以用表达式表示为:rect.lr.x>keypointLeft.x, keypointRight.x> rect.lr.x-0.25*width(rect),即当前第一目标关键点与第二目标关键点均处于车辆区域偏右四分之一区间内,由此需要对目标关键点进行调整,可取keypointLeft和keypointRight中Y值最大的点并且使用YMaxPoint表示,调整的方法可用表达式表示为:
keypointLeft.x=YMaxPoint.x-0.25*width(rect)
keypointLeft.y=YMaxPoint.y
keypointRight=YMaxPoint
即将参考关键点的坐标作为第二目标关键点的坐标,将参考关键点的第一轴坐标与参考距离之差作为第一目标关键点的第一轴坐标,将参考关键点的第二轴坐标作为第一目标关键点的第二轴坐标。
在一个具体实施场景中,第一侧顶点和第二侧顶点为车辆区域的顶点,且第一侧顶点的第一轴坐标小于第二侧顶点的第一轴坐标。第一侧顶点的第一轴坐标小于第二侧顶点的第一轴坐标,若坐标原点建立在左上顶点时,第一侧即为X值较小一侧,为车辆区域左侧,第二侧即为X值较大的一侧,为车辆区域右侧。
请参阅图4,图4是图1中步骤S12一实施例的目标关键点调整示意图。如图4所示,利用车辆区域的尺寸进行位置调整前第一目标关键点31与调整前第二目标关键点32均位于车辆的一侧,并且集中在一处,经过调整后第二目标关键点33位于车辆的另一侧。
步骤S13:利用目标关键点,对当前帧的车辆区域进行修正。
可以理解的是,若上述目标关键点未进行位置调整,则直接利用检测得到的目标关键点对当前帧的车辆区域进行修正,若上述目标关键点进行了位置调整,则利用位置调整后的目标关键点对当前帧的车辆区域进行修正。
在一个实施场景中,目标关键点包括第一目标关键点和第二目标关键点,第一目标关键点的第一轴坐标小于第二目标关键点的第一轴坐标。利用目标关键点,对当前帧的车辆区域进行修正,可以利用第一目标关键点的第一轴坐标调整车辆区域的第一侧顶点的第一轴坐标,利用第二目标关键点的第一轴坐标调整车辆区域的第二侧顶点的第一轴坐标,其中,第一侧顶点的第一轴坐标小于第二侧顶点的第一轴坐标。上述方式,通过对当前帧的车辆区域进行修正,进而使车辆区域更加准确,为路段的监管提供了便利条件。
在一个具体实施场景中,利用第一目标关键点的第一轴坐标调整车辆区域的第一侧顶点的第一轴坐标,将调整后的第一目标关键点和第二目标关键点映射到车辆区域的底边框上,得到的修正后的车辆区域若称为CorrectRect(修正框),detectRect.ul.X为车辆区域左上顶点坐标X值;detectRect.ul.Y为车辆区域左上顶点坐标Y值;detectRect.lr.X为车辆区域右下顶点坐标X值;detectRect.lr. 为车辆区域右下顶点坐标Y值;keypointLeft.X为第一目标关键点坐标X值;keypointRight.X为第一目标关键点坐标X值。可以将表达式表示为:
CorrectRect.ul.X=MAX(detectRect.ul.X,keypointLeft.X)
Correct.ul.Y=detectRect.ul.Y
再利用第二目标关键点的第一轴坐标调整车辆区域的第二侧顶点的第一轴坐标,可以将表达式表示为:
Correct.lr.X=MIN(detectRect.lr.X,keypointRight.X)
Correct.lr.Y=detectRect.lr.Y
在一些实施例,可以采用跳帧方式进行关键点检测,即视频中的部分帧进行关键点检测,另一部分帧不进行关键点检测。此时,为了实现对上述另一部分帧的车辆区域进行修正,可以在对经关键点检测的帧中车辆区域进行修正后,将该帧中修正前的车辆区域与修正后的车辆区域的比例关系进行存储,如存储检测框detectRect和修正框CorrectRect的比例关系,进而可以根据该比例关系对后续不进行关键点检测的帧进行修正。
在一个具体实施场景中,检测框与修正框的比例关系是基于顶点进行计算的。例如:找出检测框下方的两个顶点坐标,分别记为检测框左下顶点和检测框右下顶点,并且经过计算可以获取检测框左下顶点和检测框右下顶点长度记为下边长度,再找出修正框下方的两个顶点坐标,为修正框左下顶点和修正框右下顶点,将修正框左下顶点X轴的坐标值减去检测框左下顶点X轴的坐标值,得到第一长度距离,第一长度距离与下边长度的比值即为左下顶点比例值;再对修正框右边下顶点X轴的坐标值减去检测框右下顶点X轴的坐标值取绝对值,得到第二长度距离,第二长度距离与下边长度的比值即为左下顶点比例值。由此,得到检测框和修正框的比例关系,在已知检测框的情况下,可以获取修正框的位置。对于检测框与修正框的比例关系也可以依据上方两个顶点进行计算,具体计算方式可以根据实际情况进行设置,在此不做限定。
在一个实施场景中,在对当前帧中的目标车辆进行关键点检测,得到目标车辆的若干关键点之前,还需要判断当前帧为第一视频帧还是第二视频帧;若当前帧为第一视频帧,则执行对当前帧中的目标车辆进行关键点检测,得到目标车辆的若干关键点及其后续步骤;若当前帧为第二视频帧,则基于前一第一视频帧中车辆区域及其修正结果之间的比例关系,对当前帧中车辆区域进行修正。该前一第一视频帧可以理解为位于当前帧之前且与当前帧最近的第一视频帧。上述方式,对于不同的图像帧进行不同的处理,进而使最终车辆区域更加精准,并且增加了车辆位置信息的精确性。
步骤S14:基于修正后的车辆区域,对目标车辆进行压线识别,得到压线识别结果。
例如,可以检测修正后的目标车辆的车辆区域的底部边与车道线是否相交,若相交,则确定该目标车辆存在压线,否则不存在压线。上述方式,通过对车辆区域进行压线识别,实现对车辆压线的智能识别,减少人力,并提供压线识别效率,另外,还可对道路车辆行驶的管理更加方便,可以提高道路监管的人力物力和财力。
在一个实施场景中,在对目标车辆进行压线识别之后,还可以根据压线识别结果进行对应处理。具体如,若压线识别结果为目标车辆存在压线,则获取目标车辆的压线累积时间,并响应于压线累积时间超过第一预设阈值,发出目标车辆的压线警告;若压线识别结果为目标车辆不存在压线,则获取目标车辆的连续未压线时间,响应于连续未压线时间超过第二预设阈值,将压线累积时间清零。
在一个具体实施场景中,视频中存在三个目标车辆A、B、C,以目标车辆A进行举例。对每帧中的目标车辆A进行压线识别后,可将目标车辆A的压线累积时间T进行记录,且每检测到一帧中的该目标车辆A存在压线,则将该目标车辆A的压线累积时间T加一,若该压线累积时间T大于第一预设阈值,则确定该目标车辆A压线,故可发出关于该目标车辆A的压线警告,具体可对该目标车辆A进行抓拍,并将抓拍到的车辆图像一并上报给预设终端,以进行警报。若检测到该目标车辆A不存在压线,则对其连续未压线时间进行统计。若该目标车辆A的连续未压线时间达到第二预设阈值(例如两秒),则确定目标车辆A不再压线,故将目标车辆A当前的压线累积时间清零。可以理解的是,该连续未压线时间为连续多帧中的该目标车辆A不存在压线的累积时间,若中间存在一帧中的该目标车辆A压线,则该目标车辆A的连续未压线时间清零。
请参阅图5,图5是本申请压线识别方法一实施例的流程示意图。具体而言,可以包括如下步骤:
步骤S401:输入当前帧。
在一个实施场景中,可以输入包含目标车辆所在图像,也可以对道路进行监控,进而得到输入监控图像,具体输入方式根据实际应用中情况进行设置,在此不做限定。
步骤S402:对当前帧进行目标检测,以得到目标车辆的车辆区域和身份ID。
在一个实施场景中,经过目标检测可以得到当前帧中的车辆的检测区域及其车辆的ID,将位于车道内的车辆作为目标车辆,并将目标车辆的检测区域作为该目标车辆的车辆区域。
步骤S403:判断当前帧中目标车辆是否在关键点跳帧期间;若是,执行步骤S404;否则,执行步骤S405。
在一个实施场景中,对图像检测可能使用跳帧方式,需要先判断当前帧是否在跳帧期间,再对当前帧进行处理。
步骤S404:依据缓存的比例关系,计算出当前帧目标的修正框。
在一个实施场景中,若当前帧处于跳帧期间,由于每一个区间帧图像均以检测帧开始,由此可以根据关键检测帧中修正后的车辆区域与修正前的车辆区域的比例进而获取当前帧目标的修正框,即得到修正后的车辆区域。
步骤S405:对目标车辆进行关键点检测。
在一个实施场景中,若当前帧是关键检测帧,需要对目标车辆进行关键点检测。
步骤S406;对当前帧中的目标车辆进行关键点检测,得到目标车辆的若干关键点。
步骤S407:利用若干关键点中的预设类型关键点或车辆区域的尺寸,对若干关键点中的目标关键点进行位置调整。
步骤S408:利用位置调整后的目标关键点,对当前帧的车辆区域进行修正,并缓存原车辆区域与修正后的车辆区域的比例关系。
步骤S409:得到修正后车辆区域。
步骤S410:修正后车辆区域的底边是否与车道线相交;若否,执行步骤S411,否则,执行步骤S412。
步骤S411:若连续未压线时间超过时间阈值,则将压线累积时间清空置0。
步骤S412:将压线累积时间进行累加。
步骤S413:判断压线累积时间是否超过阈值,若是,执行步骤S414。
步骤S414:上报违章压线报警。
上述方案,通过在当前帧中确定目标车辆对应的车辆区域;且对当前帧中的目标车辆进行关键点检测,得到目标车辆的若干关键点;再利用若干关键点中的预设类型关键点或车辆区域的尺寸,对若干关键点中的目标关键点进行位置调整;最后利用位置调整后的目标关键点,对当前帧的车辆区域进行修正,一方面由于对当前帧中的目标车辆进行关键点检测和调整,有助于提升提高对目标关键点的位置信息精确,另一方面由于对车辆区域确定过程中,通过不断地对车辆位置信息进行调整和修正,能够尽可能地提高车辆区域信息的准确度。故此,能够提高车辆位置信息的准确性。
请参阅图6,图6是本申请压线识别装置一实施例的框架示意图。压线识别装置50包括确认模块51、检测模块52、修正模块53和识别模块54。其中,确认模块51用于在当前帧中确定目标车辆对应的车辆区域;检测模块52用于检测得到当前帧中的目标车辆的目标关键点;修正模块53用于利用目标关键点,对当前帧的车辆区域进行修正;识别模块54用于基于修正后的车辆区域,对目标车辆进行压线识别,得到压线识别结果。
上述方案,由于对车辆识别过程中,基于目标关键点的位置信息,对车辆位置信息进行修正,故能够提高车辆区域的准确度,进而利用修正后的车辆区域进行压线识别,可以提高车辆压线识别的准确性。
在一些公开实施例中,该检测得到当前帧中的目标车辆的目标关键点,包括:对当前帧中的目标车辆进行关键点检测,得到目标车辆的若干关键点;利用若干关键点中的预设类型关键点或车辆区域的尺寸,对若干关键点中的目标关键点进行位置调整;该利用目标关键点,对当前帧的车辆区域进行修正,包括:利用位置调整后的目标关键点,对当前帧的车辆区域进行修正。
在一些公开实施例中,利用若干关键点中的预设类型关键点或车辆区域的尺寸,对若干关键点中的目标关键点进行位置调整,可以从若干关键点中,查找出符合第一位置条件的至少一个目标关键点;若若干关键点中存在预设类型关键点,则利用预设类型关键点的位置,对目标关键点进行位置调整;若若干关键点中不存在预设类型关键点,且目标关键点间不满足预设位置关系,则利用车辆区域的尺寸,对目标关键点进行位置调整。
因此,通过查找目标关键点的结果,判定对目标关键点所采取的调整方式,不同的查找结果对应不同的调整方式,进而使得对目标关键点的位置调整结果更准确。
在一些公开实施例中,目标关键点包括第一目标关键点和第二目标关键点,第一目标关键点的第一轴坐标小于第二目标关键点的第一轴坐标;利用预设类型关键点的位置,对目标关键点进行位置调整,分别获取预设类型关键点的第一轴坐标与各目标关键点的第一轴坐标之间的坐标差值;再基于坐标差值得到参考差值;最后利用参考差值和预设类型关键点的第一轴坐标,确定第一目标关键点和第二目标关键点的第一轴坐标,以及利用预设类型关键点的第二轴坐标,确定第一目标关键点和第二目标关键点的第二轴坐标。
因此,通过对目标关键点进行位置调整,进而获取调整后的目标关键点,对车辆区域的位置信息准确性更高,为道路监管带来便利,进一步节省了人力物力和财力。
在一些公开实施例中,基于坐标差值得到参考差值,可以选择所有目标关键点对应的坐标差值中的最大值,作为参考差值;利用参考差值和预设类型关键点的第一轴坐标,确定第一目标关键点和第二目标关键点的第一轴坐标,将预设类型关键点的第一轴坐标与参考差值之差,作为第一目标关键点的第一轴坐标,以及预设类型关键点的第一轴坐标与参考差值之和,作为第二目标关键点的第一轴坐标;再利用预设类型关键点的第二轴坐标,确定第一目标关键点和第二目标关键点的第二轴坐标,将预设类型关键点的第二轴坐标,分别作为第一目标关键点和第二目标关键点的第二轴坐标。
因此,通过对目标关键点进行调整,使得车辆中目标关键点的位置更加准确,进一步为目标车辆的监管提供便利。
在一些公开实施例中,目标关键点包括第一目标关键点和第二目标关键点,第一目标关键点的第一轴坐标小于第二目标关键点的第一轴坐标;预设位置关系为第一目标关键点与第二目标关键点在第一轴上的第一距离小于参考距离,参考距离为车辆区域的宽的预设比值;利用车辆区域的尺寸,对目标关键点进行位置调整,可以从第一目标关键点和第二目标关键点中,选出符合第二位置条件的参考关键点;利用参考关键点的坐标和车辆区域的宽,确定第一目标关键点和第二目标关键点的坐标。
因此,通过利用参考关键点的坐标和车辆区域的宽,对目标关键点进行调整,确保目标关键点在目标车辆汇总的应用可以完成常见的操作和监管,进而提高用户的工作效率。
在一些公开实施例中,第二位置条件为在第一目标关键点和第二目标关键点中第二轴坐标最大的目标关键点;和/或,利用参考关键点的坐标和车辆区域的宽,确定第一目标关键点和第二目标关键点的坐标,若预设位置关系为第一目标关键点与第二目标关键点均位于第一侧顶点在第一轴上的参考距离范围内,则将参考关键点的坐标作为第一目标关键点的坐标,将参考关键点的第一轴坐标与参考距离之和作为第二目标关键点的第一轴坐标,将参考关键点的第二轴坐标作为第二目标关键点的第二轴坐标;若预设位置关系为第一目标关键点与第二目标关键点均位于第二侧顶点在第一轴上的参考距离范围内,则将参考关键点的坐标作为第二目标关键点的坐标,将参考关键点的第一轴坐标与参考距离之差作为第一目标关键点的第一轴坐标,将参考关键点的第二轴坐标作为第一目标关键点的第二轴坐标;其中,第一侧顶点和第二侧顶点为车辆区域的顶点,且第一侧顶点的第一轴坐标小于第二侧顶点的第一轴坐标。
因此,根据关键点信息确定目标关键点,进而提高目标车辆位置信息。
在一些公开实施例中,从若干关键点中,查找出符合第一位置条件的至少一个目标关键点,可以从若干关键点中,查找出与当前帧中的地面间的第二距离满足预设要求的两个目标关键点。
因此,根据预设要求查找出两个目标关键点,进而通过两个目标关键点对车辆区域进行调整,进而使车辆位置信息更加准确。
在一些公开实施例中,预设要求为第二距离最小;和/或,第二距离是基于关键点的第二轴坐标确定的;和/或,从若干关键点中,查找出与当前帧中的地面间的第二距离满足预设要求的两个目标关键点,需要获取若干关键点的重心;在若干关键点中,选择位于重心的第一侧且与第二距离满足预设要求的一个关键点作为第一目标关键点,选择位于重心的第二侧且与第二距离满足预设要求的一个关键点作为第二目标关键点,其中,第一侧的第一轴坐标小于第二侧的第一轴坐标。
因此,通过预设要求查找出两个目标关键点,并获取目标关键点的重心,进而确定第一目标关键点与第二目标关键点,避免对于目标关键点的确定出现偏差问题,使车辆位置信息进一步准确。
在一些公开实施例中,目标关键点包括第一目标关键点和第二目标关键点,第一目标关键点的第一轴坐标小于第二目标关键点的第一轴坐标;利用位置调整后的目标关键点,对当前帧的车辆区域进行修正,可以利用第一目标关键点的第一轴坐标调整车辆区域的第一侧顶点的第一轴坐标,利用第二目标关键点的第一轴坐标调整车辆区域的第二侧顶点的第一轴坐标,其中,第一侧顶点的第一轴坐标小于第二侧顶点的第一轴坐标。
因此,通过对当前帧的车辆区域进行修正,进而使车辆区域更加准确,为路段的监管提供了便利条件。
在一些公开实施例中,在检测得到当前帧中的目标车辆的目标关键点之前,该装置还包括判断模块,用于判断当前帧为第一视频帧还是第二视频帧;检测模块用于若当前帧为第一视频帧,则检测得到当前帧中的目标车辆的目标关键点;修正模块用于若当前帧为第一视频帧,则利用目标关键点,对当前帧的车辆区域进行修正;修正模块用于若当前帧为第二视频帧,则基于前一第一视频帧中车辆区域及其修正结果之间的比例关系,对当前帧中车辆区域进行修正。
因此,对于不同的图像帧进行不同的处理,进而使最终车辆区域更加精准,并且增加了车辆位置信息的精确性。
在一些公开实施例中,该装置还包括警告模块和时间处理模块,警告模块用于若压线识别结果为目标车辆存在压线,则获取目标车辆的压线累积时间,并响应于压线累积时间超过第一预设阈值,发出目标车辆的压线警告;时间处理模块用于若压线识别结果为目标车辆不存在压线,则获取目标车辆的连续未压线时间,响应于连续未压线时间超过第二预设阈值,将压线累积时间清零。
在一些公开实施例中,预设类型关键点为车牌关键点。
在一些公开实施例中,在当前帧中确定目标车辆所在的车辆区域,可以对当前帧进行车道线识别,得到车道线识别结果;以及对当前帧进行车辆检测,得到各车辆的检测区域;再基于车道线识别结果,将当前帧中位于车道线内的车辆确定为目标车辆,将目标车辆的检测区域确定目标车辆的车辆区域。
请参阅图7,图7是本申请电子设备一实施例的框架示意图。电子设备60包括相互耦接的存储器61和处理器62,存储器61中存储有程序指令,处理器62用于执行程序指令以实现上述任一压线识别方法实施例中的步骤。具体地,电子设备60可以包括但不限于:台式计算机、笔记本电脑、服务器、手机、平板电脑等等,在此不做限定。
具体而言,处理器62用于控制其自身以及存储器61以实现上述任一压线识别方法实施例中的步骤。处理器62还可以称为CPU(Central Processing Unit,中央处理单元)。处理器62可能是一种集成电路芯片,具有信号的处理能力。处理器62还可以是通用处理器、数字信号处理器(Digital Signal Processor, DSP)、专用集成电路(Application SpecificIntegrated Circuit, ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器62可以由集成电路芯片共同实现。
上述方案,通过在当前帧中确定目标车辆对应的车辆区域;并利用位置调整后的目标关键点,对当前帧的车辆区域进行修正,进而基于修正后的车辆区域,对目标车辆进行压线识别,由于对车辆识别过程中,基于目标关键点的位置信息,对车辆位置信息进行修正,故能够提高车辆区域的准确度,进而利用修正后的车辆区域进行压线识别,可以提高车辆压线识别的准确性。
请参阅图8,图8是本申请计算机可读存储介质一实施例的框架示意图。计算机可读存储介质70存储有能够被处理器运行的程序指令71,程序指令71用于实现上述任一压线识别方法实施例中的步骤。
上述方案,通过在当前帧中确定目标车辆对应的车辆区域;并利用位置调整后的目标关键点,对当前帧的车辆区域进行修正,进而基于修正后的车辆区域,对目标车辆进行压线识别,由于对车辆识别过程中,基于目标关键点的位置信息,对车辆位置信息进行修正,故能够提高车辆区域的准确度,进而利用修正后的车辆区域进行压线识别,可以提高车辆压线识别的准确性。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (15)
1.一种压线识别方法,其特征在于,包括:
在当前帧中确定目标车辆对应的车辆区域;
检测得到所述当前帧中的目标车辆的目标关键点;其中,所述目标关键点包括第一目标关键点和第二目标关键点,所述第一目标关键点的第一轴坐标小于所述第二目标关键点的第一轴坐标;
利用所述目标关键点,对所述当前帧的所述车辆区域进行修正;其中,利用所述第一目标关键点的第一轴坐标调整所述车辆区域的第一侧顶点的第一轴坐标,利用所述第二目标关键点的第一轴坐标调整所述车辆区域的第二侧顶点的第一轴坐标,且所述第一侧顶点的第一轴坐标小于所述第二侧顶点的第一轴坐标;
基于修正后的所述车辆区域,对所述目标车辆进行压线识别,得到压线识别结果。
2.根据权利要求1所述的方法,其特征在于,所述检测得到所述当前帧中的目标车辆的目标关键点,包括:
对所述当前帧中的目标车辆进行关键点检测,得到所述目标车辆的若干关键点;
利用所述若干关键点中的预设类型关键点或所述车辆区域的尺寸,对所述若干关键点中的目标关键点进行位置调整;
所述利用所述目标关键点,对所述当前帧的所述车辆区域进行修正,包括:
利用位置调整后的所述目标关键点,对所述当前帧的所述车辆区域进行修正。
3.根据权利要求2所述的方法,其特征在于,所述利用所述若干关键点中的预设类型关键点或所述车辆区域的尺寸,对所述若干关键点中的目标关键点进行位置调整,包括:
从所述若干关键点中,查找出符合第一位置条件的至少一个目标关键点;
若所述若干关键点中存在所述预设类型关键点,则利用所述预设类型关键点的位置,对所述目标关键点进行位置调整;
若所述若干关键点中不存在所述预设类型关键点,且所述目标关键点间不满足预设位置关系,则利用所述车辆区域的尺寸,对所述目标关键点进行位置调整。
4.根据权利要求3所述的方法,其特征在于,所述目标关键点包括第一目标关键点和第二目标关键点,所述第一目标关键点的第一轴坐标小于所述第二目标关键点的第一轴坐标;
所述利用所述预设类型关键点的位置,对所述目标关键点进行位置调整,包括:
分别获取所述预设类型关键点的第一轴坐标与各所述目标关键点的第一轴坐标之间的坐标差值;
基于所述坐标差值得到参考差值;
利用所述参考差值和所述预设类型关键点的第一轴坐标,确定所述第一目标关键点和第二目标关键点的第一轴坐标,以及利用所述预设类型关键点的第二轴坐标,确定所述第一目标关键点和第二目标关键点的第二轴坐标。
5.根据权利要求4所述的方法,其特征在于,所述基于所述坐标差值得到参考差值,包括:
选择所有所述目标关键点对应的所述坐标差值中的最大值,作为所述参考差值;
所述利用所述参考差值和所述预设类型关键点的第一轴坐标,确定所述第一目标关键点和第二目标关键点的第一轴坐标,包括:
将所述预设类型关键点的第一轴坐标与所述参考差值之差,作为所述第一目标关键点的第一轴坐标,以及所述预设类型关键点的第一轴坐标与所述参考差值之和,作为所述第二目标关键点的第一轴坐标;
所述利用所述预设类型关键点的第二轴坐标,确定所述第一目标关键点和第二目标关键点的第二轴坐标,包括:
将所述预设类型关键点的第二轴坐标,分别作为所述第一目标关键点和第二目标关键点的第二轴坐标。
6.根据权利要求3所述的方法,其特征在于,所述目标关键点包括第一目标关键点和第二目标关键点,所述第一目标关键点的第一轴坐标小于所述第二目标关键点的第一轴坐标;
所述预设位置关系为所述第一目标关键点与第二目标关键点在第一轴上的第一距离小于参考距离,所述参考距离为所述车辆区域的宽的预设比值;
所述利用所述车辆区域的尺寸,对所述目标关键点进行位置调整,包括:
从所述第一目标关键点和第二目标关键点中,选出符合第二位置条件的参考关键点;
利用所述参考关键点的坐标和所述车辆区域的宽,确定所述第一目标关键点和第二目标关键点的坐标。
7.根据权利要求6所述的方法,其特征在于,所述第二位置条件为在所述第一目标关键点和第二目标关键点中第二轴坐标最大的目标关键点;和/或,
所述利用所述参考关键点的坐标和所述车辆区域的宽,确定所述第一目标关键点和第二目标关键点的坐标,包括:
若所述预设位置关系为所述第一目标关键点与第二目标关键点均位于第一侧顶点在第一轴上的参考距离范围内,则将所述参考关键点的坐标作为所述第一目标关键点的坐标,将所述参考关键点的第一轴坐标与所述参考距离之和作为所述第二目标关键点的第一轴坐标,将所述参考关键点的第二轴坐标作为所述第二目标关键点的第二轴坐标;
若所述预设位置关系为所述第一目标关键点与第二目标关键点均位于第二侧顶点在第一轴上的参考距离范围内,则将所述参考关键点的坐标作为所述第二目标关键点的坐标,将所述参考关键点的第一轴坐标与所述参考距离之差作为所述第一目标关键点的第一轴坐标,将所述参考关键点的第二轴坐标作为所述第一目标关键点的第二轴坐标;
其中,所述第一侧顶点和第二侧顶点为所述车辆区域的顶点,且所述第一侧顶点的第一轴坐标小于所述第二侧顶点的第一轴坐标。
8.根据权利要求3所述的方法,其特征在于,所述从所述若干关键点中,查找出符合第一位置条件的至少一个目标关键点,包括:
从所述若干关键点中,查找出与所述当前帧中的地面间的第二距离满足预设要求的两个目标关键点。
9.根据权利要求8所述的方法,其特征在于,所述预设要求为所述第二距离最小;
和/或,所述第二距离是基于所述关键点的第二轴坐标确定的;
和/或,所述从所述若干关键点中,查找出与所述当前帧中的地面间的第二距离满足预设要求的两个目标关键点,包括:
获取所述若干关键点的重心;
在所述若干关键点中,选择位于所述重心的第一侧且与所述第二距离满足预设要求的一个关键点作为第一目标关键点,选择位于所述重心的第二侧且与所述第二距离满足预设要求的一个关键点作为第二目标关键点,其中,所述第一侧的第一轴坐标小于所述第二侧的第一轴坐标。
10.根据权利要求1所述的方法,其特征在于,在所述检测得到所述当前帧中的目标车辆的目标关键点之前,所述方法还包括:
判断所述当前帧为第一视频帧还是第二视频帧;
若所述当前帧为第一视频帧,则执行所述检测得到所述当前帧中的目标车辆的目标关键点及其后续步骤;
所述方法还包括:
若所述当前帧为第二视频帧,则基于前一所述第一视频帧中所述车辆区域及其修正结果之间的比例关系,对所述当前帧中所述车辆区域进行修正;
基于修正后的所述车辆区域,对所述目标车辆进行压线识别,得到压线识别结果。
11.根据权利要求1所述的方法,其特征在于,在所述基于修正后的所述车辆区域,对所述目标车辆进行压线识别之后,所述方法还包括:
若所述压线识别结果为所述目标车辆存在压线,则获取所述目标车辆的压线累积时间,并响应于所述压线累积时间超过第一预设阈值,发出所述目标车辆的压线警告;
若所述压线识别结果为所述目标车辆不存在压线,则获取所述目标车辆的连续未压线时间,响应于所述连续未压线时间超过第二预设阈值,将所述压线累积时间清零。
12.根据权利要求1所述的方法,其特征在于,所述在当前帧中确定目标车辆所在的车辆区域,包括:
对所述当前帧进行车道线识别,得到车道线识别结果;以及
对所述当前帧进行车辆检测,得到各车辆的检测区域;
基于所述车道线识别结果,将所述当前帧中位于车道线内的车辆确定为所述目标车辆,将所述目标车辆的检测区域确定所述目标车辆的车辆区域。
13.一种压线识别装置,其特征在于,包括:
确认模块,用于在当前帧中确定目标车辆对应的车辆区域;
检测模块,用于检测得到所述当前帧中的目标车辆的目标关键点;其中,所述目标关键点包括第一目标关键点和第二目标关键点,所述第一目标关键点的第一轴坐标小于所述第二目标关键点的第一轴坐标;
修正模块,用于利用所述目标关键点,对所述当前帧的所述车辆区域进行修正;其中,利用所述第一目标关键点的第一轴坐标调整所述车辆区域的第一侧顶点的第一轴坐标,利用所述第二目标关键点的第一轴坐标调整所述车辆区域的第二侧顶点的第一轴坐标,且所述第一侧顶点的第一轴坐标小于所述第二侧顶点的第一轴坐标;
识别模块,用于基于修正后的所述车辆区域,对所述目标车辆进行压线识别,得到压线识别结果。
14.一种电子设备,其特征在于,包括相互耦接的存储器和处理器,所述存储器中存储有程序指令,所述处理器用于执行所述程序指令以实现权利要求1至12任一项所述的压线识别方法。
15.一种计算机可读存储介质,其特征在于,存储有能够被处理器运行的程序指令,所述程序指令用于实现权利要求1至12任一项所述的压线识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111475782.0A CN113962249B (zh) | 2021-12-06 | 2021-12-06 | 压线识别方法及装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111475782.0A CN113962249B (zh) | 2021-12-06 | 2021-12-06 | 压线识别方法及装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113962249A CN113962249A (zh) | 2022-01-21 |
CN113962249B true CN113962249B (zh) | 2022-04-19 |
Family
ID=79473142
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111475782.0A Active CN113962249B (zh) | 2021-12-06 | 2021-12-06 | 压线识别方法及装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113962249B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109740424A (zh) * | 2018-11-23 | 2019-05-10 | 深圳市华尊科技股份有限公司 | 交通违规识别方法及相关产品 |
CN112580457A (zh) * | 2020-12-09 | 2021-03-30 | 上海眼控科技股份有限公司 | 车辆视频的处理方法、装置、计算机设备和存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9836716B2 (en) * | 2006-05-09 | 2017-12-05 | Lytx, Inc. | System and method for reducing driving risk with hindsight |
-
2021
- 2021-12-06 CN CN202111475782.0A patent/CN113962249B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109740424A (zh) * | 2018-11-23 | 2019-05-10 | 深圳市华尊科技股份有限公司 | 交通违规识别方法及相关产品 |
CN112580457A (zh) * | 2020-12-09 | 2021-03-30 | 上海眼控科技股份有限公司 | 车辆视频的处理方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113962249A (zh) | 2022-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109635685B (zh) | 目标对象3d检测方法、装置、介质及设备 | |
CN112417953B (zh) | 道路状况检测和地图数据更新方法、装置、系统及设备 | |
US11380105B2 (en) | Identification and classification of traffic conflicts | |
EP2924654B1 (en) | Image processing apparatus and image processing method | |
CN113128348A (zh) | 一种融合语义信息的激光雷达目标检测方法及系统 | |
KR102253989B1 (ko) | 딥러닝 객체 검출기를 이용한 cctv 영상의 객체 추적 방법 | |
CN109191498B (zh) | 基于动态记忆和运动感知的目标检测方法及系统 | |
CN110533046B (zh) | 一种图像实例分割方法、装置、计算机可读存储介质及电子设备 | |
Saran et al. | Traffic video surveillance: Vehicle detection and classification | |
KR102579542B1 (ko) | 군중 밀집도 기반의 위험 지역 자동 알림 시스템 | |
CN114332702A (zh) | 目标区域的检测方法和装置、存储介质及电子设备 | |
CN112883768A (zh) | 对象计数方法及装置、设备、存储介质 | |
JP7165353B2 (ja) | 画像特徴量出力装置、画像認識装置、画像特徴量出力プログラム、及び画像認識プログラム | |
Ashraf et al. | HVD-net: a hybrid vehicle detection network for vision-based vehicle tracking and speed estimation | |
CN112633228A (zh) | 停车检测方法、装置、设备及存储介质 | |
CN113962249B (zh) | 压线识别方法及装置、电子设备和存储介质 | |
CN112215188A (zh) | 交警姿态识别方法、装置、设备及存储介质 | |
CN112926426A (zh) | 基于监控视频的船舶识别方法、系统、设备及存储介质 | |
CN114898306B (zh) | 一种检测目标朝向的方法、装置及电子设备 | |
Płaczek | A real time vehicle detection algorithm for vision-based sensors | |
CN113177917B (zh) | 一种抓拍图像优选方法、系统、设备及介质 | |
CN114913329A (zh) | 一种图像处理方法、语义分割网络的训练方法及装置 | |
Denman et al. | Multi-view intelligent vehicle surveillance system | |
CN114999183B (zh) | 一种交通路口车流量检测方法 | |
CN114926973B (zh) | 一种视频监控方法、装置、系统、服务器及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |