CN112924707B - 利用影像追踪的车辆速度检测装置及方法 - Google Patents

Abstract

本发明提供一种利用影像追踪的车辆速度检测装置及方法。本发明提供的利用影像追踪的车辆速度检测装置包括：处理器；以及连接于所述处理器的存储器，其中，所述存储器存储所述处理器可执行程序指令，使得在道路上的车辆的移动区域生成虚拟的格子、在通过摄像头拍摄的影像的连续的帧检测车辆、在所述连续的帧利用所述虚拟的格子计算检测到的车辆的移动距离、利用计算出的所述移动距离计算车辆的速度。

Description

利用影像追踪的车辆速度检测装置及方法

技术领域

本发明涉及一种利用影像追踪的车辆速度检测装置及方法。

背景技术

目前，在道路上的车辆的超速管制，是以通过埋设在道路的线圈提取车辆的速度，并在车辆超过限速行驶时通过影像信息识别号牌收取罚款的形态进行。

但该方式需要过多的维持费用，因此很难在所有系统采用该方式维持，因此正在进行能够代替该方法的技术的诸多研究。

最近提出通过分析影像检测车辆的速度的方法。

但是，这种方法无法准确地检测到车辆，或者发生摄像头的晃动的情况下产生较大误差的问题。

【在先技术文献】

【专利文献】

(专利文献1)韩国公开公报第10-2017-0080481号

发明内容

技术问题

为了解决上述现有技术的问题点，提出能够提高判断车辆是否违反速度的准确度的利用影像追踪的车辆速度检测装置及方法。

技术方案

为了达成如上所述目的，根据本发明的一个实施例提供一种利用影像追踪的车辆速度检测装置，包括：处理器；以及连接于所述处理器的存储器，其中，所述存储器存储所述处理器可执行程序指令，使得在道路上的车辆的移动区域生成虚拟的格子、在通过摄像头拍摄的影像的连续的帧检测车辆、在所述连续的帧利用所述虚拟的格子计算检测到的车辆的移动距离、利用计算出的所述移动距离计算车辆的速度。

所述存储器中可以存储所述处理器可执行程序指令，使得在检测所述车辆之前存储拍摄开始时的最初帧中的一个以上的焦点的坐标、识别在所述连续的帧的所述一个以上的焦点的坐标的变化、利用所述坐标的变化补正所述连续的帧的位置。

所述存储器中可以存储所述处理器可执行程序指令，使得在检测所述车辆之前将各个预设个数的帧分割为多个区域，计算所述预设个数的帧内的多个分割区域中各分割区域的亮度及颜色等级，按多个分割区域利用频度数高的亮度及颜色等级生成道路背景。

可利用生成的所述道路背景与所述连续的帧的差影像执行所述车辆的检测。

所述存储器中可以存储所述处理器可执行程序指令，使得通过检测检测到的所述车辆的阴影区域或检测轮子搜索车辆的轮胎下端地点、将搜索到的所述车辆的轮胎下端地点确定为主要点、追踪确定的所述主要点在所述虚拟格子内的坐标的变化计算车辆的移动距离。

所述存储器中可以存储所述处理器可执行程序指令，使得利用实际拍摄的格子图像和拍摄所述格子图像时配置于指定位置的预设形状的格子整合部的棱角信息按所述道路生成所述虚拟格子。

所述速度检测装置，还可以包括格子信息存储部，其存储所述实际拍摄的格子图像的格子坐标信息、所述格子整合部的棱角坐标信息及拍摄所述格子图像时摄像头的参数信息。

所述存储器中可以存储所述处理器可执行程序指令，使得以所述连续的帧单位计算所述车辆的移动距离，并对其单纯平均或加权平均计算所述车辆的速度。

所述存储器中可以存储所述处理器可执行程序指令，使得以所述连续的帧单位计算所述车辆的移动距离的频度数，利用以最多频度数出现的移动距离计算所述车辆的速度。

根据本发明的另一实施例，提供一种车辆速度检测方法，是在与摄像头连接的装置利用影像追踪的车辆的速度检测方法，包括：在道路上的车辆的移动区域生成虚拟的格子的步骤；在通过摄像头拍摄的影像的连续的帧检测车辆的步骤；在所述连续的帧利用所述虚拟的格子计算检测到的车辆的移动距离的步骤；以及利用计算出的所述移动距离计算车辆的速度的步骤。

技术效果

根据本发明，由于利用频度数生成道路背景，利用虚拟格子计算车辆的速度，因此能够提高准确度。

附图说明

图1是示出本发明的一个实施例的利用影像追踪的速度检测系统的构成的示意图；

图2是示出本发明的一个实施例的车辆的速度检测过程的示意图；

图3是用于说明利用焦点的晃动补正过程的示意图；

图4是用于说明本实施例的道路背景的提取过程的示意图；

图5是本实施例的道路背景的生成过程的流程图；

图6是用于例示性地说明本实施例的道路背景的生成过程的示意图；

图7是用于说明利用车辆的阴影区域搜索轮胎下端地点的过程的示意图；

图8是用于说明通过检测车辆的轮子搜索轮胎下端地点的过程的示意图；

图9是示出本实施例的虚拟的格子的示意图；

图10至图11示出计算车辆的速度的多种方式；

图12是用于说明利用本实施例的实际格子图像生成虚拟的格子的过程的示意图；

图13是用于说明用于生成虚拟格子的整合过程的示意图；

图14是示出本实施例的速度检测装置的构成的示意图；

图15是用于说明本发明的另一实施例的追踪车辆的运动的过程的示意图。

具体实施方式

本发明可以进行多种变更，可以具有多种实施例，因此在附图例示特定实施例并进行具体说明。

但这并非旨在将本发明限定于特定的实施形态，应该理解为包括本发明的思想及技术范围内的所有变更、均同物及替代物。在说明各附图时对类似的构成要素使用类似的附图标记。

图1是示出本发明的一个实施例的利用影像追踪的速度检测系统的构成的示意图。

如图1所示，本实施例的速度检测系统可以包括摄像头100、计算装置102、显示部104及用户界面部106。

摄像头100拍摄道路区域。

摄像头100可以设置成移动式，还可以像CCTV设置成固定式。

计算装置102具有存储器及处理器，是分析影像并识别车辆以检测车辆的速度的装置。

以下，将计算装置定义为速度检测装置。

显示部104显示通过摄像头100拍摄的影像。

根据本实施例，为了检测车辆的速度，拍摄格子图像及指定形状的格子整合部，并利用此在道路上生成虚拟格子，在此，可以执行利用指定形状的格子整合部的整合过程。

用户可以执行将显示在显示部104的、在当前时间点拍摄的格子整合部的棱角对齐在之前拍摄格子图像提取的格子整合部的棱角的整合过程。

并且，用户界面部106是用户输入用于检测速度的各种参数的构件。

本实施例的速度检测装置102分析通过摄像头100输入的影像提取道路背景。道路背景的提取是为了准确识别移动的物体即车辆的先行过程。

并且，速度检测装置102以道路背景为基准识别在道路移动的车辆，算出其速度。

优选地，在本实施例的速度检测系统，摄像头100可以设置成移动式，因此为了提高速度检测的准确性，需要补正摄像头100晃动。这将在下面具体说明。

并且，本实施例的速度检测装置102在拍摄道路的影像生成虚拟的格子，并基于虚拟的格子检测车辆的速度。

为了生成虚拟的格子，速度检测装置102可以拍摄实际的格子图像，并执行根据道路上的位置将其整合的过程。

拍摄实际的格子图像时，可以同时存储关于摄像头的镜头种类、高度、与格子的距离、格子的单元大小的信息。之后为了检测速度将摄像头100设置在道路上的情况下，执行提取基于设置条件的格子图像，并根据道路环境将其整合的过程。

在此，可以利用四角形状的格子整合部执行格子整合，这将在以下再次具体说明。

速度检测装置102在通过摄像头100拍摄的视频的各个帧识别车辆，将在帧中的车辆的位置换算为实际位置计算移动距离。之后，通过移动距离计算车辆的速度。

计算出的速度超过预设速度的情况下，存储相应车辆相关信息(车辆图像及号牌)。

图2是示出本发明的一个实施例的车辆的速度检测过程的示意图。

如图2所示，速度检测装置102获取通过摄像头100拍摄的影像(步骤200)，执行晃动补正(步骤202)。

步骤202是用于防止摄像头100由于风或周围振动发生晃动而在实时视频根据时间的车辆的位置(坐标)发生误差的过程。

可在参考帧利用至少一个焦点执行晃动补正。

例如，如图3所示，存储拍摄开始时的最初帧中的焦点的坐标，并识别之后连续的帧中的焦点的坐标的变化。

在连续的帧中的焦点的坐标变更为与最初帧中的坐标不同的情况下，将连续的帧的上下左右位置补正相当于变更的位置的量。

可以在最初帧由用户手动将左下端或右下端地点指定为焦点，还可以在设置摄像头100的状态下在道路地面的指定位置设置物理焦点补正部，并在最初帧内将相应焦点补正部的坐标设定为焦点。

在此，焦点的个数可以是一个以上，优选的是能够利用4个焦点补正各帧的位置。

根据本发明的另一实施例，设置多个焦点的情况下，在最初帧识别多个特征点，可以自动或手动选择这些特征点。在此，可以配置物理的指定形状(例如，四角形状)的焦点补正部，将焦点补正部的各个棱角地点设定为焦点。

晃动有在单一平面上晃动的平面晃动和立体地晃动的立体晃动。

只存在平面晃动的情况下，可通过单一焦点补正晃动。

但，立体晃动的情况下，需要多个焦点，以下说明的指定形状的整合部可用于立体晃动补正。

并且，还可以将通过摄像头拍摄的固定设施物(例如，信号灯、树等)作为多个焦点补正晃动。

并且，还可以在一个帧内分割多个区域，在各区域内自动或手动指定一个以上的特征点补正晃动。

执行晃动补正后，速度检测装置102提取道路背景(步骤204)。

速度检测装置102对预设个数帧分别进行横/竖分割，根据亮度/颜色频度将最频帧选定为代表帧，并将此确定为道路背景。

图4是用于说明本实施例的道路背景的提取过程的示意图。

参见图4，速度检测装置102将通过摄像头100拍摄的视频的各个帧横竖分割，生成多个分割区域(步骤400)。

之后，按分割区域计算亮度/颜色数值等级(步骤402)。

步骤402中的数值等级可以是按各分割区域的亮度/颜色的平均。

速度检测装置102判断帧个数是否达到预设临界值(步骤404)。

帧个数达到临界值的情况下，速度检测装置102按预设个数的帧内的各个分割区域计算亮度/颜色等级的频度数(步骤406)。

之后，按各分割区域利用频度数最高的亮度/颜色等级(最频列表)生成道路背景(步骤408)。

为了生成道路背景影像，用户可以通过用户界面部106设定相当于用于生成道路背景的临界值的帧的个数、颜色平均基准等。

在此，颜色平均基准可以设定为RGB信道、RGB颜色值和、灰度平均等多种基准中一个。

图5是本实施例的道路背景的生成过程的流程图。

图5是示出将各帧分割为9个区域，并利用3个帧提取道路背景的过程的示意图。

图5中，只有在第一帧的4号分割区域存在车辆。因此，3个帧中4号分割区域的亮度/颜色等级最频列表是除了第一帧的第二及第三帧中的4号分割区域的亮度/颜色等级。

与此相同，只有第二帧的5号分割区域存在车辆的情况下，3个帧中5号分割区域的最频列表是第一及第三帧中的5号分割区域的亮度/颜色等级。

通过这种方式，速度检测装置102参照1至9号分割区域的最频列表生成道路背景。

再次参见图2，速度检测装置102提取道路背景后，在通过摄像头100拍摄的影像识别车辆(移动物体)(步骤206)。

如图6所示，可以通过计算预先提取的道路背景与当前帧的差执行车辆的识别。当前帧中不存在车辆的情况下，当前帧与道路背景相同，因此像素值的差异可能为0，存在车辆的情况下，存在车辆的区域的像素值可以是1的值。

如此获得差影像后，能够通过边缘检测识别车辆。

识别车辆后，速度检测装置102搜索识别的车辆的主要点(步骤208)。

在此，主要点表示在连续的帧确定车辆的坐标的基准点。

优选地，主要点可以确定为车辆的轮胎下端地点，轮胎下端地点可通过检测阴影区域或检测轮子执行。

图7是用于说明利用车辆的阴影区域搜索轮胎下端地点的过程的示意图。

参见图7，车辆的下端存在通过阴影表现为暗的区域。

速度检测装置102在车辆的轮廓线内搜索具有比预设临界值小的亮度的地点，并在帧内搜索最下端左侧或右侧地点。

根据本实施例，考虑到车道线和车辆的行驶方向，拍摄车辆后方的情况下，主要点可以是右侧后轮胎下端地点，拍摄车辆前方的情况下，主要点可以是右侧前轮胎下端地点。

在此，轮胎下端地点可以定义为包括一个以上的像素的区域。

图8是用于说明通过检测车辆的轮子搜索轮胎下端地点的过程的示意图。

根据本实施例，在车辆区域利用RANSAC算法搜索椭圆，比较椭圆周围的颜色搜索车辆的轮子。在此，关于轮子的判别，在椭圆内侧地点的亮度与椭圆外侧地点的亮度的差异大于预设临界值的情况下识别为轮子。

之后，与轮子的大小成比例地搜索轮胎下端地点。

与图7相同地，拍摄车辆后方的情况下，在帧内将右侧下端确定为主要点，拍摄车辆前方的情况下，在帧内将左侧下端确定为主要点。

速度检测装置102在连续的帧追踪车辆的主要点的坐标在虚拟格子内的运动，计算随时间的车辆的移动距离，通过此计算车辆的速度(步骤210)。速度检测装置102在车辆的速度超过预设速度的情况下，速度检测装置102识别相应车辆的号牌(步骤212)。

图9是示出本实施例的虚拟格子的示意图。

如图9所示，可以在道路的虚拟的格子预设计算开始线及计算结束线。

速度检测装置102利用经过计算开始线与计算结束线之间的车辆的主要点的坐标和与格子的交叉点计算车辆的速度。

在此，利用第一时间点的帧中的交叉点和第一时间点的下一时间点即第二时间的帧中的交叉点的距离计算移动距离，利用帧时间间隔计算车辆的速度。

在此，可以进行多次车辆的速度计算。

图10至图11示出计算车辆的速度的多种方式。

如图10所示，可以以连续的帧单位计算移动距离，并对此进行单纯平均或加权平均后除以时间计算速度。

并且，如图11所示，也可以在计算开始线和计算结束线确定以大量频度出现的距离，通过此计算车辆的速度。

与图10至图11不同，也可以利用从计算开始线到计算结束线的移动时间计算速度。

如上所述，本实施例的速度检测装置102基于道路上的虚拟格子计算车辆的速度。

图12是用于说明利用本实施例的实际格子图像生成虚拟格子的过程的示意图。

如图12所示，在指定位置配置摄像头拍摄位于前方的格子形状的地面。

在拍摄的影像识别格子图像，并在识别到的格子图像提取格子坐标存储在数据库。

数据库(格子信息存储部)同时存储关于拍摄实际的格子图像的摄像头的镜头种类、高度、与格子的距离、格子的单元大小的信息。

如此存储具有关于摄像头的多种参数的信息，是为了根据设置在实际道路的摄像头的种类、设置位置提取对应的格子。

根据本实施例，拍摄实际的格子图像时，可以在指定位置配置四角形状的格子整合部。优选的是，四角形状的整合部的水平方向与实际的格子的水平方向平行地配置。

本实施例的计算装置102提取预先拍摄的实际的格子的坐标信息和格子整合部的棱角坐标信息，在格子信息存储部同时存储摄像头参数和如上所述地提取到的格子坐标信息及棱角坐标信息。

在实际的道路设置摄像头并生成虚拟的格子的情况下，在拍摄实际的格子的时间点的格子的方向与在实际的道路上的方向可能多少会有差异。

根据本实施例,在实际的道路设置摄像头的情况下，通过摄像头输入的影像中，之前提取到的格子整合部的棱角显示在画面的指定位置。

并且，操作者在邻近道路的指定位置配置拍摄格子图像时所使用的格子整合部。

在此优选的是，四角形状的格子整合部配置成与道路的行进方向平行。

根据道路环境，画面上显示的棱角与配置在道路上的格子整合部的位置可能会不一致。

在此，如图13所示，操作者将画面上显示的棱角与配置在道路上的格子整合部的棱角对齐，因此通过几何变形提取的格子变换成适于实际的道路环境的虚拟的格子。

这可以通过齐次变换(homogeneous transformation)过程定义。

以上说明了通过拍摄实际的格子图像在道路上生成虚拟的格子，但无需限定于此，可以生成具有指定大小的格子纹路，并根据道路行进方向相应地对齐进行变形以在道路上生成虚拟的格子。

并且，根据本发明的一个实施例，为了生成虚拟的格子，可以使用多个格子整合部。例如，是曲线道路且曲率大的情况下，可在一定位置配置多个格子整合部生成适于实际道路环境的虚拟的格子。

图14是示出本实施例的速度检测装置的构成的示意图。

如图14所示，本实施例的速度检测装置可以包括处理器1400、存储器1402及格子信息存储部1404。

处理器1400可以包括能够运行计算机程序的CPU(central processing unit)，或者其他的虚拟机等。

存储器1402可以包括固定式硬盘或拆装式存储装置等非易失性存储装置。拆装式存储装置可以包括紧凑式闪存单元、USB存储棒等。存储器1402还可以包括各种随机接入存储器等易失性存储器。

这种存储器1402中存储处理器1400可执行程序指令。

格子信息存储部1404中存储实际拍摄到的格子图像的格子坐标信息、所述格子整合部的棱角坐标信息及关于拍摄格子图像时的摄像头的镜头种类、高度、与格子的距离、格子的单元大小的信息等参数信息。

为了本实施例的速度检测，存储器1402中存储处理器1400可执行程序指令，使得在道路上的车辆的移动区域生成虚拟的格子，在通过摄像头拍摄的影像的连续的帧检测车辆，在所述连续的帧利用所述虚拟的格子计算检测到的车辆的移动距离，利用计算出的所述移动距离计算车辆的速度。

并且，存储器1402还可以存储用于在检测车辆之前存储拍摄开始时的最初帧中的一个以上的焦点的坐标，并识别在连续的帧的所述一个以上的焦点的坐标的变化，利用坐标的变化补正连续的帧的位置的程序指令。

为了生成道路背景，存储在存储器1402的程序指令能够将预设个数的帧的各个分割为多个区域，计算预设个数的帧内的多个分割区域各个的亮度及颜色等级，按多个分割区域利用频度数高的亮度及颜色等级生成道路背景。

可通过算出如上生成的道路背景与连续的帧中的差影像执行车辆的检测。

并且，用于车辆的追踪的主要点可用通过检测车辆的阴影区域或检测轮子的车辆的轮胎下端地点确定。

存储于本实施例的存储器1402的程序指令可利用实际拍摄的格子图像和拍摄所述格子图像时配置在指定位置的预设形状的格子整合部的棱角信息，按所述道路生成所述虚拟格子。

存储到存储这种实际拍摄的格子图像的格子坐标信息、格子整合部的棱角坐标信息及拍摄所述格子图像时的摄像头的参数信息的格子信息存储部1404。

本实施例的存储器1402存储以连续的帧单位计算车辆的移动距离，并对此单纯平均或加权平均计算所述车辆的速度，或者以连续的帧单位计算车辆的移动距离的频度数，并利用以最多频度数出现的移动距离计算车辆的速度的程序指令。

以上说明了通过追踪搜索的主要点的坐标计算车辆的移动距离，但根据情况有可能发生搜索主要点失败的情况。图15是用于说明本发明的另一实施例的追踪车辆的运动的过程的示意图。

参见图15，考虑搜索不到主要点的情况，速度检测装置102参照道路上的虚拟格子生成相应于车辆的行进方向的多个虚拟线(虚拟垂直线)1500。

速度检测装置102搜索多个虚拟线与车辆的外廓线之间的交叉点1502。

之后，追踪交叉点1502的移动计算车辆的速度。

在此，可以存在多个交叉点1502，还可以选择其中至少一个作为基准点，通过追踪基准点计算车辆的移动距离。

【产业可用性】

上述本发明的实施例是为了例示的目的而公开的，具有关于本发明的一般知识的本领域技术人员能够在本发明的思想及范围内进行多种修改、变更、附加，这种修改、变更、附加应视为包含于权利要求范围。

Claims (8)

1.一种利用影像追踪的车辆速度检测装置，包括：

处理器；以及

连接于所述处理器的存储器，

其中，所述存储器存储所述处理器可执行的程序指令，使得在道路上的车辆的移动区域生成虚拟的格子、在通过摄像头拍摄的影像的连续的帧检测车辆、在所述连续的帧利用所述虚拟的格子计算检测到的车辆的移动距离、利用计算出的所述移动距离计算车辆的速度，

所述程序指令利用实际拍摄的格子图像和拍摄所述格子图像时配置于指定位置的预设形状的格子整合部的棱角信息按所述道路生成所述虚拟的格子，

在检测所述车辆之前将预设个数的帧中的每一个分割为多个区域，计算所述预设个数的帧内的多个分割区域中各分割区域的亮度及颜色等级，按多个分割区域利用频度数高的亮度及颜色等级生成道路背景。

2.根据权利要求1所述的利用影像追踪的车辆速度检测装置，其中，

所述存储器存储所述处理器可执行程序指令，使得在检测所述车辆之前存储拍摄开始时的最初帧中的一个以上的焦点的坐标、识别在所述连续的帧的所述一个以上的焦点的坐标的变化、利用所述坐标的变化补正所述连续的帧的位置。

3.根据权利要求1所述的利用影像追踪的车辆速度检测装置，其中，

利用生成的所述道路背景与所述连续的帧的差影像执行所述车辆的检测。

4.根据权利要求1所述的利用影像追踪的车辆速度检测装置，其中，

所述存储器存储所述处理器可执行程序指令，使得通过检测检测到的所述车辆的阴影区域或检测轮子搜索车辆的轮胎下端地点、将搜索到的所述车辆的轮胎下端地点确定为主要点、追踪确定的所述主要点在所述虚拟格子内的坐标的变化计算车辆的移动距离。

5.根据权利要求1所述的利用影像追踪的车辆速度检测装置，其中，还包括：

格子信息存储部，其存储所述实际拍摄的格子图像的格子坐标信息、所述格子整合部的棱角坐标信息及拍摄所述格子图像时摄像头的参数信息。

6.根据权利要求1所述的利用影像追踪的车辆速度检测装置，其中，

所述存储器存储所述处理器可执行程序指令，使得以所述连续的帧单位计算所述车辆的移动距离，并对其单纯平均或加权平均计算所述车辆的速度。

7.根据权利要求1所述的利用影像追踪的车辆速度检测装置，其中，

所述存储器存储所述处理器可执行程序指令，使得以所述连续的帧单位计算所述车辆的移动距离的频度数，利用以最多频度数出现的移动距离计算所述车辆的速度。

8.一种利用影像追踪的车辆速度检测方法，是在与摄像头连接的装置利用影像追踪的车辆的速度检测方法，包括：

(a)在道路上的车辆的移动区域生成虚拟的格子的步骤；

(b)将预设个数的帧中的每一个分割为多个区域以生成道路背景的步骤；

(c)在通过摄像头拍摄的影像的连续的帧检测车辆的步骤；

(d)在所述连续的帧利用所述虚拟的格子计算检测到的车辆的移动距离的步骤；以及

(e)利用计算出的所述移动距离计算车辆的速度的步骤,

在所述(a)的步骤中，利用实际拍摄的格子图像和拍摄所述格子图像时配置于指定位置的预设形状的格子整合部的棱角信息按所述道路生成所述虚拟的格子，

在所述(b)的步骤中，计算所述预设个数的帧内的多个分割区域中各分割区域的亮度及颜色等级，按多个分割区域利用频度数高的亮度及颜色等级生成道路背景。