CN107092856A - 用于车辆分类的方法和系统 - Google Patents

用于车辆分类的方法和系统 Download PDF

Info

Publication number
CN107092856A
CN107092856A CN201710053855.4A CN201710053855A CN107092856A CN 107092856 A CN107092856 A CN 107092856A CN 201710053855 A CN201710053855 A CN 201710053855A CN 107092856 A CN107092856 A CN 107092856A
Authority
CN
China
Prior art keywords
vehicle
mobile object
image
scan line
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710053855.4A
Other languages
English (en)
Inventor
B.巴努
N.萨库尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of California
Original Assignee
University of California
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of California filed Critical University of California
Publication of CN107092856A publication Critical patent/CN107092856A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种车辆分类的方法和系统，并且更特别地涉及一种使用视频和/或视频图像的称作分层车辆分类系统的方法和系统，一种使用车辆离地间隙测量系统的车辆分类的方法和系统，以及用于客运车辆的分类并且测量它们的属性的方法和系统，而且更特别地涉及从单个相机捕获沿着道路行进的车辆并且将所述车辆分类成车辆类别。

Description

用于车辆分类的方法和系统
技术领域
本案是申请号：201280023237.0，发明名称为：用于车辆分类的方法和系统的分案申请。本发明涉及一种车辆分类的方法和系统，并且更特别地涉及一种使用视频和/或视频图像的称作分层车辆分类系统的方法和系统、一种使用车辆离地间隙测量系统的车辆分类的方法和系统，以及用于客运车辆的分类并且测量它们的属性的方法和系统，而且更特别地涉及从单个相机捕获沿着道路行进的车辆并且将所述车辆分类成3个类别中的一个：轿车(Sedan)、皮卡(Pickup)和/或小型货车(Minivan)及SUV (运动型多用途车)。
背景技术
车辆被典型地分类成六(6)个类别中的一个：轿车、皮卡、小型货车、SUV (运动型多用途车)、公共汽车以及卡车。当前，人们认为用于分类路上民用车辆的这种系统不存在。基于现有技术水平视频的车辆分类器单独基于它们的大小来分类车辆。因此，这些系统在各种客运和商用车辆的细粒分类中失败。
已经针对车辆的侧视图做过学术研究；然而，用于根据后视图视频来分类车辆的现有工作不存在。典型系统具有指向道路车道的相机使得该相机的水平扫描线与地平线平行。因此，将期望具有用于根据车辆的后视图和/或后端的视频的车辆的分层分类的软件系统。
此外，客运车辆分类的当前方法和系统依靠车辆的侧视图。通常，车辆的侧剖面是用来准确地分类车辆的关键信息。然而，在多车道道路上，侧剖面能够容易地被其他车辆挡住。此外，沿着高速公路和其他道路部署的大多数相机捕获车辆的后视图使基于侧剖面的技术变得无用。因此，存在对基于车辆的后端或后部的相机图像来分类客运车辆的系统和方法的需要。
发明内容
依照示例性实施例，用于计算车辆的分层分类的方法包括：使用移动对象检测系统来定位移动对象；基于所述移动对象相对于车行道车道的宽度的宽度来确定所述移动对象是否是小车辆或大车辆；以及将所述移动对象分配给分类器以得到细化分类。
依照进一步的示例性实施例，用于车辆的分类的系统包括：相机，用于捕获至少一个移动对象的图像；以及计算机处理单元，其执行以下步骤：使用移动对象检测系统来定位移动对象；基于所述移动对象相对于车行道车道的宽度的宽度来确定所述移动对象是否是小车辆或大车辆；以及将所述移动对象分配给分类器以得到细化分类。
依照进一步的示例性实施例，计算机程序产品包括具有用于客运车辆的分类并且根据后视图视频帧来测量它们的属性在其中体现的计算机可读代码的非暂时性计算机可用介质，所述计算机可读程序代码被配置成执行过程，所述过程包括以下步骤：使用移动对象检测系统来定位移动对象；基于所述移动对象相对于车行道车道的宽度的宽度来确定所述移动对象是否是小车辆或大车辆；以及将所述移动对象分配给分类器以得到细化分类。
依照示例性实施例，用于计算车辆的间隙的方法包括：(a)标定相机图像与路面之间的变换；(b)使用所述变换来计算相机图像中的每条扫描线的标度；(c)定位图像中的车辆的牌照(license plate)；(d)计算牌照的水平标度和垂直标度；(e)将牌照的水平标度与每条扫描线的标度进行比较并且其中各标度是相等的扫描线被找到；(f)计算匹配扫描线与牌照的顶部之间的扫描线的数目；(g)将所述扫描线的数目除以编号牌的垂直标度以找到牌照离地面的高度；(h)计算牌照的顶部与车辆的最低可见部分之间的扫描线的数目；(i)将牌照的顶部与车辆的最低可见部分之间的扫描线的数目除以编号牌的垂直标度以找到牌照的顶部到车辆的最低可见部分之间的距离；以及(j)步骤(g)中的所述距离减去步骤(i)中的所述距离以获得车辆的离地间隙。
依照进一步的示例性实施例，用于车辆的分类的系统包括：相机，用于捕获至少一个移动对象的图像；以及计算机处理单元，其执行以下步骤：(a)标定相机图像与路面之间的变换；(b)使用所述变换来计算相机图像中的每条扫描线的标度；(c)定位图像中的车辆的牌照；(d)计算牌照的水平标度和垂直标度；(e)将牌照的水平标度与每条扫描线的标度进行比较并且其中各标度是相等的扫描线被找到；(f)计算匹配扫描线与牌照的顶部之间的扫描线的数目；(g)将所述扫描线的数目除以编号牌的垂直标度以找到牌照离地面的高度；(h)计算牌照的顶部与车辆的最低可见部分之间的扫描线的数目；(i)将牌照的顶部与车辆的最低可见部分之间的扫描线的数目除以编号牌的垂直标度以找到牌照的顶部到车辆的最低可见部分之间的距离；以及(j)步骤(g)中的所述距离减去步骤(i)中的所述距离以获得车辆的离地间隙。
依照进一步的示例性实施例，计算机程序产品包括具有用于客运车辆的分类并且根据后视图视频帧来测量它们的属性在其中体现的计算机可读代码的非暂时性计算机可用介质，所述计算机可读程序代码被配置成执行过程，所述过程包括以下步骤：(a)标定相机图像与路面之间的变换；(b)使用所述变换来计算相机图像中的每条扫描线的标度；(c)定位图像中的车辆的牌照；(d)计算牌照的水平标度和垂直标度；(e)将牌照的水平标度与每条扫描线的标度进行比较并且其中各标度是相等的扫描线被找到；(f)计算匹配扫描线与牌照的顶部之间的扫描线的数目；(g)将所述扫描线的数目除以编号牌的垂直标度以找到牌照离地面的高度；(h)计算牌照的顶部与车辆的最低可见部分之间的扫描线的数目；(i)将牌照的顶部与车辆的最低可见部分之间的扫描线的数目除以编号牌的垂直标度以找到牌照的顶部到车辆的最低可见部分之间的距离；以及(j)步骤(g)中的所述距离减去步骤(i)中的所述距离以获得车辆的离地间隙。
依照示例性实施例，用于计算车辆的间隙的方法包括：标定相机图像与路面之间的变换；检测针对其间隙将被计算的车辆上特征的位置；检测车辆阴影的位置；跟踪车辆上的特征和车辆阴影随着时间的推移的位置；倒转车辆的特征和阴影的位置并且计算位置倒数（inverse）之间的差；使用所述差与车辆的高度之间的关系来基于车辆的高度之间的差计算来自后视图的车辆的最低可见部分与道路之间的距离；以及基于车辆的间隙来分类所述车辆。
依照进一步的示例性实施例，用于计算车辆的间隙的系统包括：相机，用于捕获至少一个移动对象的图像；以及计算机处理单元，其执行以下步骤：标定相机图像与路面之间的变换；检测针对其间隙将被计算的车辆上特征的位置；检测车辆阴影的位置；跟踪车辆上的特征和车辆阴影随着时间的推移的位置；倒转车辆的特征和阴影的位置并且计算位置倒数之间的差；使用所述差与车辆的高度之间的关系来基于车辆的高度之间的差计算来自后视图的车辆的最低可见部分与道路之间的距离；以及基于车辆的间隙来分类所述车辆。
依照另一示例性实施例，计算机程序产品包括具有用于客运车辆的分类并且根据后视图视频帧来测量它们的属性在其中体现的计算机可读代码的非暂时性计算机可用介质，所述计算机可读程序代码被配置成执行过程，所述过程包括以下步骤：标定相机图像与路面之间的变换；检测针对其间隙将被计算的车辆上特征的位置；检测车辆阴影的位置；跟踪车辆上的特征和车辆阴影随着时间的推移的位置；倒转车辆的特征和阴影的位置并且计算位置倒数之间的差；使用所述差与车辆的高度之间的关系来基于车辆的高度之间的差计算来自后视图的车辆的最低可见部分与道路之间的距离；以及基于车辆的间隙来分类所述车辆。
依照示例性实施例，用于车辆的分类的方法包括：(a)标定相机图像与路面之间的变换；(b)检测相机图像中的路面上的移动对象；(c)为所述移动对象中的每一个确立对称的垂直轴；(d)针对移动对象中的每一个检测与对称的垂直轴相交的主导水平边缘；(e)针对多个连续视频帧来跟踪所述主导水平边缘；(f)将主导水平边缘中的每一个投影到地平面上；(g)将每对相邻投影边缘视为投影表面；(h)计算投影表面中的改变；以及(i)根据被发送到分类器的投影表面中的改变来计算不同结构签名。
依照进一步的示例性实施例，用于车辆的分类的系统包括：相机，用于捕获至少一个移动对象的图像；以及计算机处理单元，其执行以下步骤：(a)标定相机图像与路面之间的变换；(b)检测相机图像中的路面上的移动对象；(c)为所述移动对象中的每一个确立对称的垂直轴；(d)针对移动对象中的每一个检测与对称的垂直轴相交的主导水平边缘；(e)针对多个连续视频帧来跟踪所述主导水平边缘；(f)将主导水平边缘中的每一个投影到地平面上；(g)将每对相邻投影边缘视为投影表面；(h)计算投影表面中的改变；以及(i)根据被发送到分类器的投影表面中的改变来计算不同结构签名。
依照进一步的示例性实施例，计算机程序产品包括具有用于客运车辆的分类并且根据后视图视频帧来测量它们的属性在其中体现的计算机可读代码的非暂时性计算机可用介质，所述计算机可读程序代码被配置成执行过程，所述过程包括以下步骤：(a)标定相机图像与路面之间的变换；(b)检测相机图像中的路面上的移动对象；(c)为所述移动对象中的每一个确立对称的垂直轴；(d)针对移动对象中的每一个检测与对称的垂直轴相交的主导水平边缘；(e)针对多个连续视频帧来跟踪所述主导水平边缘；(f)将主导水平边缘中的每一个投影到地平面上；(g)将每对相邻投影边缘视为投影表面；(h)计算投影表面中的改变；以及(i)根据被发送到分类器的投影表面中的改变来计算不同结构签名。
本公开的一个或多个实施例的细节在下面在附图和描述中被阐述。其他特征、目的以及优点从描述和图中并且从权利要求中将是显而易见的。
附图说明
附图被包括来提供对本发明的进一步理解，并且被并入和构成本说明书的一部分。图图示了本发明的实施例，并且连同描述一起用来解释本发明的原理。在图中，
图1示出了依照示例性实施例的分层分类系统的图。
图2示出了用于检测大车辆与小车辆相对的斑点（blob）的分层分类系统的示例。
图3示出了依照示例性实施例的用于在卡车与公共汽车之间分类的分类系统的示例。
图4示出了依照示例性实施例的例外分类的示例。
图5示出了依照实施例的用于车辆离地间隙测量系统的示例性设置。
图6示出了提供用于与如图5中所示出的车辆离地间隙测量系统一起使用的基线的路面的透视图像。
图7示出了路面上的多个位置的相机平面。
图8示出了依照示例性实施例的车辆间隙估计的图。
图9示出了依照示例性实施例的车辆间隙估计系统的流程图。
图10示出了依照示例性实施例的用于车辆离地间隙测量系统的另一示例性设置。
图11示出了由针对如图10中所示出的车辆离地间隙测量系统的设置所捕获的图像。
图12示出了如图10中所示出的车辆离地间隙系统的系统图。
图13示出了来自具有两个感兴趣投影的侧视图的针对移动车辆的投影随着时间的几何结构的图像。
图14示出了用于表征地平面上投影中的改变的图像和计算。
图15示出了用于表征地平面上投影中的改变的另一图像和相关计算。
图16示出了依照示例性实施例的用来确立路面与相机图像之间的映射的标定的图像。
图17示出了依照示例性实施例的移动对象检测系统的流程图。
图18示出了依照示例性实施例的对称检测系统的流程图。
图19示出了针对多个车辆的结构签名的一系列照片。
图20示出了依照示例性实施例的系统图的流程图。
具体实施方式
基于视频的分层车辆分类系统
依照示例性实施例，在本文中描述了用于车辆根据它们的后视图视频的分层分类的软件系统。车辆被典型地分类成六(6)个类别中的一个：轿车、皮卡、小型货车、SUV (运动型多用途车)、公共汽车以及卡车。这时，人们认为用于分类路上民用车辆的这种系统不存在。基于现有技术水平视频的车辆分类器单独基于它们的大小来分类车辆。因此，它们在各种客运和商用车辆的细粒分类中失败。依照示例性实施例，如图1中所示出的基于视频的分层车辆分类系统100，其将车辆分类成六(6)个分类中的一个，所述六个分类包括轿车110、皮卡120、小型货车130、SUV (运动型多用途车)140、公共汽车150以及卡车160。本系统优选包括指向道路车道的相机使得该相机的水平扫描线与地平线平行。一旦相机已被定位，系统就检测下列的：
系统首先检测道路上的车道：
采用诸如霍夫(Hough)变换之类的边缘检测技术和表决方法，道路或车行道上的车道被检测。如果检测到多个车道，则基于其诸如来自相机的可见性、交通密度等之类的属性来选择感兴趣车道。对于多个车道，该多个车道中的每一个都通过为所检测到的车道中的每一个实现本系统而被处理。
系统使用移动对象检测来定位视频中的移动对象：
使用标准移动对象检测技术，来自视频的移动对象被检测。依照示例性实施例，如果多个移动对象被检测到则它们被个别地处理。
基于对象的大小，大或小车辆分类器被激活：
客运车辆和商用车辆能够基于它们的大小与彼此相区分。不像旨在执行车辆基于其大小的细粒分类的现有技术水平系统，依照示例性实施例，如本文中所描述的可替换的方法使用大小来区别客运和商用车辆，这是更可靠的。现有技术水平系统检测移动斑点的大小以实现基于大小的分类。依照示例性实施例，关于车辆大小的判定200是基于如图2中所示出的斑点宽度与车道宽度的比较，即使整个车辆尚未进入相机的视图这也允许系统进行小/大判定。例如，如图2中所示，大车辆210的前缘202占据车道的大部分，例如超过90%，而小车辆220的前缘202占据较小的，例如少于90%。因此，与基于斑点的方法相比能够较早地做出或者进行判定。
小车辆分类器具有以下步骤：
基于结构，车辆被分类成轿车、皮卡以及小型货车+ SUV类别。依照实施例，如果车辆被分类为小型货车+ SUV，则小型货车+ SUV分类器被激活。如果例外情况被检测到则例外分类器被激活。
大车辆分类器具有以下步骤：
依照示例性实施例，在步骤1中，移动对象的两侧对称的垂直轴被确立。在步骤2中，诸如阴影之类的检测对象的不对称部分被分开。在步骤3中，对象中的主导垂直边缘被检测。在步骤4中，如果一个或多个主导垂直边缘存在于对称的垂直轴附近，则对象被分类为卡车。在步骤5中，如果朝对象的左右末端对称的一对主导垂直边缘存在，则对象被分类为卡车。可替换地，在步骤6中，如果对象朝左右末端不具有对称的一对主导垂直边缘，则对象被分类为公共汽车。图3示出了卡车310和公共汽车320的后部部分的多个图像300，其中卡车310朝左右末端具有对称的一对主导垂直边缘330，而公共汽车320朝左右末端不具有对称的一对主导垂直边缘。在步骤7中，如果例外情况被检测到，则例外分类器被激活。
小型货车/SUV (小型货车+ SUV)分类器具有以下步骤：
依照示例性实施例，车辆(移动对象)的离地间隙被估计，如果对象具有高的离地间隙，则它被分类为SUV。可替换地，如果对象具有低的离地间隙，则它被分类为小型货车；而如果例外情况被检测到则例外分类器被激活。
例外分类器结合规则来重新分类前面的分类器组未能分类的对象：
依照另一示例性实施例，能够重新配置这个分类器的元素。例如，掀背式轿车：如果小车辆被分类为小型货车/SUV，但具有较小的斑点大小则将它重新分类为掀背式轿车/如图4a中所示出的旅行轿车410；具有安装在后部的备用轮的SUV：如果具有圆形对称大小的轮的小车辆在车辆的后部上被检测到，则将它分类为如图4b中所示出的SUV 420；油罐卡车：如果具有非矩形状后部的大车辆被检测到，则将它分类为如图4c中所示出的油罐卡车430；以及卡车：如果具有红白色的反光带范型442的大车辆被检测到，则将该车辆分类为如图4d中所示出的卡车440。
系统的应用：
如本文中所描述的系统和方法能够被用于：分类道路上的车辆；分开商用和客运车辆；标识商用和客运车辆以得到自动的基于类别的收费；针对法律实施检测车道限制违犯；交通分析；和/或确保对车辆的有限/受控访问的安全相关应用。
系统的变化：
如本文中所描述的系统能够被实现用于根据后视图和/或正视图和/或侧视图来分类车辆。可替换地，能够实现检测各类别中的仅几个的部分分类器。此外，各部分或完整系统能够被实现为等效硬件实施方式。
依照另一示例性实施例，计算机程序产品包括具有用于客运车辆的分类并且根据后视图视频帧来测量它们的属性在其中体现的计算机可读代码的非暂时性计算机可用介质。计算机可读程序代码被配置成执行过程，所述过程包括以下步骤：使用移动对象检测系统来定位移动对象；基于移动对象的大小来确定移动对象是否是小车辆或大车辆；以及基于移动对象的大小将移动对象分配给分类器。
计算机可用介质当然可以为磁记录介质、磁光记录介质或将来将被开发的任何其他记录介质，其全部能够被认为以全部相同的方式适用于本发明。包括主要和辅助复制产品及其他东西的这种介质的复制品无疑被认为相当于上述介质。此外，即使本发明的实施例是软件和硬件的组合，它也根本不会背离本发明的构思。本发明可以被实现使得其软件部分已被提前写到记录介质上并且将在操作中根据需要而被读取。
车辆离地间隙测量系统
在本文中公开了根据它们的后视图视频来计算诸如保险杠之类的车辆部分离道路或地面的间隙的方法和系统。依照示例性实施例，所述方法和系统从后视图提供小型货车与SUV(运动型多用途车)类别之间的分离，这从诸如大小、长度、宽度、运动轨迹以及形状剖面之类的其他测量是不可能的。
依照示例性实施例，系统包括相机，所述相机被以其水平扫描线与地平线平行的这样一种方式安装。此外，相机被优选配置成看到道路的车道中的一个。图5-7示出了系统的基本设置，所述系统包括具有到路面420上的投影的光线410的相机(未示出)，所述投影的光线与车辆的后保险杠430相交。图6示出了来自透视图的示例性路面600，而不同的相机角度700如图7中所示。依照示例性实施例，标定阶段，针对图像中的每条扫描线的标度被计算。根据透视投影，对象被与那儿到相机的距离成反比例地换算，其中。如果相机的扫描线与地平线平行，则第y条扫描线在道路上的投影具有与它相关联的标度，例如标度(y)。能够根据车道宽度来计算以像素/英尺为单位的标度。对于每条扫描线，如果道路上的两个成像点之间的距离是已知的，则能够确立标度。例如，能够针对每条扫描线检测车道末端和R并且车道宽度已知为12英尺。对于每条扫描线系统找到 标度作为两点之间的像素的数目和道路上它们之间的距离的比值。
定位图像中的车辆的牌照
图8示出了依照示例性实施例的车辆间隙估计800的图。如图8中所示，在自动牌照识别(ALPR)模块的帮助下系统定位车辆的牌照810。
计算牌照的水平标度和垂直标度
牌810的水平标度被计算为以像素为单位的宽度对以英尺为单位的宽度的比值。同样地，牌810的垂直标度被计算为以像素为单位的高度对以英尺为单位的高度的比值。
执行标度匹配
牌照的水平标度与每条扫描线的标度进行比较，并且其中各标度是相等的扫描线被找到。
计算牌照的高度
匹配扫描线与牌照的顶部之间的扫描线的数目被计算。这个数目被除以编号牌的垂直标度以找到牌照离地面的高度。
计算车辆的最低边缘与牌照的顶部之间的距离
牌照的顶部与车辆的最低可见部分之间的扫描线的数目被计算。这个数目被除以编号牌的垂直标度以找到牌照离的顶部到车辆的最低可见部分之间的距离。
计算离地间隙
距离减去距离以找到车辆的离地间隙。图9示出了依照如上所述的示例性实施例的车辆间隙估计系统900的流程图。
应用
离地间隙能够在车辆分类例如区分小型货车与SUV(运动型多用途车)、公共汽车与卡车中作为特征被估计。
替代实施方式
代替牌照，车辆后表面上的其他已知尺寸还能够被用来计算车辆上的标度。例如如图10中所示，描述了从后视图提供小型货车和SUV类别之间的确定的系统和方法，这从诸如大小、长度、宽度、运动轨迹以及形状剖面之类的其他测量是不可能的。如图10中所示，系统1000包括相机1010，所述相机1010被以其水平扫描线与地平线平行的这样一种方式安装。此外，相机1010通过看到道路1030的车道中的一个的至少一部分来捕获车辆1020。图11示出了由如图10中所示出的相机1010所捕获的图像1100。以下步骤被采取：
相机参数被测量
为了测量车辆的离地间隙，车辆通过相机而被观察。在能够计算间隙之前，相机高度、相机俯角以及相机焦距被测量。
线在无穷远处的投影被找到
在无穷远处的线被确立为通过图像中两条平行线的交点的水平线。这些线可以是如图11中所示出的车道标记A和。
计算各特征的位置的偏移。
车辆特征被在水平图像坐标和垂直图像坐标处的相机捕获。车辆当它在道路车道中离去时被相机记录。仅车辆特征的垂直坐标中的改变是明显的。车辆特征的位置相对于线在无穷远处的投影被计算。这通过将偏移加到图像位置来实现。所加偏移是图像的第一水平扫描线的图像坐标与线在无穷远处的投影的图像坐标之间的差。对于在图像坐标处的特征，它的位置被计算为。
针对其间隙将被估计的特征的位置被检测。
一般而言，车辆的间隙是来自后视图的车辆的最低可见部分与道路之间的距离。可替换地，它可以是保险杠的顶部/中间/底部与道路之间的距离。特征能够通过诸如边缘检测、区分段、群集以及分类之类的图像处理和模式识别技术的组合来检测。如果检测到的特征对于图像坐标具有一个以上的值，则代表性值被用来计算特征位置。对于的选择是最大或最小值、最频繁值或值的加权和等。当的最大值表示特征的最低部分时，它是典型选择。帧中特征的位置被计算为。
车辆阴影的位置被检测。
对于车辆，它的阴影被定位。能够以不同的方式来定位阴影：基于太阳或其他主导光源、相机的位置和道路几何结构；当阴影是不对称的时基于对称推理；当阴影被投在车辆之下时基于图像位置；当阴影低于它们落在上面的对象的密度时基于密度。如果检测到的阴影对于图像坐标具有一个以上的值，则代表性值被用来计算特征位置。对于的选择是最大或最小值、最频繁值或值的加权和等。当的最大值表示阴影的最低部分时，它是典型选择。帧中特征的位置被计算为。
车辆部分和阴影的位置随着时间被跟踪。
车辆随着时间而移动，并且因此阴影和车辆部分也在由相机所捕获的图片中移动。使用诸如密度、颜色、边缘、区、图像位置等之类的属性。阴影和车辆部分位置两者都随着时间被跟踪。特征的位置被存储为、等等。类似地，阴影的位置被存储为、等等。跟踪被继续持续个帧。在这里且车辆对于相机而言是可见的帧的数目。
位置倒数之间的差被计算。
对于每个帧，特征和阴影位置被倒转。
其中不同帧的位置倒数之间的差被计算。
典型地=1即针对连续帧来计算各差。
使用差与车辆部分的高度之间的关系，车辆的间隙被计算。
对于在帧和之间以速度移动的对象来说，其间隙与道路相距的特征的各位置的倒数之间的差是
如果速度是已知的，则上述等式被求解以找到间隙。如果速度是未知的则附加的分析被执行。对于阴影，因为阴影被投在道路上。
以上两个等式中的constant (常数)是相同的并且单独通过第二等式来计算。然后第一等式能够被用来找到间隙。图12示出了依照示例性实施例的如上所述用来计算车辆的离地间隙的步骤的系统1200图。如图12中所示，系统包括相机1210，其提供用于检测车辆特征和车辆阴影的视频流1220，所述车辆特征和车辆阴影被用来计算如上所述的车辆间隙。
示例性应用
离地间隙能够在车辆分类例如区分小型货车与SUV、公共汽车与卡车等中作为特征被估计。还能够计算能够在车辆分类中使用的其他车辆特征的高度。
替代实施方式
能够针对车辆的正视图视频来实现所述系统。代替车辆的保险杠，系统能够被用来计算诸如顶部、挡风玻璃等之类的其他车辆部分的高度。当相机是水平的时扫描线不沿着地平线，由该相机所捕获的图像能够被调整来使扫描线变得水平。系统然后被应用于所调整的图像。间隙估计能够通过组合多个帧的估计来改进。
依照另一示例性实施例，计算机程序产品包括具有用于客运车辆的分类并且根据后视图视频帧来测量它们的属性在其中体现的计算机可读代码的非暂时性计算机可用介质。计算机可读程序代码被配置成执行过程，所述过程包括以下步骤：(a)计算相机图像与路面之间的变换；(b)使用所述变换来计算相机图像中的每条扫描线的标度；(c)定位图像中的车辆的牌照；(d)计算牌照的水平标度和垂直标度；(e)将牌照的水平标度与每条扫描线的标度进行比较并且其中各标度是相等的扫描线被找到；(f)计算匹配扫描线与牌照的顶部之间的扫描线的数目；(g)将扫描线的数目除以编号牌的垂直标度以找到牌照离地面的高度；(h)计算牌照的顶部与车辆的最低可见部分之间的扫描线的数目；(i)将牌照的顶部与车辆的最低可见部分之间的扫描线的数目除以编号牌的垂直标度以找到牌照的顶部到车辆的最低可见部分之间的距离；以及(j)步骤(g)中的距离减去步骤(i)中的距离以获得车辆的离地间隙。
计算机可用介质当然可以为磁记录介质、磁光记录介质或将来将被开发的任何其他记录介质，其全部能够被认为以全部相同的方式适用于本发明。包括主要和辅助复制产品和其他东西的这种介质的复制品无疑被认为相当于上述介质。此外，即使本发明的实施例是软件和硬件的组合，它也根本不会背离本发明的构思。本发明可以被实现使得其软件部分已被提前写到记录介质上并且将在操作中根据需要而被读取。
基于结构签名的客运车辆分类和测量系统
依照示例性实施例，如本文中所描述的系统和方法依靠用于车辆的分类的结构签名，所述结构签名通过来自车辆的后部的客运车辆段的多(或多个)视频帧的分析来获得。结构签名对与车辆的对称轴相交的可见车辆表面是否与道路平行或别样的进行编码。所述系统和方法提供用于客运车辆的分类并且测量它们的属性，并且更特别地以便从单个相机捕获沿着道路行进的车辆并且将该车辆分类成3个类别中的一个：轿车、皮卡和/或小型货车及SUV (运动型多用途车)。
依照示例性实施例，用于车辆的分类的系统和方法包括以下步骤：计算相机图像与路面之间的变换角；检测路面上的移动对象；为移动对象中的每一个确立对称的垂直轴；针对移动对象中的每一个检测与对称的垂直轴相交的主导水平边缘；针对多个连续视频帧来跟踪所述主导水平边缘；将主导水平边缘中的每一个投射到地平面上；将每对相邻投射边缘视为投射表面；计算投射表面中的改变；根据投射表面中的改变来计算不同结构签名；以及在类别中分类不同结构签名。例如，如图13-15中所示，来自具有两个感兴趣投影的侧视图的针对移动车辆的投影随着时间的几何结构的图像1300以及用于表征地平面上投影中的改变的图像1400、1500被获得。所述方法优选包括以下步骤：
步骤1 - 通过标定来确立相机图像与道路之间的变换
依照示例性实施例，系统通过标定来确立相机图像与道路之间的变换。标定确立相机图像点与道路上的点之间的一对一对应。这个对应能够通过知道图像中和道路上的至少4个共平面点的位置而被确立，所述至少4个共平面点中的三个不是共线的。图16示出了其中道路上的点A、B、C以及D的二维位置1610是从交通标记标准或测量知道的场景1600。它们在图像中的对应二维位置是道路上的A’、B’、C’以及D’ 1620，其能够被图像处理或者手动地检测到。采用这4个对应，唯一变换能够通过使用投影几何学来确定。
步骤2 - 使用移动对象检测来定位视频中的移动对象
依照示例性实施例，所述系统使用移动对象检测来定位视频中的移动对象。视频中的移动对象能够用诸如帧差、改变检测以及光流之类的各种计算机视觉技术来检测。如果多个车辆被检测到，则每个对象能够基于它们的诸如颜色和位置之类的属性被分配唯一标识。因此，现在能够个别地针对其余的分类系统来处理每个对象。移动对象的检测提供其边界和位置。此外，依照示例性实施例，系统1700融合了光流、帧差以及图像分段方法来像图17中所示出的那样检测移动对象。
步骤3 - 确立对象的对称的垂直轴
如图18中所示，对象的对称的垂直轴1800然后被确立。依照实施例，车辆的后视图展示沿着垂直轴的强对称。车辆的可见结构沿着对称轴被几乎完全地捕获。此外，存在用来确立对象的两侧对称的各种方法。所述系统优选通过匹配Gabor特征来确立两侧对称的轴。在所检测到的移动对象附近的感兴趣区然后用一组Gabor滤波器在步骤2中被滤波1810。依照示例性实施例，Gabor滤波器的输出是边缘幅度和方向。对Gabor滤波器的输出执行环绕抑制1820以消除可能干扰对称检测的局部纹理图案。非最大抑制1830和细化1840也被执行以避免伪边缘。系统匹配边缘点1850，这具有互补方位(θ和180-θ)并且这是沿着图像的相同扫描线的。每对匹配的边缘点然后对与边缘点两者等距离的垂直轴进行表决。依照示例性实施例，优胜者接受所有(WTA)方法1870能够被使用和/或其他技术能够适用于表决1860以确立车辆的对称的垂直轴。
步骤4 - 分开诸如阴影之类的被检测对象的不对称部分
诸如阴影之类的被检测对象的不对称部分被分开。太阳或其他照明源使车辆将阴影投在道路上。该阴影通过步骤2作为移动对象的一部分被检测。因为阴影是不对称的，所以它能够通过对步骤2中所检测到的移动对象实施在步骤3中找到的对称的轴而被消除。此外，同样能够使用诸如基于物理学之类的阴影去除的其他方法。
步骤5 - 检测与对称的垂直轴相交的主导水平边缘
与对称的垂直轴相交的主导水平边缘被检测。如所示，车辆的图像展示强烈的水平和垂直边缘。在车辆图像中看到的水平边缘的大部分由结构改变引起。系统从车辆图像中检测主导水平边缘。各边缘的伪检测通过消除不与在步骤3中检测到的对称轴相交的边缘来避免。
步骤6 - 在多个连续视频帧中跟踪水平边缘
水平边缘在多个连续视频帧中被跟踪。系统在多个以下视频帧中跟踪在步骤5中检测到的边缘。跟踪用Lukas-Kanade-Tomasi跟踪器来执行。还能够应用诸如基于相关的均值漂移之类的其他跟踪方法。
步骤7 - 将边缘投影在地平面上
这些边缘现在被投影到地平面上。从步骤5和6所检测和跟踪到的边缘的位置是根据2D(2维)图像坐标的。用在步骤1中确立的变换在2D道路坐标上变换这些。
步骤8 - 计算投影表面随着时间的推移的改变
投影表面随着时间的推移的改变被计算。在图像中和在道路上投影的每对相邻边缘被视为表面。系统将沿着对称轴的边缘之间的距离视为表面的高度。对于每个投影表面，在每个跟踪阶跃情况下的高度改变被计算。依照示例性实施例，各种时间步长能够被用来计算这些改变。
步骤9 - 根据投影表面中的改变来计算不同结构签名
不同结构签名根据投影表面中的改变被计算。如果表面与道路平行，则它的投影的高度不会随着时间而改变。然而，如果表面不与道路平行，则它的投影的高度随着时间而改变。应当注意的是，如果这个表面的高度是小的，则投影的改变将是较小的。这可能导致小表面的误解。为了避免混淆，投影改变被用在特定时刻(例如，初始或最后)的投影归一化。这让对于与道路平行的投影改变接近于零同时放大小表面中的改变。
步骤10 - 将结构签名分类成轿车、皮卡以及小型货车+ SUV类别
结构签名被分类成轿车、皮卡以及(小型货车+ SUV)类别。作为结构签名轿车1910、皮卡1920以及小型货车(1930) + SUV(1940)类别分别能够被语义地表示为{pp, n, p, n}、{p, n, pp, n}以及{pp, nn}。在这里 表示与道路平行的表面而 表示不与道路平行的表面。符号 和 被重复来指示较大的长度。这在其中交叉影线部分代表与道路平行的表面而非交叉影线部分代表其他表面的图19中被示出。系统将这些签名传递给分类器。除了别的以外，分类器还能够被选择成为语义分类器、概率分类器或诸如SVM之类的基于机器学习的分类器。系统将具有径向基本功能的SVM用作分类器。对于SVM分类结构签名被用数表达。从被检测对象的顶部开始到所述对象的底部投影改变沿着对称轴被采样持续固定次数，使得在道路投影上这些样本是等距离的。
当分类正被执行时，对于车辆的测量通过系统在各个步骤处生成。在分类步骤4之后，表示车辆的对称斑点是可用的。斑点的下缘使用分类步骤1中的变换而被投影到道路上。依照示例性实施例，投影大小是车辆的宽度。在分类步骤7之后，最小投影边缘在两个不同时间的位置被优选用来计算车辆的速度。图20示出了针对如依照示例性实施例一样的过程的系统图2000的流程图。如图20中所示，系统2000包括视频流2010，所述视频流2010被分析以经由如上所述的一系列步骤来确定车辆类别2020、车辆速度2030以及车辆大小。
依照示例性实施例，所述系统的应用能够包括：分类道路上的客运车辆；能够基于车辆类别来执行停车库或停车场分配；对于法律实施的车辆速度测量；以及确保对车辆的有限/受控访问的安全相关应用。
此外，所述系统的变化能够包括并且不限于：系统能够被实现用于根据正视图和侧视图来分类车辆；仅系统的分类器部分能够被实现；仅系统的测量部分能够被实现；仅速度测量能够被实现；仅大小测量能够被实现；检测各类别中的仅一个或两个的部分分类器能够被实现；以及部分或完整软件系统能够被实现为等效硬件实施方式。
依照另一示例性实施例，计算机程序产品包括具有用于客运车辆的分类并且根据后视图视频帧来测量它们的属性在其中体现的计算机可读代码的非暂时性计算机可用介质。计算机可读程序代码被配置成执行过程，所述过程包括用于车辆的分类的方法的步骤，包括：(a)标定相机图像与路面之间的变换角；(b)检测相机图像中的路面上的移动对象；(c)为移动对象中的每一个确立对称的垂直轴；(d)针对移动对象中的每一个检测与对称的垂直轴相交的主导水平边缘；(e)针对多个连续视频帧来跟踪所述主导水平边缘；(f)将主导水平边缘中的每一个投影到地平面上；(g)将每对相邻投影边缘视为投影表面；(h)计算投影表面中的改变；以及(i)根据投影表面中的改变来计算不同结构签名。
计算机可用介质当然可以为磁记录介质、磁光记录介质或将来将被开发的任何其他记录介质，其全部能够被认为以全部相同的方式适用于本发明。包括主要和辅助复制产品和其他东西的这种介质的复制品无疑被认为相当于上述介质。此外，即使本发明的实施例是软件和硬件的组合，它也根本不会背离本发明的构思。本发明可以被实现使得其软件部分已被提前写到记录介质上并且将在操作中根据需要而被读取。
将理解的是，前述描述是优选实施例的描述，并且因此，仅仅表示物品和制造该物品的方法。能够了解的是，鉴于上述教导的不同实施例的许多变化和修改对于本领域的技术人员而言将是容易显而易见的。因此，在不背离如在所附权利要求中所阐述的物品和方法的精神和范围的情况下，可以作出示例性实施例以及可替换的实施例。

Claims (33)

1.一种用于车辆的分层分类的方法，其包括：
使用移动对象检测系统来定位移动对象；
基于所述移动对象相对于车行道车道的宽度的宽度来确定所述移动对象是小车辆还是大车辆；以及
基于所述移动对象的大小将所述移动对象分配给分类器。
2.根据权利要求1所述的方法，进一步包括如果例外被检测到，则激活例外分类器。
3.根据权利要求1所述的方法，其中，在基于所述车辆的所述结构将所述移动对象分配给小车辆分类器时，确定所述车辆是轿车、皮卡和/或小型货车还是SUV (运动型多用途车)。
4.根据权利要求1所述的方法，其中，如果所述车辆被分类为小型货车和/或SUV，则激活小型货车/SUV分类器。
5.根据权利要求4所述的方法，进一步包括：
针对所述车辆来估计车辆的离地间隙，并且如果所述车辆具有高的离地间隙，则将所述移动对象分类为SUV，而且如果所述车辆具有低的离地间隙，则将所述移动对象分类为小型货车，而如果例外情况被检测到，则激活所述例外分类器。
6.根据权利要求1所述的方法，其中，在将所述移动对象分配给大车辆分类器时，执行以下步骤：
确立所述移动对象的对称的垂直轴；
检测所述移动对象的主导垂直边缘；
如果一个或多个主导垂直边缘存在于对称的所述垂直轴附近，则将所述移动对象分类为卡车；并且
如果存在朝所述移动对象的左右末端对称的一对主导垂直边缘，则将所述移动对象分类为卡车；以及
将任何其他移动对象分类为公共汽车。
7.根据权利要求6所述的方法，进一步包括根据所述分类来分开检测对象的不对称部分作为阴影。
8.根据权利要求6所述的方法，进一步包括如果例外被检测到，则激活例外分类器。
9.根据权利要求8所述的方法，其中，所述例外分类器结合规则来重新分类前面的分类器未能分类的所述移动对象。
10.根据权利要求1所述的方法，其中，所述移动对象检测系统根据从视频相机获得的图像来检测所述移动对象。
11.根据权利要求1所述的方法，进一步包括为交通的每个车道实现至少一个移动对象检测系统。
12.根据权利要求1所述的方法，进一步包括分别地(即，个别地)处理每个移动对象。
13.一种用于车辆的分类的系统，其包括：
相机，用于捕获至少一个移动对象的图像；以及
计算机处理单元，其执行以下步骤：
使用移动对象检测系统来定位移动对象；
基于所述移动对象相对于车行道车道的宽度的宽度来确定所述移动对象是小车辆还是大车辆；以及
基于所述移动对象的大小将所述移动对象分配给分类器。
14.根据权利要求13所述的系统，其中进一步包括存储器装置、中央处理单元以及用于显示所述类别中的所述不同结构的数据和/或分类的可选显示单元。
15.根据权利要求13所述的系统，其中，所述相机捕获视频图像。
16.一种用于计算车辆的间隙的方法，其包括：
(a)标定相机图像与路面之间的变换；
(b)使用所述变换来计算所述相机图像中的每条扫描线的标度；
(c)定位所述图像中的所述车辆的牌照；
(d)计算所述牌照的水平标度和垂直标度；
(e)将所述牌照的所述水平标度与每条扫描线的标度进行比较并且找到其中所述标度是相等的扫描线；
(f)计算所述匹配扫描线与所述牌照的顶部之间的扫描线的数目；
(g)将所述扫描线的数目除以所述编号牌的所述垂直标度以找到所述牌照离所述地面的高度；
(h)计算所述牌照的所述顶部与所述车辆的最低可见部分之间的扫描线的数目；
(i)将所述牌照的所述顶部与所述车辆的所述最低可见部分之间的所述扫描线的数目除以所述编号牌的所述垂直标度以找到所述牌照的所述顶部到所述车辆的所述最低可见部分之间的距离；以及
(j)步骤(g)中的所述距离减去步骤(i)中的所述距离以获得所述车辆的所述离地间隙。
17.根据权利要求16所述的方法，进一步包括配置所述相机图像以对所述路面的仅一个车道进行成像。
18.根据权利要求16所述的方法，其中，所述水平扫描线与所述地平线平行。
19.根据权利要求16所述的方法，进一步包括使用自动牌照识别(ALPR)模块来定位所述车辆上的所述牌照。
20.根据权利要求16所述的方法，进一步包括计算所述牌照的所述水平标度作为以像素为单位的宽度对以英尺为单位的宽度的比值。
21.根据权利要求16所述的方法，进一步包括计算所述牌照的所述垂直标度作为以像素为单位的高度对以英尺为单位的高度的比值。
22.根据权利要求16所述的方法，进一步包括使用所述车辆后表面上的其他已知尺寸代替所述牌照。
23.一种用于车辆的分类的系统，其包括：
相机，用于捕获至少一个移动对象的图像；以及
计算机处理单元，其执行以下步骤：
(a)标定相机图像与路面之间的变换；
(b)使用所述变换来计算所述相机图像中的每条扫描线的标度；
(c)定位所述图像中的所述车辆的牌照；
(d)计算所述牌照的水平标度和垂直标度；
(e)将所述牌照的所述水平标度与每条扫描线的标度进行比较并且找到其中所述标度是相等的扫描线；
(f)计算所述匹配扫描线与所述牌照的顶部之间的扫描线的数目；
(g)将所述扫描线的数目除以所述编号牌的所述垂直标度以找到所述牌照离所述地面的高度；
(h)计算所述牌照的所述顶部与所述车辆的最低可见部分之间的扫描线的数目；
(i)将所述牌照的所述顶部与所述车辆的所述最低可见部分之间的所述扫描线的数目除以所述编号牌的所述垂直标度以找到所述牌照的所述顶部到所述车辆的所述最低可见部分之间的距离；以及
(j)步骤(g)中的所述距离减去步骤(i)中的所述距离以获得所述车辆的所述离地间隙。
24.根据权利要求23所述的系统，其中，所述计算机处理单元进一步包括存储器装置、处理单元以及用于显示所述类别中的所述不同结构的数据和/或分类的可选显示单元。
25.根据权利要求23所述的系统，其中，所述相机捕获视频图像。
26.一种用于计算车辆的间隙的方法，其包括：
标定相机图像与路面之间的变换；
检测针对其间隙将被计算的所述车辆上特征的位置；
检测车辆阴影的位置；
跟踪所述车辆上的所述特征和所述车辆阴影随着时间的推移的所述位置；
倒转所述车辆的所述特征和所述阴影的所述位置并且计算所述位置倒数之间的差；
使用所述差与所述车辆的高度之间的关系来基于所述车辆的高度之间的所述差计算来自所述后视图的所述车辆的最低可见部分与所述道路之间的距离；以及
基于所述车辆的所述间隙来分类所述车辆。
27.根据权利要求26所述的方法，其中，标定所述相机图像与所述路面之间的所述变换包括：
计算相机高度、相机俯角以及相机焦距；
确立线在无穷远处的投影，所述线在无穷远处的所述投影是通过所述图像中两条平行线的交点的水平线；以及
基于在无穷远处的所述投影来计算车辆特征的所述位置的偏移并且加上所述图像的第一水平扫描线的y图像坐标与线在无穷远处的所述投影的y图像坐标之间的差。
28.根据权利要求26所述的方法，其中，所述距离是在所述车辆的保险杠的顶部、中间和/或底部与所述道路之间。
29.根据权利要求26所述的方法，进一步包括通过图像处理和模式识别技术的组合来检测所述车辆特征，所述图像处理和模式识别技术包括边缘检测、区分段、群集和/或分类。
30.一种用于计算车辆的间隙的系统，其包括：
相机，用于捕获至少一个移动对象的图像；以及
计算机处理单元，其执行以下步骤：
标定相机图像与路面之间的变换；
检测针对其间隙将被计算的所述车辆上特征的位置；
检测车辆阴影的位置；
跟踪所述车辆上的所述特征和所述车辆阴影随着时间的推移的所述位置；
倒转所述车辆的所述特征和所述阴影的所述位置并且计算所述位置倒数之间的差；
使用所述差与所述车辆的高度之间的关系来基于所述车辆的高度之间的所述差计算来自所述后视图的所述车辆的最低可见部分与所述道路之间的距离；以及
基于所述车辆的所述间隙来分类所述车辆。
31.根据权利要求30所述的系统，其中，标定所述相机图像与所述路面之间的所述变换包括：
计算相机高度、相机俯角以及相机焦距；
确立线在无穷远处的投影，所述线在无穷远处的所述投影是通过所述图像中两条平行线的交点的水平线；以及
基于在无穷远处的所述投影线来计算车辆特征的所述位置的偏移并且加上所述图像的第一水平扫描线的y图像坐标与线在无穷远处的所述投影的y图像坐标之间的差。
32.根据权利要求30所述的系统，其中，所述距离是在所述车辆的保险杠的顶部、中间和/或底部与所述道路之间。
33.根据权利要求30所述的系统，进一步包括通过图像处理和模式识别技术的组合来检测所述车辆特征，所述图像处理和模式识别技术包括边缘检测、区分段、群集和/或分类。
CN201710053855.4A 2011-03-14 2012-03-14 用于车辆分类的方法和系统 Pending CN107092856A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201161452392P 2011-03-14 2011-03-14
US201161452345P 2011-03-14 2011-03-14
US201161452480P 2011-03-14 2011-03-14
US61/452392 2011-03-14
US61/452480 2011-03-14
US61/452345 2011-03-14
CN201280023237.0A CN103518230B (zh) 2011-03-14 2012-03-14 用于车辆分类的方法和系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201280023237.0A Division CN103518230B (zh) 2011-03-14 2012-03-14 用于车辆分类的方法和系统

Publications (1)

Publication Number Publication Date
CN107092856A true CN107092856A (zh) 2017-08-25

Family

ID=46831305

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201280023237.0A Active CN103518230B (zh) 2011-03-14 2012-03-14 用于车辆分类的方法和系统
CN201710053855.4A Pending CN107092856A (zh) 2011-03-14 2012-03-14 用于车辆分类的方法和系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201280023237.0A Active CN103518230B (zh) 2011-03-14 2012-03-14 用于车辆分类的方法和系统

Country Status (5)

Country Link
US (1) US9239955B2 (zh)
EP (1) EP2686841B1 (zh)
CN (2) CN103518230B (zh)
BR (1) BR112013023734A2 (zh)
WO (1) WO2012125687A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108417042A (zh) * 2017-09-18 2018-08-17 西安金路交通工程科技发展有限责任公司 基于车辆图像的客车和货车分类方法
CN109785634A (zh) * 2017-11-13 2019-05-21 厦门雅迅网络股份有限公司 基于基站切换的车型识别方法及计算机可读存储介质

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9373033B2 (en) 2012-03-13 2016-06-21 Massachusetts Institute Of Technology Assisted surveillance of vehicles-of-interest
US8971573B2 (en) * 2012-09-12 2015-03-03 Xerox Corporation Video-tracking for video-based speed enforcement
JP2014110028A (ja) * 2012-12-04 2014-06-12 Sony Corp 画像処理装置、画像処理方法およびプログラム
US9317752B2 (en) 2013-06-20 2016-04-19 Xerox Corporation Method for detecting large size and passenger vehicles from fixed cameras
EP2958054A3 (en) 2014-06-18 2016-05-25 Mobileye Vision Technologies Ltd. Hazard detection in a scene with moving shadows
US9600733B1 (en) * 2014-06-27 2017-03-21 Blinker, Inc. Method and apparatus for receiving car parts data from an image
US9754171B1 (en) 2014-06-27 2017-09-05 Blinker, Inc. Method and apparatus for receiving vehicle information from an image and posting the vehicle information to a website
US9563814B1 (en) * 2014-06-27 2017-02-07 Blinker, Inc. Method and apparatus for recovering a vehicle identification number from an image
US9589201B1 (en) * 2014-06-27 2017-03-07 Blinker, Inc. Method and apparatus for recovering a vehicle value from an image
US10572758B1 (en) 2014-06-27 2020-02-25 Blinker, Inc. Method and apparatus for receiving a financing offer from an image
US9779318B1 (en) 2014-06-27 2017-10-03 Blinker, Inc. Method and apparatus for verifying vehicle ownership from an image
US9818154B1 (en) 2014-06-27 2017-11-14 Blinker, Inc. System and method for electronic processing of vehicle transactions based on image detection of vehicle license plate
US9607236B1 (en) * 2014-06-27 2017-03-28 Blinker, Inc. Method and apparatus for providing loan verification from an image
US9773184B1 (en) 2014-06-27 2017-09-26 Blinker, Inc. Method and apparatus for receiving a broadcast radio service offer from an image
US9892337B1 (en) 2014-06-27 2018-02-13 Blinker, Inc. Method and apparatus for receiving a refinancing offer from an image
US9760776B1 (en) 2014-06-27 2017-09-12 Blinker, Inc. Method and apparatus for obtaining a vehicle history report from an image
US10515285B2 (en) 2014-06-27 2019-12-24 Blinker, Inc. Method and apparatus for blocking information from an image
US9594971B1 (en) * 2014-06-27 2017-03-14 Blinker, Inc. Method and apparatus for receiving listings of similar vehicles from an image
US10579892B1 (en) * 2014-06-27 2020-03-03 Blinker, Inc. Method and apparatus for recovering license plate information from an image
US9558419B1 (en) * 2014-06-27 2017-01-31 Blinker, Inc. Method and apparatus for receiving a location of a vehicle service center from an image
US10867327B1 (en) 2014-06-27 2020-12-15 Blinker, Inc. System and method for electronic processing of vehicle transactions based on image detection of vehicle license plate
US10540564B2 (en) 2014-06-27 2020-01-21 Blinker, Inc. Method and apparatus for identifying vehicle information from an image
US9589202B1 (en) * 2014-06-27 2017-03-07 Blinker, Inc. Method and apparatus for receiving an insurance quote from an image
US10733471B1 (en) 2014-06-27 2020-08-04 Blinker, Inc. Method and apparatus for receiving recall information from an image
US9731713B2 (en) * 2014-09-10 2017-08-15 Volkswagen Ag Modifying autonomous vehicle driving by recognizing vehicle characteristics
DE102014221764A1 (de) 2014-10-27 2016-04-28 Robert Bosch Gmbh Vorrichtung und Verfahren zum Betreiben eines Parkplatzes
CN105809088B (zh) * 2014-12-30 2019-07-19 清华大学 车辆识别方法和系统
CN104680793B (zh) * 2015-02-04 2016-09-07 上海依图网络科技有限公司 一种大货车违章上高架报警方法
CN104966049B (zh) * 2015-06-01 2018-06-05 江苏航天大为科技股份有限公司 基于图像的货车检测方法
WO2017034938A1 (en) 2015-08-21 2017-03-02 3M Innovative Properties Company Encoding data in symbols disposed on an optically active article
JP6602595B2 (ja) * 2015-08-24 2019-11-06 株式会社東芝 車種判別装置、及び車種判別方法
CN105427614A (zh) * 2015-08-28 2016-03-23 北京动视元科技有限公司 一种车型分类系统及其方法
CN108292469B (zh) 2015-12-09 2021-02-05 笠原一 位置信息确定方法、装置以及计算机存储介质
US10165171B2 (en) 2016-01-22 2018-12-25 Coban Technologies, Inc. Systems, apparatuses, and methods for controlling audiovisual apparatuses
CN107092920A (zh) * 2016-02-17 2017-08-25 福特全球技术公司 评估其上行驶有车辆的路面的方法和装置
US10068146B2 (en) 2016-02-25 2018-09-04 Conduent Business Services, Llc Method and system for detection-based segmentation-free license plate recognition
US9911055B2 (en) 2016-03-08 2018-03-06 Conduent Business Services, Llc Method and system for detection and classification of license plates
US10618673B2 (en) 2016-04-15 2020-04-14 Massachusetts Institute Of Technology Systems and methods for dynamic planning and operation of autonomous systems using image observation and information theory
US10789840B2 (en) * 2016-05-09 2020-09-29 Coban Technologies, Inc. Systems, apparatuses and methods for detecting driving behavior and triggering actions based on detected driving behavior
US10370102B2 (en) 2016-05-09 2019-08-06 Coban Technologies, Inc. Systems, apparatuses and methods for unmanned aerial vehicle
US10152858B2 (en) 2016-05-09 2018-12-11 Coban Technologies, Inc. Systems, apparatuses and methods for triggering actions based on data capture and characterization
US9984704B2 (en) 2016-08-05 2018-05-29 Electronics And Telecommunications Research Institute Vehicle classification system and method
JPWO2018062335A1 (ja) * 2016-10-02 2019-07-25 一 笠原 位置情報特定方法、位置情報特定装置、及び、位置情報特定プログラム
US11126195B2 (en) * 2017-06-12 2021-09-21 Faraday & Future Inc. System and method for detecting occluded objects based on image processing
CN107301783A (zh) * 2017-07-27 2017-10-27 广东兴达顺科技有限公司 一种消息提示方法及检测设备
CN107393327A (zh) * 2017-07-27 2017-11-24 广东兴达顺科技有限公司 一种信息提示方法、检测设备及车辆设备
CN107240286A (zh) * 2017-07-28 2017-10-10 广东兴达顺科技有限公司 一种信息指示方法、检测设备及车辆设备
TWI640964B (zh) * 2017-08-17 2018-11-11 National Applied Research Laboratories 以影像為基礎之車輛計數與分類系統
EP3506153A1 (en) * 2017-12-28 2019-07-03 Canon Kabushiki Kaisha Information processing apparatus, system, method, and non-transitory computer-readable storage medium
JP6999022B2 (ja) * 2018-02-20 2022-01-18 日立Astemo株式会社 撮像装置
FR3078810B1 (fr) * 2018-03-08 2020-04-03 Idemia Identity And Security Dispositif et procede pour differencier un poids lourd de transport de marchandises d’un autocar
WO2019246050A1 (en) * 2018-06-18 2019-12-26 Skip Transport, Inc. Method and system for vehicle location
US10176405B1 (en) 2018-06-18 2019-01-08 Inception Institute Of Artificial Intelligence Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations
DE102018210592A1 (de) * 2018-06-28 2020-01-02 Zf Friedrichshafen Ag Vorrichtung und Verfahren zum Anpassen einer Fahreigenschaft eines eigenen Fahrzeugs bei einer Fahrt um eine Kurve
US10810871B2 (en) 2018-06-29 2020-10-20 Ford Global Technologies, Llc Vehicle classification system
US20200020121A1 (en) * 2018-07-13 2020-01-16 Denso International America, Inc. Dimension estimating system and method for estimating dimension of target vehicle
EP4177833A1 (en) * 2018-09-24 2023-05-10 Arriver Software AB Vision system and method for a motor vehicle
KR102622169B1 (ko) 2018-12-06 2024-01-08 팅크웨어(주) 주행 영상을 이용하여 차간 거리를 측정하는 차간 거리 측정 방법, 차간 거리 측정 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
CN112652173B (zh) * 2019-10-11 2022-05-03 深圳富泰宏精密工业有限公司 行车安全提示方法、车辆及存储介质
CN112735182B (zh) * 2019-10-11 2022-08-16 深圳富泰宏精密工业有限公司 行车安全提示方法、车辆
CN111292353B (zh) * 2020-01-21 2023-12-19 成都恒创新星科技有限公司 一种停车状态变化识别方法
US20210316734A1 (en) * 2020-04-14 2021-10-14 Subaru Corporation Vehicle travel assistance apparatus
US11693922B2 (en) * 2021-03-12 2023-07-04 EMC IP Holding Company LLC Method and system for a fast adaptation for image segmentation for autonomous edge vehicles
EP4134933A1 (en) 2021-08-11 2023-02-15 MOVYON S.p.A. SYSTEM AND METHOD FOR DETECTING THE CLASS OF A
VEHICLE IN TRANSIT

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000168846A (ja) * 1998-12-01 2000-06-20 Mitsubishi Gas Chem Co Inc 湿度インジケーター貼付脱酸素剤包装袋
CN101549692A (zh) * 2008-04-01 2009-10-07 欧淼森 轻型无人驾驶式电动车辆及立体带电车道

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69330513D1 (de) 1992-03-20 2001-09-06 Commw Scient Ind Res Org Gegenstands-überwachungsystem
US6714665B1 (en) * 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
KR100201739B1 (ko) 1995-05-18 1999-06-15 타테이시 요시오 물체 관측 방법 및 그 방법을 이용한 물체 관측장치와,이 장치를 이용한 교통흐름 계측장치 및 주차장 관측장치
AU2652299A (en) * 1998-01-09 1999-07-26 Orincon Technologies, Inc. System and method for classifying and tracking aircraft and vehicles on the grounds of an airport
US5886648A (en) * 1998-02-02 1999-03-23 Proto-Vest, Inc. Automated vehicle wash system with vehicle type recognition
US6959869B2 (en) * 1999-06-07 2005-11-01 Metrologic Instruments, Inc. Automatic vehicle identification (AVI) system employing planar laser illumination and imaging (PLIIM) based subsystems
KR100459475B1 (ko) 2002-04-04 2004-12-03 엘지산전 주식회사 차종 판단 시스템 및 그 방법
KR100459478B1 (ko) 2002-07-09 2004-12-03 엘지산전 주식회사 레이저 센서를 이용한 차량 검지 장치 및 방법
US7446798B2 (en) 2003-02-05 2008-11-04 Siemens Corporate Research, Inc. Real-time obstacle detection with a calibrated camera and known ego-motion
US20050267657A1 (en) * 2004-05-04 2005-12-01 Devdhar Prashant P Method for vehicle classification
JP4567630B2 (ja) * 2006-05-26 2010-10-20 富士通株式会社 車種判別プログラムおよび車種判別装置
US8098889B2 (en) * 2007-01-18 2012-01-17 Siemens Corporation System and method for vehicle detection and tracking
US8204277B2 (en) * 2008-07-18 2012-06-19 GM Global Technology Operations LLC Apparatus and method for camera-bases lane marker detection
CN101320520B (zh) 2008-07-21 2012-07-04 北京中星微电子有限公司 一种车辆检测方法及其设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000168846A (ja) * 1998-12-01 2000-06-20 Mitsubishi Gas Chem Co Inc 湿度インジケーター貼付脱酸素剤包装袋
CN101549692A (zh) * 2008-04-01 2009-10-07 欧淼森 轻型无人驾驶式电动车辆及立体带电车道

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
卢玥等: ""基于视频的车辆几何参数提取与车型分类"", 《计算机工程》 *
藤田大二等: ""交通车辆分类检测装置的研制"", 《国外公路》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108417042A (zh) * 2017-09-18 2018-08-17 西安金路交通工程科技发展有限责任公司 基于车辆图像的客车和货车分类方法
CN109785634A (zh) * 2017-11-13 2019-05-21 厦门雅迅网络股份有限公司 基于基站切换的车型识别方法及计算机可读存储介质
CN109785634B (zh) * 2017-11-13 2021-06-29 厦门雅迅网络股份有限公司 基于基站切换的车型识别方法及计算机可读存储介质

Also Published As

Publication number Publication date
EP2686841B1 (en) 2016-09-28
US9239955B2 (en) 2016-01-19
WO2012125687A2 (en) 2012-09-20
US20140037142A1 (en) 2014-02-06
CN103518230A (zh) 2014-01-15
EP2686841A2 (en) 2014-01-22
BR112013023734A2 (pt) 2016-12-13
WO2012125687A3 (en) 2012-12-27
EP2686841A4 (en) 2015-03-11
CN103518230B (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
CN103518230B (zh) 用于车辆分类的方法和系统
CA2958832C (en) Method and axle-counting device for contact-free axle counting of a vehicle and axle-counting system for road traffic
Hua et al. Vehicle tracking and speed estimation from traffic videos
Leibe et al. Dynamic 3d scene analysis from a moving vehicle
Oniga et al. Processing dense stereo data using elevation maps: Road surface, traffic isle, and obstacle detection
Geiger et al. Are we ready for autonomous driving? the kitti vision benchmark suite
Bhardwaj et al. Autocalib: Automatic traffic camera calibration at scale
US9467645B2 (en) System and method for recognizing parking space line markings for vehicle
Yamaguchi et al. Vehicle ego-motion estimation and moving object detection using a monocular camera
Huang et al. On-board vision system for lane recognition and front-vehicle detection to enhance driver's awareness
CN103886757A (zh) 用于自动分类运动中的车辆的方法
AU2015352462B2 (en) Method of controlling a traffic surveillance system
CN105260701B (zh) 一种适用于复杂场景下的前方车辆检测方法
Azimi et al. Eagle: Large-scale vehicle detection dataset in real-world scenarios using aerial imagery
CN104050684B (zh) 一种基于在线训练的视频运动目标分类方法与系统
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
US10984263B2 (en) Detection and validation of objects from sequential images of a camera by using homographies
Gandhi et al. Video based surround vehicle detection, classification and logging from moving platforms: Issues and approaches
Srinath et al. NITCAD-Developing an object detection, classification and stereo vision dataset for autonomous navigation in Indian roads
US11087150B2 (en) Detection and validation of objects from sequential images of a camera by using homographies
Philipsen et al. Day and night-time drive analysis using stereo vision for naturalistic driving studies
Kozempel et al. Fast vehicle detection and tracking in aerial image bursts
JP3503543B2 (ja) 道路構造認識方法、距離測定方法及び距離測定装置
Sotelo et al. Vision-based blind spot detection using optical flow
Yang Vehicle Detection and Classification from a LIDAR equipped probe vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170825

WD01 Invention patent application deemed withdrawn after publication