CN103366602B - 从数字摄像头图像确定停车场占用情况的方法 - Google Patents

从数字摄像头图像确定停车场占用情况的方法 Download PDF

Info

Publication number
CN103366602B
CN103366602B CN201310108571.2A CN201310108571A CN103366602B CN 103366602 B CN103366602 B CN 103366602B CN 201310108571 A CN201310108571 A CN 201310108571A CN 103366602 B CN103366602 B CN 103366602B
Authority
CN
China
Prior art keywords
parking stall
probability
pixel
parking
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310108571.2A
Other languages
English (en)
Other versions
CN103366602A (zh
Inventor
黛安娜·L·德利巴尔托夫
吴文成
罗伯特·P·洛切
埃德加·伯纳尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Comdount Business Services Co ltd
Original Assignee
Xerox Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xerox Corp filed Critical Xerox Corp
Publication of CN103366602A publication Critical patent/CN103366602A/zh
Application granted granted Critical
Publication of CN103366602B publication Critical patent/CN103366602B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

此处描述了一种从数字图像确定停车场占用情况的方法，其包括构建程序，所述构建程序包括接收停车场的布局且针对至少一个视角估计停车位体积并估计观察的像素属于所述停车位体积的概率。该方法进一步包括从至少一个数字摄像头获取所述停车场的一或多个图像帧；利用车辆检测器在所获得的图像帧上执行像素分类以确定像素属于车辆的可能性；基于空间变化的成员概率密度函数和相关区域内车辆像素的可能性计算停车位被车辆占用的概率；以及通过比较计算出的停车位被车辆占用的概率和预定阈值确定停车场的空位。

Description

从数字摄像头图像确定停车场占用情况的方法
技术领域
本发明涉及从数字摄像头图像确定停车场占用情况的方法和系统。
背景技术
作为背景情况，对可用停车位的检测在世界范围内都是非常重要的，这是因为它与燃料消耗和交通拥堵高度相关。研究表明，在人口密集的美国城市中，比如旧金山和纽约市，相当大比例的交通量与找寻（cruise）空停车位相关。例如，据估计，旧金山大约三分之一的交通量和二分之一的所使用燃料是因为搜寻空停车位的车辆而导致。一项在布鲁克林完成的关于停车位相关问题的研究表明总交通量的45%和本地交通量的64%是在寻找可用的停车位。因此，停车场占用情况的自动估计以及空位的检测能够解决繁忙地段的燃料消耗和交通量的问题。停车的进行通常只有非常少的自动化技术，这使得该过程效率低下且常常失效。需要廉价的自动和半自动的停车执行系统（parking enforcement system）。虽然已有基于停车传感器的系统，但是它们往往牵涉到大的安装和部署成本，以及安装许可的获取、不是没有困难的过程。由成组的摄像头组成的系统不仅可提供易于部署的廉价解决方案，而且可支持会给消费者提供附加值的其它任务，比如交通执法和监督。对基于摄像头的执行系统而言，主要的挑战之一是从图像和视频确定占用率和空位位置。
需要一种执行停车场占用情况估计并检测空位的自动化系统。该信息转而可经由无线电、因特网、路标和/或GPS辅助信号转达给司机。
发明内容
在一实施方式中，提供了一种从数字图像确定停车场占用情况的方法。该方法包括构建程序，该构建程序包括如下步骤：获得具有多个停车位的停车场的布局且针对至少一个视角估计停车位的体积并估计观察的像素属于所述停车位的体积的概率。该方法进一步包括如下步骤：从至少一个数字摄像头获取所述停车场的一或多个图像帧；利用至少一个车辆检测器在所获得的所述一或多个图像帧上执行像素分类以确定像素属于车辆的可能性；基于空间变化的成员概率密度函数（PDF）和相关区域（a region of interest）内车辆像素的可能性计算停车位被车辆占用的概率；以及通过比较计算出的停车位被车辆占用的所述概率和预定阈值确定停车场的空位。
在另一实施方式中，提供了一种从数字图像确定停车场占用情况的系统。该系统包括数据库和图像处理单元，所述数据库存储数字图像以及与数字图像处理相关的数据，所述图像处理单元包括处理器、系统存储器和系统总线，所述系统总线连接系统存储器和处理单元。所述图像处理单元是可操作的以：获得具有多个停车位的停车场的布局；针对至少一个视角估计停车位的体积并估计观察的像素属于所述停车位的体积的概率；从至少一个数字摄像头获取所述停车场的一或多个图像帧；利用至少一个车辆检测器在所获得的所述一或多个图像帧上执行像素分类以确定像素属于车辆的可能性；基于空间变化的成员概率密度函数（PDF）和相关区域内车辆像素的可能性计算停车位被车辆占用的概率；以及通过比较计算出的停车位被车辆占用的所述概率和预定阈值确定停车场的空位。
在又一实施方式中，提供了一种存储指令的非暂时的计算机可读的数据载体，所述指令当被计算机执行时，使得所述计算机执行从数字图像确定停车场占用情况的方法。该方法包括构建程序，该构建程序包括如下步骤：获得具有多个停车位的停车场的布局且针对至少 一个视角估计停车位的体积并估计观察的像素属于所述停车位的体积的概率。该方法进一步包括如下步骤：从至少一个数字摄像头获取所述停车场的一或多个图像帧；利用至少一个车辆检测器在所获得的所述一或多个图像帧上执行像素分类以确定像素属于车辆的可能性；基于空间变化的成员概率密度函数（PDF）和相关区域内车辆像素的可能性计算停车位被车辆占用的概率；以及通过比较计算出的停车位被车辆占用的所述概率和预定阈值确定停车场的空位。
附图说明
图1是图解适于实施从一或多幅摄像头图像确定停车场占用情况的示例性方法的数字图像处理装置的框图；
图2是从摄像头图像确定停车场占用情况的示例性方法的流程图；
图3是用于详细说明停车场布局的示例性用户界面（UI）；
图4示出了使用示例性车辆体积建模方法对停车位体积的估计；
图5示出了使用LBP-SVM车辆分类器的像素分类结果；
图6示出了局部二元模式编码方案；
图7示出了停车位的成员概率密度函数；以及
图8示出了具有样本停车场图像经示例性方法分析得出的占用结果的UI。
具体实施方式
这里所记载的是一种用于从一或多幅摄像头视图标记停车场占用检测的方法和系统。在合意的高度安装摄像头的常用方法是安装在灯柱上；但要理解的是，摄像头的任何架高安装（例如，高于8英尺）会是适合的。示例性实施方式专注于从灯柱摄像头视图而标记的 停车场占用检测，但它也涉及沿街停车，尤其是用于具有画线的街道（即，划出的“停车位”）。在更高层面上，示例性实施方式的一个方面是从静态图像确定占用率和占用/空闲位置的一系列图像处理步骤。具体而言，该示例性实施方式一般包括（1）利用用户标记线确定停车场布局的半手动规则系统（algorithm），（2）执行车辆/背景区分的切分规则系统（algorithm），以及（3）利用车辆体积模型的占用确定规则系统（algorithm）。
图1概略地示出了用于实施示例性方法的数字图像处理装置100。根据示例性实施方式形成的数字图像处理装置100包括用于执行数字图像处理和其它电子计算操作的图像处理单元（IPU）102。
计算机是用于IPU102的一种可行的硬件配置。要知道的是，虽然图示了独立架构，但可以根据本实施方式采用任何合适的计算环境。例如，根据本实施方式可采用的计算架构包括但不限于独立的、多处理器的、分布式的、客户端/服务器的、小型计算机的、大型计算机的、巨型计算机的、数字的和模拟的。
虽然没有特别显示在该图中，但就本领域技术人员所知，IPU102通常包括处理单元、系统存储器和连接各种系统部件（包括连接系统存储器和处理单元）的系统总线。处理单元可以是市场上可获得的各种处理器中的任何一种。双微处理器和其它多处理器架构也可被用作为处理单元。
系统总线可以是若干类型的总线结构中的任何一种，所述若干类型的总线结构包括使用市场上可获得的各种总线架构中的任何一种的存储总线或存储控制器、外设总线和局部总线。计算机存储器包括只读存储器（ROM）和随机访问存储器（RAM）。ROM中存储基本输入/输出系统（BIOS），BIOS包含有助于比如在启动期间、在计算机中的元件之间传递信息的基本例程。
IPU102可进一步包括硬盘驱动器、磁盘驱动器（例如，用于从可移动磁盘读取或者写入可移动磁盘）和光盘驱动器（例如，用于 读取CD-ROM盘或者从其它光学介质上读取或者写入其它光学介质）。IPU102通常包括至少某种形式的计算机可读介质。计算机可读介质可以是能够被计算机访问的任何可获得的介质。示例而不是限制地，计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括在用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法和技术中使用的易失和非易失、可移动和不可移动的介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储技术、CD-ROM、数字通用光盘（DVD）或其它磁存储设备，或者可用来存储所需信息且可被计算机访问的任何其它介质。
许多程序模块可被存储在驱动器和RAM中，包括操作系统、一或多个应用程序、其它程序模块和程序非中断数据（program non-interrupt data）。IPU102中的操作系统可以是市场上可获得的许多操作系统中的任何一种。
如本领域中所公知的，IPU102被可操作地连接于数字图像输入设备104，比如数字摄像头，数字图像输入设备104接收作为输入的图像并取得代表该图像的数字图像数据。IPU102从图案输入设备104接收数字图像数据。
IPU102还被可操作地连接于一或多个输出设备106，输出设备106从IPU102接收数字图像数据。图像输出设备106可包括存储用于后续检索的数字图像数据的数字数据存储设备（例如，CD-ROM、磁介质或其它存储介质）、和/或基于该数字图像数据产生视觉图像的视频显示终端。
如此处所图示的，IPU102可选地被连接到计算机网络112。如此，IPU102可发送数字图像数据给其所连接的任何网络或者从该网络接收数字图像数据。IPU102可工作在使用到一或多个远程计算机的逻辑和/或物理连接的网络环境中。远程计算机可以是工作站、服务器计算机、路由器、个人计算机、基于微处理器的娱乐性电器、对等设 备或其它常见的网络节点，且通常包括所描述的与计算机相关的许多或全部元件。所描绘的逻辑连接包括局域网（LAN）和广域网（WAN）。这样的网络环境在办公室、企业级计算机网络、内联网和因特网中是常见的。当被用于LAN网络环境中时，计算机通过网络接口或适配器被连接到本地网络。当被用于WAN网络环境中时，计算机通常包括调制解调器，或者被连接到LAN上的通信服务器，或者具有用于在WAN（比如因特网）上建立通信的其他装置。在网络环境中，所描绘的与计算机相关的程序模块或其部分可被存储在远程存储设备中。要知道的是，此处所描述的网络连接是示例性的且可使用建立计算机之间的通信链路的其它装置。
IPU102还被可操作地连接于数字图像数据库108，数字图像数据库108存储与数字图像处理相关的数据。该数字图像数据库108可以是简单的固定磁盘驱动器和/或可移动磁盘驱动器、接纳光学存储介质的光学介质读写器（例如，CD-ROM输入设备）、和/或包括和/或适于接收和读取数字图像存储介质的任何其它合适的数字图像数据存储设备。
图1的装置100可任选地包括用户界面（UI）110，UI110被可操作地连接于IPU102。UI110包括任何合适的输入/输出设备，被用户用于从图像处理单元102接收信息和将信息输入图像处理单元102。合适的用户界面设备包括键盘/小键盘、机械按钮/开关、具有图形用户界面的视频显示终端、诸如操纵杆或鼠标之类的指点设备、语音命令输入设备、触摸屏、和/或可被用户用来从IPU102接收信息和将信息输入IPU102的任何其它合适的输入/输出设备。
本领域普通技术人员会意识到在UI110和输出设备106之间可能存在一些重叠。例如，输出设备106的视频显示终端或屏幕也可以是UI110的部件且提供视觉信息给用户。
本领域普通技术人员还会意识到根据图1制成的包括IPU102的装置可通过各种已知系统进行提供。
现在参考图2，在更具体的层面上，示例性方法的步骤可包括：（1）接收和/或确定（不然获取）讨论中的停车场的布局（201）；（2）针对一或多个视角根据观测像素属于给定停车体积的概率（即，成员概率密度函数，或者PDF）估计停车位体积（202）；（3）从优选地安装在诸如灯柱之类的架高结构上的至少一个数字摄像头获取停车场的一或多个图像帧（203）；（4）利用至少一个车辆检测器（或车辆检测规则系统（algorithm））在所获取的图像帧上执行像素分类以确定给定像素对应于车辆的可能性（204）；（5）基于空间变化的成员PDF以及相关区域内车辆像素的可能性计算停车位被车辆占用的概率（205）；以及（6）通过比较计算出的概率和预定阈值（Th）确定停车场的空位（206）。要注意的是，如图2中所示，可引入反馈回路207以强调步骤（203-206）中的至少一些通常可随着时间的推移且根据需要被重复，但是其它步骤（201和202）对于给定的停车场和摄像头安装而言一般只执行一次。下面将更详细地说明这些步骤中的每一个。
第一步骤（201）是接收和/或确定相关停车场的停车位布局。为了确定停车场中的空位（即，多少车位是可用的且更重要的是它们的位置在哪里），拥有关于相关停车场的布局的一些知识是有益的。有多种方式收集这种信息。例如，可使用现有的停车场蓝图加上摄像头安装设置的知识来推断停车场布局。还可通过将每天收到的停车场占用情况的部分信息放在一起来学习随着时间推移的停车场布局。另一方法是直接从已获取的图像（理想地从该停车场大部分空置时获取的图像）检测限定停车位的标记（或者线）。关于示例性实施方式，利用UI300的半手动方法可被用来执行这个任务（参见图3）。例如，通过UI300，可要求用户画线（不然输入），其中这些线的交叉可限定停车位的角落。注意：由于每个摄像头安装只需要限定一次停车位布局，所以这种方法对该实施而言是适当地准确和有效的。注意：对某些停车场而言，适当时候也可使用曲线来限定停车位。
如图3中所示，示例性UI300一般包括至少一个停车场图像画面302。此外，UI300可包括其它种种功能，比如“打开图像” （304）、“画线”（306）、“加载线”（308）、“保存线”（310）、“像素分类”（312）、“选择方法”（314）（例如，LBP、TextonBoost、LBP+TextonBoost）、“占用估计”（316）、“地面实测”（318）、“保存地面实况”（320）和/或“评估”（322）。但要理解的是，其它UI布局也是可行的且其它功能也可被包括。
现在参考图2，该方法的第二步骤（202）是查明摄像头的透视图，估计停车体积。也就是说，由于摄像头的透视图，停放的车子看起来会占用比单个停车位更大的空间（或者延伸越过限定的停车线）。在这一点上，图4示出了利用提议的车辆体积建模方法针对停车场的给定图像/视图402的停车场体积的估计。
在该步骤，估计与图像402中的停车位相关的体积，即，与成像的停车位相关的三维（3-D）区域，在该区域中可观察停放的车辆。该体积可例如通过使停车位逼近平行六面体来估计。这可通过使用来自第一步骤201的停车位标记线（404）以及将高度估计为例如四条底边（406和408）的平均长度的一半来完成。从给定摄像头角度看到的平行六面体面层（mask）可通过简单的几何操作获得，所述几何操作针对给定停车位产生相关3-D区域（确切地说是体积）的投影（408）。接下来，针对该区域内的每一个像素，指定是给定停车位的像素成员的概率。这是优选的，因为考虑到代表3-D场景的二维（2-D）图像像素的位置有固有的不确定性。这种成员PDF是距相关区域的中心的距离（中心的像素具有较大的权重）和可与相邻停车位重叠的区域（408中吸藏的、色彩编码的区域）的数量的函数。这种成员PDF的细节在第五步骤（205）中进行描述。
在该方法的第三步骤（203）中，从安装在例如灯柱或类似架高结构上的至少一个数字摄像头获取停车场的至少一个图像帧l(x)。该图像会在后续的步骤中被进一步处理以确定停车场和/或该停车场内相关停车位的占用情况。
该方法的第四步骤（204）是利用至少一种类型的车辆检测器（或车辆检测规则系统（algorithm））执行像素分类。更具体地，在所获得的图像上利用至少一个车辆检测器执行像素分类以确定像素属于车辆的可能性。在优选的实施方式中，两种不同的对象识别规则系统（algorithm）（即，车辆检测器或分类器）的分类/输出被整合。例如，可以采用使用旋转不变的局部二元模式（LBP）作为输入特征的支持向量机（SVM）分类器和/或TextonBoost（TB）分类器。但要理解的是，该示例性方法可使用其它车辆检测器。该步骤的输出是概率图Pv(x)，其表明像素x属于车辆的可能性（从而提供车位已被占用的证据）。图5示出了对图像502应用LBP-SVM车辆分类器时的取样结果504。
参考图6，下面将更详细地描述使用旋转不变的LBP作为输入特征的SVM分类器。一般而言，局部二元模式是良好的图像纹理描述符且已被成功地运用于人脸识别领域。因此，针对该图像中的每一个像素，考虑了大约按选定半径r远离中心的周围的邻近像素，如图6的第一幅图602中所示。具有大于或等于给定像素（例如，中心像素）的值的每一个邻近像素被分配编码1，具有较低值的每一个邻近像素被分配编码0。然后遍历所得的二进制码序列，如第二幅图604中所示。所以，当考虑8个邻近像素时，该8个二进制值串在一起形成一个字节（606）。该二进制值被转换为十进制（例如，11010011），从而获得一个数字（211）。该数字是给定像素的LBP码值。这个过程针对该图像中的每一个像素进行重复，从而获得编码图像。
一致收敛的（uniform）局部二元模式是在比特序列中的0和1之间具有至少2次转变的模式。例如，下面的模式是一致收敛的：00001100、11110011、111111111、00000000、00011111。而下面的模式是不一致收敛的：00110011、01010101。
旋转不变的模式将只是由于循环偏移而有所不同的所有序列视为等同方式。例如，下面的模式列举了00110000的所有可能的旋转不 变的版本：00011000、00001100、00000110、00000011、10000001、11000000和01100000。在本实施例中，可以指定旋转不变的该组序列的每一个成员中具有最小十进制值的序列。
该图像可被分成m×m像素（例如，m=15）的网格，且可计算每一个块中的旋转不变一致收敛的LBP值的直方图。
每一个块可基于地面实况被标注（即，人工标注的数据，假定完全正确，用于训练和评估目的）为属于各种类型对象中的一种，比如车辆、人行道、树木、天空、建筑物和/或空白（以上都没有）。但要理解的是，可根据停车场的位置以及其它环境因素采用对象类型。每一个块内的值的直方图可被用作为特征向量以训练SVM分类器。例如，可以利用停车场环境（setting）中的5种最常见对象，即使一般而言，主要相关的是车辆类。
因此，分类器的输出通常被视为二进制输出（这种类型的分类器被标记为“硬分类器”），表示像素x是否属于车辆：
接着，将更详细地描述TextonBoost分类器。TextonBoost是对象识别方法，由Jamie Shaton在《TextonBoost for Image Understanding:Multi-Class ObjectRecognition and Segmentation by Jointly Modeling Texture,Layout,and Context》（2007）（《用于图像理解的TextonBoost：通过共同建模的纹理、布局、和背景的多类目标识别与分段》（2007））中进行了介绍。它使用条件随机场模型来学习对象类标签在整个给定图像中的条件分布。该模型利用纹理布局、色彩、位置和边缘特征。TextonBoost基于前述的类（即，车辆、树木、人行道、天空、建筑物和/或空白）。类似于LBP，TextonBoost的硬输出可被用作为表示像素x是否属于车辆的二进制分类器：
注意：当只使用一个硬像素分类器时，只计算硬分类输出。但是，为了更佳的车辆像素检测，整合多个像素分类器的输出以产生最后的分类判定是有利的。在这种情况下，可以使用由加权整合一或多个分类器的输出而获得的软分类输出。例如，车辆检测模型可合并LBP和TextonBoost分类器二者。具体地，对于TextonBoost分类器而言，针对像素属于“车辆”类的概率用于替代硬分类。进一步地，计算每一个类标签的概率的熵，熵是每一个像素处的判定的不确定性的程度。通过按比例调节这个值以达到最大值1并从1中减去该结果，可获得每一个像素处的判定的确定性的程度。在像素x处的判定的确定性ηx的范围在0（低确定性）和1（最大确定性）之间。注意：还可以类似的方式整合LBP-SVM分类器的软概率输出 和TextonBoost分类器的硬输出
下面将说明一种关于像素x是车辆的概率的模型，该模型利用整合了LBP硬输出的TextonBoost软输出：
其中是由TextonBoost输出的像素对应于车辆的软概率，而是由具有作为输入的LBP值的SVM分类器提供的像素对应于车辆的硬分类输出。
替代地，利用TextonBoost的硬输出和LBP的硬输出的关于像素x是车辆的概率的模型可包括下面的一者：
或者
其中是由TextonBoost给出的像素对应于车辆的硬分类，而是由具有作为输入的LBP的SVM分类器给出的像素对应于车辆的硬分类。
虽然已经详细描述了TextonBoost和LBP的特征，但是在分类过程中可使用其它图像处理功能。例如，可使用梯度方向直方图 （HOG）、旋转不变特征变换（RIFT）、广义RIFT（G-RIFT）、加速鲁棒特征（SURF）、梯度位置和方向直方图（GLOH）、SIFT（比例不变特征变换）和/或哈里斯角落(Harris Corners)特性。
在该方法的第五步骤（205）中，可基于每一个停车位的相关区域内的车辆像素的概率的加权总和（参见第二步骤（202））计算停车位被车辆占用的概率。此处所使用的术语“相关区域”是指可潜在地属于停在给定停车位中的车辆的像素。
在此，空间变化的权重对应于第二步骤（202）中所介绍的成员PDF。更具体地，使用以停车位的相关区域的质心为中心且以沿着相关区域的主导方向为方向的高斯内核。这对位于朝相关区域的中心的像素赋予更大的权重。这些权重根据相邻停车位的相关区域的可能的重叠区域（可能的吸藏区域）的数量被进一步扩展（scale）。
可以假定大部分车辆被停放在每一个停车位的中心附近。因为不是所有的车辆都是相同尺寸，所以在车辆体积的中心权重较大是有道理的据此，可使用加权函数，比如下面所示的这个函数：
其中x0是停车位体积（相关区域）的中心，Σ（a2×2矩阵）包含表示高斯内核的旋转和权重随像素到中心的距离增加而急降的速率的参数。
由于可用的摄像头安装位置所提供的有限选择，会出现一些吸藏区域（occlusion）。所述吸藏区域本身表现为例如停车位体积（相关区域）的重叠3-D模型。因此，每一个相关区域可被分为许多子区域，其中每一个子区域以与相邻停车位的可能的重叠（吸藏）的数量为特征：没有吸藏、可被一个吸藏、可被两个吸藏，等等。
对可出现吸藏的子区域中的像素而言，一或多个通常毗邻的车位可有助于确定像素属于车辆的概率（若不恰当处理，这会导致多个计数）。为了对这种限制进行完善，以的形式规定了子区域的权 重，其中k表示打折（discount）的一个会强加到潜在的吸藏子区域，n是拥有（claim）这种子区域（重叠）的停车位的数量。
结合上述两个权重（高斯内核权重和吸藏补偿权重），每一个像素x的最终空间变化权重被规定为w(x)=wg(x)w0。在每一个相关区域（即，每一个停车位）内，这些值被正规化为总计为1，从而代表成员PDF（参见图7）。图7示出了样本停车场的车辆体积（702）、样本车辆体积（704）、样本车辆体积的对应的具有高斯内核的成员PDF（706）、以及样本车辆体积的对应的具有高斯内核和吸藏补偿的最终成员PDF（708）。直观地说，靠近车辆体积的中心的像素和位于针对每一个3-D车辆体积停车位没有吸藏的子区域内的像素权重较高。
停车位s被占用的概率由属于s的每一个个体像素被占用的概率的总和给出。因此，这个概率可由像素x被分类为车辆以及像素x是停车位s的成员的联合概率给出。可假定这两者是独立的，从而该联合概率等于像素x是车辆的概率（由第四步骤（204）给出）和像素x属于停车位s的概率（由成员PDF给出）的积。数学上这可表示为：
（5）
代表占用的概率的一个这样的值针对每一个停车位s被获取。然后，将该值与阈值进行比较，作出二元判定。
在该方法的第六步骤（206）中，通过计算出的每一个停车位的概率和预定阈值（Th）的比较，确定停车场空位。一种简单的选择是，例如，Th=0.5。但要理解的是，其它值也是可行的。更复杂的方法可基于分类器的特征和/或通过训练被使用。可选地，预定阈值可基于额外信息进行调整，该额外信息包括进出所述停车场的车辆的总数和空停车位的总数中的至少一者。
所得信息可进而通过无线电、因特网、路标和/或GPS辅助信号转达给司机或其它相关人员。
为了说明示例性实施方式的可行性和性能，收集各种停车场图像以形成数据集。该数据集由三组图像组成。第一组62幅图像由大约五个不同停车场的在一天的大约两个不同的时间拍摄的各种视图组成。这些图像的大部分是在晴天拍摄的，但有一些受到雾的影响。第二数据集由一个停车场在一天的各个时间在不同照明条件下获取的图像组成。这些图像全部从十分相似的角度拍摄。第三组图像由从谷歌图片搜索收集的10幅图像组成。这是最多样化的数据集，因为每一幅图像在照明条件、视角等方面都不同于其余图像。
用于对象分类的像素级地面实况针对第一组中的32幅图像被手动创建。这些在车辆检测器的训练中被使用。剩余的图像（即第一组中的30幅、第二组中的15幅以及第三组中的10幅）被用于测试该系统。由用户输入为这些图像创建停车位标记线，以及每一个停车位的占用地面实况。下面展示的是该数据集的以下性能分析。
下面的表1示出了在不同数量的图像（9、25和32）上训练的半径为1和2的LBP的性能以及在第一数据集中的32幅图像上训练的TextonBoost的性能的概要，全部在吸藏参数k=2的情况下作出。这些值代表贯穿整个图像集合的已占停车位和空停车位的正确检测的百分率。正如所料，这些方法通常在第一数据集上效果最好，因为训练数据和测试数据类型相同。在更现实的方案中，训练数据和测试数据彼此类似，因为一旦系统建立，训练便从停车场的相似视图完成。第一数据集由大约5个停车场的不同视图组成，从而在只有一个停车场、从一个视图观察的情况下工作时预计性能提升。其它两个数据集上的结果探索了推广这种方法的可行性。
注意：在9幅图像上训练的半径为1的LBP通常表现最好。较多训练图像反而降低了性能的可能原因是发生在SVM分类器阶段的潜在的过度拟合。
表1
车辆检测器的分类准确度
接着，考虑吸藏参数k的影响。由下面的表2可知，k=2时，该规则系统（algorithm）通常表现最好。本实验使用在9幅图像上训练的r=1的LBP方法。
表2
吸藏参数对分类准确度的影响的探索
测试数据集 k＝1 k＝1.5 k＝2 k＝3 k＝4
第一组 81 83 85 84 85
第二组 64 64 63 65 64
第三组 83 81 81 79 79
平均 76.0 76.0 76.2 76.2 76.0
一般而言，增加图像尺寸（从而增加车辆对象的分辨率）会将在9幅图像上训练的r=1的LBP的准确度从85%增加到88%。
接着，考虑最佳LBP方法（r=1、在9幅图像上训练）和TextonBoost的整合，使用k=2。下表3的结果显示，LBP和TB分类器的整合相较于单个分类器在结果上有少许改进。直观地，整合方法会试图在细到像素级在多个分类器中选出最佳的。整合策略部分实现了所需效果。
表3
具有最佳参数的各个分类器的分类准确度
测试数据集 LBP TB LBP+TB
第一组 88 81 87
第二组 60 73 72
第三组 83 61 76
平均 76.8 71.3 78.1
最后，出于说明目的，图8中示出了具有停车场图像802和占用（或者中间）结果804的UI800的一个实施例。中间结果804表示：（1）对每一个类进行色彩编码的分类器输出（806），（2）从用户引导线估计的停车位（808），（3）停车位的叠加体积（810），以及（4）色彩代表对具体像素而言可能的吸藏数量的吸藏示意图（812）。如先前所述，UI800可包括其它种种功能，比如打开图像（814）、画线（816）、加载线（818）、保存线（820）、像素分类（822）、选择方法（824）（例如，LBP、TextonBoost、LBP+TextonBoost）、占用估计（826）、地面实测（828）、保存地面实况（830）和/或评估（832）。
示例性实施方式参照轿车（car）进行描述。但是，可在其它车辆（比如摩托车和卡车）上训练该规则系统（algorithm），因为它们显示出类似的特征。
可以考虑用于结合LBP和TB（TextonBoost）结果的其它整合方法。例如{LBP∧TB}，根据该方法，如果LBP和TB二者的结果均表明车位被占用，则车位被视为占用。另一示例为{LBP∨TB}，根据该方法，如果LBP或TB的结果之一表明车位被占用，则车位被视为占用。除非车位被占用的确定性高，否则前一方法的输出偏向空位判定。后一方法的输出偏向车位被占的判定。判定偏向不同组合的选择由具体的应用需要驱动。
当可获得给定停车场的原始统计时，比如停车容量、进出车辆的数量，等等，这些信息可被用来完美我们的方法中的参数。一个简单的例子，设定的概率阈值（例如，LBP和TB分类器为0.5，LBP+TB分类器为0.3）可被设置在占用和空置输出之间使得占用的总数和空置的总数最接近停车场的给定的原始统计。
示例性方法可在计算机程序产品中被实施，该计算机程序产品可在计算设备上被执行。该计算机程序产品可以是非暂时的计算机可读的其上记录控制程序的记录介质（比如磁盘、硬盘驱动器），或者可以是传输载波（在其中，控制程序被体现为数据信号）。计算机可读介 质的常规形式包括，例如，软盘、软磁盘、硬盘、磁带、或者任何其它磁性存储介质、CD-ROM、DVD、或者任何其它光学介质、RAM、PROM、EPROM、闪存EPROM、或者其它存储芯片或存储匣、传输介质（比如声波或光波，比如无线电波和红外数据通信期间产生的那些，诸如此类）、或者计算机可读并可用的任何其它介质。

Claims (9)

1.一种从数字图像确定停车场占用情况的方法，所述方法包括：
获得具有多个停车位的停车场的布局；
针对所述停车位的至少一个视角估计停车位的体积，并估计观察的像素属于所述停车位的体积的概率；
从至少一个数字摄像头获取所述停车场的一或多个图像帧；
利用至少一个车辆检测器在所获得的所述一或多个图像帧上执行像素分类以确定像素对应于车辆的可能性；
基于空间变化的成员概率密度函数和相关区域内车辆像素的可能性计算停车位被车辆占用的概率；以及
通过比较计算出的停车位被车辆占用的所述概率和预定阈值确定停车场的空位；
其中估计与所述图像中的停车位相关的体积进一步包括：通过利用所述停车位的标记线以及将高度估计为四条底边的平均长度的一半，使所述停车位逼近平行六面体；通过针对给定的所述停车位产生相关三维区域的投影的几何操作，从给定的摄像头角度观测获取所述平行六面体的面层；针对所述区域内的每一个像素，指定是给定的所述停车位的像素成员的概率，其中所述成员概率密度函数是距所述相关区域的中心的距离和多个能与相邻停车位重叠的区域的函数。
2.如权利要求1所述的方法，其进一步包括：利用使用旋转不变的局部二元模式作为输入特征的支持向量机分类器和TextonBoost分类器中的至少一者来执行所述像素分类步骤。
3.如权利要求1所述的方法，其中所述预定阈值基于额外信息进行调整，所述额外信息包括进出所述停车场的车辆的总数和空停车位的总数中的至少一者。
4.如权利要求1所述的方法，其中获取所述停车场的布局进一步包括：当所述停车场至少部分为空或者收到由用户通过用户界面输入的数据时，从所述停车场的图像中自动检测限定一或多个停车位的一或多个标记或线，其中所述数据包括所述停车场的一或多幅图像上的标记或线且所述标记或线的交叉限定停车位的一或多个角落。
5.一种从数字图像确定停车场占用情况的系统，所述系统包括：
数据库，其存储数字图像以及与数字图像处理相关的数据，其中所述数据包括一或多个停车场布局；以及
图像处理单元，其包括处理器、系统存储器和系统总线，所述系统总线连接所述系统存储器和所述处理单元，其中所述图像处理单元是可操作的以：
获得具有多个停车位的停车场的布局；
针对所述停车位的至少一个视角估计停车位的体积，并估计观察的像素属于所述停车位的体积的概率；
从至少一个数字摄像头获取所述停车场的一或多个图像帧；
利用至少一个车辆检测器在所获得的所述一或多个图像帧上执行像素分类以确定像素对应于车辆的可能性；
基于空间变化的成员概率密度函数和相关区域内车辆像素的可能性计算停车位被车辆占用的概率；以及
通过比较计算出的停车位被车辆占用的所述概率和预定阈值确定停车场的空位；
其中估计与所述图像中的停车位相关的体积进一步包括：通过利用所述停车位的标记线以及将高度估计为四条底边的平均长度的一半，使所述停车位逼近平行六面体；通过针对给定的所述停车位产生相关三维区域的投影的几何操作，从给定的摄像头角度观测获取所述平行六面体的面层；针对所述区域内的每一个像素，指定是给定的所述停车位的像素成员的概率，其中所述成员概率密度函数是距所述相关区域的中心的距离和多个能与相邻停车位重叠的区域的函数。
6.如权利要求5所述的系统，其中所述图像处理单元是进一步可操作的以利用使用旋转不变的局部二元模式作为输入特征的支持向量机分类器和TextonBoost分类器中的至少一者来执行所述像素分类步骤。
7.如权利要求6所述的系统，其中所述图像处理单元是进一步可操作的以利用关于像素x是车辆的概率的模型，所述模型利用所述TextonBoost分类器的软输出和所述支持向量机分类器的硬输出，所述模型包括：
P v ( x ) = η x P v T B ( x ) + ( 1 - η x ) P v L B P
其中是由所述TextonBoost分类器给出的像素对应于车辆的软概率，且是由具有作为输入的局部二元模式的所述支持向量机分类器给出的像素对应于车辆的硬分类，其中ηx代表在像素x处的判定的确定性。
8.如权利要求6所述的系统，其中所述图像处理单元是进一步可操作的以利用关于像素x是车辆的概率的模型，所述模型利用所述TextonBoost分类器的硬输出和所述支持向量机分类器的硬输出，所述模型包括下面的一者：
或者
其中是由所述TextonBoost分类器给出的像素对应于车辆的硬分类，且是由具有作为输入的局部二元模式的所述支持向量机分类器给出的像素对应于车辆的硬分类。
9.一种用于执行从数字图像确定停车场占用情况的方法的计算机，所述计算机包括：
用于获得具有多个停车位的停车场的布局的装置；
用于针对所述停车位的至少一个视角估计停车位的体积，并估计观察的像素属于所述停车位的体积的概率的装置；
用于从至少一个数字摄像头获取所述停车场的一或多个图像帧的装置；
用于利用至少一个车辆检测器在所获得的所述一或多个图像帧上执行像素分类以确定像素对应于车辆的可能性的装置；
用于基于空间变化的成员概率密度函数和相关区域内车辆像素的可能性计算停车位被车辆占用的概率的装置；以及
用于通过比较计算出的停车位被车辆占用的所述概率和预定阈值确定停车场的空位的装置；
其中估计与所述图像中的停车位相关的体积进一步包括：通过利用所述停车位的标记线以及将高度估计为四条底边的平均长度的一半，使所述停车位逼近平行六面体；通过针对给定的所述停车位产生相关三维区域的投影的几何操作，从给定的摄像头角度观测获取所述平行六面体的面层；针对所述区域内的每一个像素，指定是给定的所述停车位的像素成员的概率，其中所述成员概率密度函数是距所述相关区域的中心的距离和多个能与相邻停车位重叠的区域的函数。
CN201310108571.2A 2012-03-29 2013-03-29 从数字摄像头图像确定停车场占用情况的方法 Expired - Fee Related CN103366602B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/433809 2012-03-29
US13/433,809 US9129524B2 (en) 2012-03-29 2012-03-29 Method of determining parking lot occupancy from digital camera images

Publications (2)

Publication Number Publication Date
CN103366602A CN103366602A (zh) 2013-10-23
CN103366602B true CN103366602B (zh) 2017-04-12

Family

ID=48226754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310108571.2A Expired - Fee Related CN103366602B (zh) 2012-03-29 2013-03-29 从数字摄像头图像确定停车场占用情况的方法

Country Status (4)

Country Link
US (1) US9129524B2 (zh)
JP (1) JP5980148B2 (zh)
CN (1) CN103366602B (zh)
GB (1) GB2502187B (zh)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9070093B2 (en) * 2012-04-03 2015-06-30 Xerox Corporation System and method for generating an occupancy model
US9367966B2 (en) 2012-04-06 2016-06-14 Xerox Corporation Smartphone augmented video-based on-street parking management system
KR101947826B1 (ko) * 2012-04-10 2019-02-13 현대자동차주식회사 차량의 주차구획 인식방법
US9374870B2 (en) 2012-09-12 2016-06-21 Sensity Systems Inc. Networked lighting infrastructure for sensing applications
US9582671B2 (en) 2014-03-06 2017-02-28 Sensity Systems Inc. Security and data privacy for lighting sensory networks
JP2014110028A (ja) * 2012-12-04 2014-06-12 Sony Corp 画像処理装置、画像処理方法およびプログラム
US10121172B2 (en) 2013-01-25 2018-11-06 Municipal Parking Services Inc. Parking lot monitoring system
EP2948344B1 (en) 2013-01-25 2021-03-10 Municipal Parking Services Inc. Parking meter system
US9374532B2 (en) * 2013-03-15 2016-06-21 Google Inc. Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization
US9122930B2 (en) * 2013-07-15 2015-09-01 Digitalglobe Inc. Automated remote car counting
US9323993B2 (en) * 2013-09-05 2016-04-26 Xerox Corporation On-street parking management methods and systems for identifying a vehicle via a camera and mobile communications devices
US8923565B1 (en) * 2013-09-26 2014-12-30 Chengdu Haicun Ip Technology Llc Parked vehicle detection based on edge detection
US9330568B2 (en) 2013-10-30 2016-05-03 Xerox Corporation Methods, systems and processor-readable media for parking occupancy detection utilizing laser scanning
US9542609B2 (en) * 2014-02-04 2017-01-10 Xerox Corporation Automatic training of a parked vehicle detector for large deployment
US11443331B2 (en) * 2014-02-13 2022-09-13 Conduent Business Solutions, Llc Multi-target tracking for demand management
US10417570B2 (en) 2014-03-06 2019-09-17 Verizon Patent And Licensing Inc. Systems and methods for probabilistic semantic sensing in a sensory network
US9940633B2 (en) * 2014-04-25 2018-04-10 Conduent Business Services, Llc System and method for video-based detection of drive-arounds in a retail setting
CN104091447A (zh) * 2014-07-16 2014-10-08 安徽味唯网络科技有限公司 一种智能设备识别临时用户的方法
CN104112370B (zh) * 2014-07-30 2016-08-17 哈尔滨工业大学深圳研究生院 基于监控图像的停车场智能车位识别方法及系统
US9418553B2 (en) 2014-10-02 2016-08-16 Omid B. Nakhjavani Easy parking finder
FR3030972A1 (fr) * 2014-12-22 2016-06-24 Orange Dispositif et procede de detection d'un etat d'occupation d'un emplacement
US9576250B2 (en) 2015-02-24 2017-02-21 Xerox Corporation Method and system for simulating users in the context of a parking lot based on the automatic learning of a user choice decision function from historical data considering multiple user behavior profiles
EP3073444A3 (en) 2015-03-25 2017-01-04 Tata Consultancy Services Limited A computer implemented system and method for image texture determination
DE102015205855A1 (de) * 2015-04-01 2016-10-06 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zur automatischen Erkennung von Parkzonen
US10380430B2 (en) 2015-04-17 2019-08-13 Current Lighting Solutions, Llc User interfaces for parking zone creation
US10043307B2 (en) 2015-04-17 2018-08-07 General Electric Company Monitoring parking rule violations
DE102015208428A1 (de) * 2015-05-06 2016-11-10 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Erkennung und Bewertung von Umwelteinflüssen und Fahrbahnzustandsinformationen im Fahrzeugumfeld
DE102015211123A1 (de) * 2015-06-17 2016-12-22 Robert Bosch Gmbh Parkplatzverwaltung
DE102015211114A1 (de) * 2015-06-17 2016-12-22 Robert Bosch Gmbh Verwaltung eines Parkplatzes
DE102015212689A1 (de) * 2015-07-07 2017-01-12 Robert Bosch Gmbh Fahrerunabhängige Überführung eines Kraftfahrzeugs
CN106384532A (zh) * 2015-07-31 2017-02-08 富士通株式会社 视频数据分析方法、装置以及停车位监控系统
US20170053192A1 (en) * 2015-08-18 2017-02-23 Parking Vision Information Technologies, INC. Systems and methods for detecting parking occupancy status
CN105206095A (zh) * 2015-08-20 2015-12-30 成都市微泊科技有限公司 一种停车场车位信息查询及预定系统
US11164452B2 (en) 2015-10-27 2021-11-02 Municipal Parking Services, Inc. Parking space detection method and system
CA3003445C (en) 2015-10-27 2022-05-31 Municipal Parking Services, Inc. Parking space detection method and system
CN105390021B (zh) * 2015-11-16 2018-03-27 北京蓝卡科技股份有限公司 车位状态的检测方法及装置
US20170161961A1 (en) * 2015-12-07 2017-06-08 Paul Salsberg Parking space control method and system with unmanned paired aerial vehicle (uav)
US9946936B2 (en) * 2016-04-12 2018-04-17 Conduent Business Services, Llc Automated video based ingress/egress sensor reset for truck stop occupancy detection
CN107872644B (zh) * 2016-09-23 2020-10-09 亿阳信通股份有限公司 视频监控方法及装置
US10368036B2 (en) * 2016-11-17 2019-07-30 Vivotek Inc. Pair of parking area sensing cameras, a parking area sensing method and a parking area sensing system
DE102016223106A1 (de) * 2016-11-23 2018-05-24 Robert Bosch Gmbh Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
DE102016223171A1 (de) * 2016-11-23 2018-05-24 Robert Bosch Gmbh Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
GB201621438D0 (en) * 2016-12-16 2017-02-01 Trw Ltd Method of determining the boundary of drivable space
DE102017200196B3 (de) * 2017-01-09 2018-04-05 Ford Global Technologies, Llc Steuern von Parkraum für Fahrzeuge
US10152639B2 (en) * 2017-02-16 2018-12-11 Wipro Limited Method and system for identifying a vacant parking space in a parking lot
US11366477B2 (en) * 2017-03-15 2022-06-21 Mitsubishi Electric Corporation Information processing device, information processing method, and computer readable medium
KR101806066B1 (ko) 2017-03-24 2018-01-11 주식회사 넥스쿼드 주차유도 기능이 구비된 카메라 모듈
CN107315990B (zh) * 2017-05-04 2021-08-13 深圳市美好幸福生活安全系统有限公司 一种基于xcs-lbp特征的行人检测算法
IL252914A0 (en) * 2017-06-14 2017-08-31 Parkam Israel Ltd Learning system for automatic detection of a free parking space
CN107591005B (zh) * 2017-08-09 2020-07-03 深圳市金溢科技股份有限公司 动静态检测相结合的停车区域管理方法、服务器及系统
US10621855B2 (en) 2017-09-18 2020-04-14 Google Llc Online occupancy state estimation
KR102019031B1 (ko) * 2017-09-29 2019-11-04 소프트온넷(주) Cctv 주차장 영상정보를 이용한 실시간 주차칸 영상객체 인식 장치, 시스템 및 방법
US10157543B1 (en) * 2017-10-16 2018-12-18 Verizon Patent And Licensing Inc. Smart parking system
DE102017218879A1 (de) * 2017-10-23 2019-05-09 Objective Software Gmbh Parkplatzüberwachungssystem und Verfahren zur Parkplatzüberwachung
JP7089355B2 (ja) * 2017-11-13 2022-06-22 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
US11526798B2 (en) 2017-11-14 2022-12-13 International Business Machines Corporation Parking availability predictor
CN108090455B (zh) * 2017-12-27 2023-08-22 北京纵目安驰智能科技有限公司 基于级联机制的车位线顶点定位方法、系统、终端及介质
EP3506153A1 (en) * 2017-12-28 2019-07-03 Canon Kabushiki Kaisha Information processing apparatus, system, method, and non-transitory computer-readable storage medium
CN110245673B (zh) * 2018-03-09 2021-07-20 浙江宇视科技有限公司 车位检测方法及装置
CN108563994B (zh) * 2018-03-14 2021-09-24 吉林大学 一种基于图像相似程度的停车场车位识别方法
FR3087041B1 (fr) * 2018-10-04 2021-01-08 Bull Sas Procede de localisation d'un emplacement de stationnement d'un vehicule dans un parking
TWI676971B (zh) * 2018-10-04 2019-11-11 貼個夠有限公司 停車格使用程度分析方法
US10983201B2 (en) 2018-10-29 2021-04-20 Dji Technology, Inc. User interface for displaying point clouds generated by a lidar device on a UAV
US10796434B1 (en) 2019-01-31 2020-10-06 Stradvision, Inc Method and device for detecting parking area using semantic segmentation in automatic parking system
CN110135360A (zh) * 2019-05-17 2019-08-16 北京深醒科技有限公司 一种基于局部二值模式和支持向量机的车位识别方法
JP6929342B2 (ja) * 2019-12-02 2021-09-01 三菱電機株式会社 設備監視装置、設備監視方法及び設備監視プログラム
CN110910655A (zh) * 2019-12-11 2020-03-24 深圳市捷顺科技实业股份有限公司 一种停车管理方法、装置及设备
CN111428616B (zh) * 2020-03-20 2023-05-23 东软睿驰汽车技术（沈阳）有限公司 一种车位检测方法、装置、设备及存储介质
US11403947B2 (en) 2020-04-14 2022-08-02 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for identifying available parking spaces using connected vehicles
CN111564058A (zh) * 2020-05-19 2020-08-21 杭州自动桌信息技术有限公司 一种用于监控停车场状况的装置及停车场管理系统及管理方法
DE102020119284A1 (de) 2020-07-22 2022-01-27 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Vorrichtung und Verfahren zur Verkehrszeichenerkennung
CN111739175B (zh) * 2020-08-11 2022-07-05 上海高德威智能交通系统有限公司 一种车辆停车监控方法和装置
CN111681255B (zh) * 2020-08-17 2020-11-13 腾讯科技（深圳）有限公司 一种对象识别方法和相关装置
WO2022045877A1 (en) * 2020-08-28 2022-03-03 Mimos Berhad A system and method for identifying occupancy of parking lots
EP3992870A1 (en) * 2020-10-30 2022-05-04 Siemens Aktiengesellschaft Occupancy determination method and system
CN112863235B (zh) * 2021-01-05 2022-05-27 北京智联云海科技有限公司 一种预测车位空闲率的方法和装置
CN113066306B (zh) * 2021-03-23 2022-07-08 超级视线科技有限公司 一种路侧停车的管理方法及装置
CN113192356B (zh) * 2021-04-01 2023-01-03 上海欧菲智能车联科技有限公司 一种多传感器融合的车位检测方法、装置及车辆
US20220327442A1 (en) * 2021-04-08 2022-10-13 Accenture Global Solutions Limited Artificial intelligence model integration and deployment for providing a service
CN113570872B (zh) * 2021-08-13 2022-10-14 深圳市捷顺科技实业股份有限公司 一种遮挡停车位事件的处理方法及装置
CN113723226A (zh) * 2021-08-13 2021-11-30 浙江大华技术股份有限公司 一种流动摊位检测方法、装置、电子设备及存储介质
CN115050188B (zh) * 2022-08-15 2022-10-28 中交一公局第六工程有限公司 一种室内停车场剩余车位预测方法
JP2024067888A (ja) * 2022-11-07 2024-05-17 キヤノン株式会社 画像解析装置、画像解析システム、画像解析装置の制御方法、及びプログラム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0430299A (ja) * 1990-05-28 1992-02-03 Nippon Telegr & Teleph Corp <Ntt> 駐車場の車の有無判定方法及びその装置
JP3198258B2 (ja) 1996-09-18 2001-08-13 名古屋電機工業株式会社 駐車車両検出方法およびその装置
CA2199999A1 (en) 1997-03-14 1998-09-14 Peter Johann Kielland Parking regulation enforcement system
JPH1131296A (ja) * 1997-07-10 1999-02-02 Hitachi Cable Ltd 駐車場管理方法及びその装置
US6107942A (en) 1999-02-03 2000-08-22 Premier Management Partners, Inc. Parking guidance and management system
US6285297B1 (en) 1999-05-03 2001-09-04 Jay H. Ball Determining the availability of parking spaces
JP2001126192A (ja) 1999-10-28 2001-05-11 Mitsubishi Heavy Ind Ltd 駐車場の駐車スペースの駐／空車判定方法
US6816085B1 (en) 2000-01-14 2004-11-09 Michael N. Haynes Method for managing a parking lot
US7123166B1 (en) 2000-11-17 2006-10-17 Haynes Michael N Method for managing a parking lot
US6426708B1 (en) 2001-06-30 2002-07-30 Koninklijke Philips Electronics N.V. Smart parking advisor
WO2003029046A1 (en) 2001-10-03 2003-04-10 Maryann Winter Apparatus and method for sensing the occupancy status of parking spaces in a parking lot
US6694259B2 (en) * 2001-10-17 2004-02-17 Sun Microsystems, Inc. System and method for delivering parking information to motorists
US20030144890A1 (en) * 2002-01-31 2003-07-31 Noah Dan Parking management system and method
WO2005022485A1 (en) 2003-09-03 2005-03-10 Stratech Systems Limited Apparatus and method for locating, identifying and tracking vehicles in a parking area
JP2005234802A (ja) * 2004-02-18 2005-09-02 Fuji Photo Film Co Ltd 駐車場管理装置
EP1701323A1 (fr) 2005-02-28 2006-09-13 Alcatel Procédé de détection de place de parking
KR100796266B1 (ko) * 2005-12-02 2008-01-21 주식회사 비전라이드 주차 관제 시스템
DE502007001797D1 (de) 2007-04-26 2009-12-03 Skidata Ag Vorrichtung zur Einzelstellplatzüberwachung
TWI368176B (en) * 2007-09-28 2012-07-11 Ind Tech Res Inst System and method of image-based space detection
CN101414411B (zh) * 2007-10-17 2010-08-25 财团法人工业技术研究院 影像式的空位侦测系统与方法
US8108055B2 (en) * 2007-12-28 2012-01-31 Larry Wong Method, system and apparatus for controlling an electrical device
US20090179776A1 (en) 2008-01-15 2009-07-16 Johnny Holden Determination of parking space availability systems and methods
JP5361576B2 (ja) 2009-07-02 2013-12-04 公立大学法人大阪府立大学 駐車場における車両の検知システムおよび検知方法
US8600108B2 (en) * 2010-01-25 2013-12-03 Hewlett-Packard Development Compant, L.P. Data processing system and method
US8712505B2 (en) * 2010-11-11 2014-04-29 University Of Pittsburgh-Of The Commonwealth System Of Higher Education Automated macular pathology diagnosis in three-dimensional (3D) spectral domain optical coherence tomography (SD-OCT) images
CN102110376B (zh) * 2011-02-18 2012-11-21 汤一平 基于计算机视觉的路边停车位检测装置
US8406470B2 (en) * 2011-04-19 2013-03-26 Mitsubishi Electric Research Laboratories, Inc. Object detection in depth images
US8605998B2 (en) * 2011-05-06 2013-12-10 Toyota Motor Engineering & Manufacturing North America, Inc. Real-time 3D point cloud obstacle discriminator apparatus and associated methodology for training a classifier via bootstrapping
US20130057686A1 (en) * 2011-08-02 2013-03-07 Siemens Corporation Crowd sourcing parking management using vehicles as mobile sensors

Also Published As

Publication number Publication date
JP5980148B2 (ja) 2016-08-31
GB2502187A (en) 2013-11-20
US9129524B2 (en) 2015-09-08
US20130258107A1 (en) 2013-10-03
GB2502187B (en) 2018-12-05
GB201305127D0 (en) 2013-05-01
JP2013206462A (ja) 2013-10-07
CN103366602A (zh) 2013-10-23

Similar Documents

Publication Publication Date Title
CN103366602B (zh) 从数字摄像头图像确定停车场占用情况的方法
CN109978893B (zh) 图像语义分割网络的训练方法、装置、设备及存储介质
CN109344736B (zh) 一种基于联合学习的静态图像人群计数方法
CN109977782B (zh) 基于目标位置信息推理的跨店经营行为检测方法
Huttunen et al. Car type recognition with deep neural networks
US9224046B2 (en) Multi-view object detection using appearance model transfer from similar scenes
CN103914702B (zh) 用于提高视频中的对象检测性能的系统和方法
Kumar et al. A new vehicle tracking system with R-CNN and random forest classifier for disaster management platform to improve performance
CN106446150B (zh) 一种车辆精确检索的方法及装置
CN108681693B (zh) 基于可信区域的车牌识别方法
Mallikarjuna et al. Traffic data collection under mixed traffic conditions using video image processing
Derpanis et al. Classification of traffic video based on a spatiotemporal orientation analysis
CN107016357A (zh) 一种基于时间域卷积神经网络的视频行人检测方法
CN109800682B (zh) 驾驶员属性识别方法及相关产品
Hinz et al. Car detection in aerial thermal images by local and global evidence accumulation
Zhu et al. Diverse sample generation with multi-branch conditional generative adversarial network for remote sensing objects detection
CN107203775A (zh) 一种图像分类的方法、装置和设备
Danner et al. Rapid precedent-aware pedestrian and car classification on constrained IoT platforms
Xing et al. The Improved Framework for Traffic Sign Recognition Using Guided Image Filtering
CN110517497A (zh) 一种道路交通分类方法、装置、设备、介质
Bourouis et al. Bayesian frameworks for traffic scenes monitoring via view-based 3D cars models recognition
Shuai et al. Regression convolutional network for vanishing point detection
Chen et al. Research on object detection algorithm based on multilayer information fusion
Shi et al. Learning for an aesthetic model for estimating the traffic state in the traffic video
KR20170104756A (ko) 국부지역별 크기 특정 차량 분류 방법 및 이를 이용한 차량검출방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210225

Address after: New Jersey, USA

Patentee after: Comdount business services Co.,Ltd.

Address before: Connecticut, USA

Patentee before: Xerox Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170412