CN108491828B - 一种基于层次的成对相似性PVAnet的停车位检测系统及方法 - Google Patents

一种基于层次的成对相似性PVAnet的停车位检测系统及方法 Download PDF

Info

Publication number
CN108491828B
CN108491828B CN201810359520.XA CN201810359520A CN108491828B CN 108491828 B CN108491828 B CN 108491828B CN 201810359520 A CN201810359520 A CN 201810359520A CN 108491828 B CN108491828 B CN 108491828B
Authority
CN
China
Prior art keywords
network
pvanet
parking space
vehicle
parking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810359520.XA
Other languages
English (en)
Other versions
CN108491828A (zh
Inventor
袭肖明
于治楼
吴永健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Group Co Ltd
Original Assignee
Inspur Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Group Co Ltd filed Critical Inspur Group Co Ltd
Priority to CN201810359520.XA priority Critical patent/CN108491828B/zh
Publication of CN108491828A publication Critical patent/CN108491828A/zh
Application granted granted Critical
Publication of CN108491828B publication Critical patent/CN108491828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种基于层次的成对相似性PVAnet的停车位检测系统及方法，属于计算机视觉技术领域，在提出的层次的成对相似性PVAnet中，主要由两个网络联合组成。第一个网络的主要框架是PVAnet。在该网络中，首先利用迁移学习学习车辆的特点，然后将车辆的特点融入到PVAnet中。第二个网络是成对检测网络，该网络在第一个网络后面接入用于学习检测出的车辆中心和停车位中心空间位置的相似性关系，从而使得学习出的网络可以对停车位进行有效地识别。本发明提出的方法能够精准地找到停车位，从而有效缓解公共场所停车难问题。

Description

一种基于层次的成对相似性PVAnet的停车位检测系统及方法
技术领域
本发明涉及计算机视觉技术，尤其涉及一种基于层次的成对相似性PVAnet的停车位检测系统及方法。
背景技术
近年来，社会经济水平的不断提高造成了私家车的数量逐年攀升，使得有限的公共停车资源难以满足人们的需求。智慧交通是“十三五”规划布局的重点专项之一。智慧停车是该重大专项的重要组成部分。现有的方案都是通过安装大量的地磁感应装置来完成对停车位的精确检测。然而，地上停车场在现有的停车场中占了较大的比例，而地磁感应方案对于地上停车场来说具有成本较高、不易实现等缺陷。
近年来，深度学习在计算机视觉领域中取得了较大的成功，尤其是在图像中的目标检测、分割及识别领域，都取得了突破性的进展。其思想是利用深度模型强大的拟合能力，对目标的特点进行更有效的学习，从而完成相关任务。
在目标检测领域中，Faster-rcnn,SSD等模型是经典的基于深度学习的目标检测模型。Faster-rcnn能够取得惊人的目标检测精度，然而由于其为两个阶段的目标检测框架，所以速度较慢。SSD简化了网络的复杂度，变为一个阶段的目标检测框架，极大地提高了目标检测速度，可以实现实时地目标检测，然而，由于该网络较为简单，其精度比较低。在这些景点的模型中，PVAnet是一种综合考量了精度和速度的模型。其精度要比SSD高，速度要比Faster-rcnn快。
因此，如何针对停车场中的停车位检测问题，利用PVAnet框架检测停车位，对于降低企业成本，增强产品的竞争力具有重要的意义 。
发明内容
针对如何提高停车位检测精度问题，本发明提出了一种基于层次的成对相似性PVAnet的停车位检测系统。能够精准地找到停车位，从而有效缓解公共场所停车难问题。
本发明提出了一种基于层次的成对相似性PVAnet的停车位检测系统，在提出的层次的成对相似性PVAnet中，主要由两个网络联合组成。第一个网络的主要框架是PVAnet。在该网络中，首先利用迁移学习学习车辆的特点，然后将车辆的特点融入到PVAnet中，使得PVAnet可以更好地对车辆进行检测、识别。第二个网络是成对检测网络，该网络在第一个网络后面接入。该网络是一个全连接网络，用于学习检测出的车辆中心和停车位中心的空间位置关系，从而使得学习出的网络可以对停车位进行有效地识别。本发明提出的方法能够精准地找到停车位，从而有效缓解公共场所停车难问题。
本发明还提出了一种基于层次的成对相似性PVAnet的停车位检测方法，具体步骤为：
a）利用迁移学习将停车场中车辆的先验信息融入到PVAnet中，使其能对车辆进行检测、识别；骤具体过程如下：
1）收集大量的训练样本；训练样本主要包括不同停车场在不同时间段、不同光照、不同停泊姿态条件下的图像；样本的标记有车辆的bounding box的空间信息，主要由bounding box的中心点坐标，长和宽组成。
2）基于收集到的训练样本，对PVAnet进行微调；
3）利用PVAnet在收集到的训练样本上进行微调。
b) 提出成对相似性检测网络, 该网络接在PVAnet的后面，并使用全连接网络；该网络有两个输入，第一个输入是PVAnet输出的bounding box的4维空间信息，第二个输入是训练样本的bounding box的4维空间信息，如果训练图像中的车辆在相应的车位上，则标记为1，否则，标记为0；
c)当检测空车位时，输入图像中每个车位的坐标，与检测出来的车辆信息进行比对，如果最后网络的输出为0，则表示该车位是空车位。
本发明能够解决地上停车场的空车位准确检测问题。以本发明提出的方法作为核心技术，配合极少量的摄像头，可以形成新的空车位检测方案，可用于公共场所的停车位自动检测等应用场景。
附图说明
图1是基于层次的成对相似性PVAnet的停车位检测方法图。
具体实施方式
下面对本发明的内容进行更加详细的阐述：
本发明在提出的层次的成对相似性PVAnet中，主要由两个网络联合组成。第一个网络的主要框架是PVAnet。在该网络中，首先利用迁移学习学习车辆的特点，然后将车辆的特点融入到PVAnet中，使得PVAnet可以更好地对车辆进行检测、识别。第二个网络是成对检测网络，该网络在第一个网络后面接入。该网络是一个全连接网络，用于学习检测出的车辆中心和停车位中心的空间位置关系，从而使得学习出的网络可以对停车位进行有效地识别。本发明提出的方法能够精准地找到停车位，从而有效缓解公共场所停车难问题。具体实施方式如下：
(a)首先提出融入车辆检测先验的PVAnet。在本发明中，利用迁移学习将停车场中车辆的先验信息融入到PVAnet中，使其能更好地对车辆进行检测、识别。具体过程如下：
1）收集大量的训练样本。训练样本主要包括不同停车场在不同时间段、不同光照、不同停泊姿态等条件下的图像。样本的标记有车辆的bounding box的空间信息，主要由bounding box的中心点坐标，长和宽组成。
2）样本的多样性可以增大样本的分布空间，从而增强训练模型的泛化能力。
3）基于收集到的训练样本，对PVAnet进行微调。PVAnet是基于Faster-rcnn改进的经典的目标检测模型。为了克服faster-RCNN的缺陷，在该网络中引入了C.ReLU、Inception、HyperNet以及residual等模块，从而可以在保证精度的同时，大幅度提高模型的检测速度。PVAnet的主要由特征提取、HyperNet、RPN网络、以及分类网络等步骤构成的。特征提取是由若干卷积层组成，通过卷积获得feature map，在卷积层中引入C.ReLU、Inception、residual等模块可以加快速度。通过HyperNet获得feature map的多尺度信息。RPN网络主要是在feature map上的每个点都产生一个bounding box，并作一个初步的预测。最后的分类网络是对RPN网络产生的bounding box产生的分类结果和bounding box的坐标做进一步的修正。
（4）利用PVAnet在收集到的训练样本上进行微调。通过微调，可以使得网络能够学习到车辆更好的特征。
(b)提出成对相似性检测网络。该网络接在PVAnet的后面。为了提高检测的准确性，该网络使用全连接网络。有两个输入，第一个输入是PVAnet输出的bounding box的4维空间信息，第二个输入是训练样本的bounding box的4维空间信息，如果训练图像中的车辆在相应的车位上，则标记为1，否则，标记为0。
因此，当检测空车位时，可输入图像中每个车位的坐标，与检测出来的车辆信息进行比对，如果最后网络的输出为0，则表示该车位是空车位。

Claims (4)

1.一种基于层次的成对相似性PVAnet的停车位检测系统，其特征在于，
由两个网络联合组成；其中，
第一个网络的框架是PVAnet，在该网络中，首先利用迁移学习学习车辆的特点，然后将车辆的特点融入到PVAnet中，使得PVAnet对车辆进行检测、识别；
第二个网络是成对检测网络，该网络在第一个网络后面接入；第二个网络是一个全连接网络，用于学习检测出的车辆中心和停车位中心空间位置的相似性关系，从而使得学习出的网络可以对停车位进行有效地识别。
2.一种基于层次的成对相似性PVAnet的停车位检测方法，其特征在于，操作步骤为
a）利用迁移学习将停车场中车辆的先验信息融入到PVAnet中，使其能对车辆进行检测、识别；
b) 提出成对相似性检测网络, 该网络接在PVAnet的后面，并使用全连接网络；该网络有两个输入，第一个输入是PVAnet输出的bounding box的4维空间信息，第二个输入是训练样本的bounding box的4维空间信息，如果训练图像中的车辆在相应的车位上，则标记为1，否则，标记为0；
c)检测空车位时，输入图像中每个车位的坐标，与检测出来的车辆信息进行比对，如果最后网络的输出为0，则表示该车位是空车位。
3.根据权利要求2所述的方法，其特征在于，
a)步骤具体过程如下：
1）收集大量的训练样本；
2）基于收集到的训练样本，对PVAnet进行微调。
4.根据权利要求3所述的方法，其特征在于，
训练样本包括不同停车场在不同时间段、不同光照、不同停泊姿态条件下的图像；样本的标记有车辆的bounding box的空间信息，由bounding box的中心点坐标，长和宽组成。
CN201810359520.XA 2018-04-20 2018-04-20 一种基于层次的成对相似性PVAnet的停车位检测系统及方法 Active CN108491828B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810359520.XA CN108491828B (zh) 2018-04-20 2018-04-20 一种基于层次的成对相似性PVAnet的停车位检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810359520.XA CN108491828B (zh) 2018-04-20 2018-04-20 一种基于层次的成对相似性PVAnet的停车位检测系统及方法

Publications (2)

Publication Number Publication Date
CN108491828A CN108491828A (zh) 2018-09-04
CN108491828B true CN108491828B (zh) 2021-05-04

Family

ID=63313789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810359520.XA Active CN108491828B (zh) 2018-04-20 2018-04-20 一种基于层次的成对相似性PVAnet的停车位检测系统及方法

Country Status (1)

Country Link
CN (1) CN108491828B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492763B (zh) * 2018-09-17 2021-09-03 同济大学 一种基于强化学习网络训练的自动泊车方法
CN109522968A (zh) * 2018-11-29 2019-03-26 济南浪潮高新科技投资发展有限公司 一种基于串行双任务网络的病灶区检测方法及系统
CN109977958A (zh) * 2019-03-25 2019-07-05 中国科学技术大学 一种离线手写体数学公式识别重构方法
CN112462788A (zh) * 2020-12-15 2021-03-09 济南浪潮高新科技投资发展有限公司 基于机械视觉及ai技术的平衡车自动跟随实现方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130066829A (ko) * 2011-12-13 2013-06-21 한국전자통신연구원 지능형 카메라 협업 기반 주차관리 시스템
CN105390018B (zh) * 2015-10-16 2020-07-24 上海物联网有限公司 一种基于机器学习的地下停车场智能引导系统
CN106611510B (zh) * 2015-10-27 2019-04-23 富士通株式会社 车位检测装置、电子设备及方法
CN106097763B (zh) * 2016-08-12 2019-03-08 浙江宇视科技有限公司 一种车位检测方法及装置
CN107665603B (zh) * 2017-09-06 2020-06-16 哈尔滨工程大学 一种判定车位占用的实时检测方法

Also Published As

Publication number Publication date
CN108491828A (zh) 2018-09-04

Similar Documents

Publication Publication Date Title
US10198657B2 (en) All-weather thermal-image pedestrian detection method
CN108491828B (zh) 一种基于层次的成对相似性PVAnet的停车位检测系统及方法
CN105956626A (zh) 基于深度学习的对车牌位置不敏感的车牌识别方法
Lin et al. A license plate recognition system for severe tilt angles using mask R-CNN
Chen et al. YOLOv5‐Based Vehicle Detection Method for High‐Resolution UAV Images
Wan et al. A novel neural network model for traffic sign detection and recognition under extreme conditions
CN107103314A (zh) 一种基于机器视觉的套牌车辆检索识别系统
CN111461039A (zh) 基于多尺度特征融合的地标识别方法
CN110599497A (zh) 一种基于深度神经网络的可行驶区域分割方法
CN115019039B (zh) 一种结合自监督和全局信息增强的实例分割方法及系统
CN112861840A (zh) 基于多特征融合卷积网络的复杂场景字符识别方法及系统
CN112784834A (zh) 一种自然场景下的车牌自动识别方法
Yao et al. Coupled multivehicle detection and classification with prior objectness measure
Jin et al. A semi-automatic annotation technology for traffic scene image labeling based on deep learning preprocessing
Meng et al. A block object detection method based on feature fusion networks for autonomous vehicles
CN114973199A (zh) 一种基于卷积神经网络的轨道交通列车障碍物检测方法
Hasegawa et al. Robust detection and recognition of japanese traffic sign in the complex scenes based on deep learning
CN111612803B (zh) 一种基于图像清晰度的车辆图像语义分割方法
Feng et al. Embedded YOLO: A Real‐Time Object Detector for Small Intelligent Trajectory Cars
CN114359493B (zh) 一种用于无人船生成三维语义地图的方法和系统
Boisclair et al. Attention transfer from human to neural networks for road object detection in winter
Pan et al. A hybrid deep learning algorithm for the license plate detection and recognition in vehicle-to-vehicle communications
Zhao et al. An Improved Method for Infrared Vehicle and Pedestrian Detection Based on YOLOv5s
Alomari et al. Smart real-time vehicle detection and tracking system using road surveillance cameras
Zhang et al. Chinese license plate recognition using machine and deep learning models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210409

Address after: No. 1036, Shandong high tech Zone wave road, Ji'nan, Shandong

Applicant after: INSPUR GROUP Co.,Ltd.

Address before: 250100 First Floor of R&D Building 2877 Kehang Road, Sun Village Town, Jinan High-tech Zone, Shandong Province

Applicant before: JINAN INSPUR HI-TECH INVESTMENT AND DEVELOPMENT Co.,Ltd.

GR01 Patent grant
GR01 Patent grant