CN110348297B - 一种用于识别立体停车库的检测方法、系统、终端和存储介质 - Google Patents
一种用于识别立体停车库的检测方法、系统、终端和存储介质 Download PDFInfo
- Publication number
- CN110348297B CN110348297B CN201910466863.0A CN201910466863A CN110348297B CN 110348297 B CN110348297 B CN 110348297B CN 201910466863 A CN201910466863 A CN 201910466863A CN 110348297 B CN110348297 B CN 110348297B
- Authority
- CN
- China
- Prior art keywords
- parking space
- network
- parking
- interest
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 53
- 238000010586 diagram Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000011176 pooling Methods 0.000 claims description 45
- 238000012937 correction Methods 0.000 claims description 33
- 238000013528 artificial neural network Methods 0.000 claims description 30
- 238000000605 extraction Methods 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 230000004807 localization Effects 0.000 claims description 3
- 238000012800 visualization Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 12
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种用于识别立体停车库的检测方法、系统、终端和存储介质，包括以下步骤：S01：通过关键点检测网络检测出车位关键点；S02：对检测出的关键点两两配对获得车位前端角点，并以这两个车位前端角点为基准，截取入口线感兴趣区域,并训练是否为入口线感兴趣区域的分类器；S03：将待识别的图像先经过关键点检测网络输出车位关键点，再截取入口线感兴趣区域输入到入口线感兴趣区域的分类器里分类，得到一个完整的车位。通过纠偏网络对热力图上入口线感兴趣区域车位角点微调，获得精确地车位角点微调结果，再通过车位组合获得车位位置，经过纠偏网络微调后的关键点检测网络更适合立体停车位的检测。
Description
技术领域
本发明涉及汽车电子技术领域，特别是涉及一种用于识别立体停车库的检测方法、系统、终端和存储介质。
背景技术
立体停车库，是用来最大量存取储放车辆的机械或机械设备系统。针对专业车场管理公司，立体车库是提高停车场容量、增加停车费收入的有效手段。立体停车库在建筑形式分为独立的类型和内置两个，独立停车建筑适合地下广场和现有建筑补建停车设施、规划和建设应该留意一下周围的环境。
内置式立体车库适用于与新建筑同步规划和建设，停车设备附在建筑物内，对区域环境规划和建筑观瞻没有影响。现代停车产业的发展已具有一定规模，并积极拓展停车设施的辅助功能，为社区提供多种服务。在有些停车设施的规划建设中，以建筑机械停车设施为中心，充分考虑周边环境、地形地貌、服务群体的多种需求，把停车设施建成区域服务中心，开发其综合效益。
自主代客泊车(autonomous valet parking)作为一项高级辅助驾驶系统的重要功能，已经基本能够实现停车场、园区等场景的泊车功能，但是仍然存在较多局限性，例如同一停车位识别网络模型只能对训练集相同类型的作用明显，但针对区别类型车位例如草地车位、砖地车位、立体车位识别效果差。
发明内容
为了解决上述的以及其他潜在的技术问题，本发明提供了一种立体停车库的检测方法、系统、终端和存储介质，基于关键点的立体车库检测，降低归一化问题识别车位角点的精度问题，通过输出一种低分辨率的热图，关键点所在位置输出高响应，其他位置输出低响应；通过纠偏网络对热力图上入口线感兴趣区域车位角点微调，获得精确地车位角点微调结果，再通过车位组合获得车位位置，经过纠偏网络微调后的关键点检测网络更适合立体停车位的检测。
一种用于识别立体停车库的检测方法，包括以下步骤：
S01：通过关键点检测网络检测出车位关键点；
S02：对检测出的关键点两两配对获得车位前端角点，并以这两个车位前端角点为基准，截取入口线感兴趣区域,并训练是否为入口线感兴趣区域的分类器；
S03：将待识别的图像先经过关键点检测网络输出车位关键点，再截取入口线感兴趣区域输入到入口线感兴趣区域的分类器里分类，得到一个完整的车位。
进一步地，所述关键点检测网络包括统一神经网络和纠偏网络，所述统一神经网络用于初步对捕获图像中每一个像素点处理，获得每一个像素点的热力图；找到热力图中车位角点关注区域的中心点，并以中心点位置为中心并截取感兴趣的区域块送入第纠偏网络训练；所述纠偏网络用于对统一神经网络形成的热力图中各个车位角点热力关注区域纠偏，纠偏之后的车位角点热力关注区域确定其中心点作为车位角点。
进一步地，所述纠偏网络可以采用GoogLeNet-GAP网络、VGG-GAP网络、AlexNet-GAP网络、GoogLeNet网络、NIN网络、Backpro AlexNet网络或者Backpro GoogLeNet网络。
进一步地，所述纠偏网络的作用是找到热力图中车位角点关注区域中正确的部分，即包含车位角点关注区域的部分突出显示，并且车位角点关注区域部分的中心点粗略为车位角点坐标。
进一步地，将所述检测到的车位角点通过车位的长宽尺寸比较，找到组成一个车位所有角点。认定车位所有角点内的区域为停车位所属区域，识别出的停车位区域是否占用：本文把把检测出的停车位ROI送入一个二分类网络，(分类结果：空车位和占用)判断停车位ROI是否为占用。
进一步地，所述纠偏网络采用全局平均的CNNs激活映射(CAM)池，使得经过分类训练统一神经网络即CNNs网络能够学习在不使用任何边框的情况下执行对象本地化框注释，纠偏网络使用类激活映射使可视化在任何给定的图像上，高亮显示由统一神经网络即CNN网络检测到的识别对象部分预测的分类概率，可以精确的实现识别车位角点关注区域关键点的定位。
进一步地，还包括步骤S04，获得一个完整的车位坐标之后，检测车位坐标内区域是否被障碍物占用，如果检测车位坐标内区域不是可用的空闲区域，则判断该车位被占用即不显示该车位，如果检测车位坐标内区域是可用的空闲区域，则判断该车位是空闲的即显示该车位。
进一步地，所述入口线感兴趣区域的分类器对给定类别的单元进行权重排序，辨认出入口线感兴趣区域中感兴趣对象权重最高的突出部分是否为可信的车位前端角点。
进一步地，所述统一神经网络的损失函数采用平方差函数，即L2损失，所述输入图像尺寸：300(高)*96(宽)。
进一步地，所述纠偏网络模型优化过程具体步骤：先用训练集训练模型；接着，纠偏网络的网络模型测试测试集，找出测试集中深度学习不能识别的图像，再重新标注，当作训练集fine-tune模型，重复一次或几次，直到纠偏网络的网络模型达到一个较高的精度。
一种用于识别立体停车库的神经网络，包括：
统一神经网络，所述统一神经网络包括正向传播部分和反向传播部分，所述正向传播部分包括第一浅层特征提取层、第二浅层特征提取层、第三深层特征提取层、第四深层特征抽象层和全连接层，所述第一浅层特征提取层包括第一卷积层和第一池化层，所述第二浅层特征提取层包括第二卷积层和第二池化层，所述第三深层特征提取层包括第三卷积层；所述第四深层特征抽象层包括第四卷积层、第五卷积层、关键点坐标获取层；所述全连接层包括连接层分支、特征分支、损失函数层。
纠偏网络，所述纠偏网络包括第四池化层第一分量、第四池化层第二分量、第四池化层第三分量、第四池化层第四分量、第四池化层第一分量补偿、第四池化层第二分量补偿、第四池化层第三分量补偿、第四池化层第四分量补偿、第四池化层级联层，所述第四池化层第一分量补偿、第四池化层第二分量补偿、第四池化层第三分量补偿、第四池化层第四分量补偿的补偿参数的来源在于原数据集于目标数据集之间的微调参数。
一种用于识别立体停车库的检测系统，包括
关键点检测网络，所述包括统一神经网络和纠偏网络，所述统一神经网络用于初步对捕获图像中每一个像素点处理，获得每一个像素点的热力图；所述纠偏网络用于对统一神经网络形成的热力图中各个车位角点热力关注区域纠偏，纠偏之后的车位角点热力关注区域确定其中心点作为车位角点；
入口线感兴趣区域的分类器，所述入口线感兴趣区域的分类器用于对纠偏网络处理过后的车位角点热力关注区域分类，判断其入口线感兴趣区域每一个像素点是车位角点的概率，当该像素点是车位角点的权值高，则使该像素点高亮；当该像素点是车位角点的权值低，则使该像素点亮度值调低；从而获得入口线感兴趣区域中亮度值最高的一个或几个像素点，将此一个或几个像素点标记为车位角点，由车位角点组合成完整的车位；
车位占用模块，所述车位占用模块用于判断车位是否被车辆占用，如果被障碍物占用，如果检测车位坐标内区域不是可用的空闲区域，则判断该车位被占用即不显示该车位，如果检测车位坐标内区域是可用的空闲区域，则判断该车位是空闲的即显示该车位。
一种用于识别立体停车库的检测终端，如可以执行上述用于识别立体停车库的检测方法的智能手机或可以执行上述用于识别立体停车库的检测系统的车载终端控制设备。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行用于识别立体停车库的检测方法中的步骤。
如上所述，本发明的具有以下有益效果：
基于关键点的立体车库检测，降低归一化问题识别车位角点的精度问题，通过输出一种低分辨率的热图，关键点所在位置输出高响应，其他位置输出低响应；通过纠偏网络对热力图上入口线感兴趣区域车位角点微调，获得精确地车位角点微调结果，再通过车位组合获得车位位置，经过纠偏网络微调后的关键点检测网络更适合立体停车位的检测。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1显示为本发明的框图。
图2显示为本发明的流程图。
图3显示为本发明另一实施例的流程图。
图4显示为本发明另一实施例的场景图。
图5显示为本发明另一实施例的流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
参见图1～图5，
一种用于识别立体停车库的检测方法，包括以下步骤：
S01：通过关键点检测网络检测出车位关键点；
S02：对检测出的关键点两两配对获得车位前端角点，并以这两个车位前端角点为基准，截取入口线感兴趣区域,并训练是否为入口线感兴趣区域的分类器；
S03：将待识别的图像先经过关键点检测网络输出车位关键点，再截取入口线感兴趣区域输入到入口线感兴趣区域的分类器里分类，得到一个完整的车位。
进一步地，所述关键点检测网络包括统一神经网络和纠偏网络，所述统一神经网络用于初步对捕获图像中每一个像素点处理，获得每一个像素点的热力图；找到热力图中车位角点关注区域的中心点，并以中心点位置为中心并截取感兴趣的区域块送入第纠偏网络训练；所述纠偏网络用于对统一神经网络形成的热力图中各个车位角点热力关注区域纠偏，纠偏之后的车位角点热力关注区域确定其中心点作为车位角点。
进一步地，所述纠偏网络可以采用GoogLeNet-GAP网络、VGG-GAP网络、AlexNet-GAP网络、GoogLeNet网络、NIN网络、Backpro AlexNet网络或者Backpro GoogLeNet网络。
进一步地，所述纠偏网络的作用是找到热力图中车位角点关注区域中正确的部分，即包含车位角点关注区域的部分突出显示，并且车位角点关注区域部分的中心点粗略为车位角点坐标。
进一步地，将所述检测到的车位角点通过车位的长宽尺寸比较，找到组成一个车位所有角点。认定车位所有角点内的区域为停车位所属区域，识别出的停车位区域是否占用：本文把把检测出的停车位ROI送入一个二分类网络，(分类结果：空车位和占用)判断停车位ROI是否为占用。
进一步地，所述纠偏网络采用全局平均的CNNs激活映射(CAM)池，使得经过分类训练统一神经网络即CNNs网络能够学习在不使用任何边框的情况下执行对象本地化框注释，纠偏网络使用类激活映射使可视化在任何给定的图像上，高亮显示由统一神经网络即CNN网络检测到的识别对象部分预测的分类概率，可以精确的实现识别车位角点关注区域关键点的定位。
进一步地，还包括步骤S04，获得一个完整的车位坐标之后，检测车位坐标内区域是否被障碍物占用，如果检测车位坐标内区域不是可用的空闲区域，则判断该车位被占用即不显示该车位，如果检测车位坐标内区域是可用的空闲区域，则判断该车位是空闲的即显示该车位。
进一步地，所述入口线感兴趣区域的分类器对给定类别的单元进行权重排序，辨认出入口线感兴趣区域中感兴趣对象权重最高的突出部分是否为可信的车位前端角点。
进一步地，所述统一神经网络的损失函数采用平方差函数，即L2损失，所述输入图像尺寸：300(高)*96(宽)。
进一步地，所述纠偏网络模型优化过程具体步骤：先用训练集训练模型；接着，纠偏网络的网络模型测试测试集，找出测试集中深度学习不能识别的图像，再重新标注，当作训练集fine-tune模型，重复一次或几次，直到纠偏网络的网络模型达到一个较高的精度。
一种用于识别立体停车库的神经网络，包括：
统一神经网络，所述统一神经网络包括正向传播部分和反向传播部分，所述正向传播部分包括第一浅层特征提取层、第二浅层特征提取层、第三深层特征提取层、第四深层特征抽象层和全连接层，所述第一浅层特征提取层包括第一卷积层和第一池化层，所述第二浅层特征提取层包括第二卷积层和第二池化层，所述第三深层特征提取层包括第三卷积层；所述第四深层特征抽象层包括第四卷积层、第五卷积层、关键点坐标获取层；所述全连接层包括连接层分支、特征分支、损失函数层。
纠偏网络，所述纠偏网络包括第四池化层第一分量、第四池化层第二分量、第四池化层第三分量、第四池化层第四分量、第四池化层第一分量补偿、第四池化层第二分量补偿、第四池化层第三分量补偿、第四池化层第四分量补偿、第四池化层级联层，所述第四池化层第一分量补偿、第四池化层第二分量补偿、第四池化层第三分量补偿、第四池化层第四分量补偿的补偿参数的来源在于原数据集于目标数据集之间的微调参数。
一种用于识别立体停车库的检测系统，包括
关键点检测网络，所述包括统一神经网络和纠偏网络，所述统一神经网络用于初步对捕获图像中每一个像素点处理，获得每一个像素点的热力图；所述纠偏网络用于对统一神经网络形成的热力图中各个车位角点热力关注区域纠偏，纠偏之后的车位角点热力关注区域确定其中心点作为车位角点；
入口线感兴趣区域的分类器，所述入口线感兴趣区域的分类器用于对纠偏网络处理过后的车位角点热力关注区域分类，判断其入口线感兴趣区域每一个像素点是车位角点的概率，当该像素点是车位角点的权值高，则使该像素点高亮；当该像素点是车位角点的权值低，则使该像素点亮度值调低；从而获得入口线感兴趣区域中亮度值最高的一个或几个像素点，将此一个或几个像素点标记为车位角点，由车位角点组合成完整的车位；
车位占用模块，所述车位占用模块用于判断车位是否被车辆占用，如果被障碍物占用，如果检测车位坐标内区域不是可用的空闲区域，则判断该车位被占用即不显示该车位，如果检测车位坐标内区域是可用的空闲区域，则判断该车位是空闲的即显示该车位。
一种用于识别立体停车库的检测终端，如可以执行上述用于识别立体停车库的检测方法的智能手机或可以执行上述用于识别立体停车库的检测系统的车载终端控制设备。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行用于识别立体停车库的检测方法中的步骤。
作为优选实施例，本实施例还提供一种终端设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式云端、刀片式云端、塔式云端或机柜式云端(包括独立的云端，或者多个云端所组成的云端集群)等。本实施例的终端设备至少包括但不限于：可通过系统总线相互通信连接的存储器、处理器。需要指出的是，具有组件存储器、处理器的终端设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的立体停车库的泊车方法实施更多或者更少的组件。
作为优选实施例，存储器(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，存储器也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。当然，存储器还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中的立体停车库的泊车方法程序代码等。此外，存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、云端、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于立体停车库的泊车的更新程序，被处理器执行时实现立体停车库的泊车程序实施例中的立体停车库的泊车方法。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (11)
1.一种用于识别立体停车库的检测方法，其特征在于，包括以下步骤：
S01：通过关键点检测网络检测出车位关键点；
S02：对检测出的关键点两两配对获得车位前端角点，并以这两个车位前端角点为基准，截取入口线感兴趣区域,并训练是否为入口线感兴趣区域的分类器；
S03：将待识别的图像先经过关键点检测网络输出车位关键点，再截取入口线感兴趣区域输入到入口线感兴趣区域的分类器里分类，得到一个完整的车位；
其中，所述关键点检测网络包括统一神经网络和纠偏网络，所述统一神经网络用于初步对捕获图像中每一个像素点处理，获得每一个像素点的热力图；找到热力图中车位角点关注区域的中心点，并以中心点位置为中心并截取感兴趣的区域块送入纠偏网络训练；所述纠偏网络用于对统一神经网络形成的热力图中各个车位角点热力关注区域纠偏，纠偏之后的车位角点热力关注区域确定其中心点作为车位角点。
2.根据权利要求1所述的用于识别立体停车库的检测方法，其特征在于，所述纠偏网络为GoogLeNet-GAP网络、VGG-GAP网络、AlexNet-GAP网络、GoogLeNet网络、NIN网络、BackproAlexNet网络或者Backpro GoogLeNet网络。
3.根据权利要求1所述的用于识别立体停车库的检测方法，其特征在于，所述纠偏网络的作用是找到热力图中车位角点关注区域中正确的部分，即包含车位角点关注区域的部分突出显示，并且车位角点关注区域部分的中心点粗略为车位角点坐标。
4.根据权利要求1所述的用于识别立体停车库的检测方法，其特征在于，将所述检测到的车位角点通过车位的长宽尺寸比较，找到组成一个车位所有角点；认定车位所有角点内的区域为停车位所属区域，识别出的停车位区域是否占用：把检测出的停车位ROI送入一个二分类网络，判断停车位ROI是否为占用；其中，所述二分类网络的分类结果包括空车位和占用。
5.根据权利要求1所述的用于识别立体停车库的检测方法，其特征在于，所述纠偏网络采用全局平均的CNNs激活映射(CAM)池，使得经过分类训练统一神经网络即CNNs网络能够学习在不使用任何边框的情况下执行对象本地化框注释，纠偏网络使用类激活映射使可视化在任何给定的图像上，高亮显示由统一神经网络即CNNs网络检测到的识别对象部分预测的分类概率，可以精确的实现识别车位角点关注区域关键点的定位。
6.根据权利要求5所述的用于识别立体停车库的检测方法，其特征在于，还包括步骤S04，获得一个完整的车位坐标之后，检测车位坐标内区域是否被障碍物占用，如果检测车位坐标内区域不是可用的空闲区域，则判断该车位被占用即不显示该车位，如果检测车位坐标内区域是可用的空闲区域，则判断该车位是空闲的即显示该车位。
7.根据权利要求1所述的用于识别立体停车库的检测方法，其特征在于，所述入口线感兴趣区域的分类器对给定类别的单元进行权重排序，辨认出入口线感兴趣区域中感兴趣对象权重最高的突出部分是否为可信的车位前端角点。
8.一种用于识别立体停车库的神经网络，包括：
统一神经网络，所述统一神经网络包括正向传播部分和反向传播部分，所述正向传播部分包括第一浅层特征提取层、第二浅层特征提取层、第三深层特征提取层、第四深层特征抽象层和全连接层，所述第一浅层特征提取层包括第一卷积层和第一池化层，所述第二浅层特征提取层包括第二卷积层和第二池化层，所述第三深层特征提取层包括第三卷积层；所述第四深层特征抽象层包括第四卷积层、第五卷积层、关键点坐标获取层；所述全连接层包括连接层分支、特征分支、损失函数层；
纠偏网络，所述纠偏网络包括第四池化层第一分量、第四池化层第二分量、第四池化层第三分量、第四池化层第四分量、第四池化层第一分量补偿、第四池化层第二分量补偿、第四池化层第三分量补偿、第四池化层第四分量补偿、第四池化层级联层，所述第四池化层第一分量补偿、第四池化层第二分量补偿、第四池化层第三分量补偿、第四池化层第四分量补偿的补偿参数的来源在于原数据集于目标数据集之间的微调参数。
9.一种用于识别立体停车库的检测系统，其特征在于，包括：
关键点检测网络，包括统一神经网络和纠偏网络，所述统一神经网络用于初步对捕获图像中每一个像素点处理，获得每一个像素点的热力图；所述纠偏网络用于对统一神经网络形成的热力图中各个车位角点热力关注区域纠偏，纠偏之后的车位角点热力关注区域确定其中心点作为车位角点；
入口线感兴趣区域的分类器，所述入口线感兴趣区域的分类器用于对纠偏网络处理过后的车位角点热力关注区域分类，判断其入口线感兴趣区域每一个像素点是车位角点的概率，当该像素点是车位角点的权值高，则使该像素点高亮；当该像素点是车位角点的权值低，则使该像素点亮度值调低；从而获得入口线感兴趣区域中亮度值最高的一个或几个像素点，将此一个或几个像素点标记为车位角点，由车位角点组合成完整的车位；
车位占用模块，所述车位占用模块用于判断车位是否被车辆占用，如果被障碍物占用，如果检测车位坐标内区域不是可用的空闲区域，则判断该车位被占用即不显示该车位，如果检测车位坐标内区域是可用的空闲区域，则判断该车位是空闲的即显示该车位。
10.一种用于识别立体停车库的检测终端设备，其特征在于，所述终端设备为执行上述权利要求1至7任一项所述的用于识别立体停车库的检测方法的智能手机或执行上述权利要求9所述的用于识别立体停车库的检测系统的车载终端控制设备。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7任一权利要求所述的方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910466863.0A CN110348297B (zh) | 2019-05-31 | 2019-05-31 | 一种用于识别立体停车库的检测方法、系统、终端和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910466863.0A CN110348297B (zh) | 2019-05-31 | 2019-05-31 | 一种用于识别立体停车库的检测方法、系统、终端和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110348297A CN110348297A (zh) | 2019-10-18 |
| CN110348297B true CN110348297B (zh) | 2023-12-26 |
Family
ID=68174544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910466863.0A Active CN110348297B (zh) | 2019-05-31 | 2019-05-31 | 一种用于识别立体停车库的检测方法、系统、终端和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110348297B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110796063B (zh) * | 2019-10-24 | 2022-09-09 | 百度在线网络技术（北京）有限公司 | 用于检测车位的方法、装置、设备、存储介质以及车辆 |
| CN110992725B (zh) * | 2019-10-24 | 2022-05-03 | 合肥讯图信息科技有限公司 | 用于检测交通信号灯故障的方法、系统及存储介质 |
| CN110969655B (zh) * | 2019-10-24 | 2023-08-18 | 百度在线网络技术（北京）有限公司 | 用于检测车位的方法、装置、设备、存储介质以及车辆 |
| CN112749577B (zh) * | 2019-10-29 | 2023-09-22 | 北京魔门塔科技有限公司 | 一种停车位的检测方法及装置 |
| CN111402228B (zh) * | 2020-03-13 | 2021-05-07 | 腾讯科技（深圳）有限公司 | 图像检测方法、装置和计算机可读存储介质 |
| CN111428616B (zh) * | 2020-03-20 | 2023-05-23 | 东软睿驰汽车技术（沈阳）有限公司 | 一种车位检测方法、装置、设备及存储介质 |
| CN111753371B (zh) * | 2020-06-04 | 2024-03-15 | 纵目科技（上海）股份有限公司 | 一种车身控制网络模型的训练方法、系统、终端和存储介质 |
| CN112215860B (zh) * | 2020-09-23 | 2024-05-10 | 国网福建省电力有限公司漳州供电公司 | 一种基于图像处理的无人机定位方法 |
| CN112329601B (zh) * | 2020-11-02 | 2024-05-07 | 东软睿驰汽车技术（沈阳）有限公司 | 基于多任务网络的车位检测方法和装置 |
| CN112232449B (zh) * | 2020-12-14 | 2021-04-27 | 浙江大华技术股份有限公司 | 神经网络的训练方法、电子设备及存储介质 |
| CN112836633A (zh) * | 2021-02-02 | 2021-05-25 | 蔚来汽车科技(安徽)有限公司 | 停车位检测方法以及停车位检测系统 |
| CN113076845B (zh) * | 2021-03-26 | 2024-06-18 | 上海欧菲智能车联科技有限公司 | 一种车位获取方法、车位确定装置、车辆及可读存储介质 |
| CN114445794A (zh) * | 2021-12-21 | 2022-05-06 | 北京罗克维尔斯科技有限公司 | 车位检测模型训练方法、车位检测方法及其装置 |
| CN114359231A (zh) * | 2022-01-06 | 2022-04-15 | 腾讯科技（深圳）有限公司 | 一种停车位的检测方法、装置、设备及存储介质 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107038411A (zh) * | 2017-02-26 | 2017-08-11 | 北京市交通运行监测调度中心 | 一种基于视频中车辆运动轨迹的路侧停车行为精确识别方法 |
| CN107284443A (zh) * | 2016-04-12 | 2017-10-24 | 福特全球技术公司 | 检测可用停车位 |
| CN107665603A (zh) * | 2017-09-06 | 2018-02-06 | 哈尔滨工程大学 | 一种判定车位占用的实时检测方法 |
| WO2018091486A1 (en) * | 2016-11-16 | 2018-05-24 | Ventana Medical Systems, Inc. | Convolutional neural networks for locating objects of interest in images of biological samples |
| CN108108689A (zh) * | 2017-12-18 | 2018-06-01 | 北京工业大学 | 一种智能停车车位检测方法 |
| CN108564814A (zh) * | 2018-06-06 | 2018-09-21 | 清华大学苏州汽车研究院（吴江） | 一种基于图像的停车场车位检测方法及装置 |
| CN108875911A (zh) * | 2018-05-25 | 2018-11-23 | 同济大学 | 一种泊车位检测方法 |
| CN108932471A (zh) * | 2018-05-23 | 2018-12-04 | 浙江科技学院 | 一种车辆检测方法 |
| CN109086708A (zh) * | 2018-07-25 | 2018-12-25 | 深圳大学 | 一种基于深度学习的停车位检测方法及系统 |
| CN109446909A (zh) * | 2018-09-27 | 2019-03-08 | 山东省科学院自动化研究所 | 一种单目测距辅助泊车系统及方法 |
| CN109583392A (zh) * | 2018-12-05 | 2019-04-05 | 北京纵目安驰智能科技有限公司 | 一种车位检测方法、装置和存储介质 |
| CN109614913A (zh) * | 2018-12-05 | 2019-04-12 | 北京纵目安驰智能科技有限公司 | 一种斜车位识别方法、装置和存储介质 |
| CN109614914A (zh) * | 2018-12-05 | 2019-04-12 | 北京纵目安驰智能科技有限公司 | 车位顶点定位方法、装置和存储介质 |
| CN109766757A (zh) * | 2018-12-11 | 2019-05-17 | 惠州市德赛西威汽车电子股份有限公司 | 一种融合车辆和视觉信息的泊车位高精度定位方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL238473A0 (en) * | 2015-04-26 | 2015-11-30 | Parkam Israel Ltd | A method and system for discovering and mapping parking areas |
| US20170124409A1 (en) * | 2015-11-04 | 2017-05-04 | Nec Laboratories America, Inc. | Cascaded neural network with scale dependent pooling for object detection |
| JP6761708B2 (ja) * | 2016-09-05 | 2020-09-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 駐車位置特定方法、駐車位置学習方法、駐車位置特定システム、駐車位置学習装置およびプログラム |
| US10296794B2 (en) * | 2016-12-20 | 2019-05-21 | Jayant Rtti | On-demand artificial intelligence and roadway stewardship system |
-
2019
- 2019-05-31 CN CN201910466863.0A patent/CN110348297B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107284443A (zh) * | 2016-04-12 | 2017-10-24 | 福特全球技术公司 | 检测可用停车位 |
| WO2018091486A1 (en) * | 2016-11-16 | 2018-05-24 | Ventana Medical Systems, Inc. | Convolutional neural networks for locating objects of interest in images of biological samples |
| CN107038411A (zh) * | 2017-02-26 | 2017-08-11 | 北京市交通运行监测调度中心 | 一种基于视频中车辆运动轨迹的路侧停车行为精确识别方法 |
| CN107665603A (zh) * | 2017-09-06 | 2018-02-06 | 哈尔滨工程大学 | 一种判定车位占用的实时检测方法 |
| CN108108689A (zh) * | 2017-12-18 | 2018-06-01 | 北京工业大学 | 一种智能停车车位检测方法 |
| CN108932471A (zh) * | 2018-05-23 | 2018-12-04 | 浙江科技学院 | 一种车辆检测方法 |
| CN108875911A (zh) * | 2018-05-25 | 2018-11-23 | 同济大学 | 一种泊车位检测方法 |
| CN108564814A (zh) * | 2018-06-06 | 2018-09-21 | 清华大学苏州汽车研究院（吴江） | 一种基于图像的停车场车位检测方法及装置 |
| CN109086708A (zh) * | 2018-07-25 | 2018-12-25 | 深圳大学 | 一种基于深度学习的停车位检测方法及系统 |
| CN109446909A (zh) * | 2018-09-27 | 2019-03-08 | 山东省科学院自动化研究所 | 一种单目测距辅助泊车系统及方法 |
| CN109583392A (zh) * | 2018-12-05 | 2019-04-05 | 北京纵目安驰智能科技有限公司 | 一种车位检测方法、装置和存储介质 |
| CN109614913A (zh) * | 2018-12-05 | 2019-04-12 | 北京纵目安驰智能科技有限公司 | 一种斜车位识别方法、装置和存储介质 |
| CN109614914A (zh) * | 2018-12-05 | 2019-04-12 | 北京纵目安驰智能科技有限公司 | 车位顶点定位方法、装置和存储介质 |
| CN109766757A (zh) * | 2018-12-11 | 2019-05-17 | 惠州市德赛西威汽车电子股份有限公司 | 一种融合车辆和视觉信息的泊车位高精度定位方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于迷你卷积神经网络的停车场空车位检测方法;安旭骁;邓洪敏;史兴宇;;计算机应用(第04期);第19-22页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110348297A (zh) | 2019-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110348297B (zh) | 一种用于识别立体停车库的检测方法、系统、终端和存储介质 | |
| CN110163930B (zh) | 车道线生成方法、装置、设备、系统及可读存储介质 | |
| CN107506763B (zh) | 一种基于卷积神经网络的多尺度车牌精准定位方法 | |
| US9984280B2 (en) | Object recognition system using left and right images and method | |
| CN109099929B (zh) | 基于场景指纹的智能车定位装置及方法 | |
| CN112667837A (zh) | 图像数据自动标注方法及装置 | |
| CN110758246A (zh) | 一种自动泊车方法及装置 | |
| CN109977776A (zh) | 一种车道线检测方法、装置及车载设备 | |
| CN112862881B (zh) | 基于众包多车摄像头数据的道路地图构建与融合的方法 | |
| EP4209755A1 (en) | Positioning method and positioning apparatus of mobile device | |
| CN111915657A (zh) | 一种点云配准方法、装置、电子设备及存储介质 | |
| CN112198878B (zh) | 一种即时地图构建方法、装置、机器人及存储介质 | |
| CN112348817A (zh) | 车位识别方法、装置、车载终端和存储介质 | |
| JP2008020225A (ja) | 自己位置推定プログラム、自己位置推定方法および自己位置推定装置 | |
| CN114730472A (zh) | 车载相机的外部参数的标定方法及相关装置 | |
| CN110097064B (zh) | 一种建图方法及装置 | |
| CN115327524A (zh) | 基于毫米波雷达与视觉融合的路侧端目标检测方法及装置 | |
| CN114519819A (zh) | 一种基于全局上下文感知的遥感图像目标检测方法 | |
| CN113673288B (zh) | 空闲车位检测方法、装置、计算机设备及存储介质 | |
| CN111860084B (zh) | 图像特征的匹配、定位方法及装置、定位系统 | |
| CN112001357A (zh) | 目标识别检测方法及系统 | |
| CN114821513B (zh) | 一种基于多层网络的图像处理方法及装置、电子设备 | |
| CN113591543B (zh) | 交通标志识别方法、装置、电子设备及计算机存储介质 | |
| CN116543143A (zh) | 一种目标检测模型的训练方法、目标检测方法及装置 | |
| CN113902047B (zh) | 图像元素匹配方法、装置、设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |