CN117649779A - 一种基于ar技术的停车管理方法及系统 - Google Patents
一种基于ar技术的停车管理方法及系统 Download PDFInfo
- Publication number
- CN117649779A CN117649779A CN202311411196.9A CN202311411196A CN117649779A CN 117649779 A CN117649779 A CN 117649779A CN 202311411196 A CN202311411196 A CN 202311411196A CN 117649779 A CN117649779 A CN 117649779A
- Authority
- CN
- China
- Prior art keywords
- network
- parking
- vehicle
- parking space
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 62
- 238000007726 management method Methods 0.000 title claims abstract description 38
- 230000033001 locomotion Effects 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 46
- 230000003993 interaction Effects 0.000 claims abstract description 14
- 230000002787 reinforcement Effects 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 57
- 230000003287 optical effect Effects 0.000 claims description 47
- 238000013527 convolutional neural network Methods 0.000 claims description 31
- 230000008859 change Effects 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 17
- 238000002372 labelling Methods 0.000 claims description 17
- 238000013439 planning Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 13
- 238000007667 floating Methods 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 230000002457 bidirectional effect Effects 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 18
- 238000005457 optimization Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
- G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
- G08G1/142—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces external to the vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
- G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种基于AR技术的停车管理方法及系统,涉及停车导航技术领域,包括:采用图像识别技术和LiDAR激光雷达技术,获取停车场的三维地图;获取实时停车位的占用情况,并在停车场AR场景中标注虚拟停车位;采用图像识别技术,获取车辆位置和运动信息的实时识别结果;利用基于目标追踪的AR注册技术,在停车场AR场景中形成车辆的虚拟模型;采用基于深度强化学习的路线搜索算法,动态搜索出导航总距离最短的停车导航路径;将搜索到的停车导航路径以导航箭头的形式显示在停车场AR场景中;用户采用基于手势识别的交互方式,对虚拟停车位进行选择或对停车导航路径进行确认。针对现有的停车效率低的问题,本申请通过AR技术等,提高了停车效率。
Description
技术领域
本发明涉及停车导航技术领域,特别涉及一种基于AR技术的停车管理方法及系统。
背景技术
随着城市化进程的加快和车辆数量的不断增多,停车问题成为城市交通管理中的一个重要挑战。传统的停车管理方法存在一些问题,如停车位搜索困难、停车位占用信息不准确等,导致停车效率低下和资源浪费。
为了提高停车效率和解决停车管理中的问题,基于增强现实(AR)技术的停车管理方法应运而生。该方法借助计算机视觉、深度学习和传感器技术,结合车辆定位和导航算法,实现了智能停车场的实时监测、导航和管理。
在相关技术中,比如中国专利文献CN114999203A中提供了一种基于5G和AR技术的停车场导航、寻车方法及装置、计算机设备,包括以下步骤:获取整个停车场的停车位及待停车辆的实时信息;对停车位实时信息数据及待停车辆实时信息数据进行处理计算,得到空余停车位与待停车辆分析计算数据;获取待停车辆定位信息;生成待停车辆到空余停车位的AR导航地图,并在用户所使用的终端设备上显示,引导用户驶入可用停车位停车。但是该方案至少存在:导航路径规划时仅考虑车辆与空余停车位之间的距离,导致规划出的导航路径并非最优,因此停车效率有待进一步提高。
发明内容
1.要解决的技术问题
针对现有技术中存在的停车效率低的问题,本发明提供了一种基于AR技术的停车管理方法及系统,通过构建停车场精确三维场景和AR导航等,提高了停车效率。
2.技术方案
本发明的目的通过以下技术方案实现。
本说明书实施例的一个方面提供一种基于AR技术的停车管理方法,包括:采用融合深度学习的图像识别技术和LiDAR激光雷达的深度感知技术,获取停车场的三维地图,识别出每个停车位的空间信息,空间信息包含位置、大小、形状和顺序;使用基于目标检测算法的AR标记技术,获取实时停车位的占用情况,并在停车场AR场景中标注虚拟停车位;虚拟停车位包含:空余车位、已占用车位、残障人士车位和充电车位;采用集成卷积神经网络的图像识别技术,获取停车场区域内的车辆位置和运动信息的实时识别结果;利用基于目标追踪的AR注册技术,将实时识别结果作为虚拟目标叠加到三维地图中的对应位置,在停车场AR场景中形成车辆的虚拟模型;根据车辆虚拟模型、三维地图和实时停车位的占用情况,采用基于深度强化学习的路线搜索算法,动态搜索出导航总距离最短的停车导航路径;利用AR技术,将搜索到的停车导航路径以导航箭头的形式显示在停车场AR场景中;用户采用基于手势识别的交互方式,对AR场景中标注的虚拟停车位进行选择或对停车导航路径进行确认操作。
进一步地,获取停车场的三维地图的步骤包括:对传感器采集的场景图像,使用卷积神经网络模型进行语义分割,识别每个停车位的空间信息,输出包含停车位空间信息的图像;对包含停车位空间信息的图像,利用编码算法进行编码,输出包含经编码的停车位空间信息的数字图像;对LiDAR采集的点云数据,使用基于光流法的点云配准方法,生成包含场景深度信息的三维点云;将数字图像和三维点云,输入到基于点云投影的多源数据融合模型中,进行数字图像和三维点云的空间像素级对齐,输出包含停车位及场景信息的三维地图。
进一步地,生成三维点云的步骤包括:对采集的LiDAR点云数据,使用含有Huber损失函数的光流网络模型,计算两帧点云之间的光流场信息;将计算所得的光流场信息输入到双向传播算法模型中,输出两帧点云的旋转和平移参数;根据双向传播算法输出的两帧点云旋转和平移参数,进行两帧点云的位姿校准;将位姿校准后的两帧点云输入基于ICP的点云配准模型中,进行三维点云配准,输出三维点云。
进一步地,计算两帧点云之间的光流场信息的步骤包括:对采集的LiDAR点云数据,使用滤波算法进行去噪处理,输出去噪后的点云数据;将去噪后的点云数据输入ICP点云配准模型,输出配准在同一坐标系下的点云数据;提取配准后的点云数据的几何特征,输出点云特征数据;几何特征包含XYZ坐标和法向量;构建含有Huber损失函数的卷积神经网络作为点云光流网络模型;构建点云数据集,每个数据样本包含采集的点云数据和标签光流场;使用点云数据集训练点云光流网络模型,通过最小化训练过程中网络预测的光流场和标签光流场的Huber损失,得到训练好的点云光流网络模型;利用训练好的点云光流网络模型计算两帧点云之间的光流场信息。
进一步地,在停车场AR场景中标注虚拟停车位的步骤包括:获取停车场的实时图像数据;使用目标检测算法处理获得的图像数据,检测各个停车位的占用情况,识别出空余车位、已占用车位、残障人士车位和充电车位,输出包含目标类别和坐标框的检测结果;根据检测结果,通过Unity和Vuforia对检测到的不同类别停车位进行虚拟标注,生成虚拟停车位模型;将生成的虚拟停车位模型的坐标转换为三维地图坐标系下的坐标;使用三维地图的API接口,调用注册虚拟对象的函数,将转换坐标后的虚拟停车位模型注册到三维地图中,以对停车位进行AR空间标注;当停车位的占用情况发生变化时,通过Web Socket或RESTful接口调用AR标注服务,更新注册到三维地图中的虚拟停车位模型的属性。
进一步地,获取车辆位置和运动信息的实时识别结果的步骤包括:采用网络选择控制器,记录当前网络,初始网络为第一网络;获取第一帧图像,计算图像梯度分布直方图,判断直方图的峰度是否大于阈值T1,如果是则,将场景判定为低复杂度场景;如果场景判定为低复杂度场景,则计算车辆运动速度,并判断车辆运动速度是否大于阈值T2,如果车辆运动速度大于T2,则利用网络选择控制器将第一网络切换为第二网络;如果网络未切换到第二网络,则计算车辆的当前帧和前帧的坐标,利用卡尔曼滤波算法融合多帧速度,得到车辆位置的变化速度;判定变化速度是否小于阈值T3,如果是,则利用网络选择控制器将第一网络切换为第三网络;根据网络选择控制器中的当前网络对当前帧的车辆进行定位;将不同网络的定位结果与车辆运动状态结合,输出车辆位置和运动信息;其中,第一网络采用N1定点数的卷积神经网络;第二网络采用N1位定点数的前向传播与N2位浮点数的反向传播相结合的卷积神经网络;第三网络采用低位宽整数的卷积神经网络;N2的数值大小是N1的整数倍。
进一步地,采用网络选择控制器,记录当前网络的步骤包括:采用网络选择控制器,在控制器内设置状态变量network_version,用于记录被调用的网络,初始值设为M1,表示第一网络;获取时序图像输入,并根据场景和目标分析判断需要切换的网络;根据判断结果,更新network_version的值,切换到目标网络;network_version的取值为M1、M2和M3,分别代表第一网络、第二网络和第三网络。
进一步地,将第一网络切换为第二网络的步骤包括:在低复杂度场景下,利用目标检测模型处理当前帧图像,输出包含车辆的目标检测结果;获取当前帧和前一帧的目标检测结果中的车辆识别框坐标;计算前一帧和当前帧中同一车辆坐标框的中心点位置距离差;根据中心点位置距离差和两帧间的间隔,计算车辆的运动速度;判断车辆的运动速度是否大于阈值T2,如果是则将network_version设为M2,将第一网络切换为第二网络。
进一步地,将第一网络切换为第三网络的步骤包括:在未切换到第二网络的情况下,获得当前帧和前一帧车辆识别框中心坐标;使用卡尔曼滤波算法融合多帧中心坐标,计算车辆位置的变化速度;判断变化速度是否小于阈值T3,如果是则将network_version设为M3,将第一网络切换为第三网络。
本说明书实施例的另一个方面还提供一种基于AR技术的停车管理系统,包括:场景信息获取模块,用于获取停车场的三维场景信息;停车位检测模块,用于实施检测停车位的占用情况;车辆定位模块,用于实时定位和跟踪场景中的车辆;导航路径规划模块,用于根据车辆位置和停车位信息,规划停车导航路径;交互显示模块,用于显示导航路径、车辆和停车位信息;场景信息获取模块包含:图像获取单元,获取停车场图像;图像识别单元,对获取的图像进行语义分割,识别停车位空间信息;编码单元,对识别的停车位空间信息进行编码;深度获取单元,获取停车场的深度信息;数据融合单元,将编码的停车位信息和深度信息进行融合,生成三维场景地图;停车位检测模块包含:目标检测单元,检测停车位的占用情况;注册单元,将检测结果注册到三维场景地图中,以增强停车位的现实标注;车辆定位模块包含:多网络单元,包含不同网络以处理不同场景中的车辆定位;网络选择单元,根据场景信息选择不同的网络进行车辆定位;车辆定位单元,结合不同网络的车辆定位结果和车辆运动信息,获取车辆的精确定位。
3.有益效果
相比于现有技术,本发明的优点在于:
(1)通过利用先进的传感器、摄像头、雷达和激光扫描仪等设备,实现车辆的自主导航和自动驾驶功能。通过将这一技术应用于停车场管理系统中,可以实现车辆的自动寻找停车位、自动进出停车位以及自动停放和取车的功能。这将大大简化停车过程,减少人为驾驶引起的停车耗时和纰漏,从而提高停车效率;
(2)通过设置传感器和摄像头等设备对停车场进行实时数据采集。这些采集到的数据包括停车位的空置情况、停车位的实时占用状态、车辆的行驶路线和停放时间等等。通过对这些数据进行实时分析和处理,可以确定停车场内停车位的使用率、高峰时段和拥挤程度等信息。基于这些信息,管理系统可以智能调配停车资源,例如引导车辆直接进入空置的停车位,避免车辆在停车场内徘徊,从而提高停车效率;
(3)通过将停车场内的路况信息、停车位的实时占用情况以及车辆的目的地等因素考虑在内,系统可以为车辆提供最佳的停车路线和导航指引。例如,当用户进入停车场时,系统可以根据用户的目的地和停车位的空置情况,智能规划一条最短、最合适的路线,指引用户迅速找到合适的停车位,从而节省时间和精力,提高停车效率。
附图说明
本说明书将以示例性实施例的方式进一步描述,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是根据本说明书一些实施例所示的一种基于AR技术的停车管理方法的示例性流程图;
图2是根据本说明书一些实施例所示的获取三维地图的示例性流程图;
图3是根据本说明书一些实施例所示的标注虚拟停车位的示例性流程图;
图4是根据本说明书一些实施例所示的获取车辆位置和运动信息的实时识别结果的示例性流程图;
图5是根据本说明书的一些实施例所示的一种基于AR技术的停车管理系统的示例性模块图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本说明书的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本说明书应用于其他类似情景。除非从语言环境中显而易见或另作说明,图中相同标号代表相同结构或操作。
图1是根据本说明书一些实施例所示的一种基于AR技术的停车管理方法的示例性流程图,如图1所示,基于AR技术的停车管理方法旨在利用深度学习、图像识别、LiDAR激光雷达以及目标追踪等技术,提供实时的停车位信息更新、动态停车导航路径规划以及便捷的交互方式,以提高停车效率,本申请的一种基于AR技术的停车管理方法包括:
S110传统停车场地图信息不精确,导致车辆寻找空位困难。为实现高效停车,需要获取高精度的停车场空间信息。本发明使用以下技术获取精确的三维停车场地图,应用深度学习图像识别算法,准确检测每个停车位的位置、大小、形状等空间信息;使用LiDAR激光雷达扫描,获取停车场的三维深度数据;将图像识别结果与激光扫描深度数据进行数据融合,构建包含精细空间信息的三维停车场数字地图。整合计算机视觉与深度感知技术,实现对停车场的高精度数字复原,车辆可以根据地图信息快速导航到空停车位,大大提升停车效率。
S120传统停车场无法实时掌握停车位使用情况,导致车辆频繁循环寻找空位,降低停车效率。本发明采用AR技术实时标注停车位状态,使用目标检测算法处理摄像头图像,识别出停车位及其占用状态;在AR场景中,对空余车位、已占用车位、残障和充电车位进行虚拟标注;AR标注包含语音、文字、颜色等多种示意方式;实时更新标注内容,保证停车位信息的时效性。本申请使车辆可直观获取停车场实时状态,快速找到可用空位,大幅缩短寻找时间,提升停车效率。
S130传统停车场无法实时掌握车辆位置和运动信息,导致停车导航效率低下。本发明采用卷积神经网络实时检测车辆状态,对停车场区域持续拍摄和采集图像;使用卷积神经网络处理图像,实时输出车辆的坐标定位和运动参数;网络模型采用混合精度计算,提高检测和推理速度;根据车辆的实时定位和运动状态,进行导航路径规划。该方案实现了对停车场车辆的精确定位和运动判断,使导航路径可动态规划,大幅提升停车效率。
S140传统停车场难以直观显示车辆位置,不利于快速导航。本发明通过AR技术生成车辆的虚拟模型,使用目标追踪算法获取车辆在停车场的实时运动信息;将追踪获得的位置数据投影到三维停车场地图中;在AR场景中,对应位置生成车辆的虚拟三维模型;车辆模型具有车型、颜色等视觉信息。本申请让用户通过AR设备可以直接看到停车场内每辆车的虚拟影像,快速定位自身位置,显著提升停车导航效率。
S150传统停车场不能提供最优导航路径,导致车辆绕行时间长。本发明通过强化学习算法动态规划最优路径,输入车辆虚拟模型、三维地图和实时停车位数据;设置路径最短作为奖励信号,训练深度强化学习模型;模型根据实时占用情况,输出全局最优导航路径。本方案实现智能导航路径规划,使车辆可快速到达空余停车位,显著缩短寻车时间,提升停车效率。具体的,在本申请中,采用深度Q网络(DQN)进行强化学习,输入为agent当前状态,输出为各个动作的Q值。将停车场建模为栅格地图,每个栅格表示1米x1米区域。采用图像表示智能体状态,表示周围区域的栅格占用情况。向上、下、左、右四个方向移动一个栅格。奖励函数为单步移动的负距离,使智能体学习到快速靠近目标的策略。使用经验回放机制进行训练,不断迭代学习到全局最优策略。获得实时栅格地图数据,输出移动到目标的动作序列。在Unity中进行路径绘制,动态显示最优导航路径。
S160传统停车场无法直观呈现导航路径,导致车辆易失方向。本发明使用AR技术显示导航路径,将规划好的导航路线数据输入到AR系统中;AR设备获取当前位置信息和场景图像;将导航路径以虚拟箭头实时叠加到场景视图中。本申请使导航箭头直接显示在车辆实际视野中,避免迷路,大幅提升寻车效率。
S170传统停车场交互方式复杂,导致用户操作时间长,本发明采用手势交互,使用摄像头捕捉用户手势动作;应用计算机视觉算法识别手势意图;将手势交互命令传递给AR系统;系统执行停车位选择或导航确认操作。该方案实现自然、便捷的手势交互,使导航和选择停车位的操作更流畅,提高停车效率。
其中,实时停车位信息更新,用户可以及时了解停车位的占用情况,节省寻找空余停车位的时间。动态停车导航路径规划,用户可以快速找到最短路径的停车位,减少停车时间和徘徊。交互方式的便利性,用户可以通过基于手势识别的交互方式进行操作,增加了用户体验和交互效率。
在本实施例中,使用分辨率1920x1080、帧率30fps的工业相机采集停车场图像;对图像;应用Mask R-CNN模型进行语义分割,识别每个停车位的大小和位置信息;使用Velodyne-VLP-16LiDAR扫描场景,生成16线、100万点/秒的三维点云数据;利用ICP算法将图像结果与点云对齐,输出0.1米精度的三维停车场数字地图;每1秒处理一帧图像,利用YOLOv5模型检测4类目标:空余、占用、残障、充电位;在Unity中对应更新停车位虚拟模型的颜色和文字标注来表示状态;通过Web Socket以20Hz频率将更新信息发送到云服务器;使用带有SE Layer的YOLOv5模型,实现车辆检测FPS达到20;利用深度学习光流算法OCTVL1追踪车辆,输出100Hz的定位信息;将车辆数据投影到三维地图中,实现实时跟踪;在Ray中构建强化学习环境,奖励函数为最小化路径长度;训练基于A2C算法的模型,在1000次迭代后逼近最优;导航路径以虚拟箭头的形式显示在用户的AR视野中;使用Intel Real senseD435i RGB-D相机捕获手势;基于MediaPipe手势识别模型,识别点击和滑动手势;用户可以通过手势选择导航路径或目标停车位。
综上所述,首先,S110步骤通过图像识别与激光雷达扫描相结合,获取高精度三维数字地图。这为后续的导航与定位提供了精确的环境信息支撑。其次,S120步骤利用AR技术实时感知和标注各停车位状态。这与S110形成配合,在精确地图基础上增加实时空位监测。然后,S130步骤用卷积网络对车辆运动进行定位与跟踪。这与S120相配合,实现对车辆位置的实时掌握。接着,S140步骤在AR中生成车辆虚拟模型。这与S130相配合,使车辆模型可视化。随后,S150步骤用强化学习生成最优路径。这与S130、S140相配合,基于车辆位置规划导航。再者,S160显示AR导航路径与S150相配合,实现路径的可视化指引。最后,S170采用手势交互与S160相配合,提高导航的便捷性。本申请各步骤通过场景数字化、车辆定位、路径规划、可视化等环节的相互配合和技术关联,形成了一个从环境感知到交互导航的完整方案,全面提升了停车场的管理水平与使用效率。基于AR技术的停车管理方法通过实时停车位信息更新、动态停车导航路径规划和便捷的交互方式,提高了停车效率,使用户能够快速找到空余停车位并完成停车操作。该方法结合了深度学习、图像识别、AR技术等多种技术手段,提高了停车效率。
图2是根据本说明书一些实施例所示的获取三维地图的示例性流程图,如图2所示,融合摄像头图像和激光点云,构建精细的停车场三维地图,使车辆可以高效导航到目标停车位,大幅提升停车效率,获取停车场的三维地图的步骤包括:
本发明使用卷积神经网络进行停车位检测,包括:S111使用摄像头采集场景图像;提取图像特征,输入预训练的卷积神经网络;网络输出每个停车位的空间信息,如位置、形状等。传统方法无法自动识别图像中的停车位,导致地图信息缺失。S112使用编码算法压缩空间信息图像,利用预训练编码模型对输入图像进行编码;编码后输出更小体积的数字图像。该技术降低了图像信息冗余度,提升后续处理和传输效率,可加快三维地图构建流程。未编码的图像信息体积较大,传输和处理效率较低。使用光流方法处理点云数据,S113计算两帧点云之间的光流字段;根据光流场估计点云的运动变换;对两帧点云进行高效配准,得到三维点云。使用光流信息进行点云配准,大幅提升效率,可快速构建三维停车场场景。传统方法点云配准效率较低,难以构建三维场景。S114融合多源数据构建三维地图,输入数字图像与三维点云;在点云中像素级投影数字图像;生成包含多源信息的高精度三维停车场地图。该技术有效融合图像与点云优势,构建更丰富和精确的三维地图,大幅提升导航效率。单一数据源的三维地图精度及完整性有限。
其中,生成三维点云的步骤包括:使用含Huber损失的光流网络计算点云间的光流场,包括:网络提取两帧点云的局部特征;最小化Huber损失,稳定光流场计算;该技术使用高效的光流网络算法,快速计算两帧点云间的运动变换,加快了点云配准过程;传统方法计算点云间运动参数效率较低;使用双向传播算法估计点云旋转与平移参数,输入前后两帧点云的光流场;双向传播网络输出点云姿态变换参数;使用高效的双向传播网络,大幅加快了点云姿态变换的参数估计过程;输入经姿态校准的两帧点云;ICP迭代优化两点云的配准,输出精确配准结果。通过ICP迭代优化算法,使点云配准达到像素级精度,有利于构建高精度三维场景。
具体地,对采集的LiDAR点云数据,使用含有Huber损失函数的光流网络模型,计算两帧点云之间的光流场信息:原始点云数据存在噪声,影响后续处理质量,使用滤波算法去除点云噪声,对采集的原始点云数据进行统计模型分析;根据分析结果设计滤波器,消除离群点;去除了点云噪声;不同视角的点云存在姿态变换,需要先配准到统一坐标系;输入两帧待配准的点云;ICP迭代优化两点云的旋转与平移,输出配准结果;计算每个点的XYZ坐标值;计算每个点的法向量特征;从点云中提取了明确的几何特征,为运动估计及场景建模提供了输入信息;使用Huber损失函数提升光流网络鲁棒性;构建高效的点云光流预测网络,构建卷积神经网络计算光流预测;以Huber损失作为优化目标,增强模型健壮性;集成了卷积网络与Huber损失函数,构建了一个高效且鲁棒的点云光流预测模型;需要点云数据集对光流网络进行训练,构建点云光流数据集;采集点云数据成对组成样本;训练并使用点云光流网络;使用构建好的数据集训练网络;最小化Huber损失得到高效鲁棒模型;对新点云计算光流,支持后续运动估计;使自定义的点云光流网络得以高效训练和使用。
在本实施例中,使用基于Keras的自动编码器(Auto Encoder)对检测结果图像进行编码;Auto Encoder包含卷积编码层和解码层,可压缩图像到原大小的10%;输出体积更小的数字图像,便于网络传输;基于TensorFlow的FlowNet光流模型计算两帧点云的运动变换;使用配准后的点云构建三维场景;将编码后的数字图像投影到三维点云上进行像素级对齐;通过PCL(点云库)实现不同数据源的配准和融合;最终输出0.2m精度的三维停车场数字地图。
综上所述,通过以上技术特征的结合,获取到的停车场三维地图能够提供准确的停车位空间信息和场景深度信息,为提高停车效率提供了基础。根据该地图,可以进行停车位的动态导航规划、空余停车位的即时更新等功能,从而优化用户停车体验和减少停车时间。
图3是根据本说明书一些实施例所示的标注虚拟停车位的示例性流程图,如图3所示,在停车场AR场景中标注虚拟停车位的步骤包括:S121获取停车场的实时图像数据;使用摄像头或其他适当的设备获取停车场的实时图像数据。图像数据可以是视频流或连续的图像帧。将获得的图像数据输入到目标检测算法中。目标检测算法可以是传统的计算机视觉算法,例如基于特征提取和分类器的方法,也可以是现代的深度学习算法,例如基于卷积神经网络的方法,如YOLO、Faster R-CNN等。S122目标检测算法通过对图像进行分析和学习,可以检测出各个停车位的占用情况。检测各个停车位的占用情况和识别目标:目标检测算法处理图像数据后,输出包含目标类别和坐标框的检测结果。
虚拟停车位标注系统是一种基于目标检测和增强现实技术的解决方案,旨在提高停车场的管理效率和用户体验。本申请利用Unity引擎和Vuforia增强现实平台,S123将实时的停车场图像数据与检测结果结合,通过虚拟标注生成虚拟停车位模型,使用户能够直观地识别出空余车位、已占用车位、残障人士车位和充电车位等不同类别的停车位。使用先进的目标检测算法对停车场实时图像进行处理,识别出各个停车位的占用情况,并将检测结果输出为包含目标类别和坐标框的数据。Unity版本:选择适用的Unity版本,确保与Vuforia SDK兼容。Vuforia SDK:基于AR技术,用于图像识别和跟踪,提供增强现实功能。设备支持:确保目标设备支持Vuforia SDK以实现AR应用程序。AR场景创建:通过Unity引擎创建虚拟停车场的AR场景,并将Vuforia SDK集成到项目中。标注方法:根据目标检测的结果,使用虚拟标注技术将不同类别的停车位以虚拟图形或文字的形式标注在AR场景中。模型生成:根据检测到的停车位类别,使用Unity的模型生成功能创建对应的虚拟停车位模型。
S124虚拟停车位坐标,每个虚拟停车位模型在AR场景中拥有自己的坐标。选择合适的三维地图系统,如Google Earth、MAPbox等,本申请可以在地球的三维场景中显示各种地理位置。确保所选的三维地图系统使用的是统一的地理坐标系,如经纬度坐标系统(例如WGS84)。准备地图数据集,包括地理位置和相应的经纬度坐标。利用合适的地理坐标转换算法,将虚拟停车位的坐标(在AR场景中)转换为三维地图坐标系下的经纬度坐标。根据所选的三维地图系统,如Google EarthAPI或地理信息系统(GIS)库,使用相应的坐标转换函数或接口实现转换算法,快速找到空余的停车位,提高停车效率,减少停车时间。
S125使用相应的数学计算库或地理信息系统(GIS)库,实现坐标转换算法并编写适配三维地图API接口的代码。虚拟停车位注册到三维地图。通过连接实时数据源,如停车场管理系统或车辆检测传感器,更新虚拟停车位的状态信息(例如空闲、占用)。结合车辆导航系统或路径规划算法,根据车辆位置和目标停车位的预估空闲情况,推荐最佳的停车位。利用AR技术,引导驾驶员准确前往指定的停车位,并提供实时导航指引。本申请通过调用三维地图的API接口,将转换坐标后的虚拟停车位模型注册到三维地图中,实现了虚拟停车位标注系统与三维地图的集成,提高停车效率,减少停车时间。
使用Web Socket或RESTful接口进行实时数据交互。开发AR标注服务,该服务接收停车位占用情况的更新请求,并调用三维地图API接口更新虚拟停车位模型的属性。当停车位的占用情况发生变化时,根据实际情况,可以通过车辆检测传感器、停车场管理系统或其他数据源触发相应的数据更新请求。S126在虚拟停车位的占用情况发生变化时,AR标注服务通过Web Socket或RESTful接口调用三维地图API接口,更新虚拟停车位模型的属性,如颜色、文本标注等。通过实时更新虚拟停车位模型的属性,使其在三维地图上的标注实时反映停车位状态的变化,实现了虚拟停车位标注系统与三维地图的集成和实时更新,帮助驾驶员快速找到可用停车位,优化停车资源利用,减少停车时间,提高停车效率。
在本实施例中,使用分辨率为1920x1080、帧率30fps的工业相机,安装在停车场入口和主通道处,实时采集停车场图像。采用基于YOLOv5的检测模型,MAP可达0.82,使用TeslaV100 GPU,可实现每帧图像处理时间小于100ms。停车场坐标系统为笛卡尔坐标,原点为场地左上角,(0,0)点。将检测到的停车位坐标转换为WGS84经纬度坐标:场地左上角坐标为(经度103.8,纬度1.3);每个停车位尺寸为2.5米×5米;停车位间距为1米;使用GoogleEarth三维地图,注册开发者账号,获取API Key。使用Google EarthAPI将转换后的虚拟停车位坐标注册为Place mark,实时更新Place mark属性以反映空闲/占用状态。采用WebSocket连接数据服务器,实时接收检测系统发送的停车位状态更新消息,调用GoogleEarthAPI更新Place mark。该示例系统可以检测实时采集的停车场图像,通过目标检测算法识别空闲停车位,并在Google Earth三维地图上用不同颜色的Place mark实时标注空闲和占用的停车位。
图4是根据本说明书一些实施例所示的获取车辆位置和运动信息的实时识别结果的示例性流程图,如图4所示,本发明公开了一种基于增强现实的智能停车位标注方法,以提高停车场内车位资源的利用效率。该方法通过图像处理与虚拟现实技术,实现停车位占用情况的智能感知和标注,帮助驾驶员快速识别空置车位,有效规避漫无目的的车位搜索,缩短车位搜索时间,提高停车效率,获取车辆位置和运动信息的实时识别结果的步骤包括:
S131采用网络选择控制器,记录当前网络,初始网络为第一网络。S132本系统在处理每幅停车场图像时,会计算该图像的梯度分布直方图,分析其峰度值。这里的图像梯度计算采用Sobel运算符,内核大小为3x3,可以有效提取图像中的边缘轮廓信息。例如经统计分析,直方图峰度大于预设阈值T1=0.8,则系统会判定该场景为低复杂度场景。该峰度阈值判定方式Runs Crystal使用机器学习获得,并在不同照明时段、车位占用率下的停车场图像上进行了测试优化,以保证其泛化性能。
S133当系统判断为低复杂度停车场场景时,会启动车辆运动速度计算模块。该模块会获取当前帧和前一帧的车辆目标图像,采用基于SIFT特征匹配的运动估计算法,计算同一车辆在两帧之间的位移。考虑到两帧之间的间隔为0.5秒,可以据此计算得到车辆的运动速度。例如经统计学习,设置速度判定阈值为T2=15公里/小时。如果车辆在低复杂场景下的速度超过15公里/小时,系统会判断为车辆正在快速移动,需要切换到计算量更大、精度更高的第二个卷积神经网络进行定位,以保证精度。因此,网络选择控制器会发送指令,将当前使用的第一网络切换为第二网络,以满足对运动车辆定位的精度需求。通过该机制,系统可以根据车辆运动状态实时调整定位网络,既确保了定位精度,又优化了计算资源配置。
如果系统未将第一网络切换为第二网络,则表明车辆运动速度在低复杂场景下不高。此时,系统会调用车辆位置变化速度计算模块,该模块会获取当前帧和前5帧中同一车辆的坐标框信息。模块利用卡尔曼滤波算法,融合多帧坐标信息,并考虑坐标误差的协方差矩阵,对车辆位置进行滤波计算。S134经过该多帧融合的卡尔曼滤波方案,可以获得平滑而稳定的车辆位置变化速度结果。系统会判断速度是否低于阈值T3=3公里/小时。如果车辆速度低于3公里/小时,近似视为静止,这需要使用适合精确定位静止目标的第三网络。因此,网络控制器会发送指令,切换为第三卷积神经网络。通过该方案,系统可以根据车辆具体运动状态,选择不同的卷积网络,以达到精度与效率的最佳平衡。
S135系统中的网络选择控制器会实时记录当前被选择使用的卷积神经网络版本。在进行每一帧的车辆定位时,系统会首先查询控制器,获得当前的网络版本信息。如果版本为1,则调用第一卷积神经网络;如果版本为2,调用第二网络;如果版本为3,调用第三网络。这样可以根据前续步骤的判断,实现对不同网络版本的动态切换控制。三类卷积神经网络的结构和参数经过精心设计,第一网络适用于常规场景,第二网络针对复杂场景,第三网络专门适用于静止车辆的精定位。S136根据控制器的网络版本信息,选择使用对应的卷积网络对当前需要定位的车辆图像进行处理,输出定位结果。该机制可以动态切换网络,确保在不同场景和状态下都达到准确定位的技术效果,从而提升对整个停车场环境的监控管理与利用效率。S137将不同网络的定位结果与车辆运动状态结合,输出车辆位置和运动信息。系统经过不同的卷积神经网络后,可以定位到每辆车辆在当前视频帧中的坐标框。这些坐标框表示了车辆目标在图像平面上的空间位置信息。系统还会追踪这个车辆目标在之前若干帧中的坐标框。利用坐标框中心点之间的位置变化,系统可以计算出车辆的移动速度。系统会综合该车辆在当前帧的定位框坐标,以及它的历史运动状态。最终形成对该车辆目标定位坐标和运动状态的精确表达,以准确反映其空间位置和动态信息。这些输出结果可用于后续的停车场管理系统,指导车辆停放等应用,从而提升停车效率。
在本实施例中,计算每个帧图像的Sobel梯度分布直方图,峰度阈值设置为0.8。峰度大于阈值时,判定为低复杂度场景。连续两帧间采用SIFT特征点匹配算法,根据匹配点数计算车辆位移。结合帧间间隔0.04秒,计算车辆运动速度。在低复杂场景下,速度阈值1设置为16km/h。速度低于阈值1,则计算车辆位置变化速度。采用卡尔曼滤波算法,融合5帧车辆位置,输出位置变化速度。速度阈值2设置为2km/h。定义网络版本变量network_version,初始值为1。network_version在1到3之间切换,选择不同的卷积网络。根据network_version的值,选择使用对应的卷积网络,输出车辆定位结果。
其中,采用网络选择控制器,记录当前网络的步骤包括:本系统采用网络选择控制器来管理多个卷积神经网络,以实现针对不同场景和车辆状态的自适应网络切换。在控制器中,系统设置一个状态变量network_version,其作用是实时记录当前被调用使用的网络版本。network_version是一个整数变量,其初始值被设定为1,表示默认情况下使用预先训练好的第一卷积神经网络,该网络参数经优化,适用于对常规停车场场景车辆目标的定位。在系统运行过程中,network_version变量会在不同网络之间进行切换,其值在1到3之间变化,分别表示使用第一、第二和第三卷积神经网络。通过该状态变量的实时更新,网络选择控制器可以精确控制不同网络的动态切换,以满足对多种场景和车辆状态定位的技术要求。
获取时序图像输入,并根据场景和目标分析判断需要切换的网络;network_version的取值为M1、M2和M3,分别代表第一网络、第二网络和第三网络。根据判断结果,更新network_version的值,切换到目标网络;通过切换不同的神经网络,实现对不同场景中的车辆进行实时、精确的定位,以便快速指引车辆找到空余停车位,优化停车过程,提高停车效率。获取车辆输入图像,计算场景复杂度。根据当前车速和复杂度,判断需要切换的网络。设置network_version的值,调用相应的网络。网络处理图像,输出车辆定位结果。
其中,将第一网络切换为第二网络的步骤包括:利用目标检测模型处理当前帧图像,输出包含车辆的目标检测结果,在低复杂度场景下,为了提高停车效率,我们可以利用目标检测模型对当前帧图像进行处理,以获取包含车辆的目标检测结果。目标检测模型可以识别并定位图像中的车辆,输出车辆识别框的坐标和类别信息。
获取当前帧和前一帧的目标检测结果中的车辆识别框坐标,为了比较车辆在两帧之间的位置变化,我们可以从当前帧和前一帧的目标检测结果中提取出车辆识别框的坐标。这些坐标表示了车辆在时间上的位置差异。计算前一帧和当前帧中同一车辆识别框的中心点位置距离差,通过获取前一帧和当前帧中同一车辆识别框的中心点位置,可以计算它们之间的位置距离差。位置距离差表示了车辆在两帧之间的移动情况。计算前一帧和当前帧中同一车辆识别框的中心点位置距离差,通过获取前一帧和当前帧中同一车辆识别框的中心点位置,可以计算它们之间的位置距离差。位置距离差表示了车辆在两帧之间的移动情况。
根据中心点位置距离差和两帧间的间隔,计算车辆的运动速度,通过中心点位置距离差和两帧间的间隔,可以计算车辆的运动速度。运动速度表示了车辆在时间上的位移量。在结合具体的技术参数和阈值的设置方案中,可以根据位置距离差和间隔进行速度计算。通过设定合适的尺度因子和时间单位,可以获得车辆的准确运动速度。
通过设定合适的尺度因子和时间单位,可以获得车辆的准确运动速度。在从提高停车效率的角度结合具体的技术参数和阈值的设置方案时,可以根据具体需求设置合适的阈值T2。阈值的选择应考虑停车场速度要求、车辆移动情况等因素,以确保切换决策的准确性和适应性。通过将network_version设为M2,即将第一网络切换为第二网络,我们可以根据车辆的实际运动情况自动选择适用于较快移动场景的网络模型。这种切换策略可以提高停车准确性和效率,适应不同速度下的车辆定位和路径规划任务
在本实施例中,在判断为低复杂度场景后,系统使用优化的YOLOv5模型实时检测每个视频帧中的车辆目标,输出坐标框及置信度。取前后两帧的检测结果,若同一车辆的检测框置信度均超过0.8,则提取该车辆的坐标框。计算这两帧中同一车辆框的中心点位置距离差d。考虑到系统以25帧/秒的速度处理视频,两帧间隔时间t为0.04秒。利用d/t计算该车辆的运动速度v。将v与预设速度阈值T2=15公里/小时进行比较。如果v>15,则认为车辆正在快速移动,需要切换到第二定位网络,因此将network_version设为2。网络控制器收到version=2的信号后,会将当前使用的第一网络切换为第二网络。
其中,将第一网络切换为第三网络的步骤包括:在未切换到第二网络的情况下,获得当前帧和前一帧车辆识别框中心坐标;首先,我们可以使用车辆识别技术来获得当前帧和前一帧中车辆识别框的中心坐标。这些坐标表示了车辆在追踪过程中的移动情况。
采用一维卡尔曼滤波模型,输入多帧匹配的车辆框中心坐标,递归估计车辆位置和速度。监测速度变化情况,判断车辆移动趋势。为了减少噪声和提高车辆位置的估计准确性,我们可以采用卡尔曼滤波算法对多帧车辆中心坐标进行融合处理。卡尔曼滤波算法是一种递归滤波方法,可以根据当前观测值和系统模型来估计状态的最优值。
判断变化速度是否小于阈值T3,如果是则将network_version设为M3,将第一网络切换为第三网络。设速度变化阈值T3为2像素/帧。当卡尔曼滤波结果判断出车辆移动速度小于T3时,设置network_version=M3,切换到第三网络。第三网络进行稳定状态下的持续跟踪,避免反复切换网络,提高计算效率。为了判断车辆是否在停止或慢速移动状态,我们将计算得到的车辆位置变化速度与事先设定的阈值T3进行比较。如果变化速度小于阈值T3,这表明车辆处于停止或缓慢移动状态。在这种情况下,我们可以将网络版本设置为M3,即将第一网络切换为第三网络。第三网络可能是一个更适用于静止或缓慢移动的模型,可以更准确地估计车辆位置,并且可能在停车准确性方面具有较高的性能。
其中,第一网络采用N1定点数的卷积神经网络;定点数表示使用固定的位数来表示网络中的权重和激活值。采用定点数的网络有助于降低计算和存储的复杂性,并且可以在一定程度上提高计算速度和效率。通过使用较少的位数,可以减少网络的参数量,降低计算的复杂度,从而更快地进行推理和训练。本申请使用8位定点数的MobileNetV1模型,前向传播全部使用8位定点数运算。
第二网络采用N1位定点数的前向传播与N2位浮点数的反向传播相结合的卷积神经网络;第二网络在提高停车效率方面采用了前向传播使用N1位定点数,而反向传播使用N2位浮点数的卷积神经网络。N2位浮点数表示反向传播过程中所需的高精度计算。通过这种结合的方式,可以在前向传播过程中使用较低位数的定点数进行快速推理,提高计算速度和效率。而在反向传播过程中,使用高精度的浮点数来准确计算梯度和优化网络参数。这种组合使用定点数和浮点数的网络架构可以兼顾计算速度和准确性。它可以在前向传播中加快车辆识别和位置估计的计算速度,并在反向传播中保持参数优化的准确性,提高停车准确性和效率。本申请使用4位定点数的MobileNetV2模型;前向传播使用4位定点数;反向传播使用32位浮点数。
第三网络采用低位宽整数的卷积神经网络;低位宽整数表示网络中的权重和激活值使用的是较短的位宽。使用低位宽整数的网络可以显著减少网络的存储空间和计算复杂度。这种网络可以使用更少的位数来表示参数,从而减少内存需求并加速计算过程。通过采用低位宽整数的网络,可以在保持一定的准确性的前提下,进一步提高停车操作的计算速度和效率。这种网络结构可以在车辆识别、位置估计和路径规划等方面发挥作用,从而促进停车效率的提升。本申请使用2位定点数的Squeeze Net模型;全部使用2位定点数运算。
N2的数值大小是N1的整数倍。N2的数值大小是N1的整数倍。这样可以确保定点数和浮点数之间的兼容性和协同工作。使用定点数网络可以降低计算和存储复杂度,加快前向推理过程的速度。而使用浮点数进行反向传播可以保持参数优化的准确性。通过兼顾低位宽定点数和高精度浮点数的优势,整体网络的计算效率得到提升。采用N2作为N1的整数倍可以最大限度地利用硬件资源。由于浮点数计算通常需要较高的计算能力和存储空间,将N2设置为N1的整数倍可以更好地利用硬件资源,提高系统的资源利用效率。通过使用浮点数进行反向传播,可以保持参数优化的准确性。这对于网络的训练和参数更新非常重要,以确保网络能够充分学习和适应停车场场景的特征。
在本实施例中,本系统采用网络选择控制器来管理三个不同的卷积神经网络,用于根据场景和车辆状态进行自适应切换。控制器中的状态变量network_version初始化为1,代表默认使用第一网络。在处理每幅图像时,系统计算图像梯度分布直方图,判断其峰度是否超过预设阈值T1=0.8。如果超过,则判定为场景复杂度较低。该阈值通过大量实验统计优化得到。在简单场景下,系统计算车辆运动速度,判断是否超过阈值T2=15km/h。T2值设置考虑了一般停车场环境下车辆的常见运动范围。如果超过,则切换到第二网络。如果未切换网络,则计算车辆位置变化速度,判断是否低于阈值T3=5km/h。T3设置参考了常见静止车辆的微小晃动。如果低于,则切换到第三网络。切换后的网络将进行该帧车辆定位。不同网络的组合应用,兼顾了定位精度和计算效率。定位结果与车辆运动信息,可精确反映车辆位置和状态,供智能停车系统使用,指引驾驶员快速找到可用车位,提高停车场资源利用效率。
综上所述,系统首先获取停车场实时图像,然后使用目标检测算法处理图像,准确识别各类停车位,包括空余、已占用、残障和充电位。基于目标检测结果,系统通过Unity和Vuforia引擎进行三维建模,生成虚拟停车位对象,并将其坐标转换到三维场景地图中。三维地图通过API对虚拟停车位进行注册,实现AR空间下的标注。当车位被占用后,系统可以即时感知到变化,调用AR服务接口更新地图标注。整合计算机视觉与增强现实技术,实现对停车位动态信息的精确捕捉及三维可视化表达,提升停车效率。
图5是根据本说明书的一些实施例所示的一种基于AR技术的停车管理系统200的示例性模块图,如图5所示,本申请由场景信息获取模块210、停车位检测模块220、车辆定位模块230、导航路径规划模块240和交互显示模块250组成。
场景信息获取模块,该模块通过图像获取、图像识别、编码、深度获取和数据融合等单元,获取停车场的三维场景信息。停车位检测模块,该模块利用目标检测和注册单元,实时检测停车位的占用情况,并将结果注册到三维场景中。车辆定位模块,该模块包含多网络单元、网络选择单元和车辆定位单元,可切换不同的网络,实时精确定位车辆。导航路径规划模块,该模块基于车辆和停车位信息,规划最优停车导航路径。交互显示模块,该模块将导航路径、车辆和停车位信息进行交互式显示。
通过各模块协同工作,获取场景信息,定位车辆,生成导航路径,并用AR技术交互显示,实现智能停车场管理,提高停车效率。
Claims (10)
1.一种基于AR技术的停车管理方法,包括:
采用融合深度学习的图像识别技术和LiDAR激光雷达的深度感知技术,获取停车场的三维地图,识别出每个停车位的空间信息,空间信息包含位置、大小、形状和顺序;
使用基于目标检测算法的AR标记技术,获取实时停车位的占用情况,并在停车场AR场景中标注虚拟停车位;虚拟停车位包含:空余车位、已占用车位、残障人士车位和充电车位;
采用集成卷积神经网络的图像识别技术,获取停车场区域内的车辆位置和运动信息的实时识别结果;
利用基于目标追踪的AR注册技术,将实时识别结果作为虚拟目标叠加到三维地图中的对应位置,在停车场AR场景中形成车辆的虚拟模型;
根据车辆虚拟模型、三维地图和实时停车位的占用情况,采用基于深度强化学习的路线搜索算法,动态搜索出导航总距离最短的停车导航路径;
利用AR技术,将搜索到的停车导航路径以导航箭头的形式显示在停车场AR场景中;
用户采用基于手势识别的交互方式,对AR场景中标注的虚拟停车位进行选择或对停车导航路径进行确认操作。
2.根据权利要求1所述的基于AR技术的停车管理方法,其特征在于:
获取停车场的三维地图的步骤包括:
对传感器采集的场景图像,使用卷积神经网络模型进行语义分割,识别每个停车位的空间信息,输出包含停车位空间信息的图像;
对包含停车位空间信息的图像,利用编码算法进行编码,输出包含经编码的停车位空间信息的数字图像;
对LiDAR采集的点云数据,使用基于光流法的点云配准方法,生成包含场景深度信息的三维点云;
将数字图像和三维点云,输入到基于点云投影的多源数据融合模型中,进行数字图像和三维点云的空间像素级对齐,输出包含停车位及场景信息的三维地图。
3.根据权利要求2所述的基于AR技术的停车管理方法,其特征在于:
生成三维点云的步骤包括:
对采集的LiDAR点云数据,使用含有Huber损失函数的光流网络模型,计算两帧点云之间的光流场信息;
将计算所得的光流场信息输入到双向传播算法模型中,输出两帧点云的旋转和平移参数;
根据双向传播算法输出的两帧点云旋转和平移参数,进行两帧点云的位姿校准;
将位姿校准后的两帧点云输入基于ICP的点云配准模型中,进行三维点云配准,输出三维点云。
4.根据权利要求3所述的基于AR技术的停车管理方法,其特征在于:
计算两帧点云之间的光流场信息的步骤包括:
对采集的LiDAR点云数据,使用滤波算法进行去噪处理,输出去噪后的点云数据;
将去噪后的点云数据输入ICP点云配准模型,输出配准在同一坐标系下的点云数据;
提取配准后的点云数据的几何特征,输出点云特征数据;几何特征包含XYZ坐标和法向量;
构建含有Huber损失函数的卷积神经网络作为点云光流网络模型;
构建点云数据集,每个数据样本包含采集的点云数据和标签光流场;
使用点云数据集训练点云光流网络模型,通过最小化训练过程中网络预测的光流场和标签光流场的Huber损失,得到训练好的点云光流网络模型;
利用训练好的点云光流网络模型计算两帧点云之间的光流场信息。
5.根据权利要求1所述的基于AR技术的停车管理方法,其特征在于:
在停车场AR场景中标注虚拟停车位的步骤包括:
获取停车场的实时图像数据;
使用目标检测算法处理获得的图像数据,检测各个停车位的占用情况,识别出空余车位、已占用车位、残障人士车位和充电车位,输出包含目标类别和坐标框的检测结果;
根据检测结果,通过Unity和Vuforia对检测到的不同类别停车位进行虚拟标注,生成虚拟停车位模型;
将生成的虚拟停车位模型的坐标转换为三维地图坐标系下的坐标;
使用三维地图的API接口,调用注册虚拟对象的函数,将转换坐标后的虚拟停车位模型注册到三维地图中,以对停车位进行AR空间标注;
当停车位的占用情况发生变化时,通过Web Socket或RESTful接口调用AR标注服务,更新注册到三维地图中的虚拟停车位模型的属性。
6.根据权利要求1所述的基于AR技术的停车管理方法,其特征在于:
获取车辆位置和运动信息的实时识别结果的步骤包括:
采用网络选择控制器,记录当前网络,初始网络为第一网络;
获取第一帧图像,计算图像梯度分布直方图,判断直方图的峰度是否大于阈值T1,如果是则,将场景判定为低复杂度场景;
如果场景判定为低复杂度场景,则计算车辆运动速度,并判断车辆运动速度是否大于阈值T2,如果车辆运动速度大于T2,则利用网络选择控制器将第一网络切换为第二网络;
如果网络未切换到第二网络,则计算车辆的当前帧和前帧的坐标,利用卡尔曼滤波算法融合多帧速度,得到车辆位置的变化速度;
判定变化速度是否小于阈值T3,如果是,则利用网络选择控制器将第一网络切换为第三网络;
根据网络选择控制器中的当前网络对当前帧的车辆进行定位;
将不同网络的定位结果与车辆运动状态结合,输出车辆位置和运动信息;
其中,第一网络采用N1定点数的卷积神经网络;
第二网络采用N1位定点数的前向传播与N2位浮点数的反向传播相结合的卷积神经网络;
第三网络采用低位宽整数的卷积神经网络;
N2的数值大小是N1的整数倍。
7.根据权利要求6所述的基于AR技术的停车管理方法,其特征在于:
采用网络选择控制器,记录当前网络的步骤包括:
采用网络选择控制器,在控制器内设置状态变量network_version,用于记录被调用的网络,初始值设为M1,表示第一网络;
获取时序图像输入,并根据场景和目标分析判断需要切换的网络;
根据判断结果,更新network_version的值,切换到目标网络;
network_version的取值为M1、M2和M3,分别代表第一网络、第二网络和第三网络。
8.根据权利要求6所述的基于AR技术的停车管理方法,其特征在于:
将第一网络切换为第二网络的步骤包括:
在低复杂度场景下,利用目标检测模型处理当前帧图像,输出包含车辆的目标检测结果;
获取当前帧和前一帧的目标检测结果中的车辆识别框坐标;
计算前一帧和当前帧中同一车辆坐标框的中心点位置距离差;
根据中心点位置距离差和两帧间的间隔,计算车辆的运动速度;
判断车辆的运动速度是否大于阈值T2,如果是则将network_version设为M2,将第一网络切换为第二网络。
9.根据权利要求6所述的基于AR技术的停车管理方法,其特征在于:
将第一网络切换为第三网络的步骤包括:
在未切换到第二网络的情况下,获得当前帧和前一帧车辆识别框中心坐标;
使用卡尔曼滤波算法融合多帧中心坐标,计算车辆位置的变化速度;
判断变化速度是否小于阈值T3,如果是则将network_version设为M3,将第一网络切换为第三网络。
10.一种基于AR技术的停车管理系统,包括:
场景信息获取模块,用于获取停车场的三维场景信息;
停车位检测模块,用于实施检测停车位的占用情况;
车辆定位模块,用于实时定位和跟踪场景中的车辆;
导航路径规划模块,用于根据车辆位置和停车位信息,规划停车导航路径;
交互显示模块,用于显示导航路径、车辆和停车位信息;
场景信息获取模块包含:
图像获取单元,获取停车场图像;
图像识别单元,对获取的图像进行语义分割,识别停车位空间信息;
编码单元,对识别的停车位空间信息进行编码;
深度获取单元,获取停车场的深度信息;
数据融合单元,将编码的停车位信息和深度信息进行融合,生成三维场景地图;
停车位检测模块包含:
目标检测单元,检测停车位的占用情况;
注册单元,将检测结果注册到三维场景地图中,以增强停车位的现实标注;
车辆定位模块包含:
多网络单元,包含不同网络以处理不同场景中的车辆定位;
网络选择单元,根据场景信息选择不同的网络进行车辆定位;
车辆定位单元,结合不同网络的车辆定位结果和车辆运动信息,获取车辆的精确定位。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311411196.9A CN117649779B (zh) | 2023-10-29 | 2023-10-29 | 一种基于ar技术的停车管理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311411196.9A CN117649779B (zh) | 2023-10-29 | 2023-10-29 | 一种基于ar技术的停车管理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117649779A true CN117649779A (zh) | 2024-03-05 |
CN117649779B CN117649779B (zh) | 2024-08-16 |
Family
ID=90044048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311411196.9A Active CN117649779B (zh) | 2023-10-29 | 2023-10-29 | 一种基于ar技术的停车管理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117649779B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118379902A (zh) * | 2024-06-21 | 2024-07-23 | 中电建物业管理有限公司 | 一种基于多目标智能识别的停车场管理方法及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109934119A (zh) * | 2019-02-19 | 2019-06-25 | 平安科技(深圳)有限公司 | 调整车辆行驶方向方法、装置、计算机设备及存储介质 |
CN110443279A (zh) * | 2019-07-04 | 2019-11-12 | 南京邮电大学 | 一种基于轻量级神经网络的无人机图像车辆检测方法 |
KR20210073425A (ko) * | 2019-12-10 | 2021-06-18 | 한국전자기술연구원 | 이미지 패치의 복잡도 측정 방법 |
WO2022021938A1 (zh) * | 2020-07-30 | 2022-02-03 | 华为技术有限公司 | 图像处理方法与装置、神经网络训练的方法与装置 |
CN114339677A (zh) * | 2021-12-15 | 2022-04-12 | 北京交通大学 | 车辆网络切换方法、装置、服务器及存储介质 |
CN114999203A (zh) * | 2022-06-01 | 2022-09-02 | 辽宁邮电规划设计院有限公司 | 一种基于5g和ar技术的停车场导航、寻车方法及装置、计算机设备 |
CN115273028A (zh) * | 2022-07-14 | 2022-11-01 | 清华大学 | 一种基于全域感知的智慧停车场语义地图构建方法及系统 |
CN116721563A (zh) * | 2023-06-28 | 2023-09-08 | 中国工商银行股份有限公司 | 基于虚拟视觉的泊车引导方法、装置、电子设备和介质 |
-
2023
- 2023-10-29 CN CN202311411196.9A patent/CN117649779B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109934119A (zh) * | 2019-02-19 | 2019-06-25 | 平安科技(深圳)有限公司 | 调整车辆行驶方向方法、装置、计算机设备及存储介质 |
CN110443279A (zh) * | 2019-07-04 | 2019-11-12 | 南京邮电大学 | 一种基于轻量级神经网络的无人机图像车辆检测方法 |
KR20210073425A (ko) * | 2019-12-10 | 2021-06-18 | 한국전자기술연구원 | 이미지 패치의 복잡도 측정 방법 |
WO2022021938A1 (zh) * | 2020-07-30 | 2022-02-03 | 华为技术有限公司 | 图像处理方法与装置、神经网络训练的方法与装置 |
CN114339677A (zh) * | 2021-12-15 | 2022-04-12 | 北京交通大学 | 车辆网络切换方法、装置、服务器及存储介质 |
CN114999203A (zh) * | 2022-06-01 | 2022-09-02 | 辽宁邮电规划设计院有限公司 | 一种基于5g和ar技术的停车场导航、寻车方法及装置、计算机设备 |
CN115273028A (zh) * | 2022-07-14 | 2022-11-01 | 清华大学 | 一种基于全域感知的智慧停车场语义地图构建方法及系统 |
CN116721563A (zh) * | 2023-06-28 | 2023-09-08 | 中国工商银行股份有限公司 | 基于虚拟视觉的泊车引导方法、装置、电子设备和介质 |
Non-Patent Citations (1)
Title |
---|
康啸辉: "基于无人机影像的车辆行人轻量化检测方法", 《第十七届全国信号和智能信息处理与应用学术会议》, 26 October 2023 (2023-10-26) * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118379902A (zh) * | 2024-06-21 | 2024-07-23 | 中电建物业管理有限公司 | 一种基于多目标智能识别的停车场管理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117649779B (zh) | 2024-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chen et al. | Suma++: Efficient lidar-based semantic slam | |
US10991156B2 (en) | Multi-modal data fusion for enhanced 3D perception for platforms | |
CN111797187B (zh) | 地图数据的更新方法、装置、电子设备和存储介质 | |
CN109492507B (zh) | 红绿灯状态的识别方法及装置、计算机设备及可读介质 | |
US11676303B2 (en) | Method and apparatus for improved location decisions based on surroundings | |
KR102472767B1 (ko) | 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치 | |
CN117649779B (zh) | 一种基于ar技术的停车管理方法及系统 | |
JP7273129B2 (ja) | 車線検出方法、装置、電子機器、記憶媒体及び車両 | |
CN111126209B (zh) | 车道线检测方法及相关设备 | |
CN114821507A (zh) | 一种用于自动驾驶的多传感器融合车路协同感知方法 | |
CN114067564A (zh) | 一种基于yolo的交通状况综合监测方法 | |
WO2023155580A1 (zh) | 一种对象识别方法和装置 | |
CN117422629B (zh) | 一种实例感知的单目语义场景补全方法、介质及设备 | |
CN113378605A (zh) | 多源信息融合方法及装置、电子设备和存储介质 | |
CN116129386A (zh) | 可行驶区域检测方法、系统及计算机可读介质 | |
CN114387576A (zh) | 一种车道线识别方法、系统、介质、设备及信息处理终端 | |
CN113409340A (zh) | 语义分割模型训练方法、语义分割方法、装置及电子设备 | |
CN116664851A (zh) | 一种基于人工智能的自动驾驶数据提取方法 | |
CN115019167B (zh) | 基于移动终端的融合定位方法、系统、设备及存储介质 | |
WO2023203814A1 (en) | System and method for motion prediction in autonomous driving | |
CN112184901B (zh) | 一种深度图确定方法及装置 | |
CN115375739A (zh) | 车道线生成方法、设备和介质 | |
CN114119973A (zh) | 一种基于图像语义分割网络的空间距离预测方法及系统 | |
CN115131762A (zh) | 一种车辆泊车方法、系统及计算机可读存储介质 | |
CN114926485B (zh) | 图像深度标注方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |