CN111241923A - 一种实时检测立体车库的方法和系统 - Google Patents
一种实时检测立体车库的方法和系统 Download PDFInfo
- Publication number
- CN111241923A CN111241923A CN201911386804.9A CN201911386804A CN111241923A CN 111241923 A CN111241923 A CN 111241923A CN 201911386804 A CN201911386804 A CN 201911386804A CN 111241923 A CN111241923 A CN 111241923A
- Authority
- CN
- China
- Prior art keywords
- detecting
- detection
- stereo garage
- coordinates
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000001514 detection method Methods 0.000 claims description 58
- 238000012549 training Methods 0.000 claims description 26
- 230000009466 transformation Effects 0.000 claims description 21
- 238000003860 storage Methods 0.000 claims description 14
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 12
- 238000011897 real-time detection Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000003062 neural network model Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims 3
- 239000000203 mixture Substances 0.000 claims 3
- 239000002994 raw material Substances 0.000 claims 3
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000012360 testing method Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 8
- 238000011161 development Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004088 simulation Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种实时检测立体车库的方法和系统,在一定程度上提升了立体车库识别精度,本发明利用摄像头对路面及其周围环境进行探测识别,检测划线车位角点、禁停标志、车辆和行人之后停止检测,再通过仿射变换对坐标进行转换,根据变换后的坐标计算轨迹。经过测试,该方法可以在立体车库宽度大于车身宽度10cm的情况下,保证车辆顺利停入。
Description
技术领域
本发明涉及立体车库检测技术领域,尤其涉及一种实时检测立体车库的方法和实时检测立体车库的系统。
背景技术
随着人类社会的不断进步和科学技术的发展,人类的生产、生活方式趋于集中,城市的规模越来越大,人们在城市里的生存空间却越来越小,于是出现了利用空间的理念,城市中开始建设立体建筑、立体交通和立体停车。作为现代大都市的标志,城市中心商住区高楼大厦林立,社区道路、高架交通干道、立交桥和地下铁路,编织出城市立体交通网,停车场也有了长足的发展,由平面停车向立体停车,由简单的机械车库向计算机管理高度自动化的现代立体停车演变,成为具有较强的实用性、观赏性和适合城市环境的建筑。伴随着汽车进入家庭,城市动态、静态交通管理制度的不断完善和人们对居住环境要求的提高,给停车产业提供了前所未有的发展机遇,停车产业市场前景广阔。
作为现代大都市的标志,立体建筑和立体交通都有了显著发展,道路拥挤、车满为患已成为当今快节奏社会中的最不和谐之音,发展立体停车已成为人们的共识。目前我国经济正处在高速发展时期,随着人们生活水平的不断提高,汽车进入家庭的步伐正在加快,停车产业市场前景广阔。立体车库既可以大面积使用,也可以见缝插针设置,还能与地面停车场、地下车库和停车楼组合实施,是解决城市停车难最有效的手段,也是停车产业发展的必由之路。立体车库与传统的自然地下车库相比,立体车库具有突出的节地优势,以往的地下车库由于要留出足够的行车通道,平均一辆车就要占据40平方米的面积,而如果采用双层立体车库,可使地面的使用率提高80%~90%,如果采用地上多层立体式车库,50平方米的土地面积上便可以存放40辆车,大大的节省有限土地资源,节省土建开发成本。
近年来,随着对立体车库大面积广泛使用,也暴露了一些缺点,进入立体车库时,司机要根据自己车辆的尺寸找车位,并且要与车位保持一个车身左右的垂直距离,还要看到拐角,注意车尾,有时还要多挪几次才能准确进入车位,因此,这是比较耗费时间的,且要求驾驶者驾驶技术较高经验丰富才能达到,所以需要一个能够提供便捷准确的方法解决这个难题。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在对立体车库停车难且耗费时间的问题,提出了本发明。
因此,本发明提供了一种实时检测立体车库的方法,能提升体力车库识别精度,快速准确的使驾驶人员将车停在车库内。
为解决上述技术问题,本发明提供如下技术方案:利用摄像头对路面及其周围环境进行探测识别;检测划线车位角点、禁停标志、车辆和行人;停止检测;利用仿射变换对坐标进行转换;根据变换后的坐标计算轨迹。
作为本发明所述的一种实时检测立体车库的方法的一种优选方案,其中:利用车辆前方单目摄像头持续探测路面划线车位特征;采用yolo3目标检测算法,检测划线车位4个角点的特征;检测到四个角点之后,再检测划线车位中有无禁停标志;最后检测划线车位中有无车轮。
作为本发明所述的一种实时检测立体车库的方法的一种优选方案,其中:当检测划线车位4个角点特征时,若检测结果为否,则继续进行该特征检测,直到检测到划线车位4个角点特征时再进行对禁停标志的检测;检测划线车位中有无禁停标志时,若检测结果为是,则继续进行该检测,直到检测到划线车位中无禁停标志时再进行对车轮的检测;最后检测划线车位中有无车轮时,若检测结果为是,则直接返回检测划线车位4个角点特征这一动作,对划线车位进行重新检测;若检测结果为否,则返回划线车位4个角点坐标;停止检测。
作为本发明所述的一种实时检测立体车库的方法的一种优选方案,其中:通过检测获得检测目标的坐标;对获取坐标进行保存;按照检测识别的顺序保存在vector变量中;利用仿射变换对坐标进行转换。
作为本发明所述的一种实时检测立体车库的方法的一种优选方案,其中:检测到目标后,对目标bbox中心点坐标进行计算;以point2f格式保存坐标值;按照图中顺序进行保存;将图像坐标进行仿射变换转换为相对车身的实际坐标。
作为本发明所述的一种实时检测立体车库的方法的一种优选方案,其中:利用车载前置摄像头采集立体车库视频数据;再将其转换成图片保存;对于每张采集的图片,生成同样尺寸的png图片,标注出其中立体车库四个角点位置、禁停标志和车轮位置;得到600张1920*1080分辨率的图片和同样张数的标注数据;设置训练参数,训练神经网络模型;
作为本发明所述的一种实时检测立体车库的方法的一种优选方案,其中:对特征图进行卷积操作,卷积核大小3*3,卷积核数量512,得到特征图64*64*512,该卷积操作重复3次;对64*64*512的特征图进行上采样,缩放因子为2,采样方式为bilinear,得到特征图大小为128*128*512;将特征图叠加在一起,叠加时前两维不变,最后一位通道数相加,得到特征图为128*128*768。
作为本发明所述的一种实时检测立体车库的方法的一种优选方案,其中:输入图片为前方摄像头采集到的原始图片,分辨率1920*1080,通道数3个(r、g、b),输入神经网络预处理单元;对输入的图片进行resize处理,调整后的图像分辨率为512*512,通道数不变;对图片进行卷积操作,卷积核大小3*3,卷积核数量64,卷积方式为“same”,卷积后原图像尺寸不变,通道数变为64;对512*512*64的特征图像进行Relu激活操作,再进行步长为2的maxpooling,pooling后得到的特征图尺寸减半,通道数不变。
作为本发明所述的一种实时检测立体车库的方法的一种优选方案,其中:检测模块:通过所述车载摄像头进行目标位置的检测识别,并且能通过摄像头拍摄视频转化为图片信息进行保存,可以实时提供有效特征图片信息;计算模块:对于检测到的特征图片进行中心坐标计算,得到有效的目标坐标信息,利用仿射变换对目标坐标进行相对车身实际坐标的转换;训练模块:通过采集特征图片,制作标注数据,建立有效的训练模型,激活该系统实时有效准确的检测计算。
本发明的有益效果:本发明提供了一种实时检测立体车库的方法,利用摄像头检测划线车位目标位置特征计算坐标且保存,通过训练模型计算轨迹,得到准确有效的坐标,提升了立体车库的识别精度。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。其中:
图1为本发明一种实时检测立体车库的方法的车位检测示意图;
图2为本发明一种实时检测立体车库的方法的整体流程示意图;
图3为本发明一种实时检测立体车库的方法的特征提取示意图;
图4为本发明一种实时检测立体车库的方法的位置检测示意图;
图5为本发明一种实时检测立体车库的系统的结构示意图;
图6为本发明所述轨迹规划的仿真效果示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合说明书附图对本发明的具体实施方式做详细的说明,显然所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
其次,此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例,也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述,在详述本发明实施例时,为便于说明,表示器件结构的剖面图会不依一般比例作局部放大,而且所述示意图只是示例,其在此不应限制本发明保护的范围。此外,在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中,需要说明的是,术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一、第二或第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定,术语“安装、相连、连接”应做广义理解,例如:可以是固定连接、可拆卸连接或一体式连接;同样可以是机械连接、电连接或直接连接,也可以通过中间媒介间接相连,也可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1~2,为本发明的第一个实施例,提供了一种实时检测立体车库的方法包括,利用摄像头对路面及其周围环境进行探测识别;检测划线车位角点、禁停标志、车辆和行人;停止检测;利用仿射变换对坐标进行转换;根据变换后的坐标计算轨迹。本发明方法利用yolo3目标检测算法进行检测,其可将物体检测作为regression问题处理,使用一个神经网络,直接从一整张图像来预测出boundingbox的坐标、box中包含物体的置信度和物体的probabilities。
具体的,参照图1,一种实时检测立体车库的方法,包括,
S1:利用摄像头对路面及其周围环境进行探测识别。其中需要说明的是,
利用车辆前方单目摄像头持续探测路面划线车位特征;
S2:检测划线车位角点、禁停标志、车辆和行人。本步骤还需要说明的是,检测包括如下步骤:
采用yolo3目标检测算法,检测划线车位4个角点的特征;
检测到四个角点之后,再检测划线车位中有无禁停标志;
最后检测划线车位中有无车轮。
进一步的,检测还具体包括如下步骤:
当检测划线车位4个角点特征时,若检测结果为否,则继续进行该特征检测,直到检测到划线车位4个角点特征时再进行对禁停标志的检测;
检测划线车位中有无禁停标志时,若检测结果为是,则继续进行该检测,直到检测到划线车位中无禁停标志时再进行对车轮的检测;
最后检测划线车位中有无车轮时,若检测结果为是,则直接返回检测划线车位4个角点特征这一动作,对划线车位进行重新检测;若检测结果为否,则返回划线车位4个角点坐标;
S3:停止检测;
S4:利用仿射变换对坐标进行转换。本步骤还需要说明的是,坐标转换包括如下步骤:
检测到目标后,对目标bbox中心点坐标进行计算;
以point2f格式保存坐标值;
按照图中顺序进行保存;
将图像坐标进行仿射变换转换为相对车身的实际坐标。
S5:根据变换后的坐标计算轨迹。本步骤需要说明的是,计算轨迹需获取训练模型,方法步骤如下:
利用车载前置摄像头采集立体车库视频数据;
再将其转换成图片保存;
对于每张采集的图片,生成同样尺寸的png图片,标注出其中立体车库四个角点位置、禁停标志和车轮位置;
得到600张1920*1080分辨率的图片和同样张数的标注数据;
设置训练参数,训练神经网络模型;
较佳的,参照图3和图4,一种实时检测立体车库的方法还具体包括对划线车位部分检测和特征部分提取,其中,需要说明的是,
划线车位部分检测步骤如下:
对特征图进行卷积操作,卷积核大小3*3,卷积核数量512,得到特征图64*64*512,该卷积操作重复3次;
对64*64*512的特征图进行上采样,缩放因子为2,采样方式为bilinear,得到特征图大小为128*128*512;
将特征图叠加在一起,叠加时前两维不变,最后一位通道数相加,得到特征图为128*128*768。
特征部分提取步骤如下:
输入图片为前方摄像头采集到的原始图片,分辨率1920*1080,通道数3个(r、g、b),输入神经网络预处理单元;
对输入的图片进行resize处理,调整后的图像分辨率为512*512,通道数不变;
对图片进行卷积操作,卷积核大小3*3,卷积核数量64,卷积方式为“same”,卷积后原图像尺寸不变,通道数变为64;
对512*512*64的特征图像进行Relu激活操作,再进行步长为2的maxpooling,pooling后得到的特征图尺寸减半,通道数不变。
实施例2
为便于本领域技术人员更好的去理解,本实施例中对一种实时检测立体车库的方法结合实际应用进行详细说明。具体的,该方法实际应用中包括立体车库定位和倒车入库,其中立体车库定位包括车位检测、禁停标志检测、车轮检测以及坐标变换。参照图1的示意,首先对立体车库定位的过程分别进行详细说明。
1、车位检测。
1)车辆右前方单目摄像头持续探测路面划线车位特征;
2)采用yolo3目标检测算法,检测划线车位4个角点的特征;
3)成功检测到4个角点后,计算角点bbox的中心点坐标,以point2f格式保存角点坐标值,按照图中顺序保存在vector变量中。
2、禁停标志检测。
1)采用yolo3目标检测算法,检测划线车位中有无禁停标志。(此与1-1)检测为同一个模型);
2)如果检测到禁停标志,计算禁停标志bbox的底部中心点坐标,以point2f格式保存在vector变量中。
3、车轮检测。
1)采用yolo3目标检测算法,检测划线车位中有无车轮。
2)如果检测到车轮,计算车轮bbox的底部中心点坐标,以point2f格式保存在vector变量中。
4.坐标变换。
1)将图像坐标进行仿射变换转换为相对车身的实际坐标。
更加详细的,上述立体车库检测在具体实现中包括特征提取部分、位置检测部分、采集标注训练数据和训练神经网络模型,将上述细节结合实际应用进行详细说明。
1、特征提取部分。
1)输入图片为车前方摄像头采集到的原始图片,分辨率1920x1080,通道数为3个:(r、g、b),输入神经网络预处理单元;
2)对输入的图片进行resize处理,调整后的图像分辨率为512x512,通道数不变;
3)对图片进行卷积操作,卷积核大小3x3,卷积核数量64,卷积方式为“same”(tensowflow实现),卷积后原图像尺寸不变,通道数变为64。重复进行该卷积操作3次,得到featuremap大小512x512x64;
4)对512x512x64的特征图进行Relu激活操作,再进行步长为2的maxpooling,pooling后得到的特征图尺寸减半,通道数不变。
2、位置检测部分。
1)对特征图进行卷积操作,卷积核大小3x3,卷积核数量512,得到特征图64x64x512,该卷积操作重复3次;
2)对64x64x512的特征图进行上采样,缩放因子为2,采样方式为bilinear,得到特征图大小为128x128x512;
3)将特征图叠加在一起,叠加时前两维不变,最后一位(通道数)相加,得到特征图为128x128x768。
3、采集标注训练数据。
1)用车载前置摄像头采集立体车库视频数据,转成图片保存;
2)制作标注数据。对于每张采集的图片,生成同样尺寸的png图片,标注出其中立体车库四个角点位置,以及禁停标志、车轮位置;
3)标注完成后,得到600张1920x1080分辨率的图片,和同样张数的标注数据。
4、训练神经网络模型。
训练参数设置;
训练轮次Epoch:300;
每轮训练次数Step:500;
学习率:0.0001;
动量因子:0.9;
损失函数Loss Function:BCE(BinaryCrossEntrophy);
批大小Batch Size:1;
在2080显卡上整个训练过程耗30小时。
网络训练完成后输入实时检测参数,计算并生成轨迹,车辆根据生成轨迹驶入已检测的车库。进一步的,参照图2的示意,本实施例还对实际应用的倒车入库过程进行详细说明,如下。
1、车辆右前方单目摄像头持续探测路面划线车位特征。
1)采用yolo3目标检测算法,检测划线车位4个角点的特征;
2)成功检测到4个角点后,计算角点bbox的中心点坐标,以point2f格式保存角点坐标值,按照图中顺序保存在保存在vector变量中;
3)返回角点坐标vector。
2、坐标变换。
1)将图像坐标进行仿射变换转换为相对车身的实际坐标。经测试,本实施例中方法在实际应用中可以在立体车库宽度大于车身宽度10cm的情况下,保证车辆顺利停入。
对本方法中产生的技术效果加以验证说明,本实施例选择的不同检测方法来通过最终的轨迹规划进行对比测试,以科学论证的手段对比试验结果,以验证本方法所具有的真实效果。
为验证本方法相对传统方法具有较高的检测精度,通过轨迹规划来体现。本实施例传统的技术方案采用两种基于传统视觉识别方法(包括车辆角度视觉角度来检测车道线,市面上已有的基于传统VC的方法)来检测车位和生成轨迹,将仿真车辆运行在仿真平台模拟行驶并模拟,利用MATLB软件编程进行仿真,分别对车位进行检测,共仿真3次,最终得到仿真轨迹规划效果图如图6的示意,其中理想轨迹为本实施例提出的检测方法,可知本实施例对于车位的检测更加精准。
实施例3
参照图3和图4,为本发明的第二个实施例,该实施例不同于第一个实施例的是提供了一种实时检测立体车库的系统,其中包括,检测模块100:通过所述车载摄像头进行目标位置的检测识别,并且能通过摄像头拍摄视频转化为图片信息进行保存,可以实时提供有效特征图片信息;计算模块200:对于检测到的特征图片进行中心坐标计算,得到有效的目标坐标信息,利用仿射变换对目标坐标进行相对车身实际坐标的转换;训练模块300:通过采集特征图片,制作标注数据,建立有效的训练模型,激活该系统实时有效准确的检测计算。
具体的,参照图5,检测模块100包括输入单元101和输出单元102,其中输入单元101中的摄像头101a录入探测到的画面并将其转换成图片形式,通过输出单元102中的显示屏102a投放摄像头101a所捕捉到的画面,便于驾驶人员实时观察周边信息;计算模块200包括运算单元201和存储单元202,当摄像头101a将捕捉到的图片画面输入到存储单元202中的存储器202a时,运算单元201中的运算器201a会计算所捕捉画面中位置特征的中心坐标,并随着该图片信息一起保存到存储器202内;训练模块300包括训练单元301和控制单元302,在存储器202a内输入标注数据,训练单元301内的训练模型301a会针对该数据进行训练,利用运算器201a进行运算处理,使得该模型可以快速准确的在控制单元302内的控制器302a中协调指令。
进一步的,当前期准备工作完成后,就可以进行倒车入库操作,此时,摄像头101a会实时拍摄车尾画面以便于检测车库位置信息,运算器201a也会随着捕捉画面中的车库四角点特征进行中心坐标运算,并保存在vector变量中,运算器201a将图像坐标转换成相对车身实际坐标,控制器302a实时协调指令,显示屏102a会显示实时画面以便有效的帮助驾驶人员判断位置信息。
应当认识到,本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现,其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而,若需要,该程序可以以汇编或机器语言实现。在任何情况下,该语言可以是编译或解释的语言。此外,为此目的该程序能够在编程的专用集成电路上运行。
此外,可按任何合适的顺序来执行本文描述的过程的操作,除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行,并且可作为共同地在一个或多个处理器上执行的代码(例如,可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步,所述方法可以在可操作地连接至合适的任何类型的计算平台中实现,包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现,无论是可移动的还是集成至计算平台,如硬盘、光学读取和/或写入存储介质、RAM、ROM等,使得其可由可编程计算机读取,当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外,机器可读代码,或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时,本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时,本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能,从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中,转换的数据表示物理和有形的对象,包括显示器上产生的物理和有形对象的特定视觉描绘。
如在本申请所使用的,术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体,该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如,组件可以是,但不限于是:在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例,在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中,并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外,这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如,来自一个组件的数据,该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号,以本地和/或远程过程的方式进行通信。
应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种实时检测立体车库的方法,其特征在于:包括,
利用摄像模块(100)实时采集当前车辆周围的环境图像;
所述环境图像输入检测模块(200)中检测路面划线车位的角点特征;
若成功检测到4个所述角点特征且未检测到禁停标志、车辆或者行人,则将当前帧所述环境图像输入处理模块(300)获取角点的像素坐标值;
坐标变换模块(400)将所述像素坐标值变换为相对于车身的实际坐标;
所述实际坐标输入轨迹规划模块(500)中生成轨迹;
车辆根据所述轨迹驶入车库。
2.如权利要求1所述的实时检测立体车库的方法,其特征在于:包括,
利用摄像头模块(100)实时采集当前车辆周围的环境图像;
所述环境图像输入检测模块(200)中检测路面划线车位的角点特征;
若成功检测到4个所述角点特征并检测到禁停标志、车辆或者行人,则将当前帧所述环境图像输入处理模块(300)获取角点的像素坐标值和禁停标志、车辆或者行人的像素坐标值;
坐标变换模块(400)将所述像素坐标值变换为相对于车身的实际坐标;
所述实际坐标输入轨迹规划模块(500)中生成轨迹;
车辆根据所述轨迹驶入车库。
3.如权利要求1或2所述的实时检测立体车库的方法,其特征在于:所述摄像模块(100)检测包括,
利用车辆右前方单目摄像头持续探测路面划线车位特征;
采用yolo3目标检测算法,检测划线车位4个角点的特征;
检测到四个角点之后,再检测划线车位中有无禁停标志;
最后检测划线车位中有无车轮。
4.如权利要求3所述的实时检测立体车库的方法,其特征在于:所述检测包括,
当检测划线车位4个角点特征时,若检测结果为否,则继续进行该特征检测,直到检测到划线车位4个角点特征时再进行对禁停标志的检测;
检测划线车位中有无禁停标志时,若检测结果为是,则继续进行该检测,直到检测到划线车位中无禁停标志时再进行对车轮的检测;
最后检测划线车位中有无车轮时,若检测结果为是,则直接返回检测划线车位4个角点特征这一动作,对划线车位进行重新检测;若检测结果为否,则返回划线车位4个角点坐标;
停止检测。
5.如权利要求4所述的实时检测立体车库的方法,其特征在于:所述坐标变换模块(400)包括,
通过检测获得检测目标的坐标;
对获取坐标进行保存;
按照检测识别的顺序保存在vector变量中;
利用仿射变换对坐标进行转换。
6.如权利要求4或5所述的实时检测立体车库的方法,其特征在于:所述坐标转换包括,
检测到目标后,对目标bbox中心点坐标进行计算,所述bbox为角点的外框;
以point2f格式保存坐标值;
按照图中顺序进行保存;
将图像坐标进行仿射变换转换为相对车身的实际坐标。
7.如权利要求6所述的实时检测立体车库的方法,其特征在于:所述轨迹规划模块(500)采用神经网络模型,包括训练部署的步骤,
利用车载前置摄像头采集立体车库视频数据;
再将其转换成图片保存;
对于每张采集的图片,生成同样尺寸的png图片,标注出其中立体车库四个角点位置、禁停标志和车轮位置;
得到600张1920*1080分辨率的图片和同样张数的标注数据;
设置训练参数,训练神经网络模型后部署使用;
获取位置标出输入所述神经网络模型输出规划的轨迹。
8.如权利要求7所述的实时检测立体车库的方法,其特征在于:所述划线车位的部分检测包括,
对特征图进行卷积操作,卷积核大小3*3,卷积核数量512,得到特征图64*64*512,该卷积操作重复3次;
对64*64*512的特征图进行上采样,缩放因子为2,采样方式为bilinear,得到特征图大小为128*128*512;
将特征图叠加在一起,叠加时前两维不变,最后一位通道数相加,得到特征图为128*128*768。
9.如权利要求8所述的实时检测立体车库的方法,其特征在于:所述特征图的部分提取包括,
输入图片为前方摄像头采集到的原始图片,分辨率1920*1080,通道数3个(r、g、b),输入神经网络预处理单元;
对输入的图片进行resize处理,调整后的图像分辨率为512*512,通道数不变;
对图片进行卷积操作,卷积核大小3*3,卷积核数量64,卷积方式为“same”,卷积后原图像尺寸不变,通道数变为64;
对512*512*64的特征图像进行Relu激活操作,再进行步长为2的maxpooling,pooling后得到的特征图尺寸减半,通道数不变。
10.一种实时检测立体车库的系统,其特征在于:包括,
摄像头模块(100),用于实时采集当前车辆周围的环境图像;
检测模块(200),用于接收所述环境图像并检测路面划线车位的角点特征或禁停标志、车辆和行人的特征;
处理模块(300),用于获取角点、禁停标志、车辆和行人的像素坐标值;
坐标变换模块(400),用于将所述像素坐标值变换为相对于车身的实际坐标;
轨迹规划模块(500),用于根据所述中实际坐标生成轨迹。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911386804.9A CN111241923B (zh) | 2019-12-29 | 2019-12-29 | 一种实时检测立体车库的方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911386804.9A CN111241923B (zh) | 2019-12-29 | 2019-12-29 | 一种实时检测立体车库的方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111241923A true CN111241923A (zh) | 2020-06-05 |
CN111241923B CN111241923B (zh) | 2024-04-09 |
Family
ID=70874078
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911386804.9A Active CN111241923B (zh) | 2019-12-29 | 2019-12-29 | 一种实时检测立体车库的方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111241923B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113392662A (zh) * | 2021-05-24 | 2021-09-14 | 北京京东乾石科技有限公司 | 车辆位置信息展示方法、装置、电子设备和可读介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101573257A (zh) * | 2006-12-28 | 2009-11-04 | 株式会社丰田自动织机 | 停车辅助装置、停车辅助装置部件、停车辅助方法、停车辅助程序、行车参数的计算方法和计算程序、行车参数计算装置以及行车参数计算装置部件 |
CN109712427A (zh) * | 2019-01-03 | 2019-05-03 | 广州小鹏汽车科技有限公司 | 一种车位检测方法及装置 |
CN110415555A (zh) * | 2019-08-30 | 2019-11-05 | 的卢技术有限公司 | 一种基于深度学习的有效划线车位识别方法和系统 |
-
2019
- 2019-12-29 CN CN201911386804.9A patent/CN111241923B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101573257A (zh) * | 2006-12-28 | 2009-11-04 | 株式会社丰田自动织机 | 停车辅助装置、停车辅助装置部件、停车辅助方法、停车辅助程序、行车参数的计算方法和计算程序、行车参数计算装置以及行车参数计算装置部件 |
CN109712427A (zh) * | 2019-01-03 | 2019-05-03 | 广州小鹏汽车科技有限公司 | 一种车位检测方法及装置 |
CN110415555A (zh) * | 2019-08-30 | 2019-11-05 | 的卢技术有限公司 | 一种基于深度学习的有效划线车位识别方法和系统 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113392662A (zh) * | 2021-05-24 | 2021-09-14 | 北京京东乾石科技有限公司 | 车辆位置信息展示方法、装置、电子设备和可读介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111241923B (zh) | 2024-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108959321B (zh) | 停车场地图构建方法、系统、移动终端及存储介质 | |
CN107341453B (zh) | 一种车道线提取方法及装置 | |
CN107967473B (zh) | 基于图文识别和语义的机器人自主定位和导航 | |
CN110163064B (zh) | 一种道路标志物的识别方法、装置及存储介质 | |
EP2208021B1 (en) | Method of and arrangement for mapping range sensor data on image sensor data | |
CN111402414B (zh) | 一种点云地图构建方法、装置、设备和存储介质 | |
CN109993780A (zh) | 一种三维高精度地图生成方法及装置 | |
CN109961522B (zh) | 图像投射方法、装置、设备和存储介质 | |
CN110758243A (zh) | 一种车辆行驶过程中的周围环境显示方法和系统 | |
KR20180041176A (ko) | 고정밀 지도 데이터 처리 방법, 장치, 저장 매체 및 기기 | |
CN111325788B (zh) | 一种基于街景图片的建筑物高度确定方法 | |
KR102518257B1 (ko) | 차량 위치 결정 방법 및 시스템 | |
JPWO2007083494A1 (ja) | 図形認識装置、図形認識方法および図形認識プログラム | |
CN114494618B (zh) | 地图的生成方法、装置、电子设备及存储介质 | |
Zhao et al. | Autonomous driving simulation for unmanned vehicles | |
CN111400423B (zh) | 基于多视图几何的智慧城市cim三维车辆位姿建模系统 | |
CN114295139A (zh) | 一种协同感知定位方法及系统 | |
CN115292913A (zh) | 一种面向车路协同的路测感知仿真系统 | |
WO2020199057A1 (zh) | 一种自动驾驶模拟系统、方法、设备及存储介质 | |
Tarko et al. | Tscan: Stationary lidar for traffic and safety studies—object detection and tracking | |
Tao et al. | Automatic reconstruction of road centerlines from mobile mapping image sequences | |
CN111241923B (zh) | 一种实时检测立体车库的方法和系统 | |
CN112304305A (zh) | 一种结合marker图像的车辆初始定位方法及系统 | |
CN112818866B (zh) | 车辆定位的方法、装置及电子设备 | |
Yuan et al. | 3D traffic scenes construction and simulation based on scene stages |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 11th Floor, Building A1, Huizhi Science and Technology Park, No. 8 Hengtai Road, Nanjing Economic and Technological Development Zone, Jiangsu Province, 211000 Applicant after: DILU TECHNOLOGY Co.,Ltd. Address before: Building C4, No.55 Liyuan South Road, moling street, Nanjing, Jiangsu Province Applicant before: DILU TECHNOLOGY Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |