CN110861639B - 泊车信息融合方法、装置、电子设备及存储介质 - Google Patents
泊车信息融合方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110861639B CN110861639B CN201911216940.3A CN201911216940A CN110861639B CN 110861639 B CN110861639 B CN 110861639B CN 201911216940 A CN201911216940 A CN 201911216940A CN 110861639 B CN110861639 B CN 110861639B
- Authority
- CN
- China
- Prior art keywords
- parking space
- parking
- vehicle
- image
- grid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims description 31
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000010276 construction Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000004888 barrier function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241001584785 Anavitrinella pampinaria Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及泊车车位识别技术领域，尤其涉及一种泊车信息融合方法、装置、电子设备及存储介质。所述方法包括：根据车位图像获取车位四角的车位角点坐标；构建栅格图，并将车辆位置和车位角点坐标、障碍物投射到栅格图中；检测栅格图中的车头坐标和车位角点坐标；按照预设更新条件对栅格图进行更新；在车头坐标和车位角点坐标的纵坐标相同时，判断栅格图中车位角点坐标对应的坐标范围内是否存在障碍物；在坐标范围内不存在障碍物时，为车辆规划无碰撞泊车路径，以辅助车辆泊车。将摄像头和超声波探测器采集的信息进行信息融合，实现了车辆自主泊车，为泊车路径规划提供了极大的便利性。
Description
技术领域
本发明涉及泊车车位识别技术领域，尤其涉及一种泊车信息融合方法、装置、电子设备及存储介质。
背景技术
当前自主泊车系统中，第一步是先要识别和寻找到泊车位，在该步骤中主要通过超声波和摄像头来识别可应用泊车位。超声波在车位寻找过程中的主要作用是在无车位线的情况下，通过判断隔壁两车之间的间距大小来判断是否是可用泊车位，以及泊车位内是否有障碍物。摄像头主要是用于有车位线的情况下，识别出车位的大小和与自车的相对位置。两类传感器如何融合起来同步协调工作是一个难题。
发明内容
本发明的主要目的在于提供一种泊车信息融合方法、装置、电子设备及存储介质，旨在实现将图像和超声波传感器信息融合而进行准确泊车。
为实现上述目的，本发明提供了一种泊车信息融合方法，所述方法包括：
根据车位图像获取车位四角的车位角点坐标；
建立车辆行驶方向为纵向，垂直所述行驶方向为横向的坐标系，根据所述坐标系构建栅格图，并将车辆位置和所述车位角点坐标投射到所述栅格图中；
检测栅格图中的车头坐标和车位角点坐标，检测车辆周围的预设范围内的障碍物，并将所述障碍物投射到所述栅格图中；
按照预设更新条件对所述栅格图进行更新；
在所述车头坐标和所述车位角点坐标的纵坐标相同时，判断所述栅格图中所述车位角点坐标对应的坐标范围内是否存在障碍物；
在所述坐标范围内不存在障碍物时，为所述车辆规划无碰撞泊车路径，以辅助所述车辆泊车。
优选地，所述根据车位检测图像获取车位四角的车位角点坐标的步骤之前，所述方法还包括：
通过车载摄像头获取所述车位图像；
对所述车位图像进行优化，输出车位检测图像。
优选地，所述对所述车位图像进行优化，输出车位检测图像的步骤，具体包括：
对所述车位图像畸变进行矫正；
根据预设转换条件对矫正后的所述车位图像进行俯视图转换；
根据车位识别条件对所述转换后的车位图像进行车位识别，识别出车位检测图像并输出。
优选地，所述建立车辆行驶方向为纵向，垂直所述行驶方向为横向的坐标系，根据所述坐标系构建栅格图，并将车辆位置和所述车位角点坐标投射到所述栅格图中的步骤，具体包括：
建立车辆行驶方向为纵向，垂直所述行驶方向为横向的坐标系，根据预设栅格数、预设栅格尺寸及所述坐标系构建栅格图，所述栅格图对应现实中车辆周围的预设范围；
将车辆位置和所述车位角点坐标投射到所述栅格图中；
将存在物体占用的栅格设置为占用栅格；所述车位角点坐标不为占用栅格。
优选地，所述按照预设更新条件对所述栅格图进行更新的步骤，具体包括：
通过轮速计获取所述车辆前进的距离；
在所述车辆每前进一个预设栅格尺寸的距离时，依次将上一行栅格中的数据写入下一行，并删除所述栅格图中最后一行的上一帧数据；
将检测到的所述障碍物、所述车辆位置及所述车位角点坐标，对应投射到最前一行中。
优选地，所述将检测到的所述障碍物、所述车辆位置及所述车位角点坐标，对应投射到最前一行中的步骤之后，所述方法还包括：
更新所述障碍物、所述车辆位置及所述车位角点坐标在所述栅格图中的坐标。
优选地，所述在所述坐标范围内不存在障碍物时，为所述车辆规划无碰撞泊车路径，以辅助所述车辆泊车的步骤具体包括：
在所述坐标范围内不存在障碍物时，根据预设范围内的障碍物的坐标信息为所述车辆规划无碰撞泊车路径，以辅助所述车辆泊车。
此外，本发明为实现上述目的，还提出一种泊车信息融合装置，所述装置包括：图像获取模块、栅格构建模块、车位检测模块、栅格更新模块及路径规划模块，其中；
所述图像获取模块，用于根据车位图像获取车位四角的车位角点坐标；
所述栅格构建模块，用于建立车辆行驶方向为纵向，垂直所述行驶方向为横向的坐标系，根据所述坐标系构建栅格图，并将车辆位置和所述车位角点坐标投射到所述栅格图中；
所述栅格构建模块，还用于检测栅格图中的车头坐标和车位角点坐标，检测车辆周围的预设范围内的障碍物，并将所述障碍物投射到所述栅格图中；
所述栅格更新模块，用于按照预设更新条件对所述栅格图进行更新；
所述车位检测模块，用于在所述车头坐标和所述车位角点坐标的纵坐标相同时，判断所述栅格图中所述车位角点坐标对应的坐标范围内是否存在障碍物；
所述路径规划模块，用于在所述坐标范围内不存在障碍物时，为所述车辆规划无碰撞泊车路径，以辅助所述车辆泊车。
此外，本发明为实现上述目的，还提出一种电子设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的泊车信息融合程序，所述泊车信息融合程序配置为实现如上所述的泊车信息融合方法的步骤。
此外，本发明为实现上述目的，还提出一种存储介质，所述存储介质上存储有泊车信息融合程序，所述泊车信息融合程序被处理器执行时实现如上所述的泊车信息融合方法的步骤。
本发明通过根据车位图像获取车位四角的车位角点坐标；建立车辆行驶方向为纵向，垂直所述行驶方向为横向的坐标系，根据所述坐标系构建栅格图，并将车辆位置和所述车位角点坐标投射到所述栅格图中；检测栅格图中的车头坐标和车位角点坐标，检测车辆周围的预设范围内的障碍物，并将所述障碍物投射到所述栅格图中；按照预设更新条件对所述栅格图进行更新；在所述车头坐标和所述车位角点坐标的纵坐标相同时，判断所述栅格图中所述车位角点坐标对应的坐标范围内是否存在障碍物；在所述坐标范围内不存在障碍物时，为所述车辆规划无碰撞泊车路径，以辅助所述车辆泊车。将摄像头和超声波探测器采集的信息进行信息融合，实现了车辆自主泊车，在传感器检测范围之外依然可知车辆周围近距障碍物的坐标位置，为判断泊车位是否可利用，以及泊车路径规划提供了极大的便利性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例方案涉及的硬件运行环境的电子设备结构示意图；
图2为本发明泊车信息融合方法第一实施例的流程示意图；
图3为本发明泊车信息融合方法第二实施例的流程示意图；
图4为本发明泊车信息融合方法第二实施例的车位角示意图；
图5为本发明泊车信息融合方法第二实施例的栅格图示意图；
图6为本发明泊车信息融合方法第二实施例的栅格图更新示意图；
图7为本发明泊车信息融合装置第一实施例的功能模块图。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当人认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的电子设备结构示意图。
如图1所示，该电子设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(Random Access Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及泊车信息融合程序。
在图1所示的电子设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明电子设备中的处理器1001、存储器1005可以设置在电子设备中，所述电子设备通过处理器1001调用存储器1005中存储的泊车信息融合程序，并执行本发明实施例提供的泊车信息融合方法。
本发明实施例提供了一种泊车信息融合方法，参照图2，图2为本发明一种泊车信息融合方法第一实施例的流程示意图。所述方法包括：
步骤S100：根据车位图像获取车位四角的车位角点坐标；
需要说明的是，本方法实施例的目的是使超声波探测器和车载摄像头的获取到的信息，进行信息融合，并根据所述融合后的信息进行泊车。所述获取车位四角的车位角点坐标的过程，通过所述车载摄像头完成。所述车载摄像头可以为360度环视摄像头。
步骤S200：建立车辆行驶方向为纵向，垂直所述行驶方向为横向的坐标系，根据所述坐标系构建栅格图，并将车辆位置和所述车位角点坐标投射到所述栅格图中；
需要说明的是，以本车辆为坐标系的基础构建坐标系有利于以本车辆为基础进行栅格图的更新。在更新过程中，由于围绕本车辆进行更新，由本车辆占据的区域可以保持不变，节省了更新的工作量。另一方面，通过栅格图反应车位信息、车辆位置信息、障碍物信息，实现了摄像头及超声波探测器的信息融合。
应当理解的是，所述车辆位置由所述超声波探测器获取。
步骤S300：检测栅格图中的车头坐标和车位角点坐标，检测车辆周围的预设范围内的障碍物，并将所述障碍物投射到所述栅格图中；
易于理解的是，在构建所述栅格图后，可以将所述摄像头采集到的车位角坐标和所述超声波探测器采集到的车辆周围的障碍物都投射到所述栅格图中。应当理解的是，车位线为地面标记，通常无法作为可识别的障碍物，超声波探测器难以探测；障碍物可以被摄像头拍摄，但摄像头生成的图像为平面图像，无法很好地确认障碍物距离，通过所述栅格图，可以通过坐标方式对两种装置采集的信息融合。
步骤S400：按照预设更新条件对所述栅格图进行更新；
应当理解的是，所述预设更新条件包括，随车辆的前进而更新栅格图。栅格图的每个格子对应现实中一段预设距离，在所述车辆前进一个预设距离时，所述栅格图随之更新一行栅格。基于本车辆建立坐标，本车辆始终为所述栅格图中的固定位置，并占用所述固定位置，本车辆区域无需更新，减轻了栅格图更新的工作。
易于理解的是，由于所述栅格图的更新和存储作用，所述栅格图实际对应的现实范围可以大于所述摄像头和所述超声波探测器对应的检测范围，在所述车辆不断行驶的过程中，构建出车辆周围一片区域的栅格图，显示车辆周围对应的障碍物和无障碍物路段。
步骤S500：在所述车头坐标和所述车位角点坐标的纵坐标相同时，判断所述栅格图中所述车位角点坐标对应的坐标范围内是否存在障碍物；
应当理解的是，在所述车头坐标和所述车位角点坐标的纵坐标相同时，说明所述车辆的车头和所述车位的一边平行，具体地，可以理解为所述车辆达到这个位置时，若车位内没有障碍物可以准备泊车。车位角点坐标对应的坐标范围为四个车位角和所述车位角两两相邻连线围成的车位区域，检测所述车位区域是否存在障碍物。所述障碍物可以为车辆、车档、路障等。
步骤S600：在所述坐标范围内不存在障碍物时，为所述车辆规划无碰撞泊车路径，以辅助所述车辆泊车。
需要说明的是，在所述坐标范围内不存在障碍物时，根据预设范围内的障碍物的坐标信息为所述车辆规划无碰撞泊车路径，以辅助所述车辆泊车。除车位范围内，所述车辆行驶的道路上可能还会存在其他障碍物，因此为所述车辆规划一条无障碍物道路，减轻司机驾驶难度，提升车辆行驶安全。
本发明方法通过上述方法，将摄像头和超声波探测器采集的信息进行信息融合，实现了车辆自主泊车，在传感器检测范围之外依然可知车辆周围近距障碍物的坐标位置，为判断泊车位是否可利用，以及泊车路径规划提供了极大的便利性。
基于本发明泊车信息融合方法第一实施例提出本发明泊车信息融合方法第二实施例，参考图3，图3为本发明泊车信息融合方法第二实施例的流程示意图。
图4为本发明泊车信息融合方法第二实施例的车位角示意图；
步骤S100之前，所述方法还包括：
步骤S101：通过车载摄像头获取所述车位图像；
步骤S102：对所述车位图像进行优化，输出车位检测图像。
易于理解的是，车位由于是地面标识而非障碍物，需要由摄像头进行拍摄，拍摄后的照片需要进行图像处理以获取准确的车位角。
需要说明的是，所述步骤S102具体步骤为：对所述车位图像畸变进行矫正；根据预设转换条件对矫正后的所述车位图像进行俯视图转换；根据车位识别条件对所述转换后的车位图像进行车位识别，识别出车位检测图像并输出。
应当理解的是，鱼眼摄像头所拍摄的图像是有严重的畸变的，包括径向畸变与切向畸变，这种图像直接用来处理是不准确的，因此需要进行畸变矫正，在此基于张正友标定方法来进行畸变矫正。其主要流程包括以下几步：1、拍摄棋盘格图片，共计预设幅数，所述预设幅数优选地可以为20幅。2、读取棋盘格图像，提取角点，优选地为提取的准确性，提取内角点。3、开始摄像机标定，优选地可以利用opencv3.0 fisheye(Open Source ComputerVision Library 3.0fisheye开源计算机视觉库3.0鱼眼)模型标定鱼眼相机。保存标定结果，写入文件，主要是内参矩阵K(包括归一化焦距,fx,fy；光心坐标cx,cy)和畸变系数D(包括k1,k2,k3...)。
应当理解的是，俯视图的变换主要就是计算原始视角与俯视视角的透视变换矩阵，利用透视变换对两者进行变换和逆变换。具体的操作流程如下：1、选取一张固定视角下经过畸变矫正后的棋盘格图片作为基准，要求该图片中棋盘格位置要相对于车平行，同时需要测量记录下该棋盘格相对于车辆的相对位置；2、读取棋盘格图像，提取角点，参照上述步骤为内角点。3、选取棋盘格的四个角点作为图像中角点集，此处选择边缘的四个角点。4、确定要投影的四个角点位置作为待投影图像中的角点集，最好是靠近图像中心位置，同时确保投影后的图像范围足够大；5、在opencv3.0中利用cvGetPerspectiveTransform()函数(透视变换函数)来计算得到两组参数的透视变换矩阵H，保存H矩阵到文件中。
应当理解的是，车位识别可以利用机器学习算法Adaboost识别T型车位线，Adaboost是一种迭代算法，具体的操作流程如下：1、对转换后的车位图像作灰度变换。车位线多为白色和黄色，因此相比较于普通的灰度变化(如均值法，opencv权值法)，在由RGB(red green blue)三原色通道组成的图像中，剔除通道B，这样黄色车道线得到加强，白色车道线也未受到影响。能体现车位线和路面的区分度。2、训练Adaboost模型。在Adaboost算法中，选取T型车位线(作为正样本)，车辆路面等作为负样本，这样就构建了最简单的二分类训练器。其中，利用金字塔缩放T型车位线，以适应不同大小的车位线。训练好的模型保存为模型文件。3、利用opencv自带的分类函数，输入参数为输入图像(已经灰度处理)，和模型文件，这样就能输出车位线在图像中的位置和大小。4、由于车位线特征信息单一，加上利用adaboost训练样本，因此会存在一定程度上的误检。在此利用连续多帧来验证输出的车位线是否为真实样本。5、输出检测图像。
在图像中输出车位线的四个点坐标，由于俯视图视角的车位线和真实世界坐标系有一个对应关系，因此可以输出实际车位线的世界坐标。通过环视摄像头，采用神经网络的方法识别出车位，识别结果参考图4所示。
图5为本发明泊车信息融合方法第二实施例的栅格图示意图；
步骤S200具体包括：
步骤S201：建立车辆行驶方向为纵向，垂直所述行驶方向为横向的坐标系，根据预设栅格数、预设栅格尺寸及所述坐标系构建栅格图，所述栅格图对应现实中车辆周围的预设范围；
需要说明的是，本发明实施例中以50×50的栅格图为例进行说明，预设栅格数为2500，则建立50×50的栅格图。首先构建一个50×50的二维数组，作为一个背景板，共计2500个栅格，所对应的检测范围为5米×5米，每个栅格之间的距离为20厘米，然后以车辆后轴中心点为坐标原点，在车头所在的位置检测到车位角点坐标时，开始进行栅格图的构建。
步骤S202：将车辆位置和所述车位角点坐标投射到所述栅格图中；
需要说明的是，将存在物体占用的栅格设置为占用栅格；所述车位角点坐标不为占用栅格。栅格图中该位置存在障碍物，令该位置所在数组为1，表示该栅格被占用，若为0则表示无障碍物。
需要说明的是，当环视摄像头检测到的车位角点坐标与车头坐标的纵坐标相同时，开始启用超声波检测功能，超声波会检测出距离超声波安装位置最近的障碍物，并输出该障碍物的距离，并将其转化为所在栅格位置。例如检测到的最近障碍物距离为1米，则对应的栅格个数为5，那么第一行从第36个栅格开始其后所有栅格全部置1，表示该栅格中存在障碍物。即使第40个栅格在物理世界中没有障碍物，因为36中存在障碍物无法泊车，同样也置1方便简化计算。至此完成栅格图第一行的构建。
图6为本发明泊车信息融合方法第二实施例的栅格图更新示意图；
步骤S400具体包括：
步骤S401：通过轮速计获取所述车辆前进的距离；
步骤S402：在所述车辆每前进一个预设栅格尺寸的距离时，依次将上一行栅格中的数据写入下一行，并删除所述栅格图中最后一行的上一帧数据；
步骤S403：将检测到的所述障碍物、所述车辆位置及所述车位角点坐标，对应投射到最前一行中。
应当理解的是，当前车辆继续前行的过程中，通过轮速计脉冲计数的方式，计算出车辆前行的距离，当车辆向前行驶20厘米时，即本实施例中预设的一个栅格尺寸时。除横向坐标为21-40的栅格外，将栅格第一行剪切到第二行中，第二行剪切到第三行中，以此类推到最后一行，最后一行的上一帧数据清空，然后粘贴进倒数第二行的数据。对于识别到的车位角点坐标不需要填充进栅格图中，但是坐标的更新要与栅格图保持同步，即每更新一次栅格图，车位角点坐标的横坐标保持不变，纵坐标要减20厘米。车辆向前行驶的过程中，重复更新实现超声波扫描道路两旁障碍物栅格图的实时构建，构建好的栅格图示意图可参考图6。
需要说明的是，还需要更新所述障碍物、所述车辆位置及所述车位角点坐标在所述栅格图中的坐标。
本发明实施例通过上述方法融合了车辆转速脉冲计数器、摄像头、超声波探测器采集的信息，实现了规划无障碍物的自主泊车路径，使得自主泊车更准确，超出各类检测器的检测范围也能知晓障碍物的坐标。
参考图7，图7为本发明泊车信息融合装置第一实施例的功能模块图。本发明,还提出一种泊车信息融合装置，所述装置包括：图像获取模块10、栅格构建模块20、车位检测模块40、栅格更新模块30及路径规划模块50，其中；
所述图像获取模块10，用于根据车位图像获取车位四角的车位角点坐标；
需要说明的是，本方法实施例的目的是使超声波探测器和车载摄像头的获取到的信息，进行信息融合，并根据所述融合后的信息进行泊车。所述获取车位四角的车位角点坐标的过程，通过所述车载摄像头完成。所述车载摄像头可以为360度环视摄像头。
所述栅格构建模块20，用于建立车辆行驶方向为纵向，垂直所述行驶方向为横向的坐标系，根据所述坐标系构建栅格图，并将车辆位置和所述车位角点坐标投射到所述栅格图中；
需要说明的是，以本车辆为坐标系的基础构建坐标系有利于以本车辆为基础进行栅格图的更新。在更新过程中，由于围绕本车辆进行更新，由本车辆占据的区域可以保持不变，节省了更新的工作量。另一方面，通过栅格图反应车位信息、车辆位置信息、障碍物信息，实现了摄像头及超声波探测器的信息融合。
应当理解的是，所述车辆位置由所述超声波探测器获取。
所述栅格构建模块20，还用于检测栅格图中的车头坐标和车位角点坐标，检测车辆周围的预设范围内的障碍物，并将所述障碍物投射到所述栅格图中；
易于理解的是，在构建所述栅格图后，可以将所述摄像头采集到的车位角坐标和所述超声波探测器采集到的车辆周围的障碍物都投射到所述栅格图中。应当理解的是，车位线为地面标记，通常无法作为可识别的障碍物，超声波探测器难以探测；障碍物可以被摄像头拍摄，但摄像头生成的图像为平面图像，无法很好地确认障碍物距离，通过所述栅格图，可以通过坐标方式对两种装置采集的信息融合。
所述栅格更新模块30，用于按照预设更新条件对所述栅格图进行更新；
应当理解的是，所述预设更新条件包括，随车辆的前进而更新栅格图。栅格图的每个格子对应现实中一段预设距离，在所述车辆前进一个预设距离时，所述栅格图随之更新一行栅格。基于本车辆建立坐标，本车辆始终为所述栅格图中的固定位置，并占用所述固定位置，本车辆区域无需更新，减轻了栅格图更新的工作。
易于理解的是，由于所述栅格图的更新和存储作用，所述栅格图实际对应的现实范围可以大于所述摄像头和所述超声波探测器对应的检测范围，在所述车辆不断行驶的过程中，构建出车辆周围一片区域的栅格图，显示车辆周围对应的障碍物和无障碍物路段。
所述车位检测模块40，用于在所述车头坐标和所述车位角点坐标的纵坐标相同时，判断所述栅格图中所述车位角点坐标对应的坐标范围内是否存在障碍物；
应当理解的是，在所述车头坐标和所述车位角点坐标的纵坐标相同时，说明所述车辆的车头和所述车位的一边平行，具体地，可以理解为所述车辆达到这个位置时，若车位内没有障碍物可以准备泊车。车位角点坐标对应的坐标范围为四个车位角和所述车位角两两相邻连线围成的车位区域，检测所述车位区域是否存在障碍物。所述障碍物可以为车辆、车档、路障等。
所述路径规划模块50，用于在所述坐标范围内不存在障碍物时，为所述车辆规划无碰撞泊车路径，以辅助所述车辆泊车。
需要说明的是，在所述坐标范围内不存在障碍物时，根据预设范围内的障碍物的坐标信息为所述车辆规划无碰撞泊车路径，以辅助所述车辆泊车。除车位范围内，所述车辆行驶的道路上可能还会存在其他障碍物，因此为所述车辆规划一条无障碍物道路，减轻司机驾驶难度，提升车辆行驶安全。
本发明方法通过上述装置，将摄像头和超声波探测器采集的信息进行信息融合，实现了车辆自主泊车，在传感器检测范围之外依然可知车辆周围近距障碍物的坐标位置，为判断泊车位是否可利用，以及泊车路径规划提供了极大的便利性。
本发明还提出一种存储介质，所述存储介质上存储有泊车信息融合程序，所述泊车信息融合程序被处理器执行时实现如上所述的泊车信息融合方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的泊车信息融合方法，此处不再赘述。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种泊车信息融合方法，其特征在于，所述方法包括：
根据车位图像获取车位四角的车位角点坐标；
建立车辆行驶方向为纵向，垂直所述行驶方向为横向的坐标系，根据所述坐标系构建栅格图，并将车辆位置和所述车位角点坐标投射到所述栅格图中；
检测栅格图中的车头坐标和车位角点坐标，检测车辆周围的预设范围内的障碍物，并将所述障碍物投射到所述栅格图中；
按照预设更新条件对所述栅格图进行更新；
在所述车头坐标和所述车位角点坐标的纵坐标相同时，判断所述栅格图中所述车位角点坐标对应的坐标范围内是否存在障碍物；
在所述坐标范围内不存在障碍物时，为所述车辆规划无碰撞泊车路径，以辅助所述车辆泊车；
其中，所述根据车位检测图像获取车位四角的车位角点坐标的步骤之前，所述方法还包括：
通过车载摄像头获取所述车位图像；
对所述车位图像畸变进行矫正；
根据预设转换条件对矫正后的所述车位图像进行俯视图转换；
根据车位识别条件对所述转换后的车位图像进行车位识别，识别出车位检测图像并输出；
其中，所述对所述车位图像畸变进行矫正的步骤，包括：
读取预设幅数的车位图像，提取所述车位图像的角点，通过开源计算机视觉库鱼眼模型进行摄像机标定并保存标定结果；
所述根据预设转换条件对矫正后的所述车位图像进行俯视图转换的步骤，包括：
通过透视变换函数对矫正后的所述车位图像进行俯视图转换；
所述根据车位识别条件对所述转换后的车位图像进行车位识别，识别出车位检测图像并输出的步骤，包括：
将所述转换后的车位图像中的blue原色通道剔除并进行灰度变换，以获得输入图像；
将所述输入图像输入预设Adaboost模型中进行车位线识别，以获得车位检测图像并输出。
2.如权利要求1所述的泊车信息融合方法，其特征在于，所述建立车辆行驶方向为纵向，垂直所述行驶方向为横向的坐标系，根据所述坐标系构建栅格图，并将车辆位置和所述车位角点坐标投射到所述栅格图中的步骤，具体包括：
建立车辆行驶方向为纵向，垂直所述行驶方向为横向的坐标系，根据预设栅格数、预设栅格尺寸及所述坐标系构建栅格图，所述栅格图对应现实中车辆周围的预设范围；
将车辆位置和所述车位角点坐标投射到所述栅格图中；
将存在物体占用的栅格设置为占用栅格；所述车位角点坐标不为占用栅格。
3.如权利要求2所述的泊车信息融合方法，其特征在于，所述按照预设更新条件对所述栅格图进行更新的步骤，具体包括：
通过轮速计获取所述车辆前进的距离；
在所述车辆每前进一个预设栅格尺寸的距离时，依次将上一行栅格中的数据写入下一行，并删除所述栅格图中最后一行的上一帧数据；
将检测到的所述障碍物、所述车辆位置及所述车位角点坐标，对应投射到最前一行中。
4.如权利要求3所述的泊车信息融合方法，其特征在于，所述将检测到的所述障碍物、所述车辆位置及所述车位角点坐标，对应投射到最前一行中的步骤之后，所述方法还包括：
更新所述障碍物、所述车辆位置及所述车位角点坐标在所述栅格图中的坐标。
5.如权利要求4所述的泊车信息融合方法，其特征在于，所述在所述坐标范围内不存在障碍物时，为所述车辆规划无碰撞泊车路径，以辅助所述车辆泊车的步骤具体包括：
在所述坐标范围内不存在障碍物时，根据预设范围内的障碍物的坐标信息为所述车辆规划无碰撞泊车路径，以辅助所述车辆泊车。
6.一种泊车信息融合装置，其特征在于，所述装置包括：图像获取模块、栅格构建模块、车位检测模块、栅格更新模块及路径规划模块，其中；
所述图像获取模块，用于根据车位图像获取车位四角的车位角点坐标；
所述栅格构建模块，用于建立车辆行驶方向为纵向，垂直所述行驶方向为横向的坐标系，根据所述坐标系构建栅格图，并将车辆位置和所述车位角点坐标投射到所述栅格图中；
所述栅格构建模块，还用于检测栅格图中的车头坐标和车位角点坐标，检测车辆周围的预设范围内的障碍物，并将所述障碍物投射到所述栅格图中；
所述栅格更新模块，用于按照预设更新条件对所述栅格图进行更新；
所述车位检测模块，用于在所述车头坐标和所述车位角点坐标的纵坐标相同时，判断所述栅格图中所述车位角点坐标对应的坐标范围内是否存在障碍物；
所述路径规划模块，用于在所述坐标范围内不存在障碍物时，为所述车辆规划无碰撞泊车路径，以辅助所述车辆泊车；
所述图像获取模块，还用于通过车载摄像头获取所述车位图像；对所述车位图像畸变进行矫正；根据预设转换条件对矫正后的所述车位图像进行俯视图转换；根据车位识别条件对所述转换后的车位图像进行车位识别，识别出车位检测图像并输出；
所述图像获取模块，还用于读取预设幅数的车位图像，提取所述车位图像的角点，通过开源计算机视觉库鱼眼模型进行摄像机标定并保存标定结果；
所述图像获取模块，还用于通过透视变换函数对矫正后的所述车位图像进行俯视图转换；
所述图像获取模块，还用于将所述转换后的车位图像中的blue原色通道剔除并进行灰度变换，以获得输入图像；将所述输入图像输入预设Adaboost模型中进行车位线识别，以获得车位检测图像并输出。
7.一种电子设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的泊车信息融合程序，所述泊车信息融合程序配置为实现如权利要求1至5中任一项所述的泊车信息融合方法的步骤。
8.一种存储介质，其特征在于，所述存储介质上存储有泊车信息融合程序，所述泊车信息融合程序被处理器执行时实现如权利要求1至5任一项所述的泊车信息融合方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911216940.3A CN110861639B (zh) | 2019-11-28 | 2019-11-28 | 泊车信息融合方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911216940.3A CN110861639B (zh) | 2019-11-28 | 2019-11-28 | 泊车信息融合方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110861639A CN110861639A (zh) | 2020-03-06 |
| CN110861639B true CN110861639B (zh) | 2021-06-15 |
Family
ID=69658277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911216940.3A Active CN110861639B (zh) | 2019-11-28 | 2019-11-28 | 泊车信息融合方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110861639B (zh) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111824261B (zh) * | 2020-05-13 | 2022-04-29 | 北京汽车股份有限公司 | 泊车控制显示方法、装置和设备 |
| WO2021226852A1 (zh) * | 2020-05-13 | 2021-11-18 | 上海欧菲智能车联科技有限公司 | 车位检测方法、装置、计算机设备和存储介质 |
| CN111994081A (zh) * | 2020-08-26 | 2020-11-27 | 安徽江淮汽车集团股份有限公司 | 车位检测方法、设备、存储介质及装置 |
| CN112014845B (zh) * | 2020-08-28 | 2024-01-30 | 安徽江淮汽车集团股份有限公司 | 一种车辆障碍物定位方法、装置、设备及存储介质 |
| CN112201078B (zh) * | 2020-09-30 | 2021-08-10 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于图神经网络的自动泊车停车位检测方法 |
| CN112289070B (zh) * | 2020-10-20 | 2021-12-07 | 广州小鹏自动驾驶科技有限公司 | 一种车位检测方法、装置、车辆、可读介质 |
| CN112277933B (zh) * | 2020-10-26 | 2022-07-01 | 广州小鹏自动驾驶科技有限公司 | 一种数据处理的方法和装置 |
| CN112356826B (zh) * | 2020-10-28 | 2022-02-01 | 惠州华阳通用电子有限公司 | 一种辅助泊车方法及存储介质 |
| CN112277935B (zh) * | 2020-10-30 | 2022-03-11 | 广州小鹏自动驾驶科技有限公司 | 一种自动泊车的方法和装置 |
| CN112298168B (zh) * | 2020-11-06 | 2022-04-22 | 北京罗克维尔斯科技有限公司 | 一种车位检测方法及装置、自动泊车方法及装置 |
| CN114566055B (zh) * | 2020-11-27 | 2023-06-16 | 上海汽车集团股份有限公司 | 一种自动泊车车位确定方法及系统 |
| CN112498338B (zh) * | 2020-12-07 | 2022-04-12 | 上海汽车集团股份有限公司 | 一种库位确定方法、装置及电子设备 |
| CN112560689B (zh) * | 2020-12-17 | 2024-04-19 | 广州小鹏自动驾驶科技有限公司 | 一种车位检测方法、装置、电子设备和存储介质 |
| CN112633152B (zh) * | 2020-12-22 | 2021-11-26 | 深圳佑驾创新科技有限公司 | 停车位检测方法、装置、计算机设备和存储介质 |
| CN113077428B (zh) * | 2021-03-29 | 2023-12-08 | 上海欧菲智能车联科技有限公司 | 碰撞检测方法、装置、车载终端及存储介质 |
| CN113085838A (zh) * | 2021-04-02 | 2021-07-09 | 的卢技术有限公司 | 一种基于多传感器融合的车位检测方法和系统 |
| CN112983085A (zh) * | 2021-04-30 | 2021-06-18 | 的卢技术有限公司 | 一种基于视觉的车位线识别方法 |
| CN113147746A (zh) * | 2021-05-20 | 2021-07-23 | 宝能(广州)汽车研究院有限公司 | 坡道车位的探测方法及装置 |
| CN113246990A (zh) * | 2021-05-24 | 2021-08-13 | 广州小鹏自动驾驶科技有限公司 | 一种障碍物位置的确定方法、装置和车辆 |
| CN113513985B (zh) * | 2021-06-30 | 2023-05-16 | 广州小鹏自动驾驶科技有限公司 | 一种精度检测的优化方法、装置、电子设备和介质 |
| CN113479191B (zh) * | 2021-06-30 | 2023-04-07 | 重庆长安汽车股份有限公司 | 用于泊车的无车道线的车道边界检测系统、方法及车辆 |
| CN113554882A (zh) * | 2021-07-20 | 2021-10-26 | 阿波罗智联(北京)科技有限公司 | 用于输出信息的方法、装置、设备以及存储介质 |
| CN113792601B (zh) * | 2021-08-10 | 2024-01-12 | 武汉光庭信息技术股份有限公司 | 基于霍夫直线检测结果的车位线拟合方法及系统 |
| CN113830078B (zh) * | 2021-10-19 | 2023-08-04 | 同济大学 | 一种基于停车位角点检测的自动泊车方法及系统 |
| CN114494428B (zh) * | 2021-12-23 | 2022-11-11 | 禾多科技（北京）有限公司 | 车辆位姿矫正方法、装置、电子设备和计算机可读介质 |
| CN114212076A (zh) * | 2021-12-27 | 2022-03-22 | 安徽江淮汽车集团股份有限公司 | 一种基于车载机器人的自动泊车系统 |
| CN115019407B (zh) * | 2022-06-27 | 2023-12-05 | 浙江创泰科技有限公司 | 一种基于高位摄像头的车辆停车管理方法及系统 |
| CN115311892B (zh) * | 2022-08-05 | 2023-11-24 | 合众新能源汽车股份有限公司 | 车位显示方法、装置和电子设备 |
| CN115482668B (zh) * | 2022-09-22 | 2023-09-19 | 安徽江淮汽车集团股份有限公司 | 一种视觉车位管理方法及系统 |
| CN115797467B (zh) * | 2023-02-02 | 2023-07-28 | 深圳市德驰微视技术有限公司 | 车辆相机标定结果检测方法、装置、设备及存储介质 |
| CN115909795B (zh) * | 2023-03-09 | 2023-06-23 | 斯润天朗（北京）科技有限公司 | 基于车场协同的自主泊车系统及方法 |
| CN116161040B (zh) * | 2023-04-26 | 2023-06-27 | 禾多科技（北京）有限公司 | 车位信息生成方法、装置、电子设备和计算机可读介质 |
| CN116620311B (zh) * | 2023-05-26 | 2024-05-03 | 广州汽车集团股份有限公司 | 泊车误差检测方法、装置、车辆及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101377036B1 (ko) * | 2010-12-21 | 2014-04-02 | 주식회사 만도 | 주차 보조 장치 및 그의 주차 제어 방법 |
| CN104260722B (zh) * | 2014-09-23 | 2017-06-06 | 北京理工大学 | 一种自动泊车系统 |
| CN109606354B (zh) * | 2018-10-18 | 2020-07-28 | 同济大学 | 一种基于分层规划的自动泊车方法及辅助系统 |
| CN109649384B (zh) * | 2019-02-15 | 2020-08-14 | 华域汽车系统股份有限公司 | 一种泊车辅助方法 |
| CN110497901B (zh) * | 2019-08-30 | 2020-12-22 | 的卢技术有限公司 | 一种基于机器人vslam技术的泊车位自动搜索方法和系统 |
-
2019
- 2019-11-28 CN CN201911216940.3A patent/CN110861639B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110861639A (zh) | 2020-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110861639B (zh) | 泊车信息融合方法、装置、电子设备及存储介质 | |
| CN109271944B (zh) | 障碍物检测方法、装置、电子设备、车辆及存储介质 | |
| JP6931096B2 (ja) | オンボードセンサの外部パラメータを較正する方法及び装置、並びに関連する車両 | |
| JP7461720B2 (ja) | 車両位置決定方法及び車両位置決定装置 | |
| US8126210B2 (en) | Vehicle periphery monitoring device, vehicle periphery monitoring program, and vehicle periphery monitoring method | |
| US9123242B2 (en) | Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program | |
| CN110490936B (zh) | 车辆摄像头的标定方法、装置、设备及可读存储介质 | |
| US10643091B2 (en) | Automatic feature point detection for calibration of multi-camera systems | |
| KR102249769B1 (ko) | 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법 | |
| CN108229406B (zh) | 一种车道线检测方法、装置及终端 | |
| CN109657638B (zh) | 障碍物定位方法、装置和终端 | |
| CN113673282A (zh) | 目标检测方法和装置 | |
| CN111028534B (zh) | 一种泊车位检测方法及装置 | |
| CN112528773B (zh) | 障碍物信息融合方法、装置、电子设备和存储介质 | |
| CN110667474B (zh) | 通用障碍物检测方法、装置与自动驾驶系统 | |
| JP7481810B2 (ja) | 車両の三次元画像再構成方法 | |
| CN110705359A (zh) | 一种车位检测方法 | |
| TW202036478A (zh) | 攝影機標定方法、路側感知設備和智慧交通系統 | |
| EP3029602A1 (en) | Method and apparatus for detecting a free driving space | |
| CN113256739A (zh) | 车载bsd摄像头的自标定方法、设备和存储介质 | |
| CN111157012B (zh) | 一种机器人导航方法、装置、可读存储介质及机器人 | |
| EP3623994A2 (en) | Method, device, apparatus and storage medium for detecting a height of an obstacle | |
| CN111256651B (zh) | 一种基于单目车载摄像头的周车测距方法和装置 | |
| CN116343165A (zh) | 一种3d目标检测系统、方法、终端设备及存储介质 | |
| CN113147746A (zh) | 坡道车位的探测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |