CN111028534B - 一种泊车位检测方法及装置 - Google Patents

一种泊车位检测方法及装置 Download PDF

Info

Publication number
CN111028534B
CN111028534B CN201811173721.7A CN201811173721A CN111028534B CN 111028534 B CN111028534 B CN 111028534B CN 201811173721 A CN201811173721 A CN 201811173721A CN 111028534 B CN111028534 B CN 111028534B
Authority
CN
China
Prior art keywords
vehicle
parking space
parking
obstacle
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811173721.7A
Other languages
English (en)
Other versions
CN111028534A (zh
Inventor
梁凯
方先成
邝宏武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201811173721.7A priority Critical patent/CN111028534B/zh
Publication of CN111028534A publication Critical patent/CN111028534A/zh
Application granted granted Critical
Publication of CN111028534B publication Critical patent/CN111028534B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/143Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供一种泊车位检测方法及装置,方法包括:从车辆设有的车载相机所采集的图像中检测空泊车位区域;若检测到空泊车位区域,则检测图像中存在的至少一个障碍物;依据检测到的各个障碍物的位置判断空泊车位区域中是否包含至少一个障碍物;若不包含,则将空泊车位区域确定为目标泊车位。通过车辆设有的车载相机采集图像实现空泊车位区域检测,即使车位两侧没有车辆,也能够检测出车位,因此可突破通过长距超声波雷达探测泊车位的局限性。并且通过检测图像中的障碍物,可以将不适合停车的空泊车位排除掉。

Description

一种泊车位检测方法及装置
技术领域
本申请涉及图像处理技术领域,尤其涉及一种泊车位检测方法及装置。
背景技术
随着车辆保有量的增大,泊车位日益紧张,因此在大部分情况下均需要通过智能泊车系统辅助将车辆安全停入一个狭小的泊车位。目前的智能泊车系统通常包括泊车位检测模块、路径规划模块以及控制执行模块。其中,泊车位检测模块是智能泊车系统的基础,影响着整个泊车系统的性能。
相关技术中,通过在车辆上安装超声波雷达实现泊车位的检测,即在车辆左右两侧边的四个倾斜角配置4个长距超声波雷达,车辆前后保险杠分别配置4个短距超声波雷达,车辆在停车场行驶过程中,通过超声波雷达的回波距离跳变检测可用泊车位。然而在车位两侧均没有车辆的情况,通过超声波雷达是无法检测到泊车位,从而导致通过超声波雷达检测泊车位的局限性比较大。
发明内容
有鉴于此,本申请提供一种泊车位检测方法及装置,以解决通过超声波雷达检测泊车位的局限性比较大的问题。
根据本申请实施例的第一方面,提供一种泊车位检测方法,所述方法包括:
从车辆设有的车载相机所采集的图像中检测空泊车位区域,所述车载相机配置有广角镜头;
若检测到空泊车位区域,则检测所述图像中存在的至少一个障碍物;
依据各个障碍物的位置判断所述空泊车位区域中是否包含至少一个障碍物;
若不包含,则将所述空泊车位区域确定为目标泊车位。
根据本申请实施例的第二方面,提供一种泊车位检测装置,所述装置包括:
第一检测模块,用于从车辆设有的车载相机所采集的图像中检测空泊车位区域,所述车载相机配置有广角镜头;
第二检测模块,用于在检测到空泊车位区域时,检测所述图像中存在的至少一个障碍物;
判断模块,用于依据各个障碍物的位置判断所述空泊车位区域中是否包含至少一个障碍物;
确定模块,用于在判断不包含时,将所述空泊车位区域确定为目标泊车位。
根据本申请实施例的第三方面,提供一种辅助泊车系统,包括:车辆、设置在所述车辆四周的车载相机,以及设置在所述车辆上的辅助泊车控制器;
所述车载相机,配置有广角镜头,用于采集车辆四周360°范围内的图像;
所述辅助泊车控制器,用于从所述车载相机所采集的图像中检测空泊车位区域;若检测到空泊车位区域,则检测所述图像中存在的至少一个障碍物;依据检测到的各个障碍物的位置判断所述空泊车位区域中是否包含至少一个障碍物;若不包含,则将所述空泊车位区域确定为目标泊车位。
应用本申请实施例,若从车辆设有的车载相机采集的图像中检测空泊车位区域,再检测该图像中存在的至少一个障碍物,并依据检测到的各个障碍物的位置判断该空泊车位区域中是否包含至少一个障碍物,若不包含,则将该空泊车位区域确定为目标泊车位。
基于上述描述可知,通过车辆设有的车载相机采集的图像实现空泊车位区域检测,即使车位两侧均没有车辆,也能够检测出该车位,因此无需在车辆两侧安装长距超声波雷达探测泊车位,可以突破通过长距超声波雷达探测泊车位的局限性。并且通过检测图像中的障碍物,可以将不适合停车的空泊车位(如包含禁停标志、非机动车的泊车位)排除掉。另外,本申请每次是针对单路车载相机采集的图像检测空泊车位区域,而并非针对每路车载相机采集的图像拼接成的环视图检测空泊车位区域,由于由每路车载相机采集的图像拼接成的环视图的有效视野比较窄,更远的距离因畸变在拼接时会被舍弃,因此每次针对单路车载相机采集的图像进行空泊车位区域检测方式,检测视野广且准确率高。
附图说明
图1A为本申请根据一示例性实施例示出的一种辅助泊车系统结构图;
图1B为本申请根据图1A所示实施例示出的一种寻库阶段流程图;
图1C为本申请根据图1A所示实施例示出的一种入库阶段流程图;
图2A为本申请根据一示例性实施例示出的一种泊车位检测方法的实施例流程图;
图2B为本申请根据图2A所示实施例示出的一种用于检测图像中的空泊车位区域的第一神经网络的结构图;
图2C为本申请根据图2A所示实施例示出的一种四路车载相机采集的鱼眼图;
图3A为本申请根据一示例性实施例示出的另一种泊车位检测方法的实施例流程图;
图3B为本申请根据图3A所示实施例示出的一种四路车载相机采集的鱼眼图拼接成的环视图;
图4为本申请根据一示例性实施例示出的一种电子设备的硬件结构图;
图5为本申请根据一示例性实施例示出的一种泊车位检测装置的实施例结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
目前,通过在车辆左右两侧边的四个倾斜角配置4个长距超声波雷达,以及前后保险杠分别配置4个短距超声波雷达,车辆在停车场行驶过程中,先通过长距超声波雷达的回波距离跳变检测可用泊车位,当检测到可用泊车位时,再结合短距超声波雷达探测近距离障碍物,控制车辆停入泊车位。然而在车位两侧均没有车辆的情况下,通过长距超声波雷达是无法检测到泊车位,从而导致通过超声波雷达检测泊车位的局限性比较大。
为了解决上述技术问题,本申请提供一种辅助泊车系统,如图1A所示,该辅助泊车系统包括车辆、设置在车辆四周的车载相机(图1A中示出4个车载相机,其中两个分别布置于车辆的前方和后方,另外两个分别布置于车辆两侧的后视镜上)、设置在车辆上的辅助泊车控制器(图1A中未示出)。其中,车载相机配置有视角比较大的广角镜头,用于采集车辆四周360°范围内的图像,且相邻两路车载相机采集的图像有重叠区域。该辅助泊车系统可以包括两个阶段:
第一阶段为寻库阶段,如图1B所示,辅助泊车控制器中的第一视觉感知模块,用于从车载相机所采集的图像中检测空泊车位区域;若检测到空泊车位区域,则检测图像中存在的至少一个障碍物;依据检测到的各个障碍物的位置判断空泊车位区域中是否包含至少一个障碍物;若不包含,则将空泊车位区域确定为目标泊车位。
第二阶段为入库阶段,如图1C所示,辅助泊车控制器中的第二视觉感知模块,用于在确定目标泊车位之后,以车辆所在位置为原点建立世界坐标系,将目标泊车位的角点位置映射到世界坐标系下,得到目标泊车位的角点相对车辆的距离方位关系,并依据距离方位关系规划泊车路径,并控制车辆按照泊车路径停车。
进一步地,第二视觉感知模块在控制车辆按照泊车路径停车过程中,还用于将车辆设有的各路车载相机在同一时刻采集的图像拼接为环视图;将环视图输入已训练得到的第三神经网络中,由第三神经网络对环视图进行语义分割,以得到目标泊车位的边线和可行驶区域;依据目标泊车位的边线和可行驶区域校正泊车路径。
再进一步地,第二视觉感知模块在辅助泊车控制器控制车辆按照泊车路径停车时,还用于当依据车辆四周的车载相机采集的图像确定出泊车路径中存在近距离障碍物时,向车辆的驾驶员发出报警信息。
另外,该辅助泊车系统结构还包括设置在车辆前方和后方的短距超声波雷达(图1A中示出8个短距超声波雷达,分别布置在车辆的前后保险杠上),辅助泊车控制器中的超声波感知模块在辅助泊车控制器控制车辆按照泊车路径停车时,当通过短距超声波雷达探测到车辆的前后方存在近距离障碍物时,向车辆的驾驶员发出报警信息。
下面以具体的方法实施例对上述的技术方案进行详细阐述。
图2A为本申请根据一示例性实施例示出的一种泊车位检测方法的实施例流程图,本申请实施例结合上述图1A所示的辅助泊车系统结构进行详细阐述。如图2A所示,该泊车位检测方法包括如下步骤:
步骤101:从车辆设有的车载相机所采集的图像中检测空泊车位区域。
在一实施例中,车辆在寻库阶段,由于泊车位通常位于车辆的两侧,因此可以通过开启位于车辆两侧的车载相机采集图像,并检测图像中的空泊车位区域。
其中,由于车载相机配置的是广角镜头,因此采集的图像是视角比较广的鱼眼图。
在一实施例中,如图2B所示,用于检测图像中的空泊车位区域的第一神经网络包括特征提取网络、候选框检测网络、角点回归网络及过滤层,针对从车辆设有的车载相机所采集的图像中检测空泊车位区域的过程,可以将图像输入已训练得到的第一神经网络中,通过本第一神经网络中的特征提取网络提取图像的特征,并将提取的特征输出给本第一神经网络中的候选框检测网络,候选框检测网络基于该特征检测候选框,并将候选框的角点输出给本第一神经网络中的角点回归网络,角点回归网络对该候选框的角点进行校正,并将校正后的角点输出给本第一神经网络中的过滤层,过滤层通过非极大值抑制对校正后的角点进行过滤,以得到空泊车位的角点,空泊车位的角点位置在图像中对应的区域即为空泊车位区域,所述空泊车位区域指的是该泊车位上没有停车辆。
其中,第一神经网络的训练可以采用标注了空泊车位角点的样本训练得到。其中的角点回归网络的校正过程可以是:针对每个候选框的角点,利用预设形状进行匹配,并利用匹配到的预设形状的角点预测该候选框的角点的偏移量,最终根据角点的偏移量得到该候选框的角点的精确位置。输出的空泊车位的角点可以是四个角点,即泊车位的四个角在图像中的坐标。由于采集的鱼眼图中通常能包含1到2个泊车位,因此第一神经网络可能会输出2个空泊车位的角点。
值得注意的是,本申请实施例中是针对车载相机采集的图像进行空泊车位区域的检测,而并非针对各路车载相机采集的图像拼接成的环视图进行空泊车位区域的检测,由于由各路车载相机采集的图像拼接成的环视图的有效视野比较窄,大约是车辆四周3米到4米范围内,更远的距离因畸变在拼接时被舍弃,因此针对单路车载相机采集的图像进行空泊车位区域检测方式,其检测视野广,准确率高。并且基于单路车载相机采集的图像检测空泊车位区域,即使车位两侧均没有车辆,也能够检测出,因此无需在车辆两侧安装长距超声波雷达探测泊车位,可以突破通过长距超声波雷达探测泊车位的局限性。
步骤102:若检测到空泊车位区域,则检测该图像中存在的至少一个障碍物。
在一实施例中,如果在图像中检测到空泊车位区域,表示图像中存在可能可用的泊车位,需要再检测图像中存在的障碍物,如果在图像中检测不到空泊车位区域,表示图像中不存在可用的泊车位,继续返回执行步骤101的过程。
在一实施例中,针对检测该图像中存在的至少一个障碍物的过程,可以将该图像输入已训练得到的第二神经网络中,由第二神经网络中的至少一个计算层对该图像进行识别,以识别该图像中的至少一个指定类型障碍物。
其中,第二神经网络的训练可以采用标注了障碍物位置的样本训练得到。第二神经网络输出整个图像包含的障碍物的同时,也可以输出每个障碍物的类别,输出的指定类型障碍物可以包括:行人、机动车、非机动车、禁停标志(如锥桶、禁停牌、水马等)、残疾专用标志等类型。
需要说明的是,上述步骤101在检测空泊车位区域过程中,如果车位上停的机动车并未将车位的四个角遮挡住,则也会将该车位确定为空泊车位,因此,在进行障碍物检测时,也需要检测机动车类别的障碍物,以用于后续通过检测的机动车障碍物将该空泊车位排除掉。
步骤103:依据检测到的各个障碍物的位置判断空泊车位区域中是否包含至少一个障碍物,若不包含,则执行步骤104,若包含,则继续执行步骤101的过程。
步骤104:将该空泊车位区域确定为目标泊车位。
在一实施例中,如果空泊车位区域中包含障碍物,如行人、机动车、非机动车、禁停标志、残疾专用标志等,则表示该空泊车位不可用,如果空泊车位区域中不包含任何障碍物,则表示该空泊车位可用,可以确定为目标泊车位。
其中,如果空泊车位区域中包含的障碍物的类别是残疾专用车位,则可以输出特殊车位的提示信息。
在一示例性场景中,在寻库阶段,假设车辆上设有的四路车载相机均开启,如图2C所示,为某一时刻四路车载相机采集的图像,第一个小图为车辆前方车载相机采集的鱼眼图,第二个小图和第三个小图为车辆两侧车载相机采集的鱼眼图,第四个小图为车辆后方车载相机采集的鱼眼图,通过上述步骤101至步骤104,可以在第三个小图中检测到一个空泊车位区域,且该空泊车位区域中不包含任何障碍物,因此该空泊车位区域可以确定为目标泊车位。
本申请实施例中,若从车辆设有的车载相机采集的图像中检测空泊车位区域,再检测该图像中存在的至少一个障碍物,并依据检测到的各个障碍物的位置判断该空泊车位区域中是否包含至少一个障碍物,若不包含,则将该空泊车位区域确定为目标泊车位。
基于上述描述可知,通过车辆设有的车载相机采集的图像实现空泊车位区域检测,即使车位两侧均没有车辆,也能够检测出该车位,因此无需在车辆两侧安装长距超声波雷达探测泊车位,可以突破通过长距超声波雷达探测泊车位的局限性。并且通过检测图像中的障碍物,可以将不适合停车的空泊车位(如包含禁停标志、非机动车的泊车位)排除掉。另外,本申请每次是针对单路车载相机采集的图像检测空泊车位区域,而并非针对每路车载相机采集的图像拼接成的环视图检测空泊车位区域,由于由每路车载相机采集的图像拼接成的环视图的有效视野比较窄,更远的距离因畸变在拼接时会被舍弃,因此每次针对单路车载相机采集的图像进行空泊车位区域检测方式,检测视野广且准确率高。
图3A为本申请根据一示例性实施例示出的另一种泊车位检测方法的实施例流程图,基于上述图2A所示实施例的基础上,本实施例以在确定目标泊车位之后,如何实现泊车为例进行示例性说明,如图3A所示,该泊车位检测方法进一步包括:
步骤201:以车辆所在位置为原点建立世界坐标系,并将目标泊车位的角点位置映射到世界坐标系下,得到目标泊车位的角点相对车辆的距离方位关系。
在一实施例中,可以以车辆所在位置为原点建立世界坐标系,以车头方向为Y轴建立世界坐标系,以将目标泊车位的角点位置映射到世界坐标系下,在世界坐标系下的角点坐标即为目标泊车位相对车辆的距离方位关系。
在一实施例中,由于目标泊车位可能不止一个,可以依据每个目标泊车位相对车辆的距离方位关系,从中选择一个目标泊车位以用于后续泊车路径的规划。
其中,可以选择距离车辆最近的目标泊车位规划泊车路径。例如目标泊车位相对车辆的距离方位关系为(x,y,z),距离车辆的距离为
Figure BDA0001823180830000091
步骤202:依据该距离方位关系规划泊车路径,并控制车辆按照该泊车路径停车。
本领域技术人员可以理解的是,针对依据该距离方位关系规划泊车路径的过程,可以通过相关技术实现,在此不再详述。
在一实施例中,在控制车辆按照该泊车路径停车过程中,即在入库阶段,可以将车辆设有的各路车载相机在同一时刻采集的图像拼接为环视图,并将该环视图输入已训练得到的第三神经网络中,由第三神经网络对该环视图进行语义分割,以得到目标泊车位的边线和可行驶区域,然后依据目标泊车位的边线和可行驶区域校正该泊车路径。
其中,在入库阶段通过不断的对车辆四周的环视图进行语义分割,得到目标泊车位的边线和可行驶区域,以不断校正提高泊车精度。假设车辆上设有四路广角车载相机,可以先通过车载相机标定参数和逆透视变换参数,将四路车载相机采集的4幅鱼眼图分别转换为4幅俯视图,然后再将4幅俯视图拼接为一副完整的覆盖车辆四周360度的全景俯视图。第三神经网络可以采用标注了泊车位边线和可行驶区域的样本训练得到,其中的泊车位边线可以包括路沿。如图3B所示,左侧四个小图为四路车载相机采集的鱼眼图,右侧小图为4个小图拼接成的环视图,对该环视图进行语义分割之后,得到白色虚线区域之外的区域为可行驶区域,也即路沿往上为草丛区域(不可行驶区域)。
在一实施例中,在控制所述车辆按照所述泊车路径停车过程中,在入库阶段,也可以在依据车辆四周的车载相机采集的图像确定泊车路径中存在近距离障碍物时,向车辆的驾驶员发出报警信息。
其中,在入库阶段,可以将车辆上设有的多路车载相机均开启,并且可以采用上述第二神经网络识别图像中包含的障碍物,如果泊车路径中出现障碍物,表示障碍物进入危险区域,可以向驾驶员输出报警信息,甚至可以控制车辆刹车。
在一实施例中,在入库阶段,可以当通过车辆设有的短距超声波雷达探测到车辆的前后方存在近距离障碍物时,向车辆的驾驶员发出输出报警信息。
其中,由于通过识别图像中的障碍物,只能识别某些类别的障碍物,对于车辆前进路径上出现的较大石头,却无法通过识别图像得到,因此通过在车辆的前后方设置短距超声波雷达可以探测到类似于石头的障碍物。
需要说明的是,在入库阶段,可以将识别图像中障碍物方式与短距超声波雷达探测障碍物方式结合使用,以精确预警泊车过程中进入危险区域的障碍物,提升泊车安全性。
至此,完成上述图3A所示流程,通过图3A所示流程,实现了安全泊车的过程。
图4为本申请根据一示例性实施例示出的一种电子设备的硬件结构图,该电子设备包括:通信接口301、处理器302、机器可读存储介质303和总线304;其中,通信接口301、处理器302和机器可读存储介质303通过总线304完成相互间的通信。处理器302通过读取并执行机器可读存储介质302中与泊车位检测方法的控制逻辑对应的机器可执行指令,可执行上文描述的泊车位检测方法,该方法的具体内容参见上述实施例,此处不再累述。
本申请中提到的机器可读存储介质303可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:易失存储器、非易失性存储器或者类似的存储介质。具体地,机器可读存储介质303可以是RAM(Radom Access Memory,随机存取存储器)、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、DVD等),或者类似的存储介质,或者它们的组合。
图5为本申请根据一示例性实施例示出的一种泊车位检测装置的实施例结构图,所述泊车位检测装置包括:
第一检测模块410,用于从车辆设有的车载相机所采集的图像中检测空泊车位区域,所述车载相机配置有广角镜头;
第二检测模块420,用于在检测到空泊车位区域时,检测所述图像中存在的至少一个障碍物;
判断模块430,用于依据各个障碍物的位置判断所述空泊车位区域中是否包含至少一个障碍物;
确定模块440,用于在判断不包含时,将所述空泊车位区域确定为目标泊车位。
在一可选实现方式中,所述第一检测模块410,具体用于将所述图像输入已训练得到的第一神经网络中,通过本第一神经网络中的特征提取网络提取所述图像的特征,并将提取的特征输出给本第一神经网络中的候选框检测网络;所述候选框检测网络基于所述特征检测候选框,并将所述候选框的角点输出给本第一神经网络中的角点回归网络;所述角点回归网络对所述候选框的角点进行校正,并将校正后的角点输出给本第一神经网络中的过滤层;所述过滤层通过非极大值抑制对校正后的角点进行过滤,以得到空泊车位的角点;所述空泊车位的角点位置在所述图像中对应的区域为空泊车位区域。
在一可选实现方式中,所述障碍物为指定类型障碍物;所述第二检测模块420,具体用于将所述图像输入已训练得到的第二神经网络中,由所述第二神经网络中的至少一个计算层对所述图像进行识别,以识别出所述图像中的至少一个指定类型的障碍物。
在一可选实现方式中,所述装置还包括(图4中未示出):
停车控制模块,用于在所述确定模块440将所述空泊车位区域确定为目标泊车位之后,以所述车辆所在位置为原点建立世界坐标系;将所述目标泊车位的角点位置映射到所述世界坐标系下,得到所述目标泊车位的角点相对所述车辆的距离方位关系;依据所述距离方位关系规划泊车路径,并控制所述车辆按照所述泊车路径停车。
在一可选实现方式中,所述装置还包括(图4中未示出):
校正模块,用于在所述停车控制模块控制所述车辆按照所述泊车路径停车过程中,将所述车辆设有的各路车载相机在同一时刻采集的图像拼接为环视图;将所述环视图输入已训练得到的第三神经网络中,由所述第三神经网络对所述环视图进行语义分割,以得到所述目标泊车位的边线和可行驶区域;依据所述目标泊车位的边线和可行驶区域校正所述泊车路径。
在一可选实现方式中,所述装置还包括(图4中未示出):
障碍物提示模块,用于在所述控制停车模块控制所述车辆按照所述泊车路径停车过程中,当依据所述车辆四周的车载相机采集的图像确定出所述泊车路径中存在近距离障碍物时,和/或,当通过所述车辆设有的短距超声波雷达探测到所述车辆的前后方存在近距离障碍物时,向所述车辆的驾驶员发出报警信息。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (14)

1.一种泊车位检测方法,其特征在于,所述方法包括:
从车辆设有的车载相机所采集的鱼眼图像中检测空泊车位区域,所述车载相机配置有广角镜头;
若检测到空泊车位区域,则检测所述鱼眼图像中存在的至少一个障碍物;
依据检测到的各个障碍物的位置判断所述鱼眼图像中的所述空泊车位区域中是否包含至少一个障碍物;
若不包含,则将所述空泊车位区域确定为目标泊车位;
以所述车辆所在位置为原点建立世界坐标系;
将所述鱼眼图像中的所述目标泊车位的角点位置映射到所述世界坐标系下,得到所述目标泊车位的角点相对所述车辆的距离方位关系;
依据所述距离方位关系规划泊车路径,并控制所述车辆按照所述泊车路径停车;
将所述车辆设有的各路车载相机在同一时刻采集的鱼眼图像拼接为环视图,依据所述环视图校正所述泊车路径。
2.根据权利要求1所述的方法,其特征在于,所述从车辆设有的车载相机所采集的鱼眼图像中检测空泊车位区域,包括:
将所述鱼眼图像输入已训练得到的第一神经网络中,通过本第一神经网络中的特征提取网络提取所述鱼眼图像的特征,并将提取的特征输出给本第一神经网络中的候选框检测网络;
所述候选框检测网络基于所述特征检测候选框,并将所述候选框的角点输出给本第一神经网络中的角点回归网络;
所述角点回归网络对所述候选框的角点进行校正,并将校正后的角点输出给本第一神经网络中的过滤层;
所述过滤层通过非极大值抑制对校正后的角点进行过滤,以得到空泊车位的角点;
所述空泊车位的角点位置在所述鱼眼图像中对应的区域为空泊车位区域。
3.根据权利要求1所述的方法,其特征在于,所述障碍物为指定类型障碍物;检测所述鱼眼图像中存在的至少一个障碍物,包括:
将所述鱼眼图像输入已训练得到的第二神经网络中,由所述第二神经网络中的至少一个计算层对所述鱼眼图像进行识别,以识别出所述鱼眼图像中的至少一个指定类型的障碍物。
4.根据权利要求1所述的方法,其特征在于,所述依据所述环视图校正所述泊车路径,包括:
将所述环视图输入已训练得到的第三神经网络中,由所述第三神经网络对所述环视图进行语义分割,以得到所述目标泊车位的边线和可行驶区域;
依据所述目标泊车位的边线和可行驶区域校正所述泊车路径。
5.根据权利要求1所述的方法,其特征在于,在控制所述车辆按照所述泊车路径停车过程中,所述方法进一步包括:
当依据所述车辆四周的车载相机采集的鱼眼图像确定出所述泊车路径中存在近距离障碍物时,和/或,当通过所述车辆设有的短距超声波雷达探测到所述车辆的前后方存在近距离障碍物时,向所述车辆的驾驶员发出报警信息。
6.一种泊车位检测装置,其特征在于,所述装置包括:
第一检测模块,用于从车辆设有的车载相机所采集的鱼眼图像中检测空泊车位区域,所述车载相机配置有广角镜头;
第二检测模块,用于在检测到空泊车位区域时,检测所述鱼眼图像中存在的至少一个障碍物;
判断模块,用于依据各个障碍物的位置判断所述鱼眼图像中的所述空泊车位区域中是否包含至少一个障碍物;
确定模块,用于在判断不包含时,将所述空泊车位区域确定为目标泊车位;
停车控制模块,用于在所述确定模块将所述空泊车位区域确定为目标泊车位之后,以所述车辆所在位置为原点建立世界坐标系;将所述鱼眼图像中的所述目标泊车位的角点位置映射到所述世界坐标系下,得到所述目标泊车位的角点相对所述车辆的距离方位关系;依据所述距离方位关系规划泊车路径,并控制所述车辆按照所述泊车路径停车;将所述车辆设有的各路车载相机在同一时刻采集的鱼眼图像拼接为环视图,依据所述环视图校正所述泊车路径。
7.根据权利要求6所述的装置,其特征在于,所述第一检测模块,具体用于将所述鱼眼图像输入已训练得到的第一神经网络中,通过本第一神经网络中的特征提取网络提取所述鱼眼图像的特征,并将提取的特征输出给本第一神经网络中的候选框检测网络;所述候选框检测网络基于所述特征检测候选框,并将所述候选框的角点输出给本第一神经网络中的角点回归网络;所述角点回归网络对所述候选框的角点进行校正,并将校正后的角点输出给本第一神经网络中的过滤层;所述过滤层通过非极大值抑制对校正后的角点进行过滤,以得到空泊车位的角点;所述空泊车位的角点位置在所述鱼眼图像中对应的区域为空泊车位区域。
8.根据权利要求6所述的装置,其特征在于,所述障碍物为指定类型障碍物;所述第二检测模块,具体用于将所述鱼眼图像输入已训练得到的第二神经网络中,由所述第二神经网络中的至少一个计算层对所述鱼眼图像进行识别,以识别出所述鱼眼图像中的至少一个指定类型的障碍物。
9.根据权利要求6所述的装置,其特征在于,所述停车控制模块中,依据所述环视图校正所述泊车路径,包括:
将所述环视图输入已训练得到的第三神经网络中,由所述第三神经网络对所述环视图进行语义分割,以得到所述目标泊车位的边线和可行驶区域;依据所述目标泊车位的边线和可行驶区域校正所述泊车路径。
10.根据权利要求6所述的装置,其特征在于,所述装置还包括:
障碍物提示模块,用于在所述控制停车模块控制所述车辆按照所述泊车路径停车过程中,当依据所述车辆四周的车载相机采集的鱼眼图像确定出所述泊车路径中存在近距离障碍物时,和/或,当通过所述车辆设有的短距超声波雷达探测到所述车辆的前后方存在近距离障碍物时,向所述车辆的驾驶员发出报警信息。
11.一种辅助泊车系统,其特征在于,包括:车辆、设置在所述车辆四周的车载相机,以及设置在所述车辆上的辅助泊车控制器;
所述车载相机,配置有广角镜头,用于采集车辆四周360°范围内的鱼眼图像;
所述辅助泊车控制器,用于从所述车载相机所采集的鱼眼图像中检测空泊车位区域;若检测到空泊车位区域,则检测所述鱼眼图像中存在的至少一个障碍物;依据检测到的各个障碍物的位置判断所述空泊车位区域中是否包含至少一个障碍物;若不包含,则将所述空泊车位区域确定为目标泊车位;
所述辅助泊车控制器,还用于在确定所述目标泊车位之后,以所述车辆所在位置为原点建立世界坐标系;将所述目标泊车位的角点位置映射到所述世界坐标系下,得到所述目标泊车位的角点相对所述车辆的距离方位关系;依据所述距离方位关系规划泊车路径,并控制所述车辆按照所述泊车路径停车;将所述车辆设有的各路车载相机在同一时刻采集的鱼眼图像拼接为环视图,依据所述环视图校正所述泊车路径。
12.根据权利要求11所述的系统,其特征在于,
所述辅助泊车控制器,还用于在所述辅助泊车控制器控制所述车辆按照所述泊车路径停车时,当依据所述车辆四周的车载相机采集的鱼眼图像确定出所述泊车路径中存在近距离障碍物时,向所述车辆的驾驶员发出报警信息。
13.根据权利要求11所述的系统,其特征在于,所述系统还包括设置在所述车辆前方和后方的短距超声波雷达,
所述短距超声波雷达,用于在所述辅助泊车控制器控制所述车辆按照所述泊车路径停车时,探测所述车辆的前后方存在近距离障碍物;
所述辅助泊车控制器,还用于当通过所述短距超声波雷达探测到所述车辆的前后方存在近距离障碍物时,向所述车辆的驾驶员发出报警信息。
14.根据权利要求13所述的系统,其特征在于,所述短距超声波雷达包括8个,分别布置在所述车辆的前后保险杠上;
所述车载相机包括4个,其中两个分别布置于所述车辆的前方和后方,另外两个分别布置于所述车辆两侧的后视镜上。
CN201811173721.7A 2018-10-09 2018-10-09 一种泊车位检测方法及装置 Active CN111028534B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811173721.7A CN111028534B (zh) 2018-10-09 2018-10-09 一种泊车位检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811173721.7A CN111028534B (zh) 2018-10-09 2018-10-09 一种泊车位检测方法及装置

Publications (2)

Publication Number Publication Date
CN111028534A CN111028534A (zh) 2020-04-17
CN111028534B true CN111028534B (zh) 2022-04-26

Family

ID=70190637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811173721.7A Active CN111028534B (zh) 2018-10-09 2018-10-09 一种泊车位检测方法及装置

Country Status (1)

Country Link
CN (1) CN111028534B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753639B (zh) * 2020-05-06 2024-08-16 上海欧菲智能车联科技有限公司 感知地图生成方法、装置、计算机设备和存储介质
CN111582263A (zh) * 2020-05-12 2020-08-25 上海眼控科技股份有限公司 车牌识别方法、装置、电子设备及存储介质
WO2021226912A1 (zh) * 2020-05-14 2021-11-18 上海欧菲智能车联科技有限公司 泊车位确定方法、装置、计算机设备和存储介质
CN111783595B (zh) * 2020-06-24 2022-12-13 中国第一汽车股份有限公司 一种车辆泊车方法、装置、车载设备及存储介质
CN114120260B (zh) * 2020-09-01 2024-08-20 广州汽车集团股份有限公司 可行驶区域识别方法及其系统、计算机设备、存储介质
CN113408514B (zh) * 2021-06-16 2024-06-28 超级视线科技有限公司 一种基于深度学习检测路侧停车场泊位的方法及装置
CN113269163B (zh) * 2021-07-16 2022-06-03 中汽创智科技有限公司 基于鱼眼图像的立体泊车位检测方法及装置
CN113554882A (zh) * 2021-07-20 2021-10-26 阿波罗智联(北京)科技有限公司 用于输出信息的方法、装置、设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103253194A (zh) * 2013-05-17 2013-08-21 黄梅县云泰时代光学仪器有限公司 一种行车辅助系统
CN106485655A (zh) * 2015-09-01 2017-03-08 张长隆 一种基于四旋翼飞行器航拍地图生成系统及方法
CN106494395A (zh) * 2016-09-30 2017-03-15 惠州华阳通用电子有限公司 一种基于数据融合的自动泊车控制方法及装置
CN107256535A (zh) * 2017-06-06 2017-10-17 斑马信息科技有限公司 全景环视图像的显示方法及装置
CN107424116A (zh) * 2017-07-03 2017-12-01 浙江零跑科技有限公司 基于侧环视相机的泊车位检测方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4740723B2 (ja) * 2005-11-28 2011-08-03 富士通株式会社 画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置、および画像解析方法
CN1987357B (zh) * 2006-12-26 2010-05-19 浙江工业大学 基于全方位计算机视觉的智能停车辅助装置
JP2008195268A (ja) * 2007-02-14 2008-08-28 Denso Corp 車両周辺監視装置
DE102011084993A1 (de) * 2011-10-21 2013-04-25 Robert Bosch Gmbh Übernahme von Daten aus bilddatenbasierenden Kartendiensten in ein Assistenzsystem
KR101327736B1 (ko) * 2011-12-23 2013-11-11 현대자동차주식회사 Avm탑뷰 기반 주차지원 시스템
KR101903969B1 (ko) * 2012-05-18 2018-10-04 현대모비스 주식회사 이중주차된 차량의 자동 주차 제어장치 및 그 방법
KR101832466B1 (ko) * 2016-06-14 2018-04-13 엘지전자 주식회사 자동주차 보조장치 및 이를 포함하는 차량
KR101954199B1 (ko) * 2016-12-09 2019-05-17 엘지전자 주식회사 차량용 어라운드 뷰 모니터링 장치, 운행 제어 장치 및 차량
CN106845547B (zh) * 2017-01-23 2018-08-14 重庆邮电大学 一种基于摄像头的智能汽车定位与道路标识识别系统及方法
CN107438873A (zh) * 2017-07-07 2017-12-05 驭势科技(北京)有限公司 一种用于控制车辆行驶的方法与设备
CN107933548A (zh) * 2017-11-15 2018-04-20 杨华军 一种自动泊车的车位识别方法及系统
CN107886080A (zh) * 2017-11-23 2018-04-06 同济大学 一种泊车位检测方法
CN110316182B (zh) * 2018-03-29 2021-07-06 深圳市航盛电子股份有限公司 一种自动泊车系统及方法
CN108437982A (zh) * 2018-05-14 2018-08-24 吉利汽车研究院(宁波)有限公司 一种自动泊车装置及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103253194A (zh) * 2013-05-17 2013-08-21 黄梅县云泰时代光学仪器有限公司 一种行车辅助系统
CN106485655A (zh) * 2015-09-01 2017-03-08 张长隆 一种基于四旋翼飞行器航拍地图生成系统及方法
CN106494395A (zh) * 2016-09-30 2017-03-15 惠州华阳通用电子有限公司 一种基于数据融合的自动泊车控制方法及装置
CN107256535A (zh) * 2017-06-06 2017-10-17 斑马信息科技有限公司 全景环视图像的显示方法及装置
CN107424116A (zh) * 2017-07-03 2017-12-01 浙江零跑科技有限公司 基于侧环视相机的泊车位检测方法

Also Published As

Publication number Publication date
CN111028534A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN111028534B (zh) 一种泊车位检测方法及装置
US10392009B2 (en) Automatic parking system and automatic parking method
US9815460B2 (en) Method and device for safe parking of a vehicle
US10093247B2 (en) Enhanced front curb viewing system
US9400897B2 (en) Method for classifying parking scenarios for a system for parking a motor vehicle
JP6926976B2 (ja) 駐車支援装置及びコンピュータプログラム
JP5399027B2 (ja) 自動車の運転を支援するための、立体画像を捕捉することができるシステムを有するデバイス
US10477102B2 (en) Method and device for determining concealed regions in the vehicle environment of a vehicle
EP3708466B1 (en) Parking assistance device and parking assistance method
US20190329761A1 (en) Automatic parking system and automatic parking method
US10685567B2 (en) Method for determining a parking area for parking a motor vehicle, driver assistance system and motor vehicle
CN112216136A (zh) 泊车位检测方法、装置、车辆及存储介质
EP3756950A1 (en) Parking assist apparatus and parking assist method
EP3771620B1 (en) Parking assistance device and control method of parking assistance device
JP7020353B2 (ja) 物体検出装置
KR20140106126A (ko) 전방위 영상 기반 자동 주차 시스템 및 방법
CN107914639B (zh) 使用外反射镜的车道显示装置及车道显示方法
CN112224197B (zh) 倒车检测泊车位的方法、装置、车辆及存储介质
CN114103812A (zh) 倒车入库引导系统及方法
JP7334572B2 (ja) 物体検知装置および物体検知プログラム
JP7511992B2 (ja) 車両支援装置
EP4239613A1 (en) Parking assistance method and parking assistance device
KR101930884B1 (ko) 전방 차량 검출 장치 및 그 검출 방법
WO2023126097A1 (en) Method and apparatus for generating ground truth for driving boundaries
CN116416584A (zh) 用于其他交通参与方的参考值生成方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant