CN109697860A - 车位检测和跟踪系统及方法及车辆 - Google Patents
车位检测和跟踪系统及方法及车辆 Download PDFInfo
- Publication number
- CN109697860A CN109697860A CN201710987316.8A CN201710987316A CN109697860A CN 109697860 A CN109697860 A CN 109697860A CN 201710987316 A CN201710987316 A CN 201710987316A CN 109697860 A CN109697860 A CN 109697860A
- Authority
- CN
- China
- Prior art keywords
- parking stall
- parking
- information
- vehicle
- space information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种车位检测和跟踪系统及方法及车辆。车辆包括车辆引导系统。车位检测和跟踪系统包括多个相机、环视图生成模块、车位信息检测模块、车位判断模块和车位跟踪模块。多个相机用于采集车辆不同预定区域的多个图像;环视图生成模块用于根据多个图像生成车位鸟瞰环视图;车位信息检测模块用于根据车位鸟瞰环视图检测车位,车位包括车位信息;车位判断模块用于根据车位信息判断车位位置和车位类型;车位跟踪模块用于动态跟踪车位以将车位信息持续更新为当前车位信息,并将当前车位信息传给车辆引导系统。如此,上述实施方式的车位检测和跟踪系统可以满足大多数的车位类型的需求,并且车位检测和跟踪系统的精度高,定位准确,用户体验性好。
Description
技术领域
本发明涉及车位检测和跟踪技术,特别涉及一种车位检测和跟踪系统及方法及车辆。
背景技术
在相关技术中,自动泊车系统无法满足大多数的车位类型的需求,而且自动泊车系统精度较低,无法准确定位车位和实现自动泊车稳定性差,用户体验性差。
发明内容
本发明需要提供一种车位检测和跟踪系统及方法及车辆。
本发明实施方式的车位检测和跟踪系统,用于车辆,所述车辆包括车辆引导系统,所述车位检测和跟踪系统包括:
多个相机,所述多个相机用于采集所述车辆外多个不同预定区域的多个图像;
环视图生成模块,所述环视图生成模块用于根据所述多个图像生成车位鸟瞰环视图;
车位信息检测模块,所述车位信息检测模块用于根据所述车位鸟瞰环视图检测车位,所述车位包括车位信息;
车位判断模块,所述车位判断模块用于根据所述车位信息判断车位位置和车位类型;
车位跟踪模块,所述车位跟踪模块用于动态跟踪所述车位以将所述车位信息持续更新为当前车位信息,并将所述当前车位信息传给所述车辆引导系统。
本发明实施方式的车位检测和跟踪系统,通过车位鸟瞰环视图以检测车位信息,并且动态跟踪车位以持续更新车位信息,最终根据车位信息实现自动泊车,如此,上述实施方式的车位检测和跟踪系统可以满足大多数的车位类型的需求,并且车位检测和跟踪系统的精度高,定位准确,用户体验性好。
在某些实施方式中,所述多个相机包括所述车辆的前视相机、后视相机、左视相机和右视相机,所述多个图像包括前视图像、后视图像、左视图像和右视图像。如此,可以通过多个相机较为全面地采集车辆外各个区域的多个图像。
在某些实施方式中,所述相机包括鱼眼相机,所述环视图生成模块用于处理所述鱼眼相机采集的图像以矫正所述图像的畸变,并根据矫正畸变后的所述图像形成所述车位鸟瞰环视图。如此,可以利用鱼眼相机的大视场角的特性来获得更宽的视野。
在某些实施方式中,所述车位信息包括车位特征信息,或所述车位信息包括虚拟车位信息和路面分割信息。如此,通过车位特征信息,或虚拟车位信息和路面分割信息可以快速准确测出车位位置和车位类型。
在某些实施方式中,所述车位鸟瞰环视图包括车位线,所述车位信息检测模块包括第一车位检测单元,所述第一车位检测单元用于根据所述车位鸟瞰环视图检测所述车位线的所述车位特征信息,所述车位特征信息包括所述车位线的线和角点的信息。如此,通过车位线的线和角点信息可以快速和准确判断车位的位置和车位的类型
在某些实施方式中,所述车位信息检测模块包括路面分割信息单元和第二车位检测单元,所述路面分割信息单元用于对所述车位鸟瞰环视图进行图像分割以获取所述路面分割信息,所述路面分割信息包括路面空闲和非空闲区域的标注信息,所述第二车位检测单元用于根据所述路面分割信息确定虚拟车位线,得到虚拟车位信息,所述虚拟车位信息包括所述虚拟线、车位长宽和位置的信息。如此,通过路面分割信息单元和第二车位检测单元可快速检测无标记车位,从而可根据检测结果判断无标记车位的车位类型。
在某些实施方式中,所述车位跟踪模块用于通过滤波算法将所述车位鸟瞰环视图的当前帧较上一帧的所述车位的运动矢量和车位特征信息进行融合以更新所述车位信息,或用于通过滤波算法将所述车位鸟瞰环视图的当前帧较上一帧的所述车位的运动矢量和所述虚拟车位信息进行融合以更新所述车位信息。如此,车位跟踪模块可实时更新车位信息以实现准确的自动泊车。
本发明实施方式还提供一种车位检测和跟踪方法,用于车辆,所述车辆包括车辆引导系统,车位检测和跟踪方法包括:
采集所述车辆外多个不同预定区域的多个图像;
根据所述多个图像生成车位鸟瞰环视图;
根据所述车位鸟瞰环视图检测车位,所述车位包括车位信息;
根据所述车位信息判断车位位置和车位类型;
动态跟踪所述车位以将所述车位信息持续更新为当前车位信息,并将所述当前车位信息传给所述车辆引导系统。
本发明实施方式的车位检测和跟踪方法,通过车位鸟瞰环视图以检测车位信息,并且动态跟踪车位以持续更新车位信息,最终根据车位信息实现自动泊车,如此,上述实施方式的车位检测和跟踪方法可以满足大多数的车位类型的需求,并且车位检测和跟踪方法的精度高,定位准确,用户体验性好。
在某些实施方式中,所述车位信息包括车位特征信息,所述车位鸟瞰环视图包括车位线,所述根据所述车位鸟瞰环视图检测车位的步骤包括步骤:根据所述车位鸟瞰环视图检测所述车位线的所述车位特征信息,所述车位特征信息包括所述车位线的线和角点的信息。如此,通过车位线的线和角点信息可以快速和准确判断车位的位置和车位的类型。
在某些实施方式中,所述车位信息包括虚拟车位信息和路面分割信息,所述根据所述车位鸟瞰环视图检测车位的步骤包括步骤:
根据所述车位鸟瞰环视图获取所述路面分割信息,所述路面分割信息包括路面空闲和非空闲区域的标注信息;
根据所述路面分割信息确定虚拟车位线,得到虚拟车位信息;所述虚拟车位信息包括所述虚拟线、车位长宽和位置的信息。
如此,通过路面分割信息单元和第二车位检测单元可快速检测无标记车位,从而可根据检测结果判断无标记车位的车位类型。
本发明实施方式的一种车辆,包括车辆引导系统和上述任一实施方式的车位检测和跟踪系统,所述车辆引导系统连接所述车位检测和跟踪系统。
本发明实施方式的车辆中,车位检测和跟踪系统可以满足大多数的车位类型的需求,并且车位检测和跟踪系统的精度高,定位准确,用户体验性好。
本发明的附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本发明实施方式的车位检测和跟踪系统的模块示意图。
图2是本发明实施方式的车位检测和跟踪系统的车位鸟瞰环视图的示意图。
图3是本发明实施方式的车位检测和跟踪方法的一个流程示意图。
图4是本发明实施方式的车位检测和跟踪系统的另一模块示意图。
图5是本发明实施方式的车位检测和跟踪系统检测到的车位信息的线和角点的采集示意图。
图6是本发明实施方式的车位检测和跟踪系统的又一模块示意图。
图7是本发明实施方式的车位检测和跟踪方法的另一个流程示意图。
图8是本发明实施方式的车位检测和跟踪系统的采集无车位线的图像和标定有虚拟车位线的图像示意图。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明的实施方式,而不能理解为对本发明的实施方式的限制。
请参阅图1-2,本发明实施方式的车位检测和跟踪系统100,用于车辆,车辆包括车辆引导系统200。车位检测和跟踪系统100包括多个相机10、环视图生成模块20、车位信息检测模块30、车位判断模块40和车位跟踪模块50。多个相机10用于采集车辆外多个预定区域的多个图像。环视图生成模块20用于根据多个图像生成车位鸟瞰环视图。车位信息检测模块30用于根据车位鸟瞰环视图检测车位,车位包括车位信息。车位判断模块40用于根据车位信息判断车位位置和车位类型。车位跟踪模块50用于动态跟踪车位以将车位信息持续更新为当前车位信息,并将当前车位信息传给车辆引导系统200。
请参阅图3,本发明实施方式的车位检测和跟踪方法包括以下步骤:
S10,采集车辆外多个预定区域的多个图像;
S20,根据多个图像生成车位鸟瞰环视图;
S30,根据车位鸟瞰环视图检测车位,车位包括车位信息;
S40,根据车位信息判断车位位置和车位类型;
S50,动态跟踪车位以将车位信息持续更新为当前车位信息,并将当前车位信息传给车辆引导系统。
作为例子,本发明实施方式的车位检测和跟踪方法可以由本发明实施方式的车位检测和跟踪系统100实现。
其中,步骤S10可由多个相机10实现,步骤S20可由环视图生成模块20实现,步骤S30可由车位信息检测模块30实现。步骤S40可由车位判断模块40实现。步骤S50可由车位跟踪模块50实现。
本发明实施方式的车位检测和跟踪系统100及车位检测和跟踪方法,通过车位鸟瞰环视图以检测车位,并且动态跟踪车位以持续更新车位信息,最终根据车位信息实现自动泊车,如此,上述实施方式的车位检测和跟踪系统及车位检测和跟踪方法可以满足大多数的车位类型的需求,并且车位检测和跟踪系统及方法的精度高,定位准确,用户体验性好。
可以理解,多个相机10分别设置在车辆的不同位置,以使得相机10能采集到车辆外多个预定区域的图像。相机10的数量可以根据实际需求进行限定。
环视图生成模块20可从相机10所采集的多个图像中提取包含有特征物的图像,从特征物图像中提取特征物有用的信息,并且对特征物有用的信息进行标定优化以得到标定结果,最终根据标定结果对图像进行拼接以得到车位鸟瞰环视图。例如,图2为环视图生成模块20生成的一个车位鸟瞰环视图的示意图。在车位鸟瞰环视图中,中间黑色部分代表车辆,车辆右后方的白色框代表车位,车位的位置位于车辆的右后方。
车位信息检测模块30可根据车位鸟瞰环视图中有车辆覆盖区域和无车辆覆盖区域进行定位和分析,以确定可用车位。车位信息包括有车位线的车位信息和无车位线的车位信息。车位信息可以理解为可用车位的车位信息。
通常地,车位检测和跟踪系统100安装在车辆上,车位跟踪模块50将移动的车辆作为参照物,而车位位置随着车辆的移动而移动。由于车辆的运行,以使车位信息检测模块30所采集的车位信息不断发生改变,而车辆跟踪模块50能跟踪车辆的运动以同步将不断变化的车位信息更新为当前车位信息。同时,车位跟踪模块50将当前车位信息传给车辆引导系统200,车辆引导系统200在收到控制指令后,可实现自动泊车。在本发明实施方式中,由于在车位类型一般是不变的,因此,动态跟踪车位是为了更新车位位置,当前车位信息包括更新后的车位位置信息,这样可使得车位跟踪模块实时获取车位的位置,以便对车辆引导系统200给出更准确的控制指令。
可以理解,车辆引导系统200在收到控制指令后,如何实现自动泊车可参相关技术中的自动泊车技术,在此不再详细展开。
在某些实施方式中,多个相机10包括车辆的前视相机、后视相机、左视相机和右视相机。多个图像包括前视图像、后视图像、左视图像和右视图像。
如此,可以通过多个相机10较为全面地采集车辆外各个区域的多个图像。
具体地,前视相机可指用于采集车辆前方区域的图像的相机,一般设置在车辆的前方;后视相机可指用于采集车辆后方区域的图像的相机,一般设置在车辆的后方;左视相机可指用于采集车辆左方区域的图像的相机,一般设置在车辆左后视镜;右视相机可指用于采集车辆右方区域的图像的相机,一般设置在车辆的右后视镜。通过前视相机、后视相机、左视相机和右视相机采集车辆外各个方位上的图像,能够获取车辆前后左右四个方向的视野,从而可以获得车位鸟瞰环视图以侦测车辆外各个区域上的情况。
在某些实施方式中,相机10包括鱼眼相机,环视图生成模块20用于处理鱼眼相机采集的图像以矫正多个图像的畸变,并根据矫正畸变后的图像形成车位鸟瞰环视图。
如此,可以利用鱼眼相机的大视场角的特性来获得更宽的视野。
具体地,鱼眼相机可指带有鱼眼镜头的相机,鱼眼镜头可指视场角大于预设角度的镜头,例如视场角大于180度的镜头。由于鱼眼相机为了追求较大的视场角,鱼眼相机拍摄的图像容易存在畸变,因此在利用鱼眼相机获取图像时,一般需要处理图像以矫正图像的畸变,进而可以根据矫正后的图像形成环视图(也称全景图像)。
在某些实施方式中,在相机10采用鱼眼相机时,可以采用一个前视鱼眼相机、一个后视鱼眼相机、一个左视鱼眼相机和一个右视鱼眼相机采集四个图像以形成车位鸟瞰环视图。在其他实施方式中,可以采用多个前视相机、多个后视相机、多个左视相机和多个右视相机采集多个图像以形成车位鸟瞰环视图。
在某些实施方式中,车位信息包括车位特征信息,或车位信息包括虚拟车位信息和路面分割信息。
如此,通过车位特征信息,或虚拟车位信息和路面分割信息可以快速准确测出车位位置和车位类型。
可以理解,在一个实施方式中,车位信息包括车位特性信息。车位信息为有标记的车位线的信息。车位信息包括车位线的长度、宽度、位置及颜色等信息。这样的实施方式应用的场景是,路面是画有车位线的。因此,在车位鸟瞰环视图中会存在实际的车位线。
在另一个实施方式中,车位信息包括虚拟车位信息和路面分割信息。车位信息为无标记车位线的车位信息。路面分割信息包括路面横轴和纵轴的分割信息、无覆盖车辆的空闲区域的面积及方位等信息。虚拟车位信息包括空闲区域的长度、宽度及位置等信息。这样的实施方式应用的场景是,路面是无画有车位线的。因此,在车位鸟瞰环视图中不会实际的车位线。
请参阅图4,在某些实施方式中,车位鸟瞰环视图包括车位线。车位信息检测模块30包括第一车位检测单元32。第一车位检测单元32用于根据车位鸟瞰环视图检测车位线的车位特征信息。车位特征信息包括车位线的线和角点的信息。
在某些实施方式中,车位信息包括车位特征信息,车位鸟瞰环视图包括车位线,步骤S30还包括以下步骤:
S32,根据车位鸟瞰环视图检测车位线的车位特征信息,车位特征信息包括车位线的线和角点的信息。
在某些实施方式中,步骤S32可以由第一车位检测单元32实现。
如此,通过车位线的线和角点信息可以快速和准确判断车位位置和车位的类型。
具体的,在路面画有车位线的情况下,第一车位检测单元32用于对车位鸟瞰环视图中的车位线进行线特征提取和角点检测。线特征提取是通过在车位鸟瞰环视图上通过梯度算子横向和纵向计算,满足一定阀值的线被认为是车位线(landmark,地标),从而通过车位线可以得到车位线段的宽度、颜色和位置。然后在一定的角度范围内通过Ransac算法和hough变换对每个车位线小线段进行拟合,从而得到当前线的属性(宽度,颜色及极坐标等)。角点检测是指采用adboost和harr-like特征构建分类器,作为角点筛选粗分类器,采用卷积神经网络构建角点分类器,作为精分类器,两种分类器采用级联方式在车位鸟瞰环视图上进行检测,最终输出角点的属性(位置、种类和置信度等)
请参阅图5,第一车位检测单元32检测车位线的线的属性和角点的属性。对线和角点进行多种组合,线和角点的组合方式多样,如图示5的(a)-(e)。车位判断模块40通过线和角点的组合方式判断车位类型。车位类型包括垂直车位、水平车位和斜车位。在一个例子中,如图5(a)所示,第一车位检测单元32可根据车位鸟瞰环视图对图像区域I和II进行图像分析。在区域I中检测到车位线的角点为T形角点,在区域II中检测到车位线的角点为T形角点,并且第一车位检测单元32检测到两个T形角点连接的短线和平行的两条长线。如此,车位判断模块40根据上述的线和角点的信息可判断出图5(a)为垂直车位。车位信息检测模块30根据车位线的线和角点的信息的组合的数据信息和车位类型(例如垂直车位)可得出一种车位模式,车位模式包含的是车位类型与车位线的线和角点的信息的组合的对应关系。
在另一个例子中,如图5(d)所示,第一车位检测单元32可根据车位鸟瞰环视图对图像区域III和IV进行图像分析。在区域III中检测到车位线的角点为斜T形角点,在区域IV中检测到车位线的角点为斜T形角点,区域III的斜T形角点和区域IV的斜T形角点均满足斜车位的角点属性,并且第一车位检测单元32检测到两个斜T形角点连接的短线和平行的两条长线。如此,车位判断模块40根据上述的线和角点信息可判断出图5(d)为斜车位。
另外,对于图5(b)、(c)和(e),虽然车位信息检测模块30检测到的车位线的线和角点的信息不同,但车位判断模块40根据这些车位线的线和角点的信息判断车位均为垂直车位。
对于车位的位置,则根据车位检测和跟踪系统100检测车位时,车辆与车位的实际位置来确定。例如,请参图2,在车位鸟瞰环视图中,中间黑色部分代表车辆,车位检测和跟踪系统检测车位时,车辆停在车位的左前方,则车位判断模块一方面判断车位为水平车位,另一方面,根据车位鸟瞰环视图中的车辆位置与车位的位置,确定车位位于车辆的右后方。
请参阅图6,在某些实施方式中,车位信息检测模块30包括路面分割信息单元34和第二车位检测单元36。路面分割信息单元34用于对车位鸟瞰环视图进行分割以获取路面分割信息。第二车位检测单元36用于根据所述路面分割信息确定虚拟车位线,得到虚拟车位信息,所述虚拟车位信息包括所述虚拟线、车位长宽和位置的信息。
请参阅图7,在某些实施方式中,步骤S30还包括以下步骤:
S34,对车位鸟瞰环视图进行图像分割以获取路面分割信息;
S36,根据所述路面分割信息确定虚拟车位线,得到虚拟车位信息,所述虚拟车位信息包括所述虚拟线、车位长宽和位置的信息。
在某些实施方式中,步骤S34可由路面分割信息单元34实现。步骤S36可由第二车位检测单元36实现。
如此,通过路面分割信息单元34和第二车位检测单元36可快速检测无标记车位,从而可根据检测结果判断无标记车位的车位类型和车位位置。
具体的,请参阅图8,在路面无画有车位线的情况下,在一个例子中,四个鱼眼相机分别对车辆外的前后左右的四个区域进行图像采集以生成车位鸟瞰环视图。路面分割信息单元34对车位鸟瞰环视图进行图像分割,对无车辆覆盖的区域边界使用颜色标注(例如绿色),而对有车辆覆盖的区域不标注颜色。第二车位检测单元36对标注颜色的无车辆覆盖的区域进行分析以确定当前区域可作为车位,并在车位鸟瞰环视图上进行虚拟车位线的确定,然后可以得到车位的位置、车位的长度及宽度,并且通过车位的位置和车位的长度及宽度以判断车位类型。
具体地,请参阅图8,图8的虚拟车位线为手动添加,实际上虚拟车位线不会出现在车位鸟瞰环视图上,在一个实施方式中,第二车位检测单元36可以检测车位的靠近路边边界线(虚拟车位线的左长边)的位置信息以及长度信息,并且检测有车辆覆盖区域的边界线(虚拟车位线的前后短边)的位置信息及长度信息。进一步地,车位判断模块40通过检测到车位信息以判断车位的类型。
在某些实施方式中,车位跟踪模块50用于通过滤波算法将车位鸟瞰环视图的当前帧较上一帧的车位的运动矢量和车位特征信息进行融合以更新车位信息。
如此,车位跟踪模块50可实时更新车位信息以实现准确的自动泊车。
具体的,当车位判断模块40选定泊车的车位后,车位信息检测模块30可停止工作,车位跟踪模块50开启工作的模式。在一个例子中,在路面画有车位线的情况下,在泊车的过程中,车位跟踪模块50对车位鸟瞰环视图中的车位选取一个感兴趣区域(例如以特征角点为圆心,半径为R的圆形区域)进行线特征提取和角点提取,以此不断修正和更新当前车位的线的属性和角点属性。由于车辆不断在移动,而车位相对于车辆也不停地进行移动。车位跟踪模块50可根据车辆运动参数(例如车位四个轮速、车速传感器脉冲数据、档位状态和车辆行进方向等信息)生成车辆运动模型,而车辆运动模型可显示在车位鸟瞰环视图上。本实施方式中,车位跟踪模块50通过滤波算法将车位鸟瞰环视图的当前帧较上一帧的车位的运动矢量和车位特性信息来更新车位信息,例如,在一个实施例中,通过运动模式给出的运动矢量得到一个车位预测结果信息A,而车位信息检测模块通过车位特征检测得到另一个车位预测结果B,而车位预测结果信息A和车位预测结果B通过滤波算法进行信息融合以得出最终的车位信息。需要指出的是,滤波算法包括kalman滤波。
可以理解,车位的运动矢量是指车位相对于车辆运动模型的坐标系的运动,也就是说,可将车辆作为参照物来建立坐标系,车位在该坐标系中的位置变化而获得车位的运动矢量。然后车位跟踪模块50将更新车位信息传给车辆引导系统200以实现自动泊车。更具体地,更新的车位信息主要是指车位位置的更新,因在车辆的泊车过程中,由于是以车辆为参照物,因此车位相对于车辆是移动的,而车位类型在车辆泊车过程中通常是不变的。可以理解,车辆运动参数包含在车辆CAN信息中,遵循CAN总线协议(控制器局域网总线),车辆运动参数是通过车辆传感器获取,车辆运动参数包含车位四个轮速、车速传感器脉冲数据、档位状态和车辆行进方向等信息。
在某些实施方式中,车位跟踪模块50用于通过滤波算法将车位鸟瞰环视图的当前帧较上一帧的运动矢量和虚拟车位信息进行融合以更新车位信息。
如此,车位跟踪模块50可实时更新车位信息以实现准确的自动泊车。
在一个例子中,在路面无画有车位线的情况下,在泊车的过程中,车位跟踪模块50根据路面分割信息单元34和第二车位检测单元36所获取的路面分割图像和虚拟车位线进行分析,在虚拟车位线的前后两条边界线(或者一条边界线)周围搜索每一帧的边界线,以得到边界线更新后的虚拟车位信息。车位跟踪模块50通过kalman滤波将车位鸟瞰环视图的当前帧较上一帧的运动矢量和更新的虚拟车位信息进行信息融合,进而得到更新后的车位信息,并且车位跟踪模块50将更新后的车位信息发送给车辆引导系统200。
本发明实施方式还提供一种车辆,车辆包括车辆引导系统200和车位检测和跟踪系统100。车辆引导系统200连接车位检测和跟踪系统100。
本发明实施方式的车辆中,车位检测和跟踪系统100可以满足大多数的车位类型的需求,并且车位检测和跟踪系统100的精度高,定位准确,用户体验性好。
在本发明的实施方式的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的实施方式的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明的实施方式的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接或可以相互通讯;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明的实施方式中的具体含义。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明的各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (11)
1.一种车位检测和跟踪系统,用于车辆,所述车辆包括车辆引导系统,其特征在于,所述车位检测和跟踪系统包括:
多个相机,所述多个相机用于采集所述车辆外多个预定区域的多个图像;
环视图生成模块,所述环视图生成模块用于根据所述多个图像生成车位鸟瞰环视图;
车位信息检测模块,所述车位信息检测模块用于根据所述车位鸟瞰环视图检测车位,所述车位包括车位信息;
车位判断模块,所述车位判断模块用于根据所述车位信息判断车位位置和车位类型;
车位跟踪模块,所述车位跟踪模块用于动态跟踪所述车位以将所述车位信息持续更新为当前车位信息,并将所述当前车位信息传给所述车辆引导系统。
2.如权利要求1所述的车位检测和跟踪系统,其特征在于,所述多个相机包括所述车辆的前视相机、后视相机、左视相机和右视相机,所述多个图像包括前视图像、后视图像、左视图像和右视图像。
3.如权利要求1所述的车位检测和跟踪系统,其特征在于,所述相机包括鱼眼相机,所述环视图生成模块用于处理所述鱼眼相机采集的图像以矫正所述图像的畸变,并根据矫正畸变后的所述图像形成所述车位鸟瞰环视图。
4.如权利要求1所述的车位检测和跟踪系统,其特征在于,所述车位信息包括车位特征信息,或所述车位信息包括所述虚拟车位信息和路面分割信息。
5.如权利要求4所述的车位检测和跟踪系统,其特征在于,所述车位鸟瞰环视图包括车位线,所述车位信息检测模块包括第一车位检测单元,所述第一车位检测单元用于根据所述车位鸟瞰环视图检测所述车位线的所述车位特征信息,所述车位特征信息包括所述车位线的线和角点的信息。
6.如权利要求4所述的车位检测和跟踪系统,其特征在于,所述车位信息检测模块包括路面分割信息单元和第二车位检测单元,所述路面分割信息单元用于对所述车位鸟瞰环视图进行图像分割以获取所述路面分割信息,所述路面分割信息包括路面空闲和非空闲区域的标注信息,所述第二车位检测单元用于根据所述路面分割信息确定虚拟车位线,得到虚拟车位信息,所述虚拟车位信息包括所述虚拟线、车位长宽和位置的信息。
7.如权利要求4所述的车位检测和跟踪系统,其特征在于,所述车位跟踪模块用于通过滤波算法将所述车位鸟瞰环视图的当前帧较上一帧的所述车位的运动矢量和车位特征信息进行融合以更新所述车位信息,或用于通过滤波算法将所述车位鸟瞰环视图的当前帧较上一帧的所述车位的运动矢量和所述虚拟车位信息进行融合以更新所述车位信息。
8.一种车位检测和跟踪方法,用于车辆,所述车辆包括车辆引导系统,其特征在于,所述车位检测和跟踪方法包括:
采集所述车辆外多个预定区域的多个图像;
根据所述多个图像生成车位鸟瞰环视图;
根据所述车位鸟瞰环视图检测车位,所述车位包括车位信息;
根据所述车位信息判断车位位置和车位类型;
动态跟踪所述车位以将所述车位信息持续更新为当前车位信息,并将所述当前车位信息传给所述车辆引导系统。
9.如权利要求8所述的车位检测和跟踪方法,其特征在于,所述车位信息包括车位特征信息,所述车位鸟瞰环视图包括车位线,所述根据所述车位鸟瞰环视图检测车位的步骤包括步骤:
根据所述车位鸟瞰环视图检测所述车位线的所述车位特征信息,所述车位特征信息包括所述车位线的线和角点的信息。
10.如权利要求8所述的车位检测和跟踪方法,其特征在于,所述车位信息包括虚拟车位信息和路面分割信息,所述根据所述车位鸟瞰环视图检测车位的步骤包括步骤:
对所述车位鸟瞰环视图进行图像分割以获取所述路面分割信息,所述路面分割信息包括路面空闲和非空闲区域的标注信息,并根据所述路面分割信息确定虚拟车位线,得到虚拟车位的信息;所述虚拟车位信息包含虚拟线、车位长宽和位置的信息。
11.一种车辆,其特征在于,包括车辆引导系统和权利要求1-7任一项所述的车位检测和跟踪系统,所述车辆引导系统连接所述车位检测和跟踪系统。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710987316.8A CN109697860A (zh) | 2017-10-20 | 2017-10-20 | 车位检测和跟踪系统及方法及车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710987316.8A CN109697860A (zh) | 2017-10-20 | 2017-10-20 | 车位检测和跟踪系统及方法及车辆 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109697860A true CN109697860A (zh) | 2019-04-30 |
Family
ID=66225530
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710987316.8A Pending CN109697860A (zh) | 2017-10-20 | 2017-10-20 | 车位检测和跟踪系统及方法及车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109697860A (zh) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110415550A (zh) * | 2019-07-31 | 2019-11-05 | 北京智行者科技有限公司 | 基于视觉的自动泊车方法 |
CN110472580A (zh) * | 2019-08-16 | 2019-11-19 | 北京茵沃汽车科技有限公司 | 基于全景影像的检测车位的方法、装置、存储介质 |
CN110852313A (zh) * | 2020-01-15 | 2020-02-28 | 魔视智能科技(上海)有限公司 | 一种车位检测方法 |
CN111160172A (zh) * | 2019-12-19 | 2020-05-15 | 深圳佑驾创新科技有限公司 | 泊车位检测方法、装置、计算机设备和存储介质 |
CN112037265A (zh) * | 2020-11-04 | 2020-12-04 | 天津天瞳威势电子科技有限公司 | 一种库位跟踪方法及装置 |
CN112183413A (zh) * | 2020-09-30 | 2021-01-05 | 东风柳州汽车有限公司 | 一种车位检测方法、装置、存储介质及车辆 |
CN112201078A (zh) * | 2020-09-30 | 2021-01-08 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于图神经网络的自动泊车停车位检测方法 |
CN112348845A (zh) * | 2019-08-06 | 2021-02-09 | 黑芝麻智能科技(重庆)有限公司 | 用于停车位检测和跟踪的系统和方法 |
CN113034963A (zh) * | 2021-03-02 | 2021-06-25 | 英博超算(南京)科技有限公司 | 一种视觉车位跟踪系统 |
CN113160605A (zh) * | 2020-12-22 | 2021-07-23 | 东风汽车集团有限公司 | 一种融合的车位识别方法 |
CN113255405A (zh) * | 2020-02-12 | 2021-08-13 | 广州汽车集团股份有限公司 | 车位线识别方法及其系统、车位线识别设备、存储介质 |
CN113482423A (zh) * | 2021-06-01 | 2021-10-08 | 上海追势科技有限公司 | 一种机械立体库位宽度推送方法 |
CN113538523A (zh) * | 2021-09-17 | 2021-10-22 | 魔视智能科技(上海)有限公司 | 车位检测跟踪方法、电子设备及车辆 |
CN114067598A (zh) * | 2020-07-30 | 2022-02-18 | 上汽通用汽车有限公司 | 确定空闲车位的方法、装置 |
CN115063484A (zh) * | 2022-06-28 | 2022-09-16 | 上海高德威智能交通系统有限公司 | 一种立体泊位的视觉定位方法、装置、辅助驾驶系统 |
CN115063776A (zh) * | 2022-06-23 | 2022-09-16 | 长春一汽富晟集团有限公司 | 一种基于图像处理的车位检测方法 |
CN115083199A (zh) * | 2021-03-12 | 2022-09-20 | 上海汽车集团股份有限公司 | 一种车位信息确定方法及其相关设备 |
CN115148047A (zh) * | 2022-07-25 | 2022-10-04 | 中汽创智科技有限公司 | 一种车位检测方法及装置 |
US11514795B1 (en) | 2021-05-18 | 2022-11-29 | Ford Global Technologies, Llc | Systems and methods of projecting virtual parking lines |
WO2023272685A1 (en) * | 2021-07-01 | 2023-01-05 | Harman International Industries, Incorporated | Method and system for parking slot detection |
EP4119408A4 (en) * | 2020-04-08 | 2023-08-23 | Huawei Technologies Co., Ltd. | DATA PROCESSING METHOD AND DEVICE |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101414411A (zh) * | 2007-10-17 | 2009-04-22 | 财团法人工业技术研究院 | 影像式的空位侦测系统与方法 |
CN103600707A (zh) * | 2013-11-06 | 2014-02-26 | 同济大学 | 一种智能泊车系统的泊车位检测装置及方法 |
CN103770704A (zh) * | 2012-10-24 | 2014-05-07 | 现代自动车株式会社 | 用于识别车辆的停车位标志线的系统和方法 |
CN104916163A (zh) * | 2015-06-29 | 2015-09-16 | 惠州华阳通用电子有限公司 | 泊车位检测方法 |
US9542609B2 (en) * | 2014-02-04 | 2017-01-10 | Xerox Corporation | Automatic training of a parked vehicle detector for large deployment |
CN106952308A (zh) * | 2017-04-01 | 2017-07-14 | 上海蔚来汽车有限公司 | 运动物体的位置确定方法及系统 |
-
2017
- 2017-10-20 CN CN201710987316.8A patent/CN109697860A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101414411A (zh) * | 2007-10-17 | 2009-04-22 | 财团法人工业技术研究院 | 影像式的空位侦测系统与方法 |
CN103770704A (zh) * | 2012-10-24 | 2014-05-07 | 现代自动车株式会社 | 用于识别车辆的停车位标志线的系统和方法 |
CN103600707A (zh) * | 2013-11-06 | 2014-02-26 | 同济大学 | 一种智能泊车系统的泊车位检测装置及方法 |
US9542609B2 (en) * | 2014-02-04 | 2017-01-10 | Xerox Corporation | Automatic training of a parked vehicle detector for large deployment |
CN104916163A (zh) * | 2015-06-29 | 2015-09-16 | 惠州华阳通用电子有限公司 | 泊车位检测方法 |
CN106952308A (zh) * | 2017-04-01 | 2017-07-14 | 上海蔚来汽车有限公司 | 运动物体的位置确定方法及系统 |
Non-Patent Citations (3)
Title |
---|
吴贯亮: "基于多路摄像头的二维环视图生成方法研究与实现", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
张聪: "基于鱼眼镜头的车载全景环视系统", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
邹存宇: "超广角镜头的标定及其在车载环视系统中的应用", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110415550A (zh) * | 2019-07-31 | 2019-11-05 | 北京智行者科技有限公司 | 基于视觉的自动泊车方法 |
CN112348845B (zh) * | 2019-08-06 | 2024-02-23 | 黑芝麻智能科技(重庆)有限公司 | 用于停车位检测和跟踪的系统和方法 |
CN112348845A (zh) * | 2019-08-06 | 2021-02-09 | 黑芝麻智能科技(重庆)有限公司 | 用于停车位检测和跟踪的系统和方法 |
CN110472580A (zh) * | 2019-08-16 | 2019-11-19 | 北京茵沃汽车科技有限公司 | 基于全景影像的检测车位的方法、装置、存储介质 |
CN111160172B (zh) * | 2019-12-19 | 2024-04-16 | 武汉佑驾创新科技有限公司 | 泊车位检测方法、装置、计算机设备和存储介质 |
CN111160172A (zh) * | 2019-12-19 | 2020-05-15 | 深圳佑驾创新科技有限公司 | 泊车位检测方法、装置、计算机设备和存储介质 |
CN110852313B (zh) * | 2020-01-15 | 2020-04-17 | 魔视智能科技(上海)有限公司 | 一种车位检测方法 |
CN110852313A (zh) * | 2020-01-15 | 2020-02-28 | 魔视智能科技(上海)有限公司 | 一种车位检测方法 |
CN113255405A (zh) * | 2020-02-12 | 2021-08-13 | 广州汽车集团股份有限公司 | 车位线识别方法及其系统、车位线识别设备、存储介质 |
EP4119408A4 (en) * | 2020-04-08 | 2023-08-23 | Huawei Technologies Co., Ltd. | DATA PROCESSING METHOD AND DEVICE |
CN114067598A (zh) * | 2020-07-30 | 2022-02-18 | 上汽通用汽车有限公司 | 确定空闲车位的方法、装置 |
CN112201078A (zh) * | 2020-09-30 | 2021-01-08 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于图神经网络的自动泊车停车位检测方法 |
CN112183413A (zh) * | 2020-09-30 | 2021-01-05 | 东风柳州汽车有限公司 | 一种车位检测方法、装置、存储介质及车辆 |
CN112183413B (zh) * | 2020-09-30 | 2024-05-14 | 东风柳州汽车有限公司 | 一种车位检测方法、装置、存储介质及车辆 |
CN112201078B (zh) * | 2020-09-30 | 2021-08-10 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于图神经网络的自动泊车停车位检测方法 |
CN112037265A (zh) * | 2020-11-04 | 2020-12-04 | 天津天瞳威势电子科技有限公司 | 一种库位跟踪方法及装置 |
CN112037265B (zh) * | 2020-11-04 | 2021-02-02 | 天津天瞳威势电子科技有限公司 | 一种库位跟踪方法及装置 |
CN113160605A (zh) * | 2020-12-22 | 2021-07-23 | 东风汽车集团有限公司 | 一种融合的车位识别方法 |
CN113034963B (zh) * | 2021-03-02 | 2022-08-02 | 英博超算(南京)科技有限公司 | 一种视觉车位跟踪系统 |
CN113034963A (zh) * | 2021-03-02 | 2021-06-25 | 英博超算(南京)科技有限公司 | 一种视觉车位跟踪系统 |
CN115083199B (zh) * | 2021-03-12 | 2024-02-27 | 上海汽车集团股份有限公司 | 一种车位信息确定方法及其相关设备 |
CN115083199A (zh) * | 2021-03-12 | 2022-09-20 | 上海汽车集团股份有限公司 | 一种车位信息确定方法及其相关设备 |
US11514795B1 (en) | 2021-05-18 | 2022-11-29 | Ford Global Technologies, Llc | Systems and methods of projecting virtual parking lines |
CN113482423A (zh) * | 2021-06-01 | 2021-10-08 | 上海追势科技有限公司 | 一种机械立体库位宽度推送方法 |
WO2023272685A1 (en) * | 2021-07-01 | 2023-01-05 | Harman International Industries, Incorporated | Method and system for parking slot detection |
CN113538523A (zh) * | 2021-09-17 | 2021-10-22 | 魔视智能科技(上海)有限公司 | 车位检测跟踪方法、电子设备及车辆 |
CN115063776A (zh) * | 2022-06-23 | 2022-09-16 | 长春一汽富晟集团有限公司 | 一种基于图像处理的车位检测方法 |
CN115063484A (zh) * | 2022-06-28 | 2022-09-16 | 上海高德威智能交通系统有限公司 | 一种立体泊位的视觉定位方法、装置、辅助驾驶系统 |
CN115148047A (zh) * | 2022-07-25 | 2022-10-04 | 中汽创智科技有限公司 | 一种车位检测方法及装置 |
CN115148047B (zh) * | 2022-07-25 | 2024-05-24 | 中汽创智科技有限公司 | 一种车位检测方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109697860A (zh) | 车位检测和跟踪系统及方法及车辆 | |
CN110988912B (zh) | 自动驾驶车辆的道路目标与距离检测方法、系统、装置 | |
US11688183B2 (en) | System and method of determining a curve | |
CN105667518B (zh) | 车道检测的方法及装置 | |
CN109949594A (zh) | 实时的交通灯识别方法 | |
DE102020112314A1 (de) | Verifizierung von fahrzeugbildern | |
CN111932901B (zh) | 道路车辆跟踪检测设备、方法及存储介质 | |
JP7077910B2 (ja) | 区画線検出装置及び区画線検出方法 | |
CN103770704A (zh) | 用于识别车辆的停车位标志线的系统和方法 | |
US20210237737A1 (en) | Method for Determining a Lane Change Indication of a Vehicle | |
CN110197173B (zh) | 一种基于双目视觉的路沿检测方法 | |
CN109903574B (zh) | 路口交通信息的获取方法和装置 | |
US10554951B2 (en) | Method and apparatus for the autocalibration of a vehicle camera system | |
CN111754388B (zh) | 一种建图方法及车载终端 | |
CN111976601B (zh) | 自动泊车方法、装置、设备和存储介质 | |
JP7095559B2 (ja) | 区画線検出装置及び区画線検出方法 | |
CN117576652B (zh) | 道路对象的识别方法、装置和存储介质及电子设备 | |
JP2021149863A (ja) | 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置 | |
CN111316324A (zh) | 一种自动驾驶模拟系统、方法、设备及存储介质 | |
CN109886198B (zh) | 一种信息处理方法、装置及存储介质 | |
JP7003972B2 (ja) | 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム | |
CN111460852A (zh) | 车载3d目标检测方法、系统及装置 | |
JP2020076714A (ja) | 位置姿勢推定装置 | |
JP7427569B2 (ja) | 状態判定装置、状態判定システム及び状態判定方法 | |
Hanel et al. | Iterative Calibration of a Vehicle Camera using Traffic Signs Detected by a Convolutional Neural Network. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190430 |
|
RJ01 | Rejection of invention patent application after publication |