CN111260955B - 采用停车位框线、端点的停车位检测系统及方法 - Google Patents

Abstract

本发明涉及一种智能驾驶领域，具体涉及采用停车位框线、端点的停车位检测系统及方法；现有技术中特征表达能力较弱，无法处理斜向停车位，而且对停车位边界框的定位也很不精确；本发明通过一个深度卷积神经网络以端到端的方式学习停车位分隔点的位置和点之间的组合关系，通过整合这两方面信息找到停车位的位置，同时可以基于停车位分隔点的属性和连通性进行可停车性判定，可以有效地处理各种形态的停车位。

Description

采用停车位框线、端点的停车位检测系统及方法

技术领域

本发明涉及一种智能驾驶领域，具体涉及一种停车位检测系统及方法。

背景技术

随着科学技术的发展，自动驾驶、无人车等新兴概念应运而生。自动泊车系统是自动驾驶技术中一个不可或缺的部分，汽车工业界对发展自动泊车系统的兴趣也在逐渐提升，而停车位检测则是自动泊车问题中的核心感知任务之一。具体的，车辆的摄像头或者超声波等传感器可以感知车辆当前所处的环境，采用停车位检测技术对传感器获取的车辆周围环境信息进行处理，可以得到附近的可停车位，从而指导车辆的停泊。

对这样的系统而言，怎样精准有效地检测、定位由常规线段限定的停车位是一个关键且尚未解决的问题。事实上，地面材料、光照条件的变化、附近物体的阴影等不利因素也增大了基于视觉的停车位检测方法的难度。

现有的停车位检测方法，一类通常利用底层边缘及角特征，基于人工构造规则来提取车位框，其特征表达能力较弱，基于规则的方法很难延伸到多样的停车位形态。另一类方法基于目标检测技术，使用一个方框来检测、提取车位，这类方法无法处理斜向停车位，而且对停车位边界框的定位也很不精确。

发明内容

有鉴于此，本申请提出了一种端到端的停车位结构检测方法，该方法基于深度卷积神经网络，将停车位检测形式化为停车位分隔点和分隔线两种基本结构元素的检测，然后通过整合这两方面信息，找到停车位的位置，同时可以基于停车位分隔点的属性和连通性进行可停车性判定。

本发明提供了一种停车位检测系统，其特征在于：所述系统包括停车位检测模型，所述停车位检测模型是经过样本图像训练神经网络；

所述系统通过将待检测图像输入到所述停车位检测模型中，得到停车位区域；

所述停车位区域采用停车位框线和停车位框线的端点来表示停车位区域；其中的道路样本图像视为用于训练停车位结构检测模型的样本图像；所述训练停车位结构检测模型采用监督训练方式；所述监督训练方式是指对训练样本进行标记，训练过程中根据模型输出目标函数的代价，并根据代价函数对模型参数进行调整。

优选地，所述停车位检测模型是通过将所述样本图像输入到预先建立的初始神经网络，通过训练所述初始神经网络得到。

优选地，所述端点包含2类，分别是真实端点和视觉截断端点。优选地，所述停车位框线被用于分割两个相邻车位以及分隔停车位与道路和其他区域。

优选地，所述端点和端点之间的组合关系用于提供一个车位的位置，同时也可以用于判定一个车位是否可停。

本发明还提供一种利用以上系统进行停车位检测的方法，其特征在于所述方法包括以下步骤：

步骤S1：获取待检测图像；

步骤S2：将待检测图像输入到所述停车位检测模型中，得到停车位区域；

所述停车位区域采用停车位框线和停车位框线的端点来表示停车位区域。

优选地，所述停车位检测模型是通过将所述样本图像输入到预先建立的初始神经网络，通过训练所述初始神经网络得到。

优选地，所述端点包含2类，分别是真实端点和视觉截断端点。

优选地，所述停车位框线被用于分割两个相邻车位以及分隔停车位与道路和其他区域。

优选地，所述端点和端点之间的组合关系用于提供一个车位的位置，同时也可以用于判定一个车位是否可停。

与现有技术相比，本发明具有下述的发明点与有益效果，但不局限于下述几点：

(1)基于深度卷积神经网络，并且端到端学习，能够提取精确的车位边框，特别是特殊车位，如斜向车位，鲁棒性大大提高；这是本发明的发明点之一；

(2)通过将停车位检测形式化为停车位分隔点和分隔线两种基本结构元素的检测，然后通过整合这两方面信息，找到停车位的位置，可以有效地处理各种形态的停车位；这是本发明的发明点之一。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1为本申请实施例中一种停车位结构检测模型的训练方法的流程图；

图2为对多个摄像头图像进行拼合得到的道路图像的环形视图；

图3为对道路图像进行标注的示意图；

图4为本申请实施例中一种停车位结构检测方法的流程图。

具体实施例

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

本申请实例提供了一种停车位结构检测模型的训练方法和基于该停车位结构检测模型的停车位结构检测方法。上述停车位结构检测模型以及停车位结构检测方法，可以应用于终端、服务器或者二者的结合。其中，终端可以是现有的、正在研发的或将来研发的、能够通过任何形式的有线和/或无线连接(例如，Wi-Fi、LAN、蜂窝、同轴电缆等)实现与服务器交互的任何用户设备，包括但不限于：现有的、正在研发的或将来研发的智能手机、非智能手机、平板电脑、膝上型个人计算机、桌面型个人计算机、小型计算机、中型计算机、大型计算机等。本申请实施例中服务器可以是现有的、正在研发的或将来研发的、能够向用户提供信息推荐的应用服务的设备的一个实例。本申请的实施方式在此方面不受任何限制。

下面结合附图对本申请实施例的具体实现方式进行介绍。

首先，对本申请实施例中提供的一种停车位结构检测模型的训练方法的具体实现方式进行介绍。

图1所示为本申请实例提供的一种停车位结构检测模型的训练方法的流程图，应用于自动驾驶领域，参见图1，该方法包括：

步骤101：获取道路样本图像，所述道路样本图像标注有停车位区域信息。

道路样本图像可以视为用于训练停车位结构检测模型的样本图像。本申请实施例中，训练模型采用了有监督的训练方式，这里的有监督的训练方式是指对训练样本进行标记，训练过程中根据模型输出与所做的比较计算出目标函数的代价，并根据代价函数对模型参数进行调整。这里的代价函数，例如L＝λL_cls+βL_reg。其中，L表示损失函数，L_cls是逐像素分类的损失函数，优先使用交叉熵损失；L_reg是回归的损失函数，使用均方误差；λ，β表示不同的系数。其中的交叉熵是网络训练中用来衡量网络的预测值与实际值的差异的量。交叉熵公式如下：

其中y为图像元素的标记值，即图像的一个像素是语义元素还是非语义元素，一般用1表示语义元素，0表示非语义元素；n为图像的像素总数，x为输入，a为神经元的输出a＝σ(z),z＝∑_jw_jx_j+b。

“监督”是指样本有正确标记答案，用于指导模型训练。因而，道路样本图像中标注有停车位区域信息。通过标注停车位区域信息，可以加快模型训练的速率，提高模型检测的准确率。

其中，停车位区域是指由车位标识线所划分出的可以停车的区域。停车位区域在数学上，可以理解为一个范围，可以通过多种形式进行表征。对于一个范围，通常可以采用界限、轮廓等进行表示，例如可以采用函数、坐标等方式进行表示。在本申请实施例的一些可能的实现方式中，采用停车位框线和停车位框线的端点来表示停车位区域，这是一种结构化的表示方法。其中，端点包含2类，分别是真实端点和视觉截断端点。停车位框线被用于分割两个相邻车位，框线的端点和端点之间的组合关系用于提供一个车位的位置，同时也可以用于判定一个车位是否可停。因此，可以通过标注停车位框线的端点来对停车位区域进行标注，这里采用2个端点，是本发明的创新点之一。

在本申请实施例的一些可能的实现方式中，我们所处理的图像可以是由位于车身的前部、左侧、后部、右侧等位置的摄像头所获取到的图像进行拼合所得到的环形视图，而图像的中心位置为车辆所在的位置，其余位置为潜在的停车区域，如图2所示。可以以图像的中心或某一顶点如左下顶点为原点建立坐标系，通过坐标和函数的方式对停车位框线的端点和停车位框线进行标注。对图像进行标注的一个实例如图3所示，其中线段上的点表示停车位框线的端点，线段表示停车位框线。在一些实施例中，1为真实端点；2为视觉截断端点；3为一条完整停车位线；4为视觉截断停车位线。在本申请实施例的一些可能的实现方式也可以采用其他方式进行标注。

在本申请实施例中，可以预先建立样本库，从样本库中获取样本图像。其中，样本库可以采用公开的数据集中的图像，也可以从车辆的存储设备中获取车辆的摄像头所采集的图像，对图像中的车位区域进行标注，从而建立样本库。在有些情况下，也可以直接获取样本图像，例如，直接获取车辆的摄像头实时采集的图像，对图像的车位区域进行标注，将标注后的图像作为样本图像。

步骤102：将所述道路图像输入到预先建立的初始神经网络模型。

在获取到道路样本图像后，可以将道路样本图像输入到预先建立的初始神经网络模型，以便利用道路样本图像对初始神经网络模型进行训练。

在本申请实施例的一些可能的实现方式中，在将道路样本图像输入预先建立的初始神经网络模型之前，还可以将道路样本图像缩放至预设尺寸。如此，可以使得初始神经网络模型对同一尺寸的道路样本图像进行学习，从而能够更快速、更准确地对道路样本进行处理，提高模型的训练效率。

步骤103：利用所述样本图像训练所述神经网络模型，得到停车位结构检测模型。

为了便于理解，首先对神经网络模型的概念进行简单介绍。神经网络是由大量的、简单的处理单元广泛地互相连接而形成的网络系统，它是一个高度复杂的非线性动力学习系统，具有大规模并行、分布式存储和处理、自组织、自适应和自学能力。神经网络模型即为基于神经网络建立的一种数学模型，基于神经网络模型的强大的学习能力，神经网络模型在许多领域都得到广泛的应用。

其中，在图像处理和模式识别领域，常常采用卷积神经网络模型进行模式识别。由于卷积神经网络模型中的卷积层局部连接以及权值共享的特性，使得需要训练的参数大大减少，简化了网络模型，提高了训练效率。具有卷积层局部连接以及权值共享技术的神经网络用于停车位检测是本发明的发明点。

具体到本实施例，可以采用深度卷积神经网络作为初始神经网络模型，利用道路样本图像，对神经网络模型进行训练。除了自行设计新的深度卷积神经网络，也可以采用迁移学习的方法，利用已有的在对象检测领域取得较好结果的深度卷积神经网络，如YOLOv2等，对其输出类别数量及可能需要修改的其他部位的结构做出相应的修改，并直接采用原有网络模型中已有的已经充分训练的参数，作为初始神经网络模型，采用微调的方法，利用道路样本图像，对神经网络进行训练。具体为初始神经网络模型中的卷积层充分学习道路样本图像中的停车位区域的特征，根据学习到的道路样本图像的相关特征，初始神经网络模型中的全连接层可以对相关特征进行映射，得到停车位区域的识别结果，将停车位区域的识别结果与道路样本图像预先标注的停车位区域进行比较，可以对初始神经网络模型的参数进行优化，当初始神经网络模型经过较多训练样本的迭代训练后，可以获得停车位结构检测模型。

由上可知，本申请提供了一种停车位结构检测模型的训练方法。获取道路样本图像，道路样本图像中标注有停车位区域，将道路样本图像输入初始神经网络模型，利用道路样本图像以有监督学习方式对初始神经网络模型进行微调，得到停车位结构检测模型。采用标注有停车位区域的道路样本图像对初始神经网络模型进行训练，大量的道路样本图像可以使得训练得到的停车位结构检测模型在对停车位区域进行预测时具有较高的准确度。

基于上述实施例中提供的一种停车位结构检测模型的训练方法，本申请实施例中还提供了一种基于所述停车位结构检测模型的停车位结构检测方法。

接下来，结合附图对本申请实施例中提供的一种停车位结构检测方法进行详细说明。

图4为本申请实施例中提供的一种停车位结构检测方法的流程图，该方法应用于自动驾驶领域，参见图4，该方法包括：

步骤401：获取当前道路图像。

当前道路图像指的是车辆当前所处位置周围的图像，因为在实际中，此停车位检测方法总要在车辆准备进行停车的操作时才会被利用到，此时车辆所处位置周围应当存在停车位。在本实施例中，当前道路图像为需要检测停车位区域的图像。

可以理解，当前道路图像可以是实时获取的道路图像。在本申请实施例的一些可能的实现方式中，可以对车辆的前视、左视、后视、右视摄像头拍摄到的图像进行去失真、拼合的操作，将得到的环视图像作为当前道路图像。在一些可能的实现方式中，也可能存在更多或更少的摄像头，或者可以通过车辆的环视摄像头拍摄车辆所在位置附近的道路图像，从而获取当前道路图像。

在一些情况下，当前道路图像也可以是接收到的其他设备所发送的道路图像。例如，当车辆的摄像头出现故障时，车上的乘客可以通过手机等设备拍摄当前所在位置的道路图像，如此，可以从用户的设备上获取当前道路图像，以便通过该图像进行停车位区域检测。

以上仅为获取当前道路图像的一些具体示例，本申请对当前道路图像的获取不做限定，可以根据需求采取不同的实现方式。

步骤402：将当前道路图像输入到停车位结构检测模型，得到包括停车位框线和停车位框线的端点在内的停车位结构化信息。

所述停车位结构检测模型是根据上述实施例中提供的停车位结构检测模型的训练方法生成的停车位结构检测模型。停车位可以以四个角点进行描述，四个角点满足固定的组合逻辑关系，即其为实际矩形停车框映射得到。

将当前道路图像输入到停车位结构检测模型后，停车位结构检测模型可以通过对当前道路图像进行特征提取，并对提取到的特征进行映射，得到表征停车位框线和停车位框线的端点的向量，该向量即为停车位结构检测模型的输出结果。

步骤403：对模型输出的结构信息进行整合，确定最终的可停的停车位区域信息。

在步骤402中我们通过当前道路图像输入到停车位结构检测模型，得到包括停车位框线和停车位框线的端点在内的停车位结构化信息。

在本申请实施例的一些可能的实现方式中，图片经过深度卷积神经网络之后输出车位框线的端点和车位框线的相关信息。所述的车位框线的端点的信息包含一个概率图和一个位置回归图，概率图用于判定车位点的大致方向，位置回归图用于通过霍夫投票(Hough voting)找到点的精确位置。车位框线的信息也包含一个概率图和一个位置回归图，概率图用于给出哪些位置位于车位框线上，位置回归图用于对点进行投票组合，这也是本发明的发明点。

本申请中通过基于深度学习的方法得到停车位框线和停车位的端点信息，并且停车位框线对停车位端点的组合关系和结构化进行了表达。停车位框线的端点和端点之间的组合关系提供了一个车位的位置，同时也可以用于判定一个车位是否可停。

基于这种方法，我们可以对任意形态的停车位结构进行提取，大大拓展了应用场景。同时，由于算法是通过端到端的方式进行学习的，可以最大程度上发挥大数据的效用。

由上可知，本申请实施例中提供了一种停车位区域的检测方法，通过将当前道路图像输入到预先训练的停车位结构检测模型，基于停车位结构检测模型的输出结果，可以确定当前道路图像中的独立的可停的停车位区域。本申请实施例中提供的停车位结构检测方法能够直接端到端学习，并输出结构化的独立可停停车位区域，不需要再利用图像处理技术提取轮廓的结构化信息以使不同模块之间互通。并且，该模型是采用海量样本道路图像结合深度学习的方式训练得到，在对独立停车位区域进行预测时具有较高的准确度和效率。

以上实施例，主要是以卷积神经网络模型作为神经网络模型，进行训练得到停车位结构检测模型，并基于该停车位结构检测模型对当前道路图像中的停车位区域进行检测。而随着机器学习的不断发展，卷积神经网络模型也在不断发展。具体的，基于所要训练的模型的功能以及该模型所要处理的数据，可以采用不同类型的卷积神经网络作为初始神经网络。常见的用于物体识别的卷积神经网络包括R-CNN、Fast R-CNN、Faster R-CNN、YOLO、YOLOv2、YOLOv3等。在一些可能的实现方式中，可以采用Mask R-CNN作为初始神经网络模型，修改其部分结构后，对其进行微调，得到停车位结构检测模型。在一些可能的实现方式中，可以采用上述提到的其他卷积神经网络，或者采用其他在此领域中取得较好结果的网络。本申请的实施方式在此方面不受任何限制。

由此可见，本申请实施例中提供了一种停车位结构检测模型的训练方法以及停车位结构检测方法。获取道路样本图像，道路样本图像中标注有停车位区域，将道路样本图像输入初始神经网络模型，利用道路样本图像以有监督学习方式对初始神经网络模型进行微调，得到停车位结构检测模型。采用标注有停车位区域的道路样本图像对初始神经网络模型进行训练，大量的道路样本图像可以使得训练得到的停车位结构检测模型在对停车位区域进行预测时具有较高的准确度和效率。通过将当前道路图像输入到预先训练的停车位结构检测模型，基于停车位结构检测模型的输出结果，可以确定当前道路图像中的独立可停停车位区域。本申请实施例中提供的停车位结构检测方法能够直接端到端学习，并输出结构化的独立可停停车位区域，不需要再利用图像处理技术提取轮廓的结构化信息以使不同模块之间互通。并且，该模型是采用海量样本道路图像结合深度学习的方式训练得到，在对独立停车位区域进行预测时具有较高的准确度和效率。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例中所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

Claims (8)

1.一种停车位检测系统，其特征在于：所述系统包括停车位检测模型，所述停车位检测模型是经过样本图像训练神经网络；

所述系统通过将待检测图像输入到所述停车位检测模型中，得到停车位区域；

所述停车位区域采用停车位框线和停车位框线的端点来表示停车位区域；其中，所述停车位框线的端点的信息包含一个概率图和一个位置回归图，所述停车位框线的端点对应的概率图用于判定车位点的方向，所述停车位框线的端点对应的位置回归图用于通过霍夫投票找到点的位置；所述停车位框线的信息也包含一个概率图和一个位置回归图，所述停车位框线对应的概率图用于给出哪些位置位于车位框线上，所述停车位框线对应的位置回归图用于对点进行投票组合；其中，所述端点包含2类，分别是真实端点和视觉截断端点；

其中的道路样本图像视为用于训练停车位结构检测模型的样本图像；所述训练停车位结构检测模型采用监督训练方式；所述监督训练方式是指对训练样本进行标记，训练过程中根据模型输出目标函数的代价函数，并根据所述代价函数对模型参数进行调整；

其中，所述代价函数为L＝λL_cls+βL_reg，其中，L表示损失函数，L_cls是逐像素分类的损失函数，使用交叉熵损失；L_reg是回归的损失函数，使用均方误差；λ，β表示不同的系数。

2.根据权利要求1所述的系统，其特征在于：所述停车位检测模型是通过将所述样本图像输入到预先建立的初始神经网络，通过训练所述初始神经网络得到。

3.根据权利要求1或2所述的系统，其特征在于：所述停车位框线被用于分割两个相邻车位以及分隔停车位与道路和其他区域。

4.根据权利要求1所述的系统，其特征在于：所述端点和端点之间的组合关系用于提供一个车位的位置，同时也可以用于判定一个车位是否可停。

5.一种利用权利要求1-4中之一所述的检测系统进行停车位检测的方法，其特征在于所述方法包括以下步骤：

步骤S1：获取待检测图像；

步骤S2：将待检测图像输入到所述停车位检测模型中，得到停车位区域；

所述停车位区域采用停车位框线和停车位框线的端点来表示停车位区域；

其中，所述停车位框线的端点的信息包含一个概率图和一个位置回归图，所述停车位框线的端点对应的概率图用于判定车位点的方向，所述停车位框线的端点对应的位置回归图用于通过霍夫投票找到点的位置；所述停车位框线的信息也包含一个概率图和一个位置回归图，所述停车位框线对应的概率图用于给出哪些位置位于车位框线上，所述停车位框线对应的位置回归图用于对点进行投票组合；其中，所述端点包含2类，分别是真实端点和视觉截断端点；

所述停车位检测模型采用监督训练方式；所述监督训练方式是指对训练样本进行标记，训练过程中根据模型输出目标函数的代价函数，并根据所述代价函数对模型参数进行调整；

其中，所述代价函数为L＝λL_cls+βL_reg，其中，L表示损失函数，L_cls是逐像素分类的损失函数，使用交叉熵损失；L_reg是回归的损失函数，使用均方误差；λ，β表示不同的系数。

6.根据权利要求5所述的方法，其特征在于：所述停车位检测模型是通过将所述样本图像输入到预先建立的初始神经网络，通过训练所述初始神经网络得到。

7.根据权利要求5或6所述的方法，其特征在于：所述停车位框线被用于分割两个相邻车位以及分隔停车位与道路和其他区域。

8.根据权利要求5所述的方法，其特征在于：所述端点和端点之间的组合关系用于提供一个车位的位置，同时也可以用于判定一个车位是否可停。

Images