CN111259710B - 采用停车位框线、端点的停车位结构检测模型训练方法 - Google Patents

采用停车位框线、端点的停车位结构检测模型训练方法 Download PDF

Info

Publication number
CN111259710B
CN111259710B CN201811468763.3A CN201811468763A CN111259710B CN 111259710 B CN111259710 B CN 111259710B CN 201811468763 A CN201811468763 A CN 201811468763A CN 111259710 B CN111259710 B CN 111259710B
Authority
CN
China
Prior art keywords
parking space
training
parking
neural network
space structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811468763.3A
Other languages
English (en)
Other versions
CN111259710A (zh
Inventor
郭强
裘索
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Momenta Suzhou Technology Co Ltd
Original Assignee
Momenta Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Momenta Suzhou Technology Co Ltd filed Critical Momenta Suzhou Technology Co Ltd
Priority to CN201811468763.3A priority Critical patent/CN111259710B/zh
Publication of CN111259710A publication Critical patent/CN111259710A/zh
Application granted granted Critical
Publication of CN111259710B publication Critical patent/CN111259710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种智能驾驶领域,具体涉及一种采用停车位框线、端点的停车位结构检测模型训练方法。本发明提供的停车位结构模型的训练方法包括,步骤101:获取道路样本图像,所述道路样本图像标注有停车位区域信息;步骤102:将所述道路样本图像输入到预先建立的初始神经网络模型;步骤103:利用所述样本图像训练所述神经网络模型,得到停车位结构检测模型;本发明通过标注停车位框线的端点来对停车位区域进行标注,再经过深度卷积神经网络学习,得到可以有效地处理各种形态的停车位的停车位结构检测模型,并且基于该停车位结构检测模型进行停车操作。

Description

采用停车位框线、端点的停车位结构检测模型训练方法
技术领域
本发明涉及一种智能驾驶领域,具体涉及一种停车位结构检测模型训练方法。
背景技术
随着科学技术的发展,自动驾驶、无人车等新兴概念应运而生。自动泊车系统是自动驾驶技术中一个不可或缺的部分,汽车工业界对发展自动泊车系统的兴趣也在逐渐提升,而停车位检测则是自动泊车问题中的核心感知任务之一。具体的,车辆的摄像头或者超声波等传感器可以感知车辆当前所处的环境,采用停车位检测技术对传感器获取的车辆周围环境信息进行处理,可以得到附近的可停车位,从而指导车辆的停泊。
对这样的系统而言,怎样精准有效地检测、定位由常规线段限定的停车位是一个关键且尚未解决的问题。事实上,地面材料、光照条件的变化、附近物体的阴影等不利因素也增大了基于视觉的停车位检测方法的难度。
现有的停车位检测方法,一类通常利用底层边缘及角特征,基于人工构造规则来提取车位框,其特征表达能力较弱,基于规则的方法很难延伸到多样的停车位形态。另一类方法基于目标检测技术,使用一个方框来检测、提取车位,这类方法无法处理斜向停车位,而且对停车位边界框的定位也很不精确。
发明内容
有鉴于此,本申请提出了一种停车位结构训练方法,该方法基于深度卷积神经网络,将采用停车位框线和停车位框线的端点来表示所述停车位区域信息,再对初始神经网络模型的参数进行优化,当所述初始神经网络模型经过较多训练样本的迭代训练后,获得停车位结构检测模型。
具体的,本发明的第一方面,提供一种停车位结构检测模型的训练方法,包括有如下步骤:
步骤101:获取道路样本图像,所述道路样本图像标注有停车位区域信息;
步骤102:将所述道路样本图像输入到预先建立的初始神经网络模型;
步骤103:利用所述样本图像训练所述初级神经网络模型,得到停车位结构检测模型;其中,所述步骤101中,采用停车位框线和停车位框线的端点来表示所述停车位区域信息;
所述步骤103中训练所述停车位结构检测模型包括采用监督训练方式;所述监督训练方式包括对训练样本进行标记。
优选的,所述步骤102中所述初始神经网络模型是卷积神经网络模型,所述初始神经网络模型中的卷积层学习所述道路样本图像中的停车位区域信息;所述步骤103中所述得到停车位结构检测模型具体包括:根据学习到的所述道路样本图像的相关特征,以及所述初始神经网络模型中的全连接层对相关特征进行映射,得到停车位区域的识别结果,将所述停车位区域的识别结果与所述道路样本图像预先标注的停车位区域进行比较,对所述初始神经网络模型的参数进行优化,当所述初始神经网络模型经过多次训练样本的迭代训练后,获得停车位结构检测模型。
优选的,所述步骤103中训练所述神经网络模型,是利用所述卷积神经网络模型中的卷积层局部连接以及权值共享的特性。
优选的,所述步骤103中所述监督训练方式包括对训练样本进行标记,训练过程中根据模型输出目标函数的代价,并根据代价函数对模型参数进行优化;优选的,所述代价函数为:
L=λLcls+βLreg;
其中,L表示损失函数,Lcls是逐像素分类的损失函数;Lreg是回归的损失函数,使用均方误差;λ,β表示不同的系数。
优选的,所述损失函数采用交叉熵函数,其中的所述交叉熵函数公式为:
Figure BDA0001890449410000021
其中y为图像元素的标记值,即图像的一个像素表示为语义元素或非语义元素,用1表示语义元素,0表示非语义元素;n为图像的像素总数,x为输入,a为神经元的输出。
本发明的第二方面,是提供一种停车位结构检测方法,包括有如下步骤:
步骤201:获取当前道路图像;
步骤202:将所述当前道路图像输入到权利要求1-5所述训练方法训练的停车位结构检测模型,得到包括停车位框线和停车位框线的端点在内的停车位结构化信息;
步骤203:对模型输出的结构信息进行整合,确定最终的可停的停车位区域信息。
本发明的第三方面,是提供一种停车位停车方法,包括:
步骤301:检测车辆是否处于待停车位状态;
步骤302:当检测车辆不处于待停车位状态时,返回步骤301,继续所述步骤301的检测;当检测车辆处于待停车位状态时,执行权利要求6所述的停车位结构检测;
步骤303:当完成所述步骤302对所述停车位结构检测,一车辆驱动单元按计算的所述停车位结构执行停车操作。
本发明的第四方面,是提供一种上述的停车位结构检测模型的训练方法在停车中的应用。
本发明的第五方面,是提供一种停车系统,包括上述的训练方法训练的停车位结构检测模型。
本发明的第六方面,是提供一种停车系统,以执行上述的停车位停车方法。
与现有技术相比,本发明具有下述的发明点与有益效果,但不局限于下述几点:
(1)针对现有技术中检测车位通用性差,难以对特殊车位,例如斜向车位检测识别差的问题,本发明采用停车位框线和停车位框线的端点来表示所述停车位区域信息;通过该方法能够提取精确的车位边框,特别是特殊车位,如斜向车位,鲁棒性大大提高;这是本发明的发明点之一;
(2)采用监督训练方式;该监督训练方式包括对训练样本进行标记,训练过程中根据模型输出与所做的比较计算出目标函数的代价,并根据代价函数对模型参数进行优化,使获得停车位结构检测模型更加准确,相比于现有技术没有采用神经网络,或者即便采用了神经网络但没有对该神经网络针对停车位检测这一应用的特殊优化,本发明提供的模型更加贴近实用,实践证明检测更准确,这是本发明的发明点之一。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,并不构成对本发明的限定。在附图中:
图1为本申请实施例中一种停车位结构检测模型的训练方法的流程图;
图2为对多个摄像头图像进行拼合得到的道路图像的环形视图;
图3为对道路图像进行标注的示意图;
图4为本申请实施例中一种停车位结构检测方法的流程图。
具体实施例
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施方式和附图,对本发明做进一步详细说明。在此,本发明的示意性实施方式及其说明用于解释本发明,但并不作为对本发明的限定。
本申请实例提供了一种停车位结构检测模型的训练方法和基于该停车位结构检测模型的停车位结构检测方法。上述停车位结构检测模型以及停车位结构检测方法,可以应用于终端、服务器或者二者的结合。其中,终端可以是现有的、正在研发的或将来研发的、能够通过任何形式的有线和/或无线连接(例如,Wi-Fi、LAN、蜂窝、同轴电缆等)实现与服务器交互的任何用户设备,包括但不限于:现有的、正在研发的或将来研发的智能手机、非智能手机、平板电脑、膝上型个人计算机、桌面型个人计算机、小型计算机、中型计算机、大型计算机等。本申请实施例中服务器可以是现有的、正在研发的或将来研发的、能够向用户提供信息推荐的应用服务的设备的一个实例。本申请的实施方式在此方面不受任何限制。
下面结合附图对本申请实施例的具体实现方式进行介绍。
首先,对本申请实施例中提供的一种停车位结构检测模型的训练方法的具体实现方式进行介绍。
图1所示为本申请实例提供的一种停车位结构检测模型的训练方法的流程图,应用于自动驾驶领域,参见图1,该方法包括:
步骤101:获取道路样本图像,所述道路样本图像标注有停车位区域信息。
道路样本图像可以视为用于训练停车位结构检测模型的样本图像。本申请实施例中,下述的步骤(包括步骤103)中会用到训练停车位结构检测模型,对该模型采用了有监督的训练方式,这里的有监督的训练方式是指对训练样本进行标记,训练过程中根据模型输出与所做的比较计算出目标函数的代价,并根据代价函数对模型参数进行调整。这里的代价函数,例如L=λLcls+βLreg。其中,L表示损失函数,Lcls是逐像素分类的损失函数,优先使用交叉熵损失;Lreg是回归的损失函数,使用均方误差;λ,β表示不同的系数。其中的交叉熵是网络训练中用来衡量网络的预测值与实际值的差异的量。交叉熵公式如下:
Figure BDA0001890449410000041
其中y为图像元素的标记值,即图像的一个像素是语义元素还是非语义元素,一般用1表示语义元素,0表示非语义元素;n为图像的像素总数,x为输入,a为神经元的输出a=σ(z),z=∑jwjxj+b。
“监督”是指样本有正确标记答案,用于指导模型训练。因而,道路样本图像中标注有停车位区域信息。通过标注停车位区域信息,可以加快模型训练的速率,提高模型检测的准确率。
其中,停车位区域是指由车位标识线所划分出的可以停车的区域。停车位区域在数学上,可以理解为一个范围,可以通过多种形式进行表征。对于一个范围,通常可以采用界限、轮廓等进行表示,例如可以采用函数、坐标等方式进行表示。在本申请实施例的一些可能的实现方式中,采用停车位框线和停车位框线的端点来表示停车位区域,这是一种结构化的表示方法。其中,端点包含2类,分别是真实端点和视觉截断端点。停车位框线被用于分割两个相邻车位,框线的端点和端点之间的组合关系用于提供一个车位的位置,同时也可以用于判定一个车位是否可停。因此,可以通过标注停车位框线的端点来对停车位区域进行标注,这里采用2个端点,是本发明的创新点之一。
在本申请实施例的一些可能的实现方式中,我们所处理的图像可以是由位于车身的前部、左侧、后部、右侧等位置的摄像头所获取到的图像进行拼合所得到的环形视图,而图像的中心位置为车辆所在的位置,其余位置为潜在的停车区域,如图2所示。可以以图像的中心或某一顶点如左下顶点为原点建立坐标系,通过坐标和函数的方式对停车位框线的端点和停车位框线进行标注。对图像进行标注的一个实例如图3所示,其中线段上的点表示停车位框线的端点,线段表示停车位框线。在一些实施例中,1为真实端点;2为视觉截断端点;3为一条完整停车位线;4为视觉截断停车位线。在本申请实施例的一些可能的实现方式也可以采用其他方式进行标注。
在本申请实施例中,可以预先建立样本库,从样本库中获取样本图像。其中,样本库可以采用公开的数据集中的图像,也可以从车辆的存储设备中获取车辆的摄像头所采集的图像,对图像中的车位区域进行标注,从而建立样本库。在有些情况下,也可以直接获取样本图像,例如,直接获取车辆的摄像头实时采集的图像,对图像的车位区域进行标注,将标注后的图像作为样本图像。
步骤102:将所述道路图像输入到预先建立的初始神经网络模型。
在获取到道路样本图像后,可以将道路样本图像输入到预先建立的初始神经网络模型,以便利用道路样本图像对初始神经网络模型进行训练。
在本申请实施例的一些可能的实现方式中,在将道路样本图像输入预先建立的初始神经网络模型之前,还可以将道路样本图像缩放至预设尺寸。如此,可以使得初始神经网络模型对同一尺寸的道路样本图像进行学习,从而能够更快速、更准确地对道路样本进行处理,提高模型的训练效率。
步骤103:利用所述样本图像训练所述神经网络模型,得到停车位结构检测模型。
为了便于理解,首先对神经网络模型的概念进行简单介绍。神经网络是由大量的、简单的处理单元广泛地互相连接而形成的网络系统,它是一个高度复杂的非线性动力学习系统,具有大规模并行、分布式存储和处理、自组织、自适应和自学能力。神经网络模型即为基于神经网络建立的一种数学模型,基于神经网络模型的强大的学习能力,神经网络模型在许多领域都得到广泛的应用。
其中,在图像处理和模式识别领域,常常采用卷积神经网络模型进行模式识别。由于卷积神经网络模型中的卷积层局部连接以及权值共享的特性,使得需要训练的参数大大减少,简化了网络模型,提高了训练效率。具有卷积层局部连接以及权值共享技术的神经网络用于停车位检测是本发明的发明点。
具体到本实施例,可以采用深度卷积神经网络作为初始神经网络模型,利用道路样本图像,对神经网络模型进行训练。除了自行设计新的深度卷积神经网络,也可以采用迁移学习的方法,利用已有的在对象检测领域取得较好结果的深度卷积神经网络,如YOLOv2等,对其输出类别数量及可能需要修改的其他部位的结构做出相应的修改,并直接采用原有网络模型中已有的已经充分训练的参数,作为初始神经网络模型,采用微调的方法,利用道路样本图像,对神经网络进行训练。具体为初始神经网络模型中的卷积层充分学习道路样本图像中的停车位区域的特征,根据学习到的道路样本图像的相关特征,初始神经网络模型中的全连接层可以对相关特征进行映射,得到停车位区域的识别结果,将停车位区域的识别结果与道路样本图像预先标注的停车位区域进行比较,可以对初始神经网络模型的参数进行优化,当初始神经网络模型经过较多训练样本的迭代训练后,可以获得停车位结构检测模型。
由上可知,本申请提供了一种停车位结构检测模型的训练方法。获取道路样本图像,道路样本图像中标注有停车位区域,将道路样本图像输入初始神经网络模型,利用道路样本图像以有监督学习方式对初始神经网络模型进行微调,得到停车位结构检测模型。采用标注有停车位区域的道路样本图像对初始神经网络模型进行训练,大量的道路样本图像可以使得训练得到的停车位结构检测模型在对停车位区域进行预测时具有较高的准确度。
基于上述实施例中提供的一种停车位结构检测模型的训练方法,本申请实施例中还提供了一种基于所述停车位结构检测模型的停车位结构检测方法。
接下来,结合附图对本申请实施例中提供的一种停车位结构检测方法进行详细说明。
图4为本申请实施例中提供的一种停车位结构检测方法的流程图,该方法应用于自动驾驶领域,参见图4,该方法包括:
步骤401:获取当前道路图像。
当前道路图像指的是车辆当前所处位置周围的图像,因为在实际中,此停车位检测方法总要在车辆准备进行停车的操作时才会被利用到,此时车辆所处位置周围应当存在停车位。在本实施例中,当前道路图像为需要检测停车位区域的图像。
可以理解,当前道路图像可以是实时获取的道路图像。在本申请实施例的一些可能的实现方式中,可以对车辆的前视、左视、后视、右视摄像头拍摄到的图像进行去失真、拼合的操作,将得到的环视图像作为当前道路图像。在一些可能的实现方式中,也可能存在更多或更少的摄像头,或者可以通过车辆的环视摄像头拍摄车辆所在位置附近的道路图像,从而获取当前道路图像。
在一些情况下,当前道路图像也可以是接收到的其他设备所发送的道路图像。例如,当车辆的摄像头出现故障时,车上的乘客可以通过手机等设备拍摄当前所在位置的道路图像,如此,可以从用户的设备上获取当前道路图像,以便通过该图像进行停车位区域检测。
以上仅为获取当前道路图像的一些具体示例,本申请对当前道路图像的获取不做限定,可以根据需求采取不同的实现方式。
步骤402:将当前道路图像输入到停车位结构检测模型,得到包括停车位框线和停车位框线的端点在内的停车位结构化信息。
所述停车位结构检测模型是根据上述实施例中提供的停车位结构检测模型的训练方法生成的停车位结构检测模型。停车位可以以四个角点进行描述,四个角点满足固定的组合逻辑关系,即其为实际矩形停车框映射得到。
将当前道路图像输入到停车位结构检测模型后,停车位结构检测模型可以通过对当前道路图像进行特征提取,并对提取到的特征进行映射,得到表征停车位框线和停车位框线的端点的向量,该向量即为停车位结构检测模型的输出结果。
步骤403:对模型输出的结构信息进行整合,确定最终的可停的停车位区域信息。
在上述的步骤中通过当前道路图像输入到停车位结构检测模型,得到包括停车位框线和停车位框线的端点在内的停车位结构化信息。
在本申请实施例的一些可能的实现方式中,图片经过深度卷积神经网络之后输出车位框线的端点和车位框线的相关信息。所述的车位框线的端点的信息包含一个概率图和一个位置回归图,概率图用于判定车位点的大致方向,位置回归图用于通过霍夫投票(Hough voting)找到点的精确位置。车位框线的信息也包含一个概率图和一个位置回归图,概率图用于给出哪些位置位于车位框线上,位置回归图用于对点进行投票组合。
本申请中通过基于深度学习的方法得到停车位框线和停车位的端点信息,并且停车位框线对停车位端点的组合关系和结构化进行了表达。停车位框线的端点和端点之间的组合关系提供了一个车位的位置,同时也可以用于判定一个车位是否可停。
基于这种方法,我们可以对任意形态的停车位结构进行提取,大大拓展了应用场景。同时,由于算法是通过端到端的方式进行学习的,可以最大程度上发挥大数据的效用。
由上可知,本申请实施例中提供了一种停车位区域的检测方法,通过将当前道路图像输入到预先训练的停车位结构检测模型,基于停车位结构检测模型的输出结果,可以确定当前道路图像中的独立的可停的停车位区域。本申请实施例中提供的停车位结构检测方法能够直接端到端学习,并输出结构化的独立可停停车位区域,不需要再利用图像处理技术提取轮廓的结构化信息以使不同模块之间互通。并且,该模型是采用海量样本道路图像结合深度学习的方式训练得到,在对独立停车位区域进行预测时具有较高的准确度和效率。
以上实施例,主要是以卷积神经网络模型作为神经网络模型,进行训练得到停车位结构检测模型,并基于该停车位结构检测模型对当前道路图像中的停车位区域进行检测。而随着机器学习的不断发展,卷积神经网络模型也在不断发展。具体的,基于所要训练的模型的功能以及该模型所要处理的数据,可以采用不同类型的卷积神经网络作为初始神经网络。常见的用于物体识别的卷积神经网络包括R-CNN、Fast R-CNN、Faster R-CNN、YOLO、YOLOv2、YOLOv3等。在一些可能的实现方式中,可以采用Mask R-CNN作为初始神经网络模型,修改其部分结构后,对其进行微调,得到停车位结构检测模型。在一些可能的实现方式中,可以采用上述提到的其他卷积神经网络,或者采用其他在此领域中取得较好结果的网络。本申请的实施方式在此方面不受任何限制。
由此可见,本申请实施例中提供了一种停车位结构检测模型的训练方法以及停车位结构检测方法。获取道路样本图像,道路样本图像中标注有停车位区域,将道路样本图像输入初始神经网络模型,利用道路样本图像以有监督学习方式对初始神经网络模型进行微调,得到停车位结构检测模型。采用标注有停车位区域的道路样本图像对初始神经网络模型进行训练,大量的道路样本图像可以使得训练得到的停车位结构检测模型在对停车位区域进行预测时具有较高的准确度和效率。通过将当前道路图像输入到预先训练的停车位结构检测模型,基于停车位结构检测模型的输出结果,可以确定当前道路图像中的独立可停停车位区域。本申请实施例中提供的停车位结构检测方法能够直接端到端学习,并输出结构化的独立可停停车位区域,不需要再利用图像处理技术提取轮廓的结构化信息以使不同模块之间互通。并且,该模型是采用海量样本道路图像结合深度学习的方式训练得到,在对独立停车位区域进行预测时具有较高的准确度和效率。
在一些实施例中,提供一种停车位的停车方法,以应用上述的停车位结构检测方法,以及应用上述的停车位结构检测模型的训练方法。其中使用了一个检测单元,该检测单元的功能是检测车辆是否处于需要停车的状态。该检测包括检测车辆控制系统,包括对车辆是否处于空档、速度为0等一些参数的检测;此外还包括停车控制单元,对于检测单元的检测结果进行判断,当判断检测车辆不处于待停车位状态时,继续由检测单元进行检测;当判断检测车辆处于待停车位状态时,则执行上述的停车位结构检测。还包括一车辆驱动单元按计算的所述停车位结构执行停车操作。
在一些实施例中,提供一种停车位的停车方法,包括
步骤301:检测车辆是否处于待停车位状态;
步骤302:当检测车辆不处于待停车位状态时,返回步骤301,继续所述步骤301的检测;当检测车辆处于待停车位状态时,执行上述的停车位结构检测;
步骤303:当完成所述步骤302对所述停车位结构检测,一车辆驱动单元按计算的所述停车位结构执行停车操作。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例中所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。

Claims (10)

1.一种停车位结构检测模型的训练方法,包括有如下步骤:
步骤101:获取道路样本图像,所述道路样本图像标注有停车位区域信息;
步骤102:将所述道路样本图像输入到预先建立的初始神经网络模型;
步骤103:利用所述样本图像训练所述初始 神经网络模型,得到停车位结构检测模型;其中,所述步骤101中,采用停车位框线和停车位框线的端点来表示所述停车位区域信息;其中,停车位框线的端点包含2类,分别是真实端点和视觉截断端点;停车位框线用于分割两个相邻车位,停车位框线的端点和端点之间的组合关系用于提供一个车位的位置,并用于判定一个车位是否可停;
所述步骤103中训练所述停车位结构检测模型包括采用监督训练方式;所述监督训练方式包括对训练样本进行标记。
2.根据权利要求1所述的训练方法,所述步骤102中所述初始神经网络模型是卷积神经网络模型,所述初始神经网络模型中的卷积层学习所述道路样本图像中的停车位区域信息,所述步骤103中所述得到停车位结构检测模型具体包括:根据学习到的所述道路样本图像的相关特征,以及所述初始神经网络模型中的全连接层对相关特征进行映射,得到停车位区域的识别结果,将所述停车位区域的识别结果与所述道路样本图像预先标注的停车位区域进行比较,对所述初始神经网络模型的参数进行优化,当所述初始神经网络模型经过多次训练样本的迭代训练后,获得停车位结构检测模型。
3.根据权利要求1所述的训练方法,所述步骤103中训练所述神经网络模型,是利用卷积神经网络模型中的卷积层局部连接以及权值共享的特性。
4.根据权利要求1所述的训练方法,所述步骤103中所述监督训练方式包括对训练样本进行标记,训练过程中根据模型输出目标函数的代价,并根据代价函数对模型参数进行优化;优选的,所述代价函数为:
L=λLcls+βLreg;
其中,L表示损失函数,Lcls是逐像素分类的损失函数;Lreg是回归的损失函数,使用均方误差;λ,β表示不同的系数。
5.根据权利要求4所述的训练方法,所述损失函数采用交叉熵函数,其中的所述交叉熵函数公式为:
Figure FDA0003625507350000011
其中y为图像元素的标记值,即图像的一个像素表示为语义元素或非语义元素,用1表示语义元素,0表示非语义元素;n为图像的像素总数,x为输入,a为神经元的输出。
6.一种停车位结构检测方法,包括有如下步骤:
步骤401:获取当前道路图像;
步骤402:将所述当前道路图像输入到权利要求1-5任一所述训练方法训练的停车位结构检测模型,得到包括停车位框线和停车位框线的端点在内的停车位结构化信息;
步骤403:对所述停车位结构检测模型输出的停车位结构化信息进行整合,确定最终的可停的停车位区域信息。
7.一种停车位停车方法,包括:
步骤301:检测车辆是否处于待停车位状态;
步骤302:当检测车辆不处于待停车位状态时,返回步骤301,继续所述步骤301的检测;当检测车辆处于待停车位状态时,执行权利要求6所述的停车位结构检测方法;
步骤303:当完成所述步骤302对所述停车位结构检测,一车辆驱动单元按所计算的所述停车位结构执行停车操作。
8.权利要求1-5中任一项所述的训练方法在停车中的应用。
9.一种停车系统,包括权利要求1-5中任一项所述的训练方法训练的停车位结构检测模型。
10.一种停车系统,执行权利要求6所述的停车位停车方法。
CN201811468763.3A 2018-12-03 2018-12-03 采用停车位框线、端点的停车位结构检测模型训练方法 Active CN111259710B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811468763.3A CN111259710B (zh) 2018-12-03 2018-12-03 采用停车位框线、端点的停车位结构检测模型训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811468763.3A CN111259710B (zh) 2018-12-03 2018-12-03 采用停车位框线、端点的停车位结构检测模型训练方法

Publications (2)

Publication Number Publication Date
CN111259710A CN111259710A (zh) 2020-06-09
CN111259710B true CN111259710B (zh) 2022-06-10

Family

ID=70950664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811468763.3A Active CN111259710B (zh) 2018-12-03 2018-12-03 采用停车位框线、端点的停车位结构检测模型训练方法

Country Status (1)

Country Link
CN (1) CN111259710B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797715A (zh) * 2020-06-16 2020-10-20 东软睿驰汽车技术(沈阳)有限公司 车位检测方法、装置、电子设备及存储介质
US11443627B2 (en) * 2020-12-23 2022-09-13 Telenav, Inc. Navigation system with parking space identification mechanism and method of operation thereof
CN112874510B (zh) * 2021-02-02 2022-09-16 江苏大学 一种基于半监督学习的自动编码器在自动泊车中车位探测的方法
CN113537163B (zh) * 2021-09-15 2021-12-28 苏州魔视智能科技有限公司 一种用于车位检测的模型训练方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038448A (zh) * 2017-03-01 2017-08-11 中国科学院自动化研究所 目标检测模型构建方法
CN108520273A (zh) * 2018-03-26 2018-09-11 天津大学 一种基于目标检测的稠密小商品快速检测识别方法
CN108564109A (zh) * 2018-03-21 2018-09-21 天津大学 一种基于深度学习的遥感图像目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038448A (zh) * 2017-03-01 2017-08-11 中国科学院自动化研究所 目标检测模型构建方法
CN108564109A (zh) * 2018-03-21 2018-09-21 天津大学 一种基于深度学习的遥感图像目标检测方法
CN108520273A (zh) * 2018-03-26 2018-09-11 天津大学 一种基于目标检测的稠密小商品快速检测识别方法

Also Published As

Publication number Publication date
CN111259710A (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
CN110942000B (zh) 一种基于深度学习的无人驾驶车辆目标检测方法
CN111259710B (zh) 采用停车位框线、端点的停车位结构检测模型训练方法
CN106845487B (zh) 一种端到端的车牌识别方法
CN108171112B (zh) 基于卷积神经网络的车辆识别与跟踪方法
CN108345875B (zh) 可行驶区域检测模型训练方法、检测方法和装置
CN111259704B (zh) 一种虚线车道线端点检测模型的训练方法
CN111259706B (zh) 一种车辆的车道线压线判断方法和系统
Li et al. Automatic crack detection and measurement of concrete structure using convolutional encoder-decoder network
CN110866871A (zh) 文本图像矫正方法、装置、计算机设备及存储介质
CN110598512B (zh) 一种车位检测方法及装置
CN107545263B (zh) 一种物体检测方法及装置
CN111259707B (zh) 一种特殊线型车道线检测模型的训练方法
WO2022142214A1 (zh) 车辆位姿确定方法、车辆控制方法及相应的装置、车辆、存储介质
CN112560698B (zh) 图像处理方法、装置、设备和介质
CN111738206B (zh) 基于CenterNet的用于无人机巡检的挖掘机检测方法
CN111098850A (zh) 一种自动停车辅助系统及自动泊车方法
CN112164048B (zh) 一种基于深度学习的磁瓦表面缺陷自动检测方法和装置
Farag Real-time detection of road lane-lines for autonomous driving
CN111738033B (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
WO2020181426A1 (zh) 一种车道线检测方法、设备、移动平台及存储介质
CN113657409A (zh) 车辆损失检测方法、装置、电子设备及存储介质
CN111091023A (zh) 一种车辆检测方法、装置及电子设备
CN111738036A (zh) 图像处理方法、装置、设备及存储介质
CN108694716B (zh) 一种工件检测方法、模型训练方法及设备
CN111260955B (zh) 采用停车位框线、端点的停车位检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211126

Address after: 215100 floor 23, Tiancheng Times Business Plaza, No. 58, qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou, Jiangsu Province

Applicant after: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

Address before: Room 601-a32, Tiancheng information building, No. 88, South Tiancheng Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province

Applicant before: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant