CN114842446A - 车位检测方法、装置及计算机存储介质 - Google Patents

车位检测方法、装置及计算机存储介质 Download PDF

Info

Publication number
CN114842446A
CN114842446A CN202210392067.9A CN202210392067A CN114842446A CN 114842446 A CN114842446 A CN 114842446A CN 202210392067 A CN202210392067 A CN 202210392067A CN 114842446 A CN114842446 A CN 114842446A
Authority
CN
China
Prior art keywords
parking space
information
space detection
detection
point information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210392067.9A
Other languages
English (en)
Inventor
肖川
秦帅昆
杨箫
刘洋
赵天坤
陈泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hozon New Energy Automobile Co Ltd
Original Assignee
Hozon New Energy Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hozon New Energy Automobile Co Ltd filed Critical Hozon New Energy Automobile Co Ltd
Priority to CN202210392067.9A priority Critical patent/CN114842446A/zh
Publication of CN114842446A publication Critical patent/CN114842446A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种车位检测方法、装置及计算机存储介质，包括：获取设置于车辆的图像采集设备采集的所述车辆周围的环视图像；将所述环视图像输入预先训练的神经网络模型进行车位检测，获取至少两个不同网络分支分别输出的车位检测信息；对所述至少两个不同网络分支分别输出的车位检测信息进行融合处理，获取所述车辆周围的车位信息。如此，通过将不同方式获取的车位检测信息进行融合，以起到相互配合与相互补充的作用，能够避免出现车位漏检的情况，提高了车位检测的准确度。

Description

车位检测方法、装置及计算机存储介质
技术领域
本发明涉及车辆技术领域，特别是涉及一种车位检测方法、装置及计算机存储介质。
背景技术
车辆的泊车辅助系统需要先准确获取车位的位置信息，才能完成泊车操作。而现有的车位检测方法大多是基于环视图的，即先基于环视图检测出车位位置信息，再还原到世界坐标系下，从而让车辆知道车位在世界坐标系下的具体位置。然而，现有很多基于环视图的车位检测方案都是先检测车位的入口点以及入口方向，再根据一些车位的先验信息，将检测出的各个入口点拼成车位。但是，在一些特定场景如露天环境下，当一些车位入口标线由于磨损或被积水、落叶等物体遮挡时，现有车位检测方法就会出现漏检的情况，影响车位检测的准确度。
发明内容
本发明的目的在于提供一种车位检测方法、装置及计算机存储介质，通过将不同方式获取的车位检测信息进行融合，以起到相互配合与相互补充的作用，能够避免出现车位漏检的情况，提高了车位检测的准确度。
为达到上述目的，本发明的技术方案是这样实现的：
第一方面，本发明实施例提供了一种车位检测方法，包括：
获取设置于车辆的图像采集设备采集的所述车辆周围的环视图像；
将所述环视图像输入预先训练的神经网络模型进行车位检测，获取至少两个不同网络分支分别输出的车位检测信息；
对所述至少两个不同网络分支分别输出的车位检测信息进行融合处理，获取所述车辆周围的车位信息。
作为其中一种实施方式，所述将所述环视图像输入预先训练的神经网络模型进行车位检测，获取至少两个不同网络分支分别输出的车位检测信息，包括：
将所述环视图像输入预先训练的神经网络模型进行车位检测，获得回归分支输出的第一车位角点信息、分割分支输出的关于车位线的像素分割图、以及分类分支输出的至少一车位检测框和对应的旋转角度。
作为其中一种实施方式，所述对所述至少两个不同网络分支分别输出的车位检测信息进行融合处理，获取所述车辆周围的车位信息，包括以下步骤：
对所述像素分割图中关于车位线的像素进行骨架化运算处理，并将处理后的所述像素分割图与车位角点模板图进行匹配，获得至少一第二车位角点信息；
利用所述旋转角度对所述车位检测框进行旋转矫正，并通过预先训练的卷积神经网络模型对旋转矫正后的所述车位检测框进行车位检测，获得至少一第三车位角点信息；
对所述第一车位角点信息、所述第二车位角点信息和所述第三车位角点信进行融合处理，获得至少一目标车位角点信息；
将所述目标车位角点信息和预设车位角点特征进行匹配，确定所述车辆周围的车位信息。
作为其中一种实施方式，所述利用所述旋转角度对所述车位检测框进行旋转矫正，并通过预先训练的卷积神经网络模型对旋转矫正后的所述车位检测框进行车位检测，获得至少一第三车位角点信息，包括以下步骤：
对所述车位检测框进行车位区域提取，获得车位区域图像；
利用所述旋转角度对所述车位区域图像进行旋转矫正，将旋转矫正后的所述车位区域图像输入预先训练的卷积神经网络模型，获得至少一第三车位角点信息。
第二方面，本发明实施例提供了一种车位检测装置，所述装置包括：
获取模块，用于获取设置于车辆的图像采集设备采集的所述车辆周围的环视图像；
检测模块，用于将所述环视图像输入预先训练的神经网络模型进行车位检测，获取至少两个不同网络分支分别输出的车位检测信息；
处理模块，用于对所述至少两个不同网络分支分别输出的车位检测信息进行融合处理，获取所述车辆周围的车位信息。
作为其中一种实施方式，所述检测模块，具体用于：
将所述环视图像输入预先训练的神经网络模型进行车位检测，获得回归分支输出的第一车位角点信息、分割分支输出的关于车位线的像素分割图、以及分类分支输出的至少一车位检测框和对应的旋转角度。
作为其中一种实施方式，所述处理模块，具体用于：
对所述像素分割图中关于车位线的像素进行骨架化运算处理，并将处理后的所述像素分割图与车位角点模板图进行匹配，获得至少一第二车位角点信息；
利用所述旋转角度对所述车位检测框进行旋转矫正，并通过预先训练的卷积神经网络模型对旋转矫正后的所述车位检测框进行车位检测，获得至少一第三车位角点信息；
对所述第一车位角点信息、所述第二车位角点信息和所述第三车位角点信进行融合处理，获得至少一目标车位角点信息；
将所述目标车位角点信息和预设车位角点特征进行匹配，确定所述车辆周围的车位信息。
作为其中一种实施方式，所述处理模块，具体用于：
对所述车位检测框进行车位区域提取，获得车位区域图像；
利用所述旋转角度对所述车位区域图像进行旋转矫正，将旋转矫正后的所述车位区域图像输入预先训练的卷积神经网络模型，获得至少一第三车位角点信息。
第三方面，本发明实施例提供了一种车位检测装置，包括：处理器和存储有计算机程序的存储器，在所述处理器运行所述计算机程序时，实现上述所述的车位检测方法。
第四方面，本发明实施例提供了一种计算机存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现第一方面所述的车位检测方法。
本发明实施例提供的车位检测方法、装置及计算机存储介质，包括：获取设置于车辆的图像采集设备采集的所述车辆周围的环视图像；将所述环视图像输入预先训练的神经网络模型进行车位检测，获取至少两个不同网络分支分别输出的车位检测信息；对所述至少两个不同网络分支分别输出的车位检测信息进行融合处理，获取所述车辆周围的车位信息。如此，通过将不同方式获取的车位检测信息进行融合，以起到相互配合与相互补充的作用，能够避免出现车位漏检的情况，提高了车位检测的准确度。
附图说明
图1为本发明实施例提供的一种车位检测方法的流程示意图；
图2为本发明实施例提供的一种车位检测装置的结构示意图一；
图3为本发明实施例提供的一种车位检测方法的框架示意图；
图4为本发明实施例中一停车场的环视图；
图5为本发明实施例中针对环视图的检测输出结果示意图；
图6为本发明实施例中基于检测框检测车位角点的过程示意图；
图7为本发明实施例中车位骨架化的示意图；
图8为本发明实施例中基于像素分割图检测出的车位角点示意图；
图9为本发明实施例中车位检测结果示意图；
图10为本发明实施例提供的一种车位检测装置的结构示意图二。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的设备和方法的例子。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素，此外，本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
应当理解，尽管在本文可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语"如果"可以被解释成为"在……时"或"当……时"或"响应于确定"。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
应该理解的是，虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
需要说明的是，在本文中，采用了诸如S101、S102等步骤代号，其目的是为了更清楚简要地表述相应内容，不构成顺序上的实质性限制，本领域技术人员在具体实施时，可能会先执行S102后执行S101等，但这些均应在本申请的保护范围之内。
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或者“单元”的后缀仅为了有利于本申请的说明，其本身没有特定的意义。因此，“模块”、“部件”或者“单元”可以混合地使用。
参阅图1，为本申请实施例提供的一种车位检测方法，该方法可以由本申请实施例提供的一种车位检测装置来执行，该装置可以采用软件和/或硬件的方式来实现，该装置具体可以是车载设备、移动终端等电子设备，本实施例提供的车位检测方法包括以下步骤：
步骤S101：获取设置于车辆的图像采集设备采集的所述车辆周围的环视图像。
其中，所述图像采集设备可以为摄像头等设备，具体可以为鱼眼摄像头等，而通过将多路鱼眼摄像头拍摄的图像进行拼接，可获得360度全景俯视的环视图像。可以理解，在车辆驶入停车场中的停车位附近准备泊车时，如检测到驻车指令或倒车指令实时，可触发设置于车辆的图像采集设备采集的所述车辆周围的环视图像，以请求获取车辆周围的停车位信息。需要说明的是，所述车辆周围可能有一个或多个车位，且有的车位可能未停放车辆，而有的车位可能已停放车辆。
步骤S102：将所述环视图像输入预先训练的神经网络模型进行车位检测，获取至少两个不同网络分支分别输出的车位检测信息。
具体地，在获取到所述车辆周围的环视图像后，可将所述环视图像输入预先训练的包括有多个网络分支的神经网络模型进行车位检测，获取至少两个不同网络分支分别输出的车位检测信息。
需要说明的是，所述车位检测信息可以是车位角点信息，也可以是用于表征车位的其它信息，如车位线信息、车位检测框等。此外，所述网络分支也可称为任务分支，包括但不限于回归分支、分割分支、分类分支等，且通过不同网络分支获取的车位检测信息可看作是通过不同方式获取的车位检测信息。可以理解，由于采用单一方式即单个网络分支获得的车位检测结果可能不准确或者无法检测出来，而通过将多种方式结合进行车位检测，能够起到相互配合与相互补充的作用。例如，在通过回归分支无法检测出车位入口点的时候，可能通过分割分支检测出车位入口点。
在一实施方式中，所述神经网络模型的训练过程包括：获取训练样本集，所述训练样本集中的各个训练样本包括不同环视图像及其对应的车位信息；根据所述训练样本集训练所述神经网络模型。在一实施方式中，所述将所述环视图像输入预先训练的神经网络模型进行车位检测，获取至少两个不同网络分支分别输出的车位检测信息，包括：将所述环视图像输入预先训练的神经网络模型进行车位检测，获得回归分支输出的至少一第一车位角点信息、分割分支输出的关于车位线的像素分割图、以及分类分支输出的至少一车位检测框和对应的旋转角度。其中，所述第一车位角点信息包括但不限于车位角点在环视图中的位置、方向等信息。所述像素分割图包括有不同车位的车位线的像素，且所述像素分割图的尺寸可与所述环视图的尺寸一致。每个所述车位检测框包含一个车位，所述车位检测框对应的旋转角度用于指示所述车位检测框或所述车位检测框中的车位相对于参考位置需要矫正的度数。如此，可方便且快速的通过不同方式获取车位检测信息，提高了车位检测的效率。
步骤S103：对所述至少两个不同网络分支分别输出的车位检测信息进行融合处理，获取所述车辆周围的车位信息。
可以理解，对于由不同网络分支输出的车位检测信息，可采取预设规则进行融合处理，以准确提取车位信息。在一实施方式中，所述对所述至少两个不同网络分支分别输出的车位检测信息进行融合处理，获取所述车辆周围的车位信息，包括：对所述像素分割图中关于车位线的像素进行骨架化运算处理，并将处理后的所述像素分割图与车位角点模板图进行匹配，获得至少一第二车位角点信息；利用所述旋转角度对所述车位检测框进行旋转矫正，并将旋转矫正后的所述车位检测框输入预先训练的卷积神经网络模型，获得至少一第三车位角点信息；对所述第一车位角点信息、所述第二车位角点信息和所述第三车位角点信息进行融合处理，获得至少一目标车位角点信息；将所述目标车位角点信息和预设车位角点特征进行匹配，确定所述车辆周围的车位信息。可以理解，受到神经网络模型的分割分支输出特性影响，所述像素分割图中关于车位线的分割可能不够准确，导致有些车位线较宽，为了将粗细不均匀的车位线变细到同一尺度，可对所述像素分割图中关于车位线的像素进行骨架化运算处理。接着，再将骨架化运算处理后的所述像素分割图与车位角点模板图进行匹配，从而获得至少一第二车位角点信息。需要说明的是，所述车位角点模板图可以是车位入口点模板图，而由于所述车位入口点模板图具有较强的鲁棒性，对于车位入口点的线连接存在缺失或不清晰时，也能准确匹配，从而能够进一步避免车位漏检。
在一实施方式中，所述利用所述旋转角度对所述车位检测框进行旋转矫正，并通过预先训练的卷积神经网络模型对旋转矫正后的所述车位检测框进行车位检测，获得至少一第三车位角点信息，包括以下步骤：
对所述车位检测框进行车位区域提取，获得车位区域图像；
利用所述旋转角度对所述车位区域图像进行旋转矫正，将旋转矫正后的所述车位区域图像输入预先训练的卷积神经网络模型，获得至少一第三车位角点信息。
这里，由于每个所述车位检测框基本包含一个车位，该车位所在区域变为对应车位检测框中的感兴趣区域，因此，可先对所述车位检测框进行车位区域提取，获得车位区域图像，再利用所述旋转角度对所述车位区域图像进行旋转矫正，以提高车位检测效率并方便后续进行车位检测。需要说明的是，所述将旋转矫正后的所述车位区域图像输入预先训练的卷积神经网络模型之前，可通过训练样本集对所述卷积神经网络模型进行训练，而所述训练样本集中的各个训练样本包括不同车位区域图像及其对应的车位角点信息。
可以理解，所述对所述第一车位角点信息、所述第二车位角点信息和所述第三车位角点信息进行融合处理，可以为根据第一车位角点信息、所述第二车位角点信息和所述第三车位角点信息，对车位角点进行位置相同或相邻筛选，从而判断哪些车位角点是同一个等，进而获得至少一目标车位角点信息。所述预设车位角点特征可用于表征车位的确定标准或方式，包括但不限于相邻车位角点之间的距离、朝向、形状等。通过将所述目标车位角点信息和预设车位角点特征进行匹配，可确定所述车辆周围的车位信息。例如，假设所述目标车位角点信息包括A、B、C和D共四个角点，且A与B之间的距离、C与D之间的距离都为2.5米，而A与C之间的距离、B与D之间的距离都为5.5米，满足预设车位角点特征，则可根据A、B、C和D四个角点确定一个车位。
综上，上述实施例提供的车位检测方法中，通过将不同方式获取的车位检测信息进行融合，以起到相互配合与相互补充的作用，能够避免出现车位漏检的情况，提高了车位检测的准确度。
基于前述实施例相同的发明构思，参阅图2，为本申请实施例提供的一种车位检测装置，包括：
获取模块10，用于获取设置于车辆的图像采集设备采集的所述车辆周围的环视图像；
检测模块11，用于将所述环视图像输入预先训练的神经网络模型进行车位检测，获取至少两个不同网络分支分别输出的车位检测信息；
处理模块12，用于对所述至少两个不同网络分支分别输出的车位检测信息进行融合处理，获取所述车辆周围的车位信息。
其中，所述图像采集设备可以为摄像头等设备，具体可以为鱼眼摄像头等，而通过将多路鱼眼摄像头拍摄的图像进行拼接，可获得360度全景俯视的环视图像。可以理解，在车辆驶入停车位附近准备泊车时，如检测到驻车指令或倒车指令实时，可触发设置于车辆的图像采集设备采集的所述车辆周围的环视图像，以请求获取车辆周围的停车位信息。需要说明的是，所述车辆周围可能有一个或多个车位，且有的车位可能未停放车辆，而有的车位可能已停放车辆。
需要说明的是，所述车位检测信息可以是车位角点信息，也可以是用于表征车位的其它信息，如车位线信息、车位检测框等。此外，所述网络分支也可称为任务分支，包括但不限于回归分支、分割分支、分类分支等，且通过不同网络分支获取的车位检测信息可看作是通过不同方式获取的车位检测信息。可以理解，由于采用单一方式即单个网络分支获得的车位检测结果可能不准确或者无法检测出来，而通过将多种方式结合进行车位检测，能够起到相互配合与相互补充的作用。例如，在通过回归分支无法检测出车位入口点的时候，可能通过分割分支检测出车位入口点。
在一实施方式中，所述神经网络模型的训练过程包括：获取训练样本集，所述训练样本集中的各个训练样本包括不同环视图像及其对应的车位信息；根据所述训练样本集训练所述神经网络模型。在一实施方式中，所述检测模块11，具体用于：将所述环视图像输入预先训练的神经网络模型进行车位检测，获得回归分支输出的至少一第一车位角点信息、分割分支输出的关于车位线的像素分割图、以及分类分支输出的至少一车位检测框和对应的旋转角度。其中，所述第一车位角点信息包括但不限于车位角点在环视图中的位置、方向等信息。所述像素分割图包括有不同车位的车位线的像素，且所述像素分割图的尺寸可与所述环视图的尺寸一致。每个所述车位检测框包含一个车位，所述车位检测框对应的旋转角度用于指示所述车位检测框或所述车位检测框中的车位相对于参考位置需要矫正的度数。如此，可方便且快速的通过不同方式获取车位检测信息，提高了车位检测的效率。
可以理解，对于由不同网络分支输出的车位检测信息，可采取预设规则进行融合处理，以准确提取车位信息。在一实施方式中，所述处理模块12，具体用于：对所述像素分割图中关于车位线的像素进行骨架化运算处理，并将处理后的所述像素分割图与车位角点模板图进行匹配，获得至少一第二车位角点信息；利用所述旋转角度对所述车位检测框进行旋转矫正，并将旋转矫正后的所述车位检测框输入预先训练的卷积神经网络模型，获得至少一第三车位角点信息；对所述第一车位角点信息、所述第二车位角点信息和所述第三车位角点信息进行融合处理，获得至少一目标车位角点信息；将所述目标车位角点信息和预设车位角点特征进行匹配，确定所述车辆周围的车位信息。可以理解，受到神经网络模型的分割分支输出特性影响，所述像素分割图中关于车位线的分割可能不够准确，导致有些车位线较宽，为了将粗细不均匀的车位线变细到同一尺度，可对所述像素分割图中关于车位线的像素进行骨架化运算处理。接着，再将骨架化运算处理后的所述像素分割图与车位角点模板图进行匹配，从而获得至少一第二车位角点信息。需要说明的是，所述车位角点模板图可以是车位入口点模板图，而由于所述车位入口点模板图具有较强的鲁棒性，对于车位入口点的线连接存在缺失或不清晰时，也能准确匹配，从而能够进一步避免车位漏检。
在一实施方式中，所述处理模块12，具体用于：
对所述车位检测框进行车位区域提取，获得车位区域图像；
利用所述旋转角度对所述车位区域图像进行旋转矫正，将旋转矫正后的所述车位区域图像输入预先训练的卷积神经网络模型，获得至少一第三车位角点信息。
这里，由于每个所述车位检测框基本包含一个车位，该车位所在区域变为对应车位检测框中的感兴趣区域，因此，可先对所述车位检测框进行车位区域提取，获得车位区域图像，再利用所述旋转角度对所述车位区域图像进行旋转矫正，以提高车位检测效率并方便后续进行车位检测。需要说明的是，所述将旋转矫正后的所述车位区域图像输入预先训练的卷积神经网络模型之前，可通过训练样本集对所述卷积神经网络模型进行训练，而所述训练样本集中的各个训练样本包括不同车位区域图像及其对应的车位角点信息。
可以理解，所述对所述第一车位角点信息、所述第二车位角点信息和所述第三车位角点信息进行融合处理，可以为根据第一车位角点信息、所述第二车位角点信息和所述第三车位角点信息，对车位角点进行位置相同或相邻筛选，从而判断哪些车位角点是同一个等，进而获得至少一目标车位角点信息。所述预设车位角点特征可用于表征车位的确定标准或方式，包括但不限于相邻车位角点之间的距离、朝向、形状等。通过将所述目标车位角点信息和预设车位角点特征进行匹配，可确定所述车辆周围的车位信息。例如，假设所述目标车位角点信息包括A、B、C和D共四个角点，且A与B之间的距离、C与D之间的距离都为2.5米，而A与C之间的距离、B与D之间的距离都为5.5米，满足预设车位角点特征，则可根据A、B、C和D四个角点确定一个车位。
综上，上述实施例提供的车位检测装置中，通过将不同方式获取的车位检测信息进行融合，以起到相互配合与相互补充的作用，能够避免出现车位漏检的情况，提高了车位检测的准确度。
基于前述实施例相同的发明构思，下面通过具体场景对前述实施例进行具体说明。
参阅图3，为本申请实施例提供的车位检测方法的框架示意图，首先，由多路鱼眼摄像头拼接成的360°全景俯视的停车场的环视图(参阅图4)经过神经网络的计算，获得三类输出，分别为：回归方式检测出的车位入口点位置、以物体框输出的车位入口点位置以及关于车位线的像素分割图。其中，神经网络输出的回归任务直接输出车位角点在环视图中的位置及方向信息，参阅图5(a)；检测框任务输出车位的检测框及旋转角度，参阅图5(b)；像素分割任务输出的是环视图中车位线的像素分割图，参阅图5(c)。需要说明的是，所述车位入口点也可看作是车位角点。
接着，对于检测框任务分支输出的是检测框及旋转角度，该检测框的范围能基本包围一个车位，每个检测框提取一个感兴趣区域(ROI)，将ROI截取的图片按角度转正，再输入给深度学习网络如卷积神经网络，回归出车位的四个角点位置，过程示意图如图6所示。如此，即使车位角点被遮挡也能回归出车位的位置。
接着，对于像素分割图，将隶属于车位线的像素做骨架化运算，将车位线变细，其目的是为了让粗细不均匀的车位线变细到同一尺度，骨架化运算后的像素分割图如图7所示。在骨架化运算后，再用制作好的模板对整个像素分割图进行模板匹配，因为模板匹配有较强的鲁棒性，即使车位入口点的线连接有些许缺失也无碍，匹配结果如图8所示。
接着，将通过各种不同方式获取的车位入口点进行融合，即判断由不同输出端得到的车位入口点哪些是同一个，从而保证真实车位入口点在被检测出结果中的唯一性。
最后，在车位角点特征库中会统计各种车位入口点的特征信息，如车位入口的形状、朝向、车位入口的距离等。在检测到车位入口点后，再将检测出的车位入口点信息与车位角点特征库中的特征进行匹配，然后拼成一个个车位，并输出车位信息，如图9所示。
综上，本实施例提供的车位检测方法中，旨在采用多种方式检测出车位入口点，然后将不同方式的检测结果进行融合，然后结合先验的车位信息将前面检测出的车位入口点组合成具体的车位，从而获得比单一角点检测方式更强的鲁棒性，即采用多种方式检测车位入口点，各自互补其他的短处，如回归方式检测不出的时候，能够用分割图的方式找到入口位置，进而获得正确的车位检测结果。
基于前述实施例相同的发明构思，本发明实施例提供了一种车位检测装置，如图10所示，该装置包括：处理器310和存储有计算机程序的存储器311；其中，图10中示意的处理器310并非用于指代处理器310的个数为一个，而是仅用于指代处理器310相对其他器件的位置关系，在实际应用中，处理器310的个数可以为一个或多个；同样，图10中示意的存储器311也是同样的含义，即仅用于指代存储器311相对其他器件的位置关系，在实际应用中，存储器311的个数可以为一个或多个。在所述处理器310运行所述计算机程序时，实现应用于上述装置的所述车位检测方法。
该装置还可包括：至少一个网络接口312。该装置中的各个组件通过总线系统313耦合在一起。可理解，总线系统313用于实现这些组件之间的连接通信。总线系统313除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图10中将各种总线都标为总线系统313。
其中，存储器311可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器311旨在包括但不限于这些和任意其它适合类型的存储器。
本发明实施例中的存储器311用于存储各种类型的数据以支持该装置的操作。这些数据的示例包括：用于在该装置上操作的任何计算机程序，如操作系统和应用程序；联系人数据；电话簿数据；消息；图片；视频等。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。这里，实现本发明实施例方法的程序可以包含在应用程序中。
基于前述实施例相同的发明构思，本实施例还提供了一种计算机存储介质，所述计算机存储介质中存储有计算机程序，计算机存储介质可以是磁性随机存取存储器(FRAM，ferromagnetic random access memory)、只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、快闪存储器(FlashMemory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)等存储器；也可以是包括上述存储器之一或任意组合的各种设备，如移动电话、计算机、平板设备、个人数字助理等。所述计算机存储介质中存储的计算机程序被处理器运行时，实现应用于上述装置的所述车位检测方法。所述计算机程序被处理器执行时实现的具体步骤流程请参考图1所示实施例的描述，在此不再赘述。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，除了包含所列的那些要素，而且还可包含没有明确列出的其他要素。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种车位检测方法，其特征在于，所述方法包括以下步骤：
获取设置于车辆的图像采集设备采集的所述车辆周围的环视图像；
将所述环视图像输入预先训练的神经网络模型进行车位检测，获取至少两个不同网络分支分别输出的车位检测信息；
对所述至少两个不同网络分支分别输出的车位检测信息进行融合处理，获取所述车辆周围的车位信息。
2.根据权利要求1所述车位检测方法，所述将所述环视图像输入预先训练的神经网络模型进行车位检测，获取至少两个不同网络分支分别输出的车位检测信息，包括：
将所述环视图像输入预先训练的神经网络模型进行车位检测，获得回归分支输出的至少一第一车位角点信息、分割分支输出的关于车位线的像素分割图、以及分类分支输出的至少一车位检测框和对应的旋转角度。
3.根据权利要求2所述车位检测方法，所述对所述至少两个不同网络分支分别输出的车位检测信息进行融合处理，获取所述车辆周围的车位信息，包括以下步骤：
对所述像素分割图中关于车位线的像素进行骨架化运算处理，并将处理后的所述像素分割图与车位角点模板图进行匹配，获得至少一第二车位角点信息；
利用所述旋转角度对所述车位检测框进行旋转矫正，并通过预先训练的卷积神经网络模型对旋转矫正后的所述车位检测框进行车位检测，获得至少一第三车位角点信息；
对所述第一车位角点信息、所述第二车位角点信息和所述第三车位角点信息进行融合处理，获得至少一目标车位角点信息；
将所述目标车位角点信息和预设车位角点特征进行匹配，确定所述车辆周围的车位信息。
4.根据权利要求3所述车位检测方法，所述利用所述旋转角度对所述车位检测框进行旋转矫正，并通过预先训练的卷积神经网络模型对旋转矫正后的所述车位检测框进行车位检测，获得至少一第三车位角点信息，包括以下步骤：
对所述车位检测框进行车位区域提取，获得车位区域图像；
利用所述旋转角度对所述车位区域图像进行旋转矫正，将旋转矫正后的所述车位区域图像输入预先训练的卷积神经网络模型，获得至少一第三车位角点信息。
5.一种车位检测装置，其特征在于，所述装置包括：
获取模块，用于获取设置于车辆的图像采集设备采集的所述车辆周围的环视图像；
检测模块，用于将所述环视图像输入预先训练的神经网络模型进行车位检测，获取至少两个不同网络分支分别输出的车位检测信息；
处理模块，用于对所述至少两个不同网络分支分别输出的车位检测信息进行融合处理，获取所述车辆周围的车位信息。
6.根据权利要求5所述的车位检测装置，所述检测模块，具体用于：
将所述环视图像输入预先训练的神经网络模型进行车位检测，获得回归分支输出的第一车位角点信息、分割分支输出的关于车位线的像素分割图、以及分类分支输出的至少一车位检测框和对应的旋转角度。
7.根据权利要求6所述的车位检测装置，所述处理模块，具体用于：
对所述像素分割图中关于车位线的像素进行骨架化运算处理，并将处理后的所述像素分割图与车位角点模板图进行匹配，获得至少一第二车位角点信息；
利用所述旋转角度对所述车位检测框进行旋转矫正，并通过预先训练的卷积神经网络模型对旋转矫正后的所述车位检测框进行车位检测，获得至少一第三车位角点信息；
对所述第一车位角点信息、所述第二车位角点信息和所述第三车位角点信进行融合处理，获得至少一目标车位角点信息；
将所述目标车位角点信息和预设车位角点特征进行匹配，确定所述车辆周围的车位信息。
8.根据权利要求7所述的车位检测装置，所述处理模块，具体用于：
对所述车位检测框进行车位区域提取，获得车位区域图像；
利用所述旋转角度对所述车位区域图像进行旋转矫正，将旋转矫正后的所述车位区域图像输入预先训练的卷积神经网络模型，获得至少一第三车位角点信息。
9.一种车位检测装置，其特征在于，包括：处理器和存储有计算机程序的存储器，在所述处理器运行所述计算机程序时，实现权利要求1至4中任一项所述的车位检测方法。
10.一种计算机存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至4中任一项所述的车位检测方法。
CN202210392067.9A 2022-04-14 2022-04-14 车位检测方法、装置及计算机存储介质 Pending CN114842446A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210392067.9A CN114842446A (zh) 2022-04-14 2022-04-14 车位检测方法、装置及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210392067.9A CN114842446A (zh) 2022-04-14 2022-04-14 车位检测方法、装置及计算机存储介质

Publications (1)

Publication Number Publication Date
CN114842446A true CN114842446A (zh) 2022-08-02

Family

ID=82565345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210392067.9A Pending CN114842446A (zh) 2022-04-14 2022-04-14 车位检测方法、装置及计算机存储介质

Country Status (1)

Country Link
CN (1) CN114842446A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115565158A (zh) * 2022-11-17 2023-01-03 广汽埃安新能源汽车股份有限公司 车位检测方法、装置、电子设备和计算机可读介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115565158A (zh) * 2022-11-17 2023-01-03 广汽埃安新能源汽车股份有限公司 车位检测方法、装置、电子设备和计算机可读介质

Similar Documents

Publication Publication Date Title
CN111160172B (zh) 泊车位检测方法、装置、计算机设备和存储介质
CN112330601A (zh) 一种基于鱼眼相机的停车检测方法、装置、设备及介质
WO2021184302A1 (zh) 图像处理方法、装置、成像设备、可移动载体及存储介质
CN109741241B (zh) 鱼眼图像的处理方法、装置、设备和存储介质
CN112200851B (zh) 一种基于点云的目标检测方法、装置及其电子设备
CN114842446A (zh) 车位检测方法、装置及计算机存储介质
CN111105351B (zh) 一种视频序列影像拼接方法及装置
CN115578468A (zh) 外参标定方法、装置、计算机设备、存储介质
CN114332349B (zh) 一种双目结构光边缘重建方法、系统及存储介质
CN114220063B (zh) 目标检测方法及装置
CN110136049B (zh) 一种基于环视图像与轮速计融合的定位方法及车载终端
Sahin Comparison and calibration of mobile phone fisheye lens and regular fisheye lens via equidistant model
CN110163914B (zh) 基于视觉的定位
CN114979956A (zh) 一种无人机航拍地面目标定位方法及系统
CN113284194A (zh) 多rs设备的标定方法、装置及设备
CN114863096B (zh) 室内停车场的语义地图构建及定位方法和装置
CN113011445A (zh) 标定方法、识别方法、装置及设备
RU2679200C1 (ru) Способ и система отображения данных с видеокамеры
CN111460854A (zh) 一种远距离目标检测方法、装置及系统
CN115631246A (zh) 相机内参和相机相对激光雷达外参的联合标定方法及装置
CN113147746A (zh) 坡道车位的探测方法及装置
CN115719442A (zh) 一种基于单应性变换矩阵的交叉路口目标融合方法及系统
CN115830073A (zh) 地图要素重建方法、装置、计算机设备和存储介质
JP2022546880A (ja) オブジェクト関連付け方法及び装置、システム、電子機器、記憶媒体及びコンピュータプログラム
CN113255405A (zh) 车位线识别方法及其系统、车位线识别设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 314500 988 Tong Tong Road, Wu Tong Street, Tongxiang, Jiaxing, Zhejiang

Applicant after: United New Energy Automobile Co.,Ltd.

Address before: 314500 988 Tong Tong Road, Wu Tong Street, Tongxiang, Jiaxing, Zhejiang

Applicant before: Hezhong New Energy Vehicle Co.,Ltd.