CN112036385B - 库位修正方法、装置、电子设备及可读存储介质 - Google Patents

库位修正方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN112036385B
CN112036385B CN202011215755.5A CN202011215755A CN112036385B CN 112036385 B CN112036385 B CN 112036385B CN 202011215755 A CN202011215755 A CN 202011215755A CN 112036385 B CN112036385 B CN 112036385B
Authority
CN
China
Prior art keywords
library
bit line
library bit
corner
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011215755.5A
Other languages
English (en)
Other versions
CN112036385A (zh
Inventor
顾竟潇
霍璐
张立阳
王曦
宋健明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Tongshi Electronic Technology Co ltd
Original Assignee
Tianjin Tiantong Weishi Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Tiantong Weishi Electronic Technology Co ltd filed Critical Tianjin Tiantong Weishi Electronic Technology Co ltd
Priority to CN202011215755.5A priority Critical patent/CN112036385B/zh
Publication of CN112036385A publication Critical patent/CN112036385A/zh
Application granted granted Critical
Publication of CN112036385B publication Critical patent/CN112036385B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations
    • G01S2015/933—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past
    • G01S2015/934—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past for measuring the depth, i.e. width, not length, of the parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本发明提供一种库位修正方法、装置、电子设备及可读存储介质，能够在复杂的环境中快速找到车辆附近的库位，并由粗到精地修正库位线及角点，明显提高库位的定位精度，得到更小误差的库位位置，从而辅助泊车功能精准泊入。本发明所需硬件结构简单，具有功能模块化、运行速度快、资源消耗低、以及鲁棒性高的优势。

Description

库位修正方法、装置、电子设备及可读存储介质
技术领域
本发明涉及智能驾驶技术领域，更具体地说，涉及一种库位修正方法、装置、电子设备及可读存储介质。
背景技术
基于车载360度全景摄像头的视觉搜寻库位功能作为目前超声自动泊车功能的替代品，已经逐渐步入量产轨道。
视觉搜寻库位功能拥有运行速度快、探测距离远、环境适应能力强的特点，并且成本低廉、安装简单。但是由于自动泊车场景复杂，库位线质量参差不齐，存在污染、遮挡、模糊、对比度低等各种情况，均会导致视觉搜寻库位功能存在不同程度的检测角度偏差、尺寸偏差，从而可能对自动泊车功能造成影响甚至是泊车失败。
因此，如何解决视觉搜寻库位功能在不同场景下的检测偏差问题，以保证视觉自动泊车功能的稳定性、精确性和安全性，是现阶段亟需解决的问题。
发明内容
有鉴于此，为解决上述问题，本发明提供一种库位修正方法、装置、电子设备及可读存储介质，技术方案如下：
一种库位修正方法，所述方法包括：
获取车辆的鸟瞰图，并识别所述鸟瞰图中库位所在的库位区域；
通过粗定位所述库位区域内的角点，确定角点分布区域；
确定所述角点分布区域的连通区域，并检测所述鸟瞰图中与所述连通区域对应的子图像的库位线掩膜，所述库位线掩膜用于表征所述子图像中各像素点属于库位线的概率分布；
基于所述库位线掩膜确定所述库位的库位线，并将库位的库位线间的交点作为所述库位的角点。
优选的，所述通过粗定位所述库位区域内的角点，确定角点分布区域，包括：
调取预先训练的角点识别模型、以及与所述角点识别模型的识别误差相对应的限制性距离，所述角点识别模型是基于深度学习的定位回归算法训练得到的；
通过所述角点识别模型识别所述库位区域内角点；
根据所述角点识别模型所识别角点的位置、以及所述限制性距离，确定相应的角点分布区域。
优选的，所述检测所述鸟瞰图中与所述连通区域对应的子图像的库位线掩膜，包括：
分别采用深度学习图像分割方法和图像处理检测边界轮廓方法分别处理所述连通区域，得到各自对应的库位线分类结果；
加权融合所述深度学习图像分割方法的库位线分类结果、以及所述图像处理检测边界轮廓方法的库位线分类结果，得到库位线掩膜。
优选的，所述基于所述库位线掩膜确定所述库位的库位线之前，所述方法还包括：
采用随机条件场方法修正所述库位线掩膜。
一种库位修正装置，所述装置包括：
库位识别模块，用于获取车辆的鸟瞰图，并识别所述鸟瞰图中库位所在的库位区域；
角点粗定位模块，用于通过粗定位所述库位区域内的角点，确定角点分布区域；
掩膜检测模块，用于确定所述角点分布区域的连通区域，并检测所述鸟瞰图中与所述连通区域对应的子图像的库位线掩膜，所述库位线掩膜用于表征所述子图像中各像素点属于库位线的概率分布；
库位确定模块，用于基于所述库位线掩膜确定所述库位的库位线，并将库位的库位线间的交点作为所述库位的角点。
优选的，所述角点粗定位模块，具体用于：
调取预先训练的角点识别模型、以及与所述角点识别模型的识别误差相对应的限制性距离，所述角点识别模型是基于深度学习的定位回归算法训练得到的；通过所述角点识别模型识别所述库位区域内角点；根据所述角点识别模型所识别角点的位置、以及所述限制性距离，确定相应的角点分布区域。
优选的，所述掩膜检测模块，具体用于：
分别采用深度学习图像分割方法和图像处理检测边界轮廓方法分别处理所述连通区域，得到各自对应的库位线分类结果；加权融合所述深度学习图像分割方法的库位线分类结果、以及所述图像处理检测边界轮廓方法的库位线分类结果，得到库位线掩膜。
优选的，所述掩膜检测模块，还用于：
采用随机条件场方法修正所述库位线掩膜。
一种电子设备，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或所述指令被所述处理器执行时实现任一项所述的库位修正方法的步骤。
一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或所述指令被处理器执行时实现任一项所述的库位修正方法的步骤。
相较于现有技术，本发明实现的有益效果为：
本发明提供一种库位修正方法、装置、电子设备及可读存储介质，能够在复杂的环境中快速找到车辆附近的库位，并由粗到精地修正库位线及角点，明显提高库位的定位精度，得到更小误差的库位位置，从而辅助泊车功能精准泊入。本发明所需硬件结构简单，具有功能模块化、运行速度快、资源消耗低、以及鲁棒性高的优势。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的电子设备的硬件结构框图；
图2为本发明实施例提供的库位修正方法的方法流程图；
图3为本发明实施例提供的鸟瞰图的图像效果示例；
图4为本发明实施例提供的鸟瞰图的图像坐标系示例；
图5为本发明实施例提供的鸟瞰图处理结果示意图；
图6为本发明实施例提供的库位修正装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
当前市面上量产的主要库位检测方法都是基于超声波雷达的，这种方法只能检测到空间库位，即两辆停放的车中间形成了一个空库位的情况。但是由于超声波雷达探测范围近、响应耗时长、场景要求高，所以这种方案存在诸多问题：
必须要车辆驶过库位，超声波雷达才能够探测到；两边必须停放车辆，否则就检测不到库位；距离库位要近，行驶速度要慢，并且附近没有明显的干扰。
这种方案只能在行人车辆较少的停车场使用，在人流密集，交通复杂的道路中，基本上等同于失效。所以要快速精确定位库位，就要采用视觉的方法。
目前市面上已经有了一部分视觉检测库位的方案，但是这些方案的思路是先做图像的预处理，然后使用深度学习模型定位回归，将找到的库位角点规则化，即产生了检测到的库位。虽然这种方法简单有效，速度也很快，但是带来的问题是误检严重，经常会把相似的图像当成库位。而且这种方法定位不精确，会导致泊车偏差。这就是没有修正方案带来的后果。
本发明目的是要采用视觉的方法，快速、高效、并且精准的修正库位边缘和细节，从而为自动泊车功能提供第一步路径规划的可靠保障。检测库位的误差和速度在项目中都是有要求的，一般偏差都要求在5%以内，甚至更小。所以采用修正方法是十分必要的。
基于此，本发明实施例提供一种库位修正方法，该方法应用于电子设备，参见图1所示的电子设备的硬件结构框图，电子设备的硬件结构可以包括：处理器11、通信接口12、存储器13和通信总线14；
在本申请实施例中，处理器11、通信接口12、存储器13和通信总线14的数量为至少一个，且处理器11、通信接口12、存储器13通过通信总线14完成相互间的通信。
处理器11可以是一个中央处理器CPU、GPU（Graphics Processing Unit，图形处理器），或者是特定集成电路ASIC（Application Specific Integrated Circuit），或者是被配置成实施本发明实施例的一个或多个集成电路等。
存储器13可以包含高速RAM存储器，也可能还包括非易失性存储器（non-volatilememory）等，例如至少一个磁盘存储器。
其中，存储器13上存储有程序或指令，处理器11可以调用并运行存储器上存储的程序或指令，程序或指令被处理器11执行时用于实现：
获取车辆的鸟瞰图，并识别所述鸟瞰图中库位所在的库位区域；通过粗定位所述库位区域内的角点，确定角点分布区域；确定所述角点分布区域的连通区域，并检测所述鸟瞰图中与所述连通区域对应的子图像的库位线掩膜，所述库位线掩膜用于表征所述子图像中各像素点属于库位线的概率分布；基于所述库位线掩膜确定所述库位的库位线，并将库位的库位线间的交点作为所述库位的角点。
需要说明的是，程序的细化功能和扩展功能可以参见下文描述。
参见图2所示的库位修正方法的方法流程图，本发明实施例提供的库位修正方法包括如下步骤：
S10，获取车辆的鸟瞰图，并识别鸟瞰图中库位所在的库位区域。
本发明实施例中，车辆中配置有车载360度全景摄像头，基于该车载360度全景摄像头能够获得车辆所在环境的画面，将车载360度全景摄像头的画面进行畸变矫正，并由车辆坐标系转换到鸟瞰图的图像坐标系，从而完成鸟瞰图映射并进一步图像拼接，形成车身每一面不低于6米的视野范围，图像效果参见图3。
此外，车身每一面不低6米范围是指车的前、后、左、右侧均有多于6米的画面范围，这样设定是保证在画面内能够完整看到垂直、平行、斜向的库位。一般来说垂直和斜向库位深度都是5米左右，平行库位宽度是5.6米-6,0米，这样能够保证画面内看全各种库位类型。
参见图4所示的鸟瞰图的图像坐标系示例。图像坐标系原点（0,0）在左上，车辆中心坐标为（500,325），其他距离信息如图，单位为像素。假设，这里每个像素代表实际的距离为2厘米，所以400像素就代表车辆左侧有800cm的距离范围。同理，当我们在图像上检测到库位后，就可以通过1像素=2厘米的比例进行转换，以实现由世界坐标系转换到鸟瞰图的图像坐标系中。
此外，本发明实施例使用深度学习方法中单阶段检测器进行视野范围内库位感兴趣区域，即库位区域的检测，所得结果为鸟瞰图中每一个库位所在区域的外接矩形框位置，如图5所示的鸟瞰图处理结果中大矩形框1所示。
S20，通过粗定位库位区域内的角点，确定角点分布区域。
本发明实施例中，通过智能学习算法识别库位区域中的角点，以此确定库位区域中角点的位置，进一步，可以以该位置为中心，为识别到的角点划分一定的区域，作为该角点的角点分布区域。
具体实现过程中，本发明实施例采用深度学习的定位回归算法处理库位区域，步骤S20“通过粗定位库位区域内的角点，确定角点分布区域”可以采用如下步骤：
调取预先训练的角点识别模型、以及与角点识别模型的识别误差相对应的限制性距离，角点识别模型是基于深度学习的定位回归算法训练得到的；通过角点识别模型识别库位区域内角点；根据角点识别模型所识别角点的位置、以及限制性距离，确定相应的角点分布区域。
本发明实施例中，基于定位回归算法训练角点识别模型，具体的，针对该库位检测任务，采集训练样本并标注真值，以基础模型对训练的样本的预测结果趋近于其标注的真值为目标，对基础模型进行训练得到性能符合要求的角点识别模型。
当然，在必要的时候还需要适当修改现有的算法结构来达到最优性能。本发明实施例对此不做限定。
而在完成角点识别模型训练结束后，可以使用一个没有参与训练的测试样本对该角点识别模型进行测试，并基于测试结果与该测试样本所标注真值计算该角点识别模型的识别误差。考虑到实际场景可能更为复杂，可以设置限制性距离适当大于该角点识别模型的识别误差。
假设该角点识别模型的识别误差为3个像素，考虑到实际场景可能更为复杂，可以将限制性距离设置为4个像素，即以角点的位置为中心、上下左右各扩张4个像素，即粗定位后每个角点的误差范围就是(4 + 1 + 4) * (4 + 1 + 4)=81像素。粗定位获得的角点分布区域如图5所示的鸟瞰图处理结果中矩形框2、3、4、5所示。
S30，确定角点分布区域的连通区域，并检测鸟瞰图中与连通区域对应的子图像的库位线掩膜，库位线掩膜用于表征子图像中各像素点属于库位线的概率分布。
本发明实施例中，对于识别到的库位四个角点，通过如上步骤S10~S20能够获得四个角点的角点分布区域，连通四个角点分布区域形成完整的连通区域，将库位区域不属于非连通区域的图像去除。连通区域如图5所示的鸟瞰图处理结果中虚线区域6、7、8、9所示。
此外，对于库位线掩膜的检测可以采用深度学习图像分割方法和图像处理检测边界轮廓方法任意一种。以下分别对深度学习图像分割方法和图像处理检测边界轮廓方法的检测过程进行说明：
深度学习图像分割方法：对于连通区域对应的子图像，使用深度学习对其中每一个像素点进行二分类；如果某一个像素点的分类结果为0，则表示其不是库位线上的点；如果某一个像素点的分类结果为1，则表示其是库位线上的点。因此，最终获得的结果即位于连通区域内可能组成库位线的所有像素点。
图像处理检测边界轮廓方法：对于连通区域对应的子图像，将该子图像转换成灰度图，然后采用canny算法将图像中的边缘轮廓（即库位线）描出。由此，获得的结果即位于连通区域内所有组成库位线的像素点，其中，属于库位线的像素点的分类结果为1、不属于库位线的像素点的分类结果为0。
需要说明的是，以上分类结果“0”和“1”即为像素点属于库位线的概率，由此子图像中所有像素点的概率分布即为库位线掩膜。
具体实现过程中，为提高库位线掩膜的检测精度，步骤S30“检测鸟瞰图中与连通区域对应的子图像的库位线掩膜”可以采用如下步骤：
分别采用深度学习图像分割方法和图像处理检测边界轮廓方法分别处理连通区域，得到各自对应的库位线分类结果；加权融合深度学习图像分割方法的库位线分类结果、以及图像处理检测边界轮廓方法的库位线分类结果，得到库位线掩膜。
本发明实施例中，可以预先设置深度学习图像分割方法和图像处理检测边界轮廓方法的权重，进而基于两者的权重对两者的库位线分类结果进行加权融合，形成高精度的库位线掩膜。
基于该库位线掩膜即可获得属于库位线的像素点合集，比如将加权融合后的分类结果数值大于预设阈值的像素点作为属于库位线的像素点。
以深度学习图像分割方法的权重为0.6、图像处理检测边界轮廓方法的权重为0.4为例进行说明：
对于子图像中的每个像素点，将该像素点在深度学习图像分割方法中的分类结果乘以0.6、该像素点在图像处理检测边界轮廓方法中的分类结果乘以0.4，并将结果叠加，得到该像素点的实际分类结果。实际分类结果越接近1，该像素点属于库位线的可能就越大。
此外，由于单纯从库位线掩膜上，还不能够完全确定库位线的边界，所以我们采用了随机条件场方法来修正库位线掩膜，以此调整库位线掩膜的概率分布，使得靠近库位线的分类结果的数值更高、不靠近库位线的分类结果的数值更低，从而清晰描出库位线边界。
具体的，将随机条件场应用到库位线掩膜修正上，主要的实现方式如下：
将库位线掩膜用无向图表示，每个像素点都是无向图中的顶点，像素点间的连接关系为顶点的连线。图像分割的过程就是将每个顶点赋予不同的label（目标或背景），即将无向图中的边在边界处正确地切分开。具有相似位置和颜色特征的两个像素，被赋予相同label的概率就大，则被分割的可能性就小，这就形成了随机条件场的概率模型。
也就是说，库位线附近的像素，如果位置和颜色特征都很类似，那么就会被合并起来。当对每一个像素点都进行处理并赋予label后，条件随机场对所有的label和特征进行全局归一化，然后得到最优解。通过得到的新的label分布，就能够得到精确获得属于库位线的像素点合集。
进一步，将属于库位线的像素点集合作为边界进行提取，从而可以得到库位线的内边界和/或外边界，每两条内边界和/或外边界的交点即可形成一个角点。以此，即可完成库位线和角点的修正，实现自动泊车功能中库位的精确定位。
S40，基于库位线掩膜确定库位的库位线，并将库位的库位线间的交点作为库位的角点。
综上，采用本发明的库位修正方法，首先利用深度学习的单阶段检测方法及回归定位算法，快速锁定有效连通区域，最大程度去除场景环境对库位线造成的影响。
进一步，在连通区域内采用深度学习图像分割方法处理库位线掩膜，可以高效提取出绝大部分库位线，但是不够精确。同时采用图像处理方法检测边界轮廓，可以更加精确定库位线。两种方法优势互补，可以获得鲁棒性更强的库位线掩膜。
再者，使用随机条件场方法进行库位线掩膜的再处理，能够将库位线掩膜、图像像素梯度、无监督学习及图像前景背景分布等因素综合考虑并优化，保证处理后的库位线掩膜与真实场景下库位线更加吻合。
库位线掩膜的内外边缘分别对应库位线内外边界，可以方便自动泊车功能决策，自由选择使用的区域。并且边界交点即为库位的角点，计算灵活，使用方便。
基于以上实施例提供的库位修正方法，本发明实施例还提供一种执行该库位修正方法的装置，该装置的结构示意图如图6所示，包括：
库位识别模块10，用于获取车辆的鸟瞰图，并识别鸟瞰图中库位所在的库位区域；
角点粗定位模块20，用于通过粗定位库位区域内的角点，确定角点分布区域；
掩膜检测模块30，用于确定角点分布区域的连通区域，并检测鸟瞰图中与连通区域对应的子图像的库位线掩膜，库位线掩膜用于表征子图像中各像素点属于库位线的概率分布；
库位确定模块40，用于基于库位线掩膜确定库位的库位线，并将库位的库位线间的交点作为库位的角点。
可选的，角点粗定位模块20，具体用于：
调取预先训练的角点识别模型、以及与角点识别模型的识别误差相对应的限制性距离，角点识别模型是基于深度学习的定位回归算法训练得到的；通过角点识别模型识别库位区域内角点；根据角点识别模型所识别角点的位置、以及限制性距离，确定相应的角点分布区域。
可选的，掩膜检测模块30，具体用于：
分别采用深度学习图像分割方法和图像处理检测边界轮廓方法分别处理连通区域，得到各自对应的库位线分类结果；加权融合深度学习图像分割方法的库位线分类结果、以及图像处理检测边界轮廓方法的库位线分类结果，得到库位线掩膜。
可选的，掩膜检测模块30，还用于：
采用随机条件场方法修正库位线掩膜。
本发明实施例提供一种库位修正装置，能够在复杂的环境中快速找到车辆附近的库位，并由粗到精地修正库位线及角点，明显提高库位的定位精度，得到更小误差的库位位置，从而辅助泊车功能精准泊入。
本申请实施例还提供一种可读存储介质，该可读存储介质上存储程序或指令，所述程序或所述指令被处理器执行时实现以上所述的库位修正方法的步骤。程序或指令的细化功能和扩展功能可参照上文描述。
以上对本发明所提供的一种库位修正方法、装置、电子设备及可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素，或者是还包括为这些过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种库位修正方法，其特征在于，所述方法包括：
获取车辆的鸟瞰图，并识别所述鸟瞰图中库位所在的库位区域；
通过粗定位所述库位区域内的角点，确定角点分布区域；
确定所述角点分布区域的连通区域，并检测所述鸟瞰图中与所述连通区域对应的子图像的库位线掩膜，所述库位线掩膜用于表征所述子图像中各像素点属于库位线的概率分布；
基于所述库位线掩膜确定所述库位的库位线，并将库位的库位线间的交点作为所述库位的角点；
其中，所述检测所述鸟瞰图中与所述连通区域对应的子图像的库位线掩膜，包括：
分别采用深度学习图像分割方法和图像处理检测边界轮廓方法分别处理所述连通区域，得到各自对应的库位线分类结果；
加权融合所述深度学习图像分割方法的库位线分类结果、以及所述图像处理检测边界轮廓方法的库位线分类结果，得到库位线掩膜。
2.根据权利要求1所述的方法，其特征在于，所述通过粗定位所述库位区域内的角点，确定角点分布区域，包括：
调取预先训练的角点识别模型、以及与所述角点识别模型的识别误差相对应的限制性距离，所述角点识别模型是基于深度学习的定位回归算法训练得到的；
通过所述角点识别模型识别所述库位区域内角点；
根据所述角点识别模型所识别角点的位置、以及所述限制性距离，确定相应的角点分布区域。
3.根据权利要求1所述的方法，其特征在于，所述基于所述库位线掩膜确定所述库位的库位线之前，所述方法还包括：
采用随机条件场方法修正所述库位线掩膜。
4.一种库位修正装置，其特征在于，所述装置包括：
库位识别模块，用于获取车辆的鸟瞰图，并识别所述鸟瞰图中库位所在的库位区域；
角点粗定位模块，用于通过粗定位所述库位区域内的角点，确定角点分布区域；
掩膜检测模块，用于确定所述角点分布区域的连通区域，并检测所述鸟瞰图中与所述连通区域对应的子图像的库位线掩膜，所述库位线掩膜用于表征所述子图像中各像素点属于库位线的概率分布；
库位确定模块，用于基于所述库位线掩膜确定所述库位的库位线，并将库位的库位线间的交点作为所述库位的角点；
其中，所述掩膜检测模块，具体用于：
分别采用深度学习图像分割方法和图像处理检测边界轮廓方法分别处理所述连通区域，得到各自对应的库位线分类结果；加权融合所述深度学习图像分割方法的库位线分类结果、以及所述图像处理检测边界轮廓方法的库位线分类结果，得到库位线掩膜。
5.根据权利要求4所述的装置，其特征在于，所述角点粗定位模块，具体用于：
调取预先训练的角点识别模型、以及与所述角点识别模型的识别误差相对应的限制性距离，所述角点识别模型是基于深度学习的定位回归算法训练得到的；通过所述角点识别模型识别所述库位区域内角点；根据所述角点识别模型所识别角点的位置、以及所述限制性距离，确定相应的角点分布区域。
6.根据权利要求4所述的装置，其特征在于，所述掩膜检测模块，还用于：
采用随机条件场方法修正所述库位线掩膜。
7.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或所述指令被所述处理器执行时实现如权利要求1-3任一项所述的库位修正方法的步骤。
8.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或所述指令被处理器执行时实现如权利要求1-3任一项所述的库位修正方法的步骤。
CN202011215755.5A 2020-11-04 2020-11-04 库位修正方法、装置、电子设备及可读存储介质 Active CN112036385B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011215755.5A CN112036385B (zh) 2020-11-04 2020-11-04 库位修正方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011215755.5A CN112036385B (zh) 2020-11-04 2020-11-04 库位修正方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN112036385A CN112036385A (zh) 2020-12-04
CN112036385B true CN112036385B (zh) 2021-02-02

Family

ID=73572883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011215755.5A Active CN112036385B (zh) 2020-11-04 2020-11-04 库位修正方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN112036385B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112874510B (zh) * 2021-02-02 2022-09-16 江苏大学 一种基于半监督学习的自动编码器在自动泊车中车位探测的方法
CN116363631B (zh) * 2023-05-19 2023-09-05 小米汽车科技有限公司 三维目标检测方法、装置及车辆
CN116863429A (zh) * 2023-07-26 2023-10-10 小米汽车科技有限公司 检测模型的训练方法、可行使区域的确定方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831595A (zh) * 2012-06-20 2012-12-19 中国农业大学 用于自然环境下目标点图像识别的标识物检测方法
CN105913685A (zh) * 2016-06-25 2016-08-31 上海大学 一种基于视频监控的车位识别及智能引导方法
CN107672588A (zh) * 2017-08-29 2018-02-09 广州小鹏汽车科技有限公司 一种自动泊车路径障碍物碰撞检测方法、装置及系统
CN107993263A (zh) * 2017-10-27 2018-05-04 深圳市易成自动驾驶技术有限公司 环视系统自动标定方法、汽车、标定装置及存储介质
EP3409565A1 (en) * 2017-05-29 2018-12-05 LG Electronics Inc. Parking system for vehicle and vehicle
CN109435942A (zh) * 2018-10-31 2019-03-08 合肥工业大学 一种基于信息融合的车位线车位识别方法及装置
CN110232835A (zh) * 2019-06-27 2019-09-13 浙江工业大学 一种基于图像处理的地下车库停车位检测方法
CN110758246A (zh) * 2018-07-25 2020-02-07 广州小鹏汽车科技有限公司 一种自动泊车方法及装置
CN111178295A (zh) * 2019-12-31 2020-05-19 华为技术有限公司 车位检测和模型训练方法、装置、车辆、设备及存储介质
CN111508260A (zh) * 2019-01-30 2020-08-07 上海欧菲智能车联科技有限公司 车辆停车位检测方法、装置和系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831595A (zh) * 2012-06-20 2012-12-19 中国农业大学 用于自然环境下目标点图像识别的标识物检测方法
CN105913685A (zh) * 2016-06-25 2016-08-31 上海大学 一种基于视频监控的车位识别及智能引导方法
EP3409565A1 (en) * 2017-05-29 2018-12-05 LG Electronics Inc. Parking system for vehicle and vehicle
CN107672588A (zh) * 2017-08-29 2018-02-09 广州小鹏汽车科技有限公司 一种自动泊车路径障碍物碰撞检测方法、装置及系统
CN107993263A (zh) * 2017-10-27 2018-05-04 深圳市易成自动驾驶技术有限公司 环视系统自动标定方法、汽车、标定装置及存储介质
CN110758246A (zh) * 2018-07-25 2020-02-07 广州小鹏汽车科技有限公司 一种自动泊车方法及装置
CN109435942A (zh) * 2018-10-31 2019-03-08 合肥工业大学 一种基于信息融合的车位线车位识别方法及装置
CN111508260A (zh) * 2019-01-30 2020-08-07 上海欧菲智能车联科技有限公司 车辆停车位检测方法、装置和系统
CN110232835A (zh) * 2019-06-27 2019-09-13 浙江工业大学 一种基于图像处理的地下车库停车位检测方法
CN111178295A (zh) * 2019-12-31 2020-05-19 华为技术有限公司 车位检测和模型训练方法、装置、车辆、设备及存储介质

Also Published As

Publication number Publication date
CN112036385A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
CN112036385B (zh) 库位修正方法、装置、电子设备及可读存储介质
US11455805B2 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
Siriborvornratanakul An automatic road distress visual inspection system using an onboard in-car camera
Varadharajan et al. Vision for road inspection
US20180018528A1 (en) Detecting method and device of obstacles based on disparity map and automobile driving assistance system
CN110427860B (zh) 一种车道线识别方法、装置及存储介质
Azimi et al. Eagle: Large-scale vehicle detection dataset in real-world scenarios using aerial imagery
CN112598922B (zh) 车位检测方法、装置、设备及存储介质
CN112740225B (zh) 一种路面要素确定方法及装置
CN112052807B (zh) 车辆位置检测方法、装置、电子设备及存储介质
CN111814593A (zh) 交通场景解析方法和设备、存储介质
CN114663852A (zh) 车道线图的构建方法、装置、电子设备及可读存储介质
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN113255444A (zh) 图像识别模型的训练方法、图像识别方法和装置
CN115372990A (zh) 一种高精度语义地图的建图方法、装置和无人车
CN111191482B (zh) 一种刹车灯识别方法、装置及电子设备
CN111881752B (zh) 一种护栏检测分类方法、装置、电子设备及存储介质
CN112837404B (zh) 一种平面对象的三维信息的构建方法及装置
CN114792416A (zh) 一种目标检测方法及装置
Meuter et al. 3D traffic sign tracking using a particle filter
CN116543143A (zh) 一种目标检测模型的训练方法、目标检测方法及装置
CN112784817B (zh) 车辆所在车道检测方法、装置、设备及存储介质
CN114419531A (zh) 目标检测方法、目标检测系统以及计算机可读存储介质
CN113435350A (zh) 一种交通标线检测方法、装置、设备和介质
CN114332814A (zh) 一种停车框识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221201

Address after: Room 901, No. 18, Tianshan Road, Changning District, Shanghai 200050

Patentee after: Shanghai Tongshi Electronic Technology Co.,Ltd.

Address before: Room 2100-b1018, 2 Huatian Road, Huayuan Industrial Zone, Binhai New Area, Tianjin

Patentee before: TIANJIN TIANTONG WEISHI ELECTRONIC TECHNOLOGY Co.,Ltd.