CN112907648A - 库位角点检测方法、装置、终端设备及车辆 - Google Patents
库位角点检测方法、装置、终端设备及车辆 Download PDFInfo
- Publication number
- CN112907648A CN112907648A CN202110158882.4A CN202110158882A CN112907648A CN 112907648 A CN112907648 A CN 112907648A CN 202110158882 A CN202110158882 A CN 202110158882A CN 112907648 A CN112907648 A CN 112907648A
- Authority
- CN
- China
- Prior art keywords
- library
- information
- corner
- position information
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种库位角点检测方法、装置、终端设备及车辆。该方法,包括:获取车辆的鸟瞰环视图;通过库位角点检测模型检测所述鸟瞰环视图中包含的库位角点的第一位置信息,其中,所述库位角点检测模型是基于标注有库位角点的位置信息的鸟瞰样本图训练得到的;根据所述库位角点的第一位置信息确定所述库位角点对应的感兴趣区域;检测所述感兴趣区域中的库位线信息,并根据所述库位线信息确定所述库位角点的第二位置信息;根据所述第二位置信息确定所述库位角点在所述鸟瞰环视图中的目标位置信息。上述的库位角点检测方法、装置、终端设备、存储介质及车辆,能够提高检测的库位角点的准确性。
Description
技术领域
本申请涉及电子技术领域,具体涉及一种库位角点检测方法、装置、终端设备及车辆。
背景技术
随着电子技术的快速发展,汽车也越来越智能化,目前很多汽车已经具备各项智能功能,例如辅助驾驶员进行泊车、自动泊车或是在泊车过程中提供安全性检测等功能,这些泊车功能都需要先进行库位角点的检测。传统的库位角点检测方案,通常是由汽车上的摄像头采集库位图像,并通过对库位图像进行分析得到库位角点,该库位角点检测方案存在准确性较差的问题。
发明内容
本申请实施例公开了一种库位角点检测方法、装置、终端设备及车辆,能够提高检测的库位角点的准确性。
本申请实施例公开了一种库位角点检测方法,包括:
获取车辆的鸟瞰环视图;
通过库位角点检测模型检测所述鸟瞰环视图中包含的库位角点的第一位置信息,其中,所述库位角点检测模型是基于标注有库位角点的位置信息的鸟瞰样本图训练得到的;
根据所述库位角点的第一位置信息确定所述库位角点对应的感兴趣区域;
检测所述感兴趣区域中的库位线信息,并根据所述库位线信息确定所述库位角点的第二位置信息;
根据所述第二位置信息确定所述库位角点在所述鸟瞰环视图中的目标位置信息。
在本申请实施例中,先利用库位角点检测模型检测鸟瞰环视图中包含的库位角点的第一位置信息,根据库位角点的第一位置信息确定库位角点对应的感兴趣区域,检测感兴趣区域中的库位线信息,并根据库位线信息确定库位角点的第二位置信息,再根据第二位置信息确定库位角点在鸟瞰环视图中的目标位置信息,使用机器学习模型检测库位角点的位置信息,并利用视觉算法检测库位线信息,并利用库位线信息对库位角点的位置信息进行调整,将机器学习模型与视觉算法融合,提高了库位角点检测的准确性及有效性。
在一个实施例中,所述检测所述感兴趣区域中的库位线信息,并根据所述库位线信息确定所述库位角点的第二位置信息,包括:
检测所述感兴趣区域中的有效直线,并根据所述有效直线确定每条库位线的方向信息;
基于两条库位线的方向信息确定所述两条库位线的交点,并将所述交点在所述感兴趣区域中的图像坐标作为所述库位角点的第二位置信息。
在本申请实施例中,先利用库位角点检测模型检测库位角点的第一位置信息,再基于第一位置信息确定库位角点对应的感兴趣区域,并对感兴趣区域中包含的库位线进行检测,能够提高库位线检测的准确性,且可降低库位线检测时的计算量,提高检测效率。
在一个实施例中,所述根据所述库位角点的第一位置信息确定所述库位角点对应的感兴趣区域,包括:
以所述库位角点的第一位置信息为中心,截取预设尺寸的图像区域作为所述库位角点对应的感兴趣区域。
在本申请实施例中,先利用库位角点检测模型检测库位角点的第一位置信息,再基于第一位置信息截取感兴趣区域,方便后续对感兴趣区域进行库位线检测,提高了检测的准确性。
在一个实施例中,在所述截取预设大小的图像区域作为所述库位角点对应的感兴趣区域之后,所述方法还包括:
将截取的所述感兴趣区域的图像转化为灰度图像,并对所述灰度图像进行二值化处理,得到二值化图像;
所述检测所述感兴趣区域中的库位线信息,并根据所述库位线信息确定所述库位角点的第二位置信息,包括:
检测所述二值化图像中的库位线信息,并根据所述库位线信息确定所述库位角点在所述二值化图像中的第二位置信息。
在本申请实施例中,通过对截取的感兴趣区域的图像进行灰度化处理及二值化处理,再检测库位线信息,可提高库位线检测的准确性。
在一个实施例中,所述根据所述第二位置信息确定所述库位角点在所述鸟瞰环视图中的目标位置信息,包括:
获取所述感兴趣区域的基准点在所述鸟瞰环视图的图像坐标;
根据所述第二位置信息确定所述库位角点在所述感兴趣区域中与所述基准点之间的相对位置关系;
基于所述相对位置关系及所述基准点在所述鸟瞰环视图的图像坐标,将所述第二位置信息转换为所述库位角点在所述鸟瞰环视图中的目标位置信息。
在本申请实施例中,可将最终检测到的各个库位角点的目标位置信息基于同一平面坐标系进行表示,可方便后续利用检测到的各个库位角点在鸟瞰环视图中的目标位置信息构建目标库位,实现目标库位的检测,提高库位检测效率。
在一个实施例中,所述鸟瞰环视图中包含至少两个库位角点,在所述根据所述第二位置信息确定所述库位角点在所述鸟瞰环视图中的目标位置信息之后,所述方法包括:
根据预设的先验规则对各个库位角点的目标位置信息进行验证,并剔除目标位置信息错误的库位角点;
基于剔除后的库位角点的目标位置信息构建目标库位。
在本申请实施例中,在本申请实施例中,可基于预设的先验规则剔除目标位置信息错误的库位角点,并基于剔除后的库位角点的目标位置信息构建目标库位,可提高构建的目标库位的准确性。
在一个实施例中,在所述根据所述第二位置信息确定所述库位角点在所述鸟瞰环视图中的目标位置信息之后,所述方法包括:
计算所述第一位置信息与所述目标位置信息之间的误差;
根据所述误差对所述库位角点检测模型的参数进行调整。
在本申请实施例中,可利用视觉算法计算得到的目标位置信息对库位角点检测模型进行微调,节约了模型成本并增强了库位角点检测的可解释性。
本申请实施例公开了一种库位角点检测装置,包括:
获取模块,用于获取车辆的鸟瞰环视图;
第一检测模块,用于通过库位角点检测模型检测所述鸟瞰环视图中包含的库位角点的第一位置信息,其中,所述库位角点检测模型是基于标注有库位角点的位置信息的鸟瞰样本图训练得到的;
区域确定模块,用于根据所述库位角点的第一位置信息确定所述库位角点对应的感兴趣区域;
第二检测模块,用于检测所述感兴趣区域中的库位线信息,并根据所述库位线信息确定所述库位角点的第二位置信息;
位置确定模块,用于根据所述第二位置信息确定所述库位角点在所述鸟瞰环视图中的目标位置信息。
本申请实施例公开了一种终端设备,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如上各实施例中所描述的方法。
本申请实施例公开了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上各实施例中所描述的方法。
本申请实施例公开了一种车辆,包括至少一个摄像头及车载终端,其中,
所述至少一个摄像头,用于采集图像,并将采集的图像发送至所述车载终端;
所述车载终端,用于根据所述摄像头采集的图像合成鸟瞰环视图,并通过库位角点检测模型检测所述鸟瞰环视图中包含的库位角点的第一位置信息,其中,所述库位角点检测模型是基于标注有库位角点的位置信息的鸟瞰样本图训练得到的;根据所述库位角点的第一位置信息确定所述库位角点对应的感兴趣区域;检测所述感兴趣区域中的库位线信息,并根据所述库位线信息确定所述库位角点的第二位置信息;根据所述第二位置信息确定所述库位角点在所述鸟瞰环视图中的目标位置信息。
本申请实施例公开的库位角点检测装置、终端设备、存储介质及车辆,使用机器学习模型检测库位角点的位置信息,并利用视觉算法检测库位线信息,并利用库位线信息对库位角点的位置信息进行调整,将机器学习模型与视觉算法融合,提高了库位角点检测的准确性及有效性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A为一个实施例中库位角点检测方法的应用场景图;
图1B为一个实施例中车辆的结构框图;
图2为一个实施例中库位角点检测方法的流程图;
图3为一个实施例中感兴趣区域的示意图;
图4为另一个实施例中库位角点检测方法的流程图;
图5为一个实施例中对截取的感兴趣区域的图像进行处理的示意图;
图6为一个实施例中根据库位角点的第二位置信息确定库位角点在鸟瞰环视图中的目标位置信息的流程图;
图7为一个实施例中库位角点检测装置的框图;
图8为一个实施例中终端设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一位置信息称为第二位置信息,且类似地,可将第二位置信息称为第一位置信息迹。第一位置信息和第二位置信息两者都是库位角点的位置信息,但其不是指的同一位置信息。
图1A为一个实施例中库位角点检测方法的应用场景图。图1B为一个实施例中车辆的结构框图。请同时参照图1A及图1B,车辆100可包括一个或多个摄像头110,以及车载终端120。在车辆100行驶的过程中,车辆100上设置的一个或多个摄像头110可采集在车辆100周围的图像,并将采集的图像发送到车辆100的车载终端120。在车辆100需要进行泊车相关的功能时,需要对可停车库位200的库位角点进行检测,车载终端120可基于摄像头110发送的图像合成车辆的鸟瞰环视图,并通过库位角点检测模型检测该鸟瞰环视图中包含的库位角点的第一位置信息。车辆100的车载终端120可根据库位角点的第一位置信息确定库位角点对应的感兴趣区域,并检测感兴趣区域中的库位线信息,并根据库位线信息确定库位角点的第二位置信息,再根据第二位置信息确定库位角点的目标位置信息,从而可准确检测出可停车库位200的库位角点。
如图2所示,在一个实施例中,提供一种库位角点检测方法,该方法可应用于终端设备,该终端设备可包括但不限于车载终端、与车载终端连接的智能手机、平板电脑、可穿戴设备等终端设备。该方法可包括以下步骤:
步骤210,获取车辆的鸟瞰环视图。
车辆上可设置有一个或多个摄像头,各个摄像头可分布在车辆的不同位置,例如,车辆上可设置有4个摄像头,其中2个摄像头分别分布在车头的两个角点位置,2个摄像头分别分布在车尾的两个角点位置;车辆上也可设置有6个摄像头,除车头与车尾位置外,还可分布在侧车身等;车辆也可仅在车身上设置有一个可360°(度)旋转的摄像头等,摄像头的数量及设置位置在本申请实施例中不作限制。
终端设备可获取车辆上的各个摄像头采集的图像,并对各个摄像头采集的图像进行处理,合成得到车辆的鸟瞰环视图,该鸟瞰环视图可以指的是基于透视原理用高点透视从高处的某一点俯视车辆周围的立体图,该鸟瞰环视图可以是车辆周围360°的全景视图,也可以是车辆周围某一特定区域的鸟瞰视图,例如,可以是车头前180°的鸟瞰视图,也可以是车尾后180°的鸟瞰视图等。
在一些实施例中,车辆在出厂前可先对车辆上的各个摄像头进行标定,可根据各个摄像头的内参及外参等参数确定各个摄像头对应相机模型与车辆模型之间的第一转换关系,该内参可指的是与相机自身特性相关的参数,比如相机的焦距、像素大小等,该外参可指的是摄像头在世界坐标系中的参数,比如相机的位置、旋转方向等。
其中,相机模型可用于表征摄像头的光学成像模型,该相机模型可涉及到摄像头中多个坐标系之间的第二转换关系,包括但不限于像素坐标系、图像坐标系、相机坐标系及世界坐标系等之间的第二转换关系。像素坐标系指的是以图像平面的左上角(也可以是左下角、右上角或右下角等)顶点为原点的平面坐标系,X轴和Y轴分别平行于图像平面的两条垂直边,以像素在图像中的行数及列数为像素的坐标;图像坐标系指的是以图像平面的中心为原点的平面坐标系,X轴和Y轴分别平行于图像平面的两条垂直边,图像坐标系用物理单位(例如毫米等)表示像素在图像中的位置,像素坐标系可理解为以像素为单位的图像坐标系;相机坐标系指的是以摄像头的光心为原点的三维坐标系,X轴和Y轴可分别平行于图像坐标系的X轴和Y轴,Z轴可指向摄像头的前方,与图像坐标系垂直;世界坐标系是客观三维世界的绝对坐标系,世界坐标系的原点可以是在物理世界中选择的固定位置。相机模型可用于描述物体从世界坐标系到像素坐标系的第二转换关系。
车辆模型可指的是以车辆上的某个点为原点建立的车辆三维空间坐标系,例如,可以车辆前轴的中心点为原点,也可以车辆后轴的中心点为原点,或是以车辆左前轮的中心点为原点等,在此不作限定。作为一种实施方式,在进行标定时,可将标定板放置在相对车辆的固定位置(如车辆前方、侧方等),并以标定板所在位置为原点建立世界坐标系,可根据标定板与车辆之间的相对位置关系确定世界坐标系与车辆模型之间的第三转换关系,并基于该第三转换关系及摄像头的相机模型,得到摄像头的相机模型与车辆模型之间的第一转换关系。
终端设备可基于各个摄像头的相机模型与车辆模型之间的第一转换关系将各个摄像头采集的图像拼接成鸟瞰环视图。可选地,可利用各个摄像头对应的第一转换关系对各个摄像头采集的图像进行变换,将各个摄像头采集的图像变换到同一坐标系(该坐标系可以是任一摄像头的像素坐标系、也可以是车辆模型或是任一摄像头的相机坐标等,在此不作限定)下,并利用透视原理选择俯视透视点,将变换到同一坐标系下的各个图像转换为俯视透视图,再将转换得到的各张俯视透视图进行拼接,得到车辆的鸟瞰环视图。进一步地,可将每相邻设置的两个摄像头对应的俯视透视图进行拼接,得到无缝衔接的鸟瞰环视图。
在本申请实施例中,通过在标定阶段确定车辆上各个相机模型与车辆模型之间的第一转换关系,并利用该第一转换关系得到鸟瞰环视图,可使得生成的鸟瞰环视图更为准确,进一步提高后续库位检测的准确性。
步骤220,通过库位角点检测模型检测鸟瞰环视图中包含的库位角点的第一位置信息。
库位角点检测模型可指的是具有检测图像中的库位角点的神经网络模型,库位角点检测模型可以是基于标注有库位角点的位置信息的鸟瞰样本图训练得到的。可选地,库位角点检测模型可包括但不限于YOLO(You Only Look Once)模型、R-CNN(Region-CNN,基于区域的卷积神经网络)模型、Fast R-CNN模型等,库位角点检测模型可以基于one-stage检测算法,也可以基于two-stage检测算法,其中,one-stage检测算法可理解为一步到位的检测算法,而two-stage检测算法的目标检测则可分为两步,先获取候选区域,再进行分类,从而检测库位角点,one-stage检测算法不需要获取候选区域,可直接检测库位角点。
终端设备在获取鸟瞰环视图后,可将鸟瞰环视图输入库位角点检测模型,库位角点检测模型可提取鸟瞰环视图的图像特征,并根据该图像特征识别鸟瞰环视图中包含的各个库位角点,得到各个库位角点在鸟瞰环视图中的第一位置信息,该第一位置信息可指的是库位角点在鸟瞰环视图中的图像坐标(可以用鸟瞰环视图的像素坐标系进行表示,也可以用鸟瞰环视图的图像坐标系进行表示)。
在一些实施例中,可预先对库位角点检测模型进行训练。在对库位角点检测模型进行训练之前,可获取大量的车辆的鸟瞰样本图。可选地,该鸟瞰样本图可以是通过车辆上的摄像头采集的图像进行拼接得到的,利用车辆采集的鸟瞰环视图对车辆的库位角点检测模型进行训练会更具有针对性,使得训练得到的库位角点检测模型更加准确。鸟瞰样本图中可包括有库位,可对每张鸟瞰样本图中的各个库位角点的位置信息进行标注,该位置信息可以是库位角点在鸟瞰样本图中的位置坐标,该位置坐标可以用像素坐标系进行表示,也可以用图像坐标系进行表示,在此不作限定。
作为一种可选的实施方式,在获取鸟瞰样本图后,可对鸟瞰样本图进行变换处理,例如,可对鸟瞰样本图进行镜像翻转、旋转变换、放大、缩小、增加噪点、降低噪点等变换处理,得到新的鸟瞰样本图,再对新的鸟瞰样本图中包含的库位角点的位置信息进行标注,从而可以增加鸟瞰样本图的数据量,并提高库位角点检测模型的抗干扰能力,提高库位角点检测模型检测库位角点的准确性。
可将标注有库位角点的位置信息的鸟瞰样本图输入库位角点检测模型,并通过库位角点检测模型对鸟瞰样本图进行识别,提取鸟瞰样本图的图像特征,基于该图像特征对鸟瞰样本图中包含的库位角点的位置信息进行预测,得到库位角点的预测位置信息。可将库位角点检测模型得到的库位角点的预测位置信息与鸟瞰样本图中标注的库位角点的真实位置信息进行比对,计算库位角点的预测位置信息与库位角点的真实位置信息之间的误差,并根据该误差调整库位角点检测模型中的参数。
库位角点的预测位置信息与库位角点的真实位置信息之间的误差可包括但不限于检测到的库位角点数量误差(例如库位角点检测模型多检测或是少检测等)、同一库位角点的预测位置信息与真实位置信息之间的误差(指的是预测位置坐标与标注的位置坐标之间的距离等)等。在对库位角点检测模型中的参数进行优化调整后,可继续将鸟瞰样本图输入库位角点检测模型,并重复上述的训练过程,直至库位角点检测模型得到的库位角点的预测位置信息与鸟瞰样本图中标注的库位角点的真实位置信息之间的误差小于误差阈值,则库位角点检测模型训练完成。仅需对鸟瞰样本图中的库位角点的位置坐标进行标注,而不需要标注库位线位置及方向等,可以减少标注的工作量,提高模型训练效率。
可将训练完成的库位角点检测模型存储在车辆的车载终端中,方便后续车载终端利用库位角点检测模型进行库位角点检测。可选地,也可将库位角点检测模型存储在服务器,该库位角点检测模型可与车辆信息对应存储,车辆信息可包括但不限于车辆型号、生产厂家、生产批次等信息。终端设备在需要使用库位角点检测模型时,可根据车辆信息从服务器下载对应的库位角点检测模型,由于不同车辆信息上摄像头的设置方式可能不同,不同车辆信息对应不同的库位角点检测模型,能够提高库位角点的准确性。
可选地,也可以利用其它车辆合成的鸟瞰样本图对库位角点检测模型进行训练,增加样本数量,使得训练得到的库位角点检测模型具有普适性,提高训练效率。
步骤230,根据库位角点的第一位置信息确定库位角点对应的感兴趣区域。
终端设备利用库位角点检测模型确定鸟瞰环视图中各个库位角点的第一位置信息后,可根据各个库位角点的第一位置信息确定各个库位角点对应的感兴趣区域(regionof interest,ROI),每个库位角点的第一位置信息不同,可分别对应不同的感兴趣区域。
在一些实施例中,终端设备可以库位角点的第一位置信息为感兴趣区域的中心,按照预设尺寸选取各个库位角点对应的感兴趣区域,该感兴趣区域可以是长方形、正方案、圆形等各式形状的图像区域,感兴趣区域的尺寸可根据实际需求进行设置。图3为一个实施例中感兴趣区域的示意图。如图3所示,终端设备通过库位角点检测模型检测到鸟瞰环视图中包括库位角点302及库位角点304,可以库位角点302为中心,选取预设尺寸的图像区域306作为库位角点302对应的感兴趣区域,以库位角点308为中心,选取预设尺寸的图像区域308作为库位角点304对应的感兴趣区域。
步骤240,检测感兴趣区域中的库位线信息,并根据库位线信息确定库位角点的第二位置信息。
针对每个库位角点对应的感兴趣区域,终端设备可采用计算机视觉检测算法例如RANSAC(Random Sample Consensus,随机抽样一致)算法、霍夫变换算法等,检测感兴趣区域中包含的直线,并根据检测到的直线确定库位线信息,该库位线信息可包括但不限于库位线在感兴趣区域中的位置信息、库位线的方向信息等,可选地,库位线的方向信息可采用库位线与鸟瞰环视图或感兴趣区域的水平边或垂直边之间的夹角等进行表示。
每个感兴趣区域中可至少包括两条库位线,可根据感兴趣区域中两条库位线的库位线信息确定两条库位线的交点,并将该交点在感兴趣区域中的图像坐标作为库位角点的第二位置信息,该第二位置信息可以采用感兴趣区域的像素坐标系或图像坐标系等进行表示。
步骤250,根据第二位置信息确定库位角点在鸟瞰环视图中的目标位置信息。
终端设备可将各个库位角点在对应的感兴趣区域中的第二位置信息转换为库位角点在鸟瞰环视图中的目标位置信息,该目标位置信息可作为库位角点的最终检测位置,终端设备可根据检测到的各个库位角点的目标位置信息定位可停车的目标库位,并进行辅助泊车、自动泊车、泊车路径规划等功能。
在一些实施例中,在终端设备确定库位角点在鸟瞰环视图中的目标位置信息后,可计算第一位置信息与目标位置信息之间的误差,并根据该误差对库位角点检测模型的参数(如超参数、权重系数)进行调整。可判断第一位置信息与目标位置信息之间的误差是否大于设定值,若该误差大于设定值,则可根据目标位置信息对库位角点检测模型的参数进行微调,以优化库位角点检测模型,使得库位角点检测模型输出的第一位置信息更加贴合目标位置信息,利用实时计算得到的目标位置信息对库位角点检测模型进行调整,可提高库位角点检测模型在后续检测库位角点时的准确性。
在本申请实施例中,先利用库位角点检测模型检测鸟瞰环视图中包含的库位角点的第一位置信息,根据库位角点的第一位置信息确定库位角点对应的感兴趣区域,检测感兴趣区域中的库位线信息,并根据库位线信息确定库位角点的第二位置信息,再根据第二位置信息确定库位角点在鸟瞰环视图中的目标位置信息,使用机器学习模型检测库位角点的位置信息,并利用视觉算法检测库位线信息,并利用库位线信息对库位角点的位置信息进行调整,将机器学习模型与视觉算法融合,提高了库位角点检测的准确性及有效性。
与只使用机器学习模型检测库位角点相比,本申请实施例并不是全程黑盒,在出现某些库位角点、库位线检测错误的故障时,无需通过重新训练模型的方式来提升效果,并可利用视觉算法计算得到的目标位置信息对库位角点检测模型进行微调,节约了模型成本并增强了库位角点检测的可解释性。而与只使用视觉算法来检测库位角点相比,本申请实施例无需提前知道库位可能所在的区域,通过库位角点检测模型扩大了检测范围,以及增加了所能检测的库位角点的数量,提高了库位角点检测的准确性。
如图4所示,在一个实施例中,提供另一种库位角点检测方法,可应用于上述的终端设备,该方法可包括以下步骤:
步骤402,获取车辆的鸟瞰环视图。
步骤404,通过库位角点检测模型检测鸟瞰环视图中包含的库位角点的第一位置信息。
步骤402~404的描述可参照上述实施例中步骤210~220的相关描述,在此不再赘述。
步骤406,以库位角点的第一位置信息为中心,截取预设尺寸的图像区域作为库位角点对应的感兴趣区域。
终端设备在获取鸟瞰环视图中各个库位角点的第一位置信息后,可从鸟瞰环视图截取各个库位角点对应的感兴趣区域,可将库位角点的第一位置信息作为感兴趣区域的中心,截取预设尺寸的图像区域作为该库位角点对应的感兴趣区域,可选地,可以截取预设边长的正方形图像区域,也可以截取预设半径/直笃的圆形图像区域,或是截取预设长及预设宽的长方形图像区域等。
可根据库位角点的第一位置信息及预设尺寸计算感兴趣区域的各个角点在鸟瞰环视图的的图像坐标。例如,以鸟瞰环视图的像素坐标系为基准,库位角点检测模型输出的一个库位角点在鸟瞰环视图中的第一位置信息为(210,310),则可以(210,310)的点为中心,截取边长为20的正方形图像区域作为感兴趣区域,则该感兴趣区域的左上角点的坐标可为(200,300),右上角点的坐标可为(220,300),左下角点的坐标可为(200,320),右下角点的坐标可为(220,320),在确定感兴趣区域的各个角点坐标后,则可从鸟瞰环视图中截取感兴趣区域的图像。
步骤408,将截取的感兴趣区域的图像转化为灰度图像,并对灰度图像进行二值化处理,得到二值化图像。
在一些实施例中,摄像头采集的图像通常为彩色图像,则终端设备合成得到的鸟瞰俯视图通常也为彩色图像,则可将截取的感兴趣区域的图像转化为灰度图像,可采用平均法(指的是将像素点的R、G、B值平均)、加权平均法(指的是将像素点的R、G、B值按照对应的权重值进行加权平均)等方式将感兴趣区域中的各个像素点转化为灰度值,得到灰度图像。
在对截取的感兴趣区域的图像进行灰度化处理后,可对灰度化处理得到的灰度图像进行二值化处理,二值化就是让图像中的每个像素点的灰度值为0(黑色)或者255(白色),得到仅呈现黑白两色的二值化图像。终端设备可获取二值化阈值,并利用该二值化阈值对灰度图像进行二值化处理,可将灰度图像中灰度值大于该二值化阈值的像素点的灰度值调整为255,将灰度值小于该二值化阈值的像素点的灰度值调整为0。可选地,二值化阈值可以是预先设置的值,也可以是灰度图像中所有像素点的灰度值的平均值等,在此不作限定。
图5为一个实施例中对截取的感兴趣区域的图像进行处理的示意图。示例性地,如图5所示,图5中的(a)为一个实施例中从鸟瞰环视图中截取的感兴趣区域的图像502,可对图像502进行灰度化处理,得到(b)中所示的灰度图像504,再对灰度图像504进行二值化处理,得到(c)中所示的二值化图像506。通过对截取的感兴趣区域的图像进行灰度化处理及二值化处理,再检测库位线信息,可提高库位线检测的准确性。
步骤410,检测二值化图像中的库位线信息,并根据库位线信息确定库位角点在二值化图像中的第二位置信息。
在一些实施例中,终端设备可检测感兴趣区域中的有效直线,并根据有效直线确定每条库位线的方向信息,可基于两条库位线的方向信息确定两条库位线的交点,并将该交点在感兴趣区域中的图像坐标作为库位角点的第二位置信息。
进一步地,终端设备可检测二值化图像中的有效直线,并根据有效直线确定每条库位线的方向信息。由于库位线在实际绘制过程中,会采用纯色(如白色、黄色等)绘制,会库位线较粗,特征明显。因此,终端设备可采用视觉检测算法检测二值化图像中的直线连通域,例如,可用于最小二乘法、RANSAC算法、霍夫变换算法等视觉检测算法检测二值化图像中包含的直线,并判断检测到的各条直线是否为有效直线。如,可判断直线是否与其它直线相交,还可判断直线是否与其它直线平行等,可将相交的两条直线确定为有效直线,也可将平行的两条直线确定为有效直线。如图5的二值化图像506中白色区域的5条直线边均可被确定为有效直线。
可根据检测到的有效直线确定二值化图像中的直线连通域,直线连通域可指的是形状为直线形的连通域,每个直线连通域可对应一条库位线,则可根据确定的直线连通域检测二值化图像中包含的库位线,例如,图5的二值化图像506中的白色区域包括两个直线连通域,对应两条库位线。作为一种具体的实施方式,终端设备可根据直线连通域包含的有效直线的直线参数确定直线连通域对应的库位线信息,库位线信息可包括库位线位置、库位线方向等,该直线参数可包括有效直线在二值化图像中的位置坐标、斜率等,库位线方向可以用直线连通域与二值化图像的像素坐标系的X轴(或Y轴)的夹角表示,即可用直线连通域的斜率表示,库位线位置则可用直线连通域在二值化图像中的图像坐标表示。
终端设备在计算出每条库位线对应的库位线信息后,可根据相交的两条库位线的库位线信息计算两条库位线的交点,并将该交点在二值化图像中的图像坐标(可用像素坐标系或图像坐标系表示)作为库位角点在二值化图像中的第二位置信息。
在本申请实施例中,先利用库位角点检测模型检测库位角点的第一位置信息,再基于第一位置信息确定库位角点对应的感兴趣区域,并对感兴趣区域中包含的库位线进行检测,能够提高库位线检测的准确性,且可降低库位线检测时的计算量,提高检测效率。
步骤412,根据第二位置信息确定库位角点在鸟瞰环视图中的目标位置信息。
在一个实施例中,如图6所示,步骤根据第二位置信息确定库位角点在鸟瞰环视图中的目标位置信息,可包括步骤602~606。
步骤602,获取感兴趣区域的基准点在鸟瞰环视图的图像坐标。
基准点可以是预先设置的感兴趣区域的固定点,例如,感兴趣区域的中心点,感兴趣区域的左上角点、右上角点等,但不限于此。基准点也可以是从感兴趣区域中随机选取的点。终端设备可获取该基准点在鸟瞰环视图的图像坐标,该图像坐标可以鸟瞰环视图的像素坐标系或图像坐标系进行表示。
步骤604,根据第二位置信息确定库位角点在感兴趣区域中与基准点之间的相对位置关系。
在计算得到库位角点在感兴趣区域中的第二位置信息后,还可获取基准点在感兴趣区域中的图像坐标,并根据该第二位置信息以及基准点在感兴趣区域中的图像坐标,计算库位角点在感兴趣区域中与基准点之间的相对位置关系,该相对位置关系可包括相对方向、相对距离等信息。
示例性地,库位角点在感兴趣区域中的第二位置信息为(x1,y1),基准点在感兴趣区域中的图像坐标为(x2,y2),库位角点在感兴趣区域中与基准点之间的相对位置关系可直接用(x1-x2,y1-y2)表示。可以理解地,相对位置关系也可采用其它方式计算,在此不作限定。
步骤606,基于相对位置关系及基准点在鸟瞰环视图的图像坐标,将第二位置信息转换为库位角点在鸟瞰环视图中的目标位置信息。
可利用基准点在鸟瞰环视图的图像坐标,以及上述的相对位置关系,计算库位角点的第二位置信息在鸟瞰环视图中对应的位置坐标。作为一种具体实施方式,可将基准点在鸟瞰环视图的图像坐标可该相对位置关系叠加,得到库位角点在鸟瞰环视图中的目标位置信息。
例如,库位角点在感兴趣区域中的第二位置信息为(20,30),基准点在感兴趣区域中的图像坐标为(10,10),则相对位置关系可为(10,20),基准点在感兴趣区域中的图像坐标为(200,310),则库位角点在鸟瞰环视图中的目标位置信息可为(210,330)。
针对库位角点检测模型检测到的每个库位角点,在根据每个库位角点对应的感兴趣区域中的库位线信息确定每个库位角点在对应的感兴趣区域中的第二位置信息后,可将各个库位角点的第二位置信息统一转化为在鸟瞰环视图中的目标位置信息,使得最终检测到的各个库位角点的目标位置信息基于同一平面坐标系进行表示,可方便后续利用检测到的各个库位角点在鸟瞰环视图中的目标位置信息构建目标库位,实现目标库位的检测,提高库位检测效率。
在本申请实施例中,使用机器学习模型检测库位角点的位置信息,并利用视觉算法检测库位线信息,并利用库位线信息对库位角点的位置信息进行调整,将机器学习模型与视觉算法融合,提高了库位角点检测的准确性及有效性。且在检测库位线信息前,先对感兴趣区域的图像进行灰度化处理及二值化处理,可提高库位线检测的准确性。
在一些实施例中,在步骤根据第二位置信息确定库位角点在鸟瞰环视图中的目标位置信息之后,上述的库位角点检测方法,还包括:根据预设的先验规则对各个库位角点的目标位置信息进行验证,并剔除目标位置信息错误的库位角点,基于剔除后的库位角点的目标位置信息构建目标库位。
先验规则可指的是用于验证库位角点是否符合设定标准的规则,先验规则可以是预先设置的库位标准,例如,库位的面积标准、库位的长度及宽度标准、库位与墙、柱等障碍物之间的距离标准等,但不限于此。
终端设备在检测到各个库位角点的目标位置信息后,可利用先验规则对各个库位角点的目标位置信息进行验证,判断各个库位角点的目标位置信息是否正确。作为一种具体实施方式,终端设备可判断处于同一库位线上的库位角点数量是否大于二,若同一库位线上的库位角点数量大于二,则可说明至少存在一个库位角点的目标位置信息错误,不是真实的库位角点。可进一步计算处于同一库位线上的各个库位角点之间的距离,并判断各个库位角点之间的距离是否满足预度的库位线长度标准,若存在任一库位角点与其它库位角点的距离均不满足库位线长度标准,则可确定该库位角点的目标位置信息错误。
作为另一种具体实施方式,若同一库位线上的库位角点数量为二,也可根据处于同一库位线上的两个库位角点的目标位置信息,计算该两个库位角点之间的距离,并判断该两个库位角点之间的距离是否满足预设的库位线长度标准。进一步地,可获取该库位线的方向信息,通过库位线的方向信息可识别该库位线为库位的长边库位线还是短边库位线,长边库位线及短边库位线可分别对应不同的库位线长度标准。若同一库位线上的两个库位角点之间的距离不满足预设的库位线长度标准,则可确定存在目标位置信息错误的库位角点。
由于库位角点是两条库位线的交点,因此,终端设备可进一步判断库位角点与所处的另一库位线上的其它库位角点间的距离是否满足预设的库位线长度标准。若任一库位角点与所处的两条库位线上的其它库位角点之间的距离均不满足预设的库位线长度标准,则可确定该库位角点的目标位置信息错误。可以理解地,也可采用其它方式验证各个库位角点的目标位置信息的准确性,并不仅限于上述几种方式。
终端设备可剔除目标位置信息错误的库位角点,并基于剔除后的库位角点的目标位置信息构建目标库位,可根据剔除后的库位角点的目标位置信息确定目标库位在鸟瞰环视图中的图像位置,并将该图像位置转换为相对车辆的车辆模型的相对位置信息,从而可准确定位目标库位与车辆之间的位置关系。终端设备基于目标库位与车辆之间的位置关系可进行进一步的泊车功能,例如基于该目标库位与车辆之间的位置关系规划自动泊车路径,按照该自动泊车路径控制车辆进行自动泊车,或是基于该目标库位与车辆之间的位置关系生成泊车指示信息,该泊车指示信息可输出用于提醒驾驶员如何将车辆准确泊入目标库位等,但不限于此。
在本申请实施例中,可基于预设的先验规则剔除目标位置信息错误的库位角点,并基于剔除后的库位角点的目标位置信息构建目标库位,可提高构建的目标库位的准确性。
在一个实施例中,如图1B所示,提供一种车辆100,该车辆100可包括至少一个摄像头110及车载终端120。
至少一个摄像头110,用于采集图像,并将采集的图像发送至车载终端120。
车载终端120,用于根据摄像头采集的图像合成鸟瞰环视图,并通过库位角点检测模型检测鸟瞰环视图中包含的库位角点的第一位置信息,其中,该库位角点检测模型是基于标注有库位角点的位置信息的鸟瞰样本图训练得到的;根据库位角点的第一位置信息确定库位角点对应的感兴趣区域;检测感兴趣区域中的库位线信息,并根据库位线信息确定库位角点的第二位置信息;以及用于根据第二位置信息确定库位角点在鸟瞰环视图中的目标位置信息。
在一个实施例中,车载终端120,还用于计算第一位置信息与目标位置信息之间的误差,并根据误差对库位角点检测模型的参数进行调整。
在本申请实施例中,使用机器学习模型检测库位角点的位置信息,并利用视觉算法检测库位线信息,并利用库位线信息对库位角点的位置信息进行调整,将机器学习模型与视觉算法融合,提高了库位角点检测的准确性及有效性。
在一个实施例中,车载终端120,还用于检测感兴趣区域中的有效直线,并根据有效直线确定每条库位线的方向信息,再基于两条库位线的方向信息确定两条库位线的交点,并将交点在感兴趣区域中的图像坐标作为库位角点的第二位置信息。
在一个实施例中,车载终端120,还用于以库位角点的第一位置信息为中心,截取预设尺寸的图像区域作为库位角点对应的感兴趣区域。
在一个实施例中,车载终端120,还用于将截取的感兴趣区域的图像转化为灰度图像,并对灰度图像进行二值化处理,得到二值化图像,再检测二值化图像中的库位线信息,并根据库位线信息确定库位角点在二值化图像中的第二位置信息。
在一个实施例中,车载终端120,还用于获取感兴趣区域的基准点在鸟瞰环视图的图像坐标;根据第二位置信息确定库位角点在感兴趣区域中与基准点之间的相对位置关系;以及用于基于相对位置关系及基准点在鸟瞰环视图的图像坐标,将第二位置信息转换为库位角点在鸟瞰环视图中的目标位置信息。
在本申请实施例中,使用机器学习模型检测库位角点的位置信息,并利用视觉算法检测库位线信息,并利用库位线信息对库位角点的位置信息进行调整,将机器学习模型与视觉算法融合,提高了库位角点检测的准确性及有效性。且在检测库位线信息前,先对感兴趣区域的图像进行灰度化处理及二值化处理,可提高库位线检测的准确性。
在一个实施例中,车载终端120,还用于根据预设的先验规则对各个库位角点的目标位置信息进行验证,并剔除目标位置信息错误的库位角点,再基于剔除后的库位角点的目标位置信息构建目标库位。
在本申请实施例中,可基于预设的先验规则剔除目标位置信息错误的库位角点,并基于剔除后的库位角点的目标位置信息构建目标库位,可提高构建的目标库位的准确性。
如图7所示,在一个实施例中,提供一种库位角点检测装置700,可应用于上述的终端设备。该库位角点检测装置700,可包括获取模块710、第一检测模块720、区域确定模块730、第二检测模块740及位置确定模块750。
获取模块710,用于获取车辆的鸟瞰环视图。
第一检测模块720,用于通过库位角点检测模型检测鸟瞰环视图中包含的库位角点的第一位置信息,其中,库位角点检测模型是基于标注有库位角点的位置信息的鸟瞰样本图训练得到的。
区域确定模块730,用于根据库位角点的第一位置信息确定库位角点对应的感兴趣区域。
第二检测模块740,用于检测感兴趣区域中的库位线信息,并根据库位线信息确定库位角点的第二位置信息。
位置确定模块750,用于根据第二位置信息确定库位角点在鸟瞰环视图中的目标位置信息。
在一个实施例中,上述库位角点检测装置700还包括调整模块。
调整模块,用于计算第一位置信息与目标位置信息之间的误差,并根据误差对库位角点检测模型的参数进行调整。
在本申请实施例中,使用机器学习模型检测库位角点的位置信息,并利用视觉算法检测库位线信息,并利用库位线信息对库位角点的位置信息进行调整,将机器学习模型与视觉算法融合,提高了库位角点检测的准确性及有效性。
在一个实施例中,第二检测模块740,包括直线检测单元及交点确定单元。
直线检测单元,用于检测感兴趣区域中的有效直线,并根据有效直线确定每条库位线的方向信息。
交点确定单元,用于基于两条库位线的方向信息确定两条库位线的交点,并将交点在感兴趣区域中的图像坐标作为库位角点的第二位置信息。
在一个实施例中,区域确定模块730,还用于以库位角点的第一位置信息为中心,截取预设尺寸的图像区域作为库位角点对应的感兴趣区域。
在一个实施例中,上述库位角点检测装置700,除了包括获取模块710、第一检测模块720、区域确定模块730、第二检测模块740、位置确定模块750及调整模块,还包括图像处理模块。
图像处理模块,用于将截取的感兴趣区域的图像转化为灰度图像,并对灰度图像进行二值化处理,得到二值化图像。
第二检测模块740,还用于检测二值化图像中的库位线信息,并根据库位线信息确定库位角点在二值化图像中的第二位置信息。
在一个实施例中,位置确定模块750,包括坐标获取单元、关系确定单元及转换单元。
坐标获取单元,用于获取感兴趣区域的基准点在鸟瞰环视图的图像坐标。
关系确定单元,用于根据第二位置信息确定库位角点在感兴趣区域中与基准点之间的相对位置关系。
转换单元,用于基于相对位置关系及基准点在鸟瞰环视图的图像坐标,将第二位置信息转换为库位角点在鸟瞰环视图中的目标位置信息。
在本申请实施例中,使用机器学习模型检测库位角点的位置信息,并利用视觉算法检测库位线信息,并利用库位线信息对库位角点的位置信息进行调整,将机器学习模型与视觉算法融合,提高了库位角点检测的准确性及有效性。且在检测库位线信息前,先对感兴趣区域的图像进行灰度化处理及二值化处理,可提高库位线检测的准确性。
在一个实施例中,上述库位角点检测装置700,除了包括获取模块710、第一检测模块720、区域确定模块730、第二检测模块740、位置确定模块750、调整模块及图像处理模块,还包括验证模块及构建模块。
验证模块,用于根据预设的先验规则对各个库位角点的目标位置信息进行验证,并剔除目标位置信息错误的库位角点。
构建模块,用于基于剔除后的库位角点的目标位置信息构建目标库位。
在本申请实施例中,可基于预设的先验规则剔除目标位置信息错误的库位角点,并基于剔除后的库位角点的目标位置信息构建目标库位,可提高构建的目标库位的准确性。
图8为一个实施例中终端设备的结构框图。终端设备可以是车载终端、车载控制设备(如与车载终端建立通信连接的手机、平板电板、智能穿戴设备等)等终端设备。如图8所示,终端设备800可以包括一个或多个如下部件:处理器810、与处理器810耦合的存储器820,其中存储器820可存储有一个或多个计算机程序,一个或多个计算机程序可以被配置为由一个或多个处理器810执行,以实现如上述各实施例中所描述的方法。
处理器810可以包括一个或者多个处理核。处理器810利用各种接口和线路连接整个终端设备800内的各个部分,通过运行或执行存储在存储器820内的指令、程序、代码集或指令集,以及调用存储在存储器820内的数据,执行终端设备800的各种功能和处理数据。可选地,处理器810可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器810可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器810中,单独通过一块通信芯片进行实现。
存储器820可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器820可用于存储指令、程序、代码、代码集或指令集。存储器820可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储终端设备800在使用中所创建的数据等。
可以理解地,终端设备800可包括比上述结构框图中更多或更少的结构元件,例如,包括电源、输入按键、屏幕、Wi-Fi(Wireless Fidelity,无线保真)模块、蓝牙模块等,还可在此不进行限定。
本申请实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序被处理器执行时实现如上述各实施例中描述的方法。
本申请实施例公开一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可被处理器执行时实现如上述各实施例描述的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等。
如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括ROM、可编程ROM(Programmable ROM,PROM)、可擦除PROM(Erasable PROM,EPROM)、电可擦除PROM(Electrically ErasablePROM,EEPROM)或闪存。易失性存储器可包括随机存取存储器(random access memory,RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(Static RAM,SRAM)、动态RAM(Dynamic Random Access Memory,DRAM)、同步DRAM(synchronous DRAM,SDRAM)、双倍数据率SDRAM(Double Data Rate SDRAM,DDR SDRAM)、增强型SDRAM(Enhanced Synchronous DRAM,ESDRAM)、同步链路DRAM(Synchlink DRAM,SLDRAM)、存储器总线直接RAM(Rambus DRAM,RDRAM)及直接存储器总线动态RAM(DirectRambus DRAM,DRDRAM)。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在本申请的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。
以上对本申请实施例公开的一种库位角点检测方法、装置、终端设备、存储介质及车辆进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种库位角点检测方法,其特征在于,包括:
获取车辆的鸟瞰环视图;
通过库位角点检测模型检测所述鸟瞰环视图中包含的库位角点的第一位置信息,其中,所述库位角点检测模型是基于标注有库位角点的位置信息的鸟瞰样本图训练得到的;
根据所述库位角点的第一位置信息确定所述库位角点对应的感兴趣区域;
检测所述感兴趣区域中的库位线信息,并根据所述库位线信息确定所述库位角点的第二位置信息;
根据所述第二位置信息确定所述库位角点在所述鸟瞰环视图中的目标位置信息。
2.根据权利要求1所述的方法,其特征在于,所述检测所述感兴趣区域中的库位线信息,并根据所述库位线信息确定所述库位角点的第二位置信息,包括:
检测所述感兴趣区域中的有效直线,并根据所述有效直线确定每条库位线的方向信息;
基于两条库位线的方向信息确定所述两条库位线的交点,并将所述交点在所述感兴趣区域中的图像坐标作为所述库位角点的第二位置信息。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述库位角点的第一位置信息确定所述库位角点对应的感兴趣区域,包括:
以所述库位角点的第一位置信息为中心,截取预设尺寸的图像区域作为所述库位角点对应的感兴趣区域。
4.根据权利要求3所述的方法,其特征在于,在所述截取预设大小的图像区域作为所述库位角点对应的感兴趣区域之后,所述方法还包括:
将截取的所述感兴趣区域的图像转化为灰度图像,并对所述灰度图像进行二值化处理,得到二值化图像;
所述检测所述感兴趣区域中的库位线信息,并根据所述库位线信息确定所述库位角点的第二位置信息,包括:
检测所述二值化图像中的库位线信息,并根据所述库位线信息确定所述库位角点在所述二值化图像中的第二位置信息。
5.根据权利要求1或2所述的方法,其特征在于,所述根据所述第二位置信息确定所述库位角点在所述鸟瞰环视图中的目标位置信息,包括:
获取所述感兴趣区域的基准点在所述鸟瞰环视图的图像坐标;
根据所述第二位置信息确定所述库位角点在所述感兴趣区域中与所述基准点之间的相对位置关系;
基于所述相对位置关系及所述基准点在所述鸟瞰环视图的图像坐标,将所述第二位置信息转换为所述库位角点在所述鸟瞰环视图中的目标位置信息。
6.根据权利要求1或2所述的方法,其特征在于,所述鸟瞰环视图中包含至少两个库位角点,在所述根据所述第二位置信息确定所述库位角点在所述鸟瞰环视图中的目标位置信息之后,所述方法包括:
根据预设的先验规则对各个库位角点的目标位置信息进行验证,并剔除目标位置信息错误的库位角点;
基于剔除后的库位角点的目标位置信息构建目标库位。
7.根据权利要求1或2所述的方法,其特征在于,在所述根据所述第二位置信息确定所述库位角点在所述鸟瞰环视图中的目标位置信息之后,所述方法包括:
计算所述第一位置信息与所述目标位置信息之间的误差;
根据所述误差对所述库位角点检测模型的参数进行调整。
8.一种库位角点检测装置,其特征在于,包括:
获取模块,用于获取车辆的鸟瞰环视图;
第一检测模块,用于通过库位角点检测模型检测所述鸟瞰环视图中包含的库位角点的第一位置信息,其中,所述库位角点检测模型是基于标注有库位角点的位置信息的鸟瞰样本图训练得到的;
区域确定模块,用于根据所述库位角点的第一位置信息确定所述库位角点对应的感兴趣区域;
第二检测模块,用于检测所述感兴趣区域中的库位线信息,并根据所述库位线信息确定所述库位角点的第二位置信息;
位置确定模块,用于根据所述第二位置信息确定所述库位角点在所述鸟瞰环视图中的目标位置信息。
9.一种终端设备,其特征在于,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如权利要求1至7任一所述的方法。
10.一种车辆,其特征在于,包括至少一个摄像头及车载终端,其中,
所述至少一个摄像头,用于采集图像,并将采集的图像发送至所述车载终端;
所述车载终端,用于根据所述摄像头采集的图像合成鸟瞰环视图,并通过库位角点检测模型检测所述鸟瞰环视图中包含的库位角点的第一位置信息,其中,所述库位角点检测模型是基于标注有库位角点的位置信息的鸟瞰样本图训练得到的;根据所述库位角点的第一位置信息确定所述库位角点对应的感兴趣区域;检测所述感兴趣区域中的库位线信息,并根据所述库位线信息确定所述库位角点的第二位置信息;根据所述第二位置信息确定所述库位角点在所述鸟瞰环视图中的目标位置信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110158882.4A CN112907648A (zh) | 2021-02-05 | 2021-02-05 | 库位角点检测方法、装置、终端设备及车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110158882.4A CN112907648A (zh) | 2021-02-05 | 2021-02-05 | 库位角点检测方法、装置、终端设备及车辆 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112907648A true CN112907648A (zh) | 2021-06-04 |
Family
ID=76122660
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110158882.4A Withdrawn CN112907648A (zh) | 2021-02-05 | 2021-02-05 | 库位角点检测方法、装置、终端设备及车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112907648A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113627276A (zh) * | 2021-07-20 | 2021-11-09 | 的卢技术有限公司 | 一种检测车位的方法和装置 |
CN115294234A (zh) * | 2022-10-09 | 2022-11-04 | 小米汽车科技有限公司 | 图像的生成方法、装置、电子设备和存储介质 |
-
2021
- 2021-02-05 CN CN202110158882.4A patent/CN112907648A/zh not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113627276A (zh) * | 2021-07-20 | 2021-11-09 | 的卢技术有限公司 | 一种检测车位的方法和装置 |
CN115294234A (zh) * | 2022-10-09 | 2022-11-04 | 小米汽车科技有限公司 | 图像的生成方法、装置、电子设备和存储介质 |
CN115294234B (zh) * | 2022-10-09 | 2023-03-24 | 小米汽车科技有限公司 | 图像的生成方法、装置、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107577988B (zh) | 实现侧方车辆定位的方法、装置及存储介质、程序产品 | |
CN110146869B (zh) | 确定坐标系转换参数的方法、装置、电子设备和存储介质 | |
CN109446909B (zh) | 一种单目测距辅助泊车系统及方法 | |
US10896626B2 (en) | Method, computer readable storage medium and electronic equipment for analyzing driving behavior | |
CN109657638B (zh) | 障碍物定位方法、装置和终端 | |
CN109543493B (zh) | 一种车道线的检测方法、装置及电子设备 | |
US20230215187A1 (en) | Target detection method based on monocular image | |
CN110962844B (zh) | 一种车辆航向角修正方法及系统、存储介质及终端 | |
US9135745B2 (en) | Image processing method and system using the same | |
CN112907648A (zh) | 库位角点检测方法、装置、终端设备及车辆 | |
CN113256739B (zh) | 车载bsd摄像头的自标定方法、设备和存储介质 | |
CN114047487B (zh) | 雷达和车体的外参标定方法、装置、电子设备和存储介质 | |
CN104167109A (zh) | 车辆位置的检测方法和检测装置 | |
CN113850867A (zh) | 相机参数标定及设备的控制方法、装置、设备及存储介质 | |
CN111160070A (zh) | 车辆全景图像盲区消除方法、装置、存储介质及终端设备 | |
WO2022073461A1 (zh) | 泊车过程展示方法、装置及车辆 | |
CN111010545A (zh) | 车辆驾驶决策方法、系统、终端及存储介质 | |
CN113658262B (zh) | 相机外参标定方法、装置、系统及存储介质 | |
CN110751598B (zh) | 车辆铰接点坐标标定方法、装置、计算机设备和存储介质 | |
CN113762004A (zh) | 车道线检测方法及装置 | |
CN114897987B (zh) | 一种确定车辆地面投影的方法、装置、设备及介质 | |
CN114863096B (zh) | 室内停车场的语义地图构建及定位方法和装置 | |
CN116486351A (zh) | 行车预警方法、装置、设备及存储介质 | |
CN111753663B (zh) | 目标检测方法及装置 | |
CN115082565A (zh) | 相机标定方法、装置、服务器及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210604 |
|
WW01 | Invention patent application withdrawn after publication |