CN111986214A - 一种地图中人行横道的构建方法和电子设备 - Google Patents

一种地图中人行横道的构建方法和电子设备 Download PDF

Info

Publication number
CN111986214A
CN111986214A CN202010870290.0A CN202010870290A CN111986214A CN 111986214 A CN111986214 A CN 111986214A CN 202010870290 A CN202010870290 A CN 202010870290A CN 111986214 A CN111986214 A CN 111986214A
Authority
CN
China
Prior art keywords
pedestrian crossing
coordinate
point
coordinates
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010870290.0A
Other languages
English (en)
Other versions
CN111986214B (zh
Inventor
俞宏达
魏曦
赵龙贺
赵磊
于文义
钱智明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Ecarx Technology Co Ltd
Original Assignee
Hubei Ecarx Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Ecarx Technology Co Ltd filed Critical Hubei Ecarx Technology Co Ltd
Priority to CN202010870290.0A priority Critical patent/CN111986214B/zh
Publication of CN111986214A publication Critical patent/CN111986214A/zh
Application granted granted Critical
Publication of CN111986214B publication Critical patent/CN111986214B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Abstract

本发明实施例提供了一种地图中人行横道的构建方法和电子设备，应用于计算机技术领域，可以包括：基于获取到的图像采集设备采集的每帧图像，确定人行横道区域的位置信息；获取拼接点云；其中，拼接点云是通过激光雷达采集的多帧点云拼接而得到的；利用人行横道区域的位置信息，从拼接点云中提取人行横道区域点云；基于人行横道区域点云，确定人行横道区域所包括的人行横道的轮廓信息。通过本发明实施例提供的地图中人行横道的构建方法和电子设备，能够实现在满足构建的完整性和精度的同时，满足构建的效率。

Description

一种地图中人行横道的构建方法和电子设备
技术领域
本发明涉及计算机技术领域，特别是涉及一种地图中人行横道的构建方法和电子设备。
背景技术
在构建地图，尤其是高精度地图时，交叉口或路口的人行横道地面要素十分复杂。已有一种方式中，基于相机构建人行横道，如通过在移动车辆中安装的相机采集图像，并根据采集的图像构建人行横道。这种方式中，因为相机采集过程中会存在视野不完整、精度不高的问题，故会导致人行横道的构建完整性较低，精度较低。
另一种方式中，是基于激光点云构建人行横道。如通过在移动车辆中安装的激光雷达等采集激光点云数据，并根据激光点云数据构建人行横道。这种方式中分割人行横道的效率较低。
总的来讲，已有技术中无法权衡构建的完整性、精度和效率。
发明内容
本发明实施例的目的在于提供一种地图中人行横道的构建方法和电子设备，以实现在满足构建的完整性和精度的同时，满足构建的效率。具体技术方案如下：
本发明实施例提供了一种地图中人行横道的构建方法，包括：
基于获取到的图像采集设备采集的每帧图像，确定人行横道区域的位置信息；
获取拼接点云；其中，所述拼接点云是通过激光雷达采集的多帧点云拼接而得到的；
利用所述人行横道区域的位置信息，从所述拼接点云中提取所述人行横道区域点云；
基于所述人行横道区域点云，确定所述人行横道区域所包括的人行横道的轮廓信息。
可选的，所述基于获取到的图像采集设备采集的每帧图像，确定人行横道区域的位置信息，包括：
分别对每帧图像进行图像分割，得到每帧图像分别对应的多个分割区域；
针对每帧图像，若该帧图像对应的多个分割区域包含人行横道区域，则提取所述人行横道区域中人行横道的轮廓点像素坐标集合；将所述人行横道的轮廓点像素坐标集合中各轮廓点像素坐标转换为参考坐标系下的坐标，得到该帧图像对应的人行横道坐标集合；
基于包含人行横道区域的图像分别对应的所述人行横道坐标集合，确定每个人行横道区域的位置信息。
可选的，所述参考坐标系为站心坐标系；
所述将所述人行横道的轮廓点像素坐标集合中各轮廓点像素坐标转换为参考坐标系下的坐标，得到该帧图像对应的人行横道坐标集合，包括：
根据已知的标定参数，将所述轮廓点像素坐标集合中各个轮廓点像素坐标转换为惯性测量单元IMU空间坐标系下的坐标；
通过IMU空间坐标系与站心坐标系的旋转平移变换矩阵，将各个轮廓点像素在IMU空间坐标系下的坐标转换为站心坐标系下的坐标，并将各个轮廓点像素坐标分别对应的站心坐标系下的坐标作为所述人行横道坐标集合。
可选的，所述基于包含人行横道区域的图像分别对应的所述人行横道坐标集合，确定每个人行横道区域的位置信息，包括：
针对每个所述人行横道坐标集合，以该人行横道坐标集合中的中心点为圆心、以预设值为半径作圆；
判断所述圆内是否包含其他的人行横道坐标集合的坐标；
若是，则将位于所述圆内的其他的人行横道坐标集合中的坐标与该所述人行横道坐标集合中的坐标组合为一个人行横道区域的位置信息。
可选的，所述利用所述人行横道区域的位置信息，从所述拼接点云中提取所述人行横道区域点云，包括：
以各所述人行横道坐标集合中所有坐标的中心为圆心，以最远距离为半径，从所述拼接点云中提取所述圆心和所述半径作圆所对应的点云区域；其中，所述最远距离为所述所有坐标中距离所述圆心最远的坐标与所述圆心的距离；
将所述点云区域作为所述人行横道区域点云。
可选的，所述基于所述人行横道区域点云，确定所述人行横道区域所包括的人行横道的轮廓信息，包括：
将所述人行横道区域点云中各点投影至地平面坐标系；
将所述人行横道区域点云中各点在所述地平面坐标系下的坐标转换为图像坐标系下的图像坐标；
基于所述人行横道区域点云中各点的图像坐标构建灰度图；
通过深度学习模型对所述灰度图进行分割，得到人行横道区域；
通过预设轮廓算法获得人行横道区域所包括的人行横道的轮廓坐标；
对所述人行横道的轮廓坐标进行坐标转换，得到在参考坐标系下人行横道的轮廓信息。
可选的，所述将所述人行横道区域点云中各点投影至地平面坐标系，包括：
提取所述人行横道区域点云中的地面点云；
将所述地面点云中的各点投影至地平面坐标系，得到所述地面点云中各点在所述地平面坐标系下的坐标。
可选的，所述基于所述人行横道区域点云中各点的图像坐标构建灰度图，包括：
计算人行横道区域点云中各点的图像坐标中的最大横向坐标值和最大纵向坐标值；
构建灰度图，所述灰度图的宽为所述最大横向坐标值，长为所述最大纵向坐标值；
对于所述灰度图中每一像素点坐标，查找所述人行横道区域点云中各点的图像坐标，若存在与所述像素点坐标相等的图像坐标，则基于所述图像坐标对应的点的点云强度值确定所述像素点坐标的灰度值；若不存在与所述像素点坐标相等的图像坐标，则将所述像素点坐标的灰度值设置为设定灰度值。
可选的，所述参考坐标系为站心坐标系；
所述对所述人行横道的轮廓坐标进行坐标转换，得到在参考坐标系下人行横道的轮廓信息，包括：
将所述人行横道的轮廓坐标中各轮廓点的坐标转换至地平面坐标系下的坐标；
将所述人行横道的轮廓坐标中各轮廓点在所述地平面坐标系下的坐标转换至在站心坐标系下的坐标，并将所述人行横道的轮廓坐标中各轮廓点在所述站心坐标系下的坐标作为所述人行横道的轮廓信息。
本发明实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述的方法步骤。
本发明实施例有益效果：
本发明实施例提供的地图中人行横道的构建方法和电子设备，可以基于获取到的图像采集设备采集的每帧图像，确定人行横道区域的位置信息；获取拼接点云；其中，拼接点云是通过激光雷达采集的多帧点云拼接而得到的；利用人行横道区域的位置信息，从拼接点云中提取人行横道区域点云；基于人行横道区域点云，确定人行横道区域所包括的人行横道的轮廓信息。即可以通过基于图像采集设备采集的图像确定的人行横道区域的位置信息，从拼接点云中提取人行横道区域点云，再基于人行横道区域点云，确定人行横道区域所包括的人行横道的轮廓信息，如此，能够避免基于拼接点云进行复杂的分割而得到人行横道区域，可以满足构建的效率。且基于人行横道区域点云，确定人行横道区域所包括的人行横道的轮廓信息，能够避免通过相机构建人行横道的不完整、精度较低的问题，以满足构建的完整性和精度。即能够实现在满足构建的完整性和精度的同时，满足构建的效率。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的地图中人行横道的构建方法的流程示意图；
图2为本发明实施例中确定人行横道区域的位置信息的流程示意图；
图3为本发明实施例中基于包含人行横道区域的图像分别对应的人行横道坐标集合确定每个人行横道区域的位置信息的流程示意图；
图4为本发明实施例中将人行横道的轮廓点像素坐标集合中各轮廓点像素坐标转换为参考坐标系下的坐标，得到该帧图像对应的人行横道坐标集合的流程示意图；
图5为本发明实施例中不同坐标系转换示意图；
图6为本发明实施例中基于人行横道区域点云确定人行横道区域所包括的人行横道的轮廓信息的流程示意图；
图7为本发明实施例中基于人行横道区域点云中各点的图像坐标构建灰度图的流程示意图；
图8为本发明实施例提供的地图中人行横道的构建装置的结构示意图；
图9为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有方式中一种是基于相机构建人行横道，另一种是基于激光点云构建人行横道。如果基于相机构建人行横道，会存在视野不完整，精度不高的问题；如果基于激光点云构建人行横道，会存在分割效率低的问题。另外，使用激光点云，存在假阳性高，效果差的问题。
为了同时满足构建的高完整性、高精度和高效率，具体来讲，可以在满足构建的完整性、精度的同时，提高构建的效率；在满足构建的效率的同时，提高构建的完整性和精度。
本发明实施例提供了一种地图中人行横道的构建方法，结合相机和点云以实现人行横道的构建，也可以理解为构建人行横道的拓扑结构，拓扑结构具体可以包括人行横道在地图中的位置、各个路口中包含的人行通道的关系等等。基于获取到的图像采集设备采集的每帧图像，确定人行横道区域的位置信息；获取拼接点云；其中，拼接点云是通过激光雷达采集的多帧点云拼接而得到的；利用人行横道区域的位置信息，从拼接点云中提取人行横道区域点云；基于人行横道区域点云，确定人行横道区域所包括的人行横道的轮廓信息。如此，能够实现在满足构建的完整性和精度的同时，满足构建的效率，即同时满足构建的高完整性、高精度和高效率。同时，还能够降低假阳性，也即降低误识别率，提升构建效果。
本发明实施例提供的地图中人行横道的构建方法可以应用于地图构建场景，如高精度地图构建场景。
下面对本发明实施例提供的地图中人行横道的构建方法进行详细说明。
本发明实施例提供的地图中人行横道的构建方法可以应用于电子设备。具体地，电子设备可以包括终端、处理器等等。
本发明实施例提供了一种地图中人行横道的构建方法，如图1所示，可以包括：
S101，基于获取到的图像采集设备采集的每帧图像，确定人行横道区域的位置信息；
S102，获取拼接点云；其中，拼接点云是通过激光雷达采集的多帧点云拼接而得到的；
S103，利用人行横道区域的位置信息，从拼接点云中提取人行横道区域点云；
S104，基于人行横道区域点云，确定人行横道区域所包括的人行横道的轮廓信息。
本发明实施例中，可以通过基于图像采集设备采集的图像确定的人行横道区域的位置信息，从拼接点云中提取人行横道区域点云，再基于人行横道区域点云，确定人行横道区域所包括的人行横道的轮廓信息，如此，能够避免基于拼接点云进行复杂的分割而得到人行横道区域，可以满足构建的效率。且基于人行横道区域点云，确定人行横道区域所包括的人行横道的轮廓信息，能够避免通过相机构建人行横道的不完整、精度较低的问题，以满足构建的完整性和精度。即能够实现在满足构建的完整性和精度的同时，满足构建的效率。
参考图1，本发明实施例提供的地图中人行横道的构建方法，可以包括：
S101，基于获取到的图像采集设备采集的每帧图像，确定人行横道区域的位置信息。
其中，人行横道区域可以理解为包括人行横道的交叉口和/或路口等的区域。
图像采集设备可以包括照相机、摄像机等等。
一种可实现方式中，基于获取到的图像采集设备采集的每帧图像，通过图像分割算法和轮廓追踪算法，确定人行横道区域的位置信息。图像分割算法可以采用能够实现图像分割的模型或者算法。例如，可以通过deeplabv3+图像分割模型进行图像分割，deeplabv3+是一种语义分割模型。
轮廓追踪算法可以采用任何一种能够实现轮廓追踪的方式。例如，轮廓追踪算法可以包括八领域追踪算法。
S102，获取拼接点云。
其中，拼接点云是通过激光雷达采集的多帧点云拼接而得到的。
S103，利用人行横道区域的位置信息，从拼接点云中提取人行横道区域点云。
步骤S101中基于获取到的图像采集设备采集的每帧图像，确定的人行横道区域的位置信息可以是与拼接点云在相同坐标系下的位置信息，如此，可以利用人行横道区域的位置信息，从拼接点云中提取人行横道区域点云。
另一种可实现方式中可以将人行横道区域的位置信息转换至拼接点云所在坐标系下的位置信息。或者，可以同时将人行横道区域的位置信息以及拼接点云转换至相同坐标系下的坐标。
S104，基于人行横道区域点云，确定人行横道区域所包括的人行横道的轮廓信息。
一种方式中，可以通过对人行横道区域点云进行分割，确定人行横道区域所包括的人行横道的轮廓信息。
另一种方式中，可以对人行横道区域点云进行转换，以转换至图像坐标下，并基于图像坐标确定人行横道区域所包括的人行横道的轮廓信息。
本发明实施例，可以通过基于图像采集设备采集的图像确定的人行横道区域的位置信息，从拼接点云中提取人行横道区域点云，再基于人行横道区域点云，确定人行横道区域所包括的人行横道的轮廓信息，如此，能够避免基于拼接点云进行复杂的分割而得到人行横道区域，可以满足构建的效率。且基于人行横道区域点云，确定人行横道区域所包括的人行横道的轮廓信息，能够避免通过相机构建人行横道的不完整、精度较低的问题，以满足构建的完整性和精度。即能够实现在满足构建的完整性和精度的同时，满足构建的效率。
一种可选的实施例中，步骤S101：基于获取到的图像采集设备采集的每帧图像，确定人行横道区域的位置信息，如图2所示，可以包括：
S1011，分别对每帧图像进行图像分割，得到每帧图像分别对应的多个分割区域。
可以通过图像采集设备采集包含人行横道区域的图像。一种方式中，可以将图像采集设备安装在车辆中，车辆在行进至人行横道区域时可以采集包含人行横道区域的图像。
S1012，针对每帧图像，若该帧图像对应的多个分割区域包含人行横道区域，则提取人行横道区域中人行横道的轮廓点像素坐标集合；将人行横道的轮廓点像素坐标集合中各轮廓点像素坐标转换为参考坐标系下的坐标，得到该帧图像对应的人行横道坐标集合。
一种可实现方式中，针对每帧图像，若该帧图像对应的多个分割区域包含人行横道区域，则可以通过轮廓追踪算法，提取人行横道区域中人行横道的轮廓点像素坐标集合。
其中，可以通过采用任何一种能够实现轮廓追踪的方式提取人行横道区域中人行横道的轮廓点像素坐标集合。例如，轮廓追踪算法可以包括八领域追踪算法，等等。
可以将人行横道的轮廓点像素坐标集合中各轮廓点像素坐标转换为参考坐标系下的坐标，得到该帧图像对应的人行横道坐标集合，使得基于图像采集设备确定的人行横道区域的位置信息，与拼接点云中点云的坐标处于相同参考坐标系，如此，可以利用人行横道区域的位置信息，从拼接点云中提取人行横道区域点云。
可以基于转换矩阵，对不同坐标系下的坐标进行转换。
如此，可以实现基于图像采集设备采集的图像，通过图像分割和轮廓追踪算法，确定人行横道区域的位置信息，即在参考坐标系下的人行横道坐标集合。
S1013，基于包含人行横道区域的图像分别对应的人行横道坐标集合，确定每个人行横道区域的位置信息。
一种可选的实施例中，步骤S1013，基于包含人行横道区域的图像分别对应的人行横道坐标集合，确定每个人行横道区域的位置信息，如图3所示，可以包括：
S301，针对每个人行横道坐标集合，以该人行横道坐标集合中的中心点为圆心、以预设值为半径作圆。
预设值可以经验、实际需求等确定。一种可实现方式中，预设值为50m。
S302，判断圆内是否包含其他的人行横道坐标集合的坐标。
若是，即圆内包含其他的人行横道坐标集合的坐标，则执行S303。
S303，将位于圆内的其他的人行横道坐标集合中的坐标与该人行横道坐标集合中的坐标组合为一个人行横道区域的位置信息。
如果以一人行横道坐标集合中的中心点为圆心、以预设值为半径作圆中，包含其他的人行横道坐标集合的坐标，则可以理解为其他的人行横道坐标集合所对应的人行横道区域与该人行横道坐标集合所对应的人行横道区域相同的人行横道区域，如此，可以将位于圆内的其他的人行横道坐标集合中的坐标与该人行横道坐标集合中的坐标组合为一个人行横道区域的位置信息。
如此，可以基于获取到的图像采集设备采集的每帧图像，确定人行横道区域的位置信息。
一种可选的实施例中，参考坐标系为站心坐标系。
S1012中将人行横道的轮廓点像素坐标集合中各轮廓点像素坐标转换为参考坐标系下的坐标，得到该帧图像对应的人行横道坐标集合，如图4所示，可以包括：
S401，根据已知的标定参数，将轮廓点像素坐标集合中各个轮廓点像素坐标转换为惯性测量单元(Inertial Measurement Unit，惯性测量单元，简称IMU)空间坐标系下的坐标。
标定参数可以为的图像采集设备(例如相机)的内参和外参，等等。
根据已知的标定参数,使用定高测距,将轮廓点像素坐标集合中轮廓点像素坐标，转换到IMU空间坐标系下的坐标。
图5为不同坐标系转换示意图，可以表示坐标系之间的转换关系，其中，图5中Zc表示层度齐次，
Figure BDA0002650877960000101
中u,v表示像素坐标，
Figure BDA0002650877960000102
表示相机内参矩阵，R、T表示相机外参，其中，R表示旋转矩阵，T表示平移矩阵，
Figure BDA0002650877960000103
中Xw,Yw,Zw表示IMU空间坐标系下的坐标。
如图5所示的坐标系之间的转换关系包括：IMU空间坐标系转换到相机坐标系，相机坐标系转换到图像物理坐标系，图像物理坐标系转换到图像像素坐标系，基于图5所示的转换关系，可以实现将IMU空间坐标系下的坐标转换至图像像素坐标系下的坐标，其中，图像像素坐标系下的坐标也可以称之为像素坐标。如此，可以基于该转换关系进行逆变换，实现从像素坐标恢复至IMU空间坐标系下的坐标。具体地，可以先将图像像素坐标系下的坐标(也即像素坐标)转换为图像物理坐标系下的坐标，然后将图像物理坐标系下的坐标转换至相机坐标系下的坐标，相机坐标系下的坐标转换为IMU空间坐标系下的坐标。
其中，从像素坐标恢复到IMU空间坐标系下的坐标，需要知道Zc。
定高测距，是假设人行横道在道路平面上，人行横道的轮廓点像素坐标对应的世界坐标(也即IMU空间坐标系下的坐标)的Zw都是一样的，均等于相机离地面的高度，根据这个条件，可以计算得到Zc，然后再计算得到所有轮廓点像素坐标对应的IMU空间坐标系下的坐标。
S402，通过IMU空间坐标系与站心坐标系的旋转平移变换矩阵，将各个轮廓点像素在IMU空间坐标系下的坐标转换为站心坐标系下的坐标，并将各个轮廓点像素坐标分别对应的站心坐标系下的坐标作为人行横道坐标集合。
如此，通过不同坐标系之间的转换矩阵，如IMU空间坐标系与站心坐标系的旋转平移变换矩阵，将轮廓点像素坐标集合中各个轮廓点像素坐标转换为至参考坐标系，即站心坐标系下的坐标，并将各个轮廓点像素坐标分别对应的站心坐标系下的坐标作为人行横道坐标集合。如此，可以基于包含人行横道区域的图像分别对应的人行横道坐标集合，确定每个人行横道区域的位置信息。
一种可选的实施例中，S103：利用人行横道区域的位置信息，从拼接点云中提取人行横道区域点云，可以包括：
以各人行横道坐标集合中所有坐标的中心为圆心，以最远距离为半径，从拼接点云中提取圆心和半径作圆所对应的点云区域；其中，最远距离为所有坐标中距离圆心最远的坐标与圆心的距离；将点云区域作为人行横道区域点云。
即可以理解为以同属于一个人行横道区域的人行横道的所有坐标的中心为圆心,半径为所有坐标中离圆心的最大距离，即最远距离，一种方式中最远距离为10m，从拼接点云中裁剪包含人行横道区域的局部区域，也即人行横道区域点云。
一种可选的实施例中，步骤S104：基于人行横道区域点云，确定人行横道区域所包括的人行横道的轮廓信息，如图6所示，可以包括：
S1041，将人行横道区域点云中各点投影至地平面坐标系。
可以使用随机样本一致性算法提取人行横道区域点云的地平面，其地平面的方程表示为ax+by+cz+d＝0。具体地，先假设待求解方程ax+by+cz+d＝0，根据人行横道区域点云中的点，通过随机样本一致性算法拟合地平面的方程，简单理解为求解方程中的参数，如此，可以确定地平面的方程中的参数a、b、c和d。即可确定投影过程中使用的地平面的法向量p＝[a,b,c]T。依据该地平面的法向量可以计算点云至地平面坐标系的转换矩阵，即可根据该转换矩阵将人行横道区域点云中各点投影至地平面坐标系。
一种可实现方式中，可以包括：
从人行横道区域点云中删除非地面点云，得到人行横道区域点云对应的地面点云。人行横道区域的点云一般是在地面点云，为了提高计算的效率以及避免高层点云对计算准确性等的影响，可以从人行横道区域点云中删除非地面点云，仅对地面点云进行处理。
非地面点云可以包括离地平面30cm以上的点云。
一种可实现方式中，提取人行横道区域点云中的地面点云；将地面点云中的各点投影至地平面坐标系，得到地面点云中各点在地平面坐标系下的坐标。具体地，已知地平面的法向量为p＝[a,b,c]T,将地平面作为新坐标系(简称地平面坐标系)的x-y平面时,其法向量为z＝[0,0,1]T,根据罗德里格旋转公式,可以求得p到z的旋转矩阵R1,然后使用R1将所有点云的坐标旋转到地平面坐标系中,地平面坐标系中点的(x,y)坐标即是投影在地平面上的坐标。
S1042，将人行横道区域点云中各点在地平面坐标系下的坐标转换为图像坐标系下的图像坐标。
可以通过地平面坐标系与图像坐标系之间的转换矩阵，将在地平面坐标系下的坐标转换为图像坐标。
地平面坐标系下的坐标也可以称之为投影点。可以计算所有投影点的最小x坐标和y坐标,分别为x0，y0。以x0，y0为图像坐标原点,对所有投影点进行平移,并将坐标的量纲从米转为厘米，完成将投影点转换为图像坐标。例如,某投影点的坐标为(x,y)，转换后的坐标为([(x-x0)*50+0.5],[(y-y0)*50+0.5])。
S1043，基于人行横道区域点云中各点的图像坐标构建灰度图。
一种可实现方式中，如图7所示，可以包括：
S701，计算人行横道区域点云中各点的图像坐标中的最大横向坐标值和最大纵向坐标值。
S702，构建灰度图。
灰度图的宽为最大横向坐标值，长为最大纵向坐标值。
例如，可以计算人行横道区域点云中各点的图像坐标中的最大x坐标和y坐标分别为x1，y1。构建一个高为y1，宽为x1的单通道灰度图。
S703，对于灰度图中每一像素点坐标，查找人行横道区域点云中各点的图像坐标。
若存在与像素点坐标相等的图像坐标，则基于图像坐标对应的点的点云强度值确定像素点坐标的灰度值；
具体地，若存在与像素点坐标相等的一个图像坐标，则将该一个图像坐标对应的点的点云强度值作为一像素点坐标的灰度值。
若存在与像素点坐标相等的多个图像坐标，则将多个图像坐标对应的多个点的点云强度值的均值作为一像素点坐标的灰度值。
若不存在与像素点坐标相等的图像坐标，则将像素点坐标的灰度值设置为设定灰度值。
其中，设定灰度值可以根据实际需求设置，如可以为0。
S1044，通过深度学习模型对灰度图进行分割，得到人行横道区域。
深度学习模型可以包括多种网络架构的模型，如卷积神经网络等。
一种可实现方式中，可以使用panoptic-deeplab模型对灰度图进行人行横道实例分割,分割出灰度图中人行横道区域,同属于一个人行横道的白条线在一个区域内,不同的人行横道区域是相互分开的。
S1045，通过预设轮廓算法获得人行横道区域所包括的人行横道的轮廓坐标。
预设轮廓算法可以包括任何一种能够实现轮廓提取的方式。例如，预设轮廓追踪算法可以包括八领域追踪算法。
S1046，对人行横道的轮廓坐标进行坐标转换，得到在参考坐标系下人行横道的轮廓信息。
不同坐标系之间存在转换矩阵，可以基于转换矩阵，对不同坐标系下的坐标进行转换。
一种可实现方式中，参考坐标系为站心坐标系。
步骤S1046可以包括：
将人行横道的轮廓坐标中各轮廓点的坐标转换至地平面坐标系下的坐标；将人行横道的轮廓坐标中各轮廓点在地平面坐标系下的坐标转换至在站心坐标系下的坐标，并将人行横道的轮廓坐标中各轮廓点在站心坐标系下的坐标作为人行横道的轮廓信息。
具体地，可以将人行横道的轮廓坐标中各轮廓点的坐标先转换至地平面坐标系下的坐标,假设某个轮廓坐标为(x,y)，则在地平面坐标系中的x轴和y轴坐标为
Figure BDA0002650877960000141
z轴坐标为离该点最近的投影点的z轴坐标；然后转换到站心坐标系,根据地平面坐标系与站心坐标系的旋转关系,从地平面坐标系反向旋转到站心坐标系。由此,得到在站心坐标系下每个人行横道区域中，也即每个路口和/或交叉口中完整的人行横道的轮廓结构。
本发明实施例中，通过对人行横道区域点云进行转换，以转换至图像坐标下，并基于图像坐标确定人行横道区域所包括的人行横道的轮廓信息，相比较于直接针对人行横道区域点云中离散点进行处理，图像坐标下计算可以理解为基于三维空间进行计算，可以降低计算的复杂度，且能够提高计算的准确度。
对应于上述实施例提供的地图中人行横道的构建方法，本发明实施例还提供了一种人行横道的构建装置，如图8所示，包括：
第一确定模块801，用于基于获取到的图像采集设备采集的每帧图像，确定人行横道区域的位置信息；
获取模块802，用于获取拼接点云；其中，拼接点云是通过激光雷达采集的多帧点云拼接而得到的；
提取模块803，用于利用人行横道区域的位置信息，从拼接点云中提取人行横道区域点云；
第二确定模块804，用于基于人行横道区域点云，确定人行横道区域所包括的人行横道的轮廓信息。
本发明实施例中，可以通过基于图像采集设备采集的图像确定的人行横道区域的位置信息，从拼接点云中提取人行横道区域点云，再基于人行横道区域点云，确定人行横道区域所包括的人行横道的轮廓信息，如此，能够避免基于拼接点云进行复杂的分割而得到人行横道区域，可以满足构建的效率。且基于人行横道区域点云，确定人行横道区域所包括的人行横道的轮廓信息，能够避免通过相机构建人行横道的不完整、精度较低的问题，以满足构建的完整性和精度。即能够实现在满足构建的完整性和精度的同时，满足构建的效率。
对应于上述实施例提供的地图中人行横道的构建方法，本发明实施例还提供了一种电子设备，如图9所示，包括处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信。
存储器903，用于存放计算机程序；
处理器901，用于执行存储器903上所存放的程序时，实现上述实施例提供的地图中人行横道的构建方法的方法步骤。
本发明实施例中，可以通过基于图像采集设备采集的图像确定的人行横道区域的位置信息，从拼接点云中提取人行横道区域点云，再基于人行横道区域点云，确定人行横道区域所包括的人行横道的轮廓信息，如此，能够避免基于拼接点云进行复杂的分割而得到人行横道区域，可以满足构建的效率。且基于人行横道区域点云，确定人行横道区域所包括的人行横道的轮廓信息，能够避免通过相机构建人行横道的不完整、精度较低的问题，以满足构建的完整性和精度。即能够实现在满足构建的完整性和精度的同时，满足构建的效率。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述实施例提供的地图中人行横道的构建方法的方法步骤。
本发明实施例中，可以通过基于图像采集设备采集的图像确定的人行横道区域的位置信息，从拼接点云中提取人行横道区域点云，再基于人行横道区域点云，确定人行横道区域所包括的人行横道的轮廓信息，如此，能够避免基于拼接点云进行复杂的分割而得到人行横道区域，可以满足构建的效率。且基于人行横道区域点云，确定人行横道区域所包括的人行横道的轮廓信息，能够避免通过相机构建人行横道的不完整、精度较低的问题，以满足构建的完整性和精度。即能够实现在满足构建的完整性和精度的同时，满足构建的效率。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例提供的地图中人行横道的构建方法的方法步骤。
本发明实施例中，可以通过基于图像采集设备采集的图像确定的人行横道区域的位置信息，从拼接点云中提取人行横道区域点云，再基于人行横道区域点云，确定人行横道区域所包括的人行横道的轮廓信息，如此，能够避免基于拼接点云进行复杂的分割而得到人行横道区域，可以满足构建的效率。且基于人行横道区域点云，确定人行横道区域所包括的人行横道的轮廓信息，能够避免通过相机构建人行横道的不完整、精度较低的问题，以满足构建的完整性和精度。即能够实现在满足构建的完整性和精度的同时，满足构建的效率。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种人行横道的构建方法，其特征在于，包括：
基于获取到的图像采集设备采集的每帧图像，确定人行横道区域的位置信息；
获取拼接点云；其中，所述拼接点云是通过激光雷达采集的多帧点云拼接而得到的；
利用所述人行横道区域的位置信息，从所述拼接点云中提取所述人行横道区域点云；
基于所述人行横道区域点云，确定所述人行横道区域所包括的人行横道的轮廓信息。
2.根据权利要求1所述的方法，其特征在于，所述基于获取到的图像采集设备采集的每帧图像，确定人行横道区域的位置信息，包括：
分别对每帧图像进行图像分割，得到每帧图像分别对应的多个分割区域；
针对每帧图像，若该帧图像对应的多个分割区域包含人行横道区域，则提取所述人行横道区域中人行横道的轮廓点像素坐标集合；将所述人行横道的轮廓点像素坐标集合中各轮廓点像素坐标转换为参考坐标系下的坐标，得到该帧图像对应的人行横道坐标集合；
基于包含人行横道区域的图像分别对应的所述人行横道坐标集合，确定每个人行横道区域的位置信息。
3.根据权利要求2所述的方法，其特征在于，所述参考坐标系为站心坐标系；
所述将所述人行横道的轮廓点像素坐标集合中各轮廓点像素坐标转换为参考坐标系下的坐标，得到该帧图像对应的人行横道坐标集合，包括：
根据已知的标定参数，将所述轮廓点像素坐标集合中各个轮廓点像素坐标转换为惯性测量单元IMU空间坐标系下的坐标；
通过IMU空间坐标系与站心坐标系的旋转平移变换矩阵，将各个轮廓点像素在IMU空间坐标系下的坐标转换为站心坐标系下的坐标，并将各个轮廓点像素坐标分别对应的站心坐标系下的坐标作为所述人行横道坐标集合。
4.根据权利要求2所述的方法，其特征在于，所述基于包含人行横道区域的图像分别对应的所述人行横道坐标集合，确定每个人行横道区域的位置信息，包括：
针对每个所述人行横道坐标集合，以该人行横道坐标集合中的中心点为圆心、以预设值为半径作圆；
判断所述圆内是否包含其他的人行横道坐标集合的坐标；
若是，则将位于所述圆内的其他的人行横道坐标集合中的坐标与该所述人行横道坐标集合中的坐标组合为一个人行横道区域的位置信息。
5.根据权利要求4所述的方法，其特征在于，所述利用所述人行横道区域的位置信息，从所述拼接点云中提取所述人行横道区域点云，包括：
以各所述人行横道坐标集合中所有坐标的中心为圆心，以最远距离为半径，从所述拼接点云中提取所述圆心和所述半径作圆所对应的点云区域；其中，所述最远距离为所述所有坐标中距离所述圆心最远的坐标与所述圆心的距离；
将所述点云区域作为所述人行横道区域点云。
6.根据权利要求1所述的方法，其特征在于，所述基于所述人行横道区域点云，确定所述人行横道区域所包括的人行横道的轮廓信息，包括：
将所述人行横道区域点云中各点投影至地平面坐标系；
将所述人行横道区域点云中各点在所述地平面坐标系下的坐标转换为图像坐标系下的图像坐标；
基于所述人行横道区域点云中各点的图像坐标构建灰度图；
通过深度学习模型对所述灰度图进行分割，得到人行横道区域；
通过预设轮廓算法获得人行横道区域所包括的人行横道的轮廓坐标；
对所述人行横道的轮廓坐标进行坐标转换，得到在参考坐标系下人行横道的轮廓信息。
7.根据权利要求6所述的方法，其特征在于，所述将所述人行横道区域点云中各点投影至地平面坐标系，包括：
提取所述人行横道区域点云中的地面点云；
将所述地面点云中的各点投影至地平面坐标系，得到所述地面点云中各点在所述地平面坐标系下的坐标。
8.根据权利要求6所述的方法，其特征在于，所述基于所述人行横道区域点云中各点的图像坐标构建灰度图，包括：
计算人行横道区域点云中各点的图像坐标中的最大横向坐标值和最大纵向坐标值；
构建灰度图，所述灰度图的宽为所述最大横向坐标值，长为所述最大纵向坐标值；
对于所述灰度图中每一像素点坐标，查找所述人行横道区域点云中各点的图像坐标，若存在与所述像素点坐标相等的图像坐标，则基于所述图像坐标对应的点的点云强度值确定所述像素点坐标的灰度值；若不存在与所述像素点坐标相等的图像坐标，则将所述像素点坐标的灰度值设置为设定灰度值。
9.根据权利要求6所述的方法，其特征在于，所述参考坐标系为站心坐标系；
所述对所述人行横道的轮廓坐标进行坐标转换，得到在参考坐标系下人行横道的轮廓信息，包括：
将所述人行横道的轮廓坐标中各轮廓点的坐标转换至地平面坐标系下的坐标；
将所述人行横道的轮廓坐标中各轮廓点在所述地平面坐标系下的坐标转换至在站心坐标系下的坐标，并将所述人行横道的轮廓坐标中各轮廓点在所述站心坐标系下的坐标作为所述人行横道的轮廓信息。
10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-9任一所述的方法步骤。
CN202010870290.0A 2020-08-26 2020-08-26 一种地图中人行横道的构建方法和电子设备 Active CN111986214B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010870290.0A CN111986214B (zh) 2020-08-26 2020-08-26 一种地图中人行横道的构建方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010870290.0A CN111986214B (zh) 2020-08-26 2020-08-26 一种地图中人行横道的构建方法和电子设备

Publications (2)

Publication Number Publication Date
CN111986214A true CN111986214A (zh) 2020-11-24
CN111986214B CN111986214B (zh) 2021-08-06

Family

ID=73439635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010870290.0A Active CN111986214B (zh) 2020-08-26 2020-08-26 一种地图中人行横道的构建方法和电子设备

Country Status (1)

Country Link
CN (1) CN111986214B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034566A (zh) * 2021-05-28 2021-06-25 湖北亿咖通科技有限公司 高精度地图构建方法、装置、电子设备及存储介质
CN111986214B (zh) * 2020-08-26 2021-08-06 湖北亿咖通科技有限公司 一种地图中人行横道的构建方法和电子设备
CN113312440A (zh) * 2021-05-21 2021-08-27 浙江商汤科技开发有限公司 地图构建方法、装置、电子设备、计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956100A (zh) * 2019-11-15 2020-04-03 北京三快在线科技有限公司 一种高精度地图生成方法、装置、电子设备和存储介质
CN111311709A (zh) * 2020-02-05 2020-06-19 北京三快在线科技有限公司 一种生成高精地图的方法及装置
CN111881790A (zh) * 2020-07-14 2020-11-03 武汉中海庭数据技术有限公司 一种高精度地图制作中道路人行横道自动化提取方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986214B (zh) * 2020-08-26 2021-08-06 湖北亿咖通科技有限公司 一种地图中人行横道的构建方法和电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956100A (zh) * 2019-11-15 2020-04-03 北京三快在线科技有限公司 一种高精度地图生成方法、装置、电子设备和存储介质
CN111311709A (zh) * 2020-02-05 2020-06-19 北京三快在线科技有限公司 一种生成高精地图的方法及装置
CN111881790A (zh) * 2020-07-14 2020-11-03 武汉中海庭数据技术有限公司 一种高精度地图制作中道路人行横道自动化提取方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986214B (zh) * 2020-08-26 2021-08-06 湖北亿咖通科技有限公司 一种地图中人行横道的构建方法和电子设备
CN113312440A (zh) * 2021-05-21 2021-08-27 浙江商汤科技开发有限公司 地图构建方法、装置、电子设备、计算机可读存储介质
CN113034566A (zh) * 2021-05-28 2021-06-25 湖北亿咖通科技有限公司 高精度地图构建方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111986214B (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN111986214B (zh) 一种地图中人行横道的构建方法和电子设备
CN112444242B (zh) 一种位姿优化方法及装置
CN113989450B (zh) 图像处理方法、装置、电子设备和介质
CN112001298B (zh) 行人检测方法、装置、电子设备和存储介质
CN112232311B (zh) 人脸跟踪方法、装置及电子设备
CN112036359B (zh) 一种车道线的拓扑信息获得方法、电子设备及存储介质
CN112836698A (zh) 一种定位方法、装置、存储介质及电子设备
CN112634368A (zh) 场景目标的空间与或图模型生成方法、装置及电子设备
WO2023284358A1 (zh) 相机标定方法、装置、电子设备及存储介质
CN112507891B (zh) 自动化识别高速路口并构建路口向量的方法及装置
CN116858215B (zh) 一种ar导航地图生成方法及装置
CN113673288B (zh) 空闲车位检测方法、装置、计算机设备及存储介质
WO2023184869A1 (zh) 室内停车场的语义地图构建及定位方法和装置
CN116524382A (zh) 一种桥梁转体合拢准确性检验方法系统、设备
CN115713560A (zh) 一种摄像头和车辆的外参数标定方法及装置、电子设备、存储介质
CN115719436A (zh) 模型训练方法、目标检测方法、装置、设备以及存储介质
WO2023283929A1 (zh) 双目相机外参标定的方法及装置
CN115272482A (zh) 一种相机外参标定方法及存储介质
CN114998743A (zh) 一种视觉地图点的构建方法、装置、设备及介质
CN112767477A (zh) 一种定位方法、装置、存储介质及电子设备
CN114677435A (zh) 一种点云全景融合要素提取方法和系统
CN117197361B (zh) 实景三维数据库构建方法、电子设备和计算机可读介质
CN114419250B (zh) 点云数据矢量化方法及装置、矢量地图生成方法及装置
CN117372988B (zh) 道路边界检测方法、装置、电子设备及存储介质
EP4141789A1 (en) An automated imaging system for object footprint detection and a method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant