CN112435333B - 一种道路场景的生成方法以及相关装置 - Google Patents

一种道路场景的生成方法以及相关装置 Download PDF

Info

Publication number
CN112435333B
CN112435333B CN202011095861.4A CN202011095861A CN112435333B CN 112435333 B CN112435333 B CN 112435333B CN 202011095861 A CN202011095861 A CN 202011095861A CN 112435333 B CN112435333 B CN 112435333B
Authority
CN
China
Prior art keywords
target
road
information
instance
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011095861.4A
Other languages
English (en)
Other versions
CN112435333A (zh
Inventor
吴陈铭
刘民选
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011095861.4A priority Critical patent/CN112435333B/zh
Publication of CN112435333A publication Critical patent/CN112435333A/zh
Application granted granted Critical
Publication of CN112435333B publication Critical patent/CN112435333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Geometry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种道路场景的生成方法以及相关装置，涉及人工智能的自动驾驶技术。通过采集目标道路对应的目标点云数据；然后提取目标点云数据中的关键特征；并根据特征标识对关键特征进行聚类，以得到目标实例和至少一个边界实例；基于基干信息和范围信息建立目标空间；进而在目标空间中插入细节特征，以生成目标道路场景。从而实现道路场景的自动生成过程，由于采用目标道路对应关键特征进行基干信息的描述，并结合范围信息对道路的生成进行调整，且可以自动进行道路场景中细节的插入，从而提高了道路场景生成的准确性。

Description

一种道路场景的生成方法以及相关装置
技术领域
本申请涉及计算机技术领域，尤其涉及一种道路场景的生成方法以及相关装置。
背景技术
自动驾驶技术包括了高精地图、环境感知、行为决策、路径规划、运动控制等技术，有着广泛的应用前景。而在对自动驾驶进行测试的过程中，自动驾驶仿真结果的可信性与仿真环境是否与现实环境相近有着紧密的联系。
自动驾驶仿真的过程涉及道路场景的模拟，例如对于高速公路路面重建主要是通过全站仪野外测量数据、道路设计数据或影像提取的特征数据这些稀疏数据，进行宏观层面的高速道路粗略重建，以得到高速道路的大致位置和走向，然后基于位置和走向进行人工建模，从而得到道路场景。
但是，上述高速公路重建技术使用的稀疏数据无法提供与现实环境一致的信息，且人工建模的过程耗时耗力容易引入误差，使得自动驾驶仿真的道路场景与真实环境的道路场景不一致，影响道路场景的准确性。
发明内容
有鉴于此，本申请提供一种道路场景的生成方法，可以生成的道路场景准确性。
本申请第一方面提供一种道路场景的生成方法，可以应用于终端设备中包含道路场景的生成功能的系统或程序中，具体包括：
采集目标道路对应的目标点云数据；
提取所述目标点云数据中的关键特征，所述关键特征与特征标识相对应；
根据所述特征标识对所述关键特征进行聚类，以得到目标实例和至少一个边界实例，所述目标实例用于指示所述目标道路对应的基干信息，所述边界实例用于指示所述目标道路对应的范围信息；
基于所述基干信息和所述范围信息建立目标空间；
在所述目标空间中插入细节特征，以生成目标道路场景。
可选的，在本申请一些可能的实现方式中，所述采集目标道路对应的点云数据，包括：
采集所述目标道路在预设时间段内每个时刻对应的分段点云数据；
根据变换矩阵将所述分段点云数据转换到目标时刻的坐标系中，以得到转换点云数据；
基于所述转换点云数据进行叠加，以得到所述目标点云数据。
可选的，在本申请一些可能的实现方式中，所述提取所述目标点云数据中的关键特征，包括：
基于所述目标点云数据调用目标神经网络，所述目标神经网络基于包含训练特征的训练数据训练所得，所述训练特征包含所述特征标识，所述训练数据与所述目标点云数据相关；
将所述目标点云数据输入目标神经网络，以提取所述关键特征。
可选的，在本申请一些可能的实现方式中，所述根据所述特征标识对所述关键特征进行聚类，以得到目标实例和至少一个边界实例，包括：
基于所述特征标识对所述关键特征进行分割，以得到目标特征集合和至少一个边界特征集合；
将所述目标特征集合中包含的特征进行连接，以得到所述目标实例；
将所述边界特征集合中包含的特征进行连接，以得到至少一个所述边界实例。
可选的，在本申请一些可能的实现方式中，所述将所述目标特征集合中包含的特征进行连接，以得到所述目标实例，包括：
将所述目标特征集合中包含的特征进行连接，以得到路线实例；
对所述路线实例进行曲线拟合，以得到所述目标实例。
可选的，在本申请一些可能的实现方式中，所述对所述路线实例进行曲线拟合，以得到所述目标实例，包括：
从所述路线实例中抽取离散点组；
对所述离散点组中的离散点进行配对，以确定对应的方向向量；
基于所述方向向量确定控制点，以确定拟合参数；
根据所述拟合参数进行曲线拟合，以得到所述目标实例。
可选的，在本申请一些可能的实现方式中，所述方法还包括：
确定所述路线实例中相邻点位的波动信息；
基于简化算法对所述波动信息进行筛选，以对所述相邻点位进行更新；
基于更新后的所述相邻点位调整所述路线实例。
可选的，在本申请一些可能的实现方式中，所述方法还包括：
获取所述路线实例对应的起止点信息；
基于所述起止点信息确定目标连线；
根据所述目标连线与路线切线的相交情况对所述路线实例进行更新，所述路线切线基于所述路线实例确定。
可选的，在本申请一些可能的实现方式中，所述基于所述基干信息和所述范围信息建立目标空间，包括：
基于所述基干信息确定候选范围；
根据所述范围信息对所述候选范围进行更新，以建立所述目标空间。
可选的，在本申请一些可能的实现方式中，所述根据所述范围信息对所述候选范围进行更新，以建立所述目标空间，包括：
确定所述范围信息中指示的局部变化区域；
基于光线投射确定所述局部变化区域与所述候选范围的距离信息；
根据所述距离信息对所述候选范围进行更新，以建立所述目标空间。
可选的，在本申请一些可能的实现方式中，所述在所述目标空间中插入细节特征，以生成目标道路场景，包括：
根据所述基干信息和所述范围信息确定目标道路对应的宽度信息；
根据所述宽度信息和所述基干信息在所述目标空间中建立目标网格；
调用细节特征映射入所述目标网格中，以生成所述目标道路场景。
可选的，在本申请一些可能的实现方式中，所述方法还包括：
获取所述目标道路的行驶记录信息；
基于所述行驶记录信息生成行驶纹理特征；
根据所述行驶纹理特征对所述目标道路场景进行更新。
本申请第二方面提供一种道路场景的生成装置，包括：采集单元，用于采集目标道路对应的目标点云数据；
提取单元，用于提取所述目标点云数据中的关键特征，所述关键特征与特征标识相对应；
聚类单元，用于根据所述特征标识对所述关键特征进行聚类，以得到目标实例和至少一个边界实例，所述目标实例用于指示所述目标道路对应的基干信息，所述边界实例用于指示所述目标道路对应的范围信息；
生成单元，用于基于所述基干信息和所述范围信息建立目标空间；
所述生成单元，还用于在所述目标空间中插入细节特征，以生成目标道路场景。
可选的，在本申请一些可能的实现方式中，所述采集单元，具体用于采集所述目标道路在预设时间段内每个时刻对应的分段点云数据；
所述采集单元，具体用于根据变换矩阵将所述分段点云数据转换到目标时刻的坐标系中，以得到转换点云数据；
所述采集单元，具体用于基于所述转换点云数据进行叠加，以得到所述目标点云数据。
可选的，在本申请一些可能的实现方式中，所述提取单元，具体用于基于所述目标点云数据调用目标神经网络，所述目标神经网络基于包含训练特征的训练数据训练所得，所述训练特征包含所述特征标识，所述训练数据与所述目标点云数据相关；
所述提取单元，具体用于将所述目标点云数据输入目标神经网络，以提取所述关键特征。
可选的，在本申请一些可能的实现方式中，所述聚类单元，具体用于基于所述特征标识对所述关键特征进行分割，以得到目标特征集合和至少一个边界特征集合；
所述聚类单元，具体用于将所述目标特征集合中包含的特征进行连接，以得到所述目标实例；
所述聚类单元，具体用于将所述边界特征集合中包含的特征进行连接，以得到至少一个所述边界实例。
可选的，在本申请一些可能的实现方式中，所述聚类单元，具体用于将所述目标特征集合中包含的特征进行连接，以得到路线实例；
所述聚类单元，具体用于对所述路线实例进行曲线拟合，以得到所述目标实例。
可选的，在本申请一些可能的实现方式中，所述聚类单元，具体用于从所述路线实例中抽取离散点组；
所述聚类单元，具体用于对所述离散点组中的离散点进行配对，以确定对应的方向向量；
所述聚类单元，具体用于基于所述方向向量确定控制点，以确定拟合参数；
所述聚类单元，具体用于根据所述拟合参数进行曲线拟合，以得到所述目标实例。
可选的，在本申请一些可能的实现方式中，所述聚类单元，具体用于确定所述路线实例中相邻点位的波动信息；
所述聚类单元，具体用于基于简化算法对所述波动信息进行筛选，以对所述相邻点位进行更新；
所述聚类单元，具体用于基于更新后的所述相邻点位调整所述路线实例。
可选的，在本申请一些可能的实现方式中，所述聚类单元，具体用于获取所述路线实例对应的起止点信息；
所述聚类单元，具体用于基于所述起止点信息确定目标连线；
所述聚类单元，具体用于根据所述目标连线与路线切线的相交情况对所述路线实例进行更新，所述路线切线基于所述路线实例确定。
可选的，在本申请一些可能的实现方式中，所述生成单元，具体用于基于所述基干信息确定候选范围；
所述生成单元，具体用于根据所述范围信息对所述候选范围进行更新，以建立所述目标空间。
可选的，在本申请一些可能的实现方式中，所述生成单元，具体用于确定所述范围信息中指示的局部变化区域；
所述生成单元，具体用于基于光线投射确定所述局部变化区域与所述候选范围的距离信息；
所述生成单元，具体用于根据所述距离信息对所述候选范围进行更新，以建立所述目标空间。
可选的，在本申请一些可能的实现方式中，所述生成单元，具体用于根据所述基干信息和所述范围信息确定目标道路对应的宽度信息；
所述生成单元，具体用于根据所述宽度信息和所述基干信息在所述目标空间中建立目标网格；
所述生成单元，具体用于调用细节特征映射入所述目标网格中，以生成所述目标道路场景。
可选的，在本申请一些可能的实现方式中，所述生成单元，具体用于获取所述目标道路的行驶记录信息；
所述生成单元，具体用于基于所述行驶记录信息生成行驶纹理特征；
所述生成单元，具体用于根据所述行驶纹理特征对所述目标道路场景进行更新。
本申请第三方面提供一种计算机设备，包括：存储器、处理器以及总线系统；所述存储器用于存储程序代码；所述处理器用于根据所述程序代码中的指令执行上述第一方面或第一方面任一项所述的道路场景的生成方法。
本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面或第一方面任一项所述的道路场景的生成方法。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述第一方面或者第一方面的各种可选实现方式中提供的道路场景的生成方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
通过采集目标道路对应的目标点云数据；然后提取目标点云数据中的关键特征，关键特征与特征标识相对应；并根据特征标识对关键特征进行聚类，以得到目标实例和至少一个边界实例，目标实例用于指示目标道路对应的基干信息，边界实例用于指示目标道路对应的范围信息；进一步的基于基干信息和范围信息建立目标空间；进而在目标空间中插入细节特征，以生成目标道路场景。从而实现道路场景的自动生成过程，由于采用目标道路对应关键特征进行基干信息的描述，并结合范围信息对道路的生成进行调整，且可以自动进行道路场景中细节的插入，从而提高了道路场景生成的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为道路场景的生成系统运行的网络架构图；
图2为本申请实施例提供的一种道路场景的生成的流程架构图；
图3为本申请实施例提供的一种道路场景的生成方法的流程图；
图4为本申请实施例提供的一种道路场景的生成方法的场景示意图；
图5为本申请实施例提供的另一种道路场景的生成方法的场景示意图；
图6为本申请实施例提供的另一种道路场景的生成方法的场景示意图；
图7为本申请实施例提供的另一种道路场景的生成方法的场景示意图；
图8为本申请实施例提供的另一种道路场景的生成方法的场景示意图；
图9为本申请实施例提供的另一种道路场景的生成方法的场景示意图；
图10为本申请实施例提供的另一种道路场景的生成方法的场景示意图；
图11为本申请实施例提供的另一种道路场景的生成方法的流程图；
图12为本申请实施例提供的另一种道路场景的生成方法的场景示意图；
图13为本申请实施例提供的一种道路场景的生成装置的结构示意图；
图14为本申请实施例提供的一种终端设备的结构示意图；
图15为本申请实施例提供的一种服务器的结构示意图。
具体实施方式
本申请实施例提供了一种道路场景的生成方法以及相关装置，可以应用于终端设备中包含道路场景的生成功能的系统或程序中，通过采集目标道路对应的目标点云数据；然后提取目标点云数据中的关键特征，关键特征与特征标识相对应；并根据特征标识对关键特征进行聚类，以得到目标实例和至少一个边界实例，目标实例用于指示目标道路对应的基干信息，边界实例用于指示目标道路对应的范围信息；进一步的基于基干信息和范围信息建立目标空间；进而在目标空间中插入细节特征，以生成目标道路场景。从而实现道路场景的自动生成过程，由于采用目标道路对应关键特征进行基干信息的描述，并结合范围信息对道路的生成进行调整，且可以自动进行道路场景中细节的插入，从而提高了道路场景生成的准确性。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应于”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，对本申请实施例中可能出现的一些名词进行解释。
点云：在获取物体表面每个采样点的空间坐标后，得到的特征集合。
道路场景：用于自动驾驶模拟的三维场景。
语义分割模型：一种结合了图像分类、目标检测和图像分割的神经网络模型，通过将图像分割成具有一定语义含义的区域块，并识别出每个区域块的语义类别，实现从底层到高层的语义推理过程，最终得到一幅具有逐像素语义标注的分割图像。
道格拉斯-普克算法(Douglas–Peucker algorithm算法)：将曲线近似表示为一系列点，并减少点的数量的一种算法。
应理解，本申请提供的道路场景的生成方法可以应用于终端设备中包含道路场景的生成功能的系统或程序中，例如互动剧，具体的，道路场景的生成系统可以运行于如图1所示的网络架构中，如图1所示，是道路场景的生成系统运行的网络架构图，如图可知，道路场景的生成系统可以提供与多个信息源的道路场景的生成过程，即通过不同的信息源进行点云数据的采集，从而发送至服务器进行特征的提取并生成特征实例，从而可以生成对应的道路场景并下发至对应的信息源，以便于信息源基于道路场景进行自动驾驶的模拟；可以理解的是，图1中示出了多种终端设备，在实际场景中可以有更多或更少种类的终端设备参与到道路场景的生成的过程中，具体数量和种类因实际场景而定，此处不做限定，另外，图1中示出了一个服务器，但在实际场景中，也可以有多个服务器的参与，特别是在多个采集设备的场景中，具体服务器数量因实际场景而定。
本实施例中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
可以理解的是，上述道路场景的生成系统可以运行于个人移动终端，例如：作为互动剧这样的应用，也可以运行于服务器，还可以作为运行于第三方设备以提供道路场景的生成，以得到信息源的道路场景的生成处理结果；具体的道路场景的生成系统可以是以一种程序的形式在上述设备中运行，也可以作为上述设备中的系统部件进行运行，还可以作为云端服务程序的一种，具体运作模式因实际场景而定，此处不做限定。
自动驾驶技术通常包括高精地图、环境感知、行为决策、路径规划、运动控制等技术，且自动驾驶技术有着广泛的应用前景。而在对自动驾驶进行测试的过程中，自动驾驶仿真结果的可信性与仿真环境是否与现实环境相近有着紧密的联系。
自动驾驶仿真过程中道路模型的生成过程涉及计算机视觉技术(ComputerVision,CV)，而计算机视觉计算是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
自动驾驶仿真过程还会涉及机器学习。机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
自动驾驶仿真的过程涉及道路场景的模拟，例如对于高速公路路面重建主要是通过全站仪野外测量数据、道路设计数据或影像提取的特征数据这些稀疏数据，进行宏观层面的高速道路粗略重建，以得到高速道路的大致位置和走向，然后基于位置和走向进行人工建模，从而得到道路场景。
但是，上述高速公路重建技术使用的稀疏数据无法提供与现实环境一致的信息，且人工建模的过程耗时耗力容易引入误差，使得自动驾驶仿真的道路场景与真实环境的道路场景不一致，影响道路场景的准确性。
为了解决上述问题，本申请提出了一种道路场景的生成方法，该方法应用于图2所示的道路场景的生成的流程框架中，如图2所示，为本申请实施例提供的一种道路场景的生成的流程架构图，首先在界面层发送控制指令，是载有激光雷达的采集车在目标高速公路中进行路面环境数据采集，从而发送至界面层建立真实路面环境与数字路面环境的对应关系，再提取高速公路路面重建的关键元素，之后通过数字几何计算的方法从提取出的路面关键元素中重建出高速公路的主干道、岔路口和局部变宽路面，并自动生成路面的三维网格模型及纹理坐标，从而生成用于自动驾驶仿真的道路场景。
可以理解的是，本申请所提供的方法可以为一种程序的写入，以作为硬件系统中的一种处理逻辑，也可以作为一种道路场景的生成装置，采用集成或外接的方式实现上述处理逻辑。作为一种实现方式，该道路场景的生成装置通过采集目标道路对应的目标点云数据；然后提取目标点云数据中的关键特征，关键特征与特征标识相对应；并根据特征标识对关键特征进行聚类，以得到目标实例和至少一个边界实例，目标实例用于指示目标道路对应的基干信息，边界实例用于指示目标道路对应的范围信息；进一步的基于基干信息和范围信息建立目标空间；进而在目标空间中插入细节特征，以生成目标道路场景。从而实现道路场景的自动生成过程，由于采用目标道路对应关键特征进行基干信息的描述，并结合范围信息对道路的生成进行调整，且可以自动进行道路场景中细节的插入，从而提高了道路场景生成的准确性。
本申请实施例提供的方案涉及人工智能的自动驾驶技术和计算机视觉技术，具体通过如下实施例进行说明:
结合上述流程架构，下面将对本申请中道路场景的生成方法进行介绍，请参阅图3，图3为本申请实施例提供的一种道路场景的生成方法的流程图，该管理方法可以是由终端设备执行的，也可以是由服务器执行的，还可以由终端设备与服务器共同执行的，下面以终端设备执行为例进行说明。本申请实施例至少包括以下步骤：
301、采集目标道路对应的目标点云数据。
本实施例中，目标道路可以是高速公路也可以是具体标识特征的道路，具体的采集过程可以是针对于指定目标道路的一部分路段或整个道路；而目标点云数据的获取可以是通过多个采集设备协同执行的，例如通过安装有激光雷达(Lidar)、惯性测量单元(IMU)和全球导航卫星系统(GNSS)的数据采集车在目标道路进行数据采集。
具体的，对于目标点云数据的生成过程可以是多个采集时间点进行数据叠加过程，即首先采集目标道路在预设时间段内每个时刻对应的分段点云数据；然后根据变换矩阵将分段点云数据转换到目标时刻的坐标系中，以得到转换点云数据；进而基于转换点云数据进行叠加，以得到目标点云数据，从而保证目标点云数据的准确性。
在一种可能的场景中，变换矩阵的确定可以是通过采集到的设备计算所得，例如假设车辆在时刻t所处的位置为ot＝(x,y,z)，激光雷达获取的点云为Pt。数据采集车通过IMU和GNSS能够得到车辆从任意数据采集时刻ta到tb的变换矩阵
Figure BDA0002723738620000121
满足
Figure BDA0002723738620000122
通过预标定的激光雷达传感器中心到采集车中心的变换矩阵辅助，采集车在一系列采集时刻T＝(t1,t2,…,tN)所采集得到的转换点云数据(P1,P2,…,PN)通过上述变换矩阵转换到起始时刻t1的坐标系下(P′1,P′2,…,P′N)，从而获得采集目标高速公路环境的目标点云信息P＝P′1+P′2+…+P′N，从而保证了目标点云信息的完整性。
302、提取目标点云数据中的关键特征。
本实施例中，关键特征与特征标识相对应，其中，关键特征即用于指示道路走向、边界的特征，例如在高速公路中，一般在路中线设置有挡光板，故挡光板即可以指示高速公路的走向，即挡光板即为目标点云数据中的关键特征；另外，对于指示边界的关键特征，包括路沿石、隔离带等。
在一种具体的场景中，关键特征的确定可以是基于高速公路路面的设计标准来确定，例如根据《公路工程技术标准[附条文说明]JTGB01-2014》，一般公路项目设计和服务的交通量为双向、等值的，一般公路除局部设置的辅助车道、加减速车道、紧急停车带、避险车道、爬坡车道等特殊区域外，其余区域都是沿路基横截面对称设计的。具体的，如图4所示，图4为本申请实施例提供的一种道路场景的生成方法的场景示意图。图中示出了高速公路上各种车道的设计标准，其中，中间带位于道路中央，即可以作为指示道路走向的关键特征；而硬路肩、土路肩则可以指示高速公路的道路边界，即可以作为指示道路边界的关键特征；另外，也可用采用车道中的边界线进行各个车道的识别，从而组合得到最终的道路。
可选的，对于关键特征的提取过程可以是基于深度神经网络进行的，即首先基于目标点云数据调用目标神经网络，其中，该目标神经网络基于包含训练特征的训练数据训练所得，且该训练特征包含该特征标识，训练数据与目标点云数据相关，例如训练数据可以是与目标点云数据具有相似关键特征的图像集合；从而可以将目标点云数据输入目标神经网络，以提取关键特征。通过对于目标神经网络进行针对性的训练，保证了关键特征提取的准确性。
在一种可能的场景中，设定关键特征为路沿石(边界)、隔离带(边界)、挡光板(中心线)，并基于这些关键特征的图像信息对训练数据进行标注，然后使用标注后的训练数据训练目标神经网络中的语义分割模型，使目标神经网络拥有提取关键路面特征信息的能力。从而保证了从目标点云数据中提取关键特征的准确性。
可以理解的是，上述实施例中以路沿石、隔离带、挡光板三个对象辅助重建，为一种示例说明，与这些道路元素具有相似功能的元素也可以作为关键特征，例如隔离网(中心线)、路杆(边界)、路牌(边界)，另外，对于关键特征种类的数量，则需要包含指示道路走向维度的关键特征和指示道路边界的关键特征，即至少有两类或更多，具体的特征形式以及种类数量因实际场景而定，此处限定。
303、根据特征标识对关键特征进行聚类，以得到目标实例和至少一个边界实例。
本实施例中，目标实例用于指示目标道路对应的基干信息，边界实例用于指示目标道路对应的范围信息；其中，基干信息即目标道路的走向脉络，对应的目标实例可以是中心线，而范围信息即目标道路的边界范围，对应的边界实例可以是路沿石，具体的示例类型因实际场景而定。
可以理解的是，由于相似的特征标识具有相似的特征，故根据特征标识对关键特征进行聚类后可以得到相同种类的道路元素，例如路沿石全部标记为一类。具体的，聚类过程即在欧氏空间对语义分割得到的路面特征信息进行聚类，进一步得到关键特征的实例分割结果，从而得到目标实例和至少一个边界实例。其中，当边界实例为一个时，即道路为单车道，目标实例为道路的边界线，边界实例也为道路的边界线；而当边界实例为两个时，如图5所示，图5为本申请实施例提供的另一种道路场景的生成方法的场景示意图。图中示出了目标实例A1，即为中心线，以及边界实例A2和边界实例A3，即为路沿石，从而可以描述出目标道路的走向及范围；进一步的，对于边界实例为更多个时，则可以是对于道路的进一步车道的识别过程，例如识别潮汐车辆的边线作为边界实例等。
具体的，对于实例的生成过程，可以是对于多个特征的进行连接的过程，即首先基于特征标识对关键特征进行分割，以得到目标特征集合和至少一个边界特征集合；然后将目标特征集合中包含的特征进行连接，以得到目标实例；进而将边界特征集合中包含的特征进行连接，以得到至少一个边界实例。从而保证了实例的准确性。
可选的，在对于目标实例的生成过程中，由于其涉及道路的方向，道路可能为曲线，故需要对其进行平滑处理。具体的，首先将目标特征集合中包含的特征进行连接，以得到路线实例，例如一种多段线；进而对路线实例进行曲线拟合，以得到目标实例，从而提高目标实例的准确性。而对于具体的曲线拟合过程，可以采用三次B样条曲线拟合算法，即首先从路线实例中抽取离散点组；然后对离散点组中的离散点进行配对，以确定对应的方向向量；进而基于方向向量确定控制点，以确定拟合参数；从而根据拟合参数进行曲线拟合，以得到目标实例。
其中，对于三次B样条曲线进行拟合的过程，曲线的参数方程定义为：
Figure BDA0002723738620000151
其中，x、y、z为拟合维度；a、b、c分别为拟合点的坐标；且0≤t≤1。
然后，从数据中任意提取四个相邻的离散点组成离散点组，pi＝(xi,yi,zi),(i＝1,…,4)，从而可以确定一个三次B样条曲线。对应的拟合参数为：
Figure BDA0002723738620000152
Figure BDA0002723738620000153
进一步的，通过窗口滑动的方法不断抽取四个相邻的离散点(pi-2,pi-1,pi,pi+1)，并对离散点进行配对后计算两个方向向量
Figure BDA0002723738620000154
和
Figure BDA0002723738620000155
然后计算两个新的控制点
Figure BDA0002723738620000156
和
Figure BDA0002723738620000157
并使用新计算的四个点(pi-1,p′i-1,p′i,pi)拟合B样条参数。最后通过重复离散点的首尾点以保证曲线拟合能够覆盖所有的离散点，保证了曲线拟合的准确性。
可选的，考虑到在拟合曲线的过程中会出现因深度神经网络实例分割的精度问题导致拟合的曲线与真实高速公路路面不符的情况出现。在一种可能的场景中，可能出现假阳(False positive)情况时将离群点加入到曲线拟合中，导致曲线拟合的输入数据中出现离群点最终导致曲线走向出错，对于该场景，可以首先确定路线实例中相邻点位的波动信息；然后基于简化算法对波动信息进行筛选，以对相邻点位进行更新；进而基于更新后的相邻点位调整路线实例。即使用简化算法(例如Douglas-Peucker算法)对数据进行简化，降低因假阳造成的离群点的数量。
在另一种可能的场景中，出现假阴(False negative)情况时会将应加入曲线拟合的数据舍弃，可能导致曲线断裂的情况。对于该场景可以获取路线实例对应的起止点信息；然后基于起止点信息确定目标连线；进而根据目标连线与路线切线的相交情况对路线实例进行更新，路线切线基于路线实例确定。即计算相近曲线的起点、终点连线和切线的关系，连接满足几何约束条件的相邻曲线。其中，对于目标连线的生成既可以使用简单的直线连接，也可以使用曲线外插方法进行连接。通过上述方法计算的中心线曲线能够准确描述出道路的主干道的形状和走向。
304、基于基干信息和范围信息建立目标空间。
本实施例中，建立目标空间的过程即对于目标道路进行初步重建的过程，例如可以首先基于基干信息确定候选范围，例如通过高速公路设计方案的规定计算中心线的偏移曲线，得到与中心线曲线平行的左曲线和右曲线；然后根据范围信息对候选范围进行更新，以建立目标空间。即根据范围信息得到的路沿石和隔离带，分别计算其相对于左曲线靠左和右曲线靠右的部分，进而得到目标空间。
由于目标道路存在岔路口和局部变宽的情况。故可以首先确定范围信息中指示的局部变化区域；然后基于光线投射确定局部变化区域与候选范围的距离信息；进而根据距离信息对候选范围进行更新，以建立目标空间。其中，局部变化区域可以是指示岔路口，如图6所示，图6为本申请实施例提供的另一种道路场景的生成方法的场景示意图。图中示出了岔路口出的距离变化S1，故可以根据距离变化S1对候选范围进行更新，从而建立目标空间；而对于局部变化区域指示局部变宽的情况，如图7所示，图7为本申请实施例提供的另一种道路场景的生成方法的场景示意图。图中示出了在道路局部变宽时的距离变化S2，从而根据距离变化S2对候选范围进行更新，从而建立目标空间。
具体的，对于距离变化的获取可以是在几何空间中通过光线投射和相交判断所得。即识别成岔路口和道路变宽的区域可以通过识别过程中计算的距离值精确重建出该部分区域的几何结构。基于上述计算过程，本申请能够从采集的点云中准确识别并重建出主干道、岔路口和道路变宽区域。
305、在目标空间中插入细节特征，以生成目标道路场景。
本实施例中，在确定目标空间后，即生成的道路的基础框架，进一步的进行细节填充即可生成目标道路场景。
具体的，细节特征得插入可以是基于目标网格进行的，即首先根据基干信息和范围信息确定目标道路对应的宽度信息；然后根据宽度信息和基干信息在目标空间中建立目标网格；进而调用细节特征映射入目标网格中，以生成目标道路场景。其中，宽度信息即为统计边界线到中心线的距离得到的道路宽度；然后通过对中心线进行偏移计算得到各道路部分对应的曲线。进而通过沿着中心线计算垂线与各部分曲线的相交，得到基础路面的四边形网格。
进一步的，可以通过中心线拓展出绿化带的具体模型，如图8所示，图8为本申请实施例提供的另一种道路场景的生成方法的场景示意图。图中示出了中心线B1以及绿化带B2，即在确定中心线B1后基于道路的边界进行绿化带B2的填充。还可以通过对边界车道线进行偏移可以得到边坡、排水沟等扩展部分的网格等。然后根据路面、车道线及其它部分分别制作对应的材质球后，即可进行调用，并对应网格进行纹理和材质映射。
可选的，为了增加路面重建的逼真度，可以向路面的材质球增加皲裂效果，还可以沿着车道线绘制车痕、随机脏斑等，如图9所示，图9为本申请实施例提供的另一种道路场景的生成方法的场景示意图。图中示出了在道路上添加的车痕C1，从而提高了道路的真实性。
进一步的，还可以根据道路的行驶情况进行对应的车痕绘制，如图10所示，图10为本申请实施例提供的另一种道路场景的生成方法的场景示意图。图中示出了正常道路内的车痕D1以及应急车道内的车痕D2，由于应急车道车辆行驶较少，故可以将车痕D2的颜色淡于车痕D1，从而提高了道路模拟的真实性。具体的，对于上述车痕的生成过程，可以首先获取目标道路的行驶记录信息；然后基于行驶记录信息生成行驶纹理特征；进而根据行驶纹理特征对目标道路场景进行更新。
故可以沿着车道线加入了皲裂、车痕以及随机脏斑等效果，且这些效果的位置和方向可以与真实高速公路路面有所类似，从而提高了道路的真实性。
结合上述实施例可知，通过采集目标道路对应的目标点云数据；然后提取目标点云数据中的关键特征，关键特征与特征标识相对应；并根据特征标识对关键特征进行聚类，以得到目标实例和至少一个边界实例，目标实例用于指示目标道路对应的基干信息，边界实例用于指示目标道路对应的范围信息；进一步的基于基干信息和范围信息建立目标空间；进而在目标空间中插入细节特征，以生成目标道路场景。从而实现道路场景的自动生成过程，由于采用目标道路对应关键特征进行基干信息的描述，并结合范围信息对道路的生成进行调整，且可以自动进行道路场景中细节的插入，从而提高了道路场景生成的准确性。
下面集合一种具体场景进行说明。请参阅图11，图11为本申请实施例提供的另一种道路场景的生成方法的流程图，本申请实施例至少包括以下步骤：
1101、控制采集车在目标高速公路上行驶并采集激光雷达点云数据。
本实施例中，控制采集车可以是通过终端设备进行的，也可以通过服务器进行远程控制，而目标高速公路的确定可以是基于道路的设定，也可以是基于时间的设定，例如进行5小时的道路测量对应的路段。
1102、根据惯性测量单元、全球导航卫星系统和标定信息将点云数据合并。
本实施例中，点云数据合并的过程与图3所示实施例的步骤301相似，此处不做赘述。
1103、基于点云深度神经网络进行路沿石、隔离带、挡光板的识别。
本实施例中，挡光板即为指示道路走向的关键特征；路沿石、隔离带即为指示道路边界的关键特征，具体的，关键特征还可以是隔离网、路杆、路牌等。
1104、进行主车道、岔路口和车道宽边区域的识别和重建。
本实施例中，主车道基于目标实例与边界实例识别所得，而岔路口和车道宽边区域则通过边界实例中包含的局部特征进行识别，并进行距离的调整所得。
1105、进行网格构造、纹理坐标生成和纹理贴图，以生成目标道路场景。
本实施例中，网格构造、纹理坐标生成的过即目标网格的生成并进行标记的过程，而纹理贴图即为细节特征，从而可以得到精确且符合实际场景的目标道路场景。
具体的，该目标道路场景可以用于自动驾驶的仿真模拟，即模拟自动驾驶算法在该目标道路场景的行驶情况。
另外，目标道路场景还可以作用于自动驾驶对象中，如图12所示，图12为本申请实施例提供的另一种道路场景的生成方法的场景示意图。图中示出了自动驾驶对象上的交互界面，用户可以通过交互界面查看自动驾驶的周边情况，相较于实时的相机拍摄，模拟的道路场景可以知晓更加远距离，即全景考虑的道路特征，提高了用户体验。
本发明中提出基于点云的高速公路重建及场景生成方法能够大幅降低自动驾驶模拟仿真中对真实场景进行重建和绘制带来的美术成本，同时该发明完全基于采集的原始数据，降低了人工建模导致的数据误差问题，使重建的高速公路场景更为贴近真实，自动驾驶车辆在环境中仿真得到的结果更为可信。
为了更好的实施本申请实施例的上述方案，下面还提供用于实施上述方案的相关装置。请参阅图13，图13为本申请实施例提供的一种道路场景的生成装置的结构示意图，生成装置1300包括：
采集单元1301，用于采集目标道路对应的目标点云数据；
提取单元1302，用于提取所述目标点云数据中的关键特征，所述关键特征与特征标识相对应；
聚类单元1303，用于根据所述特征标识对所述关键特征进行聚类，以得到目标实例和至少一个边界实例，所述目标实例用于指示所述目标道路对应的基干信息，所述边界实例用于指示所述目标道路对应的范围信息；
生成单元1304，用于基于所述基干信息和所述范围信息建立目标空间；
所述生成单元1304，还用于在所述目标空间中插入细节特征，以生成目标道路场景。
可选的，在本申请一些可能的实现方式中，所述采集单元1301，具体用于采集所述目标道路在预设时间段内每个时刻对应的分段点云数据；
所述采集单元1301，具体用于根据变换矩阵将所述分段点云数据转换到目标时刻的坐标系中，以得到转换点云数据；
所述采集单元1301，具体用于基于所述转换点云数据进行叠加，以得到所述目标点云数据。
可选的，在本申请一些可能的实现方式中，所述提取单元1302，具体用于基于所述目标点云数据调用目标神经网络，所述目标神经网络基于包含训练特征的训练数据训练所得，所述训练特征包含所述特征标识，所述训练数据与所述目标点云数据相关；
所述提取单元1302，具体用于将所述目标点云数据输入目标神经网络，以提取所述关键特征。
可选的，在本申请一些可能的实现方式中，所述聚类单元1303，具体用于基于所述特征标识对所述关键特征进行分割，以得到目标特征集合和至少一个边界特征集合；
所述聚类单元1303，具体用于将所述目标特征集合中包含的特征进行连接，以得到所述目标实例；
所述聚类单元1303，具体用于将所述边界特征集合中包含的特征进行连接，以得到至少一个所述边界实例。
可选的，在本申请一些可能的实现方式中，所述聚类单元1303，具体用于将所述目标特征集合中包含的特征进行连接，以得到路线实例；
所述聚类单元1303，具体用于对所述路线实例进行曲线拟合，以得到所述目标实例。
可选的，在本申请一些可能的实现方式中，所述聚类单元1303，具体用于从所述路线实例中抽取离散点组；
所述聚类单元1303，具体用于对所述离散点组中的离散点进行配对，以确定对应的方向向量；
所述聚类单元1303，具体用于基于所述方向向量确定控制点，以确定拟合参数；
所述聚类单元1303，具体用于根据所述拟合参数进行曲线拟合，以得到所述目标实例。
可选的，在本申请一些可能的实现方式中，所述聚类单元1303，具体用于确定所述路线实例中相邻点位的波动信息；
所述聚类单元1303，具体用于基于简化算法对所述波动信息进行筛选，以对所述相邻点位进行更新；
所述聚类单元1303，具体用于基于更新后的所述相邻点位调整所述路线实例。
可选的，在本申请一些可能的实现方式中，所述聚类单元1303，具体用于获取所述路线实例对应的起止点信息；
所述聚类单元1303，具体用于基于所述起止点信息确定目标连线；
所述聚类单元1303，具体用于根据所述目标连线与路线切线的相交情况对所述路线实例进行更新，所述路线切线基于所述路线实例确定。
可选的，在本申请一些可能的实现方式中，所述生成单元1304，具体用于基于所述基干信息确定候选范围；
所述生成单元1304，具体用于根据所述范围信息对所述候选范围进行更新，以建立所述目标空间。
可选的，在本申请一些可能的实现方式中，所述生成单元1304，具体用于确定所述范围信息中指示的局部变化区域；
所述生成单元1304，具体用于基于光线投射确定所述局部变化区域与所述候选范围的距离信息；
所述生成单元1304，具体用于根据所述距离信息对所述候选范围进行更新，以建立所述目标空间。
可选的，在本申请一些可能的实现方式中，所述生成单元1304，具体用于根据所述基干信息和所述范围信息确定目标道路对应的宽度信息；
所述生成单元1304，具体用于根据所述宽度信息和所述基干信息在所述目标空间中建立目标网格；
所述生成单元1304，具体用于调用细节特征映射入所述目标网格中，以生成所述目标道路场景。
可选的，在本申请一些可能的实现方式中，所述生成单元1304，具体用于获取所述目标道路的行驶记录信息；
所述生成单元1304，具体用于基于所述行驶记录信息生成行驶纹理特征；
所述生成单元1304，具体用于根据所述行驶纹理特征对所述目标道路场景进行更新。
通过采集目标道路对应的目标点云数据；然后提取目标点云数据中的关键特征，关键特征与特征标识相对应；并根据特征标识对关键特征进行聚类，以得到目标实例和至少一个边界实例，目标实例用于指示目标道路对应的基干信息，边界实例用于指示目标道路对应的范围信息；进一步的基于基干信息和范围信息建立目标空间；进而在目标空间中插入细节特征，以生成目标道路场景。从而实现道路场景的自动生成过程，由于采用目标道路对应关键特征进行基干信息的描述，并结合范围信息对道路的生成进行调整，且可以自动进行道路场景中细节的插入，从而提高了道路场景生成的准确性。
本申请实施例还提供了一种终端设备，如图14所示，是本申请实施例提供的另一种终端设备的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理(personal digital assistant，PDA)、销售终端(point of sales，POS)、车载电脑等任意终端设备，以终端为手机为例：
图14示出的是与本申请实施例提供的终端相关的手机的部分结构的框图。参考图14，手机包括：射频(radio frequency，RF)电路1410、存储器1420、输入单元1430、显示单元1440、传感器1450、音频电路1460、无线保真(wireless fidelity，WiFi)模块1470、处理器1480、以及电源1490等部件。本领域技术人员可以理解，图14中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图14对手机的各个构成部件进行具体的介绍：
RF电路1410可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1480处理；另外，将设计上行的数据发送给基站。通常，RF电路1410包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noiseamplifier，LNA)、双工器等。此外，RF电路1410还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(globalsystem of mobile communication，GSM)、通用分组无线服务(general packet radioservice，GPRS)、码分多址(code division multiple access，CDMA)、宽带码分多址(wideband code division multiple access,WCDMA)、长期演进(long term evolution，LTE)、电子邮件、短消息服务(short messaging service，SMS)等。
存储器1420可用于存储软件程序以及模块，处理器1480通过运行存储在存储器1420的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1430可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1430可包括触控面板1431以及其他输入设备1432。触控面板1431，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1431上或在触控面板1431附近的操作，以及在触控面板1431上一定范围内的隔空触控操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1431可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1480，并能接收处理器1480发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1431。除了触控面板1431，输入单元1430还可以包括其他输入设备1432。具体地，其他输入设备1432可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1440可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1440可包括显示面板1441，可选的，可以采用液晶显示器(liquidcrystal display，LCD)、有机发光二极管(organic light-emitting diode，OLED)等形式来配置显示面板1441。进一步的，触控面板1431可覆盖显示面板1441，当触控面板1431检测到在其上或附近的触摸操作后，传送给处理器1480以确定触摸事件的类型，随后处理器1480根据触摸事件的类型在显示面板1441上提供相应的视觉输出。虽然在图14中，触控面板1431与显示面板1441是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1431与显示面板1441集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1450，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1441的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1441和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路1460、扬声器1461，传声器1462可提供用户与手机之间的音频接口。音频电路1460可将接收到的音频数据转换后的电信号，传输到扬声器1461，由扬声器1461转换为声音信号输出；另一方面，传声器1462将收集的声音信号转换为电信号，由音频电路1460接收后转换为音频数据，再将音频数据输出处理器1480处理后，经RF电路1410以发送给比如另一手机，或者将音频数据输出至存储器1420以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块1470可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图14示出了WiFi模块1470，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1480是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1420内的软件程序和/或模块，以及调用存储在存储器1420内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1480可包括一个或多个处理单元；可选的，处理器1480可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1480中。
手机还包括给各个部件供电的电源1490(比如电池)，可选的，电源可以通过电源管理系统与处理器1480逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本申请实施例中，该终端所包括的处理器1480还具有执行如上述页面处理方法的各个步骤的功能。
本申请实施例还提供了一种服务器，请参阅图15，图15是本申请实施例提供的一种服务器的结构示意图，该服务器1500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)1522(例如，一个或一个以上处理器)和存储器1532，一个或一个以上存储应用程序1542或数据1544的存储介质1530(例如一个或一个以上海量存储设备)。其中，存储器1532和存储介质1530可以是短暂存储或持久存储。存储在存储介质1530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1522可以设置为与存储介质1530通信，在服务器1500上执行存储介质1530中的一系列指令操作。
服务器1500还可以包括一个或一个以上电源1526，一个或一个以上有线或无线网络接口1550，一个或一个以上输入输出接口1558，和/或，一个或一个以上操作系统1541，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中由管理装置所执行的步骤可以基于该图15所示的服务器结构。
本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有道路场景的生成指令，当其在计算机上运行时，使得计算机执行如前述图2至图12所示实施例描述的方法中道路场景的生成装置所执行的步骤。
本申请实施例中还提供一种包括道路场景的生成指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如前述图2至图12所示实施例描述的方法中道路场景的生成装置所执行的步骤。
本申请实施例还提供了一种道路场景的生成系统，所述道路场景的生成系统可以包含图13所描述实施例中的生成装置，或图14所描述实施例中的终端设备，或者图15所描述的服务器。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，道路场景的生成装置，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (13)

1.一种道路场景的生成方法，其特征在于，包括：
采集目标道路对应的目标点云数据；
提取所述目标点云数据中的关键特征，所述关键特征与特征标识相对应；所述关键特征包括指示道路走向的特征和指示道路边界的特征；
根据所述特征标识对所述关键特征进行聚类，以得到目标实例和至少一个边界实例，所述目标实例用于指示所述目标道路对应的基干信息，所述基干信息指示所述目标道路的走向脉络，所述边界实例用于指示所述目标道路对应的范围信息，所述范围信息指示所述目标道路的边界范围；
基于所述基干信息确定候选范围；
确定所述范围信息中指示的局部变化区域；
基于光线投射确定所述局部变化区域与所述候选范围的距离信息；
根据所述距离信息对所述候选范围进行更新，以建立目标空间；
在所述目标空间中插入细节特征，以生成目标道路场景。
2.根据权利要求1所述的方法，其特征在于，所述采集目标道路对应的点云数据，包括：
采集所述目标道路在预设时间段内每个时刻对应的分段点云数据；
根据变换矩阵将所述分段点云数据转换到目标时刻的坐标系中，以得到转换点云数据；
基于所述转换点云数据进行叠加，以得到所述目标点云数据。
3.根据权利要求1所述的方法，其特征在于，所述提取所述目标点云数据中的关键特征，包括：
基于所述目标点云数据调用目标神经网络，所述目标神经网络基于包含训练特征的训练数据训练所得，所述训练特征包含所述特征标识，所述训练数据与所述目标点云数据相关；
将所述目标点云数据输入目标神经网络，以提取所述关键特征。
4.根据权利要求1所述的方法，其特征在于，所述根据所述特征标识对所述关键特征进行聚类，以得到目标实例和至少一个边界实例，包括：
基于所述特征标识对所述关键特征进行分割，以得到目标特征集合和至少一个边界特征集合；
将所述目标特征集合中包含的特征进行连接，以得到所述目标实例；
将所述边界特征集合中包含的特征进行连接，以得到至少一个所述边界实例。
5.根据权利要求4所述的方法，其特征在于，所述将所述目标特征集合中包含的特征进行连接，以得到所述目标实例，包括：
将所述目标特征集合中包含的特征进行连接，以得到路线实例；
对所述路线实例进行曲线拟合，以得到所述目标实例。
6.根据权利要求5所述的方法，其特征在于，所述对所述路线实例进行曲线拟合，以得到所述目标实例，包括：
从所述路线实例中抽取离散点组；
对所述离散点组中的离散点进行配对，以确定对应的方向向量；
基于所述方向向量确定控制点，以确定拟合参数；
根据所述拟合参数进行曲线拟合，以得到所述目标实例。
7.根据权利要求5所述的方法，其特征在于，所述方法还包括：
确定所述路线实例中相邻点位的波动信息；
基于简化算法对所述波动信息进行筛选，以对所述相邻点位进行更新；
基于更新后的所述相邻点位调整所述路线实例。
8.根据权利要求5所述的方法，其特征在于，所述方法还包括：
获取所述路线实例对应的起止点信息；
基于所述起止点信息确定目标连线；
根据所述目标连线与路线切线的相交情况对所述路线实例进行更新，所述路线切线基于所述路线实例确定。
9.根据权利要求1所述的方法，其特征在于，所述在所述目标空间中插入细节特征，以生成目标道路场景，包括：
根据所述基干信息和所述范围信息确定目标道路对应的宽度信息；
根据所述宽度信息和所述基干信息在所述目标空间中建立目标网格；
调用细节特征映射入所述目标网格中，以生成所述目标道路场景。
10.根据权利要求1-9任一项所述的方法，其特征在于，所述方法还包括：
获取所述目标道路的行驶记录信息；
基于所述行驶记录信息生成行驶纹理特征；
根据所述行驶纹理特征对所述目标道路场景进行更新。
11.一种道路场景的生成装置，其特征在于，包括：
采集单元，用于采集目标道路对应的目标点云数据；
提取单元，用于提取所述目标点云数据中的关键特征，所述关键特征与特征标识相对应；所述关键特征包括指示道路走向的特征和指示道路边界的特征；
聚类单元，用于根据所述特征标识对所述关键特征进行聚类，以得到目标实例和至少一个边界实例，所述目标实例用于指示所述目标道路对应的基干信息，所述基干信息指示所述目标道路的走向脉络，所述边界实例用于指示所述目标道路对应的范围信息，所述范围信息指示所述目标道路的边界范围；
生成单元，用于基于所述基干信息确定候选范围；确定所述范围信息中指示的局部变化区域；基于光线投射确定所述局部变化区域与所述候选范围的距离信息；根据所述距离信息对所述候选范围进行更新，以建立目标空间；
所述生成单元，还用于在所述目标空间中插入细节特征，以生成目标道路场景。
12.一种计算机设备，其特征在于，所述计算机设备包括处理器以及存储器：
所述存储器用于存储程序代码；所述处理器用于根据所述程序代码中的指令执行权利要求1至10任一项所述的道路场景的生成方法。
13.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述权利要求1至10任一项所述的道路场景的生成方法。
CN202011095861.4A 2020-10-14 2020-10-14 一种道路场景的生成方法以及相关装置 Active CN112435333B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011095861.4A CN112435333B (zh) 2020-10-14 2020-10-14 一种道路场景的生成方法以及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011095861.4A CN112435333B (zh) 2020-10-14 2020-10-14 一种道路场景的生成方法以及相关装置

Publications (2)

Publication Number Publication Date
CN112435333A CN112435333A (zh) 2021-03-02
CN112435333B true CN112435333B (zh) 2022-03-15

Family

ID=74690568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011095861.4A Active CN112435333B (zh) 2020-10-14 2020-10-14 一种道路场景的生成方法以及相关装置

Country Status (1)

Country Link
CN (1) CN112435333B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113362420B (zh) * 2021-06-02 2023-08-29 北京百度网讯科技有限公司 道路标注生成方法、装置、设备以及存储介质
CN115236713A (zh) * 2021-09-28 2022-10-25 上海仙途智能科技有限公司 一种设备定位系统和方法
CN113886466B (zh) * 2021-10-15 2024-09-06 沈阳航空航天大学 一种保护隐私的轨迹相似查询方法
CN115482380A (zh) * 2022-09-15 2022-12-16 电子科技大学 一种基于深度学习的多等级公路三维点云目标分割方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334523B (zh) * 2017-01-20 2022-04-12 腾讯科技（深圳）有限公司 道路场景地图的构建方法和装置
CN108334802B (zh) * 2017-01-20 2022-10-28 腾讯科技（深圳）有限公司 道路特征物的定位方法及装置
CN109635641B (zh) * 2018-11-01 2020-06-09 百度在线网络技术（北京）有限公司 道路边界线的确定方法、装置、设备和存储介质
CN110598743A (zh) * 2019-08-12 2019-12-20 北京三快在线科技有限公司 一种目标对象的标注方法和装置
CN110796707B (zh) * 2019-09-10 2022-05-06 腾讯科技（深圳）有限公司 标定参数计算方法、装置以及存储介质

Also Published As

Publication number Publication date
CN112435333A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
CN112435333B (zh) 一种道路场景的生成方法以及相关装置
EP3944147A1 (en) Target detection method, model training method, device, apparatus and storage medium
EP3951654A1 (en) Image classification model training method, and image processing method and device
CN110276344A (zh) 一种图像分割的方法、图像识别的方法以及相关装置
US20210152751A1 (en) Model training method, media information synthesis method, and related apparatuses
CN110852942B (zh) 一种模型训练的方法、媒体信息合成的方法及装置
CN112686197B (zh) 一种数据处理方法和相关装置
CN112784002B (zh) 一种虚拟场景生成方法、装置、设备和存储介质
CN112329725B (zh) 一种道路场景的要素识别方法、装置、设备以及存储介质
CN114092920B (zh) 一种模型训练的方法、图像分类的方法、装置及存储介质
CN111192341A (zh) 生成高精地图的方法、装置、自动驾驶设备及存储介质
CN112203115B (zh) 一种视频识别方法和相关装置
CN114722937B (zh) 一种异常数据检测方法、装置、电子设备和存储介质
CN113723378B (zh) 一种模型训练的方法、装置、计算机设备和存储介质
CN113762044A (zh) 道路识别方法、装置、计算机设备和存储介质
CN113822263A (zh) 图像标注方法、装置、计算机设备及存储介质
CN116518960A (zh) 路网更新方法、装置、电子设备和存储介质
CN114385662A (zh) 路网更新方法、装置、存储介质及电子设备
CN115471495B (zh) 模型鲁棒性检测方法、相关装置及存储介质
CN113887534B (zh) 一种对象检测模型的确定方法和相关装置
CN116434173A (zh) 道路图像检测方法、装置、电子设备及存储介质
CN110795994B (zh) 路口图像选择方法及装置
CN113819913A (zh) 一种路径规划方法及装置、计算机设备和存储介质
CN116152289A (zh) 一种目标对象的跟踪方法、相关装置、设备以及存储介质
CN112732446B (zh) 一种任务处理方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40040670

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant