CN116665157B - 道路图像处理方法、装置、计算机设备和存储介质 - Google Patents

道路图像处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN116665157B
CN116665157B CN202310959059.2A CN202310959059A CN116665157B CN 116665157 B CN116665157 B CN 116665157B CN 202310959059 A CN202310959059 A CN 202310959059A CN 116665157 B CN116665157 B CN 116665157B
Authority
CN
China
Prior art keywords
sample
road
type
lane
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310959059.2A
Other languages
English (en)
Other versions
CN116665157A (zh
Inventor
燕旭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202310959059.2A priority Critical patent/CN116665157B/zh
Publication of CN116665157A publication Critical patent/CN116665157A/zh
Application granted granted Critical
Publication of CN116665157B publication Critical patent/CN116665157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及一种道路图像处理方法、装置、计算机设备和存储介质。涉及到地图和人工智能领域，包括：确定道路图像中道路标志对象包括的组成元素；基于所述道路标志对象包括的组成元素确定目标组成元素；获取所述道路图像中车道的车道特征；根据所述车道的车道特征和所述目标组成元素的元素特征，预测得到所述车道与所述目标组成元素之间的关系类型；所述车道与所述目标组成元素之间的关系类型用于作为地图场景中的辅助数据。采用本方法能够提高为地图场景提供的信息量。

Description

道路图像处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及地图领域和人工智能技术领域，特别是涉及一种道路图像处理方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术和图像处理技术的发展，针对道路图像进行处理的应用越来越广泛。例如可以从道路图像中识别车道、行人或车辆等。
传统技术中，通常是从道路图像中检测与车道相关的数据，将与车道相关的数据作为地图场景中的辅助数据。
然而，与车道相关的数据能够为地图场景提供的信息量具有局限性。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高为地图场景提供的信息量的道路图像处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
一方面，本申请提供了一种道路图像处理方法。所述方法包括：确定道路图像中道路标志对象包括的组成元素；基于所述道路标志对象包括的组成元素确定目标组成元素；获取所述道路图像中车道的车道特征；根据所述车道的车道特征和所述目标组成元素的元素特征，预测得到所述车道与所述目标组成元素之间的关系类型；所述车道与所述目标组成元素之间的关系类型用于作为地图场景中的辅助数据。
另一方面，本申请还提供了一种道路图像处理装置。所述装置包括：元素特征获取模块，用于确定道路图像中道路标志对象包括的组成元素；元素确定模块，用于基于所述道路标志对象包括的组成元素确定目标组成元素；车道特征获取模块，用于获取所述道路图像中车道的车道特征；关系预测模块，用于根据所述车道的车道特征和所述目标组成元素的元素特征，预测得到所述车道与所述目标组成元素之间的关系类型；所述车道与所述目标组成元素之间的关系类型用于作为地图场景中的辅助数据。
在一些实施例中，所述装置还包括对象关系类型确定模块，所述对象关系类型确定模块，用于在所述道路图像中包括多个道路标志对象的情况下，确定各所述道路标志对象之间的对象关系类型；所述元素确定模块，还用于基于对象关系类型从所述多个道路标志对象中确定附属道路标志对象之外的道路标志对象，得到非附属道路标志对象；所述附属道路标志对象附属于至少一个道路标志对象，所述附属道路标志对象所附属于的道路标志对象与所述附属道路标志对象之间的对象关系类型为附属关系；基于所述非附属道路标志对象包括的组成元素确定目标组成元素。
在一些实施例中，所述装置还包括元素关系类型确定模块，所述元素关系类型确定模块，用于确定各所述道路标志对象包括的组成元素之间的元素关系类型；所述元素确定模块，还用于基于元素关系类型，从同一所述非附属道路标志对象包括的组成元素中确定元素关系类型为同义类型的组成元素，得到所述同义类型对应的元素组；将所述同义类型对应的元素组中的各组成元素进行组合，得到组合元素；将各所述非附属道路标志对象包括的除所述元素组之外的组成元素和所述组合元素，分别确定为目标组成元素。
在一些实施例中，所述元素关系类型确定模块，还用于基于各所述道路标志对象分别包括的各组成元素，生成至少一个组成元素对；在所述组成元素对中的各组成元素分别属于不同的道路标志对象的情况下，基于各相关道路标志对象之间的对象关系类型，确定所述组成元素对中各组成元素之间的元素关系类型；各所述相关道路标志对象，是指所述组成元素对中的各组成元素分别所属的道路标志对象。
在一些实施例中，所述元素关系类型确定模块，还用于在各所述相关道路标志对象之间的对象关系类型为无关的情况下，确定所述组成元素对中各组成元素之间的元素关系类型为无关；在各所述相关道路标志对象之间的对象关系类型表征有关的情况下，基于所述组成元素对中的各组成元素的元素特征，确定所述组成元素对中各组成元素之间的元素关系类型。
在一些实施例中，所述元素关系类型确定模块，还用于在所述组成元素对中的各组成元素属于同一道路标志对象的情况下，基于所述组成元素对中的各组成元素的元素特征，确定所述组成元素对中各组成元素之间的元素关系类型。
在一些实施例中，所述对象关系类型确定模块，用于从所述道路图像中获取各所述道路标志对象的对象图像；分别对每个所述道路标志对象的对象图像进行特征提取，得到每个所述道路标志对象的对象特征图；基于各所述道路标志对象的对象特征图确定各所述道路标志对象之间的对象关系类型。
在一些实施例中，所述关系预测模块，还用于根据所述车道的车道特征和所述目标组成元素的元素特征，预测所述车道与所述目标组成元素之间的关系特征；根据所述车道与所述目标组成元素之间的关系特征，预测得到所述车道与所述目标组成元素之间的关系类型。
在一些实施例中，所述装置还包括图生成模块，所述图生成模块，用于获取所述目标组成元素中的文本内容；将所述文本内容和所述车道的标识分别作为节点，并将所述车道与所述目标组成元素之间的关系类型作为边，生成道路知识图。
在一些实施例中，所述车道与所述目标组成元素之间的关系类型，是基于已训练的关系检测模型预测的；所述装置还包括关系检测模型训练模块，所述关系检测模型训练模块，用于获取样本组成元素的元素特征；所述样本组成元素是指样本道路图像中的样本道路标志对象包括的组成元素；基于各所述样本组成元素确定目标样本组成元素；所述目标样本组成元素，用于预测与所述样本道路图像中的样本车道之间的关系类型，所述目标样本组成元素，基于至少一个所述样本组成元素得到；将所述样本车道的车道特征和所述目标样本组成元素的元素特征，输入待训练的关系检测模型中的车道关系检测网络，得到所述样本车道与所述目标样本组成元素之间的预测关系类型；根据所述样本车道与所述目标样本组成元素之间的预测关系类型，更新待训练的关系检测模型的模型参数，得到已训练的关系检测模型。
在一些实施例中，所述样本道路图像中包括至少两个样本道路标志对象；所述待训练的关系检测模型中还包括对象关系检测网络；所述关系检测模型训练模块，还用于获取各所述样本道路标志对象的样本对象特征图；将各所述样本对象特征图输入到对象关系检测网络中，得到各所述样本道路标志对象之间的预测对象关系类型；基于预测对象关系类型从各所述样本道路标志对象中确定非附属样本道路标志对象；基于所述非附属样本道路标志对象包括的组成元素确定目标样本组成元素。
在一些实施例中，所述待训练的关系检测模型中还包括元素关系检测网络；所述关系检测模型训练模块，还用于将各所述样本道路标志对象之间的预测对象关系类型和各所述样本元素特征输入到所述元素关系检测网络中，得到各所述样本组成元素之间的预测元素关系类型；基于预测元素关系类型和各所述非附属样本道路标志对象包括的样本组成元素，确定同义类型对应的样本元素组；将所述同义类型对应的样本元素组中的各样本组成元素进行组合，得到样本组合元素；将各所述非附属样本道路标志对象包括的除所述样本元素组之外的样本组成元素和所述样本组合元素，分别确定为目标样本组成元素。
另一方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述道路图像处理方法中的步骤。
另一方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述道路图像处理方法中的步骤。
另一方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述道路图像处理方法中的步骤。
上述道路图像处理方法、装置、计算机设备、存储介质和计算机程序产品，确定道路图像中道路标志对象包括的组成元素，基于道路标志对象包括的组成元素确定目标组成元素，目标组成元素，用于预测与道路图像中的车道之间的关系类型，目标组成元素基于至少一个组成元素得到，获取道路图像中车道的车道特征，根据车道的车道特征和目标组成元素的元素特征，预测得到车道与目标组成元素之间的关系类型，车道与目标组成元素之间的关系类型用于作为地图场景中的辅助数据。由于目标组成元素基于至少一个组成元素得到，因此目标组成元素体现了道路标志对象的内部组成部分，故车道与目标组成元素之间的关系类型，反映了车道与道路标志对象的内部组成部分之间关系类型，从而根据车道与目标组成元素之间的关系类型作为地图场景中的辅助数据，可以提高为地图场景提供的信息量。
附图说明
图1为一些实施例中道路图像处理方法的应用环境图；
图2为一些实施例中道路图像处理方法的流程示意图；
图3为一些实施例中标志牌的示意图；
图4为一些实施例中标志牌中的组成元素的示意图；
图5为一些实施例中提取车道特征的原理图；
图6为一些实施例中道路图像处理方法的原理图；
图7为一些实施例中从道路图像中识别道路标志对象的原理图；
图8为一些实施例中从道路图像中识别道路标志对象的原理图；
图9为一些实施例中候选框的示意图；
图10为一些实施例中生成组成元素的元素特征的原理图；
图11为一些实施例中道路图像处理方法的流程示意图；
图12为一些实施例中道路图像处理方法的原理图；
图13为一些实施例中道路图像处理方法的流程示意图；
图14为一些实施例中道路图像处理装置的结构框图；
图15为一些实施例中计算机设备的内部结构图；
图16为一些实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的道路图像处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他服务器上。终端102可以是车辆上的车载终端，终端102具有图像采集功能。
具体地，终端102可以采集道路图像，并将道路图像传输至服务器104，例如终端102可以连续采集多张道路图像上传至服务器104，多张是指至少两张。服务器104确定道路图像中道路标志对象包括的组成元素，基于道路标志对象包括的组成元素确定目标组成元素。其中，目标组成元素，用于预测与道路图像中的车道之间的关系类型，目标组成元素基于至少一个组成元素得到。服务器104获取道路图像中车道的车道特征，根据车道的车道特征和目标组成元素的元素特征，预测得到车道与目标组成元素之间的关系类型；服务器104可以将车道与目标组成元素之间的关系类型用于作为地图场景中的辅助数据。地图场景包括但不限于是地图导航或地图更新中的至少一种。
其中，终端102可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
本申请提供的道路图像处理方法可以是基于人工智能的，例如，本申请中，车道与目标组成元素之间的关系类型，是基于已训练的关系检测模型预测的。关系检测模型是基于人工智能的模型，例如可以是基于深度学习和卷积神经网络的模型。卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks）。
人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
本申请实施例提供的方案涉及人工智能的机器学习等技术，具体通过如下实施例进行说明：
在一些实施例中，如图2所示，提供了一种道路图像处理方法，该方法可以由终端或服务器执行，还可以由终端和服务器共同执行，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
步骤202，确定道路图像中道路标志对象包括的组成元素。
其中，道路图像是对道路进行拍摄得到的图像，例如可以是通过终端例如车载拍照设备对行驶前方的道路进行拍摄所得到的图像。道路标志对象是在道路上起到标志作用的对象。道路标志对象包括但不限于是标志牌，标志牌例如交限标志牌或限速标志牌中的至少一个，标志牌简称为标牌。如图3所示，展示了不同类型的标牌。道路图像中可以包括至少一条车道。道路图像中包括至少一个道路标志对象，例如可以包括1、2或3个道路标志对象。
每个道路标志对象包括至少一个组成元素，组成元素是道路标志对象中的一部分，组成元素可以是道路标志对象中的文字或图案。道路标志对象的作用不同则道路标志对象中包括的组成元素可以不同。当然作用不同的两个道路标志对象也可以包括相同的组成元素。如图4所示，展示了组成元素的示意图。
具体地，服务器可以从道路图像中获取各道路标志对象的对象图像，对象图像是包括道路标志对象的图像。服务器可以对对象图像中道路标志对象的组成元素进行识别得到道路标志对象包括的组成元素。
步骤204，基于道路标志对象包括的组成元素确定目标组成元素。
其中，每个道路标志对象包括至少一个组成元素。道路图像中包括至少一个道路标志对象。道路图像中包括至少一个车道。预先设置有多个预设关系类型，目标组成元素与车道之间的关系类型属于该多个预设关系类型。目标组成元素，用于预测与道路图像中的车道之间的关系类型，目标组成元素基于至少一个组成元素得到。
具体地，服务器可以将道路标志对象中的每个组成元素分别作为目标组成元素。或者，服务器可以对全部或部分的组成元素进行组合，得到组合元素，将组合元素和未参与组合的各组成元素分别作为目标组成元素。
在一些实施例中，服务器可以确定各道路标志对象包括的组成元素之间的元素关系类型，例如，确定同一道路标志对象中各组成元素之间的元素关系类型，确定分别属于不同的道路标志对象的两个组成元素之间的元素关系类型。组成元素之间的元素关系类型是指组成元素之间的关系所属的类型，用于表征组成元素之间的关系。元素关系类型可以划分为无关、同义类型中的至少一个。例如，道路标志对象为一个匝道标牌，匝道标牌包括两个组成元素，分别为“匝道”和“Ramp”，“匝道”和“Ramp” 之间的元素关系类型为同义类型。服务器可以从各组成元素中确定元素关系类型为同义类型的各组成元素，得到同义类型对应的元素组。该同义类型对应的元素组中的各组成元素之间的元素关系类型为同义类型。
在一些实施例中，在道路图像中包括多个道路标志对象的情况下，确定各道路标志对象之间的对象关系类型。道路标志对象之间的对象关系类型，是指道路标志对象之间的关系所属的类型，用于表征道路标志对象之间的关系。对象关系类型可以划分为无关和附属关系，各道路标志对象之间的对象关系类型为无关或附属关系中的一个。附属关系也可以称为从属关系。当道路标志对象的作用是用于对一个或多个道路标志对象进行补充说明的情况下，则该道路标志对象从属于该一个或多个道路标志对象，从而该道路标志对象与该一个或多个道路标志对象之间的对象关系类型为从属关系。多个是指至少两个。例如，道路图像中包括位置上相近的标牌1、标牌2和标牌3，标牌1为禁止非机动车行驶的标牌，标牌2为禁止行人通行的标牌，标牌3为写有“内环快速”文字的标牌，标牌3附属于标牌1，标牌3附属于标牌2，标牌3与标牌1为从属关系，标牌3与标牌2为从属关系。
在一些实施例中，服务器可以根据各道路标志对象之间的对象关系类型，确定各道路标志对象包括的组成元素之间的元素关系类型。具体地，各道路标志对象包括第一道路标志对象和第二道路标志对象，第一道路标志对象为道路图像中的任一道路标志对象，第二道路标志对象为道路图像中的任一道路标志对象，第一道路标志对象与第二道路标志对象不同。在第一道路标志对象和第二道路标志对象之间的对象关系类型为无关的情况下，服务器确定第一道路标志对象包括的组成元素与第二道路标志对象包括的组成元素之间的元素关系类型为无关。在第一道路标志对象和第二道路标志对象之间的对象关系类型，为无关之外的其他的对象关系类型例如从属关系的情况下，服务器可以根据第一组成元素的元素特征和第二组成元素的元素特征，确定第一组成元素和第二组成元素之间的元素关系类型。第一组成元素是指第一道路标志对象包括的组成元素。第二组成元素是指第二道路标志对象包括的组成元素。
在一些实施例中，针对包括至少两个组成元素的道路标志对象，服务器可以基于该道路标志对象中各组成元素的元素特征，确定该道路标志对象中各组成元素之间的元素关系类型。其中，组成元素的元素特征，可以包括组成元素的视觉特征、语义特征或位置特征中的至少一个。服务器可以对道路标志对象的对象图像进行特征提取得到对象特征图。服务器可以从对象特征图中确定组成元素的元素特征图。服务器可以对组成元素的元素特征图进行语义识别得到组成元素的语义特征，服务器还可以对元素特征图进行位置特征提取，得到组成元素的位置特征。
步骤206，获取道路图像中车道的车道特征。
其中，车道包括车道线和车道面，车道特征可以包括车道线的位置特征或车道面的位置特征中的至少一个。车道特征可以为车道掩码图。车道掩码图中采用两种不同的像素值区分车道的像素点和非车道的像素点，例如，对于道路图像中的某个车道，该车道的像素点的像素值为第一像素值，该车道之外的像素点的像素值为第二像素值。第一像素值与第二像素值不同。道路图像中的每个车道均有对应的车道信息，例如均有对应的车道掩码图。
具体地，服务器可以对道路图像进行编码得到编码特征。或者，服务器可以对道路图像进行特征提取得到道路图像特征，基于道路图像特征进行反卷积操作，生成与道路图像尺寸相同的道路特征图。服务器可以对道路特征图进行编码得到编码特征。如图5所示，服务器基于道路图像特征进行反卷积操作，生成与道路图像尺寸相同的道路特征图，将道路特征图输入编码网络进行编码得到编码特征。得到编码特征后，服务器可以根据编码特征生成像素特征向量图，例如图5中，服务器可以将编码特征输入到实例分割网络中得到像素特征向量图。像素特征向量图中包括道路图像中每个像素的特征向量。像素特征图中，属于同一条车道线的像素点的特征向量之间的距离，小于属于不同车道线的像素点的特征向量之间的距离。例如，像素点A和像素点B属于同一个车道线，像素点C和像素点B属于不同的车道线，像素点A的特征向量与像素点B的特征向量之间的距离为第一距离，像素点C的特征向量与像素点B的特征向量之间的距离为第二距离，则第一距离小于第二距离。特征向量之间的距离，可以为特征向量之间的欧式距离、马氏距离中的任意一个。
在一些实施例中，服务器还可以根据编码特征生成车道线掩码图，例如图5中，服务器可以将编码特征输入到二值分割网络中得到车道线掩码图。车道线掩码图的尺寸与道路图像的尺寸相同。车道线掩码图中采用两种不同的像素值区分车道线的像素点和车道线之外的像素点，例如，车道线的像素点的像素值为第一像素值，车道线之外的像素点的像素值为第二像素值。第一像素值与第二像素值不同。服务器可以根据像素特征图和车道线掩码图，对道路图像的各像素点进行聚类，将属于同一车道线的各像素点聚成一个簇，从而得到各车道线的像素点簇，根据车道线的像素点簇确定车道线信息，车道线信息包括车道线的位置信息，对于每个车道线，该车道线的位置信息根据该车道线的像素点簇中的各个像素点的位置确定。通过将本实施例中的车道线替换为车道面，可以采用同样的方法，确定道路图像中的车道面信息。服务器可以根据车道线信息和车道面信息确定车道特征，例如根据车道线信息和车道面信息生成车道掩码图，将车道掩码图作为车道特征。需要说明的是，本申请并不限制得到车道特征的方法。
步骤208，根据车道的车道特征和目标组成元素的元素特征，预测得到车道与目标组成元素之间的关系类型；车道与目标组成元素之间的关系类型用于作为地图场景中的辅助数据。
具体地，服务器可以根据车道的车道特征和目标组成元素的元素特征，预测车道与目标组成元素之间的关系特征，根据车道与目标组成元素之间的关系特征，预测得到车道与目标组成元素之间的关系类型。
举例说明本申请的道路图像处理方法，如图6中，道路图像中包括4个标牌，服务器将道路图像输入到骨干网络中，通过骨干网络确定标牌在道路图像中的位置、道路在道路图像中的位置、道路图像中的车道线，根据道路在道路图像中的位置、道路图像中的车道线，确定车道面和车道线，根据车道面的特征和车道线的特征得到车道特征，根据标牌在道路图像中的位置从道路图像中截取出标牌所在的图像得到标牌图像。得到标牌图像后，对标牌图像进行特征提取得到标牌图像中各组成元素，并确定车道与标牌图像中的至少一个组成元素之间的关系类型。
在一些实施例中，地图场景包括但不限于是地图导航或地图更新中的至少一个。服务器可以将车道与目标组成元素之间的关系类型，作为地图场景中的辅助数据，以为地图场景提供更多的信息量。例如，服务器可以将车道与标牌图像中的目标组成元素之间的关系类型，作为地图导航中的辅助数据。例如，车道与标牌图像中的目标组成元素之间的关系类型，可以用于生成地图导航中的导航提示信息。例如，当车辆行驶在道路上时，车载终端上报车辆的当前位置，服务器可以根据车辆的当前位置确定车辆所在的车道，根据车道与目标组成元素之间的关系类型生成导航提示信息，并将导航提示信息发送至车载终端，车道终端可以显示或播放该导航提示信息。当然，服务器还可以将车道与标牌图像中的目标组成元素之间的关系类型，作为地图更新中的辅助数据，基于车道与标牌图像中的目标组成元素之间的关系类型，对地图进行更新。
上述道路图像处理方法中，确定道路图像中道路标志对象包括的组成元素，基于道路标志对象包括的组成元素确定目标组成元素，目标组成元素，用于预测与道路图像中的车道之间的关系类型，目标组成元素基于至少一个组成元素得到，获取道路图像中车道的车道特征，根据车道的车道特征和目标组成元素的元素特征，预测得到车道与目标组成元素之间的关系类型，车道与目标组成元素之间的关系类型用于作为地图场景中的辅助数据。由于目标组成元素基于至少一个组成元素得到，因此目标组成元素体现了道路标志对象的内部组成部分，故车道与目标组成元素之间的关系类型，反映了车道与道路标志对象的内部组成部分之间关系类型，从而根据车道与目标组成元素之间的关系类型作为地图场景中的辅助数据，可以提高为地图场景提供的信息量。
另外，由于大出行领域与地图场景不可分割，提高为地图场景提供的信息量，能够为大出行领域做出重要的贡献。
在一些实施例中，方法还包括：在道路图像中包括多个道路标志对象的情况下，确定各道路标志对象之间的对象关系类型；基于道路标志对象包括的组成元素确定目标组成元素包括：基于对象关系类型从多个道路标志对象中确定附属道路标志对象之外的道路标志对象，得到非附属道路标志对象；附属道路标志对象附属于至少一个道路标志对象，附属道路标志对象所附属于的道路标志对象与附属道路标志对象之间的对象关系类型为附属关系；基于非附属道路标志对象包括的组成元素确定目标组成元素。
其中，附属道路标志对象附属于至少一个道路标志对象，附属道路标志对象所附属于的道路标志对象与附属道路标志对象之间的对象关系类型为附属关系。例如，道路标志对象A与道路标志对象B为附属关系，且道路标志对象A附属于道路标志对象B，则道路标志对象A是附属道路标志对象。多个道路标志对象是指至少两个。
具体地，服务器可以从道路图像中获取各道路标志对象的对象图像，分别对每个道路标志对象的对象图像进行特征提取，得到每个道路标志对象的对象特征图，基于各道路标志对象的对象特征图确定各道路标志对象之间的对象关系类型。
在一些实施例中，服务器可以通过已训练的关系检测模型，确定各道路标志对象之间的对象关系类型。已训练的关系检测模型中包括对象关系检测网络，对象关系检测网络用于检测对象关系类型。服务器可以将各道路标志对象的对象特征图输入到对象关系检测网络中，预测得到各道路标志对象之间的对象关系类型。具体地，对象关系检测网络中包括第一关系特征检测网络和第一分类网络，服务器可以将各道路标志对象的对象特征图输入到第一关系特征检测网络中，预测得到各道路标志对象之间的对象关系特征，将对象关系特征输入到第一分类网络中进行分类得到对象关系类型。
在一些实施例中，服务器可以从各道路标志对象中确定附属道路标志对象。附属道路标志对象与至少一个道路标志对象之间的对象关系类型属于附属关系。附属道路标志对象不参与确定目标组成元素的过程，即服务器不会根据附属道路标志对象中的组成元素确定目标组成元素。
本实施例中，基于非附属道路标志对象包括的组成元素确定目标组成元素，提高了目标组成元素的合理性。
在一些实施例中，方法还包括：确定各道路标志对象包括的组成元素之间的元素关系类型；基于非附属道路标志对象包括的组成元素确定目标组成元素包括：基于元素关系类型，从同一非附属道路标志对象包括的组成元素中确定元素关系类型为同义类型的组成元素，得到同义类型对应的元素组；将同义类型对应的元素组中的各组成元素进行组合，得到组合元素；将各非附属道路标志对象包括的除元素组之外的组成元素和组合元素，分别确定为目标组成元素。
其中，同义类型表征语义一致。针对某个道路标志对象，若该道路标志对象中的两个组成元素是语义一致的，则这两个组成元素之间的元素关系类型为同义类型。元素组中包括至少两个组成元素，且元素组中的各组成元素属于同一个道路标志对象。同义类型对应的元素组中的各组成元素之间的元素关系类型为同义类型。例如，同义类型对应的元素组中包括3个组成元素，则这3个组成元素中任意2个组成元素之间的元素关系类型均为同义类型。
具体地，服务器可以基于各组成元素的元素特征，确定各元素特征之间的元素关系类型。服务器可以通过已训练的关系检测模型，确定各组成元素之间的元素关系类型。已训练的关系检测模型中还包括元素关系检测网络，元素关系检测网络用于检测元素关系类型。服务器可以将各组成元素的元素特征输入到元素关系检测网络中，预测得到各元素特征之间的元素关系类型。
在一些实施例中，服务器可以将同义类型对应的元素组中的各组成元素进行组合，得到组合元素。服务器还可以对元素组中的各组成元素的元素特征进行特征融合，得到融合特征，将融合特征作为该组合元素的元素特征。特征融合包括但不限于是特征拼接或特征加权中的至少一个，特征加权是指对元素组中的各元素特征进行加权计算。例如，服务器还可以对元素组中的各组成元素的元素特征进行特征拼接，得到拼接特征，将拼接特征作为该组合元素的元素特征。
在一些实施例中，目标组成元素可以为一个或多个，多个是指至少两个。服务器可以将组合元素确定为目标组成元素，还可以将各非附属道路标志对象包括的非同义组成元素确定为目标组成元素。非同义组成元素属于各非附属道路标志对象包括的各组成元素、且与同义类型对应的元素组中的各组成元素不同。服务器可以将各非附属道路标志对象包括的除元素组之外的组成元素和组合元素，分别确定为目标组成元素。例如，有2个非附属道路标志对象，分别为非附属道路标志对象1和非附属道路标志对象2，非附属道路标志对象1中包括1个组成元素（组成元素a），非附属道路标志对象2中包括3个组成元素（分别为组成元素b、组成元素c、组成元素d），组成元素c与组成元素d之间的元素关系类型为同义类型，组成元素c与组成元素d组合得到组合元素cd，则将组成元素a、组成元素b和组合元素cd皆作为目标组成元素。
本实施例中，将各非附属道路标志对象包括的除元素组之外的组成元素和组合元素，分别确定为目标组成元素，提高了目标组成元素的合理性。
在一些实施例中，确定各道路标志对象包括的组成元素之间的元素关系类型包括：基于各道路标志对象分别包括的各组成元素，生成至少一个组成元素对；在组成元素对中的各组成元素分别属于不同的道路标志对象的情况下，基于各相关道路标志对象之间的对象关系类型，确定组成元素对中各组成元素之间的元素关系类型；各相关道路标志对象，是指组成元素对中的各组成元素分别所属的道路标志对象。
其中，每个组成元素对中包括两个不同的组成元素。各相关道路标志对象，是指组成元素对中的各组成元素分别所属的道路标志对象，例如，组成元素对的一个组成元素属于标牌1，一个组成元素属于标牌2，则标牌1和标牌2均为相关道路标志对象。
具体地，服务器可以将各道路标志对象分别包括的各组成元素中，任意两个组成元素构成组成元素对，例如，针对每个组成元素，将该组成元素分别与每个与其不同的组成元素构成组成元素对。
在一些实施例中，在组成元素对中的各组成元素分别属于不同的道路标志对象的情况下，服务器可以根据组成元素对中各组成元素分别属于的道路标志对象之间的对象关系类型，确定组成元素对中各组成元素之间的元素关系类型。例如，在该对象关系类型为无关的情况下，确定组成元素对中各组成元素之间的元素关系类型为无关。
本实施例中，从对象关系类型确定元素关系类型，提高了确定元素关系类型的效率。
在一些实施例中，基于各相关道路标志对象之间的对象关系类型，确定组成元素对中各组成元素之间的元素关系类型包括：在各相关道路标志对象之间的对象关系类型为无关的情况下，确定组成元素对中各组成元素之间的元素关系类型为无关；在各相关道路标志对象之间的对象关系类型表征有关的情况下，基于组成元素对中的各组成元素的元素特征，确定组成元素对中各组成元素之间的元素关系类型。
其中，各相关道路标志对象之间的对象关系类型表征有关，是指各相关道路标志对象之间的对象关系类型为无关之外的对象关系类型，例如各相关道路标志对象之间的对象关系类型可以为从属关系。
具体地，在各相关道路标志对象之间的对象关系类型表征有关的情况下，服务器可以基于组成元素对中的各组成元素的元素特征，预测组成元素对中各组成元素之间的元素关系特征，基于组成元素对中各组成元素之间的元素关系特征进行类型分类，得到组成元素对中各组成元素之间的元素关系类型。
在一些实施例中，元素关系检测网络中包括第二关系特征检测网络和第二分类网络，服务器可以将各相关道路标志对象之间的对象关系类型、组成元素对中的各组成元素的元素特征，输入到第二关系特征检测网络中，在第二关系特征检测网络中，若各相关道路标志对象之间的对象关系类型为无关，则确定组成元素对中各组成元素之间的元素关系类型为无关。
本实施例中，针对相关道路标志对象之间的对象关系类型为无关、表征有关这两种情况，采用合理的方式确定元素关系类型，提高了确定元素关系类型的灵活性和效率。
在一些实施例中，在组成元素对中的各组成元素属于同一道路标志对象的情况下，基于组成元素对中的各组成元素的元素特征，确定组成元素对中各组成元素之间的元素关系类型。
具体地，在组成元素对中的各组成元素属于同一道路标志对象的情况下，服务器可以将基于组成元素对中的各组成元素的元素特征生成元素关系特征，元素关系特征是用于表征组成元素对中的各组成元素之间的关系的特征。服务器可以根据元素关系特征确定组成元素对中各组成元素之间的元素关系类型。
在一些实施例中，服务器可以基于组成元素对中的各组成元素的元素特征，预测组成元素对中各组成元素之间的元素关系特征，基于组成元素对中各组成元素之间的元素关系特征进行类型分类，得到组成元素对中各组成元素之间的元素关系类型。具体地，服务器可以将各道路标志对象之间的对象关系类型、组成元素对中的各组成元素的元素特征，输入到第二关系特征检测网络中，在各相关道路标志对象之间的对象关系类型表征有关的情况下，在第二关系特征检测网络中，基于组成元素对中的各组成元素的元素特征生成元素关系特征，然后，将元素关系特征输入到第二分类网络中进行分类得到元素关系类型。
本实施例中，从元素特征的角度确定元素关系类型，提高了确定元素关系类型的准确度。
在一些实施例中，确定各道路标志对象之间的对象关系类型包括：从道路图像中获取各道路标志对象的对象图像；分别对每个道路标志对象的对象图像进行特征提取，得到每个道路标志对象的对象特征图；基于各道路标志对象的对象特征图确定各道路标志对象之间的对象关系类型。
具体地，服务器可以确定道路标志对象在道路图像中的位置得到目标位置，从道路图像中截取目标位置处的图像区域，得到道路标志对象的对象图像。
在一些实施例中，服务器可以通过已训练的标志对象检测模型确定道路标志对象在道路图像中的位置。如图7所示，将道路图像输入到已训练的标志对象检测模型，预测得到道路标志对象在道路图像中的位置。已训练的标志对象检测模型可以是基于神经网络的模型，例如可以是基于卷积神经网络的模型。本申请中，已训练的标志对象检测模型的结构不做限制。
在一些实施例中，已训练的标志对象检测模型包括特征提取网络、区域候选网络、感兴趣区域池化层和分类层，如图8所示，服务器可以将道路图像输入到已训练的标志对象检测模型，通过特征提取网络对道路图像进行特征提取得到道路图像的图像特征图。服务器将图像特征图输入到区域候选网络中，针对图像特征图中的每个特征点，在区域候选网络中将特征点作为中心点生成至少一个候选框。服务器将图像特征图和生成的候选框输入到感兴趣区域池化层中进行池化处理，得到池化后的特征，将池化后的特征输入到分类层进行分类，基于分类结果得到道路标志对象在道路图像中的位置。其中，特征提取网络可以包括卷积层、归一化层或激活层中的至少一个。卷积层用于提取边缘纹理等基本特征。归一化层用于将卷积层提取的特征按照正态分布进行归一化处理，过滤掉特征中的噪声特征，使得模型的训练收敛更加快速。激活层用于对卷积层提取的特征进行非线性映射，加强模型的泛华能力。
其中，特征点是图像特征图的最小组成单元。每个中心点可以生成一个或多个尺寸不同的候选框，多个是指至少两个，例如，可以生成长宽比分别为1:1、2:1、1:2的候选框，每种长宽比下可以生成大小不同的多个候选框，例如，每种长宽比下可以生成尺度分别为1,2,3的候选框，以长宽比为2:1为例，若尺度为1，则生成长为2宽为1的候选框，若尺度为2，则生成长为4宽为2的候选框，若尺度为3，则生成长为6宽为3的候选框。如图9所示，展示了在1:1、2:1、1:2中的每种长宽比下生成的尺度分别为1,2,3的9个候选框的示意图。
在一些实施例中，服务器可以将样本道路图像输入到待训练的标志对象检测模型中，得到样本道路标志对象在样本道路图像中的预测位置。样本道路标志对象是指样本道路图像中的道路标志对象。服务器可以获取样本道路标志对象在样本道路图像中的真实位置，并根据预测位置和真实位置之间的差异，调整待训练的标志对象检测模型的模型参数，迭代训练多次直到模型收敛，得到已训练的标志对象检测模型。
在一些实施例中，服务器可以通过图像特征提取网络对对象图像进行特征提取得到对象特征图。图像特征提取网络可以是基于卷积神经网络的，例如可以是Resnet网络，当然也可以是其他的神经网络模型，这里不做限制。
在一些实施例中，组成元素的元素特征，可以包括组成元素的视觉特征、语义特征或位置特征中的至少一个。对象特征图中包括代表组成元素的特征图区域，服务器可以对分别代表不同的组成元素的特征图区域池化为同一尺度，将特征图区域的池化结果作为对应的组成元素的元素特征图。服务器可以对组成元素的元素特征图进行语义识别得到组成元素的语义特征，例如图10中，服务器可以对元素特征图进行语义特征提取，得到组成元素的语义特征。服务器还可以对元素特征图进行位置特征提取，得到组成元素的位置特征。需要说明的是，得到组成元素的元素特征的方法不限于本实施例提供的方法，还可以是其他的可以能够提取对象图像中组成元素的特征的方法。
在一些实施例中，服务器可以将各道路标志对象的对象特征图输入到对象关系检测网络中，预测得到各道路标志对象之间的对象关系类型。
本实施例中，基于各道路标志对象的对象特征图确定各道路标志对象之间的对象关系类型，从而准确的确定出了对象关系类型。
在一些实施例中，根据车道的车道特征和目标组成元素的元素特征，预测得到车道与目标组成元素之间的关系类型包括：根据车道的车道特征和目标组成元素的元素特征，预测车道与目标组成元素之间的关系特征；根据车道与目标组成元素之间的关系特征，预测得到车道与目标组成元素之间的关系类型。
具体地，已训练的关系检测模型中还可以包括车道关系检测网络，车道关系检测网络用于检测车道与目标组成元素之间的关系类型。车道关系检测网络中包括第三关系特征检测网络和第三分类网络。服务器可以将车道的车道特征和目标组成元素的元素特征输入到第三关系特征检测网络中，预测得到车道与目标组成元素之间的关系特征，然后，将车道与目标组成元素之间的关系特征输入到第三分类网络中进行分类，预测得到车道与目标组成元素之间的关系类型。
在一些实施例中，道路图像中包括多个车道，服务器还可以根据各车道的车道特征，确定各车道之间的关系类型，即确定每个车道分别与其他的车道之间的关系所属的类型。具体地，车道关系检测网络还可以用于检测车道与车道之间的关系类型。服务器可以将各车道的车道特征输入到第三关系特征检测网络中，预测得到各车道之间的关系特征，然后，将各车道之间的关系特征输入到第三分类网络中进行分类，预测得到车道与车道之间的关系类型。
如图11所示，展示了一些实施例中的道路图像处理方法的流程示意图，图11中，步骤1102中的“图像采集”是指采集得到道路图像。步骤1104中的“图像要素检测”是指从道路图像中识别标牌。步骤1106中的“标牌道路场景解析”包括步骤1106A-步骤1106C，步骤1106A中的“关键特征提取”用于提取标牌中的各个组成元素的元素特征，步骤1106B中的“道路场景解析”用于提取道路图像中各车道的车道特征，步骤1106C中的“特征关系推理”用于确定车道与目标组成元素之间的关系类型。步骤1108中的“输出图像”是指输出能够呈现车道与目标组成元素之间的关系的图像。步骤1106中的“标牌道路场景解析”还可以用于提取标牌的特征。步骤1106C中的“特征关系推理”还可以用于确定组成元素与组成元素之间的元素关系类型、道路标志对象与道路标志对象之间的对象关系类型。
举例说明本申请提供的道路图像处理方法，如图12所示，关系检测模型包括第一层网络、第二层网络和第三层网络，第一层网络为对象关系检测网络，第二层网络为元素关系检测网络，第三层网络为车道关系检测网络。道路图像中包括3个标牌，车道掩码图代表车道特征，将这3个标牌各自的特征、每个标牌中每个组成元素的元素特征、车道掩码图输入到关系检测模型中，通过第一层网络预测得到该3个标牌之间的关系类型，通过第二层网络预测得到该3个标牌中各组成元素之间的元素关系类型，通过第三层网络预测车道与目标组成元素之间的关系类型，第三层网络中用条纹填充的三角形代表组合元素，该组合元素由第二层的2个组成元素（这2个组成元素属于同一个标牌）组合而成。关系检测模型中的每一层可以通过图的形式存储，例如，第一层网络中采用图的形式存储标牌与标牌之间的关系类型，第一层网络中的每个四边形代表一个标牌，四边形与四边形之间的连线即边表示标牌之间的关系类型。第二层网络中每个三角形代表一个组成元素，第一层网络中的标牌与第二层网络中的组成元素之间的虚线，表示组成元素属于标牌。第三层中的每个圆形分别代表一个车道。需要说明的是，图12中展示的2个关系检测模型，仅表示在训练关系检测模型的过程中对关系检测模型的参数进行更新，并不表示用两个关系检测模型进行关系类型的检测。关系检测模型中的每一层网络可以采用神经网络实现，例如，每一层可以采用卷积神经网络实现，当然，也可以采用具有注意力机制的神经网络实现，还可以是图注意力网络（GAT，Graph Attention Network），由于关系检测模型中包括三层网络，故若每一层网路均采用GAT网络，则关系检测模型可以称为HierarchicalGAT（分层图注意力网络）。
本实施例中，根据车道与目标组成元素之间的关系特征，预测得到车道与目标组成元素之间的关系类型，从而准确的预测出了车道与目标组成元素之间的关系类型。
在一些实施例中，方法还包括：获取目标组成元素中的文本内容；将文本内容和车道的标识分别作为节点，并将车道与目标组成元素之间的关系类型作为边，生成道路知识图。
具体地，服务器可以对目标组成元素中的文本进行识别得到目标组成元素中的文本内容。服务器可以将车道的标识作为父节点，将文本内容作为父节点的子节点，并将车道与目标组成元素之间的关系类型作为边，生成道路知识图。
在一些实施例中，道路知识图中还可以包括与目标组成元素有关的组成元素中的文本内容生成的节点。具体地，服务器可以获取与目标组成元素有关的组成元素，在目标组成元素与组成元素之间的元素关系类型不是无关的情况下，该组成元素与目标组成元素有关。服务器还可以对与目标组成元素有关的组成元素中的文本进行识别，将识别出的文本生成新的节点，并将该组成元素与目标组成元素之间的元素关系类型，作为该新的节点与该目标组成元素的文本内容生成的节点之间的边。如图12中，根据车道标识“R0”、组合元素“匝道 Ramp”、组成元素“王庄”、组成元素“S211”生成了道路知识图，该道路知识图中“info”为车道与组合元素“匝道 Ramp”之间的关系类型，“to”为组成元素“S211”与组成元素“王庄”之间的关系，“to”表示“S211”代表的道路通向“王庄”。“右前方”代表车道“R0”与“S211”之间的关系类型。
在一些实施例中，地图场景包括但不限于是地图导航或地图更新中的至少一个。服务器可以将道路知识图作为地图场景中的辅助数据，以为地图场景提供更多的信息量。例如，服务器可以将道路知识图，作为地图导航中的辅助数据。例如，道路知识图可以用于生成地图导航中的导航提示信息。当然，服务器还可以将道路知识图作为地图更新中的辅助数据，基于道路知识图对地图进行更新。
本实施例中，将车道与目标组成元素之间的关系类型作为边，生成道路知识图，从而可以通过道路知识图获取与车道相关的信息，以更好的为地图场景提供信息量。
在一些实施例中，车道与目标组成元素之间的关系类型，是基于已训练的关系检测模型预测的；得到已训练的关系检测模型的步骤包括：获取样本组成元素的元素特征；样本组成元素是指样本道路图像中的样本道路标志对象包括的组成元素；基于各样本组成元素确定目标样本组成元素；目标样本组成元素，用于预测与样本道路图像中的样本车道之间的关系类型，目标样本组成元素，基于至少一个样本组成元素得到；将样本车道的车道特征和目标样本组成元素的元素特征，输入待训练的关系检测模型中的车道关系检测网络，得到样本车道与目标样本组成元素之间的预测关系类型；根据样本车道与目标样本组成元素之间的预测关系类型，更新待训练的关系检测模型的模型参数，得到已训练的关系检测模型。
其中，获取样本组成元素的元素特征的方法，参考上述获取组成元素的元素特征的方法。样本车道与目标样本组成元素之间的预测关系类型，是通过车道关系检测网络预测出的。
具体地，服务器可以将样本道路标志对象中的每个样本组成元素分别作为目标样本组成元素。或者，服务器可以对全部或部分的样本组成元素进行组合，得到样本组合元素，将样本组合元素和未参与组合的各样本组成元素分别作为目标样本组成元素。
在一些实施例中，目标样本组成元素也可以是通过待训练的关系检测模型预测出的。具体地，待训练的关系检测模型中还包括对象关系检测网络，服务器可以获取各样本道路标志对象的样本对象特征图，将各样本对象特征图输入到对象关系检测网络中，得到各样本道路标志对象之间的预测对象关系类型，预测对象关系类型是对象关系检测网络预测出的对象关系类型。服务器可以基于预测对象关系类型确定目标样本组成元素。
在一些实施例中，服务器可以获取样本车道与目标样本组成元素之间的真实关系类型，朝着使得真实关系类型与预测关系类型一致的方向，更新待训练的关系检测模型的模型参数，得到已训练的关系检测模型。
在一些实施例中，在目标样本组成元素是待训练的关系检测模型预测出的情况下，服务器可以获取标准样本组成元素，标准样本组成元素是预先确定的，并获取样本车道与标准样本组成元素之间的真实关系类型。训练的目的是使得预测出的目标样本组成元素与该标准样本组成元素一致，且真实关系类型与预测关系类型一致。在训练的过程中，查找使得目标样本组成元素与该标准样本组成元素一致，且真实关系类型与预测关系类型一致的方向，更新待训练的关系检测模型的模型参数，得到已训练的关系检测模型。
本实施例中，通过样本道路图像，训练出了具有预测车道与组成元素之间的关系类型的已训练的关系检测模型，从而可以通过已训练的关系检测模型自动且快速的确定车道与目标组成元素之间的关系类型。
在一些实施例中，样本道路图像中包括至少两个样本道路标志对象；待训练的关系检测模型中还包括对象关系检测网络；方法还包括：获取各样本道路标志对象的样本对象特征图；将各样本对象特征图输入到对象关系检测网络中，得到各样本道路标志对象之间的预测对象关系类型；基于各样本组成元素确定目标样本组成元素包括：基于预测对象关系类型从各样本道路标志对象中确定非附属样本道路标志对象；基于非附属样本道路标志对象包括的组成元素确定目标样本组成元素。
其中，获取各样本道路标志对象的样本对象特征图，参考上述获取道路标志对象的对象特征图的方法。预测对象关系类型，是通过待训练的关系检测模型中的对象关系检测网络预测出的对象关系类型。确定非附属样本道路标志对象的方法，参考上述的确定非附属道路标志对象的方法。
具体地，服务器可以将非附属样本道路标志对象包括的组成元素确定目标样本组成元素。服务器可以将非附属样本道路标志对象中的每个样本组成元素分别作为目标样本组成元素。或者，服务器可以对各非附属样本道路标志对象包括的全部或部分的样本组成元素进行组合，得到样本组合元素，将样本组合元素和各非附属样本道路标志对象中未参与组合的各样本组成元素分别作为目标样本组成元素。
在一些实施例中，服务器可以获取各样本道路标志对象之间的真实对象关系类型，对象关系类型可以通过类型表征值表示，不同的对象关系类型具有不同的类型表征值，服务器可以根据真实对象关系类型具有的类型表征值与预测对象关系类型具有的类型表征值之间的差值，生成第一损失值，第一损失值与该差值成正相关关系，在训练关系检测模型的过程中，朝着使得第一损失值减小的方向更新对象关系检测网络的参数。
在一些实施例中，待训练的关系检测模型中还包括元素关系检测网络，服务器可以通过元素关系检测网络，预测得到各样本组成元素之间的预测元素关系类型。预测元素关系类型是待训练的关系检测模型中的元素关系检测网络预测出的元素关系类型。服务器可以根据各样本组成元素之间的预测元素关系类型，确定目标样本组成元素。
本实施例中，待训练的关系检测模型中还包括对象关系检测网络，从而使得已训练的关系检测模型具有确定对象关系类型的功能，并且由于对象关系检测网络影响车道关系检测网络的输出结果，有助于提升车道关系检测网络的准确度。
在一些实施例中，待训练的关系检测模型中还包括元素关系检测网络；方法还包括：将各样本道路标志对象之间的预测对象关系类型和各样本元素特征输入到元素关系检测网络中，得到各样本组成元素之间的预测元素关系类型；基于非附属样本道路标志对象包括的组成元素确定目标样本组成元素包括：基于预测元素关系类型和各非附属样本道路标志对象包括的样本组成元素，确定同义类型对应的样本元素组；将同义类型对应的样本元素组中的各样本组成元素进行组合，得到样本组合元素；将各非附属样本道路标志对象包括的除样本元素组之外的样本组成元素和样本组合元素，分别确定为目标样本组成元素。
其中，预测元素关系类型是指元素关系检测网络预测出的元素关系类型。确定预测元素关系类型的方法，参考上述的确定元素关系类型的方法。确定样本元素组的方法参考上述的确定元素组的方法。确定样本组合元素的方法参考上述确定组合元素的方法。确定目标样本组成元素的方法参考上述确定目标组成元素的方法。
具体地，服务器可以获取各样本组成元素之间的真实元素关系类型。元素关系类型可以通过元素关系类型表征值来表示，不同的元素关系类型具有不同的元素关系类型表征值。服务器可以根据真实元素关系类型具有的元素关系类型表征值与预测元素关系类型具有的元素关系类型表征值之间的差值，生成第二损失值，第二损失值与该差值成正相关关系。在训练关系检测模型的过程中，朝着使得第二损失值减小的方向更新元素关系检测网络的参数。
本实施例中，通过元素关系检测网络得到各样本组成元素之间的预测元素关系类型，从而在训练的过程中通过调整元素关系检测网络的参数，可以使得元素关系检测网络准确的进行元素关系类型的预测。
在一些实施例中，如图13所示，提供了一种道路图像处理方法，该方法可以由终端执行，还可以由终端和服务器共同执行，以该方法应用于服务器为例进行说明，包括以下步骤：
步骤1302，确定待训练的关系检测模型；待训练的关系检测模型包括对象关系检测网络、元素关系检测网络和车道关系检测网络。
步骤1304，获取各样本道路标志对象包括的样本组成元素的元素特征、各样本道路标志对象的样本对象特征图、样本车道的车道特征。
其中，样本道路标志对象是指样本道路图像中的道路标志对象。样本车道是指样本道路图像中的车道。
步骤1306，将各样本对象特征图输入到对象关系检测网络中，得到各样本道路标志对象之间的预测对象关系类型。
步骤1308，将各样本道路标志对象之间的预测对象关系类型和各样本元素特征输入到元素关系检测网络中，得到各样本组成元素之间的预测元素关系类型。
步骤1310，基于预测对象关系类型从各样本道路标志对象中确定非附属样本道路标志对象。
步骤1312，基于预测元素关系类型和各非附属样本道路标志对象包括的样本组成元素，确定同义类型对应的样本元素组，将同义类型对应的样本元素组中的各样本组成元素进行组合，得到样本组合元素。
步骤1314，将各非附属样本道路标志对象包括的除样本元素组之外的样本组成元素和样本组合元素，分别确定为目标样本组成元素。
步骤1316，将样本车道的车道特征和目标样本组成元素的元素特征，输入车道关系检测网络，得到样本车道与目标样本组成元素之间的预测关系类型。
步骤1318，获取样本道路图像中各样本道路标志对象之间的真实对象关系类型、各样本组合元素之间的真实元素关系类型、标准样本组成元素、车道与标准样本组成元素之间的真实关系类型。
步骤1320，基于预测对象关系类型的类型表征值和真实对象关系类型的类型表征值之间的差值生成第一损失值，并基于预测元素关系类型的元素关系类型表征值和真实元素关系类型之间的元素关系类型表征值生成第二损失值。
步骤1322，朝着使得第一损失值减小的方向，更新对象关系检测网络的参数，并朝着使得第二损失值减小的方向，更新元素关系检测网络的参数，以及朝着使得目标样本组成元素与标准样本组成元素一致，且真实关系类型与预测关系类型一致的方向，更新车道关系检测网络的参数，得到已训练的关系检测模型。
步骤1324，获取道路图像中道路标志对象包括的组成元素的元素特征、道路图像中车道的车道特征、各道路标志对象的对象特征图。
步骤1326，将各道路标志对象的对象特征图输入到已训练的关系检测模型的对象关系检测网络中，预测得到各道路标志对象之间的对象关系类型。
步骤1328，将预测出的对象关系类型和各组成元素的元素特征，输入到已训练的关系检测模型的元素关系检测网络中，预测得到各组成元素之间的元素关系类型。
步骤1330，基于预测出的对象关系类型从各道路标志对象中确定非附属道路标志对象，并基于元素关系类型和各非附属道路标志对象包括的组成元素，确定同义类型对应的元素组。
其中，同义类型对应的元素组中的各组成元素之间的元素关系类型为同义类型。
步骤1332，将同义类型对应的元素组中的各组成元素进行组合，得到组合元素，将各非附属道路标志对象包括的除元素组之外的组成元素和组合元素，分别确定为目标组成元素。
步骤1334，将车道的车道特征和目标组成元素的元素特征输入到已训练的关系检测模型的车道关系检测网络中，预测得到车道与目标组成元素之间的关系类型。
本实施例中，由于目标组成元素基于组成元素得到，因此目标组成元素体现了道路标志对象的内部组成部分，故车道与目标组成元素之间的关系类型，反映了车道与道路标志对象的内部组成部分之间关系类型，从而根据车道与目标组成元素之间的关系类型作为地图场景中的辅助数据，可以提高为地图场景提供的信息量。
本申请提供的道路图像处理方法，可以应用于地图场景中，地图场景包括但不限于是地图导航或地图更新中的至少一个。
针对地图导航的业务，服务器可以获取多张道路图像，针对每张道路图像，服务器可以确定道路图像中道路标志对象包括的组成元素，基于道路标志对象包括的组成元素确定目标组成元素，获取道路图像中车道的车道特征，根据车道的车道特征和目标组成元素的元素特征，预测得到车道与目标组成元素之间的关系类型。服务器可以获取目标组成元素中的文本内容，将文本内容和车道的标识分别作为节点，并将车道与目标组成元素之间的关系类型作为边，生成道路知识图。在车辆行驶的过程中，导航地图可以根据车辆所在的车道，从道路知识图中确定与该车道有关的节点，确定该节点代表的目标组成元素的位置，确定目标组成元素的位置与车辆的当前位置之间的距离，根据该距离播放语音提示信息，该语音提示信息中包括该距离。
针对地图更新的业务，服务器可以获取多张道路图像，针对每张道路图像，服务器可以获取道路图像中车道的车道特征，根据车道的车道特征和目标组成元素的元素特征，预测得到车道与目标组成元素之间的关系类型。服务器可以获取目标组成元素中的文本内容，将文本内容和车道的标识分别作为节点，并将车道与目标组成元素之间的关系类型作为边，生成道路知识图。服务器可以根据道路知识图对当前的地图进行更新。另外，针对地图更新的业务，服务器可以获取多张道路图像，针对每张道路图像，服务器可以确定道路图像中的各标牌，并确定各标牌包括的组成元素。服务器可以获取当前的地图中车道上的标牌和标牌包括的组成元素。在当前的地图中车道上的标牌与确定出的标牌不符时，更新当前的地图中车道上的标牌。在当前的地图中标牌包括的组成元素与确定出的标牌包括的组成元素不符时，更新当前的地图中车道上的标牌的组成内容。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的道路图像处理方法的道路图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个道路图像处理装置实施例中的具体限定可以参见上文中对于道路图像处理方法的限定，在此不再赘述。
在一些实施例中，如图14所示，提供了一种道路图像处理装置，包括：元素特征获取模块1402、元素确定模块1404、车道特征获取模块1406和关系预测模块1408，其中：
元素特征获取模块1402，用于确定道路图像中道路标志对象包括的组成元素。
元素确定模块1404，用于基于道路标志对象包括的组成元素确定目标组成元素。
车道特征获取模块1406，用于获取道路图像中车道的车道特征。
关系预测模块1408，用于根据车道的车道特征和目标组成元素的元素特征，预测得到车道与目标组成元素之间的关系类型；车道与目标组成元素之间的关系类型用于作为地图场景中的辅助数据。
在一些实施例中，装置还包括对象关系类型确定模块，对象关系类型确定模块，用于在道路图像中包括多个道路标志对象的情况下，确定各道路标志对象之间的对象关系类型；元素确定模块1404，还用于基于对象关系类型从多个道路标志对象中确定附属道路标志对象之外的道路标志对象，得到非附属道路标志对象；附属道路标志对象附属于至少一个道路标志对象，附属道路标志对象所附属于的道路标志对象与附属道路标志对象之间的对象关系类型为附属关系；基于非附属道路标志对象包括的组成元素确定目标组成元素。
在一些实施例中，装置还包括元素关系类型确定模块，元素关系类型确定模块，用于确定各道路标志对象包括的组成元素之间的元素关系类型；元素确定模块1404，还用于基于元素关系类型，从同一非附属道路标志对象包括的组成元素中确定元素关系类型为同义类型的组成元素，得到同义类型对应的元素组；将同义类型对应的元素组中的各组成元素进行组合，得到组合元素；将各非附属道路标志对象包括的除元素组之外的组成元素和组合元素，分别确定为目标组成元素。
在一些实施例中，元素关系类型确定模块，还用于基于各道路标志对象分别包括的各组成元素，生成至少一个组成元素对；在组成元素对中的各组成元素分别属于不同的道路标志对象的情况下，基于各相关道路标志对象之间的对象关系类型，确定组成元素对中各组成元素之间的元素关系类型；各相关道路标志对象，是指组成元素对中的各组成元素分别所属的道路标志对象。
在一些实施例中，元素关系类型确定模块，还用于在各相关道路标志对象之间的对象关系类型为无关的情况下，确定组成元素对中各组成元素之间的元素关系类型为无关；在各相关道路标志对象之间的对象关系类型表征有关的情况下，基于组成元素对中的各组成元素的元素特征，确定组成元素对中各组成元素之间的元素关系类型。
在一些实施例中，元素关系类型确定模块，还用于在组成元素对中的各组成元素属于同一道路标志对象的情况下，基于组成元素对中的各组成元素的元素特征，确定组成元素对中各组成元素之间的元素关系类型。
在一些实施例中，对象关系类型确定模块，用于从道路图像中获取各道路标志对象的对象图像；分别对每个道路标志对象的对象图像进行特征提取，得到每个道路标志对象的对象特征图；基于各道路标志对象的对象特征图确定各道路标志对象之间的对象关系类型。
在一些实施例中，关系预测模块1406，还用于根据车道的车道特征和目标组成元素的元素特征，预测车道与目标组成元素之间的关系特征；根据车道与目标组成元素之间的关系特征，预测得到车道与目标组成元素之间的关系类型。
在一些实施例中，装置还包括图生成模块，图生成模块，用于获取目标组成元素中的文本内容；将文本内容和车道的标识分别作为节点，并将车道与目标组成元素之间的关系类型作为边，生成道路知识图。
在一些实施例中，车道与目标组成元素之间的关系类型，是基于已训练的关系检测模型预测的；装置还包括关系检测模型训练模块，关系检测模型训练模块，用于获取样本组成元素的元素特征；样本组成元素是指样本道路图像中的样本道路标志对象包括的组成元素；基于各样本组成元素确定目标样本组成元素；目标样本组成元素，用于预测与样本道路图像中的样本车道之间的关系类型，目标样本组成元素，基于至少一个样本组成元素得到；将样本车道的车道特征和目标样本组成元素的元素特征，输入待训练的关系检测模型中的车道关系检测网络，得到样本车道与目标样本组成元素之间的预测关系类型；根据样本车道与目标样本组成元素之间的预测关系类型，更新待训练的关系检测模型的模型参数，得到已训练的关系检测模型。
在一些实施例中，样本道路图像中包括至少两个样本道路标志对象；待训练的关系检测模型中还包括对象关系检测网络；关系检测模型训练模块，还用于获取各样本道路标志对象的样本对象特征图；将各样本对象特征图输入到对象关系检测网络中，得到各样本道路标志对象之间的预测对象关系类型；基于预测对象关系类型从各样本道路标志对象中确定非附属样本道路标志对象；基于非附属样本道路标志对象包括的组成元素确定目标样本组成元素。
在一些实施例中，待训练的关系检测模型中还包括元素关系检测网络；关系检测模型训练模块，还用于将各样本道路标志对象之间的预测对象关系类型和各样本元素特征输入到元素关系检测网络中，得到各样本组成元素之间的预测元素关系类型；基于预测元素关系类型和各非附属样本道路标志对象包括的样本组成元素，确定同义类型对应的样本元素组；将同义类型对应的样本元素组中的各样本组成元素进行组合，得到样本组合元素；将各非附属样本道路标志对象包括的除样本元素组之外的样本组成元素和样本组合元素，分别确定为目标样本组成元素。
上述道路图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图15所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储道路图像处理方法中涉及到的数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种道路图像处理方法。
在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图16所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种道路图像处理方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图15和图16中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一些实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述道路图像处理方法中的步骤。
在一些实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述道路图像处理方法中的步骤。
在一些实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述道路图像处理方法中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive RandomAccess Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（PhaseChange Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（StaticRandom Access Memory，SRAM）或动态随机存取存储器（Dynamic Random AccessMemory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (20)

1.一种道路图像处理方法，其特征在于，所述方法包括：
确定道路图像中各道路标志对象包括的组成元素；
确定各所述道路标志对象之间的对象关系类型，根据所述对象关系类型从各道路标志对象中确定非附属道路标志对象；
基于各所述道路标志对象分别包括的组成元素，生成至少一个组成元素对；
在所述组成元素对中的各组成元素分别属于不同的道路标志对象的情况下，基于所述组成元素对中的各组成元素分别所属的道路标志对象之间的对象关系类型，确定所述组成元素对中各组成元素之间的元素关系类型；
在所述组成元素对中的各组成元素属于同一道路标志对象的情况下，基于所述组成元素对中的各组成元素的元素特征，得到所述组成元素对中各组成元素之间的元素关系类型；所述组成元素的元素特征，包括所述组成元素的视觉特征、语义特征或位置特征中的至少一个；
基于所述元素关系类型，从同一非附属道路标志对象包括的组成元素中确定元素关系类型为同义类型的组成元素并组合，得到组合元素；
将各所述非附属道路标志对象包括的除所述同义类型的组成元素之外的组成元素和所述组合元素，分别确定为目标组成元素；
根据所述道路图像中车道的车道特征和所述目标组成元素的元素特征，预测得到所述车道与所述目标组成元素之间的关系类型；所述车道与所述目标组成元素之间的关系类型用于作为地图场景中的辅助数据。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于对象关系类型从各道路标志对象中确定附属道路标志对象之外的道路标志对象，得到非附属道路标志对象；所述附属道路标志对象附属于至少一个道路标志对象，所述附属道路标志对象所附属于的道路标志对象与所述附属道路标志对象之间的对象关系类型为附属关系。
3.根据权利要求1所述的方法，其特征在于，所述基于所述组成元素对中的各组成元素分别所属的道路标志对象之间的对象关系类型，确定所述组成元素对中各组成元素之间的元素关系类型包括以下至少一种：
在所述组成元素对中的各组成元素分别所属的道路标志对象之间的对象关系类型为无关的情况下，确定所述组成元素对中各组成元素之间的元素关系类型为无关；
在所述组成元素对中的各组成元素分别所属的道路标志对象之间的对象关系类型表征有关的情况下，基于所述组成元素对中的各组成元素的元素特征，确定所述组成元素对中各组成元素之间的元素关系类型。
4.根据权利要求1所述的方法，其特征在于，所述确定各所述道路标志对象之间的对象关系类型包括：
从所述道路图像中获取各所述道路标志对象的对象图像；
分别对每个所述道路标志对象的对象图像进行特征提取，得到每个所述道路标志对象的对象特征图；
基于各所述道路标志对象的对象特征图确定各所述道路标志对象之间的对象关系类型。
5.根据权利要求1所述的方法，其特征在于，所述根据所述道路图像中车道的车道特征和所述目标组成元素的元素特征，预测得到所述车道与所述目标组成元素之间的关系类型包括：
根据所述车道的车道特征和所述目标组成元素的元素特征，预测所述车道与所述目标组成元素之间的关系特征；
根据所述车道与所述目标组成元素之间的关系特征，预测得到所述车道与所述目标组成元素之间的关系类型。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述目标组成元素中的文本内容；
将所述文本内容和所述车道的标识分别作为节点，并将所述车道与所述目标组成元素之间的关系类型作为边，生成道路知识图。
7.根据权利要求1至6任意一项所述的方法，其特征在于，所述车道与所述目标组成元素之间的关系类型，是基于已训练的关系检测模型预测的；得到所述已训练的关系检测模型的步骤包括：
获取样本组成元素的元素特征；所述样本组成元素是指样本道路图像中的样本道路标志对象包括的组成元素；
基于各所述样本组成元素确定目标样本组成元素；所述目标样本组成元素用于预测与所述样本道路图像中的样本车道之间的关系类型，所述目标样本组成元素基于至少一个所述样本组成元素得到；
将所述样本车道的车道特征和所述目标样本组成元素的元素特征，输入待训练的关系检测模型中的车道关系检测网络，得到所述样本车道与所述目标样本组成元素之间的预测关系类型；
根据所述样本车道与所述目标样本组成元素之间的预测关系类型，更新待训练的关系检测模型的模型参数，得到已训练的关系检测模型。
8.根据权利要求7所述的方法，其特征在于，所述样本道路图像中包括至少两个样本道路标志对象；所述待训练的关系检测模型中还包括对象关系检测网络；所述方法还包括：
获取各所述样本道路标志对象的样本对象特征图；
将各所述样本对象特征图输入到对象关系检测网络中，得到各所述样本道路标志对象之间的预测对象关系类型；
所述基于各所述样本组成元素确定目标样本组成元素包括：
基于预测对象关系类型从各所述样本道路标志对象中确定非附属样本道路标志对象；
基于所述非附属样本道路标志对象包括的组成元素确定目标样本组成元素。
9.根据权利要求8所述的方法，其特征在于，所述待训练的关系检测模型中还包括元素关系检测网络；所述方法还包括：
将各所述样本道路标志对象之间的预测对象关系类型和各所述样本组成元素的元素特征输入到所述元素关系检测网络中，得到各所述样本组成元素之间的预测元素关系类型；
所述基于所述非附属样本道路标志对象包括的组成元素确定目标样本组成元素包括：
基于预测元素关系类型和各所述非附属样本道路标志对象包括的样本组成元素，确定同义类型对应的样本元素组；
将所述同义类型对应的样本元素组中的各样本组成元素进行组合，得到样本组合元素；
将各所述非附属样本道路标志对象包括的除所述样本元素组之外的样本组成元素和所述样本组合元素，分别确定为目标样本组成元素。
10.一种道路图像处理装置，其特征在于，所述装置包括：
元素特征获取模块，用于确定道路图像中各道路标志对象包括的组成元素；
对象关系类型确定模块，用于确定各所述道路标志对象之间的对象关系类型；
元素关系类型确定模块，用于根据所述对象关系类型从各道路标志对象中确定非附属道路标志对象；基于各所述道路标志对象分别包括的各组成元素，生成至少一个组成元素对；在所述组成元素对中的各组成元素分别属于不同的道路标志对象的情况下，基于所述组成元素对中的各组成元素分别所属的道路标志对象之间的对象关系类型，确定所述组成元素对中各组成元素之间的元素关系类型；在所述组成元素对中的各组成元素属于同一道路标志对象的情况下，基于所述组成元素对中的各组成元素的元素特征，得到所述组成元素对中各组成元素之间的元素关系类型；所述组成元素的元素特征，包括所述组成元素的视觉特征、语义特征或位置特征中的至少一个；
元素确定模块，用于基于元素关系类型，从同一非附属道路标志对象包括的组成元素中确定元素关系类型为同义类型的组成元素并组合，得到组合元素；将各所述非附属道路标志对象包括的除所述同义类型的组成元素之外的组成元素和所述组合元素，分别确定为目标组成元素；
关系预测模块，用于根据所述道路图像中车道的车道特征和所述目标组成元素的元素特征，预测得到所述车道与所述目标组成元素之间的关系类型；所述车道与所述目标组成元素之间的关系类型用于作为地图场景中的辅助数据。
11.根据权利要求10所述的装置，其特征在于，所述装置还包括对象关系类型确定模块，所述对象关系类型确定模块用于：
在所述道路图像中包括多个道路标志对象的情况下，确定各所述道路标志对象之间的对象关系类型；
基于对象关系类型从所述多个道路标志对象中确定附属道路标志对象之外的道路标志对象，得到非附属道路标志对象；所述附属道路标志对象附属于至少一个道路标志对象，所述附属道路标志对象所附属于的道路标志对象与所述附属道路标志对象之间的对象关系类型为附属关系。
12.根据权利要求10所述的装置，其特征在于，所述元素关系类型确定模块，还用于：
在所述组成元素对中的各组成元素分别所属的道路标志对象之间的对象关系类型为无关的情况下，确定所述组成元素对中各组成元素之间的元素关系类型为无关；
在所述组成元素对中的各组成元素分别所属的道路标志对象之间的对象关系类型表征有关的情况下，基于所述组成元素对中的各组成元素的元素特征，确定所述组成元素对中各组成元素之间的元素关系类型。
13.根据权利要求10所述的装置，其特征在于，所述对象关系类型确定模块，还用于：
从所述道路图像中获取各所述道路标志对象的对象图像；
分别对每个所述道路标志对象的对象图像进行特征提取，得到每个所述道路标志对象的对象特征图；
基于各所述道路标志对象的对象特征图确定各所述道路标志对象之间的对象关系类型。
14.根据权利要求10所述的装置，其特征在于，所述关系预测模块，还用于：
根据所述车道的车道特征和所述目标组成元素的元素特征，预测所述车道与所述目标组成元素之间的关系特征；
根据所述车道与所述目标组成元素之间的关系特征，预测得到所述车道与所述目标组成元素之间的关系类型。
15.根据权利要求10所述的装置，其特征在于，所述装置还包括图生成模块，所述图生成模块用于：
获取所述目标组成元素中的文本内容；
将所述文本内容和所述车道的标识分别作为节点，并将所述车道与所述目标组成元素之间的关系类型作为边，生成道路知识图。
16.根据权利要求10至15任一项所述的装置，其特征在于，所述车道与所述目标组成元素之间的关系类型，是基于已训练的关系检测模型预测的；所述装置还包括关系检测模型训练模块，所述关系检测模型训练模块用于：
获取样本组成元素的元素特征；所述样本组成元素是指样本道路图像中的样本道路标志对象包括的组成元素；
基于各所述样本组成元素确定目标样本组成元素；所述目标样本组成元素用于预测与所述样本道路图像中的样本车道之间的关系类型，所述目标样本组成元素基于至少一个所述样本组成元素得到；
将所述样本车道的车道特征和所述目标样本组成元素的元素特征，输入待训练的关系检测模型中的车道关系检测网络，得到所述样本车道与所述目标样本组成元素之间的预测关系类型；
根据所述样本车道与所述目标样本组成元素之间的预测关系类型，更新待训练的关系检测模型的模型参数，得到已训练的关系检测模型。
17.根据权利要求16所述的装置，其特征在于，所述样本道路图像中包括至少两个样本道路标志对象；所述待训练的关系检测模型中还包括对象关系检测网络；所述关系检测模型训练模块用于：
获取各所述样本道路标志对象的样本对象特征图；
将各所述样本对象特征图输入到对象关系检测网络中，得到各所述样本道路标志对象之间的预测对象关系类型；
基于预测对象关系类型从各所述样本道路标志对象中确定非附属样本道路标志对象；
基于所述非附属样本道路标志对象包括的组成元素确定目标样本组成元素。
18.根据权利要求17所述的装置，其特征在于，所述待训练的关系检测模型中还包括元素关系检测网络；所述关系检测模型训练模块，还用于：
将各所述样本道路标志对象之间的预测对象关系类型和各所述样本组成元素的元素特征输入到所述元素关系检测网络中，得到各所述样本组成元素之间的预测元素关系类型；
基于预测元素关系类型和各所述非附属样本道路标志对象包括的样本组成元素，确定同义类型对应的样本元素组；
将所述同义类型对应的样本元素组中的各样本组成元素进行组合，得到样本组合元素；
将各所述非附属样本道路标志对象包括的除所述样本元素组之外的样本组成元素和所述样本组合元素，分别确定为目标样本组成元素。
19.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
CN202310959059.2A 2023-08-01 2023-08-01 道路图像处理方法、装置、计算机设备和存储介质 Active CN116665157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310959059.2A CN116665157B (zh) 2023-08-01 2023-08-01 道路图像处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310959059.2A CN116665157B (zh) 2023-08-01 2023-08-01 道路图像处理方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN116665157A CN116665157A (zh) 2023-08-29
CN116665157B true CN116665157B (zh) 2023-11-03

Family

ID=87721112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310959059.2A Active CN116665157B (zh) 2023-08-01 2023-08-01 道路图像处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN116665157B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111542860A (zh) * 2016-12-30 2020-08-14 迪普迈普有限公司 用于自主车辆的高清地图的标志和车道创建
CN111854766A (zh) * 2020-01-13 2020-10-30 北京嘀嘀无限科技发展有限公司 一种道路信息确定方法、装置、电子设备及存储介质
CN113762039A (zh) * 2021-04-29 2021-12-07 腾讯科技（深圳）有限公司 一种交通标志牌的信息匹配方法及相关装置
CN113887391A (zh) * 2021-09-29 2022-01-04 北京百度网讯科技有限公司 用于识别路面标识的方法、装置以及自动驾驶车辆
CN113902047A (zh) * 2021-12-10 2022-01-07 腾讯科技（深圳）有限公司 图像元素匹配方法、装置、设备以及存储介质
CN113947764A (zh) * 2021-12-06 2022-01-18 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及存储介质
CN114429528A (zh) * 2022-01-24 2022-05-03 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、计算机程序及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111542860A (zh) * 2016-12-30 2020-08-14 迪普迈普有限公司 用于自主车辆的高清地图的标志和车道创建
CN111854766A (zh) * 2020-01-13 2020-10-30 北京嘀嘀无限科技发展有限公司 一种道路信息确定方法、装置、电子设备及存储介质
CN113762039A (zh) * 2021-04-29 2021-12-07 腾讯科技（深圳）有限公司 一种交通标志牌的信息匹配方法及相关装置
CN113887391A (zh) * 2021-09-29 2022-01-04 北京百度网讯科技有限公司 用于识别路面标识的方法、装置以及自动驾驶车辆
CN113947764A (zh) * 2021-12-06 2022-01-18 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及存储介质
CN113902047A (zh) * 2021-12-10 2022-01-07 腾讯科技（深圳）有限公司 图像元素匹配方法、装置、设备以及存储介质
CN114429528A (zh) * 2022-01-24 2022-05-03 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、计算机程序及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Lane Line Map Estimation for Visual Alignment;Minjung Son等;《2020 IEEE International Conference on Artificial Intelligence and Virtual Reality (AIVR)》;第200-204页 *
基于语义分割的多类别地面交通标志识别;邵一鸣;《实验室研究与探索》;第42卷(第05期);第46-52+61页 *

Also Published As

Publication number Publication date
CN116665157A (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
Sun et al. Leveraging crowdsourced GPS data for road extraction from aerial imagery
Peng et al. CrowdGIS: Updating digital maps via mobile crowdsensing
US11255678B2 (en) Classifying entities in digital maps using discrete non-trace positioning data
CN117078790B (zh) 图像生成方法、装置、计算机设备和存储介质
CN111291811A (zh) 区域划分和分类方法、装置和计算机可读存储介质
Tran et al. Pp-linknet: Improving semantic segmentation of high resolution satellite imagery with multi-stage training
Taşyürek ODRP: a new approach for spatial street sign detection from EXIF using deep learning-based object detection, distance estimation, rotation and projection system
Zhang et al. Automated detecting and placing road objects from street-level images
CN114627073A (zh) 地形识别方法、装置、计算机设备和存储介质
CN112862730B (zh) 点云特征增强方法、装置、计算机设备和存储介质
Shi et al. Fine object change detection based on vector boundary and deep learning with high-resolution remote sensing images
Yue et al. Automatic vocabulary and graph verification for accurate loop closure detection
CN112084876A (zh) 一种目标对象追踪方法、系统、装置及介质
CN116012626B (zh) 建筑立面图像的素材匹配方法、装置、设备和存储介质
CN116665157B (zh) 道路图像处理方法、装置、计算机设备和存储介质
CN115601283B (zh) 图像增强方法、装置、计算机设备及计算机可读存储介质
CN116129386A (zh) 可行驶区域检测方法、系统及计算机可读介质
Wang et al. ATG-PVD: Ticketing parking violations on a drone
CN113902047B (zh) 图像元素匹配方法、装置、设备以及存储介质
Schennings Deep convolutional neural networks for real-time single frame monocular depth estimation
CN115712749A (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN112667864A (zh) 图对齐方法、装置、电子设备及存储介质
Xiao et al. Confidence map based 3D cost aggregation with multiple minimum spanning trees for stereo matching
CN114841084B (zh) 一种基于航拍图像的人员疏散模拟方法、系统及设备
Han et al. A Two‐Branch Pedestrian Detection Method for Small and Blurred Target

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40093097

Country of ref document: HK