CN116682096B - 信息添加方法、装置、计算机设备及存储介质 - Google Patents
信息添加方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN116682096B CN116682096B CN202310969263.2A CN202310969263A CN116682096B CN 116682096 B CN116682096 B CN 116682096B CN 202310969263 A CN202310969263 A CN 202310969263A CN 116682096 B CN116682096 B CN 116682096B
- Authority
- CN
- China
- Prior art keywords
- road
- feature
- signage
- sub
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000001514 detection method Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 18
- 238000013473 artificial intelligence Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000011176 pooling Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种信息添加方法、装置、计算机设备及存储介质，属于计算机技术领域。该方法包括：对道路标牌图像包含的多个标牌元素进行特征提取，得到每个标牌元素的图像特征及位置特征；基于多个标牌元素的图像特征及位置特征，对多个标牌元素进行关系预测，得到每两个标牌元素在道路标牌图像中的关联关系；基于多个标牌元素的关联关系，为虚拟地图中道路标牌指示的虚拟道路添加道路指引信息。本申请提供的方案用于各种复杂的道路标牌图像，保证了道路指引信息的准确性，进而保证虚拟地图与真实环境相匹配符，进而能够提升虚拟地图的准确性。
Description
技术领域
本申请实施例涉及计算机技术领域，特别涉及一种信息添加方法、装置、计算机设备及存储介质。
背景技术
随着计算机技术的发展，虚拟地图的应用越来越受到用户的喜爱。为了使得虚拟地图与真实地图保持同步，通常会将真实环境中的道路标牌同步到虚拟地图中，以便用户在查看虚拟地图时能够获知各个道路的交通限制情况。目前，在对道路进行拍摄得到道路图像的情况下，对道路图像进行分类，以确定道路图像包含的道路标牌所属的类别，进而在虚拟地图中添加相应的信息，但是由于道路标牌复杂多样，使得这种方式在虚拟地图中添加的信息的准确性差。
发明内容
本申请实施例提供了一种信息添加方法、装置、计算机设备及存储介质，能够提高在虚拟地图中添加的道路指引信息的准确性，所述技术方案包括如下方面。
一方面，提供了一种信息添加方法，所述方法包括：
对道路标牌图像包含的多个标牌元素进行特征提取，得到每个标牌元素的图像特征及位置特征，所述位置特征指示所述标牌元素在所述道路标牌图像中的位置，所述道路标牌图像是对道路中的道路标牌拍摄得到；
基于所述多个标牌元素的图像特征及位置特征，对所述多个标牌元素进行关系预测，得到每两个标牌元素在所述道路标牌图像中的关联关系；
基于所述多个标牌元素的关联关系，为虚拟地图中所述道路标牌指示的虚拟道路添加道路指引信息。
另一方面，提供了一种信息添加装置，所述装置包括：
提取模块，用于对道路标牌图像包含的多个标牌元素进行特征提取，得到每个标牌元素的图像特征及位置特征，所述位置特征指示所述标牌元素在所述道路标牌图像中的位置，所述道路标牌图像是对道路中的道路标牌拍摄得到；
预测模块，用于基于所述多个标牌元素的图像特征及位置特征，对所述多个标牌元素进行关系预测，得到每两个标牌元素在所述道路标牌图像中的关联关系；
添加模块，用于基于所述多个标牌元素的关联关系，为虚拟地图中所述道路标牌指示的虚拟道路添加道路指引信息。
在一种可能实现方式中，所述提取模块，用于按照特征尺度，以第一特征图包含的每个特征点为中心，从所述第一特征图中提取多个第一子特征，所述第一特征图用于表征所述道路标牌图像；基于每个第一子特征属于每种元素类型的概率，从所述多个第一子特征中筛选出第二子特征，所述第二子特征用于表征标牌元素，所述元素类型指示一种标牌元素；基于所述第二子特征在所述第一特征图中的位置，确定所述第二子特征的位置特征。
在另一种可能实现方式中，所述提取模块，用于对于所述第一特征图包含的每个特征点，按照多个特征尺度，以所述特征点为中心，从所述第一特征图中提取每个特征尺度的第一子特征。
在另一种可能实现方式中，所述提取模块，用于基于所述每个第一子特征属于每种元素类型的概率，将对应的最大概率大于第一阈值的第一子特征，确定为所述第二子特征，所述第二子特征表征的标牌元素属于所述最大概率对应的元素类型；
所述装置还包括：
确定模块，用于在任两个第二子特征在所述第一特征图中的位置重叠、且所述两个第二子特征对应的元素类型相同的情况下，确定所述两个第二子特征的重叠度，所述重叠度指示所述两个第二子特征在所述第一特征图中所占的区域的重叠情况；
过滤模块，用于在所述重叠度大于第二阈值的情况下，过滤掉所述两个第二子特征中对应的最大概率较小的第二子特征。
在另一种可能实现方式中，所述预测模块，用于对于所述多个标牌元素中任两个标牌元素，将所述两个标牌元素的图像特征及位置特征进行拼接，得到拼接特征；对所述拼接特征进行分类，得到所述两个标牌元素具有每种关联关系的概率；基于所述两个标牌元素具有每种关联关系的概率，将最大概率对应的关联关系，确定所述两个标牌元素之间的关联关系。
在另一种可能实现方式中，所述装置还包括：
获取模块，用于获取道路图像，所述道路图像包含道路标牌，所述道路图像是对道路拍摄得到；
检测模块，用于对所述道路图像进行标牌检测，得到所述道路标牌在所述道路图像中的位置；
所述提取模块，还用于基于所述位置，从所述道路图像中提取包含所述道路标牌的所述道路标牌图像。
在另一种可能实现方式中，所述检测模块，用于按照特征尺度，以第二特征图包含的每个特征点为中心，从所述第二特征图中提取多个第三子特征，所述第二特征图用于表征所述道路图像；对所述多个第三子特征进行分类，得到每个第三子特征对应的概率，所述第三子特征对应的概率指示所述第三子特征用于表征道路标牌的可能性；确定对应的概率大于第三阈值的第三子特征在所述第二特征图中的位置，所述对应的概率大于第三阈值的第三子特征用于表征道路标牌。
在另一种可能实现方式中，所述道路指引信息包括：用于表示所述虚拟道路的行驶方向及所述行驶方向指向的目的地的信息、用于表示所述虚拟道路包含的车道的行驶方向及所述行驶方向指向的目的地的信息、所述虚拟道路的警示信息、用于表示地区所处方位的信息或所述虚拟道路的车辆行驶信息中的至少一项。
在另一种可能实现方式中，所述添加模块，用于在所述多个标牌元素包括箭头元素及目的地元素的情况下，基于所述箭头元素与所述目的地元素的关联关系，在所述虚拟道路中添加所述虚拟道路的方向标识及所述方向标识指向的目的地，所述方向标识与所述箭头元素指示的行驶方向相同；或者，在所述多个标牌元素包括车道元素及箭头元素的情况下，基于所述车道元素与所述箭头元素的关联关系，在所述虚拟道路包含的车道中添加方向标识，所述方向标识与所述箭头元素指示的行驶方向相同。
在另一种可能实现方式中，所述添加模块，用于基于所述多个标牌元素的图像特征，确定所述道路标牌的标牌类型；基于所述道路标牌的标牌类型及所述多个标牌元素的关联关系，在所述虚拟道路中添加与所述标牌类型匹配的道路指引信息。
在另一种可能实现方式中，所述装置还包括：
生成模块，用于基于所述多个标牌元素的图像特征及位置特征，生成虚拟标牌，所述虚拟标牌指示所述道路标牌；
所述添加模块，还用于基于所述道路标牌图像对应的拍摄位置，在所述虚拟道路中所述拍摄位置上添加所述虚拟标牌。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行以实现如上述方面所述的信息添加方法所执行的操作。
另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现如上述方面所述的信息添加方法所执行的操作。
再一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述方面所述的信息添加方法所执行的操作。
本申请实施例提供的方案中，利用对真实环境下道路中的道路标牌拍摄得到的道路标牌图像，通过识别道路标牌图像包含的标牌元素，采取关系预测的方式，能够确定出各个标牌元素之间的关联关系，进而按照各个标牌元素之间的关联关系，为虚拟地图中道路标牌指示的虚拟道路添加道路指引信息，以使添加的道路指引信息与道路标牌图像相匹配，且这种方式能够适用于各种复杂的道路标牌图像，能够保证道路指引信息的准确性，进而保证虚拟地图与真实环境相匹配符，进而能够提升虚拟地图的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的结构示意图；
图2是本申请实施例提供的一种信息添加方法的流程图；
图3是本申请实施例提供的另一种信息添加方法的流程图；
图4是本申请实施例提供的一种提取子特征的示意图；
图5是本申请实施例提供的一种检测框的示意图；
图6是本申请实施例提供的再一种信息添加方法的流程图；
图7是本申请实施例提供的一种确定道路标牌位置的流程图；
图8是本申请实施例提供的一种第一卷积神经网络的结构示意图；
图9是本申请实施例提供的一种道路标牌的示意图；
图10是本申请实施例提供的一种标牌元素的示意图；
图11是本申请实施例提供的一种关键特征提取的流程图；
图12是本申请实施例提供的一种图特征解析的流程图；
图13是本申请实施例提供的一种获取关联关系的流程图；
图14是本申请实施例提供的一种关联关系推理结果的示意图；
图15是本申请实施例提供的另一种道路标牌的示意图；
图16是本申请实施例提供的一种信息添加装置的结构示意图；
图17是本申请实施例提供的另一种信息添加装置的结构示意图；
图18是本申请实施例提供的一种终端的结构示意图；
图19是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念，但除非特别说明，这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说，在不脱离本申请的范围的情况下，可以将第一特征图称为第二特征图，且类似地，可将第二特征图称为第一特征图。
本申请所使用的术语“至少一个”、“多个”、“每个”、“任一”，至少一个包括一个、两个或两个以上，多个包括两个或两个以上，而每个是指对应的多个中的每一个，任一是指多个中的任意一个。举例来说，多个标牌元素包括3个标牌元素，而每个是指这3个标牌元素中的每一个标牌元素，任一是指这3个标牌元素中的任意一个，能够是第一个标牌元素，或者是第二个标牌元素，或者是第三个标牌元素。
需要说明的是，本申请所涉及的信息（包括但不限于用户设备信息、用户个人信息等）、数据（包括但不限于用于分析的数据、存储的数据、展示的数据等）以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本申请中涉及到的道路标牌图像和道路图像都是在充分授权的情况下获取的。
人工智能（Artificial Intelligence，AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术（Computer Vision，CV）是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。大模型技术为计算机视觉技术发展带来重要变革，Swin-Transformer（一种网络模型），ViT（一种网络模型），V-MOE（一种视觉模型），MAE（一种视觉模型）等视觉领域的预训练模型经过微调（Fine Tune）可以快速、广泛适用于下游具体任务。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR（Optical CharacterRecognition，文字识别）、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D（3-Dimension，三维）技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习（Machine Learning，ML）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。预训练模型是深度学习的最新发展成果，融合了以上技术。
本申请实施例提供的方案，基于人工智能的机器学习技术，可以训练网络模型，利用训练后的网络模型，实现信息添加方法。
本申请实施例提供的信息添加方法，由计算机设备执行。可选地，该计算机设备为终端或服务器。可选地，该服务器是独立的物理服务器，或者，是多个物理服务器构成的服务器集群或者分布式系统，或者，是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN（Content Delivery Network，内容分发网络）、以及大数据和人工智能平台等基础云计算服务的云服务器。可选地，该终端是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能语音交互设备、智能家电及车载终端等，但并不局限于此。
在一些实施例中，本申请实施例所涉及的计算机程序可被部署在一个计算机设备上执行，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行，分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链系统。
在一些实施例中，计算机设备提供为服务器。图1是本申请实施例提供的一种实施环境的示意图。参见图1，该实施环境包括终端101和服务器102，终端101和服务器102之间通过无线或者有线网络连接。可选地，终端101为地图采集设备或其他能够拍摄图像的设备。终端101能够拍摄道路标牌得到道路标牌图像。终端101用于提供道路标牌图像，服务器102用于与终端101进行交互，利用获取到的道路标牌图像，对虚拟地图进行更新。
在一种可能实现方式中，终端101上安装由服务器102提供服务的应用，终端101能够通过该应用实现例如导航、数据传输等功能。可选地，应用为终端101操作系统中的应用，或者为第三方提供的应用。例如，应用为导航应用，该导航应用具有导航的功能，当然，该导航应用还能够具有其他功能，例如，点评功能、购物功能、游戏功能等。终端101通过应用与服务器102进行交互，为服务器102提供道路标牌图像。
在一种可能实现方式中，终端101为服务器102提供道路图像，道路图像包含道路标牌，服务器102用于从获取到的道路图像中识别出道路标牌，并从道路图像中提取包含道路标牌的道路标牌图像，进而利用道路标牌图像对虚拟地图进行更新。可选地，道路图像是由终端101采集得到。
图2是本申请实施例提供的一种信息添加方法的流程图，由计算机设备执行，如图2所示，该方法包括以下步骤。
201、计算机设备对道路标牌图像包含的多个标牌元素进行特征提取，得到每个标牌元素的图像特征及位置特征，位置特征指示标牌元素在道路标牌图像中的位置，道路标牌图像是对道路中的道路标牌拍摄得到。
在本申请实施例中，道路标牌为真实环境下道路上设置的标牌，道路标牌用于指引道路。道路标牌包含多个标牌元素，该多个标牌元素能够体现出道路标牌的含义，也即是，能够体现出道路标牌要指引出怎样的信息。标牌元素具有多种类型，例如，标牌元素包括名称、箭头、人行道标识、车辆标识等。由于道路标牌包含多个标牌元素，多个标牌元素以不同的形式组成，能够体现出不同的含义，因此，通过对道路标牌图像中的标牌元素进行识别，并预测各个标牌元素之间的关联关系，以便能够获知道路标牌图像包含的道路标牌的含义。
其中，图像特征和位置特征均能够以任意的形式表示，例如，图像特征和位置特征均能够以特征向量或特征矩阵的形式表示。图像特征用于表征标牌元素，图像特征为标牌元素在道路标牌图像中所占的局部图像的特征。
202、计算机设备基于多个标牌元素的图像特征及位置特征，对多个标牌元素进行关系预测，得到每两个标牌元素在道路标牌图像中的关联关系。
在本申请实施例中，由于任一标牌元素的图像特征及位置特征能够表征该标牌元素，因此，基于每两个标牌元素的图像特征及位置特征，能够确定出两个标牌元素是否具有关联，进而能够预测出两个标牌元素之间的关联关系。
在本申请实施例中，标牌元素之间的不同关联关系，能够体现出不同的含义。例如，两个标牌元素包括箭头和道路名称，若箭头与道路名称具有关联关系，则能够表示出沿着箭头方向移动能够达到该道路名称指示的道路；若道路名称与箭头具有关联关系，则能够表示出沿着箭头方向的反向移动能够达到道路名称指示的道路。
203、计算机设备基于多个标牌元素的关联关系，为虚拟地图中道路标牌指示的虚拟道路添加道路指引信息。
在本申请实施例中，在获取到道路标牌图像包含的多个标牌元素的关联关系的情况下，基于多个标牌元素的关联关系，即可获知道路标牌的含义，也即是，能够获知道路标牌所要指引怎样的信息，因此，能够基于多个标牌元素的关联关系，为虚拟地图中道路标牌指示的虚拟道路添加道路指引信息，该道路指引信息与道路标牌所要指引的信息相匹配，进而保证虚拟地图与真实环境相匹配符，进而能够提升虚拟地图的准确性。其中，道路指引信息为道路标牌要指示的信息，道路指引信息与道路标牌相匹配。例如，道路标牌用于指引各个道路之间的位置关系，如指引当前道路的名称、按照当前道路的行驶方向会到达的道路的名称、当前道路左转后会到达的道路的名称、当前道路右转后会到达的道路的名称，则在虚拟地图中添加的道路指引信息指示当前道路的名称、按照当前道路的行驶方向会到达的道路的名称、当前道路左转后会到达的道路的名称、当前道路右转后会到达的道路的名称。
本申请实施例提供的方案中，利用对真实环境下道路中的道路标牌拍摄得到的道路标牌图像，通过识别道路标牌图像包含的标牌元素，采取关系预测的方式，能够确定出各个标牌元素之间的关联关系，进而按照各个标牌元素之间的关联关系，为虚拟地图中道路标牌指示的虚拟道路添加道路指引信息，以使添加的道路指引信息与道路标牌图像相匹配，且这种方式能够适用于各种复杂的道路标牌图像，能够保证道路指引信息的准确性，进而保证虚拟地图与真实环境相匹配符，进而能够提升虚拟地图的准确性。
在图2所示实施例的基础上，本申请实施例能够采取标牌识别的方式，从道路图像中提取道路标牌图像，利用道路标牌图像的特征图，从道路标牌图像中识别出各个标牌元素，进而采取分类的方式来获取各个标牌元素之间的关联关系，具体过程详见下述实施例。
图3是本申请实施例提供的另一种信息添加方法的流程图，由计算机设备执行，如图3所示，该方法包括以下步骤。
301、计算机设备获取道路图像，道路图像包含道路标牌，道路图像是对道路拍摄得到。
在本申请实施例中，道路图像是对真实环境下道路拍摄得到，该道路图像包括真实环境下的道路标牌。例如，道路图像不仅包含真实环境下道路，还包含道路上方或一侧放置的道路标牌。道路图像包含的道路标牌作为地图数据图像的图像要素，具有道路指引的作用。
在一种可能实现方式中，以计算机设备提供为服务器为例，获取道路图像的过程包括：车载拍摄设备对车辆行驶前方的道路进行拍摄，得到道路图像，向服务器发送该道路图像，服务器接收道路图像。
其中，车载拍摄设备为任意类型的设备，例如，车载拍摄设备为行车记录仪或车辆上安装的其他拍摄设备。
在本申请实施例中，车辆在道路中行驶的过程中，车辆上安装的车载拍摄设备能够对行驶前方的道路进行拍摄，以得到道路图像，而在行驶前方的道路上方或一侧设置有道路标牌的情况下，拍摄得到的道路图像中显示有道路标牌，车载拍摄设备能够将拍摄到的道路图像上传至服务器，以便服务器能够基于道路图像对虚拟地图进行更新。
例如，该车辆为地图采集车辆，地图采集车辆安装有用于采集真实环境下地图的车载拍摄设备，地图采集车辆在真实环境下的道路中行驶的过程中，能够拍摄道路图像并上传至服务器，以使服务器能够基于道路提箱更新虚拟地图，进而保证虚拟地图与真实环境同步。
可选地，在车辆行驶的过程中，车载拍摄设备对车辆行驶前方的道路进行拍摄，得到图像序列，图像序列包括多个道路图像，向服务器发送图像序列，服务器接收图像序列。
在本申请实施例中，车载拍摄设备能够在拍摄得到图像序列后，再向服务器上传图像序列；或者，车载拍摄设备能够实时将拍摄得到的图像序列上传至服务器。
302、计算机设备对道路图像进行标牌检测，得到道路标牌在道路图像中的位置。
在本申请实施例中，标牌检测是指检测道路图像包含的道路标牌。道路图像包含的道路标牌可能位于道路图像中的任一区域，因此，通过标牌检测的方式，检测出道路标牌在道路图像中的位置，以便能够按照位置来从道路图像中提取到包含道路标牌的道路标牌图像。其中，道路标牌在道路图像中的位置用于表示道路标牌在道路图像中所占的区域。例如，该区域为方形区域，则道路标牌在道路图像中的位置以方形区域的四个角的坐标表示，或者以某两个对角的坐标表示。
在一种可能实现方式中，该步骤302包括以下步骤3021-步骤3023。
3021、按照特征尺度，以第二特征图包含的每个特征点为中心，从第二特征图中提取多个第三子特征，第二特征图用于表征道路图像。
在本申请实施例中，第二特征图为道路图像的图像特征，由于第二特征图包含多个特征点，道路图像包含的道路标牌可能位于道路图像中的任一区域，因此，采取遍历第二特征图包含的特征点的方式，按照特征尺度，从第二特征图中提取多个第三子特征，以使提取到的多个第三子特征能够覆盖道路图像中的每个局部区域，以便后续能够准确检测出道路标牌的位置。
其中，第二特征图包括多个特征点，也即是，第二特征图是由多个特征点组成。第二特征图能够以任意的形式表示，例如，第二特征图以特征向量或特征矩阵的形式表示。例如，第二特征图以特征矩阵的形式表示，特征矩阵中每个数据相当于一个特征点，如特征矩阵为12×12的矩阵，该特征矩阵包含12×12个特征点。特征尺度为任意的尺度，例如，特征尺度为3×3或9×9。第三子特征的尺度为该特征尺度，对于得到的多个第三子特征，不同的第三子特征可能包含重叠的特征点。
例如，第二特征图为9×9的特征矩阵，特征尺度为3×3，如图4所示，以第二特征图中特征点401为中心，提取到的第三子特征包括特征点401、特征点402、特征点404、特征点405，以第二特征图中特征点402为中心，提取到的第三子特征包括特征点401、特征点402、特征点403、特征点404、特征点405、特征点406，以此类推，能够得到9×9个第三子特征，且以第二特征图中特征点401为中心提取到的第三子特征与以第二特征图中特征点402为中心提取到的第三子特征具有重叠的特征点。
可选地，对提取到的多个第三子特征进行池化处理，以使池化后的多个第三子特征的特征尺度相同。对于池化处理过程，能够采取ROI Pooling（Region of interestPooling，感兴趣区域池化）或ROI Align（Region of interest Align，一种特征提取方式）。
可选地，步骤3021包括：基于特征尺度的检测框，以第二特征图包含的每个特征点为中心，遍历第二特征图中的每个特征点，将检测框包含的特征点构成一个第三子特征，得到多个第三子特征。
可选地，步骤3021包括：对于第二特征图包含的每个特征点，按照多个特征尺度，以特征点为中心，从第二特征图中提取每个特征尺度的第三子特征。
在本申请实施例中，考虑到道路标牌具有多种形状，如道路标牌的形状包括正方形、长方形等，因此，为了保证按照特征尺度提取到某个的第三子特征能够覆盖到完整的道路标牌，因此，采取多个特征尺度从第二特征图中提取第三子特征，以丰富提取到的第三子特征，保证后续能够准确检测出道路标牌。
其中，多个特征尺度不同，对于任一特征点，按照多个特征尺度，能够得到每个特征尺度的第三子特征。按照上述方式遍历第二特征图包含的每个特征点，即可得到多个第三子特征，最终得到的第三子特征的数量为特征尺度的数量与第二特征图包含的特征点的数量的乘积。
可选地，特征尺度通过长宽比和单位尺度确定，也即是，确定多个特征尺度的方式包括：对于每个长宽比，将该长宽比与每个单位尺度构成一个特征尺度。
例如，单位尺度包括1、2和3，长宽比包括1/2、2/1和1/1，则得到9个特征尺度，9个特征尺度分别为1×1、1×2、2×1、2×2、2×4、4×2、3×3、3×6、6×3等。
例如，在特征尺度包括多个、且采取检测框检测的方式来获取第三子特征的情况下，对于某个特征点能够以多个检测框来提取多个特征尺度的点子特征，检测框如图5所示。
3022、对多个第三子特征进行分类，得到每个第三子特征对应的概率，第三子特征对应的概率指示第三子特征用于表征道路标牌的可能性。
在本申请实施例中，对每个第三子特征进行分类，得到每个第三子特征用于表征道路标牌的概率，由于每个第三子特征用于表征道路图像的局部图像，也即是确定出每个第三子特征对应的局部图像包含道路标牌的可能性。
3023、确定对应的概率大于第三阈值的第三子特征在第二特征图中的位置，对应的概率大于第三阈值的第三子特征用于表征道路标牌。
在本申请实施例中，在确定每个第三子特征对应的概率的情况下，任一第三子特征对应的概率大于第三阈值，则表示该第三子特征用于表征道路标牌，也即是，该第三子特征在道路图像中对应的区域包含道路标牌，因此，确定对应的概率大于第三阈值的第三子特征在第二特征图中的位置，也即是，确定出用于表征道路标牌的第三子特征在第二特征图中的位置，由于第三子特征在第二特征图中的位置与该第三子特征表征的区域在道路图像中的位置相同，因此，相当于确定出了道路图像包含的道路标牌在道路图像中的位置。
其中，第三阈值为任意的数值，例如，第三阈值为0.8或0.7等。
在本申请实施例中，第二特征图为道路图像的图像特征，以遍历第二特征图中每个特征点的方式，从第二特征图中提取子特征并进行分类的方式，以尽可能对第二特征图中每个局部的子特征进行检测，以检测出道路标牌在道路图像中的位置，进而保证标牌检测的准确性。
303、计算机设备基于道路标牌在道路图像中的位置，从道路图像中提取包含道路标牌的道路标牌图像。
在本申请实施例中，在确定道路标牌在道路图像中的位置的情况下，按照该位置从道路图像中提取局部图像，即可得到包含道路标牌的道路标牌图像。
在本申请实施例中，道路图像是对道路进行拍摄得到，道路标牌图像是从道路图像中提取到的局部图像，则道路标牌图像相当于是对道路中的道路标牌拍摄得到。仅需对道路进行拍摄，即可利用拍摄得到的道路图像获取道路标牌图像，实现了一种获取道路标牌图像的方式，无需再专门对道路标牌进行拍摄，实现了获取道路标牌图像的便捷性。
可选地，道路标牌在道路图像中的位置以多个坐标的形式表示，例如，道路标牌在道路图像中的位置以矩形框的左上角点的坐标和右下角点的坐标表示，则该多个坐标构成的范围内包含道路标牌，则提取该范围内的图像作为道路标牌图像。
可选地，道路标牌包含多种类型，不同类型的道路标牌用于指引不同的信息，例如，道路名称道路标牌，用于指示当前道路以及当前道路前方的道路、左侧的道路或右侧的道路的名称。再例如，车道指引道路标牌用于指示道路包含的各个车道的行驶方向。
需要说明的是，本申请实施例是以从道路图像中提取道路标牌图像为例进行说明，而在另一实施例中，无需执行上述步骤301-步骤303，而是采取其他方式，获取道路标牌图像。
304、计算机设备按照特征尺度，以第一特征图包含的每个特征点为中心，从第一特征图中提取多个第一子特征，第一特征图用于表征道路标牌图像。
在本申请实施例中，第一特征图为道路标牌图像的图像特征，第一特征图包含多个特征点，由于道路标牌是由多个标牌元素构成，通过识别多个标牌元素之间的关联关系，即可获知道路标牌的含义，因此，利用第一特征图，采取遍历第一特征图包含的特征点的方式，按照特征尺度，从第一特征图中提取多个第一子特征，以使提取到的多个第一子特征能够覆盖道路标牌图像中的每个局部区域，以便后续能够准确检测出道路标牌图像包含的标牌元素。
其中，第一特征图包含多个特征点，也即是，第二特征图是由多个特征点组成。第一特征图能够以任意的形式表示，例如，第一特征图以特征向量或特征矩阵的形式表示。
在一种可能实现方式中，该步骤304包括：对于第一特征图包含的每个特征点，按照多个特征尺度，以特征点为中心，从第一特征图中提取每个特征尺度的第一子特征。
在本申请实施例中，考虑到道路标牌中的标牌元素具有多种形态，不同形态的标牌元素所占的区域不同，因此，采取多个特征尺度从第一特征图中提取第一子特征，丰富了提取到的第一子特征，以使提取到第一子特征能够覆盖到道路标牌包含的每个标牌元素，保证后续能够保证后续标牌元素识别的准确性，进而保证后续关联关系预测的准确性。
需要说明的是，上述步骤304与上述步骤302中从第二特征图中提取多个第三子特征的过程同理，在此不再赘述。
305、计算机设备基于每个第一子特征属于每种元素类型的概率，从多个第一子特征中筛选出第二子特征，第二子特征用于表征标牌元素，元素类型指示一种标牌元素。
在本申请实施例中，从第一特征图提取到的多个第一子特征中，存在用于表征标牌元素的子特征，也可能存在用于表征其他内容的子特征，且道路标牌能够包含多种元素类型的标牌元素，因此，确定出每个第一子特征属于每种元素类型的概率，以确定出每个第一子特征是否用于表征标牌元素，以筛选出第二子特征，即筛选出用于表征标牌元素的子特征。
在本申请实施例中，第二子特征用于表征标牌元素，第二子特征是从第一特征图中提取到的，且第一特征图为道路标牌图像的图像特征，则筛选得到第二子特征相当于道路标牌图像包含的多个标牌元素的图像特征。
在一种可能实现方式中，确定每个第一子特征属于每种元素类型的概率的过程包括：对于任一第一子特征，对第一子特征进行分类，得到每个第一子特征属于每种元素类型的概率。
在本申请实施例中，采取分类的方式，确定出第一子特征用于表征每种元素类型的标牌元素的概率，以便能够利用概率确定出该第一子特征是否用于表征标牌元素。
在一种可能实现方式中，该步骤305包括：基于每个第一子特征属于每种元素类型的概率，将对应的最大概率大于第一阈值的第一子特征，确定为第二子特征，第二子特征表征的标牌元素属于最大概率对应的元素类型。
在本申请实施例中，配置有多种元素类型，对于任一子特征，在确定该第一子特征属于每种元素类型的概率的情况下，该第一子特征对应有多个概率，第一子特征仅可能属于多个概率中最大概率对应的元素类型，第一阈值即为用于衡量第一子特征是否属于某种元素类型的标准，确定该第一子特征对应的最大概率是否大于第一阈值，在第一子特征对应的最大概率大于第一阈值的情况下，表示第一子特征属于多个概率中最大概率对应的元素类型；在第一子特征对应的最大概率不大于第一阈值的情况下，表示第一子特征不属于每种元素类型，也即是该第一子特征不是用于表示标牌元素的特征。
其中，第一阈值为任意的数值。在本申请实施例中，通过基于第一阈值及每个第一子特征对应的最大概率，对第一子特征进行筛选，以保证筛选出的第二子特征均能够用于表征标牌元素，进而保证筛选出的第二子特征的准确性。
306、计算机设备基于第二子特征在第一特征图中的位置，确定第二子特征的位置特征，位置特征指示标牌元素在道路标牌图像中的位置。
在本申请实施例中，第二子特征用于表征道路标牌图像中的局部图像，该局部图像包含道路标牌图像包含的标牌元素。则第二子特征在第一特征图中的位置，能够反映出第二子特征所表征的标牌元素在道路标牌图像中的位置，因此，能够确定出第二子特征的位置特征。第二子特征的位置特征，也即是第二子特征所表征的标牌元素的位置特征。其中，位置特征能够以任意的形式表示，例如，位置特征能够以特征向量或特征矩阵的形式表示。
在本申请实施例中，利用第一特征图，采取遍历第一特征图包含的特征点的方式，按照特征尺度，从第一特征图中提取多个第一子特征，以使提取到的多个第一子特征能够覆盖道路标牌图像中的每个局部区域，进而从多个第一子特征中筛选出用于表征标牌元素的第二子特征，以使确定出的第二子特征能够覆盖道路标牌图像包含的每个标牌元素，避免标牌元素遗漏的情况，保证了标牌元素识别的准确性。
在一种可能实现方式中，从第一特征图中获取到多个第二子特征，第二子特征的位置特征能够以相对位置特征和偏移量的形式组成，其中，相对位置特征是指多个第二子特征之间的相对位置，偏移量相当于第二子特征相当于在第一特征图中偏移情况。
需要说明的是，本申请实施例是以第一特征图提取子特征并进行筛选的方式，确定出道路标牌图像包含的各个标牌元素的图像特征和位置特征，而在另一实施例中，无需执行上述步骤304-步骤306，而是采取其他方式，对道路标牌图像包含的多个标牌元素进行特征提取，得到每个标牌元素的图像特征及位置特征。
307、计算机设备对于多个标牌元素中任两个标牌元素，将两个标牌元素的图像特征及位置特征进行拼接，得到拼接特征。
在本申请实施例中，该拼接特征能够表征该两个标牌元素，该拼接特征既包含了两个标牌元素的图像特征，也包含了两个标牌元素的位置特征，以便能够利用拼接特征获取两个标牌元素的关联关系。
在一种可能实现方式中，以任两个标牌元素包括第一标牌元素和第二标牌元素为例，则步骤307包括：将第一标牌元素的图像特征及位置特征进行融合，得到第一标牌元素的关键特征；将第二标牌元素的图像特征及位置特征进行拼接，得到第二标牌元素的关键特征；将第一标牌元素的关键特征和第二标牌的关键特征进行拼接，得到该拼接特征。
其中，关键特征能够表征对应的标牌元素。
308、计算机设备对拼接特征进行分类，得到两个标牌元素具有每种关联关系的概率。
在本申请实施例中配置有多种关联关系，例如，多种关联关系包括包含关系、从属关系、无关联关系等。由于拼接特征能够表征两个标牌元素，通过对拼接特征进行分类，能够确定出两个标牌元素具有每种关联关系的概率，任一关联关系的概率指示两个标牌元素具有该关联关系的可能性。
在一种可能实现方式中，两个标牌元素的拼接特征包括两种，以任两个标牌元素包括第一标牌元素和第二标牌元素为例，将以第一标牌元素的图像特征和位置特征在前、以第二标牌元素的图像特征和位置特征在后的拼接特征称为第一拼接特征，将以第二标牌元素的图像特征和位置特征在前、以第一标牌元素的图像特征和位置特征在后的拼接特征称为第二拼接特征，第一拼接特征与第二拼接特征不同，则步骤308包括：分别对第一拼接特征及第二拼接特征进行分类，得到两个标牌元素具有每种关联关系的概率。
在本申请实施例中，考虑到某种关联关系具有指向性，第一标牌元素与第二标牌元素的关联关系，可能与第二标牌元素与第一标牌元素的关联关系不同。例如，以第一标牌元素为箭头元素、第二标牌元素为道路名称元素为例，箭头元素与道路名称元素的关联关系指示道路标牌中的箭头元素指向道路名称元素，以表示沿着箭头元素所指的方向能够到达该道路名称对应的道路；而道路名称元素与箭头元素的关联关系指示道路标牌中的箭头元素由道路名称元素对应的道路指向其他道路或地方。因此，对于任两个标牌元素，按照两个标牌元素的特征在拼接特征中不同的先后顺序得到两种拼接特征，对两种拼接特征均进行分类，以确定出两个标牌元素具有每种关联关系的概率，进而保证后续确定出的关联关系的准确性。
例如，以第一标牌元素为箭头元素、第二标牌元素为道路名称元素为例，则对第一拼接特征进行分类，能够确定出箭头元素指向道路名称元素的概率，对第二拼接特征进行分类，能够确定出道路名称元素指向箭头元素的概率。
309、计算机设备基于两个标牌元素具有每种关联关系的概率，将最大概率对应的关联关系，确定两个标牌元素之间的关联关系。
在本申请实施例中，任两个标牌元素有且仅有一种关联关系，且关联关系的概率能够反映出两个标牌元素具有该关联关系的可能性，关联关系的概率越大，则两个标牌元素具有该关联关系的可能性越大，因此，将最大概率对应的关联关系，确定为两个标牌元素之间的关联关系。
需要说明的是，上述仅是以确定任两个标牌元素之间的关联关系为例进行说明，按照上述步骤307-步骤309，能够确定出多个标牌元素中每两个标牌元素之间的关联关系。
在本申请实施例中，由于每个标牌元素的图像特征及位置特征能够表征出标牌元素包含的内容及标牌元素在道路标牌图像中的分布情况，因此，采取将两个标牌元素的图像特征及位置特征进行拼接，而后对拼接特征进行分类的方式，确定出两个标牌元素之间的关联关系，以保证确定出的关联关系与两个标牌元素在道路标牌图像中的关系相匹配，进而保证关联关系的准确性。
需要说明的是，本申请实施例是采取将两个标牌元素的图像特征及位置特征进行拼接，而后对拼接特征进行分类的方式，确定出两个标牌元素之间的关联关系，而在另一实施例中，无需执行上述步骤307-步骤309，而是采取其他方式，基于多个标牌元素的图像特征及位置特征，对多个标牌元素进行关系预测，得到每两个标牌元素在道路标牌图像中的关联关系。
310、计算机设备基于多个标牌元素的关联关系，为虚拟地图中道路标牌指示的虚拟道路添加道路指引信息。
在一种可能实现方式中，道路指引信息包括：用于表示虚拟道路的行驶方向及行驶方向指向的目的地的信息、用于表示虚拟道路包含的车道的行驶方向及行驶方向指向的目的地的信息、虚拟道路的警示信息、用于表示地区所处方位的信息或虚拟道路的车辆行驶信息中的至少一项。
在本申请实施例中，道路指引信息能够包括多种信息中的一种或多种，以使添加的道路指引信息与道路标牌的含义匹配，实现了将真实环境下的道路标牌映射到虚拟地图中，以丰富虚拟地图包含的信息，进而保证虚拟地图与真实环境同步。
在一种可能实现方式中，该步骤310包括以下两种方式。
第一种方式：在多个标牌元素包括箭头元素及目的地元素的情况下，基于箭头元素与目的地元素的关联关系，在虚拟道路中添加虚拟道路的方向标识及方向标识指向的目的地，方向标识与箭头元素指示的行驶方向相同。
其中，箭头元素用于指示行驶方向，箭头元素所指的方向即为行驶方向；目的地元素为文本信息，目的地元素为道路名称或某个地方的名称。在道路标牌图像包括箭头元素及目的地元素的情况下，道路标牌图像包含的道路标牌指示虚拟道路的行驶方向及行驶方向指向的目的地，或者，指示虚拟道路包含的车道的行驶方向及行驶方向指向的目的地，因此，基于箭头元素及目的地元素的关联关系，能够确定出沿着虚拟道路向箭头元素所指的方向行驶时会达到哪些地方，因此，在虚拟道路中添加方向标识及方向标识指向的目的地，以指示出道路标牌包含的内容。在本申请实施例中，添加的方向标识及方向标识指向的目的地，即为道路指引信息。
例如，道路标牌图像包含的道路标牌用于指引各个方向的道路，则道路标牌包括箭头元素和目的地元素，按照该道路标牌图像，在虚拟道路中添加用于指示沿着各个方向行驶时会到达的目的地。
第二种方式：在多个标牌元素包括车道元素及箭头元素的情况下，基于车道元素与箭头元素的关联关系，在虚拟道路包含的车道中添加方向标识，方向标识与箭头元素指示的行驶方向相同。
其中，车道元素指示虚拟道路包含的车道。在道路标牌图像包括车道元素及箭头元素的情况下，道路标牌图像包含的道路标牌指示虚拟道路包含的各个车道的行驶方向，因此，基于车道元素及箭头元素的关联关系，能够确定出虚拟道路包含的各个车道的行驶方向，因此，在虚拟道路包含的各个车道中添加方向标识，以指示出各个车道的行驶方向。在本申请实施例中，在虚拟道路包含的各个车道中添加方向标识，即为道路指引信息。
在本申请实施例中，按照道路标牌图像包含不同的标牌元素，能够在虚拟地图中道路标牌指示的虚拟道路添加不同的道路指引信息，丰富了道路指引信息的内容，以使添加的道路指引信息能够与道路标牌图像匹配，能够起到道路指引的作用，保证了道路指引信息的准确性。
在一种可能实现方式中，该步骤310包括：基于多个标牌元素的图像特征，确定道路标牌的标牌类型；基于道路标牌的标牌类型及多个标牌元素的关联关系，在虚拟道路中添加与标牌类型匹配的道路指引信息。
在本申请实施例中，标牌类型包括多种，例如，道路标牌的标牌类型包括指引类型、警示类型、限行类型等，指引类型的道路标牌指示各个行驶方向会达到的目的地，警示类型的道路标牌用于警示道路前方会有人行道、学校等，限行类型的道路标牌指示车道所能行驶的车辆类型、限制的车速等。由于道路标牌是由多个标牌元素构成，则基于多个标牌元素的图像特征，能够确定出道路包含的多个标牌元素均是什么，进而能够确定出道路标牌的标牌类型。例如，多个标牌元素包含人行道元素或行人元素，则表示道路标牌属于警示类型；或者，多个标牌元素为箭头元素或道路名称元素，则表示道路标牌属于指引类型。
在本申请实施例中，不同标牌类型的道路标牌所起到的指引作用不同，因此，基于标牌类型及多个标牌元素的关联关系，在虚拟道路中添加与标牌类型匹配的道路指引信息，以使道路指引信息所起到的指引作用与道路标牌相匹配，进而保证虚拟地图与真实环境同步，进而保证虚拟地图的准确性。
可选地，在道路标牌属于指引类型的情况下，基于多个标牌元素的关联关系，在虚拟道路中添加用于指示各个行驶方向会达到的目的地的道路指引信息；在道路标牌属于警示类型的情况下，基于多个标牌元素的关联关系，在虚拟道路中添加与道路标牌匹配的警示信息，该警示信息即为道路指引信息；在路标牌属于限行类型的情况下，基于多个标牌元素的关联关系，在虚拟道路中添加与道路标牌匹配的限行信息，该限行信息即为道路指引信息。
其中，警示信息和限行信息均能够以任意类型的信息表示，例如，警示信息和限行信息均能够以文本或音频的形式表示。例如，警示信息以文本形式表示时，警示信息为“前方有人行道”。再例如，警示信息以音频形式表示时，警示信息能够语音播报“前方有人行道”。
本申请实施例提供的方案中，利用对真实环境下道路中的道路标牌拍摄得到的道路标牌图像，通过识别道路标牌图像包含的标牌元素，采取关系预测的方式，能够确定出各个标牌元素之间的关联关系，进而按照各个标牌元素之间的关联关系，为虚拟地图中道路标牌指示的虚拟道路添加道路指引信息，以使添加的道路指引信息与道路标牌图像相匹配，且这种方式能够适用于各种复杂的道路标牌图像，能够保证道路指引信息的准确性，进而保证虚拟地图与真实环境相匹配符，进而能够提升虚拟地图的准确性。
本申请实施例提出了一种基于图特征解析的标牌关系推理方法，能够获取道路标牌包含的标牌元素的关系推理，即从道路标牌图像中提取各个标牌元素的关键特征，将两两标牌元素的关键特征组合后进行预测，得到各个标牌元素的关联关系，进而得到道路标牌包含的各个标牌元素的关联关系推理结果。通过关键特征的提取和关联，对道路标牌图像中的信息进行有效融合和学习，得到道路标牌图像中的标牌元素的关系推理结果，对于道路标牌解析能力的提升做出了极大的贡献。
需要说明的是，上述图3所示的实施例将从多个第一子特征中筛选出第二子特征作为道路标牌图像包含的各个标牌元素的图像特征，而在另一实施例中，在筛选出第二子特征后，还会对筛选出的第二子特征进行过滤，以过滤到存在重叠子特征，而后，将过滤后的第二子特征及第二子特征的位置特征，作为道路标牌图像包含的各个标牌元素的图像特征和位置特征，进而再按照上述步骤307-步骤310，在虚拟地图中添加道路指引信息。也即是，过滤第二子特征的方式包括：在任两个第二子特征在第一特征图中的位置重叠、且两个第二子特征对应的元素类型相同的情况下，确定两个第二子特征的重叠度，重叠度指示两个第二子特征在第一特征图中所占的区域的重叠情况；在重叠度大于第二阈值的情况下，过滤掉两个第二子特征中对应的最大概率较小的第二子特征。
在本申请实施例中，任两个第二子特征在第一特征图中的位置重叠，则这两个第二子特征可能包含同一标牌元素的特征，因此，而在重叠度大于第二阈值的情况下，能够确定这两个第二子特征用于表征同一标牌元素，因此，过滤掉两个第二子特征中对应的最大概率较小的第二子特征，以过滤掉准确性较差的第二子特征，以使过滤后剩余的每个第二子特征均用于表征一个标牌元素，且不同的第二子特征用于表征不同的标牌元素，进而保证过滤后的第二子特征能够准确表征道路标牌图像包含的各个标牌元素。
其中，第二阈值能够是任意的数值。重叠度能够反映出两个第二子特征在第一特征图中所占的区域的重叠情况，重叠度越大，则表示两个第二子特征在第一特征图中所占的区域的重叠区域越大，则反映出两个第二子特征用于表征同一标牌元素的可能性越大。第二子特征对应的最大概率为上述步骤305中确定的最大概率。
可选地，基于第二子特征的位置特征能够确定位置重叠的任两个第二子特征。
可选地，第二子特征在第一特征图中的位置用于表示第二子特征在第一图像中所占的区域，则确定两个第二子特征的重叠度的过程包括：确定两个第二子特征在第一特征图中所占的区域的交集区域面积，确定两个第二子特征在第一特征图中所占的区域的并集区域面积，将交集区域面积与并集区域面积的比值，确定为重叠度。
本申请实施例中，采取交并比的方式确定两个第二子特征的重叠度，以便能够确定出两个第二子特征是否表征同一标牌元素，保证了重叠度的准确性，进而保证后续过滤的准确性。
另外，需要说明的是，在上述图2至图3所示的实施例的基础上，本申请还能够在虚拟地图中添加虚拟标牌，也即是，添加虚拟标牌的过程包括：基于多个标牌元素的图像特征及位置特征，生成虚拟标牌，虚拟标牌指示道路标牌；基于道路标牌图像对应的拍摄位置，在虚拟道路中拍摄位置上添加虚拟标牌。
在本申请实施例中，各个标牌元素的位置特征能够指示各个标牌元素在道路标牌中的位置，因此，在各个标牌元素的位置特征指示的位置上，按照各个标牌元素的图像特征渲染出各个标牌元素，则渲染出的各个标牌元素能够组成虚拟标牌，使得虚拟标牌与道路标牌图像包含的道路标牌相同。
在本申请实施例中，由于道路标牌图像是对真实环境下道路标牌拍摄得到，则道路标牌图像对应的拍摄位置相当于道路标牌在真实环境下的位置，因此，将该拍摄位置映射到虚拟地图包含的虚拟道路中，在映射得到的位置添加虚拟标牌，以使虚拟标牌在虚拟道路中的位置，与道路标牌在该虚拟道路对应的真实环境下的道路中的位置相同，使得虚拟地图与真实环境同步，保证虚拟地图的准确性。
基于上述图2至图3所示的实施例，本申请还提供了再一种信息添加方法的流程图，如图6所示，由车载拍摄设备和服务器执行，该方法包括以下步骤。
步骤1、在车辆行驶过程中，车载拍摄设备对行驶前方的道路进行拍摄，得到道路图像序列，实时将道路图像序列上传至服务器。
步骤2、服务器对于道路图像序列中的每个道路图像，基于第一卷积神经网络，对道路图像进行特征提取，得到第二特征图，基于第二特征图，按照上述步骤302，采取多个特征尺度的检测框选取的方式，从第二特征图中提取多个第三子特征，并对提取到的多个第三子特征进行池化处理，以使池化后的多个第三子特征的特征尺度相同；基于分类网络，对池化后的多个第三子特征进行分类，得到每个第三子特征对应的概率；基于概率，从池化后的多个第三子特征中筛选出用于表征标牌元素的第三子特征，确定出用于表征道路标牌的第三子特征在第二特征图中的位置。
如图7所示，基于第一卷积神经网络从道路图像中确定道路标牌701在道路图像中的位置。第一卷积神经网络由两部分构成：特征提取部分和检测框选取部分。如图8所示，特征提取部分包括Convolution（卷积层）、Batch Normalization（归一化层）和Relu（激活层），卷积层负责提取边缘纹理等基本特征；归一化层负责将卷积层提取的特征按照正态分布进行归一化处理，过滤掉特征中的噪声特征，使得模型的训练收敛更加快速；激活层则负责对卷积层提取的特征进行非线性映射，加强模型的泛化能力。检测框选取部分包括检测框选取层及池化层，检测框选取层用于按照多个特征尺度的检测框，以第二特征图的每个特征点为中心，从第二特征图中提取第三子特征，池化层用于对提取到的多个第三子特征进行池化处理，以使池化后的多个第三子特征的特征尺度相同。分类网络用于对第三子特征进行分类，以得到每个第三子特征用于表征道路标牌的概率。
步骤3、服务器基于用于表征标牌元素的第三子特征在第二特征图中的位置，从道路图像中提取包含道路标牌的道路标牌图像。
步骤4、服务器基于图特征解析模块，对道路标牌图像进行关系推理，得到道路标牌图像包含的各个标牌元素的关联关系。
在本申请实施例中，考虑到道路标牌复杂多样，多种道路标牌如图9所示，道路标牌具有多种标牌类型，每个标牌类型的道路标牌包含了复杂的内容，例如，道路标牌包含箭头、logo（标志）、文本等信息，且每一个标牌类型的道路标牌中的内容的模态均不固定，通过单纯的卷积神经网络提取特征进行分类的难度非常大，因此，提取道路标牌包含的各个标牌元素的关键特征，以便后续利用各个标牌元素的关键特征进行关系推理，提高特征辨识能力，从而得到道路标牌包含的各个标牌元素的关系。并且，将复杂的道路标牌包含的标牌元素归纳成多种类别，如图10所示。通过图特征解析模块获取道路标牌图像包含的各个标牌元素的关联关系的过程，包括：
关键特征提取，如图11所示：服务器基于第二卷积神经网络（Resnet），对道路标牌图像进行特征提取，得到第一特征图；并按照上述步骤304-步骤306，获取道路标牌图像中各个标牌元素的图像特征及位置特征。其中，图像特征相当于标牌元素的语义特征。其中，第二卷积神经网络包括Convolution（卷积层）、Batch Normalization（归一化层）和Relu（激活层）。
图特征解析，如图12所示：服务器在得到道路标牌图像中各个标牌元素的图像特征以及位置特征的情况下，对每个标牌元素的图像特征及位置特征进行融合，得到每个标牌元素的关键特征。在得到每个标牌元素的关键特征后，将每个标牌元素的关键特征作为神经图的节点（nodes），预测多个标牌元素的关键特征之间的关联关系（edges）。
如图13所示，通过神经图网络预测得到多个标牌元素的关键特征之间的关联关系，每两个节点间均存在一个关联关系R，若R为0则表示两个节点没有关联，R不为0则则表示两个节点存在关联关系。当道路标牌图像包含的标牌元素的个数为n时，共存在n×（n-1）对关联关系R，将各个关键特征及关联关系拼接得到关联特征，其中R∈512×n（n-1），关联特征不仅包含了各个标牌元素的的图像特征，还包含了各个关键特征之间的关联信息。
特征关系推理：在得到关联特征后，能够获取到道路标牌中各个标牌元素之间的关联关系，即得到关联关系推理结果，关联关系推理结果如图14所示。例如，道路标牌如图15所示，道路名称、道路编号及箭头均为道路标牌包含的标牌元素，“前方500米”也是标牌元素。道路名称1与道路编号1关联，道路名称1与道路编号1用于指示同一道路；道路名称2与道路编号2关联，道路名称2与道路编号2用于指示同一道路；道路名称3与道路编号3关联，道路名称3与道路编号3用于指示同一道路；道路名称1和道路编号1均与直行箭头关联，表示沿着直行箭头方向直行会到达的道路；道路名称2和道路编号2均与左转箭头关联，表示沿着左转箭头方向直行会到达的道路；道路名称3和道路编号3均与右转箭头关联，表示沿着右转箭头方向直行会到达的道路；“前方500米”与道路名称、道路编号和箭头均关联，表示前方能够进行路口的距离。通过对于道路标牌中各个标牌元素的关联关系推理，能够得到很多道路行驶属性，以便对虚拟地图进行更新。
另外，在对上述过程涉及到的第一卷积神经网络、第二卷积神经网络及分类模型进行训练的过程中，获取样本道路图像、样本道路图像中样本道路标牌包含的样本标牌元素的元素类型及多个样本标牌元素的样本关联关系，元素类型指示各个样本标牌元素所属的类别。按照上述步骤获取各个样本标牌元素的关键特征时，对每个样本标牌元素的图像特征、位置特征及元素类型进行融合，得到每个样本标牌元素的关键特征；而后按照上述步骤获取多个样本标牌元素的预测关联关系，基于预测关联关系与样本关联关系之间的差异，对上述的模型进行训练。
图16是本申请实施例提供的一种信息添加装置的结构示意图，如图16所示，该装置包括：
提取模块1601，用于对道路标牌图像包含的多个标牌元素进行特征提取，得到每个标牌元素的图像特征及位置特征，位置特征指示标牌元素在道路标牌图像中的位置，道路标牌图像是对道路中的道路标牌拍摄得到；
预测模块1602，用于基于多个标牌元素的图像特征及位置特征，对多个标牌元素进行关系预测，得到每两个标牌元素在道路标牌图像中的关联关系；
添加模块1603，用于基于多个标牌元素的关联关系，为虚拟地图中道路标牌指示的虚拟道路添加道路指引信息。
在一种可能实现方式中，提取模块1601，用于按照特征尺度，以第一特征图包含的每个特征点为中心，从第一特征图中提取多个第一子特征，第一特征图用于表征道路标牌图像；基于每个第一子特征属于每种元素类型的概率，从多个第一子特征中筛选出第二子特征，第二子特征用于表征标牌元素，元素类型指示一种标牌元素；基于第二子特征在第一特征图中的位置，确定第二子特征的位置特征。
在另一种可能实现方式中，提取模块1601，用于对于第一特征图包含的每个特征点，按照多个特征尺度，以特征点为中心，从第一特征图中提取每个特征尺度的第一子特征。
在另一种可能实现方式中，提取模块1601，用于基于每个第一子特征属于每种元素类型的概率，将对应的最大概率大于第一阈值的第一子特征，确定为第二子特征，第二子特征表征的标牌元素属于最大概率对应的元素类型；
如图17所示，装置还包括：
确定模块1604，用于在任两个第二子特征在第一特征图中的位置重叠、且两个第二子特征对应的元素类型相同的情况下，确定两个第二子特征的重叠度，重叠度指示两个第二子特征在第一特征图中所占的区域的重叠情况；
过滤模块1605，用于在重叠度大于第二阈值的情况下，过滤掉两个第二子特征中对应的最大概率较小的第二子特征。
在另一种可能实现方式中，预测模块1602，用于对于多个标牌元素中任两个标牌元素，将两个标牌元素的图像特征及位置特征进行拼接，得到拼接特征；对拼接特征进行分类，得到两个标牌元素具有每种关联关系的概率；基于两个标牌元素具有每种关联关系的概率，将最大概率对应的关联关系，确定两个标牌元素之间的关联关系。
在另一种可能实现方式中，如图17所示，装置还包括：
获取模块1606，用于获取道路图像，道路图像包含道路标牌，道路图像是对道路拍摄得到；
检测模块1607，用于对道路图像进行标牌检测，得到道路标牌在道路图像中的位置；
提取模块1601，还用于基于位置，从道路图像中提取包含道路标牌的道路标牌图像。
在另一种可能实现方式中，检测模块1607，用于按照特征尺度，以第二特征图包含的每个特征点为中心，从第二特征图中提取多个第三子特征，第二特征图用于表征道路图像；对多个第三子特征进行分类，得到每个第三子特征对应的概率，第三子特征对应的概率指示第三子特征用于表征道路标牌的可能性；确定对应的概率大于第三阈值的第三子特征在第二特征图中的位置，对应的概率大于第三阈值的第三子特征用于表征道路标牌。
在另一种可能实现方式中，道路指引信息包括：用于表示虚拟道路的行驶方向及行驶方向指向的目的地的信息、用于表示虚拟道路包含的车道的行驶方向及行驶方向指向的目的地的信息、虚拟道路的警示信息、用于表示地区所处方位的信息或虚拟道路的车辆行驶信息中的至少一项。
在另一种可能实现方式中，添加模块1603，用于在多个标牌元素包括箭头元素及目的地元素的情况下，基于箭头元素与目的地元素的关联关系，在虚拟道路中添加虚拟道路的方向标识及方向标识指向的目的地，方向标识与箭头元素指示的行驶方向相同；或者，在多个标牌元素包括车道元素及箭头元素的情况下，基于车道元素与箭头元素的关联关系，在虚拟道路包含的车道中添加方向标识，方向标识与箭头元素指示的行驶方向相同。
在另一种可能实现方式中，添加模块1603，用于基于多个标牌元素的图像特征，确定道路标牌的标牌类型；基于道路标牌的标牌类型及多个标牌元素的关联关系，在虚拟道路中添加与标牌类型匹配的道路指引信息。
在另一种可能实现方式中，如图17所示，装置还包括：
生成模块1608，用于基于多个标牌元素的图像特征及位置特征，生成虚拟标牌，虚拟标牌指示道路标牌；
添加模块1603，还用于基于道路标牌图像对应的拍摄位置，在虚拟道路中拍摄位置上添加虚拟标牌。
需要说明的是：上述实施例提供的信息添加装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的信息添加装置与信息添加方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请实施例还提供了一种计算机设备，该计算机设备包括处理器和存储器，存储器中存储有至少一条计算机程序，该至少一条计算机程序由处理器加载并执行以实现上述实施例的信息添加方法所执行的操作。
可选地，计算机设备提供为终端。图18示出了本申请一个示例性实施例提供的终端1800的结构框图。终端1800包括有：处理器1801和存储器1802。
处理器1801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1801可以采用DSP（Digital Signal Processing，数字信号处理）、FPGA（Field-Programmable Gate Array，现场可编程门阵列）、PLA（Programmable Logic Array，可编程逻辑阵列）中的至少一种硬件形式来实现。处理器1801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU（Central ProcessingUnit，中央处理器）；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1801可以集成有GPU（Graphics Processing Unit，图像处理器），GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1801还可以包括AI（Artificial Intelligence，人工智能）处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1802中的非暂态的计算机可读存储介质用于存储至少一个计算机程序，该至少一个计算机程序用于被处理器1801所执行以实现本申请中方法实施例提供的信息添加方法。
在一些实施例中，终端1800还可选包括有：外围设备接口1803和至少一个外围设备。处理器1801、存储器1802和外围设备接口1803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1803相连。具体地，外围设备包括：射频电路1804、显示屏1805、摄像头组件1806、音频电路1807和电源1808中的至少一种。
外围设备接口1803可被用于将I/O（Input /Output，输入/输出）相关的至少一个外围设备连接到处理器1801和存储器1802。在一些实施例中，处理器1801、存储器1802和外围设备接口1803被集成在同一芯片或电路板上；在一些其他实施例中，处理器1801、存储器1802和外围设备接口1803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1804用于接收和发射RF（Radio Frequency，射频）信号，也称电磁信号。射频电路1804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1804包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络（2G、3G、4G及5G）、无线局域网和/或WiFi（Wireless Fidelity，无线保真）网络。在一些实施例中，射频电路1804还可以包括NFC（Near Field Communication，近距离无线通信）有关的电路，本申请对此不加以限定。
显示屏1805用于显示UI（User Interface，用户界面）。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1805是触摸显示屏时，显示屏1805还具有采集在显示屏1805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1801进行处理。此时，显示屏1805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1805可以为一个，设置在终端1800的前面板；在另一些实施例中，显示屏1805可以为至少两个，分别设置在终端1800的不同表面或呈折叠设计；在另一些实施例中，显示屏1805可以是柔性显示屏，设置在终端1800的弯曲表面上或折叠面上。甚至，显示屏1805还可以设置成非矩形的不规则图形，也即异形屏。显示屏1805可以采用LCD（Liquid Crystal Display，液晶显示屏）、OLED（Organic Light-EmittingDiode，有机发光二极管）等材质制备。
摄像头组件1806用于采集图像或视频。可选地，摄像头组件1806包括前置摄像头和后置摄像头。前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR（Virtual Reality，虚拟现实）拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1801进行处理，或者输入至射频电路1804以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1801或射频电路1804的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1807还可以包括耳机插孔。
电源1808用于为终端1800中的各个组件进行供电。电源1808可以是交流电、直流电、一次性电池或可充电电池。当电源1808包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
本领域技术人员可以理解，图18中示出的结构并不构成对终端1800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
可选地，计算机设备提供为服务器。图19是本申请实施例提供的一种服务器的结构示意图，该服务器1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（Central Processing Units，CPU）1901和一个或一个以上的存储器1902，其中，存储器1902中存储有至少一条计算机程序，至少一条计算机程序由处理器1901加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条计算机程序，该至少一条计算机程序由处理器加载并执行以实现上述实施例的信息添加方法所执行的操作。
本申请实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述实施例的信息添加方法所执行的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请实施例的可选实施例，并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (22)
1.一种信息添加方法，其特征在于，所述方法包括：
对道路标牌图像包含的多个标牌元素进行特征提取，得到每个标牌元素的图像特征及位置特征，所述位置特征指示所述标牌元素在所述道路标牌图像中的位置，所述道路标牌图像是对道路中的道路标牌拍摄得到；
对于所述多个标牌元素中第一标牌元素和第二标牌元素，以所述第一标牌元素的图像特征和位置特征在前、以所述第二标牌元素的图像特征和位置特征在后，将所述第一标牌元素的图像特征和位置特征、所述第二标牌元素的图像特征和位置特征进行拼接，得到第一拼接特征，所述第一标牌元素和所述第二标牌元素为所述多个标牌元素中任两个标牌元素；
以所述第二标牌元素的图像特征和位置特征在前、以所述第一标牌元素的图像特征和位置特征在后，将所述第二标牌元素的图像特征和位置特征、所述第一标牌元素的图像特征和位置特征进行拼接，得到第二拼接特征，所述第一拼接特征与所述第二拼接特征不同；
分别对所述第一拼接特征及所述第二拼接特征进行分类，得到所述第一标牌元素与所述第二标牌元素具有每种关联关系的概率，所述关联关系具有指向性；
基于所述第一标牌元素与所述第二标牌元素具有每种关联关系的概率，将最大概率对应的关联关系，确定为所述第一标牌元素与所述第二标牌元素之间的关联关系；
基于所述多个标牌元素的关联关系，为虚拟地图中所述道路标牌指示的虚拟道路添加道路指引信息。
2.根据权利要求1所述的方法，其特征在于，所述对道路标牌图像包含的多个标牌元素进行特征提取，得到每个标牌元素的图像特征及位置特征，包括：
按照特征尺度，以第一特征图包含的每个特征点为中心，从所述第一特征图中提取多个第一子特征，所述第一特征图用于表征所述道路标牌图像；
基于每个第一子特征属于每种元素类型的概率，从所述多个第一子特征中筛选出第二子特征，所述第二子特征用于表征标牌元素，所述元素类型指示一种标牌元素；
基于所述第二子特征在所述第一特征图中的位置，确定所述第二子特征的位置特征。
3.根据权利要求2所述的方法，其特征在于，所述按照特征尺度，以第一特征图包含的每个特征点为中心，从所述第一特征图中提取多个第一子特征，包括：
对于所述第一特征图包含的每个特征点，按照多个特征尺度，以所述特征点为中心，从所述第一特征图中提取每个特征尺度的第一子特征。
4.根据权利要求2所述的方法，其特征在于，所述基于每个第一子特征属于每种元素类型的概率，从所述多个第一子特征中筛选出第二子特征，包括：
基于所述每个第一子特征属于每种元素类型的概率，将对应的最大概率大于第一阈值的第一子特征，确定为所述第二子特征，所述第二子特征表征的标牌元素属于所述最大概率对应的元素类型；
所述基于所述第二子特征在所述第一特征图中的位置，确定所述第二子特征的位置特征之后，所述方法还包括：
在任两个第二子特征在所述第一特征图中的位置重叠、且所述两个第二子特征对应的元素类型相同的情况下，确定所述两个第二子特征的重叠度，所述重叠度指示所述两个第二子特征在所述第一特征图中所占的区域的重叠情况；
在所述重叠度大于第二阈值的情况下，过滤掉所述两个第二子特征中对应的最大概率较小的第二子特征。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述对道路标牌图像包含的多个标牌元素进行特征提取，得到每个标牌元素的图像特征及位置特征之前，所述方法还包括：
获取道路图像，所述道路图像包含道路标牌，所述道路图像是对道路拍摄得到；
对所述道路图像进行标牌检测，得到所述道路标牌在所述道路图像中的位置；
基于所述位置，从所述道路图像中提取包含所述道路标牌的所述道路标牌图像。
6.根据权利要求5所述的方法，其特征在于，所述对所述道路图像进行标牌检测，得到所述道路标牌在所述道路图像中的位置，包括：
按照特征尺度，以第二特征图包含的每个特征点为中心，从所述第二特征图中提取多个第三子特征，所述第二特征图用于表征所述道路图像；
对所述多个第三子特征进行分类，得到每个第三子特征对应的概率，所述第三子特征对应的概率指示所述第三子特征用于表征道路标牌的可能性；
确定对应的概率大于第三阈值的第三子特征在所述第二特征图中的位置，所述对应的概率大于第三阈值的第三子特征用于表征道路标牌。
7.根据权利要求1-4任一项所述的方法，其特征在于，所述道路指引信息包括：用于表示所述虚拟道路的行驶方向及所述行驶方向指向的目的地的信息、用于表示所述虚拟道路包含的车道的行驶方向及所述行驶方向指向的目的地的信息、所述虚拟道路的警示信息、用于表示地区所处方位的信息或所述虚拟道路的车辆行驶信息中的至少一项。
8.根据权利要求1-4任一项所述的方法，其特征在于，所述基于所述多个标牌元素的关联关系，为虚拟地图中所述道路标牌指示的虚拟道路添加道路指引信息，包括：
在所述多个标牌元素包括箭头元素及目的地元素的情况下，基于所述箭头元素与所述目的地元素的关联关系，在所述虚拟道路中添加所述虚拟道路的方向标识及所述方向标识指向的目的地，所述方向标识与所述箭头元素指示的行驶方向相同；或者，
在所述多个标牌元素包括车道元素及箭头元素的情况下，基于所述车道元素与所述箭头元素的关联关系，在所述虚拟道路包含的车道中添加方向标识，所述方向标识与所述箭头元素指示的行驶方向相同。
9.根据权利要求1-4任一项所述的方法，其特征在于，所述基于所述多个标牌元素的关联关系，为虚拟地图中所述道路标牌指示的虚拟道路添加道路指引信息，包括：
基于所述多个标牌元素的图像特征，确定所述道路标牌的标牌类型；
基于所述道路标牌的标牌类型及所述多个标牌元素的关联关系，在所述虚拟道路中添加与所述标牌类型匹配的道路指引信息。
10.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
基于所述多个标牌元素的图像特征及位置特征，生成虚拟标牌，所述虚拟标牌指示所述道路标牌；
基于所述道路标牌图像对应的拍摄位置，在所述虚拟道路中所述拍摄位置上添加所述虚拟标牌。
11.一种信息添加装置，其特征在于，所述装置包括：
提取模块，用于对道路标牌图像包含的多个标牌元素进行特征提取，得到每个标牌元素的图像特征及位置特征，所述位置特征指示所述标牌元素在所述道路标牌图像中的位置，所述道路标牌图像是对道路中的道路标牌拍摄得到；
预测模块，用于对于所述多个标牌元素中第一标牌元素和第二标牌元素，以所述第一标牌元素的图像特征和位置特征在前、以所述第二标牌元素的图像特征和位置特征在后，将所述第一标牌元素的图像特征和位置特征、所述第二标牌元素的图像特征和位置特征进行拼接，得到第一拼接特征，所述第一标牌元素和所述第二标牌元素为所述多个标牌元素中任两个标牌元素；以所述第二标牌元素的图像特征和位置特征在前、以所述第一标牌元素的图像特征和位置特征在后，将所述第二标牌元素的图像特征和位置特征、所述第一标牌元素的图像特征和位置特征进行拼接，得到第二拼接特征，所述第一拼接特征与所述第二拼接特征不同；分别对所述第一拼接特征及所述第二拼接特征进行分类，得到所述第一标牌元素与所述第二标牌元素具有每种关联关系的概率，所述关联关系具有指向性；基于所述第一标牌元素与所述第二标牌元素具有每种关联关系的概率，将最大概率对应的关联关系，确定为所述第一标牌元素与所述第二标牌元素之间的关联关系；
添加模块，用于基于所述多个标牌元素的关联关系，为虚拟地图中所述道路标牌指示的虚拟道路添加道路指引信息。
12.根据权利要求11所述的装置，其特征在于，所述提取模块，用于按照特征尺度，以第一特征图包含的每个特征点为中心，从所述第一特征图中提取多个第一子特征，所述第一特征图用于表征所述道路标牌图像；基于每个第一子特征属于每种元素类型的概率，从所述多个第一子特征中筛选出第二子特征，所述第二子特征用于表征标牌元素，所述元素类型指示一种标牌元素；基于所述第二子特征在所述第一特征图中的位置，确定所述第二子特征的位置特征。
13.根据权利要求12所述的装置，其特征在于，所述提取模块，用于对于所述第一特征图包含的每个特征点，按照多个特征尺度，以所述特征点为中心，从所述第一特征图中提取每个特征尺度的第一子特征。
14.根据权利要求12所述的装置，其特征在于，所述提取模块，用于基于所述每个第一子特征属于每种元素类型的概率，将对应的最大概率大于第一阈值的第一子特征，确定为所述第二子特征，所述第二子特征表征的标牌元素属于所述最大概率对应的元素类型；
所述装置还包括：
确定模块，用于在任两个第二子特征在所述第一特征图中的位置重叠、且所述两个第二子特征对应的元素类型相同的情况下，确定所述两个第二子特征的重叠度，所述重叠度指示所述两个第二子特征在所述第一特征图中所占的区域的重叠情况；
过滤模块，用于在所述重叠度大于第二阈值的情况下，过滤掉所述两个第二子特征中对应的最大概率较小的第二子特征。
15.根据权利要求11-14任一项所述的装置，其特征在于，所述装置还包括：
获取模块，用于获取道路图像，所述道路图像包含道路标牌，所述道路图像是对道路拍摄得到；
检测模块，用于对所述道路图像进行标牌检测，得到所述道路标牌在所述道路图像中的位置；
所述提取模块，还用于基于所述位置，从所述道路图像中提取包含所述道路标牌的所述道路标牌图像。
16.根据权利要求15所述的装置，其特征在于，所述检测模块，用于按照特征尺度，以第二特征图包含的每个特征点为中心，从所述第二特征图中提取多个第三子特征，所述第二特征图用于表征所述道路图像；对所述多个第三子特征进行分类，得到每个第三子特征对应的概率，所述第三子特征对应的概率指示所述第三子特征用于表征道路标牌的可能性；确定对应的概率大于第三阈值的第三子特征在所述第二特征图中的位置，所述对应的概率大于第三阈值的第三子特征用于表征道路标牌。
17.根据权利要求11-14任一项所述的装置，其特征在于，所述道路指引信息包括：用于表示所述虚拟道路的行驶方向及所述行驶方向指向的目的地的信息、用于表示所述虚拟道路包含的车道的行驶方向及所述行驶方向指向的目的地的信息、所述虚拟道路的警示信息、用于表示地区所处方位的信息或所述虚拟道路的车辆行驶信息中的至少一项。
18.根据权利要求11-14任一项所述的装置，其特征在于，所述添加模块，用于在所述多个标牌元素包括箭头元素及目的地元素的情况下，基于所述箭头元素与所述目的地元素的关联关系，在所述虚拟道路中添加所述虚拟道路的方向标识及所述方向标识指向的目的地，所述方向标识与所述箭头元素指示的行驶方向相同；或者，在所述多个标牌元素包括车道元素及箭头元素的情况下，基于所述车道元素与所述箭头元素的关联关系，在所述虚拟道路包含的车道中添加方向标识，所述方向标识与所述箭头元素指示的行驶方向相同。
19.根据权利要求11-14任一项所述的装置，其特征在于，所述添加模块，用于基于所述多个标牌元素的图像特征，确定所述道路标牌的标牌类型；基于所述道路标牌的标牌类型及所述多个标牌元素的关联关系，在所述虚拟道路中添加与所述标牌类型匹配的道路指引信息。
20.根据权利要求11-14任一项所述的装置，其特征在于，所述装置还包括：
生成模块，用于基于所述多个标牌元素的图像特征及位置特征，生成虚拟标牌，所述虚拟标牌指示所述道路标牌；
所述添加模块，还用于基于所述道路标牌图像对应的拍摄位置，在所述虚拟道路中所述拍摄位置上添加所述虚拟标牌。
21.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行以实现如权利要求1至10任一权利要求所述的信息添加方法所执行的操作。
22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现如权利要求1至10任一权利要求所述的信息添加方法所执行的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310969263.2A CN116682096B (zh) | 2023-08-03 | 2023-08-03 | 信息添加方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310969263.2A CN116682096B (zh) | 2023-08-03 | 2023-08-03 | 信息添加方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116682096A CN116682096A (zh) | 2023-09-01 |
| CN116682096B true CN116682096B (zh) | 2024-02-27 |
Family
ID=87785935
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310969263.2A Active CN116682096B (zh) | 2023-08-03 | 2023-08-03 | 信息添加方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116682096B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111931683A (zh) * | 2020-08-25 | 2020-11-13 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置及计算机可读存储介质 |
| CN113762039A (zh) * | 2021-04-29 | 2021-12-07 | 腾讯科技（深圳）有限公司 | 一种交通标志牌的信息匹配方法及相关装置 |
| CN113822128A (zh) * | 2021-06-28 | 2021-12-21 | 腾讯科技（深圳）有限公司 | 交通要素识别方法、装置、设备及计算机可读存储介质 |
| CN113947764A (zh) * | 2021-12-06 | 2022-01-18 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN114332530A (zh) * | 2021-12-22 | 2022-04-12 | 腾讯科技（深圳）有限公司 | 图像分类方法、装置、计算机设备及存储介质 |
| CN114577233A (zh) * | 2022-05-05 | 2022-06-03 | 腾讯科技（深圳）有限公司 | 一种车辆导航方法、装置及计算机设备、存储介质 |
| CN115114302A (zh) * | 2021-03-19 | 2022-09-27 | 丰图科技(深圳)有限公司 | 道路标牌数据更新方法、装置、电子设备及存储介质 |
| CN115115872A (zh) * | 2022-06-07 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、设备及存储介质 |
| CN115205535A (zh) * | 2022-06-14 | 2022-10-18 | 深圳市正浩创新科技股份有限公司 | 图像处理方法、计算机可读介质及电子设备 |
| CN115578702A (zh) * | 2022-09-26 | 2023-01-06 | 北京百度网讯科技有限公司 | 道路元素的提取方法、装置、电子设备、存储介质及车辆 |
| CN115797660A (zh) * | 2022-11-11 | 2023-03-14 | 阿波罗智联(北京)科技有限公司 | 图像检测方法、装置、电子设备和存储介质 |
| WO2023098134A1 (zh) * | 2021-11-30 | 2023-06-08 | 华为技术有限公司 | 地图信息的显示方法、电子设备和介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210304188A1 (en) * | 2020-03-27 | 2021-09-30 | Toshiba Tec Kabushiki Kaisha | User-interactive digital signage apparatus that displays contents associated with prepaid card |
-
2023
- 2023-08-03 CN CN202310969263.2A patent/CN116682096B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111931683A (zh) * | 2020-08-25 | 2020-11-13 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置及计算机可读存储介质 |
| CN115114302A (zh) * | 2021-03-19 | 2022-09-27 | 丰图科技(深圳)有限公司 | 道路标牌数据更新方法、装置、电子设备及存储介质 |
| CN113762039A (zh) * | 2021-04-29 | 2021-12-07 | 腾讯科技（深圳）有限公司 | 一种交通标志牌的信息匹配方法及相关装置 |
| CN113822128A (zh) * | 2021-06-28 | 2021-12-21 | 腾讯科技（深圳）有限公司 | 交通要素识别方法、装置、设备及计算机可读存储介质 |
| WO2023098134A1 (zh) * | 2021-11-30 | 2023-06-08 | 华为技术有限公司 | 地图信息的显示方法、电子设备和介质 |
| CN113947764A (zh) * | 2021-12-06 | 2022-01-18 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN114332530A (zh) * | 2021-12-22 | 2022-04-12 | 腾讯科技（深圳）有限公司 | 图像分类方法、装置、计算机设备及存储介质 |
| CN114577233A (zh) * | 2022-05-05 | 2022-06-03 | 腾讯科技（深圳）有限公司 | 一种车辆导航方法、装置及计算机设备、存储介质 |
| CN115115872A (zh) * | 2022-06-07 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、设备及存储介质 |
| CN115205535A (zh) * | 2022-06-14 | 2022-10-18 | 深圳市正浩创新科技股份有限公司 | 图像处理方法、计算机可读介质及电子设备 |
| CN115578702A (zh) * | 2022-09-26 | 2023-01-06 | 北京百度网讯科技有限公司 | 道路元素的提取方法、装置、电子设备、存储介质及车辆 |
| CN115797660A (zh) * | 2022-11-11 | 2023-03-14 | 阿波罗智联(北京)科技有限公司 | 图像检测方法、装置、电子设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 多特征融合的道路标识牌目标检测研究;周群 等;《计算机仿真》;第29卷(第6期);第332-335页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116682096A (zh) | 2023-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114332530A (zh) | 图像分类方法、装置、计算机设备及存储介质 | |
| CN105659304A (zh) | 视觉增强导航 | |
| CN110490179B (zh) | 车牌识别方法、装置及存储介质 | |
| CN111914812A (zh) | 图像处理模型训练方法、装置、设备及存储介质 | |
| CN112163717B (zh) | 人口数据预测方法、装置、计算机设备及介质 | |
| CN110490186B (zh) | 车牌识别方法、装置及存储介质 | |
| CN110400304A (zh) | 基于深度学习的物体检测方法、装置、设备及存储介质 | |
| Hijji et al. | 6G connected vehicle framework to support intelligent road maintenance using deep learning data fusion | |
| CN113610750A (zh) | 对象识别方法、装置、计算机设备及存储介质 | |
| CN111192341A (zh) | 生成高精地图的方法、装置、自动驾驶设备及存储介质 | |
| CN113378705B (zh) | 车道线检测方法、装置、设备及存储介质 | |
| CN114511864B (zh) | 文本信息提取方法、目标模型的获取方法、装置及设备 | |
| CN113256621B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN113763931B (zh) | 波形特征提取方法、装置、计算机设备及存储介质 | |
| CN113822263A (zh) | 图像标注方法、装置、计算机设备及存储介质 | |
| CN114283299A (zh) | 图像聚类方法、装置、计算机设备及存储介质 | |
| CN116682096B (zh) | 信息添加方法、装置、计算机设备及存储介质 | |
| CN113570510A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN112269939A (zh) | 自动驾驶的场景搜索方法、装置、终端、服务器及介质 | |
| CN116434173A (zh) | 道路图像检测方法、装置、电子设备及存储介质 | |
| CN113569822B (zh) | 图像分割方法、装置、计算机设备及存储介质 | |
| CN113269730B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN116109531A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN114328815A (zh) | 文本映射模型的处理方法、装置、计算机设备及存储介质 | |
| CN114898282A (zh) | 图像处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40092671 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |