CN112699834B - 交通标识检测方法、装置、计算机设备和存储介质 - Google Patents

交通标识检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112699834B
CN112699834B CN202110036977.9A CN202110036977A CN112699834B CN 112699834 B CN112699834 B CN 112699834B CN 202110036977 A CN202110036977 A CN 202110036977A CN 112699834 B CN112699834 B CN 112699834B
Authority
CN
China
Prior art keywords
road image
image
feature
detected
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110036977.9A
Other languages
English (en)
Other versions
CN112699834A (zh
Inventor
陆嘉欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110036977.9A priority Critical patent/CN112699834B/zh
Publication of CN112699834A publication Critical patent/CN112699834A/zh
Application granted granted Critical
Publication of CN112699834B publication Critical patent/CN112699834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Abstract

本申请涉及一种交通标识检测方法、装置、计算机设备和存储介质，包括：获取包含目标交通标识的待检测道路图像；基于待检测道路图像的位置信息从历史道路图像集合中获取匹配的包含目标交通标识的参考道路图像；对待检测道路图像和参考道路图像进行特征提取，得到待检测道路图像对应的目标特征集合和参考道路图像对应的参考特征集合；计算目标特征集合和参考特征集合的匹配度，基于匹配度确定待检测道路图像和参考道路图像中目标交通标识的一致性检测结果；基于一致性检测结果确定待检测道路图像中目标交通标识的目标检测状态。采用本方法能够提高交通标识检测准确性和效率，并且目标交通标识的目标检测状态变化的待检测道路图像可以用于更新地图。

Description

交通标识检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种交通标识检测方法、装置、计算机设备和存储介质。
背景技术
交通标识是一种重要的交通要素，它能指示车辆的行驶方向，且属于道路数据的重要组成部分。地图用于真实地刻画世界，而道路数据的更新是它的前提基础。道路数据的更新可以通过道路图像的匹配，对发生变化的部分进行更新。
传统技术中，道路图像的匹配主要是提取图像中的特征点，再利用几何约束将图对上的特征点进行配对，当配上对的点数超过特定的阈值，则认为图像对相互匹配。然而，传统方法单纯考虑图像对的整体相似性，容易出现检测不出图像对中交通标识不匹配的情况，从而导致交通标识检测准确性较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高交通标识检测准确性的交通标识检测方法、装置、计算机设备和存储介质。
一种交通标识检测方法，所述方法包括：
获取包含目标交通标识的待检测道路图像；
基于待检测道路图像的位置信息从历史道路图像集合中获取匹配的参考道路图像；历史道路图像集合中的历史道路图像包含目标交通标识；
对待检测道路图像和参考道路图像进行特征提取，得到待检测道路图像对应的目标特征集合和参考道路图像对应的参考特征集合；目标特征集合和参考特征集合均包括背景类别和目标交通标识类别的特征；
计算目标特征集合和参考特征集合的匹配度，基于匹配度确定待检测道路图像和参考道路图像中目标交通标识的一致性检测结果；
基于一致性检测结果确定待检测道路图像中目标交通标识的目标检测状态。
一种交通标识检测装置，所述装置包括：
待检测道路图像获取模块，用于获取包含目标交通标识的待检测道路图像；
参考道路图像获取模块，用于基于待检测道路图像的位置信息从历史道路图像集合中获取匹配的参考道路图像；历史道路图像集合中的历史道路图像包含目标交通标识；
特征提取模块，用于对待检测道路图像和参考道路图像进行特征提取，得到待检测道路图像对应的目标特征集合和参考道路图像对应的参考特征集合；目标特征集合和参考特征集合均包括背景类别和目标交通标识类别的特征；
一致性检测模块，用于计算目标特征集合和参考特征集合的匹配度，基于匹配度确定待检测道路图像和参考道路图像中目标交通标识的一致性检测结果；
检测状态确定模块，用于基于一致性检测结果确定待检测道路图像中目标交通标识的目标检测状态。
在一个实施例中，参考道路图像获取模块还用于计算待检测道路图像的位置信息和各个历史道路图像的位置信息的位置差异；将位置差异小于预设阈值的历史道路图像作为参考道路图像。
在一个实施例中，特征提取模块还用于将待检测道路图像和参考道路图像输入已训练的图像背景特征提取子模型，通过图像背景特征提取子模型的第一特征提取通道对待检测道路图像进行特征提取得到对应的第一背景特征，将第一背景特征归入目标特征集合；通过图像背景特征提取子模型的第二特征提取通道对参考道路图像进行特征提取得到对应的第二背景特征，将第二背景特征归入参考特征集合；图像背景特征提取子模型是图像背景匹配模型中的子模型，图像背景匹配模型用于根据图像背景特征提取子模型输出的特征信息确定图像背景匹配结果。
在一个实施例中，各个特征提取通道均包括多个特征提取层，同一特征提取通道中的各个特征提取层依次连接，特征提取模块还用于基于各个特征提取层输出的特征图像得到当前输入图像对应的背景特征；当前特征提取层的输入数据包括当前输入图像和当前特征提取层之前的各个特征提取层输出的特征图像。
在一个实施例中，特征提取模块还用于获取训练样本集合；训练样本集合包括训练图像对和对应的训练标签，训练图像对包括第一训练图像和第二训练图像，训练标签包括背景一致和背景不一致；将第一训练图像和第二训练图像分别作为待训练的图像背景匹配模型中对应的特征提取通道的输入，得到第一训练图像对应的第一训练背景特征和第二训练图像对应的第二训练背景特征；计算第一训练背景特征和第二训练背景特征的特征距离；基于训练标签和特征距离计算训练损失值，基于训练损失值调整图像背景匹配模型的模型参数，直到满足收敛条件，得到训练后的图像背景匹配模型。
在一个实施例中，特征提取模块还用于将待检测道路图像和参考道路图像分别输入已训练的目标交通标识特征提取模型，得到待检测道路图像和参考道路图像分别对应的目标交通标识特征，将待检测道路图像对应的目标交通标识特征归入目标特征集合，将参考道路图像对应的目标交通标识特征归入参考特征集合。
在一个实施例中，特征提取模块还用于将待检测道路图像和参考道路图像分别输入已训练的辅助交通标识特征提取模型，得到待检测道路图像和参考道路图像分别对应的辅助交通标识特征；基于同一道路图像对应的辅助交通标识特征生成对应的目标交通标识特征的关联辅助特征，得到待检测道路图像和参考道路图像分别对应的关联辅助特征；将待检测道路图像对应的关联辅助特征归入目标特征集合，将参考道路图像对应的关联辅助特征归入参考特征集合。
在一个实施例中，目标交通标识特征包括至少一个目标交通标识的第一位置特征，辅助交通标识特征包括至少一个辅助交通标识的参考位置特征，特征提取模块还用于基于当前道路图像对应的各个辅助交通标识的参考位置特征分割当前道路图像，得到各个候选子区域和对应的区域位置特征；当前道路图像为待检测道路图像或参考道路图像；将当前道路图像中各个目标交通标识的第一位置特征和各个候选子区域的区域位置特征进行匹配，根据匹配结果确定各个目标交通标识对应的候选子区域；基于各个目标交通标识对应的候选子区域的区域位置特征生成各个目标交通标识的第二位置特征；基于当前道路图像中各个目标交通标识的第二位置特征生成对应的目标交通标识特征的关联辅助特征。
在一个实施例中，特征提取模块还用于基于待检测道路图像的图像属性信息生成待检测道路图像对应的第一图像采集设备特征，将第一图像采集设备特征归入目标特征集合；基于参考道路图像的图像属性信息生成参考道路图像对应的第二图像采集设备特征，将第二图像采集设备特征归入参考特征集合。
在一个实施例中，一致性检测模块还用于将目标特征集合和参考特征集合输入已训练的匹配度预测模型，得到匹配度；当匹配度大于匹配度阈值时，确定一致性检测结果为一致；当匹配度小于匹配度阈值时，确定一致性检测结果为不一致。
在一个实施例中，当参考道路图像为至少两个时，各个参考道路图像存在一一对应的参考特征集合，待检测道路图像和各个参考道路图像存在一一对应的一致性检测结果，检测状态确定模块还用于当至少一个一致性检测结果为一致时，确定目标检测状态为目标交通标识不变；否则，则确定目标检测状态为目标交通标识变化。
在一个实施例中，所述装置还包括：
地图更新模块，用于将目标检测状态为目标交通标识变化的待检测道路图像作为更新道路图像；在地图中，获取更新道路图像的位置信息对应的地图子区域；基于更新道路图像对应的目标交通标识类别的特征，对地图子区域中虚拟交通标识进行更新。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取包含目标交通标识的待检测道路图像；
基于待检测道路图像的位置信息从历史道路图像集合中获取匹配的参考道路图像；历史道路图像集合中的历史道路图像包含目标交通标识；
对待检测道路图像和参考道路图像进行特征提取，得到待检测道路图像对应的目标特征集合和参考道路图像对应的参考特征集合；目标特征集合和参考特征集合均包括背景类别和目标交通标识类别的特征；
计算目标特征集合和参考特征集合的匹配度，基于匹配度确定待检测道路图像和参考道路图像中目标交通标识的一致性检测结果；
基于一致性检测结果确定待检测道路图像中目标交通标识的目标检测状态。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取包含目标交通标识的待检测道路图像；
基于待检测道路图像的位置信息从历史道路图像集合中获取匹配的参考道路图像；历史道路图像集合中的历史道路图像包含目标交通标识；
对待检测道路图像和参考道路图像进行特征提取，得到待检测道路图像对应的目标特征集合和参考道路图像对应的参考特征集合；目标特征集合和参考特征集合均包括背景类别和目标交通标识类别的特征；
计算目标特征集合和参考特征集合的匹配度，基于匹配度确定待检测道路图像和参考道路图像中目标交通标识的一致性检测结果；
基于一致性检测结果确定待检测道路图像中目标交通标识的目标检测状态。
上述交通标识检测方法、装置、计算机设备和存储介质，通过获取包含目标交通标识的待检测道路图像，基于待检测道路图像的位置信息从历史道路图像集合中获取匹配的参考道路图像，历史道路图像集合中的历史道路图像包含目标交通标识，对待检测道路图像和参考道路图像进行特征提取，得到待检测道路图像对应的目标特征集合和参考道路图像对应的参考特征集合，目标特征集合和参考特征集合均包括背景类别和目标交通标识类别的特征，计算目标特征集合和参考特征集合的匹配度，基于匹配度确定待检测道路图像和参考道路图像中目标交通标识的一致性检测结果，基于一致性检测结果确定待检测道路图像中目标交通标识的目标检测状态。这样，基于待检测道路图像的地理位置从历史道路图像集合中筛选出参考道路图像，能够缩小图像匹配范围，从而提高交通标识检测效率。进一步的，对待检测道路图像和参考道路图像进行多种图像特征的提取，基于包括背景类别和目标交通标识类别的特征集合之间的匹配能够准确实现图像对间的交通标识匹配和场景匹配，从而有效地区分同一个场景下的同一组交通标识的变化情况，提高交通标识检测准确性。
附图说明
图1为一个实施例中交通标识检测方法的应用环境图；
图2为一个实施例中交通标识检测方法的流程示意图；
图3为一个实施例中特征提取通道的结构示意图；
图4为一个实施例中图像背景匹配模型的结构示意图；
图5为一个实施例中生成关联辅助特征的流程示意图；
图6为另一个实施例中生成关联辅助特征的流程示意图；
图7为一个实施例中生成关联辅助特征的流程示意图；
图8A为另一个实施例中交通标识检测方法的流程示意图；
图8B为一个实施例中针对地标箭头的图像匹配的流程示意图；
图9为一个实施例中展示图像匹配结果的界面示意图；
图10为一个实施例中交通标识检测装置的结构框图；
图11为另一个实施例中交通标识检测装置的结构框图；
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的交通标识检测方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102采集包含目标交通标识的待检测道路图像，并发送至服务器104。服务器104基于待检测道路图像的位置信息从历史道路图像集合中获取匹配的参考道路图像，历史道路图像集合中的历史道路图像也包含目标交通标识。服务器104对待检测道路图像和参考道路图像进行特征提取，得到待检测道路图像对应的目标特征集合和参考道路图像对应的参考特征集合，目标特征集合和参考特征集合均包括背景类别和目标交通标识类别的特征。服务器104计算目标特征集合和参考特征集合的匹配度，基于匹配度确定待检测道路图像和参考道路图像中目标交通标识的一致性检测结果，基于一致性检测结果确定待检测道路图像中目标交通标识的目标检测状态。
其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例提供的方案涉及人工智能的计算机视觉、机器学习等技术，具体通过如下实施例进行说明：
在一个实施例中，如图2所示，提供了一种交通标识检测方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤S202，获取包含目标交通标识的待检测道路图像。
其中，交通标识是用符号传递引导、限制、警告或指示信息的道路标识。目标交通标识是用符号传递指示信息的道路标识，具体可以是地标箭头。道路图像是终端在道路上行驶或移动的过程中采集到的与道路相关的图像。待检测道路图像是指待检测图像中的目标交通标识是否发生变化的道路图像。
具体地，在终端的行驶或移动过程中，终端可以实时采集道路视频，将道路视频发送至服务器，服务器可以从道路视频中间隔采样得到待检测道路图像。终端也可以定时采集道路图像，将道路图像发送至服务器，服务器从接收到的道路图像中确定待检测道路图像。由于，终端采集到的道路图像或从道路视频中采样得到的道路图像不一定包含目标交通标识。因此，服务器可以对道路图像进行对象识别，将识别到目标交通标识的道路图像作为待检测道路图像。
步骤S204，基于待检测道路图像的位置信息从历史道路图像集合中获取匹配的参考道路图像；历史道路图像集合中的历史道路图像包含目标交通标识。
其中，位置信息是指待检测道路图像的采集位置的信息。位置信息具体可以是GPS信息。历史道路图像集合包括多个包含目标交通标识的历史道路图像，历史道路图像是指在历史时间采集的道路图像。可以理解，历史道路图像的采集时间早于待检测道路图像的采集时间。历史道路图像中包含的目标交通标识的相关信息代表过去的信息，待检测道路图像中包含的目标交通标识的相关信息代表现在的信息。待检测道路图像和历史道路图像包含的目标交通标识的相关信息可以相同可以不同。
具体地，终端在采集图像或采集视频的时候，会同步记录采集位置的位置信息，也就是，道路图像会携带位置信息。因此，为了提高目标交通标识的检测效率，服务器可以基于待检测道路图像的位置信息从历史道路图像集合中获取匹配的参考道路图像，将与待检测道路图像的位置信息的位置差异小于预设阈值的历史道路图像作为匹配的参考道路图像，从而缩小图像匹配的范围，减少后续图像匹配的次数，避免无意义的图像匹配。
在一个实施例中，基于待检测道路图像的位置信息从历史道路图像集合中获取匹配的参考道路图像，包括：计算待检测道路图像的位置信息和各个历史道路图像的位置信息的位置差异；将位置差异小于预设阈值的历史道路图像作为参考道路图像。
具体地，历史道路图像集合中的历史道路图像也携带对应的位置信息。基于待检测道路图像的位置信息和历史道路图像的位置信息可以计算待检测道路图像和历史道路图像之间的位置差异，即待检测道路图像和历史道路图像的采集距离，得到待检测道路图像分别和各个历史道路图像之间的位置差异。当待检测道路图像和历史道路图像之间的位置差异小于预设阈值，表明待检测道路图像和该历史道路图像的采集位置比较接近，极有可能是在同一路口不同时间采集的道路图像，因此可以将该历史道路图像作为待检测道路图像对应的参考道路图像。可以理解，一个待检测道路图像对应的参考道路图像可以为至少一个，例如同一路口在不同时间采集的道路图像，相邻路口在不同时间采集的道路图像等。若待检测道路图像对应的参考道路图像为至少两个时，待检测道路图像和参考道路图像需要一一匹配。其中，预设阈值可以根据实际需要进行设置，例如，30米。
步骤S206，对待检测道路图像和参考道路图像进行特征提取，得到待检测道路图像对应的目标特征集合和参考道路图像对应的参考特征集合；目标特征集合和参考特征集合均包括背景类别和目标交通标识类别的特征。
具体地，服务器可以对包含目标交通标识的道路图像进行特征提取得到道路图像对应的特征集合。待检测道路图像对应的特征集合为目标特征集合，参考道路图像对应的特征集合为参考特征集合。道路图像对应的特征集合包括至少两种特征，具体可以包括背景类别、目标交通标识类别和其他类别的特征。背景类别的特征表示道路图像的背景特征。目标交通标识类别的特征表示道路图像的前景特征，并且具体是与目标交通标识相关的特征。
在一个实施例中，服务器可以通过自定义公式或算法从道路图像中同时提取不同种类的特征，例如，通过机器学习模型同时提取道路图像中的背景特征和目标交通标识特征。
在一个实施例中，服务器也可以通过自定义公式或算法从道路图像中分别提取不同种类的特征，一种特征存在对应的特征提取算法，以提高特征提取的准确性。具体可以通过背景特征提取算法提取道路图像的背景特征，例如，将一个道路图像输入图像背景提取模型，输出该道路图像的背景特征。将道路图像对输入图像背景匹配模型，获取图像背景匹配模型的中间处理结果作为道路图像对中两个道路图像各自对应的背景特征。具体可以通过目标交通标识特征提取算法提取道路图像的目标交通标识特征，例如，将一个道路图像输入目标交通标识提取模型，输出该道路图像的目标交通标识特征。其中，目标交通标识提取模型可以是SSD模型、MobileNET模型(基于mobile的UNET模型)等任何可以用于识别目标对象的机器学习模型。
步骤S208，计算目标特征集合和参考特征集合的匹配度，基于匹配度确定待检测道路图像和参考道路图像中目标交通标识的一致性检测结果。
其中，一致性检测结果是用于确定待检测道路图像中的目标交通标识和参考道路图像中的目标交通标识的信息是否一致，待检测道路图像和目标交通标识是否包含相同的目标交通标识。可以理解，当目标交通标识为地标箭头时，待检测道路图像中的目标交通标识和参考道路图像中的目标交通标识的信息是否一致是指待检测道路图像和参考道路图像中的地标箭头是否为同一个场景下的同一组地标箭头，即是不是同一路口下的同一组地标箭头。
具体地，服务器获取到目标特征集合和参考特征集合后，服务器可以计算目标特征集合和参考特征集合的匹配度，基于匹配度确定待检测道路图像和参考道路图像中目标交通标识的一致性检测结果。服务器可以通过自定义公式或算法计算目标特征集合和参考特征集合的匹配度，例如，可以通过自定义公式计算目标特征集合和参考特征集合的相似度，将相似度作为匹配度，也可以通过用于分类的机器学习模型，将目标特征集合和参考特征集合输入机器学习模型，机器学习模型输出目标特征集合和参考特征集合的匹配度。可以理解，目标特征集合和参考特征集合的匹配度越高，表明待检测道路图像和参考道路图像越匹配。当匹配度大于匹配度阈值时，确定待检测道路图像和参考道路图像中目标交通标识的一致性检测结果为一致，当匹配度小于匹配度阈值时，确定待检测道路图像和参考道路图像中目标交通标识的一致性检测结果为不一致。一致性检测结果包括一致和不一致。当一致性检测结果为一致时，表明待检测道路图像和参考道路图像中的目标交通标识是同一个场景下的同一目标交通标识，当一致性检测结果为不一致时，表明待检测道路图像和参考道路图像中的目标交通标识不是同一个场景下的同一目标交通标识。其中，机器学习模型可以是xgboost(eXtreme Gradient Boosting，极值梯度提升算法)、逻辑回归模型(Logistic Regression,LR)、支持向量机SVR等任何可以用于分类的机器学习模型。
步骤S210，基于一致性检测结果确定待检测道路图像中目标交通标识的目标检测状态。
具体地，服务器根据一致性检测结果可以确定待检测道路图像中目标交通标识的目标检测状态。目标检测状态是指待检测道路图像中目标交通标识相对于过去的变化情况。目标检测状态包括目标交通标识不变和目标交通标识变化。当目标检测状态为目标交通标识不变时，表明待检测道路图像中目标交通标识保持不变，和过去相比没有变化。当目标检测状态为目标交通标识变化时，表明待检测道路图像中目标交通标识有变化，和过去相比发生改变。例如，地标箭头由直行变成左转。这样，无需人工比对就可以从大量的待检测道路图像中过滤目标交通标识不变的道路图像，并且剩下的道路图像可以用于更新道路数据，更新地图，从而为用户提供更优质的导航服务。
在一个实施例中，可以将剩下的道路图像交给人工作业来更新道路数据。为了提高道路数据更新效率，进一步缩减时间和人工成本，也可以直接基于目标交通标识变化的道路图像自动更新道路数据。具体可以是基于道路图像中目标交通标识的特征更新地图中对应的虚拟交通标识，例如，道路图像中目标交通标识为车道1对应左转箭头，车道2对应直行箭头，车道3对应右转箭头，那么，在地图上该道路图像的采集位置对应的地标箭头信息修改为上述信息。
在一个实施例中，当参考道路图像为一个时，若一致性检测结果为一致，则可以确定目标检测状态为目标交通标识不变，若一致性检测结果为不一致，则可以确定目标检测状态为目标交通标识变化。
在一个实施例中，当参考道路图像为至少两个时，各个参考道路图像存在一一对应的参考特征集合，待检测道路图像和各个参考道路图像存在一一对应的一致性检测结果，基于一致性检测结果确定待检测道路图像中目标交通标识的目标检测状态，包括：当至少一个一致性检测结果为一致时，确定目标检测状态为目标交通标识不变；否则，则确定目标检测状态为目标交通标识变化。
具体地，当参考道路图像为至少两个时，一个参考道路图像对应一个参考特征集合，即各个参考道路图像存在一一对应的参考特征集合。相应的，一个待检测道路图像每次是和一个参考道路图像进行匹配，因此，一个待检测道路图像和一个参考道路图像存在对应的一致性检测结果，即待检测道路图像和各个参考道路图像存在一一对应的一致性检测结果。当参考道路图像为至少两个时，只要所有一致性检测结果中存在至少一个一致性检测结果为一致，就可以确定目标检测状态为目标交通标识不变；若所有一致性检测结果都为不一致，就可以确定目标检测状态为目标交通标识变化。这样，由于待检测道路图像对应的参考道路图像可能是同一路口或比较接近的相邻路口的道路图像，若所有一致性检测结果均为一致，才确定目标检测状态为目标交通标识不变，检测结果是错误的。此时，只要参考道路图像集合中存在一个与待检测道路图像匹配的历史道路图像，就可以确定待检测道路图像中目标交通标识没有发生变化，避免错误判断。
进一步的，在同一个路口可以拍摄得到一组待检测道路图像，得到待检测道路图像集合。可以理解，待检测道路图像集合中各个待检测道路图像包含同一目标交通标识，但是各个待检测道路图像的采集视角不同，例如，目标交通标识位于道路图像中的顶部，目标交通标识位于道路图像中的中部，目标交通标识位于道路图像中的底部。服务器基于道路图像的位置信息可以将该路口和相邻路口的历史道路图像组成该待检测道路图像集合对应的参考道路图像集合。由于图像匹配每次是一个待检测道路图像和一个参考道路图像进行匹配，每两个道路图像就存在对应的匹配度和一致性检测结果。只要存在一个或更多的一致性检测结果为一致，就可以确定待检测道路图像集合中目标交通标识的目标检测状态为目标交通标识不变，确定该路口的目标交通标识不变。进一步的，一旦出现一致性检测结果为一致，就可以停止该待检测道路图像集合和该参考道路图像集合的匹配，减少匹配次数，提高目标交通标识检测效率。
上述交通标识检测方法中，通过获取包含目标交通标识的待检测道路图像，基于待检测道路图像的位置信息从历史道路图像集合中获取匹配的参考道路图像，历史道路图像集合中的历史道路图像包含目标交通标识，对待检测道路图像和参考道路图像进行特征提取，得到待检测道路图像对应的目标特征集合和参考道路图像对应的参考特征集合，目标特征集合和参考特征集合均包括背景类别和目标交通标识类别的特征，计算目标特征集合和参考特征集合的匹配度，基于匹配度确定待检测道路图像和参考道路图像中目标交通标识的一致性检测结果，基于一致性检测结果确定待检测道路图像中目标交通标识的目标检测状态。这样，基于待检测道路图像的地理位置从历史道路图像集合中筛选出参考道路图像，能够缩小图像匹配范围，从而提高交通标识检测效率。进一步的，对待检测道路图像和参考道路图像进行多种图像特征的提取，基于包括背景类别和目标交通标识类别的特征集合之间的匹配能够准确实现图像对间的交通标识匹配和场景匹配，从而有效地区分同一个场景下的同一组交通标识的变化情况，提高交通标识检测准确性。
在一个实施例中，对待检测道路图像和参考道路图像进行特征提取，得到待检测道路图像对应的目标特征集合和所述参考道路图像对应的参考特征集合，包括：将待检测道路图像和参考道路图像输入已训练的图像背景特征提取子模型，通过图像背景特征提取子模型的第一特征提取通道对待检测道路图像进行特征提取得到对应的第一背景特征，将第一背景特征归入目标特征集合；通过图像背景特征提取子模型的第二特征提取通道对参考道路图像进行特征提取得到对应的第二背景特征，将第二背景特征归入参考特征集合；图像背景特征提取子模型是图像背景匹配模型中的子模型，图像背景匹配模型用于根据图像背景特征提取子模型输出的特征信息确定图像背景匹配结果。
其中，图像背景匹配模型是用于确定图像对的图像背景匹配结果的机器学习模型。图像背景匹配模型的输入数据为图像对，输出数据为图像背景匹配结果。图像背景匹配模型包括图像背景特征提取子模型和输出层。图像背景特征提取子模型用于提取图像的背景特征。图像背景特征提取子模型包括第一特征提取通道和第二特征提取通道，不同的特征提取通道用于提取不同图像的背景特征。图像背景特征提取子模型可以输出图像对中各个图像的背景特征，即图像背景特征提取子模型输出的特征信息包括图像对中各个图像的背景特征。输出层用于根据图像对中各个图像的背景特征确定图像背景匹配结果。图像背景匹配结果可以是具体的匹配分数，也可以是匹配标签。
具体地，服务器预先训练了图像背景匹配模型。当服务器确定待检测道路图像和参考道路图像后，服务器可以将待检测道路图像和参考道路图像输入到图像背景匹配模型内的图像背景特征提取子模型中，图像背景特征提取子模型可以输出待检测道路图像和参考道路图像分别对应的背景特征。在图像背景特征提取子模型中，待检测道路图像具体可以输入到图像背景特征提取子模型的第一特征提取通道，通过图像背景特征提取子模型的第一特征提取通道对待检测道路图像进行特征提取得到待检测道路图像的背景特征，即第一背景特征，参考道路图像具体可以输入到图像背景特征提取子模型的第二特征提取通道，通过图像背景特征提取子模型的第二特征提取通道对参考道路图像进行特征提取得到参考道路图像的背景特征，即第二背景特征。服务器无需获取图像背景匹配模型最终输出的图像背景匹配结果，只需要获取图像背景匹配模型的中间处理结果，即第一背景特征和第二背景特征，以便后续通过特征集合进行图像匹配。
本实施例中，通过图像背景特征提取子模型可以同时提取待检测道路图像和参考道路图像的背景特征，提高图像的特征提取效率，从而有助于提高交通标识检测效率。
在一个实施例中，各个特征提取通道均包括多个特征提取层，同一特征提取通道中的各个特征提取层依次连接，特征提取通道的数据处理过程通过以下步骤实现：基于各个特征提取层输出的特征图像得到当前输入图像对应的背景特征；当前特征提取层的输入数据包括当前输入图像和当前特征提取层之前的各个特征提取层输出的特征图像。
其中，当前输入图像为待检测道路图像或参考道路图像。当特征提取通道为第一特征提取通道时，当前输入图像为待检测道路图像，当特征提取通道为第二特征提取通道时，当前输入图像为参考道路图像。
具体地，图像背景特征提取子模型的各个特征提取通道均包括多个特征提取层，同一特征提取通道中的各个特征提取层依次连接，即同一特征提取通道中的各个特征提取层是串联的。同一特征提取通道中的一个特征提取层的输入数据包括当前输入图像和该特征提取层之前的各个特征提取层输出的特征图像。这样，各个特征提取层可以提取不同层次的背景特征，靠前的特征提取层提取低层次的背景特征，靠后的特征提取层提取高层次的背景特征，最后将各个层次的背景特征进行融合得到最终的背景特征，最终的背景特征可以更全面地刻画图像的背景特征，从而有助于提高图像匹配的准确性，进而提高交通标识检测准确性。
举例说明，参考图3，一个特征提取通道包括四个特征提取层，待检测道路图像通过第一特征提取通道的第一特征提取层的数据处理得到第一特征图像，输入图像和第一特征图像通过第一特征提取通道的第二特征提取层的数据处理得到第二特征图像，输入图像、第一特征图像和第二特征图像通过第一特征提取通道的第三特征提取层的数据处理得到第三特征图像，输入图像、第一特征图像、第二特征图像和第三特征图像通过第一特征提取通道的第四特征提取层的数据处理得到第四特征图像，最后将第一特征图像、第二特征图像、第三特征图像和第四特征图像进行融合得到当前输入图像对应的背景特征。
本实施例中，基于各个特征提取层输出的特征图像得到当前输入图像对应的背景特征，其中，当前特征提取层的输入数据包括当前输入图像和当前特征提取层之前的各个特征提取层输出的特征图像，能够提高背景特征的提取准确性。
在一个实施例中，图像背景匹配模型的训练过程通过以下步骤实现：获取训练样本集合；训练样本集合包括训练图像对和对应的训练标签，训练图像对包括第一训练图像和第二训练图像，训练标签包括背景一致和背景不一致；将第一训练图像和第二训练图像分别作为待训练的图像背景匹配模型中对应的特征提取通道的输入，得到第一训练图像对应的第一训练背景特征和第二训练图像对应的第二训练背景特征；计算第一训练背景特征和第二训练背景特征的特征距离；基于训练标签和特征距离计算训练损失值，基于训练损失值调整图像背景匹配模型的模型参数，直到满足收敛条件，得到训练后的图像背景匹配模型。
具体地，图像背景特征提取子模型作为图像背景匹配模型的一部分，需要通过训练图像背景匹配模型才能得到准确的图像背景特征提取子模型。图像背景匹配模型是通过有监督训练得到的。在进行有监督训练时，需要获取训练样本集合，基于训练样本集合进行模型训练。训练样本集合包括多组训练图像对和对应的训练标签，一组训练图像对包括第一训练图像和第二训练图像，训练标签包括背景一致和背景不一致。服务器可以将第一训练图像和第二训练图像一起输入到待训练的图像背景匹配模型中，第一训练图像是作为待训练的图像背景匹配模型中第一特征提取通道的输入，第二训练图像是作为待训练的图像背景匹配模型中第二特征提取通道的输入，第一特征提取通道可以输出第一训练图像对应的第一训练背景特征，第二特征提取通道可以输出第二训练图像对应的第二训练背景特征。可以理解，训练标签为背景一致的训练图像对所对应的特征距离应该越小越好，训练标签为背景不一致的训练图像对所对应的特征距离应该越大越好。因此，可以计算第一训练背景特征和第二训练背景特征的特征距离，基于训练标签和特征距离计算训练损失值，基于训练损失值进行反向传播，调整图像背景匹配模型的模型参数，直到满足收敛条件，得到训练后的图像背景匹配模型。其中，收敛条件可以自定义，例如迭代次数达到迭代阈值，训练损失值达到最小值等。这样，无需基于准确标注出背景区域的图像进行背景特征提取模型的训练，基于简单标注出图像背景一致或背景不一致的训练图像对就可以训练得到图像背景匹配模型，图像背景匹配模型中不同的特征提取通道就可以同时完成不同图像的背景特征提取。
在一个实施例中，训练损失值的计算公式如下：
Figure BDA0002893551020000171
其中，L表示训练损失值，N表示训练图像对的数量，y表示训练图像对所对应的训练标签，y＝1表示背景一致，y＝0表示背景不一致，d表示特征距离，具体可以是第一训练背景特征和第二训练背景特征的欧式距离，margin表示设定的阈值，例如，2.0。
参考图4，图像背景匹配模型包括背景特征提取子模型和损失层。背景特征提取子模型包括第一特征提取通道、第二特征提取通道。在训练图像背景匹配模型时，将第一训练图像和第二训练图像分别输入第一特征提取通道和第二特征提取通道，第一特征提取通道和第二特征提取通道分别输出第一训练图像对应的第一训练背景特征和第二训练图像对应的第二训练背景特征，第一训练背景特征和第二训练背景特征输入到损失层，训练标签也输入到损失层，损失层通过第一训练背景特征、第二训练背景特征和训练标签计算训练损失值，并基于训练损失值反向调整模型参数，直至满足收敛条件得到训练后的图像背景匹配模型。当图像背景匹配模型训练完成后，损失层可以作为输出层，输出输入图像对所对应的预测标签。基于训练图像对联合调整第一特征提取通道和第二特征提取通道的模型参数，第一特征提取通道和第二特征提取通道最终得到的最优模型参数是不同的，但是基于第一特征提取通道和第二特征提取通道分别输出的背景特征是能够准确判断图像对的背景是否一致。
本实施例中，通过携带训练标签的训练图像对对图像背景匹配模型进行有监督训练，基于简单标注出图像背景一致或背景不一致的训练图像对就可以快速训练得到图像背景匹配模型，无需标注人员花费大量时间和金钱标注精细的背景区域，大大地减少标注人员的工作量，减少人工成本。
在一个实施例中，对待检测道路图像和参考道路图像进行特征提取，得到待检测道路图像对应的目标特征集合和参考道路图像对应的参考特征集合，包括：将待检测道路图像和参考道路图像分别输入已训练的目标交通标识特征提取模型，得到待检测道路图像和参考道路图像分别对应的目标交通标识特征，将待检测道路图像对应的目标交通标识特征归入目标特征集合，将参考道路图像对应的目标交通标识特征归入参考特征集合。
其中，目标交通标识特征提取模型是用于提取道路图像中目标交通标识的特征信息的机器学习模型。
具体地，服务器预先训练了目标交通标识特征提取模型。当服务器确定待检测道路图像和参考道路图像后，服务器可以将待检测道路图像输入已训练的目标交通标识特征提取模型，得到待检测道路图像对应的目标交通标识特征，将参考道路图像输入已训练的目标交通标识特征提取模型，得到参考道路图像对应的目标交通标识特征。目标交通标识特征具体可以包括目标交通标识的位置信息、尺寸信息、数量信息、类型信息等。
在一个实施例中，目标交通标识特征提取模型可以是SSD模型(Single ShotMultiBox Detector)。将包含目标交通标识的道路图像输入已训练的用于识别目标交通标识的SSD模型，SSD模型可以输出识别结果，识别结果具体可以是在道路图像中用识别框标注出各个目标交通标识和类型，以及识别框在道路图像中的位置信息和尺寸信息。基于识别框的位置信息、尺寸信息和目标交通标识的类型得到目标交通标识特征。
本实施例中，通过机器学习模型可以快速提取道路图像中目标交通标识的特征信息，提高特征提取的速度和准确性，从而有助于提高交通标识检测的效率和准确性。
在一个实施例中，如图5所示，所述方法还包括：
步骤S502，将待检测道路图像和参考道路图像分别输入已训练的辅助交通标识特征提取模型，得到待检测道路图像和参考道路图像分别对应的辅助交通标识特征。
其中，辅助交通标识是用符号传递限制信息的道路标识，具体可以是车道线。辅助交通标识特征提取模型是用于提取道路图像中辅助交通标识的特征信息的机器学习模型。
具体地，服务器预先训练了辅助交通标识特征提取模型。当服务器确定待检测道路图像和参考道路图像后，服务器可以将待检测道路图像输入已训练的辅助交通标识特征提取模型，得到待检测道路图像对应的辅助交通标识特征，将参考道路图像输入已训练的辅助交通标识特征提取模型，得到参考道路图像对应的辅助交通标识特征。辅助交通标识特征具体可以包括辅助交通标识的位置信息、尺寸信息、数量信息、类型信息等。
在一个实施例中，辅助交通标识特征提取模型可以是MobileNET模型。MobileNET模型是采用深度可分离卷积进行特征提取，将普通机器学习模型中的普通卷积层替换为深度卷积层和逐点卷积层。深度卷积层针对不同通道的图像采取不同的卷积核，例如，输入图像为彩色图像，包括R、G、B三个通道的图像，对不同通道的图像采用不同的卷积核提取特征。进一步的，逐点卷积层可以对不同通道卷积和输出的图像中同一位置像素点的信息进行融合，弥补深度卷积层没有考虑到图像中同一位置不同通道上的数据之间的关联。通过MobileNET模型提取辅助交通标识特征可以大量减少卷积的计算量和参数量，从而提升提取速度。
步骤S504，基于同一道路图像对应的辅助交通标识特征生成对应的目标交通标识特征的关联辅助特征，得到待检测道路图像和参考道路图像分别对应的关联辅助特征。
其中，关联辅助特征是指基于辅助交通标识和目标交通标识的位置关系生成的特征，是目标交通标识的关联特征，用于从其他角度表示目标交通标识的位置，具有辅助参考价值。例如，目标交通标识为地标箭头，辅助交通标识为车道线，关联辅助特征具体可以是地标箭头对应的车道。
具体地，服务器根据待检测道路图像对应的辅助交通标识特征可以生成待检测道路图像对应的目标交通标识特征的关联辅助特征，根据参考道路图像对应的辅助交通标识特征可以生成参考道路图像对应的目标交通标识特征的关联辅助特征。
步骤S506，将待检测道路图像对应的关联辅助特征归入目标特征集合，将参考道路图像对应的关联辅助特征归入参考特征集合。
具体地，目标交通标识类别的特征包括目标交通标识特征和关联辅助特征。服务器可以将待检测道路图像对应的关联辅助特征归入目标特征集合，将参考道路图像对应的关联辅助特征归入参考特征集合。
本实施例中，通过道路图像中辅助交通标识的特征生成道路图像中目标交通标识的关联辅助特征，目标交通标识特征和关联辅助特征能够从不同的角度表示目标交通标识的位置信息，从而在进行图像匹配时，基于多角度的位置信息能够准确判断两个道路图像中是否包含同一场景下的同一组目标交通标识，从而提高交通标识检测准确性。
在一个实施例中，如图6所示，目标交通标识特征包括至少一个目标交通标识的第一位置特征，辅助交通标识特征包括至少一个辅助交通标识的参考位置特征，基于同一道路图像对应的辅助交通标识特征生成对应的目标交通标识特征的关联辅助特征，包括：
步骤S602，基于当前道路图像对应的各个辅助交通标识的参考位置特征分割当前道路图像，得到各个候选子区域和对应的区域位置特征；当前道路图像为待检测道路图像或参考道路图像。
其中，辅助交通标识特征包括至少一个辅助交通标识的参考位置特征。参考位置特征是指辅助交通标识的位置信息。区域位置特征是指候选子区域的位置信息，具体可以包括候选子区域边界的位置信息。
具体地，服务器基于道路图像中各个辅助交通标识的参考位置特征可以对道路图像进行图像分割，得到多个图像子区域，一个图像子区域作为一个候选子区域。由此，服务器可以得到待检测道路图像或参考道路图像的各个候选子区域和对应的区域位置特征。
步骤S604，将当前道路图像中各个目标交通标识的第一位置特征和各个候选子区域的区域位置特征进行匹配，根据匹配结果确定各个目标交通标识对应的候选子区域。
具体地，目标交通标识特征包括至少一个目标交通标识的第一位置特征。服务器可以将同一道路图像中各个目标交通标识的第一位置特征和各个候选子区域的区域位置特征进行匹配，确定各个目标交通标识分别位于哪个候选子区域内，从而确定各个目标交通标识对应的候选子区域。若一个目标交通标识位于一个候选子区域内，则该目标交通标识对应的候选子区域为该候选子区域。
步骤S606，基于各个目标交通标识对应的候选子区域的区域位置特征生成各个目标交通标识的第二位置特征。
具体地，区域位置特征还包括候选子区域之间的排列顺序。例如，在道路图像中，从左到右一共有三个并排排列的候选子区域，最左边的候选子区域为第一候选子区域，中间的候选子区域为第二候选子区域，最右边的候选子区域为第三候选子区域。服务器基于各个目标交通标识对应的候选子区域的区域位置特征可以生成各个目标交通标识的第二位置特征。其中，第一位置特征用于表示目标交通标识位于图像中的具体位置，第二位置特征用于表示目标交通标识位于图像中的哪个区域。
步骤S608，基于当前道路图像中各个目标交通标识的第二位置特征生成对应的目标交通标识特征的关联辅助特征。
具体地，服务器基于道路图像中各个交通标识的第二位置特征可以生成对应的目标交通标识特征的关联辅助特征，具体可以是将各个目标交通标识的第二位置特征按序排列，得到关联辅助特征。
举例说明，参考图7，道路图像中包括并排的两组车道线。根据这两组车道线可以将道路图像分割为三个车道区域，一个车道区域作为一个候选子区域。道路图像中包括三个地标箭头，分别为直行箭头、直行箭头和右转箭头，目标交通标识特征包括各个地标箭头在道路图像上的具体位置和各个地标箭头的类型。经过位置特征匹配可知，第一车道区域包括一个直行箭头，第二车道区域包括一个直行箭头，第三车道区域包括一个右转箭头。目标交通标识特征的关联辅助特征包括各个地标箭头对应的车道区域。最终，结合目标交通标识特征和关联辅助特征可以生成按车道排序的地标箭头类型向量，例如[1，1，3]，数字表示地标箭头类型。
在一个实施例中，对待检测道路图像和参考道路图像进行特征提取，得到待检测道路图像对应的目标特征集合和参考道路图像对应的参考特征集合，包括：基于待检测道路图像的图像属性信息生成待检测道路图像对应的第一图像采集设备特征，将第一图像采集设备特征归入目标特征集合；基于参考道路图像的图像属性信息生成参考道路图像对应的第二图像采集设备特征，将第二图像采集设备特征归入参考特征集合。
其中，图像属性信息是指图像的基本属性，例如，分辨率、亮度等。图像采集设备特征是指图像采集设备的相关特征，由于图像的基本属性是由图像采集设备确定的，因此基于图像的图像属性信息可以生成图像对应的图像采集设备特征。
具体地，特征集合中除了背景类别和目标交通标识类别的特征，还可以包括与图像采集设备有关的特征。服务器可以基于待检测道路图像的图像属性信息生成待检测道路图像对应的第一图像采集设备特征，将第一图像采集设备特征归入目标特征集合，基于参考道路图像的图像属性信息生成参考道路图像对应的第二图像采集设备特征，将第二图像采集设备特征归入参考特征集合。可以理解，同一图像采集设备在同一地点不同时间采集的图像的匹配度会高于不同图像采集设备在同一地点不同时间采集的图像的匹配度，图像采集设备特征有助于快速从参考道路图像集合中确定与待检测道路图像的目标交通标识一致、且最匹配的参考道路图像。
在一个实施例中，计算目标特征集合和参考特征集合的匹配度，基于匹配度确定待检测道路图像和参考道路图像中目标交通标识的一致性检测结果，包括：将目标特征集合和参考特征集合输入已训练的匹配度预测模型，得到匹配度；当匹配度大于匹配度阈值时，确定一致性检测结果为一致；当匹配度小于匹配度阈值时，确定一致性检测结果为不一致。
其中，匹配度预测模型是用于确定目标特征集合和参考特征集合的匹配度的机器学习模型。
具体地，服务器预先训练了匹配度预测模型。当服务器确定目标特征集合和参考特征集合后，服务器可以将目标特征集合和参考特征集合输入已训练的匹配度预测模型，得到目标特征集合和参考特征集合的匹配度。当匹配度大于匹配度阈值时，服务器可以确定一致性检测结果为一致，当匹配度小于匹配度阈值时，服务器可以确定一致性检测结果为不一致。其中，匹配度阈值可以根据实际需要进行设置。
在一个实施例中，匹配度预测模型可以是支持向量机SVR模型。对SVR模型进行有监督训练，能拟合出目标交通标识一致的道路图像对的特征向量与匹配度之间的映射关系。SVR模型的变换核(kernel function)可以选择RBF(Radial Basis Function，高斯核函数)。
本实施例中，通过机器学习模型可以快速确定目标特征集合和参考特征集合的匹配度，提高确定匹配度的速度和准确性，从而有助于提高交通标识检测的效率和准确性。
在一个实施例中，所述方法还包括：将目标检测状态为目标交通标识变化的待检测道路图像作为更新道路图像；在地图中，获取更新道路图像的位置信息对应的地图子区域；基于更新道路图像对应的目标交通标识类别的特征，对地图子区域中虚拟交通标识进行更新。
其中，虚拟交通标识是指虚拟的目标交通标识。
具体地，通过前述数据处理可以从大量的待检测道路图像中过滤目标交通标识不变的道路图像，而目标交通标识变化的道路图像可以作为更新道路图像，更新道路图像用于更新道路数据、地图数据。在地图中，服务器可以获取更新道路图像的位置信息对应的地图子区域，该地图子区域上展示有虚拟交通标识的历史特征。因为通过数据分析确定该区域的目标交通标识发生变化，所以需要及时对该区域的目标交通标识进行更新，具体可以是基于更新道路图像对应的目标交通标识类别的特征，对地图子区域中虚拟交通标识进行更新。例如，更新道路图像的位置信息对应的地图子区域为路口A对应的地图子区域，路口A上地标箭头的历史特征为直行、直行、右转，更新道路图像上地标箭头的当前特征为左转、直行、右转，那么，就需要将A上地标箭头的特征更新为左转、直行、右转，从而让虚拟地图和现实环境保持一致，为用户提供更优质的导航服务。
本实施例中，通过将目标检测状态为目标交通标识变化的待检测道路图像作为更新道路图像，基于更新道路图像的目标交通标识类别的特征，能够及时更新地图数据，保障地图数据的准确性。
本申请还提供一种应用场景，该应用场景应用上述的交通标识检测方法。具体地，该交通标识检测方法在该应用场景的应用如下：
参考图8A，该交通标识检测方法可以应用于检测道路上的地标箭头是否发生变化。
1、初始道路图像
服务器可以获取终端传输过来的初始道路图像，初始道路图像可能包含地标箭头，可能不包含地标箭头。只有包含地标箭头的道路图像才进行地标箭头是否发生变化的检测，不包含地标箭头的道路图像可以直接过滤掉。将包含地标箭头的初始道路图像作为待检测道路图像。这样，过滤不包含地标箭头的道路图像可以减少后续图像匹配的计算次数，提高整个系统运算速度。
在一个实施例中，可以通过地标箭头检测模型识别初始道路图像中是否包含地标箭头。
2、从历史道路图像集合中获取待检测道路图像对应的参考道路图像
历史道路图像集合来源于道路图像数据库，包括历史时间采集的、且包含地标箭头的道路图像。基于待检测道路图像的位置信息可以从历史道路图像集合中筛选出特定范围内的历史道路图像作为对应的参考道路图像，起到缩小匹配范围的目的。例如，可以选取距离待检测道路图像的采集位置30米范围内且采集时间早于待检测道路图像的历史道路图像作为参考道路图像。参考道路图像可以为至少一个。
3、将待检测道路图像和参考道路图像进行针对地标箭头的图像匹配，根据图像匹配结果确定地标箭头是否发生变化。
3-1、特征提取
参考图8B，对待检测道路图像和参考道路图像进行特征提取，得到待检测道路图像对应的目标特征集合和参考道路图像对应的参考特征集合。特征集合可以用一组特征向量来表示，例如，
Figure BDA0002893551020000241
i表示图像序号，bi表示背景特征，ci表示按车道排序的地标箭头类型向量，
Figure BDA0002893551020000242
表示归一化的箭头识别框位置向量，
Figure BDA0002893551020000243
表示箭头识别框的框高平均值，yi表示图像宽边的长度，即图像分辨率，di表示地标箭头的视距。
bi表示背景特征，可以将待检测道路图像和参考道路图像一起输入图像背景匹配模型，通过图像背景匹配模型内图像背景特征提取子模型的第一特征提取通道提取待检测道路图像的背景特征，通过图像背景匹配模型内图像背景特征提取子模型的第二特征提取通道提取参考道路图像的背景特征。
ci、
Figure BDA0002893551020000251
Figure BDA0002893551020000252
di表示前景特征，具体是地标箭头的相关特征。可以将待检测道路图像和参考道路图像分别输入地标箭头检测模型(即目标交通标识特征提取模型)，得到待检测道路图像对应的地标箭头特征和参考道路图像对应的地标箭头特征。地标箭头特征包括地标箭头的箭头识别框位置、框高，地标箭头的视距，地标箭头的类型。根据地标箭头的箭头识别位置可以计算得到
Figure BDA0002893551020000253
假设第i张道路图像的长和宽为wi和hi，第k个地标箭头的箭头识别框归一化位置为
Figure BDA0002893551020000254
其中
Figure BDA0002893551020000255
表示第k个地标箭头的箭头识别框的左上角和右下角坐标，那么，
Figure BDA0002893551020000256
k∈{0,1,2,…}。地标箭头的视距包括远、中、近三个维度，根据地标箭头的箭头识别框相对图像的位置来得到。
进一步的，可以将待检测道路图像和参考道路图像分别输入车道线检测模型，得到待检测道路图像对应的车道线特征和参考道路图像对应的车道线特征。基于道路图像对有的车道线特征生成地标箭头特征对应的关联辅助特征，也就是，道路图像中各个地标箭头分别对应哪个车道。基于地标箭头的箭头类型和关联辅助特征可以生成ci。
3-2、特征匹配
参考图8B，将目标特征集合和参考特征集合输入基于SVR的匹配度预测模型，输出图像匹配结果。利用支持向量机SVR能拟合出匹配相关的特征向量F与匹配分数之间的映射关系。匹配分数是指目标特征集合和参考特征集合的匹配度。
4、根据图像匹配结果更新道路数据
将匹配分数和预设阈值进行比较，若匹配分数大于预设阈值，则待检测道路图像和参考道路图像匹配成功，待检测道路图像和参考道路图像中的地标箭头是同一场景下且一致的地标箭头。
待检测道路图像和参考道路图像的图像匹配结果可以在界面上进行展示。参考图9，左图为待检测道路图像，右图为参考道路图像，待检测道路图像和参考道路图像的匹配分数为0.9841，C1表示待检测道路图像对应的按车道排序的地标箭头类型向量，C2表示参考道路图像对应的按车道排序的地标箭头类型向量。可以理解，也可以通过其他可视化界面展示图像匹配结果。
进一步的，同一路口可以采集多张待检测道路图像，一张待检测道路图像和一张参考道路图像对应一个匹配分数，那么最终可以得到匹配分数集合。若匹配分数集合中存在高于该预设阈值的匹配分数，则表示为该路口的道路图像存在匹配上的数据库图像，即采集的道路图像中的地标箭头信息未发生变化；反之则反。
最终，在针对多个路口的大量道路图像中，可以过滤地标箭头信息未变化的道路图像。进一步的，基于道路图像中的地标箭头信息发生变化的道路图像可以及时更新道路数据。
本实施例中，有效地提取道路图像的背景特征、地标箭头特征和其他特征，并结合这些特征计算出图对的地标箭头匹配度，能够准确有效判断图对是否描述的是同一个位置的同一组信息一致的地标箭头。并且，通过实验分析，本申请的交通标识检测准确率为95％，具有较高的准确性。
应该理解的是，虽然图2、5-8B的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、5-8B中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图10所示，提供了一种交通标识检测装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：待检测道路图像获取模块1002、参考道路图像获取模块1004、特征提取模块1006、一致性检测模块1008和检测状态确定模块1010，其中：
待检测道路图像获取模块1002，用于获取包含目标交通标识的待检测道路图像；
参考道路图像获取模块1004，用于基于待检测道路图像的位置信息从历史道路图像集合中获取匹配的参考道路图像；历史道路图像集合中的历史道路图像包含目标交通标识；
特征提取模块1006，用于对待检测道路图像和参考道路图像进行特征提取，得到待检测道路图像对应的目标特征集合和参考道路图像对应的参考特征集合；目标特征集合和参考特征集合均包括背景类别和目标交通标识类别的特征；
一致性检测模块1008，用于计算目标特征集合和参考特征集合的匹配度，基于匹配度确定待检测道路图像和参考道路图像中目标交通标识的一致性检测结果；
检测状态确定模块1010，用于基于一致性检测结果确定待检测道路图像中目标交通标识的目标检测状态。
在一个实施例中，参考道路图像获取模块还用于计算待检测道路图像的位置信息和各个历史道路图像的位置信息的位置差异；将位置差异小于预设阈值的历史道路图像作为参考道路图像。
在一个实施例中，特征提取模块还用于将待检测道路图像和参考道路图像输入已训练的图像背景特征提取子模型，通过图像背景特征提取子模型的第一特征提取通道对待检测道路图像进行特征提取得到对应的第一背景特征，将第一背景特征归入目标特征集合；通过图像背景特征提取子模型的第二特征提取通道对参考道路图像进行特征提取得到对应的第二背景特征，将第二背景特征归入参考特征集合；图像背景特征提取子模型是图像背景匹配模型中的子模型，图像背景匹配模型用于根据图像背景特征提取子模型输出的特征信息确定图像背景匹配结果。
在一个实施例中，各个特征提取通道均包括多个特征提取层，同一特征提取通道中的各个特征提取层依次连接，特征提取模块还用于基于各个特征提取层输出的特征图像得到当前输入图像对应的背景特征；当前特征提取层的输入数据包括当前输入图像和当前特征提取层之前的各个特征提取层输出的特征图像。
在一个实施例中，特征提取模块还用于获取训练样本集合；训练样本集合包括训练图像对和对应的训练标签，训练图像对包括第一训练图像和第二训练图像，训练标签包括背景一致和背景不一致；将第一训练图像和第二训练图像分别作为待训练的图像背景匹配模型中对应的特征提取通道的输入，得到第一训练图像对应的第一训练背景特征和第二训练图像对应的第二训练背景特征；计算第一训练背景特征和第二训练背景特征的特征距离；基于训练标签和特征距离计算训练损失值，基于训练损失值调整图像背景匹配模型的模型参数，直到满足收敛条件，得到训练后的图像背景匹配模型。
在一个实施例中，特征提取模块还用于将待检测道路图像和参考道路图像分别输入已训练的目标交通标识特征提取模型，得到待检测道路图像和参考道路图像分别对应的目标交通标识特征，将待检测道路图像对应的目标交通标识特征归入目标特征集合，将参考道路图像对应的目标交通标识特征归入参考特征集合。
在一个实施例中，特征提取模块还用于将待检测道路图像和参考道路图像分别输入已训练的辅助交通标识特征提取模型，得到待检测道路图像和参考道路图像分别对应的辅助交通标识特征；基于同一道路图像对应的辅助交通标识特征生成对应的目标交通标识特征的关联辅助特征，得到待检测道路图像和参考道路图像分别对应的关联辅助特征；将待检测道路图像对应的关联辅助特征归入目标特征集合，将参考道路图像对应的关联辅助特征归入参考特征集合。
在一个实施例中，目标交通标识特征包括至少一个目标交通标识的第一位置特征，辅助交通标识特征包括至少一个辅助交通标识的参考位置特征，特征提取模块还用于基于当前道路图像对应的各个辅助交通标识的参考位置特征分割当前道路图像，得到各个候选子区域和对应的区域位置特征；当前道路图像为待检测道路图像或参考道路图像；将当前道路图像中各个目标交通标识的第一位置特征和各个候选子区域的区域位置特征进行匹配，根据匹配结果确定各个目标交通标识对应的候选子区域；基于各个目标交通标识对应的候选子区域的区域位置特征生成各个目标交通标识的第二位置特征；基于当前道路图像中各个目标交通标识的第二位置特征生成对应的目标交通标识特征的关联辅助特征。
在一个实施例中，特征提取模块还用于基于待检测道路图像的图像属性信息生成待检测道路图像对应的第一图像采集设备特征，将第一图像采集设备特征归入目标特征集合；基于参考道路图像的图像属性信息生成参考道路图像对应的第二图像采集设备特征，将第二图像采集设备特征归入参考特征集合。
在一个实施例中，一致性检测模块还用于将目标特征集合和参考特征集合输入已训练的匹配度预测模型，得到匹配度；当匹配度大于匹配度阈值时，确定一致性检测结果为一致；当匹配度小于匹配度阈值时，确定一致性检测结果为不一致。
在一个实施例中，当参考道路图像为至少两个时，各个参考道路图像存在一一对应的参考特征集合，待检测道路图像和各个参考道路图像存在一一对应的一致性检测结果，检测状态确定模块还用于当至少一个一致性检测结果为一致时，确定目标检测状态为目标交通标识不变；否则，则确定目标检测状态为目标交通标识变化。
在一个实施例中，如图11所示，所述装置还包括：
地图更新模块1012，用于将目标检测状态为目标交通标识变化的待检测道路图像作为更新道路图像；在地图中，获取更新道路图像的位置信息对应的地图子区域；基于更新道路图像对应的目标交通标识类别的特征，对地图子区域中虚拟交通标识进行更新。
关于交通标识检测装置的具体限定可以参见上文中对于交通标识检测方法的限定，在此不再赘述。上述交通标识检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储各种模型，历史道路图像集合，地图等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种交通标识检测方法。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (26)

1.一种交通标识检测方法，其特征在于，所述方法包括：
获取包含目标交通标识的待检测道路图像；
基于所述待检测道路图像的位置信息从历史道路图像集合中获取匹配的参考道路图像；所述历史道路图像集合中的历史道路图像包含目标交通标识；
对所述待检测道路图像和所述参考道路图像进行特征提取，得到所述待检测道路图像对应的目标特征集合和所述参考道路图像对应的参考特征集合；所述目标特征集合和所述参考特征集合均包括背景类别和目标交通标识类别的特征，所述目标特征集合和所述参考特征集合中背景类别的特征是将所述待检测道路图像和所述参考道路图像作为道路图像对输入图像背景匹配模型，获取所述图像背景匹配模型的中间处理结果得到的，所述图像背景匹配模型是基于背景一致和背景不一致的训练图像对训练得到的；
计算所述目标特征集合和所述参考特征集合的匹配度，基于所述匹配度确定所述待检测道路图像和所述参考道路图像中目标交通标识的一致性检测结果；
基于所述一致性检测结果确定所述待检测道路图像中目标交通标识的目标检测状态。
2.根据权利要求1所述的方法，其特征在于，所述基于所述待检测道路图像的位置信息从历史道路图像集合中获取匹配的参考道路图像，包括：
计算所述待检测道路图像的位置信息和各个历史道路图像的位置信息的位置差异；
将位置差异小于预设阈值的历史道路图像作为所述参考道路图像。
3.根据权利要求1所述的方法，其特征在于，所述对所述待检测道路图像和所述参考道路图像进行特征提取，得到所述待检测道路图像对应的目标特征集合和所述参考道路图像对应的参考特征集合，包括：
将所述待检测道路图像和所述参考道路图像输入已训练的图像背景特征提取子模型，通过所述图像背景特征提取子模型的第一特征提取通道对所述待检测道路图像进行特征提取得到对应的第一背景特征，将所述第一背景特征归入所述目标特征集合；
通过所述图像背景特征提取子模型的第二特征提取通道对所述参考道路图像进行特征提取得到对应的第二背景特征，将所述第二背景特征归入所述参考特征集合；
所述图像背景特征提取子模型是图像背景匹配模型中的子模型，所述图像背景匹配模型用于根据图像背景特征提取子模型输出的特征信息确定图像背景匹配结果。
4.根据权利要求3所述的方法，其特征在于，各个特征提取通道均包括多个特征提取层，同一特征提取通道中的各个特征提取层依次连接，特征提取通道的数据处理过程通过以下步骤实现：
基于各个特征提取层输出的特征图像得到当前输入图像对应的背景特征；当前特征提取层的输入数据包括所述当前输入图像和当前特征提取层之前的各个特征提取层输出的特征图像。
5.根据权利要求3所述的方法，其特征在于，所述图像背景匹配模型的训练过程通过以下步骤实现：
获取训练样本集合；所述训练样本集合包括训练图像对和对应的训练标签，所述训练图像对包括第一训练图像和第二训练图像，所述训练标签包括背景一致和背景不一致；
将所述第一训练图像和所述第二训练图像分别作为待训练的图像背景匹配模型中对应的特征提取通道的输入，得到所述第一训练图像对应的第一训练背景特征和所述第二训练图像对应的第二训练背景特征；
计算所述第一训练背景特征和所述第二训练背景特征的特征距离；
基于所述训练标签和所述特征距离计算训练损失值，基于所述训练损失值调整所述图像背景匹配模型的模型参数，直到满足收敛条件，得到训练后的图像背景匹配模型。
6.根据权利要求1所述的方法，其特征在于，所述对所述待检测道路图像和所述参考道路图像进行特征提取，得到所述待检测道路图像对应的目标特征集合和所述参考道路图像对应的参考特征集合，包括：
将所述待检测道路图像和所述参考道路图像分别输入已训练的目标交通标识特征提取模型，得到所述待检测道路图像和所述参考道路图像分别对应的目标交通标识特征；
将所述待检测道路图像对应的目标交通标识特征归入所述目标特征集合，将所述参考道路图像对应的目标交通标识特征归入所述参考特征集合。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
将所述待检测道路图像和所述参考道路图像分别输入已训练的辅助交通标识特征提取模型，得到所述待检测道路图像和所述参考道路图像分别对应的辅助交通标识特征；
基于同一道路图像对应的辅助交通标识特征生成对应的目标交通标识特征的关联辅助特征，得到所述待检测道路图像和所述参考道路图像分别对应的关联辅助特征；
将所述待检测道路图像对应的关联辅助特征归入所述目标特征集合，将所述参考道路图像对应的关联辅助特征归入所述参考特征集合。
8.根据权利要求7所述的方法，其特征在于，所述目标交通标识特征包括至少一个目标交通标识的第一位置特征，所述辅助交通标识特征包括至少一个辅助交通标识的参考位置特征，所述基于同一道路图像对应的辅助交通标识特征生成对应的目标交通标识特征的关联辅助特征，包括：
基于当前道路图像对应的各个辅助交通标识的参考位置特征分割所述当前道路图像，得到各个候选子区域和对应的区域位置特征；所述当前道路图像为所述待检测道路图像或所述参考道路图像；
将所述当前道路图像中各个目标交通标识的第一位置特征和各个候选子区域的区域位置特征进行匹配，根据匹配结果确定各个目标交通标识对应的候选子区域；
基于各个目标交通标识对应的候选子区域的区域位置特征生成各个目标交通标识的第二位置特征；
基于所述当前道路图像中各个目标交通标识的第二位置特征生成对应的目标交通标识特征的关联辅助特征。
9.根据权利要求1所述的方法，其特征在于，所述对所述待检测道路图像和所述参考道路图像进行特征提取，得到所述待检测道路图像对应的目标特征集合和所述参考道路图像对应的参考特征集合，包括：
基于所述待检测道路图像的图像属性信息生成所述待检测道路图像对应的第一图像采集设备特征，将所述第一图像采集设备特征归入所述目标特征集合；
基于所述参考道路图像的图像属性信息生成所述参考道路图像对应的第二图像采集设备特征，将所述第二图像采集设备特征归入所述参考特征集合。
10.根据权利要求1所述的方法，其特征在于，所述计算所述目标特征集合和所述参考特征集合的匹配度，基于所述匹配度确定所述待检测道路图像和所述参考道路图像中目标交通标识的一致性检测结果，包括：
将所述目标特征集合和所述参考特征集合输入已训练的匹配度预测模型，得到所述匹配度；
当所述匹配度大于匹配度阈值时，确定所述一致性检测结果为一致；
当所述匹配度小于匹配度阈值时，确定所述一致性检测结果为不一致。
11.根据权利要求1所述的方法，其特征在于，当所述参考道路图像为至少两个时，各个参考道路图像存在一一对应的参考特征集合，待检测道路图像和各个参考道路图像存在一一对应的一致性检测结果，所述基于所述一致性检测结果确定所述待检测道路图像中目标交通标识的目标检测状态，包括：
当至少一个一致性检测结果为一致时，确定所述目标检测状态为目标交通标识不变；
否则，则确定所述目标检测状态为目标交通标识变化。
12.根据权利要求1至11任意一项所述的方法，其特征在于，所述方法还包括：
将目标检测状态为目标交通标识变化的待检测道路图像作为更新道路图像；
在地图中，获取所述更新道路图像的位置信息对应的地图子区域；
基于所述更新道路图像对应的目标交通标识类别的特征，对所述地图子区域中虚拟交通标识进行更新。
13.一种交通标识检测装置，其特征在于，所述装置包括：
待检测道路图像获取模块，用于获取包含目标交通标识的待检测道路图像；
参考道路图像获取模块，用于基于所述待检测道路图像的位置信息从历史道路图像集合中获取匹配的参考道路图像；所述历史道路图像集合中的历史道路图像包含目标交通标识；
特征提取模块，用于对所述待检测道路图像和所述参考道路图像进行特征提取，得到所述待检测道路图像对应的目标特征集合和所述参考道路图像对应的参考特征集合；所述目标特征集合和所述参考特征集合均包括背景类别和目标交通标识类别的特征，所述目标特征集合和所述参考特征集合中背景类别的特征是将所述待检测道路图像和所述参考道路图像作为道路图像对输入图像背景匹配模型，获取所述图像背景匹配模型的中间处理结果得到的，所述图像背景匹配模型是基于背景一致和背景不一致的训练图像对训练得到的；
一致性检测模块，用于计算所述目标特征集合和所述参考特征集合的匹配度，基于所述匹配度确定所述待检测道路图像和所述参考道路图像中目标交通标识的一致性检测结果；
检测状态确定模块，用于基于所述一致性检测结果确定所述待检测道路图像中目标交通标识的目标检测状态。
14.根据权利要求13所述的装置，其特征在于，所述参考道路图像获取模块还用于计算所述待检测道路图像的位置信息和各个历史道路图像的位置信息的位置差异，将位置差异小于预设阈值的历史道路图像作为所述参考道路图像。
15.根据权利要求13所述的装置，其特征在于，所述特征提取模块还用于将所述待检测道路图像和所述参考道路图像输入已训练的图像背景特征提取子模型，通过所述图像背景特征提取子模型的第一特征提取通道对所述待检测道路图像进行特征提取得到对应的第一背景特征，将所述第一背景特征归入所述目标特征集合，通过所述图像背景特征提取子模型的第二特征提取通道对所述参考道路图像进行特征提取得到对应的第二背景特征，将所述第二背景特征归入所述参考特征集合，所述图像背景特征提取子模型是图像背景匹配模型中的子模型，所述图像背景匹配模型用于根据图像背景特征提取子模型输出的特征信息确定图像背景匹配结果。
16.根据权利要求15所述的装置，其特征在于，各个特征提取通道均包括多个特征提取层，同一特征提取通道中的各个特征提取层依次连接，所述特征提取模块还用于基于各个特征提取层输出的特征图像得到当前输入图像对应的背景特征；当前特征提取层的输入数据包括所述当前输入图像和当前特征提取层之前的各个特征提取层输出的特征图像。
17.根据权利要求15所述的装置，其特征在于，所述特征提取模块还用于获取训练样本集合；所述训练样本集合包括训练图像对和对应的训练标签，所述训练图像对包括第一训练图像和第二训练图像，所述训练标签包括背景一致和背景不一致，将所述第一训练图像和所述第二训练图像分别作为待训练的图像背景匹配模型中对应的特征提取通道的输入，得到所述第一训练图像对应的第一训练背景特征和所述第二训练图像对应的第二训练背景特征，计算所述第一训练背景特征和所述第二训练背景特征的特征距离，基于所述训练标签和所述特征距离计算训练损失值，基于所述训练损失值调整所述图像背景匹配模型的模型参数，直到满足收敛条件，得到训练后的图像背景匹配模型。
18.根据权利要求13所述的装置，其特征在于，所述特征提取模块还用于将所述待检测道路图像和所述参考道路图像分别输入已训练的目标交通标识特征提取模型，得到所述待检测道路图像和所述参考道路图像分别对应的目标交通标识特征，将所述待检测道路图像对应的目标交通标识特征归入所述目标特征集合，将所述参考道路图像对应的目标交通标识特征归入所述参考特征集合。
19.根据权利要求18所述的装置，其特征在于，所述特征提取模块还用于将所述待检测道路图像和所述参考道路图像分别输入已训练的辅助交通标识特征提取模型，得到所述待检测道路图像和所述参考道路图像分别对应的辅助交通标识特征，基于同一道路图像对应的辅助交通标识特征生成对应的目标交通标识特征的关联辅助特征，得到所述待检测道路图像和所述参考道路图像分别对应的关联辅助特征，将所述待检测道路图像对应的关联辅助特征归入所述目标特征集合，将所述参考道路图像对应的关联辅助特征归入所述参考特征集合。
20.根据权利要求19所述的装置，其特征在于，所述目标交通标识特征包括至少一个目标交通标识的第一位置特征，所述辅助交通标识特征包括至少一个辅助交通标识的参考位置特征，所述特征提取模块还用于基于当前道路图像对应的各个辅助交通标识的参考位置特征分割所述当前道路图像，得到各个候选子区域和对应的区域位置特征，所述当前道路图像为所述待检测道路图像或所述参考道路图像，将所述当前道路图像中各个目标交通标识的第一位置特征和各个候选子区域的区域位置特征进行匹配，根据匹配结果确定各个目标交通标识对应的候选子区域，基于各个目标交通标识对应的候选子区域的区域位置特征生成各个目标交通标识的第二位置特征，基于所述当前道路图像中各个目标交通标识的第二位置特征生成对应的目标交通标识特征的关联辅助特征。
21.根据权利要求13所述的装置，其特征在于，所述特征提取模块还用于基于所述待检测道路图像的图像属性信息生成所述待检测道路图像对应的第一图像采集设备特征，将所述第一图像采集设备特征归入所述目标特征集合，基于所述参考道路图像的图像属性信息生成所述参考道路图像对应的第二图像采集设备特征，将所述第二图像采集设备特征归入所述参考特征集合。
22.根据权利要求13所述的装置，其特征在于，所述一致性检测模块还用于将所述目标特征集合和所述参考特征集合输入已训练的匹配度预测模型，得到所述匹配度，当所述匹配度大于匹配度阈值时，确定所述一致性检测结果为一致，当所述匹配度小于匹配度阈值时，确定所述一致性检测结果为不一致。
23.根据权利要求13所述的装置，其特征在于，当所述参考道路图像为至少两个时，各个参考道路图像存在一一对应的参考特征集合，待检测道路图像和各个参考道路图像存在一一对应的一致性检测结果，所述检测状态确定模块还用于当至少一个一致性检测结果为一致时，确定所述目标检测状态为目标交通标识不变，否则，则确定所述目标检测状态为目标交通标识变化。
24.根据权利要求13至23任意一项所述的装置，其特征在于，所述装置还包括：
地图更新模块，用于将目标检测状态为目标交通标识变化的待检测道路图像作为更新道路图像，在地图中，获取所述更新道路图像的位置信息对应的地图子区域，基于所述更新道路图像对应的目标交通标识类别的特征，对所述地图子区域中虚拟交通标识进行更新。
25.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。
26.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
CN202110036977.9A 2021-01-12 2021-01-12 交通标识检测方法、装置、计算机设备和存储介质 Active CN112699834B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110036977.9A CN112699834B (zh) 2021-01-12 2021-01-12 交通标识检测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110036977.9A CN112699834B (zh) 2021-01-12 2021-01-12 交通标识检测方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112699834A CN112699834A (zh) 2021-04-23
CN112699834B true CN112699834B (zh) 2022-06-17

Family

ID=75514117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110036977.9A Active CN112699834B (zh) 2021-01-12 2021-01-12 交通标识检测方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112699834B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516069A (zh) * 2021-07-08 2021-10-19 北京华创智芯科技有限公司 基于尺寸鲁棒的道路标识实时检测方法及装置
CN114155508B (zh) * 2021-12-08 2024-04-05 北京百度网讯科技有限公司 一种道路变化检测方法、装置、设备以及存储介质
CN114427876B (zh) * 2021-12-15 2023-11-28 武汉中海庭数据技术有限公司 一种交通看板关联关系的自动化检查方法及系统
CN116778347A (zh) * 2023-08-24 2023-09-19 腾讯科技（深圳）有限公司 数据更新方法、装置、电子设备和存储介质
CN117115772B (zh) * 2023-10-20 2024-01-30 腾讯科技（深圳）有限公司 一种图像处理的方法、装置、设备、存储介质及程序产品

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016001464A (ja) * 2014-05-19 2016-01-07 株式会社リコー 処理装置、処理システム、処理プログラム、及び、処理方法
CN106326858A (zh) * 2016-08-23 2017-01-11 北京航空航天大学 一种基于深度学习的公路交通标志自动识别与管理系统
FR3062944B1 (fr) * 2017-02-10 2021-05-14 Continental Automotive France Procede de detection de faux-positifs relatifs a un feu de signalisation
CN107571867B (zh) * 2017-09-05 2019-11-08 百度在线网络技术（北京）有限公司 用于控制无人驾驶车辆的方法和装置
CN108734131B (zh) * 2018-05-22 2021-08-17 杭州电子科技大学 一种图像中的交通标志对称性检测方法
CN110853180B (zh) * 2019-10-21 2021-11-09 中国第一汽车股份有限公司 一种识别交通标志牌发生变化的行车记录方法及系统
CN111275000B (zh) * 2020-02-18 2023-05-02 广州敏视数码科技有限公司 基于历史定位数据的交通标志牌检测方法
CN111414826A (zh) * 2020-03-13 2020-07-14 腾讯科技（深圳）有限公司 一种地标箭头的识别方法、设备及存储介质
CN111783524B (zh) * 2020-05-19 2023-10-17 普联国际有限公司 一种场景变换检测方法、装置、存储介质及终端设备
CN112001216A (zh) * 2020-06-05 2020-11-27 商洛学院 一种基于计算机的汽车行驶车道检测系统

Also Published As

Publication number Publication date
CN112699834A (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
CN112699834B (zh) 交通标识检测方法、装置、计算机设备和存储介质
CN111666921B (zh) 车辆控制方法、装置、计算机设备和计算机可读存储介质
Alvarez et al. Combining priors, appearance, and context for road detection
CN105512683B (zh) 基于卷积神经网络的目标定位方法及装置
JP2016062610A (ja) 特徴モデル生成方法及び特徴モデル生成装置
Wang et al. Adaptive road detection via context-aware label transfer
CN111311675A (zh) 车辆定位方法、装置、设备和存储介质
CN106446785A (zh) 基于双目视觉的可行道路检测方法
CN113762044A (zh) 道路识别方法、装置、计算机设备和存储介质
CN112329559A (zh) 一种基于深度卷积神经网络的宅基地目标检测方法
CN114764870A (zh) 对象定位模型处理、对象定位方法、装置及计算机设备
CN112712066B (zh) 图像识别方法、装置、计算机设备和存储介质
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
CN112215205B (zh) 目标识别方法、装置、计算机设备和存储介质
Wilson et al. Image and object Geo-localization
CN115203352B (zh) 车道级定位方法、装置、计算机设备和存储介质
CN115661444A (zh) 图像处理方法、装置、设备、存储介质及产品
CN113450457B (zh) 道路重建方法、装置、计算机设备和存储介质
CN114882372A (zh) 一种目标检测的方法及设备
CN108564020A (zh) 基于全景3d图像的微手势识别方法
Tang et al. An improved algorithm for road markings detection with SVM and ROI restriction: comparison with a rule-based model
CN114332174A (zh) 轨迹图像对齐方法、装置、计算机设备以及存储介质
CN113705304A (zh) 一种图像处理方法、装置、存储介质及计算机设备
CN112529116A (zh) 场景元素融合处理方法、装置和设备及计算机存储介质
CN116664873B (zh) 图像信息处理方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40042953

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant