CN112149624B - 一种交通标识图像处理方法和装置 - Google Patents

一种交通标识图像处理方法和装置 Download PDF

Info

Publication number
CN112149624B
CN112149624B CN202011109827.8A CN202011109827A CN112149624B CN 112149624 B CN112149624 B CN 112149624B CN 202011109827 A CN202011109827 A CN 202011109827A CN 112149624 B CN112149624 B CN 112149624B
Authority
CN
China
Prior art keywords
image
traffic identification
traffic
images
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011109827.8A
Other languages
English (en)
Other versions
CN112149624A (zh
Inventor
李玉梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011109827.8A priority Critical patent/CN112149624B/zh
Publication of CN112149624A publication Critical patent/CN112149624A/zh
Application granted granted Critical
Publication of CN112149624B publication Critical patent/CN112149624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种交通标识图像处理方法、装置、电子设备及计算机可读存储介质；涉及互联网和基于云技术的大数据计算；方法包括：获取针对道路环境进行图像采集得到的图像序列，从图像序列中的每个图像中提取出交通标识图像；比较图像序列中任意两个相邻图像中的交通标识图像，以确定任意两个相邻图像中对应相同交通标识的交通标识图像；将任意两个相邻图像中对应相同交通标识的交通标识图像，关联到对应的标记点；针对每个标记点，执行以下处理：根据关联到标记点的多个交通标识图像在图像序列中的排序位置，确定用于代表每个标记点的交通标识图像。通过本申请，能够高效准确地对交通标识图像进行聚合以识别出代表标记点的合适的交通标识图像。

Description

一种交通标识图像处理方法和装置
技术领域
本申请涉及人工智能的图形处理技术，尤其涉及一种交通标识图像处理方法、装置、电子设备及计算机可读存储介质。
背景技术
人工智能(Artificial Intelligence，AI)是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。基于人工智能的图形处理技术在很多的领域得到应用，并发挥越来越重要的价值。
以通过图像处理技术聚合多个图像中的交通标识图像为例，在相关技术中，一般通过图像检测技术，根据交通标识的类别，大小及在图像中位置，以及图像的全球定位系统(GPS，Global Positioning System)信息(即图像之间的实际物理距离)，检测出图像中的交通标识，进而将其进行聚合，即归属到同一标记点。而对于路名牌的图像聚合来说，这种方案的效率和准确性无法满足实用需求。
发明内容
本申请实施例提供一种交通标识图像处理方法、装置、电子设备及计算机可读存储介质，能够高效准确地对交通标识图像进行聚合以识别出代表标记点的合适的交通标识图像。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种交通标识图像处理方法，包括：
获取针对道路环境进行图像采集得到的图像序列，从所述图像序列中的每个图像中提取出交通标识图像；
比较所述图像序列中任意两个相邻图像中的交通标识图像，以确定所述任意两个相邻图像中对应相同交通标识的交通标识图像；
将所述任意两个相邻图像中对应相同交通标识的交通标识图像，关联到对应的标记点；
针对每个所述标记点执行以下处理：根据关联到所述标记点的多个交通标识图像在所述图像序列中的排序位置，确定用于代表每个所述标记点的交通标识图像。
本申请实施例提供一种交通标识图像处理装置，包括：
提取模块，用于获取针对道路环境进行图像采集得到的图像序列，从所述图像序列中的每个图像中提取出交通标识图像；
比较模块，用于比较所述图像序列中任意两个相邻图像中的交通标识图像，以确定所述任意两个相邻图像中对应相同交通标识的交通标识图像；
关联模块，用于将所述任意两个相邻图像中对应相同交通标识的交通标识图像，关联到对应的标记点；
确定模块，用于针对每个所述标记点，执行以下处理：根据关联到所述标记点的多个交通标识图像在所述图像序列中的排序位置，确定用于代表每个所述标记点的交通标识图像。
在上述方案中，所述比较模块，还用于针对所述图像序列中任意两个相邻的第一图像和第二图像，遍历所述第一图像中的交通标识图像与所述第二图像中的交通标识图像，以执行以下处理：
确定所述第一图像中的交通标识图像与所述第二图像中的交通标识图像的字符编辑距离；
当所述字符编辑距离小于编辑阈值时，确定所述第一图像中的交通标识图像与所述第二图像中的交通标识图像包括相同的字符，并将所述第一图像中的交通标识图像关联到所述第二图像中的交通标识图像已经关联的标记点。
在上述方案中，当所述字符编辑距离大于编辑阈值时，所述比较模块，还用于遍历所述第一图像中的交通标识图像与所述第二图像中的交通标识图像，以执行以下处理：
当所述字符编辑距离大于等于编辑阈值时，获取所述第一图像中的交通标识图像的图像特征和所述第二图像中的交通标识图像的图像特征；
当所述第一图像中的交通标识的图像特征和所述第二图像中的交通标识图像的图像特征的相似度大于相似度阈值时，确定所述第一图像中的交通标识图像与所述第二图像中的交通标识图像包括相同的交通标识图像，并
将所述第一图像中的交通标识图像关联到所述第二图像中的交通标识图像已经关联的标记点。
在上述方案中，当所述第二图像中不存在与所述第一图像中的交通标识图像包括相同字符的交通标识图像时，本申请实施例提供的一种交通标识图像处理装置，还包括：
分配模块，用于为所述第一图像中的交通标识图像分配新的标记点，并将所述第一图像中的交通标识图像关联到所述新的标记点。
在上述方案中，所述比较模块，还用于将所述第一图像中的交通标识图像包括的字符修改为所述第二图像中的交通标识图像对应位置包括的字符；
将执行的修改操作次数的总和作为所述第一图像中的交通标识图像和所述第二图像中的交通标识图像之间的字符编辑距离。
在上述方案中，所述比较模块，还用于针对所述图像序列中任意两个相邻的第一图像和第二图像，遍历所述第一图像中的交通标识图像与所述第二图像中的交通标识图像，以执行以下处理：
获取所述第一图像中的交通标识图像和所述第二图像中的交通标识图像的图像特征；
当所述第一图像中的交通标识图像的图像特征、以及所述第二图像中的交通标识图像的图像特征的相似度大于相似度阈值时，将所述第一图像中的交通标识图像关联到所述第二图像中的交通标识图像已经关联的标记点；
当所述第一图像中的交通标识图像的图像特征、以及所述第二图像中的交通标识图像的图像特征的相似度小于或等于相似度阈值时，为所述第一图像中的交通标识图像分配新的标记点，并将所述第一图像中的交通标识图像关联到所述新的标记点。
在上述方案中，所述比较模块，还用于将所述第一图像中的交通标识图像划分为多个单元格，确定每个所述单元格的方向梯度直方图，以作为单元格特征；
以块为单位，将每个所述块中所有单元格的单元格特征进行串联，得到所述块的块特征；
其中，所述块包括至少一个所述单元格；
以一个所述块为扫描窗口，并以一个所述单元格为扫描步长，对所述第一图像中的交通标识图像进行扫描，将所述交通标识图像内扫描得到的所有块的块特征串联起来，得到所述第一图像中的交通标识图像的图像特征。
在上述方案中，在所述比较所述图像序列中任意两个相邻图像中的交通标识图像之前，本申请实施例提供的一种交通标识图像处理装置，还包括：
删除模块，用于针对识别出任意一个所述交通标识图像执行以下处理：
将所述交通标识图像转换为灰度图像，基于梯度算子对所述灰度图像进行卷积处理，得到梯度图像；
根据所述梯度图像中各像素点的波动范围，确定所述梯度图像的像素值方差；
当所述像素值方差低于方差阈值时，将所述交通标识图像确定为模糊图像，并删除所述模糊图像。
在上述方案中，所述确定模块，还用于根据关联到同一标记点的多个交通标识图像所属图像在所述图像序列中的顺序，对关联到同一标记点的多个交通标识图像排序，以得到每个所述标记点的交通标识图像序列；
针对每个所述标记点的交通标识图像序列执行以下处理：
获取所述交通标识图像序列中的最后一个交通标识图像的图像亮度；
当所述最后一个交通标识图像的图像亮度大于亮度阈值时，将所述最后一个交通标识图像的前一个交通标识图像作为用于代表所述标记点的交通标识图像；
当所述最后一个交通标识图像的图像亮度不大于所述亮度阈值时，将所述最后一个交通标识图像作为用于代表所述标记点的交通标识图像。
本申请实施例提供一种交通标识图像处理装置，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的交通标识图像处理方法。
本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于被处理器执行时，实现本申请实施例提供的交通标识图像处理方法。
本申请实施例具有以下有益效果：
通过对采集的图像序列进行提取、比较、关联一系列处理，高效准确地将图像序列中提取的交通标识图像关联到对应的标记点；进而，针对每个标记点根据关联到该标记点的多个交通标识图像在图像序列中的排序位置，确定出代表该标记点的交通标识图像，能够高效准确挑选出清晰准确的最佳交通标识图像。
附图说明
图1是本申请实施例提供的交通标识图像处理系统100的一个架构示意图；
图2是本申请实施例提供的交通标识图像处理的服务器200的结构示意图；
图3A是本申请实施例提供的交通标识图像处理方法的一个流程示意图；
图3B是本申请实施例提供的交通标识图像处理方法的一个流程示意图；
图3C是本申请实施例提供的交通标识图像处理方法的一个流程示意图；
图4是本申请实施例提供的将路名牌图像聚合到标记点的方法的流程示意图；
图5是本申请实施例提供的对道路图像中的路名牌图像的示意图；
图6是本申请实施例提供的当前帧道路图像的示意图；
图7是本申请实施例提供的当前帧的前一帧道路图像的示意图；
图8是本申请实施例提供的单元格中像素点映射的示意图；
图9是本申请实施例提供的当前帧道路图像的示意图；
图10是本申请实施例提供的当前帧的前一帧道路图像的示意图；
图11是本申请实施例提供的路名牌图像序列中最后一张路名牌图像；
图12是本申请实施例提供的路名牌图像序列中倒数第二张路名牌图像。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)交通标识，指与交通规则相关的一些标识要素，例如红绿灯、圆牌(提示禁行等交通规则)、三角牌(警示作用)、路名牌以及其他标牌(如慢，停等牌)，通常用文字或符号传递引导、限制、警告或指示信息。
2)标记(Mark)点，在物理世界的一个路名牌会在地图采集序列图像中多次出现，这些图像记为属于同一个标记点。
3)聚合，根据图像序列中的信息，识别出属于同一个标记点的多个交通标识图像，将多个交通标识图像关联至该标记点。
4)最佳图像，对于同一个标记点的多个交通标识图像，交通标识所包含的字符内容最清晰的为此标记点的最佳图像。
5)编辑距离，又称字符串相似度(Levenshtein)距离，是指两个字串之间，由一个转成另一个所需的最少编辑操作次数。是一种计算两个字符串间的差异程度的字符串度量(String Metric)，就是从一个字符串修改到另一个字符串时，其中编辑(比如修改、插入、删除)单个字符所需要的最少次数。
地图行业每天都会采集上千万的道路图像，由于回传数据是连续的视频帧图像或照片，对于同一个路名牌图像会采集很多张，如果每张道路图像都进行处理，会有很多重复无效作业，即会导致道路图像的作业效率低，人工成本过高。而且相关技术中，一般先通过图像检测技术检测出道路图像中的交通标识图像，再根据交通标识图像的类别，大小及在道路图像中位置，以及道路图像的GPS信息(即道路图像之间的实际物理距离)，从而将检测出的交通标识图像进行聚合，即归属到同一标记点。而对于路名牌的图像聚合来说，最主要是根据路名牌上的文字内容来判断是否属于同一个标记点，而相关技术中仅仅利用路名牌的大小、位置等信息难以有效聚合出属于同一个标记点的交通标识图像。这种方案的效率和准确性无法满足实用需求。
针对上述问题，本申请实施例提供一种交通标识图像处理方法、装置、电子设备及计算机可读存储介质，能够高效准确地对交通标识图像进行聚合以识别出代表标记点的合适的交通标识图像，下面说明本申请实施例提供的交通标识图像聚合的电子设备的示例性应用，本申请实施例提供的交通标识图像聚合的电子设备可以实施为服务器，对采集的道路环境的图像序列进行提取、比较、关联一系列处理，将图像序列中提取的交通标识图像关联到对应的标记点，进而，针对每个标记点根据关联到该标记点的多个交通标识图像在图像序列中的排序位置，确定出代表该标记点的交通标识图像；也可以实施为各种类型的用户终端，根据作业人员上传的采集的道路环境的图像序列进行提取、比较、关联一系列处理，将图像序列中提取的交通标识图像关联到对应的标记点，进而，针对每个标记点根据关联到该标记点的多个交通标识图像在图像序列中的排序位置，自动确定出代表该标记点的交通标识图像。下面，将说明电子设备实施为服务器时的示例性应用。
参见图1，图1是本申请实施例提供的交通标识图像处理系统100的一个可选的架构示意图，为实现支撑一个交通标识图像聚合应用。其中，交通标识图像聚合系统100包括：服务器200、网络300和终端(示例性示出了终端400-1和终端400-2)，终端通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。
服务器200，用于根据道路环境的图像序列，对采集的道路环境的图像序列进行提取、比较及关联一系列的处理，将图像序列中提取的交通标识图像关联到对应的标记点，进而，针对每个标记点根据关联到该标记点的多个交通标识图像在图像序列中的排序位置，确定出代表该标记点的交通标识图像，并下发至终端，以供终端查看该标记点信息时，获取代表该标记点的交通标识图像，给终端用户指明方向道路。
终端，用于获取服务器200发送的代表该标记点的交通标识图像，当终端用户查看该标记点信息时，获取代表该标记点的交通标识图像，以为终端用户指明方向道路。
在一些实施例中，以交通标识是路名牌图像为例，终端将采集的道路环境的图像序列上传至服务器200；服务器200从该图像序列中的每个道路图像提取出路名牌图像，比较图像序列中任意两个相邻道路图像中的路名牌图像(即交通标识图像)，以确定出对应相同路名牌的路名牌图像，并将其关联到对应的标记点；针对每个标记点，根据关联到该标记点的多个路名牌图像在图像序列中的排序位置，确定用于代表每个标记点的路名牌图像，并下发至终端，当终端用户查看该标记点信息时，获取代表该标记点的路名牌图像，为终端用户指明方向道路。
在一些示例中，服务器可以是终端中安装的电子地图客户端的后台服务器，定期或不定期更新代表标记点的交通标识图像，并同步到电子地图客户端，当终端用户在使用导航功能时作为路标使用。
在一些实施例中，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器200可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例中不做限制。
下面对本申请实施例提供的交通标识图像处理方法的电子设备的硬件结构做详细说明。以电子设备为图1示出的服务器200为例，参见图2，图2是本申请实施例提供的交通标识图像处理的服务器200的结构示意图，图2所示的服务器200包括：至少一个处理器210、存储器250、至少一个网络接口220和用户接口230。服务器200中的各个组件通过总线系统240耦合在一起。可理解，总线系统240用于实现这些组件之间的连接通信。总线系统240除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统240。
处理器210可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口230包括使得能够呈现媒体内容的一个或多个输出装置231，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口230还包括一个或多个输入装置232，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器250可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器250可选地包括在物理位置上远离处理器210的一个或多个存储设备。
存储器250包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本申请实施例描述的存储器250旨在包括任意适合类型的存储器。
在一些实施例中，存储器250能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统251，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块252，用于经由一个或多个(有线或无线)网络接口220到达其他计算设备，示例性的网络接口220包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
在一些实施例中，本申请实施例提供的交通标识图像处理装置可以采用软件方式实现，图2示出了存储在存储器250中的交通标识图像处理装置253，其可以是程序和插件等形式的软件，包括以下软件模块：提取模块2531、比较模块2532、关联模块2533、确定模块2534、分配模块2535、删除模块2536和确定模块2537，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分，将在下文中说明各个模块的功能。
可以理解的是，本申请实施例提供的交通标识图像处理方法可以由电子设备执行，电子设备包括但不限于服务器或终端。下面将结合本发明实施例提供的交通标识图像处理方法实施为服务器的示例性应用，说明本申请实施例提供的交通标识图像处理方法。参见图3A，图3A是本申请实施例提供的交通标识图像处理方法的一个流程示意图，下面将结合图3A示出的步骤进行说明。
在步骤101中，获取针对道路环境进行图像采集得到的图像序列，从图像序列中的每个图像中提取出交通标识图像。
在一些实施例中，从图像序列中的每个图像中提取出交通标识图像，可以通过卷积神经网络来实现：根据训练好的卷积神经网络检测出包括交通标识的图像，并定位出交通标识的区域，以提取出交通标识图像。
卷积神经网络的训练可以通过以下方式实现：构建卷积神经网络并进行相应的网络参数设定，卷积神经网络由多个卷积层和多个全连接层构成。利用交通标识图像样本以及非交通标识图像样本通过卷积层来提取交通标识特征，然后输入全连接层进行预测；采用梯度下降的方式更新网络参数，也就是网络参数朝着损失函数负梯度的方向迭代更新，以更新各网络参数；当预测置信度达到置信度阈值时，完成训练。
作为示例，卷积神经网络可以是基于单个神经网络的目标检测系统，例如YOLO(You Only Look Once)，由24个卷积层和2个全连接层构成。把一张图像分为了S*S个网格，例如S为7，相应网格负责检测中心落在其网格内的交通标识，当网格中存在交通标识时，则给出精准的边界框坐标，从而完成检测和识别任务。
在步骤102中，比较图像序列中任意两个相邻图像中的交通标识图像，以确定任意两个相邻图像中对应相同交通标识的交通标识图像。
在一些实施例中，基于图3A，参见图3B，图3B是本申请实施例提供的交通标识图像处理方法的一个流程示意图，图3B示出了步骤102可以通过以下步骤实现：步骤1021和步骤1022，下面将结合各步骤进行说明。
在步骤1021中，针对图像序列中任意两个相邻的第一图像和第二图像，遍历第一图像中的交通标识图像，与第二图像中的交通标识图像，以执行以下处理：确定第一图像中的交通标识图像与第二图像中的交通标识图像的字符编辑距离。
在步骤1022中，当字符编辑距离小于编辑阈值时，确定与第二图像中的交通标识图像包括相同的字符，并将第一图像中的交通标识图像关联到第二图像中的交通标识图像已经关联的标记点。
在一些示例中，确定第一图像中的交通标识图像与第二图像中的交通标识图像的字符编辑距离，可以通过以下方式实现：将第一图像中的交通标识图像包括的字符修改为第二图像中的交通标识图像对应位置包括的字符；将执行的修改操作次数的总和作为第一图像中的交通标识图像和第二图像中的交通标识图像之间的字符编辑距离。
需要说明的是，这里，针对的图像序列中任意两个相邻的第一图像和第二图像中，第一图像在图像序列中位于第二图像之前；遍历第一图像中的交通标识图像，是针对每个遍历到的交通标识图像进行处理；第一图像中的交通标识图像以及第二图像中的交通标识图像均是被实时遍历到的任意的交通标识图像。
举例来说，假设采集的道路环境的图像序列为M帧，对第m帧图像进行处理，遍历图像序列中的第m(取值从1开始，最大值为M)帧图像中的交通标识图像i(取值从1开始，最大值为第m帧图像中包括的交通标识图像的数量)，识别出交通标识图像i中包括的字符，与图像序列中的第m-1帧图像中的交通标识图像j(取值从1开始，最大值为第m-1帧图像中包括的交通标识图像的数量)中包括的字符；将第m帧图像中交通标识图像i包括的字符修改为第m-1帧图像中的交通标识图像j对应位置包括的字符；将执行的修改操作次数的总和作为第m帧图像中的交通标识图像i和第m-1帧图像中的交通标识图像j之间的字符编辑距离。当第m帧图像中的交通标识图像全部处理完毕后，再处理第m+1帧图像中的交通标识图像i。
其中，m、i、j均为大于0的自然数；当m为1、i为1时，为第1帧图像中第1个交通标识图像建立第1个标记点。需要说明的是，i即为第一图像中的交通标识图像，j即为第二图像中的交通标识图像。
在一些实施例中，当交通标识为多个字符时，确定第一图像中的交通标识图像与第二图像中的交通标识图像的字符编辑距离，还可以通过以下方式实现：对每个交通标识图像进行特征提取，得到交通标识图像的交通标识特征(即字符特征)；基于交通标识特征，将交通标识图像分割成包含交通标识特征的多个字符区域图像；其中，字符区域图像的数量与交通标识特征数量对应；对多个字符区域图像进行对齐处理，以使字符区域图像与字符识别模板图像的尺寸一致；将对齐后的每个字符区域图像与字符识别模板图像进行匹配，以得到与每个字符区域图像一一匹配的多个字符识别模板图像；将匹配得到的多个字符识别模板图像对应的字符作为交通标识图像包括的字符；根据识别出的第一图像中的交通标识图像包括的字符与第二图像中的交通标识图像包括的字符，确定第一图像中的交通标识图像与第二图像中的交通标识图像的字符编辑距离。
在一些实施例中，当字符编辑距离大于编辑阈值时，在步骤101之后还可以执行以下步骤：遍历第一图像中的交通标识图像与第二图像中的交通标识图像，以执行以下处理：获取第一图像中的交通标识图像的图像特征和第二图像中的交通标识图像的图像特征；当第一图像中的交通标识的图像特征和第二图像中的交通标识图像的图像特征的相似度大于相似度阈值时，确定第一图像中的交通标识图像与第二图像中的交通标识图像包括相同的交通标识图像，并将第一图像中的交通标识图像关联到第二图像中的交通标识图像已经关联的标记点。
在一些实施例中，当第二图像中不存在与第一图像中的交通标识图像包括相同字符的交通标识图像时，还可以执行以下步骤：为第一图像中的交通标识图像分配新的标记点，并将第一图像中的交通标识图像关联到新的标记点。
举例来说，假设采集的道路环境的图像序列为M帧，对图像序列中的第1帧图像进行处理，为第1帧图像中的第1个交通标识图像建立第1个标记点；处理图像序列中的第2帧图像中的交通标识图像1；比较第2帧图像中的交通标识图像1与第1帧图像中的交通标识图像1。当字符编辑距离小于编辑阈值时，确定第2帧图像中的交通标识图像1与第1帧图像中的交通标识图像1对应相同字符，将第2帧图像中的交通标识图像1与第1帧图像中的交通标识图像1，关联到第1个标记点；处理第2帧图像中的交通标识图像2，当字符编辑距离小于编辑阈值时，确定第2帧图像中的交通标识图像2与第1帧图像中的交通标识图像1对应相同字符，将第2帧图像中的交通标识图像2关联到第1帧图像中的交通标识图像1所属的第1个标记点(即已经关联的标记点)；处理第2帧图像中的交通标识图像3，当字符编辑距离大于或等于编辑阈值、且图像特征相似度大于相似度阈值时，将第2帧图像中的交通标识图像3关联到第1帧图像中的交通标识图像1所属的第1个标记点(即已经关联的标记点)；处理第2帧图像中的交通标识图像4，当字符编辑距离大于或等于编辑阈值、且图像特征相似度小于或等于相似度阈值时，为第2帧图像中的交通标识图像4分配第2个标记点(即新的标记点)，并将其关联到第2个标记点。
这里，图像特征可以是方向梯度直方图特征(HOG，Histogram of Oriente dGradient)特征。
在一些示例中，获取第一图像中的交通标识图像的图像特征和第二图像中的交通标识图像的图像特征，可以通过以下方式来实现：针对图像序列中任意两个相邻的第一图像和第二图像中的每个交通标识图像执行以下处理：将交通标识图像划分为多个单元格，确定每个单元格的方向梯度直方图，以作为单元格特征；其中，单元格包括多个像素点；以块为单位，将每个块中所有单元格的单元格特征进行串联，得到块的块特征；其中，块包括至少一个单元格；以一个块为扫描窗口，并以一个单元格为扫描步长，对交通标识图像进行扫描，将交通标识图像内扫描得到的所有块的块特征串联起来，得到交通标识图像的图像特征。
在一些示例中，确定每个单元格的方向梯度直方图，可以通过以下方式实现：基于梯度算子对交通标识图像进行卷积处理，得到交通标识图像中每个像素点的横坐标方向梯度分量和纵坐标方向梯度分量；将横坐标方向的梯度分量与纵坐标方向梯度分量的平方和的算术平方根，作为像素点的梯度大小；将横坐标方向的梯度分量与纵坐标方向梯度分量的比值的反正切函数作为像素点的梯度方向；统计单元格内每个像素点的梯度大小和梯度方向，以得到每个单元格的方向梯度直方图。
在一些示例中，统计单元格内每个像素点的梯度大小和梯度方向，以得到每个单元格的梯度方向直方图，包括：将单元格内每个像素点的梯度方向映射至单元格的多个方向区间的梯度方向范围中；其中，方向区间的个数与梯度方向直方图中的通道数量相同；将映射至每个方向区间中的多个像素点的梯度幅度进行求和，得到每个单元格在多个方向区间的梯度大小，以作为单元格的梯度方向直方图中的通道对应的数值。
在本申请实施例中，可以通过图像特征的相似度聚合交通标识图像；也可以先通过字符编辑距离的比较结果聚合交通标识图像，再通过图像特征的相似度进一步聚合交通标识图像，提升聚合的精确度。
在一些实施例中，比较图像序列中任意两个相邻图像中的交通标识图像，以确定任意两个相邻图像中对应相同交通标识的交通标识图像，可以通过以下方式实现：针对图像序列中任意两个相邻的第一图像和第二图像，遍历第一图像中的交通标识图像与第二图像中的交通标识图像，以执行以下处理：获取第一图像中的交通标识图像的图像特征、以及第二图像中的交通标识图像的图像特征；当第一图像中的交通标识图像的图像特征和第二图像中的交通标识图像的图像特征的相似度大于相似度阈值时，确定第一图像中的交通标识图像和第二图像中的交通标识图像对应相同的交通标识的交通标识图像，并将第一图像中的交通标识图像和第二图像中的交通标识图像对应相同交通标识的交通标识图像，并将第一图像中的交通标识图像关联到第二图像中的交通标识图像已经关联的标记点；当第一图像中的交通标识图像和第二图像中的交通标识图像的图像特征的相似度小于或等于相似度阈值时，确定第一图像中的交通标识图像和第二图像中的交通标识图像对应不同的交通标识，为第一图像中的交通标识图像分配新的标记点，并将第一图像中的交通标识图像关联到新的标记点。
在一些示例中，获取第一图像中的交通标识图像，可以通过以下方式实现：将第一图像中的交通标识图像划分为多个单元格，确定每个单元格的方向梯度直方图，以作为单元格特征；以块为单位，将每个块中所有单元格的单元格特征进行串联，得到块的块特征；以一个块为扫描窗口，并以一个单元格为扫描步长，对第一图像中的交通标识图像进行扫描，将扫描得到的所有块的块特征串联起来，得到第一图像中的交通标识图像的图像特征。
需要说明的是，其中，一个单元格包括多个像素点，一个块包括多个单元格。第二图像中的交通标识图像的图像特征的获取方式与第一图像中的交通标识图像的获取方式相同。
在一些实施例中，参见图3C，图3C是本申请实施例提供的交通标识图像处理方法的一个流程示意图，基于图3A，图3C示出了在步骤102之前，还可以执行步骤105至步骤107。针对识别出任意一个交通标识图像执行以下处理：
在步骤105中，将交通标识图像转换为灰度图像，基于梯度算子对灰度图像进行卷积处理，得到梯度图像；
在步骤106中，根据梯度图像中各像素点的波动范围，确定梯度图像的像素值方差；
在步骤107中，当像素值方差低于方差阈值时，将交通标识图像确定为模糊图像，并从提取出的交通标识图像集合中删除模糊图像。
这里，梯度算子可以是[-1，0，1]和[1，0，-1]T，用[-1，0，1]梯度算子对灰度图像做卷积运算，得到每个像素点的横坐标方向(即水平方向，以向右为正方向)的梯度分量，然后用[1，0，-1]T梯度算子对灰度图像做卷积运算，得到每个像素点的纵坐标方向(即竖直方向，以向上为正方向)的梯度分量。
在本申请实施例中，通过模糊度检测在比较图像序列中任意两个相邻图像中的交通标识图像之前，将模糊无效的图像进行剔除，避免无效作业，提高聚合效率。
在步骤103中，将任意两个相邻图像中对应相同交通标识的交通标识图像，关联到对应的标记点。
举例来说，假设图像序列中有三帧图像A、B、C，通过步骤101从A中提取出交通标识图像a、b，从B中提取出交通标识图像c、d，从C中提取出交通标识图像e、f；通过步骤102确定出b、c对应相同的交通标识，c、f对应相同的交通标识，交通标识图像d、e对应相同的交通标识，通过步骤103将b、c、f关联到所属标记点1，d、e关联到所属标记点2，以完成所有对应相同交通标识的交通标识图像的关联(即聚合)。
在步骤104中，针对每个标记点，执行以下处理：根据关联到标记点的多个交通标识图像在图像序列中的排序位置，确定用于代表每个标记点的交通标识图像。
在一些实施例中，根据关联到每个标记点的多个交通标识图像在所述图像序列中的排序位置，确定用于代表每个标记点的交通标识图像，可以通过以下方式实现：根据关联到同一标记点的多个交通标识图像所属图像在图像序列中的顺序，对关联到同一标记点的多个交通标识图像排序，以得到每个标记点的交通标识图像序列；针对每个标记点的交通标识图像序列执行以下处理：获取交通标识图像序列中的最后一个交通标识图像的图像亮度；当最后一个交通标识图像的图像亮度大于亮度阈值时，将最后一个交通标识图像的前一个交通标识图像作为用于代表标记点的交通标识图像；当最后一个交通标识图像的图像亮度不大于亮度阈值时，将最后一个交通标识图像作为用于代表标记点的交通标识图像。
在本申请实施例中，通过图像亮度剔除反光的交通标识图像，杜绝挑选出的代表地标点的交通标识图像碰上反光的情况，以精准挑选出清晰的最佳交通标识图像显示地标点的交通标识信息。
下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。以对路名牌图像进行聚合为例，根据图像序列中的每个道路图像提取出路名牌图像，比较图像序列中任意两个相邻道路图像中的路名牌图像，以确定出对应相同路名的路名牌图像，并将其关联到对应的标记点；针对每个标记点，根据关联到该标记点的多个路名牌图像在图像序列中的排序位置，确定用于代表每个标记点的路名牌图像，以供终端用户查看标记点信息时，获取代表该标记点的路名牌图像，为终端用户指明方向道路，提升用户体验。参见图4，图4是本申请实施例提供的将路名牌图像聚合到标记点的方法的流程示意图，本申请实施例提供的将路名牌图像聚合到标记点的方法，可以通过以下方式实现：
步骤201：对第m帧道路图像进行检测。其中，m的取值从1开始，最大值为采集的道路环境的图像序列中道路图像的数量。
步骤202：判断是否有路名牌。当第m帧道路图像中没有路名牌时，执行步骤203；当第m帧道路图像中有路名牌时，执行步骤204。
步骤203：剔除当前帧，并处理下一帧。
步骤204：处理第m帧中第i个路名牌图像a。
步骤205：判断是否为模糊图像。当通过模糊度检测判断第m帧道路图像中第i个路名牌图像a为模糊图像时，执行步骤206；当通过模糊度检测判断第m帧道路图像中第i个路名牌图像a不为模糊图像时，执行步骤207。
步骤206：剔除路名牌图像a。
步骤207：查看第m-1帧是否有路名牌。当第m-1帧道路图像没有路名牌时，执行步骤208；当第m-1帧道路图像有路名牌时，执行步骤209。
步骤208：为路名牌图像a分配一个新的标记点。
步骤209：处理第m-1帧中第j个路名牌图像b。
步骤210：比较路名牌图像a和路名牌图像b的字符编辑距离是否小于编辑阈值。当路名牌图像a和路名牌图像b的字符编辑距离小于编辑阈值时，执行步骤211；当路名牌图像a和路名牌图像b的字符编辑距离大于或等于编辑阈值时，执行步骤212。
步骤211：将路名牌图像a与路名牌图像b聚合为同一个标记点。
步骤212：比较路名牌图像a和路名牌图像b的图像特征相似度是否大于相似度阈值。当路名牌图像a和路名牌图像b的图像特征相似度大于相似度阈值时，执行步骤213；当路名牌图像a和路名牌图像b的图像特征相似度小于或等于相似度阈值，执行步骤214。
步骤213：将路名牌图像a与路名牌图像b聚合为同一个标记点。
步骤214：为路名牌图像a分配一个新的标记点。
步骤215：j＝j+1，即处理第m-1帧中第j+1个路名牌图像。当第m-1帧道路图像中的路名牌图像处理完毕时，执行步骤216。
步骤216：i＝i+1，即处理第m帧中的第i+1个路名牌图像。当第m帧道路图像中的路名牌图像处理完毕时，处理第m+1帧图像。
在一些示例中，对于采集的道路图像进行路名牌检测，可以选择YOLO进行路名牌的检测。对路名牌图像进行模糊检测，模糊度检测可以通过以下方式实现：转换灰度图；在灰度图上计算拉普拉斯算梯度图；计算梯度图像素值方差，当方差低于方差阈值时，确定是模糊图像，否则是清晰图像。参见图5，图5是本申请实施例提供的对道路图像中的路名牌图像的示意图，路名牌图像301，计算路名牌图像的方差为1.5，低于方差阈值2.0，确定是模糊的路名牌图像，将其进行剔除。
对经过模糊度过滤后留下的路名牌图像进行字符识别，当前帧的第1个路名牌图像字符识别结果(包含的字符)与前一帧的第1个路名牌图像字符识别结果(包含的字符)，计算其字符编辑距离；当字符编辑距离小于编辑阈值时，确定其字符识别内容一致(即当前帧的第1个路名牌图像与前一帧的第1个路名牌图像对应相同字符)，判断为同一标记点。举例来说，参见图6，图6是本申请实施例提供的当前帧道路图像的示意图，参见图7，图7是本申请实施例提供的当前帧的前一帧道路图像的示意图，图6中302示出了当前帧道路图像的第1个路名牌图像，字符识别结果为“后海大道”，图7中303示出了当前帧的前一帧道路图像的第1个路名牌图像，字符识别结果为“后海大道”，两者的字符编辑距离为0，小于编辑阈值0.3，确定当前帧道路图像的第1个路名牌图像302与当前帧的前一帧道路图像的第1个路名牌图像303为对应相同字符的路名牌图像，将其聚合(关联)到同一个标记点。
对于字符编辑距离大于或等于编辑阈值的路名牌图像，进一步比较路名牌图像的图像特征的相似度，其中图像特征可以是方向梯度直方图特征。方向梯度直方图特征相似度可以通过以下方式实现：为减少光照因素的影响，首先将路名牌图像进行归一化(压缩处理)，即通过能够压缩处理有效地降低图像局部的阴影和光照变化；计算路名牌图像中每个像素点的横坐标方向梯度分量和纵坐标方向梯度分量，并据此计算每个像素点的梯度值(包括梯度大小和梯度方向)。例如，每个像素点的横坐标方向梯度分量Gx(x,y)，每个像素点的纵坐标方向梯度分量Gx(x,y)为：
Gx(x,y)＝I(x+1,y)-I(x-1,y) (1)
Gy(x,y)＝I(x,y+1)-I(x,y-1) (2)
每个像素点的梯度大小Gx(x,y)为：
Figure BDA0002728233250000201
Figure BDA0002728233250000202
为每个单元格构建梯度方向直方图。为每个单元格构建梯度方向的直方图可以通过以下方式实现：将路名牌图像分成多个单元格，例如每个单元格为6*6个像素点；9个通道的方向梯度直方图来统计这6*6个像素点的梯度信息；将单元格的梯度方向360度平均分成9个方向区间(考虑了正负)，参见图8，图8是本申请实施例提供的单元格中像素点映射的示意图。其中，图8示出的方向区间1为0-20度和200-220度，方向区间2为20-40度和220-240度，由此类推，方向区间9为160-180度和340-360度，举例来说，当一个像素点的梯度方向是30度，梯度大小是2，单元格方向梯度直方图第2个通道的计数就加2，如此，对单元格内每个像素点用梯度方向在方向梯度直方图中进行加权投影(映射到固定的角度范围)，得到这个单元格的方向梯度直方图，即为该单元格对应的9维特征向量(对应9个通道的向量)。
对梯度强度做归一化，进一步的对光照、阴影和边缘进行压缩。把各个单元格组合成大的块；一个块内所有单元格的单元格特征串联起来便得到该块的块特征。以一个块为扫描窗口，并以一个单元格为扫描步长，对路名牌图像进行扫描，将路名牌图像内扫描得到的所有块的块特征串联起来，得到路名牌图像的图像特征。
计算归一化后的图像特征的相似度。当当前帧的路名牌图像的图像特征与当前帧前一帧的路名牌图像的图像特征相似度大于相似度阈值时，确定两者属于同一个标记点，否则是不同标记点。举例来说，参见图9，图9是本申请实施例提供的当前帧道路图像的示意图，参见图10，图10是本申请实施例提供的当前帧的前一帧道路图像的示意图。当前帧道路图像中路名牌图像304和当前帧的前一帧道路图像中路名牌图像305的字符识别结果分别为“芙蓉道三路”和“美警三路”，虽然其归一化后的字符编辑距离0.6，大于编辑阈值0.3，但是其图像特征相似度为0.728，大于相似度阈值0.4，将其记为同一个标记点。
对于同一标记点的路名牌图像，根据同一标记点的多个路名牌图像所属图像在图像序列中的顺序，对同一标记点的多个路名牌图像排序，以得到每个标记点的路名牌图像序列；选择路名牌图像序列中最后一张路名牌图像上的路名牌图像为标记点的最佳图像；当最后一张的路名牌图像亮度大于亮度阈值时，选择倒数第二张路名牌图像上路名牌图像作为标记点最佳图像。举例来说，参见图11，图11是本申请实施例提供的路名牌图像序列中最后一张路名牌图像，参见图12，图12是本申请实施例提供的路名牌图像序列中倒数第二张路名牌图像，虽然图11示出的306在路名牌图像序列中是最后一张，但路名牌图像306的亮度值为0.89，大于亮度阈值0.85，选择图12中示出的路名牌图像307作为当前标记点的最佳图像。
需要说明的是，计算路名牌图像特征的相似度时，除了用方向梯度直方图特征外，还可以用尺度不变特征变换Sift特征，加速稳健特征Surf特征等。模糊度计算时，还可以用腾格拉德Tenengrad梯度、布伦纳Brenner梯度等。
下面继续说明本申请实施例提供的交通标识图像处理装置253的实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器250的交通标识图像处理装置253中的软件模块可以包括：
提取模块2531，用于获取针对道路环境进行图像采集得到的图像序列，从所述图像序列中的每个图像中提取出交通标识图像；比较模块2532，用于比较所述图像序列中任意两个相邻图像中的交通标识图像，以确定所述任意两个相邻图像中对应相同交通标识的交通标识图像；关联模块2533，用于将所述任意两个相邻图像中对应相同交通标识的交通标识图像，关联到对应的标记点；确定模块2534，用于针对每个所述标记点执行以下处理：根据关联到所述标记点的多个交通标识图像在所述图像序列中的排序位置，确定用于代表每个所述标记点的交通标识图像。
在一些实施例中，所述比较模块2532，还用于针对所述图像序列中任意两个相邻的第一图像和第二图像，遍历所述第一图像中的交通标识图像与所述第二图像中的交通标识图像，以执行以下处理：确定所述第一图像中的交通标识图像与所述第二图像中的交通标识图像的字符编辑距离；当所述字符编辑距离小于编辑阈值时，确定所述第一图像中的交通标识图像与所述第二图像中的交通标识图像包括相同的字符，并将所述第一图像中的交通标识图像关联到所述第二图像中的交通标识图像已经关联的标记点。
在一些实施例中，当所述字符编辑距离大于编辑阈值时，所述比较模块2532，还用于遍历所述第一图像中的交通标识图像与所述第二图像中的交通标识图像，以执行以下处理：当所述字符编辑距离大于等于编辑阈值时，获取所述第一图像中的交通标识图像的图像特征和所述第二图像中的交通标识图像的图像特征；当所述第一图像中的交通标识的图像特征和所述第二图像中的交通标识图像的图像特征的相似度大于相似度阈值时，确定所述第一图像中的交通标识图像与所述第二图像中的交通标识图像包括相同的交通标识图像，并将所述第一图像中的交通标识图像关联到所述第二图像中的交通标识图像已经关联的标记点。
在一些实施例中，当所述第二图像中不存在与所述第一图像中的交通标识图像包括相同字符的交通标识图像时，本申请实施例提供的一种交通标识图像处理装置，还包括：分配模块2535，用于为所述第一图像中的交通标识图像分配新的标记点，并将所述第一图像中的交通标识图像关联到所述新的标记点。
在一些实施例中，所述比较模块2532，还用于将所述第一图像中的交通标识图像包括的字符修改为所述第二图像中的交通标识图像对应位置包括的字符；将执行的修改操作次数的总和作为所述第一图像中的交通标识图像和所述第二图像中的交通标识图像之间的字符编辑距离。
在一些实施例中，所述比较模块2532，还用于针对所述图像序列中任意两个相邻的第一图像和第二图像，遍历所述第一图像中的交通标识图像与所述第二图像中的交通标识图像，以执行以下处理：获取所述第一图像中的交通标识图像的图像特征、以及所述第二图像中的交通标识图像的图像特征；当所述第一图像中的交通标识图像的图像特征和所述第二图像中的交通标识图像的图像特征的相似度大于相似度阈值时，将所述第一图像中的交通标识图像关联到所述第二图像中的交通标识图像已经关联的标记点；当所述第一图像中的交通标识图像的图像特征、以及所述第二图像中的交通标识图像的图像特征的相似度小于或等于相似度阈值时，为所述第一图像中的交通标识图像分配新的标记点，并将所述第一图像中的交通标识图像关联到所述新的标记点。
在一些实施例中，所述比较模块2532，还用于将所述第一图像中的交通标识图像划分为多个单元格，确定每个所述单元格的方向梯度直方图，以作为单元格特征；以大于所述单元格的块为单位，将每个所述块中所有单元格的单元格特征进行串联，得到所述块的块特征；以一个所述块为扫描窗口，并以一个所述单元格为扫描步长，对所述第一图像中的交通标识图像进行扫描，将扫描得到的所有块的块特征串联起来，得到所述第一图像中的交通标识图像的图像特征。
在一些实施例中，在所述比较所述图像序列中任意两个相邻图像中的交通标识图像之前，本申请实施例提供的一种交通标识图像处理装置，还包括：删除模块2536，用于针对识别出任意一个所述交通标识图像执行以下处理：将所述交通标识图像转换为灰度图像，基于梯度算子对所述灰度图像进行卷积处理，得到梯度图像；根据所述梯度图像中各像素点的波动范围，确定所述梯度图像的像素值方差；当所述像素值方差低于方差阈值时，将所述交通标识图像确定为模糊图像，并删除所述模糊图像。
在一些实施例中，确定模块2537，还用于根据关联到同一标记点的多个交通标识图像所属图像在所述图像序列中的顺序，对关联到同一标记点的多个交通标识图像排序，以得到每个所述标记点的交通标识图像序列；针对每个所述标记点的交通标识图像序列执行以下处理：获取所述交通标识图像序列中的最后一个交通标识图像的图像亮度；当所述最后一个交通标识图像的图像亮度大于亮度阈值时，将所述最后一个交通标识图像的前一个交通标识图像作为用于代表所述标记点的交通标识图像；当所述最后一个交通标识图像的图像亮度不大于所述亮度阈值时，将所述最后一个交通标识图像作为用于代表所述标记点的交通标识图像。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例上述的交通标识图像处理方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的交通标识图像处理方法，例如，如图3A、3B、3C示出的交通标识图像处理方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述，通过本申请实施例通过对采集的图像序列进行提取、比较、关联一系列处理，高效准确的将图像序列中提取的交通标识图像关联到对应的标记点；进而，针对每个标记点根据关联到该标记点的多个交通标识图像在图像序列中的排序位置，确定出代表该标记点的交通标识图像，能够高效准确挑选出清晰准确的最佳交通标识图像，提高用户在交通出行时的便捷性和安全性；通过模糊度检测在比较图像序列中任意两个相邻图像中的交通标识图像之前，将模糊无效的图像进行剔除，避免无效作业，提高聚合效率；通过图像亮度剔除反光的交通标识图像，杜绝挑选出的代表地标点的交通标识图像碰上反光的情况，能够精准挑选出清晰的最佳交通标识图像显示地标点的交通标识信息。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (12)

1.一种交通标识图像处理方法，其特征在于，包括：
获取针对道路环境进行图像采集得到的图像序列，从所述图像序列中的每个图像中提取出交通标识图像；
在所述图像序列中，根据任意两个相邻图像中的交通标识图像的字符编辑距离和图像特征至少之一，确定所述任意两个相邻图像中对应相同交通标识的交通标识图像；其中，所述字符编辑距离是根据修改操作确定的，所述修改操作作用于将所述任意两个相邻图像的前一帧图像中的字符修改为后一帧图像中对应位置包括的字符；
将所述任意两个相邻图像中对应相同交通标识的交通标识图像，关联到对应的标记点；
针对每个所述标记点执行以下处理：根据关联到所述标记点的多个交通标识图像在所述图像序列中的排序位置，确定用于代表每个所述标记点的交通标识图像。
2.根据权利要求1所述的方法，其特征在于，所述在所述图像序列中，根据任意两个相邻图像中的交通标识图像的字符编辑距离和图像特征至少之一，确定所述任意两个相邻图像中对应相同交通标识的交通标识图像，包括：
针对所述图像序列中任意两个相邻的第一图像和第二图像，遍历所述第一图像中的交通标识图像与所述第二图像中的交通标识图像，以执行以下处理：
确定所述第一图像中的交通标识图像与所述第二图像中的交通标识图像的字符编辑距离；
当所述字符编辑距离小于编辑阈值时，确定所述第一图像中的交通标识图像与所述第二图像中的交通标识图像包括相同的字符，并将所述第一图像中的交通标识图像关联到所述第二图像中的交通标识图像已经关联的标记点。
3.根据权利要求2所述的方法，其特征在于，当所述字符编辑距离大于编辑阈值时，所述方法还包括：
遍历所述第一图像中的交通标识图像与所述第二图像中的交通标识图像，以执行以下处理：
当所述字符编辑距离大于或等于编辑阈值时，获取所述第一图像中的交通标识图像的图像特征和所述第二图像中的交通标识图像的图像特征；
当所述第一图像中的交通标识的图像特征和所述第二图像中的交通标识图像的图像特征的相似度大于相似度阈值时，确定所述第一图像中的交通标识图像与所述第二图像中的交通标识图像包括相同的交通标识图像，并
将所述第一图像中的交通标识图像关联到所述第二图像中的交通标识图像已经关联的标记点。
4.根据权利要求3所述的方法，其特征在于，当所述第二图像中不存在与所述第一图像中的交通标识图像包括相同字符的交通标识图像时，所述方法还包括：
为所述第一图像中的交通标识图像分配新的标记点，并将所述第一图像中的交通标识图像关联到所述新的标记点。
5.根据权利要求2所述的方法，其特征在于，所述确定所述第一图像中的交通标识图像与所述第二图像中的交通标识图像的字符编辑距离，包括：
将所述第一图像中的交通标识图像包括的字符修改为所述第二图像中的交通标识图像对应位置包括的字符；
将执行的修改操作次数的总和作为所述第一图像中的交通标识图像和所述第二图像中的交通标识图像之间的字符编辑距离。
6.根据权利要求1所述的方法，其特征在于，所述在所述图像序列中，根据任意两个相邻图像中的交通标识图像的字符编辑距离和图像特征至少之一，确定所述任意两个相邻图像中对应相同交通标识的交通标识图像，包括：
针对所述图像序列中任意两个相邻的第一图像和第二图像，遍历所述第一图像中的交通标识图像与所述第二图像中的交通标识图像，以执行以下处理：
获取所述第一图像中的交通标识图像的图像特征、以及所述第二图像中的交通标识图像的图像特征；
当所述第一图像中的交通标识图像的图像特征和所述第二图像中的交通标识图像的图像特征的相似度大于相似度阈值时，将所述第一图像中的交通标识图像关联到所述第二图像中的交通标识图像已经关联的标记点；
当所述第一图像中的交通标识图像的图像特征、以及所述第二图像中的交通标识图像的图像特征的相似度小于或等于相似度阈值时，为所述第一图像中的交通标识图像分配新的标记点，并将所述第一图像中的交通标识图像关联到所述新的标记点。
7.根据权利要求6所述的方法，其特征在于，所述获取所述第一图像中的交通标识图像的图像特征，包括：
将所述第一图像中的交通标识图像划分为多个单元格，确定每个所述单元格的方向梯度直方图，以作为单元格特征；
以块为单位，将每个所述块中所有单元格的单元格特征进行串联，得到所述块的块特征；
其中，所述块包括至少一个所述单元格；
以一个所述块为扫描窗口，并以一个所述单元格为扫描步长，对所述第一图像中的交通标识图像进行扫描，将扫描得到的所有块的块特征串联起来，得到所述第一图像中交通标识图像的图像特征。
8.根据权利要求1所述的方法，其特征在于，在所述在所述图像序列中，根据任意两个相邻图像中的交通标识图像的字符编辑距离和图像特征至少之一，确定所述任意两个相邻图像中对应相同交通标识的交通标识图像之前，还包括：
针对识别出任意一个所述交通标识图像执行以下处理：
将所述交通标识图像转换为灰度图像，基于梯度算子对所述灰度图像进行卷积处理，得到梯度图像；
根据所述梯度图像中各像素点的波动范围，确定所述梯度图像的像素值方差；
当所述像素值方差低于方差阈值时，将所述交通标识图像确定为模糊图像，并删除所述模糊图像。
9.根据权利要求1至8任一项所述的方法，其特征在于，所述根据关联到每个所述标记点的多个交通标识图像在所述图像序列中的排序位置，确定用于代表所述每个标记点的交通标识图像，包括：
根据关联到同一标记点的多个交通标识图像所属图像在所述图像序列中的顺序，对关联到同一标记点的多个交通标识图像排序，以得到每个所述标记点的交通标识图像序列；
针对每个所述标记点的交通标识图像序列执行以下处理：
获取所述交通标识图像序列中的最后一个交通标识图像的图像亮度；
当所述最后一个交通标识图像的图像亮度大于亮度阈值时，将所述最后一个交通标识图像的前一个交通标识图像作为用于代表所述标记点的交通标识图像；
当所述最后一个交通标识图像的图像亮度不大于所述亮度阈值时，将所述最后一个交通标识图像作为用于代表所述标记点的交通标识图像。
10.一种交通标识图像处理装置，其特征在于，包括：
提取模块，用于获取针对道路环境进行图像采集得到的图像序列，从所述图像序列中的每个图像中提取出交通标识图像；
比较模块，用于在所述图像序列中，根据任意两个相邻图像中的交通标识图像的字符编辑距离和图像特征至少之一，确定所述任意两个相邻图像中对应相同交通标识的交通标识图像；其中，所述字符编辑距离是根据修改操作确定的，所述修改操作作用于将所述任意两个相邻图像的前一帧图像中的字符修改为后一帧图像中对应位置包括的字符；
关联模块，用于将所述任意两个相邻图像中对应相同交通标识的交通标识图像，关联到对应的标记点；
确定模块，用于针对每个所述标记点，执行以下处理：根据关联到所述标记点的多个交通标识图像在所述图像序列中的排序位置，确定用于代表每个所述标记点的交通标识图像。
11.一种电子设备，其特征在于，包括：
存储器，用于存储计算机可执行指令；
处理器，用于执行所述存储器中存储的计算机可执行指令时，实现权利要求1至9任一项所述的交通标识图像处理方法。
12.一种计算机可读存储介质，其特征在于，存储有计算机可执行指令，所述计算机可执行指令被执行时用于实现权利要求1至9任一项所述的交通标识图像处理方法。
CN202011109827.8A 2020-10-16 2020-10-16 一种交通标识图像处理方法和装置 Active CN112149624B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011109827.8A CN112149624B (zh) 2020-10-16 2020-10-16 一种交通标识图像处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011109827.8A CN112149624B (zh) 2020-10-16 2020-10-16 一种交通标识图像处理方法和装置

Publications (2)

Publication Number Publication Date
CN112149624A CN112149624A (zh) 2020-12-29
CN112149624B true CN112149624B (zh) 2022-06-10

Family

ID=73952248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011109827.8A Active CN112149624B (zh) 2020-10-16 2020-10-16 一种交通标识图像处理方法和装置

Country Status (1)

Country Link
CN (1) CN112149624B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108920580A (zh) * 2018-06-25 2018-11-30 腾讯科技（深圳）有限公司 图像匹配方法、装置、存储介质及终端
CN109558767A (zh) * 2017-09-25 2019-04-02 比亚迪股份有限公司 汽车及道路限速标志的识别方法、装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2011202609B2 (en) * 2011-05-24 2013-05-16 Canon Kabushiki Kaisha Image clustering method
WO2018126228A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Sign and lane creation for high definition maps used for autonomous vehicles
US10788830B2 (en) * 2017-07-28 2020-09-29 Qualcomm Incorporated Systems and methods for determining a vehicle position
CN107957266B (zh) * 2017-11-16 2020-09-01 北京小米移动软件有限公司 定位方法、装置及存储介质
CN110099237B (zh) * 2018-01-31 2021-08-17 腾讯科技（深圳）有限公司 图像处理方法、电子装置及计算机可读存储介质
CN108416283A (zh) * 2018-02-28 2018-08-17 华南理工大学 一种基于ssd的路面交通标志识别方法
CN110377670B (zh) * 2018-04-11 2021-11-26 腾讯大地通途（北京）科技有限公司 一种确定道路要素信息的方法、装置、介质及设备
CN110954112B (zh) * 2019-03-29 2021-09-21 北京初速度科技有限公司 一种导航地图与感知图像匹配关系的更新方法和装置
CN110188717A (zh) * 2019-06-03 2019-08-30 中国通信建设第四工程局有限公司 图像获取方法及装置
CN110501018B (zh) * 2019-08-13 2021-11-02 广东星舆科技有限公司 一种服务于高精度地图生产的交通标志牌信息采集方法
CN111400533B (zh) * 2020-03-02 2023-10-17 北京三快在线科技有限公司 图像筛选方法、装置、电子设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558767A (zh) * 2017-09-25 2019-04-02 比亚迪股份有限公司 汽车及道路限速标志的识别方法、装置
CN108920580A (zh) * 2018-06-25 2018-11-30 腾讯科技（深圳）有限公司 图像匹配方法、装置、存储介质及终端

Also Published As

Publication number Publication date
CN112149624A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN108921166A (zh) 基于深度神经网络的医疗票据类文本检测识别方法及系统
CN105574550A (zh) 一种车辆识别方法及装置
CN109241846A (zh) 遥感影像的时空变化估测方法、装置与存储介质
CN112699775A (zh) 基于深度学习的证件识别方法、装置、设备及存储介质
CN109933635A (zh) 一种更新地图数据库的方法及装置
CN112307919B (zh) 一种基于改进YOLOv3的单证图像中数字信息区域识别方法
CN109583345A (zh) 道路识别方法、装置、计算机装置及计算机可读存储介质
CN110866529A (zh) 字符识别方法、装置、电子设备及存储介质
CN111160169B (zh) 人脸检测方法、装置、设备及计算机可读存储介质
CN113761259A (zh) 一种图像处理方法、装置以及计算机设备
CN109447007A (zh) 一种基于表格节点识别的表格结构补全算法
CN108268865A (zh) 一种基于级联卷积网络的自然场景下车牌识别方法及系统
CN113822247A (zh) 基于航拍影像的违章建筑识别方法及系统
CN110377670B (zh) 一种确定道路要素信息的方法、装置、介质及设备
CN113435407A (zh) 一种输电系统的小目标识别方法及装置
CN115880260A (zh) 基站施工的检测方法、装置、设备及计算机可读存储介质
CN111461143A (zh) 一种图片翻拍识别方法和装置及电子设备
CN115457451A (zh) 基于物联网的恒温恒湿试验箱的监控方法及装置
CN109657728B (zh) 样例生产方法及模型训练方法
CN112883827B (zh) 图像中指定目标的识别方法、装置、电子设备和存储介质
CN105069403B (zh) 一种基于分块统计特征与字典学习稀疏表示分类的三维人耳识别
CN112906648A (zh) 一种地块中对象的分类方法、装置及电子设备
CN112149624B (zh) 一种交通标识图像处理方法和装置
CN110766938B (zh) 路网拓扑结构的构建方法、装置、计算机设备及存储介质
CN113780066B (zh) 行人重识别方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant