CN114419594A - 智慧交通路牌的识别方法及装置 - Google Patents

智慧交通路牌的识别方法及装置 Download PDF

Info

Publication number
CN114419594A
CN114419594A CN202210058679.4A CN202210058679A CN114419594A CN 114419594 A CN114419594 A CN 114419594A CN 202210058679 A CN202210058679 A CN 202210058679A CN 114419594 A CN114419594 A CN 114419594A
Authority
CN
China
Prior art keywords
guideboard
image
neural network
network model
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210058679.4A
Other languages
English (en)
Inventor
李耀萍
贾双成
朱磊
赵飞翔
单国航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhidao Network Technology Beijing Co Ltd
Original Assignee
Zhidao Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhidao Network Technology Beijing Co Ltd filed Critical Zhidao Network Technology Beijing Co Ltd
Priority to CN202210058679.4A priority Critical patent/CN114419594A/zh
Publication of CN114419594A publication Critical patent/CN114419594A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种智慧交通路牌的识别方法及装置。该方法包括：获取至少两张图像，每一张所述图像中包含至少一个共同的路牌；利用预设高分辨率神经网络模型对每一张所述图像中的至少一个共同的路牌进行路牌角点检测，识别出每一张所述图像中的至少一个路牌所对应的各路牌角点的像素坐标位置；根据每一个所述路牌对应的各所述路牌角点分别在至少两张所述图像中的像素坐标位置，以及拍摄所述至少两张图像时相机的地理位置信息，生成每一个所述路牌的地理坐标位置。本申请提供的方案，能够自动生成路牌，并实现对至少一个路牌的快速生成，提升了高精地图的绘制效率。

Description

智慧交通路牌的识别方法及装置
技术领域
本申请涉及导航技术领域，尤其涉及一种智慧交通路牌的识别方法及装置。
背景技术
随着人工智能、自动驾驶等技术的发展，构建智慧交通也成为了研究热点，而高精地图是智慧交通数据构建中必不可少的部分。高精地图中可以包含多种交通标识，例如能够通过详细的车道地图来表达现实世界中诸如车道线、行车停止线、人行横道线等地面特征要素以及路牌、红绿灯等高空特征要素，以便为自动驾驶等应用场景时的导航提供数据支撑。
交通标识中路牌作为城市地理实体的信息承载载体，具备地名、路线、距离和方向等信息导航功能，同时作为分布于城市道路交叉口的基础设施，在空间上具有其特殊性，是城市基础物联网的良好载体。正确且高效地进行交通路牌的生成工作，对于高精地图的绘制十分关键。
然而，在相关技术中，利用车辆的相机所获取得到的图像并无法完全自动地生成图像中包含的路牌，其过程通常需要人为参与干涉，进而影响了高精地图绘制的效率。
发明内容
为解决或部分解决相关技术中存在的问题，本申请提供一种智慧交通路牌的识别方法及装置，能够自动生成路牌，并实现对至少一个路牌的快速生成，提升了高精地图的绘制效率。
本申请第一方面提供一种智慧交通路牌的识别方法，包括：
获取至少两张图像，每一张所述图像中包含至少一个共同的路牌；
利用预设高分辨率神经网络模型对每一张所述图像中的至少一个共同的路牌进行路牌角点检测，识别出每一张所述图像中的至少一个路牌所对应的各路牌角点的像素坐标位置；
根据每一个所述路牌对应的各所述路牌角点分别在至少两张所述图像中的像素坐标位置，以及拍摄所述至少两张图像时相机的地理位置信息，生成每一个所述路牌的地理坐标位置。
在一种实施方式中，所述方法还包括：
预先利用预设训练数据集对预设高分辨率神经网络模型进行训练，其中，所述预设训练数据集包括多张训练图像，每一张所述训练图像中的各路牌的路牌角点进行过标注，不同路牌的路牌角点通过不同的标签进行标注。
在一种实施方式中，对所述训练图像进行标注的方式包括：
在所述训练图像中路牌的路牌角点所在位置画定一个呈高斯分布的概率区域，所述概率区域划分有多个区块，多个所述区块呈N×M矩阵式分布，路牌角点位于所述概率区域上的中心位置的一所述区块上；其中，N与M均为正整数；在路牌角点所在的区块上标注一个最高的概率值，所述概率区域上各个所述区块上标注的概率值构成高斯分布。
在一种实施方式中，所述方法还包括：
修改所述概率区域中高斯分布的方差，以使得多个所述区块呈P×P矩阵式分布，其中，P为设定目标值，P为正整数且分别小于N与M。
在一种实施方式中，每一张所述图像的长宽符合设定条件；
所述方法还包括：根据所述设定条件，预先对所述预设高分辨率神经网络模型的输入参数进行设置。
在一种实施方式中，所述方法还包括：
预先将所述预设高分辨率神经网络模型中主干网络的特征图通道数调低至设定值；和/或，
预先在所述预设高分辨率神经网络模型的主干网络中生成一个高分辨率的新增特征图，以使得所述预设高分辨率神经网络模型根据所述主干网络中原有的特征图以及所述新增特征图进行路牌角点检测。
在一种实施方式中，所述预先在所述预设高分辨率神经网络模型的主干网络中生成一个高分辨率的新增特征图，包括：
预先在所述预设高分辨率神经网络模型的主干网络中通过反卷积操作生成一个分辨率为输入图像1/1的新增特征图。
在一种实施方式中，所述预设高分辨率神经网络模型为HigherHrNet高分辨率神经网络模型。
本申请第二方面提供一种智慧交通路牌的识别装置，包括：
获取模块，用于获取至少两张图像，每一张所述图像中包含至少一个共同的路牌；
识别模块，用于利用预设高分辨率神经网络模型对每一张所述获取模块获取的图像中的至少一个共同的路牌进行路牌角点检测，识别出每一张所述图像中的至少一个路牌所对应的各路牌角点的像素坐标位置；
生成模块，用于根据所述识别模块识别得到的每一个所述路牌对应的各所述路牌角点分别在至少两张所述图像中的像素坐标位置，以及拍摄所述至少两张图像时相机的地理位置信息，生成每一个所述路牌的地理坐标位置。
在一种实施方式中，所述装置还包括：
构建模块，用于预先在所述预设高分辨率神经网络模型的主干网络中生成一个高分辨率的新增特征图，以使得所述预设高分辨率神经网络模型根据所述主干网络中原有的特征图以及所述新增特征图进行路牌角点检测。
本申请第三方面提供一种电子设备，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
本申请第四方面提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
本申请提供的技术方案可以包括以下有益效果：
本申请提供的方法，通过获取至少两张图像，每一张图像中包含至少一个共同的路牌，利用预设高分辨率神经网络模型对每一张图像中的至少一个共同的路牌进行路牌角点检测，识别出每一张图像中的至少一个路牌所对应的各路牌角点的像素坐标位置，根据每一个路牌对应的各路牌角点分别在至少两张图像中的像素坐标位置，以及拍摄至少两张图像时相机的地理位置信息，可以生成每一个路牌的地理坐标位置。这样，实现了对路牌的自动化生成，并实现对至少一个路牌的快速生成，从而可以同时生成多个路牌，有效提升了高精地图的绘制效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细地描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本申请实施例示出的智慧交通路牌的识别方法的流程示意图；
图2是本申请实施例示出的预设高分辨率神经网络模型的网络结构示意图；
图3是本申请实施例示出的智慧交通路牌的识别装置的结构示意图；
图4是本申请实施例示出的智慧交通路牌的识别装置的另一结构示意图；
图5是本申请实施例示出的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
相关技术中，利用车辆的相机所获取得到的图像，并无法完全自动地生成图像中包含的路牌，其过程通常需要人为参与干涉，进而影响了高精地图绘制的效率。
针对上述问题，本申请实施例提供一种智慧交通路牌的识别方法，能够自动生成路牌，并实现对至少一个路牌的快速生成，提升了高精地图的绘制效率。
以下结合附图详细描述本申请实施例的技术方案。
图1是本申请实施例示出的智慧交通路牌的识别方法的流程示意图。
参见图1，该方法包括：
步骤S101、获取至少两张图像，每一张图像中包含至少一个共同的路牌。
本申请实施例中，可以通过摄像装置来采集行车过程中的视频数据，其中，该摄像装置可以包括但不限于安装于车辆上的行车记录仪、摄像头或司机的手机等具有摄像功能的装置。其中，摄像装置可以为单目摄像装置。摄像装置可以设置于车辆的首部以对车辆前方的路牌进行视频录像，从而获得包含路牌的连续的视频图像，以得到该步骤中的至少两张图像。为了后续对图像进行处理，需要对车辆行驶中获取包含路牌的视频数据进行抽帧。通常，视频的帧率为每秒30帧，可以按照预置的规则对视频进行抽帧，例如，每秒抽10帧、15帧、20帧或其他值，相邻两帧图像的时间间隔为抽帧时间间隔，从而获得拍摄的多张图像。此外，摄像装置在拍摄图像的同时，还会记录下图像的拍摄时间。本申请实施例将采集图像的摄像装置看作为相机。
在该步骤中，可以获取两张图像，也可以获取两张以上的多张图像。在每一张图像中可以包含有至少一个共同的路牌。其中，共同的路牌为存在于每一张图像中的路牌。例如，现实世界中的路牌A，路牌A被相机拍摄成像于至少两张图像中的每一张图像中，则每一张图像中所包含有的共同的路牌可以为路牌A。
进一步的，在一实施方式中，每一张图像中可以包含至少两个共同的路牌。例如，对于现实世界中的路牌A和路牌B，路牌A和路牌B均被相机拍摄成像于每一张图像中，则每一张图像中所包含有的共同的路牌分别是路牌A和路牌B。又例如，对于现实世界中的路牌A、路牌B及路牌C，路牌A、路牌B及路牌C均被相机拍摄成像于每一张图像中，则每一张图像中所包含有的共同的路牌分别是路牌A、路牌B及路牌C。
步骤S102、利用预设高分辨率神经网络模型对每一张图像中的至少一个共同的路牌进行路牌角点检测，识别出每一张图像中的至少一个路牌所对应的各路牌角点的像素坐标位置。
其中，预设高分辨率神经网络模型可以是HigherHrNet高分辨率神经网络模型。HigherHrNet高分辨率神经网络模型是一种利用高分辨率特征金字塔学习尺度感知表示的高分辨率神经网络模型，其在推理方面具有多分辨率聚合功能，因此通常被应用于进行人体姿态估计识别，其能够较好地解决自底向上多人姿态估计中的尺度变化挑战，并能更精确地定位关键点，特别是对小人物。
在本申请实施例中，可以采用HigherHrNet高分辨率神经网络模型作为本申请实施的预设高分辨率神经网络模型，利用HigherHrNet高分辨率神经网络模型对每一张图像中的至少一个共同的路牌进行路牌角点检测。可以理解，相关技术中利用HigherHrNet高分辨率神经网络模型对图像进行人体检测，可以检测出图像中不同的目标人体，并识别出每一个目标人体中的各个骨骼关键点在图像中的位置。在本申请实施例中，可以预先对HigherHrNet高分辨率神经网络模型进行训练，从而利用训练完成后的HigherHrNet高分辨率神经网络模型对每一张图像进行路牌角点检测，进而识别出每一张图像中的每一个路牌所对应的各路牌角点的像素坐标位置。HigherHrNet高分辨率神经网络模型可以对每一张图像输出识别得到的各个路牌角点的像素坐标位置，不同路牌的路牌角点将被不同的标签进行标记。例如，一张图像中包含有路牌A与路牌B，HigherHrNet高分辨率神经网络模型可以检测识别出路牌A的各个路牌角点以及路牌B的各个路牌角点，其中，路牌A的各个路牌角点被添上第一类型的标签，路牌B的各个路牌角点被添上第二类型的标签，不同类型的标签表示不同的路牌。
在其中一种实施方式中，可以预先利用预设训练数据集对预设高分辨率神经网络模型进行训练，其中，预设训练数据集包括多张训练图像，每一张训练图像中的各路牌的路牌角点进行过标注，不同路牌的路牌角点通过不同的标签进行标注。例如，训练图像中包含有两个路牌，分别为路牌A和路牌B，则可以对采用第一类型标签对训练图像中路牌A的各个路牌角点进行标注，采用第二类型标签对训练图像中路牌B的各个路牌角点进行标注。这样，利用训练完成后的预设高分辨率神经网络模型对每一张图像进行路牌角点检测，可以使得对每一个路牌中的路牌角点的识别结果更为准确。
进一步的，在其中一种实施方式中，对训练图像进行标注的方式包括：在训练图像中路牌的路牌角点所在位置画定一个呈高斯分布的概率区域，概率区域划分有多个区块，多个区块呈N×M矩阵式分布，路牌角点位于概率区域上的中心位置的一区块上；其中，N与M均为正整数；在路牌角点所在的区块上标注一个最高的概率值，概率区域上各个区块上标注的概率值构成高斯分布。例如，可以对一训练图像中的路牌A的一个路牌角点a1所在位置画定一个呈高斯分布的概率区域，概率区域划分成81个区块，呈9×9矩阵式分布，路牌角点a1所在的区块则是81个区块中的中心位置的一个区块上，该中心位置的区块可以标注一个最高的概率值(例如0.8)，其他区块则标注较低的概率值；其他区块上标注的概率值，跟该区块与中心位置的区块的距离成反比；即越远离概率区域中心的区块，其标注的概率值越低。可以理解，一张训练图像不同路牌的路牌角点可以用不同的标签进行标注，以划分不同的路牌。例如，对于训练图像中的路牌A的各个路牌角点可以用第一类型的标签进行标注，对于该训练图像中的另一个路牌B的各个路牌角点则可以用第二类型的标签进行标注。
为了提升对路牌角点检测识别的效率及准确性，在其中一种实施方式中，可以修改概率区域中高斯分布的方差，以使得多个区块呈P×P矩阵式分布，其中，P为设定目标值，P为正整数且分别小于N与M。在本实施例中，可以降低概率区域中高斯分布的方差，以使得多个区块呈5×5矩阵式分布。需要说明的是，被用于进行人体姿态识别的高分辨率神经网络模型(如HigherHrNet)，该网络模型在训练时用于训练的图像通常采用呈9×9矩阵式分布的概率区域对图像中人体骨骼关键点进行标注。而在本申请实施例中，用于进行路牌角点检测，由于与人体姿态识别任务的标注目标对象不同，不同路牌的形状差别不大，路牌的路牌角点数量不多(如方形路牌为四个路牌角点)，采用呈5×5矩阵式分布的概率区域对图像中路牌的各个路牌角点进行标注，可以有效提升对路牌角点检测识别的效率及准确性。
在其中一种实施方式中，在步骤S101中获取的每一张图像的长宽符合设定条件。其中，设定条件可以包括：图像的长度大于或等于设定长度阈值，图像的宽度大于或等于设定宽度阈值。在本申请实施例中，设定条件为图像的长度与宽度均为640像素，即图像为640×640像素大小。在该实施方式中，根据设定条件，预先对预设高分辨率神经网络模型的输入参数进行设置。也就是说，根据设定条件，调节预设高分辨率神经网络模型的输入参数(input side)，以使得预设高分辨率神经网络模型接收处理符合设定条件的图像，对符合设定条件的图像进行路牌角点检测。需要说明的是，被用于进行人体姿态识别的高分辨率神经网络模型(如HigherHrNet)，其对输入图像的长宽要求为512×512像素大小，本申请实施例中，为满足路牌角点检测的精度需求，改变预设高分辨率神经网络模型的输入参数，提升了对输入图像的长宽要求。这样，利于获取图像中的信息，可以提升对图像进行路牌角点检测的准确性，能够提升识别出的各个路牌上的路牌角点的像素坐标位置的正确性。
在其中一种实施方式中，可以预先将预设高分辨率神经网络模型中主干网络的特征图通道数调低至设定值。在本实施例中，可以将预设高分辨率神经网络模型中主干网络的特征图通道数调低至24，从而降低模型的大小，利于提升模型处理效率。需要说明的是，被用于进行人体姿态识别的高分辨率神经网络模型(如HigherHrNet)，为了识别人体的多个骨骼关键点的位置，其主干网络的特征图通道数通常为32。可以理解，深度的神经网络模型是具有多层网络结构的，每一层网络结构都有多个通道，每一个通道都需要进行大量计算，通道数越少(即宽度越小)，计算量越小，速度越快。在本申请实施例中，根据路牌结构的特点，由于路牌角点的数量不多(方向路牌有四个路牌角点、三角形路牌有三个路牌角点)，故将预设高分辨率神经网络模型中主干网络的特征图通道数调低至24，从而能够提升模型的识别处理效率。可以理解，若主干网络的特征图通道数仍然采用32的，则会使得计算量大、造成了计算资源浪费，影响模型处理效率。
请参见图2，在如图2的实施方式中，预先在预设高分辨率神经网络模型的主干网络中生成一个高分辨率的新增特征图，以使得预设高分辨率神经网络模型根据主干网络中原有的特征图以及新增特征图进行路牌角点检测。在该实施方式中，预设高分辨率神经网络模型为HigherHrNet高分辨率神经网络模型；预设高分辨率神经网络模型的主干网络中原有的特征图(feature maps)包括：分辨率为输入图像1/4的特征图、分辨率为输入图像1/2的特征图。
在一可选的实施方式中，预先在预设高分辨率神经网络模型的主干网络中生成一个高分辨率的新增特征图，包括：
预先在预设高分辨率神经网络模型的主干网络中通过反卷积(deconv)操作生成一个分辨率为输入图像1/1的新增特征图。在本实施例中，可以根据预设高分辨率神经网络模型的主干网络中原有的分辨率为输入图像1/2的特征图，通过反卷积操作生成一个分辨率为输入图像1/1的新增特征图。在一具体的实施方式中，可以将两个分辨率为输入图像1/2的特征图，进行合并(concat)，然后通过反卷积单元(deconv module)进行反卷积操作得到分辨率为输入图像1/1的新增特征图。
在本实施例中，HigherHrNet高分辨率神经网络模型根据主干网络中的分辨率为输入图像1/4的特征图、分辨率为输入图像1/2的特征图、以及分辨率为输入图像1/1的新增特征图，来预测热图(heatmap)，从而输出图像中每一个路牌中的各个路牌角点的像素坐标位置。HigherHrNet高分辨率神经网络模型通过多分辨率监督策略，将不同分辨率的训练目标分配给相应的特征金字塔级别，并在推理过程中以多分辨率热图聚合策略，生成尺度感知的高分辨率热图。新增的分辨率为输入图像1/1的新增特征图，其分辨率比主干网络中的分辨率为输入图像1/2的特征图要更高，进而能够获取图像中更多的路牌特征信息，利于识别目标较小的路牌，可以正确识别得到图像中的所有路牌，输出图像中每一个路牌中的各个路牌角点的像素坐标位置。
在本申请中，为了比较不同设置的高分辨率神经网络模型对图像进行路牌角点检测的差别，请参见表1，其中，高分辨率神经网络模型HigherHrNet-1.0，经过预设训练数据集训练得到，且训练图像采用呈9×9矩阵式分布的概率区域对图像中路牌角点进行标注。HigherHrNet-1.0作为对照组，分别与HigherHrNet-2.1、HigherHrNet-2.2在精确率、召回率以及欧里距离(即预测输出的路牌角点在图像中的位置与实际的路牌角点在图像中的位置之间的距离)三个方面进行比对。
其中，高分辨率神经网络模型HigherHrNet-2.1，在HigherHrNet-1.0的基础上进一步改进得到，其在主干网络中生成一个分辨率为输入图像1/1的新增特征图，高分辨率神经网络模型HigherHrNet-2.2根据主干网络中分辨率为输入图像1/4的特征图、分辨率为输入图像1/2的特征图以及分辨率为输入图像1/1的新增特征图进行路牌角点检测。
其中，高分辨率神经网络模型HigherHrNet-2.2，在HigherHrNet-1.0的基础上进一步改进得到，其修改了训练图像中路牌角点的概率区域的高斯分布的方差，训练图像采用呈5×5矩阵式分布的概率区域对图像中路牌角点进行标注，并根据输入图像的长度与宽度均为640像素的设定条件对网络模型的输入参数进行预先设置，还将其主干网络的特征图通道数调低为24。
精确率 召回率 欧里距离
HigherHrNet-1.0 0.675 0.726 4.559
HigherHrNet-2.1 0.862 0.748 2.386
HigherHrNet-2.2 0.892 0.751 2.041
表1
可以发现，高分辨率神经网络模型HigherHrNet-1.0用于进行路牌角点检测以输出的路牌角点位置，其已经可以输出一个比较准确的结果。而相比较于HigherHrNet-1.0，改进后的HigherHrNet-2.1以及HigherHrNet-2.2输出的路牌角点位置的结果，在精确率以及欧里距离方面更优于HigherHrNet-1.0，有效提升了对图像中每一个路牌的路牌角点的识别正确性。
步骤S103、根据每一个路牌对应的各路牌角点分别在至少两张图像中的像素坐标位置，以及拍摄至少两张图像时相机的地理位置信息，生成每一个路牌的地理坐标位置。
其中，每一个路牌对应的各路牌角点可以包括每一个路牌对应的至少三个路牌角点。例如，四边形路牌上的四个路牌角点，三角形路牌上的三个路牌角点。
在其中一实施方式中，至少两张图像为两张图像。根据两张图像，可以计算得到两张图像之间的旋转矩阵和平移矩阵。根据每一个路牌对应的各路牌角点分别在两张图像中的像素坐标位置，以及计算得到的两张图像之间的旋转矩阵和平移矩阵，可以计算得到每一个路牌对应的各路牌角点相对于相机的空间坐标。利用每一个路牌对应的各路牌角点相对于相机的空间坐标以及拍摄两张图像时相机的地理位置信息，可以生成每一个路牌的地理坐标位置，即生成每一个路牌的路牌角点的地理坐标位置，实现路牌的生成制作。可以理解，通过多张图像，计算得到每一个路牌对应的各路牌角点相对于相机的空间坐标可以更为精准。在该步骤中，关于旋转矩阵和平移矩阵的计算方法、各路牌角点相对于相机的空间坐标的计算方法、路牌角点的地理坐标位置的计算方法，可以参阅相关技术中的介绍，本申请对此不再进行赘述。
需要说明的是，在本实施例中，可通过车载或者手机等配置的定位设备来采集车辆或相机的地理位置信息，其中，定位设备可以采用GPS(Global Positioning System，全球定位系统)、北斗、RTK(RealTimeKinematic，实时动态)等现有设备实现，本申请不作限定。车辆(或相机)的地理位置信息可以包括但不限于车辆(或相机)的地理坐标(如GPS坐标、经纬度坐标等)、方位、航向角、朝向等信息。本申请实施例提供的方法可以应用于车机，也可以应用于其他具备计算和处理功能的设备，如计算机、电脑、手机等。这里以车机为例，相机和定位设备可以内置于车机，也可以设置于车机外，且与车机之间建立通信连接。相机在拍摄图像的同时，定位设备采集车辆或相机的地理位置信息，并一起传输给车机。根据图像的拍摄时间可以查找到同一时间定位设备获取的地理位置信息。可以理解的是，可以事先对相机和定位设备的时间进行同步处理，其目的是使拍摄的图像能够准确对应车辆或相机当时的位置。
从该实施例可以看出，本申请提供的方法，实现了对路牌的自动化生成，并实现对至少一个路牌的快速生成，从而可以同时生成多个路牌，有效提升了高精地图的绘制效率。
与前述应用功能实现方法实施例相对应，本申请还提供了一种智慧交通路牌的识别装置、电子设备及相应的实施例。
图3是本申请实施例示出的智慧交通路牌的识别装置的结构示意图。
参见图3，一种智慧交通路牌的识别装置，包括：获取模块301、识别模块302、生成模块303。
获取模块301，用于获取至少两张图像，每一张图像中包含至少一个共同的路牌。
识别模块302，用于利用预设高分辨率神经网络模型对每一张获取模块301获取的图像中的至少一个共同的路牌进行路牌角点检测，识别出每一张图像中的至少一个路牌所对应的各路牌角点的像素坐标位置。其中，预设高分辨率神经网络模型可以为HigherHrNet高分辨率神经网络模型。
生成模块303，用于根据识别模块302识别得到的每一个路牌对应的各路牌角点分别在至少两张图像中的像素坐标位置，以及拍摄至少两张图像时相机的地理位置信息，生成每一个路牌的地理坐标位置。
从该实施例可以看出，本申请提供的智慧交通路牌的识别装置，实现了对路牌的自动化生成，并实现对至少一个路牌的快速生成，从而可以同时生成多个路牌，有效提升了高精地图的绘制效率。
图4为本申请另一实施例中的智慧交通路牌的识别装置，包括：获取模块301、识别模块302、生成模块303、训练模块304、设置模块305。
其中，获取模块301、识别模块302、生成模块303的功能可以参见图3中的描述，此处不再赘述。
训练模块304，用于预先利用预设训练数据集对预设高分辨率神经网络模型进行训练，其中，预设训练数据集包括多张训练图像，每一张训练图像中的各路牌的路牌角点进行过标注，不同路牌的路牌角点通过不同的标签进行标注。
设置模块305，用于根据设定条件，预先对预设高分辨率神经网络模型的输入参数进行设置；其中，获取模块301获取的每一张图像的长宽符合设定条件；设定条件包括：图像的长度大于或等于设定长度阈值，图像的宽度大于或等于设定宽度阈值。
设置模块305，还用于预先将预设高分辨率神经网络模型中主干网络的特征图通道数调低至设定值。
设置模块305，还用于预先在预设高分辨率神经网络模型的主干网络中生成一个高分辨率的新增特征图，以使得预设高分辨率神经网络模型根据主干网络中原有的特征图以及新增特征图进行路牌角点检测。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
图5是本申请实施例示出的电子设备的结构示意图。
参见图5，电子设备500包括存储器510和处理器520。
处理器520可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器510可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)和永久存储装置。其中，ROM可以存储处理器520或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器510可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(例如DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器510可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等)、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器510上存储有可执行代码，当可执行代码被处理器520处理时，可以使处理器520执行上文述及的方法中的部分或全部。
此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本申请还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储介质或机器可读存储介质)，其上存储有可执行代码(或计算机程序或计算机指令代码)，当可执行代码(或计算机程序或计算机指令代码)被电子设备(或服务器等)的处理器执行时，使处理器执行根据本申请的上述方法的各个步骤的部分或全部。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种智慧交通路牌的识别方法，其特征在于，包括：
获取至少两张图像，每一张所述图像中包含至少一个共同的路牌；
利用预设高分辨率神经网络模型对每一张所述图像中的至少一个共同的路牌进行路牌角点检测，识别出每一张所述图像中的至少一个路牌所对应的各路牌角点的像素坐标位置；
根据每一个所述路牌对应的各所述路牌角点分别在至少两张所述图像中的像素坐标位置，以及拍摄所述至少两张图像时相机的地理位置信息，生成每一个所述路牌的地理坐标位置。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
预先利用预设训练数据集对预设高分辨率神经网络模型进行训练，其中，所述预设训练数据集包括多张训练图像，每一张所述训练图像中的各路牌的路牌角点进行过标注，不同路牌的路牌角点通过不同的标签进行标注。
3.根据权利要求2所述的方法，其特征在于，对所述训练图像进行标注的方式包括：
在所述训练图像中路牌的路牌角点所在位置画定一个呈高斯分布的概率区域，所述概率区域划分有多个区块，多个所述区块呈N×M矩阵式分布，路牌角点位于所述概率区域上的中心位置的一所述区块上；其中，N与M均为正整数；在路牌角点所在的区块上标注一个最高的概率值，所述概率区域上各个所述区块上标注的概率值构成高斯分布。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
修改所述概率区域中高斯分布的方差，以使得多个所述区块呈P×P矩阵式分布，其中，P为设定目标值，P为正整数且分别小于N与M。
5.根据权利要求1所述的方法，其特征在于：每一张所述图像的长宽符合设定条件；
所述方法还包括：根据所述设定条件，预先对所述预设高分辨率神经网络模型的输入参数进行设置。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
预先将所述预设高分辨率神经网络模型中主干网络的特征图通道数调低至设定值；和/或，
预先在所述预设高分辨率神经网络模型的主干网络中生成一个高分辨率的新增特征图，以使得所述预设高分辨率神经网络模型根据所述主干网络中原有的特征图以及所述新增特征图进行路牌角点检测。
7.根据权利要求6所述的方法，其特征在于，所述预先在所述预设高分辨率神经网络模型的主干网络中生成一个高分辨率的新增特征图，包括：
预先在所述预设高分辨率神经网络模型的主干网络中通过反卷积操作生成一个分辨率为输入图像1/1的新增特征图。
8.根据权利要求1-7任一项所述的方法，其特征在于：
所述预设高分辨率神经网络模型为HigherHrNet高分辨率神经网络模型。
9.一种智慧交通路牌的识别装置，其特征在于，包括：
获取模块，用于获取至少两张图像，每一张所述图像中包含至少一个共同的路牌；
识别模块，用于利用预设高分辨率神经网络模型对每一张所述获取模块获取的图像中的至少一个共同的路牌进行路牌角点检测，识别出每一张所述图像中的至少一个路牌所对应的各路牌角点的像素坐标位置；
生成模块，用于根据所述识别模块识别得到的每一个所述路牌对应的各所述路牌角点分别在至少两张所述图像中的像素坐标位置，以及拍摄所述至少两张图像时相机的地理位置信息，生成每一个所述路牌的地理坐标位置。
10.一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-8中任一项所述的方法。
CN202210058679.4A 2022-01-17 2022-01-17 智慧交通路牌的识别方法及装置 Pending CN114419594A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210058679.4A CN114419594A (zh) 2022-01-17 2022-01-17 智慧交通路牌的识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210058679.4A CN114419594A (zh) 2022-01-17 2022-01-17 智慧交通路牌的识别方法及装置

Publications (1)

Publication Number Publication Date
CN114419594A true CN114419594A (zh) 2022-04-29

Family

ID=81274404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210058679.4A Pending CN114419594A (zh) 2022-01-17 2022-01-17 智慧交通路牌的识别方法及装置

Country Status (1)

Country Link
CN (1) CN114419594A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488770A (zh) * 2019-01-28 2020-08-04 初速度（苏州）科技有限公司 交通标志识别方法、神经网络模型的训练方法和装置
CN111932627A (zh) * 2020-09-15 2020-11-13 蘑菇车联信息科技有限公司 一种标识物绘制方法及系统
CN112347933A (zh) * 2020-11-06 2021-02-09 浙江大华技术股份有限公司 一种基于视频流的交通场景理解方法及装置
CN113139031A (zh) * 2021-05-18 2021-07-20 智道网联科技(北京)有限公司 用于自动驾驶的交通标识的生成方法及相关装置
CN113255578A (zh) * 2021-06-18 2021-08-13 湖北亿咖通科技有限公司 交通标识的识别方法及装置、电子设备和存储介质
CN113536854A (zh) * 2020-04-20 2021-10-22 蘑菇车联信息科技有限公司 一种高精地图路牌的生成方法、装置及服务器
WO2021239156A1 (zh) * 2020-05-29 2021-12-02 中移(上海)信息通信科技有限公司 交通目标识别模型训练方法、交通目标定位方法、装置
CN113762039A (zh) * 2021-04-29 2021-12-07 腾讯科技（深圳）有限公司 一种交通标志牌的信息匹配方法及相关装置
CN113780148A (zh) * 2021-09-06 2021-12-10 京东鲲鹏(江苏)科技有限公司 交通标志图像识别模型训练方法和交通标志图像识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488770A (zh) * 2019-01-28 2020-08-04 初速度（苏州）科技有限公司 交通标志识别方法、神经网络模型的训练方法和装置
CN113536854A (zh) * 2020-04-20 2021-10-22 蘑菇车联信息科技有限公司 一种高精地图路牌的生成方法、装置及服务器
WO2021239156A1 (zh) * 2020-05-29 2021-12-02 中移(上海)信息通信科技有限公司 交通目标识别模型训练方法、交通目标定位方法、装置
CN111932627A (zh) * 2020-09-15 2020-11-13 蘑菇车联信息科技有限公司 一种标识物绘制方法及系统
CN112347933A (zh) * 2020-11-06 2021-02-09 浙江大华技术股份有限公司 一种基于视频流的交通场景理解方法及装置
CN113762039A (zh) * 2021-04-29 2021-12-07 腾讯科技（深圳）有限公司 一种交通标志牌的信息匹配方法及相关装置
CN113139031A (zh) * 2021-05-18 2021-07-20 智道网联科技(北京)有限公司 用于自动驾驶的交通标识的生成方法及相关装置
CN113255578A (zh) * 2021-06-18 2021-08-13 湖北亿咖通科技有限公司 交通标识的识别方法及装置、电子设备和存储介质
CN113780148A (zh) * 2021-09-06 2021-12-10 京东鲲鹏(江苏)科技有限公司 交通标志图像识别模型训练方法和交通标志图像识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BOWEN CHENG: "HigherHRNet Scale-Aware Representation Learning for Bottom-Up Human Pose Estimation", 《CVPR 2020》, 5 August 2020 (2020-08-05), pages 1 - 10 *
XNVL: "详解HigherHRNet论文——用于自下而上人体姿势估计的尺度感知表示学习（更高更强的HRNet）", pages 1 - 16, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/416608208> *

Similar Documents

Publication Publication Date Title
CN108416808B (zh) 车辆重定位的方法及装置
CN113139031B (zh) 用于自动驾驶的交通标识的生成方法及相关装置
CN111340877B (zh) 一种车辆定位方法及装置
CN111830953A (zh) 车辆自定位方法、装置及系统
CN111930877B (zh) 地图路牌的生成方法及电子设备
CN110969592A (zh) 图像融合方法、自动驾驶控制方法、装置和设备
CN114170577A (zh) 一种车道线的分岔处理方法、装置及电子设备
CN112257668A (zh) 主辅路判断方法、装置、电子设备及存储介质
CN115205382A (zh) 目标物定位方法以及装置
CN112595335B (zh) 一种智慧交通行车停止线的生成方法及相关装置
US20230266144A1 (en) Method of predicting road attributer, data processing system and computer executable code
Yin et al. Multimodal fusion of satellite images and crowdsourced GPS traces for robust road attribute detection
CN113608614A (zh) 展示方法、增强现实装置、设备及计算机可读存储介质
US11443131B2 (en) Systems and methods for creating a parking map
CN111008634B (zh) 一种基于实例分割的字符识别方法及字符识别装置
CN114419594A (zh) 智慧交通路牌的识别方法及装置
CN110827340A (zh) 地图的更新方法、装置及存储介质
CN115249345A (zh) 一种基于倾斜摄影三维实景地图的交通拥堵检测方法
CN113009533A (zh) 基于视觉slam的车辆定位方法、设备及云服务器
Amarasooriya et al. Implementation of Smart Parking System Using Image Processing
CN114299469A (zh) 交通路牌的生成方法、装置及设备
CN113536854A (zh) 一种高精地图路牌的生成方法、装置及服务器
US20240071034A1 (en) Image processing device, image processing method, and program
CN114863383A (zh) 一种智慧交通圆形路牌的生成方法及相关装置
CN112801077B (zh) 用于自动驾驶车辆的slam初始化的方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination