CN114170582A - 路牌角点识别方法、装置、设备及存储介质 - Google Patents

路牌角点识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114170582A
CN114170582A CN202111510026.7A CN202111510026A CN114170582A CN 114170582 A CN114170582 A CN 114170582A CN 202111510026 A CN202111510026 A CN 202111510026A CN 114170582 A CN114170582 A CN 114170582A
Authority
CN
China
Prior art keywords
convolution
guideboard
feature map
fusion
batch normalization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111510026.7A
Other languages
English (en)
Inventor
李晓宵
贾双成
朱磊
孟鹏飞
李耀萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhidao Network Technology Beijing Co Ltd
Original Assignee
Zhidao Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhidao Network Technology Beijing Co Ltd filed Critical Zhidao Network Technology Beijing Co Ltd
Priority to CN202111510026.7A priority Critical patent/CN114170582A/zh
Publication of CN114170582A publication Critical patent/CN114170582A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种路牌角点识别方法、装置、设备及存储介质。该方法:对待识别图片进行卷积计算得到第一卷积特征图,对第一卷积特征图批量归一化处理,对批量归一化处理后的第一卷积特征图进行多种尺度的卷积计算得到多个第二卷积特征图,分别对多个第二卷积特征图进行批量归一化处理和卷积计算得到多个第三卷积特征图,对多个第三卷积特征图按照预置残差融合算法进行特征融合得到融合特征图,对融合特征图进行卷积计算,得到目标卷积特征图,基于目标卷积特征图输出路牌角点坐标。引入批量归一化处理,能够提高对路牌角点的识别准确率。引入预置残差融合算法,使得卷积特征图的原始有效数据能够被保留,提高对路牌角点的识别准确率。

Description

路牌角点识别方法、装置、设备及存储介质
技术领域
本申请涉及导航技术领域,尤其涉及一种路牌角点识别方法、装置、设备及存储介质。
背景技术
高精地图是用于自动驾驶的专用地图,在整个自动驾驶领域中扮演着核心角色。高精地图由含有语义信息的车道模型、道路部件、道路属性等矢量信息。其中路牌元素是高精地图所必须包含的元素之一。
构建高精地图中的路牌元素,此过程的核心前提条件是需要能够从采集的图片数据中准确识别出路牌角点,根据识别出的路牌角点在高精地图内完成对路牌元素的构建。然而在相关技术中,存在对路牌角点识别准确率低的问题。
发明内容
为解决或部分解决相关技术中存在的问题,本申请提供一种路牌角点识别方法、装置、设备及存储介质,能够准确从图片数据中识别出路牌角点。
本申请的第一方面提供了一种路牌角点识别方法,包括:
获取待识别图片,所述待识别图片携带有路牌元素;
对所述待识别图片进行卷积计算,得到第一卷积特征图;
对所述第一卷积特征图进行批量归一化处理;
对批量归一化处理后的所述第一卷积特征图进行多种尺度卷积计算,得到多个第二卷积特征图;
分别对多个所述第二卷积特征图依次进行批量归一化处理和卷积计算,得到多个第三卷积特征图;
对多个所述第三卷积特征图按照预置残差融合算法进行特征融合,得到融合特征图;
对融合特征图进行卷积计算,得到目标卷积特征图,基于所述目标卷积特征图输出路牌角点坐标。
优选的,所述对所述第一卷积特征图进行批量归一化处理,包括:
根据所述第一卷积特征图中的像素值计算出对应的平均值和方差;
设定所述第一卷积特征图对应的缩放系数和平移系数;
根据所述第一卷积特征图对应的所述平均值、所述方差、所述缩放系数和所述平移系数对所述第一卷积特征图进行批量归一化处理。
优选的,所述对批量归一化处理后的所述第一卷积特征图进行多种尺度的卷积计算,得到多个第二卷积特征图,包括:
初始化多个卷积核N*N,并设置每一所述卷积核内的参数,其中N为[1,7]区间内的正奇数;
利用多个所述卷积核分别对批量归一化处理后的所述第一卷积特征图进行卷积计算,得到多个第二卷积特征图。
优选的,所述分别对多个所述第二卷积特征图依次进行批量归一化处理和卷积计算,得到多个第三卷积特征图,包括:
根据每一所述第二卷积特征图中的像素值计算出对应的平均值和方差;
设定每一所述第二卷积特征图对应的缩放系数和平移系数;
根据每一所述第二卷积特征图对应的平均值、所述方差、所述缩放系数和所述平移系数对对应的所述第二卷积特征图进行批量归一化处理;
分别对已批量归一化处理后的多个第二卷积特征图进行卷积计算,得到多个第三卷积特征图。
优选的,所述对多个所述第三卷积特征图按照预置残差融合算法进行特征融合,得到融合特征图,包括:
设定多个所述第三卷积特征图的融合排位顺序;
基于所述融合排位顺序对多个所述第三卷积特征图中对应位置的像素值进行线性相加,得到融合特征图,其中每进行一次线性相加后会进行一次卷积后再进行下一次线性相加。
优选的,所述对融合特征图进行卷积计算,得到目标卷积特征图,基于所述目标卷积特征图输出路牌角点坐标,包括:
根据路牌角点的数量设定通道的数量;
基于所述通道对所述融合特征图进行卷积计算,得到目标卷积特征图;
输出所述通道下对应的所述目标卷积特征图的路牌角点坐标。
优选的,所述通道包括第一通道、第二通道、第三通道和第四通道;
所述输出所述通道下对应的所述目标卷积特征图的路牌角点坐标,包括:
将所述第一通道下的所述目标卷积特征图的路牌角点坐标作为路牌左上角点坐标输出;
将所述第二通道下的所述目标卷积特征图的路牌角点坐标作为路牌右上角点坐标输出;
将所述第三通道下的所述目标卷积特征图的路牌角点坐标作为路牌右下角点坐标输出;
将所述第四通道下的所述目标卷积特征图的路牌角点坐标作为路牌左下角点坐标输出。
本申请的第二方面提供了一种路牌角点识别装置,包括:
获取模块,用于获取待识别图片,所述待识别图片携带有路牌元素;
前置卷积模块,用于对所述待识别图片进行卷积计算,得到第一卷积特征图;
前置处理模块,用于对所述第一卷积特征图进行批量归一化处理;
分布卷积模块,用于对批量归一化处理后的所述第一卷积特征图进行多种尺度卷积计算,得到多个第二卷积特征图;
分布处理模块,用于分别对多个所述第二卷积特征图依次进行批量归一化处理和卷积计算,得到多个第三卷积特征图;
融合模块,用于对多个所述第三卷积特征图按照预置残差融合算法进行特征融合,得到融合特征图;
输出模块,用于对融合特征图进行卷积计算,得到目标卷积特征图,基于所述目标卷积特征图输出路牌角点坐标。
本申请的第三方面提供了一种电子设备,包括:
处理器;以及
存储器,其上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如上所述的路牌角点识别方法。
本申请的第四方面提供了一种计算机可读存储介质,其上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如上所述的路牌角点识别方法。
本申请提供的技术方案可以包括以下有益效果:
本申请的技术方案,获取待识别图片,对待识别图片进行卷积计算得到第一卷积特征图,对第一卷积特征图批量归一化处理,对批量归一化处理后的第一卷积特征图进行多种尺度的卷积计算得到多个第二卷积特征图,分别对多个第二卷积特征图依次进行批量归一化处理和卷积计算得到多个第三卷积特征图,对多个第三卷积特征图按照预置残差融合算法进行特征融合得到融合特征图,对融合特征图进行卷积计算,得到目标卷积特征图,基于目标卷积特征图输出路牌角点坐标。由于对卷积特征图进行批量归一化处理,使得卷积特征图内的数据能够分布统一在某个范围内进行收敛,以此提高对路牌角点的识别准确率。此外,按照预置残差融合算法进行特征融合,使得卷积特征图内的原始有效数据能够更好地保留,防止有关路牌元素的数据发生丢失的情况,从而提高对路牌角点的识别准确率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细地描述,本申请的上述以及其它目的、特征和优势将变得更加明显,其中,在本申请示例性实施方式中,相同的参考标号通常代表相同部件。
图1是本申请实施例示出的路牌角点识别方法的流程示意图;
图2是本申请另一实施例示出的路牌角点识别装置的结构示意图;
图3是本申请实施例示出的目标卷积特征图的模拟示意图;
图4是本申请实施例示出的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式,然而应该理解,可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本申请更加透彻和完整,并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
目前构建高精地图中的路牌元素,其核心前提条件是需要能够从采集的图片数据中准确识别出路牌角点,根据识别出的路牌角点在高精地图内完成对路牌元素的构建。然而在相关技术中,存在对路牌角点识别准确率低的问题。
针对上述问题,本申请提供了一种对路牌角点识别方法、装置、设备及存储介质,能够准确从图片数据中识别出路牌角点。为了便于理解本申请的技术方案,以下结合附图详细说明本申请的技术方案。
图1示出的是本申请实施例的一种路牌角点识别方法的流程示意图。
请参阅图1,一种路牌角点识别方法,包括如下步骤:
步骤S11、获取待识别图片,待识别图片携带有路牌元素。
待识别图片是由安装在车辆的摄像头所拍摄的图片,摄像头所拍摄到的图片作为待识别图片进行处理。待识别图片携带有路牌元素。路牌是安装在车道上的物体,路牌上记载有相关的交通信息。路牌通常的形状为方形,方形路牌具有四个直角点,直角点即路牌角点,本实施例的方法即对待识别图片进行一系列处理,最终输出待识别图片的路牌角点坐标。待识别图片内携带有路牌数量并不局限为一个,可能是多个。
步骤S12、对待识别图片进行卷积计算,得到第一卷积特征图。
对待识别图片进行卷积计算,设定好通道数量、卷积核和步长,利用卷积核对待识别图片进行卷积计算,得到第一卷积特征图。此步骤的通道数量可以实际情况灵活设定,例如可以将通道数量设置成3通道(3通道即RGB通道),也可以将通道数量设置成256通道,此步骤的通道数量与待识别图片的图片类型有关。
步骤S13、对第一卷积特征图进行批量归一化处理。
需要说明的是,对第一卷积特征图进行批量归一化处理,获取第一卷积特征图内的像素值,根据第一卷积特征图中的像素值计算出对应的平均值和方差,设定第一卷积特征图对应的缩放系数和平移系数,根据第一卷积特征图对应的平均值、方差、缩放系数和平移系数对第一卷积特征图进行批量归一化处理。
批量归一化公式如下:
Figure BDA0003404886280000061
Figure BDA0003404886280000062
Figure BDA0003404886280000063
其中,xi为第一卷积特征图内的像素值,n为第一卷积特征图的像素值的个数,μ为根据第一卷积特征图中的像素值计算的平均值,σ2为根据第一卷积特征图中的像素值计算的方差,γ为第一卷积特征图对应的缩放系数,β为第一卷积特征图对应的平移系数,xinew为经过批量归一化处理后的像素值,ε为大于0的常数,作用是不让分母为0。经过(1)式、(2)式和(3)式,就完成了对第一卷积特征图的批量归一化处理。
步骤S14、对批量归一化处理后的第一卷积特征图进行多种尺度卷积计算,得到多个第二卷积特征图。
需要说明的是,对第一卷积特征图批量归一化处理后,采用不同的卷积核分别对第一卷积特征图进行卷积计算。初始化多个卷积核N*N,并设置每一卷积核内的参数。N为[1,7]区间内的正奇数。利用多个卷积核分别对批量归一化处理后的第一卷积特征图进行卷积计算,得到多个第二卷积特征图。
例如初始化3个卷积核,它们分别是卷积核1*1、卷积核3*3以及卷积核5*5。利用这3个卷积核分别对已批量归一化处理后的第一卷积特征图进行卷积计算。利用卷积核1*1对已批量归一化处理后的第一卷积特征图进行卷积计算,得到第二卷积特征图。利用卷积核3*3对已批量归一化处理后的第一卷积特征图进行卷积计算,得到第二卷积特征图。利用卷积核5*5对已批量归一化处理后的第一卷积特征图进行卷积计算,得到第二卷积特征图。采用3个卷积核进行卷积得到第二卷积特征图的数量为3个。
步骤S15、分别对多个第二卷积特征图依次进行批量归一化处理和卷积计算,得到多个第三卷积特征图。
需要说明的是,得到多个第二卷积特征图后,分别对多个第二卷积特征图依次进行批量归一化处理和卷积计算,得到多个第三卷积特征图。
如得到3个第二卷积特征图后,首先分别对3个第二卷积特征图进行批量归一化处理。批量归一化处理的公式参见(1)式、(2)式和(3)式。由于每一第二卷积特征图都存储有像素值,根据每一第二卷积特征图中的像素值计算出对应的平均值和方差,设定每一第二卷积特征图对应的缩放系数和平移系数,根据每一第二卷积特征图对应的平均值、方差、缩放系数和平移系数对对应的第二卷积特征图进行批量归一化处理。参见上述流程,能够得到3个已批量归一化处理后的第二卷积特征图。分别对已批量归一化处理后的多个第二卷积特征图进行卷积计算,得到多个第三卷积特征图。如完成3个第二卷积特征图的批量归一化处理后,分别对这3个第二卷积特征图进行卷积计算。如采用卷积核1*1、卷积核3*3和卷积核5*5与对应的已批量归一化处理后的第二卷积特征图进行卷积计算,就能够得到3个第三卷积特征图。
步骤S16、对多个第三卷积特征图按照预置残差融合算法进行特征融合,得到融合特征图。
得到多个第三卷积特征图,设定多个第三卷积特征图的融合排位顺序,基于融合排位顺序对多个第三卷积特征图中对应位置的像素值进行线性相加,得到融合特征图,其中每进行一次线性相加后会进行一次卷积后再进行下一次线性相加。
如得到3个第三卷积特征图后,设定3个第三卷积特征图的融合排位顺序。为了便于说明特征融合过程,3个第三卷积特征图分别以第三卷积特征图a、第三卷积特征图b和第三卷积特征图c来表示。将第三卷积特征图a的融合排位顺序设定成第三位,第三卷积特征图b的融合排位顺序设定成第二位,第三卷积特征图c的融合排位顺序设定成第一位。
先将第三卷积特征图b和第三卷积特征图c进行特征融合,将第三卷积特征图b和第三卷积特征图c对应位置的像素值相加即完成特征融合。最终再把已特征融合后的第三卷积特征图b和第三卷积特征图c与第三卷积特征图a进行线性相加。需要强调的是,在把已特征融合后的第三卷积特征图b和第三卷积特征图c与第三卷积特征图a进行线性相加前,需要将已线性相加好的第三卷积特征图b和第三卷积特征图c进行一次卷积计算后,再与第三卷积特征图a进行线性相加,最终得到融合特征图。
不同大小的卷积核对小路牌,中路牌,大路牌的信息提取效果是不一样的。如对识别图片使用不同大小的卷积核卷积后,批量归一化处理后得到的第二卷积特征图内有三种大小不同的路牌信息(分别是小路牌、中路牌和大路牌)。采用小卷积核1*1,主要提取识别小路牌的相关数据,得到第三卷积特征图a;采用中卷积核3*3主要提取识别中路牌的相关信息,得到第三卷积特征图b,采用大卷积核5*5主要提取识别大路牌的相关信息,得到第三卷积特征图c。将第三卷积特征图a、第三卷积特征图b和第三卷积特征图c进行先后两两线性相加,得到的融合特征图,就能够保留带有三种不同大小路牌的相关信息,从而防止原始有效数据的丢失。这里需要注意每次线性相加后需要进行卷积计算,防止引入噪声。
还需要说明的是,为了能够让多个三卷积特征图进行线性相加,在得到多个三卷积特征图前所进行的卷积操作,需要保证卷积计算出来的卷积特征图的行列数相同,即卷积特征图的维度相同。实现上述这一结果可以采用填充Padding的方式来实现,填充Padding的技术原理不再详细阐述,为本领域技术人员所熟知。
步骤S17、对融合特征图进行卷积计算,得到目标卷积特征图,基于目标卷积特征图输出路牌角点坐标。
得到融合特征图后,根据路牌角点的数量设定通道的数量,基于通道对融合特征图进行卷积计算,得到目标卷积特征图,输出通道下对应的第四特征图的路牌角点坐标。
方形路牌有4个路牌角点,将通道的数量设定成4,如图3所示的目标卷积特征图的模拟示意图,通道包括第一通道、第二通道、第三通道和第四通道。对融合特征图进行卷积计算时,卷积核由1个变成相同的4个,第一通道下的卷积核、第二通道下的卷积核、第三通道下的卷积核以及第四通道下的卷积核均相同。在每一通道下都会对融合特征图进行卷积计算,对应得到每一通道下的目标卷积特征图。将第一通道下的目标卷积特征图的路牌角点坐标作为路牌左上角点坐标(即图3所示的A点)输出,将第二通道下的目标卷积特征图的路牌角点坐标作为路牌右上角点坐标(即图3所示的B点)输出,将第三通道下的目标卷积特征图的路牌角点坐标作为路牌右下角点坐标(即图3所示的C点)输出,将第四通道下的目标卷积特征图的路牌角点坐标作为路牌左下角点坐标(即图3所示的D点)输出,即完成对方形路牌4个路牌角点坐标的输出。
还需要说明的是,若路牌的路牌角点数量为3个时,将通道的数量设定成3即可,流程参见上述过程,不再赘述。
还需要说明的是,当目标卷积特征图内有3个方形路牌时,将第一通道下的目标卷积特征图的3个路牌角点坐标作为对应3个方形路牌的路牌左上角点坐标,将第二通道下的目标卷积特征图的3个路牌角点坐标作为对应3个方形路牌的路牌右上角点坐标,将第三通道下的目标卷积特征图的3个路牌角点坐标作为对应对应3个方形路牌的路牌右下角点坐标,将第四通道下的目标卷积特征图的3个路牌角点坐标作为对应对应3个方形路牌的路牌左下角点坐标。
本实施例的方法,具备如下有益效果:
1、对卷积特征图中的像素值进行归一化处理,使得像素值能够分布统一到某个范围内,为后续精准识别出卷积特征图的路牌角点坐标打下基础;
2、预置残差融合算法的引入,以线性相加的方式实现特征融合,能够使得最后输出的目标卷积特征图,还是保留了待识别图片的原始有效数据,有效地防止因卷积计算的不断深入,导致目标卷积特征图丢失了原始的效数据,使得最后能够在目标卷积特征图上精准识别出所有的路牌角点坐标。
与前述的功能方法实施例相对应,本申请还提供了一种路牌角点识别装置相应的实施例。
图2为本申请实施例示出的一种路牌角点识别装置的结构示意图。
请参阅图2,该路牌角点识别装置80,包括:获取模块810、前置卷积模块820、前置处理模块830、分布卷积模块840、分布处理模块850、融合模块860及输出模块870。
获取模块810用于获取待识别图片,待识别图片携带有路牌元素;
前置卷积模块820用于对待识别图片进行卷积计算,得到第一卷积特征图;
前置处理模块830用于对第一卷积特征图进行批量归一化处理;
分布卷积模块840用于对批量归一化处理后的第一卷积特征图进行多种尺度的卷积计算,得到多个第二卷积特征图;
分布处理模块850用于分别对多个第二卷积特征图依次进行批量归一化处理和卷积计算,得到多个第三卷积特征图;
融合模块860用于对多个第三卷积特征图按照预置残差融合算法进行特征融合,得到融合特征图;
输出模块870用于对融合特征图进行卷积计算,得到目标卷积特征图,基于目标卷积特征图输出路牌角点坐标。
本实施例的装置,通过获取模块810获取待识别图片,利用前置卷积模块820,利用前置处理模块830对第一卷积特征图进行批量归一化处理,分布卷积模块840对批量归一化处理后的第一卷积特征图进行多种尺度的卷积计算,得到多个第二卷积特征图,分布处理模块850分别对多个第二卷积特征图依次进行批量归一化处理和卷积计算,得到多个第三卷积特征图,融合模块860对多个第三卷积特征图按照预置残差融合算法进行特征融合,得到融合特征图,输出模块870用于对融合特征图进行卷积计算,得到目标卷积特征图,基于目标卷积特征图输出路牌角点坐标。由于对卷积特征图进行批量归一化处理,使得卷积特征图内的数据能够分布统一在某个范围内进行收敛,以此提高对路牌角点的识别准确率。此外,按照预置残差融合算法进行特征融合,使得卷积特征图内的有效数据能够更好地保留,防止有关路牌元素的数据发生丢失的情况,从而提高对路牌角点的识别准确率。
关于上述实施例中的装置,其中各个模块及单元执行操作的具体方式已经在有关该装置所对应的方法实施例中进行了详细描述,此处将不再做详细阐述说明。
请参阅图4,电子设备900包括处理910和存储器920。
处理910可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器920可以包括各种类型的存储单元,例如系统内存、只读存储器(ROM)和永久存储装置。其中,ROM可以存储处理910或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中,永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中,永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备,例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外,存储器920可以包括任意计算机可读存储媒介的组合,包括各种类型的半导体存储芯片(例如DRAM,SRAM,SDRAM,闪存,可编程只读存储器),磁盘和/或光盘也可以采用。存储器920上存储有可执行代码,当可执行代码被处理910处理时,可以使处理910执行上文述及的方法中的部分或全部。
此外,根据本申请的方法还可以实现为一种计算机程序或计算机程序产品,该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者,本申请还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储介质或机器可读存储介质),其上存储有可执行代码(或计算机程序或计算机指令代码),当可执行代码(或计算机程序或计算机指令代码)被电子设备(或服务器等)的处理器执行时,使处理器执行根据本申请的上述方法的各个步骤的部分或全部。
以上已经描述了本申请的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种路牌角点识别方法,其特征在于,包括:
获取待识别图片,所述待识别图片携带有路牌元素;
对所述待识别图片进行卷积计算,得到第一卷积特征图;
对所述第一卷积特征图进行批量归一化处理;
对批量归一化处理后的所述第一卷积特征图进行多种尺度卷积计算,得到多个第二卷积特征图;
分别对多个所述第二卷积特征图依次进行批量归一化处理和卷积计算,得到多个第三卷积特征图;
对多个所述第三卷积特征图按照预置残差融合算法进行特征融合,得到融合特征图;
对融合特征图进行卷积计算,得到目标卷积特征图,基于所述目标卷积特征图输出路牌角点坐标。
2.根据权利要求1所述的路牌角点识别方法,其特征在于,所述对所述第一卷积特征图进行批量归一化处理,包括:
根据所述第一卷积特征图中的像素值计算出对应的平均值和方差;
设定所述第一卷积特征图对应的缩放系数和平移系数;
根据所述第一卷积特征图对应的所述平均值、所述方差、所述缩放系数和所述平移系数对所述第一卷积特征图进行批量归一化处理。
3.根据权利要求1所述的路牌角点识别方法,其特征在于,所述对批量归一化处理后的所述第一卷积特征图进行多种尺度卷积计算,得到多个第二卷积特征图,包括:
初始化多个卷积核N*N,并设置每一所述卷积核内的参数,其中N为[1,7]区间内的正奇数;
利用多个所述卷积核分别对批量归一化处理后的所述第一卷积特征图进行卷积计算,得到多个第二卷积特征图。
4.根据权利要求1所述的路牌角点识别方法,其特征在于,所述分别对多个所述第二卷积特征图依次进行批量归一化处理和卷积计算,得到多个第三卷积特征图,包括:
根据每一所述第二卷积特征图中的像素值计算出对应的平均值和方差;
设定每一所述第二卷积特征图对应的缩放系数和平移系数;
根据每一所述第二卷积特征图对应的平均值、所述方差、所述缩放系数和所述平移系数对对应的所述第二卷积特征图进行批量归一化处理;
分别对已批量归一化处理后的多个第二卷积特征图进行卷积计算,得到多个第三卷积特征图。
5.根据权利要求4所述的路牌角点识别方法,其特征在于,所述对多个所述第三卷积特征图按照预置残差融合算法进行特征融合,得到融合特征图,包括:
设定多个所述第三卷积特征图的融合排位顺序;
基于所述融合排位顺序对多个所述第三卷积特征图中对应位置的像素值进行线性相加,得到融合特征图,其中每进行一次线性相加后会进行一次卷积后再进行下一次线性相加。
6.根据权利要求1所述的路牌角点识别方法,其特征在于,所述对融合特征图进行卷积计算,得到目标卷积特征图,基于所述目标卷积特征图输出路牌角点坐标,包括:
根据路牌角点的数量设定通道的数量;
基于所述通道对所述融合特征图进行卷积计算,得到目标卷积特征图;
输出所述通道下对应的所述目标卷积特征图的路牌角点坐标。
7.根据权利要求6所述的路牌角点识别方法,其特征在于,所述通道包括第一通道、第二通道、第三通道和第四通道;
所述输出所述通道下对应的所述目标卷积特征图的路牌角点坐标,包括:
将所述第一通道下的所述目标卷积特征图的路牌角点坐标作为路牌左上角点坐标输出;
将所述第二通道下的所述目标卷积特征图的路牌角点坐标作为路牌右上角点坐标输出;
将所述第三通道下的所述目标卷积特征图的路牌角点坐标作为路牌右下角点坐标输出;
将所述第四通道下的所述目标卷积特征图的路牌角点坐标作为路牌左下角点坐标输出。
8.一种路牌角点识别装置,其特征在于,包括:
获取模块,用于获取待识别图片,所述待识别图片携带有路牌元素;
前置卷积模块,用于对所述待识别图片进行卷积计算,得到第一卷积特征图;
前置处理模块,用于对所述第一卷积特征图进行批量归一化处理;
分布卷积模块,用于对批量归一化处理后的所述第一卷积特征图进行多种尺度卷积计算,得到多个第二卷积特征图;
分布处理模块,用于分别对多个所述第二卷积特征图依次进行批量归一化处理和卷积计算,得到多个第三卷积特征图;
融合模块,用于对多个所述第三卷积特征图按照预置残差融合算法进行特征融合,得到融合特征图;
输出模块,用于对融合特征图进行卷积计算,得到目标卷积特征图,基于所述目标卷积特征图输出路牌角点坐标。
9.一种电子设备,其特征在于,包括:
处理器;以及
存储器,其上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如权利要求1至7中任一项所述的路牌角点识别方法。
10.一种计算机可读存储介质,其上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要求1至7中任一项所述的路牌角点识别方法。
CN202111510026.7A 2021-12-10 2021-12-10 路牌角点识别方法、装置、设备及存储介质 Pending CN114170582A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111510026.7A CN114170582A (zh) 2021-12-10 2021-12-10 路牌角点识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111510026.7A CN114170582A (zh) 2021-12-10 2021-12-10 路牌角点识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114170582A true CN114170582A (zh) 2022-03-11

Family

ID=80485523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111510026.7A Pending CN114170582A (zh) 2021-12-10 2021-12-10 路牌角点识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114170582A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677661A (zh) * 2022-03-24 2022-06-28 智道网联科技(北京)有限公司 一种路侧标识识别方法、装置和电子设备
CN115131572A (zh) * 2022-08-25 2022-09-30 深圳比特微电子科技有限公司 一种图像特征提取方法、装置和可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677661A (zh) * 2022-03-24 2022-06-28 智道网联科技(北京)有限公司 一种路侧标识识别方法、装置和电子设备
CN115131572A (zh) * 2022-08-25 2022-09-30 深圳比特微电子科技有限公司 一种图像特征提取方法、装置和可读存储介质

Similar Documents

Publication Publication Date Title
CN114170582A (zh) 路牌角点识别方法、装置、设备及存储介质
CN113361537B (zh) 基于通道注意力的图像语义分割方法及装置
CN114359048A (zh) 图像的数据增强方法、装置、终端设备及存储介质
US20090324131A1 (en) System and method for video based scene analysis
AU2009347563A1 (en) Detection of objects represented in images
CN114241446A (zh) 一种路牌角点的标记方法、装置、设备及存储介质
CN111860486B (zh) 卡片识别方法、装置及设备
CN114283314A (zh) 图像数据处理方法及装置
JP2022510963A (ja) 人体向き検出方法、装置、電子機器及びコンピュータ記憶媒体
CN114241445A (zh) 路牌角点的自动识别方法、装置、设备及存储介质
CN112801077B (zh) 用于自动驾驶车辆的slam初始化的方法及相关装置
CN114299470A (zh) 基于中心点约束的路牌角点识别方法及装置
CN113743340B (zh) 用于自动驾驶的计算机视觉网络模型优化方法及相关装置
CN113408509B (zh) 用于自动驾驶的标识牌识别方法及装置
CN114550137B (zh) 识别交通标志牌的方法、装置和电子设备
CN117785441A (zh) 处理数据的方法和数据处理装置
CN116310344A (zh) 图像语义分割方法、装置、设备及存储介质
CN116012622A (zh) 电子地图的交通要素匹配方法、设备和计算机存储介质
CN116644596A (zh) 高精地图道路仿真数据处理方法、装置及电子设备
CN116005583A (zh) 斑马线生成方法、装置、电子设备和存储介质
CN113313770A (zh) 行车记录仪的标定方法及其装置
CN117831127A (zh) 基于精细化伪标签的行人重识别方法、装置、设备及介质
CN116630664A (zh) 对象匹配方法、装置、电子设备及存储介质
CN117953454A (zh) 应用于自动驾驶的目标检测方法、装置及电子设备
CN117934995A (zh) 基于多注意力的模型训练方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination