CN116453086A - 识别交通标志的方法、装置和电子设备 - Google Patents

识别交通标志的方法、装置和电子设备 Download PDF

Info

Publication number
CN116453086A
CN116453086A CN202310271157.7A CN202310271157A CN116453086A CN 116453086 A CN116453086 A CN 116453086A CN 202310271157 A CN202310271157 A CN 202310271157A CN 116453086 A CN116453086 A CN 116453086A
Authority
CN
China
Prior art keywords
image
traffic sign
edge
features
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310271157.7A
Other languages
English (en)
Inventor
李宁
朱磊
贾双成
万如
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhidao Network Technology Beijing Co Ltd
Original Assignee
Zhidao Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhidao Network Technology Beijing Co Ltd filed Critical Zhidao Network Technology Beijing Co Ltd
Priority to CN202310271157.7A priority Critical patent/CN116453086A/zh
Publication of CN116453086A publication Critical patent/CN116453086A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及了一种识别交通标志的方法、装置和电子设备。该识别交通标志的方法包括：获得待识别图像；利用经训练的交通标志识别模型处理待识别图像，得到交通标志；其中，交通标志识别模型包括：语义特征提取模块，用于从待识别图像中提取语义特征；边缘特征提取模块，用于提取待识别图像中的边缘特征；融合分类模块，用于对语义特征和边缘特征进行融合，并基于融合后的语义特征和边缘特征确定交通标志。本申请能够提升图像中交叠的交通标志的识别效果。

Description

识别交通标志的方法、装置和电子设备
技术领域
本申请涉及人工智能技术领域，尤其涉及一种识别交通标志的方法、装置和电子设备。
背景技术
随着计算机技术和人工智能技术的快速发展，人工智能技术被应用到越来越多的场景中，如智慧交通、图像识别等。
为了实现自动驾驶，准确识别交通标志具有重要作用。例如，自动驾驶车辆可以根据交通法规，按照交通标志进行并道、转弯、限速等操作。相关技术可以通过图像识别技术得到交通标志。
申请人发现，相关技术针对某些特殊场景下的交通标志的识别效果有待提升。例如，对图像中多个相互交叠的交通标志进行识别时，识别结果的准确度无法满足用户需求。
发明内容
为解决或部分解决相关技术中存在的问题，本申请提供一种识别交通标志的方法、装置和电子设备，能够有效提升对多个相互交叠的交通标志的识别效果。
本申请的第一个方面提供了一种识别交通标志的方法，包括：获得待识别图像；利用经训练的交通标志识别模型处理待识别图像，得到交通标志；其中，交通标志识别模型包括：语义特征提取模块，用于从待识别图像中提取语义特征，边缘特征提取模块，用于提取待识别图像中的边缘特征，融合分类模块，用于对语义特征和边缘特征进行融合，并基于融合后的语义特征和边缘特征确定交通标志。
根据本申请的某些实施例，语义特征提取模块包括：卷积神经网络，包括依次串联的输入层和至少两个卷积层，用于对待识别图像进行卷积操作，得到第一语义特征。
根据本申请的某些实施例，语义特征提取模块还包括：非线性分解单元，用于对输入层和至少部分卷积层的输出结果进行非线性分解，得到第二语义特征。相应地，融合分类模块具体用于融合第一语义特征、第二语义特征和边缘特征，以基于融合后的边缘特征、第一语义特征和第二语义特征确定交通标志。
根据本申请的某些实施例，非线性分解单元具体用于对输入层和至少部分卷积层的输出结果进行指数分解，得到第二语义特征。
根据本申请的某些实施例，边缘特征提取模块包括：强度梯度确定单元，用于确定待识别图像的灰度图中各像素的梯度幅值和梯度方向；候选像素获得单元，用于获得沿梯度方向上梯度幅值最高的一个或数个候选像素；边缘特征确定单元，用于将第一类候选像素作为边缘特征，并且删除第二类候选像素，第一类候选像素的梯度幅值大于或者等于上限阈值，第二类候选像素的梯度幅值小于下限阈值，上限阈值大于下限阈值。
根据本申请的某些实施例，边缘特征提取模块还包括：弱边缘确定单元，用于将第三类候选像素作为边缘特征，第三类候选像素的梯度幅值大于或者等于下限阈值，第三类候选像素的梯度幅值小于上限阈值，第三类候选像素构成的线条与第一类候选像素构成的线条相连。
根据本申请的某些实施例，边缘特征提取模块还包括：滤波单元，用于平滑待识别图像，以去除噪点；相应地，强度梯度确定单元具体用于确定去除噪点后的待识别图像的灰度图中各像素的梯度幅值和梯度方向。
根据本申请的某些实施例，融合分类模块包括：空洞金字塔池化网络，包括多个空洞卷积核，各空洞卷积核的空洞系数至少部分不同，用于采用多个空洞卷积核对语义特征和边缘特征进行采样，并基于采样得到的特征确定交通标志。
根据本申请的某些实施例，上述方法还包括：关联交通标志图像数据和标注数据，生成样本数据；对样本数据进行随机分组，得到训练数据和测试数据；利用训练数据训练交通标志识别模型后，利用经训练的交通标志识别模型处理测试数据，得到测试结果；比对测试结果和测试数据的标签数据，确定交通标志识别模型输出识别结果的精准度。
本申请的第二方面提供了一种识别交通标志的装置，包括：图像获得模块和图像识别模块。其中，图像获得模块用于获得待识别图像；图像识别模块，用于利用经训练的交通标志识别模型处理待识别图像，得到交通标志；其中，交通标志识别模型包括：语义特征提取模块，用于从待识别图像中提取语义特征，边缘特征提取模块，用于提取待识别图像中的边缘特征，融合分类模块，用于对语义特征和边缘特征进行采样，以基于采样的语义特征和边缘特征确定交通标志。
本申请的第三方面提供了一种电子设备，包括：处理器；存储器，其上存储有可执行代码，当上述可执行代码被处理器执行时，使得处理器执行上述方法。
本申请的第四方面还提供了一种计算机可读存储介质，其上存储有可执行代码，当可执行代码被电子设备的处理器执行时，使处理器执行上述方法。
本申请的第五方面还提供了一种计算机程序产品，包括可执行代码，可执行代码被处理器执行时实现上述方法。
本申请提供的识别交通标志的方法、装置和电子设备，考虑到图像包括边缘和内容两部分，利用语义特征提取模块提取待识别图像的内容中的语义特征，利用边缘特征提取模块提取边缘特征，这样使得融合分类模块能够对基于语义特征和边缘特征共同识别交通标志。由于将语义特征和边缘特征进行融合后，提升了特征图中对象的边缘显著度，有效减小了因交通标志牌相互交叠导致识别结果错误的可能性。
在某些实施例中，语义特征提取模块还包括非线性分解单元，能够对输入层和至少部分卷积层的输出结果进行非线性分解，得到第二语义特征，该第二语义特征增加了新的非线性通道，使得融合第一语义特征和第二语义特征后的语义特征更加显著，有助于提升交通标志的识别结果精准度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细地描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1示出了一种根据本申请实施例的可以应用于识别交通标志的方法、装置和电子设备的示例性系统架构；
图2示意性示出了根据本申请实施例的识别交通标志的应用场景示意图；
图3示意性示出了根据本申请实施例的识别交通标志的方法的流程图；
图4示意性示出了根据本申请实施例的交通标志识别模型的结构方框图；
图5示意性示出了根据本申请实施例的语义特征提取模块的结构示意图；
图6示意性示出了根据本申请实施例的交通标志识别模型的结构示意图；
图7示意性示出了根据本申请实施例的边缘示意图；
图8示意性示出了根据本申请实施例的融合分类模块的示意图；
图9示意性示出了根据本申请实施例的识别交通标志的装置的方框图；
图10示意性示出了根据本申请实施例的一种电子设备的方框图。
具体实施方式
下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在此使用的术语“包括”、“包含”等表明了特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语（包括技术和科学术语）具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
随着深度学习的发展，基于图像数据训练的深度学习算法如全卷积网络（FullyConvolutional Network，简称FCN）、人脸识别网络（facenet）、轻量级卷积网络（如mobilenet）等相继问世。这些技术对拍摄图像中没有交叠的交通标志图像识别效果较好。然而，通过真实道路驾驶测试，申请人发现相关技术难以识别路牌的边缘部分，这导致对拍摄图像中有重叠的交通标志图像识别效果有待提升。例如，两个交通标志牌的底色一样，且在图像中部分重叠，则可能将这两个交通标志牌误认为一个对象进行识别，给出错误的交通标志信息，带来一定的安全隐患。因此，尽可能准确地识别到相关交通标志的交通标志，如针对大部分重叠或小部分重叠的交通标志不输出错误的识别结果，对提升驾驶安全性来说很重要。
为了提升识别效果，相关技术可以采用卷积神经网络，通过逐层抽象的方式来提取具有不同尺寸的目标的图像特征。然后，通过诸如跳跃连接（Skip Connect）来实现不同维度的特征融合。这种处理方式有助于实现针对图中不同尺寸的对象的识别效果。但是，这一做法仍然具有其局限性。例如，根据实验，重建图像的质量明显上升，但是只能较好地识别图像中相互分离的两个对象，对存在交叠的相似对象的识别效果有待进一步提升。
本申请实施例利用经训练的交通标志识别模型处理待识别图像，该交通标志识别模型中的语义特征提取模块从待识别图像中提取语义特征，边缘特征提取模块从待识别图像中提取边缘特征，这样使得融合分类模块可以基于融合后的语义特征和边缘特征更好地分辨出相互交叠的不同对象的边缘，以便更精准地识别出相互交叠的对象各自的交通标志信息。此外，还可以通过特定的采样方式得到多种维度的语义特征，能够更好地识别出具有不同尺寸的交通标示牌的交通标志。
以下将通过图1至图10对本申请实施例的一种识别交通标志的方法、装置和电子设备进行详细描述。
图1示出了一种根据本申请实施例的可以应用于识别交通标志的方法、装置和电子设备的示例性系统架构。需要注意的是，图1所示仅为可以应用本申请实施例的系统架构的示例，以帮助本领域技术人员理解本申请的技术内容，但并不意味着本申请实施例不可以用于其他设备、系统、环境或场景。
参见图1，根据该实施例的系统架构100可以包括移动平台101、102、103，网络104和云端105。网络104用以在移动平台101、102、103和云端105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。移动平台101、102、103上可以搭载有移动终端，如激光雷达和摄像头等，以实现识别交通标志和拍摄视频等功能。
用户可以使用移动平台101、102、103通过网络104与其他移动平台和云端105进行交互，以接收或发送信息等，如发送模型训练请求、模型参数下载请求和接收经训练的模型参数等。移动平台101、102、103可以安装有各种通讯客户端应用，例如，辅助驾驶应用、自动驾驶应用、车机应用、网页浏览器应用、数据库类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等应用等。
移动平台101、102、103包括但不限于汽车、机器人、平板电脑、膝上型便携计算机等等可以支持上网、获取点云数据、拍摄视频、人机交互等功能的电子设备。
云端105可以接收模型训练请求、模型参数下载请求等，调整模型参数进行模型训练、下发模型拓扑结构、下发经训练的模型参数等，还可以发送路气象信息、实时交通信息等给移动平台101、102、103。例如，云端105可以为后台管理服务器、服务器集群、车联网服务器等。
需要说明的是，移动平台、网络和云端的服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的移动平台、网络和云端。
图2示意性示出了根据本申请实施例的识别交通标志的应用场景示意图。
参见图2，图中包括多个路牌，从上向下数的第二个路牌和第三个路牌发生了交叠，导致图像识别时，可能将该第二个路牌和第三个路牌当成一个路牌，识别结果可能包括：路牌右方是香港海事博物馆和中环海滨活动空间。
本申请实施例中，在相关技术提供的识别模型提取语义特征的基础上，还新增了提取待识别图像的边缘特征，然后融合边缘特征和语义特征，使得特征图中的交通标示牌的边缘更加显著。利用融合后的特征进行图像识别，有效提升针对交叠的交通标志牌的识别效果。
图3示意性示出了根据本申请实施例的识别交通标志的方法的流程图。
参见图3，该实施例提供了一种识别交通标志的方法，该方法包括操作S310~操作S320，具体如下。
在操作S310中，获得待识别图像，待识别图像包括至少一个交通标志图像。
在本实施例中，待识别图像可以是通过设置在移动平台上的拍摄装置拍摄的视频中的一帧图像。其中，移动平台包括但不限于：车辆、机器人、船舶或者飞行器中任意一种。例如，可以由设置在车辆上的拍摄装置进行拍摄，得到待识别图像。例如，拍摄装置可以为行车记录仪、自动驾驶系统的摄像头等。
拍摄装置可以是单目拍摄装置。此外，也可以使用双目拍摄装置等，可以对双目拍摄装置拍摄的两个待识别图像进行视频融合后，再对融合后的待识别图像进行交通标志识别。
待识别图像中可以包括交通标志图像，如转弯标识、掉头标识、路牌标识。待识别图像中可以包括移动平台自身的至少部分图像，或者不包括移动平台自身图像。此外，还可以包括多种人造物体、非人造物体等，如建筑物、车辆、行人、树木等。
在操作S320中，利用经训练的交通标志识别模型处理待识别图像，得到交通标志。
在本实施例中，交通标志识别模型可以是预先经过训练的模型，能够确定被输入的待识别图像中是否包括交通标志图像，或者将交通标志图像从待识别图像中分割出来。交通标志识别模型可以是多种类型的神经网络等。
图4示意性示出了根据本申请实施例的交通标志识别模型的结构方框图。参见图4，交通标志识别模型包括：语义特征提取模块、边缘特征提取模块和融合分类模块。
其中，语义特征提取模块用于从待识别图像中提取语义特征，边缘特征提取模块用于提取待识别图像中的边缘特征，融合分类模块用于对语义特征和边缘特征进行融合，并基于融合后的语义特征和边缘特征确定交通标志。
例如，语义特征提取模块可以包括卷积神经网络。该卷积神经网络可以包括依次串联的输入层和至少两个卷积层，用于对待识别图像进行卷积操作，得到语义特征。其中，卷积神经网络可以包括至少一个卷积对，每个卷积对可以包括成对的卷积层和池化层。
语义特征提取模块也可以是更加复杂的网络结构。例如，语义特征提取模块可以包括编码模块，编码模块中的编码块输出的至少两个维度的特征图，经融合模块融合后，以便分别输入解码模块中与至少两个维度对应的解码块。例如，编码模块可以包括级联的多个编码块，以输入待识别图像的编码块为起始，各编码块提取的特征的维度从低层到高层。
其中，高层编码块（也可以称为网络）的感受野比较大，语义特征表征能力强，但是特征图的分辨率低，几何信息的表征能力弱（空间几何特征细节缺乏）。低层编码块的感受野比较小，几何细节信息表征能力强，虽然分辨率高，但是语义特征表征能力弱。高层的语义特征能够帮助准确的识别或分割出目标。因此在深度学习中将至少部分不同维度的特征融合在一起，能够有效提升识别和分割效果。
融合分类模块将分别接收的语义特征和边缘特征进行融合，得到融合特征图。其中，特征融合可以采用相加（或加权相加）、拼接等方式来实现。然后可以通过处理融合特征图，得到交通标志。例如，可以通过上采样的方式将高维度的特征图逐级还原为与待识别图像相同的尺寸，其中可以包括已分割出来的交通标志和识别结果。
在某些实施例中，可以通过增加非线性通道来增加特征图的通道。图5示意性示出了根据本申请实施例的语义特征提取模块的结构示意图。
参见图5，语义特征提取模块可以包括：卷积神经网络和非线性分解单元。
其中，卷积神经网络包括依次串联的输入层和至少两个卷积层，用于对待识别图像进行卷积操作，得到第一语义特征。
非线性分解单元用于对输入层和至少部分卷积层的输出结果进行非线性分解，得到第二语义特征。例如，特征图中各像素的取值为亮度值，可以对归一化处理后的亮度值进行非线性函数处理，得到特征值，将其作为第二语义特征。
相应地，融合分类模块具体用于融合第一语义特征、第二语义特征和边缘特征，以基于融合后的第一语义特征、第二语义特征和边缘特征确定交通标志。
例如，通过卷积层从视频帧中提取语义信息。具体地，卷积神经网络可以包括多个卷积对，以及设置在部分相邻卷积对之间的池化层（pooling层）。例如，每个卷积对包括相邻设置的卷积层和激活层，卷积层的卷积核尺寸（convolutional kernel size）可以是3等。特征图填充宽度（padding）可以是1，步长（stride）可以是1。此外，卷积层和激活层之间还可以包括归一化层，对提取出的特征进行归一化。池化层的卷积核尺寸可以是2，特征图填充宽度可以是0，步长可以是2。
此外，卷积神经网络还可以包括更多或更少的池化层。通过上述多个卷积对和池化层可以对视频帧进行特征提取，输出特征图。例如，卷积层参数：kernel size=3，padding=1，stride=1。池化层参数：kernel size=2，padding =0，stride=2。
其中，padding=1使得视频帧的分辨率变为（X+2）×（Y+2），在以3×3尺寸的卷积核进行卷积后，输出矩阵的分辨率为X×Y。上述卷积层参数设置使得卷积层的输入图像和输出矩阵的尺寸相同。
池化是使用某一位置的相邻输出的总体统计特征代替网络在该位置的输出，其好处是当输入数据做出少量平移时，经过池化函数后的大多数输出还能保持不变。池化可以实现对图片进行压缩。图片越大，处理速度与识别难度越大。可以通过池化处理来降低图片的尺寸。池化在降低各个特征图维度的同时保留大部分重要信息，
例如，当识别一张图像是否包括转向标识时，如果检测到待识别图像中包括折线和位于该折线的一端的三角形，而不需要知道转向标识的精确位置，这时候通过池化某一片区域的像素点来得到总体统计特征会显得很有用。由于池化之后特征图会变得更小，如果后面连接的是全连接层，能有效的减小神经元的个数，节省存储空间并提高计算效率。
目前主要有最大池化（max pooling）、平均池化、加和池化等方式。如通过最大这种池化算法，让四个像素格子中，选择保留一个最大的像素，舍弃其余三个。池化即空间池化，通过对不同特征进行聚合统计处理以获得相对更低的维度，同时避免出现过拟合现象。其中，平均池化是计算图像区域的平均值，并以此作为该区域池化后的值。最大值池化是选取图像区域的最大值，并以此作为该区域池化后的值。定义一个空间邻域，并从修正特征图中取出最大的元素，也可以取平均值。
通过池化操作可以逐渐降低输入表示的空间尺度，降低特征维度，网络中的参数和计算的数量更加可控的降低。使网络对于输入图像中更小的变化、冗余和变换变得不变性。协助获取图像最大程度上的尺度不变性。
指数分解单元主要是用于增加非线性分解通道的数量。以灰度图像为例进行说明，灰度图像中一个像素的像素值可以为灰度值，即[0,255]之间的整数值。可以对该灰度图中各像素值进行非线性处理，得到新的灰度图，该灰度图可以作为一个特征图。由于对灰度值进行了非线性处理，和原灰度图存在区别，能更容易地体现出原灰度图不易体现出的一些特征。因此，新的灰度图增加了新的非线性通道。
指数分解单元可以是一个或多个单元，分别对输入图像、中间特征图等进行非线性处理。参见图5，可以对两个卷积层各自输出的特征图进行非线性分解；可以对输入层的原始图像和第一卷积层输出的特征图进行非线性分解；可以对输入层的原始图像和两个卷积层各自输出的特征图进行非线性分解；还可以仅对至少部分输出层输出的特征图进行非线性分解。需要说明的是，语义特征提取模块还可以包括更多卷积层，相应地也可以存在更多指数分解单元，在此不做限定。
在某些实施例中，非线性分解单元具体用于对输入层和至少部分卷积层的输出结果进行指数分解，得到第二语义特征。根据指数函数曲线可以确定负数的指数值分布在[0,1]，可以得到归一化的特征值。此外，还可以对像素值[0,255]进行归一化处理，使其分布在[0,1]区间，使得负数的[0,1]区间取值的指数值，分布在更靠近1的一侧，提升非线性分解单元输出的特征图对融合分类模块的影响。
图6示意性示出了根据本申请实施例的交通标志识别模型的结构示意图。参见图6，输入层将原始特征图的灰度图，同时传输给卷积层和指数分解单元，该灰度图的各像素的像素值分布在[0,255]。卷积层的处理过程参考上述相关内容。指数分解单元的处理过程可以如下所示：将特征图中的某个像素的像素亮度值（灰度值），使用基于指数函数的处理公式进行处理，得到计算结果。得到的结果构成的特征图与输入特征图尺寸相同。
例如，指数分解单元的指数处理公式f（x）可以如式（1）所示。
f(x) = exp(-x)+exp(-2x)式（1）
其中，x可以为像素亮度值、亮度值的归一化值等。以像素亮度值为例，如果像素的亮度值为10，则f(10) = exp(-10)+exp(-20)，值位于0到1之间。需要说明的是，可以根据使用效果调整指数处理公式f（x），如增加或减少公式中的项数，如给各项增加系数或者增加偏置量，在此不做限定。
本实施例采用非线性分解单元增加了非线性通道，使得融合分类模块能够融合更多通道的语义特征，有助于提升语义特征质量，进而提升交通标志识别精准度。
以下对边缘特征的提取过程进行示例性说明。具体地，可以通过找寻一幅图像中灰度强度变化最强的位置来提取边缘特征。其中，灰度强度变化最强的方向就是指梯度方向。
在某些实施例中，上述边缘特征提取模块可以包括：强度梯度确定单元、候选像素获得单元和边缘特征确定单元。
其中，强度梯度确定单元用于确定待识别图像的灰度图中各像素的梯度幅值和梯度方向。
候选像素获得单元用于获得沿梯度方向上梯度幅值最高的一个或数个（Top N）候选像素。例如，候选像素获得单元用于获得沿梯度方向上梯度幅值最高的（Top 1）候选像素。
边缘特征确定单元用于将第一类候选像素作为边缘特征，并且删除第二类候选像素，第一类候选像素的梯度幅值大于或者等于上限阈值，第二类候选像素的梯度幅值小于下限阈值，上限阈值大于下限阈值。
在一个具体实施例中，图像中每个像素点的梯度可以由算子（卷积核）来获得，如拉普拉斯（Laplacian）算子、索贝尔（Sobel）算子等。例如，计算机视觉领域的图像和视频处理库（如opencv）中有封装好的函数，可以求图像中每个像素点的n阶导数。首先，利用上述卷积核来分别求得沿水平方向（如x轴向）和垂直方向（如y轴向）的梯度GX和GY。这样便可利用公式来求得每一个像素点的梯度幅值。
此外，为了计算简便，也可以使用GX和GY的无穷大范数来代替二范数。把灰度图中的每一个像素点用G代替，在新图的像素亮度值变化剧烈的地方（边缘处），将获得较大的梯度值G。
然而，该图中的边缘可能比较非常粗，难以标定边缘的真正位置。为了解决该问题，可以基于梯度方向信息和梯度值G确定更加精确的边缘信息。具体地，保留了每个像素点上梯度强度的极大值，而删掉其他的值。例如，可以比较特定像素点的梯度方向上各相邻像素点的梯度强度和该特定像素点的梯度强度，找到梯度强度最强的一个或多个（Top N，如Top1）像素点，将其作为候选像素。例如，可以删除Top N像素点以外的像素点，如将像素点的取值置为零。
经过上述处理后，图像中仍然可能存在一些噪点，可以采用双阈值的方式去除这些噪点，并且避免误删边缘像素。具体地，设定上限阈值和下限阈值。图像中的像素点的梯度强度如果大于上限阈值则认为必然是边缘（也可以称为强边缘strong edge），图像中的像素点的梯度强度如果小于下限阈值则认为必然不是边缘。
在某些实施例中，考虑到图像中一些像素点的梯度强度会介于上限阈值和下限阈值之间，其中可能包括部分边缘像素点。本申请通过判断这些像素点构成的线条是否与强边缘像素点构成的线条相连接，来判断其是否为边缘像素点。
具体地，边缘特征提取模块还可以包括弱边缘确定单元。该弱边缘确定单元用于将第三类候选像素作为边缘特征，第三类候选像素的梯度幅值大于或者等于下限阈值，第三类候选像素的梯度幅值小于上限阈值，第三类候选像素构成的线条与第一类候选像素构成的线条相连。
图7示意性示出了根据本申请实施例的边缘示意图。参见图7，图中示出了边缘、弱边缘和非边缘。其中，边缘的各像素的梯度强度高于上限阈值，非边缘的各像素的梯度强度低于下限阈值。疑似边缘的像素点的梯度强度介于上限阈值和下限阈值之间，如图7中的虚线所示的像素点。通过分析发现，如果疑似边缘与强边缘相连，则该疑似边缘为弱边缘，如果疑似边缘没有与强边缘相连，则其边缘属性不明显，可以作为噪点，并被去除。
在某些实施例中，为了进一步提升边缘特征提取效果，还可以先对待识别图像进行滤波，以去除噪点。
具体地，边缘特征提取模块还可以包括：滤波单元，用于平滑待识别图像，以去除噪点。例如，应用高斯滤波来平滑图像。相应地，强度梯度确定单元具体用于确定去除噪点后的待识别图像的灰度图中各像素的梯度幅值和梯度方向。
本实施例中，能够有效提取出图像中的边缘信息。当将这些边缘信息与语义特征提取模块提取的语义特征（特征图）相融合后，相当于把特征图中的边缘进行了描画，使得特征图中的边缘更加明显，降低将交叠的多个交通标示牌误识别为一个交通标志牌的风险，有助于提升针对交叠的多个交通标志牌的识别效果。
以下对融合分类模块进行示例性说明。
在某些实施例中，上述融合分类模块可以包括：空洞金字塔池化网络（AtrousSpatial Pyramid Pooling，简称ASPP），包括多个空洞卷积核，各空洞卷积核的空洞系数至少部分不同，用于采用多个空洞卷积核对融合后的语义特征和边缘特征进行采样，并基于采样得到的特征确定交通标志。
图8示意性示出了根据本申请实施例的融合分类模块的示意图，参见图8，空洞金字塔池化是由空洞卷积（Atrous Convolution）组成。如果想要对图片提取的特征具有较大的感受野，并且又想尽量维持特征图的分辨率（分辨率损失太多会丢失许多关于图像中边缘的细节信息），这两个是矛盾的，想要获取较大感受野需要用较大的卷积核或池化时采用较大的步长（stride）。前者的计算量很大，后者会损失分辨率。而空洞卷积能够较好地解决这个矛盾，实现获得较大感受野，同时尽可能保持分辨率。空洞金字塔池化网络使用具有不同采样率（如图8中的采样率rate1~采样率rate4）的多个并行空洞卷积层。这样能够增强网络获得多尺度上下文的能力，在语义分割中，在不丢失信息时（不做下采样）组合不同感受野的语义信息，为不同采样率提取的特征在单独的分支中进一步处理，并融合以生成最终识别结果。
在某些实施例中，可以通过如下方式进行模型训练。具体地，上述方法还可以包括如下操作。首先，关联交通标志图像数据和标注数据，生成样本数据；然后，对样本数据进行随机分组，得到训练数据和测试数据；接着，利用训练数据训练交通标志识别模型后，利用经训练的交通标志识别模型处理测试数据，得到测试结果；然后，比对测试结果和测试数据的标签数据，确定交通标志识别模型输出识别结果的精准度。例如，通过反向传播算法能够训练出预测精度足够高的交通标志识别模型。
其中，经过标注的样本图像按照预设比例划分为训练样本集和测试样本集能有效提升训练效果。训练样本集可以用于进行模型训练，测试样本集用于对训练后的模型进行测试，以确保训练的模型可以达到预期的识别效果。
需要说明的是，本申请的技术方案能很好地适用于车辆在移动过程中由拍摄装置拍摄的视频的场景中，该场景下车辆可能在高速移动，拍摄的视频帧中交通标志的位置变化较快，需要能够快速地从视频帧中确定交通标志。
在本申请的实施例中，拍摄装置可以是单目摄像头、双目摄像头、三目摄像头或者更多摄像头。例如，多目摄像头包括多个不同拍摄范围的摄像头，示例性地，三目摄像头可以包括第一摄像头、第二摄像头和第三摄像头。
在进行模型训练时，可以为三目摄像头的每个摄像头分别训练对应的交通标志识别模型。例如，分别为第一摄像头训练用于识别第一摄像头采集的图像的第一交通标志识别模型。为第二摄像头训练用于识别第二摄像头采集的图像的第二交通标志识别模型。为第三摄像头训练用于识别第三摄像头采集的图像的第三交通标志识别模型。三个交通标志识别模型的加权结果作为最终结果。又例如，也可以为三目摄像头的所有摄像头训练一个通用的交通标志识别模型，该通用的交通标志识别模型可以对三目摄像头每一个摄像头采集的图像进行识别。
在本申请的实施方式中，可以根据需要训练的交通标志识别模型，获取对应的样本图像。例如，需要训练的交通标志识别模型为第一摄像头对应的第一交通标志识别模型时，样本图像为第一摄像头采集的图像。需要训练的交通标志识别模型为第二摄像头对应的第二交通标志识别模型时，样本图像为第二摄像头采集的图像。需要训练的交通标志识别模型为第三摄像头对应的第三交通标志识别模型时，样本图像为第三摄像头采集的图像。又如，需要训练的交通标志识别模型为三目摄像头的所有摄像头通用的交通标志识别模型时，样本图像为三个摄像头采集的图像。
在一些实施方式中，可以将采集的样本图像进行时序同步，即按照采集时间的先后顺序对采集的图像进行排序。在样本图像为三个摄像头采集的图像时，可以将同一时间获取的三个摄像头采集的图像作为同一组图像，再按照采集时间的先后顺序对多组图像进行排序。
在一些实施方式中，为了利用获取的样本图像进行模型训练，需要预先对样本图像的交通标志进行标注，如交通标志的位置和范围、交通标志的颜色信息等信息，具体可以根据模型训练的目的进行选择。
在某些实施例中，交通标志识别模型可以通过反向传播算法进行训练。具体可以参考神经网络训练方法。其中，在训练基础模型的过程中，所需的交通标志的位置信息等可以由外部输入。
需要说明的是，交通标志识别模型的模型训练过程可以是离线训练或者在线训练，可以在云端进行模型训练。移动平台的计算设备可以从云端下载经训练的交通标志识别模型的模型拓扑和模型参数，以便实现在移动平台在本地进行交通标志识别。移动平台也可以将视频流发送给云端，以便云端利用经训练的交通标志识别模型处理待识别图像，得到待识别图像中的交通标志信息，并且由云端将交通标志位置信息发送（或广播）给该移动平台。
在一个识别交通标志的具体实施例中，请一并参考图6，首先，将输入的待识别图像和特征图中的某个像素的像素亮度值（灰度值），使用非线性处理公式处理待识别图像的灰度图，如使用exp(-x)+exp(-2x)公式得到语义特征（得到的结果构成的特征图与输入特征图尺寸相同）。然后，将输入的原图提取特征图和边缘特征。接着，将语义特征、特征图和边缘特征在融合分类模块中融合。
在一个具体的模型训练过程中，可以包括如下所示操作。
首先，将路牌图像数据和json数据（标注10种类别的路牌）结合生成所需要的样本数据。然后，将不符合规范的数据进行处理，得到符合规范的数据。接着，将得到的数据通过随机分组分成测试数据和训练数据，使用程序将这两份数据分别保存到数据库（如MessageDrivenBean数据库，简称mdb数据库）中。然后，读取得到mdb数据，并解析成512×512×3的矩阵输入到网络中进行训练，得到训练的模型。接着，使用得到的训练模型进行预测，将预测结果和真实的图片标签进行对比。然后，通过对比发现识别精度提升明显，并在更大范围的实际数据中进行测试。
本申请实施例将待识别图像分成边缘和内容两部分，强化了边缘信息在交通标志识别过程中起的作用。此外，在内容部分增加了指数的分解方法，使得交通标志识别模型新增了至少一个非线性分解通道，使得识别精度更高。另外，在采用了非线性分解单元后，语义特征提取模块中的卷积神经网络可以设计的更加轻量级，显著提升识别效率。
本申请的另一方面还提供了一种识别交通标志的装置。
图9示意性示出了根据本申请实施例的识别交通标志的装置的方框图。
参见图9，该识别交通标志的装置900可以包括：图像获得模块910和图像识别模块920。
其中，图像获得模块910用于获得待识别图像。
图像识别模块920用于利用经训练的交通标志识别模型处理待识别图像，得到交通标志。其中，交通标志识别模型包括：语义特征提取模块，用于从待识别图像中提取语义特征；边缘特征提取模块，用于提取待识别图像中的边缘特征；融合分类模块，用于对语义特征和边缘特征进行采样，以基于采样的语义特征和边缘特征确定交通标志。
在某些实施例中，语义特征提取模块包括：卷积神经网络和非线性分解单元。其中，卷积神经网络包括依次串联的输入层和至少两个卷积层，用于对待识别图像进行卷积操作，得到第一语义特征。
非线性分解单元用于对输入层和至少部分卷积层的输出结果进行非线性分解，得到第二语义特征。
相应地，融合分类模块具体用于融合第一语义特征、第二语义特征和边缘特征，以基于融合后的第一语义特征、第二语义特征和边缘特征确定交通标志。
在某些实施例中，非线性分解单元具体用于对输入层和至少部分卷积层的输出结果进行指数分解，得到第二语义特征。
在某些实施例中，边缘特征提取模块包括：强度梯度确定单元、候选像素获得单元和边缘特征确定单元。
其中，强度梯度确定单元用于确定待识别图像的灰度图中各像素的梯度幅值和梯度方向。
候选像素获得单元用于获得沿梯度方向上梯度幅值最高的一个或数个候选像素。
边缘特征确定单元用于将第一类候选像素作为边缘特征，并且删除第二类候选像素，第一类候选像素的梯度幅值大于或者等于上限阈值，第二类候选像素的梯度幅值小于下限阈值，上限阈值大于下限阈值。
在某些实施例中，边缘特征提取模块还包括弱边缘确定单元。该弱边缘确定单元用于将第三类候选像素作为边缘特征，第三类候选像素的梯度幅值大于或者等于下限阈值，第三类候选像素的梯度幅值小于上限阈值，第三类候选像素构成的线条与第一类候选像素构成的线条相连。
关于上述实施例中的装置900，其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
本申请的另一方面还提供了一种电子设备。
图10示意性示出了根据本申请实施例的一种电子设备的方框图。
参见图10，电子设备1000包括存储器1010和处理器1020。
处理器1020可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器1010可以包括各种类型的存储单元，例如系统内存、只读存储器（ROM）和永久存储装置。其中，ROM可以存储处理器1020或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器1010可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（例如DRAM，SRAM，SDRAM，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器1010可以包括可读和/或可写的可移除的存储设备，例如激光唱片（CD）、只读数字多功能光盘（例如DVD-ROM，双层DVD-ROM）、只读蓝光光盘、超密度光盘、闪存卡（例如SD卡、min SD卡、Micro-SD卡等）、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器1010上存储有可执行代码，当可执行代码被处理器1020处理时，可以使处理器1020执行上文述及的方法中的部分或全部。
此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本申请还可以实施为一种计算机可读存储介质（或非暂时性机器可读存储介质或机器可读存储介质），其上存储有可执行代码（或计算机程序或计算机指令代码），当可执行代码（或计算机程序或计算机指令代码）被电子设备（或服务器等）的处理器执行时，使处理器执行根据本申请的上述方法的各个步骤的部分或全部。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种识别交通标志的方法，其特征在于，包括：
获得待识别图像；
利用经训练的交通标志识别模型处理所述待识别图像，得到交通标志；
其中，所述交通标志识别模型包括：
语义特征提取模块，用于从所述待识别图像中提取语义特征，
边缘特征提取模块，用于提取所述待识别图像中的边缘特征，
融合分类模块，用于对所述语义特征和所述边缘特征进行融合，并基于融合后的语义特征和边缘特征确定所述交通标志。
2.根据权利要求1所述的方法，其特征在于，所述语义特征提取模块包括：
卷积神经网络，包括依次串联的输入层和至少两个卷积层，用于对所述待识别图像进行卷积操作，得到第一语义特征；
非线性分解单元，用于对所述输入层和至少部分所述卷积层的输出结果进行非线性分解，得到第二语义特征；
所述融合分类模块具体用于融合所述第一语义特征、所述第二语义特征和所述边缘特征，以基于融合后的第一语义特征、第二语义特征和所述边缘特征确定所述交通标志。
3.根据权利要求2所述的方法，其特征在于，所述非线性分解单元具体用于对所述输入层和至少部分所述卷积层的输出结果进行指数分解，得到所述第二语义特征。
4.根据权利要求1所述的方法，其特征在于，所述边缘特征提取模块包括：
强度梯度确定单元，用于确定所述待识别图像的灰度图中各像素的梯度幅值和梯度方向；
候选像素获得单元，用于获得沿所述梯度方向上梯度幅值最高的一个或数个候选像素；
边缘特征确定单元，用于将第一类候选像素作为边缘特征，并且删除第二类候选像素，所述第一类候选像素的梯度幅值大于或者等于上限阈值，所述第二类候选像素的梯度幅值小于下限阈值，所述上限阈值大于所述下限阈值。
5.根据权利要求4所述的方法，其特征在于，所述边缘特征提取模块还包括：
弱边缘确定单元，用于将第三类候选像素作为边缘特征，所述第三类候选像素的梯度幅值大于或者等于所述下限阈值，所述第三类候选像素的梯度幅值小于所述上限阈值，所述第三类候选像素构成的线条与所述第一类候选像素构成的线条相连。
6.根据权利要求4所述的方法，其特征在于，所述边缘特征提取模块还包括：
滤波单元，用于平滑所述待识别图像，以去除噪点；
所述强度梯度确定单元具体用于确定去除噪点后的待识别图像的灰度图中各像素的梯度幅值和梯度方向。
7.根据权利要求1所述的方法，其特征在于，所述融合分类模块包括：
空洞金字塔池化网络，包括多个空洞卷积核，各空洞卷积核的空洞系数至少部分不同，用于采用多个所述空洞卷积核对融合后的语义特征和边缘特征进行采样，并基于采样得到的特征确定交通标志。
8.根据权利要求1至7任一项所述的方法，其特征在于，还包括：
关联交通标志图像数据和标注数据，生成样本数据；
对所述样本数据进行随机分组，得到训练数据和测试数据；
利用所述训练数据训练所述交通标志识别模型后，利用经训练的所述交通标志识别模型处理所述测试数据，得到测试结果；
比对所述测试结果和所述测试数据的标签数据，确定所述交通标志识别模型输出识别结果的精准度。
9.一种识别交通标志的装置，其特征在于，包括：
图像获得模块，用于获得待识别图像；
图像识别模块，用于利用经训练的交通标志识别模型处理所述待识别图像，得到交通标志；其中，所述交通标志识别模型包括：语义特征提取模块，用于从所述待识别图像中提取语义特征，边缘特征提取模块，用于提取所述待识别图像中的边缘特征，融合分类模块，用于对所述语义特征和所述边缘特征进行采样，以基于采样的语义特征和边缘特征确定所述交通标志。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行根据权利要求1-8中任一项所述的方法。
CN202310271157.7A 2023-03-20 2023-03-20 识别交通标志的方法、装置和电子设备 Pending CN116453086A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310271157.7A CN116453086A (zh) 2023-03-20 2023-03-20 识别交通标志的方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310271157.7A CN116453086A (zh) 2023-03-20 2023-03-20 识别交通标志的方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN116453086A true CN116453086A (zh) 2023-07-18

Family

ID=87124730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310271157.7A Pending CN116453086A (zh) 2023-03-20 2023-03-20 识别交通标志的方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN116453086A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117853432A (zh) * 2023-12-26 2024-04-09 北京长木谷医疗科技股份有限公司 一种基于混合模型的骨关节病变识别方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117853432A (zh) * 2023-12-26 2024-04-09 北京长木谷医疗科技股份有限公司 一种基于混合模型的骨关节病变识别方法及装置

Similar Documents

Publication Publication Date Title
CN111222395B (zh) 目标检测方法、装置与电子设备
CN112329702B (zh) 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质
US20230237666A1 (en) Image data processing method and apparatus
CN111444744A (zh) 活体检测方法、装置以及存储介质
CN110176024B (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
CN116453086A (zh) 识别交通标志的方法、装置和电子设备
Malav et al. DHSGAN: An end to end dehazing network for fog and smoke
CN111539899A (zh) 图像修复方法及相关产品
CN115578590A (zh) 基于卷积神经网络模型的图像识别方法、装置及终端设备
CN115131634A (zh) 图像识别方法、装置、设备、存储介质及计算机程序产品
CN112926595B (zh) 深度学习神经网络模型的训练装置、目标检测系统及方法
CN116259040A (zh) 识别交通标志的方法、装置和电子设备
CN116824641B (zh) 姿态分类方法、装置、设备和计算机存储介质
Li et al. Feature point extraction and tracking based on a local adaptive threshold
CN115601730A (zh) 识别交通灯的方法、装置和电子设备
Ballinas-Hernández et al. Marked and unmarked speed bump detection for autonomous vehicles using stereo vision
CN116883770A (zh) 深度估计模型的训练方法、装置、电子设备及存储介质
CN112818743B (zh) 图像识别的方法、装置、电子设备及计算机存储介质
CN114863257A (zh) 图像处理方法、装置、设备及存储介质
CN113657245A (zh) 一种用于人脸活体检测的方法、设备、介质及程序产品
Kaimkhani et al. UAV with Vision to Recognise Vehicle Number Plates
CN114612999A (zh) 一种目标行为分类方法、存储介质及终端
CN116052132A (zh) 识别路面标识的方法、装置和电子设备
Kim Lifelong Learning Architecture of Video Surveillance System
Liu et al. Integrated multiscale appearance features and motion information prediction network for anomaly detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination