CN112329725B - 一种道路场景的要素识别方法、装置、设备以及存储介质 - Google Patents

一种道路场景的要素识别方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN112329725B
CN112329725B CN202011355531.4A CN202011355531A CN112329725B CN 112329725 B CN112329725 B CN 112329725B CN 202011355531 A CN202011355531 A CN 202011355531A CN 112329725 B CN112329725 B CN 112329725B
Authority
CN
China
Prior art keywords
recognition
target
layer
information
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011355531.4A
Other languages
English (en)
Other versions
CN112329725A (zh
Inventor
陈克凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011355531.4A priority Critical patent/CN112329725B/zh
Publication of CN112329725A publication Critical patent/CN112329725A/zh
Application granted granted Critical
Publication of CN112329725B publication Critical patent/CN112329725B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种道路场景的要素识别方法、装置、设备以及存储介质，应用于人工智能的计算机视觉技术。通过获取目标图像；然后将目标图像输入目标识别模型中的第一识别层得到目标要素的位置信息和第一识别信息；并基于位置信息确定目标特征在特征提取层中的映射区域图像；将映射区域图像输入与第一识别信息对应的第二识别层，以得到第二识别信息。从而实现阶段式的要素识别过程，由于第一识别层中的目标特征与第二识别层进行了共享，使得第一识别层中的目标特征指导并优化第二识别层中的识别过程，进一步提高了道路场景中要素识别的效率。

Description

一种道路场景的要素识别方法、装置、设备以及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种道路场景的要素识别方法、装置、设备以及存储介质。
背景技术
随着导航技术的迅速发展，人们对于地图导航的场景信息需求越来越高，从而需要对用于导航的道路场景中的要素进行识别并标记，以使得用户或终端了解当前的行驶状态以及场景状态。
一般，由于道路场景中的要素较多，且特点也不相同，可以采用不同的要素分别构建深度学习模型的方式进行识别。
但是，针对每种要素设计对应的深度学习模型的过程耗时耗力，且在实际识别场景中，需要对多个模型进行训练，并在识别过程中并行处理，占用大量系统资源，容易造成识别效率低下，影响道路场景中要素识别过程的效率。
发明内容
有鉴于此，本申请提供一种道路场景的要素识别方法，可以有效提高道路场景中要素识别过程的效率。
本申请第一方面提供一种道路场景的要素识别方法，可以应用于终端设备中包含道路场景的要素识别功能的系统或程序中，具体包括：
获取道路场景中的目标图像；
将所述目标图像输入目标识别模型中的第一识别层，所述第一识别层包括特征提取层和检测层，所述特征提取层用于提取所述目标图像的目标特征，所述检测层用于根据所述目标特征得到目标要素的位置信息和第一识别信息；
基于所述位置信息确定所述目标特征在所述特征提取层中的映射区域图像；
将所述映射区域图像输入所述目标识别模型中与所述第一识别信息对应的第二识别层，以得到所述目标要素的第二识别信息，所述第二识别信息的精细度高于所述第一识别信息的精细度，所述第二识别层基于所述第一识别信息训练所得。
可选的，在本申请一些可能的实现方式中，所述将所述映射区域图像输入所述目标识别模型中与所述第一识别信息对应的第二识别层，以得到所述目标要素的第二识别信息，包括：
确定所述映射区域图像对应的要素类别；
基于所述要素类别确定所述目标识别模型中与所述第一识别信息对应的所述第二识别层；
将所述映射区域图像输入所述第二识别层，以得到所述第二识别信息。
可选的，在本申请一些可能的实现方式中，所述基于所述要素类别确定所述目标识别模型中与所述第一识别信息对应的所述第二识别层，包括：
将所述要素类别与预设类别进行比对，以得到比对结果；
若所述比对结果满足预设条件，则基于所述要素类别确定所述目标识别模型中与所述第一识别信息对应的所述第二识别层，所述预设条件基于所述目标要素的运动信息确定。
可选的，在本申请一些可能的实现方式中，所述方法还包括：
获取关于所述道路场景的训练数据；
确定所述第一识别信息对应的检测对象和检测标签，以得到检测数据；
基于所述训练数据和所述检测数据对所述第二识别层进行训练，以对所述目标识别模型进行更新。
可选的，在本申请一些可能的实现方式中，所述方法还包括：
根据所述训练数据对所述目标识别模型中的第一识别层进行训练；
对训练后的所述第一识别层中的模型参数进行冻结。
可选的，在本申请一些可能的实现方式中，所述基于所述训练数据和所述检测数据对所述第二识别层进行训练，以对所述目标识别模型进行更新，包括：
根据所述检测标签确定目标类别，以确定所述目标类别对应的第二识别层；
基于所述目标类别从所述训练数据中提取目标数据；
基于所述检测数据和所述目标数据对所述目标类别对应的第二识别层进行训练，以对所述目标识别模型进行更新。
可选的，在本申请一些可能的实现方式中，所述获取关于所述道路场景的训练数据，包括：
获取所述道路场景的采集数据；
确定针对于所述道路场景设定的识别类别；
基于所述识别类别对所述采集数据进行数据标注，以得到所述训练数据。
可选的，在本申请一些可能的实现方式中，所述方法还包括：
获取所述采集数据的参数信息；
调用针对所述训练数据设定的预设阈值信息与所述参数信息进行对比，以得到对比结果；
基于所述对比结果对所述采集数据进行增强，以对训练数据进行更新。
可选的，在本申请一些可能的实现方式中，所述将所述目标图像输入目标识别模型中的第一识别层，包括：
获取所述道路场景的场景信息；
基于所述场景信息对所述目标图像进行预处理，以得到输入图像；
将所述输入图像输入所述目标识别模型中的所述第一识别层。
可选的，在本申请一些可能的实现方式中，所述方法还包括：
基于所述位置信息、所述第一识别信息和所述第二识别信息对所述目标要素进行标记，以得到标记要素；
将所述标记要素在包含所述道路场景的导航界面中进行展示。
可选的，在本申请一些可能的实现方式中，所述方法还包括：
获取所述导航界面对应的目标交通工具的行驶信息：
将所述行驶信息与所述第二识别信息进行比对，以确定行驶合规信息；
基于所述行驶合规信息在所述导航界面中调用对应的提示元素。
可选的，在本申请一些可能的实现方式中，所述第一识别层为YOLO模型，所述第二识别层包括多个分类模型，所述分类模型基于所述道路场景中的交通标志设定。
本申请第二方面提供一种道路场景的要素识别装置，包括：
获取单元，用于获取道路场景中的目标图像；
输入单元，用于将所述目标图像输入目标识别模型中的第一识别层，所述第一识别层包括特征提取层和检测层，所述特征提取层用于提取所述目标图像的目标特征，所述检测层用于根据所述目标特征得到目标要素的位置信息和第一识别信息；
确定单元，用于基于所述位置信息确定所述目标特征在所述特征提取层中的映射区域图像；
识别单元，用于将所述映射区域图像输入所述目标识别模型中与所述第一识别信息对应的第二识别层，以得到所述目标要素的第二识别信息，所述第二识别信息的精细度高于所述第一识别信息的精细度，所述第二识别层基于所述第一识别信息训练所得。
可选的，在本申请一些可能的实现方式中，所述输入单元，具体用于确定所述映射区域图像对应的要素类别；
所述输入单元，具体用于基于所述要素类别确定所述目标识别模型中与所述第一识别信息对应的所述第二识别层；
所述输入单元，具体用于将所述映射区域图像输入所述第二识别层，以得到所述第二识别信息。
可选的，在本申请一些可能的实现方式中，所述输入单元，具体用于将所述要素类别与预设类别进行比对，以得到比对结果；
所述输入单元，具体用于若所述比对结果满足预设条件，则基于所述要素类别确定所述目标识别模型中与所述第一识别信息对应的所述第二识别层，所述预设条件基于所述目标要素的运动信息确定。
可选的，在本申请一些可能的实现方式中，所述识别单元，具体用于获取关于所述道路场景的训练数据；
所述识别单元，具体用于确定所述第一识别信息对应的检测对象和检测标签，以得到检测数据；
所述识别单元，具体用于基于所述训练数据和所述检测数据对所述第二识别层进行训练，以对所述目标识别模型进行更新。
可选的，在本申请一些可能的实现方式中，所述识别单元，具体用于根据所述训练数据对所述目标识别模型中的第一识别层进行训练；
所述识别单元，具体用于对训练后的所述第一识别层中的模型参数进行冻结。
可选的，在本申请一些可能的实现方式中，所述识别单元，具体用于根据所述检测标签确定目标类别，以确定所述目标类别对应的第二识别层；
所述识别单元，具体用于基于所述目标类别从所述训练数据中提取目标数据；
所述识别单元，具体用于基于所述检测数据和所述目标数据对所述目标类别对应的第二识别层进行训练，以对所述目标识别模型进行更新。
可选的，在本申请一些可能的实现方式中，所述识别单元，具体用于获取所述道路场景的采集数据；
所述识别单元，具体用于确定针对于所述道路场景设定的识别类别；
所述识别单元，具体用于基于所述识别类别对所述采集数据进行数据标注，以得到所述训练数据。
可选的，在本申请一些可能的实现方式中，所述识别单元，具体用于获取所述采集数据的参数信息；
所述识别单元，具体用于调用针对所述训练数据设定的预设阈值信息与所述参数信息进行对比，以得到对比结果；
所述识别单元，具体用于基于所述对比结果对所述采集数据进行增强，以对训练数据进行更新。
可选的，在本申请一些可能的实现方式中，所述输入单元，具体用于获取所述道路场景的场景信息；
所述输入单元，具体用于基于所述场景信息对所述目标图像进行预处理，以得到输入图像；
所述输入单元，具体用于将所述输入图像输入所述目标识别模型中的所述第一识别层。
可选的，在本申请一些可能的实现方式中，所述识别单元，具体用于基于所述位置信息、所述第一识别信息和所述第二识别信息对所述目标要素进行标记，以得到标记要素；
所述识别单元，具体用于将所述标记要素在包含所述道路场景的导航界面中进行展示。
可选的，在本申请一些可能的实现方式中，所述识别单元，具体用于获取所述导航界面对应的目标交通工具的行驶信息：
所述识别单元，具体用于将所述行驶信息与所述第二识别信息进行比对，以确定行驶合规信息；
所述识别单元，具体用于基于所述行驶合规信息在所述导航界面中调用对应的提示元素。
本申请第三方面提供一种计算机设备，包括：存储器、处理器以及总线系统；所述存储器用于存储程序代码；所述处理器用于根据所述程序代码中的指令执行上述第一方面或第一方面任一项所述的道路场景的要素识别方法。
本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面或第一方面任一项所述的道路场景的要素识别方法。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述第一方面或者第一方面的各种可选实现方式中提供的道路场景的要素识别方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
通过获取道路场景中的目标图像；然后将目标图像输入目标识别模型中的第一识别层，其中第一识别层包括特征提取层和检测层，特征提取层用于提取目标图像的目标特征，检测层用于根据目标特征得到目标要素的位置信息和第一识别信息；并基于位置信息确定目标特征在特征提取层中的映射区域图像；进而将映射区域图像输入目标识别模型中与第一识别信息对应的第二识别层，以得到目标要素的第二识别信息，第二识别信息的精细度高于第一识别信息的精细度，第二识别层基于第一识别信息训练所得。从而实现阶段式的要素识别过程，由于第一识别层中的目标特征与第二识别层进行了共享，简化了特征提取的过程，且采用分阶段的识别过程，使得第一识别层中的目标特征指导并优化第二识别层中的识别过程，进一步提高了道路场景中要素识别的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为道路场景的要素识别系统运行的网络架构图；
图2为本申请实施例提供的一种道路场景的要素识别的流程架构图；
图3为本申请实施例提供的一种道路场景的要素识别方法的流程图；
图4为本申请实施例提供的一种目标识别模型的结构图；
图5为本申请实施例提供的另一种道路场景的要素识别方法的场景示意图；
图6为本申请实施例提供的另一种道路场景的要素识别方法的场景示意图；
图7为本申请实施例提供的另一种道路场景的要素识别方法的场景示意图；
图8为本申请实施例提供的另一种目标识别模型的结构图；
图9为本申请实施例提供的另一种道路场景的要素识别方法的流程图；
图10为本申请实施例提供的另一种道路场景的要素识别方法的流程图；
图11为本申请实施例提供的另一种道路场景的要素识别方法的场景示意图；
图12为本申请实施例提供的另一种道路场景的要素识别方法的流程图；
图13为本申请实施例提供的一种道路场景的要素识别装置的结构示意图；
图14为本申请实施例提供的一种终端设备的结构示意图；
图15为本申请实施例提供的一种服务器的结构示意图。
具体实施方式
本申请实施例提供了一种道路场景的要素识别方法以及相关装置，可以应用于终端设备中包含道路场景的要素识别功能的系统或程序中，通过获取道路场景中的目标图像；然后将目标图像输入目标识别模型中的第一识别层，其中第一识别层包括特征提取层和检测层，特征提取层用于提取目标图像的目标特征，检测层用于根据目标特征得到目标要素的位置信息和第一识别信息；并基于位置信息确定目标特征在特征提取层中的映射区域图像；进而将映射区域图像输入目标识别模型中与第一识别信息对应的第二识别层，以得到目标要素的第二识别信息，第二识别信息的精细度高于第一识别信息的精细度，第二识别层基于第一识别信息训练所得。从而实现阶段式的要素识别过程，由于第一识别层中的目标特征与第二识别层进行了共享，简化了特征提取的过程，且采用分阶段的识别过程，使得第一识别层中的目标特征指导并优化第二识别层中的识别过程，进一步提高了道路场景中要素识别的效率。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应于”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，对本申请实施例中可能出现的一些名词进行解释。
计算机视觉(Computer vision,CV):是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和计算机代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图像处理，用计算机处理成为更适合人眼观察或传送给仪器检测的图像。
感兴趣区域(region of interest,ROI):计算机视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域。
深度学习：深度学习是学习样本数据(如图像、语音、文本)的内在规律和表示层次，从而让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据，被广泛应用于人工智能领域。其中卷积神经网络是深度学习中的常用结构。
卷积神经网络(Convolutional Neural Networks,CNN)：是一类包含卷积计算且具有深度结构的前馈神经网络。可通过标注的训练数据进行监督学习，从而完成视觉图像识别及目标检测等任务。
应理解，本申请提供的道路场景的要素识别方法可以应用于终端设备中包含道路场景的要素识别功能的系统或程序中，例如AR导航应用，具体的，
请参照图1，为道路场景的要素识别系统运行的网络架构图；该应用场景中包括至少一个车辆100和应用服务器200，每个车辆上安装有车载设备110和车载图像采集设备120，车载设备110和车载图像采集设备120之间相互通信，其中：
车载图像采集设备120用于采集车辆100周边的目标图像，并将采集的目标图像传递到车载设备110中进行处理。
车载设备110用于利用已训练的目标识别模型对目标图像进行图像识别，以及根据图像识别的结果确定目标图像中相关要素的识别标记，在一种可能的场景中，根据该识别标记可以进行违章判断，在存在满足违章条件的车辆时，通过移动通信网络向应用服务器200发送违章报告信息，该违章报告信息至少包括目标图像。
上述车载设备110可以是安装在车辆100上的车载处理器，上述车载图像采集设备120可以是安装在车辆100上的行车记录仪或智能车载后视镜，且车载设备110和车载图像采集设备120可以是安装在车辆100上的同一个设备如智能车载后视镜，也可以是安装在车辆100上的不同设备。
另外，应用服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，终端以及服务器可以连接组成区块链网络，本申请在此不做限制。
请继续参见图1，上述车载图像采集设备120可以安装在车辆100前端的挡风玻璃的中间位置或中间偏上的位置，也可以安装在车辆100的其他位置；上述车载设备110可以安装在车辆100前端的挡风玻璃的中间位置或中间偏左或中间偏右的位置，也可以安装在车辆100的其他位置，本领域的技术人员可根据实际设置。
上述智能车载后视镜是安装在车辆上的智能后视镜，其具有独立的操作系统，独立的运行空间，可以由用户自行安装软件、游戏、导航等第三方服务商提供的程序，并可以通过WIFI或者移动通信网络来实现无线网络接入，同时可以提供行车记录、GPS定位、电子测速提醒、倒车可视、实时在线影音娱乐等功能的智能化的后视镜。
在上述应用场景中，随着导航技术的迅速发展，人们对于地图导航的场景信息需求越来越高，从而需要对用于导航的道路场景中的要素进行识别并标记，以使得用户或终端了解当前的行驶状态以及场景状态。
一般，由于道路场景中的要素较多，且特点也不相同，可以采用不同的要素分别构建深度学习模型的方式进行识别。
但是，针对每种要素设计对应的深度学习模型的过程耗时耗力，且在实际识别场景中，需要对多个模型进行训练，并在识别过程中并行处理，占用大量系统资源，容易造成识别效率低下，影响道路场景中要素识别过程的效率。
为了解决上述问题，本申请提出了一种道路场景的要素识别方法，该方法应用于图2所示的道路场景的要素识别的流程框架中，如图2所示，为本申请实施例提供的一种道路场景的要素识别的流程架构图，即通过驾驶设备进行道路场景图像的采集，然后输入应用服务器中进行识别，应用服务器使用一个多任务复合模型(第一识别层与第二识别层复合而得的目标识别模型)即可检测车辆、行人、骑行者等动态要素以及交通牌、地面交通标记等静态要素，同时对部分静态要素进行细分类，比如检测出地面箭头位置的同时判断其属于直行还是左转。目标识别模型在第一阶段(第一识别层)使用端到端的目标检测模型(例如YOLO模型)，对道路场景要素进行定位+粗分类(如人、车、交通牌、地面箭头，即粗识别)，在第二阶段(第二识别层)使用分类模型对交通牌以及地面箭头进行细分类(如直行、左转、右转、调头等，即细识别)。另外，第二阶段的分类模型共享第一阶段的特征层，同时可根据第一阶段的检测效果进行调优。
可以理解的是，上述道路场景的要素识别系统可以运行于个人移动终端，例如：作为AR导航应用这样的应用，也可以运行于服务器，还可以作为运行于第三方设备以提供道路场景的要素识别，以得到信息源的道路场景的要素识别处理结果；具体的道路场景的要素识别系统可以是以一种程序的形式在上述设备中运行，也可以作为上述设备中的系统部件进行运行，还可以作为云端服务程序的一种，具体运作模式因实际场景而定，此处不做限定。
可以理解的是，本申请所提供的方法可以为一种程序的写入，以作为硬件系统中的一种处理逻辑，也可以作为一种道路场景的要素识别装置，采用集成或外接的方式实现上述处理逻辑。作为一种实现方式，该道路场景的要素识别装置通过获取道路场景中的目标图像；然后将目标图像输入目标识别模型中的第一识别层，其中第一识别层包括特征提取层和检测层，特征提取层用于提取目标图像的目标特征，检测层用于根据目标特征得到目标要素的位置信息和第一识别信息；并基于位置信息确定目标特征在特征提取层中的映射区域图像；进而将映射区域图像输入目标识别模型中与第一识别信息对应的第二识别层，以得到目标要素的第二识别信息，第二识别信息的精细度高于第一识别信息的精细度，第二识别层基于第一识别信息训练所得。从而实现阶段式的要素识别过程，由于第一识别层中的目标特征与第二识别层进行了共享，简化了特征提取的过程，且采用分阶段的识别过程，使得第一识别层中的目标特征指导并优化第二识别层中的识别过程，进一步提高了道路场景中要素识别的效率。
本申请实施例提供的方案涉及人工智能的计算机视觉技术，具体通过如下实施例进行说明:
结合上述流程架构，下面将对本申请中道路场景的要素识别方法进行介绍，请参阅图3，图3为本申请实施例提供的一种道路场景的要素识别方法的流程图，该管理方法可以是由终端设备执行的，也可以是由服务器执行的，本申请实施例至少包括以下步骤：
301、获取道路场景中的目标图像。
本实施例中，道路场景可以是AR导航中的场景，即用于在目标交通工具的交互界面上进行三维场景的展示，并进行检测行人、车辆、骑行者可做碰撞预警以及前车启动提醒等功能，或检测交通牌、地面箭头灯交通元素可做违规行为提醒以及地图数据完善等功能；具体在道路场景中，包含了动态要素和静态要素，动态要素包含车辆、行人等，而静态要素包含交通牌和地面箭头等，具体的要素形式因实际场景而定。
另外，由于目标交通工具在行驶过程中可以采集外界的图像，故目标图像即为采集的外界环境图像，具体的可以是单独的图像也可以是连续视频中的任意图像帧，具体的媒体形式因实际场景而定。
302、将目标图像输入目标识别模型中的第一识别层。
本实施例中，目标识别模型为一种多任务复合模型，具体如图4所示，图4为本申请实施例提供的一种目标识别模型的结构图。即目标识别模型由第一识别层和至少一个第二识别层组成，其中，第一识别层包括特征提取层和检测层，该特征提取层用于提取目标图像的目标特征，检测层则用于根据目标特征得到目标要素的位置信息和第一识别信息，在第一识别层的识别过程中，为对于目标图像的初步识别，即得到目标要素大概的位置以及对应的类型(路牌、地面箭头等)，然后输入各自类型对应的第二识别层中进行识别，即第二识别层为细分类层，从而得到细化的识别结果，例如第一识别信息指示目标要素为地面箭头，第二识别信息指示目标要素为左转箭头。
在一种可能的场景中，第一识别层的识别过程可以称为第一阶段，即在第一阶段检测出人、车、地面箭头、交通牌的位置，然后将地面箭头和交通牌的位置坐标映射到特征提取层对应的位置上，从而得到地面箭头和交通牌对应的ROI，然后将ROI的特征层送入到对应的细分类网络做进一步细分类。
由于上述操作相对于使用多个网络能够共享前端的特征层，可以提升计算效率。同时，细分类层的输入是上一阶段目标检测的结果，而上一级的检测结果不是一定准确的，比如一个地面箭头位置的检测值和真实值是有偏差的，故在第二识别层的训练过程中可以基于目标检测的结果进行，从而提高识别的准确性。
可选的，由于不同的道路场景对应了不同的环境状态，为避免由于环境状态对图像的识别产生影响，可以获取道路场景的场景信息，例如光线、能见度等；然后基于场景信息对目标图像进行预处理，以得到输入图像；进而将输入图像输入目标识别模型中的第一识别层，从而保证了图像识别的准确性。
303、基于位置信息确定目标特征在特征提取层中的映射区域图像。
本实施例中，通过第一识别层得到了目标要素的位置以及分类(第一识别信息)，为了将对应于该分类的图像输入第二识别层进行进一步的识别，可以基于目标要素的位置信息映射到特征提取层中对应的ROI区域，进而提取该区域的映射区域图像作为第二识别层的输入，以进行进一步的识别过程。
例如在第一识别层检测出交通牌的位置，然后将交通牌的位置坐标映射到特征提取层对应的位置上，从而得到交通牌对应的ROI，然后将ROI的特征层送入到对应的细分类网络(交通牌分类)做进一步细分类。
304、将映射区域图像输入目标识别模型中与第一识别信息对应的第二识别层，以得到目标要素的第二识别信息。
本实施例中，第二识别信息的精细度高于第一识别信息的精细度，第二识别层基于第一识别信息训练所得，从而实现了分段式的要素识别过程。
具体的，由于目标识别模型中可以包括一个第二识别层或多个第二识别层，故对于第二识别层的输入，可以进行要素类别的判断，即首先确定映射区域图像对应的要素类别；然后基于要素类别确定目标识别模型中与第一识别信息对应的第二识别层；进而将映射区域图像输入第二识别层，以得到第二识别信息，从而保证了数据输入的准确性，提高细分类的准确性。
可选的，由于目标要素存在动态要素和静态要素，对于动态要素可能设定为不进行细分类，故可以对要素类别进行筛选，即将要素类别与预设类别进行比对，以得到比对结果；若比对结果满足预设条件，例如是否为静态要素，则基于要素类别确定目标识别模型中与第一识别信息对应的第二识别层，其中预设条件基于目标要素的运动信息确定，从而提高了目标要素识别的可控性。
在一种可能的场景中，在得到第二识别信息之后，可以得到如图5所示的场景，图5为本申请实施例提供的一种道路场景的要素识别方法的场景示意图。图中示出了左转箭头A1、注意行人标志牌A2以及车辆A3，其中，左转箭头A1、注意行人标志牌A2为静态要素，可以标记有第一识别信息指示的类别和第二识别信息指示的细节描述，例如对于左转箭头A1则可以标记(箭头，左转箭头94％)，其中的数字即为该识别结果的置信度，具体的标记方式还可以采用英文字母或特殊符号进行，此处不做限定。而对于车辆A3的识别，由于动态要素外形区别较大，没有统一的划分标准，故可以只显示第一识别信息，即标记为车辆即可，例如对于车辆A3可以标记(车辆94％)。
可以理解的是，若对于动态要素需要进行进一步的识别，例如车的类型、品牌等信息，则可以为这些细化类别设定第二识别层，即可以进行上述静态要素的分段式识别，具体可参考图4中的描述，此处不做赘述。
可选的，对于目标识别模型的训练过程，本申请中的第二识别层基于第一识别信息训练所得的，即第二识别层的训练结合了上一阶段的输出以及真实数据(训练数据)进行多方位的训练过程，从而使得第二识别层的识别过程与第一识别层的模糊识别过程相匹配。
在一种可能的场景中，如图6所示，图6为本申请实施例提供的一种道路场景的要素识别方法的场景示意图。图中示出了真实识别信息B1以及第一识别层输出的第一识别信息B2，可见第一识别信息B2相较于真实识别信息B1并不准确，即对于第一识别层的识别过程为模糊的识别过程，例如在识别过程中一般会进行ROI扰动，从而得到准确的ROI，但对于第一识别层的识别过程，则可以不进行ROI扰动或只进行少量的扰动调整，只需得到分类即可，相较于精细的识别过程，节省了识别耗时。
可以理解的是，如果使用单独的、和检测网络(第一识别层)分离的细分类网络(第二识别层)，只能用人工标注的真实ROI对模型进行训练，但是在实际使用过程中细分类网络是作为检测网络的下一级，意味着会存在图6中第一识别信息B2的输入。假设使用分离模型的方式，如果上一级检测值和真实值偏差比较大，则细分类网络的分类效果就会大幅下降，这是由于模型在训练的时候没有涉及过类似的图片。而如果选用本实施例，即使用同一个网络的不同阶段进行粗+细分类，即可以把人工标注的真实ROI和上一级输出的检测ROI共同送入到细分类网络进行训练，使得训练出来的细分类层是更加适应上一阶段的检测层的。
故对于目标识别模型的训练过程可以首先获取关于道路场景的训练数据；然后确定第一识别信息对应的检测对象和检测标签，以得到检测数据；进而基于训练数据和检测数据对第二识别层进行训练，以对目标识别模型进行更新。例如如图7所示，图7为本申请实施例提供的一种道路场景的要素识别方法的场景示意图。图中(1)为用于第二网络层训练的训练数据，即真实样本；图中(2)为用于第二网络层训练的检测数据，即为第一识别层的输出，与真实样本具有偏差。
可选的，由于目标识别模型为复合模型，在第二网络层训练的过程中，可以不对第一识别层产生影响，即采用分段训练的过程，首先根据训练数据对目标识别模型中的第一识别层进行训练；然后对训练后的第一识别层中的模型参数进行冻结，从而减小了不同阶段训练过程的参数影响。
可选的，由于目标识别模型可以包含多个第二识别层，故在训练过程中可以根据检测标签确定目标类别，以确定目标类别对应的第二识别层；然后基于目标类别从训练数据中提取目标数据，例如提取路牌数据；然后基于检测数据和目标数据对目标类别对应的第二识别层进行训练，以对目标识别模型进行更新，从而保证了第二识别层进行细分类的准确性。
可选的，对于训练数据的采集，由于不同的道路具有各自的特定，例如郊区的道路与城区道路的交通指示牌就有所不同，故可以针对性的进行训练数据的采集，即首先获取道路场景的采集数据；然后确定针对于道路场景设定的识别类别；进而基于识别类别对采集数据进行数据标注，以得到训练数据，从而保证了训练数据与道路场景的匹配性。
进一步的，为了提高训练数据对于道路场景描述的全面性，还可以进行训练数据的增强，即首先获取采集数据的参数信息；然后调用针对训练数据设定的预设阈值信息与参数信息进行对比，以得到对比结果；进而基于对比结果对采集数据进行增强，以对训练数据进行更新，保证了训练数据的全面性。
在一种可能的场景中，在完成第二识别信息的获取后，可以基于位置信息、第一识别信息和第二识别信息对目标要素进行标记，以得到标记要素；然后基于标记要素对目标交通工具中包含道路场景的导航界面展示，从而丰富AR导航的界面内容，提高用户体验。
可选的，在更新界面的同时，还可以基于检测到的结果进行相关的违规判断，即首先获取目标交通工具的行驶信息：然后将行驶信息与第二识别信息进行比对，以确定行驶合规信息；进而基于行驶合规信息在导航界面中调用对应的提示元素，例如对于不同路段的超速检测。
结合上述实施例可知，通过获取道路场景中的目标图像；然后将目标图像输入目标识别模型中的第一识别层，其中第一识别层包括特征提取层和检测层，特征提取层用于提取目标图像的目标特征，检测层用于根据目标特征得到目标要素的位置信息和第一识别信息；并基于位置信息确定目标特征在特征提取层中的映射区域图像；进而将映射区域图像输入目标识别模型中与第一识别信息对应的第二识别层，以得到目标要素的第二识别信息，第二识别信息的精细度高于第一识别信息的精细度，第二识别层基于第一识别信息训练所得。从而实现阶段式的要素识别过程，由于第一识别层中的目标特征与第二识别层进行了共享，简化了特征提取的过程，且采用分阶段的识别过程，使得第一识别层中的目标特征指导并优化第二识别层中的识别过程，进一步提高了道路场景中要素识别的效率。
在一种可能的场景中，图3所示实施例中的，目标识别模型可以采用如图8所示的架构，如图8所示，图8为本申请实施例提供的另一种目标识别模型的结构图。其中，第一识别层为YOLO模型，即其中包含了特征提取层以及检测层，该特征提取层用于对输入图像的特征进行提取，检测层则用于基于提取的特征进行前景/背景的识别、位置的确定以及类别的判断(第一识别信息)；然后识别得到的位置进行特征提取层中图像的映射，该映射对应的特征层即为第一识别层与第二识别层的共享部分，其中，该映射对应的特征层可以是特征提取层中维度较高的，也可以是较低的，具体的卷积位置因识别得到的位置的映射关系确定。
进一步的，该目标识别模型中的第二识别层包括多个分类模型，该分类模型基于道路场景中的交通牌或地面箭头设定，从而得到细分类，具体的，细分类的类型可以是事先设定的，例如地面箭头包括直行、左转、调头等，从而实现高效且准确的道路场景中目标要素的分段式识别过程。
基于图8所示的模型架构，下面结合一种具体的场景对模型的应用于训练过程进行进一步的说明。请参阅图9，图9为本申请实施例提供的另一种道路场景的要素识别方法的流程图，本申请实施例至少包括以下步骤：
901、输入目标图像。
本实施例中，目标图像即为自动驾驶设备采集的图像。
902、图像预处理。
本实施例中，图像预处理的过程可以包括数字化、几何变换、归一化、平滑、复原和增强的步骤。
对于数字化的过程。由于一幅图像的灰度值是空间变量(位置的连续值)的连续函数，故可以在M×N点阵上对图像灰度采样并加以量化(归为2b个灰度等级之一)，可以得到计算机能够处理的数字图像。为了使数字图像能重建原来的图像,对M、N和b值的大小就有一定的要求。在接收装置的空间和灰度分辨能力范围内,M、N和b的数值越大,重建图像的质量就越好。当取样周期等于或小于原始图像中最小细节周期的一半时，重建图像的频谱等于原始图像的频谱，因此重建图像与原始图像可以完全相同。由于M、N和b三者的乘积决定一幅图像在计算机中的存储量，因此在存储量一定的条件下需要根据图像的不同性质选择合适的M、N和b值，以获取最好的处理效果。
对于几何变换的过程。用于改正图像采集系统的系统误差和仪器位置的随机误差所进行的变换。对于卫星图像的系统误差，如地球自转、扫描镜速度和地图投影等因素所造成的畸变,可以用模型表示,并通过几何变换来消除。随机误差如飞行器姿态和高度变化引起的误差，难以用模型表示出来，所以一般是在系统误差被纠正后，通过把被观测的图和已知正确几何位置的图相比较，用图中一定数量的地面控制点解双变量多项式函数组而达到变换的目的。
对于归一化的过程。即使图像的某些特征在给定变换下具有不变性质的一种图像标准形式。图像的某些性质，例如物体的面积和周长，本来对于坐标旋转来说就具有不变的性质。在一般情况下，某些因素或变换对图像一些性质的影响可通过归一化处理得到消除或减弱，从而可以被选作测量图像的依据。例如对于光照不可控的遥感图片，灰度直方图的归一化对于图像分析是十分必要的。灰度归一化、几何归一化和变换归一化是获取图像不变性质的三种归一化方法。
对于平滑的过程。即一种消除图像中随机噪声的技术，对平滑技术的基本要求是在消去噪声的同时不使图像轮廓或线条变得模糊不清。常用的平滑方法有中值法、局部求平均法和k近邻平均法。局部区域大小可以是固定的，也可以是逐点随灰度值大小变化的。此外，有时应用空间频率域带通滤波方法。
对于复原的过程。即校正各种原因所造成的图像退化，使重建或估计得到的图像尽可能逼近于理想无退化的像场。在实际应用中常常发生图像退化现象。例如大气流的扰动，光学系统的像差，相机和物体的相对运动都会使遥感图像发生退化。基本的复原技术是把获取的退化图像g(x，y)看成是退化函数h(x，y)和理想图像f(x，y)的卷积。它们的傅里叶变换存在关系G(u，v＝H(u，v)F(u，v)。根据退化机理确定退化函数后，就可从此关系式求出F(u，v)，再用傅里叶反变换求出f(x，y)。通常把复原的过程称为反向滤波器。实际应用时，由于H(u，v)随离开uv平面原点的距离增加而迅速下降，为了避免高频范围内噪声的强化，当u2+v2大于某一界限值W时，使M(u，v)等于1。W0的选择应使H(u，v)在u2+v2≤W范围内不会出现零点。图像复原的代数方法是以最小二乘法最佳准则为基础。寻求一估值弮,使优度准则函数值最小。这种方法比较简单，可推导出最小二乘法维纳滤波器。当不存在噪声时，维纳滤波器成为理想的反向滤波器。
对于增强的过程。即对图像中的信息有选择地加强和抑制，以改善图像的视觉效果，或将图像转变为更适合于机器处理的形式，以便于数据抽取或识别。例如一个图像增强系统可以通过高通滤波器来突出图像的轮廓线，从而使机器能够测量轮廓线的形状和周长。图像增强技术有多种方法，反差展宽、对数变换、密度分层和直方图均衡等都可用于改变图像灰调和突出细节。实际应用时往往要用不同的方法，反复进行试验才能达到满意的效果。
可以理解的是，对上述预处理的方式可以使用其中的一种或多种的组合，可以采用任意的次序执行，具体的次序以及类型因实际场景而定，此处不做限定。
903、预处理后的图像输入第一识别层。
本实施例中，在第一识别层中的识别过程参见图3所示实施例的步骤302的描述，此处不做赘述。
904、识别得到地面箭头。
本实施例中，识别得到地面箭头为模糊识别结果，即可以确定要素的类型，但不能准确的确定要素的具体含义。
905、识别得到动态要素。
本实施例中，识别得到动态要素可以直接作为目标识别模型的输出，即标记在对应的交互界面中。
906、识别得到交通标志牌。
本实施例中，识别得到交通标志牌为模糊识别结果，即可以确定要素的类型，但不能准确的确定要素的具体含义。
907、将粗识别结果输入第二识别层。
本实施例中，粗识别结果输入第二识别层即对于粗识别结果急性进一步的细分类，在输入过程中需要根据粗识别结果的类型输入对应的第二识别层。
908、进行道路数据采集。
本实施例中，道路数据采集即用于目标识别模型训练的真实数据。
909、数据标记。
本实施例中，对于采集的数据，对于其中包含的要素进行标记，即标记要素对应的类型，以及该类型下的细分类。
910、数据增强。
本实施例中，为了保证了训练数据的全面性，可以进行数据增强，即通过增加你数据集中相关数据的数据量，保证样本的分布够均匀。这是由于道路场景可能存在于不同的条件，比如在不同的方向、位置、缩放比例、亮度等。故通过额外合成的数据来训练目标识别模型来解决这些情况。
具体的数据增强过程可以采用线下增强(offline augmentation)。这种方式适用于较小的数据集(smaller dataset)。最终会增加一定的倍数的数据集，这个倍数等于转换的个数。比如翻转所有图片，数据集相当于乘以2。
另外，数据增强也可以采用线上增强(online augmentation)或在飞行中增强(augmentation on the fly)。这种方式更适用于较大的数据集(larger datasets)，即避免无法承受爆炸性增加的规模。另外，会在输入模型之前进行小批量的转换，例如机器学习框架支持在线增强的，可以在gpu上加速。
911、模型训练。
本实施例中，训练的深度学习模型即为目标识别模型中第一识别层与第二识别层的基础组成，在深度学习模型配置入第一识别层后即进行参数冻结，而深度学习模型配置入第二识别层后则进行进一步的基于第一识别层的输出的训练过程。
912、训练得到深度学习模型。
可以理解的是，步骤908-912的执行次序可以是在步骤901之前也可以是之后，具体的次序不做限定，即训练的过程可以是当前识别的数据收集之后对模型进行的调优，也可以是在事先训练之后对模型的调整过程，也可以是多次调优与识别过程的结合，此处不做限定。
913、得到地面箭头细分类。
本实施例中，地面箭头细分类包括直行、左转、调头等。
914、得到交通标志牌细分类。
本实施例中，交通标志牌细分类包括限速、禁鸣、导向等。
本实施例中，首先训练第一阶段特征层和检测层，然后冻结这部分参数，分别训练第二阶段不同的细分类层，但在细分类层训练的时候结合了人工标注的真实值和第一阶段检测值，从而实现共享部分特征层，计算效率更高；且细分类层能够更好的适应上一级检测层的结果，提高了识别准确度。
在得到细分类识别结果后，还可以进行响应的导航更新，下面对该场景进行说明。请参阅图10，图10为本申请实施例提供的另一种道路场景的要素识别方法的流程图，本申请实施例至少包括以下步骤：
1001、获取驾驶对象行驶过程中的行驶图像。
1002、将行驶图像输入目标识别模型，以得到检测结果。
本实施例中，步骤1001-1002参见图3所示实施例的步骤301-304的特征描述，此处不做赘述。
1003、基于检测结果对驾驶对象的导航界面进行更新。
本实施例中，对于导航界面的更新即将相应的识别结果进行标记，如图11所示，图11为本申请实施例提供的另一种道路场景的要素识别方法的场景示意图。图中示出了对于目标交通工具的交互界面，道路场景中的相关要素均被标记了相应的识别结果，且对于存在细分类的要素还标记了识别的细节以及置信度，从而提高了交互界面的丰富度。
1004、基于检测结果对驾驶对象的行驶过程进行监测。
本实施例中，基于上述步骤中的识别，可以根据相关的交通牌或地面箭头得到当前道路的相关交通规则，故可以进行违规行为的检测，即通过实时监测目标交通工具的行驶信息与识别得到的交通规则进行比对，从而发出对应的提醒。
在一种可能的场景中，如图12所示，图12为本申请实施例提供的另一种道路场景的要素识别方法的场景示意图。图中示出了识别得到当前道路限速40km/h，但当前实时车速为60km/h＞40km/h，故会发出超速提示。
通过上述实施例中的界面展示，提高了目标交通工具中交互界面内容的丰富度，且可以根据不同的道路场景进行对应的交通安全监测，保证了自动驾驶过程的安全性。
为了更好的实施本申请实施例的上述方案，下面还提供用于实施上述方案的相关装置。请参阅图13，图13为本申请实施例提供的一种道路场景的要素识别装置的结构示意图，要素识别装置1300包括：
获取单元1301，用于获取道路场景中的目标图像；
输入单元1302，用于将所述目标图像输入目标识别模型中的第一识别层，所述第一识别层包括特征提取层和检测层，所述特征提取层用于提取所述目标图像的目标特征，所述检测层用于根据所述目标特征得到目标要素的位置信息和第一识别信息；
确定单元1303，用于基于所述位置信息确定所述目标特征在所述特征提取层中的映射区域图像；
识别单元1304，用于将所述映射区域图像输入所述目标识别模型中与所述第一识别信息对应的第二识别层，以得到所述目标要素的第二识别信息，所述第二识别信息的精细度高于所述第一识别信息的精细度，所述第二识别层基于所述第一识别信息训练所得。
可选的，在本申请一些可能的实现方式中，所述输入单元1302，具体用于确定所述映射区域图像对应的要素类别；
所述输入单元1302，具体用于基于所述要素类别确定所述目标识别模型中与所述第一识别信息对应的所述第二识别层；
所述输入单元1302，具体用于将所述映射区域图像输入所述第二识别层，以得到所述第二识别信息。
可选的，在本申请一些可能的实现方式中，所述输入单元1302，具体用于将所述要素类别与预设类别进行比对，以得到比对结果；
所述输入单元1302，具体用于若所述比对结果满足预设条件，则基于所述要素类别确定所述目标识别模型中与所述第一识别信息对应的所述第二识别层，所述预设条件基于所述目标要素的运动信息确定。
可选的，在本申请一些可能的实现方式中，所述识别单元1304，具体用于获取关于所述道路场景的训练数据；
所述识别单元1304，具体用于确定所述第一识别信息对应的检测对象和检测标签，以得到检测数据；
所述识别单元1304，具体用于基于所述训练数据和所述检测数据对所述第二识别层进行训练，以对所述目标识别模型进行更新。
可选的，在本申请一些可能的实现方式中，所述识别单元1304，具体用于根据所述训练数据对所述目标识别模型中的第一识别层进行训练；
所述识别单元1304，具体用于对训练后的所述第一识别层中的模型参数进行冻结。
可选的，在本申请一些可能的实现方式中，所述识别单元1304，具体用于根据所述检测标签确定目标类别，以确定所述目标类别对应的第二识别层；
所述识别单元1304，具体用于基于所述目标类别从所述训练数据中提取目标数据；
所述识别单元1304，具体用于基于所述检测数据和所述目标数据对所述目标类别对应的第二识别层进行训练，以对所述目标识别模型进行更新。
可选的，在本申请一些可能的实现方式中，所述识别单元1304，具体用于获取所述道路场景的采集数据；
所述识别单元1304，具体用于确定针对于所述道路场景设定的识别类别；
所述识别单元1304，具体用于基于所述识别类别对所述采集数据进行数据标注，以得到所述训练数据。
可选的，在本申请一些可能的实现方式中，所述识别单元1304，具体用于获取所述采集数据的参数信息；
所述识别单元1304，具体用于调用针对所述训练数据设定的预设阈值信息与所述参数信息进行对比，以得到对比结果；
所述识别单元1304，具体用于基于所述对比结果对所述采集数据进行增强，以对训练数据进行更新。
可选的，在本申请一些可能的实现方式中，所述输入单元1302，具体用于获取所述道路场景的场景信息；
所述输入单元1302，具体用于基于所述场景信息对所述目标图像进行预处理，以得到输入图像；
所述输入单元1302，具体用于将所述输入图像输入所述目标识别模型中的所述第一识别层。
可选的，在本申请一些可能的实现方式中，所述识别单元1304，具体用于基于所述位置信息、所述第一识别信息和所述第二识别信息对所述目标要素进行标记，以得到标记要素；
所述识别单元1304，具体用于将所述标记要素在包含所述道路场景的导航界面中进行展示。
可选的，在本申请一些可能的实现方式中，所述识别单元1304，具体用于获取所述导航界面对应的目标交通工具的行驶信息：
所述识别单元1304，具体用于将所述行驶信息与所述第二识别信息进行比对，以确定行驶合规信息；
所述识别单元1304，具体用于基于所述行驶合规信息在所述导航界面中调用对应的提示元素。
通过获取道路场景中的目标图像；然后将目标图像输入目标识别模型中的第一识别层，其中第一识别层包括特征提取层和检测层，特征提取层用于提取目标图像的目标特征，检测层用于根据目标特征得到目标要素的位置信息和第一识别信息；并基于位置信息确定目标特征在特征提取层中的映射区域图像；进而将映射区域图像输入目标识别模型中与第一识别信息对应的第二识别层，以得到目标要素的第二识别信息，第二识别信息的精细度高于第一识别信息的精细度，第二识别层基于第一识别信息训练所得。从而实现阶段式的要素识别过程，由于第一识别层中的目标特征与第二识别层进行了共享，简化了特征提取的过程，且采用分阶段的识别过程，使得第一识别层中的目标特征指导并优化第二识别层中的识别过程，进一步提高了道路场景中要素识别的效率。
本申请实施例还提供了一种终端设备，如图14所示，是本申请实施例提供的另一种终端设备的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理(personal digital assistant，PDA)、销售终端(point of sales，POS)、车载电脑等任意终端设备，以终端为手机为例：
图14示出的是与本申请实施例提供的终端相关的手机的部分结构的框图。参考图14，手机包括：射频(radio frequency，RF)电路1410、存储器1420、输入单元1430、显示单元1440、传感器1450、音频电路1460、无线保真(wireless fidelity，WiFi)模块1470、处理器1480、以及电源1490等部件。本领域技术人员可以理解，图14中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图14对手机的各个构成部件进行具体的介绍：
RF电路1410可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1480处理；另外，将设计上行的数据发送给基站。通常，RF电路1410包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noiseamplifier，LNA)、双工器等。此外，RF电路1410还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(globalsystem of mobile communication，GSM)、通用分组无线服务(general packet radioservice，GPRS)、码分多址(code division multiple access，CDMA)、宽带码分多址(wideband code division multiple access,WCDMA)、长期演进(long term evolution，LTE)、电子邮件、短消息服务(short messaging service，SMS)等。
存储器1420可用于存储软件程序以及模块，处理器1480通过运行存储在存储器1420的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1430可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1430可包括触控面板1431以及其他输入设备1432。触控面板1431，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1431上或在触控面板1431附近的操作，以及在触控面板1431上一定范围内的隔空触控操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1431可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1480，并能接收处理器1480发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1431。除了触控面板1431，输入单元1430还可以包括其他输入设备1432。具体地，其他输入设备1432可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1440可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1440可包括显示面板1441，可选的，可以采用液晶显示器(liquidcrystal display，LCD)、有机发光二极管(organic light-emitting diode，OLED)等形式来配置显示面板1441。进一步的，触控面板1431可覆盖显示面板1441，当触控面板1431检测到在其上或附近的触摸操作后，传送给处理器1480以确定触摸事件的类型，随后处理器1480根据触摸事件的类型在显示面板1441上提供相应的视觉输出。虽然在图14中，触控面板1431与显示面板1441是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1431与显示面板1441集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1450，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1441的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1441和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路1460、扬声器1461，传声器1462可提供用户与手机之间的音频接口。音频电路1460可将接收到的音频数据转换后的电信号，传输到扬声器1461，由扬声器1461转换为声音信号输出；另一方面，传声器1462将收集的声音信号转换为电信号，由音频电路1460接收后转换为音频数据，再将音频数据输出处理器1480处理后，经RF电路1410以发送给比如另一手机，或者将音频数据输出至存储器1420以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块1470可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图14示出了WiFi模块1470，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1480是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1420内的软件程序和/或模块，以及调用存储在存储器1420内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1480可包括一个或多个处理单元；可选的，处理器1480可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1480中。
手机还包括给各个部件供电的电源1490(比如电池)，可选的，电源可以通过电源管理系统与处理器1480逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本申请实施例中，该终端所包括的处理器1480还具有执行如上述页面处理方法的各个步骤的功能。
本申请实施例还提供了一种服务器，请参阅图15，图15是本申请实施例提供的一种服务器的结构示意图，该服务器1500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)1522(例如，一个或一个以上处理器)和存储器1532，一个或一个以上存储应用程序1542或数据1544的存储介质1530(例如一个或一个以上海量存储设备)。其中，存储器1532和存储介质1530可以是短暂存储或持久存储。存储在存储介质1530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1522可以设置为与存储介质1530通信，在服务器1500上执行存储介质1530中的一系列指令操作。
服务器1500还可以包括一个或一个以上电源1526，一个或一个以上有线或无线网络接口1550，一个或一个以上输入输出接口1558，和/或，一个或一个以上操作系统1541，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中由管理装置所执行的步骤可以基于该图15所示的服务器结构。
本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有道路场景的要素识别指令，当其在计算机上运行时，使得计算机执行如前述图3至图12所示实施例描述的方法中道路场景的要素识别装置所执行的步骤。
本申请实施例中还提供一种包括道路场景的要素识别指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如前述图3至图12所示实施例描述的方法中道路场景的要素识别装置所执行的步骤。
本申请实施例还提供了一种道路场景的要素识别系统，所述道路场景的要素识别系统可以包含图13所描述实施例中的道路场景的要素识别装置，或图14所描述实施例中的终端设备，或者图15所描述的服务器。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，道路场景的要素识别装置，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (13)

1.一种道路场景的要素识别方法，其特征在于，包括：
获取道路场景中的目标图像；
将所述目标图像输入目标识别模型中的第一识别层，所述第一识别层包括特征提取层和检测层，所述特征提取层用于提取所述目标图像的目标特征，所述检测层用于根据所述目标特征得到目标要素的位置信息和第一识别信息；其中，所述第一识别信息包括，所述目标要素对应的类型；
基于所述位置信息确定所述目标特征在所述特征提取层中的映射区域图像；
确定所述映射区域图像对应的要素类别；
将所述要素类别与预设类别进行比对，以得到比对结果；
若所述比对结果满足预设条件，则基于所述要素类别确定所述目标识别模型中与所述第一识别信息对应的第二识别层，所述预设条件基于所述目标要素的运动信息确定；
将所述映射区域图像输入所述目标识别模型中与所述第一识别信息对应的所述第二识别层，以得到所述目标要素的第二识别信息，所述第二识别信息的精细度高于所述第一识别信息的精细度，所述第二识别层基于所述第一识别信息训练所得；所述目标识别模型由所述第一识别层和至少一个所述第二识别层组成。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取关于所述道路场景的训练数据；
确定所述第一识别信息对应的检测对象和检测标签，以得到检测数据；
基于所述训练数据和所述检测数据对所述第二识别层进行训练，以对所述目标识别模型进行更新。
3.根据权利要求1所述的方法，其特征在于，所述基于所述训练数据和所述检测数据对所述第二识别层进行训练，以对所述目标识别模型进行更新之前，所述方法还包括：
根据所述训练数据对所述目标识别模型中的第一识别层进行训练；
对训练后的所述第一识别层中的模型参数进行冻结。
4.根据权利要求1所述的方法，其特征在于，所述基于所述训练数据和所述检测数据对所述第二识别层进行训练，以对所述目标识别模型进行更新，包括：
根据所述检测标签确定目标类别，以确定所述目标类别对应的第二识别层；
基于所述目标类别从所述训练数据中提取目标数据；
基于所述检测数据和所述目标数据对所述目标类别对应的第二识别层进行训练，以对所述目标识别模型进行更新。
5.根据权利要求1所述的方法，其特征在于，所述获取关于所述道路场景的训练数据，包括：
获取所述道路场景的采集数据；
确定针对于所述道路场景设定的识别类别；
基于所述识别类别对所述采集数据进行数据标注，以得到所述训练数据。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
获取所述采集数据的参数信息；
调用针对所述训练数据设定的预设阈值信息与所述参数信息进行对比，以得到对比结果；
基于所述对比结果对所述采集数据进行增强，以对训练数据进行更新。
7.根据权利要求1所述的方法，其特征在于，所述将所述目标图像输入目标识别模型中的第一识别层，包括：
获取所述道路场景的场景信息；
基于所述场景信息对所述目标图像进行预处理，以得到输入图像；
将所述输入图像输入所述目标识别模型中的所述第一识别层。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：
基于所述位置信息、所述第一识别信息和所述第二识别信息对所述目标要素进行标记，以得到标记要素；
将所述标记要素在包含所述道路场景的导航界面中进行展示。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
获取所述导航界面对应的目标交通工具的行驶信息：
将所述行驶信息与所述第二识别信息进行比对，以确定行驶合规信息；
基于所述行驶合规信息在所述导航界面中调用对应的提示元素。
10.根据权利要求1所述的方法，其特征在于，所述第一识别层为YOLO模型，所述第二识别层包括多个分类模型，所述分类模型基于所述道路场景中的交通标志设定。
11.一种道路场景的要素识别装置，其特征在于，包括：
获取单元，用于获取道路场景中的目标图像；
输入单元，用于将所述目标图像输入目标识别模型中的第一识别层，所述第一识别层包括特征提取层和检测层，所述特征提取层用于提取所述目标图像的目标特征，所述检测层用于根据所述目标特征得到目标要素的位置信息和第一识别信息；其中，所述第一识别信息包括，所述目标要素对应的类型；
确定单元，用于基于所述位置信息确定所述目标特征在所述特征提取层中的映射区域图像；
输入单元，用于确定所述映射区域图像对应的要素类别；
所述输入单元，用于将所述要素类别与预设类别进行比对，以得到比对结果；
所述输入单元，还用于若所述比对结果满足预设条件，则基于所述要素类别确定所述目标识别模型中与所述第一识别信息对应的第二识别层，所述预设条件基于所述目标要素的运动信息确定；
识别单元，用于将所述映射区域图像输入所述目标识别模型中与所述第一识别信息对应的所述第二识别层，以得到所述目标要素的第二识别信息，所述第二识别信息的精细度高于所述第一识别信息的精细度，所述第二识别层基于所述第一识别信息训练所得；所述目标识别模型由所述第一识别层和至少一个所述第二识别层组成。
12.一种计算机设备，其特征在于，所述计算机设备包括处理器以及存储器：
所述存储器用于存储程序代码；所述处理器用于根据所述程序代码中的指令执行权利要求1至10任一项所述的道路场景的要素识别方法。
13.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述权利要求1至10任一项所述的道路场景的要素识别方法。
CN202011355531.4A 2020-11-27 2020-11-27 一种道路场景的要素识别方法、装置、设备以及存储介质 Active CN112329725B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011355531.4A CN112329725B (zh) 2020-11-27 2020-11-27 一种道路场景的要素识别方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011355531.4A CN112329725B (zh) 2020-11-27 2020-11-27 一种道路场景的要素识别方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN112329725A CN112329725A (zh) 2021-02-05
CN112329725B true CN112329725B (zh) 2022-03-25

Family

ID=74308937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011355531.4A Active CN112329725B (zh) 2020-11-27 2020-11-27 一种道路场景的要素识别方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN112329725B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818959B (zh) * 2021-03-25 2023-09-05 杭州海康威视数字技术股份有限公司 手术流程识别方法、装置、系统及计算机可读存储介质
CN114111816B (zh) * 2021-11-16 2022-10-04 北京长隆讯飞科技有限公司 一种基于人工智能的低成本车道级高精度地图的方法
CN114581872A (zh) * 2022-03-09 2022-06-03 北京百度网讯科技有限公司 道路要素的监测方法、装置、设备、介质及程序产品
CN115629993A (zh) * 2022-12-19 2023-01-20 深圳依时货拉拉科技有限公司 软件的测试方法及装置、计算机设备及可读存储介质
CN117132958B (zh) * 2023-10-27 2024-06-11 腾讯科技（深圳）有限公司 道路要素识别方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117879A (zh) * 2018-08-03 2019-01-01 南京旷云科技有限公司 图像分类方法、装置及系统
CN110232304A (zh) * 2018-03-06 2019-09-13 德韧营运有限责任公司 用于多问题求解的异构卷积神经网络
CN111027401A (zh) * 2019-11-15 2020-04-17 电子科技大学 一种摄像头和激光雷达融合的端到端目标检测方法
CN111160409A (zh) * 2019-12-11 2020-05-15 浙江大学 一种基于共同特征学习的异构神经网络知识重组方法
CN111783537A (zh) * 2020-05-29 2020-10-16 哈尔滨莫迪科技有限责任公司 一种基于目标检测特征的两阶段快速抓取检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764208B (zh) * 2018-06-08 2021-06-08 Oppo广东移动通信有限公司 图像处理方法和装置、存储介质、电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232304A (zh) * 2018-03-06 2019-09-13 德韧营运有限责任公司 用于多问题求解的异构卷积神经网络
CN109117879A (zh) * 2018-08-03 2019-01-01 南京旷云科技有限公司 图像分类方法、装置及系统
CN111027401A (zh) * 2019-11-15 2020-04-17 电子科技大学 一种摄像头和激光雷达融合的端到端目标检测方法
CN111160409A (zh) * 2019-12-11 2020-05-15 浙江大学 一种基于共同特征学习的异构神经网络知识重组方法
CN111783537A (zh) * 2020-05-29 2020-10-16 哈尔滨莫迪科技有限责任公司 一种基于目标检测特征的两阶段快速抓取检测方法

Also Published As

Publication number Publication date
CN112329725A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN112329725B (zh) 一种道路场景的要素识别方法、装置、设备以及存储介质
EP3944147A1 (en) Target detection method, model training method, device, apparatus and storage medium
CN109784424B (zh) 一种图像分类模型训练的方法、图像处理的方法及装置
US20230013451A1 (en) Information pushing method in vehicle driving scene and related apparatus
CN112052778B (zh) 一种交通标志识别方法以及相关装置
CN111767831B (zh) 用于处理图像的方法、装置、设备及存储介质
CN112802111B (zh) 一种物体模型构建方法及装置
CN114092920B (zh) 一种模型训练的方法、图像分类的方法、装置及存储介质
CN112686197B (zh) 一种数据处理方法和相关装置
CN109993234B (zh) 一种无人驾驶训练数据分类方法、装置及电子设备
CN113822427A (zh) 一种模型训练的方法、图像匹配的方法、装置及存储介质
CN114155497A (zh) 一种对象识别方法、装置及存储介质
CN114385662A (zh) 路网更新方法、装置、存储介质及电子设备
CN116823884A (zh) 多目标跟踪方法、系统、计算机设备及存储介质
CN112435333A (zh) 一种道路场景的生成方法以及相关装置
CN112840308B (zh) 一种优化字体的方法及相关设备
CN116434173A (zh) 道路图像检测方法、装置、电子设备及存储介质
CN116453109A (zh) 3d目标检测方法、装置、设备及存储介质
CN113269730B (zh) 图像处理方法、装置、计算机设备及存储介质
CN113344121B (zh) 训练招牌分类模型和招牌分类的方法
CN113706446A (zh) 一种镜头检测方法和相关装置
CN117911974B (zh) 一种数据处理方法、装置、设备以及存储介质
CN115294552A (zh) 一种杆状物识别方法、装置、设备及存储介质
CN113033588A (zh) 一种图像处理方法及电子设备
CN117935278A (zh) 一种兴趣点数据的生成方法、装置、相关设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant