CN116452959A - 场景识别方法、场景数据获取方法、设备、介质及车辆 - Google Patents
场景识别方法、场景数据获取方法、设备、介质及车辆 Download PDFInfo
- Publication number
- CN116452959A CN116452959A CN202310424526.1A CN202310424526A CN116452959A CN 116452959 A CN116452959 A CN 116452959A CN 202310424526 A CN202310424526 A CN 202310424526A CN 116452959 A CN116452959 A CN 116452959A
- Authority
- CN
- China
- Prior art keywords
- scene
- image
- target
- detection
- scene recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 238000001514 detection method Methods 0.000 claims abstract description 131
- 238000012549 training Methods 0.000 claims abstract description 9
- 238000010276 construction Methods 0.000 claims description 39
- 238000003860 storage Methods 0.000 claims description 31
- 238000010586 diagram Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/38—Outdoor scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像识别技术领域,具体提供一种场景识别方法、场景数据获取方法、设备、介质及车辆,旨在解决现有场景识别方法的场景识别效率较低且识别精度较低的技术问题。为此目的,本发明的场景识别方法包括:获取待识别图像和至少一张目标图像;构建目标检测模型并训练;基于目标检测模型、待识别图像和至少一张目标图像对当前场景进行识别,获得场景识别结果。如此,能够快速识别任何场景,获得精确度较高的场景识别结果。
Description
技术领域
本发明涉及图像识别技术领域,具体提供一种场景识别方法、场景数据获取方法、设备、介质及车辆。
背景技术
给定场景的一副图片,人类或者机器人可以判断出这副图片的具体场景,这就是视觉场景识别要解决的问题。视觉场景识别在移动机器人,自动驾驶等领域都有广泛的应用。
现有场景识别方法只支持固定类别的场景识别,当增加新场景需求时,则通过人工进行场景的识别,但是人工识别成本较高,场景识别效率较低且识别精度较低。
相应地,本领域需要一种新的方案来解决上述问题。
发明内容
为了克服上述缺陷,提出了本发明,以提供解决或至少部分地解决上述的技术问题。本发明提供了一种场景识别方法、场景数据获取方法、设备、介质及车辆。
在第一方面,本发明提供一种场景识别方法,其特征在于,所述方法包括:获取待识别图像和至少一张目标图像;构建目标检测模型并训练;基于所述目标检测模型、所述待识别图像和所述至少一张目标图像对当前场景进行识别,获得场景识别结果。
在一个实施方式中,所述目标检测模型包括:
主干网络,用于分别提取所述待识别图像的第一通用特征和所述至少一张目标图像的第二通用特征;
特征金字塔网络,用于根据所述第一通用特征和所述第二通用特征分别获取第一特征图和第二特征图;
卷积网络,用于对所述第一特征图和所述第二特征图进行卷积操作;
预测网络,用于根据卷积操作结果进行分类和定位,获得检测结果。
在一个实施方式中,所述基于所述目标检测模型、所述待识别图像和所述至少一张目标图像对当前场景进行识别,获得场景识别结果,包括:将所述待识别图像和所述至少一张目标图像分别输入所述目标检测模型,获得检测结果;基于所述检测结果确定所述场景识别结果。
在一个实施方式中,所述检测结果包括至少一个检测目标的目标概率;所述基于所述检测结果确定所述场景识别结果,包括:判断所述目标概率是否满足第一预设条件;若是,则确定满足第一预设条件的所述检测目标的数量是否满足第二预设条件;若是,则基于满足第二预设条件的检测目标确定所述场景识别结果。
在一个实施方式中,所述目标图像包括锥筒图像、防撞桶图像、施工标志牌图像和导流标志牌图像中的任意一种;所述将所述待识别图像和所述至少一张目标图像分别输入所述目标检测模型,获得目标检测结果,包括:将所述待识别图像输入所述目标检测模型,以及将所述锥筒图像、所述防撞桶图像、所述施工标志牌图像和所述导流标志牌图像中的至少两张图像输入所述目标检测模型,获得目标检测结果。
在一个实施方式中,所述检测结果包括锥筒、防撞桶、施工标志牌和导流标志牌中至少两个检测目标的目标概率;所述基于所述检测结果确定所述场景识别结果,包括:判断所述锥筒、防撞桶、施工标志牌和导流标志牌中至少两个检测目标的目标概率是否满足第一预设条件;若是,则确定满足第一预设条件的所述检测目标的数量是否满足第二预设条件;若是,则基于所述锥筒、所述防撞桶、所述施工标志牌和所述导流标志牌中至少两个检测目标确定当前场景为施工场景。
在第二方面,本发明提供一种场景数据获取方法,所述方法包括:根据前述的场景识别方法进行场景识别,获得场景识别结果;基于所述场景识别结果获取当前场景下的场景数据。
在第三方面,提供一种电子设备,该电子设备包括至少一个处理器和至少一个存储装置,所述存储装置适于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行前述任一项所述的场景识别方法或场景数据获取方法。
在第四方面,提供一种计算机可读存储介质,该计算机可读存储介质其中存储有多条程序代码,所述程序代码适于由处理器加载并运行以执行前述任一项所述的场景识别方法或场景数据获取方法。
在第五方面,提供一种车辆,所述车辆包括车辆本体、至少一个处理器和至少一个存储装置,其中所述存储装置适于存储多条程序代码,其特征在于,所述程序代码适于由所述处理器加载并运行以执行前述的场景识别方法或场景数据获取方法。
本发明上述一个或多个技术方案,至少具有如下一种或多种有益效果:
本发明中的场景识别方法,包括获取待识别图像和至少一张目标图像;构建目标检测模型并训练;基于目标检测模型、待识别图像和至少一张目标图像对当前场景进行识别,获得场景识别结果。如此,能够快速识别任何场景,获得了精确度较高的场景识别结果。
附图说明
参照附图,本发明的公开内容将变得更易理解。本领域技术人员容易理解的是:这些附图仅仅用于说明的目的,而并非意在对本发明的保护范围组成限制。此外,图中类似的数字用以表示类似的部件,其中:
图1是根据本发明的一个实施例的场景识别方法的主要步骤流程示意图;
图2是一个实施例中目标检测模型的结构示意图;
图3是一个实施例中基于目标检测模型、待识别图像和至少一张目标图像对当前场景进行识别以获得场景识别结果的流程示意图;
图4是一个实施例中场景识别方法的完整流程示意图;
图5是一个实施例中场景数据获取方法的流程示意图;
图6是一个实施例中电子设备的结构示意图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
在本发明的描述中,“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路,各种合适的感应器,通信端口,存储器,也可以包括软件部分,比如程序代码,也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质,比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合,比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似,可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
目前传统的场景识别方法只支持固定类别的场景识别,当增加新场景需求时,则通过人工进行场景的识别,但是人工识别成本较高,场景识别效率较低且识别精度较低。
为此,本申请提出了一种场景识别方法、场景数据获取方法、电子设备及存储介质,本发明的方法对识别的场景没有类别限定,只要场景可以用其中的一个或多个物体元素表示即可,具体包括获取待识别图像和至少一张目标图像;构建目标检测模型并训练;基于目标检测模型、待识别图像和至少一张目标图像对当前场景进行识别,获得场景识别结果。如此,利用该方法能够快速识别任何场景,获得了精确度较高的场景识别结果。
参阅附图1,图1是根据本发明的一个实施例的场景识别方法的主要步骤流程示意图。
如图1所示,本发明实施例中的场景识别方法主要包括下列步骤S101-步骤S103。
步骤S101:获取待识别图像和至少一张目标图像。
目标指的是当前场景中常见的物体元素。示例性地,在施工场景下,目标可以是锥筒、防撞桶、施工标志牌和导流牌等。
目标图像指的是当前场景中常见的物体元素的模板图像。示例性地,在施工场景下,目标图像可以是锥筒图像、防撞桶图像、施工标志牌图像和导流牌图像等。
待识别图像可以是从一段视频(例如车载传感器采集的视频)截取的一张或者多张图像。
应当注意的是,对目标图像的数量不作限定,具体根据实际需要识别的场景确定目标图像的数量。例如,仅有锥筒、防撞桶、施工标志牌和导流牌中的任意一个目标时,很难判定当前场景为施工场景,只有在包括锥筒、防撞桶、施工标志牌和导流牌中的至少两个目标时,能够判定当前场景为施工场景。
步骤S102:构建目标检测模型并训练。
步骤S103:基于所述目标检测模型、所述待识别图像和所述至少一张目标图像对当前场景进行识别,获得场景识别结果。
具体是利用目标检测模型,根据至少一张目标图像,对待识别图像所处的当前场景进行识别,获得场景识别结果。
基于上述步骤S101-步骤S103,包括获取待识别图像和至少一张目标图像;构建目标检测模型并训练;基于目标检测模型、待识别图像和至少一张目标图像对当前场景进行识别,获得场景识别结果。如此,能够快速识别任何场景,获得了精确度较高的场景识别结果。
下面分别对上述步骤S102至步骤S103作进一步说明。
首先对步骤S102进行详细说明。
在一个具体实施方式中,所述目标检测模型包括依次连接的主干网络、特征金字塔网络、卷积网络和预测网络。
主干网络,用于分别提取所述待识别图像的第一通用特征和所述至少一张目标图像的第二通用特征。
其中通用特征包括检测目标的轮廓、纹理、颜色和位置等。
在一个实施例中,ResNet50网络可以作为所述主干网络的一个示例,但不限于此。
特征金字塔网络(FPN),用于根据所述第一通用特征和所述第二通用特征分别获取第一特征图和第二特征图。
特征金字塔网络(FPN)对最底层的特征进行向上采样,并与该底层特征进行融合,得到高分辨率、强语义的特征图(即加强了特征的提取)。
卷积网络,用于对所述第一特征图和所述第二特征图进行卷积操作。
具体来说,卷积网络的作用是特征金字塔网络(FPN)输出的第一特征图和所述第二特征图进行卷积操作,以使得待检测图像和目标图像之间相互作用,使得待检测图像与目标图像的特征相似位置的显著性增加,不相似位置的特征显著性被抑制。
在一个实施例中,Conv1x1的卷积层可以作为所述卷积网络的一个示例,但不限于此。
预测网络,包括分类头和检测头,用于根据卷积操作结果进行分类和定位,获得检测结果。
分类头能够预测检测目标的类别信息,检测头能够预测检测目标的边界框信息,分类头和检测头具体可以通过两个卷积层实现。
在另一个具体实施方式中,所述目标检测模型还包括映射器,所述映射器连接在所述卷积网络和所述检测头之间,所述映射器用于将所述卷积操作结果映射至预设格式的标准特征。
具体来说,还可以在目标检测模型的卷积网络和检测头之间连接映射器(Projection),以将卷积网络输出的特征转换至预设格式。
构建获得目标检测模型后,进一步根据样本训练集、采用梯度下降法对目标检测模型进行训练,直至目标检测模型收敛,获得训练好的目标检测模型。
示例性地,具体如图2所示,目标检测模型的输入分别为待检测图像和目标图像,目标图像的数量不限。两种图像使用共享的主干网络提取各自的通用特征,分别得到第一通用特征和第二通用特征,之后经过金字塔网络(FPN)分别提取第一通用特征对应的第一特征图和第二通用特征对应的第二特征图,其中特征图均为多尺度,如图所示,多尺度特征图的层数为5。目标图像的二维多尺度特征图经过全局平均池化后,输出5个特征向量(比如1x1x256维),再经过一系列的全连接变换后归一化,作为Conv1x1卷积操作的卷积核。待检测图像输出的多尺度特征图经过一系列的卷积变换后也归一化,作为Conv1x1卷积操作的输入特征。通过Conv1x1卷积,待检测图像与目标图像之间相互作用,使得待检测图像上与目标图像的特征相似的位置显著性增加,不相似的位置特征显著性被抑制。之后用一系列卷积变换(映射器),将Conv1x1卷积的输出特征映射到隐空间,最后在分类和检测头中用一系列卷积操作对隐空间的特征进行解码,得到待检测图像中的检测目标关于目标图像的相似概率(目标概率)和检测框。
以上是对步骤S102的进一步说明,下面继续对步骤S103作进一步说明。
具体如图3所示,上述步骤S103可通过下述步骤S1031至步骤S1032实现。
步骤S1031:将所述待识别图像和所述至少一张目标图像分别输入所述目标检测模型,获得检测结果。
具体来说,将待识别图像和至少一张目标图像同时输入目标检测模型,即可获得检测结果。
在一个具体实施方式中,所述目标图像包括锥筒图像、防撞桶图像、施工标志牌图像和导流标志牌图像中的任意一种;所述将所述待识别图像和所述至少一张目标图像分别输入所述目标检测模型,获得目标检测结果,包括:将所述待识别图像输入所述目标检测模型,以及将所述锥筒图像、所述防撞桶图像、所述施工标志牌图像和所述导流标志牌图像中的至少两张图像输入所述目标检测模型,获得目标检测结果。
具体来说,以要识别的施工场景为例,将施工场景下的目标图像(例如锥筒图像、防撞桶图像、施工标志牌图像和导流标志牌图像)中的任意两种图像输入目标检测模型,以及将待识别图像输入目标检测模型,即可输出检测结果。检测结果包括待检测图像中的至少两个检测目标的目标概率和检测框,其中目标概率指的是待检测图像中的检测目标关于目标图像的相似概率。
步骤S1032:基于所述检测结果确定所述场景识别结果。
在一个具体实施方式中,所述检测结果包括至少一个检测目标的目标概率;所述基于所述检测结果确定所述场景识别结果,包括:判断所述目标概率是否满足第一预设条件;若是,则确定满足第一预设条件的所述检测目标的数量是否满足第二预设条件;若是,则基于满足第二预设条件的检测目标确定所述场景识别结果。
具体来说,在获得检测结果后,判断检测结果中的所有目标概率是否满足第一预设条件,若是,则继续判断满足第一预设条件的检测目标的数量是否满足第二预设条件,若是,则根据满足第二预设条件的检测目标确定所述待识别图像对应的场景识别结果。
第一预设条件可以是判断目标概率是否大于概率阈值,概率阈值可以是通过实验预先得到的概率值。例如,0.3可以作为所述概率阈值的一个示例。
第二预设条件可以是判断满足第一预设条件的检测目标的数量是否大于预设阈值,预设阈值可以是通过实验预先得到的数值。
在一个优选实施方式中,所述检测结果包括锥筒、防撞桶、施工标志牌和导流标志牌中至少两个检测目标的目标概率;所述基于所述检测结果确定所述场景识别结果,包括:判断所述锥筒、防撞桶、施工标志牌和导流标志牌中至少两个检测目标的目标概率是否满足第一预设条件;若是,则确定满足第一预设条件的所述检测目标的数量是否满足第二预设条件;若是,则基于所述锥筒、所述防撞桶、所述施工标志牌和所述导流标志牌中至少两个检测目标确定当前场景为施工场景。
具体来说,在获得检测结果后,首先判断检测结果中的所有检测目标(例如锥筒、防撞桶、施工标志牌和导流标志牌中至少两个检测目标)的目标概率是否大于预设值,若是,则继续判断大于概率阈值的检测目标的数量是否满足大于预设数值,若是,则根据锥筒、防撞桶、施工标志牌和导流标志牌中至少两个检测目标确定待识别图像对应的当前场景为施工场景。
如此,能够实现对任意场景的识别,在需要识别新的场景时,不需要人工识别,不需要重新训练新的目标检测模型,只需添加新场景下的目标图像即可,提高了场景识别效率和识别精度,有利于提高系统的安全性和稳定性。
具体如图4所示,以施工场景为例,施工场景中常见的物体元素为锥筒、防撞桶、施工标志牌和导流标志牌等。每个场景元素各准备若干张目标图片(例如1张),送入目标检测模型以判断待检测图像中是否存在目标图像中的这些目标。当检测结果中的目标概率大于各自对应的概率阈值(例如0.3)时,认为在待检测图像中存在该目标元素。接下来根据组合规则,即同时检测到两种以上检测目标,认为当前场景为施工场景。
如此,若具体的场景可以被其中的常见物体元素表示,则只需更修改输入的目标图像即可以实现任意场景的识别。另外,目标检测模型基于目标图像与待识别图像中的检测目标的相似度来检测物体,也与类别无关,因此可以检测任意场景。
需要指出的是,尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述,但是本领域技术人员可以理解,为了实现本发明的效果,不同的步骤之间并非必须按照这样的顺序执行,其可以同时(并行)执行或以其他顺序执行,这些变化都在本发明的保护范围之内。
对于自动驾驶中的视觉感知、路径规划等任务,长尾训练数据对提升模型的泛化性与稳定性至关重要。除了常见的个体级长尾物体,还存在长尾场景如施工、地面塌陷、交通事故场景等。现有方案常利用路采车去事件多发区域采集此类数据,人力成本较高,因此如何高效利用量产车的海量数据并从中快速准确地挖掘出目标场景数据是一个十分重要的问题。
进一步,本发明还提供了一种场景数据获取方法。
如图5所示,本发明实施例中的场景识别方法主要包括下列步骤S201-步骤S202。
步骤S201:根据前述的场景识别方法进行场景识别,获得场景识别结果。
该步骤的具体过程可以参见前述实施例,此处不赘述。
步骤S202:基于所述场景识别结果获取当前场景下的场景数据。
在识别当前场景的具体场景后,例如施工场景,即可获取或者采集当前场景下的场景数据。
为了挖掘某些特定场景下的数据,将其分解为场景中多个常见物体的检测,并设计相应的触发规则,一旦检测结果满足触发条件,则启动数据采集并回收数据。当场景数据采集需求改变时,只需改变目标图像和触发规则(如前述步骤S1032的逻辑),即可复用已有模型而无需重新训练,如此,有利于提高场景数据的获取效率和精度。
另外,根据目标元素的不同可以设计不同的检测阈值,来平衡模型的召回率与精确率。为了保证足够的召回率,可以适当降低检测阈值,通过组合规则来过滤误检场景,比如设计组合规则为同时检测到两种以上目标才可以触发数据采集,防止单一目标误检。此外,仅出现锥筒未必是施工场景,因此需要根据实际需求设计规则,规则一定程度也决定了场景挖掘的准确率。
本领域技术人员能够理解的是,本发明实现上述一实施例的方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
进一步,本发明还提供了一种电子设备。在根据本发明的一个电子设备实施例中,如图6所示,电子设备包括至少一个处理器61和至少一个存储装置62,存储装置可以被配置成存储执行上述方法实施例的场景识别方法或场景数据获取方法的程序,处理器可以被配置成用于执行存储装置中的程序,该程序包括但不限于执行上述方法实施例的场景识别方法或场景数据获取方法的程序。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。
在本发明实施例中电子设备可以是包括各种设备形成的控制装置设备。在一些可能的实施方式中,电子设备可以包括多个存储装置和多个处理器。而执行上述方法实施例的场景识别方法或场景数据获取方法的程序可以被分割成多段子程序,每段子程序分别可以由处理器加载并运行以执行上述方法实施例的场景识别方法或场景数据获取方法的不同步骤。具体地,每段子程序可以分别存储在不同的存储装置中,每个处理器可以被配置成用于执行一个或多个存储装置中的程序,以共同实现上述方法实施例的场景识别方法或场景数据获取方法,即每个处理器分别执行上述方法实施例的场景识别方法或场景数据获取方法的不同步骤,来共同实现上述方法实施例的场景识别方法或场景数据获取方法。
上述多个处理器可以是部署于同一个设备上的处理器,例如上述电子设备可以是由多个处理器组成的高性能设备,上述多个处理器可以是该高性能设备上配置的处理器。此外,上述多个处理器也可以是部署于不同设备上的处理器,例如上述电子设备可以是服务器集群,上述多个处理器可以是服务器集群中不同服务器上的处理器。
进一步,本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中,计算机可读存储介质可以被配置成存储执行上述方法实施例的场景识别方法或场景数据获取方法的程序,该程序可以由处理器加载并运行以实现上述场景识别方法或场景数据获取方法。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备,可选的,本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
进一步,本发明还提供了一种车辆,所述车辆包括车辆本体、至少一个处理器和至少一个存储装置,其中所述存储装置适于存储多条程序代码,其特征在于,所述程序代码适于由所述处理器加载并运行以执行前述的场景识别方法,或执行前述的场景数据获取方法。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种场景识别方法,其特征在于,所述方法包括:
获取待识别图像和至少一张目标图像;
构建目标检测模型并训练;
基于所述目标检测模型、所述待识别图像和所述至少一张目标图像对当前场景进行识别,获得场景识别结果。
2.根据权利要求1所述的场景识别方法,其特征在于,所述目标检测模型包括:
主干网络,用于分别提取所述待识别图像的第一通用特征和所述至少一张目标图像的第二通用特征;
特征金字塔网络,用于根据所述第一通用特征和所述第二通用特征分别获取第一特征图和第二特征图;
卷积网络,用于对所述第一特征图和所述第二特征图进行卷积操作;
预测网络,用于根据卷积操作结果进行分类和定位,获得检测结果。
3.根据权利要求1所述的场景识别方法,其特征在于,所述基于所述目标检测模型、所述待识别图像和所述至少一张目标图像对当前场景进行识别,获得场景识别结果,包括:
将所述待识别图像和所述至少一张目标图像分别输入所述目标检测模型,获得检测结果;
基于所述检测结果确定所述场景识别结果。
4.根据权利要求3所述的场景识别方法,其特征在于,所述检测结果包括至少一个检测目标的目标概率;
所述基于所述检测结果确定所述场景识别结果,包括:
判断所述目标概率是否满足第一预设条件;
若是,则确定满足第一预设条件的所述检测目标的数量是否满足第二预设条件;
若是,则基于满足第二预设条件的检测目标确定所述场景识别结果。
5.根据权利要求3所述的场景识别方法,其特征在于,所述目标图像包括锥筒图像、防撞桶图像、施工标志牌图像和导流标志牌图像中的任意一种;
所述将所述待识别图像和所述至少一张目标图像分别输入所述目标检测模型,获得目标检测结果,包括:将所述待识别图像输入所述目标检测模型,以及将所述锥筒图像、所述防撞桶图像、所述施工标志牌图像和所述导流标志牌图像中的至少两张图像输入所述目标检测模型,获得目标检测结果。
6.根据权利要求5所述的场景识别方法,其特征在于,所述检测结果包括锥筒、防撞桶、施工标志牌和导流标志牌中至少两个检测目标的目标概率;
所述基于所述检测结果确定所述场景识别结果,包括:
判断所述锥筒、防撞桶、施工标志牌和导流标志牌中至少两个检测目标的目标概率是否满足第一预设条件;
若是,则确定满足第一预设条件的所述检测目标的数量是否满足第二预设条件;
若是,则基于所述锥筒、所述防撞桶、所述施工标志牌和所述导流标志牌中至少两个检测目标确定当前场景为施工场景。
7.一种场景数据获取方法,其特征在于,所述方法包括:
根据权利要求1至权利要求6中任意一项所述的场景识别方法进行场景识别,获得场景识别结果;
基于所述场景识别结果获取当前场景下的场景数据。
8.一种电子设备,包括至少一个处理器和至少一个存储装置,所述存储装置适于存储多条程序代码,其特征在于,所述程序代码适于由所述处理器加载并运行以执行权利要求1至6中任一项所述的场景识别方法,或执行权利要求7所述的场景数据获取方法。
9.一种计算机可读存储介质,其中存储有多条程序代码,其特征在于,所述程序代码适于由处理器加载并运行以执行权利要求1至6中任一项所述的场景识别方法,或执行权利要求7所述的场景数据获取方法。
10.一种车辆,其特征在于,所述车辆包括车辆本体、至少一个处理器和至少一个存储装置,其中所述存储装置适于存储多条程序代码,其特征在于,所述程序代码适于由所述处理器加载并运行以执行权利要求1至6中任一项所述的场景识别方法,或执行权利要求7所述的场景数据获取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310424526.1A CN116452959A (zh) | 2023-04-17 | 2023-04-17 | 场景识别方法、场景数据获取方法、设备、介质及车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310424526.1A CN116452959A (zh) | 2023-04-17 | 2023-04-17 | 场景识别方法、场景数据获取方法、设备、介质及车辆 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116452959A true CN116452959A (zh) | 2023-07-18 |
Family
ID=87123429
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310424526.1A Pending CN116452959A (zh) | 2023-04-17 | 2023-04-17 | 场景识别方法、场景数据获取方法、设备、介质及车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116452959A (zh) |
-
2023
- 2023-04-17 CN CN202310424526.1A patent/CN116452959A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108681994B (zh) | 一种图像处理方法、装置、电子设备及可读存储介质 | |
EP3806064B1 (en) | Method and apparatus for detecting parking space usage condition, electronic device, and storage medium | |
CN107944450B (zh) | 一种车牌识别方法及装置 | |
JP5775225B2 (ja) | マルチレイヤ連結成分をヒストグラムと共に用いるテキスト検出 | |
CN109583345B (zh) | 道路识别方法、装置、计算机装置及计算机可读存储介质 | |
CN112528878A (zh) | 检测车道线的方法、装置、终端设备及可读存储介质 | |
WO2014092979A1 (en) | Method of perspective correction for devanagari text | |
Jo | Cumulative dual foreground differences for illegally parked vehicles detection | |
CN110163109B (zh) | 一种车道线标注方法及装置 | |
CN110245673B (zh) | 车位检测方法及装置 | |
CN111931683B (zh) | 图像识别方法、装置及计算机可读存储介质 | |
CN111046971A (zh) | 图像识别方法、装置、设备及计算机可读存储介质 | |
CN110956081A (zh) | 车辆与交通标线位置关系的识别方法、装置及存储介质 | |
CN117218622A (zh) | 路况检测方法、电子设备及存储介质 | |
CN111709377B (zh) | 特征提取方法、目标重识别方法、装置及电子设备 | |
CN116071557A (zh) | 一种长尾目标检测方法、计算机可读存储介质及驾驶设备 | |
CN111144361A (zh) | 一种基于二值化cgan网络的公路车道检测方法 | |
CN116311157A (zh) | 障碍物识别方法、障碍物识别模型训练方法 | |
CN114724128B (zh) | 一种车牌识别方法、装置、设备和介质 | |
CN116452959A (zh) | 场景识别方法、场景数据获取方法、设备、介质及车辆 | |
CN113449629B (zh) | 基于行车视频的车道线虚实识别装置、方法、设备及介质 | |
CN113657378B (zh) | 车辆跟踪方法、车辆跟踪系统和计算设备 | |
CN113591543B (zh) | 交通标志识别方法、装置、电子设备及计算机存储介质 | |
CN109409247B (zh) | 交通标志识别方法和装置 | |
Chincholkar et al. | TRAFFIC SIGN BOARD DETECTION AND RECOGNITION FOR AUTONOMOUS VEHICLES AND DRIVER ASSISTANCE SYSTEMS. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |