CN113221604A - 目标识别方法、装置、存储介质及电子设备 - Google Patents
目标识别方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN113221604A CN113221604A CN202010080666.8A CN202010080666A CN113221604A CN 113221604 A CN113221604 A CN 113221604A CN 202010080666 A CN202010080666 A CN 202010080666A CN 113221604 A CN113221604 A CN 113221604A
- Authority
- CN
- China
- Prior art keywords
- image
- partial image
- recognized
- local
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000001514 detection method Methods 0.000 claims abstract description 55
- 238000003062 neural network model Methods 0.000 claims abstract description 53
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 38
- 230000011218 segmentation Effects 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 10
- 238000003709 image segmentation Methods 0.000 claims description 7
- 230000001629 suppression Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 3
- 230000003321 amplification Effects 0.000 abstract description 4
- 238000003199 nucleic acid amplification method Methods 0.000 abstract description 4
- 238000013461 design Methods 0.000 description 27
- 230000006870 function Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000011897 real-time detection Methods 0.000 description 3
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 2
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 2
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种目标识别方法、装置、存储介质及电子设备。本发明实施例提供的目标识别方法，包括：获取待识别图像；根据待识别图像以及预设分割方式确定局部图像集合，局部图像集合包括多张局部图像，每张局部图像均为待识别图像中局部位置的图像；通过预设神经网络模型分别对待识别图像以及所有局部图像进行目标对象的识别，以获得识别结果；根据预设融合算法对所有识别结果进行结果融合以确定目标对象的类别和坐标信息。本发明提供的目标识别方法，实现对待识别图像各个部分的等效放大，进而提高对于待识别图像中的目标对象的检出率，尤其是对于小目标对象的检出率，以适用于对于交通信号灯的识别。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种目标识别方法、装置、存储介质及电子设备。
背景技术
随着电子技术的不断发展，机器视觉在自动驾驶技术领域也应用越来越广泛。其中，交通信号灯的检测与识别是无人驾驶汽车和高级驾驶辅助系统(Advanced DrivingAssistant System，简称ADAS)的重要组成部分。
交通信号灯识别方法的核心技术在于视觉识别算法，目前，尽管计算机技术和人工智能技术在快速发展，目标检测和识别的算法在不断涌现，但由于交通信号灯本身颜色与环境光线的多变性，城市背景环境的复杂性，以及实时性的要求等，导致现有算法应用于交通信号灯识别时，不能很好地处理上述问题。
可见，基于现有的交通信号灯识别方法，对于交通信号灯的识别效果不佳。
发明内容
本发明实施例提供一种目标识别方法、装置、存储介质及电子设备，以在提高对于目标对象，例如：交通信号灯的识别效果，进而使得识别方法能够适用于车辆无人驾驶领域。
第一方面，本发明实施例提供一种目标识别方法，包括：
获取待识别图像；
根据所述待识别图像以及预设分割方式确定局部图像集合，所述局部图像集合包括多张局部图像，每张局部图像均为所述待识别图像中局部位置的图像；
通过预设神经网络模型分别对所述待识别图像以及所有局部图像进行目标对象的识别，以获得识别结果；
根据预设融合算法对所有识别结果进行结果融合以确定所述目标对象的类别和坐标信息。
在一种可能的设计中，所述根据所述待识别图像以及预设分割方式确定局部图像集合，包括：
根据所述待识别图像获取第一局部图像，所述第一局部图像的一个角与所述待识别图像的第一角重合，所述第一局部图像的高度小于所述待识别图像的高度，所述第一局部图像的宽度小于所述待识别图像的宽度；
分别沿所述第一局部图像的高度方向以及宽度方向移动相应距离，以从所述待识别图像中获取其他局部图像；
根据从所述待识别图像中获取的所有局部图像确定所述局部图像集合。
在一种可能的设计中，所述根据所述待识别图像获取第一局部图像，包括：
根据所述待识别图像获取所述第一局部图像，所述第一局部图像的左上角与所述待识别图像的左上角重合，所述第一局部图像高度为所述待识别图像高度的1/2，所述第一局部图像宽度为所述待识别图像宽度的1/2，所述待识别图像的高度为H，宽度为W；
相应的，所述分别沿所述第一局部图像的高度方向以及宽度方向移动相应距离，以从所述待识别图像中获取其他局部图像，包括：
沿所述第一局部图像的宽度方向移动W/4与W/2以对应获取第二局部图像以及第三局部图像，沿所述第一局部图像的高度方向移动H/4与H/2以对应获取第四局部图像以及第七局部图像，沿所述第一局部图像的高度方向移动W并沿所述第一局部图像的高度方向移动H/4与H/2以对应获取第六局部图像以及第九局部图像，沿所述第一局部图像的高度方向移动W/4并沿所述第一局部图像的高度方向移动H/4与H/2以对应获取第五局部图像以及第八局部图像。
在一种可能的设计中，所述根据预设融合算法对所有识别结果进行结果融合以确定所述目标对象的类别和坐标信息，包括：
根据非极大值抑制算法NMS对所有识别结果进行结果融合以确定所述目标对象的类别和坐标信息。
在一种可能的设计中，将所述NMS配置在嵌入式系统的中央处理器CPU核上运行。
在一种可能的设计中，所述目标对象包括：交通信号灯，所述目标对象的类别包括：红灯、黄灯、绿灯以及暗灯，所述目标对象的坐标信息包括标识框的中心坐标以及所述标识框的宽度与高度，其中，所述标识框用于在图像中标识所述交通信号灯。
在一种可能的设计中，所述预设神经网络模型采用SSD目标检测算法的检测框架，所述预设神经网络模型的主干网采用缩减后的轻量级神经网络，所述缩减后的轻量级神经网络模型为在原始轻量级神经网络模型的基础上减少各层模型通道数量后所形成的神经网络模型。
在一种可能的设计中，所述缩减后的轻量级神经网络的各层模型通道数量为原始轻量级神经网络模型对应层通道数量的T倍，所述T为小于1的正数。
在一种可能的设计中，所述缩减后的轻量级神经网络中卷积层中的步幅小于原始轻量级神经网络中卷积层中的步幅。
第二方面，本发明实施例提供一种目标识别装置，包括：
图像获取模块，用于获取待识别图像；
图像分割模块，用于根据所述待识别图像以及预设分割方式确定局部图像集合，所述局部图像集合包括多张局部图像，每张局部图像均为所述待识别图像中局部位置的图像；
目标识别模块，用于通过预设神经网络模型分别对所述待识别图像以及所有局部图像进行目标对象的识别，以获得识别结果；
结果融合模块，用于根据预设融合算法对所有识别结果进行结果融合以确定所述目标对象的类别和坐标信息。
在一种可能的设计中，所述图像分割模块，具体用于：
根据所述待识别图像获取第一局部图像，所述第一局部图像的一个角与所述待识别图像的第一角重合，所述第一局部图像的高度小于所述待识别图像的高度，所述第一局部图像的宽度小于所述待识别图像的宽度；
分别沿所述第一局部图像的高度方向以及宽度方向移动相应距离，以从所述待识别图像中获取其他局部图像；
根据从所述待识别图像中获取的所有局部图像确定所述局部图像集合。
在一种可能的设计中，所述图像分割模块，具体用于：
根据所述待识别图像获取所述第一局部图像，所述第一局部图像的左上角与所述待识别图像的左上角重合，所述第一局部图像高度为所述待识别图像高度的1/2，所述第一局部图像宽度为所述待识别图像宽度的1/2，所述待识别图像的高度为H，宽度为W；
沿所述第一局部图像的宽度方向移动W/4与W/2以对应获取第二局部图像以及第三局部图像，沿所述第一局部图像的高度方向移动H/4与H/2以对应获取第四局部图像以及第七局部图像，沿所述第一局部图像的高度方向移动W并沿所述第一局部图像的高度方向移动H/4与H/2以对应获取第六局部图像以及第九局部图像，沿所述第一局部图像的高度方向移动W/4并沿所述第一局部图像的高度方向移动H/4与H/2以对应获取第五局部图像以及第八局部图像。
在一种可能的设计中，所述结果融合模块，具体用于：
根据非极大值抑制算法NMS对所有识别结果进行结果融合以确定所述目标对象的类别和坐标信息。
在一种可能的设计中，将所述NMS配置在嵌入式系统的中央处理器CPU核上运行。
在一种可能的设计中，所述目标对象包括：交通信号灯，所述目标对象的类别包括：红灯、黄灯、绿灯以及暗灯，所述目标对象的坐标信息包括标识框的中心坐标以及所述标识框的宽度与高度，其中，所述标识框用于在图像中标识所述交通信号灯。
在一种可能的设计中，所述预设神经网络模型采用SSD目标检测算法的检测框架，所述预设神经网络模型的主干网采用缩减后的轻量级神经网络，所述缩减后的轻量级神经网络模型为在原始轻量级神经网络模型的基础上减少各层模型通道数量后所形成的神经网络模型。
在一种可能的设计中，所述缩减后的轻量级神经网络的各层模型通道数量为原始轻量级神经网络模型对应层通道数量的T倍，所述T为小于1的正数。
在一种可能的设计中，所述缩减后的轻量级神经网络中卷积层中的步幅小于原始轻量级神经网络中卷积层中的步幅。
第三方面，本发明实施例还提供一种电子设备，包括：
摄像头，用于获取待识别图像；
处理器；以及，
存储器，用于存储所述处理器的可执行指令；
显示器，所述显示器与所述处理器连接，用于显示组件选择页面；
其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中任意一种可能的目标识别方法。
第四方面，本发明实施例还提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现第一方面中任意一种可能的目标识别方法。
本发明实施例提供的一种目标识别方法、装置、存储介质及电子设备，通过利用预设分割方式将待识别图像分割为包括多张局部图像的局部图像集合，再利用预设神经网络模型分别对待识别图像以及所有局部图像进行目标对象的识别，从而实现对待识别图像各个部分的等效放大，并且在获得各自识别结果之后，再根据预设融合算法对所有识别结果进行结果融合以确定目标对象的类别和坐标信息，进而提高对于待识别图像中的目标对象的检出率，尤其是对于小目标对象的检出率，以适用于对于交通信号灯的识别。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明根据一示例实施例示出的目标识别方法的应用场景的示意图；
图2是本发明根据一示例实施例示出的目标识别方法的流程示意图；
图3是本发明根据一示例实施例示出的局部图像集合确定方式的流程示意图；
图4a-图4i是图3所示实施例中局部图像确定方式示意图；
图5是待识别图像及局部图像集合的示意图；
图6是本发明根据一示例实施例示出的目标识别方法的识别结果示意图；
图7是本发明根据一示例实施例示出的目标识别装置的结构示意图；
图8是本发明根据一示例实施例示出的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
随着电子技术的不断发展，机器视觉在自动驾驶技术领域也应用越来越广泛。其中，交通信号灯的检测与识别是无人驾驶汽车和高级驾驶辅助系统(Advanced DrivingAssistant System，简称ADAS)的重要组成部分。
交通信号灯识别方法的核心技术在于视觉识别算法，目前，尽管计算机技术和人工智能技术在快速发展，目标检测和识别的算法在不断涌现，但由于交通信号灯本身颜色与环境光线的多变性，城市背景环境的复杂性，以及实时性的要求等，导致现有算法应用于交通信号灯识别时，不能很好地处理上述问题。
具体的，现有的无人驾驶汽车交通灯视觉识别方法存在的问题如下：
1、对于基于图像匹配的视觉识别。
利用图像匹配的识别方法主要是通常是基于特征匹配。图像匹配方法通常要人工设计特征，如检测局部特征的算法(Scale-invariant feature transform，简称SIFT)、方向梯度直方图(Histogram of Oriented Gradient，简称HOG)，这类手动设计(hand-crafted)特征主要存在如下问题：非线性表达能力受限，在实际场景表现较差；算法复杂，耗时长；受光线变化影响较大；受目标姿态变化影响较大。
2、对于基于深度学习的目标检测的视觉识别方法。
首先，Faster-RCNN系列的检测方法做目标准确度很高，但是计算复杂度高无法满足实时性要求，同时，卷积神经网络模型(Convolutional Neural Network，简称CNN)复杂度高容易过拟合，需要大批量多样化标注数据，无法满足交通灯检测识别需要准确高速检测交通灯的需求。
其次，虽然目标检测(Single Shot MultiBox Detector，简称SSD)算法的准确度和检测速度都不错，但是对于小物体的检测效果差，由于交通灯检测场景视场大，目标远，交通灯在摄像头拍摄画面中的目标过小，从而导致SSD算法在本场景下交通灯目标检出率和准确率大大降低。可见，经典的SSD-MobileNetV2的计算复杂虽然较低，但依然无法满足高分辨率图像目标检测超高速检测要求。
综上，由于室外交通道路场景比较复杂，检测算法的训练样本有限，导致CNN网络规模大的SSD检测算法存在过拟合问题而在实际场景中容易误检而表现不佳，另一方面由于交通灯目标通常多小检出率过低，需使用高分辨率图像品检测方案，但计算复杂度高，目前目标检测算法效率较好的SSD-MobileNetV2，也无法满足高分辨率图像小目标的检测实时性要求。
针对上述存在的各个问题，本发明实施例提供一种目标识别方法，通过利用预设分割方式将待识别图像分割为包括多张局部图像的局部图像集合，再利用预设神经网络模型分别对待识别图像以及所有局部图像进行目标对象的识别，从而实现对待识别图像各个部分的等效放大，并且在获得各自识别结果之后，再根据预设融合算法对所有识别结果进行结果融合以确定目标对象的类别和坐标信息，进而提高对于待识别图像中的目标对象的检出率，尤其是对于小目标对象的检出率，以适用于对于交通信号灯的识别。
图1是本发明根据一示例实施例示出的目标识别方法的应用场景的示意图。如图1所示，本实施例提供的目标识别方法，所应用的场景可以是无人驾驶车辆在即将通过路口时通过车载摄像头拍摄前方路口交通灯，并通过视觉识别算法识别出场景中的交通灯位置和状态以便决策系统进行信息融合分析决策，其中，该车载摄像头可以为单目摄像头。
图2是本发明根据一示例实施例示出的目标识别方法的流程示意图。如图2所示，本实施例提供的目标识别方法，包括：
步骤101、获取待识别图像。
具体的，可以是车辆在即将通过路口时，通过车载摄像头像头拍摄前方路口的图像，以作为待识别图像。
步骤102、根据待识别图像以及预设分割方式确定局部图像集合。
在本步骤中，可以是将待识别图像通过预设分割方式分割成多张局部图像，其中，每张局部图像为待识别图像的一部分，以使后续通过神经网络模型进行识别时，从而提高对待识别图像中的小目标对象(例如：交通信号灯)的准确率。
在一种可能的实现方式中，图3是本发明根据一示例实施例示出的局部图像集合确定方式的流程示意图。如图3所示，本实施例提供的目标识别方法中的局部图像集合确定方式，包括：
步骤201、根据待识别图像获取第一局部图像。
具体的，可以根据待识别图像获取第一局部图像，第一局部图像的一个角与待识别图像的第一角(例如：左上角)重合，第一局部图像的高度小于待识别图像的高度，第一局部图像的宽度小于待识别图像的宽度，即第一局部图像为待识别图像左上角的局部图像。
步骤202、分别沿第一局部图像的高度方向以及宽度方向移动相应距离。
在本步骤中，在确定第一局部图像之后，可以分别沿第一局部图像的高度方向以及宽度方向移动相应距离，以从待识别图像中获取其他局部图像，例如，依次沿待识别图像的宽度方向以及高度方向移动相应距离，直至移动至待识别图像的右下角，以从待识别图像中获取其他局部图像。
步骤203、根据从待识别图像中获取的所有局部图像确定局部图像集合。
在从待识别图像中获取的所有局部图像之后，可以根据所有局部图像确定局部图像集合。
值得说明的，图4a-图4i是图3所示实施例中局部图像确定方式示意图。如图4a-图4i所示，在一个具体实施例中，对于上述根据待识别图像获取第一局部图像的步骤，可以是：
如图4a所示，先根据待识别图像获取第一局部图像，第一局部图像的左上角与待识别图像的左上角重合，第一局部图像高度为待识别图像高度的1/2，第一局部图像宽度为待识别图像宽度的1/2，其中，待识别图像的高度为H，宽度为W。
然后，如图4b所示，在第一局部图像的基础上沿第一局部图像的宽度方向移动W/4，以对应获取第二局部图像。
如图4c所示，在第一局部图像的基础上沿第一局部图像的宽度方向移动W/2，以对应获取第三局部图像。
如图4d所示，在第一局部图像的基础上沿第一局部图像的高度方向移动H/4，以对应获取第四局部图像。
如图4e所示，在第一局部图像的基础上沿第一局部图像的高度方向移动H/4并沿第一局部图像的宽度方向移动W/4，以对应获取第五局部图像。
如图4f所示，在第一局部图像的基础上沿第一局部图像的高度方向移动H/4并沿第一局部图像的宽度方向移动W/2，以对应获取第六局部图像。
如图4g所示，在第一局部图像的基础上沿第一局部图像的高度方向移动H/2，以对应获取第七局部图像。
如图4h所示，在第一局部图像的基础上沿第一局部图像的高度方向移动H/2并沿第一局部图像的宽度方向移动W/4，以对应获取第八局部图像。
如图4i所示，在第一局部图像的基础上沿第一局部图像的高度方向移动H/2并沿第一局部图像的宽度方向移动W/2，以对应获取第九局部图像。
步骤103、通过预设神经网络模型分别对待识别图像以及所有局部图像进行目标对象的识别，以获得识别结果。
在根据待识别图像以及预设分割方式确定局部图像集合之后，可以通过预设神经网络模型分别对待识别图像以及所有局部图像进行目标对象的识别，以获得识别结果。
其中，图5是待识别图像及局部图像集合的示意图。如图5所示，针对小目标检测问题，本方法采用原图抠图多张(9张)局部图像和原待识别图像分别做检测，再将10副图像检测结果进行非极大值抑制算法(Non Maximum Suppression，简称NMS)融合。继续参照图5，这一方法等效将目标放大2倍，以提高对于小目标对象(例如：交通信号灯)的检测及识别准确率。
此外，对于预设神经网络模型采用SSD目标检测算法的检测框架，预设神经网络模型的主干网采用缩减后的轻量级神经网络，缩减后的轻量级神经网络模型为在原始轻量级神经网络模型的基础上减少各层模型通道数量后所形成的神经网络模型。
值得说明的，对于SSD目标检测算法，SSD检测器整个网络采取了one-stage检测算法，以此提高检测速度。并且网络中融入了Faster R-CNN中的anchors机制，并且做了特征分层提取并依次计算边框回归和分类操作，由此可以适应多种尺度目标的训练和检测任务。该检测框架可采用不同的特征提取骨干网，如VGG模型、ResNet模型、MobileNet模型等。
其中，根据MobileNetV2的原始设计，设定t为扩展系数、c为通道数、n为重复次数、s为卷积步幅。标准版的MobileNetV2基本结构，如下表所示：
| 输入 | 运算器 | t | c | n | s |
| 224*244*3 | conv2d函数 | - | 32 | 1 | 2 |
| 112*112*32 | bottleneck函数 | 1 | 16 | 1 | 1 |
| 112*112*16 | bottleneck函数 | 6 | 24 | 2 | 2 |
| 56*56*24 | bottleneck函数 | 6 | 32 | 3 | 2 |
| 28*28*32 | bottleneck函数 | 6 | 64 | 4 | 2 |
| 14*14*64 | bottleneck函数 | 6 | 96 | 3 | 1 |
| 14*14*96 | bottleneck函数 | 6 | 160 | 3 | 2 |
| 7*7*160 | bottleneck函数 | 6 | 320 | 1 | 1 |
| 7*7*320 | conv2d函数1*1 | - | 1280 | 1 | 1 |
| 7*7*1280 | avgpool函数7*7 | - | - | 1 | - |
| 1*1*1280 | Conv2d函数1*1 | - | k | - |
由于标准版的ResNet18、MobileNetV1、MobileNetV2的计算量都较大，因此，本实施例对于预设神经网络模型的主干网可以采用缩减后的轻量级神经网络，具体的，通过对轻量型的CNN模型进行适应性的缩减优化，从而降低高分辨率图像高计算量对处理器计算能力的严苛要求，将缩减优化过的超轻量型CNN模型做为检测框架SSD的提取特征的主干网，因，采用缩减后的EmbeddedMobileNetV2后模型参数和计算量成倍缩小，以满足交通信号灯的实时性计算要求。
综上，本实施例提供的目标识别方法针对小目标(交通信号灯)的预设神经网络模型采用SSD目标检测算法的检测框架，预设神经网络模型的主干网采用缩减后的轻量级神经网络(缩减后的EmbeddedMobileNetV2)，即为SSD-EmbeddedMobileNetV2检测算法，其中，缩减后的轻量级神经网络模型为在原始轻量级神经网络模型的基础上减少各层模型通道数量后所形成的神经网络模型。
具体的，对于缩减后的EmbeddedMobileNetV2结构，如下表所示：
| 输入 | 运算器 | t | c | n | s |
| 224*244*3 | conv2d函数 | - | 16 | 1 | 2 |
| 112*112*32 | bottleneck函数 | 1 | 16 | 1 | 1 |
| 112*112*16 | bottleneck函数 | 2 | 16 | 2 | 2 |
| 56*56*24 | bottleneck函数 | 2 | 16 | 2 | 2 |
| 28*28*32 | bottleneck函数 | 2 | 24 | 1 | 2 |
| 14*14*64 | bottleneck函数 | 2 | 32 | 1 | 1 |
| 14*14*96 | bottleneck函数 | 2 | 56 | 1 | 2 |
| 7*7*160 | bottleneck函数 | 2 | 112 | 1 | 1 |
| 7*7*320 | conv2d函数1*1 | - | 448 | 1 | 1 |
| 7*7*1280 | avgpool函数7*7 | - | - | 1 | - |
| 1*1*1280 | Conv2d函数1*1 | - | k | - |
值得说明的，针对缩减后的EmbeddedMobileNetV2的具体改进如下：
第一、降低标准MobileNetV2模型的通道数量：
其中，通道数量代表网络模型提取的特征图的数量，针对交通信号灯识别任务的类别少和背景简单特点，可适当降低通道数即降低CNN模型的表达能力亦可满识别的交通灯准确率的需要。根据MobileNetV2的bottleneck函数结构可知，其计算量为(2c*tc+9*tc)*H*W，其中，c为通道数，t为扩展系数，H为图片的高度，W为图片的宽度。
在一种可能的设计中，缩减后的轻量级神经网络的各层模型通道数量为原始轻量级神经网络模型对应层通道数量的T倍，T为小于1的正数。
可选的，和标准版的MobileNetV2相比，EmbeddedMobileNetV2模型通道数可以乘以系数0.35，且保证最小通道数不小于16。即在原通道数量的基础上乘以系数0.35，得到结果，若该结果大于或等于16，则以该结果作为缩减后的通道数，若该结果小于16，则选取16作为通道数。通过将缩减轻量级神经网络模型对应层通道数量，以使得EmbeddedMobileNetV2模型的计算量将大幅度降低。
第二、降低MobileNetV2模型中bottleneck的扩展系数t：
具体的，标准版的MobileNetV2的扩展系数t为6，这一数值是在模型较大的情况下适配的，而在本实施例中，在缩减后的小型CNN模型该数值应采用更小的值，这里我们采用t＝2的扩展系数，更小型化的CNN模型来适应本场景的需要，从而保证神经网络模型的运算速度，以确保计算实时性，以满足无人驾驶场景中对于交通信号灯的实时检测需求。
第三、降低MobileNetV2模型中重复的bottleneck层：
其中，原始的SSD-MobileNetV2采用MobileNetV2标准版的前19层为主干网，值得说明的，主干网的计算量占该检测方法的大部分。而在本实施例中，可以将使用SSD-EmbeddedMobileNetV2，在标准MobileNetV2基础上精简掉8层重复的bottleneck层，从而成为只有11层的主干网，通过精简8层重复的bottleneck层的方式，以使得在满足一般精确度的情况下大幅度降低整个网络的计算量、内存需求、参数量。从而在保证识别准确度的前提下，进一步提高神经网络模型的运算速度，以确保计算实时性，以满足无人驾驶场景中对于交通信号灯的实时检测需求。
第四、还可以适当降低SSD检测网络的图像输入大小：
通常的SSD检测图像输入为300*300或者500*500，可适当减低图像输入分辨率为256*256，也一定程度上降低整体CNN模型的计算速度。
此外，还可以使用更高分辨率的特征图(feature map)，其中，原始SSD-MobileNetV2采用第一级feature map的步幅(output_stride)＝32的层输出的featuremap，这使得目标长宽占比图像长宽小于1/16的目标难以检测出来。为解决这一问题，在本实施例中，可以采用更高分辨率的feature map，例如：选取其output_stride＝16，从而有效地解决了目标过小难以检测的问题。
此外，图5是待识别图像及局部图像集合的示意图。如图5所示，将原待识别图像抠图多张局部图像检测并融合结果：
针对小目标(交通信号灯)的检测问题，本实施例采用原图抠图多张(9张)局部图像和原图分别做检测，再将10副图像检测结果进行NMS融合。这一方法等效将目标放大2倍，配合上述将步幅缩减为16的方式，可将待检测目标尺度占比范围1/64-1.0的目标检测出来，以确保对于交通信号灯的检测、识别准确度。
步骤104、根据预设融合算法对所有识别结果进行结果融合以确定目标对象的类别和坐标信息。
值得说明的，在通过预设神经网络模型分别对待识别图像以及所有局部图像进行目标对象的识别，以获得识别结果之后，可以根据预设融合算法对所有识别结果进行结果融合以确定目标对象的类别和坐标信息。
当目标对象包括为交通信号灯时，目标对象的类别包括：红灯、黄灯、绿灯以及暗灯，目标对象的坐标信息包括标识框的中心坐标以及标识框的宽度与高度，其中，标识框用于在图像中标识交通信号灯。
其中，图6是本发明根据一示例实施例示出的目标识别方法的识别结果示意图，可以是根据非极大值抑制算法NMS对所有识别结果进行结果融合以确定目标对象的类别和坐标信息。
此外，现有技术中，对于检测的后处理部分NMS的计算，原始Tensorflow版本的SSD-MobileNetV2模型默认是在GPU上运行，但NMS模块的计算特点是碎片化的，并不适合GPU这类需要规模化运算的架构。因此，在本实施例中可以将NMS配置在嵌入式系统的中央处理器CPU核(例如：ARM内核上)上运行，以进一步提高运行效率更高。
可选的，还可以采用将本实施例提供的模型目标识别方法所使用的预设神经网络模型转换为TensorRT支持的模型，从而进一步加速模型代码的运行速度。
在本实施例中，通过根据预设分割方式将待识别图像分割为包括多张局部图像的局部图像集合，再利用预设神经网络模型分别对待识别图像以及所有局部图像进行目标对象的识别，从而实现对待识别图像各个部分的等效放大，并且在获得各自识别结果之后，再根据预设融合算法对所有识别结果进行结果融合以确定目标对象的类别和坐标信息，进而提高对于待识别图像中的目标对象的检出率，尤其是对于小目标对象的检出率，以适用于对于交通信号灯的识别。
图7是本发明根据一示例实施例示出的目标识别装置的结构示意图。如图7所示，本实施例提供的目标识别装置400，包括：
图像获取模块301，用于获取待识别图像；
图像分割模块302，用于根据所述待识别图像以及预设分割方式确定局部图像集合，所述局部图像集合包括多张局部图像，每张局部图像均为所述待识别图像中局部位置的图像；
目标识别模块303，用于通过预设神经网络模型分别对所述待识别图像以及所有局部图像进行目标对象的识别，以获得识别结果；
结果融合模块304，用于根据预设融合算法对所有识别结果进行结果融合以确定所述目标对象的类别和坐标信息。
在一种可能的设计中，所述图像分割模块302，具体用于：
根据所述待识别图像获取第一局部图像，所述第一局部图像的一个角与所述待识别图像的第一角重合，所述第一局部图像的高度小于所述待识别图像的高度，所述第一局部图像的宽度小于所述待识别图像的宽度；
分别沿所述第一局部图像的高度方向以及宽度方向移动相应距离，以从所述待识别图像中获取其他局部图像；
根据从所述待识别图像中获取的所有局部图像确定所述局部图像集合。
在一种可能的设计中，所述图像分割模块302，具体用于：
根据所述待识别图像获取所述第一局部图像，所述第一局部图像的左上角与所述待识别图像的左上角重合，所述第一局部图像高度为所述待识别图像高度的1/2，所述第一局部图像宽度为所述待识别图像宽度的1/2，所述待识别图像的高度为H，宽度为W；
沿所述第一局部图像的宽度方向移动W/4与W/2以对应获取第二局部图像以及第三局部图像，沿所述第一局部图像的高度方向移动H/4与H/2以对应获取第四局部图像以及第七局部图像，沿所述第一局部图像的高度方向移动W并沿所述第一局部图像的高度方向移动H/4与H/2以对应获取第六局部图像以及第九局部图像，沿所述第一局部图像的高度方向移动W/4并沿所述第一局部图像的高度方向移动H/4与H/2以对应获取第五局部图像以及第八局部图像。
在一种可能的设计中，所述结果融合模块304，具体用于：
根据非极大值抑制算法NMS对所有识别结果进行结果融合以确定所述目标对象的类别和坐标信息。
在一种可能的设计中，将所述NMS配置在嵌入式系统的中央处理器CPU核上运行。
在一种可能的设计中，所述目标对象包括：交通信号灯，所述目标对象的类别包括：红灯、黄灯、绿灯以及暗灯，所述目标对象的坐标信息包括标识框的中心坐标以及所述标识框的宽度与高度，其中，所述标识框用于在图像中标识所述交通信号灯。
在一种可能的设计中，所述预设神经网络模型采用SSD目标检测算法的检测框架，所述预设神经网络模型的主干网采用缩减后的轻量级神经网络，所述缩减后的轻量级神经网络模型为在原始轻量级神经网络模型的基础上减少各层模型通道数量后所形成的神经网络模型。
在一种可能的设计中，所述缩减后的轻量级神经网络的各层模型通道数量为原始轻量级神经网络模型对应层通道数量的T倍，所述T为小于1的正数。
在一种可能的设计中，所述缩减后的轻量级神经网络中卷积层中的步幅小于原始轻量级神经网络中卷积层中的步幅。
值得说明地，图7所示实施例提供的目标识别装置，可用于执行上述任一实施例所提供的目标识别方法，具体实现方式和技术效果类似，这里不再赘述。
图8是本发明根据一示例实施例示出的电子设备的结构示意图。如图8所示，本实施例提供的一种电子设备400，包括：
摄像头401，用于获取待识别图像；
处理器402；以及，
存储器403，用于存储所述处理器的可执行指令，该存储器还可以是flash(闪存)；
其中，所述处理器402配置为经由执行所述可执行指令来执行上述方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。
可选地，存储器403既可以是独立的，也可以跟处理器402集成在一起。
当所述存储器403是独立于处理器402之外的器件时，所述电子设备40，还可以包括：
总线404，用于连接所述摄像头401、所述处理器402以及所述存储器403。
本实施例还提供一种可读存储介质，可读存储介质中存储有计算机程序，当电子设备的至少一个处理器执行该计算机程序时，电子设备执行上述的各种实施方式提供的方法。
本实施例还提供一种程序产品，该程序产品包括计算机程序，该计算机程序存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该计算机程序，至少一个处理器执行该计算机程序使得电子设备实施上述的各种实施方式提供的方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (12)
1.一种目标识别方法，其特征在于，包括：
获取待识别图像；
根据所述待识别图像以及预设分割方式确定局部图像集合，所述局部图像集合包括多张局部图像，每张局部图像均为所述待识别图像中局部位置的图像；
通过预设神经网络模型分别对所述待识别图像以及所有局部图像进行目标对象的识别，以获得识别结果；
根据预设融合算法对所有识别结果进行结果融合以确定所述目标对象的类别和坐标信息。
2.根据权利要求1所述的一种目标识别方法，其特征在于，所述根据所述待识别图像以及预设分割方式确定局部图像集合，包括：
根据所述待识别图像获取第一局部图像，所述第一局部图像的一个角与所述待识别图像的第一角重合，所述第一局部图像的高度小于所述待识别图像的高度，所述第一局部图像的宽度小于所述待识别图像的宽度；
分别沿所述第一局部图像的高度方向以及宽度方向移动相应距离，以从所述待识别图像中获取其他局部图像；
根据从所述待识别图像中获取的所有局部图像确定所述局部图像集合。
3.根据权利要求2所述的一种目标识别方法，其特征在于，所述根据所述待识别图像获取第一局部图像，包括：
根据所述待识别图像获取所述第一局部图像，所述第一局部图像的左上角与所述待识别图像的左上角重合，所述第一局部图像高度为所述待识别图像高度的1/2，所述第一局部图像宽度为所述待识别图像宽度的1/2，所述待识别图像的高度为H，宽度为W；
相应的，所述分别沿所述第一局部图像的高度方向以及宽度方向移动相应距离，以从所述待识别图像中获取其他局部图像，包括：
沿所述第一局部图像的宽度方向移动W/4与W/2以对应获取第二局部图像以及第三局部图像，沿所述第一局部图像的高度方向移动H/4与H/2以对应获取第四局部图像以及第七局部图像，沿所述第一局部图像的高度方向移动W并沿所述第一局部图像的高度方向移动H/4与H/2以对应获取第六局部图像以及第九局部图像，沿所述第一局部图像的高度方向移动W/4并沿所述第一局部图像的高度方向移动H/4与H/2以对应获取第五局部图像以及第八局部图像。
4.根据权利要求1-3中任意一项所述的一种目标识别方法，其特征在于，所述根据预设融合算法对所有识别结果进行结果融合以确定所述目标对象的类别和坐标信息，包括：
根据非极大值抑制算法NMS对所有识别结果进行结果融合以确定所述目标对象的类别和坐标信息。
5.根据权利要求4所述的一种目标识别方法，其特征在于，将所述NMS配置在嵌入式系统的中央处理器CPU核上运行。
6.根据权利要求4所述的一种目标识别方法，其特征在于，所述目标对象包括：交通信号灯，所述目标对象的类别包括：红灯、黄灯、绿灯以及暗灯，所述目标对象的坐标信息包括标识框的中心坐标以及所述标识框的宽度与高度，其中，所述标识框用于在图像中标识所述交通信号灯。
7.根据权利要求1-3中任意一项所述的一种目标识别方法，其特征在于，所述预设神经网络模型采用SSD目标检测算法的检测框架，所述预设神经网络模型的主干网采用缩减后的轻量级神经网络，所述缩减后的轻量级神经网络模型为在原始轻量级神经网络模型的基础上减少各层模型通道数量后所形成的神经网络模型。
8.根据权利要求7所述的一种目标识别方法，其特征在于，所述缩减后的轻量级神经网络的各层模型通道数量为原始轻量级神经网络模型对应层通道数量的T倍，所述T为小于1的正数。
9.根据权利要求8所述的一种目标识别方法，其特征在于，所述缩减后的轻量级神经网络中卷积层中的步幅小于原始轻量级神经网络中卷积层中的步幅。
10.一种目标识别装置，其特征在于，包括：
图像获取模块，用于获取待识别图像；
图像分割模块，用于根据所述待识别图像以及预设分割方式确定局部图像集合，所述局部图像集合包括多张局部图像，每张局部图像均为所述待识别图像中局部位置的图像；
目标识别模块，用于通过预设神经网络模型分别对所述待识别图像以及所有局部图像进行目标对象的识别，以获得识别结果；
结果融合模块，用于根据预设融合算法对所有识别结果进行结果融合以确定所述目标对象的类别和坐标信息。
11.一种电子设备，其特征在于，包括：
摄像头，用于获取待识别图像；
处理器；以及
存储器，用于存储所述处理器的计算机程序；
其中，所述处理器被配置为通过执行所述计算机程序来实现权利要求1至9任一项所述的目标识别方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9任一项所述的目标识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010080666.8A CN113221604B (zh) | 2020-02-05 | 2020-02-05 | 目标识别方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010080666.8A CN113221604B (zh) | 2020-02-05 | 2020-02-05 | 目标识别方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113221604A true CN113221604A (zh) | 2021-08-06 |
| CN113221604B CN113221604B (zh) | 2024-06-18 |
Family
ID=77085615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010080666.8A Active CN113221604B (zh) | 2020-02-05 | 2020-02-05 | 目标识别方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113221604B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116664828A (zh) * | 2023-04-15 | 2023-08-29 | 北京中科航星科技有限公司 | 一种智能装备图像信息处理系统及方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102737254A (zh) * | 2012-06-15 | 2012-10-17 | 常州南京大学高新技术研究院 | 一种标志图像的识别方法 |
| CN108319907A (zh) * | 2018-01-26 | 2018-07-24 | 腾讯科技（深圳）有限公司 | 一种车辆识别方法、装置和存储介质 |
| CN108681707A (zh) * | 2018-05-15 | 2018-10-19 | 桂林电子科技大学 | 基于全局和局部特征融合的大角度车型识别方法和系统 |
| CN108898078A (zh) * | 2018-06-15 | 2018-11-27 | 上海理工大学 | 一种多尺度反卷积神经网络的交通标志实时检测识别方法 |
| US20190095730A1 (en) * | 2017-09-25 | 2019-03-28 | Beijing University Of Posts And Telecommunications | End-To-End Lightweight Method And Apparatus For License Plate Recognition |
| CN110334736A (zh) * | 2019-06-03 | 2019-10-15 | 北京大米科技有限公司 | 图像识别方法、装置、电子设备及介质 |
| KR20190119864A (ko) * | 2018-04-13 | 2019-10-23 | 인하대학교 산학협력단 | 딥러닝 기반의 소형 물체 검출 기법 |
| CN110674874A (zh) * | 2019-09-24 | 2020-01-10 | 武汉理工大学 | 基于目标精细组件检测的细粒度图像识别方法 |
-
2020
- 2020-02-05 CN CN202010080666.8A patent/CN113221604B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102737254A (zh) * | 2012-06-15 | 2012-10-17 | 常州南京大学高新技术研究院 | 一种标志图像的识别方法 |
| US20190095730A1 (en) * | 2017-09-25 | 2019-03-28 | Beijing University Of Posts And Telecommunications | End-To-End Lightweight Method And Apparatus For License Plate Recognition |
| CN108319907A (zh) * | 2018-01-26 | 2018-07-24 | 腾讯科技（深圳）有限公司 | 一种车辆识别方法、装置和存储介质 |
| KR20190119864A (ko) * | 2018-04-13 | 2019-10-23 | 인하대학교 산학협력단 | 딥러닝 기반의 소형 물체 검출 기법 |
| CN108681707A (zh) * | 2018-05-15 | 2018-10-19 | 桂林电子科技大学 | 基于全局和局部特征融合的大角度车型识别方法和系统 |
| CN108898078A (zh) * | 2018-06-15 | 2018-11-27 | 上海理工大学 | 一种多尺度反卷积神经网络的交通标志实时检测识别方法 |
| CN110334736A (zh) * | 2019-06-03 | 2019-10-15 | 北京大米科技有限公司 | 图像识别方法、装置、电子设备及介质 |
| CN110674874A (zh) * | 2019-09-24 | 2020-01-10 | 武汉理工大学 | 基于目标精细组件检测的细粒度图像识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| 余东行;张保明;郭海涛;赵传;徐俊峰;: "联合显著性特征与卷积神经网络的遥感影像舰船检测", 中国图象图形学报, no. 12, pages 175 - 186 * |
| 向国徽: "自动驾驶场景下的行人检测方法研究", 中国优秀硕士学位论文全文数据库, pages 139 - 108 * |
| 樊星;沈超;徐江;连心雨;刘占文;: "基于级联端对端深度架构的交通标志识别方法", 计算机测量与控制, no. 04, pages 149 - 154 * |
| 熊上导;易凡;何超;严赵军;: "基于剪切波变换和邻域差分的小目标检测算法", 红外技术, no. 01, pages 29 - 32 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116664828A (zh) * | 2023-04-15 | 2023-08-29 | 北京中科航星科技有限公司 | 一种智能装备图像信息处理系统及方法 |
| CN116664828B (zh) * | 2023-04-15 | 2023-12-15 | 北京中科航星科技有限公司 | 一种智能装备图像信息处理系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113221604B (zh) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110084292B (zh) | 基于DenseNet和多尺度特征融合的目标检测方法 | |
| CN110298266B (zh) | 基于多尺度感受野特征融合的深度神经网络目标检测方法 | |
| US20200250436A1 (en) | Video object segmentation by reference-guided mask propagation | |
| CN109190752B (zh) | 基于深度学习的全局特征和局部特征的图像语义分割方法 | |
| CN111104903B (zh) | 一种深度感知交通场景多目标检测方法和系统 | |
| CN108830171B (zh) | 一种基于深度学习的智能物流仓库引导线视觉检测方法 | |
| CN107273832B (zh) | 基于积分通道特征与卷积神经网络的车牌识别方法及系统 | |
| CN108830196A (zh) | 基于特征金字塔网络的行人检测方法 | |
| CN113723377B (zh) | 一种基于ld-ssd网络的交通标志检测方法 | |
| CN110969166A (zh) | 一种巡检场景下小目标识别方法和系统 | |
| Lyu et al. | Small object recognition algorithm of grain pests based on SSD feature fusion | |
| CN110659601B (zh) | 基于中心点的深度全卷积网络遥感图像密集车辆检测方法 | |
| CN114627447A (zh) | 基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统 | |
| CN114708437B (zh) | 目标检测模型的训练方法、目标检测方法、装置和介质 | |
| CN110599453A (zh) | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 | |
| CN109977834B (zh) | 从深度图像中分割人手与交互物体的方法和装置 | |
| CN111462140A (zh) | 一种基于区块拼接的实时图像实例分割方法 | |
| Dorbe et al. | FCN and LSTM based computer vision system for recognition of vehicle type, license plate number, and registration country | |
| CN116416503A (zh) | 一种基于多模态融合的小样本目标检测方法、系统及介质 | |
| CN115100469A (zh) | 一种基于分割算法的目标属性识别方法、训练方法和装置 | |
| CN113963333A (zh) | 一种基于改进yolof模型的交通标志牌检测方法 | |
| CN111881914B (zh) | 一种基于自学习阈值的车牌字符分割方法及系统 | |
| CN113221604A (zh) | 目标识别方法、装置、存储介质及电子设备 | |
| Zhang et al. | Small target detection based on squared cross entropy and dense feature pyramid networks | |
| CN113011408A (zh) | 多帧图片序列的字符识别、车辆识别码识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |