CN110097108A - 非机动车的识别方法、装置、设备及存储介质 - Google Patents

非机动车的识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110097108A
CN110097108A CN201910335313.5A CN201910335313A CN110097108A CN 110097108 A CN110097108 A CN 110097108A CN 201910335313 A CN201910335313 A CN 201910335313A CN 110097108 A CN110097108 A CN 110097108A
Authority
CN
China
Prior art keywords
layer
motor vehicle
convolutional layer
attribute information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910335313.5A
Other languages
English (en)
Other versions
CN110097108B (zh
Inventor
张少文
王昱
冯琰一
赵刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PCI Technology Group Co Ltd
Original Assignee
PCI Suntek Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PCI Suntek Technology Co Ltd filed Critical PCI Suntek Technology Co Ltd
Priority to CN201910335313.5A priority Critical patent/CN110097108B/zh
Publication of CN110097108A publication Critical patent/CN110097108A/zh
Application granted granted Critical
Publication of CN110097108B publication Critical patent/CN110097108B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请实施例公开了一种非机动车的识别方法、装置、设备及存储介质。所述方法包括:获取待识别非机动车的车身图像;根据所述车身图像和预先设置的检测模型确定所述待识别非机动车的特征部件的检测属性信息,所述检测属性信息至少包含类别信息和位置信息两个属性项,所述检测模型包括浅层网络和深层网络,所述浅层网络包含至少两个分支网络且深度小于所述深层网络的深度;基于所述检测属性信息对待识别图像进行识别,以确定所述待识别图像中是否包含所述待识别非机动车。本申请实施例提供的技术方案,可以准确地识别出非机动车的特征部件,提高非机动车识别结果的准确率。

Description

非机动车的识别方法、装置、设备及存储介质
技术领域
本申请实施例涉及计算机视觉技术领域,尤其涉及一种非机动车的识别方法、装置、设备及存储介质。
背景技术
非机动车是路面上一种常见的车辆。由于具有体积小、行动方便、隐蔽性强等特点,非机动车已成为交通事故逃逸和刑事案件中经常出现的车辆之一。因此,对非机动车进行识别具有较为实际的现实意义。在对非机动车进行识别时,非机动车的小部件,比如车灯、反光镜、后视镜等是非机动车的重要属性特征,是事后非机动车的反追查时的重要标志。然而,由于非机动车的车灯、反光镜、后视镜等特征部件一般具有面积小、形状不规则等特征,现有的识别算法往往不能够准确的识别出非机动车的特征部件,导致其识别结果的准确率较低。
发明内容
本申请实施例提供一种非机动车的识别方法、装置、设备及存储介质,以提高非机动车识别结果的准确率。
在第一方面,本申请实施例提供了一种非机动车的识别方法,包括:
获取待识别非机动车的车身图像;
根据所述车身图像和预先设置的检测模型确定所述待识别非机动车的特征部件的检测属性信息,所述检测属性信息至少包含类别信息和位置信息两个属性项,所述检测模型包括浅层网络和深层网络,所述浅层网络包含至少两个分支网络且深度小于所述深层网络的深度;
基于所述检测属性信息对待识别图像进行识别,以确定所述待识别图像中是否包含所述待识别非机动车。
在第二方面,本申请实施例提供了一种非机动车的识别装置,包括:
图像获取模块,获取待识别非机动车的车身图像;
信息确定模块,用于根据所述车身图像和预先设置的检测模型确定所述待识别非机动车的特征部件的检测属性信息,所述检测属性信息至少包含类别信息和位置信息两个属性项,所述检测模型包括浅层网络和深层网络,所述浅层网络包含至少两个分支网络且深度小于所述深层网络的深度;
识别模块,用于基于所述检测属性信息对待识别图像进行识别,以确定所述待识别图像中是否包含所述待识别非机动车。
在第三方面,本申请实施例提供了一种设备,包括存储器以及一个或多个处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的非机动车的识别方法。
在第四方面,本申请实施例提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的非机动车的识别方法。
本申请实施例通过根据车身图像和预先设置的检测模型确定待识别非机动车的特征部件的检测属性信息,所述检测属性信息至少包含类别信息和位置信息,所述检测模型包括浅层网络和深层网络,所述浅层网络包含至少两个分支网络且深度小于所述深层网络的深度,进而,根据该检测属性信息对待识别非机动车进行识别的方式,能够准确地识别出非机动车的特征部件,从而提高了非机动车识别结果的准确率。
附图说明
图1是本申请实施例提供的一种非机动车的识别方法的流程图;
图2是本申请实施例提供的另一种非机动车的识别方法的流程图;
图3是本申请实施例提供的一种检测模型的结构示意图;
图4是本申请实施例提供的一种浅层网络的结构示意图;
图5是本申请实施例提供的一种深层网络的结构示意图;
图6是本申请实施例提供的一种非机动车的识别装置的结构示意图;
图7是本申请实施例提供的一种设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
图1给出了本申请实施例提供的一种非机动车的识别方法的流程图,本实施例提供的非机动车的识别方法可以由非机动车的识别装置来执行,该非机动车的识别装置可通过硬件和/或软件的方式实现,并集成在具有非机动车识别功能的设备中。参考图1,该非机动车的识别方法具体包括:
步骤110、获取待识别非机动车的车身图像。
在本实施例中,待识别非机动车的车身图像可以为仅包含待识别非机动车车身区域的图像,即待识别非机动车的外部轮廓所围成区域的图像,从而提高所提取的待识别非机动车特征部位的检测属性信息的准确性;也可以是待识别非机动车的最小外接矩形所围成区域的图像,以减少获取待识别非机动车车身图像过程中所需的计算量。其中,待识别非机动车可以理解为需要进行识别的非机动车;待识别非机动车的外部轮廓和待识别非机动车的最小外接矩形可以仅基于待识别非机动车的图像确定,也可以基于待识别非机动车的车身图像和待识别非机动车的驾驶人员的图像确定,即待识别非机动车的车身图像可以由待识别非机动车的图像和驾驶人员的图像构成,本实施例不对此进行具体限定。
具体的,可以从包含待识别非机动车图像中截取待识别非机动车的车身图像。例如,将用户输入或选取的图像确定为包含待识别非机动车的图像,判断该包含待识别非机动车的图像中是否仅包含一辆非机动车,若是,则将该非机动车确定为待识别非机动车,并在该包含待识别非机动车的图像中截取待识别非机动车的车身图像;若否,则基于用户的选取操作确定该图像中的待识别非机动车,并在该包含待识别非机动车的图像中截取待识别非机动车的车身图像。
步骤120、根据所述车身图像和预先设置的检测模型确定所述待识别非机动车的特征部件的检测属性信息,所述检测属性信息至少包含类别信息和位置信息两个属性项,所述检测模型包括浅层网络和深层网络,所述浅层网络包含至少两个分支网络且深度小于所述深层网络的深度。
在本实施例中,检测模型为能够识别车身图像中包含的非机动车的特征部件并确定各特征部件的检测属性信息的模型;特征部件可以理解为对非机动车具有标识性作用的部件,其数量可以为一个或多个,本实施例待中待识别机动车的特征部件优选包括基于待识别非机动车的车身图像能够识别出的所有特征部件。特征部件的类别信息可以为其所属的类别,如车灯、反光镜、后视镜、挡泥板或后尾箱等,特征部件的位置信息可以为特征部件某一点在车身图像中的位置坐标或与车身上某一点的相对位置信息。
示例性的,在获取到待识别非机动车的车身图像后,可以将该车身图像输入至检测模型中,获取该检测模型的输出值,将该输出值确定为待识别非机动车的特征部件的检测属性信息,或者,在获取到检测模型的输出值后,进一步基于置信度对检测模型的输出值进行筛选,并将筛选后的输出值确定为特征部件的检测属性信息。
在本实施例中,检测模型中包括浅层网络和深层网络,还可以进一步包括回归层,浅层网络可分别与检测模型的输入层以及该深层网络相连,深层网络可与回归层相连,回归层可与检测模型的输出层相连。其中,浅层网络和深层网络中的“浅”与“深”只是相对而言,浅层网络和深层网络的层数可以根据需要设置,只需深层网络的深度大于浅层网络的深度即可;浅层网络优选包括至少四层卷积层和至少两层池化层,深层网络优选包括至少六层卷积层和至少两层池化层;检测模型可以预先通过训练获得,如可以获取一定数量的非机动车的车身图像作为训练样本并标记各车身图像中的特征部件的检测属性信息,将车身图像及其包含的特征部件的检测属性信息输入至检测模型中进行训练,得到检测模型;检测模型的回归层可以使用softmax-loss和center-loss作为监督信号,并利用softmax-loss计算得到检测模型回归的类别信息和位置信息。
在此,对于某一特征部件而言,检测模型的输出值可以包括该特征部件的类别信息、类别信息的置信度、位置信息以及位置信息的置信度,如特征部件类别为车灯的置信度为0.8,类别为反光镜的置信度为0.15,类别为后视镜的置信度为0.05,位置坐标为(x1,y1)的置信度为0.75,位置坐标为(x2,y2)的置信度为0.25,等等。其中,各类别信息的置信度之和优选为1,各位置信息的置信度之和优选为1。
步骤130、基于所述检测属性信息对待识别图像进行识别,以确定所述待识别图像中是否包含所述待识别非机动车。
具体的,分别将待识别非机动车各特征部件的检测属性信息与待识别图像中包含的非机动车的相应特征部件的检测属性信息进行匹配,得到待识别非机动车与待识别图像中包含的各非机动车的相似度,若待识别图像中存在与待识别车辆的相似度大于设定相似度阈值的非机动车,则确定待识别图像中包含待识别非机动车,并将该相似度大于设定相似度阈值的非机动车确定为待识别非机动车;若待识别图像中不存在与待识别车辆的相似度大于设定相似度阈值的非机动车,则确定待识别图像中不包含待识别非机动车。其中,待识别图像中包含的非机动车的特征部件的检测属性信息可以基于非机动车的车身图像和检测模型确定,相应特征部件可以理解为待识别图像中包含的与待识别非机动车的某一特征部件类别相同的部件;待识别图像可以理解为识别待识别非机动车时的图像集合中的图像,如过车记录图库中的图像,此时,举例而言,可以将识别非机动车各特征部件的检测属性信息与过车记录图库各图片中包含的非机动车的相应特征部件的检测属性信息进行匹配,得到包含待识别非机动车的图像集合,从而确定待识别非机动车的过车记录。
上述,通过根据车身图像和预先设置的检测模型确定待识别非机动车的特征部件的检测属性信息,所述检测属性信息至少包含类别信息和位置信息,所述检测模型包括浅层网络和深层网络,所述浅层网络包含至少两个分支网络且深度小于所述深层网络的深度,进而,根据该检测属性信息对待识别非机动车进行识别的方式,能够准确地识别出非机动车的特征部件,从而提高了非机动车识别结果的准确率。
在上述实施例的基础上,图2给出了本申请实施例提供的另一种非机动车的识别方法的流程图。该非机动车的识别方法是对上述非机动车的识别方法的具体化。参考图2,该非机动车的识别方法包括:
步骤210、获取待识别非机动车的车身图像。
步骤220、将所述车身图像输入至预先设置的检测模型中,以确定所述车身图像中包含的所述待识别非机动车的特征部件的待筛选属性信息以及所述待筛选属性信息的置信度。
具体的,采用浅层网络提取车身图像的特征信息,将提取得到的车身图像的特征信息输入至深层网络中,得到非机动车特征部件在检测模型中的特征向量,并采用回归层基于所得到的特征向量对特征部件的类别和位置进行回归,得到各特征部件的待检测属性信息。其中,检测模型的输出值即为车身图像中包含的待识别非机动车的特征部件的待筛选属性信息以及各待筛选属性信息的置信度;待筛选属性信息可以理解为需要进一步进行筛选的检测属性信息,即其既包含置信度较高的检测属性信息,又包含置信度较低的检测属性信息。
步骤230、采用所述置信度对所述待筛选属性信息进行筛选,得到所述特征部件的检测属性信息,其中,所述待筛选属性信息包含的属性项与所述检测属性信息包含的属性项相同,所述检测属性信息至少包含类别信息和位置信息两个属性项,所述检测模型包括浅层网络和深层网络,所述浅层网络包含至少两个分支网络且深度小于所述深层网络的深度。
示例性的,针对每一个待筛选属性信息,判断该待筛属性信息的置信度是否大于或等于置信度阈值,若是,则将该待筛选属性信息确定为待识别非机动车的一个检测属性信息;若否,则将该待筛选属性信息舍弃,由此,可以确保后续对非机动车进行识别时所采用的待识别非机动车的检测属性信息均具有较高的置信度,从而,进一步提高待识别非机动车识别结果的准确性。其中,置信度阈值可以由用户或工作人员根据需要设置,如可以设置为1、0.95或0.9等值。
步骤240、若所述检测属性信息中包含至少两个位置信息,则采用设定算法对所述检测属性信息进行修正。
相应的,若所述检测属性信息中仅包含一个位置信息,则可以直接基于所述检测属性信息对所述待识别图像进行识别。
在本实施例中,对检测属性信息进行修正时所采用的修正算法可以根据需要设置,如可以将所述至少两个位置信息修正为至少两个位置信息中置信度较高的位置信息、选取两个位置信息连线上的某一点(如中点等)作为修正后的位置信息、选取两个位置信息所对应的成像区域的并集对应的位置信息作为修正后的位置信息、将两个成像区域的最小外接矩形对应的位置信息作为修正后的位置信息、选取两个位置信息所对应的两个成像区域中面积较大的成像区域对应的位置信息作为修正后的位置信息,等等,本实施例不对此作具体限制。其中,所述至少两个位置信息均为同一特征部件的位置信息,即若待识别非机动车某一特征部件的检测属性信息中包含至少两个位置信息,则对该特征部件的检测属性信息进行修正。
为了进一步提高修正后的检测属性信息的准确性,本实施例优选可以选取两个位置信息所对应的两个成像区域中面积较大的成像区域对应的位置信息作为修正后的位置信息。此时,所述检测属性信息还可以包括与所述位置信息对应的尺寸信息,即每个位置信息对应一个尺寸信息,所述采用设定算法对所述检测属性信息进行修正可以包括:分别根据每个位置信息以及所述位置信息对应的尺寸信息确定所述特征部件在所述车身图像中的成像区域;针对任意两个成像区域,如果所述两个成像区域的重叠区域的面积与所述两个成像区域的面积之和的比值大于设定阈值,则将所述两个成像区域中面积较小的成像区域对应的位置信息和尺寸信息标记为非准确信息;删除所述检测属性信息中的非准确信息。相应的,如果两个成像区域的重叠区域的面积与所述两个成像区域的面积之和的比值小于或等于设定阈值,则在基于此两个成像区域对特征部件的检测属性信息进行修正时,不将此两个成像区域对应的位置信息和尺寸信息标记为非准确信息。
其中,尺寸信息可以包括特征部件在车身图像中的长度和宽度,特征部件在车身图像中的成像区域可以为特征部件的外接矩形;预设阈值可以根据需要设置,如可以设置为0.6;检测属性信息中的非准确信息可以在标记后即删除,即在确定某一位置信息及与其对应的尺寸信息为非准确信息后即将该位置信息及与其对应的尺寸信息自该特征部件的检测属性信息中删除,也可以在检测属性信息中的非准确信息均标记完成后,再统一将各非准确信息删除,本实施例不对此进行限制。
示例性的,在确定每个位置信息对应的成像区域后,可以将各成像区域两两组合,得到多个成像区域组,随机获取一个未处理过的成像区域组作为当前成像区域组,判断当前成像区域组中的两个成像区域的重叠区域的面积与两个成像区域的面积之和的比值是否大于设定阈值,若是,则所述两个成像区域中面积较小的成像区域标记为非准确区域,将该非准确区域对应的位置信息和尺寸信息标记为非准确信息,删除该非准确信息以及包含该非准确区域的成像区域组,并返回上述随机获取一个未处理过的成像区域组作为当前成像区域组的操作;若否,则返回上述随机获取一个未处理过的成像区域组作为当前成像区域组的操作,直至各成像区域组均处理完成为止,以完成对检测属性信息的修正。
步骤250、基于修正后的检测属性信息对待识别图像进行识别,以确定所述待识别图像中是否包含所述待识别非机动车。
上述,通过将车身图像输入至预先设置的检测模型中,以确定车身图像中包含的待识别非机动车的特征部件的待筛选属性信息以及所述待筛选属性信息的置信度,采用置信度对该待筛选属性信息进行筛选,得到特征部件的检测属性信息,在检测属性信息中包含至少两个位置信息时,对检测属性信息进行修正,并基于修正后的检测属性信息对待识别非机动车进行识别,能够进一步提高非机动车识别结果的准确性,降低非机动车识别过程中误识别及漏识别情况出现的概率。
在上述实施例的基础上,参考图3,所述检测模型还可以包括回归层,所述回归层包括类别回归层和位置回归层,所述类别回归层和所述位置回归层均分别与所述深层网络以及所述检测模型的输出层相连。本实施例中,回归层可以由一层或多层构成,当回归层由一层构成时,可以由该层同时对特征部件的各个属性项进行回归;当回归层由多层构成时,其所包含层的数量可以根据检测属性信息中属性项的个数确定,回归层中包含的层优选与检测属性信息中的属性项一一对应,由某一属性项对应的层对该属性项进行回归。优选的,回归层可以包含多层,且各层与检测属性信息中的属性项一一对应,如包含类别回归层和位置回归层等,通过类别回归层回归得到特征部件的类别信息,通过位置回归层回归得到特征部件的位置信息,从而进一步提高回归结果的准确性,并降低回归过程所耗费的时间。
在上述实施例的基础上,参考图3和图4,所述浅层网络可以包括均分别与所述深层网络和所述检测模型的输入层(图4中未给出)连接的第一分支网络、第二分支网络和第三分支网络,其中,所述第一分支网络包括依次连接的第一卷积层、第二卷积层、第三卷积层和第一池化层;所述第二分支网络包括依次连接的第四卷积层、第五卷积层、第六卷积层和第二池化层;所述第三分支网络包括依次连接的第七卷积层、第八卷积层、第九卷积层和第三池化层。通过此多分支浅层网络,可以有效获取待识别非机动车车身图像的细节特征,从而有效处理非机动车的车灯、反光镜、后视镜等特征部件图像过小化、不规则化和反光强烈等问题。
其中,浅层网络中的各卷积层的卷积核的个数(num_output)、核大小(kernel_size)、步长(stride)和扩充边缘(pad)等参数以及浅层网络中的各池化层的类型(Pooling)、kernel_size和stride等参数可以根据需要设置。优选的,第一卷积层、第二卷积层、第五卷积层和第七卷积层的num_output可以设置为64,第三卷积层、第六卷积层、第八卷积层和第九卷积层的num_output可以设置为128,第四卷积层的num_output可以设置为32;第一卷积层、第五卷积层和第九卷积层的kernel_size可以设置为1,第二卷积层、第四卷积层和第八卷积层的kernel_size可以设置为2,第三卷积层、第六卷积层和第七卷积层的kernel_size可以设置为3;浅层网络中的各卷积层的stride可以设置为1,浅层网络中的各卷积层的pad可以设置为1;浅层网络中的各池化层的类型可以为Max,浅层网络中的各池化层的kernel_size可以设置为2,浅层网络中的各池化层的stride可以设置为2,以进一步提高检测模型所输出检测结果的准确性。
在上述实施例的基础上,参考图5,所述深层网络可以包括第十卷积层、第十一卷积层、第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、第十六卷积层、第十七卷积层、第十八卷积层、第十九卷积层、第二十卷积层、第二十一卷积层和第二十二卷积层,还包括第四池化层、第五池化层、第六池化层和第七池化层,其中,所述第十卷积层、所述第十一卷积层和所述第十二卷积层均分别与所述浅层网络(图5中未给出)以及所述第四池化层相连;所述第十三卷积层和所述第十四卷积层均分别与所述第四池化层以及所述第五池化层相连;所述第十五卷积层、所述第十六卷积层和所述第十七卷积层均分别与所述第五池化层以及所述第六池化层相连;所述第十八卷积层和所述第十九卷积层均分别与所述第六池化层以及所述第七池化层相连;所述第二十卷积层、所述第二十一卷积层和所述第二十二卷积层均分别与所述第七池化层以及所述检测模型的回归层(图5中未给出)相连。在通过浅层网络获得待识别非机动车车身图像的细节特征后,再利用深层网络获取相应图像的语义特征。在本实施例中,池化层的引入使得图像具有较好的尺度不变性;多个卷积层连接一个池化层,可以针对图像有效获取不同尺度下的语义特征。
其中,深层网络中的各卷积层的num_output、kernel_size、stride、pad和学习率等参数以及深层网络中的各池化层的类型、kernel_size和stride等参数可以根据需要设置。优选的,第十卷积层、第十一卷积层、第十二卷积层、第二十卷积层、第二十一卷积层和第二十二卷积层的num_output可以设置256,第十三卷积层、第十四卷积层、第十八卷积层和第十九卷积层的num_output可以设置为512,第十五卷积层、第十六卷积层和第十七卷积层的num_output可以设置为1024;深层网络中的各卷积层的kernel_size可以设置为2,深层网络中的各卷积层的stride可以设置为1,深层网络中的各卷积层的pad可以设置为1,深层网络中的各卷积层的学习率可以设置为1;深层网络中的各池化层的类型可以为Max,深层网络中的各池化层的kernel_size可以设置为2,深层网络中的各池化层的stride可以设置为2,以进一步提高提高检测模型所输出的检测结果的准确性。
在上述实施例的基础上,图6为本申请实施例提供的一种非机动车的识别装置的结构示意图。参考图6,本实施例提供的非机动车的识别装置具体包括:图像获取模块301、信息确定模块302、以及识别模块303。
其中,图像获取模块301,获取待识别非机动车的车身图像;信息确定模块302,用于根据所述车身图像和预先设置的检测模型确定所述待识别非机动车的特征部件的检测属性信息,所述检测属性信息至少包含类别信息和位置信息两个属性项,所述检测模型包括浅层网络和深层网络,所述浅层网络包含至少两个分支网络且深度小于所述深层网络的深度;识别模块303,用于基于所述检测属性信息对待识别图像进行识别,以确定所述待识别图像中是否包含所述待识别非机动车。
上述,通过图像获取模块获取待识别非机动车的车身图像,通过信息确定模块根据车身图像和预先设置的检测模型确定待识别非机动车的特征部件的检测属性信息,所述检测属性信息至少包含类别信息和位置信息,所述检测模型包括浅层网络和深层网络,所述浅层网络包含至少两个分支网络且深度小于所述深层网络的深度,通过识别模块根据该检测属性信息对待识别非机动车进行识别的方式。本实施例通过采用该技术方案,可以准确地识别出非机动车的特征部件,提高非机动车识别结果的准确率。
在上述方案中,所述信息确定模块302可以包括:输入单元,用于将所述车身图像输入至预先设置的检测模型中,以确定所述车身图像中包含的所述待识别非机动车的特征部件的待筛选属性信息以及所述待筛选属性信息的置信度;筛选单元,用于采用所述置信度对所述待筛选属性信息进行筛选,得到所述特征部件的检测属性信息,其中,所述待筛选属性信息包含的属性项与所述检测属性信息包含的属性项相同。
在上述方案中,所述信息确定模块302还可以包括:修正单元,用于在得到所述特征部件的检测属性信息之后,若所述检测属性信息中包含至少两个位置信息,则采用设定算法对所述检测属性信息进行修正;相应的,所述识别模块303可以用于:基于所述检测属性信息对待识别图像进行识别,以确定所述待识别图像中是否包含所述待识别非机动车。
在上述方案中,所述修正单元可具体用于:分别根据每个位置信息以及所述位置信息对应的尺寸信息确定所述特征部件在所述车身图像中的成像区域;针对任意两个成像区域,如果所述两个成像区域的重叠区域的面积同所述两个成像区域的面积之和的比值大于设定阈值,则将所述两个成像区域中面积较小的成像区域对应的位置信息和尺寸信息标记为非准确信息;删除所述检测属性信息中的非准确信息。
进一步地,所述检测模型还可以包括回归层,所述回归层包括类别回归层和位置回归层,所述类别回归层和所述位置回归层均分别与所述深层网络以及所述检测模型的输出层相连。
在上述方案中,所述浅层网络可以包括均分别与所述深层网络和所述检测模型的输入层连接的第一分支网络、第二分支网络和第三分支网络,其中,所述第一分支网络包括依次连接的第一卷积层、第二卷积层、第三卷积层和第一池化层;所述第二分支网络包括依次连接的第四卷积层、第五卷积层、第六卷积层和第二池化层;所述第三分支网络包括依次连接的第七卷积层、第八卷积层、第九卷积层和第三池化层。
在上述方案中,所述深层网络可以包括第十卷积层、第十一卷积层、第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、第十六卷积层、第十七卷积层、第十八卷积层、第十九卷积层、第二十卷积层、第二十一卷积层和第二十二卷积层,还包括第四池化层、第五池化层、第六池化层和第七池化层,其中,所述第十卷积层、所述第十一卷积层和所述第十二卷积层均分别与所述浅层网络以及所述第四池化层相连;所述第十三卷积层和所述第十四卷积层均分别与所述第四池化层以及所述第五池化层相连;所述第十五卷积层、所述第十六卷积层和所述第十七卷积层均分别与所述第五池化层以及所述第六池化层相连;所述第十八卷积层和所述第十九卷积层均分别与所述第六池化层以及所述第七池化层相连;所述第二十卷积层、所述第二十一卷积层和所述第二十二卷积层均分别与所述第七池化层以及所述检测模型的回归层相连。
本申请实施例提供的非机动车的识别装置可以用于执行上述实施例提供的非机动车的识别方法,具备相应的功能和有益效果。
本申请实施例提供了一种设备,该设备中可集成本申请实施例提供的非机动车的识别装置。图7是本申请实施例提供的一种设备的结构示意图。参考图7,该设备包括处理器70和存储器71,还可以包括输入装置72以及输出装置73。该设备中处理器70的数量可以是一个或者多个,图7中以一个处理器70为例。该设备中存储器71的数量可以是一个或者多个,图7中以一个存储器71为例。该设备的处理器70、存储器71、输入装置72以及输出装置73可以通过总线或者其他方式连接,图7中以通过总线连接为例。
存储器71作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本申请任意实施例所述的非机动车的识别方法对应的程序指令/模块(例如非机动车的识别装置中的图像获取模块301、信息确定模块302和识别模块303)。存储器71可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据设备的使用所创建的数据等。此外,存储器71可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器71可进一步包括相对于处理器70远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置72可用于接收输入的数字或者字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入,还可以是用于采集车辆图像的摄像头。输出装置73可以包括显示屏等。需要说明的是,输入装置72和输出装置73的具体组成可以根据实际情况设定。
处理器70通过运行存储在存储器71中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述非机动车的识别方法。
上述提供的设备可用于执行上述实施例提供的非机动车的识别方法,具备相应的功能和有益效果。
本申请实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行非机动车的识别方法,该非机动车的识别方法包括:获取待识别非机动车的车身图像;根据所述车身图像和预先设置的检测模型确定所述待识别非机动车的特征部件的检测属性信息,所述检测属性信息至少包含类别信息和位置信息两个属性项,所述检测模型包括浅层网络和深层网络,所述浅层网络包含至少两个分支网络且深度小于所述深层网络的深度;基于所述检测属性信息对待识别图像进行识别,以确定所述待识别图像中是否包含所述待识别非机动车。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括:安装介质,例如CD-ROM、软盘或磁带装置;计算机系统存储器或随机存取存储器,诸如DRAM、DDR RAM、SRAM、EDO RAM,兰巴斯(Rambus)RAM等;非易失性存储器,诸如闪存、磁介质(例如硬盘或光存储);寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外,存储介质可以位于程序在其中被执行的第一计算机系统中,或者可以位于不同的第二计算机系统中,第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的非机动车的识别方法,还可以执行本申请任意实施例所提供的非机动车的识别方法中的相关操作。
上述实施例中提供的非机动车的识别装置、存储介质及设备可执行本申请任意实施例所提供的非机动车的识别方法,未在上述实施例中详尽描述的技术细节,可参见本申请任意实施例所提供的非机动车的识别方法。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由权利要求的范围决定。

Claims (10)

1.一种非机动车的识别方法,其特征在于,包括:
获取待识别非机动车的车身图像;
根据所述车身图像和预先设置的检测模型确定所述待识别非机动车的特征部件的检测属性信息,所述检测属性信息至少包含类别信息和位置信息两个属性项,所述检测模型包括浅层网络和深层网络,所述浅层网络包含至少两个分支网络且深度小于所述深层网络的深度;
基于所述检测属性信息对待识别图像进行识别,以确定所述待识别图像中是否包含所述待识别非机动车。
2.根据权利要求1所述的方法,其特征在于,所述根据所述车身图像和预先设置的检测模型确定所述待识别非机动车的特征部件的检测属性信息,包括:
将所述车身图像输入至预先设置的检测模型中,以确定所述车身图像中包含的所述待识别非机动车的特征部件的待筛选属性信息以及所述待筛选属性信息的置信度;
采用所述置信度对所述待筛选属性信息进行筛选,得到所述特征部件的检测属性信息,其中,所述待筛选属性信息包含的属性项与所述检测属性信息包含的属性项相同。
3.根据权利要求2所述的方法,其特征在于,在得到所述特征部件的检测属性信息之后,还包括:
若所述检测属性信息中包含至少两个位置信息,则采用设定算法对所述检测属性信息进行修正;
所述基于所述检测属性信息对所述待识别图像进行识别,包括:
基于修正后的检测属性信息对所述待识别图像进行识别。
4.根据权利要求3所述的方法,其特征在于,所述检测属性信息还包括与所述位置信息对应的尺寸信息,所述采用设定算法对所述检测属性信息进行修正,包括:
分别根据每个位置信息以及所述位置信息对应的尺寸信息确定所述特征部件在所述车身图像中的成像区域;
针对任意两个成像区域,如果所述两个成像区域的重叠区域的面积同所述两个成像区域的面积之和的比值大于设定阈值,则将所述两个成像区域中面积较小的成像区域对应的位置信息和尺寸信息标记为非准确信息;
删除所述检测属性信息中的非准确信息。
5.根据权利要求1所述的方法,其特征在于,所述检测模型还包括回归层,所述回归层包括类别回归层和位置回归层,所述类别回归层和所述位置回归层均分别与所述深层网络以及所述检测模型的输出层相连。
6.根据权利要求1-5任一所述的方法,其特征在于,所述浅层网络包括均分别与所述深层网络和所述检测模型的输入层连接的第一分支网络、第二分支网络和第三分支网络,其中,
所述第一分支网络包括依次连接的第一卷积层、第二卷积层、第三卷积层和第一池化层;
所述第二分支网络包括依次连接的第四卷积层、第五卷积层、第六卷积层和第二池化层;
所述第三分支网络包括依次连接的第七卷积层、第八卷积层、第九卷积层和第三池化层。
7.根据权利要求1-5任一所述的方法,其特征在于,所述深层网络包括第十卷积层、第十一卷积层、第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、第十六卷积层、第十七卷积层、第十八卷积层、第十九卷积层、第二十卷积层、第二十一卷积层和第二十二卷积层,还包括第四池化层、第五池化层、第六池化层和第七池化层,其中,
所述第十卷积层、所述第十一卷积层和所述第十二卷积层均分别与所述浅层网络以及所述第四池化层相连;
所述第十三卷积层和所述第十四卷积层均分别与所述第四池化层以及所述第五池化层相连;
所述第十五卷积层、所述第十六卷积层和所述第十七卷积层均分别与所述第五池化层以及所述第六池化层相连;
所述第十八卷积层和所述第十九卷积层均分别与所述第六池化层以及所述第七池化层相连;
所述第二十卷积层、所述第二十一卷积层和所述第二十二卷积层均分别与所述第七池化层以及所述检测模型的回归层相连。
8.一种非机动车的识别装置,其特征在于,包括:
图像获取模块,获取待识别非机动车的车身图像;
信息确定模块,用于根据所述车身图像和预先设置的检测模型确定所述待识别非机动车的特征部件的检测属性信息,所述检测属性信息至少包含类别信息和位置信息两个属性项,所述检测模型包括浅层网络和深层网络,所述浅层网络包含至少两个分支网络且深度小于所述深层网络的深度;
识别模块,用于基于所述检测属性信息对待识别图像进行识别,以确定所述待识别图像中是否包含所述待识别非机动车。
9.一种设备,其特征在于,包括:存储器以及一个或多个处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7任一所述的非机动车的识别方法。
10.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的非机动车的识别方法。
CN201910335313.5A 2019-04-24 2019-04-24 非机动车的识别方法、装置、设备及存储介质 Active CN110097108B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910335313.5A CN110097108B (zh) 2019-04-24 2019-04-24 非机动车的识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910335313.5A CN110097108B (zh) 2019-04-24 2019-04-24 非机动车的识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110097108A true CN110097108A (zh) 2019-08-06
CN110097108B CN110097108B (zh) 2021-03-02

Family

ID=67445750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910335313.5A Active CN110097108B (zh) 2019-04-24 2019-04-24 非机动车的识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110097108B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490135A (zh) * 2019-08-20 2019-11-22 上海眼控科技股份有限公司 车辆年检方法、装置、计算机设备和存储介质
CN111369753A (zh) * 2020-02-28 2020-07-03 深圳市商汤科技有限公司 非机动车监测方法及相关产品
CN111898475A (zh) * 2020-07-10 2020-11-06 浙江大华技术股份有限公司 非机动车的状态估计方法及装置、存储介质、电子装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171112A (zh) * 2017-12-01 2018-06-15 西安电子科技大学 基于卷积神经网络的车辆识别与跟踪方法
CN108229468A (zh) * 2017-06-28 2018-06-29 北京市商汤科技开发有限公司 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
WO2018153319A1 (zh) * 2017-02-23 2018-08-30 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
CN108629354A (zh) * 2017-03-17 2018-10-09 杭州海康威视数字技术股份有限公司 目标检测方法及装置
CN108875932A (zh) * 2018-02-27 2018-11-23 北京旷视科技有限公司 图像识别方法、装置和系统及存储介质
CN109102024A (zh) * 2018-08-14 2018-12-28 中山大学 一种用于物体精细识别的层次语义嵌入模型及其实现方法
US20190073560A1 (en) * 2017-09-01 2019-03-07 Sri International Machine learning system for generating classification data and part localization data for objects depicted in images
CN109635656A (zh) * 2018-11-12 2019-04-16 平安科技(深圳)有限公司 基于神经网络的车辆属性识别方法、装置、设备及介质
WO2019223655A1 (zh) * 2018-05-22 2019-11-28 杭州海康威视数字技术股份有限公司 非机动车载人的检测

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018153319A1 (zh) * 2017-02-23 2018-08-30 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
CN108629354A (zh) * 2017-03-17 2018-10-09 杭州海康威视数字技术股份有限公司 目标检测方法及装置
CN108229468A (zh) * 2017-06-28 2018-06-29 北京市商汤科技开发有限公司 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
US20190073560A1 (en) * 2017-09-01 2019-03-07 Sri International Machine learning system for generating classification data and part localization data for objects depicted in images
CN108171112A (zh) * 2017-12-01 2018-06-15 西安电子科技大学 基于卷积神经网络的车辆识别与跟踪方法
CN108875932A (zh) * 2018-02-27 2018-11-23 北京旷视科技有限公司 图像识别方法、装置和系统及存储介质
WO2019223655A1 (zh) * 2018-05-22 2019-11-28 杭州海康威视数字技术股份有限公司 非机动车载人的检测
CN109102024A (zh) * 2018-08-14 2018-12-28 中山大学 一种用于物体精细识别的层次语义嵌入模型及其实现方法
CN109635656A (zh) * 2018-11-12 2019-04-16 平安科技(深圳)有限公司 基于神经网络的车辆属性识别方法、装置、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王奉,赵司聪: "《 关于对公安交管部门启用高清人脸识别设备抓拍曝光闯红灯违法行为的法律分析》", 《汽车与安全》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490135A (zh) * 2019-08-20 2019-11-22 上海眼控科技股份有限公司 车辆年检方法、装置、计算机设备和存储介质
CN111369753A (zh) * 2020-02-28 2020-07-03 深圳市商汤科技有限公司 非机动车监测方法及相关产品
CN111898475A (zh) * 2020-07-10 2020-11-06 浙江大华技术股份有限公司 非机动车的状态估计方法及装置、存储介质、电子装置

Also Published As

Publication number Publication date
CN110097108B (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
US11551337B2 (en) Boundary-aware object removal and content fill
CN109345510A (zh) 物体检测方法、装置、设备、存储介质及车辆
CN110097108A (zh) 非机动车的识别方法、装置、设备及存储介质
CN110135318B (zh) 过车记录的确定方法、装置、设备及存储介质
CN110222780A (zh) 物体检测方法、装置、设备和存储介质
CN108428248B (zh) 车窗定位方法、系统、设备及存储介质
CN111814794A (zh) 文本检测方法、装置、电子设备及存储介质
CN113657409A (zh) 车辆损失检测方法、装置、电子设备及存储介质
US8639023B2 (en) Method and system for hierarchically matching images of buildings, and computer-readable recording medium
CN115457395A (zh) 基于通道注意力与多尺度特征融合的轻量级遥感目标检测方法
CN113177559B (zh) 结合广度和密集卷积神经网络的图像识别方法、系统、设备及介质
CN111738249A (zh) 图像检测方法、装置、电子设备及存储介质
US20230137337A1 (en) Enhanced machine learning model for joint detection and multi person pose estimation
CN109726678A (zh) 一种车牌识别的方法及相关装置
CN111507151B (zh) 使得能够评价自动行驶客体检测过程的支援方法及装置
CN111401415A (zh) 计算机视觉任务模型的训练方法、装置、设备和存储介质
CN113111708B (zh) 车辆匹配样本生成方法、装置、计算机设备和存储介质
US20220234501A1 (en) Alerting on Driving Affecting Signal
CN111126271B (zh) 卡口抓拍图像车辆检测方法、计算机存储介质及电子设备
CN113111709B (zh) 车辆匹配模型生成方法、装置、计算机设备和存储介质
US20220412745A1 (en) Obtaining a vehicle environment map based on aerial imaging
CN115311690B (zh) 一种端到端的行人结构化信息及其从属关系的检测方法
US11783705B2 (en) Highway exit alert
US20230410357A1 (en) Providing a prediction of a roll angle of a motorcycle
US20240101115A9 (en) Off road assistance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Room 306, zone 2, building 1, Fanshan entrepreneurship center, Panyu energy saving technology park, No. 832 Yingbin Road, Donghuan street, Panyu District, Guangzhou City, Guangdong Province

Patentee after: Jiadu Technology Group Co.,Ltd.

Address before: Room 306, zone 2, building 1, Fanshan entrepreneurship center, Panyu energy saving technology park, No. 832 Yingbin Road, Donghuan street, Panyu District, Guangzhou City, Guangdong Province

Patentee before: PCI-SUNTEKTECH Co.,Ltd.