CN113468938B - 交通图像识别方法、装置、图像处理设备及可读存储介质 - Google Patents
交通图像识别方法、装置、图像处理设备及可读存储介质 Download PDFInfo
- Publication number
- CN113468938B CN113468938B CN202010758712.5A CN202010758712A CN113468938B CN 113468938 B CN113468938 B CN 113468938B CN 202010758712 A CN202010758712 A CN 202010758712A CN 113468938 B CN113468938 B CN 113468938B
- Authority
- CN
- China
- Prior art keywords
- image
- convolution layer
- vehicle
- traffic
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000001514 detection method Methods 0.000 claims abstract description 66
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 238000010586 diagram Methods 0.000 claims description 80
- 238000002372 labelling Methods 0.000 claims description 71
- 238000012549 training Methods 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 12
- 238000004088 simulation Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 238000001746 injection moulding Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 abstract description 4
- 238000003379 elimination reaction Methods 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 8
- 239000000243 solution Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000002156 mixing Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种交通图像识别方法、装置、图像处理设备及可读存储介质，涉及图像识别领域。本申请在获取到待识别交通图像后，通过调用人车识别模型中的检测特征金字塔网络模型提取该待识别交通图像的交通图像特征，并通过调用人车识别模型中的人车标注模型在该待识别交通图像中标注出尺寸与交通图像特征中的人车图像特征匹配的检测框，从而通过直接标注与当前交通图像中的人车图像特征相契合的方框，降低执行剔除尺寸固定的无用候选框时所需的计算资源损耗，降低被标注方框出现抖动或闪烁现象的可能性，以降低人车漏检率，提高交通图像识别的精准度。
Description
技术领域
本申请涉及图像识别领域，具体而言，涉及一种交通图像识别方法、装置、图像处理设备及可读存储介质。
背景技术
随着科学技术的不断发展，图像识别技术在各大领域的应用愈发广泛。以交通管理领域为例，通常需要采用图像识别技术在高速公路上进行车辆行人检测。目前，市面上常规的人车识别技术是基于监控摄像头采集到的图像实现的，需要兼顾对图像中远距离的小目标及近距离的大目标的检测操作，通过采用固定尺寸的预设框在待识别图像中生成大量的候选框，并消耗大量计算资源剔除无用的候选框通过保留有用的候选框完成相应的识别检测操作。在此过程中，因计算资源有限且计算资源被剔除候选框操作大量占用，通常出现候选框抖动或闪烁现象，导致检测结果往往存在明显偏差。同时，也因候选框尺寸固定而易遗漏对图像中的某些物体进行识别检测，整体的人车漏检率较高。
发明内容
有鉴于此，本申请的目的在于提供一种交通图像识别方法、装置、图像处理设备及可读存储介质，能够降低执行无用候选框剔除操作的计算资源消耗，降低人车漏检率，提高交通图像识别的精准度。
为了实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供一种交通图像识别方法，应用于图像处理设备，所述图像处理设备存储有人车识别模型，所述人车识别模型包括检测特征金字塔网络模型及人车标注模型，所述方法包括：
获取待识别交通图像；
调用所述检测特征金字塔网络模型提取所述待识别交通图像的交通图像特征；
调用所述人车标注模型在所述待识别交通图像中标注尺寸与所述交通图像特征中的人车图像特征匹配的检测框，得到所述待识别交通图像的人车识别结果，其中所述检测框用于圈定对应交通图像中的行人和/或车辆。
在可选的实施方式中，所述调用所述人车标注模型在所述待识别交通图像中标注尺寸与所述交通图像特征中的人车图像特征匹配的检测框，包括：
调用所述人车标注模型根据所述交通图像特征在所述待识别交通图像中标注用于圈定被识别对象所在区域的引导框，其中同一被识别对象所在区域处标注有多个尺寸不同的引导框；
调用所述人车标注模型计算每个引导框的拟真度得分，并从所有引导框中筛选出拟真度得分不小于预设得分阈值的预测框；
调用所述人车标注模型计算每个预测框与其他预测框之间的交并比数值，并从筛选出的所有预测框中确定与其他预测框的交并比数值均不大于预设交并比阈值的目标预测框；
将确定出的目标预测框作为所述待识别交通图像中的尺寸与人车图像特征匹配的检测框。
在可选的实施方式中，所述调用所述人车标注模型计算每个预测框与其他预测框之间的交并比数值，并从筛选出的所有预测框中确定与其他预测框的交并比数值均不大于预设交并比阈值的目标预测框，包括：
根据每个预测框的拟真度得分按照降序的方式对各预测框进行排序；
按照排序结果依次遍历每个未筛除预测框，计算当前访问的未筛除预测框与其他未筛选预测框之间的交并比数值，并对应交并比数值大于预设交并比阈值的所述其他未筛选预测框进行筛除。
在可选的实施方式中，所述检测特征金字塔网络模型包括第一金字塔网络、第二金字塔网络及第三金字塔网络，其中所述第一金字塔网络包括第一卷积层、第二卷积层及第三卷积层，所述第二金字塔网络包括第一卷积层及第五卷积层，所述第三金字塔网络包括第六卷积层及第七卷积层，所述调用所述检测特征金字塔网络模型提取所述待识别交通图像的交通图像特征，包括：
将所述待识别交通图像作为第一卷积层的输入特征图，并由该第一卷积层对自身输入特征图进行图像卷积操作，得到第一卷积层的输出特征图；
将第一卷积层的输出特征图作为第二卷积层的输入特征图，并由该第二卷积层对自身输入特征图进行图像卷积操作，得到第二卷积层的输出特征图；
将第二卷积层的输出特征图作为第三卷积层的输入特征图，并由该第三卷积层对自身输入特征图进行图像卷积操作，得到第三卷积层的输出特征图；
将第三卷积层的输出特征图与该第三卷积层的输入特征图进行特征合并，将合并得到的第一特征图作为第四卷积层的输入特征图，并由该第四卷积层对自身输入特征图进行图像卷积操作，得到第四卷积层的输出特征图；
将第四卷积层的输出特征图与第二卷积层的输入特征图进行特征合并，将合并得到的第二特征图作为第五卷积层的输入特征图，并由该第五卷积层对自身输入特征图进行图像卷积操作，得到第五卷积层的输出特征图；
将第五卷积层的输出特征图经下采样得到的特征图与该输出特征图进行特征合并，将合并得到的第三特征图作为第六卷积层的输入特征图，并由该第六卷积层对自身输入特征图进行图像卷积操作，得到第六卷积层的输出特征图；
将第四卷积层的输出特征图与第六卷积层的输出特征图进行特征合并，将合并得到的第四特征图作为第七卷积层的输入特征图，并由该第七卷积层对自身输入特征图进行图像卷积操作，得到第七卷积层的输出特征图；
以第六卷积层的输出特征图、第七卷积层的输出特征图及第五卷积层的输出特征图经下采样得到的特征图，作为该待识别交通图像的交通图像特征。
在可选的实施方式中，每个卷积层包括非1*1卷积核的多个拟合卷积核，则卷积层对自身输入特征图进行图像卷积操作，包括：
分别采用该卷积层所包括的各个拟合卷积核与该卷积层的输入特征图进行图像卷积，得到该卷积层下各拟合卷积核的拟合特征图；
根据该卷积层下各拟合卷积核的拟合特征图的元素位置对应关系，将该卷积层下的所有拟合特征图进行特征合并，得到该卷积层的输出特征图。
在可选的实施方式中，所述方法还包括：
获取交通图像样本集，其中所述交通图像样本集中的每个交通样本图像上标注有用于表示被圈定物体为行人或车辆的真实框；
采用所述交通图像样本集对初始化金字塔网络模型进行训练，并以Softmax交叉熵损失函数及完全交并比损失函数对该初始化金字塔网络模型中每个卷积层所包括的卷积核进行拟合优化，得到所述检测特征金字塔网络模型；
在经训练所述检测特征金字塔网络模型得到的每个交通样本图像的图像特征的基础上，以每个交通样本图像中的真实框的尺寸及位置为参考训练初始化方框标注模型，形成所述人车标注模型的引导框标注模块；
在形成所述引导框标注模块的基础上，以每个交通样本图像中的真实框的尺寸及位置为基准训练得到所述人车标注模型的拟真度计算模块；
基于交并比计算算法以及模型训练过程中的被标注方框的拟真度大小训练得到所述人车标注模型的检测框筛选模块。
在可选的实施方式中，所述以每个交通样本图像中的真实框的尺寸及位置为参考训练初始化方框标注模型，形成所述人车标注模型的引导框标注模块，包括：
以每个交通样本图像的图像特征中的真实框中心位置为训练样本，训练该人车标注模型确定待识别对象所在区域时的引导框中心点位置预测模块；
在基于预测出的引导框中心点位置的基础上，构建多个不同尺寸的待选框，并计算每个待选框与真实框之间的交并比数值；
针对同一引导框中心点位置的交并比数值大于预设交并比阈值的目标待选框，采用所述Softmax交叉熵损失函数及所述完全交并比损失函数对该目标待选框的尺寸进行优化，得到该人车标注模型的引导框尺寸预测模块。
第二方面，本申请实施例提供一种交通图像识别装置，应用于图像处理设备，所述图像处理设备存储有人车识别模型，所述人车识别模型包括检测特征金字塔网络模型及人车标注模型，所述装置包括：
图像获取模块，用于获取待识别交通图像；
特征提取模块，用于调用所述检测特征金字塔网络模型提取所述待识别交通图像的交通图像特征；
识别标注模块，用于调用所述人车标注模型在所述待识别交通图像中标注尺寸与所述交通图像特征中的人车图像特征匹配的检测框，得到所述待识别交通图像的人车识别结果，其中所述检测框用于圈定对应交通图像中的行人和/或车辆。
第三方面，本申请实施例提供一种图像处理设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令，以实现前述实施方式中任意一项所述的交通图像识别方法。
第四方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现前述实施方式中任意一项所述的交通图像识别方法。
本申请实施例的有益效果是：
本申请在获取到待识别交通图像后，通过调用人车识别模型中的检测特征金字塔网络模型提取该待识别交通图像的交通图像特征，并通过调用人车识别模型中的人车标注模型在该待识别交通图像中标注出尺寸与交通图像特征中的人车图像特征匹配的检测框，从而通过直接标注与当前交通图像中的人车图像特征相契合的方框，降低执行剔除尺寸固定的无用候选框时所需的计算资源损耗，降低被标注方框出现抖动或闪烁现象的可能性，以降低人车漏检率，提高交通图像识别的精准度。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的图像处理设备的结构组成示意图；
图2为本申请实施例提供的交通图像识别方法的流程示意图之一；
图3为本申请实施例提供的检测特征金字塔网络模型的结构示意图；
图4为图2中的步骤S230包括的子步骤的流程示意图；
图5为本申请实施例提供的交通图像识别方法的流程示意图之二；
图6为图5中的步骤S330包括的子步骤的流程示意图；
图7为本申请实施例提供的交通图像识别装置的模块示意图之一；
图8为本申请实施例提供的交通图像识别装置的模块示意图之二。
图标：10-图像处理设备；11-存储器；12-处理器；13-通信单元；14-显示单元；100-交通图像识别装置；110-图像获取模块；120-特征提取模块；130-识别标注模块；140-样本获取模块；150-模型训练模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要理解的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互结合。
请参照图1，图1是本申请实施例提供的图像处理设备10的结构组成示意图。在本申请实施例中，所述图像处理设备10可用于对高速公路或城市交通道路等不同交通位置处的交通图像进行低漏检率且高精准度的人车识别操作。其中，所述图像处理设备10可以是，但不限于，个人计算机、监控设备及服务器等。
在本实施例中，所述图像处理设备10包括交通图像识别装置100、存储器11、处理器12、通信单元13及显示单元14。所述存储器11、所述处理器12、所述通信单元13及所述显示单元14各个元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，所述存储器11、所述处理器12、所述通信单元13及所述显示单元14这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
在本实施例中，所述存储器11可用于存储程序，所述处理器12在接收到执行指令后，可相应地执行所述程序。其中，所述存储器11可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable ProgrammableRead-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable ProgrammableRead-Only Memory，EEPROM)等。其中，所述存储器11也可用于存储实现低漏检率且高精准度的人车识别检测操作所需的人车识别模型，所述图像处理设备10通过该人车识别模型降低交通图像识别过程中执行剔除尺寸固定的无用候选框时的计算资源损耗，降低人车漏检率，提高交通图像识别的精准度。
在本实施例中，所述处理器12可以是一种具有信号的处理能力的集成电路芯片。所述处理器12可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)及网络处理器(Network Processor，NP)、数字信号处理器(Digital Signal Processor，DSP)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。在本实施例的一种实施方式中，所述处理器12为GPU。
在本实施例中，所述通信单元13用于通过网络建立所述图像处理设备10与其他电子设备之间的通信连接，并通过网络进行数据交互。
在本实施例中，所述显示单元14包括显示屏，所述图像处理设备10可通过所述显示单元14对获取到的待识别交通图像进行显示，或对完成人车识别检测操作的交通图像进行显示。
在本实施例中，所述交通图像识别装置100包括至少一个能够以软件或固件的形式存储于所述存储器11中或固化在所述图像处理设备10的操作系统中的软件功能模块。所述处理器12可用于执行所述存储器11存储的可执行模块，例如所述交通图像识别装置100所包括软件功能模块及计算机程序等。所述图像处理设备10可通过所述交通图像识别装置100在待识别交通图像中标注与该交通图像中的人车图像特征相契合的方框，降低现有技术采用尺寸固定的预设框执行无用候选框剔除操作的计算资源消耗，以降低被标注方框出现抖动或闪烁现象的可能性，并降低人车漏检率，提高交通图像识别的精准度。
可以理解的是，图1所示的方框示意图仅为图像处理设备10的一种结构组成示意图，所述图像处理设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
在本申请中，为确保上述图像处理设备10能够节省人车识别过程中的计算资源，并降低人车漏检率，提升识别精准度，本申请通过提供应用于上述图像处理设备10的交通图像识别方法实现上述功能。下面对本申请提供的交通图像识别方法进行详细描述。
请参照图2，图2是本申请实施例提供的交通图像识别方法的流程示意图之一。在本申请实施例中，图2所示的交通图像识别方法如下所示。
步骤S210，获取待识别交通图像。
在本实施例中，所述图像处理设备10可通过网络从其他电子设备处获取待识别交通图像，其中所述其他电子设备可以是，但不限于，存储该待识别交通图像的终端设备、拍摄该待识别交通图像的拍摄设备等；若所述图像处理设备10包括摄像头，则可由所述图像处理设备10通过所述摄像头拍摄得到所述待识别交通图像。
步骤S210，调用检测特征金字塔网络模型提取待识别交通图像的交通图像特征。
在本实施例中，所述图像处理设备10存储的人车识别模型包括检测特征金字塔网络模型及人车标注模型。其中，所述检测特征金字塔网络模型由初始化特征金字塔网络模型训练得到，用于提取对应交通图像中的与行人和/或车辆相关的交通图像特征。所述人车标注模型用于在对应图像中标注出尺寸与该图像的人车图像特征匹配的检测框，避免如现有技术那般需要剔除大量尺寸固定的无用候选框，在进行检测框标注时能够具有足够的计算资源，避免出现方框抖动或闪烁现象，降低了整个人车识别过程的计算资源损耗，同时通过使检测框的尺寸随着不同待识别交通图像的变化而变化，不会因方框尺寸始终固定的因素出现大量的人车漏检现象，进而达到节省设备计算资源，提高交通识别效率，降低人车漏检率，提高交通图像识别的精准度的效果。
可选地，请参照图3，图3是本申请实施例提供的检测特征金字塔网络模型的结构示意图。在本实施例中，所述检测特征金字塔网络模型可以包括第一金字塔网络、第二金字塔网络及第三金字塔网络，其中所述第一金字塔网络包括第一卷积层、第二卷积层及第三卷积层，所述第二金字塔网络包括第一卷积层及第五卷积层，所述第三金字塔网络包括第六卷积层及第七卷积层。所述第一卷积层的输出通道口与所述第二卷积层的输入通道口相连；所述第二卷积层的输入通道口与所述第三卷积层的输入通道口相连；所述第三卷积层的输出通道口与一个上采样通道的一端连通，该上采样通道的另一端与该第三卷积层的输入通道口相连并与所述第四卷积层的输入通道口相连；第四卷积层的输出通道口与第二卷积层的输入通道口相连而后与第五卷积层的输入通道口相连；所述第五卷积层的输出通道口与一个下采样通道的一端连通，该下采样通道的另一端与该第五卷积层的输出通道口相连并与所述第六卷积层的输入通道口相连；所述第六卷积层的输出通道口与所述第四卷积层的输出通道口相连而后与第七卷积层的输入通道口相连。
此时，所述调用检测特征金字塔网络模型提取待识别交通图像的交通图像特征的步骤可以包括：
将待识别交通图像作为第一卷积层的输入特征图，并由该第一卷积层对自身输入特征图进行图像卷积操作，得到第一卷积层的输出特征图；
将第一卷积层的输出特征图作为第二卷积层的输入特征图，并由该第二卷积层对自身输入特征图进行图像卷积操作，得到第二卷积层的输出特征图；
将第二卷积层的输出特征图作为第三卷积层的输入特征图，并由该第三卷积层对自身输入特征图进行图像卷积操作，得到第三卷积层的输出特征图；
将第三卷积层的输出特征图经上采样得到的特征图与该第三卷积层的输入特征图进行特征合并，将合并得到的第一特征图作为第四卷积层的输入特征图，并由该第四卷积层对自身输入特征图进行图像卷积操作，得到第四卷积层的输出特征图；
将第四卷积层的输出特征图与第二卷积层的输入特征图进行特征合并，将合并得到的第二特征图作为第五卷积层的输入特征图，并由该第五卷积层对自身输入特征图进行图像卷积操作，得到第五卷积层的输出特征图；
将第五卷积层的输出特征图经下采样得到的特征图与该输出特征图进行特征合并，将合并得到的第三特征图作为第六卷积层的输入特征图，并由该第六卷积层对自身输入特征图进行图像卷积操作，得到第六卷积层的输出特征图；
将第四卷积层的输出特征图与第六卷积层的输出特征图进行特征合并，将合并得到的第四特征图作为第七卷积层的输入特征图，并由该第七卷积层对自身输入特征图进行图像卷积操作，得到第七卷积层的输出特征图；
以第六卷积层的输出特征图、第七卷积层的输出特征图及第五卷积层的输出特征图经下采样得到的特征图，作为该待识别交通图像的交通图像特征。
其中，在常规的图像卷积过程中，从存储器11中获取待卷积数据的操作会占用相当多的计算资源，有时候甚至比具体的卷积运算所消耗的计算资源还多，为降低计算资源损耗，本申请可通过将每个卷积层的通道数设置为与其输入特征图的通道数保持一致，以降低整个检测特征金字塔网络模型的工作耗时。同时，也可通过采用GPU配置所述处理器12，以通过GPU所具有的并行计算的特性，降低所述检测特征金字塔网络模型中第一金字塔网络的计算量，并增大第二金字塔网络及第三金字塔网络的计算量。
在本实施例中，每个卷积层包括非1*1卷积核的多个拟合卷积核，所述检测特征金字塔网络模型通过利用非1*1卷积核的拟合卷积核替代现有技术中的1*1卷积核进行图像卷积操作，以改善现有技术所存在的卷积神经网络的拟合能力差的问题。在本实施例的一种实施方式中，每个卷积层所对应的多个拟合卷积核可以包括1*3卷积核、3*3卷积核及3*1卷积核。此时，所述检测特征金字塔网络模型中的每个卷积层对自身输入特征图进行图像卷积操作的步骤，包括：
分别采用该卷积层所包括的各个拟合卷积核与该卷积层的输入特征图进行图像卷积，得到该卷积层下各拟合卷积核的拟合特征图；
根据该卷积层下各拟合卷积核的拟合特征图的元素位置对应关系，将该卷积层下的所有拟合特征图进行特征合并，得到该卷积层的输出特征图。
其中，所述元素位置对应关系可由同一卷积层下的多个拟合卷积核在同一空白卷积核中的卷积核参数对应关系进行表达。所述图像处理设备10通过将同一输入特征图在不同非1*1卷积核处卷积得到的特征图进行逐元素相加，等同于采用相同的计算资源来计算该输入特征图在由所述不同非1*1卷积核整合得到的卷积核处进行卷积，在不浪费计算资源的情况下增加了检测特征金字塔网络模型的拟合能力，提升了人车识别模型的性能。
步骤S230，调用人车标注模型在待识别交通图像中标注尺寸与交通图像特征中的人车图像特征匹配的检测框，得到待识别交通图像的人车识别结果，其中检测框用于圈定对应交通图像中的行人和/或车辆。
在本实施例中，所述图像处理设备10通过调用人车识别模型中的人车标注模型基于待识别交通图像对应的交通图像特征，在该待识别交通图像中直接标注出与该交通图像特征中的人车图像特征相契合的检测框，使所述待识别交通图像上标注的方框尺寸是直接与人车图像特征匹配的，会随着待识别交通图像的不同而自适应方框尺寸的，无需如现有技术那般剔除尺寸固定的无用候选框，从而降低了设备执行剔除尺寸固定的无用候选框时所需的计算资源损耗，使设备能够向具体方框标注操作提供更充足的计算资源，使被标注方框与真实框更为贴近，降低被标注方框出现抖动或闪烁现象的可能性。同时，也因标注的检测框的尺寸是与人车图像特征匹配的因素，不易出现遗漏对图像中的某些物体的识别检测操作，降低了人车漏检率，从而提高了交通图像识别的精准度。所述图像处理设备10可通过为行人对象分配一种颜色的检测框，为车辆对象分配另一种颜色的检测框，使标注在待识别交通图像中的检测框可基于自身不同颜色表现出所述人车识别模型对该待识别交通图像中行人和/或车辆的识别结果。
可选地，请参照图4，图4是图2中的步骤S230包括的子步骤的流程示意图。在本实施例中，所述步骤S230中的调用人车标注模型在待识别交通图像中标注尺寸与交通图像特征中的人车图像特征匹配的检测框的步骤可以包括子步骤S231～子步骤S234。
子步骤S231，调用人车标注模型根据交通图像特征在待识别交通图像中标注用于圈定被识别对象所在区域的引导框，其中同一被识别对象所在区域处标注有多个尺寸不同的引导框。
在本实施例中，所述人车标注模型在进行引导框标注时，会基于提取出的交通图像特征判断该待识别交通图像中各特征区域中是否存在可被识别为行人或车辆的疑似物体，并以存在的疑似物体作为被识别对象。其中，当所述图像处理设备10基于所述人车标注模型在所述待识别交通图像中确定出某个被识别对象后，会以该被识别对象轮廓的中心位置为引导框中心位置，以不同尺寸大小为圈定边界，针对同一被识别对象进行多个尺寸不同的引导框的标注操作。在本实施例的一种实施方式中，所述图像处理设备10可在确定出被识别对象后，进一步地根据该被识别对象所表现出的轮廓特征初步判断该被识别对象是行人还是车辆，从而选择颜色匹配的引导框进行标注，其中行人对象所对应的引导框颜色与车辆对象所对应的引导框颜色不同。
子步骤S232，调用人车标注模型计算每个引导框的拟真度得分，并从所有引导框中筛选出拟真度得分不小于预设得分阈值的预测框。
在本实施例中，所述人车标注模型在被训练其方框标注功能的过程中，会由工程师基于训练样本中标注的真实框，训练该人车标注模型判断其标注的引导框与真实框之间的拟真度得分，此时所述拟真度得分用于表示对应引导框相对于真实框的真实可靠性，其数值越高则表明对应引导框越接近图像本身的真实框。
子步骤S233，调用人车标注模型计算每个预测框与其他预测框之间的交并比数值，并从筛选出的所有预测框中确定与其他预测框的交并比数值均不大于预设交并比阈值的目标预测框。
在本实施例中，所述图像处理设备10可通过在所有预测框中筛选与其他任意一个预测框的交并比数值不大于预设交并比阈值的目标预测框的方式，在同一被识别对象处存在的高度重叠的预测框中得到一个拟真度得分最高且质量最好的预测框，针对该被识别对象进行特征圈定表达。
其中，所述图像处理设备10可采用非极大值抑制的方式快速求得目标预测框。具体地，所述调用人车标注模型计算每个预测框与其他预测框之间的交并比数值，并从筛选出的所有预测框中确定与其他预测框的交并比数值均不大于预设交并比阈值的目标预测框的步骤，包括：
根据每个预测框的拟真度得分按照降序的方式对各预测框进行排序；
按照排序结果依次遍历每个未筛除预测框，计算当前访问的未筛除预测框与其他未筛选预测框之间的交并比数值，并对应交并比数值大于预设交并比阈值的所述其他未筛选预测框进行筛除。
子步骤S234，将确定出的目标预测框作为待识别交通图像中的尺寸与人车图像特征匹配的检测框。
在本申请实施例中，所述图像处理设备10通过调用人车识别模型执行上述步骤S210～步骤S230，降低执行无用候选框剔除操作的计算资源消耗，降低人车漏检率，提高交通图像识别的精准度。
可选地，请参照图5，图5是本申请实施例提供的交通图像识别方法的流程示意图之二。在本申请实施例中，图5所示的交通图像识别方法与图2所示的交通图像识别方法相比，还包括步骤S310～步骤S350，以通过步骤S310～步骤S350实现人车识别模型的训练过程。
步骤S310，获取交通图像样本集，其中交通图像样本集中的每个交通样本图像上标注有用于表示被圈定物体为行人或车辆的真实框。
在本实施例中，所述图像处理设备10可通过摄像设备获取该图像处理设备10所针对的道路实时路况的图像信息，并由工程师根据自身理解在获取到的图像信息中标注路况中的车辆位置信息和行人位置信息，得到与车辆对象对应的交通样本图像及车辆图像位置，以及与行人对象对应的交通样本图像及行人图像位置，其中图像位置由覆盖对应对象的最小矩形框表示。当由多个工程师对同一交通图像进行人车信息标注时，针对该交通图像计算该交通图像内被标注区域是哪个类别的概率，可采用对象类别概率＝(对象被标注为某个类别的次数)/(该对象被标注的次数)进行计算，而当该对象类别概率大于某个概率阈值时，对应被标注区域圈定了对应类别对象。
步骤S320，采用交通图像样本集对初始化金字塔网络模型进行训练，并以Softmax交叉熵损失函数及完全交并比损失函数对该初始化金字塔网络模型中每个卷积层所包括的卷积核进行拟合优化，得到检测特征金字塔网络模型。
在本实施例中，所述图像处理设备10通过构建与上述检测特征金字塔网络模型的架构匹配的初始化金字塔网络模型，并采用获取到的交通图像样本集对该初始化金字塔网络模型进行训练，以确保训练得到的金字塔网络模型能够针对交通图像中与人车关联的交通图像特征。
在本实施例中，所述Softmax交叉熵损失函数可采用以下式子进行表达：
其中，Xhwy表示对应标注方框所圈定的物体被判定为第y类别的概率，Xhwk表示对应标注方框所圈定的物体被判定为第k类别的概率，n表示整个方框批注过程中所涉及的对象类别总数，lp(Xhwy)表示关于Xhwy的Softmax交叉熵损伤函数值。
在本实施例中，所述完全交并比损失函数可采用以下式子进行表达：
其中，wgt表示真实框的长度尺寸，hgt表示真实框的宽度尺寸，w表示被标注方框的长度尺寸，h表示被标注方框的宽度尺寸，IoU表示被标注方框与真实框之间的交并比，ρ2(b,bgt)表示被标注方框中心位置与真实框中心位置之间的欧氏距离，c2表示被标注方框与真实框的最小外接矩形的对角线长度，LcIoU表示关于IoU的完全交并比损失函数值。
在本实施例中，所述图像处理设备10通过上述两个损失函数对交通图像特征提取功能进行训练，以使训练出的检测特征金字塔网络模型中的每个卷积层所涵盖的多个卷积核可相互拟合。
步骤S330，在经训练检测特征金字塔网络模型得到的每个交通样本图像的图像特征的基础上，以每个交通样本图像中的真实框的尺寸及位置为参考训练初始化方框标注模型，形成人车标注模型的引导框标注模块。
在本实施例中，当所述图像处理设备10基于训练得到的检测特征金字塔网络模型提取出交通图像样本集中每个交通样本图像的图像特征后，以每个交通样本图像中的真实框的尺寸及位置为参考，训练该初始化方框标注模型，使该标注模型能够相应地形成所述人车标注模型的引导框标注模块，以通过该引导框标注模块实现对某些对象物体的图像特征标注不同尺寸的引导框的功能。
可选地，请参照图6，图6是图5中的步骤S330包括的子步骤的流程示意图。在本实施例中，所述引导框标注模块可以包括引导框中心点位置预测模块及引导框尺寸预测模块，此时所述步骤S330可以包括子步骤S331～子步骤S333。
子步骤S331，以每个交通样本图像的图像特征中的真实框中心位置为训练样本，训练该人车标注模型确定待识别对象所在区域时的引导框中心点位置预测模块。
子步骤S332，在基于预测出的引导框中心点位置的基础上，构建多个不同尺寸的待选框，并计算每个待选框与真实框之间的交并比数值。
子步骤S333，针对同一引导框中心点位置的交并比数值大于预设交并比阈值的目标待选框，采用Softmax交叉熵损失函数及完全交并比损失函数对该目标待选框的尺寸进行优化，得到该人车标注模型的引导框尺寸预测模块。
步骤S340，在形成引导框标注模块的基础上，以每个交通样本图像中的真实框的尺寸及位置为基准训练得到人车标注模型的拟真度计算模块。
步骤S350，基于交并比计算算法以及模型训练过程中的被标注方框的拟真度大小训练得到人车标注模型的检测框筛选模块。
在本申请实施例中，所述图像处理设备10通过执行上述步骤S310～步骤S350，完成对能够降低计算资源损耗、降低人车漏检率且提升人车识别精准度的人车识别模型的训练操作，以使训练出的人车识别模型实现图2所示的交通图像识别方法。
在本申请中，为确保所述图像处理设备10所包括的交通图像识别装置100能够正常实施，本申请通过对所述交通图像识别装置100进行功能模块划分的方式实现其功能。下面对本申请提供的交通图像识别装置100的具体组成进行相应描述。
请参照图7，图7是本申请实施例提供的交通图像识别装置100的模块示意图之一。在本申请实施例中，所述交通图像识别装置100包括图像获取模块110、特征提取模块120及识别标注模块130。
图像获取模块110，用于获取待识别交通图像。
特征提取模块120，用于调用检测特征金字塔网络模型提取待识别交通图像的交通图像特征。
识别标注模块130，用于调用人车标注模型在待识别交通图像中标注尺寸与交通图像特征中的人车图像特征匹配的检测框，得到待识别交通图像的人车识别结果，其中检测框用于圈定对应交通图像中的行人和/或车辆。
请参照图8，图8是本申请实施例提供的交通图像识别装置100的模块示意图之二。在本申请实施例中，所述交通图像识别装置100还可以包括样本获取模块140及模型训练模块150。
样本获取模块140，用于获取交通图像样本集，其中交通图像样本集中的每个交通样本图像上标注有用于表示被圈定物体为行人或车辆的真实框。
模型训练模块150，用于采用交通图像样本集对初始化金字塔网络模型进行训练，并以Softmax交叉熵损失函数及完全交并比损失函数对该初始化金字塔网络模型中每个卷积层所包括的卷积核进行拟合优化，得到检测特征金字塔网络模型。
所述模型训练模块150，还用于在经训练检测特征金字塔网络模型得到的每个交通样本图像的图像特征的基础上，以每个交通样本图像中的真实框的尺寸及位置为参考训练初始化方框标注模型，形成人车标注模型的引导框标注模块。
所述模型训练模块150，还用于在形成引导框标注模块的基础上，以每个交通样本图像中的真实框的尺寸及位置为基准训练得到人车标注模型的拟真度计算模块。
所述模型训练模块150，还用于基于交并比计算算法以及模型训练过程中的被标注方框的拟真度大小训练得到人车标注模型的检测框筛选模块。
需要说明的是，本申请实施例所提供的交通图像识别装置100，其基本原理及产生的技术效果与前述应用于图像处理设备10的交通图像识别方法相同，为简要描述，本实施例部分未提及之处，可参考上述的针对交通图像识别方法的描述内容。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，在本申请实施例提供的一种交通图像识别方法、装置、图像处理设备及可读存储介质中，本申请在获取到待识别交通图像后，通过调用人车识别模型中的检测特征金字塔网络模型提取该待识别交通图像的交通图像特征，并通过调用人车识别模型中的人车标注模型在该待识别交通图像中标注出尺寸与交通图像特征中的人车图像特征匹配的检测框，从而通过直接标注与当前交通图像中的人车图像特征相契合的方框，降低执行剔除尺寸固定的无用候选框时所需的计算资源损耗，降低被标注方框出现抖动或闪烁现象的可能性，以降低人车漏检率，提高交通图像识别的精准度。
以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (9)
1.一种交通图像识别方法，其特征在于，应用于图像处理设备，所述图像处理设备存储有人车识别模型，所述人车识别模型包括检测特征金字塔网络模型及人车标注模型，所述方法包括：
获取待识别交通图像；
调用所述检测特征金字塔网络模型提取所述待识别交通图像的交通图像特征；
调用所述人车标注模型在所述待识别交通图像中标注尺寸与所述交通图像特征中的人车图像特征匹配的检测框，得到所述待识别交通图像的人车识别结果，其中所述检测框用于圈定对应交通图像中的行人和/或车辆；
其中，所述调用所述人车标注模型在所述待识别交通图像中标注尺寸与所述交通图像特征中的人车图像特征匹配的检测框，包括：
调用所述人车标注模型根据所述交通图像特征将所述待识别交通图像中的可被识别为行人或车辆的疑似物体作为被识别对象，并判断该被识别对象是行人还是车辆，而后以该被识别对象轮廓的中心位置为引导框中心位置，以不同尺寸大小为圈定边界，针对同一被识别对象选择颜色匹配的多个引导框进行标注，其中该被识别对象轮廓的中心位置为多个引导框共同的中心位置，行人对象所对应的引导框颜色与车辆对象所对应的引导框颜色不同，每个引导框用于圈定对应被识别对象所在区域；
调用所述人车标注模型计算每个引导框的拟真度得分，并从所有引导框中筛选出拟真度得分不小于预设得分阈值的预测框，其中所述拟真度得分用于表示对应引导框相对于真实框的真实可靠性；
调用所述人车标注模型计算每个预测框与其他预测框之间的交并比数值，并从筛选出的所有预测框中确定与其他预测框的交并比数值均不大于预设交并比阈值的目标预测框；
将确定出的目标预测框作为所述待识别交通图像中的尺寸与人车图像特征匹配的检测框。
2.根据权利要求1所述的方法，其特征在于，所述调用所述人车标注模型计算每个预测框与其他预测框之间的交并比数值，并从筛选出的所有预测框中确定与其他预测框的交并比数值均不大于预设交并比阈值的目标预测框，包括：
根据每个预测框的拟真度得分按照降序的方式对各预测框进行排序；
按照排序结果依次遍历每个未筛除预测框，计算当前访问的未筛除预测框与其他未筛选预测框之间的交并比数值，并对应交并比数值大于预设交并比阈值的所述其他未筛选预测框进行筛除。
3.根据权利要求1所述的方法，其特征在于，所述检测特征金字塔网络模型包括第一金字塔网络、第二金字塔网络及第三金字塔网络，其中所述第一金字塔网络包括第一卷积层、第二卷积层及第三卷积层，所述第二金字塔网络包括第一卷积层及第五卷积层，所述第三金字塔网络包括第六卷积层及第七卷积层，所述调用所述检测特征金字塔网络模型提取所述待识别交通图像的交通图像特征，包括：
将所述待识别交通图像作为第一卷积层的输入特征图，并由该第一卷积层对自身输入特征图进行图像卷积操作，得到第一卷积层的输出特征图；
将第一卷积层的输出特征图作为第二卷积层的输入特征图，并由该第二卷积层对自身输入特征图进行图像卷积操作，得到第二卷积层的输出特征图；
将第二卷积层的输出特征图作为第三卷积层的输入特征图，并由该第三卷积层对自身输入特征图进行图像卷积操作，得到第三卷积层的输出特征图；
将第三卷积层的输出特征图经上采样得到的特征图与该第三卷积层的输入特征图进行特征合并，将合并得到的第一特征图作为第四卷积层的输入特征图，并由该第四卷积层对自身输入特征图进行图像卷积操作，得到第四卷积层的输出特征图；
将第四卷积层的输出特征图与第二卷积层的输入特征图进行特征合并，将合并得到的第二特征图作为第五卷积层的输入特征图，并由该第五卷积层对自身输入特征图进行图像卷积操作，得到第五卷积层的输出特征图；
将第五卷积层的输出特征图经下采样得到的特征图与该输出特征图进行特征合并，将合并得到的第三特征图作为第六卷积层的输入特征图，并由该第六卷积层对自身输入特征图进行图像卷积操作，得到第六卷积层的输出特征图；
将第四卷积层的输出特征图与第六卷积层的输出特征图进行特征合并，将合并得到的第四特征图作为第七卷积层的输入特征图，并由该第七卷积层对自身输入特征图进行图像卷积操作，得到第七卷积层的输出特征图；
以第六卷积层的输出特征图、第七卷积层的输出特征图及第五卷积层的输出特征图经下采样得到的特征图，作为该待识别交通图像的交通图像特征。
4.根据权利要求3所述的方法，其特征在于，每个卷积层包括非1*1卷积核的多个拟合卷积核，则卷积层对自身输入特征图进行图像卷积操作，包括：
分别采用该卷积层所包括的各个拟合卷积核与该卷积层的输入特征图进行图像卷积，得到该卷积层下各拟合卷积核的拟合特征图；
根据该卷积层下各拟合卷积核的拟合特征图的元素位置对应关系，将该卷积层下的所有拟合特征图进行特征合并，得到该卷积层的输出特征图。
5.根据权利要求1-4中任意一项所述的方法，其特征在于，所述方法还包括：
获取交通图像样本集，其中所述交通图像样本集中的每个交通样本图像上标注有用于表示被圈定物体为行人或车辆的真实框；
采用所述交通图像样本集对初始化金字塔网络模型进行训练，并以Softmax交叉熵损失函数及完全交并比损失函数对该初始化金字塔网络模型中每个卷积层所包括的卷积核进行拟合优化，得到所述检测特征金字塔网络模型；
在经训练所述检测特征金字塔网络模型得到的每个交通样本图像的图像特征的基础上，以每个交通样本图像中的真实框的尺寸及位置为参考训练初始化方框标注模型，形成所述人车标注模型的引导框标注模块；
在形成所述引导框标注模块的基础上，以每个交通样本图像中的真实框的尺寸及位置为基准训练得到所述人车标注模型的拟真度计算模块；
基于交并比计算算法以及模型训练过程中的被标注方框的拟真度大小训练得到所述人车标注模型的检测框筛选模块。
6.根据权利要求5所述的方法，其特征在于，所述以每个交通样本图像中的真实框的尺寸及位置为参考训练初始化方框标注模型，形成所述人车标注模型的引导框标注模块，包括：
以每个交通样本图像的图像特征中的真实框中心位置为训练样本，训练该人车标注模型确定待识别对象所在区域时的引导框中心点位置预测模块；
在基于预测出的引导框中心点位置的基础上，构建多个不同尺寸的待选框，并计算每个待选框与真实框之间的交并比数值；
针对同一引导框中心点位置的交并比数值大于预设交并比阈值的目标待选框，采用所述Softmax交叉熵损失函数及所述完全交并比损失函数对该目标待选框的尺寸进行优化，得到该人车标注模型的引导框尺寸预测模块。
7.一种交通图像识别装置，其特征在于，应用于图像处理设备，所述图像处理设备存储有人车识别模型，所述人车识别模型包括检测特征金字塔网络模型及人车标注模型，所述装置包括：
图像获取模块，用于获取待识别交通图像；
特征提取模块，用于调用所述检测特征金字塔网络模型提取所述待识别交通图像的交通图像特征；
识别标注模块，用于调用所述人车标注模型在所述待识别交通图像中标注尺寸与所述交通图像特征中的人车图像特征匹配的检测框，得到所述待识别交通图像的人车识别结果，其中所述检测框用于圈定对应交通图像中的行人和/或车辆；
其中，所述识别标注模块调用所述人车标注模型在所述待识别交通图像中标注尺寸与所述交通图像特征中的人车图像特征匹配的检测框的方式，包括：
调用所述人车标注模型根据所述交通图像特征将所述待识别交通图像中的可被识别为行人或车辆的疑似物体作为被识别对象，并判断该被识别对象是行人还是车辆，而后以该被识别对象轮廓的中心位置为引导框中心位置，以不同尺寸大小为圈定边界，针对同一被识别对象选择颜色匹配的多个引导框进行标注，其中该被识别对象轮廓的中心位置为多个引导框共同的中心位置，行人对象所对应的引导框颜色与车辆对象所对应的引导框颜色不同，每个引导框用于圈定对应被识别对象所在区域；
调用所述人车标注模型计算每个引导框的拟真度得分，并从所有引导框中筛选出拟真度得分不小于预设得分阈值的预测框，其中所述拟真度得分用于表示对应引导框相对于真实框的真实可靠性；
调用所述人车标注模型计算每个预测框与其他预测框之间的交并比数值，并从筛选出的所有预测框中确定与其他预测框的交并比数值均不大于预设交并比阈值的目标预测框；
将确定出的目标预测框作为所述待识别交通图像中的尺寸与人车图像特征匹配的检测框。
8.一种图像处理设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令，以实现权利要求1-6中任意一项所述的交通图像识别方法。
9.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1-6中任意一项所述的交通图像识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010758712.5A CN113468938B (zh) | 2020-07-31 | 2020-07-31 | 交通图像识别方法、装置、图像处理设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010758712.5A CN113468938B (zh) | 2020-07-31 | 2020-07-31 | 交通图像识别方法、装置、图像处理设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113468938A CN113468938A (zh) | 2021-10-01 |
| CN113468938B true CN113468938B (zh) | 2024-08-02 |
Family
ID=77868239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010758712.5A Active CN113468938B (zh) | 2020-07-31 | 2020-07-31 | 交通图像识别方法、装置、图像处理设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113468938B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114495060B (zh) * | 2022-01-25 | 2024-03-26 | 青岛海信网络科技股份有限公司 | 一种道路交通标线识别方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111242070A (zh) * | 2020-01-19 | 2020-06-05 | 上海眼控科技股份有限公司 | 目标物体检测方法、计算机设备和存储介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108245885B (zh) * | 2017-12-29 | 2019-03-08 | 网易（杭州）网络有限公司 | 信息处理方法、装置、移动终端和存储介质 |
| CN108520203B (zh) * | 2018-03-15 | 2021-08-20 | 上海交通大学 | 基于融合自适应多外围框与十字池化特征的多目标特征提取方法 |
| CN108664931B (zh) * | 2018-05-11 | 2022-03-01 | 中国科学技术大学 | 一种多阶段视频动作检测方法 |
| CN109190636B (zh) * | 2018-07-30 | 2022-05-31 | 北京航空航天大学 | 一种遥感图像舰船目标信息提取方法 |
| CN109670532B (zh) * | 2018-11-23 | 2022-12-09 | 腾讯医疗健康(深圳)有限公司 | 生物体器官组织图像的异常识别方法、装置及系统 |
| CN110688883A (zh) * | 2019-01-14 | 2020-01-14 | 成都通甲优博科技有限责任公司 | 车辆和行人检测方法及装置 |
| CN110895695B (zh) * | 2019-07-31 | 2023-02-24 | 上海海事大学 | 用于文本图片字符切分的深度学习网络、切分方法 |
| CN110909800B (zh) * | 2019-11-26 | 2023-08-08 | 浙江理工大学 | 一种基于Faster R-CNN改进算法的车辆检测方法 |
| CN111274980B (zh) * | 2020-01-23 | 2022-04-15 | 天津大学 | 基于yolov3和非对称卷积的小尺寸交通标志识别方法 |
| CN111461260B (zh) * | 2020-04-29 | 2023-04-18 | 上海东普信息科技有限公司 | 基于特征融合的目标检测方法、装置、设备及存储介质 |
-
2020
- 2020-07-31 CN CN202010758712.5A patent/CN113468938B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111242070A (zh) * | 2020-01-19 | 2020-06-05 | 上海眼控科技股份有限公司 | 目标物体检测方法、计算机设备和存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| ACNet: Strengthening the Kernel Skeletons for Powerful CNN via Asymmetric Convolution Blocks;Xiaohan Ding等;《2019 IEEE/CVF International Conference on Computer Vision (ICCV)》;1911-1920 * |
| Path Aggregation Network for Instance Segmentation;Shu Liu等;《arXiv:1803.01534》;1-11 * |
| Shu Liu等.Path Aggregation Network for Instance Segmentation.《arXiv:1803.01534》.2018,1-11. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113468938A (zh) | 2021-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3620981B1 (en) | Object detection method, device, apparatus and computer-readable storage medium | |
| CN112287912B (zh) | 基于深度学习的车道线检测方法以及装置 | |
| US11410549B2 (en) | Method, device, readable medium and electronic device for identifying traffic light signal | |
| Wu et al. | Lane-mark extraction for automobiles under complex conditions | |
| CN114118124B (zh) | 图像检测方法和装置 | |
| CN110491132B (zh) | 基于视频帧图片分析的车辆违停检测方法及装置 | |
| CN112528878A (zh) | 检测车道线的方法、装置、终端设备及可读存储介质 | |
| CN111767878B (zh) | 嵌入式设备中基于深度学习的交通标志检测方法及系统 | |
| WO2020258077A1 (zh) | 一种行人检测方法及装置 | |
| US10796152B2 (en) | Ventral-dorsal neural networks: object detection via selective attention | |
| CN107944403B (zh) | 一种图像中的行人属性检测方法及装置 | |
| CN111191611A (zh) | 基于深度学习的交通标志标号识别方法 | |
| JP2013196454A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| CN109523570B (zh) | 运动参数计算方法及装置 | |
| CN113468938B (zh) | 交通图像识别方法、装置、图像处理设备及可读存储介质 | |
| CN117218622A (zh) | 路况检测方法、电子设备及存储介质 | |
| Huu et al. | Proposing Lane and Obstacle Detection Algorithm Using YOLO to Control Self‐Driving Cars on Advanced Networks | |
| CN114240816A (zh) | 道路环境感知方法、装置、存储介质、电子设备及车辆 | |
| CN114120260B (zh) | 可行驶区域识别方法及其系统、计算机设备、存储介质 | |
| CN111292331B (zh) | 图像处理的方法与装置 | |
| CN112446292B (zh) | 一种2d图像显著目标检测方法及系统 | |
| CN109190687A (zh) | 一种神经网络系统及其识别车辆属性的方法 | |
| CN117765485A (zh) | 基于改进的深度残差网络的车型识别方法、装置和设备 | |
| CN116580230A (zh) | 一种目标检测方法及一种分类模型的训练方法 | |
| CN116524314A (zh) | 一种基于无锚框算法的无人机小目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |