CN110096962A - 基于区域卷积网络的车辆细节识别二次结构化方法及装置 - Google Patents
基于区域卷积网络的车辆细节识别二次结构化方法及装置 Download PDFInfo
- Publication number
- CN110096962A CN110096962A CN201910273353.1A CN201910273353A CN110096962A CN 110096962 A CN110096962 A CN 110096962A CN 201910273353 A CN201910273353 A CN 201910273353A CN 110096962 A CN110096962 A CN 110096962A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- network
- classification
- fcn
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000001514 detection method Methods 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 230000002708 enhancing effect Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 6
- 230000006872 improvement Effects 0.000 claims abstract description 4
- 238000013507 mapping Methods 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000006399 behavior Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000004069 differentiation Effects 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000011895 specific detection Methods 0.000 claims description 3
- 230000001235 sensitizing effect Effects 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 239000004615 ingredient Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Abstract
本发明公开了一种基于区域全卷积网络的车辆细节识别二次结构化方法及装置，该方法包括如下步骤：S1、对目标车辆图像进行数据增强处理；S2、对数据增强后的车辆图像做基于R‑FCN的车窗细节图像检测模型训练；S3、对基于R‑FCN训练好的车窗细节图像检测模型进行训练改进，增加多个分支，同时调整算法中对输入图片动态长宽比的实际需求模型，训练出判别驾驶员与副驾驶员是否存在影响交通安全行为的模型。本发明提出的技术方案可以辅助相关部门检测车辆违规行为与提高搜索车辆的效率。
Description
技术领域
本发明涉及计算机视觉与智慧交通领域，具体涉及一种基于区域全卷积网络的车辆细节识别二次结构化方法及装置。
背景技术
随着现代化交通、安防等行业的迅速发展，目标识别技术越来越多的被应用于各种领域，是近年来计算机视觉与模式识别技术在智能交通领域的重要研究课题之一。
车辆识别二次结构化是计算机视觉领域的一个重要研究方向，主要目的在对已经识别出的车辆前脸车窗进行二次识别和细分类。随着交通安全越来越收到人们的重视。自动的对违规车辆与违规驾驶行为进行检测，如检测出车辆是否贴有年检标、驾驶员是否打电话和未系安全带等行为；以及通过如纸巾盒、摆件、挂件等多维度的特征组合对车辆进行智能检索。能很好的帮组有关部门提高工作效率，提升道路交通安全，保证广大群众的生命安全。
伴随着最近几年深度学习的兴起，基于深度学习的方法在图像分类领域也取得了优异的成绩。很多研究者基于此也尝试将深度学习应用于目标检测领域。虽然R-FCN方法在通用的目标检测取得了较好的结果，但是在实际应用过程中，也存在着一些问题，比如不能同时实现复杂背景车辆监控场景中对目标车辆的检测与具体细分类功能，所以并不直接适用于复杂车辆监控场景智能系统中的算法应用。
发明内容
本发明的主要目的是提供一种基于区域全卷积网络的车辆细节识别二次结构化方法及装置，旨在解决不能同时实现复杂背景车辆监控场景中对目标车辆的检测与具体细分类功能，所以并不直接适用于复杂车辆监控场景智能系统中的算法应用的问题。
为实现上述目的，本发明提供一种基于区域全卷积网络的车辆细节识别二次结构化方法，包括如下步骤：
S1、对目标车辆图像进行数据增强处理，具体步骤如下：
S1.1、对目标车辆图像的数据进行镜面对称，增强数据集；
S1.2、对于刮痕这一个系列的数据集，进行背景分割；
S1.3、对通过变换的图像进行PCA处理，将经过数据增强预处理图像的最终结果输出；
S2、对数据增强后的车辆图像做基于R-FCN的车窗细节图像检测模型训练，具体分为以下两个步骤：
S2.1、先定位目标车辆，利用RPN区域建议网络进行目标候选区域搜索，同时调整算法中对输入图片动态长宽比的实际需求模型参数，利用ResNet50网络生成特征映射图，并利用区域建议网络对生成的特征映射图进行全图的前后景目标搜索和筛选，以确定目标框；
S2.2、R-FCN中的分类检测，在S2.1的基础上，利用R-FCN的分类网络，对目标框进行分类识别，即对目标车辆车窗细节具体类别的分类；
S3、对基于R-FCN训练好的车窗细节图像检测模型进行训练改进，增加多个分支，同时调整算法中对输入图片动态长宽比的实际需求模型，训练出判别驾驶员与副驾驶员是否存在影响交通安全行为的模型，利用对ResNet50网络进行位置敏感区域池化，从而对R-FCN检测输出的结果进行二次分类。
优选地，所述步骤S1.1中，对目标车辆图像的数据进行镜面对称的方式为：左右对称和上下对称，将数据集数量翻两番。
优选地，所述步骤S1.3中，对通过变换的图像进行PCA处理方法具体为：
首先根据RGB三色对样本阵元进行如下标准化：变换色通道计算均值和标准差，对网络的输入数据进行规范化，其公式如下：
随后在整个训练集上计算协方差矩阵：
解相关矩阵R的特征方程|R-λIP|＝0得到p个特征根，确定主成分的每个λj，j＝1,2,…m解方程组Rb＝λjb得到单位特征向量j＝1,2,…m将标准化后的指标变量变换为主成分：
将求出的特征向量按照特征值的大小进行组合形成一个映射矩阵，并根据指定的PCA保留的特征个数，取出映射矩阵的前n行或者前n列作为最终的映射矩阵，用映射矩阵对原始数据进行映射；
最后将上述经过数据增强预处理的图像的最终结果输出。
优选地，所述步骤S2.2中，R-FCN网络使用ResNet50网络对图片进行卷积池化操作。
优选地，所述步骤S2.2中，R-FCN中的分类检测具体步骤如下：基于ResNet50网络生成的特征映射图，利用卷积操作在整幅图像上为每类生成k×k个位置敏感分数图，用于描述对应位置的空间网格；每个位置敏感图有C个通道输出，代表C-1类物体外加一个背景，对于一个w×h大小的候选目标框，此目标框由RPN网络获得，将目标框划分为k×k个子区域，则每个子区域为w×h/k2大小，对于任意一个子区域bin(i,j),0≤i,j≤k-1，定义一个位置敏感池化操作：
rc(i,j|Θ)是子区域bin(i,j)对C个类别的池化响应，zi,j,c是子区域bin(i,j)所对应的位置敏感分数图，(x0,y0)代表目标候选框左上角的坐标，n是子区域bin(i,j)中的像素数，Θ代表网络的所有学习得到的参数，计算k×k个子区域的池化响应输出rc(i,j|Θ)的均值，利用Softmax回归分类方法获得其属于每个类别的概率。
优选地，所述步骤S3中，对R-FCN检测输出的结果进行二次分类时，二次分类网络与位置敏感区域池化相结合，其输入为R-FCN的目标检测框的图片信息，输出为相应的类别信息。
优选地，所述步骤S3中，对R-FCN检测输出的结果进行二次分类时，
采用了复制扩充训练集的方法，具体检测与分类过程如下：
S3.1、将待识别图像输入训练模型，检测出驾驶员、副驾驶员、年检标、纸巾盒、摆件、挂件的个数与具体位置；
采用区域候选框的交叉熵损失值作为候选区域选矿的分类损失值Lcls，Ls(s,tx,y,w,h)为R-FCN的价值函数，具体计算公式如下：
Lcls(sc*)是分类的交叉熵价值函数，判断为类别C的概率,tx,y,w,h是目标框的顶点坐标以及长和宽，以下tcwd、tcw、都是tx,y,w,h的形式，λ1、λ2是超参数，是对车窗目标框位置信息的回归，L1指L1范数，tcw是目标框的位置信息，是车窗真实的位置信息，是对车窗具体细节目标框位置信息的回归，tcwd是此类车窗物品细节的目标框位置信息，是此类车窗物品细节真实目标框信息；
S3.2、根据上述训练出的判别驾驶员与副驾驶员是否存在影响交通安全行为的细节检测模型，对驾驶员与副驾驶员是否有未系安全带与打电话等影响交通安全的行为进行分类判定。
优选地，本发明中提出的方法可嵌入视频监控系统中，运用于具有实时输出图像功能的目标检测与分类的监控系统中。
为实现上述目的，本发明提供一种计算机装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述任一项所述的基于区域全卷积网络的车辆细节识别二次结构化方法的步骤。
本发明提出的一种基于区域全卷积网络的车辆细节识别二次结构化方法，对算法进行了进一步改进，使得算法模型除了原有的准确检测，分类需要特征具有评议不变性之外，还使得车辆识别的算法模型同时实现了检测与二级分类的功能，目的在于辅助相关部门检测车辆违规行为与提高搜索车辆的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明整体算法流程图。
图2为本发明车窗检测的二次结构化区域。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，为本发明一种基于区域全卷积网络的车辆细节识别二次结构化方法的一实施例，所述一种基于区域全卷积网络的车辆细节识别二次结构化方法包括如下步骤：
S1、对目标图像进行基于PCA的数据增强预处理，具体步骤如下：
S1.1、对数据进行镜面对称增强数据集：分为左右和上下对称，这样将会使数据集数量翻两番；
S1.2、对于刮痕这一个系列的数据集，进行背景分割，因为刮痕系列数据集的主要语义只占全部图像的10％左右，且大部分集中在中部区域，所以为了突出特征，进行背景分割；
S103、对通过变换的图像进行PCA处理，处理方法具体为：
首先根据RGB三色对样本阵元进行如下标准化，变换色通道计算均值和标准差，对网络的输入数据进行规范化，其公式如下：
随后在整个训练集上计算协方差矩阵：
解相关矩阵R的特征方程|R-λIP|＝0得到p个特征根，确定主成分的每个λj，j＝1,2,…m解方程组Rb＝λjb得到单位特征向量j＝1,2,…m将标准化后的指标变量变换为主成分：
将求出的特征向量按照特征值的大小进行组合形成一个映射矩阵，并根据指定的PCA保留的特征个数，取出映射矩阵的前n行或者前n列作为最终的映射矩阵，用映射矩阵对原始数据进行映射，达到数据降维的目的；
将上述经过数据增强预处理的图像的最终结果输出；
S2、对数据增强后的车辆图像做基于R-FCN的车窗细节图像检测模型训练；
基于区域的全卷积网络(R-FCN)的目标车辆图像进行车窗细节图像检测模型训练分为两个步骤，先定位目标车辆，再进行目标车辆车窗细节具体类别的分类；首先利用ResNet50网络生成特征映射图，并利用区域建议网络(Region Proposal Networks，RPN)对生成的特征映射图进行全图的前后景目标搜索和筛选，以确定目标框；在此基础上，利用分类网络对目标框进行分类识别，具体的图像R-FCN检测模型训练处理步骤如下：
S2.1、利用区域建议网络(RPN)进行目标候选区域搜索，同时调整算法中对输入图片动态长宽比的实际需求模型参数；
R-FCN网络使用ResNet50网络对图片进行卷积池化等操作，ResNet50网络的输出层为一个1×2048×63×38的张量，RPN在ResNet50输出层上完成候选区域的搜索；具体的形式是在输出层上利用512个，尺寸为3×3的卷积核进行卷积操作，获得一个512×63×38的张量；将该张量作为两个独立卷积层的输入，从而将特征映射图里的信息转换为候选区域的位置信息和其为前后景的概率信息；RPN默认用9个搜索框来搜索一块区域，尺度为642、1282、2562，长宽比为1：1、1：2、2：1，以上搜索框的默认属性是针对ImageNet，VOC数据集中的通用目标的；
考虑到实际应用中目标检测的需要，本发明在将搜索区域的尺度设置图片的长宽比可变，总体图片大小不变；这不仅有利于增加视频图像的处理需求，也大大减少了计算量；对于原始的输入图片，RPN网络会得到约两万个搜索框；在实际应用时，一些超出图片边界的搜索框会被剔除；同时，对于同一目标重叠覆盖的搜索框，采用非极大值抑制(Non-Maximum Suppression，NMS)方法来处理，以达到去除重叠搜索框的目的；
S2.2、R-FCN中的分类检测
R-FCN的分类网络基于ResNet50网络生成的特征映射图，利用卷积操作在整幅图像上为每类生成k×k个位置敏感分数图，用于描述对应位置的空间网格；每个位置敏感图有C个通道输出(代表C-1类物体外加一个背景)，对于一个w×h大小的候选目标框，此目标框由RPN网络获得，将目标框划分为k×k个子区域，则每个子区域为w×h/k2大小，对于任意一个子区域bin(i,j),0≤i,j≤k-1，定义一个位置敏感池化操作：
rc(i,j|Θ)是子区域bin(i,j)对C个类别的池化响应，zi,j,c是子区域bin(i,j)所对应的位置敏感分数图，(x0,y0)代表目标候选框左上角的坐标，n是子区域bin(i,j)中的像素数，Θ代表网络的所有学习得到的参数，计算k×k个子区域的池化响应输出rc(i,j|Θ)的均值，利用Softmax回归分类方法获得其属于每个类别的概率；
S3、对基于R-FCN训练好的车窗细节图像检测模型进行训练改进，增加多个分支，同时调整算法中对输入图片动态长宽比的实际需求模型，训练出判别驾驶员与副驾驶员是否存在影响交通安全行为的模型。
原有策略在加强了对复杂样本学习的同时，也带来了误报率增高的问题。为了进一步改善网络的性能，本发明引入二次分类思想，利用对ResNet50网络进行位置敏感区域池化(Psroi pooling)，从而对R-FCN检测输出的结果进行二次分类；
二次分类网络(ResNet50)与位置敏感区域池化(Psroi pooling)相结合，其输入为R-FCN的目标检测框的图片信息，输出为相应的类别信息，在训练二次分类器时，为了增大负样本(R-FCN目标检测网络的误报样本)的数量，本发明采用了复制扩充训练集的方法，加强二次分类网络(ResNet50)对位置敏感区域池化(Psroi pooling)后原始R-FCN网络中误报样本特征的学习，从而降低误报率，在实际应用中，也能保证系统实时性，具体检测与分类过程如下：
S3.1将待识别图像输入训练模型，检测出驾驶员、副驾驶员、年检标、纸巾盒、摆件、挂件的个数与具体位置；
本发明中，采用区域候选框的交叉熵损失值作为候选区域选矿的分类损失值Lcls，Ls(s,tx,y,w,h)为R-FCN的价值函数，具体计算公式如下：
Lcls(sc*)是分类的交叉熵价值函数，判断为类别C的概率,tx,y,w,h是目标框的顶点坐标以及长和宽，以下tcwd、tcw、都是tx,y,w,h的形式，λ1、λ2是超参数，是对车窗目标框位置信息的回归，L1指L1范数，tcw是目标框的位置信息，是车窗真实的位置信息，是对车窗具体细节目标框位置信息的回归，tcwd是此类车窗物品细节的目标框位置信息，是此类车窗物品细节真实目标框信息；
根据两个价值函数公式，可以很清晰的进行车窗细节的识别检测，建立训练后的细节检测模型，如图2所示，图中方框区域即为搜索的二次结构化区域，图中只画出了需要的目标框；
S3.2、根据上述训练出的判别驾驶员与副驾驶员是否存在影响交通安全行为的细节检测模型，对驾驶员与副驾驶员是否有未系安全带与打电话等影响交通安全的行为进行分类判定。
本发明中提出的方法实际上可嵌入视频监控系统实现，运用于具有实时输出图像功能的目标检测与分类的监控系统中。
本发明还提供一种计算机装置，在一实施例中，该计算机装置包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例中的基于区域全卷积网络的车辆细节识别二次结构化方法的步骤。可以理解，该计算机装置可以为电视、IPAD、PC、手机等。
在本说明书的描述中，参考术语“一实施例”、“另一实施例”、“其他实施例”、或“第一实施例～第X实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料、方法步骤或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (9)
1.一种基于区域全卷积网络的车辆细节识别二次结构化方法，其特征在于，包括如下步骤：
S1、对目标车辆图像进行基于PCA的数据增强处理；
S2、对数据增强后的车辆图像做基于R-FCN的车窗细节图像检测模型训练，具体分为以下两个步骤：
S2.1、定位目标车辆：利用RPN区域建议网络进行目标候选区域搜索，同时调整算法中对输入图片动态长宽比的实际需求模型参数，利用ResNet50网络生成特征映射图，并利用区域建议网络对生成的特征映射图进行全图的前后景目标搜索和筛选，以确定目标框；
S2.2、R-FCN中的分类检测：在S2.1的基础上，利用R-FCN的分类网络，对目标框进行分类识别，即对目标车辆车窗细节具体类别的分类；
S3、对基于R-FCN训练好的车窗细节图像检测模型进行训练改进，增加多个分支，同时调整算法中对输入图片动态长宽比的实际需求模型，训练出判别驾驶员与副驾驶员是否存在影响交通安全行为的模型，利用对ResNet50网络进行位置敏感区域池化，从而对R-FCN检测输出的结果进行二次分类。
2.如权利要求1所述的一种基于区域全卷积网络的车辆细节识别二次结构化方法，其特征在于，所述步骤S1包括：
S1.1、对目标车辆图像的数据进行镜面对称，增强数据集；
S1.2、对于刮痕这一个系列的数据集，进行背景分割；
S1.3、对数据集中的图像进行PCA处理。
3.如权利要求2所述的一种基于区域全卷积网络的车辆细节识别二次结构化方法，其特征在于，所述步骤S1.1中，对目标车辆图像的数据进行镜面对称的方式为：左右对称和上下对称，将数据集数量翻两番。
4.如权利要求2所述的一种基于区域全卷积网络的车辆细节识别二次结构化方法，其特征在于，所述步骤S1.3包括：
首先根据RGB三色对样本阵元进行如下标准化：变换色通道计算均值和标准差，对网络的输入数据进行规范化，其公式如下：
随后在整个训练集上计算协方差矩阵：
解相关矩阵R的特征方程|R-λIP|＝0得到p个特征根，确定主成分的每个λj，j＝1,2,…m解方程组Rb＝λjb得到单位特征向量将标准化后的指标变量变换为主成分：
将求出的特征向量按照特征值的大小进行组合形成一个映射矩阵，并根据指定的PCA保留的特征个数，取出映射矩阵的前n行或者前n列作为最终的映射矩阵，用映射矩阵对原始数据进行映射；
最后将上述经过数据增强预处理的图像的最终结果输出。
5.如权利要求1所述的一种基于区域全卷积网络的车辆细节识别二次结构化方法，其特征在于，所述步骤S2.1中，R-FCN网络使用ResNet50网络对图片进行卷积池化操作。
6.如权利要求5所述的一种基于区域全卷积网络的车辆细节识别二次结构化方法，其特征在于，所述步骤S2.2中，R-FCN中的分类检测具体步骤如下：基于ResNet50网络生成的特征映射图，利用卷积操作在整幅图像上为每类生成k×k个位置敏感分数图，用于描述对应位置的空间网格；每个位置敏感图有C个通道输出，代表C-1类物体外加一个背景，对于一个w×h大小的候选目标框，此由目标框RPN网络获得，将目标框划分为k×k个子区域，则每个子区域为w×h/k2大小，对于任意一个子区域bin(i,j),0≤i,j≤k-1，定义一个位置敏感池化操作，具体公式为：
rc(i,j|Θ)是子区域bin(i,j)对C个类别的池化响应，zi,j,c是子区域bin(i,j)所对应的位置敏感分数图，(x0,y0)代表目标候选框左上角的坐标，n是子区域bin(i,j)中的像素数，Θ代表网络的所有学习得到的参数，计算k×k个子区域的池化响应输出rc(i,j|Θ)的均值，利用Softmax回归分类方法获得其属于每个类别的概率。
7.如权利要求6所述的一种基于区域全卷积网络的车辆细节识别二次结构化方法，其特征在于，所述步骤S3中，对R-FCN检测输出的结果进行二次分类时，二次分类网络与位置敏感区域池化相结合，其输入为R-FCN的目标检测框的图片信息，输出为相应的类别信息。
8.如权利要求1所述的一种基于区域全卷积网络的车辆细节识别二次结构化方法，其特征在于，所述步骤S3中，对R-FCN检测输出的结果进行二次分类时，采用了复制扩充训练集的方法，具体检测与分类过程如下：
S3.1、将待识别图像输入训练模型，检测出驾驶员、副驾驶员、年检标、纸巾盒、摆件、挂件的个数与具体位置；
采用区域候选框的交叉熵损失值作为候选区域选矿的分类损失值Lcls，Ls(s,tx,y,w,h)为R-FCN的价值函数，具体计算公式如下：
Lcls(sc*)是分类的交叉熵价值函数，判断为类别C的概率,tx,y,w,h是目标框的顶点坐标以及长和宽，以下tcwd、tcw、都是tx,y,w,h的形式，λ1、λ2是超参数，是对车窗目标框位置信息的回归，L1指L1范数，tcw是目标框的位置信息，是车窗真实的位置信息，是对车窗具体细节目标框位置信息的回归，tcwd是此类车窗物品细节的目标框位置信息，是此类车窗物品细节真实目标框信息；
S3.2、根据上述训练出的判别驾驶员与副驾驶员是否存在影响交通安全行为的细节检测模型，对驾驶员与副驾驶员是否有未系安全带与打电话等影响交通安全的行为进行分类判定。
9.一种计算机装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的基于区域全卷积网络的车辆细节识别二次结构化方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910273353.1A CN110096962A (zh) | 2019-04-04 | 2019-04-04 | 基于区域卷积网络的车辆细节识别二次结构化方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910273353.1A CN110096962A (zh) | 2019-04-04 | 2019-04-04 | 基于区域卷积网络的车辆细节识别二次结构化方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110096962A true CN110096962A (zh) | 2019-08-06 |
Family
ID=67444387
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910273353.1A Pending CN110096962A (zh) | 2019-04-04 | 2019-04-04 | 基于区域卷积网络的车辆细节识别二次结构化方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110096962A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458225A (zh) * | 2019-08-08 | 2019-11-15 | 北京深醒科技有限公司 | 一种车辆检测和姿态分类联合识别方法 |
| CN110647912A (zh) * | 2019-08-15 | 2020-01-03 | 深圳久凌软件技术有限公司 | 细粒度图像识别方法、装置、计算机设备及存储介质 |
| CN111062384A (zh) * | 2019-11-08 | 2020-04-24 | 博云视觉（北京）科技有限公司 | 一种基于深度学习的车窗精确定位方法 |
| CN112200258A (zh) * | 2020-10-16 | 2021-01-08 | 福州大学 | 一种多维度车标数据增强方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107145908A (zh) * | 2017-05-08 | 2017-09-08 | 江南大学 | 一种基于r‑fcn的小目标检测方法 |
| CN109063586A (zh) * | 2018-07-11 | 2018-12-21 | 东南大学 | 一种基于候选优化的Faster R-CNN驾驶员检测方法 |
| CN109299644A (zh) * | 2018-07-18 | 2019-02-01 | 广东工业大学 | 一种基于区域全卷积网络的车辆目标检测方法 |
-
2019
- 2019-04-04 CN CN201910273353.1A patent/CN110096962A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107145908A (zh) * | 2017-05-08 | 2017-09-08 | 江南大学 | 一种基于r‑fcn的小目标检测方法 |
| CN109063586A (zh) * | 2018-07-11 | 2018-12-21 | 东南大学 | 一种基于候选优化的Faster R-CNN驾驶员检测方法 |
| CN109299644A (zh) * | 2018-07-18 | 2019-02-01 | 广东工业大学 | 一种基于区域全卷积网络的车辆目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| HANLINGER_: "R-FCN", 《CSDN，HTTPS://BLOG.CSDN.NET/HANLINGER_/ARTICLE/DETAILS/80357057?SPM=1001.2014.3001.5501》 * |
| SUNUECHAO: "PCA中关于协方差矩阵的问题", 《CSDN，HTTPS://BLOG.CSDN.NET/SUNUECHAO/ARTICLE/DETAILS/12717771?SPM=1001.2014.3001.5502》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458225A (zh) * | 2019-08-08 | 2019-11-15 | 北京深醒科技有限公司 | 一种车辆检测和姿态分类联合识别方法 |
| CN110647912A (zh) * | 2019-08-15 | 2020-01-03 | 深圳久凌软件技术有限公司 | 细粒度图像识别方法、装置、计算机设备及存储介质 |
| CN111062384A (zh) * | 2019-11-08 | 2020-04-24 | 博云视觉（北京）科技有限公司 | 一种基于深度学习的车窗精确定位方法 |
| CN111062384B (zh) * | 2019-11-08 | 2023-09-08 | 博云视觉（北京）科技有限公司 | 一种基于深度学习的车窗精确定位方法 |
| CN112200258A (zh) * | 2020-10-16 | 2021-01-08 | 福州大学 | 一种多维度车标数据增强方法 |
| CN112200258B (zh) * | 2020-10-16 | 2022-06-10 | 福州大学 | 一种多维度车标数据增强方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110096962A (zh) | 基于区域卷积网络的车辆细节识别二次结构化方法及装置 | |
| CN108537215B (zh) | 一种基于图像目标检测的火焰检测方法 | |
| CN110096981A (zh) | 一种基于深度学习的视频大数据交通场景分析方法 | |
| CN107862705A (zh) | 一种基于运动特征和深度学习特征的无人机小目标检测方法 | |
| CN103632168B (zh) | 一种机器学习中的分类器集成方法 | |
| CN110084284A (zh) | 基于区域卷积神经网络的目标检测与二级分类算法及装置 | |
| CN108830188A (zh) | 基于深度学习的车辆检测方法 | |
| CN109101897A (zh) | 水下机器人的目标检测方法、系统及相关设备 | |
| CN109508710A (zh) | 基于改进YOLOv3网络的无人车夜间环境感知方法 | |
| CN108710913A (zh) | 一种基于深度学习的开关柜图像开关状态自动识别方法 | |
| CN110866287B (zh) | 一种基于权重谱生成对抗样本的点攻击方法 | |
| CN103020992B (zh) | 一种基于运动颜色关联的视频图像显著性检测方法 | |
| CN109948415A (zh) | 基于背景过滤和尺度预测的光学遥感图像目标检测方法 | |
| CN115731164A (zh) | 基于改进YOLOv7的绝缘子缺陷检测方法 | |
| GB2484133A (en) | Recognising features in a video sequence using histograms of optic flow | |
| CN115294473A (zh) | 一种基于目标检测与实例分割的绝缘子故障识别方法及系统 | |
| CN110348437A (zh) | 一种基于弱监督学习与遮挡感知的目标检测方法 | |
| CN110096982A (zh) | 一种基于深度学习的视频车辆大数据搜索方法 | |
| CN102867183A (zh) | 一种车辆遗撒物检测方法、装置及智能交通监控系统 | |
| CN109993061A (zh) | 一种人脸检测与识别方法、系统以及终端设备 | |
| CN108460320A (zh) | 基于改进单元分析的监控视频异常事件检测方法 | |
| CN114119610A (zh) | 基于旋转目标检测的缺陷检测方法 | |
| Shangzheng | A traffic sign image recognition and classification approach based on convolutional neural network | |
| CN110046595B (zh) | 一种基于级联式多尺度的密集人脸检测方法 | |
| CN110321775A (zh) | 一种基于多旋翼无人机的水上落水人员自主识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190806 |
|
| RJ01 | Rejection of invention patent application after publication |