CN107451607A - 一种基于深度学习的典型人物的身份识别方法 - Google Patents
一种基于深度学习的典型人物的身份识别方法 Download PDFInfo
- Publication number
- CN107451607A CN107451607A CN201710571449.7A CN201710571449A CN107451607A CN 107451607 A CN107451607 A CN 107451607A CN 201710571449 A CN201710571449 A CN 201710571449A CN 107451607 A CN107451607 A CN 107451607A
- Authority
- CN
- China
- Prior art keywords
- region
- network
- training
- layer
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013135 deep learning Methods 0.000 title claims abstract description 12
- 230000007935 neutral effect Effects 0.000 claims abstract description 29
- 230000001133 acceleration Effects 0.000 claims abstract description 27
- 238000003062 neural network model Methods 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 38
- 238000000605 extraction Methods 0.000 claims description 10
- 230000000644 propagated effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 3
- 238000003475 lamination Methods 0.000 claims 1
- 241000208340 Araliaceae Species 0.000 description 4
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 4
- 235000003140 Panax quinquefolius Nutrition 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 235000008434 ginseng Nutrition 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 description 1
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度学习的典型人物的身份识别方法，涉及深度学习方法，从图像视频中自动判断典型人物的身份；包括构建具有标注信息的数据集；向加速区域生成神经网络输入具有标注信息的数据集得到模型框架，并进行模型训练得到典型人物身份识别的神经网络模型；利用训练后的典型人物身份识别的神经网络模型进行人物身份的识别和检测；即可较为成功的识别比较典型的人物身份，提高人物身份识别速度和准确性，在监狱管理和交通管理的工作中能起到很大的推进作用。
Description
技术领域
本发明涉及人物识别领域，特别涉及一种基于深度学习的典型人物的身份识别方法。
背景技术
以下对本发明的相关技术背景进行说明，但这些说明并不一定构成本发明的现有技术。
传统的机器学习一般都是经过原始数据到特征提取器到分类器或者检测器，最后在得到结果；而深度学习则不需要人工设计特征提取器，机器本身就可自动学习获得的，非常适合变化多样，类别繁多的自然数据，具有非常好的泛化能力和鲁棒性。
目前可以实现典型人物身份识别的算法有很多种，比较传统的算法就是先用选择搜索进行候选区域的选择，然后再对其进行特征的提取，最后使用支持向量机等的分类器进行分类，最后得到一些可能的目标；但是这种传统的算法有很大的弊端，一是因为选择搜索非常的慢，这会消耗很长的时间，提高时间成本；二是因为像支持向量机之类的分类器分类结果并不理想，多样性差而且鲁棒性也不高。
现今出现的神经网络由于具有很强的特征提取的特点，所以已经将目标检测人物识别放到了神经网络上来做，出现了后来的快速区域卷积神经网络对典型人物的身份进行识别；但是其识别的速度，准确性仍旧不高。
因此，现有技术中需要一种能提高人物身份识别速度和准确性，增强实用性和价值性的解决方案。
发明内容
本发明的目的在于提出一种基于深度学习的典型人物的身份识别方法，增强识别的速度和准确性，具有很好的实用性和价值性。
根据本发明的一种基于深度学习的典型人物的身份识别方法，包括：
通过整合标注信息及图像建立具有标注信息的数据集；
构建加速区域生成神经网络，并向其输入具有标注信息的数据集得到模型框架；所述加速区域生成神经网络包括用于提取候选框的区域建议生成网络和用于检测并识别目标的快速区域卷积神经网络；
对模型框架进行模型训练得到典型人物身份识别的神经网络模型；
利用训练后的典型人物身份识别的神经网络模型进行人物身份的识别和检测。
根据本发明的一个优选的实施例，在建立具有标注信息的数据集之前，采用图像标注对收集的典型人物图像进行特征标注，同时生成标注信息。
根据本发明的再一个优选的实施例，所述标注信息包括图像的名字，位置的坐标以及标签，所述标签为典型人物的身份；所述特征标注采用框图的形式。
根据本发明的又一个优选的实施例，所述区域建议生成网络包括共享卷积层、滑动窗口、第一全连接层；所述快速区域卷积神经网络包括第一卷积层、池化层、第二全连接层；
向加速区域生成神经网络输入具有标注信息的数据集后进行典型人物身份识别的神经网络模型的框架构建，步骤如下：
首先具有标注信息的数据集传播入区域建议生成网络的共享卷积层用于进行原始特征的提取得到区域区域特征图，并且具有标注信息的数据集继续前向传播入快速区域卷积神经网络的第一卷积层用于进行特征的提取得到高维特征图；
经过共享卷积层得到的区域特征图通过第一全连接层分类后得到区域建议信息和区域得分信息；
将区域建议信息以及通过第一卷积层得到的高维特征图一起输入至快速区域卷积神经网络的池化层从而提取出区域建议信息的特征；
将得到的区域建议信息的特征通过第二全连接层分类得到分类得分信息和回归后的边界框，即分类层和回归层；
通过分类层确定类别，通过回归层确定位置，即可得到典型人物身份识别的神经网络模型的模型框架。
根据本发明的还一个优选的实施例，所述共享卷积层为包括五个卷积层的网络模型，通过共享卷积层产生原始图像的区域特征图；所述第一全连接层为两个全连接层。
根据本发明的再一个优选的实施例，所述区域特征图进入第一全连接层前需要经过滑动窗口，滑动窗口在特征图上进行滑动扫描，每个滑动窗口通过卷积层映射为256维的特征向量送入第一全连接层。
根据本发明的又一个优选的实施例，在对模型框架进行模型训练前，需要预先设置网络参数，对数据集的设置类别分类，对分类层和回归层的输出设置。
根据本发明的还一个优选的实施例，模型框架进行模型训练得到典型人物身份识别的神经网络模型，步骤如下：
区域建议生成网络的网络预训练，数据集中包括正样本、负样本，样本中只含有标签信息和位置信息；经过区域建议生成网络中的网络模型即共享卷积层对区域建议生成网络进行有监督预训练，利用网络模型中预先设置的网络参数对其进行初始化，用高斯分布对第一全连接层初始化；
区域建议生成网络的微调训练，数据集中包括物体类别的标签，也含有物体位置的标签，其中正样本表示前景、负样本表示背景，对正样本进行回归操作；并将正样本和负样本与真实区域重叠比较，且在训练过程中丢弃所有超出图像边界的滑动窗口，对超出图像边界的滑动窗口集采用极大值抑制，未超出图像边界的滑动窗口用于训练；
快速区域卷积神经网络的网络预训练，数据集中包括正样本、负样本，样本中只含有标签信息和位置信息；经过区域建议生成网络中的网络模型即共享卷积层对快速区域卷积神经网络进行有监督预训练，利用网络模型中预先设置的网络参数对其进行初始化，用高斯分布对第二全连接层初始化；
快速区域卷积神经网络的微调训练，数据集中包括物体类别的标签，也含有物体位置的标签，其中正样本表示前景、负样本表示背景，对正样本进行回归操作；并将正样本和负样本与真实区域重叠比较，且在训练过程中丢弃所有超出图像边界的滑动窗口，对超出图像边界的滑动窗口集采用极大值抑制，未超出图像边界的滑动窗口用于训练；
使用微调训练后的加速区域生成神经网络重新初始化区域建议生成网络，固定共享卷积层，仅微调区域建议生成网络的第一全连接层将区域建议生成网络的前五层学习率设为0，重新训练得到新的卷积模型；
在训练样本上运用重新训练得到的新的卷积模型，重新进行训练样本的目标粗选框，即区域得分信息和区域建议信息；
使用微调训练后的加速区域生成神经网络重新初始化快速区域卷积神经网络，固定共享卷积层，仅微调区域建议生成网络的第一全连接层将区域建议生成网络的前五层学习率设为0，重新训练得到新的快速区域卷积神经网络，至此形成统一的网络，训练得到典型人物身份识别的神经网络模型。
根据本发明的再一个优选的实施例，快速区域卷积神经网络的网络预训练和区域建议生成网络的微调训练中将正样本与真实区域重叠比较，正样本与真实区域重叠大于0.7。
根据本发明的又一个优选的实施例，快速区域卷积神经网络的网络预训练和区域建议生成网络的微调训练中将负样本与真实区域重叠比较，负样本与真实区域重叠小于0.3。
本发明涉及深度学习方法，从图像视频中自动判断典型人物的身份；包括构建具有标注信息的数据集；向加速区域生成神经网络输入具有标注信息的数据集得到模型框架，并进行模型训练得到典型人物身份识别的神经网络模型；利用训练后的典型人物身份识别的神经网络模型进行人物身份的识别和检测；即可较为成功的识别比较典型的人物身份，提高人物身份识别速度和准确性，在监狱管理和交通管理的工作中能起到很大的推进作用。
本发明制作训练的数据集，通过加速区域生成神经网络算法中的区域建议生成网络和快速区域卷积神经网络，协同合作，将含有典型人物身份的图像数据集送入加速区域生成神经网络里面训练，训练出一个能够识别人物身份的模型，能很准确的辨别出一个人的身份，如是警察还是犯人；应用非常广泛，而且准确率高，不仅可以应用在监狱系统内，在交通系统内也可以应用，比如路上的行人和交警的身份识别，也很准确；利用深度学习进行的典型人物身份识别不仅大大的提高了识别的速度，而且还提升了其准确率，目前加速区域生成神经网络算法是目前目标识别最先进的识别方法，具有很好的实用性和价值性。
与现有技术相比，本发明的有益之处在于：1)能识别出典型的人物身份；2)对制服与非制服进行区分；3)提高人物身份识别速度和准确性；4)应用非常广泛。
附图说明
通过以下参照附图而提供的具体实施方式部分，本发明的特征和优点将变得更加容易理解，在附图中：
图1是本发明的身份识别方法的流程图。
图2是本发明的身份识别方法的模型框架构建的流程图。
图3是本发明的身份识别方法的模型训练的流程图。
图4是本发明的身份识别方法的实施例中的滑动窗口示意图。
具体实施方式
下面参照附图对本发明的示例性实施方式进行详细描述；对示例性实施方式的描述仅仅是出于示范目的，而绝不是对本发明及其应用或用法的限制。
本发明中的术语解释：
术语一：加速区域生成神经网络，加速区域生成神经网络可以简单看做“区域建议生成网络+快速区域卷积神经网络”的系统，用区域生成网络代替快速区域卷积神经网络中的选择搜索方法。
术语二：滑动窗口，滑动窗口是一组大小固定的参考窗口：三种尺度{128*128，256*256，512*512}，有三种长宽比{1:1，1:2，2:1}，如图四所示。
实施例1：在监狱系统中对警察和犯人的识别：
步骤1，数据集的制作，首先获得一些警察和犯人的大量图片，至少4万张以上，优选为5万张，做一个VOC2007格式的数据集；开始构建数据集，采用图像标注技术对收集得到的图片进行特征标注并采用框图的形式，同时生成标注信息；标注信息包括图片的名字，位置坐标和标签，标签为典型人物的身份，例如在图片中用工具对警察和犯人进行标注，同时生成警察和犯人的坐标信息，人物标签即确认是警察还是犯人；将这些标注信息做成VOC2007数据集的格式，生成一个新的具有标注信息的数据集。
步骤2，构建加速区域生成神经网络，其有区域建议生成网络和快速区域卷积神经网络组成，所述区域建议生成网络包括由五个卷积层组成的共享卷积层、滑动窗口、由两个全连接层组成的第一全连接层；所述快速区域卷积神经网络包括第一卷积层、池化层、第二全连接层。
步骤3，对区域建议生成网络中的网络模型即共享卷积层预先设置，即进行网络参数的设置，首先在数据层设置类别为3类：犯人、警察、背景；接着在分类层把类别输出设置为3；然后再回归层把输出数字设置为12，为检测类别个数乘以4，比如数据层设置类别为3类那就是3*4＝12。
步骤4，向加速区域生成神经网络输入具有标注信息的数据集，首先传播入区域建议生成网络的共享卷积层进行警察和犯人的原始特征的提取得到区域特征图，并且数据集继续前向传播入快速区域卷积神经网络的第一卷积层用于进行警察和犯人的特征提取得到高维特征图。
步骤5，经过共享卷积层得到的区域特征图经过滑动窗口产生特征向量送入以及第一全连接层分类后得到区域建议信息和区域得分信息，将区域建议信息和步骤4中得到的高维特征图一起输入至快速区域卷积神经网络的池化层从而提取出区域建议信息的特征；将得到的区域建议信息的特征通过第二全连接层分类得到分类得分信息和回归后的边界框，即分类层和回归层；通过分类层确定类别，通过回归层确定位置，即可得到警察和犯人身份识别的神经网络模型的模型框架。
步骤6，对得到的模型框架进行模型训练：
S1:区域建议生成网络的网络预训练，数据集中包括正样本、负样本，样本中只含有标签信息和位置信息，就是经过区域建议生成网络中的网络模型即共享卷积层对区域建议生成网络进行有监督预训练，利用网络模型中预先设置的网络参数即步骤3中设置的参数对其进行初始化，用高斯分布对第一全连接层初始化；
S2：区域建议生成网络的微调训练，警察和犯人的数据集采用PASCAL VOC2007，其中包括物体类别的标签，也含有物体位置的标签，正样本表示前景、负样本表示背景，对正样本进行回归操作；将正样本与真实区域重叠大于0.7，负样本，与真实区域重叠小于0.3；且在训练过程中丢弃所有超出图像边界的滑动窗口，否则在训练过程中将出现很大的误差；对超出图像边界的滑动窗口集采用极大值抑制，最终未超出图像边界的2000个滑动窗口用于训练；
S3：快速区域卷积神经网络的网络预训练，数据集中包括正样本、负样本，样本中只含有标签信息和位置信息；经过区域建议生成网络中的网络模型即共享卷积层对快速区域卷积神经网络进行有监督预训练，利用网络模型中预先设置的网络参数即步骤3中设置的参数对其进行初始化，用高斯分布对第二全连接层初始化；
S4：快速区域卷积神经网络的微调训练，数据集中包括物体类别的标签，也含有物体位置的标签，其中正样本表示前景、负样本表示背景，对正样本进行回归操作；将正样本与真实区域重叠大于0.7，负样本，与真实区域重叠小于0.3；且在训练过程中丢弃所有超出图像边界的滑动窗口，否则在训练过程中将出现很大的误差；对超出图像边界的滑动窗口集采用极大值抑制，最终未超出图像边界的2000个滑动窗口用于训练；
S5：使用微调训练后的加速区域生成神经网络重新初始化区域建议生成网络，固定共享卷积层，仅微调区域建议生成网络的第一全连接层将区域建议生成网络的前五层学习率设为0，重新训练得到新的卷积模型；
S6：在训练样本上运用重新训练得到的新的卷积模型，重新进行训练样本的目标粗选框，即区域得分信息和区域建议信息；
S7：使用微调训练后的加速区域生成神经网络重新初始化快速区域卷积神经网络，固定共享卷积层，仅微调区域建议生成网络的第一全连接层将区域建议生成网络的前五层学习率设为0，重新训练得到新的快速区域卷积神经网络，至此形成统一的网络，训练得到警察和犯人身份识别的神经网络模型。
步骤7，用警察和犯人身份识别的神经网络模型进行普通图像中警察和犯人的识别，既能准确的找出警察和犯人的位置还能辨别出人物的身份。
实施例2：在交通系统中对交警和行人的识别。
步骤a，数据集的制作，首先获得一些交警和行人的大量图片，至少5万张以上，优选为6万张，做一个VOC2007格式的数据集；开始构建数据集，采用图像标注技术对收集得到的图片进行特征标注并采用框图的形式，同时生成标注信息；标注信息包括图片的名字，位置坐标和标签，标签为典型人物的身份，例如在图片中用工具对交警和行人进行标注，同时生成交警和行人的坐标信息，人物标签即确认是交警还是行人；将这些标注信息做成VOC2007数据集的格式，生成一个新的具有标注信息的数据集。
步骤b，构建加速区域生成神经网络，其有区域建议生成网络和快速区域卷积神经网络组成，所述区域建议生成网络包括由五个卷积层组成的共享卷积层、滑动窗口、由两个全连接层组成的第一全连接层；所述快速区域卷积神经网络包括第一卷积层、池化层、第二全连接层。
步骤c，对区域建议生成网络中的网络模型即共享卷积层预先设置，即进行网络参数的设置，首先在数据层设置类别为3类：交警、行人、背景；接着在分类层把类别输出设置为3；然后再回归层把输出数字设置为12，为检测类别个数乘以4，比如数据层设置类别为3类那就是3*4＝12。
步骤d，向加速区域生成神经网络输入具有标注信息的数据集，首先传播入区域建议生成网络的共享卷积层进行交警和行人的原始特征的提取得到区域特征图，并且数据集继续前向传播入快速区域卷积神经网络的第一卷积层用于进行交警和行人的特征提取得到高维特征图。
步骤e，经过共享卷积层得到的区域特征图经过滑动窗口产生特征向量送入以及第一全连接层分类后得到区域建议信息和区域得分信息，将区域建议信息和步骤d中得到的高维特征图一起输入至快速区域卷积神经网络的池化层从而提取出区域建议信息的特征；将得到的区域建议信息的特征通过第二全连接层分类得到分类得分信息和回归后的边界框，即分类层和回归层；通过分类层确定类别，通过回归层确定位置，即可得到交警和行人识别的神经网络模型的模型框架。
步骤f，对得到的模型框架进行模型训练：
S1)区域建议生成网络的网络预训练，数据集中包括正样本、负样本，样本中只含有标签信息和位置信息，就是经过区域建议生成网络中的网络模型即共享卷积层对区域建议生成网络进行有监督预训练，利用网络模型中预先设置的网络参数即步骤3中设置的参数对其进行初始化，用高斯分布对第一全连接层初始化；
S2)区域建议生成网络的微调训练，交警和行人的数据集采用PASCAL VOC2007，其中包括物体类别的标签，也含有物体位置的标签，正样本表示前景、负样本表示背景，对正样本进行回归操作；将正样本与真实区域重叠大于0.65，负样本，与真实区域重叠小于0.35；且在训练过程中丢弃所有超出图像边界的滑动窗口，否则在训练过程中将出现很大的误差；对超出图像边界的滑动窗口集采用极大值抑制，最终未超出图像边界的2200个滑动窗口用于训练；
S3)快速区域卷积神经网络的网络预训练，数据集中包括正样本、负样本，样本中只含有标签信息和位置信息；经过区域建议生成网络中的网络模型即共享卷积层对快速区域卷积神经网络进行有监督预训练，利用网络模型中预先设置的网络参数即步骤3中设置的参数对其进行初始化，用高斯分布对第二全连接层初始化；
S4)快速区域卷积神经网络的微调训练，数据集中包括物体类别的标签，也含有物体位置的标签，其中正样本表示前景、负样本表示背景，对正样本进行回归操作；将正样本与真实区域重叠大于0.65，负样本，与真实区域重叠小于0.35；且在训练过程中丢弃所有超出图像边界的滑动窗口，否则在训练过程中将出现很大的误差；对超出图像边界的滑动窗口集采用极大值抑制，最终未超出图像边界的2200个滑动窗口用于训练；
S5)使用微调训练后的加速区域生成神经网络重新初始化区域建议生成网络，固定共享卷积层，仅微调区域建议生成网络的第一全连接层将区域建议生成网络的前五层学习率设为0，重新训练得到新的卷积模型；
S6)在训练样本上运用重新训练得到的新的卷积模型，重新进行训练样本的目标粗选框，即区域得分信息和区域建议信息；
S7)使用微调训练后的加速区域生成神经网络重新初始化快速区域卷积神经网络，固定共享卷积层，仅微调区域建议生成网络的第一全连接层将区域建议生成网络的前五层学习率设为0，重新训练得到新的快速区域卷积神经网络，至此形成统一的网络，训练得到交警和行人身份识别的神经网络模型。
步骤g，用交警和行人身份识别的神经网络模型进行普通图像中交警和行人的识别，既能准确的找出交警和行人的位置还能辨别出人物的身份。
综上所述，本发明制作训练的数据集，通过加速区域生成神经网络算法中的区域建议生成网络和快速区域卷积神经网络，协同合作，将含有典型人物身份的图像数据集送入加速区域生成神经网络里面训练，训练出一个能够识别人物身份的模型，能很准确的辨别出一个人的身份，如是警察还是犯人；应用非常广泛，而且准确率高，不仅可以应用在监狱系统内，在交通系统内也可以应用，比如路上的行人和交警的身份识别，也很准确；利用深度学习进行的典型人物身份识别不仅大大的提高了识别的速度，而且还提升了其准确率，目前加速区域生成神经网络算法是目前目标识别最先进的识别方法，具有很好的实用性和价值性。
虽然参照示例性实施方式对本发明进行了描述，但是应当理解，本发明并不局限于文中详细描述和示出的具体实施方式，在不偏离权利要求书所限定的范围的情况下，本领域技术人员可以对所述示例性实施方式做出各种改变。
Claims (10)
1.一种基于深度学习的典型人物的身份识别方法，其特征在于包括：
通过整合标注信息及图像建立具有标注信息的数据集；
构建加速区域生成神经网络，并向其输入具有标注信息的数据集得到模型框架；所述加速区域生成神经网络包括用于提取候选框的区域建议生成网络和用于检测并识别目标的快速区域卷积神经网络；
对模型框架进行模型训练得到典型人物身份识别的神经网络模型；
利用训练后的典型人物身份识别的神经网络模型进行人物身份的识别和检测。
2.根据权利要求1所述的身份识别方法，在建立具有标注信息的数据集之前，所述身份识别方法还包括：采用图像标注对收集的典型人物图像进行特征标注，同时生成标注信息。
3.根据权利要求2所述的身份识别方法，其特征在于：所述标注信息包括图像的名字，位置的坐标以及标签，所述标签为典型人物的身份；所述特征标注采用框图的形式。
4.根据权利要求3所述的身份识别方法，其特征在于：所述区域建议生成网络包括共享卷积层、滑动窗口、第一全连接层；所述快速区域卷积神经网络包括第一卷积层、池化层、第二全连接层；
向加速区域生成神经网络输入具有标注信息的数据集后进行典型人物身份识别的神经网络模型的框架构建，步骤如下：
首先具有标注信息的数据集传播入区域建议生成网络的共享卷积层用于进行原始特征的提取得到区域特征图，并且具有标注信息的数据集继续前向传播入快速区域卷积神经网络的第一卷积层用于进行特征的提取得到高维特征图；
经过共享卷积层得到的区域特征图通过第一全连接层分类后得到区域建议信息和区域得分信息；
将区域建议信息以及通过第一卷积层得到的高维特征图一起输入至快速区域卷积神经网络的池化层从而提取出区域建议信息的特征；
将得到的区域建议信息的特征通过第二全连接层分类得到分类得分信息和回归后的边界框，即分类层和回归层；
通过分类层确定类别，通过回归层确定位置，即可得到典型人物身份识别的神经网络模型的模型框架。
5.根据权利要求4所述的身份识别方法，其特征在于：所述共享卷积层为包括五个卷积层的网络模型，通过共享卷积层产生原始图像的区域特征图；所述第一全连接层为两个全连接层。
6.根据权利要求5所述的身份识别方法，其特征在于：所述区域特征图进入第一全连接层前需要经过滑动窗口，滑动窗口在特征图上进行滑动扫描，每个滑动窗口通过卷积层映射为256维的特征向量送入第一全连接层。
7.根据权利要求6所述的身份识别方法，在对模型框架进行模型训练前，所述身份识别方法还包括：预先设置网络参数，对数据集的设置类别分类，对分类层和回归层的输出设置。
8.根据权利要求7所述的身份识别方法，模型框架进行模型训练得到典型人物身份识别的神经网络模型，步骤如下：
区域建议生成网络的网络预训练，数据集中包括正样本、负样本，样本中只含有标签信息和位置信息；经过区域建议生成网络中的网络模型即共享卷积层对区域建议生成网络进行有监督预训练，利用网络模型中预先设置的网络参数对其进行初始化，用高斯分布对第一全连接层初始化；
区域建议生成网络的微调训练，数据集中包括物体类别的标签，也含有物体位置的标签，其中正样本表示前景、负样本表示背景，对正样本进行回归操作；并将正样本和负样本与真实区域重叠比较，且在训练过程中丢弃所有超出图像边界的滑动窗口，对超出图像边界的滑动窗口集采用极大值抑制，未超出图像边界的滑动窗口用于训练；
快速区域卷积神经网络的网络预训练，数据集中包括正样本、负样本，样本中只含有标签信息和位置信息；经过区域建议生成网络中的网络模型即共享卷积层对快速区域卷积神经网络进行有监督预训练，利用网络模型中预先设置的网络参数对其进行初始化，用高斯分布对第二全连接层初始化；
快速区域卷积神经网络的微调训练，数据集中包括物体类别的标签，也含有物体位置的标签，其中正样本表示前景、负样本表示背景，对正样本进行回归操作；并将正样本和负样本与真实区域重叠比较，且在训练过程中丢弃所有超出图像边界的滑动窗口，对超出图像边界的滑动窗口集采用极大值抑制，未超出图像边界的滑动窗口用于训练；
使用微调训练后的加速区域生成神经网络重新初始化区域建议生成网络，固定共享卷积层，仅微调区域建议生成网络的第一全连接层将区域建议生成网络的前五层学习率设为0，重新训练得到新的卷积模型；
在训练样本上运用重新训练得到的新的卷积模型，重新进行训练样本的目标粗选框，即区域得分信息和区域建议信息；
使用微调训练后的加速区域生成神经网络重新初始化快速区域卷积神经网络，固定共享卷积层，仅微调区域建议生成网络的第一全连接层将区域建议生成网络的前五层学习率设为0，重新训练得到新的快速区域卷积神经网络，至此形成统一的网络，训练得到典型人物身份识别的神经网络模型。
9.根据权利要求8所述的身份识别方法，其特征在于：快速区域卷积神经网络的网络预训练和区域建议生成网络的微调训练中将正样本与真实区域重叠比较，正样本与真实区域重叠大于0.7。
10.根据权利要求8所述的身份识别方法，其特征在于：快速区域卷积神经网络的网络预训练和区域建议生成网络的微调训练中将负样本与真实区域重叠比较，负样本与真实区域重叠小于0.3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710571449.7A CN107451607B (zh) | 2017-07-13 | 2017-07-13 | 一种基于深度学习的典型人物的身份识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710571449.7A CN107451607B (zh) | 2017-07-13 | 2017-07-13 | 一种基于深度学习的典型人物的身份识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107451607A true CN107451607A (zh) | 2017-12-08 |
| CN107451607B CN107451607B (zh) | 2018-09-18 |
Family
ID=60488082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710571449.7A Active CN107451607B (zh) | 2017-07-13 | 2017-07-13 | 一种基于深度学习的典型人物的身份识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107451607B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108182413A (zh) * | 2017-12-29 | 2018-06-19 | 中国矿业大学(北京) | 一种矿井移动目标检测与跟踪识别方法 |
| CN108416304A (zh) * | 2018-03-12 | 2018-08-17 | 中科视拓（北京）科技有限公司 | 一种利用上下文信息的三分类人脸检测方法 |
| CN108564022A (zh) * | 2018-04-10 | 2018-09-21 | 深圳市唯特视科技有限公司 | 一种基于定位分类回归网络的多人物姿势检测方法 |
| CN108764269A (zh) * | 2018-04-03 | 2018-11-06 | 华南理工大学 | 一种基于时空约束增量学习的跨数据集行人再识别方法 |
| CN108960079A (zh) * | 2018-06-14 | 2018-12-07 | 多伦科技股份有限公司 | 一种图像识别方法及装置 |
| CN109002764A (zh) * | 2018-06-19 | 2018-12-14 | 长安大学 | 一种交通标志图像识别模型构建及识别方法 |
| CN109117822A (zh) * | 2018-08-31 | 2019-01-01 | 贵州大学 | 一种基于深度学习的零件实例分割识别方法 |
| CN109241980A (zh) * | 2018-08-24 | 2019-01-18 | 北京陌上花科技有限公司 | 用于虚拟人物的识别方法及装置 |
| CN109325521A (zh) * | 2018-08-24 | 2019-02-12 | 北京陌上花科技有限公司 | 用于虚拟人物的检测方法及装置 |
| CN109886245A (zh) * | 2019-03-02 | 2019-06-14 | 山东大学 | 一种基于深度学习级联神经网络的行人检测识别方法 |
| CN110717447A (zh) * | 2019-09-30 | 2020-01-21 | 上海数禾信息科技有限公司 | 图像识别方法以及装置、设备、存储介质 |
| CN110809234A (zh) * | 2019-11-08 | 2020-02-18 | 浙江每日互动网络科技股份有限公司 | 一种人物类别识别方法和终端设备 |
| CN110909675A (zh) * | 2019-11-22 | 2020-03-24 | 广州供电局有限公司 | 违章行为识别方法、装置、计算机设备和存储介质 |
| CN110929243A (zh) * | 2019-11-22 | 2020-03-27 | 武汉大学 | 一种基于手机惯性传感器的行人身份识别方法 |
| CN111428813A (zh) * | 2020-04-16 | 2020-07-17 | 西安近代化学研究所 | 一种基于深度学习的面板数字识别与按取方法 |
| CN115186770A (zh) * | 2022-09-08 | 2022-10-14 | 北京邮电大学 | 驾驶员身份识别方法和电子设备 |
| CN116128954A (zh) * | 2022-12-30 | 2023-05-16 | 上海强仝智能科技有限公司 | 一种基于生成网络的商品布局识别方法、装置及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106022232A (zh) * | 2016-05-12 | 2016-10-12 | 成都新舟锐视科技有限公司 | 基于深度学习的车牌检测方法 |
| CN106203506A (zh) * | 2016-07-11 | 2016-12-07 | 上海凌科智能科技有限公司 | 一种基于深度学习技术的行人检测方法 |
| CN106845430A (zh) * | 2017-02-06 | 2017-06-13 | 东华大学 | 基于加速区域卷积神经网络的行人检测与跟踪方法 |
| CN106845499A (zh) * | 2017-01-19 | 2017-06-13 | 清华大学 | 一种基于自然语言语义的图像目标检测方法 |
-
2017
- 2017-07-13 CN CN201710571449.7A patent/CN107451607B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106022232A (zh) * | 2016-05-12 | 2016-10-12 | 成都新舟锐视科技有限公司 | 基于深度学习的车牌检测方法 |
| CN106203506A (zh) * | 2016-07-11 | 2016-12-07 | 上海凌科智能科技有限公司 | 一种基于深度学习技术的行人检测方法 |
| CN106845499A (zh) * | 2017-01-19 | 2017-06-13 | 清华大学 | 一种基于自然语言语义的图像目标检测方法 |
| CN106845430A (zh) * | 2017-02-06 | 2017-06-13 | 东华大学 | 基于加速区域卷积神经网络的行人检测与跟踪方法 |
Non-Patent Citations (3)
| Title |
|---|
| ROSS GIRSHICK: "Fast R-CNN", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
| SHAOQING REN等: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", 《PROCEEDINGS OF THE 28TH INTERNATIONAL CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEM》 * |
| 钟晓明等: "基于快速区域卷积神经网络的交通标志识别算法研究", 《2016中国汽车工程学会年会论文集》 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108182413A (zh) * | 2017-12-29 | 2018-06-19 | 中国矿业大学(北京) | 一种矿井移动目标检测与跟踪识别方法 |
| CN108416304A (zh) * | 2018-03-12 | 2018-08-17 | 中科视拓（北京）科技有限公司 | 一种利用上下文信息的三分类人脸检测方法 |
| CN108416304B (zh) * | 2018-03-12 | 2022-02-25 | 中科视拓（北京）科技有限公司 | 一种利用上下文信息的三分类人脸检测方法 |
| CN108764269A (zh) * | 2018-04-03 | 2018-11-06 | 华南理工大学 | 一种基于时空约束增量学习的跨数据集行人再识别方法 |
| CN108564022A (zh) * | 2018-04-10 | 2018-09-21 | 深圳市唯特视科技有限公司 | 一种基于定位分类回归网络的多人物姿势检测方法 |
| CN108960079A (zh) * | 2018-06-14 | 2018-12-07 | 多伦科技股份有限公司 | 一种图像识别方法及装置 |
| CN109002764B (zh) * | 2018-06-19 | 2021-05-11 | 长安大学 | 一种交通标志图像识别模型构建及识别方法 |
| CN109002764A (zh) * | 2018-06-19 | 2018-12-14 | 长安大学 | 一种交通标志图像识别模型构建及识别方法 |
| CN109325521A (zh) * | 2018-08-24 | 2019-02-12 | 北京陌上花科技有限公司 | 用于虚拟人物的检测方法及装置 |
| CN109241980A (zh) * | 2018-08-24 | 2019-01-18 | 北京陌上花科技有限公司 | 用于虚拟人物的识别方法及装置 |
| CN109325521B (zh) * | 2018-08-24 | 2021-09-07 | 北京陌上花科技有限公司 | 用于虚拟人物的检测方法及装置 |
| CN109117822A (zh) * | 2018-08-31 | 2019-01-01 | 贵州大学 | 一种基于深度学习的零件实例分割识别方法 |
| CN109886245A (zh) * | 2019-03-02 | 2019-06-14 | 山东大学 | 一种基于深度学习级联神经网络的行人检测识别方法 |
| CN110717447A (zh) * | 2019-09-30 | 2020-01-21 | 上海数禾信息科技有限公司 | 图像识别方法以及装置、设备、存储介质 |
| CN110809234A (zh) * | 2019-11-08 | 2020-02-18 | 浙江每日互动网络科技股份有限公司 | 一种人物类别识别方法和终端设备 |
| CN110929243A (zh) * | 2019-11-22 | 2020-03-27 | 武汉大学 | 一种基于手机惯性传感器的行人身份识别方法 |
| CN110909675A (zh) * | 2019-11-22 | 2020-03-24 | 广州供电局有限公司 | 违章行为识别方法、装置、计算机设备和存储介质 |
| CN111428813A (zh) * | 2020-04-16 | 2020-07-17 | 西安近代化学研究所 | 一种基于深度学习的面板数字识别与按取方法 |
| CN115186770A (zh) * | 2022-09-08 | 2022-10-14 | 北京邮电大学 | 驾驶员身份识别方法和电子设备 |
| CN116128954A (zh) * | 2022-12-30 | 2023-05-16 | 上海强仝智能科技有限公司 | 一种基于生成网络的商品布局识别方法、装置及存储介质 |
| CN116128954B (zh) * | 2022-12-30 | 2023-12-05 | 上海强仝智能科技有限公司 | 一种基于生成网络的商品布局识别方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107451607B (zh) | 2018-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107451607B (zh) | 一种基于深度学习的典型人物的身份识别方法 | |
| Ghorbani et al. | Towards automatic concept-based explanations | |
| Tao et al. | An object detection system based on YOLO in traffic scene | |
| Li et al. | Building-a-nets: Robust building extraction from high-resolution remote sensing images with adversarial networks | |
| CN106709568A (zh) | 基于深层卷积网络的rgb‑d图像的物体检测和语义分割方法 | |
| CN104616664B (zh) | 一种基于声谱图显著性检测的音频识别方法 | |
| CN107423700A (zh) | 人证核实的方法及装置 | |
| CN104123529B (zh) | 人手检测方法及系统 | |
| CN106295506A (zh) | 一种基于集成卷积神经网络的年龄识别方法 | |
| CN106960206A (zh) | 字符识别方法和字符识别系统 | |
| CN106650789A (zh) | 一种基于深度lstm网络的图像描述生成方法 | |
| CN107945153A (zh) | 一种基于深度学习的路面裂缝检测方法 | |
| CN109874053A (zh) | 基于视频内容理解和用户动态兴趣的短视频推荐方法 | |
| CN107239762A (zh) | 一种基于视觉的公交车内乘客人数统计方法 | |
| CN106897738A (zh) | 一种基于半监督学习的行人检测方法 | |
| CN109344285A (zh) | 一种面向监控的视频图谱构建和挖掘方法、设备 | |
| CN110490238A (zh) | 一种图像处理方法、装置及存储介质 | |
| CN106778852A (zh) | 一种修正误判的图像内容识别方法 | |
| CN109271537A (zh) | 一种基于蒸馏学习的文本到图像生成方法和系统 | |
| CN106408030A (zh) | 基于中层语义属性和卷积神经网络的sar图像分类方法 | |
| CN109886147A (zh) | 一种基于单网络多任务学习的车辆多属性检测方法 | |
| CN108647595A (zh) | 基于多属性深度特征的车辆重识别方法 | |
| CN110008900A (zh) | 一种由区域到目标的可见光遥感图像候选目标提取方法 | |
| CN114662497A (zh) | 一种基于协同神经网络的虚假新闻检测方法 | |
| CN111881716A (zh) | 一种基于多视角生成对抗网络的行人重识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20180125 Address after: 250101 Shandong Province, Ji'nan City Shun Tai Plaza Building 2, 1201 Applicant after: Shandong China Magnetic Video Co.,Ltd. Applicant after: Harvest Technology (Beijing) Co., Ltd. Address before: 250101 Shandong Province, Ji'nan City Shun Tai Plaza Building 2, 1201 Applicant before: Shandong China Magnetic Video Co.,Ltd. |
|
| TA01 | Transfer of patent application right |
Effective date of registration: 20180719 Address after: No. 2, No. 2, Shun Tai square, Shandong, Shandong Applicant after: Shandong China Magnetic Video Co.,Ltd. Address before: No. 2, No. 2, Shun Tai square, Shandong, Shandong Applicant before: Shandong China Magnetic Video Co.,Ltd. Applicant before: Harvest Technology (Beijing) Co., Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Typical character identity identification method based on depth learning Effective date of registration: 20191212 Granted publication date: 20180918 Pledgee: Li Yanyan Pledgor: Shandong China Magnetic Video Co.,Ltd. Registration number: Y2019370000115 |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210728 Address after: 20 / F, east area, building 8, Shuntai Plaza, 2000 Shunhua Road, Jinan District, China (Shandong) pilot Free Trade Zone, Jinan City, Shandong Province Patentee after: Shandong baoshengxin Information Technology Co.,Ltd. Address before: No. 2, No. 2, Shun Tai square, Shandong, Shandong Patentee before: SHANDONG CHINA MAGNETIC VIDEO Co.,Ltd. |