CN106845415A - 一种基于深度学习的行人精细化识别方法及装置 - Google Patents

一种基于深度学习的行人精细化识别方法及装置 Download PDF

Info

Publication number
CN106845415A
CN106845415A CN201710050765.XA CN201710050765A CN106845415A CN 106845415 A CN106845415 A CN 106845415A CN 201710050765 A CN201710050765 A CN 201710050765A CN 106845415 A CN106845415 A CN 106845415A
Authority
CN
China
Prior art keywords
pedestrian
feature
meticulous
training
ssd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710050765.XA
Other languages
English (en)
Other versions
CN106845415B (zh
Inventor
张卫山
王志超
徐亮
赵德海
李忠伟
卢清华
宫文娟
宫法明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN201710050765.XA priority Critical patent/CN106845415B/zh
Publication of CN106845415A publication Critical patent/CN106845415A/zh
Application granted granted Critical
Publication of CN106845415B publication Critical patent/CN106845415B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Library & Information Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的行人精细化识别方法及装置，该方法包括：构建行人图像数据库，利用行人图像数据库制作包含行人特征的训练数据集，将训练数据集输入到SSD网络进行训练；根据训练结果构建行人精细化图像数据库，制作包含行人各个部位特征的训练数据集，将训练数据集输入到卷积神经网络进行训练；利用训练好的SSD网络提取来自流媒体服务器的实时视频流中的行人特征，根据提取到的行人特征，利用训练好的卷积神经网络提取行人各个部位的特征；将提取到的行人各个部位的特征与行人精细化图像数据库的每个行人相应部位的特征进行匹配，将匹配结果进行组合得到行人精细化识别结果。本发明有效地提高了行人精细化识别的准确率。

Description

一种基于深度学习的行人精细化识别方法及装置
技术领域
本发明涉及行人精细化识别领域，具体涉及一种基于深度学习的行人精细化识别方法及装置。
背景技术
深度学习是目前机器学习发展的最高度，卷积神经网络作为深度学习的一种方法，在物体识别、图像处理等领域有着较好的效果。对于特征提取，卷积神经网络有着可以自动学习图像特征的优势，减少了人工干预，提取出高质量的特征，从而为提高图像匹配的准确率打下了坚实的基础。
由于深度学习的方法可能消耗大量的GPU(Graphics Processing Unit，图形处理器)资源，计算量过大可能达不到实际应用场景中实时的效果，为了解决大数据实时处理问题，分布式实时处理框架Storm应运而生，Storm有许多应用领域，包括实时分析、在线机器学习、信息流处理、连续性的计算、分布式RPC(Remote Procedure Call，远程过程调用)和ETL(Extract-Transform-Load，抽取、转换和加载)等。
行人作为视频监控中的重要目标之一，若能对其进行有效的外观识别，不仅能提高视频监控工作人员的工作效率，对视频的检索、行人行为的解析也具有重要意义。而且，行人的精细化识别在公司为智能交通、银行、平安城市和公共安全等行业提供的解决方案中有着重要的应用。
有鉴于此，急需解决对行人进行监控识别的准确率较低的问题。
发明内容
本发明所要解决的技术问题是解决对行人进行监控识别的准确率较低的问题。
为了解决上述技术问题，本发明所采用的技术方案是提供一种基于深度学习的行人精细化识别方法，包括以下步骤：
采集历史的行人图像数据构建行人图像数据库，并利用行人图像数据库制作包含行人特征的训练数据集，将训练数据集输入到SSD网络进行训练；
根据SSD网络的训练结果构建行人精细化图像数据库，并利用行人精细化图像数据库制作包含行人各个部位特征的训练数据集，将训练数据集输入到卷积神经网络进行训练；
利用训练好的SSD网络提取来自流媒体服务器的实时视频流中的行人特征，根据SSD网络提取到的行人特征，利用训练好的卷积神经网络提取行人各个部位的特征；
利用SVM分类器将提取到的行人各个部位的特征与行人精细化图像数据库的每个行人相应部位的特征进行匹配，并将匹配结果进行组合，得到行人精细化识别结果。
在上述技术方案中，提取行人特征、行人各个部位的特征以及进行特征匹配，具体包括以下步骤：
采集来自流媒体服务器的实时视频流，将实时视频流解析为帧图像，并通过分布式实时处理框架Storm的数据采集接口，将帧图像输入到分布式实时处理框架Storm的消息源；
在分布式实时处理框架Storm上，利用设有SSD网络的消息处理组件提取数据源中的行人特征，根据提取到的行人特征，再利用设有卷积神经网络的消息处理组件提取行人各个部位的特征；
最后通过设有SVM分类器的消息处理组件将提取到的行人各个部位的特征与行人精细化图像数据库的每个行人相应部位的特征进行匹配。
在上述技术方案中，将训练数据集输入到SSD网络进行训练，具体包括以下步骤：
所述SSD网络首先使用默认参数进行训练，根据训练中间结果，对初始权值、训练速率和迭代次数不断进行调整，直到得到的参数使得训练后的所述SSD网络以预设的处理速度达到预设的识别准确率。
在上述技术方案中，根据SSD网络的训练结果构建行人精细化图像数据库，具体包括以下步骤：
根据SSD网络的训练结果得到行人图像数据库中的行人图像，根据行人各个部位特征对行人图像进行切分，并按照行人的不同部位对切分好的行人图像进行分类，得到行人精细化图像数据库。
在上述技术方案中，将训练数据集输入到卷积神经网络进行训练，具体包括以下步骤：
将所述行人精细化图像数据库中不同种类的行人图像输入到对应的所述卷积神经网络中，所述卷积神经网络首先使用默认参数进行训练，根据训练中间结果，对初始权值、训练速率和迭代次数不断进行调整，直到得到的参数使得训练后的所述卷积神经网络以预设的处理速度达到预设的识别准确率。
在上述技术方案中，预设的处理速度为每秒25帧，预设的识别准确率为90％。
在上述技术方案中，所述卷积神经网络包括三层卷积层、三层池化层、三层全连接层以及位于最后的softmax回归分类器层。
本发明还提供了一种基于深度学习的行人精细化识别装置，包括：
行人图像数据库构建模块，采集历史的行人图像数据构建行人图像数据库；
SSD网络训练模块，利用所述行人图像数据库制作包含行人特征的训练数据集，将所述训练数据集输入到SSD网络进行训练；
行人精细化图像数据库构建模块，根据所述SSD网络的训练结果构建行人精细化图像数据库；
卷积神经网络训练模块，利用所述行人精细化图像数据库制作包含行人各个部位特征的训练数据集，将所述训练数据集输入到卷积神经网络进行训练；
行人特征提取模块，利用训练好的SSD网络提取来自流媒体服务器的实时视频流中的行人特征；
行人各个部位的特征提取模块，根据所述SSD网络提取到的行人特征，利用训练好的所述卷积神经网络提取行人各个部位的特征；
特征匹配模块，利用SVM分类器将所述行人各个部位的特征提取模块提取到的行人各个部位的特征，与所述行人精细化图像数据库的每个行人相应部位的特征进行匹配；
行人精细化识别模块，将所述特征匹配模块的匹配结果进行组合，得到行人精细化识别结果。
在上述技术方案中，所述行人特征提取模块、行人各个部位的特征提取模块、特征匹配模块以及行人精细化识别模块搭建在分布式实时处理框架Storm上，且各模块并行运行；
所述行人特征提取模块，利用设有SSD网络的消息处理组件提取所述分布式实时处理框架Storm的消息源中的行人特征，所述消息源中包括所述分布式实时处理框架Storm的数据采集接口接收到的帧图像，所述帧图像由来自流媒体服务器的实时视频流解析而成；
所述行人各个部位的特征提取模块，根据所述行人特征提取模块提取到的行人特征，利用设有卷积神经网络的消息处理组件提取行人各个部位的特征；
所述特征匹配模块，通过设有SVM分类器的消息处理组件将所述行人各个部位的特征提取模块提取到的行人各个部位的特征与行人精细化图像数据库的每个行人相应部位的特征进行匹配。
本发明将深度学习技术与行人精细化识别技术相结合，通过对SSD网络和卷积神经网络进行训练，利用训练好的SSD网络提取来自流媒体服务器的实时视频流中的行人特征，根据SSD网络提取到的行人特征，利用训练好的卷积神经网络提取行人各个部位的特征，将提取到的行人各个部位的特征与行人精细化图像数据库的每个行人相应部位的特征进行匹配，并将匹配结果进行组合，得到行人精细化识别结果，有效地提高了行人精细化识别的准确率。
附图说明
图1为本发明提供的一种基于深度学习的行人精细化识别方法流程图；
图2为本发明提供的一种基于深度学习的行人精细化识别方法示意图；
图3为本发明提供的训练卷积神经网络的结构示意图；
图4为本发明提供的一种基于深度学习的行人精细化识别装置示意图。
具体实施方式
下面结合说明书附图和具体实施方式对本发明做出详细的说明。
本发明实施例提供了一种基于深度学习的行人精细化识别方法，如图1、图2所示，包括以下步骤：
S1、采集历史的行人图像数据构建行人图像数据库，并利用行人图像数据库制作包含行人特征的训练数据集，将训练数据集输入到SSD网络进行训练，直至得到的参数使得训练后的SSD网络以预设的处理速度达到预设的识别准确率。
构建行人图像数据库具体为：采集流媒体服务器存储的视频流，解析成帧，并去除没帧的背景，利用这些历史的行人图像数据构建行人图像数据库。
S2、根据SSD网络的训练结果构建行人精细化图像数据库，并利用行人精细化图像数据库制作包含行人各个部位特征的训练数据集，将训练数据集输入到卷积神经网络进行训练，直至得到的参数使得训练后的卷积神经网络以预设的处理速度达到预设的识别准确率。
S3、在分布式实时处理框架Storm上，利用训练好的SSD网络提取来自流媒体服务器的实时视频流中的行人特征，根据SSD网络提取到的行人特征，利用训练好的卷积神经网络提取行人各个部位的特征(行人各个部位的特征包括行人各个部位的位置信息以及图像颜色信息等)。
S4、在分布式实时处理框架Storm上，利用SVM(支持向量机)分类器将提取到的行人各个部位的特征与行人精细化图像数据库的每个行人相应部位的特征进行匹配，并将匹配结果进行组合，得到实时的行人精细化识别结果。
具体地：通过采集来自流媒体服务器的实时视频流，将实时视频流解析为帧图像，并通过分布式实时处理框架Storm的数据采集接口，将每一帧图像输入到分布式实时处理框架Storm的消息源；在分布式实时处理框架Storm上，利用设有SSD网络的消息处理组件提取帧图像中的行人特征，根据提取到的行人特征，再利用设有卷积神经网络的消息处理组件提取行人各个部位的特征；最后通过设有SVM分类器的消息处理组件将提取到的行人各个部位的特征与行人精细化图像数据库的每个行人相应部位的特征进行匹配，并将匹配结果进行组合，最终得到实时的行人精细化识别结果。
行人精细化识别结果由行人的面目识别结果、上衣的位置及图像颜色、裤子的位置及图像颜色、鞋子的位置及图像颜色、帽子的位置及图像颜色、包的位置及图像颜色等信息组成。
本方案采用分布式实时处理框架Storm，实现了行人精细化识别的实时化。
在步骤S1中，将训练数据集输入到SSD网络进行训练，直至得到的参数使得训练后的SSD网络以预设的处理速度达到预设的识别准确率，具体包括以下步骤：
SSD网络首先使用默认参数进行训练，根据训练中间结果，对初始权值、训练速率和迭代次数进行不断调整，直到得到的参数使得训练后的SSD网络以每秒25帧的处理速度达到90％的识别准确率。
在步骤S2中，根据SSD网络的训练结果构建行人精细化图像数据库，具体包括以下步骤：
根据SSD网络的训练结果得到行人图像数据库中的行人图像，根据行人各个部位特征(例如行人的上衣、裤子、鞋子、帽子和包等等)对行人图像进行切分，并对切分好的行人图像进行分类，得到行人精细化图像数据库。
在步骤S2中，将训练数据集输入到卷积神经网络进行训练，直至得到的参数使得训练后的卷积神经网络以预设的处理速度达到预设的识别准确率，具体包括以下步骤：
将行人精细化图像数据库中不同种类的行人图像输入到对应的卷积神经网络中，卷积神经网络首先使用默认参数进行训练，根据训练中间结果，对初始权值、训练速率和迭代次数进行不断调整，直到得到的参数使得训练后的卷积神经网络以每秒25帧的处理速度达到90％的识别准确率。
如图3所示，将行人精细化图像数据集中的行人图像作为卷积神经网络的输入，训练卷积神经网络，该卷积神经网络包括三层卷积层、三层池化层、三层全连接层以及位于最后一层的softmax回归分类器层。
本发明实施例还提供了一种基于深度学习的行人精细化识别装置，如图4所示，包括：
行人图像数据库构建模块10，采集历史的行人图像数据构建行人图像数据库；
SSD网络训练模块20，利用所述行人图像数据库制作包含行人特征的训练数据集，将所述训练数据集输入到SSD网络进行训练；
行人精细化图像数据库构建模块30，根据所述SSD网络的训练结果构建行人精细化图像数据库；
卷积神经网络训练模块40，利用所述行人精细化图像数据库制作包含行人各个部位特征的训练数据集，将所述训练数据集输入到卷积神经网络进行训练；
行人特征提取模块50，利用训练好的SSD网络提取来自流媒体服务器的实时视频流中的行人特征；
行人各个部位的特征提取模块60，根据所述SSD网络提取到的行人特征，利用训练好的所述卷积神经网络提取行人各个部位的特征；
特征匹配模块70，利用SVM(支持向量机)分类器将所述行人各个部位的特征提取模块60提取到的行人各个部位的特征，与所述行人精细化图像数据库的每个行人相应部位的特征进行匹配；
行人精细化识别模块80，将所述特征匹配模块70的匹配结果进行组合，得到行人精细化识别结果。
上述行人特征提取模块50、行人各个部位的特征提取模块60、特征匹配模块70以及行人精细化识别模块80搭建在分布式实时处理框架Storm上，且各模块并行运行。
所述行人特征提取模块50，利用设有SSD网络的消息处理组件提取所述分布式实时处理框架Storm的消息源中的行人特征，所述消息源中包括所述分布式实时处理框架Storm的数据采集接口接收到的帧图像，所述帧图像由来自流媒体服务器的实时视频流解析而成。
所述行人各个部位的特征提取模块60，根据所述行人特征提取模块50提取到的行人特征，利用设有卷积神经网络的消息处理组件提取行人各个部位的特征。
所述特征匹配模块70，通过设有SVM分类器的消息处理组件将所述行人各个部位的特征提取模块60提取到的行人各个部位的特征与行人精细化图像数据库的每个行人相应部位的特征进行匹配。
本发明将深度学习技术和云计算技术与行人精细化识别相结合通过对SSD网络和卷积神经网络进行训练，利用训练好的SSD网络提取来自流媒体服务器的实时视频流中的行人特征，根据SSD网络提取到的行人特征，利用训练好的卷积神经网络提取行人各个部位的特征，将提取到的行人各个部位的特征与行人精细化图像数据库的每个行人相应部位的特征进行匹配，并将匹配结果进行组合，得到行人精细化识别结果，有效地提高了行人精细化识别的准确率。另外，利用分布式实时处理框架Storm处理行人精细化识别，达到实时识别的目的，有效地提高了行人精细化识别的效率。
本发明不局限于上述最佳实施方式，任何人在本发明的启示下作出的结构变化，凡是与本发明具有相同或相近的技术方案，均落入本发明的保护范围之内。

Claims (9)

1.一种基于深度学习的行人精细化识别方法，其特征在于，包括以下步骤：
采集历史的行人图像数据构建行人图像数据库，并利用行人图像数据库制作包含行人特征的训练数据集，将训练数据集输入到SSD网络进行训练；
根据SSD网络的训练结果构建行人精细化图像数据库，并利用行人精细化图像数据库制作包含行人各个部位特征的训练数据集，将训练数据集输入到卷积神经网络进行训练；
利用训练好的SSD网络提取来自流媒体服务器的实时视频流中的行人特征，根据SSD网络提取到的行人特征，利用训练好的卷积神经网络提取行人各个部位的特征；
利用SVM分类器将提取到的行人各个部位的特征与行人精细化图像数据库的每个行人相应部位的特征进行匹配，并将匹配结果进行组合，得到行人精细化识别结果。
2.如权利要求1所述的基于深度学习的行人精细化识别方法，其特征在于，提取行人特征、行人各个部位的特征以及进行特征匹配，具体包括以下步骤：
采集来自流媒体服务器的实时视频流，将实时视频流解析为帧图像，并通过分布式实时处理框架Storm的数据采集接口，将帧图像输入到分布式实时处理框架Storm的消息源；
在分布式实时处理框架Storm上，利用设有SSD网络的消息处理组件提取数据源中的行人特征，根据提取到的行人特征，再利用设有卷积神经网络的消息处理组件提取行人各个部位的特征；
最后通过设有SVM分类器的消息处理组件将提取到的行人各个部位的特征与行人精细化图像数据库的每个行人相应部位的特征进行匹配。
3.如权利要求1所述的基于深度学习的行人精细化识别方法，其特征在于，将训练数据集输入到SSD网络进行训练，具体包括以下步骤：
所述SSD网络首先使用默认参数进行训练，根据训练中间结果，对初始权值、训练速率和迭代次数不断进行调整，直到得到的参数使得训练后的所述SSD网络以预设的处理速度达到预设的识别准确率。
4.如权利要求3所述的基于深度学习的行人精细化识别方法，其特征在于，根据SSD网络的训练结果构建行人精细化图像数据库，具体包括以下步骤：
根据SSD网络的训练结果得到行人图像数据库中的行人图像，根据行人各个部位特征对行人图像进行切分，并按照行人的不同部位对切分好的行人图像进行分类，得到行人精细化图像数据库。
5.如权利要求4所述的基于深度学习的行人精细化识别方法，其特征在于，将训练数据集输入到卷积神经网络进行训练，具体包括以下步骤：
将所述行人精细化图像数据库中不同种类的行人图像输入到对应的所述卷积神经网络中，所述卷积神经网络首先使用默认参数进行训练，根据训练中间结果，对初始权值、训练速率和迭代次数不断进行调整，直到得到的参数使得训练后的所述卷积神经网络以预设的处理速度达到预设的识别准确率。
6.如权利要求3或5所述的基于深度学习的行人精细化识别方法，其特征在于，预设的处理速度为每秒25帧，预设的识别准确率为90％。
7.如权利要求1所述的基于深度学习的行人精细化识别方法，其特征在于，所述卷积神经网络包括三层卷积层、三层池化层、三层全连接层以及位于最后的softmax回归分类器层。
8.一种基于深度学习的行人精细化识别装置，其特征在于，包括：
行人图像数据库构建模块，采集历史的行人图像数据构建行人图像数据库；
SSD网络训练模块，利用所述行人图像数据库制作包含行人特征的训练数据集，将所述训练数据集输入到SSD网络进行训练；
行人精细化图像数据库构建模块，根据所述SSD网络的训练结果构建行人精细化图像数据库；
卷积神经网络训练模块，利用所述行人精细化图像数据库制作包含行人各个部位特征的训练数据集，将所述训练数据集输入到卷积神经网络进行训练；
行人特征提取模块，利用训练好的SSD网络提取来自流媒体服务器的实时视频流中的行人特征；
行人各个部位的特征提取模块，根据所述SSD网络提取到的行人特征，利用训练好的所述卷积神经网络提取行人各个部位的特征；
特征匹配模块，利用SVM分类器将所述行人各个部位的特征提取模块提取到的行人各个部位的特征，与所述行人精细化图像数据库的每个行人相应部位的特征进行匹配；
行人精细化识别模块，将所述特征匹配模块的匹配结果进行组合，得到行人精细化识别结果。
9.如权利要求8所述的基于深度学习的行人精细化识别装置，其特征在于，
所述行人特征提取模块、行人各个部位的特征提取模块、特征匹配模块以及行人精细化识别模块搭建在分布式实时处理框架Storm上，且各模块并行运行；
所述行人特征提取模块，利用设有SSD网络的消息处理组件提取所述分布式实时处理框架Storm的消息源中的行人特征，所述消息源中包括所述分布式实时处理框架Storm的数据采集接口接收到的帧图像，所述帧图像由来自流媒体服务器的实时视频流解析而成；
所述行人各个部位的特征提取模块，根据所述行人特征提取模块提取到的行人特征，利用设有卷积神经网络的消息处理组件提取行人各个部位的特征；
所述特征匹配模块，通过设有SVM分类器的消息处理组件将所述行人各个部位的特征提取模块提取到的行人各个部位的特征与行人精细化图像数据库的每个行人相应部位的特征进行匹配。
CN201710050765.XA 2017-01-23 2017-01-23 一种基于深度学习的行人精细化识别方法及装置 Expired - Fee Related CN106845415B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710050765.XA CN106845415B (zh) 2017-01-23 2017-01-23 一种基于深度学习的行人精细化识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710050765.XA CN106845415B (zh) 2017-01-23 2017-01-23 一种基于深度学习的行人精细化识别方法及装置

Publications (2)

Publication Number Publication Date
CN106845415A true CN106845415A (zh) 2017-06-13
CN106845415B CN106845415B (zh) 2020-06-23

Family

ID=59120975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710050765.XA Expired - Fee Related CN106845415B (zh) 2017-01-23 2017-01-23 一种基于深度学习的行人精细化识别方法及装置

Country Status (1)

Country Link
CN (1) CN106845415B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107426894A (zh) * 2017-06-20 2017-12-01 上海大学 基于智能视频识别的教室灯光自动检测控制系统及其方法
CN107729933A (zh) * 2017-10-11 2018-02-23 恩泊泰（天津）科技有限公司 行人背包戴帽识别的方法及装置
CN107729805A (zh) * 2017-09-01 2018-02-23 北京大学 用于行人再识别的神经网络和基于深度学习的行人再识别算法
CN108460407A (zh) * 2018-02-02 2018-08-28 东华大学 一种基于深度学习的行人属性精细化识别方法
CN108549852A (zh) * 2018-03-28 2018-09-18 中山大学 基于深度网络增强的特定场景下行人检测器自动学习方法
CN108683877A (zh) * 2018-03-30 2018-10-19 中国科学院自动化研究所 基于Spark的分布式海量视频解析系统
WO2019041360A1 (zh) * 2017-09-04 2019-03-07 华为技术有限公司 行人属性识别与定位方法以及卷积神经网络系统
CN109614894A (zh) * 2018-11-28 2019-04-12 北京陌上花科技有限公司 行人再识别方法及装置、存储介质、服务器
CN109934158A (zh) * 2019-03-11 2019-06-25 合肥工业大学 基于局部强化运动历史图和递归卷积神经网络的视频情感识别方法
CN109934081A (zh) * 2018-08-29 2019-06-25 厦门安胜网络科技有限公司 一种基于深度神经网络的行人属性识别方法、装置及存储介质
CN110135336A (zh) * 2019-05-14 2019-08-16 腾讯科技（深圳）有限公司 行人生成模型的训练方法、装置及存储介质
CN110309843A (zh) * 2019-02-02 2019-10-08 国网浙江省电力有限公司湖州供电公司 一种电力设备图像中多类部件的自动识别方法
CN110826514A (zh) * 2019-11-13 2020-02-21 国网青海省电力公司海东供电公司 一种基于深度学习的施工现场违章智能识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426653A (zh) * 2011-10-28 2012-04-25 西安电子科技大学 基于第二代Bandelet变换和星型模型的静态人体检测方法
CN104680508A (zh) * 2013-11-29 2015-06-03 华为技术有限公司 卷积神经网络和基于卷积神经网络的目标物体检测方法
CN104992147A (zh) * 2015-06-09 2015-10-21 中国石油大学(华东) 一种基于快慢结合云计算环境的深度学习的车牌识别方法
CN104992142A (zh) * 2015-06-03 2015-10-21 江苏大学 一种基于深度学习和属性学习相结合的行人识别方法
CN105631413A (zh) * 2015-12-23 2016-06-01 中通服公众信息产业股份有限公司 一种基于深度学习的跨场景行人搜索方法
WO2016095117A1 (en) * 2014-12-17 2016-06-23 Nokia Technologies Oy Object detection with neural network
CN106096561A (zh) * 2016-06-16 2016-11-09 重庆邮电大学 基于图像块深度学习特征的红外行人检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426653A (zh) * 2011-10-28 2012-04-25 西安电子科技大学 基于第二代Bandelet变换和星型模型的静态人体检测方法
CN104680508A (zh) * 2013-11-29 2015-06-03 华为技术有限公司 卷积神经网络和基于卷积神经网络的目标物体检测方法
WO2016095117A1 (en) * 2014-12-17 2016-06-23 Nokia Technologies Oy Object detection with neural network
CN104992142A (zh) * 2015-06-03 2015-10-21 江苏大学 一种基于深度学习和属性学习相结合的行人识别方法
CN104992147A (zh) * 2015-06-09 2015-10-21 中国石油大学(华东) 一种基于快慢结合云计算环境的深度学习的车牌识别方法
CN105631413A (zh) * 2015-12-23 2016-06-01 中通服公众信息产业股份有限公司 一种基于深度学习的跨场景行人搜索方法
CN106096561A (zh) * 2016-06-16 2016-11-09 重庆邮电大学 基于图像块深度学习特征的红外行人检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
NAMHOON LEE 等: "Visual Compiler:Synthesizing a Scene-Specific Pedestrian Detector and Pose Estimator", 《ARXIV》 *
WEI LIU 等: "SSD: Single Shot MultiBox Detector", 《ECCV 2016》 *
WEISHAN ZHANG 等: "A Deep-Intelligence Framework for Online Video Processing", 《IEEE SOFTWARE》 *
牛新 等: "基于深度学习的光学遥感机场与飞行器目标识别技术", 《大数据》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107426894A (zh) * 2017-06-20 2017-12-01 上海大学 基于智能视频识别的教室灯光自动检测控制系统及其方法
CN107729805B (zh) * 2017-09-01 2019-09-13 北京大学 用于行人再识别的神经网络和基于深度学习的行人再识别算法
CN107729805A (zh) * 2017-09-01 2018-02-23 北京大学 用于行人再识别的神经网络和基于深度学习的行人再识别算法
US11574187B2 (en) 2017-09-04 2023-02-07 Huawei Technologies Co., Ltd. Pedestrian attribute identification and positioning method and convolutional neural network system
WO2019041360A1 (zh) * 2017-09-04 2019-03-07 华为技术有限公司 行人属性识别与定位方法以及卷积神经网络系统
CN107729933A (zh) * 2017-10-11 2018-02-23 恩泊泰（天津）科技有限公司 行人背包戴帽识别的方法及装置
CN108460407A (zh) * 2018-02-02 2018-08-28 东华大学 一种基于深度学习的行人属性精细化识别方法
CN108549852A (zh) * 2018-03-28 2018-09-18 中山大学 基于深度网络增强的特定场景下行人检测器自动学习方法
CN108549852B (zh) * 2018-03-28 2020-09-08 中山大学 基于深度网络增强的特定场景下行人检测器自动学习方法
CN108683877B (zh) * 2018-03-30 2020-04-28 中国科学院自动化研究所 基于Spark的分布式海量视频解析系统
CN108683877A (zh) * 2018-03-30 2018-10-19 中国科学院自动化研究所 基于Spark的分布式海量视频解析系统
CN109934081A (zh) * 2018-08-29 2019-06-25 厦门安胜网络科技有限公司 一种基于深度神经网络的行人属性识别方法、装置及存储介质
CN109614894A (zh) * 2018-11-28 2019-04-12 北京陌上花科技有限公司 行人再识别方法及装置、存储介质、服务器
CN110309843A (zh) * 2019-02-02 2019-10-08 国网浙江省电力有限公司湖州供电公司 一种电力设备图像中多类部件的自动识别方法
CN110309843B (zh) * 2019-02-02 2022-12-02 国网浙江省电力有限公司湖州供电公司 一种电力设备图像中多类部件的自动识别方法
CN109934158B (zh) * 2019-03-11 2020-03-17 合肥工业大学 基于局部强化运动历史图和递归卷积神经网络的视频情感识别方法
CN109934158A (zh) * 2019-03-11 2019-06-25 合肥工业大学 基于局部强化运动历史图和递归卷积神经网络的视频情感识别方法
CN110135336A (zh) * 2019-05-14 2019-08-16 腾讯科技（深圳）有限公司 行人生成模型的训练方法、装置及存储介质
CN110135336B (zh) * 2019-05-14 2023-08-25 腾讯科技（深圳）有限公司 行人生成模型的训练方法、装置及存储介质
CN110826514A (zh) * 2019-11-13 2020-02-21 国网青海省电力公司海东供电公司 一种基于深度学习的施工现场违章智能识别方法

Also Published As

Publication number Publication date
CN106845415B (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN106845415A (zh) 一种基于深度学习的行人精细化识别方法及装置
CN104113789B (zh) 一种基于深度学习的视频摘要在线生成方法
CN109829443A (zh) 基于图像增强与3d卷积神经网络的视频行为识别方法
CN103793697B (zh) 一种人脸图像的身份标注方法及人脸身份识别方法
CN107730458A (zh) 一种基于生成式对抗网络的模糊人脸重建方法及系统
CN103824053B (zh) 一种人脸图像的性别标注方法及人脸性别检测方法
CN108830252A (zh) 一种融合全局时空特征的卷积神经网络人体动作识别方法
CN108596041B (zh) 一种基于视频的人脸活体检测方法
CN106354816A (zh) 一种视频图像处理方法及装置
CN106845424A (zh) 基于深度卷积网络的路面遗留物检测方法
CN106096568A (zh) 一种基于cnn和卷积lstm网络的行人再识别方法
CN107704637A (zh) 一种面向突发事件的知识图谱构建方法
CN107330392A (zh) 视频场景标注装置与方法
CN107169106A (zh) 视频检索方法、装置、存储介质及处理器
CN106650694A (zh) 一种以卷积神经网络作为特征提取器的人脸识别方法
CN112653899A (zh) 一种基于联合注意力ResNeSt的复杂场景下网络直播视频特征提取方法
CN109712127A (zh) 一种用于机巡视频流的输电线路故障检测方法
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN109948639A (zh) 一种基于深度学习的图片垃圾识别方法
CN110210335A (zh) 一种行人重识别学习模型的训练方法、系统和装置
CN111539290A (zh) 视频动作识别方法、装置、电子设备及存储介质
CN107426542A (zh) 基于边缘计算的实时人工智能视频系统的硬件架构
CN104156729B (zh) 一种教室人数统计方法
CN107145546A (zh) 基于深度学习的监控视频人员模糊检索方法
CN102088597A (zh) 动静结合估计视频视觉显著度的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200623

CF01 Termination of patent right due to non-payment of annual fee