CN110427904A - 基于行人重识别的商场监控系统、方法及装置 - Google Patents

基于行人重识别的商场监控系统、方法及装置 Download PDF

Info

Publication number
CN110427904A
CN110427904A CN201910730770.4A CN201910730770A CN110427904A CN 110427904 A CN110427904 A CN 110427904A CN 201910730770 A CN201910730770 A CN 201910730770A CN 110427904 A CN110427904 A CN 110427904A
Authority
CN
China
Prior art keywords
unit
monitoring
sub
image
pedestrian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910730770.4A
Other languages
English (en)
Other versions
CN110427904B (zh
Inventor
高冬法
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910730770.4A priority Critical patent/CN110427904B/zh
Publication of CN110427904A publication Critical patent/CN110427904A/zh
Application granted granted Critical
Publication of CN110427904B publication Critical patent/CN110427904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0811—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking connectivity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明属于图像监控技术领域，具体涉及基于行人重识别的商场监控系统、方法及装置。所述系统包括：若干个子监控网络和一个中央控制端；所述子监控网络之间互相通信，所述子监控网络和中央控制端之间互相通信，组成第一区块链网络；所述子监控网络包括若干个子监控点；所述子监控点互相通信，组成第二区块链网络；所述子监控点包括：图像获取装置和图像识别装置；所述图像获取装置和图像识别装置信号连接；所述图像识别装置包括：用于进行图像识别的核心识别单元和用于进行网络通信的网络通信单元。具有监控结果准确、识别率高和智能化程度高的优点。

Description

基于行人重识别的商场监控系统、方法及装置
技术领域
本发明属于图像监控技术领域，具体涉及基于行人重识别的商场监控系统、方法及装置。
背景技术
信息社会,科技发展日新月异。随着国民经济的持续发展,电力发电、水文勘测、电视中继转播等很多场合都存在多设备、多参量的远程监控问题。数字图像远程集中监控系统是结合先进的计算机网络技术、多媒体技术、通信技术适应电信、电力、银行、交通、水利以及公安等行业用户多样化需求的数字图像监控系统建设方案。
人重识别(Person re-identification)也称行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。广泛被认为是一个图像检索的子问题。给定一个监控行人图像，检索跨设备下的该行人图像。旨在弥补目前固定的摄像头的视觉局限，并可与行人检测/行人跟踪技术相结合，可广泛应用于智能视频监控、智能安保等领域。
由于不同摄像设备之间的差异，同时行人兼具刚性和柔性的特性，外观易受穿着、尺度、遮挡、姿态和视角等影响，使得行人重识别成为计算机视觉领域中一个既具有研究价值同时又极具挑战性的热门课题。
发明内容
有鉴于此，本发明的主要目的在于基于行人重识别的商场监控系统、方法及装置，具有监控结果准确、识别率高和智能化程度高的优点。
为达到上述目的，本发明的技术方案是这样实现的：
基于行人重识别的商场监控系统，所述系统包括：若干个子监控网络和一个中央控制端；所述子监控网络之间互相通信，所述子监控网络和中央控制端之间互相通信，组成第一区块链网络；所述子监控网络包括若干个子监控点；所述子监控点互相通信，组成第二区块链网络；所述子监控点包括：图像获取装置和图像识别装置；所述图像获取装置和图像识别装置信号连接；所述图像识别装置包括：用于进行图像识别的核心识别单元和用于进行网络通信的网络通信单元。
进一步的，所述核心识别单元包括：设定层和识别层；所述设定层包括：训练集、第一关键点检测单元、第一行人特征提取单元、系统建立单元和分类器设定单元；所述识别层包括：待测样本输入单元、第二关键点检测单元、第二行人特征提取单元、匹配识别单元、结果提取单元、熵值检测单元和判断单元；录入行人图像样本组成训练集，训练集信号连接于第一关键点检测单元；第一关键点检测单元分别与第二关键点检测单元和第一行人特征提取单元；所述第一行人特征提取单元分别信号连接于第二行人特征提取单元和系统建立单元；所述系统建立单元分别信号连接于分类器设定单元和匹配识别单元；所述分类器设定单元信号连接于结果提取单元；所述待测样本输入单元信号连接于第二关键点检测单元；所述第二关键点检测单元信号连接于第二行人特征提取单元；所述第二行人特征提取单元信号连接于匹配识别单元；所述匹配识别单元信号连接于结果提取单元；所述结果提取单元信号连接于熵值检测单元；所述熵值检测单元信号连接于判断单元；所述判断单元信号连接于第一行人特征提取单元。
进一步的，所述网络通信单元包括：图像获取装置包括：摄像头、图像光补偿单元和图像去噪单元；所述摄像头信号连接于图像光补偿单元；所述图像去噪单元分别信号连接于图像光补偿单元和图像识别装置。
进一步的，所述图像光补偿单元进行图像光补偿的方法包括：对图像进行边缘检测，判断伪边缘，并标记出伪边缘对应的低照度区域；获取结构张量及其对应的特征值，根据获取的特征值对原始图像进行光照处理，得出光照补偿后的图像。
进一步的，所述图像去噪单元进行图像去燥的方法包括：根据输入的图像数据，将所述图像划分为多个块；提取所述图像中的每一块的特征；基于提取的特征进行聚类，由此将所述图像中的所述多个块分组而得到块组；利用多线性子空间学习滤波器对块组进行去噪；输出去噪后的图像数据。
基于行人重识别的商场监控方法，所述方法执行以下步骤：
步骤1：子监控点在商场内实时进行行人监控，将监控的结果发送到该区域的子监控网络中的其他子监控点，该区域的子监控互相进行实时数据传输；
步骤2：子监控网络实时将该区域的所有子监控网络获取的监控数据和其他子监控网络进行传输，同时，和中央控制端进行传输；
步骤3：中央控制端根据接收到的数据进行数据分析，得出监控结果。
进一步的，所述子监控点进行行人监控功的方法包括：获取原始的监控图像，根据获取的监控图像进行图像识别；所述进行图像识别的方法包括：
步骤S1：设定层建立识别模型，依次执行第一次关键点检测、第一次行人特征提取、系统建立和设定分类器的步骤；
步骤S2：识别层对待检测样本进行识别，依次执行第二次关键点检测、第二次行人特征获取、匹配识别、结果提取和熵值检测的步骤；其中，所述熵值检测的步骤包括以下步骤：
步骤S2.1：在结果提取步骤中，提取的结果的基础上，选取第n个灰度阶像素点的个数Nn获取xn和mn，mn为多项式输入的整数部分，xn为多项式输入的小数部分，Nn为自然数，n为大于等于0小于等于n的整数，n为图像分块的灰度阶数；对数函数拟合的计算模块，用于将Nn作为第n个时钟周期的信号值，根据xn和mn获取所述多项式的拟合输出log2Nn，包括：k+1个计算单元，每个所述计算单元包括一个子求和模块及t个子乘积模块，k为所述拟合多项式的阶数，t为大于等于0小于等于2的整数，其中，在第一个计算单元至第k个计算单元中，第r个计算单元用于向第r+1个计算单元输出第k+1个计算单元用于输出其中，xn和mn根据预设的公式获得，mn为整数，r为大于等于1小于等于k的整数，p0～pk为多项式系数；
步骤S2.2：将所述log2Nn的拟合输出与Nn相乘；
步骤S2.3:将所述log2Nn的拟合输出作为log2Nn；以及计算p减去所述累加模块的输出值以获得该结果提取的结果的熵值检测的结果，其中，p＝log2P，P为该图像分块的像素总数；
步骤S3：根据熵值检测的结果，判断是否满足熵值测评指标，将判断结果反馈至设定层。
进一步的，所述子监控点构成该子监控网络中的区块链网络的节点；各子监控节点间可以互相进行数据读取和传输。
进一步的，所述子监控网络和中央控制端构成该系统的区块链网络的节点。
基于行人重识别的商场监控装置，所述装置为计算机存储介质，所述计算机存储介质上存储有计算机程序，它包括：子监控点在商场内实时进行行人监控，将监控的结果发送到该区域的子监控网络中的其他子监控点，该区域的子监控互相进行实时数据传输的代码段；子监控网络实时将该区域的所有子监控网络获取的监控数据和其他子监控网络进行传输，同时，和中央控制端进行传输的代码段；中央控制端根据接收到的数据进行数据分析，得出监控结果的代码段。
本发明的基于行人重识别的商场监控系统、方法及装置，具有如下有益效果：通过区块链去中心化的结构，可以保证各个模块、单元和网络之间的数据传输更加高效，同时本发明采用行人重识别的技术，可以显著提升识别的效率和识别的准确性。
附图说明
图1为本发明的实施例提供的基于行人重识别的商场监控系统的系统结构示意图；
图2为本发明的实施例提供的基于行人重识别的商场监控方法的方法流程示意图。
具体实施方式
下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。
实施例1
基于行人重识别的商场监控系统，所述系统包括：若干个子监控网络和一个中央控制端；所述子监控网络之间互相通信，所述子监控网络和中央控制端之间互相通信，组成第一区块链网络；所述子监控网络包括若干个子监控点；所述子监控点互相通信，组成第二区块链网络；所述子监控点包括：图像获取装置和图像识别装置；所述图像获取装置和图像识别装置信号连接；所述图像识别装置包括：用于进行图像识别的核心识别单元和用于进行网络通信的网络通信单元。
具体的，在进行数据传输时，基于对象的视频编码技术，首先对输入的任意外形的VOP序列，用基于块的混合编码技术编码。处理顺序是先帧内VOP，后帧间VOP和双向猜测VOP。
在对VOP的外形信息编码之后，取得任意外形VOP的采样，每个VOP用宏块栅格划分成不相交的宏块，每个宏块含有四个8×8的像素块，以进行运动估计和补偿及纹理编码。已编码的VOP帧保存在VOP帧存储器中。运动向量在当前VOP帧和已编码VOP帧之间计算。对将被编码的块或宏块，计算其运动补偿猜测误差。运动补偿猜测后的I-VOP及误差用8×8块DCT编码，并进行DCP系数的量化，然后是行程编码和熵编码。
最后，外形、运动和纹理信息复合成VOL位流输出。这种编码方法可以答应用户修改、增加或重定位一个视频场景中的对象，甚至可以转换场景中对象的行为。对于不同的带宽和计算复杂性需求，不必针对每种情况分别编码，可以使用同一个视频位流，而采用不同的参数以选择不同的层以获得灵活性。在出现网络拥塞、丢包等现象时仍能提供连贯性较好的视频图像。视频压缩编码进程将编码后的的视频存放到已编码视频缓冲队列中，同时激活或等待直播进程和存储治理进程的相应处理。
实施例2
在上一实施例的基础上，所述核心识别单元包括：设定层和识别层；所述设定层包括：训练集、第一关键点检测单元、第一行人特征提取单元、系统建立单元和分类器设定单元；所述识别层包括：待测样本输入单元、第二关键点检测单元、第二行人特征提取单元、匹配识别单元、结果提取单元、熵值检测单元和判断单元；录入行人图像样本组成训练集，训练集信号连接于第一关键点检测单元；第一关键点检测单元分别与第二关键点检测单元和第一行人特征提取单元；所述第一行人特征提取单元分别信号连接于第二行人特征提取单元和系统建立单元；所述系统建立单元分别信号连接于分类器设定单元和匹配识别单元；所述分类器设定单元信号连接于结果提取单元；所述待测样本输入单元信号连接于第二关键点检测单元；所述第二关键点检测单元信号连接于第二行人特征提取单元；所述第二行人特征提取单元信号连接于匹配识别单元；所述匹配识别单元信号连接于结果提取单元；所述结果提取单元信号连接于熵值检测单元；所述熵值检测单元信号连接于判断单元；所述判断单元信号连接于第一行人特征提取单元。
实施例3
在上一实施例的基础上，所述网络通信单元包括：图像获取装置包括：摄像头、图像光补偿单元和图像去噪单元；所述摄像头信号连接于图像光补偿单元；所述图像去噪单元分别信号连接于图像光补偿单元和图像识别装置。
实施例4
在上一实施例的基础上，所述图像光补偿单元进行图像光补偿的方法包括：对图像进行边缘检测，判断伪边缘，并标记出伪边缘对应的低照度区域；获取结构张量及其对应的特征值，根据获取的特征值对原始图像进行光照处理，得出光照补偿后的图像。
实施例5
在上一实施例的基础上，所述图像去噪单元进行图像去燥的方法包括：根据输入的图像数据，将所述图像划分为多个块；提取所述图像中的每一块的特征；基于提取的特征进行聚类，由此将所述图像中的所述多个块分组而得到块组；利用多线性子空间学习滤波器对块组进行去噪；输出去噪后的图像数据。
实施例6
基于行人重识别的商场监控方法，所述方法执行以下步骤：
步骤1：子监控点在商场内实时进行行人监控，将监控的结果发送到该区域的子监控网络中的其他子监控点，该区域的子监控互相进行实时数据传输；
步骤2：子监控网络实时将该区域的所有子监控网络获取的监控数据和其他子监控网络进行传输，同时，和中央控制端进行传输；
步骤3：中央控制端根据接收到的数据进行数据分析，得出监控结果。
实施例7
在上一实施例的基础上，所述子监控点进行行人监控功的方法包括：获取原始的监控图像，根据获取的监控图像进行图像识别；所述进行图像识别的方法包括：
步骤S1：设定层建立识别模型，依次执行第一次关键点检测、第一次行人特征提取、系统建立和设定分类器的步骤；
步骤S2：识别层对待检测样本进行识别，依次执行第二次关键点检测、第二次行人特征获取、匹配识别、结果提取和熵值检测的步骤；其中，所述熵值检测的步骤包括以下步骤：
步骤S2.1：在结果提取步骤中，提取的结果的基础上，选取第n个灰度阶像素点的个数Nn获取xn和mn，mn为多项式输入的整数部分，xn为多项式输入的小数部分，Nn为自然数，n为大于等于0小于等于n的整数，n为图像分块的灰度阶数；对数函数拟合的计算模块，用于将Nn作为第n个时钟周期的信号值，根据xn和mn获取所述多项式的拟合输出log2Nn，包括：k+1个计算单元，每个所述计算单元包括一个子求和模块及t个子乘积模块，k为所述拟合多项式的阶数，t为大于等于0小于等于2的整数，其中，在第一个计算单元至第k个计算单元中，第r个计算单元用于向第r+1个计算单元输出第k+1个计算单元用于输出其中，xn和mn根据预设的公式获得，mn为整数，r为大于等于1小于等于k的整数，p0～pk为多项式系数；
步骤S2.2：将所述log2Nn的拟合输出与Nn相乘；
步骤S2.3:将所述log2Nn的拟合输出作为log2Nn；以及计算p减去所述累加模块的输出值以获得该结果提取的结果的熵值检测的结果，其中，p＝log2P，P为该图像分块的像素总数；
步骤S3：根据熵值检测的结果，判断是否满足熵值测评指标，将判断结果反馈至设定层。
具体的，基于表征学习(Representation learning)的方法是一类非常常用的行人重识别方法。这主要得益于深度学习，尤其是卷积神经网络(Convolutional neuralnetwork,CNN)的快速发展。由于CNN可以自动从原始的图像数据中根据任务需求自动提取出表征特征(Representation)，所以有些研究者把行人重识别问题看做分类(Classification/Identification)问题或者验证(Verification)问题：(1)分类问题是指利用行人的ID或者属性等作为训练标签来训练模型；(2)验证问题是指输入一对(两张)行人图片，让网络来学习这两张图片是否属于同一个行人。利用Classification/Identification loss和verification loss来训练网络，其网络示意图如下图所示。网络输入为若干对行人图片，包括分类子网络(Classification Subnet)和验证子网络(Verification Subnet)。分类子网络对图片进行ID预测，根据预测的ID来计算分类误差损失。验证子网络融合两张图片的特征，判断这两张图片是否属于同一个行人，该子网络实质上等于一个二分类网络。经过足够数据的训练，再次输入一张测试图片，网络将自动提取出一个特征，这个特征用于行人重识别任务。
实施例8
在上一实施例的基础上，所述子监控点构成该子监控网络中的区块链网络的节点；各子监控节点间可以互相进行数据读取和传输。
实施例9
在上一实施例的基础上，所述子监控网络和中央控制端构成该系统的区块链网络的节点。
实施例10
基于行人重识别的商场监控装置，所述装置为计算机存储介质，所述计算机存储介质上存储有计算机程序，它包括：子监控点在商场内实时进行行人监控，将监控的结果发送到该区域的子监控网络中的其他子监控点，该区域的子监控互相进行实时数据传输的代码段；子监控网络实时将该区域的所有子监控网络获取的监控数据和其他子监控网络进行传输，同时，和中央控制端进行传输的代码段；中央控制端根据接收到的数据进行数据分析，得出监控结果的代码段。
具体的，早期的ReID研究大家还主要关注点在全局的global feature上，就是用整图得到一个特征向量进行图像检索。但是后来大家逐渐发现全局特征遇到了瓶颈，于是开始渐渐研究起局部的local feature。常用的提取局部特征的思路主要有图像切块、利用骨架关键点定位以及姿态矫正等等。图片切块是一种很常见的提取局部特征方式。图片被垂直等分为若干份，因为垂直切割更符合我们对人体识别的直观感受，所以行人重识别领域很少用到水平切割。
以上所述仅为本发明的一个实施例子，但不能以此限制本发明的范围，凡依据本发明所做的结构上的变化，只要不失本发明的要义所在，都应视为落入本发明保护范围之内受到制约。。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.基于行人重识别的商场监控系统，其特征在于，所述系统包括：若干个子监控网络和一个中央控制端；所述子监控网络之间互相通信，所述子监控网络和中央控制端之间互相通信，组成第一区块链网络；所述子监控网络包括若干个子监控点；所述子监控点互相通信，组成第二区块链网络；所述子监控点包括：图像获取装置和图像识别装置；所述图像获取装置和图像识别装置信号连接；所述图像识别装置包括：用于进行图像识别的核心识别单元和用于进行网络通信的网络通信单元。
2.如权利要求1所述的系统，其特征在于，所述核心识别单元包括：设定层和识别层；所述设定层包括：训练集、第一关键点检测单元、第一行人特征提取单元、系统建立单元和分类器设定单元；所述识别层包括：待测样本输入单元、第二关键点检测单元、第二行人特征提取单元、匹配识别单元、结果提取单元、熵值检测单元和判断单元；录入行人图像样本组成训练集，训练集信号连接于第一关键点检测单元；第一关键点检测单元分别与第二关键点检测单元和第一行人特征提取单元；所述第一行人特征提取单元分别信号连接于第二行人特征提取单元和系统建立单元；所述系统建立单元分别信号连接于分类器设定单元和匹配识别单元；所述分类器设定单元信号连接于结果提取单元；所述待测样本输入单元信号连接于第二关键点检测单元；所述第二关键点检测单元信号连接于第二行人特征提取单元；所述第二行人特征提取单元信号连接于匹配识别单元；所述匹配识别单元信号连接于结果提取单元；所述结果提取单元信号连接于熵值检测单元；所述熵值检测单元信号连接于判断单元；所述判断单元信号连接于第一行人特征提取单元。
3.如权利要求1所述的系统，其特征在于，所述网络通信单元包括：图像获取装置包括：摄像头、图像光补偿单元和图像去噪单元；所述摄像头信号连接于图像光补偿单元；所述图像去噪单元分别信号连接于图像光补偿单元和图像识别装置。
4.如权利要求3所述的系统，其特征在于，所述图像光补偿单元进行图像光补偿的方法包括：对图像进行边缘检测，判断伪边缘，并标记出伪边缘对应的低照度区域；获取结构张量及其对应的特征值，根据获取的特征值对原始图像进行光照处理，得出光照补偿后的图像。
5.如权利要求4所述的系统，其特征在于，所述图像去噪单元进行图像去燥的方法包括：根据输入的图像数据，将所述图像划分为多个块；提取所述图像中的每一块的特征；基于提取的特征进行聚类，由此将所述图像中的所述多个块分组而得到块组；利用多线性子空间学习滤波器对块组进行去噪；输出去噪后的图像数据。
6.基于权利要求1至5之一所述系统的基于行人重识别的商场监控方法，其特征在于，所述方法执行以下步骤：
步骤1：子监控点在商场内实时进行行人监控，将监控的结果发送到该区域的子监控网络中的其他子监控点，该区域的子监控互相进行实时数据传输；
步骤2：子监控网络实时将该区域的所有子监控网络获取的监控数据和其他子监控网络进行传输，同时，和中央控制端进行传输；
步骤3：中央控制端根据接收到的数据进行数据分析，得出监控结果。
7.如权利要求6所述的方法，其特征在于，所述子监控点进行行人监控功的方法包括：获取原始的监控图像，根据获取的监控图像进行图像识别；所述进行图像识别的方法包括：
步骤S1：设定层建立识别模型，依次执行第一次关键点检测、第一次行人特征提取、系统建立和设定分类器的步骤；
步骤S2：识别层对待检测样本进行识别，依次执行第二次关键点检测、第二次行人特征获取、匹配识别、结果提取和熵值检测的步骤；其中，所述熵值检测的步骤包括以下步骤：
步骤S2.1：在结果提取步骤中，提取的结果的基础上，选取第n个灰度阶像素点的个数Nn获取xn和mn，mn为多项式输入的整数部分，xn为多项式输入的小数部分，Nn为自然数，n为大于等于0小于等于n的整数，n为图像分块的灰度阶数；对数函数拟合的计算模块，用于将Nn作为第n个时钟周期的信号值，根据xn和mn获取所述多项式的拟合输出log2Nn，包括：k+1个计算单元，每个所述计算单元包括一个子求和模块及t个子乘积模块，k为所述拟合多项式的阶数，t为大于等于0小于等于2的整数，其中，在第一个计算单元至第k个计算单元中，第r个计算单元用于向第r+1个计算单元输出第k+1个计算单元用于输出其中，xn和mn根据预设的公式获得，mn为整数，r为大于等于1小于等于k的整数，p0～pk为多项式系数；
步骤S2.2：将所述log2Nn的拟合输出与Nn相乘；
步骤S2.3:将所述log2Nn的拟合输出作为log2Nn；以及计算p减去所述累加模块的输出值以获得该结果提取的结果的熵值检测的结果，其中，p＝log2P，P为该图像分块的像素总数；
步骤S3：根据熵值检测的结果，判断是否满足熵值测评指标，将判断结果反馈至设定层。
8.如权利要求6所述的方法，其特征在于，所述子监控点构成该子监控网络中的区块链网络的节点；各子监控节点间可以互相进行数据读取和传输。
9.如权利要求6所述的方法，其特征在于，所述子监控网络和中央控制端构成该系统的区块链网络的节点。
10.基于权利要求6至9之一所述方法的装置，其特征在于，所述装置为计算机存储介质，所述计算机存储介质上存储有计算机程序，它包括：子监控点在商场内实时进行行人监控，将监控的结果发送到该区域的子监控网络中的其他子监控点，该区域的子监控互相进行实时数据传输的代码段；子监控网络实时将该区域的所有子监控网络获取的监控数据和其他子监控网络进行传输，同时，和中央控制端进行传输的代码段；中央控制端根据接收到的数据进行数据分析，得出监控结果的代码段。
CN201910730770.4A 2019-08-08 2019-08-08 基于行人重识别的商场监控系统、方法及装置 Active CN110427904B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910730770.4A CN110427904B (zh) 2019-08-08 2019-08-08 基于行人重识别的商场监控系统、方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910730770.4A CN110427904B (zh) 2019-08-08 2019-08-08 基于行人重识别的商场监控系统、方法及装置

Publications (2)

Publication Number Publication Date
CN110427904A true CN110427904A (zh) 2019-11-08
CN110427904B CN110427904B (zh) 2022-03-04

Family

ID=68413334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910730770.4A Active CN110427904B (zh) 2019-08-08 2019-08-08 基于行人重识别的商场监控系统、方法及装置

Country Status (1)

Country Link
CN (1) CN110427904B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131929A (zh) * 2020-08-06 2020-12-25 北京航空航天大学 一种基于区块链的跨摄像机行人跟踪系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060107296A1 (en) * 2004-11-16 2006-05-18 Motorola, Inc. Remote image tracking and methods thereof
CN105915847A (zh) * 2016-04-29 2016-08-31 浙江理工大学 基于特征匹配跟踪的视频监控装置及其方法
CN106203260A (zh) * 2016-06-27 2016-12-07 南京邮电大学 基于多摄像机监控网络的行人识别与跟踪方法
CN109002761A (zh) * 2018-06-13 2018-12-14 中山大学新华学院 一种基于深度卷积神经网络的行人重识别监控系统
US20180374233A1 (en) * 2017-06-27 2018-12-27 Qualcomm Incorporated Using object re-identification in video surveillance
CN110070027A (zh) * 2019-04-17 2019-07-30 南京邮电大学 基于智能物联网系统的行人重识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060107296A1 (en) * 2004-11-16 2006-05-18 Motorola, Inc. Remote image tracking and methods thereof
CN105915847A (zh) * 2016-04-29 2016-08-31 浙江理工大学 基于特征匹配跟踪的视频监控装置及其方法
CN106203260A (zh) * 2016-06-27 2016-12-07 南京邮电大学 基于多摄像机监控网络的行人识别与跟踪方法
US20180374233A1 (en) * 2017-06-27 2018-12-27 Qualcomm Incorporated Using object re-identification in video surveillance
CN109002761A (zh) * 2018-06-13 2018-12-14 中山大学新华学院 一种基于深度卷积神经网络的行人重识别监控系统
CN110070027A (zh) * 2019-04-17 2019-07-30 南京邮电大学 基于智能物联网系统的行人重识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANTONIA CRESWELL等: "Generative Adversarial Networks: An Overview", 《IEEE SIGNAL PROCESSING MAGAZINE》 *
WEI LI 等: "Harmonious Attention Network for Person Re-Identification", 《CVPR》 *
张建明等: "行人再识别研究进展综述", 《信息技术》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131929A (zh) * 2020-08-06 2020-12-25 北京航空航天大学 一种基于区块链的跨摄像机行人跟踪系统及方法

Also Published As

Publication number Publication date
CN110427904B (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
CN113936339B (zh) 基于双通道交叉注意力机制的打架识别方法和装置
Qin et al. Applying the convolutional neural network deep learning technology to behavioural recognition in intelligent video
CN107483920B (zh) 一种基于多层级质量因子的全景视频评估方法及系统
CN105872477B (zh) 视频监控方法和视频监控系统
CN109118479A (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN110070530A (zh) 一种基于深度神经网络的输电线路覆冰检测方法
CN109543695A (zh) 基于多尺度深度学习的泛密度人群计数方法
CN109446925A (zh) 一种基于卷积神经网络的电力设备检测算法
CN113536972B (zh) 一种基于目标域伪标签的自监督跨域人群计数方法
CN110363131A (zh) 基于人体骨架的异常行为检测方法、系统及介质
CN104504395A (zh) 基于神经网络实现人车分类的方法和系统
CN107392131A (zh) 一种基于人体骨骼节点距离的动作识别方法
CN109002752A (zh) 一种基于深度学习的复杂公共场景快速行人检测方法
CN115761537B (zh) 一种面向动态特征补充机制的输电线路异物入侵识别方法
CN111860457A (zh) 一种斗殴行为识别预警方法及其识别预警系统
CN114022878A (zh) 一种基于改进YOLOv5的串型番茄实时检测方法
CN110399822A (zh) 基于深度学习的举手动作识别方法、装置及存储介质
CN110443179A (zh) 离岗检测方法、装置以及存储介质
CN114677707A (zh) 一种基于多分辨率特征融合网络的人体姿态估计方法
CN109241952B (zh) 拥挤场景下人物计数方法及装置
CN110427904A (zh) 基于行人重识别的商场监控系统、方法及装置
CN115690658B (zh) 一种融合先验知识的半监督视频异常行为检测方法
Kim et al. Long-term video generation with evolving residual video frames
CN115909144A (zh) 一种基于对抗学习的监控视频异常检测方法及系统
CN115862128A (zh) 一种基于人体骨架的顾客异常行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Qi Yong

Inventor after: Gao Dongfa

Inventor before: Gao Dongfa

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220216

Address after: 210000 Xiaolingwei street, Xiaolingwei street, Xuanwu District, Nanjing, Jiangsu, 200

Applicant after: NANJING University OF SCIENCE AND TECHNOLOGY

Address before: 510000 Guangzhou Science City Vanke golden dream, Huangpu District, Guangzhou, Guangdong

Applicant before: Gao Dongfa

GR01 Patent grant
GR01 Patent grant