CN114627431B - 一种基于物联网的环境智能监控方法及系统 - Google Patents

一种基于物联网的环境智能监控方法及系统 Download PDF

Info

Publication number
CN114627431B
CN114627431B CN202210162313.1A CN202210162313A CN114627431B CN 114627431 B CN114627431 B CN 114627431B CN 202210162313 A CN202210162313 A CN 202210162313A CN 114627431 B CN114627431 B CN 114627431B
Authority
CN
China
Prior art keywords
target object
image
monitoring
similarity
suspected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210162313.1A
Other languages
English (en)
Other versions
CN114627431A (zh
Inventor
汤慧敏
冯腾飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Xinzhi Intelligent Technology Co ltd
Original Assignee
Anhui Xinzhi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Xinzhi Intelligent Technology Co ltd filed Critical Anhui Xinzhi Intelligent Technology Co ltd
Priority to CN202210162313.1A priority Critical patent/CN114627431B/zh
Publication of CN114627431A publication Critical patent/CN114627431A/zh
Application granted granted Critical
Publication of CN114627431B publication Critical patent/CN114627431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • Databases & Information Systems (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于物联网的环境智能监控方法及系统，包括以下步骤：步骤S1、对实时监控图像进行目标排查得到包含疑似目标对象的监控图像，并抽取出疑似目标对象的图像特征，以及抽取目标对象的图像特征；步骤S2、将疑似目标对象的图像特征和目标对象的图像特征进行特征相似度比较，并将根据特征相似度确定出表征目标对象的疑似目标对象，再获取目标对象的实时位置；步骤S3、得到目标对象的历史移动路线，并根据历史移动路线对目标对象的未来移动路线进行预测。本发明根据历史移动路线对目标对象的未来移动路线进行预测，以实现对目标对象的预测追踪，在进行图像特征相似度计算时利用多种相似度算法进行融合以提高图像特征识别的精度。

Description

一种基于物联网的环境智能监控方法及系统
技术领域
本发明涉及智能监控技术领域，具体涉及一种基于物联网的环境智能监控方法及系统。
背景技术
随着网络技术的发展，生态环境智能监控是一个重要的场景。现有技术，CN202011284481.5公开了一种生态环境智能监控方法、装置及服务器，通过将第一生态环境智能监控信息的监控行为分布节点添加到由全局监控环境模拟程序与从属监控环境模拟程序共享配置的监控运行脚本，由于第一生态环境智能监控信息的建模时间大于第二生态环境智能监控信息的建模时间，这样在第二生态环境智能监控信息的建模时间满足建模处理需求时，即可通过减小数据量极大地提高建模处理效率。在此基础上指示从属监控环境模拟程序按照建模信息数据库中各建模信息类型的建模关联信息，通过各建模信息类型的建模环境信号信息对第二生态环境智能监控信息的监控行为分布节点进行共享建模处理，从而进一步降低建模处理的复杂度。
虽然上述现有技术，能够减小数据量极大地提高建模处理效率，但仍存在一定的缺陷，比如：无法自动识别目标对象，以及对目标对象进行实时定位和预测跟踪，仍需要人为接入进行目标对象的识别，自动化程度低。
发明内容
本发明的目的在于提供一种基于物联网的环境智能监控方法及系统，以解决现有技术中无法自动识别目标对象，以及对目标对象进行实时定位和预测跟踪，仍需要人为接入进行目标对象的识别，自动化程度低的技术问题。
为解决上述技术问题，本发明具体提供下述技术方案：
一种基于物联网的环境智能监控方法，包括以下步骤：
步骤S1、对所有监控装置的实时监控图像进行目标排查得到包含疑似目标对象的监控图像，并在包含疑似目标对象的监控图像中抽取出疑似目标对象的图像特征，以及在包含目标对象的图像中抽取目标对象的图像特征；
步骤S2、将疑似目标对象的图像特征和目标对象的图像特征进行多算法融合的特征相似度比较，并将根据特征相似度确定出表征目标对象的疑似目标对象，再获取表征目标对象的疑似目标对象对应的监控装置位置作为目标对象的实时位置，以实现对目标对象的实时锁定；
步骤S3、将每个监控时序处表征目标对象的疑似目标对象对应的监控装置位置按时序链接得到目标对象的历史移动路线，并根据历史移动路线对目标对象的未来移动路线进行预测，以实现对目标对象的预测追踪。
作为本发明的一种优选方案，所述对所有监控装置的实时监控图像进行目标排查得到包含疑似目标对象的监控图像，包括：
将同一监控装置的实时监控图像和初始监控图像进行图像相似度计算，以得到实时监控图像与所述初始监控图像的图像相似度；
设定用于目标排查的相似度阈值，并将所述图像相似度与相似度阈值进行比较，其中，
当图像相似度高于或等于相似度阈值，则将所述实时监控图像判定为包含疑似目标对象的监控图像；
当图像相似度低于相似度阈值，则将所述实时监控图像判定为不包含疑似目标对象的监控图像；
优选的，图像相似度计算，包括：
分别对所述实时监控图像和初始监控图像进行直方图计算得到实时监控图像的直方图和初始监控图像的直方图，并计算实时监控图像的直方图和初始监控图像的直方图的相似度作为所述图像相似度；
所述图像相似度的计算公式为：
式中，Ii表征为第i个监控装置的实时监控图像和初始监控图像的图像相似度，Ai、Bi分别表征为第i个监控装置的实时监控图像、初始监控图像的直方图向量，i为计量常数，无实质含义，T为转置运算符。
作为本发明的一种优选方案，所述在包含疑似目标对象的监控图像中抽取出疑似目标对象的图像特征，包括：
利用区域生长因子算法在包含疑似目标对象的监控图像中获得疑似目标对象的图像区域，并依次在疑似目标对象的图像区域中提取出所述疑似目标对象的图像卷积特征，疑似目标对象的图像结构特征以及疑似目标对象的图像直方图特征；
其中，所述疑似目标对象的图像卷积特征由疑似目标对象的图像区域输入至VGG16卷积神经网络得到的特征序列进行表征；
所述疑似目标对象的图像结构特征由疑似目标对象的图像区域的像素均值、方差和协方差进行表征；
所述疑似目标对象的图像直方图特征由疑似目标对象的图像区域的直方图向量进行表征。
作为本发明的一种优选方案，所述在包含目标对象的图像中抽取目标对象的图像特征，包括：
依次在包含目标对象的图像中提取出所述目标对象的图像卷积特征，目标对象的图像结构特征以及目标对象的图像直方图特征；
其中，所述目标对象的图像卷积特征由目标对象的图像区域输入至 VGG16卷积神经网络得到的特征序列进行表征；
所述目标对象的图像结构特征由目标对象的图像区域的像素均值、方差和协方差进行表征；
所述目标对象的图像直方图特征由目标对象的图像区域的直方图向量进行表征。
作为本发明的一种优选方案，所述将疑似目标对象的图像特征和目标对象的图像特征进行多算法融合的特征相似度比较，包括：
依次计算疑似目标对象和目标对象的图像卷积特征的相似度，疑似目标对象和目标对象的图像结构特征的相似度以及疑似目标对象和目标对象的图像直方图特征的相似度，其中，所述图像卷积特征的相似度的计算公式为：
式中，Pi表征为第i个监控装置的实时监控图像中的疑似目标对象和所述目标对象的图像卷积特征的相似度，Ci、Di分别表征为第i个监控装置的实时监控图像中的疑似目标对象、目标对象的图像卷积特征的特征序列向量，i为计量常数，无实质含义，T为转置运算符；
所述图像结构特征的相似度的计算公式为：
式中，Qi表征为第i个监控装置的实时监控图像中的疑似目标对象和所述目标对象的图像结构特征的相似度，Fi、Fi分别表征为第i个监控装置的实时监控图像中的疑似目标对象、目标对象的像素均值、方差和协方差组合向量， i为计量常数，无实质含义，T为转置运算符；
所述图像直方图特征的相似度的计算公式为：
式中，Ui表征为第i个监控装置的实时监控图像中的疑似目标对象和所述目标对象的图像直方图特征的相似度，Gi、Hi分别表征为第i个监控装置的实时监控图像中的疑似目标对象、目标对象的图像直方图特征的直方图向量，i 为计量常数，无实质含义，T为转置运算符；
为所述图像卷积特征的相似度、图像结构特征的相似度和图像直方图特征的相似度添加相似度权重，并依据相似度权重得到多算法融合的特征相似度，所述多算法融合的特征相似度的计算公式为：
Zi＝W1Pi+W2Qi+W3Ui；
式中，Zi表征为第i个监控装置的实时监控图像中的疑似目标对象和所述目标对象的所述特征相似度，W1、W2和W3分别表征为所述图像卷积特征的相似度、图像结构特征的相似度和图像直方图特征的相似度添加相似度权重， W1+W2+W3＝1，W1∈[0,1]、W2∈[0,1]和W3∈[0,1]；
优选的，确定出相似度权重，包括：
将包含目标对象的图像和监控装置拍摄得到的对应目标对象的历史监控图像一一对应构建为图像样本，并计算出图像样本的图像卷积特征的相似度、图像结构特征的相似度和图像直方图特征的相似度；
将图像样本运用至训练所述多算法融合的特征相似度以在W1、W2和W3取值范围中依次取值使得识别准确率达到最高来确定出所述相似度权重，其中，所述识别准确率的计算公式为：
式中，Y表征为利用所述特征相似度得到的图像样本的识别准确度，Zo表征为特征相似度阈值，当第j个图像样本的特征相似度大于或等于特征相似度阈值时，则f(Zj≥Zo)＝1，当第j个图像样本的特征相似度小于特征相似度阈值时，则f(Zj≥Zo)＝0，max表征为最大化运算符，j为计量常数，无实质含义，M表征为图像样本的总数目。
作为本发明的一种优选方案，所述将根据特征相似度确定出表征目标对象的疑似目标对象，包括：
当Zi≥Zo，则判定第i个监控装置的实时监控图像中的疑似目标对象表征为目标对象；
当Zi<Zo，则判定第i个监控装置的实时监控图像中的疑似目标对象不表征为目标对象。
作为本发明的一种优选方案，所述将每个监控时序处表征目标对象的疑似目标对象对应的监控装置位置按时序链接得到目标对象的历史移动路线，包括：
提取每个监控时序处表征目标对象的疑似目标对象对应的监控装置位置作为目标对象在每个监控时序处的实时位置，并将目标对象在每个监控时序处的实时位置按时序链接得到目标对象的历史移动路线。
作为本发明的一种优选方案，所述根据历史移动路线对目标对象的未来移动路线进行预测，包括：
将历史移动路线输入至LSTM网络模型中得到表征监控时序与目标对象的实时位置的映射关系的路线预测模型；
向路线预测模型中输入未来监控时序得到目标对象在未来监控时序处的实时位置，以实现对目标对象未来移动路线的预测。
作为本发明的一种优选方案，所述疑似目标对象的图像特征和目标对象的图像特征在计算前均进行归一化处理以消除量纲误差。
作为本发明的一种优选方案，本发明提供了一种根据所述的基于物联网的环境智能监控方法的监控系统，包括：
特征提取单元，用于对所有监控装置的实时监控图像进行目标排查得到包含疑似目标对象的监控图像，并在包含疑似目标对象的监控图像中抽取出疑似目标对象的图像特征，以及在包含目标对象的图像中抽取目标对象的图像特征；
目标抓取单元，用于将疑似目标对象的图像特征和目标对象的图像特征进行多算法融合的特征相似度比较，并将根据特征相似度确定出表征目标对象的疑似目标对象，再获取表征目标对象的疑似目标对象对应的监控装置位置作为目标对象的实时位置，以实现对目标对象的实时锁定；
预测追踪单元，用于将每个监控时序处表征目标对象的疑似目标对象对应的监控装置位置按时序链接得到目标对象的历史移动路线，并根据历史移动路线对目标对象的未来移动路线进行预测，以实现对目标对象的预测追踪。
本发明与现有技术相比较具有如下有益效果：
本发明利用图像特征相似度进行目标对象的识别，并获取目标对象的实时位置，以实现对目标对象的实时锁定，再将每个监控时序处表征目标对象对应的监控装置位置按时序链接得到目标对象的历史移动路线，根据历史移动路线对目标对象的未来移动路线进行预测，以实现对目标对象的预测追踪，在进行图像特征相似度计算时利用多种相似度算法进行融合以提高图像特征识别的精度，进而最终提高目标对象的识别精度。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例提供的环境智能监控方法流程图；
图2为本发明实施例提供的环境智能监控方法结构框图。
图中的标号分别表示如下：
1-特征提取单元；2-目标抓取单元；3-预测追踪单元。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供了一种基于物联网的环境智能监控方法，包括以下步骤：
步骤S1、对所有监控装置的实时监控图像进行目标排查得到包含疑似目标对象的监控图像，并在包含疑似目标对象的监控图像中抽取出疑似目标对象的图像特征，以及在包含目标对象的图像中抽取目标对象的图像特征；
对所有监控装置的实时监控图像进行目标排查得到包含疑似目标对象的监控图像，包括：
将同一监控装置的实时监控图像和初始监控图像进行图像相似度计算，以得到实时监控图像与初始监控图像的图像相似度；
设定用于目标排查的相似度阈值，并将图像相似度与相似度阈值进行比较，其中，
当图像相似度高于或等于相似度阈值，则将实时监控图像判定为包含疑似目标对象的监控图像；
当图像相似度低于相似度阈值，则将实时监控图像判定为不包含疑似目标对象的监控图像；
初始监控图像是指监控区间中只存在固有环境，无其余目标，将实时监控图像与初始监控图像能够快速识别出实时监控图像中是否存在固有环境中不存在的波动元素作为疑似目标对象，比如非法侵入者，并将此类存在疑似目标对象的实时监控图像筛选出，用于后续确认疑似目标对象是否属于目标对象，从而实现对目标对象的全覆盖排查，提高排查全面性。
优选的，图像相似度计算，包括：
分别对实时监控图像和初始监控图像进行直方图计算得到实时监控图像的直方图和初始监控图像的直方图，并计算实时监控图像的直方图和初始监控图像的直方图的相似度作为图像相似度；
图像相似度的计算公式为：
式中，Ii表征为第i个监控装置的实时监控图像和初始监控图像的图像相似度，Ai、Bi分别表征为第i个监控装置的实时监控图像、初始监控图像的直方图向量，i为计量常数，无实质含义，T为转置运算符。
在包含疑似目标对象的监控图像中抽取出疑似目标对象的图像特征，包括：
利用区域生长因子算法在包含疑似目标对象的监控图像中获得疑似目标对象的图像区域，并依次在疑似目标对象的图像区域中提取出疑似目标对象的图像卷积特征，疑似目标对象的图像结构特征以及疑似目标对象的图像直方图特征；
其中，疑似目标对象的图像卷积特征由疑似目标对象的图像区域输入至 VGG16卷积神经网络得到的特征序列进行表征；
疑似目标对象的图像结构特征由疑似目标对象的图像区域的像素均值、方差和协方差进行表征；
疑似目标对象的图像直方图特征由疑似目标对象的图像区域的直方图向量进行表征。
在包含目标对象的图像中抽取目标对象的图像特征，包括：
依次在包含目标对象的图像中提取出目标对象的图像卷积特征，目标对象的图像结构特征以及目标对象的图像直方图特征；
其中，目标对象的图像卷积特征由目标对象的图像区域输入至VGG16卷积神经网络得到的特征序列进行表征；
目标对象的图像结构特征由目标对象的图像区域的像素均值、方差和协方差进行表征；
目标对象的图像直方图特征由目标对象的图像区域的直方图向量进行表征。
步骤S2、将疑似目标对象的图像特征和目标对象的图像特征进行多算法融合的特征相似度比较，并将根据特征相似度确定出表征目标对象的疑似目标对象，再获取表征目标对象的疑似目标对象对应的监控装置位置作为目标对象的实时位置，以实现对目标对象的实时锁定；
将疑似目标对象的图像特征和目标对象的图像特征进行多算法融合的特征相似度比较，包括：
依次计算疑似目标对象和目标对象的图像卷积特征的相似度，疑似目标对象和目标对象的图像结构特征的相似度以及疑似目标对象和目标对象的图像直方图特征的相似度，其中，图像卷积特征的相似度的计算公式为：
式中，Pi表征为第i个监控装置的实时监控图像中的疑似目标对象和目标对象的图像卷积特征的相似度，Ci、Di分别表征为第i个监控装置的实时监控图像中的疑似目标对象、目标对象的图像卷积特征的特征序列向量，i为计量常数，无实质含义，T为转置运算符；
图像结构特征的相似度的计算公式为：
式中，Qi表征为第i个监控装置的实时监控图像中的疑似目标对象和目标对象的图像结构特征的相似度，Ei、Fi分别表征为第i个监控装置的实时监控图像中的疑似目标对象、目标对象的像素均值、方差和协方差组合向量，i为计量常数，无实质含义，T为转置运算符；
图像直方图特征的相似度的计算公式为：
式中，Ui表征为第i个监控装置的实时监控图像中的疑似目标对象和目标对象的图像直方图特征的相似度，Gi、Hi分别表征为第i个监控装置的实时监控图像中的疑似目标对象、目标对象的图像直方图特征的直方图向量，i为计量常数，无实质含义，T为转置运算符；
为图像卷积特征的相似度、图像结构特征的相似度和图像直方图特征的相似度添加相似度权重，并依据相似度权重得到多算法融合的特征相似度，多算法融合的特征相似度的计算公式为：
Zi＝W1Pi+W2Qi+W3Ui；
式中，Zi表征为第i个监控装置的实时监控图像中的疑似目标对象和目标对象的特征相似度，W1、W2和W3分别表征为图像卷积特征的相似度、图像结构特征的相似度和图像直方图特征的相似度添加相似度权重，W1+W2+ W3＝1，W1∈[0,1]、W2∈[0,1]和W3∈[0,1]；
优选的，确定出相似度权重，包括：
将包含目标对象的图像和监控装置拍摄得到的对应目标对象的历史监控图像一一对应构建为图像样本，并计算出图像样本的图像卷积特征的相似度、图像结构特征的相似度和图像直方图特征的相似度；
将图像样本运用至训练多算法融合的特征相似度以在W1、W2和W3取值范围中依次取值使得识别准确率达到最高来确定出相似度权重，其中，识别准确率的计算公式为：
式中，Y表征为利用特征相似度得到的图像样本的识别准确度，Zo表征为特征相似度阈值，当第j个图像样本的特征相似度大于或等于特征相似度阈值时，则d(Zj≥Zo)＝1，当第j个图像样本的特征相似度小于特征相似度阈值时，则f(Zj≥Zo)＝0，max表征为最大化运算符，j为计量常数，无实质含义，M表征为图像样本的总数目。
利用相似度权重，可以对实时监控图像中的疑似目标对象和目标对象在图像特征方面进行多相似度匹配，以避免单一相似度的片面性，多种相似度能够提高图像比对的全面性，从而提高在疑似目标对象中识别出目标对象的精准度。
将根据特征相似度确定出表征目标对象的疑似目标对象，包括：
当Zi≥Zo，则判定第i个监控装置的实时监控图像中的疑似目标对象表征为目标对象；
当Zi<Zo，则判定第i个监控装置的实时监控图像中的疑似目标对象不表征为目标对象。
步骤S3、将每个监控时序处表征目标对象的疑似目标对象对应的监控装置位置按时序链接得到目标对象的历史移动路线，并根据历史移动路线对目标对象的未来移动路线进行预测，以实现对目标对象的预测追踪。
将每个监控时序处表征目标对象的疑似目标对象对应的监控装置位置按时序链接得到目标对象的历史移动路线，包括：
提取每个监控时序处表征目标对象的疑似目标对象对应的监控装置位置作为目标对象在每个监控时序处的实时位置，并将目标对象在每个监控时序处的实时位置按时序链接得到目标对象的历史移动路线。
根据历史移动路线对目标对象的未来移动路线进行预测，包括：
将历史移动路线输入至LSTM网络模型中得到表征监控时序与目标对象的实时位置的映射关系的路线预测模型；
向路线预测模型中输入未来监控时序得到目标对象在未来监控时序处的实时位置，以实现对目标对象未来移动路线的预测。
疑似目标对象的图像特征和目标对象的图像特征在计算前均进行归一化处理以消除量纲误差。
本实施例提供一种移动路线的预测实例，比如目标对象的历史移动路线为{pt1，pt2，pt3，pt4，pt5}，{pt1，pt2，pt3，pt4，pt5}输入至LSTM网络模型进行模型训练得到路线预测模型，而后在路线预测模型输入未来的监控时序t6，则路线预测模型输出未来的监控时序t6处的实时位置pt6，并调整位于 pt6处的监控装置，实现对目标对象的提前追踪定位监控。
如图2所示，基于上述基于物联网的环境智能监控方法，本发明提供了一种监控系统，包括：
特征提取单元1，用于对所有监控装置的实时监控图像进行目标排查得到包含疑似目标对象的监控图像，并在包含疑似目标对象的监控图像中抽取出疑似目标对象的图像特征，以及在包含目标对象的图像中抽取目标对象的图像特征；
目标抓取单元2，用于将疑似目标对象的图像特征和目标对象的图像特征进行多算法融合的特征相似度比较，并将根据特征相似度确定出表征目标对象的疑似目标对象，再获取表征目标对象的疑似目标对象对应的监控装置位置作为目标对象的实时位置，以实现对目标对象的实时锁定；
预测追踪单元3，用于将每个监控时序处表征目标对象的疑似目标对象对应的监控装置位置按时序链接得到目标对象的历史移动路线，并根据历史移动路线对目标对象的未来移动路线进行预测，以实现对目标对象的预测追踪。
本发明利用图像特征相似度进行目标对象的识别，并获取目标对象的实时位置，以实现对目标对象的实时锁定，再将每个监控时序处表征目标对象对应的监控装置位置按时序链接得到目标对象的历史移动路线，根据历史移动路线对目标对象的未来移动路线进行预测，以实现对目标对象的预测追踪，在进行图像特征相似度计算时利用多种相似度算法进行融合以提高图像特征识别的精度，进而最终提高目标对象的识别精度。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (7)

1.一种基于物联网的环境智能监控方法，其特征在于，包括以下步骤：
步骤S1、对所有监控装置的实时监控图像进行目标排查得到包含疑似目标对象的监控图像，并在包含疑似目标对象的监控图像中抽取出疑似目标对象的图像特征，以及在包含目标对象的图像中抽取目标对象的图像特征；
步骤S2、将疑似目标对象的图像特征和目标对象的图像特征进行多算法融合的特征相似度比较，并将根据特征相似度确定出表征目标对象的疑似目标对象，再获取表征目标对象的疑似目标对象对应的监控装置位置作为目标对象的实时位置，以实现对目标对象的实时锁定；
步骤S3、将每个监控时序处表征目标对象的疑似目标对象对应的监控装置位置按时序链接得到目标对象的历史移动路线，并根据历史移动路线对目标对象的未来移动路线进行预测，以实现对目标对象的预测追踪；
在包含疑似目标对象的监控图像中抽取出疑似目标对象的图像特征，包括：
利用区域生长因子算法在包含疑似目标对象的监控图像中获得疑似目标对象的图像区域，并依次在疑似目标对象的图像区域中提取出疑似目标对象的图像卷积特征，疑似目标对象的图像结构特征以及疑似目标对象的图像直方图特征；
其中，疑似目标对象的图像卷积特征由疑似目标对象的图像区域输入至VGG16卷积神经网络得到的特征序列进行表征；
疑似目标对象的图像结构特征由疑似目标对象的图像区域的像素均值、方差和协方差进行表征；
疑似目标对象的图像直方图特征由疑似目标对象的图像区域的直方图向量进行表征；
在包含目标对象的图像中抽取目标对象的图像特征，包括：
依次在包含目标对象的图像中提取出目标对象的图像卷积特征，目标对象的图像结构特征以及目标对象的图像直方图特征；
其中，目标对象的图像卷积特征由目标对象的图像区域输入至VGG16卷积神经网络得到的特征序列进行表征；
目标对象的图像结构特征由目标对象的图像区域的像素均值、方差和协方差进行表征；
目标对象的图像直方图特征由目标对象的图像区域的直方图向量进行表征；
将疑似目标对象的图像特征和目标对象的图像特征进行多算法融合的特征相似度比较，包括：
依次计算疑似目标对象和目标对象的图像卷积特征的相似度，疑似目标对象和目标对象的图像结构特征的相似度以及疑似目标对象和目标对象的图像直方图特征的相似度，其中，图像卷积特征的相似度的计算公式为：
式中，Pi表征为第i个监控装置的实时监控图像中的疑似目标对象和目标对象的图像卷积特征的相似度，Ci、Di分别表征为第i个监控装置的实时监控图像中的疑似目标对象、目标对象的图像卷积特征的特征序列向量，i为计量常数，无实质含义，T为转置运算符；
图像结构特征的相似度的计算公式为：
式中，Qi表征为第i个监控装置的实时监控图像中的疑似目标对象和目标对象的图像结构特征的相似度，Ei、Fi分别表征为第i个监控装置的实时监控图像中的疑似目标对象、目标对象的像素均值、方差和协方差组合向量，i为计量常数，无实质含义，T为转置运算符；
图像直方图特征的相似度的计算公式为：
式中，Ui表征为第i个监控装置的实时监控图像中的疑似目标对象和目标对象的图像直方图特征的相似度，Gi、Hi分别表征为第i个监控装置的实时监控图像中的疑似目标对象、目标对象的图像直方图特征的直方图向量，i为计量常数，无实质含义，T为转置运算符；
为图像卷积特征的相似度、图像结构特征的相似度和图像直方图特征的相似度添加相似度权重，并依据相似度权重得到多算法融合的特征相似度，多算法融合的特征相似度的计算公式为：
Zi＝W1Pi+W2Qi+W3Ui；
式中，Zi表征为第i个监控装置的实时监控图像中的疑似目标对象和目标对象的特征相似度，W1、W2和W3分别表征为图像卷积特征的相似度、图像结构特征的相似度和图像直方图特征的相似度添加相似度权重，W1+W2+W3＝1，W1∈[0,1]、W2∈[0,1]和W3∈[0,1]；
确定出相似度权重，包括：
将包含目标对象的图像和监控装置拍摄得到的对应目标对象的历史监控图像一一对应构建为图像样本，并计算出图像样本的图像卷积特征的相似度、图像结构特征的相似度和图像直方图特征的相似度；
将图像样本运用至训练多算法融合的特征相似度以在W1、W2和W3取值范围中依次取值使得识别准确率达到最高来确定出相似度权重，其中，识别准确率的计算公式为：
式中，Y表征为利用特征相似度得到的图像样本的识别准确度，Zo表征为特征相似度阈值，当第j个图像样本的特征相似度大于或等于特征相似度阈值时，则f(Zj≥Zo)＝1，当第j个图像样本的特征相似度小于特征相似度阈值时，则f(Zj≥Zo)＝0，max表征为最大化运算符，j为计量常数，无实质含义，M表征为图像样本的总数目。
2.根据权利要求1所述的一种基于物联网的环境智能监控方法，其特征在于：所述对所有监控装置的实时监控图像进行目标排查得到包含疑似目标对象的监控图像，包括：
将同一监控装置的实时监控图像和初始监控图像进行图像相似度计算，以得到实时监控图像与所述初始监控图像的图像相似度；
设定用于目标排查的相似度阈值，并将所述图像相似度与相似度阈值进行比较，其中，
当图像相似度高于或等于相似度阈值，则将所述实时监控图像判定为包含疑似目标对象的监控图像；
当图像相似度低于相似度阈值，则将所述实时监控图像判定为不包含疑似目标对象的监控图像；
图像相似度计算，包括：
分别对所述实时监控图像和初始监控图像进行直方图计算得到实时监控图像的直方图和初始监控图像的直方图，并计算实时监控图像的直方图和初始监控图像的直方图的相似度作为所述图像相似度；
所述图像相似度的计算公式为：
式中，Ii表征为第i个监控装置的实时监控图像和初始监控图像的图像相似度，Ai、Bi分别表征为第i个监控装置的实时监控图像、初始监控图像的直方图向量，i为计量常数，无实质含义，T为转置运算符。
3.根据权利要求2所述的一种基于物联网的环境智能监控方法，其特征在于：所述将根据特征相似度确定出表征目标对象的疑似目标对象，包括：
当Zi≥Zo，则判定第i个监控装置的实时监控图像中的疑似目标对象表征为目标对象；
当Zi<Zo，则判定第i个监控装置的实时监控图像中的疑似目标对象不表征为目标对象。
4.根据权利要求3所述的一种基于物联网的环境智能监控方法，其特征在于，所述将每个监控时序处表征目标对象的疑似目标对象对应的监控装置位置按时序链接得到目标对象的历史移动路线，包括：
提取每个监控时序处表征目标对象的疑似目标对象对应的监控装置位置作为目标对象在每个监控时序处的实时位置，并将目标对象在每个监控时序处的实时位置按时序链接得到目标对象的历史移动路线。
5.根据权利要求4所述的一种基于物联网的环境智能监控方法，其特征在于，所述根据历史移动路线对目标对象的未来移动路线进行预测，包括：
将历史移动路线输入至LSTM网络模型中得到表征监控时序与目标对象的实时位置的映射关系的路线预测模型；
向路线预测模型中输入未来监控时序得到目标对象在未来监控时序处的实时位置，以实现对目标对象未来移动路线的预测。
6.根据权利要求5所述的一种基于物联网的环境智能监控方法，其特征在于，所述疑似目标对象的图像特征和目标对象的图像特征在计算前均进行归一化处理以消除量纲误差。
7.一种根据权利要求1-6任一项所述的基于物联网的环境智能监控方法的监控系统，其特征在于，包括：
特征提取单元(1)，用于对所有监控装置的实时监控图像进行目标排查得到包含疑似目标对象的监控图像，并在包含疑似目标对象的监控图像中抽取出疑似目标对象的图像特征，以及在包含目标对象的图像中抽取目标对象的图像特征；
目标抓取单元(2)，用于将疑似目标对象的图像特征和目标对象的图像特征进行多算法融合的特征相似度比较，并将根据特征相似度确定出表征目标对象的疑似目标对象，再获取表征目标对象的疑似目标对象对应的监控装置位置作为目标对象的实时位置，以实现对目标对象的实时锁定；
预测追踪单元(3)，用于将每个监控时序处表征目标对象的疑似目标对象对应的监控装置位置按时序链接得到目标对象的历史移动路线，并根据历史移动路线对目标对象的未来移动路线进行预测，以实现对目标对象的预测追踪。
CN202210162313.1A 2022-02-22 2022-02-22 一种基于物联网的环境智能监控方法及系统 Active CN114627431B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210162313.1A CN114627431B (zh) 2022-02-22 2022-02-22 一种基于物联网的环境智能监控方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210162313.1A CN114627431B (zh) 2022-02-22 2022-02-22 一种基于物联网的环境智能监控方法及系统

Publications (2)

Publication Number Publication Date
CN114627431A CN114627431A (zh) 2022-06-14
CN114627431B true CN114627431B (zh) 2023-07-21

Family

ID=81899626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210162313.1A Active CN114627431B (zh) 2022-02-22 2022-02-22 一种基于物联网的环境智能监控方法及系统

Country Status (1)

Country Link
CN (1) CN114627431B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697449A (zh) * 2017-10-20 2019-04-30 杭州海康威视数字技术股份有限公司 一种目标检测方法、装置及电子设备
CN112581434A (zh) * 2020-12-07 2021-03-30 无锡智创云图信息科技有限公司 一种用于产品缺陷检测的图像识别方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101329281B (zh) * 2007-06-20 2011-08-10 佛山普立华科技有限公司 影像感测晶片污点检测系统及其检测方法
CN103281513B (zh) * 2013-05-14 2016-03-30 西安理工大学 一种无重叠域监控系统中行人识别方法
CN106909905B (zh) * 2017-03-02 2020-02-14 中科视拓（北京）科技有限公司 一种基于深度学习的多模态人脸识别方法
CN113537048A (zh) * 2019-03-25 2021-10-22 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111428643A (zh) * 2020-03-25 2020-07-17 智慧眼科技股份有限公司 指静脉图像识别方法、装置、计算机设备及存储介质
CN112132315A (zh) * 2020-08-18 2020-12-25 华为技术有限公司 目标对象的逃逸路线预测方法和布控平台
CN113361495B (zh) * 2021-07-27 2024-04-09 平安科技（深圳）有限公司 人脸图像相似度的计算方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697449A (zh) * 2017-10-20 2019-04-30 杭州海康威视数字技术股份有限公司 一种目标检测方法、装置及电子设备
CN112581434A (zh) * 2020-12-07 2021-03-30 无锡智创云图信息科技有限公司 一种用于产品缺陷检测的图像识别方法

Also Published As

Publication number Publication date
CN114627431A (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN111539370B (zh) 一种基于多注意力联合学习的图像行人重识别方法和系统
CN110569901B (zh) 一种基于通道选择的对抗消除弱监督目标检测方法
CN109740588B (zh) 基于弱监督和深度响应重分配的x光图片违禁品定位方法
CN110717411A (zh) 一种基于深层特征融合的行人重识别方法
US20080022177A1 (en) Resource-Light Method and apparatus for Outlier Detection
CN110210335B (zh) 一种行人重识别学习模型的训练方法、系统和装置
CN112862093B (zh) 一种图神经网络训练方法及装置
CN111161315A (zh) 一种基于图神经网络的多目标跟踪方法和系统
CN113037783B (zh) 一种异常行为检测方法及系统
CN112884742A (zh) 一种基于多算法融合的多目标实时检测、识别及跟踪方法
WO2022218396A1 (zh) 图像处理方法、装置和计算机可读存储介质
CN112634369A (zh) 空间与或图模型生成方法、装置、电子设备和存储介质
Hu et al. Density-insensitive unsupervised domain adaption on 3d object detection
CN112507893A (zh) 一种基于边缘计算的分布式无监督行人重识别方法
CN112464775A (zh) 一种基于多分支网络的视频目标重识别方法
CN115546705A (zh) 目标识别方法、终端设备及存储介质
CN111738319A (zh) 一种基于大规模样本的聚类结果评价方法及装置
Yang et al. A feature temporal attention based interleaved network for fast video object detection
CN114169425A (zh) 训练目标跟踪模型和目标跟踪的方法和装置
CN114627431B (zh) 一种基于物联网的环境智能监控方法及系统
CN112270748A (zh) 基于图像的三维重建方法及装置
CN111898756A (zh) 一种多目标信息关联神经网络损失函数计算方法及装置
CN116523972A (zh) 基于稀疏光流运动补偿的两阶段多目标追踪方法及产品
CN115767424A (zh) 一种基于rss与csi融合的视频定位方法
CN115661539A (zh) 一种嵌入不确定性信息的少样本图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant