CN112883788A - 一种对象监控方法、系统、设备及介质 - Google Patents

一种对象监控方法、系统、设备及介质 Download PDF

Info

Publication number
CN112883788A
CN112883788A CN202110050373.XA CN202110050373A CN112883788A CN 112883788 A CN112883788 A CN 112883788A CN 202110050373 A CN202110050373 A CN 202110050373A CN 112883788 A CN112883788 A CN 112883788A
Authority
CN
China
Prior art keywords
image
target object
frame
images
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110050373.XA
Other languages
English (en)
Inventor
刘文波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Yuncong Dingwang Technology Co Ltd
Original Assignee
Guangzhou Yuncong Dingwang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Yuncong Dingwang Technology Co Ltd filed Critical Guangzhou Yuncong Dingwang Technology Co Ltd
Priority to CN202110050373.XA priority Critical patent/CN112883788A/zh
Publication of CN112883788A publication Critical patent/CN112883788A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种对象监控方法、系统、设备及介质，通过获取图像拍摄装置拍摄的图像数据，并基于图像数据生成目标区域对应的三维模型图；对图像数据进行识别，并根据图像数据的识别结果获取目标对象在目标区域的位置信息；将目标对象的位置信息映射至三维模型图中，并在三维模型图中形成目标对象在目标区域的活动轨迹，以及根据活动轨迹监控目标对象。本发明可以通过图像拍摄装置采集目标区域的图像数据，然后根据拍摄的图像数据生成三维模型图，根据目标区域中四害的活动轨迹监控目标区域中的四害信息。当目标区域是房间时，本发明可以根据当前房间中四害(蚊子、苍蝇、蟑螂和老鼠)在三维模型图中的活动轨迹监控当前房间中的四害信息。

Description

一种对象监控方法、系统、设备及介质
技术领域
本发明涉及生物识别技术领域，特别是涉及一种对象监控方法、系统、设备及介质。
背景技术
在人民生活水平日益提高的今天，已有许多智能家居服务进入人们的生活，人们也越来越关注健康饮食，环境卫生和环境安全。对于家庭环境下四害(蚊子、苍蝇、蟑螂和老鼠)的防治，目前主要技术还是采用化学药物防治蚊子、苍蝇、蟑螂和老鼠。而采用化学药物进行防治，不仅污染环境，也会对我们自己的身体健康造成伤害。而且到如今，虽然有粘鼠板的出现，但是其也仅能单方面的诱捕老鼠，而不能对老师进行可视化追踪监控。所以目前的监控技术在面对四害的问题上是处于被动局面。
而现在的视频监控技术往往应用于人民群众，却缺乏一些针对非人类生物的监控，所以本发明提供一种针对家庭环境下对四害的监控。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种对象监控方法、系统、设备及介质，用于解决现有技术中存在的问题。
为实现上述目的及其他相关目的，本发明提供一种对象监控方法，包括以下步骤：
获取图像拍摄装置拍摄的图像数据，并基于所述图像数据生成目标区域对应的三维模型图；
对所述图像数据进行识别，并根据所述图像数据的识别结果获取目标对象在目标区域的位置信息；
将所述目标对象的位置信息映射至所述三维模型图中，并在所述三维模型图中形成所述目标对象在所述目标区域的活动轨迹，以及根据所述活动轨迹监控所述目标对象。
可选地，对所述图像数据进行识别，并根据所述图像数据的识别结果获取目标对象在目标区域的位置信息，包括：
从所述图像数据中获取单帧或多帧图像；
将某帧包含有目标对象的图像与所述图像数据中的另外一帧或多帧图像映射至同一比对空间中进行比对，确定所述另外一帧或多帧图像中是否包含有所述目标对象；
若所述目标对象出现在所述另外一帧或多帧图像中，则根据包含有目标对象的图像确定所述目标对象的运动信息，并基于所述运动信息生成所述目标对象在所述目标区域的活动轨迹；其中，所述运动信息包括以下至少之一：运动时间、运动地理位置。
可选地，将某帧包含有目标对象的图像与所述图像数据中的另外一帧或多帧图像映射至同一比对空间中进行比对，确定所述另外一帧或多帧图像中是否包含有所述目标对象，包括：
将某帧包含有目标对象的图像与所述图像数据中的另外一帧或多帧图像映射至同一比对空间后，对所述某帧图像以及所述另外一帧或多帧图像进行分割，并通过多个不同粒度的神经网络对分割后的图像进行特征抽取，获取每帧图像的图像特征；
将包含有目标对象的某帧图像的图像特征与所述图像数据中的另外的一帧或多帧图像的图像特征进行比对，若相似度大于预设值，则认为所述另外一帧或多帧图像包含有所述目标对象；
其中，所述多个不同粒度的神经网络包括多个具有不同的网络支路结构、参数、损失函数的神经网络。
可选地，所述图像特征包括全局特征和/或局部特征；其中，所述全局特征是每帧图像的特征信息，所述局部特征是每帧图像中局部区域的特征信息；还包括：通过分类损失和三元损失对分割后的图像进行特征抽取，获取所述全局特征；和/或，通过所述分类损失对分割后的图像进行特征抽取，获取所述局部特征。
可选地，对所述某帧图像以及所述另外一帧或多帧图像进行分割，包括：将每帧图像作为一个分割图像；将每帧图像按照上下两部分进行分割，获取对应的分割图像；将每帧图像按照上、中、下三部分进行分割，获取对应的分割图像。
可选地，还包括根据所述目标对象在所述目标区域的活动轨迹设置捕获所述目标对象的装置或措施；其中，所述目标对象包括以下至少之一：蚊子、苍蝇、蟑螂和老鼠。
本发明还提供一种对象监控系统，包括有：
图像采集模块，用于获取图像拍摄装置拍摄的图像数据，并基于所述图像数据生成目标区域对应的三维模型图；
位置识别模块，用于对所述图像数据进行识别，并根据所述图像数据的识别结果获取目标对象在目标区域的位置信息；
活动轨迹模块，用于将所述目标对象的位置信息映射至所述三维模型图中，并在所述三维模型图中形成所述目标对象在所述目标区域的活动轨迹；
监控模块，用于根据所述活动轨迹监控所述目标对象。
可选地，位置识别模块对所述图像数据进行识别，并根据所述图像数据的识别结果获取目标对象在目标区域的位置信息，包括：
从所述图像数据中获取单帧或多帧图像；
将某帧包含有目标对象的图像与所述图像数据中的另外一帧或多帧图像映射至同一比对空间中进行比对，确定所述另外一帧或多帧图像中是否包含有所述目标对象；
若所述目标对象出现在所述另外一帧或多帧图像中，则根据包含有目标对象的图像确定所述目标对象的运动信息，并基于所述运动信息生成所述目标对象在所述目标区域的活动轨迹；其中，所述运动信息包括以下至少之一：运动时间、运动地理位置。
可选地，将某帧包含有目标对象的图像与所述图像数据中的另外一帧或多帧图像映射至同一比对空间中进行比对，确定所述另外一帧或多帧图像中是否包含有所述目标对象，包括：
将某帧包含有目标对象的图像与所述图像数据中的另外一帧或多帧图像映射至同一比对空间后，对所述某帧图像以及所述另外一帧或多帧图像进行分割，并通过多个不同粒度的神经网络对分割后的图像进行特征抽取，获取每帧图像的图像特征；
将包含有目标对象的某帧图像的图像特征与所述图像数据中的另外的一帧或多帧图像的图像特征进行比对，若相似度大于预设值，则认为所述另外一帧或多帧图像包含有所述目标对象；
其中，所述多个不同粒度的神经网络包括多个具有不同的网络支路结构、参数、损失函数的神经网络。
可选地，所述图像特征包括全局特征和/或局部特征；其中，所述全局特征是每帧图像的特征信息，所述局部特征是每帧图像中局部区域的特征信息；还包括：通过分类损失和三元损失对分割后的图像进行特征抽取，获取所述全局特征；和/或，通过所述分类损失对分割后的图像进行特征抽取，获取所述局部特征。
可选地，对所述某帧图像以及所述另外一帧或多帧图像进行分割，包括：将每帧图像作为一个分割图像；将每帧图像按照上下两部分进行分割，获取对应的分割图像；将每帧图像按照上、中、下三部分进行分割，获取对应的分割图像。
本发明还提供一种对象监控设备，包括：
一个或多个处理器；和
存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行所述指令时，使得所述设备执行如上述中任意一项所述的方法。
本发明还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行所述指令时，使得设备执行如上述中任意一项所述的方法。
如上所述，本发明提供一种对象监控方法、系统、设备及介质，具有以下有益效果：通过获取图像拍摄装置拍摄的图像数据，并基于图像数据生成目标区域对应的三维模型图；对图像数据进行识别，并根据图像数据的识别结果获取目标对象在目标区域的位置信息；将目标对象的位置信息映射至三维模型图中，并在三维模型图中形成目标对象在目标区域的活动轨迹，以及根据活动轨迹监控目标对象。本发明中的目标区域可以是房间，目标对象可以是蚊子、苍蝇、蟑螂和老鼠等四害。本发明首先通过图像拍摄装置采集目标区域的图像数据，然后根据拍摄的图像数据生成三维模型图，根据目标区域中四害的活动轨迹监控目标区域中的四害信息。当目标区域是房间时，本发明可以根据当前房间中四害(蚊子、苍蝇、蟑螂和老鼠)在三维模型图中的活动轨迹监控当前房间中的四害信息。本发明不仅可以给房主提供或显示当前房间的害虫数量、害虫类型、害虫进入房间的渠道以及害虫当前所在位置等信息，还可以让房主在三维模型图中标记四害藏匿的位置信息，也可以让房主根据四害的活动轨迹设置捕获四害的装置或措施，从而让除四害变得更安全、高效、生动有趣。本发明可以减少现有技术中因为盲目使用化学药剂而对环境造成的污染，并且本发明通过摄像头监控居家环境的生物信息，智能识别并监控危害人类的生物，不仅能达到防控四害的作用，还能改善生活环境，提高生活质量，让人工智能技术服务于生活，智能家居融入千家万户。
附图说明
图1为一实施例提供的对象监控方法的流程示意图；
图2为另一实施例提供的对象监控方法的流程示意图；
图3为一实施例提供的对象监控系统的硬件结构示意图；
图4为一实施例提供的终端设备的硬件结构示意图；
图5为另一实施例提供的终端设备的硬件结构示意图。
元件标号说明
M10 图像采集模块
M20 位置识别模块
M30 活动轨迹模块
M40 监控模块
1100 输入设备
1101 第一处理器
1102 输出设备
1103 第一存储器
1104 通信总线
1200 处理组件
1201 第二处理器
1202 第二存储器
1203 通信组件
1204 电源组件
1205 多媒体组件
1206 音频组件
1207 输入/输出接口
1208 传感器组件
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1，本发明提供一种对象监控方法，包括以下步骤：
S100，获取图像拍摄装置拍摄的图像数据，并基于所述图像数据生成目标区域对应的三维模型图；所述图像数据包括一个或多个视频、一个或多个单帧图像、一个或多个多帧图像。
S200，对所述图像数据进行识别，并根据所述图像数据的识别结果获取目标对象在目标区域的位置信息；
S300，将所述目标对象的位置信息映射至所述三维模型图中，并在所述三维模型图中形成所述目标对象在所述目标区域的活动轨迹，以及根据所述活动轨迹监控所述目标对象。
本方法首先通过图像拍摄装置采集目标区域的图像数据，然后根据拍摄的图像数据生成三维模型图，根据目标区域中四害的活动轨迹监控目标区域中的四害信息。当目标区域是房间时，本方法可以根据当前房间中四害(蚊子、苍蝇、蟑螂和老鼠)在三维模型图中的活动轨迹监控当前房间中的四害信息。本方法不仅可以给房主提供或显示当前房间的害虫数量、害虫类型、害虫进入房间的渠道以及害虫当前所在位置等信息，还可以让房主在三维模型图中标记四害藏匿的位置信息，也可以让房主根据四害的活动轨迹设置捕获四害的装置或措施，从而让除四害变得更安全、高效、生动有趣。本方法可以减少现有技术中因为盲目使用化学药剂而对环境造成的污染，并且本方法通过摄像头监控居家环境的生物信息，智能识别并监控危害人类的生物，不仅能达到防控四害的作用，还能改善生活环境，提高生活质量，让人工智能技术服务于生活，智能家居融入千家万户。
根据上述记载，在一示例性实施例中，对所述图像数据进行识别，并根据所述图像数据的识别结果获取目标对象在目标区域的位置信息，包括：从所述图像数据中获取单帧或多帧图像；将某帧包含有目标对象的图像与所述图像数据中的另外一帧或多帧图像映射至同一比对空间中进行比对，确定所述另外一帧或多帧图像中是否包含有所述目标对象；若所述目标对象出现在所述另外一帧或多帧图像中，则根据包含有目标对象的图像确定所述目标对象的运动信息，并基于所述运动信息生成所述目标对象在所述目标区域的活动轨迹；其中，所述运动信息包括以下至少之一：运动时间、运动地理位置。具体地，将图像数据中包含有四害中任意一个或多个对象的某一帧图像输入至一个深度神经网络中，并将图像数据中的另外一帧或多帧图像输入至另一个深度神经网络中，利用这两个深度神经网络形成一个双层深度神经网络，使某一帧图像与另外一帧或多帧图像同时映射至同一比对空间中。其中，所述深度神经网络是指训练完成后的深度神经网络。在训练时，每个深度神经网络都输入一帧或多帧包含同一目标对象的图像进行训练，采用二分类损失函数对两个网络中对应权值的差异性进行正则化，实现不同图像空间到相同比对空间的映射。在同一比对空间中，同一目标对象的图像的类间差异变小，而不同目标对象的图像的类间差异变大，从而增强了特征的判别性。同时，本申请实施例在利用深度神经网络进行图像特征比对时，可在识别图像的过程中加入光照、遮挡、角度、年龄、种族等多种先验信息，增强图像的适应性和特征的表达能力。
根据上述记载，在一示例性实施例中，将某帧包含有目标对象的图像与图像数据中的另外一帧或多帧图像映射至同一比对空间中进行比对，确定另外一帧或多帧图像中是否包含有目标对象，包括：将某帧包含有目标对象的图像与图像数据中的另外一帧或多帧图像映射至同一比对空间后，对某帧图像以及另外一帧或多帧图像进行分割，并通过多个不同粒度的神经网络对分割后的图像进行特征抽取，获取每帧图像的图像特征；将包含有目标对象的某帧图像的图像特征与图像数据中的另外的一帧或多帧图像的图像特征进行比对，若相似度大于预设值，则认为另外一帧或多帧图像包含有目标对象；其中，多个不同粒度的神经网络包括多个具有不同的网络支路结构、参数、损失函数的神经网络。具体地，图像特征包括全局特征和/或局部特征；其中，全局特征是每帧图像的特征信息，局部特征是每帧图像中局部区域的特征信息。作为示例，包括通过分类损失Softmax Loss和三元损失Triplet Loss对分割后的图像进行特征抽取，获取全局特征；和/或，通过分类损失Softmax Loss对分割后的图像进行特征抽取，获取局部特征。本申请实施例中，分类损失、三元损失是经过神经网络训练后的分类损失、三元损失。将分类损失、三元损失分别输入到至少三个不同的独立神经网络支路中进行训练；训练时，每个独立神经网络支路使用不同的网络支路结构、独立的参数、独立的损失函数。本申请实施例中，利用三元损失TripletLoss和分类损失Softmax Loss一起完成图像中粗粒度的特征抽取，而在抽取细节粒度特征的时候，只用分类损失Softmax Loss。在粗粒度分支中，两者联合训练可以帮助神经网络抽取更多样的特征；但在细粒度分支中，三元损失Triplet Loss将使得网络学到很多错误的信息，最终导致神经网络性能下降。训练时，因为需要训练神经网络去提取三种不同粒度的特征，从Resnet50的res4a_1层开始，分成三个独立神经网络支路，每个独立神经网络支路使用不同的网络支路结构、独立的参数、独立的损失函数，有针对性地进行训练。通过这种神经网络的结构设计，与现有技术相比，本方法可以明显地提高识别效率和跟踪效率。
根据上述记载，在一示例性实施例中，对某帧图像以及另外一帧或多帧图像进行分割的过程包括：将每帧图像作为一个分割图像；将每帧图像按照上下两部分进行分割，获取对应的分割图像；将每帧图像按照上、中、下三部分进行分割，获取对应的分割图像。具体地，将一张图像分成三组：1)完整图像；2)上、下二分图像；3)上、中、下三分图像。通过分类损失Softmax Loss、三元损失Triplet Loss从每组图像中抽取特征，即从第一组(完整图像)中抽取的是较为整体的特征，从第二组(上、下二分图像)抽取中粒度的特征，从第三组(上、中、下三分图像)会抽取非常细节的特征，最后将这三组特征结合到一起用于代表这个目标对象的图像特征。其中，第一组抽取的特征粒度大于第二组抽取的特征粒度，第二组抽取的特征粒度大于第三组抽取的特征粒度。
根据上述记载，在一示例性实施例中，还包括根据目标对象在目标区域的活动轨迹设置捕获目标对象的装置或措施；其中，目标对象包括以下至少之一：蚊子、苍蝇、蟑螂和老鼠。
如图2所示，本方法提供一种对四害的监控方法，具体地监控流程如下：
将多个红外拍摄装置安装在待监控房间中的指定位置，保证通过这些红外拍摄装置能够全面覆盖待监控房间中的每个角落。利用设置的多个红外拍摄装置对待监控房间进行实时监控，并根据获取红外拍摄装置实时拍摄的图像数据；其中，图像数据包括一个或多个视频、一个或多个单帧图像、一个或多个多帧图像。
使用WIFI局域网通信将图像数据发送到数据分析终端，并利用数据分析终端对图像数据进行识别，根据图像数据的识别结果获取目标对象在目标区域的位置信息；以及利用数据分析终端将目标对象的位置信息映射至三维模型图中，并在三维模型图中形成目标对象在目标区域的活动轨迹，以及根据所述活动轨迹监控所述目标对象。具体地，数据分析终端接收到图像数据后，将图像数据中包含有四害中任意一个或多个对象的某一帧图像输入至一个深度神经网络中，并将图像数据中的另外一帧或多帧图像输入至另一个深度神经网络中，利用这两个深度神经网络形成一个双层深度神经网络，使某一帧图像与另外一帧或多帧图像同时映射至同一比对空间中，确定另外一帧或多帧图像中是否包含有目标对象。具体地，将一张图像分成三组：1)完整图像；2)上、下二分图像；3)上、中、下三分图像。通过分类损失Softmax Loss、三元损失Triplet Loss从每组图像中抽取特征，即从第一组(完整图像)中抽取的是较为整体的特征，从第二组(上、下二分图像)抽取中粒度的特征，从第三组(上、中、下三分图像)会抽取非常细节的特征，最后将这三组特征结合到一起用于代表这个目标对象的图像特征。将包含有目标对象的某帧图像的图像特征与图像数据中另外的一帧或多帧图像的图像特征进行比对，若相似度大于预设值，则认为另外一帧或多帧图像包含有目标对象。若某帧图像中的同一目标对象出现在另外一帧或多帧图像中，则根据包含有同一目标对象的图像确定该目标对象的运动信息，并基于所述运动信息生成该目标对象在目标区域的活动轨迹；其中，所述运动信息包括以下至少之一：运动时间、运动地理位置。
通过数据分析终端连接一个或多个显示器，并在显示器上显示三维模型图以及四害中一个或多个目标对象在该三维模型图中的活动轨迹。在数据分析终端联网后，基于数据分析终端提供的小型web服务器功能，本方法还可以使用PC、Pad、手机等通讯设备连接上数据分析终端，供用户或房主合理便捷地查询相关数据。其中，用户或房主可以查询的数据包括：待监控房间中的四害种类信息、待监控房间中的四害数量信息、待监控房间中的四害位置信息、待监控房间中的健康状态、待监控房间中的漏洞信息、四害在待监控房间的活动轨迹。同时，数据分析终端还可以提供针对性的建议，例如建议用户或房主按照四害的活动轨迹设置捕获四害的装置或措施。
综上所述，本方法通过获取图像拍摄装置拍摄的图像数据，并基于图像数据生成目标区域对应的三维模型图；对图像数据进行识别，并根据图像数据的识别结果获取目标对象在目标区域的位置信息；将目标对象的位置信息映射至三维模型图中，并在三维模型图中形成目标对象在目标区域的活动轨迹，以及根据活动轨迹监控目标对象。本方法中的目标区域可以是房间，目标对象可以是蚊子、苍蝇、蟑螂和老鼠等四害。本方法首先通过图像拍摄装置采集目标区域的图像数据，然后根据拍摄的图像数据生成三维模型图，根据目标区域中四害的活动轨迹监控目标区域中的四害信息。当目标区域是房间时，本方法可以根据当前房间中四害(蚊子、苍蝇、蟑螂和老鼠)在三维模型图中的活动轨迹监控当前房间中的四害信息。本方法不仅可以给房主提供或显示当前房间的害虫数量、害虫类型、害虫进入房间的渠道以及害虫当前所在位置等信息，还可以让房主在三维模型图中标记四害藏匿的位置信息，也可以让房主根据四害的活动轨迹设置捕获四害的装置或措施，从而让除四害变得更安全、高效、生动有趣。本方法通过摄像头监控居家环境的生物信息，智能识别并监控危害人类的生物，能达到防控四害的作用。例如最常见的蚊子，往往一个蚊子就扰乱居民生活，而居民为了驱蚊又是喷杀虫药剂，又是使用驱蚊液，不仅污染空气，还对人的身体造成伤害。通过本方法不仅可以让蚊子无所遁形，也可防范不明生物闯入人类生活环境，做到早发现、早处理。同时，本方法可以减少因为盲目使用化学药剂而对环境造成的污染，从而可以改善生活环境，提高生活质量，让人工智能技术服务于生活，智能家居融入千家万户。
如图3所示，本发明还提供一种对象监控系统，包括有：
图像采集模块M10，用于获取图像拍摄装置拍摄的图像数据，并基于所述图像数据生成目标区域对应的三维模型图；
位置识别模块M20，用于对所述图像数据进行识别，并根据所述图像数据的识别结果获取目标对象在目标区域的位置信息；
活动轨迹模块M30，用于将所述目标对象的位置信息映射至所述三维模型图中，并在所述三维模型图中形成所述目标对象在所述目标区域的活动轨迹；
监控模块M40，用于根据所述活动轨迹监控所述目标对象。
本系统首先通过图像拍摄装置采集目标区域的图像数据，然后根据拍摄的图像数据生成三维模型图，根据目标区域中四害的活动轨迹监控目标区域中的四害信息。当目标区域是房间时，本系统可以根据当前房间中四害(蚊子、苍蝇、蟑螂和老鼠)在三维模型图中的活动轨迹监控当前房间中的四害信息。本系统不仅可以给房主提供或显示当前房间的害虫数量、害虫类型、害虫进入房间的渠道以及害虫当前所在位置等信息，还可以让房主在三维模型图中标记四害藏匿的位置信息，也可以让房主根据四害的活动轨迹设置捕获四害的装置或措施，从而让除四害变得更安全、高效、生动有趣。本系统可以减少现有技术中因为盲目使用化学药剂而对环境造成的污染，并且本系统通过摄像头监控居家环境的生物信息，智能识别并监控危害人类的生物，不仅能达到防控四害的作用，还能改善生活环境，提高生活质量，让人工智能技术服务于生活，智能家居融入千家万户。
根据上述记载，在一示例性实施例中，对所述图像数据进行识别，并根据所述图像数据的识别结果获取目标对象在目标区域的位置信息，包括：从所述图像数据中获取单帧或多帧图像；将某帧包含有目标对象的图像与所述图像数据中的另外一帧或多帧图像映射至同一比对空间中进行比对，确定所述另外一帧或多帧图像中是否包含有所述目标对象；若所述目标对象出现在所述另外一帧或多帧图像中，则根据包含有目标对象的图像确定所述目标对象的运动信息，并基于所述运动信息生成所述目标对象在所述目标区域的活动轨迹；其中，所述运动信息包括以下至少之一：运动时间、运动地理位置。具体地，将图像数据中包含有四害中任意一个或多个对象的某一帧图像输入至一个深度神经网络中，并将图像数据中的另外一帧或多帧图像输入至另一个深度神经网络中，利用这两个深度神经网络形成一个双层深度神经网络，使某一帧图像与另外一帧或多帧图像同时映射至同一比对空间中。其中，所述深度神经网络是指训练完成后的深度神经网络。在训练时，每个深度神经网络都输入一帧或多帧包含同一目标对象的图像进行训练，采用二分类损失函数对两个网络中对应权值的差异性进行正则化，实现不同图像空间到相同比对空间的映射。在同一比对空间中，同一目标对象的图像的类间差异变小，而不同目标对象的图像的类间差异变大，从而增强了特征的判别性。同时，本申请实施例在利用深度神经网络进行图像特征比对时，可在识别图像的过程中加入光照、遮挡、角度、年龄、种族等多种先验信息，增强图像的适应性和特征的表达能力。
根据上述记载，在一示例性实施例中，将某帧包含有目标对象的图像与图像数据中的另外一帧或多帧图像映射至同一比对空间中进行比对，确定另外一帧或多帧图像中是否包含有目标对象，包括：将某帧包含有目标对象的图像与图像数据中的另外一帧或多帧图像映射至同一比对空间后，对某帧图像以及另外一帧或多帧图像进行分割，并通过多个不同粒度的神经网络对分割后的图像进行特征抽取，获取每帧图像的图像特征；将包含有目标对象的某帧图像的图像特征与图像数据中的另外的一帧或多帧图像的图像特征进行比对，若相似度大于预设值，则认为另外一帧或多帧图像包含有目标对象；其中，多个不同粒度的神经网络包括多个具有不同的网络支路结构、参数、损失函数的神经网络。具体地，图像特征包括全局特征和/或局部特征；其中，全局特征是每帧图像的特征信息，局部特征是每帧图像中局部区域的特征信息。作为示例，包括通过分类损失Softmax Loss和三元损失Triplet Loss对分割后的图像进行特征抽取，获取全局特征；和/或，通过分类损失Softmax Loss对分割后的图像进行特征抽取，获取局部特征。本申请实施例中，分类损失、三元损失是经过神经网络训练后的分类损失、三元损失。将分类损失、三元损失分别输入到至少三个不同的独立神经网络支路中进行训练；训练时，每个独立神经网络支路使用不同的网络支路结构、独立的参数、独立的损失函数。本申请实施例中，利用三元损失TripletLoss和分类损失Softmax Loss一起完成图像中粗粒度的特征抽取，而在抽取细节粒度特征的时候，只用分类损失Softmax Loss。在粗粒度分支中，两者联合训练可以帮助神经网络抽取更多样的特征；但在细粒度分支中，三元损失Triplet Loss将使得网络学到很多错误的信息，最终导致神经网络性能下降。训练时，因为需要训练神经网络去提取三种不同粒度的特征，从Resnet50的res4a_1层开始，分成三个独立神经网络支路，每个独立神经网络支路使用不同的网络支路结构、独立的参数、独立的损失函数，有针对性地进行训练。通过这种神经网络的结构设计，与现有技术相比，本系统可以明显地提高识别效率和跟踪效率。
根据上述记载，在一示例性实施例中，对某帧图像以及另外一帧或多帧图像进行分割的过程包括：将每帧图像作为一个分割图像；将每帧图像按照上下两部分进行分割，获取对应的分割图像；将每帧图像按照上、中、下三部分进行分割，获取对应的分割图像。具体地，将一张图像分成三组：1)完整图像；2)上、下二分图像；3)上、中、下三分图像。通过分类损失Softmax Loss、三元损失Triplet Loss从每组图像中抽取特征，即从第一组(完整图像)中抽取的是较为整体的特征，从第二组(上、下二分图像)抽取中粒度的特征，从第三组(上、中、下三分图像)会抽取非常细节的特征，最后将这三组特征结合到一起用于代表这个目标对象的图像特征。其中，第一组抽取的特征粒度大于第二组抽取的特征粒度，第二组抽取的特征粒度大于第三组抽取的特征粒度。
根据上述记载，在一示例性实施例中，还包括根据目标对象在目标区域的活动轨迹设置捕获目标对象的装置或措施；其中，目标对象包括以下至少之一：蚊子、苍蝇、蟑螂和老鼠。
如图2所示，本系统提供一种对四害的监控方法，具体地监控流程如下：
将多个红外拍摄装置安装在待监控房间中的指定位置，保证通过这些红外拍摄装置能够全面覆盖待监控房间中的每个角落。利用设置的多个红外拍摄装置对待监控房间进行实时监控，并根据获取红外拍摄装置实时拍摄的图像数据；其中，图像数据包括一个或多个视频、一个或多个单帧图像、一个或多个多帧图像。
使用WIFI局域网通信将图像数据发送到数据分析终端，并利用数据分析终端对图像数据进行识别，根据图像数据的识别结果获取目标对象在目标区域的位置信息；以及利用数据分析终端将目标对象的位置信息映射至三维模型图中，并在三维模型图中形成目标对象在目标区域的活动轨迹，以及根据所述活动轨迹监控所述目标对象。具体地，数据分析终端接收到图像数据后，将图像数据中包含有四害中任意一个或多个对象的某一帧图像输入至一个深度神经网络中，并将图像数据中的另外一帧或多帧图像输入至另一个深度神经网络中，利用这两个深度神经网络形成一个双层深度神经网络，使某一帧图像与另外一帧或多帧图像同时映射至同一比对空间中，确定另外一帧或多帧图像中是否包含有目标对象。具体地，将一张图像分成三组：1)完整图像；2)上、下二分图像；3)上、中、下三分图像。通过分类损失Softmax Loss、三元损失Triplet Loss从每组图像中抽取特征，即从第一组(完整图像)中抽取的是较为整体的特征，从第二组(上、下二分图像)抽取中粒度的特征，从第三组(上、中、下三分图像)会抽取非常细节的特征，最后将这三组特征结合到一起用于代表这个目标对象的图像特征。将包含有目标对象的某帧图像的图像特征与图像数据中另外的一帧或多帧图像的图像特征进行比对，若相似度大于预设值，则认为另外一帧或多帧图像包含有目标对象。若某帧图像中的同一目标对象出现在另外一帧或多帧图像中，则根据包含有同一目标对象的图像确定该目标对象的运动信息，并基于所述运动信息生成该目标对象在目标区域的活动轨迹；其中，所述运动信息包括以下至少之一：运动时间、运动地理位置。
通过数据分析终端连接一个或多个显示器，并在显示器上显示三维模型图以及四害中一个或多个目标对象在该三维模型图中的活动轨迹。在数据分析终端联网后，基于数据分析终端提供的小型web服务器功能，本系统还可以使用PC、Pad、手机等通讯设备连接上数据分析终端，供用户或房主合理便捷地查询相关数据。其中，用户或房主可以查询的数据包括：待监控房间中的四害种类信息、待监控房间中的四害数量信息、待监控房间中的四害位置信息、待监控房间中的健康状态、待监控房间中的漏洞信息、四害在待监控房间的活动轨迹。同时，数据分析终端还可以提供针对性的建议，例如建议用户或房主按照四害的活动轨迹设置捕获四害的装置或措施。
综上所述，本系统通过获取图像拍摄装置拍摄的图像数据，并基于图像数据生成目标区域对应的三维模型图；对图像数据进行识别，并根据图像数据的识别结果获取目标对象在目标区域的位置信息；将目标对象的位置信息映射至三维模型图中，并在三维模型图中形成目标对象在目标区域的活动轨迹，以及根据活动轨迹监控目标对象。本系统中的目标区域可以是房间，目标对象可以是蚊子、苍蝇、蟑螂和老鼠等四害。本系统首先通过图像拍摄装置采集目标区域的图像数据，然后根据拍摄的图像数据生成三维模型图，根据目标区域中四害的活动轨迹监控目标区域中的四害信息。当目标区域是房间时，本系统可以根据当前房间中四害(蚊子、苍蝇、蟑螂和老鼠)在三维模型图中的活动轨迹监控当前房间中的四害信息。本系统不仅可以给房主提供或显示当前房间的害虫数量、害虫类型、害虫进入房间的渠道以及害虫当前所在位置等信息，还可以让房主在三维模型图中标记四害藏匿的位置信息，也可以让房主根据四害的活动轨迹设置捕获四害的装置或措施，从而让除四害变得更安全、高效、生动有趣。本系统通过摄像头监控居家环境的生物信息，智能识别并监控危害人类的生物，能达到防控四害的作用。例如最常见的蚊子，往往一个蚊子就扰乱居民生活，而居民为了驱蚊又是喷杀虫药剂，又是使用驱蚊液，不仅污染空气，还对人的身体造成伤害。通过本系统不仅可以让蚊子无所遁形，也可防范不明生物闯入人类生活环境，做到早发现、早处理。同时，本系统可以减少因为盲目使用化学药剂而对环境造成的污染，从而可以改善生活环境，提高生活质量，让人工智能技术服务于生活，智能家居融入千家万户。
本申请实施例还提供了一种对象监控设备，包括有：
获取图像拍摄装置拍摄的图像数据，并基于所述图像数据生成目标区域对应的三维模型图；所述图像数据包括一个或多个视频、一个或多个单帧图像、一个或多个多帧图像。
对所述图像数据进行识别，并根据所述图像数据的识别结果获取目标对象在目标区域的位置信息；
将所述目标对象的位置信息映射至所述三维模型图中，并在所述三维模型图中形成所述目标对象在所述目标区域的活动轨迹，以及根据所述活动轨迹监控所述目标对象。
在本实施例中，该设备执行上述系统或方法，具体功能和技术效果参照上述实施例即可，此处不再赘述。
本申请实施例还提供了一种对象监控设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中数据处理方法所包含步骤的指令(instructions)。
图4为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。
在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。
图5为本申请的另一个实施例提供的终端设备的硬件结构示意图。图5是对图4在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，音频组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述图1所示方法的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
音频组件1206被配置为输出和/或输入语音信号。例如，音频组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，音频组件1206还包括一个扬声器，用于输出语音信号。
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。
由上可知，在图5实施例中所涉及的通信组件1203、音频组件1206以及输入/输出接口1207、传感器组件1208均可以作为图4实施例中的输入设备的实现方式。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (13)

1.一种对象监控方法，其特征在于，包括以下步骤：
获取图像拍摄装置拍摄的图像数据，并基于所述图像数据生成目标区域对应的三维模型图；
对所述图像数据进行识别，并根据所述图像数据的识别结果获取目标对象在目标区域的位置信息；
将所述目标对象的位置信息映射至所述三维模型图中，并在所述三维模型图中形成所述目标对象在所述目标区域的活动轨迹，以及根据所述活动轨迹监控所述目标对象。
2.根据权利要求1所述的对象监控方法，其特征在于，对所述图像数据进行识别，并根据所述图像数据的识别结果获取目标对象在目标区域的位置信息，包括：
从所述图像数据中获取单帧或多帧图像；
将某帧包含有目标对象的图像与所述图像数据中的另外一帧或多帧图像映射至同一比对空间中进行比对，确定所述另外一帧或多帧图像中是否包含有所述目标对象；
若所述目标对象出现在所述另外一帧或多帧图像中，则根据包含有目标对象的图像确定所述目标对象的运动信息，并基于所述运动信息生成所述目标对象在所述目标区域的活动轨迹；其中，所述运动信息包括以下至少之一：运动时间、运动地理位置。
3.根据权利要求2所述的对象监控方法，其特征在于，将某帧包含有目标对象的图像与所述图像数据中的另外一帧或多帧图像映射至同一比对空间中进行比对，确定所述另外一帧或多帧图像中是否包含有所述目标对象，包括：
将某帧包含有目标对象的图像与所述图像数据中的另外一帧或多帧图像映射至同一比对空间后，对所述某帧图像以及所述另外一帧或多帧图像进行分割，并通过多个不同粒度的神经网络对分割后的图像进行特征抽取，获取每帧图像的图像特征；
将包含有目标对象的某帧图像的图像特征与所述图像数据中的另外的一帧或多帧图像的图像特征进行比对，若相似度大于预设值，则认为所述另外一帧或多帧图像包含有所述目标对象；
其中，所述多个不同粒度的神经网络包括多个具有不同的网络支路结构、参数、损失函数的神经网络。
4.根据权利要求3所述的对象监控方法，其特征在于，所述图像特征包括全局特征和/或局部特征；其中，所述全局特征是每帧图像的特征信息，所述局部特征是每帧图像中局部区域的特征信息；还包括：通过分类损失和三元损失对分割后的图像进行特征抽取，获取所述全局特征；和/或，通过所述分类损失对分割后的图像进行特征抽取，获取所述局部特征。
5.根据权利要求3所述的对象监控方法，其特征在于，对所述某帧图像以及所述另外一帧或多帧图像进行分割，包括：将每帧图像作为一个分割图像；将每帧图像按照上下两部分进行分割，获取对应的分割图像；将每帧图像按照上、中、下三部分进行分割，获取对应的分割图像。
6.根据权利要求1所述的对象监控方法，其特征在于，还包括根据所述目标对象在所述目标区域的活动轨迹设置捕获所述目标对象的装置或措施；其中，所述目标对象包括以下至少之一：蚊子、苍蝇、蟑螂和老鼠。
7.一种对象监控系统，其特征在于，包括有：
图像采集模块，用于获取图像拍摄装置拍摄的图像数据，并基于所述图像数据生成目标区域对应的三维模型图；
位置识别模块，用于对所述图像数据进行识别，并根据所述图像数据的识别结果获取目标对象在目标区域的位置信息；
活动轨迹模块，用于将所述目标对象的位置信息映射至所述三维模型图中，并在所述三维模型图中形成所述目标对象在所述目标区域的活动轨迹；
监控模块，用于根据所述活动轨迹监控所述目标对象。
8.根据权利要求7所述的对象监控系统，其特征在于，位置识别模块对所述图像数据进行识别，并根据所述图像数据的识别结果获取目标对象在目标区域的位置信息，包括：
从所述图像数据中获取单帧或多帧图像；
将某帧包含有目标对象的图像与所述图像数据中的另外一帧或多帧图像映射至同一比对空间中进行比对，确定所述另外一帧或多帧图像中是否包含有所述目标对象；
若所述目标对象出现在所述另外一帧或多帧图像中，则根据包含有目标对象的图像确定所述目标对象的运动信息，并基于所述运动信息生成所述目标对象在所述目标区域的活动轨迹；其中，所述运动信息包括以下至少之一：运动时间、运动地理位置。
9.根据权利要求8所述的对象监控系统，其特征在于，将某帧包含有目标对象的图像与所述图像数据中的另外一帧或多帧图像映射至同一比对空间中进行比对，确定所述另外一帧或多帧图像中是否包含有所述目标对象，包括：
将某帧包含有目标对象的图像与所述图像数据中的另外一帧或多帧图像映射至同一比对空间后，对所述某帧图像以及所述另外一帧或多帧图像进行分割，并通过多个不同粒度的神经网络对分割后的图像进行特征抽取，获取每帧图像的图像特征；
将包含有目标对象的某帧图像的图像特征与所述图像数据中的另外的一帧或多帧图像的图像特征进行比对，若相似度大于预设值，则认为所述另外一帧或多帧图像包含有所述目标对象；
其中，所述多个不同粒度的神经网络包括多个具有不同的网络支路结构、参数、损失函数的神经网络。
10.根据权利要求9所述的对象监控系统，其特征在于，所述图像特征包括全局特征和/或局部特征；其中，所述全局特征是每帧图像的特征信息，所述局部特征是每帧图像中局部区域的特征信息；还包括：通过分类损失和三元损失对分割后的图像进行特征抽取，获取所述全局特征；和/或，通过所述分类损失对分割后的图像进行特征抽取，获取所述局部特征。
11.根据权利要求9所述的对象监控系统，其特征在于，对所述某帧图像以及所述另外一帧或多帧图像进行分割，包括：将每帧图像作为一个分割图像；将每帧图像按照上下两部分进行分割，获取对应的分割图像；将每帧图像按照上、中、下三部分进行分割，获取对应的分割图像。
12.一种对象监控设备，其特征在于，包括：
一个或多个处理器；和
存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行所述指令时，使得所述设备执行如权利要求1-6中任意一项所述的方法。
13.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行所述指令时，使得设备执行如权利要求1-6中任意一项所述的方法。
CN202110050373.XA 2021-01-14 2021-01-14 一种对象监控方法、系统、设备及介质 Pending CN112883788A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110050373.XA CN112883788A (zh) 2021-01-14 2021-01-14 一种对象监控方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110050373.XA CN112883788A (zh) 2021-01-14 2021-01-14 一种对象监控方法、系统、设备及介质

Publications (1)

Publication Number Publication Date
CN112883788A true CN112883788A (zh) 2021-06-01

Family

ID=76049366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110050373.XA Pending CN112883788A (zh) 2021-01-14 2021-01-14 一种对象监控方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN112883788A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821392A (zh) * 2022-03-23 2022-07-29 深圳市鸿彩云实业发展有限公司 一种智能四害监控及防治系统
CN116524135A (zh) * 2023-07-05 2023-08-01 方心科技股份有限公司 一种基于图像的三维模型生成方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291638A (zh) * 2020-01-19 2020-06-16 上海云从汇临人工智能科技有限公司 一种对象比对方法、系统、设备及介质
CN111339943A (zh) * 2020-02-26 2020-06-26 重庆中科云从科技有限公司 一种对象管理方法、系统、平台、设备及介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291638A (zh) * 2020-01-19 2020-06-16 上海云从汇临人工智能科技有限公司 一种对象比对方法、系统、设备及介质
CN111339943A (zh) * 2020-02-26 2020-06-26 重庆中科云从科技有限公司 一种对象管理方法、系统、平台、设备及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821392A (zh) * 2022-03-23 2022-07-29 深圳市鸿彩云实业发展有限公司 一种智能四害监控及防治系统
CN116524135A (zh) * 2023-07-05 2023-08-01 方心科技股份有限公司 一种基于图像的三维模型生成方法及系统
CN116524135B (zh) * 2023-07-05 2023-09-15 方心科技股份有限公司 一种基于图像的三维模型生成方法及系统

Similar Documents

Publication Publication Date Title
CN108009521B (zh) 人脸图像匹配方法、装置、终端及存储介质
Remagnino et al. Ambient intelligence: A new multidisciplinary paradigm
Hsieh et al. A real time hand gesture recognition system using motion history image
US10769909B1 (en) Using sensor data to detect events
CN103092345A (zh) 一种移动终端的模式切换方法及装置
CN108292311A (zh) 用于处理元数据的设备和方法
CN112200062A (zh) 一种基于神经网络的目标检测方法、装置、机器可读介质及设备
CN104092932A (zh) 一种声控拍摄方法及装置
Zhang et al. ISEE Smart Home (ISH): Smart video analysis for home security
US11195408B1 (en) Sending signals for help during an emergency event
CN107832784A (zh) 一种图像美化的方法和一种移动终端
CN108564274B (zh) 一种客房的预订方法、装置及移动终端
CN111800331A (zh) 通知消息的推送方法、装置、存储介质及电子设备
CN111340848A (zh) 对目标区域的对象跟踪方法、系统、设备及介质
CN111339943A (zh) 一种对象管理方法、系统、平台、设备及介质
Saffari et al. Battery-free camera occupancy detection system
Khowaja et al. Facial expression recognition using two-tier classification and its application to smart home automation system
CN111291638A (zh) 一种对象比对方法、系统、设备及介质
CN111626229A (zh) 一种对象管理方法、装置、机器可读介质及设备
CN112883788A (zh) 一种对象监控方法、系统、设备及介质
US20190272738A1 (en) System and method for preventing false alarms due to display images
CN107454359B (zh) 播放视频的方法及装置
Oh et al. CATOS (Computer Aided Training/Observing System): automating animal observation and training
CN106777066B (zh) 一种图像识别匹配媒体文件的方法和装置
CN111797874B (zh) 行为预测方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210601