CN110674696A - 一种监控方法、装置、系统、监控设备及可读存储介质 - Google Patents

一种监控方法、装置、系统、监控设备及可读存储介质 Download PDF

Info

Publication number
CN110674696A
CN110674696A CN201910803870.5A CN201910803870A CN110674696A CN 110674696 A CN110674696 A CN 110674696A CN 201910803870 A CN201910803870 A CN 201910803870A CN 110674696 A CN110674696 A CN 110674696A
Authority
CN
China
Prior art keywords
detection object
information
preset
detection
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910803870.5A
Other languages
English (en)
Other versions
CN110674696B (zh
Inventor
黄智刚
陈翀
陈向文
尹彦斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai, Zhuhai Lianyun Technology Co Ltd filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN201910803870.5A priority Critical patent/CN110674696B/zh
Publication of CN110674696A publication Critical patent/CN110674696A/zh
Application granted granted Critical
Publication of CN110674696B publication Critical patent/CN110674696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种监控方法、装置、系统、监控设备及可读存储介质，涉及终端技术领域，所述方法包括：获取微波雷达在预设区域内采集到的雷达图像；通过预先训练的深度学习神经网络，识别所述雷达图像中包含的检测对象，并确定各检测对象的特征信息；将所述各检测对象的特征信息发送给预设的AR终端，以使所述AR终端根据所述各检测对象的特征信息显示所述预设区域对应的虚拟图像。采用本申请，可以提高了监控的覆盖性。

Description

一种监控方法、装置、系统、监控设备及可读存储介质
技术领域
本申请涉及终端技术领域，尤其涉及一种监控方法、装置、系统、监控设备及可读存储介质。
背景技术
随着人们安全意识的增加，越来越多的用户选择在家庭中安装监控系统，以便在外出是能够观察家中的情况，管理家庭安全。
目前的监控系统中，通常采用摄像头对家庭中的各个区域进行拍摄。摄像头拍摄到图像后，通过无线通信网络将该图像发送给用户的终端，用户则可以通过终端实时查看图像，以获知家中的情况。
然而，由于摄像头是家中的某一固定位置，且拍摄角度有限，所以通过摄像头仅能对部分区域进行监控，覆盖性较差。
发明内容
本申请实施例的目的在于提供一种监控方法、装置、系统、监控设备及可读存储介质，用以解决通过摄像头进行监控时，监控覆盖性差的问题。具体技术方案如下：
第一方面，提供了一种监控方法，所述方法包括：
获取微波雷达在预设区域内采集到的雷达图像；
通过预先训练的深度学习神经网络，识别所述雷达图像中包含的检测对象，并确定各检测对象的特征信息；
将所述各检测对象的特征信息发送给预设的增强现实AR终端，以使所述AR终端根据所述各检测对象的特征信息显示所述预设区域对应的虚拟图像。
可选的，所述特征信息至少包括位置信息、高度信息、宽度信息、姿态信息、速度信息、移动轨迹和宽高比中的一种或多种的组合。
可选的，所述通过预先训练的深度学习神经网络，识别所述雷达图像中包含的检测对象，并确定各检测对象的特征信息，包括：
将所述雷达图像输入至预先训练的神经网络模型，得到所述雷达图像中包含的检测对象、以及各检测对象在所述雷达图像中对应的矩形候选区域；
针对每个检测对象，根据该检测对象对应的矩形候选区域，确定该检测对象的特征信息。
可选的，所述根据该检测对象对应的矩形候选区域，确定该检测对象的特征信息，包括：
确定该检测对象对应的矩形候选区域在所述雷达图像中的位置信息、高度信息和宽度信息，作为该检测对象的位置信息、高度信息和宽度信息；和/或，
对该检测对象对应的矩形候选区域进行姿态识别，得到该检测对象的姿态信息。
可选的，所述方法还包括：
根据该检测对象的高度信息和宽度信息，计算该检测对象的宽高比，作为该检测对象的特征信息；和/或，
获取该检测对象在连续多帧雷达图像中的位置信息，根据该检测对象在连续多帧雷达图像中的位置信息，计算该检测对象的速度信息和移动轨迹，作为该检测对象的特征信息。
可选的，所述深度学习神经网络为基于高速提议的卷积神经网络Faster-RCNN，所述Faster-RCNN包括输入层、几何视觉VGG网络、区域提议网络RPN、池化层、全连接层和输出层。
可选的，所述方法还包括：
获取预设的训练样本集合，所述训练样本集合包含多个标注有检测对象的样本雷达图像；
通过所述训练样本集合对预设的深度学习神经网络进行训练，得到训练后的深度学习神经网络。
可选的，所述方法还包括：
如果所述各检测对象中存在预设检测对象，则根据所述预设检测对象的特征信息，判断所述预设检测对象是否发生危险事件；
如果所述预设检测对象发生危险事件，则向所述AR终端发送报警信息。
第二方面，提供了一种监控装置，所述装置包括：
第一获取模块，用于获取微波雷达在预设区域内采集到的雷达图像；
确定模块，用于通过预先训练的深度学习神经网络，识别所述雷达图像中包含的检测对象，并确定各检测对象的特征信息；
第一发送模块，用于将所述各检测对象的特征信息发送给预设的增强现实AR终端，以使所述AR终端根据所述各检测对象的特征信息显示所述预设区域对应的虚拟图像。
可选的，所述特征信息至少包括位置信息、高度信息、宽度信息、姿态信息、速度信息、移动轨迹和宽高比中的一种或多种的组合。
可选的，所述确定模块，具体用于：
将所述雷达图像输入至预先训练的神经网络模型，得到所述雷达图像中包含的检测对象、以及各检测对象在所述雷达图像中对应的矩形候选区域；
针对每个检测对象，根据该检测对象对应的矩形候选区域，确定该检测对象的特征信息。
可选的，所述确定模块，具体用于：
确定该检测对象对应的矩形候选区域在所述雷达图像中的位置信息、高度信息和宽度信息，作为该检测对象的位置信息、高度信息和宽度信息；和/或，
对该检测对象对应的矩形候选区域进行姿态识别，得到该检测对象的姿态信息。
可选的，所述确定模块，还用于：
根据该检测对象的高度信息和宽度信息，计算该检测对象的宽高比，作为该检测对象的特征信息；和/或，
获取该检测对象在连续多帧雷达图像中的位置信息，根据该检测对象在连续多帧雷达图像中的位置信息，计算该检测对象的速度信息和移动轨迹，作为该检测对象的特征信息。
可选的，所述装置还包括：
第二获取模块，用于获取预设的训练样本集合，所述训练样本集合包含多个标注有检测对象的样本雷达图像；
训练模块，用于通过所述训练样本集合对预设的深度学习神经网络进行训练，得到训练后的深度学习神经网络。
可选的，所述装置还包括：
判断模块，用于如果所述各检测对象中存在预设检测对象，则根据所述预设检测对象的特征信息，判断所述预设检测对象是否发生危险事件；
第二发送模块，用于如果所述预设检测对象发生危险事件，则向所述AR终端发送报警信息。
第三方面，提供了一种监控系统，所述系统包括具有微波雷达的监控设备和AR终端，其中：
所述监控设备，用于执行上述第一方面任一所述的方法中的操作；
所述AR终端，用于根据所述各检测对象的特征信息显示所述预设区域对应的虚拟图像。
第四方面，提供了一种监控设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的方法步骤。
第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一所述的方法步骤。
第六方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面任一所述的方法。
本申请实施例有益效果：
本申请实施例提供了一种监控方法，可以获取微波雷达在预设区域内采集到的雷达图像，然后通过预先训练的深度学习神经网络，识别雷达图像中包含的检测对象，并确定各检测对象的特征信息，进而将各检测对象的特征信息发送给预设的增强现实AR终端，以使AR终端根据各检测对象的特征信息显示预设区域对应的虚拟图像。本方案中，通过微波雷达对预设区域进行检测，可以得到预设区域完整的雷达图像，然后提取雷达图像包含的各检测对象的特征信息，通过AR终端进行虚拟成像，以还原整个预设区域的图像，这样，可以实现对整个预设区域的监控，提高了监控的覆盖性，且成像效果较好。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种监控方法的流程图；
图2为本申请实施例提供的一种Faster-RCNN的结构示意图；
图3为本申请实施例提供的一种训练Faster-RCNN的流程流程图；
图4为本申请实施例提供的一种监控装置的结构示意图；
图5为本申请实施例提供的另一种监控装置的结构示意图；
图6为本申请实施例提供的另一种监控装置的结构示意图；
图7为本申请实施例提供的一种监控设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例提供的一种监控方法，该方法可以应用于监控设备，该监控设备可以是具有微波雷达的监控设备。其中，微波雷达可以设置在需要监控的区域中。在家庭监控的场景下，可以在每个房间中设置一个微波雷达，以采集该房间对应的雷达图像。
步骤101，获取微波雷达在预设区域内采集到的雷达图像。
在实施中，微波雷达可以在预设区域发出微波信号，当微波信号遇到室内环境中的障碍物后，会返回的回波信号，微波雷达可以根据接收到的回波信号，生成雷达图像。其中，预设区域为微波雷达的监控范围内的区域。
步骤102，通过预先训练的深度学习神经网络，识别雷达图像中包含的检测对象，并确定各检测对象的特征信息。
在实施中，监控设备中可以存储有预先训练的深度学习神经网络，该深度学习神经网络可以是Faster-RCNN(Faster Region-based Convolutional Neural Network，基于高速区域提议的卷积神经网络)、RCNN等。监控设备获取到雷达图像后，可以将该雷达图像输入至深度学习神经网络，深度学习神经网络可以识别雷达图像中包含的检测对象，然后，监控设备可以进一步确定各检测对象的特征信息。其中，检测对象可以是人体、动物、家具和电器等对象；特征信息至少包括位置信息、高度信息、宽度信息、姿态信息、速度信息、移动轨迹和宽高比中的一种或多种的组合。
本申请实施例以深度学习神经网络为Faster-RCNN为例，对识别检测对象的处理过程进行详细说明。其中，Faster-RCNN包括输入层、VGG(Visual Geometry Group，几何视觉)网络、RPN(region proposal networks，区域提议网络)、池化层、全连接层和输出层，如图2所示。其中，池化层可以为ROI(region of interest，兴趣区域)pooling。
在实施中，可以通过输入层将雷达图像输入至Faster-RCNN的VGG网络，VGG网络可以对该雷达图像进行卷积计算，得到卷积特征图像(Feature map)。然后，可以将卷积特征图像输入至RPN进行筛选处理，RPN会输出包含矩形候选区域的特征图像。其中，矩形候选区域是可能包含有检测对象的区域，比如人、宠物或电视等对应的区域。VGG网络可以将卷积特征图像输入至池化层(即ROI pooling)，同时，RPN会将包含矩形候选区域的特征图像输入至池化层。池化层可以根据这两个图像进一步提取各矩形候选区域的卷积特征，然后将处理后的图像输入至全连接层。全连接层中包含有激活函数，在一种实现方式中，全连接层中的激活函数可以采用softmax函数。针对每个矩形候选区域，全连接层可以通过softmax函数，计算该矩形候选区域属于各分类类别的置信度，进而确定置信度最大的分类类别，作为该矩形候选区域的分类类别，然后通过输出层输出包含矩形候选区域的图像、以及每个矩形候选区域的分类类别。其中，分类类别可以由技术人员根据需要进行设置，比如老人、婴儿、宠物、电器、家具等。这样，可以识别每个矩形候选区域的分类类别，从而确定出雷达图像中包含的检测对象。
可选的，由上述说明可知，将雷达图像输入至预先训练的神经网络模型后，可以得到雷达图像中包含的检测对象、以及各检测对象在雷达图像中对应的矩形候选区域。针对每个检测对象，监控设备可以根据该检测对象对应的矩形候选区域，确定该检测对象的特征信息。
在一个示例中，可以确定该检测对象所属的矩形候选区域在雷达图像中的位置(比如矩形候选区域的中心点的位置、或矩形区域某一顶点的位置)，作为该检测对象的位置信息；可以统计该矩形候选区域的高度在雷达图像中所包含的像素点的个数，得到矩形候选区域的高度，将该高度作为该检测对象的高度信息；可以统计该矩形候选区域的宽度在雷达图像中所包含的像素点的个数，得到矩形候选区域的宽度，将该宽度作为该检测对象的高度信息；可以对该矩形候选区域包含的图像进行进一步的姿态识别，得到该检测对象的姿态信息，例如，检测对象为人，可以识别出人是站着、坐着或躺着；检测对象为宠物，可以识别宠物是行动、进食或趴着。
可选的，可以对上述位置信息、高度信息和宽度信息等进行进一步的分析，得到更多的特征信息，具体的处理过程可以为：根据该检测对象的高度信息和宽度信息，计算该检测对象的宽高比，作为该检测对象的特征信息；和/或，获取该检测对象在连续多帧雷达图像中的位置信息，根据该检测对象在连续多帧雷达图像中的位置信息，计算该检测对象的速度信息和移动轨迹，作为该检测对象的特征信息。
在实施中，针对每个检测对象，监控设备可以计算该检测对象的宽度信息与高度信息的比值，得到该检测对象的宽高比。监控设备还可以获取该检测对象在连续多帧雷达图像中的位置信息，然后根据该检测对象在连续多帧雷达图像中的位置信息、以及采集连续多帧雷达图像所用的时长，计算检测对象的移动速度。监控设备还可以根据检测对象在连续多帧雷达图像中的位置信息，生成该检测对象的移动轨迹。另外，还可以计算高度变化率、宽度变化率等其他特征信息，具体可以根据实际需要进行设置，本实施例不做限定。
可选的，监控设备还可以对预设检测对象进行危险事件监控，具体的处理过程可以为：如果各检测对象中存在预设检测对象，则根据预设检测对象的特征信息，判断预设检测对象是否发生危险事件；如果预设检测对象发生危险事件，则向AR终端发送报警信息。
在实施中，用户可以在监控设备中设置预设检测对象，比如孩子、老人或宠物等，并可以设置危险事件，比如跌倒、靠近水池、靠近火源或靠近窗户等。监控设备则可以根据用户的设置，对预设检测对象进行监控。具体的，监控设备通过深度学习神经网络识别出雷达图像中包含的检测对象、以及各检测对象的特征信息后，可以判断识别出的检测对象中是否存在预设检测对象，如果存在，则可以进一步根据预设检测对象的特征信息，判断预设检测对象是否发生危险事件。在一个示例中，可以根据预设检测对象的姿态信息，判断预设检测对象是否发生摔倒、滑倒等危险事件，可以根据预设检测对象的位置信息、以及预设区域内检测到的窗户、火源或水池等危险区域的位置信息，确定预设检测对象与危险区域的距离，如果该距离小于预设阈值，则确定预设检测对象发生危险事件。监控设备在确定预设检测对象发生危险事件后，可以向AR终端发送报警信息，以使用户及时进行处理。
步骤103，将各检测对象的特征信息发送给预设的增强现实AR终端，以使AR终端根据各检测对象的特征信息显示预设区域对应的虚拟图像。
其中，AR终端为具有AR成像功能的终端，比如手机或平板电脑等移动终端。
在实施中，监控设备可以将各检测对象的特征信息发送给预设的增强现实AR终端，AR终端接收到各检测对象的特征信息后，可以通过AR技术进行虚拟成像，然后显示预设区域对应的虚拟图像。这样，用户可以通过AR终端查看预设区域的实时情况。
可选的，本申请实施例还提供了深度学习神经网络的训练过程，具体为：获取预设的训练样本集合，训练样本集合包含多个标注有检测对象的样本雷达图像；通过训练样本集合对预设的深度学习神经网络进行训练，得到训练后的深度学习神经网络。
以Faster-RCNN为例，神经网络的训练库可分为两类，一类是网络库，另一类是自建库。其中，网络库中存储有标准的Faster-RCNN，用于进行网络中的权重参数的初始化设置，该Faster-RCNN是用image net(图像网)数据集进行训练的Faster-RCNN。自建库中存储有多个标注有检测对象的样本雷达图像，比如，可以是标注有矩形候选区域、以及每个矩形候选区域的分类类别的雷达图像。自建库中的样本雷达图像可以划分为训练样本集合和测试样本集合。如图3所示，训练过程可以包括：
步骤301，获取训练样本集合。
步骤302，将训练样本集合输入RPN，对RPN进行训练。
步骤303，将训练样本集合输入VGG网络，对VGG网络进行训练。
其中，在RPN和VGG网络训练完成后，执行步骤304。
步骤304，对Fast RCNN网络进行训练。
其中，Fast RCNN网络包含输入层、VGG网络、池化层、全连接层和输出层。也即，Fast RCNN网络加上RPN即构成Faster RCNN网络。
通过步骤304，各层网络权值已有粗糙的分布。
步骤305，对RPN和Fast RCNN网络进行训练和微调。
步骤306，输入测试样本集合，对Faster-RCNN进行测试。
通过步骤306可以测试网络的识别准确度。如果达到预设准确度，则停止训练，如果未达到预设准确度，则继续进行训练。
本申请实施例中，可以获取微波雷达在预设区域内采集到的雷达图像，然后通过预先训练的深度学习神经网络，识别雷达图像中包含的检测对象，并确定各检测对象的特征信息，进而将各检测对象的特征信息发送给预设的增强现实AR终端，以使AR终端根据各检测对象的特征信息显示预设区域对应的虚拟图像。本方案中，通过微波雷达对预设区域进行检测，可以得到预设区域完整的雷达图像，然后提取雷达图像包含的各检测对象的特征信息，通过AR终端进行虚拟成像，以还原整个预设区域的图像，这样，可以实现对整个预设区域的监控，提高了监控的覆盖性，且成像效果较好。在实际应用中，不仅可以通过监控设备进行家居安全的实时监控，还可以识别检测对象的移动轨迹，比如识别家庭中宠物的移动轨迹，以使用户了解宠物是否在房间内、在哪个房间内等，实现跟踪功能。同时，还可以识别检测对象的姿态信息，家长临时外出时，可以观察小孩的状态和行为，方便家长了解当前情况下小孩的情况。
基于相同的技术构思，本申请实施例还提供了一种监控装置，如图4所示，该装置包括：
第一获取模块410，用于获取微波雷达在预设区域内采集到的雷达图像；
确定模块420，用于通过预先训练的深度学习神经网络，识别所述雷达图像中包含的检测对象，并确定各检测对象的特征信息；
第一发送模块430，用于将各检测对象的特征信息发送给预设的AR终端，以使AR终端根据各检测对象的特征信息显示预设区域对应的虚拟图像。
可选的，特征信息至少包括位置信息、高度信息、宽度信息、姿态信息、速度信息、移动轨迹和宽高比中的一种或多种的组合。
可选的，确定模块420，具体用于：
将所述雷达图像输入至预先训练的神经网络模型，得到所述雷达图像中包含的检测对象、以及各检测对象在所述雷达图像中对应的矩形候选区域；
针对每个检测对象，根据该检测对象对应的矩形候选区域，确定该检测对象的特征信息。
可选的，确定模块420，具体用于：
确定该检测对象对应的矩形候选区域在所述雷达图像中的位置信息、高度信息和宽度信息，作为该检测对象的位置信息、高度信息和宽度信息；和/或，
对该检测对象对应的矩形候选区域进行姿态识别，得到该检测对象的姿态信息。
可选的，图像特征包括位置信息、高度信息和宽度信息，确定模块420，还用于：
根据该检测对象的高度信息和宽度信息，计算该检测对象的宽高比，作为该检测对象的特征信息；和/或，
获取该检测对象在连续多帧雷达图像中的位置信息，根据该检测对象在连续多帧雷达图像中的位置信息，计算该检测对象的速度信息和移动轨迹，作为该检测对象的特征信息。
可选的，深度学习神经网络为基于高速提议的卷积神经网络Faster-RCNN，所述Faster-RCNN包括输入层、几何视觉VGG网络、区域提议网络RPN、池化层、全连接层和输出层。
可选的，如图5所示，该装置还包括：
第二获取模块440，用于获取预设的训练样本集合，所述训练样本集合包含多个标注有检测对象的样本雷达图像；
训练模块450，用于通过训练样本集合对预设的深度学习神经网络进行训练，得到训练后的深度学习神经网络。
可选的，如图6所示，所述装置还包括：
判断模块460，用于如果所述各检测对象中存在预设检测对象，则根据所述预设检测对象的特征信息，判断所述预设检测对象是否发生危险事件；
第二发送模块470，用于如果所述预设检测对象发生危险事件，则向所述AR终端发送报警信息。
本申请实施例中，可以获取微波雷达在预设区域内采集到的雷达图像，然后通过预先训练的深度学习神经网络，识别雷达图像中包含的检测对象，并确定各检测对象的特征信息，进而将各检测对象的特征信息发送给预设的增强现实AR终端，以使AR终端根据各检测对象的特征信息显示预设区域对应的虚拟图像。本方案中，通过微波雷达对预设区域进行检测，可以得到预设区域完整的雷达图像，然后提取雷达图像包含的各检测对象的特征信息，通过AR终端进行虚拟成像，以还原整个预设区域的图像，这样，可以实现对整个预设区域的监控，提高了监控的覆盖性，且成像效果较好。
本发明实施例还提供了一种监控设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信，
存储器703，用于存放计算机程序；
处理器701，用于执行存储器703上所存放的程序时，实现如下步骤：
获取微波雷达在预设区域内采集到的雷达图像；
通过预先训练的深度学习神经网络，识别所述雷达图像中包含的检测对象，并确定各检测对象的特征信息；
将所述各检测对象的特征信息发送给预设的增强现实AR终端，以使所述AR终端根据所述各检测对象的特征信息显示所述预设区域对应的虚拟图像。
可选的，所述特征信息至少包括位置信息、高度信息、宽度信息、姿态信息、速度信息、移动轨迹和宽高比中的一种或多种的组合。
可选的，该计算机程序被处理器执行时还实现以下步骤：
将所述雷达图像输入至预先训练的神经网络模型，得到所述雷达图像中包含的检测对象、以及各检测对象在所述雷达图像中对应的矩形候选区域；
针对每个检测对象，根据该检测对象对应的矩形候选区域，确定该检测对象的特征信息。
可选的，该计算机程序被处理器执行时还实现以下步骤：
确定该检测对象对应的矩形候选区域在所述雷达图像中的位置信息、高度信息和宽度信息，作为该检测对象的位置信息、高度信息和宽度信息；和/或，
对该检测对象对应的矩形候选区域进行姿态识别，得到该检测对象的姿态信息。
可选的，该计算机程序被处理器执行时还实现以下步骤：
根据该检测对象的高度信息和宽度信息，计算该检测对象的宽高比，作为该检测对象的特征信息；和/或，
获取该检测对象在连续多帧雷达图像中的位置信息，根据该检测对象在连续多帧雷达图像中的位置信息，计算该检测对象的速度信息和移动轨迹，作为该检测对象的特征信息。
可选的，所述深度学习神经网络为基于高速提议的卷积神经网络Faster-RCNN，所述Faster-RCNN包括输入层、几何视觉VGG网络、区域提议网络RPN、池化层、全连接层和输出层。
可选的，该计算机程序被处理器执行时还实现以下步骤：
获取预设的训练样本集合，所述训练样本集合包含多个标注有检测对象的样本雷达图像；
通过所述训练样本集合对预设的深度学习神经网络进行训练，得到训练后的深度学习神经网络。
可选的，该计算机程序被处理器执行时还实现以下步骤：
如果所述各检测对象中存在预设检测对象，则根据所述预设检测对象的特征信息，判断所述预设检测对象是否发生危险事件；
如果所述预设检测对象发生危险事件，则向所述AR终端发送报警信息。
上述监控设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述监控设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种监控系统，该系统包括具有微波雷达的监控设备和AR终端，其中：
所述监控设备，用于执行上述监控方法中的操作；
所述AR终端，用于根据所述各检测对象的特征信息显示所述预设区域对应的虚拟图像。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的监控方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的监控方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (18)

1.一种监控方法，其特征在于，所述方法包括：
获取微波雷达在预设区域内采集到的雷达图像；
通过预先训练的深度学习神经网络，识别所述雷达图像中包含的检测对象，并确定各检测对象的特征信息；
将所述各检测对象的特征信息发送给预设的增强现实AR终端，以使所述AR终端根据所述各检测对象的特征信息显示所述预设区域对应的虚拟图像。
2.根据权利要求1所述的方法，其特征在于，所述特征信息至少包括位置信息、高度信息、宽度信息、姿态信息、速度信息、移动轨迹和宽高比中的一种或多种的组合。
3.根据权利要求1所述的方法，其特征在于，所述通过预先训练的深度学习神经网络，识别所述雷达图像中包含的检测对象，并确定各检测对象的特征信息，包括：
将所述雷达图像输入至预先训练的神经网络模型，得到所述雷达图像中包含的检测对象、以及各检测对象在所述雷达图像中对应的矩形候选区域；
针对每个检测对象，根据该检测对象对应的矩形候选区域，确定该检测对象的特征信息。
4.根据权利要求3所述的方法，其特征在于，所述根据该检测对象对应的矩形候选区域，确定该检测对象的特征信息，包括：
确定该检测对象对应的矩形候选区域在所述雷达图像中的位置信息、高度信息和宽度信息，作为该检测对象的位置信息、高度信息和宽度信息；和/或，
对该检测对象对应的矩形候选区域进行姿态识别，得到该检测对象的姿态信息。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据该检测对象的高度信息和宽度信息，计算该检测对象的宽高比，作为该检测对象的特征信息；和/或，
获取该检测对象在连续多帧雷达图像中的位置信息，根据该检测对象在连续多帧雷达图像中的位置信息，计算该检测对象的速度信息和移动轨迹，作为该检测对象的特征信息。
6.根据权利要求1所述的方法，其特征在于，所述深度学习神经网络为基于高速提议的卷积神经网络Faster-RCNN，所述Faster-RCNN包括输入层、几何视觉VGG网络、区域提议网络RPN、池化层、全连接层和输出层。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取预设的训练样本集合，所述训练样本集合包含多个标注有检测对象的样本雷达图像；
通过所述训练样本集合对预设的深度学习神经网络进行训练，得到训练后的深度学习神经网络。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
如果所述各检测对象中存在预设检测对象，则根据所述预设检测对象的特征信息，判断所述预设检测对象是否发生危险事件；
如果所述预设检测对象发生危险事件，则向所述AR终端发送报警信息。
9.一种监控装置，其特征在于，所述装置包括：
第一获取模块，用于获取微波雷达在预设区域内采集到的雷达图像；
确定模块，用于通过预先训练的深度学习神经网络，识别所述雷达图像中包含的检测对象，并确定各检测对象的特征信息；
第一发送模块，用于将所述各检测对象的特征信息发送给预设的增强现实AR终端，以使所述AR终端根据所述各检测对象的特征信息显示所述预设区域对应的虚拟图像。
10.根据权利要求9所述的装置，其特征在于，所述特征信息至少包括位置信息、高度信息、宽度信息、姿态信息、速度信息、移动轨迹和宽高比中的一种或多种的组合。
11.根据权利要求9所述的装置，其特征在于，所述确定模块，具体用于：
将所述雷达图像输入至预先训练的神经网络模型，得到所述雷达图像中包含的检测对象、以及各检测对象在所述雷达图像中对应的矩形候选区域；
针对每个检测对象，根据该检测对象对应的矩形候选区域，确定该检测对象的特征信息。
12.根据权利要求11所述的装置，其特征在于，所述确定模块，具体用于：
确定该检测对象对应的矩形候选区域在所述雷达图像中的位置信息、高度信息和宽度信息，作为该检测对象的位置信息、高度信息和宽度信息；和/或，
对该检测对象对应的矩形候选区域进行姿态识别，得到该检测对象的姿态信息。
13.根据权利要求12所述的装置，其特征在于，所述确定模块，还用于：
根据该检测对象的高度信息和宽度信息，计算该检测对象的宽高比，作为该检测对象的特征信息；和/或，
获取该检测对象在连续多帧雷达图像中的位置信息，根据该检测对象在连续多帧雷达图像中的位置信息，计算该检测对象的速度信息和移动轨迹，作为该检测对象的特征信息。
14.根据权利要求9所述的装置，其特征在于，所述装置还包括：
第二获取模块，用于获取预设的训练样本集合，所述训练样本集合包含多个标注有检测对象的样本雷达图像；
训练模块，用于通过所述训练样本集合对预设的深度学习神经网络进行训练，得到训练后的深度学习神经网络。
15.根据权利要求9所述的装置，其特征在于，所述装置还包括：
判断模块，用于如果所述各检测对象中存在预设检测对象，则根据所述预设检测对象的特征信息，判断所述预设检测对象是否发生危险事件；
第二发送模块，用于如果所述预设检测对象发生危险事件，则向所述AR终端发送报警信息。
16.一种监控系统，其特征在于，所述系统包括具有微波雷达的监控设备和AR终端，其中：
所述监控设备，用于执行上述权利要求1～8任一所述的方法中的操作；
所述AR终端，用于根据所述各检测对象的特征信息显示所述预设区域对应的虚拟图像。
17.一种监控设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一所述的方法步骤。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一所述的方法步骤。
CN201910803870.5A 2019-08-28 2019-08-28 一种监控方法、装置、系统、监控设备及可读存储介质 Active CN110674696B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910803870.5A CN110674696B (zh) 2019-08-28 2019-08-28 一种监控方法、装置、系统、监控设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910803870.5A CN110674696B (zh) 2019-08-28 2019-08-28 一种监控方法、装置、系统、监控设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN110674696A true CN110674696A (zh) 2020-01-10
CN110674696B CN110674696B (zh) 2023-01-13

Family

ID=69075675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910803870.5A Active CN110674696B (zh) 2019-08-28 2019-08-28 一种监控方法、装置、系统、监控设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN110674696B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183461A (zh) * 2020-10-21 2021-01-05 广州市晶华精密光学股份有限公司 一种车辆内部监控方法、装置、设备及存储介质
CN112462360A (zh) * 2020-11-13 2021-03-09 珠海大横琴科技发展有限公司 一种监控方法、装置、电子设备和存储介质
CN112562250A (zh) * 2020-12-25 2021-03-26 杭州拓深科技有限公司 一种摄像检测装置与烟雾报警器联动的火灾预警方法
CN112797638A (zh) * 2020-12-25 2021-05-14 青岛经济技术开发区海尔热水器有限公司 一种热水器及热水器的控制方法
US20210150192A1 (en) * 2019-11-19 2021-05-20 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
CN113138660A (zh) * 2020-01-17 2021-07-20 北京小米移动软件有限公司 信息的获取方法、装置、移动终端及存储介质
CN113378805A (zh) * 2021-08-13 2021-09-10 北京中科慧眼科技有限公司 基于深度学习的限高装置检测方法、系统和智能终端
WO2021174414A1 (zh) * 2020-03-03 2021-09-10 苏州七星天专利运营管理有限责任公司 微波识别方法及系统
WO2021233357A1 (en) * 2020-05-20 2021-11-25 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Object detection method, system and computer-readable medium

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106945521A (zh) * 2016-01-06 2017-07-14 福特全球技术公司 用于增强现实可见度降低导航的系统和方法
CN108197582A (zh) * 2018-01-10 2018-06-22 武汉理工大学 基于深度学习的海事雷达图像处理方法
CN108566534A (zh) * 2018-04-23 2018-09-21 Oppo广东移动通信有限公司 基于视频监控的报警方法、装置、终端及存储介质
CN108647607A (zh) * 2018-04-28 2018-10-12 国网湖南省电力有限公司 用于输变电工程的地物识别方法
CN208172953U (zh) * 2018-03-14 2018-11-30 贵州财大鼎新科创产业有限公司 应急监控机构以及系统
US20180373942A1 (en) * 2017-06-22 2018-12-27 Kabushiki Kaisha Toshiba Object detecting apparatus, object detecting method, and computer program product
CN109190636A (zh) * 2018-07-30 2019-01-11 北京航空航天大学 一种遥感图像舰船目标信息提取方法
CN109656259A (zh) * 2018-11-22 2019-04-19 亮风台（上海）信息科技有限公司 一种用于确定目标对象的图像位置信息的方法与设备
CN109901169A (zh) * 2019-04-02 2019-06-18 安徽省安瑞机电科技有限公司 一种基于雷达和枪球机联动的路边车位管理系统
CN109959911A (zh) * 2019-03-25 2019-07-02 清华大学 基于激光雷达的多目标自主定位方法及装置
CN110009869A (zh) * 2019-04-01 2019-07-12 珠海格力电器股份有限公司 活动信息的监控方法、装置和系统
CN110109090A (zh) * 2019-03-28 2019-08-09 北京邮电大学 基于微波雷达的未知环境多目标检测方法和装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106945521A (zh) * 2016-01-06 2017-07-14 福特全球技术公司 用于增强现实可见度降低导航的系统和方法
US20180373942A1 (en) * 2017-06-22 2018-12-27 Kabushiki Kaisha Toshiba Object detecting apparatus, object detecting method, and computer program product
CN108197582A (zh) * 2018-01-10 2018-06-22 武汉理工大学 基于深度学习的海事雷达图像处理方法
CN208172953U (zh) * 2018-03-14 2018-11-30 贵州财大鼎新科创产业有限公司 应急监控机构以及系统
CN108566534A (zh) * 2018-04-23 2018-09-21 Oppo广东移动通信有限公司 基于视频监控的报警方法、装置、终端及存储介质
CN108647607A (zh) * 2018-04-28 2018-10-12 国网湖南省电力有限公司 用于输变电工程的地物识别方法
CN109190636A (zh) * 2018-07-30 2019-01-11 北京航空航天大学 一种遥感图像舰船目标信息提取方法
CN109656259A (zh) * 2018-11-22 2019-04-19 亮风台（上海）信息科技有限公司 一种用于确定目标对象的图像位置信息的方法与设备
CN109959911A (zh) * 2019-03-25 2019-07-02 清华大学 基于激光雷达的多目标自主定位方法及装置
CN110109090A (zh) * 2019-03-28 2019-08-09 北京邮电大学 基于微波雷达的未知环境多目标检测方法和装置
CN110009869A (zh) * 2019-04-01 2019-07-12 珠海格力电器股份有限公司 活动信息的监控方法、装置和系统
CN109901169A (zh) * 2019-04-02 2019-06-18 安徽省安瑞机电科技有限公司 一种基于雷达和枪球机联动的路边车位管理系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨露菁: "《智能图像处理及应用》", 31 March 2019, 中国铁道出版社有限公司 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210150192A1 (en) * 2019-11-19 2021-05-20 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
US11900722B2 (en) * 2019-11-19 2024-02-13 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
CN113138660A (zh) * 2020-01-17 2021-07-20 北京小米移动软件有限公司 信息的获取方法、装置、移动终端及存储介质
WO2021174414A1 (zh) * 2020-03-03 2021-09-10 苏州七星天专利运营管理有限责任公司 微波识别方法及系统
CN115244586A (zh) * 2020-03-03 2022-10-25 苏州七星天专利运营管理有限责任公司 微波识别方法及系统
WO2021233357A1 (en) * 2020-05-20 2021-11-25 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Object detection method, system and computer-readable medium
CN112183461A (zh) * 2020-10-21 2021-01-05 广州市晶华精密光学股份有限公司 一种车辆内部监控方法、装置、设备及存储介质
CN112462360A (zh) * 2020-11-13 2021-03-09 珠海大横琴科技发展有限公司 一种监控方法、装置、电子设备和存储介质
CN112562250A (zh) * 2020-12-25 2021-03-26 杭州拓深科技有限公司 一种摄像检测装置与烟雾报警器联动的火灾预警方法
CN112797638A (zh) * 2020-12-25 2021-05-14 青岛经济技术开发区海尔热水器有限公司 一种热水器及热水器的控制方法
CN113378805A (zh) * 2021-08-13 2021-09-10 北京中科慧眼科技有限公司 基于深度学习的限高装置检测方法、系统和智能终端

Also Published As

Publication number Publication date
CN110674696B (zh) 2023-01-13

Similar Documents

Publication Publication Date Title
CN110674696B (zh) 一种监控方法、装置、系统、监控设备及可读存储介质
CN111666857B (zh) 基于环境语义理解的人体行为识别方法、装置及存储介质
US11710075B2 (en) Hazard recognition
CN110738095B (zh) 一种行为分析方法及装置
CN110925969B (zh) 一种空调控制方法、装置、电子设备及存储介质
US20180300510A1 (en) Protecting content on a display device from a field-of-view of a person or device
US20150071492A1 (en) Abnormal behaviour detection
CN111767783A (zh) 行为检测、模型训练方法、装置、电子设备及存储介质
CN111368635A (zh) 一种基于毫米波的多人步态识别方法及装置
CN111654700A (zh) 一种隐私遮蔽处理方法、装置、电子设备及监控系统
CN111144398A (zh) 目标检测方法、装置、计算机设备和存储介质
CN110688883A (zh) 车辆和行人检测方法及装置
CN110414360A (zh) 一种异常行为的检测方法及检测设备
CN111899470A (zh) 人体跌倒检测方法、装置、设备及存储介质
CN111046944A (zh) 一种确定对象类别的方法、装置、电子设备及存储介质
CN112115752A (zh) 品质检测模型的训练方法和装置以及品质检测方法和装置
KR101889051B1 (ko) 모니터링 시스템들에서 신뢰성을 증가시키는 방법
CN111260607B (zh) 可疑物品自动检测方法、终端设备、计算机设备及介质
CN112818929B (zh) 一种人员斗殴检测方法、装置、电子设备及存储介质
CN113837138A (zh) 一种着装监控方法、系统、介质及电子终端
CN114445669A (zh) 一种烟火告警方法、装置、电子设备及存储介质
CN111915616A (zh) 一种基于弱监督图像分割进行红外测温的方法及装置
CN111419118A (zh) 一种划分区域的方法、装置、终端及计算机可读介质
CN111126107A (zh) 一种信息确定方法、装置及电子设备
CN111242008B (zh) 打架事件检测方法、相关设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant