CN116524400A - 门前物品看护方法、装置、智能设备及存储介质 - Google Patents

门前物品看护方法、装置、智能设备及存储介质 Download PDF

Info

Publication number
CN116524400A
CN116524400A CN202310457189.6A CN202310457189A CN116524400A CN 116524400 A CN116524400 A CN 116524400A CN 202310457189 A CN202310457189 A CN 202310457189A CN 116524400 A CN116524400 A CN 116524400A
Authority
CN
China
Prior art keywords
article
area
historical
current
door
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310457189.6A
Other languages
English (en)
Inventor
冯鑫山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ezviz Software Co Ltd
Original Assignee
Hangzhou Ezviz Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ezviz Software Co Ltd filed Critical Hangzhou Ezviz Software Co Ltd
Priority to CN202310457189.6A priority Critical patent/CN116524400A/zh
Publication of CN116524400A publication Critical patent/CN116524400A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本申请实施例提供了一种门前物品看护方法、装置、智能设备及存储介质，包括：获取门前区域的待检测视频帧及所述待检测视频帧的采集时刻；对所述待检测视频帧进行对象检测，得到当前对象检测结果；根据所述当前对象检测结果，确定所述门前区域中是否存在新增或消失的物品；判断在所述采集时刻前后的第一预设时长内是否存在开门事件；若不存在开门事件，则针对所述新增或消失的物品进行告警。可以将有限的设备资源集中使用在物品看护功能本身，在判断出门前物品新增、消失的状态之后，结合开门状态，能够提高门前物品看护的识别准确率，此外，该方法计算量低，能耗小，能够节约设备资源。

Description

门前物品看护方法、装置、智能设备及存储介质
技术领域
本申请涉及物联网技术领域，特别是涉及门前物品看护方法、装置、智能设备及存储介质。
背景技术
随着智能家居领域的发展，进门入户类的智能产品，比如智能门锁、门铃、猫眼等产品被越来越多地应用到了家庭或企业。目前，入户类智能设备对门前物品看护的方法通常是：预先建立人体库或人脸库，给对应的人体或人脸赋予指定的身份；根据摄像头采集到的图像进行人体、人脸检测，对当前人员进行身份识别，在判断出当前人员身份的基础上，对门前物品的状态进行判断和告警。一方面，基于人体的身份识别技术不成熟，识别正确率较低，会造成很多误报；另一方面，基于人脸识别的技术虽然较为成熟，但易受到人员配合度和光线的影响，在人脸遮挡、低头、侧脸或光照不佳时识别成功率会大幅降低，与防盗目的不符，导致告警整体准确率较低；且人脸、人体识别算法需要额外消耗较多资源，会加大智能设备的功耗。因此，亟需一种能耗小且具备较高识别准确率的门前物品看护方法。
发明内容
本申请实施例的目的在于提供一种门前物品看护方法、装置、智能设备及存储介质，用以解决门前物品看护方法中能耗高且识别准确率较低的问题。具体技术方案如下：
第一方面，本申请实施例提供了一种门前物品看护方法，包括：
获取门前区域的待检测视频帧及所述待检测视频帧的采集时刻；
对所述待检测视频帧进行对象检测，得到当前对象检测结果；
根据所述当前对象检测结果，确定所述门前区域中是否存在新增或消失的物品；
判断在所述采集时刻前后的第一预设时长内是否存在开门事件；
若不存在开门事件，则针对所述新增或消失的物品进行告警。
在一种可能的实施方式中，所述对所述待检测视频帧进行对象检测，得到当前对象检测结果，包括：
利用对象检测算法，对所述待检测视频帧进行人员检测及物品检测，得到当前对象检测结果，其中，所述当前对象检测结果包括当前人员检测结果及当前物品检测结果；所述当前人员检测结果包括所述待检测视频帧中的人员区域，所述当前物品检测结果包括所述待检测视频帧中的当前物品区域；
所述方法还包括：
根据所述当前人员检测结果，判断是否存在人员区域与各当前物品区域重合的情况；其中，若存在人员区域与当前物品区域重合的情况，则等待获取下一帧待检测视频帧后继续进行检测；若不存在人员区域与当前物品区域重合的情况，则触发执行步骤：根据所述当前对象检测结果，确定所述门前区域中是否存在新增或消失的物品。
在一种可能的实施方式中，所述根据所述当前对象检测结果，确定所述门前区域中是否存在新增或消失的物品，包括：
获取预先存储的历史物品跟踪结果；
计算所述当前对象检测结果中的各当前物品区域与所述历史物品跟踪结果中的各历史物品区域的交并比，得到各交并比值；
计算所述当前对象检测结果中的各当前物品区域与所述历史物品跟踪结果中的各历史物品区域的特征的相似度，得到各相似度值；
根据所述交并比值和所述相似度值，加权计算所述当前对象检测结果中的各当前物品区域与所述历史物品跟踪结果中的各历史物品区域的匹配代价矩阵；
根据所述匹配代价矩阵，计算得到匹配代价最小时，所述当前对象检测结果中的各当前物品区域与所述历史物品跟踪结果中的各历史物品区域的匹配结果；
基于所述匹配结果，确定所述门前区域中是否存在新增或消失的物品。
在一种可能的实施方式中，所述基于所述匹配结果，确定所述门前区域中是否存在新增或消失的物品，包括：
基于所述匹配结果，将所述当前对象检测结果中匹配失败的当前物品区域确定为疑似新增物品；将所述历史物品跟踪结果中匹配失败的历史物品区域确定为疑似消失物品；
在存在所述疑似消失物品的情况下，在所述历史物品跟踪结果中将所述疑似消失物品的连续未匹配到次数增加1；
针对所述历史物品跟踪结果中的每一个物品，当该物品的连续未匹配到次数的数值大于预设第一次数阈值、且该物品的上报过新增状态为是的情况下，将该物品的消失状态设置为是；
针对所述历史物品跟踪结果中每一匹配成功的历史物品区域，将该历史物品区域的匹配成功次数增加1，连续未匹配到次数置0；
将所述历史物品跟踪结果中的该历史物品区域，更新为该历史物品区域匹配成功的当前物品区域；
将所述历史物品跟踪结果中的该历史物品区域的特征信息，更新为该历史物品区域匹配成功的当前物品区域的特征信息；
当该历史物品区域的物品为静止状态、且所述匹配成功次数的数值大于预设第二次数阈值时，将该物品的新增状态设置为是，上报过新增状态设置为是。
在一种可能的实施方式中，所述方法还包括：
在存在所述疑似新增物品的情况下，将所述疑似新增物品的物品区域添加到所述历史物品跟踪结果中，得到新增历史物品区域；
将所述新增历史物品区域的匹配成功次数置0，连续未匹配到次数置0；
设置所述新增历史物品区域的初始运动状态为静止状态；
将所述新增历史物品区域的新增状态设置为否，消失状态设置为否，上报过新增状态设置为否。
在一种可能的实施方式中，在所述判断在所述采集时刻前后的第一预设时长内是否存在开门事件的步骤之前，所述方法还包括：
判断是否针对新增或消失的物品进行过告警；
若判断结果为是，在所述历史物品跟踪结果中删除消失的物品；
若判断结果为否，则触发执行步骤：判断在所述采集时刻前后的第一预设时长内是否存在开门事件；
所述针对所述新增或消失的物品进行告警，包括：
获取当前时刻，判断当前时刻与所述采集时刻的时间差是否超过第二预设时长；
若超过，则针对所述新增或消失的物品进行告警；
若没有超过，则返回执行步骤：获取门前区域的待检测视频帧及所述待检测视频帧的采集时刻。
第二方面，本申请实施例提供了一种门前物品看护装置，包括：
获取模块，用于获取门前区域的待检测视频帧及所述待检测视频帧的采集时刻；
检测模块，用于对所述待检测视频帧进行对象检测，得到当前对象检测结果；
确定模块，用于根据所述当前对象检测结果，确定所述门前区域中是否存在新增或消失的物品；
开门判断模块，用于判断在所述采集时刻前后的第一预设时长内是否存在开门事件；
告警模块，用于若不存在开门事件，则针对所述新增或消失的物品进行告警。
在一种可能的实施方式中，所述检测模块包括：
对象检测子模块，用于利用对象检测算法，对所述待检测视频帧进行人员检测及物品检测，得到当前对象检测结果，其中，所述当前对象检测结果包括当前人员检测结果及当前物品检测结果；所述当前人员检测结果包括所述待检测视频帧中的人员区域，所述当前物品检测结果包括所述待检测视频帧中的当前物品区域；
所述装置还包括：
区域重合判断模块，用于根据所述当前人员检测结果，判断是否存在人员区域与各当前物品区域重合的情况；
视频帧重新获取模块，用于若存在人员区域与当前物品区域重合的情况，则等待获取下一帧待检测视频帧后继续进行检测；
若不存在人员区域与当前物品区域重合的情况，则触发执行确定模块：根据所述当前对象检测结果，确定所述门前区域中是否存在新增或消失的物品。
在一种可能的实施方式中，所述确定模块包括：
历史物品跟踪结果获取模块，用于获取预先存储的历史物品跟踪结果；
交并比计算模块，用于计算所述当前对象检测结果中的各当前物品区域与所述历史物品跟踪结果中的各历史物品区域的交并比，得到各交并比值；
相似度计算模块，用于计算所述当前对象检测结果中的各当前物品区域与所述历史物品跟踪结果中的各历史物品区域的特征的相似度，得到各相似度值；
匹配代价矩阵计算模块，用于根据所述交并比值和所述相似度值，加权计算所述当前对象检测结果中的各当前物品区域与所述历史物品跟踪结果中的各历史物品区域的匹配代价矩阵；
匹配结果计算模块，用于根据所述匹配代价矩阵，计算得到匹配代价最小时，所述当前对象检测结果中的各当前物品区域与所述历史物品跟踪结果中的各历史物品区域的匹配结果；
确定子模块，用于基于所述匹配结果，确定所述门前区域中是否存在新增或消失的物品。
在一种可能的实施方式中，所述确定子模块具体包括：
疑似新增物品和疑似消失物品确定子模块，用于基于所述匹配结果，将所述当前对象检测结果中匹配失败的当前物品区域确定为疑似新增物品；将所述历史物品跟踪结果中匹配失败的历史物品区域确定为疑似消失物品；
未匹配到次数计数模块，用于在存在所述疑似消失物品的情况下，在所述历史物品跟踪结果中将所述疑似消失物品的连续未匹配到次数增加1；
消失物品设置模块，用于针对所述历史物品跟踪结果中的每一个物品，当该物品的连续未匹配到次数的数值大于预设第一次数阈值、且该物品的上报过新增状态为是的情况下，将该物品的消失状态设置为是；
匹配成功次数计数模块，用于针对所述历史物品跟踪结果中每一匹配成功的历史物品区域，将该历史物品区域的匹配成功次数增加1；
连续未匹配到次数清零模块，用于针对所述历史物品跟踪结果中每一匹配成功的历史物品区域，将该历史物品区域的连续未匹配到次数置0；
物品区域更新模块，用于将所述历史物品跟踪结果中的该历史物品区域，更新为该历史物品区域匹配成功的当前物品区域；
特征更新模块，用于将所述历史物品跟踪结果中的该历史物品区域的特征信息，更新为该历史物品区域匹配成功的当前物品区域的特征信息；
新增物品设置模块，用于当该历史物品区域的物品为静止状态、且所述匹配成功次数的数值大于预设第二次数阈值时，将该物品的新增状态设置为是，上报过新增状态设置为是。
在一种可能的实施方式中，所述装置还包括：
创建模块，用于在存在所述疑似新增物品的情况下，将所述疑似新增物品的物品区域添加到所述历史物品跟踪结果中，得到新增历史物品区域；
历史物品区域的匹配成功次数计数模块，用于将所述新增历史物品区域的匹配成功次数置0；
历史物品区域的连续未匹配到次数计数模块，用于将所述新增历史物品区域的连续未匹配到次数置0；
静止状态设置模块，用于设置所述新增历史物品区域的初始运动状态为静止状态；
状态置否模块，用于将所述新增历史物品区域的新增状态设置为否，消失状态设置为否，上报过新增状态设置为否。
在一种可能的实施方式中，所述装置还包括：
告警判断模块，用于判断是否针对新增或消失的物品进行过告警；
删除模块，用于若判断结果为是，在所述历史物品跟踪结果中删除消失的物品；
若判断结果为否，则触发执行开门判断模块：判断在所述采集时刻前后的第一预设时长内是否存在开门事件；
所述告警模块，包括：
时间差确定模块，用于获取当前时刻，判断当前时刻与所述采集时刻的时间差是否超过第二预设时长；
告警子模块，用于若超过，则针对所述新增或消失的物品进行告警；
若没有超过，则返回执行获取模块：获取门前区域的待检测视频帧及所述待检测视频帧的采集时刻。
第三方面，本申请实施例还提供了一种智能设备，包括：
摄像头，用于采集门前区域的待检测视频帧；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述门前物品看护方法。
在一种可能的实施方式中，所述存储器还用于存储历史物品跟踪结果；
所述处理器还用于在所述智能设备被触发后进行事件处理算法的初始化，并记录所述智能设备的触发原因；从所述存储器中读取最后一次保存的历史物品跟踪结果；触发所述摄像头采集门前区域的待检测视频帧；初始化对象检测算法；根据读取的历史物品跟踪结果初始化目标跟踪算法。
在一种可能的实施方式中，所述智能设备为智能防盗门、智能门锁、智能门铃、智能猫眼、摄像机中的任一种。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述门前物品看护方法。
本申请实施例有益效果：
本申请实施例提供的门前物品看护方法，包括：获取门前区域的待检测视频帧及所述待检测视频帧的采集时刻；对所述待检测视频帧进行对象检测，得到当前对象检测结果；根据所述当前对象检测结果，确定所述门前区域中是否存在新增或消失的物品；判断在所述采集时刻前后的第一预设时长内是否存在开门事件；若不存在开门事件，则针对所述新增或消失的物品进行告警。可以将有限的设备资源集中使用在物品看护功能本身，在判断出门前物品新增、消失的状态之后，结合是否存在开门事件来进行告警，这是因为在存在开门事件时，门前物品新增、消失是在用户的掌握中的，相比于基于人体、人脸识别算法来判断是否是用户对物体进行了搬运，能够提高门前物品看护的识别准确率，此外，该方法无需运行人体、人脸识别算法，计算量低，能耗小，能够节约设备资源。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1是本申请实施例中门前物品看护方法的第一种流程示意图；
图2是本申请实施例中门前物品看护方法的第二种流程示意图；
图3是本申请实施例中步骤S103的一种流程示意图；
图4是本申请实施例中步骤S306的一种流程示意图；
图5是本申请实施例中步骤S306的另一种流程示意图；
图6是本申请实施例中门前物品看护方法的第三种流程示意图；
图7是本申请实施例中门前物品看护方法的完整流程示意图；
图8是本申请实施例中门前物品看护方法中多目标跟踪过程的一种流程示意图；
图9是本申请实施例中多目标跟踪匹配流程的一种示意图；
图10是本申请实施例中未匹配到的物品的一种处理流程示意图；
图11是本申请实施例中告警方法的一种流程示意图；
图12是本申请实施例中门前物品看护装置的一种结构示意图；
图13是本申请实施例中智能设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。
随着智能家居领域的发展，进门入户类的智能产品(比如智能门锁、门铃、猫眼等产品)得到了越来越广泛的应用。进门入户类的智能产品不仅能实现传统功能(如智能门锁具备锁门功能、智能门铃具备“敲门”功能、智能猫眼具备观察户外情况的功能)还可以实现对门前物品的监控。目前，进门入户类的智能产品对门前物品看护的方法通常是：预先建立人体库或人脸库，给对应的人体或人脸赋予指定的身份；根据摄像头采集到的图像进行人体、人脸检测，对当前人员进行身份识别，在判断出当前人员身份的基础上，对门前物品的状态进行判断和告警。一方面，基于人体的身份识别技术不成熟，识别正确率较低，会造成很多误报；另一方面，基于人脸识别的技术虽然较为成熟，但易受到人员配合度和光线的影响，在人脸遮挡、低头、侧脸或光照不佳时识别成功率会大幅降低，与防盗目的不符，导致告警整体准确率较低；且人脸、人体识别算法需要额外消耗较多资源，会加大智能设备的功耗。因此，亟需一种能耗小且具备较高识别准确率的门前物品看护方法。
在本申请的第一方面，提供了一种门前物品看护方法，参见图1，所述方法包括：
S101、获取门前区域的待检测视频帧及所述待检测视频帧的采集时刻。
本申请实施例的门前物品看护方法通过智能设备实现，具体可以应用于智能门锁、智能门铃、门前摄像头或者其他智能入户设备等。下面以应用于智能门锁为例进行说明，在智能门锁上电后，会先进行设备的初始化操作，包括设备正常功能的初始化、事件处理模块的初始化、对象检测算法的初始化、读取上次保存的历史物品跟踪结果等。由于市面上智能门锁以锂电池或干电池供电为主，所以为了提高智能门锁的续航，行业的通用做法是设备仅在部分条件下被唤醒，其余时间都处于极低功耗的休眠模式，因此，当无需考虑智能门锁的续航问题时，可以不执行步骤“读取上次保存的历史物品跟踪结果”。但若是为了提高智能门锁的续航，设置设备仅在部分条件下被唤醒，还可以记录导致设备触发的原因事件；例如可以是，设置设备周期性地唤醒，或是在离开房屋前人为触发设备。
在设备完成初始化操作后，启动摄像头获取门前区域的待检测视频帧，并记录采集待检测视频帧的采集时刻。
S102、对所述待检测视频帧进行对象检测，得到当前对象检测结果。
使用对象检测算法对待检测视频帧进行对象检测，对象检测算法可以是能够检测出人和物品的任意目标检测算法，例如基于卷积神经网络的目标检测算法(可以是YOLO系列较新的算法)。
S103、根据所述当前对象检测结果，确定所述门前区域中是否存在新增或消失的物品。
设备在初始化阶段读取了上次保存的历史物品跟踪结果，根据对当前采集到的待检测视频帧进行对象检测的结果，通过将当前对象检测结果与上次保存的历史物品跟踪结果比较，便能确定门前区域是否存在新增或消失的物品。
S104、判断在所述采集时刻前后的第一预设时长内是否存在开门事件。
第一预设时长可以是根据经验、统计确定的值，也可以用户自主配置的值。第一预设时长可以灵活设置，以适应不同的用户，由于门前物品看护方法是以帧为单位进行，所以当用户设置了新的第一预设时长后，新的第一预设时长可以在分析下一视频帧时开始生效。例如，用户设置灵敏度为低时，第一预设时长取值30秒；用户设置灵敏度为中时，第一预设时长取值20秒；用户设置灵敏度为高时，第一预设时长取值10秒。用户还可以直接对第一预设时长进行设置，例如将第一预设时长直接设置为5秒、1分钟等。
若在采集时刻前后的第一预设时长内存在开门事件，可以认为此时物品发生新增或消失有家庭成员的参与，从而对家庭成员放置物品或拿走物品的情况进行过滤，降低特定的身份识别算法(如人体、人脸识别)误识别造成的误检或漏报概率。
S105、若不存在开门事件，则针对所述新增或消失的物品进行告警。
若在采集时刻前后的第一预设时长内不存在开门事件，则需要对此时发生的物品新增或消失的情况进行告警。将物品发生新增或是消失的情况推送到与设备通信连接的指定平台或用户设备。
对新增或消失的物品进行告警的方式，具体包括：获取当前时刻，判断当前时刻与所述采集时刻的时间差是否超过第二预设时长；若超过，则针对所述新增或消失的物品进行告警；若没有超过，则返回执行步骤：获取门前区域的待检测视频帧及所述待检测视频帧的采集时刻。其中，第二预设时长可以与第一预设时长相同，也可以不同，本申请实施例对此不做具体限定。
本申请实施例提供的门前物品看护方法，可以将有限的设备资源集中使用在物品看护功能本身，在判断出门前物品新增、消失的状态之后，结合是否存在开门事件来进行告警，这是因为在存在开门事件时，门前物品新增、消失是在用户的掌握中的，相比于基于人体、人脸识别算法来判断是否是用户对物体进行了搬运，能够提高门前物品看护的识别准确率，此外，该方法无需运行人体、人脸识别算法，计算量低，能耗小，能够节约设备资源。
本申请实施例中的对象包括物品，当前对象检测结果包括当前物品检测结果；一个例子中，对象还可以包括人员，当前对象检测结果还可以包括当前人员检测结果。一个例子中，上述步骤S102具体包括，参见图2：
S201、利用对象检测算法，对所述待检测视频帧进行人员检测及物品检测，得到当前对象检测结果，其中，所述当前对象检测结果包括当前人员检测结果及当前物品检测结果；所述当前人员检测结果包括所述待检测视频帧中的人员区域，所述当前物品检测结果包括所述待检测视频帧中的当前物品区域。
上述方法还包括：
步骤202、根据所述当前人员检测结果，判断是否存在人员区域与各当前物品区域重合的情况；其中，若存在人员区域与当前物品区域重合的情况，则等待获取下一帧待检测视频帧后继续进行检测；若不存在人员区域与当前物品区域重合的情况，则触发执行步骤：根据所述当前对象检测结果，确定所述门前区域中是否存在新增或消失的物品。
可以理解的是，进行人员检测是为了检测出视频帧中的人员区域，其与上文中提及的人体识别算法不同。人体识别算法包括检测出人员区域以及识别出人员身份两个过程，其运算量要远远高于仅检测出人员区域。
在利用对象检测算法，对待检测视频帧进行人员检测及物品检测，得到待检测视频帧中的人员区域和物品区域后，判断人员区域是否与物品区域存在重叠，若存在重叠，则不进行后续的步骤，而是等待获取下一帧待检测视频帧后继续进行检测。可以理解的是，门前物品看护场景，在除了人放置物品或者拿走物品的过程中，物品都是静止在门前的，本申请为了避免人对物品的遮挡造成误报，在检测到人员区域与物品区域存在重叠时，不进行后续处理。由于省去了后续处理步骤，此举也可以增加处理速度，降低处理步骤及次数，从而降低功耗；此时设备一直在进行录像，也不会造成数据的丢失。若不存在重叠，则触发执行步骤：根据所述当前对象检测结果，确定所述门前区域中是否存在新增或消失的物品。
一个例子中，上述步骤103可以细化为以下步骤，参见图3：
S301、获取预先存储的历史物品跟踪结果。
设备在初始化阶段会读取上次保存的历史物品跟踪结果，在确定门前区域中是否存在新增或消失的物品的过程中，会获取读取到的历史物品跟踪结果。
S302、计算所述当前对象检测结果中的各当前物品区域与所述历史物品跟踪结果中的各历史物品区域的交并比，得到各交并比值。
交并比(Intersection of Union，IOU)是指两个区域的重叠面积与两个区域合并起来的面积之比。假设当前对象检测结果中的各当前物品区域为A1、A2、…AM，共M个，历史物品跟踪结果中的各历史物品区域为B1，B2…BN，共N个，针对每一当前物品区域A，需计算其与每一历史物品区域B的交并比值。
S303、计算所述当前对象检测结果中的各当前物品区域与所述历史物品跟踪结果中的各历史物品区域的特征的相似度，得到各相似度值。
针对当前对象检测结果中的每一当前物品区域，计算每一当前物品的特征，针对历史物品跟踪结果中的每一历史物品区域，计算每一历史物品的特征。在计算物品特征的过程中，可以通过神经网络实现，也可以通过传统算法实现。假设当前对象检测结果中的各当前物品区域为A1、A2、…AM，共M个，历史物品跟踪结果中的各历史物品区域为B1，B2…BN，共N个，针对每一当前物品区域A，需计算其与每一历史物品区域B的相似度值。
本申请实施例中不对S302和S303执行顺序做限定。
S304、根据所述交并比值和所述相似度值，加权计算所述当前对象检测结果中的各当前物品区域与所述历史物品跟踪结果中的各历史物品区域的匹配代价矩阵。
可以根据实际情况，对交并比值和相似度值赋予权重。针对当前对象检测结果中的每一当前物品区域，对其交并比值和相似度值进行加权计算，得到各当前物品区域与历史物品跟踪结果中的各历史物品区域的匹配代价矩阵。
假设当前对象检测结果中的各当前物品区域为A1、A2、…AM，共M个，历史物品跟踪结果中的各历史物品区域为B1，B2…BN，共N个，所构建的匹配代价矩阵就是M行N列的，代价矩阵第i行第j列的值代表第i个当前物品区域与第j个历史物品区域匹配的代价。这个代价的计算如下：例如当前物品区域i与历史物品区域j的交并比为x([0,1]之间)，特征相似度是y([0,1]之间)，交并比权重是a，特征相似度权重是b，(b＝1-a)，那么物品i与j的匹配代价为1-(ax+by)，也就是交并比值越大和特征相似度值越高，匹配代价越小。
门前物品看护场景中，除去人为搬运或放置物品的时间段，物品基本上是处于静止状态，而此段时间的分析由于人员区域与物品区域存在重合被省略，且智能门锁摄像头视场角较小，物品能够移动范围较小，所以本申请实施例中去除了历史物品跟踪结果中物品区域的当前帧位置预测步骤，使用历史物品区域直接与当前物品区域进行匹配代价矩阵的计算和匹配结果的计算，可以降低计算量，减小功耗。
S305、根据所述匹配代价矩阵，计算得到匹配代价最小时，所述当前对象检测结果中的各当前物品区域与所述历史物品跟踪结果中的各历史物品区域的匹配结果。
在得到匹配代价矩阵后，可以利用匈牙利算法或是KM算法求解当前对象检测结果中的各当前物品区域与历史物品跟踪结果中的各历史物品区域的匹配结果。
S306、基于所述匹配结果，确定所述门前区域中是否存在新增或消失的物品。
本申请实施例中，除了常规的代表物品区域位置关系的交并比(Intersectionover Union，IOU)，还计算物品区域物品的特征，并计算出当前物品区域物品的特征与历史物品区域物品的特征之间的相似度，将相似度与交并比加权计算出的值作为两物品区域之间的匹配代价，由于本申请实施例还计算了物品区域之间的相似度，即使存在物品被换、但位置相近或不变的情况，也可以保证相同物品之间具有较高的跟踪匹配准确度，增加了相同物品之间跟踪匹配的准确度。
一个例子中，上述步骤S306可以细化为以下步骤，参见图4：
S401、基于所述匹配结果，将所述当前对象检测结果中匹配失败的当前物品区域确定为疑似新增物品；将所述历史物品跟踪结果中匹配失败的历史物品区域确定为疑似消失物品。
可以理解的是，在将当前对象检测结果中的各当前物品区域与历史物品跟踪结果中的各历史物品区域进行匹配的过程中，可能存在当前物品区域在历史物品跟踪结果中找不到对应的历史物品区域的情况；历史物品区域在当前对象检测结果中找不到对应的当前物品区域的情况。针对前者，属于当前对象检测结果中物品区域匹配失败；针对后者，属于历史物品跟踪结果中物品区域匹配失败。
本申请实施例中，能够根据当前对象检测结果中各当前物品区域与历史物品跟踪结果中各历史物品区域的匹配结果，确定出疑似新增物品和疑似消失物品，从而后续针对疑似新增物品和疑似消失物品分别采取不同的处理措施。
S402、在存在所述疑似消失物品的情况下，在所述历史物品跟踪结果中将所述疑似消失物品的连续未匹配到次数增加1。
若确定历史物品跟踪结果中的物品A2为疑似消失物品，则将A2的连续未匹配到次数加1，该连续未匹配到次数的初始值为0。
S403、针对所述历史物品跟踪结果中的每一个物品，当该物品的连续未匹配到次数的数值大于预设第一次数阈值、且该物品的上报过新增状态为是的情况下，将该物品的消失状态设置为是。
第一次数阈值可以是按照经验、统计、算法分析帧率等确定的数值，也可以是与用户可配置的算法参数(如物品看护算法灵敏度、物品出现、消失时长等)挂钩的对应数值，参数可灵活设置，适应不同的用户需求。由于分析是按帧进行，所以当用户设置新的参数成功后，新的参数可以在下一帧分析时开始生效。例如，第一次数阈值设置为40，算法分析帧率为10，第一次数阈值设置为40意味着需要物品消失4秒才能满足；又例如，假如算法灵敏度分为低、中、高三档，在算法分析帧率为10的情况下，用户设置为灵敏度低时，第一次数阈值设置为40，用户设置为灵敏度中时，第一次数阈值设置为20，用户设置为灵敏度高时，第一次数阈值设置为10。
当该物品的连续未匹配到次数的数值大于预设第一次数阈值、且该物品的上报过新增状态为是的情况下，将该物品的消失状态设置为是，即判定该物品消失。并将“物品消失”事件推送到事件处理模块，在事件处理模块中记录将该物品的消失状态设置为是的时刻、物品消失事件、消失物品的个数、消失物品的类别、消失物品的物品标识。
本申请实施例中，通过记录疑似消失物品的连续未匹配到次数，当该物品的连续未匹配到次数的数值大于预设第一次数阈值、且该物品的上报过新增状态为是的情况下，将该物品的消失状态设置为是，以此确定出了消失的物品。
S404、针对所述历史物品跟踪结果中每一匹配成功的历史物品区域，将该历史物品区域的匹配成功次数增加1，连续未匹配到次数置0。
若当前对象检测结果中的物品区域与历史物品跟踪结果中的物品区域匹配成功，则针对历史物品跟踪结果中每一匹配成功的物品区域，将该物品区域的匹配成功次数增加1，连续未匹配到次数置0。其中，该匹配成功次数的初始值为0。
S405、将所述历史物品跟踪结果中的该历史物品区域，更新为该历史物品区域匹配成功的当前物品区域。
根据历史物品区域与当前物品区域的匹配成功的结果，更新历史物品跟踪结果中的该物品区域为该物品区域匹配成功的当前物品区域。
S406、将所述历史物品跟踪结果中的该历史物品区域的特征信息，更新为该历史物品区域匹配成功的当前物品区域的特征信息。
根据历史物品区域与当前物品区域的匹配成功的结果，更新历史物品跟踪结果中的该物品区域的特征信息为该物品区域匹配成功的当前物品区域的特征信息。
S407、当该历史物品区域的物品为静止状态、且所述匹配成功次数的数值大于预设第二次数阈值时，将该物品的新增状态设置为是，上报过新增状态设置为是。
可以通过获取当前待检测视频帧的前后帧，判断物品区域的物品是否为静止状态。
第二次数阈值可以是按照经验、统计、算法分析帧率等确定的数值，也可以是与用户可配置的算法参数(如物品看护算法灵敏度、物品出现、消失时长等)挂钩的对应数值，参数可灵活设置，适应不同的用户需求。由于分析是按帧进行，所以当用户设置新的参数成功后，新的参数可以在下一帧分析时开始生效。例如，第二次数阈值设置为40，算法分析帧率为10，第二次数阈值设置为40意味着需要物品出现4秒才能满足；又例如，假如算法灵敏度分为低、中、高三档，在算法分析帧率为10的情况下，用户设置为灵敏度低时，第二次数阈值设置为40，用户设置为灵敏度中时，第二次数阈值设置为20，用户设置为灵敏度高时，第二次数阈值设置为10。
当该物品区域的物品为静止状态、且所述匹配成功次数的数值大于预设第二次数阈值时，将该物品的新增状态设置为是，即判定存在新增的物品；上报新增该物品的消息，并上报过新增状态设置为是。并将“物品新增”事件推送到事件处理模块，在事件处理模块中记录将该物品的新增状态设置为是的时刻、物品新增事件、新增物品的个数、新增物品的类别、新增物品的物品标识。
本申请实施例中，设置了物品增加的判断条件，当历史物品跟踪结果中的物品区域匹配成功、为静止状态、累计匹配成功次数大于第二次数阈值时，认为物品区域的物品为新增物品。
一个例子中，上述方法还包括，参见图5：
S501、在存在所述疑似新增物品的情况下，将所述疑似新增物品的物品区域添加到所述历史物品跟踪结果中，得到新增历史物品区域。
当当前对象检测结果中的当前物品区域没有在历史物品跟踪结果中找到相匹配的历史物品区域时，即，当前对象检测结果中的当前物品区域匹配失败，在历史物品跟踪结果中添加疑似新增物品的物品区域，得到新增历史物品区域。
S502、将所述新增历史物品区域的匹配成功次数置0，连续未匹配到次数置0。
对新增历史物品区域进行初始化操作，将该新增历史物品区域的匹配成功次数置0，连续未匹配到次数置0。
S503、设置所述新增历史物品区域的初始运动状态为静止状态。
由于本申请实施例的方法是在不存在人员区域与物品区域重合的情况下，才进行的物品新增/消失的判断。在除了人放置物品或者拿走物品的过程中，物品都是静止在门前的，因此，新增历史物品区域的初始运动状态为静止状态。
S504、将所述新增历史物品区域的新增状态设置为否，消失状态设置为否，上报过新增状态设置为否。
针对新增历史物品区域，由于其刚刚被加入历史物品跟踪结果，因此它的新增状态、消失状态设置、上报过新增状态全部设置为否。
本申请实施例中，当当前对象检测结果中存在匹配失败的当前物品区域时，将该物品区域对应的疑似新增物品加入到历史物品跟踪结果中，得到新增历史物品区域，并为新增历史物品区域设置相应参数，以使新增历史物品区域作为后续匹配操作中的待匹配对象。
一个例子中，在步骤“判断在所述采集时刻前后的第一预设时长内是否存在开门事件”之前，上述方法还包括，参见图6：
S601、判断是否针对新增或消失的物品进行过告警。
若对已确定的物品新增/消失事件进行过告警，则无需再进行后续处理步骤，转而遍历下一个已确定的物品新增/消失事件，对未进行过告警的物品新增/消失事件进行后续处理。
S602、若判断结果为是，在所述历史物品跟踪结果中删除消失的物品。
如果进行过告警，则在历史物品跟踪结果中删除消失的物品，实现对历史物品跟踪结果的更新。
S603、若判断结果为否，则触发执行步骤：判断在所述采集时刻前后的第一预设时长内是否存在开门事件。
本申请实施例中，对于已上报过的消失物品，将其从历史物品跟踪结果中删除，实现历史物品跟踪结果的更新；对于未上报过的消失/新增物品，则结合开门状态和当前时刻与采集时刻的时间差，针对新增或消失的物品进行告警。
下面以图7为例具体说明本申请中门前物品看护方法的完整流程：
设备被触发进行门前物品看护操作时，可以对设备的事件处理模块M进行初始化，并记录导致设备触发的原因事件；例如可以是，设备到达了指定唤醒周期，或是被人为触发。接着读取上次保存的历史物品跟踪结果A，启动摄像头，采集门前区域的视频帧并记录采集时刻。初始化对象检测算法，使用上次保存的历史物品跟踪结果初始化多目标跟踪算法，对当前帧进行对象检测，得到当前对象检测结果B，将B送入多目标跟踪算法，得到当前帧的门前物品跟踪结果C。若C中存在新增状态的物品区域，则在事件处理模块M中记录时间戳、物品新增事件、新增物品的个数、类别、ID；若C中存在消失状态的物品区域，则在事件处理模块M中记录时间戳、物品消失事件、消失物品的个数、类别、ID；若C中不存在新增/消失状态的物品区域，则分析下一帧。在C中存在新增/消失状态的物品区域的情况下，判断已记录的物品消失/新增事件是否已上报，如果已上报，则在历史物品跟踪结果中删除消失的物品；如果没有上报，则判断在物品消失/新增事件的前后N秒内是否存在开门事件，若不存在，则需要推送物品发生新增/消失的信息，并在推送物品消失信息后，在历史物品跟踪结果中删除消失的物品。若在物品消失/新增事件的前后N秒内存在开门事件，则不进行物品新增/消失消息的推送，只是将历史物品跟踪结果更新到结果记录模块，判断设备是否满足休眠条件，若满足，则设备休眠，这样做可以最大限度的降低设备功耗，若不满足，则继续分析下一帧。
下面以图8为例对门前物品看护方法中多目标跟踪过程进行具体说明：
对当前帧进行对象检测，得到当前对象检测结果B，判断B中是否存在人员区域，若不存在，可直接计算当前对象检测结果B与历史物品跟踪结果A的交并比；若存在，需要进一步判断B中的人员区域和物品区域是否重合，如果重合则不对当前帧继续处理，转而分析下一帧；如果不重合，则计算当前对象检测结果B与历史物品跟踪结果A的交并比。计算当前对象检测结果B与历史物品跟踪结果A的相似度。根据交并比和相似度加权计算B与A的匹配代价矩阵，利用匈牙利算法求解B与A的匹配结果，可以理解的是，匹配结果存在匹配失败和匹配成功这两种情况，针对匹配失败，又分为B中存在物品而A中不存在物品，和，B中不存在物品而A中存在物品这两种情况。可以根据匹配结果对历史物品跟踪结果进行更新，并对未匹配到的物品区域进行处理，遍历A中各物品区域，判断每一物品区域的状态，从中确定出新增状态的物品区域和消失状态的物品区域，将物品新增/消失事件推送到M中。
下面以图9为例对本申请中多目标跟踪匹配的流程进行具体说明：
遍历历史物品跟踪结果中的每一历史物品区域，确认每一历史物品区域的匹配结果，当该历史物品区域匹配成功，将该历史物品区域的匹配成功状态设置为是；该历史物品区域的匹配成功次数加1；该历史物品区域的连续未匹配到次数置0；更新该历史物品区域为匹配成功的当前对象检测结果中的物品区域；更新该历史物品区域的特征为匹配成功的当前对象检测结果中的物品区域的特征；利用前后帧位置判断该历史物品区域的运动状态，当该历史物品区域为静止状态，匹配成功次数大于x时，设置该历史物品区域的新增状态为是；设置该历史物品区域的上报过新增状态为是。x可以是按照经验、统计、算法分析帧率等确定的数值，也可以是与用户可配置的算法参数(如物品看护算法灵敏度、物品出现、消失时长等)挂钩的对应数值，参数可灵活设置，适应不同的用户需求。由于分析是按帧进行，所以当用户设置新的参数成功后，新的参数可以在下一帧分析时开始生效。例如，x设置为40，算法分析帧率为10，x设置为40意味着需要物品出现4秒才能满足；又例如，假如算法灵敏度分为低、中、高三档，在算法分析帧率为10的情况下，用户设置为灵敏度低时，x设置为40，用户设置为灵敏度中时，x设置为20，用户设置为灵敏度高时，x设置为10。当该历史物品区域匹配不成功，设置该历史物品区域的匹配成功状态为否、连续未匹配到次数加1，在该历史物品区域的连续未匹配到次数大于y，上报过新增状态为是的情况下，设置该历史物品区域的消失状态为是。y可以是按照经验、统计、算法分析帧率等确定的数值，也可以是与用户可配置的算法参数(如物品看护算法灵敏度、物品出现、消失时长等)挂钩的对应数值，参数可灵活设置，适应不同的用户需求。由于分析是按帧进行，所以当用户设置新的参数成功后，新的参数可以在下一帧分析时开始生效。例如，y设置为40，算法分析帧率为10，y设置为40意味着需要物品消失4秒才能满足；又例如，假如算法灵敏度分为低、中、高三档，在算法分析帧率为10的情况下，用户设置为灵敏度低时，y设置为40，用户设置为灵敏度中时，y设置为20，用户设置为灵敏度高时，y设置为10。
下面以图10为例对本申请中未匹配到的情况进行具体说明：
当当前对象检测结果中存在物品区域，但历史物品跟踪结果中不存在相对应的物品区域时，会匹配失败，于物品区域而言，则是其未匹配到相应的物品区域。遍历当前对象检测结果中未匹配到的物品区域；在历史物品跟踪结果中为未匹配到的物品区域创建新的目标Q；将Q的匹配成功状态置为否；Q的匹配成功次数置0；Q的连续未匹配到次数置0；Q的位置为未匹配到的物品区域的位置；Q的初始运动状态置为静止；计算Q的特征；Q的新增状态置为否；Q的消失状态置为否；Q的上报过新增状态为否。
下面以图11为例对本申请中的告警方法进行具体说明：
在确定了物品新增/消失事件之后，遍历截止至目前已接收的物品新增/消失事件，确定事件i是否已上报过告警，本申请实施例中的方法只针对未上报过告警的物品新增/消失事件进行告警。当确定当前物品新增/消失事件未上报过告警，获取事件i的时间戳t1，判断截至目前是否有开门事件j，如果有，则遍历开门事件，看是否有t3-N<t1<t3+N，t3是指开门事件的时间戳，若存在开门事件，则不对物品新增/消失事件进行告警，若不存在开门事件，或是存在开门事件，但开门事件的时间戳t3不满足t3-N<t1<t3+N，获取当前的时间戳t2，当t2>t1+N成立时，推送物品新增/消失告警。优选的N为自然数，单位为秒。
第二方面，本申请实施例提供了一种门前物品看护装置，参见图12，所述装置包括：
获取模块1201，用于获取门前区域的待检测视频帧及所述待检测视频帧的采集时刻；
检测模块1202，用于对所述待检测视频帧进行对象检测，得到当前对象检测结果；
确定模块1203，用于根据所述当前对象检测结果，确定所述门前区域中是否存在新增或消失的物品；
开门判断模块1204，用于判断在所述采集时刻前后的第一预设时长内是否存在开门事件；
告警模块1205，用于若不存在开门事件，则针对所述新增或消失的物品进行告警。
一个例子中，所述检测模块包括：
对象检测子模块，用于利用对象检测算法，对所述待检测视频帧进行人员检测及物品检测，得到当前对象检测结果，其中，所述当前对象检测结果包括当前人员检测结果及当前物品检测结果；所述当前人员检测结果包括所述待检测视频帧中的人员区域，所述当前物品检测结果包括所述待检测视频帧中的当前物品区域；
所述装置还包括：
区域重合判断模块，用于根据所述当前人员检测结果，判断是否存在人员区域与各当前物品区域重合的情况；
视频帧重新获取模块，用于若存在人员区域与当前物品区域重合的情况，则等待获取下一帧待检测视频帧后继续进行检测；
若不存在人员区域与当前物品区域重合的情况，则触发执行确定模块：根据所述当前对象检测结果，确定所述门前区域中是否存在新增或消失的物品。
一个例子中，所述确定模块包括：
历史物品跟踪结果获取模块，用于获取预先存储的历史物品跟踪结果；
交并比计算模块，用于计算所述当前对象检测结果中的各当前物品区域与所述历史物品跟踪结果中的各历史物品区域的交并比，得到各交并比值；
相似度计算模块，用于计算所述当前对象检测结果中的各当前物品区域与所述历史物品跟踪结果中的各历史物品区域的特征的相似度，得到各相似度值；
匹配代价矩阵计算模块，用于根据所述交并比值和所述相似度值，加权计算所述当前对象检测结果中的各当前物品区域与所述历史物品跟踪结果中的各历史物品区域的匹配代价矩阵；
匹配结果计算模块，用于根据所述匹配代价矩阵，计算得到匹配代价最小时，所述当前对象检测结果中的各当前物品区域与所述历史物品跟踪结果中的各历史物品区域的匹配结果；
确定子模块，用于基于所述匹配结果，确定所述门前区域中是否存在新增或消失的物品。
一个例子中，所述确定子模块具体包括：
疑似新增物品和疑似消失物品确定子模块，用于基于所述匹配结果，将所述当前对象检测结果中匹配失败的当前物品区域确定为疑似新增物品；将所述历史物品跟踪结果中匹配失败的历史物品区域确定为疑似消失物品；
未匹配到次数计数模块，用于在存在所述疑似消失物品的情况下，在所述历史物品跟踪结果中将所述疑似消失物品的连续未匹配到次数增加1；
消失物品设置模块，用于针对所述历史物品跟踪结果中的每一个物品，当该物品的连续未匹配到次数的数值大于预设第一次数阈值、且该物品的上报过新增状态为是的情况下，将该物品的消失状态设置为是；
匹配成功次数计数模块，用于针对所述历史物品跟踪结果中每一匹配成功的历史物品区域，将该历史物品区域的匹配成功次数增加1；
连续未匹配到次数清零模块，用于针对所述历史物品跟踪结果中每一匹配成功的历史物品区域，将该历史物品区域的连续未匹配到次数置0；
物品区域更新模块，用于将所述历史物品跟踪结果中的该历史物品区域，更新为该历史物品区域匹配成功的当前物品区域；
特征更新模块，用于将所述历史物品跟踪结果中的该历史物品区域的特征信息，更新为该历史物品区域匹配成功的当前物品区域的特征信息；
新增物品设置模块，用于当该历史物品区域的物品为静止状态、且所述匹配成功次数的数值大于预设第二次数阈值时，将该物品的新增状态设置为是，上报过新增状态设置为是。
一个例子中，所述装置还包括：
创建模块，用于在存在所述疑似新增物品的情况下，将所述疑似新增物品的物品区域添加到所述历史物品跟踪结果中，得到新增历史物品区域；
历史物品区域的匹配成功次数计数模块，用于将所述新增历史物品区域的匹配成功次数置0；
历史物品区域的连续未匹配到次数计数模块，用于将所述新增历史物品区域的连续未匹配到次数置0；
静止状态设置模块，用于设置所述新增历史物品区域的初始运动状态为静止状态；
状态置否模块，用于将所述新增历史物品区域的新增状态设置为否，消失状态设置为否，上报过新增状态设置为否。
一个例子中，所述装置还包括：
告警判断模块，用于判断是否针对新增或消失的物品进行过告警；
删除模块，用于若判断结果为是，在所述历史物品跟踪结果中删除消失的物品；
若判断结果为否，则触发执行开门判断模块：判断在所述采集时刻前后的第一预设时长内是否存在开门事件；
所述告警模块，包括：
时间差确定模块，用于获取当前时刻，判断当前时刻与所述采集时刻的时间差是否超过第二预设时长；
告警子模块，用于若超过，则针对所述新增或消失的物品进行告警；
若没有超过，则返回执行获取模块：获取门前区域的待检测视频帧及所述待检测视频帧的采集时刻。
本申请的技术方案中，所涉及的用户个人信息的获取、存储、使用、加工、传输、提供和公开等操作，均是在已取得用户授权的情况下进行的。
第三方面，本申请实施例还提供了一种智能设备，如图13所示，包括:
存储器1301，用于存放计算机程序；
处理器1302，用于执行存储器1301上所存放的程序时，实现上述任一门前物品看护方法。
摄像头1303，用于采集门前区域的待检测视频帧.
并且上述智能设备还可以包括通信总线和/或通信接口，处理器1302、通信接口、存储器1301通过通信总线完成相互间的通信。
一个例子中，所述存储器还用于存储历史物品跟踪结果；
所述处理器还用于在所述智能设备被触发后进行事件处理算法的初始化，并记录所述智能设备的触发原因；从所述存储器中读取最后一次保存的历史物品跟踪结果；触发所述摄像头采集门前区域的待检测视频帧；初始化对象检测算法；根据读取的历史物品跟踪结果初始化目标跟踪算法。
一个例子中，所述智能设备为智能防盗门、智能门锁、智能门铃、智能猫眼、摄像机中的任一种。其中，智能防盗门、智能门锁、智能门铃、智能猫眼均可以为集成有摄像头的设备，在其他例子中，智能设备也可以外接摄像头，从而实现门前区域图像的采集。
上述智能设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述智能设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一门前物品看护方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一门前物品看护方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (11)

1.一种门前物品看护方法，其特征在于，所述方法包括：
获取门前区域的待检测视频帧及所述待检测视频帧的采集时刻；
对所述待检测视频帧进行对象检测，得到当前对象检测结果；
根据所述当前对象检测结果，确定所述门前区域中是否存在新增或消失的物品；
判断在所述采集时刻前后的第一预设时长内是否存在开门事件；
若不存在开门事件，则针对所述新增或消失的物品进行告警。
2.根据权利要求1所述的方法，其特征在于，所述对所述待检测视频帧进行对象检测，得到当前对象检测结果，包括：
利用对象检测算法，对所述待检测视频帧进行人员检测及物品检测，得到当前对象检测结果，其中，所述当前对象检测结果包括当前人员检测结果及当前物品检测结果；所述当前人员检测结果包括所述待检测视频帧中的人员区域，所述当前物品检测结果包括所述待检测视频帧中的当前物品区域；
所述方法还包括：
根据所述当前人员检测结果，判断是否存在人员区域与各当前物品区域重合的情况；其中，若存在人员区域与当前物品区域重合的情况，则等待获取下一帧待检测视频帧后继续进行检测；若不存在人员区域与当前物品区域重合的情况，则触发执行步骤：根据所述当前对象检测结果，确定所述门前区域中是否存在新增或消失的物品。
3.根据权利要求1所述的方法，其特征在于，所述根据所述当前对象检测结果，确定所述门前区域中是否存在新增或消失的物品，包括：
获取预先存储的历史物品跟踪结果；
计算所述当前对象检测结果中的各当前物品区域与所述历史物品跟踪结果中的各历史物品区域的交并比，得到各交并比值；
计算所述当前对象检测结果中的各当前物品区域与所述历史物品跟踪结果中的各历史物品区域的特征的相似度，得到各相似度值；
根据所述交并比值和所述相似度值，加权计算所述当前对象检测结果中的各当前物品区域与所述历史物品跟踪结果中的各历史物品区域的匹配代价矩阵；
根据所述匹配代价矩阵，计算得到匹配代价最小时，所述当前对象检测结果中的各当前物品区域与所述历史物品跟踪结果中的各历史物品区域的匹配结果；
基于所述匹配结果，确定所述门前区域中是否存在新增或消失的物品。
4.根据权利要求3所述的方法，其特征在于，所述基于所述匹配结果，确定所述门前区域中是否存在新增或消失的物品，包括：
基于所述匹配结果，将所述当前对象检测结果中匹配失败的当前物品区域确定为疑似新增物品；将所述历史物品跟踪结果中匹配失败的历史物品区域确定为疑似消失物品；
在存在所述疑似消失物品的情况下，在所述历史物品跟踪结果中将所述疑似消失物品的连续未匹配到次数增加1；
针对所述历史物品跟踪结果中的每一个物品，当该物品的连续未匹配到次数的数值大于预设第一次数阈值、且该物品的上报过新增状态为是的情况下，将该物品的消失状态设置为是；
针对所述历史物品跟踪结果中每一匹配成功的历史物品区域，将该历史物品区域的匹配成功次数增加1，连续未匹配到次数置0；
将所述历史物品跟踪结果中的该历史物品区域，更新为该历史物品区域匹配成功的当前物品区域；
将所述历史物品跟踪结果中的该历史物品区域的特征信息，更新为该历史物品区域匹配成功的当前物品区域的特征信息；
当该历史物品区域的物品为静止状态、且所述匹配成功次数的数值大于预设第二次数阈值时，将该物品的新增状态设置为是，上报过新增状态设置为是。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
在存在所述疑似新增物品的情况下，将所述疑似新增物品的物品区域添加到所述历史物品跟踪结果中，得到新增历史物品区域；
将所述新增历史物品区域的匹配成功次数置0，连续未匹配到次数置0；
设置所述新增历史物品区域的初始运动状态为静止状态；
将所述新增历史物品区域的新增状态设置为否，消失状态设置为否，上报过新增状态设置为否。
6.根据权利要求1所述的方法，其特征在于，
在所述判断在所述采集时刻前后的第一预设时长内是否存在开门事件的步骤之前，所述方法还包括：
判断是否针对新增或消失的物品进行过告警；
若判断结果为是，在所述历史物品跟踪结果中删除消失的物品；
若判断结果为否，则触发执行步骤：判断在所述采集时刻前后的第一预设时长内是否存在开门事件；
所述针对所述新增或消失的物品进行告警，包括：
获取当前时刻，判断当前时刻与所述采集时刻的时间差是否超过第二预设时长；
若超过，则针对所述新增或消失的物品进行告警；
若没有超过，则返回执行步骤：获取门前区域的待检测视频帧及所述待检测视频帧的采集时刻。
7.一种门前物品看护装置，其特征在于，所述装置包括：
获取模块，用于获取门前区域的待检测视频帧及所述待检测视频帧的采集时刻；
检测模块，用于对所述待检测视频帧进行对象检测，得到当前对象检测结果；
确定模块，用于根据所述当前对象检测结果，确定所述门前区域中是否存在新增或消失的物品；
开门判断模块，用于判断在所述采集时刻前后的第一预设时长内是否存在开门事件；
告警模块，用于若不存在开门事件，则针对所述新增或消失的物品进行告警。
8.一种智能设备，其特征在于，包括：
摄像头，用于采集门前区域的待检测视频帧；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法。
9.根据权利要求8所述的智能设备，其特征在于，所述存储器还用于存储历史物品跟踪结果；
所述处理器还用于在所述智能设备被触发后进行事件处理算法的初始化，并记录所述智能设备的触发原因；从所述存储器中读取最后一次保存的历史物品跟踪结果；触发所述摄像头采集门前区域的待检测视频帧；初始化对象检测算法；根据读取的历史物品跟踪结果初始化目标跟踪算法。
10.根据权利要求8所述的智能设备，其特征在于，所述智能设备为智能防盗门、智能门锁、智能门铃、智能猫眼、摄像机中的任一种。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法。
CN202310457189.6A 2023-04-21 2023-04-21 门前物品看护方法、装置、智能设备及存储介质 Pending CN116524400A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310457189.6A CN116524400A (zh) 2023-04-21 2023-04-21 门前物品看护方法、装置、智能设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310457189.6A CN116524400A (zh) 2023-04-21 2023-04-21 门前物品看护方法、装置、智能设备及存储介质

Publications (1)

Publication Number Publication Date
CN116524400A true CN116524400A (zh) 2023-08-01

Family

ID=87391540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310457189.6A Pending CN116524400A (zh) 2023-04-21 2023-04-21 门前物品看护方法、装置、智能设备及存储介质

Country Status (1)

Country Link
CN (1) CN116524400A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036482A (zh) * 2023-08-22 2023-11-10 北京智芯微电子科技有限公司 目标对象定位方法、装置、拍摄设备、芯片、设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036482A (zh) * 2023-08-22 2023-11-10 北京智芯微电子科技有限公司 目标对象定位方法、装置、拍摄设备、芯片、设备及介质

Similar Documents

Publication Publication Date Title
CN111475804B (zh) 一种告警预测方法及系统
US7760230B2 (en) Method for automatically reducing stored data in a surveillance system
US8138882B2 (en) Securing premises using surfaced-based computing technology
CN110222640A (zh) 监控场所中嫌疑人的识别方法、装置、方法和存储介质
CN111401161A (zh) 基于智能视频分析算法实现行为识别的智慧建筑管控系统
Kittler et al. Domain anomaly detection in machine perception: A system architecture and taxonomy
CN111709028B (zh) 一种网络安全状态评估和攻击预测方法
CN111757069B (zh) 一种基于智能门铃的监控防盗方法及装置
CN116524400A (zh) 门前物品看护方法、装置、智能设备及存储介质
CN108280953A (zh) 视频侦测报警方法及装置、存储介质、摄像头
CN111553234A (zh) 融合人脸特征与Re-ID特征排序的行人跟踪方法及装置
CN110674761A (zh) 一种区域行为预警方法及系统
CN111814510A (zh) 一种遗留物主体检测方法及装置
CN114494153A (zh) 物品存放检测方法、装置、计算机设备和存储介质
CN112307143A (zh) 一种时空轨迹构建方法、系统、设备和介质
CN205847453U (zh) 一种基于智能视频技术的智慧金睛人和物的行为识别系统
CN112686180A (zh) 一种封闭空间人员数量计算方法
CN112153341B (zh) 一种任务监督方法、装置、系统、电子设备及存储介质
CN116246402A (zh) 一种监控方法及装置
CN107870791B (zh) 应用管理方法、装置、存储介质及电子设备
CN113837138B (zh) 一种着装监控方法、系统、介质及电子终端
CN114973135A (zh) 一种基于头肩的时序视频睡岗识别方法、系统及电子设备
Pushkar et al. A comparative study on change-point detection methods in time series data
CN117173847B (zh) 一种智能门窗防盗警报系统及其工作方法
CN113095110B (zh) 人脸数据动态入库的方法、装置、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination