CN111814509A - 一种物品定位方法、装置及监控系统 - Google Patents

一种物品定位方法、装置及监控系统 Download PDF

Info

Publication number
CN111814509A
CN111814509A CN201910285970.3A CN201910285970A CN111814509A CN 111814509 A CN111814509 A CN 111814509A CN 201910285970 A CN201910285970 A CN 201910285970A CN 111814509 A CN111814509 A CN 111814509A
Authority
CN
China
Prior art keywords
article
target object
item
monitoring
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910285970.3A
Other languages
English (en)
Other versions
CN111814509B (zh
Inventor
李超
朱舒舒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201910285970.3A priority Critical patent/CN111814509B/zh
Publication of CN111814509A publication Critical patent/CN111814509A/zh
Application granted granted Critical
Publication of CN111814509B publication Critical patent/CN111814509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请提供一种物品定位方法、装置及监控系统,该方法包括:获取监控区域的监控画面,检测所述监控画面中的物品以及携带所述物品的目标对象;当检测到第一目标对象与第一物品分离,且持续分离状态满足第一预设条件时,确定所述第一物品为遗留物品,记录所述第一目标对象与所述第一物品的关联关系,并获取所述第一物品的位置信息;其中,所述第一目标对象为携带所述第一物品的对象。该方法可以为遗留物品的找回提供数据支持,提高遗留物品找回的效率。

Description

一种物品定位方法、装置及监控系统
技术领域
本申请涉及视频监控领域技术,尤其涉及一种物品定位方法、装置及监控系统。
背景技术
对于车站、商场等人流量较大的公共场所,很容易出现物品遗留的情况。
目前,主要通过人工检测(如人工巡逻或查看监控视频)或视频检测的方式发现遗留物品。
然而实践发现,通过人工检测方式发现遗留物品需要耗费大量人力,效率较低;而目前的视频检测方案无法确定遗留物品的原携带者(即失主)信息。例如,遗失时间为几个小时的时间段,那么,人工观察监控视频,即使采用4倍速、8倍速,也需要几小时的时间,还可能存在观察遗漏的情况。
发明内容
有鉴于此,本申请提供一种物品定位方法、装置及监控系统。
具体地,本申请是通过如下技术方案实现的:
根据本申请实施例的第一方面,提供一种物品定位方法,包括:
获取监控区域的监控画面,检测所述监控画面中的物品以及携带所述物品的目标对象;
当检测到第一目标对象与第一物品分离,且持续分离状态满足第一预设条件时,确定所述第一物品为遗留物品,记录所述第一目标对象与所述第一物品的关联关系,并获取所述第一物品的位置信息;其中,所述第一目标对象为携带所述第一物品的对象。
根据本申请实施例的第二方面,提供一种物品定位装置,其特征在于,包括:
获取单元,用于获取监控区域的监控画面;
检测单元,用于检测所述监控画面中的物品以及携带所述物品的目标对象;
确定单元,用于当所述检测单元检测到第一目标对象与第一物品分离,且持续分离状态满足第一预设条件时,确定所述第一物品为遗留物品;
记录单元,用于当所述第一物品为遗留物品时,记录所述第一目标对象与所述第一物品的关联关系;
定位单元,用于当所述第一物品为遗留物品时,获取所述第一物品的位置信息。
根据本申请实施例的第三方面,提供一种监控系统,包括:
至少一个图像传感器,用于获取监控区域的监控画面;
至少一个处理器,用于检测所述监控画面中的物品以及携带所述物品的目标对象当检测到第一目标对象与第一物品分离,且持续分离状态满足第一预设条件时,确定所述第一物品为遗留物品,记录所述第一目标对象与所述第一物品的关联关系,并获取所述第一物品的位置信息;其中,所述第一目标对象为携带所述第一物品的对象。
本申请实施例的物品定位方法,通过检测监控画面中物品以及携带物品的目标对象,当物品与携带该物品的目标对象持续分离状态预设条件时,确定该物品为遗留物品,记录该物品与携带该物品的目标对象的关联关系,并获取该物品的位置信息,在实现物品遗留自动检测的情况下,可以确定遗留物品的原携带者(即失主)信息,从而可以为遗留物品的找回提供数据支持,提高遗留物品找回的效率。
附图说明
图1是本申请一示例性实施例示出的一种物品定位方法的流程示意图;
图2是本申请一示例性实施例示出的一种物品定位装置的结构示意图;
图3是本申请又一示例性实施例示出的一种物品定位装置的结构示意图;
图4是本申请又一示例性实施例示出的一种物品定位装置的结构示意图;
图5是本申请又一示例性实施例示出的一种物品定位装置的结构示意图;
图6是本申请一示例性实施例示出的一种电子设备的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案,并使本申请实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本申请实施例中技术方案作进一步详细的说明。
请参见图1,为本申请实施例提供的一种物品定位方法的流程示意图,其中,该物品定位方法可以应用于视频监控系统中具有物品定位功能的设备(本文中称为物品定位设备),可以包括但不限于视频监控前端设备(如IPC(Internet Protocol Camera,网络摄像机))或视频监控后端设备(如NVR(Network Video Recorder,网络硬盘录像机))等,如图1所示,该物品定位方法可以包括以下步骤:
步骤S100、获取监控区域的监控画面,检测监控画面中的物品以及携带物品的目标对象。
本申请实施例中,物品定位设备可以通过视频监控前端设备(下文中以IPC为例)获取监控区域(也可以称为感兴趣区域)的监控画面,并对监控画面进行检测,以检测监控画面中的出现的物品以及物品的携带者(本文中称为目标对象)。
本申请实施例中,物品定位设备对物品的携带者的检测的具体实现将在下文中进行说明,本申请实施例在此不做赘述。
需要说明的是,在本申请实施例中,为了减少检测工作量,物品定位设备可以采用跳帧检测的方式检测监控画面中的物品以及携带物品的目标对象。
例如,物品定位设备可以采用预设倍数(如2倍、3倍、4倍或10倍等)对监控画面进行视频帧抽取,并检测抽取的视频帧中的物品以及携带物品的目标对象。
步骤S110、当检测到第一目标对象与第一物品分离,且持续分离状态满足第一预设条件时,确定第一物品为遗留物品,记录第一目标对象与第一物品的关联关系,并获取第一物品的位置信息。
本申请实施例中,第一物品并不特指某一固定的物品,而是可以指代监控画面中出现的任一物品,第一目标对象为携带第一物品的对象,本申请实施例后续不再复述。
本申请实施例中,当物品定位设备检测到第一目标对象与第一物品分离时,物品定位设备可以判断第一目标对象与第一物品持续分离状态是否满足预设条件(本文中称为第一预设条件),如持续分离时间是否达到预设时长(本文中称为第一预设时长,可以根据实际场景设定,如1分钟、2分钟等),或持续分离帧数是否达到预设帧数(本文中称为第一预设帧数,可以根据实际场景设定,如10帧、20帧等),即第一目标对象与第一物品的分离状态的连续帧数超过第一预设帧数。
例如,当物品定位设备检测到第一目标对象与第一物品分离时,物品定位设备可以开始计时,若计时时长达到预设时长,且第一目标对象未重新携带第一物品,则确定第一目标对象与第一物品的持续分离时间达到预设时长。
本申请实施例中,当物品定位设备检测到第一目标对象与第一物品持续分离状态满足第一预设条件时,物品定位设备可以确定第一物品为遗留物品。此时,物品定位设备可以记录第一目标对象与第一物品的关联关系,并获取第一物品的位置信息。
作为一种示例,物品定位设备记录第一目标对象与第一物品的关联关系可以包括记录第一目标对象的图像与第一物品的特征信息或图像的关联关系。
作为一种示例,获取第一物品的位置信息可以基于监控到物品的监控前端设备的位置信息以及物品所在的视场角等信息实现,或者,可以根据背景图像的匹配确定相应的场景位置,从而获取第一物品的位置信息。
可见,在图1所示方法流程中,通过检测监控画面中物品以及携带物品的目标对象,当物品与携带该物品的目标对象持续分离状态预设条件时,确定该物品为遗留物品,记录该物品与携带该物品的目标对象的关联关系,并获取该物品的位置信息,在实现物品遗留自动检测的情况下,可以确定遗留物品的原携带者(即失主)信息,从而可以为遗留物品的找回提供数据支持,提高遗留物品找回的效率。
在本申请的一种可能的实施方式中,上述确定第一物品为遗留物品之后,还可以包括:
当识别到第一物品为指定类型物品时,向第一指定终端发送第一提示信息。
示例性的,物品定位设备确定第一物品为遗留物品之后,还可以对第一物品的类型进行识别。
例如,物品定位设备可以对第一物品进行建模,并与预先存储的物品的模型进行匹配,以确定第一物品的类型。
又例如,可以建立各种类型物品的数据库,通过图像分割和相似度比对确定第一物品的类型。
又例如,通过已有的物品图像训练出神经网络,然后利用训练好的神经网络识别物品类型。
当物品定位设备识别到第一物品为指定类型物品时,可以向指定终端(本文中称为第一指定终端,如报警处理终端)发送用于提示存在指定类型物品遗留的提示信息(本文中称为第一提示信息)。
示例性的,该第一提示信息中可以包括遗留物品的位置信息以及遗留物品的图像信息等。
示例性的,该指定类型物品可以根据实际需求设定(如配置指定类型物品清单),其可以包括但不限于涉及人身、财产或隐私信息安全的物品,如危险物品(如枪支、弹药等)、身份证、银行卡、售价高的物品或者易碎物品等。
作为该实施方式的一个实施例,上述指定类型物品包括危险物品、贵重物品或证件物品;
上述确定第一物品为遗留物品之后,还可以包括:
当识别到第一物品为危险物品、贵重物品或证件物品时,按照预设处理策略采取执行对应处理操作。
示例性的,当物品定位设备识别到第一物品为危险物品、贵重物品或证件物品时,物品定位设备可以按照预设处理策略(可以根据具体场景配置)执行对应的处理操作。
举例来说,当物品定位设备识别到第一物品为危险物品时,可以按照预设危险防范策略执行对应的处理操作。
例如,通过广播或者显示器提示周围人群远离该遗留物;或,通知无人机或者机器人将该遗留物移动到指定位置;或,通知机器人移动沙袋、金属护栏、金属罩等阻碍物将该遗留物围住等。
在本申请的一种可能的实施方式中,上述确定第一物品为遗留物品之后,还可以包括:
获取第一目标对象的身份信息,以确定第一目标对象是否存在不良行为记录;
若存在,则向第二指定终端发送第二提示信息;
若不存在,则获取第一目标对象的通讯标识信息,并根据第一目标对象的通讯标识信息向第一目标对象发送第三提示信息;其中,第三提示信息包括第一物品的位置信息以及第一物品的图像信息。
示例性的,物品定位设备确定第一物品为遗留物品之后,还可以获取第一目标对象的身份信息。
例如,物品定位设备可以从监控画面中获取第一目标对象的人脸图像,并根据获取到的人脸图像在人脸数据库中搜索第一目标对象的身份信息,其可以包括但不限于身份标识(如身份证号码)、通讯标识信息(如手机号)以及行为记录等。
物品定位设备获取到第一目标对象的身份时,可以确定第一目标对象是否存在不良行为记录(如犯罪记录、大额负债记录等)。
若确定第一目标对象存在不良行为记录,则可以向指定终端(本文中称为第二指定终端,如报警处理终端)发送用于提示第一目标对象存在不良行为记录的提示信息(本文中称为第二提示信息),进而,报警处理人员(如监控人员、工作人员、安保或警察等)可以根据该提示信息对遗留物品进行确认,以确认其是否为危险物品,并根据确认结果采取对应措施,从而,可以在无法直接识别遗留物品是否为危险物品(如遗留物品外部存在遮挡)的情况下,及时发现危险物品,减少危险发生。
在一个示例中,当物品定位设备确定第一目标对象存在不良行为记录时,还可以对第一目标对象进行定位追踪。
示例性的,若物品定位设备确定第一目标对象不存在不良行为记录,则物品定位设备可以获取第一目标对象的通讯标识信息,并根据第一目标对象的通信标识信息向第一目标对象发送用于提示物品遗留的提示信息(本文中称为第三提示信息),该第三提示信息可以包括但不限于第一物品的位置信息以及第一物品的图像信息等。
在本申请的一种可能的实施方式中,上述确定第一物品为遗留物品之后,还可以包括:
当检测到第二目标对象拾取第一物品时,对第二目标对象和第一物品进行定位。
示例性的,物品定位设备确定第一物品为遗留物品之后,当检测到第一物品被其他对象(本文中称为第二目标对象)拾取时,物品定位设备可以对第二目标对象和第一物品进行定位。
例如,物品定位设备可以识别第二目标对象的人脸图像,并通过关联IPC,持续对第二目标对象和第一物品进行定位跟踪,并定时将第二目标对象和第一物品的位置信息发送给指定终端,如报警处理终端。
示例性的,对第二目标对象和第一物品进行定位可以基于监控到第二目标对象或第一物品的监控前端设备的位置信息以及第二目标对象或第一物品所在的视场角等信息实现,或者,可以根据背景图像的匹配确定相应的场景位置,从而实现对第二目标对象和第一物品的定位。需要说明的是,在本申请实施例中,若物品定位设备检测到第二目标对象与第一物品再次分离,则可以选择第一物品和/或第二目标对象继续跟踪,并跟踪与二者继续接触的其他人员,并通过人脸识别这些人员的身份,提取数据库中的身份信息,例如,是否存在不良记录、人员户籍、家庭地址等,其具体实现在此不做赘述。
在本申请的一种可能的实施方式中,上述检测监控画面中的物品以及携带物品的目标对象之后,还可以包括:
当检测到第二物品与携带第二物品的第三目标对象分离,且持续分离状态满足第一预设条件之前,检测到第四目标对象携带第二物品时,记录第二物品对应的物品交换事件。
需要说明的是,第二物品并不特指某一固定的物品,而是可以指代监控画面中出现的任一物品。
示例性的,当物品定位设备检测到第二物品与携带第二物品的目标对象(本文中称为第三目标对象)分离时,可以确定第二物品与第三目标对象的持续分离状态是否满足第一预设条件。
若该持续分离状态满足第一预设条件之前,物品定位设备检测到另一目标对象(本文中称为第四目标对象)携带第二物品时,物品定位设备可以确定第二物品在第三目标对象与第四目标对象之间发生交换,物品定位设备可以记录第二物品对应的物品交换事件。
在一个示例中,物品定位设备记录第二物品对应的物品交换事件时,可以记录第二物品的特征信息或/和图像信息,以及第三目标对象和第四目标对象的图像信息。
在本申请的一种可能的实施方式中,上述检测监控画面中的物品以及携带物品的目标对象之后,还可以包括:
当从监控画面中无法检测到第五目标对象携带的第三物品的持续状态满足第二预设条件时,确定第三物品的最后位移点;
确定第三物品的最后位移点与第三物品在监控画面中最后出现的位置之间的距离;
当该距离与第三物品在监控画面中的最大位移量的比值超过预设比值阈值时,记录第三物品对应的有归属物品消失事件。
需要说明的是,第三物品并不特指某一固定的物品,而是可以指代监控画面中出现的任一物品。
示例性的,假设物品定位设备在监控画面中监测到第三物品以及携带第三物品的目标对象(本文中称为第五目标对象)。若在某个时刻起,物品定位设备无法检测到该第三物品,且持续状态满足预设条件(本文中称为第二预设条件),如持续时间达到预设时长(本文中称为第二预设时长,可以根据实际场景设定),或,持续帧数达到预设帧数(本文中称为第二预设帧数,可以根据实际场景设定),则物品定位设备可以确定第三物品的最后位移点。
在一个示例中,第三物品的最后位移点为与第三物品在监控画面中最后出现的位置距离最近的监控画面边界点。
物品定位设备确定了第三物品的最后位移点时,可以根据该最后位移点与第三物品在监控画面中最后出现的位置,确定该最后位移点与最后出现的位置的距离,并确定该距离与第三物品在监控画面中的最大位移量的比值。
在一个示例中,物品定位设备可以实时记录第三物品在监控画面中的位移。
当所确定的比值超过预设比值阈值(可以根据实际场景设定)时,可以记录第三物品对应的有归属物品消失事件。
在一个示例中,物品定位设备记录第三物品对应的有归属物品消失事件时,可以记录第三物品的特征信息或/和图像信息,以及第五目标对象的图像信息。
在一个示例中,物品定位设备确定第三物品的最后位移点之后,还可以根据第三物品的最后位移点确定与第三物品关联的其他监控系统,即第三物品从最后位移点离开当前监控系统之后,可能会进入的其他监控系统,并将第三物品的信息发送至其他监控系统,进而,可以通过该其他监控系统继续对第三物品进行定位追踪。
示例性的,第三物品的信息可以包括但不限于第三物品的特征信息或/和图像信息,以及第五目标对象的图像信息等;第三物品关联的其他监控系统可以为与当前监控系统(即上述物品定位设备所属监控系统)的架构相同的监控系统,也可以为与当前监控系统的架构不同的监控系统。
在本申请的一种可能的实施方式中,上述检测监控画面中的物品以及携带物品的目标对象之后,还可以包括:
当从监控画面中无法检测到未被目标对象携带的第四物品的持续状态满足第三预设条件,且检测到第四物品的最后一个视频帧或未检测到第四物品的第一个视频帧中存在第六目标对象出现在第四物品所在位置时,记录第四物品对应的无归属物品消失事件。
需要说明的是,第四物品并不特指某一固定的物品,而是可以指代监控画面中出现的任一物品。
示例性的,当物品定位设备从监控画面中检测到第四物品且确定不存在目标对象携带该第四物品时,物品定位设备可以确定第四物品为无归属物品。
若在某个时刻起,物品定位设备无法检测到该第三物品,且持续状态满足预设条件(本文中称为第三预设条件),如持续时间达到预设时长(本文中称为第三预设时长,可以根据实际场景设定),或持续帧数达到预设帧数(本文中称为第二预设帧数,可以根据实际场景设定),物品定位设备可以确定检测到第四物品的最后一个视频帧或未检测到第四物品的第一个视频帧(即第四物品从监控画面中消失的第一个视频帧)中是否存在目标对象(本文中称为第六目标对象)出现在第四物品所在位置。
若存在,则物品定位设备可以记录第四物品对应的无归属物品消失事件。
在一个示例中,物品定位设备记录第四物品对应的无归属物品消失事件时,可以记录第四物品的特征信息或/和图像信息,以及第六目标对象的图像信息。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案,下面结合具体实例对本申请实施例提供的技术方案进行说明。
在该实施例中,以采用神经网络实现人员、物品的跟踪和识别为例。
具体训练和识别流程如下:
1、收集相关视频素材,包括丢弃和拾取物品的视频,作为训练样本;
2、根据获取的训练样本,进行神经网络训练;
a)、识别视频帧中的人员和物品;
b)、利用视频固定间隔帧作为采样帧(即采用预设倍数对监控画面进行视频帧抽取),即以固定间隔(如每隔5帧(即预设倍数为6倍)抽取一帧)对视频帧进行采样得到采样帧(可以称为间隔帧),基于同一目标(人员或物品)在两间隔帧之间的位移矢量,来计算目标在横纵两个方向上的位移。
示例性的,若某个或某几个人员和物品在两间隔帧之间移速相近(如人员和物品的移速差的绝对值不超过预设第一移速阈值),位置相近(如人员与物品之间的距离不超过预设距离阈值),且这种情况持续N1(可以根据实际场景设定,如5、10等)个间隔帧,则认为该物品为该某个或某几个人员携带的物品(即该某个或某几个人员为该物品的归属者)。
若某物品在两间隔帧之间未发生位移或位移极小(如位移不超过预设位移阈值),且这种情况持续N2(可以根据实际场景设定,N1与N2可以相同,也可以不同,下同)个间隔帧,则认为该物品无归属者。
其余情况该物品属于待判定状态。
c)、若检测到某个物品有归属者,但从某个间隔帧开始,连续N3(可以根据实际场景设定)个间隔帧中,归属者发生位移,但该物品未发生位移或位移极小,则确定该物品被遗留,记录物品遗留事件;
d)、若检测到某个物品无归属者,但从某个间隔帧开始,连续N4个间隔帧该物品被同一人员或几个人员携带,则确定该物品被该人员或几个人员拾取,记录物品拾取事件;
e)、若检测到某个物品有归属者A,在某个间隔帧后,该物品的归属者更新为B,则确定该物品被A和B交换,记录物品交换事件;
f)、若在某个间隔帧中检测到新的物品,则根据b)的方式进行判断。若判断为遗留物,则记录无主遗留事件;
g)、若检测到某物品有归属者,但在某个间隔帧后的连续N5个间隔帧中均无法识别到该物品,且假设与物品距离最近的监控画面边界点为该物品的最后位移点,计算最后识别到物品的位置和最后位移点的距离,若该距离与之前检测到的该物品的最大位移量的比值超过预设比值阈值(可以根据实际场景设定,如2倍、3倍等),则确定该物品被收起或丢弃,记录有归属物品消失事件;
举例来说,假设监控画面的宽和高均为100(单位为像素),以监控画面左上角为坐标原点,水平向右为横轴正方向,竖直向下为纵轴正方向,假设最后检测到物品的间隔帧中物品的坐标为(10,9),则与物品距离最近的监控画面边界点为(10,0),最后识别到物品的位置(即(10,0))和最后位移点(即10,9)的距离为9,计算该距离与之前检测到的该物品的最大位移量的比值,若该比值超过2,则确定该物品被收起或丢弃,记录有归属物消失事件。
h)、若检测到某物品无归属者,在某个间隔帧后的连续N6个间隔帧,无法识别到该物体,且在存在该物品的最后一个间隔帧或不存在该物品的第一个间隔帧,某人员出现在该物品的位置上,则确定该物品被该人员收起,记录无归属物品消失事件;
i)、若检测到某物品有归属者,在某个间隔帧后,归属者的位移和该物品的位移出现了较大的夹角(如二者位移的夹角超过预设夹角阈值)或者较大的移速差(如二者移速差的绝对值超过预设第二移速阈值),则确定该物品正在被遗留,记录正在遗留事件;
j)、若检测到某物品无归属者,在某个间隔帧后,该物品出现了位移,则确定该物品正在被拾取,记录正在拾取事件;
k)、若检测到某物品从某个间隔帧后连续N7个间隔帧被遮挡,无法识别到该物体,而在该某个间隔帧后的第N7+1个间隔帧再次检测到该物体,则重新判断其归属者:
i.若该物品无归属者,重新判断后有归属者,则确定该物品被该归属者拾取,记录物品拾取事件;
ii.若该物品无归属者,重新判断后无归属者,则不记录;
iii.若该物品有归属者,重新判断后仍有归属者,则判断归属者是否为同一人员;若为同一人员,则不记录;若为非同一人员,则记录物品交换事件;
iv.若该物品有归属者,重新判断后无归属者,则确定该物品被归属者遗留,记录物品遗留事件。
需要说明的是,在本申请实施例中,物品定位设备记录物品遗留事件、物品拾取事件、物品交换事件、有归属物品消失事件、无归属物品消失事件等事件时,可以记录物品的特征信息和/或物品的图像信息等信息;对于与人员存在关联的事件,如物品遗留事件、物品拾取事件以及物品交换事件等,还可以记录关联人员的图像信息(如记录物品遗留人员(即物品的携带者)、物品拾取人员或交换前的物品携带者和交换后的物品携带者等人员的图像信息)。当需要查询某物品的线索时,可以从所记录的上述事件中查询与该物品关联的事件,并根据查询到的事件对该物品进行追踪。
本申请实施例中,通过检测监控画面中物品以及携带物品的目标对象,当物品与携带该物品的目标对象持续分离状态预设条件时,确定该物品为遗留物品,记录该物品与携带该物品的目标对象的关联关系,并获取该物品的位置信息,在实现物品遗留自动检测的情况下,可以确定遗留物品的原携带者(即失主)信息,从而可以为遗留物品的找回提供数据支持,提高遗留物品找回的效率。
以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述:
请参见图2,为本申请实施例提供的一种物品定位装置的结构示意图,如图2所示,该物品定位装置可以包括:
获取单元210,用于获取监控区域的监控画面;
检测单元220,用于检测所述监控画面中的物品以及携带所述物品的目标对象;
确定单元230,用于当所述检测单元220检测到第一目标对象与第一物品分离,且持续分离状态满足第一预设条件时,确定所述第一物品为遗留物品;
记录单元240,用于当所述第一物品为遗留物品时,记录所述第一目标对象与所述第一物品的关联关系;
定位单元250,用于当所述第一物品为遗留物品时,获取所述第一物品的位置信息。
在一种可选的实施方式中,所述检测单元220,具体用于采用跳帧检测的方式检测所述监控画面中的物品以及携带所述物品的目标对象。
在一种可选的实施方式中,如图3所示,所述装置还包括:
第一发送单元260,用于当所述确定单元230确定所述第一物品为遗留物品,且识别到所述第一物品为指定类型物品时,向第一指定终端发送第一提示信息。
在一种可选的实施方式中,所述指定类型物品包括危险物品、贵重物品或证件物品中的至少一个;
如图4所示,所述装置还包括:
处理单元270,用于当所述确定单元230确定所述第一物品为遗留物品,且识别到所述第一物品为危险物品、贵重物品或证件物品时,按照预设处理策略执行对应处理操作。
在一种可选的实施方式中,所述获取单元210,还用于当所述确定单元230确定所述第一物品为遗留物品时,获取所述第一目标对象的身份信息,以确定所述第一目标对象是否存在不良行为记录;
如图5所示,所述装置还包括:
第二发送单元280,用于若所述第一目标对象存在不良行为记录,则向第二指定终端发送第二提示信息;
所述获取单元210,还用于若所述第一目标对象不存在不良行为记录,则获取所述第一目标对象的通讯标识信息;
所述第二发送单元280,还用于根据所述第一目标对象的通讯标识信息向所述第一目标对象发送第三提示信息;其中,所述第三提示信息包括所述第一物品的位置信息以及所述第一物品的图像信息。
在一种可选的实施方式中,所述定位单元250,还用于当所述检测单元220检测到第二目标对象拾取所述第一物品时,对所述第二目标对象和所述第一物品进行定位。
在一种可选的实施方式中,所述记录单元240,还用于当所述检测单元220检测到第二物品与携带所述第二物品的第三目标对象分离,且持续分离状态满足所述第一预设条件之前,检测到第四目标对象携带所述第二物品时,记录所述第二物品对应的物品交换事件。
在一种可选的实施方式中,所述确定单元230,还用于当所述检测单元220从监控画面中无法检测到第五目标对象携带的第三物品的持续状态满足第二预设条件时,确定所述第三物品的最后位移点;
所述确定单元230,还用于确定所述第三物品的最后位移点与所述第三物品在所述监控画面中最后出现的位置之间的距离;
所述记录单元240,还用于当所述距离与所述第三物品在所述监控画面中的最大位移量的比值超过预设比值阈值时,记录所述第三物品对应的有归属物品消失事件。
在一种可选的实施方式中,所述第三物品的最后位移点为与所述第三物品在所述监控画面中最后出现的位置距离最近的监控画面边界点。
在一种可选的实施方式中,所述记录单元240,还用于当所述检测单元220从监控画面中无法检测到未被目标对象携带的第四物品的持续状态满足第三预设条件,且检测到所述第四物品的最后一个视频帧或未检测到所述第四物品的第一个视频帧中存在第六目标对象出现在所述第四物品所在位置时,记录所述第四物品对应的无归属物品消失事件。
在一种可选的实施方式中,所述持续分离状态满足第一预设条件包括:
持续分离时间达到第一预设时长,或,持续分离帧数达到第一预设帧数。
请参见图6,为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备可以包括处理器601、通信接口602、存储器603和通信总线604。处理器601、通信接口602以及存储器603通过通信总线604完成相互间的通信。其中,存储器603上存放有计算机程序;处理器601可以通过执行存储器603上所存放的程序,执行上文描述的物品定位方法。
本文中提到的存储器603可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,存储器602可以是:RAM(Radom AccessMemory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
本申请实施例还提供了一种存储有计算机程序的机器可读存储介质,例如图6中的存储器603,所述计算机程序可由图6所示电子设备中的处理器601执行以实现上文中描述的物品定位方法。
本申请实施例还提供一种监控系统,可以应用上述方法实施例中描述的物品定位方法,该监控系统可以包括:
至少一个图像传感器,用于获取监控区域的监控画面;
至少一个处理器,用于检测所述监控画面中的物品以及携带所述物品的目标对象当检测到第一目标对象与第一物品分离,且持续分离状态满足第一预设条件时,确定所述第一物品为遗留物品,记录所述第一目标对象与所述第一物品的关联关系,并获取所述第一物品的位置信息;其中,所述第一目标对象为携带所述第一物品的对象。
在一种可选的实施方式中,所述监控系统还包括:第一终端;
所述至少一个处理器,还用于当确定所述第一物品为遗留物品,且识别到所述第一物品为指定类型物品时,向所述第一终端发送第一提示信息。
在一种可选的实施方式中,所述监控系统还包括:第二终端;
所述至少一个处理器,还用于当确定所述第一物品为遗留物品时,获取所述第一目标对象的身份信息,以确定所述第一目标对象是否存在不良行为记录;若存在,则向所述第二终端发送第二提示信息。
在一种可选的实施方式中,所述至少一个处理器,还用于当从监控画面中无法检测到第五目标对象携带的第三物品的持续状态满足第二预设条件时,确定所述第三物品的最后位移点,根据所述第三物品的最后位移点确定与第三物品关联的其他监控系统,并将所述第三物品的信息发送至所述其他监控系统。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (18)

1.一种物品定位方法,其特征在于,包括:
获取监控区域的监控画面,检测所述监控画面中的物品以及携带所述物品的目标对象;
当检测到第一目标对象与第一物品分离,且持续分离状态满足第一预设条件时,确定所述第一物品为遗留物品,记录所述第一目标对象与所述第一物品的关联关系,并获取所述第一物品的位置信息;其中,所述第一目标对象为携带所述第一物品的对象。
2.根据权利要求1所述的方法,其特征在于,所述检测所述监控画面中的物品以及携带所述物品的目标对象,包括:
采用跳帧检测的方式检测所述监控画面中的物品以及携带所述物品的目标对象。
3.根据权利要求1所述的方法,其特征在于,所述确定所述第一物品为遗留物品之后,还包括:
当识别到所述第一物品为指定类型物品时,向第一指定终端发送第一提示信息。
4.根据权利要求3所述的方法,其特征在于,所述指定类型物品包括危险物品、贵重物品或证件物品中的至少一个;
所述确定所述第一物品为遗留物品之后,还包括:
当识别到所述第一物品为危险物品、贵重物品或证件物品时,按照预设处理策略执行对应处理操作。
5.根据权利要求1所述的方法,其特征在于,所述确定所述第一物品为遗留物品之后,还包括:
获取所述第一目标对象的身份信息,以确定所述第一目标对象是否存在不良行为记录;
若存在,则向第二指定终端发送第二提示信息;
若不存在,则获取所述第一目标对象的通讯标识信息,并根据所述第一目标对象的通讯标识信息向所述第一目标对象发送第三提示信息;其中,所述第三提示信息包括所述第一物品的位置信息以及所述第一物品的图像信息。
6.根据权利要求1所述的方法,其特征在于,所述确定所述第一物品为遗留物品之后,还包括:
当检测到第二目标对象拾取所述第一物品时,对所述第二目标对象和所述第一物品进行定位。
7.根据权利要求1所述的方法,其特征在于,所述检测所述监控画面中的物品以及携带所述物品的目标对象之后,还包括:
当检测到第二物品与携带所述第二物品的第三目标对象分离,且持续分离状态满足所述第一预设条件之前,检测到第四目标对象携带所述第二物品时,记录所述第二物品对应的物品交换事件。
8.根据权利要求1所述的方法,其特征在于,所述检测所述监控画面中的物品以及携带所述物品的目标对象之后,还包括:
当从监控画面中无法检测到第五目标对象携带的第三物品的持续状态满足第二预设条件时,确定所述第三物品的最后位移点;
确定所述第三物品的最后位移点与所述第三物品在所述监控画面中最后出现的位置之间的距离;
当所述距离与所述第三物品在所述监控画面中的最大位移量的比值超过预设比值阈值时,记录所述第三物品对应的有归属物品消失事件。
9.根据权利要求8所述的方法,其特征在于,所述第三物品的最后位移点为与所述第三物品在所述监控画面中最后出现的位置距离最近的监控画面边界点。
10.根据权利要求1所述的方法,其特征在于,所述检测所述监控画面中的物品以及携带所述物品的目标对象,包括:
当从监控画面中无法检测到未被目标对象携带的第四物品的持续状态满足第三预设条件,且检测到所述第四物品的最后一个视频帧或未检测到所述第四物品的第一个视频帧中存在第六目标对象出现在所述第四物品所在位置时,记录所述第四物品对应的无归属物品消失事件。
11.根据权利要求1-10任一项所述的方法,其特征在于,所述持续分离状态满足第一预设条件包括:
持续分离时间达到第一预设时长,或,持续分离帧数达到第一预设帧数。
12.根据权利要求8或9所述的方法,其特征在于,所述方法还包括:
根据所述第三物品的最后位移点确定与第三物品关联的其他监控系统;
将所述第三物品的信息发送至所述其他监控系统。
13.一种物品定位装置,其特征在于,包括:
获取单元,用于获取监控区域的监控画面;
检测单元,用于检测所述监控画面中的物品以及携带所述物品的目标对象;
确定单元,用于当所述检测单元检测到第一目标对象与第一物品分离,且持续分离状态满足第一预设条件时,确定所述第一物品为遗留物品;
记录单元,用于当所述第一物品为遗留物品时,记录所述第一目标对象与所述第一物品的关联关系;
定位单元,用于当所述第一物品为遗留物品时,获取所述第一物品的位置信息。
14.根据权利要求13所述的装置,其特征在于,所述持续分离状态满足第一预设条件包括:
持续分离时间达到第一预设时长,或,持续分离帧数达到第一预设帧数。
15.一种监控系统,其特征在于,包括:
至少一个图像传感器,用于获取监控区域的监控画面;
至少一个处理器,用于检测所述监控画面中的物品以及携带所述物品的目标对象当检测到第一目标对象与第一物品分离,且持续分离状态满足第一预设条件时,确定所述第一物品为遗留物品,记录所述第一目标对象与所述第一物品的关联关系,并获取所述第一物品的位置信息;其中,所述第一目标对象为携带所述第一物品的对象。
16.根据权利要求15所述的监控系统,其特征在于,所述监控系统还包括:第一终端;
所述至少一个处理器,还用于当确定所述第一物品为遗留物品,且识别到所述第一物品为指定类型物品时,向所述第一终端发送第一提示信息。
17.根据权利要求15所述的监控系统,其特征在于,所述监控系统还包括:第二终端;
所述至少一个处理器,还用于当确定所述第一物品为遗留物品时,获取所述第一目标对象的身份信息,以确定所述第一目标对象是否存在不良行为记录;若存在,则向所述第二终端发送第二提示信息。
18.根据权利要求15所述的监控系统,其特征在于,
所述至少一个处理器,还用于当从监控画面中无法检测到第五目标对象携带的第三物品的持续状态满足第二预设条件时,确定所述第三物品的最后位移点,根据所述第三物品的最后位移点确定与第三物品关联的其他监控系统,并将所述第三物品的信息发送至所述其他监控系统。
CN201910285970.3A 2019-04-10 2019-04-10 一种物品定位方法、装置及监控系统 Active CN111814509B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910285970.3A CN111814509B (zh) 2019-04-10 2019-04-10 一种物品定位方法、装置及监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910285970.3A CN111814509B (zh) 2019-04-10 2019-04-10 一种物品定位方法、装置及监控系统

Publications (2)

Publication Number Publication Date
CN111814509A true CN111814509A (zh) 2020-10-23
CN111814509B CN111814509B (zh) 2023-09-29

Family

ID=72843759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910285970.3A Active CN111814509B (zh) 2019-04-10 2019-04-10 一种物品定位方法、装置及监控系统

Country Status (1)

Country Link
CN (1) CN111814509B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6567116B1 (en) * 1998-11-20 2003-05-20 James A. Aman Multiple object tracking system
AU2008264228A1 (en) * 2008-11-24 2010-06-10 Canon Kabushiki Kaisha Detection of abandoned and vanished objects
CN105227918A (zh) * 2015-09-30 2016-01-06 珠海安联锐视科技股份有限公司 一种智能监控方法及装置
CN105405138A (zh) * 2015-11-10 2016-03-16 上海交通大学 基于显著性检测的水面目标跟踪方法
US20170032514A1 (en) * 2015-07-31 2017-02-02 Fujitsu Limited Abandoned object detection apparatus and method and system
CN106412522A (zh) * 2016-11-02 2017-02-15 北京弘恒科技有限公司 对室内外环境中物体的视频分析检测方法及系统
CN108734077A (zh) * 2017-12-01 2018-11-02 北京猎户星空科技有限公司 引领设备控制方法及装置
US20190035104A1 (en) * 2017-07-25 2019-01-31 Motionloft, Inc. Object detection and tracking

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6567116B1 (en) * 1998-11-20 2003-05-20 James A. Aman Multiple object tracking system
AU2008264228A1 (en) * 2008-11-24 2010-06-10 Canon Kabushiki Kaisha Detection of abandoned and vanished objects
US20170032514A1 (en) * 2015-07-31 2017-02-02 Fujitsu Limited Abandoned object detection apparatus and method and system
CN105227918A (zh) * 2015-09-30 2016-01-06 珠海安联锐视科技股份有限公司 一种智能监控方法及装置
CN105405138A (zh) * 2015-11-10 2016-03-16 上海交通大学 基于显著性检测的水面目标跟踪方法
CN106412522A (zh) * 2016-11-02 2017-02-15 北京弘恒科技有限公司 对室内外环境中物体的视频分析检测方法及系统
US20190035104A1 (en) * 2017-07-25 2019-01-31 Motionloft, Inc. Object detection and tracking
CN108734077A (zh) * 2017-12-01 2018-11-02 北京猎户星空科技有限公司 引领设备控制方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HELENE TORRESAN ET AL.: "Advanced surveillance systems: combining video and thermal imagery for pedestrian detection", 《PROCEEDINGS OF SPIE》, pages 506 - 515 *
MOHAMAD MAHDI SAEMI ET AL.: "Lost and found: Identifying objects in long-term surveillance videos", 《2015 IEEE INTERNATIONAL CONFERENCE ON SIGNAL AND IMAGE PROCESSING APPLICATIONS (ICSIPA)》, pages 99 - 104 *
朱映映等: "复杂背景下的遗弃物检测", 《小型微型计算机系统》, no. 5, pages 1184 - 1188 *
李亚辉等: "改进双背景模型的遗留物检测算法研究", 《计算机工程与设计》, vol. 35, no. 6, pages 2192 - 2196 *

Also Published As

Publication number Publication date
CN111814509B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN107292240B (zh) 一种基于人脸与人体识别的找人方法及系统
CN107305627B (zh) 一种车辆视频监控方法、服务器及系统
CN104992075B (zh) 一种基于大数据的多源信息关联方法和装置
WO2015166612A1 (ja) 映像解析システム、映像解析方法および映像解析プログラム
US20110096149A1 (en) Video surveillance system with object tracking and retrieval
CN107657232B (zh) 一种行人智能识别方法及其系统
US8860815B2 (en) Apparatus, method and computer program for image-based tracking of surveillance objects
CN110706247B (zh) 一种目标跟踪方法、装置及系统
KR20060100341A (ko) 객체식별이 가능한 영상처리 감시시스템
EP1374173A2 (en) Method and apparatus to distinguish between deposit and removal of objects in surveillance video scenes
CN107153820A (zh) 一种面向高噪声的人脸识别及运动轨迹判别方法
CN111145223A (zh) 多摄像头识别人员行为轨迹分析方法
US20220392233A1 (en) Traffic information providing method and device, and computer program stored in medium in order to execute method
CN112150514A (zh) 视频的行人轨迹追踪方法、装置、设备及存储介质
Patil et al. Suspicious movement detection and tracking based on color histogram
CN112651386A (zh) 一种身份信息的确定方法、装置及设备
CN110246292B (zh) 家庭视频监控方法、装置及存储介质
JP5758165B2 (ja) 物品検出装置および静止人物検出装置
CN111753582A (zh) 一种危险物品定位方法和装置
KR102355006B1 (ko) 다중 cctv 환경에서의 보행자 추적 장치 및 방법
US10713498B2 (en) System and method for associating an identifier of a mobile communication terminal with a person-of-interest, using video tracking
CN112132057A (zh) 一种多维身份识别方法及系统
CN111814509B (zh) 一种物品定位方法、装置及监控系统
CN112418063A (zh) 人脸识别方法、装置、电子设备及存储介质
KR101848367B1 (ko) 모션벡터와 dct 계수를 이용한 메타데이터 기반 의심영상 구분식별 방식의 영상 관제 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant