CN112689132A - 目标对象监控方法和监控设备 - Google Patents

目标对象监控方法和监控设备 Download PDF

Info

Publication number
CN112689132A
CN112689132A CN202110274089.0A CN202110274089A CN112689132A CN 112689132 A CN112689132 A CN 112689132A CN 202110274089 A CN202110274089 A CN 202110274089A CN 112689132 A CN112689132 A CN 112689132A
Authority
CN
China
Prior art keywords
video frame
frame
target
monitoring
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110274089.0A
Other languages
English (en)
Other versions
CN112689132B (zh
Inventor
郭俊豪
李源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Dianze Intelligent Technology Co ltd
Zhongke Zhiyun Technology Co ltd
Chengdu Dianze Intelligent Technology Co ltd
Original Assignee
Shanghai Dianze Intelligent Technology Co ltd
Zhongke Zhiyun Technology Co ltd
Chengdu Dianze Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Dianze Intelligent Technology Co ltd, Zhongke Zhiyun Technology Co ltd, Chengdu Dianze Intelligent Technology Co ltd filed Critical Shanghai Dianze Intelligent Technology Co ltd
Priority to CN202110274089.0A priority Critical patent/CN112689132B/zh
Publication of CN112689132A publication Critical patent/CN112689132A/zh
Application granted granted Critical
Publication of CN112689132B publication Critical patent/CN112689132B/zh
Priority to PCT/CN2022/080927 priority patent/WO2022194147A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请提供的目标对象监控方法和监控设备,涉及监控技术领域。在本申请中,首先,基于监控视频中的目标对象创建对应的对象轨迹信息,得到至少一条对象轨迹信息。其次,判断对象轨迹信息对应的目标对象是否属于监控对象,并判断对象轨迹信息对应的轨迹标签信息是否属于第一标签信息,其中,第一标签信息表征至少一个目标对象中存在不属于监控对象的目标对象。然后,若目标对象属于监控对象,且对象轨迹信息对应的标签信息不属于第一标签信息,则对目标对象执行预设的警示操作。基于上述方法,可以改善现有监控技术中存在的监控效果较差的问题。

Description

目标对象监控方法和监控设备
技术领域
本申请涉及监控技术领域,具体而言,涉及一种目标对象监控方法和监控设备。
背景技术
在监控技术领域中,存在对特定监控对象进行监控的应用场景,如对儿童、老人以及罪犯等。但是,经发明人研究发现,在现有的监控技术中,在对特定监控对象进行监控的过程中,存在着监控效果较差的问题。
发明内容
有鉴于此,本申请的目的在于提供一种目标对象监控方法和监控设备,以改善现有监控技术中存在的监控效果较差的问题。
为实现上述目的,本申请实施例采用如下技术方案:
一种目标对象监控方法,包括:
基于获取的监控视频中的至少一个目标对象创建对应的对象轨迹信息,得到至少一条对象轨迹信息;
判断所述对象轨迹信息对应的目标对象是否属于监控对象,并判断该对象轨迹信息对应的轨迹标签信息是否属于第一标签信息,其中,该第一标签信息表征所述至少一个目标对象中存在不属于监控对象的目标对象;
若所述目标对象属于所述监控对象,且所述对象轨迹信息对应的标签信息不属于所述第一标签信息,则对该目标对象执行预设的警示操作。
在本申请实施例较佳的选择中,在上述目标对象监控方法中,所述基于获取的监控视频中的至少一个目标对象创建对应的对象轨迹信息,得到至少一条对象轨迹信息的步骤,包括:
获取目标监控视频帧,其中,该目标监控视频帧属于监控视频;
判断所述目标监控视频帧中是否存在至少一个目标对象;
若所述目标监控视频帧中存在至少一个目标对象,则在每一个所述目标对象属于所述监控对象时,判断是否已经基于历史监控视频帧创建有至少一条对象轨迹信息,其中,该历史监控视频帧属于所述监控视频;
若未基于历史监控视频帧创建有至少一条对象轨迹信息,则对每一个所述目标对象分别创建对应的对象轨迹信息。
在本申请实施例较佳的选择中,在上述目标对象监控方法中,所述基于获取的监控视频中的至少一个目标对象创建对应的对象轨迹信息,得到至少一条对象轨迹信息的步骤,还包括:
若所述目标监控视频帧中不存在目标对象,则判断是否已经基于历史监控视频帧创建有至少一条对象轨迹信息;
若已经基于历史监控视频帧创建有至少一条对象轨迹信息,则对每一条所述对象轨迹信息对应的轨迹丢失帧数进行更新,其中,该轨迹丢失帧数用于判断是否执行所述警示操作。
在本申请实施例较佳的选择中,在上述目标对象监控方法中,所述基于获取的监控视频中的至少一个目标对象创建对应的对象轨迹信息,得到至少一条对象轨迹信息的步骤,还包括:
若所述目标监控视频帧中存在至少一个目标对象,且该至少一个目标对象中存在不属于所述监控对象的目标对象,则判断是否已经基于历史监控视频帧创建有至少一条对象轨迹信息;
若已经基于历史监控视频帧创建有至少一条对象轨迹信息,则将每一条所述对象轨迹信息对应的轨迹标签信息配置为所述第一标签信息;
若未基于历史监控视频帧创建有至少一条对象轨迹信息,则对每一个所述目标对象分别创建对应的对象轨迹信息,并将得到的每一条对象轨迹信息对应的轨迹标签信息配置为所述第一标签信息。
在本申请实施例较佳的选择中,在上述目标对象监控方法中,所述基于获取的监控视频中的至少一个目标对象创建对应的对象轨迹信息,得到至少一条对象轨迹信息的步骤,还包括:
若已经基于历史监控视频帧创建有至少一条对象轨迹信息,则将该至少一条对象轨迹信息与至少一个目标对象进行对象匹配处理;
若存在与所述至少一个目标对象中的每一个目标对象不匹配的对象轨迹信息,则对该对象轨迹信息对应的轨迹丢失帧数进行更新,其中,该轨迹丢失帧数用于判断是否执行所述警示操作;
若存在与所述至少一条对象轨迹信息中每一条对象轨迹信息不匹配的目标对象,则基于该目标对象创建对应的对象轨迹信息;
若存在与所述至少一条对象轨迹信息中的一条对象轨迹信息匹配的目标对象,则将该目标对象添加至匹配的对象轨迹信息中。
在本申请实施例较佳的选择中,在上述目标对象监控方法中,所述获取目标监控视频帧的步骤,包括:
获取拍摄目标监控场景形成的连续多帧监控视频帧;
对所述多帧监控视频帧进行筛选,得到至少一帧目标监控视频帧。
在本申请实施例较佳的选择中,在上述目标对象监控方法中,所述对所述多帧监控视频帧进行筛选,得到至少一帧目标监控视频帧的步骤,包括:
将所述多帧监控视频帧中的第一帧监控视频帧作为第一目标监控视频帧,将所述多帧监控视频帧中的最后一帧监控视频帧作为第二目标监控视频帧,并将所述多帧监控视频帧中第一帧监控视频帧和最后一帧监控视频帧以外的其它监控视频帧作为候选监控视频帧,得到多帧候选监控视频帧;
在所述多帧候选监控视频帧中,计算每两帧所述候选监控视频帧之间的帧间差分值,并基于预设的帧间差分阈值和所述帧间差分值对所述多帧候选监控视频帧进行关联处理,形成对应的视频帧关联网络;
分别计算所述第一目标监控视频帧与每一帧所述候选监控视频帧之间的帧间差分值、所述第二目标监控视频帧与每一帧所述候选监控视频帧之间帧间差分值,并基于所述帧间差分值确定与所述第一目标监控视频帧具有最大关联度的第一候选监控视频帧、与所述第二目标监控视频帧具有最大关联度的第二候选监控视频帧;
获取所述视频帧关联网络中连接所述第一候选监控视频帧和所述第二候选监控视频帧的视频帧链路子网络,其中,该视频帧链路子网络用于表征该第一候选监控视频帧和该第二候选监控视频帧之间的关联关系;
根据所述第一候选监控视频帧和所述第二候选监控视频帧相对于所述视频帧链路子网络对应的视频帧子链路集合的关联度,确定所述第一候选监控视频帧和所述第二候选监控视频帧相对于所述视频帧链路子网络的目标关联度,其中,所述视频帧子链路集合包括所有满足预设的关联度约束条件的视频帧子链路;
在所述目标关联度大于预设的关联度阈值时,基于所述视频帧关联网络,获取基于所述第二候选监控视频帧与连接的每一帧候选监控视频帧之间的关联度形成的关联度取值范围;
基于所述关联度取值范围对所述视频帧子链路集合中每一条视频帧子链路上的候选视频帧进行筛选,得到至少一帧第三候选监控视频帧;
将所述第一目标监控视频帧、所述第二目标监控视频帧、所述第一候选监控视频帧、所述第二候选监控视频帧和所述第三候选监控视频帧,分别作为目标监控视频帧。
在本申请实施例较佳的选择中,在上述目标对象监控方法中,所述对所述多帧监控视频帧进行筛选,得到至少一帧目标监控视频帧的步骤,包括:
对所述多帧监控视频帧进行采样,得到多帧采样监控视频帧;
依次将所述多帧采样监控视频帧中的每一帧采样监控视频帧,确定为候选采样监控视频帧,并获取所述候选采样监控视频帧对应的帧长度信息,其中,所述帧长度信息包括所述候选采样监控视频帧的帧开始时间和所述候选采样监控视频帧的帧结束时间;
获取预设时间修正单位长度和预设时间修正最大长度,其中,所述预设时间修正单位长度小于所述预设时间修正最大长度,且所述预设时间修正最大长度大于所述监控视频帧的帧长;
根据所述候选采样监控视频帧的帧开始时间、所述预设时间修正单位长度和所述预设时间修正最大长度,确定所述候选采样监控视频帧对应的多个帧开始修正时间,并根据所述候选采样监控视频帧的帧结束时间、所述预设时间修正单位长度和所述预设时间修正最大长度,确定所述候选采样监控视频帧对应的多个帧结束修正时间;
从所述候选采样监控视频帧的多个帧开始修正时间中,选取多个目标帧开始修正时间,并从所述候选采样监控视频帧的多个帧结束修正时间中,选取每一个所述目标帧开始修正时间对应的目标帧结束修正时间,得到多个目标帧修正时间组;
在所述多帧监控视频帧中,确定每一个所述目标帧修正时间组对应的监控视频帧集合,得到多个监控视频帧集合;
针对每一个所述监控视频帧集合,对该监控视频帧集合包括的监控视频帧进行帧间差分处理,得到对应的差分处理结果,并基于每一个所述监控视频帧集合对应的差分处理结果,在所述多个监控视频帧集合中选择出目标监控视频帧集合;
将每一帧所述候选采样监控视频帧对应的目标监控视频帧集合中的监控视频帧,作为目标监控视频帧。
在本申请实施例较佳的选择中,在上述目标对象监控方法中,所述判断所述对象轨迹信息对应的目标对象是否属于监控对象,判断该对象轨迹信息对应的轨迹标签信息是否属于第一标签信息的步骤,包括:
获取每一条所述对象轨迹信息对应的轨迹丢失帧数;
判断每一个所述轨迹丢失帧数是否大于预设的帧数阈值;
若存在大于所述帧数阈值的轨迹丢失帧数,则判断该轨迹丢失帧数对应的对象轨迹信息对应的目标对象是否属于监控对象,并判断该对象轨迹信息对应的轨迹标签信息是否属于第一标签信息。
在上述基础上,本申请实施例还提供了一种监控设备,包括:
存储器,用于存储计算机程序;
与所述存储器连接的处理器,用于执行该存储器存储的计算机程序,以实现上述的目标对象监控方法。
本申请提供的目标对象监控方法和监控设备,在判断目标对象是否属于监控对象的基础上,一并判断该目标对象的对象轨迹信息对应的轨迹标签信息是否属于第一标签信息,使得需要在目标对象属于监控对象且轨迹标签信息不属于第一标签信息时,才对目标对象执行警示操作。基于此,由于第一标签信息表征的内容为监控视频中的至少一个目标对象中存在不属于监控对象的目标对象,也就是说,只有在监控对象单独存在的时候,才对监控对象进行警示,使得可以改善现有技术中由于在检测有监控对象时就进行警示操作而导致容易出现误警示(例如,在有非监控对象与监控对象一并出现的情况下,非监控对象本身就可以对监控对象进行监控,此时,就没有必要进行监控)的问题,从而改善现有监控技术中存在的监控效果较差的问题,具有较高的实用价值。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
图1为本申请实施例提供的监控设备的结构框图。
图2为本申请实施例提供的目标对象监控方法的流程示意图。
图3为本申请实施例提供的目标对象监控装置的方框示意图。
图标:10-监控设备;12-存储器;14-处理器;100-目标对象监控装置;110-轨迹信息创建模块;120-对象信息判断模块;130-警示操作执行模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例只是本申请的一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
如图1所示,本申请实施例提供了一种监控设备10,可以包括存储器12、处理器14和目标对象监控装置100。
其中,所述存储器12和处理器14之间直接或间接地电性连接,以实现数据的传输或交互。例如,相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述目标对象监控装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储器12中的软件功能模块。所述处理器14用于执行所述存储器12中存储的可执行的计算机程序,例如,所述目标对象监控装置100所包括的软件功能模块及计算机程序等,以实现本申请实施例提供的目标对象监控方法。
可选地,所述存储器12可以是,但不限于,随机存取存储器(Random AccessMemory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(ProgrammableRead-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-OnlyMemory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory,EEPROM)等。
并且,所述处理器14可以是一种通用处理器,包括中央处理器(CentralProcessing Unit,CPU)、网络处理器(Network Processor,NP)、片上系统(System onChip,SoC)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以理解,图1所示的结构仅为示意,所述监控设备10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置,例如,还可以包括用于与其它设备(如其它终端设备)进行信息交互的通信单元。
其中,所述监控设备10既可以是与图像采集设备连接的后台服务器,用于通过该图像采集设备获取监控视频,也可以是具备数据处理能力的图像采集设备,以在采集到监控视频时,对该监控视频进行处理。
结合图2,本申请实施例还提供一种可应用于上述监控设备10的目标对象监控方法。其中,所述目标对象监控方法有关的流程所定义的方法步骤可以由所述监控设备10实现。
下面将对图2所示的具体流程,进行详细阐述。
步骤S110,基于获取的监控视频中的至少一个目标对象创建对应的对象轨迹信息,得到至少一条对象轨迹信息。
在本实施例中,所述监控设备10可以基于获取的监控视频中的至少一个目标对象创建对应的对象轨迹信息。如此,针对至少一个目标对象,可以得到至少一条对象轨迹信息。
步骤S120,判断所述对象轨迹信息对应的目标对象是否属于监控对象,并判断该对象轨迹信息对应的轨迹标签信息是否属于第一标签信息。
在本实施例中,在基于步骤S110得到所述至少一条对象轨迹信息之后,所述监控设备10可以判断该对象轨迹信息对应的目标对象是否属于监控对象,并判断该对象轨迹信息对应的轨迹标签信息是否属于第一标签信息。
其中,所述第一标签信息可以表征所述至少一个目标对象中存在不属于监控对象的目标对象。并且,若判定所述目标对象属于所述监控对象,且所述对象轨迹信息对应的标签信息不属于所述第一标签信息。
步骤S130,对所述目标对象执行预设的警示操作。
在本实施例中,在基于步骤S120判定所述目标对象属于所述监控对象,且所述对象轨迹信息对应的标签信息不属于所述第一标签信息之后,所述监控设备10,可以对所述目标对象执行预设的警示操作。
基于上述方法,在判断目标对象是否属于监控对象的基础上,一并判断该目标对象的对象轨迹信息对应的轨迹标签信息是否属于第一标签信息,使得需要在目标对象属于监控对象且轨迹标签信息不属于第一标签信息时,才对目标对象执行警示操作。基于此,由于第一标签信息表征的内容为监控视频中的至少一个目标对象中存在不属于监控对象的目标对象,也就是说,只有在监控对象单独存在的时候,才对监控对象进行警示,使得可以改善现有技术中由于在检测有监控对象时就进行警示操作而导致容易出现误警示(例如,在有非监控对象与监控对象一并出现的情况下,非监控对象本身就可以对监控对象进行监控,此时,就没有必要进行监控)的问题,从而改善现有监控技术中存在的监控效果较差的问题。
并且,基于上述方法,在一种应用场景下,如在监控儿童独自出行的场景中,儿童作为监控对象,成人不作为监控对象,可以实现仅在儿童独自出行的情况下进行警示操作。反之,若儿童和成人一并出行,可以不进行警示,如此,即便发生安全事故,由于有成人陪童,监管人员(如小区物业等)也可以免责,使得具有较高的应用价值。
第一方面,对于步骤S110需要说明的是,基于获取的监控视频创建对象轨迹信息的具体方式不受限制,可以根据实际应用需求进行选择。
例如,在一种可以替代的示例中,步骤S110可以包括以下步骤:
步骤1,获取目标监控视频帧,其中,该目标监控视频帧属于监控视频;
步骤2,判断所述目标监控视频帧中是否存在至少一个目标对象(例如,可以对所述目标监控视频帧进行人形检测,以确定是否存在至少一个目标对象,即确定是否存在至少一个行人,其中,人形检测的方法可以包括,但不限于PPYOLO算法等);
步骤3,若所述目标监控视频帧中存在至少一个目标对象,则在每一个所述目标对象属于所述监控对象时,判断是否已经基于历史监控视频帧创建有至少一条对象轨迹信息,其中,该历史监控视频帧属于所述监控视频;
步骤4,若未基于历史监控视频帧创建有至少一条对象轨迹信息,则对每一个所述目标对象分别创建对应的对象轨迹信息(例如,若所述目标监控视频帧可以是第一帧监控视频帧,即不存在历史监控视频;或者,存在历史监控视频帧,但是,该历史监控视频帧中不存在目标对象;如此,可以对所述目标监控视频帧中的每一个目标对象分别创建对应的对象轨迹信息;其中,创建对象轨迹信息的具体方式可以是,基于前述的人形检测得到的人形检测框得到)。
可选地,在上述示例中,基于步骤1以获取所述目标监控视频帧的具体方式不受限制,可以根据实际应用需求进行选择。
例如,在一种可以替代的示例中,可以将拍摄目标监控场景得到的每一帧监控视频帧都作为目标监控视频帧,从而有效保证监控的可靠性。
又例如,在另一种可以替代的示例中,为了使得监控设备10的数据处理量降低,使得上述目标对象监控方法可以应用于图像采集设备,即所述监控设备10为图像采集设备,可以基于以下步骤获取目标监控视频帧:
首先,获取拍摄目标监控场景形成的连续多帧监控视频帧;其次,对所述多帧监控视频帧进行筛选,得到至少一帧目标监控视频帧。
也就是说,可以将拍摄的多帧监控视频帧中的部分监控视频帧作为目标视频帧,以进行后续的处理,如人形检测等。
可以理解的是,在上述示例中,为了使得在降低数据处理量的基础上,还能保证基于目标监控视频帧进行监控判断具有较高的可靠度,本申请实施例分别提供以下三种可以替代的示例,以对监控视频帧进行筛选。
例如,在第一种可以替代的示例中,可以基于以下步骤对监控视频帧进行筛选,以得到至少一帧目标监控视频帧:
第一步,将所述多帧监控视频帧中的第一帧监控视频帧作为第一目标监控视频帧,将所述多帧监控视频帧中的最后一帧监控视频帧作为第二目标监控视频帧,并将所述多帧监控视频帧中第一帧监控视频帧和最后一帧监控视频帧以外的其它监控视频帧作为候选监控视频帧,得到多帧候选监控视频帧(可以理解的是,第一帧监控视频帧可以是指所述多帧监控视频帧中时序最早的一帧监控视频帧,如拍摄时间最早的一帧监控视频帧;最后一帧监控视频帧可以是指多帧监控视频帧中时序最晚的一帧监控视频帧,如拍摄时间最晚的一帧监控视频帧);
第二步,在所述多帧候选监控视频帧中,计算每两帧所述候选监控视频帧之间的帧间差分值(例如,可以基于帧间差分法将两帧候选监控视频帧对应位置的像素点进行像素差值计算,然后,将像素差值的绝对值进行求和计算,得到两帧候选监控视频帧之间的帧间差分值),并基于预设的帧间差分阈值和所述帧间差分值对所述多帧候选监控视频帧进行关联处理(例如,可以判断两帧候选监控视频帧之间的帧间差分值是否大于帧间差分阈值,并在该帧间差分值大于该帧间差分阈值时,将该两帧候选监控视频帧进行关联处理,其中,该帧间差分阈值可以基于用户根据实际应用场景进行的配置操作生成,且在对数据处理量要求较低的应用中,该帧间差分阈值可以较大,如此,可以使得形成的视频帧关联网络可以较小),形成对应的视频帧关联网络(基于此,在该视频帧关联网络中相互关联的两帧候选监控视频帧之间的帧间差分值大于该帧间差分阈值);
第三步,分别计算所述第一目标监控视频帧与每一帧所述候选监控视频帧之间的帧间差分值、所述第二目标监控视频帧与每一帧所述候选监控视频帧之间帧间差分值,并基于所述帧间差分值确定与所述第一目标监控视频帧具有最大关联度的第一候选监控视频帧、与所述第二目标监控视频帧具有最大关联度的第二候选监控视频帧(可以理解的是,与所述第一目标监控视频帧之间具有最大关联度的候选监控视频帧可以是指,与所述第一目标监控视频帧之间具有最大帧间差分值的候选监控视频帧;与所述第二目标监控视频帧之间具有最大关联度的候选监控视频帧可以是指,与所述第二目标监控视频帧之间具有最大帧间差分值的候选监控视频帧);
第四步,获取所述视频帧关联网络中连接所述第一候选监控视频帧和所述第二候选监控视频帧的视频帧链路子网络(例如,在所述视频帧关联网络中,若所述第一候选监控视频帧关联有候选监控视频帧A和候选监控视频帧B,该候选监控视频帧A关联有候选监控视频帧C,该候选监控视频帧B和该候选监控视频帧C分别与所述第二候选监控视频帧,如此,可以形成包括该候选监控视频帧A、该候选监控视频帧B和该候选监控视频帧C的视频帧链路子网络),其中,该视频帧链路子网络用于表征该第一候选监控视频帧和该第二候选监控视频帧之间的关联关系;
第五步,根据所述第一候选监控视频帧和所述第二候选监控视频帧相对于所述视频帧链路子网络对应的视频帧子链路集合的关联度,确定所述第一候选监控视频帧和所述第二候选监控视频帧相对于所述视频帧链路子网络的目标关联度(例如,基于前述的示例,所述第一候选监控视频帧和所述第二候选监控视频帧之间可以形成两条视频帧子链路,分别为“第一候选监控视频帧、候选监控视频帧A、候选监控视频帧C、第二候选监控视频帧”和“第一候选监控视频帧、候选监控视频帧B、第二候选监控视频帧”,其次,分别计算该第一候选监控视频帧和该第二候选监控视频帧之间关于每一条视频帧子链路的关联度,如对于“第一候选监控视频帧、候选监控视频帧B、第二候选监控视频帧”这一视频帧子链路,该关联度可以为第一候选监控视频帧与候选监控视频帧B之间的帧间差分值和第二候选监控视频帧与候选监控视频帧B之间的帧间差分值的和值,然后,计算每一条视频帧子链路的关联度的加权和值,并将该加权和值作为所述目标关联度,其中,每一条视频帧子链路的关联度的权重系数可以与该视频帧子链路包括的候选监控视频帧的数量具有负相关关系),其中,所述视频帧子链路集合包括所有满足预设的关联度约束条件的视频帧子链路(例如,为了降低数据处理量,该关联度约束条件可以为视频帧子链路包括的候选监控视频帧的数量小于预设值,且在需要较小的数据处理量时,该预设值可以越小);
第六步,在所述目标关联度大于预设的关联度阈值时,基于所述视频帧关联网络,获取基于所述第二候选监控视频帧与连接的每一帧候选监控视频帧之间的关联度形成的关联度取值范围(也就是说,在基于前述步骤确定所述目标关联度之后,可以先判断该目标关联度是否大于所述关联度阈值,并在该目标关联度大于该关联度阈值时,基于所述视频帧关联网络,获取基于所述第二候选监控视频帧与连接的每一帧候选监控视频帧之间的关联度形成的关联度取值范围,例如,可以先确定所述第二候选监控视频帧与连接的每一帧候选监控视频帧之间的关联度,然后,基于该关联度的最大值和最小值,从而确定该关联度取值范围;其中,所述关联度阈值可以基于用户根据实际应用场景进行的配置操作生成,且对降低数据处理量的需要越高,该关联度阈值可以越大);
第七步,基于所述关联度取值范围对所述视频帧子链路集合中每一条视频帧子链路上的候选视频帧进行筛选,得到至少一帧第三候选监控视频帧(例如,对于“第一候选监控视频帧、候选监控视频帧B、第二候选监控视频帧”这一视频帧子链路,若候选监控视频帧B与第一候选监控视频帧的关联度属于所述关联度取值范围,且候选监控视频帧B与第二候选监控视频帧的关联度属于所述关联度取值范围,则将候选监控视频帧B作为第三候选监控视频帧;也就是说,对于视频帧子链路上的候选视频帧,若该候选视频帧与该视频帧子链路上关联的两帧候选视频帧之间的关联度都属于该关联度取值范围,可以将该候选视频帧作为第三候选监控视频帧);
第八步,将所述第一目标监控视频帧、所述第二目标监控视频帧、所述第一候选监控视频帧、所述第二候选监控视频帧和所述第三候选监控视频帧,分别作为目标监控视频帧。
又例如,在第二种可以替代的示例中,可以基于以下步骤对监控视频帧进行筛选,以得到至少一帧目标监控视频帧:
第一步,分别计算所述多帧监控视频中每两帧监控视频帧之间的帧间差分值,并基于该帧间差分值确定所述多帧监控视频帧中与其它监控视频帧之间具有最大关联度的第一监控视频帧,以及与该第一监控视频帧之间具有最大关联度的第二监控视频帧(例如,可以先计算每两帧监控视频帧之间的帧间差分值,然后,可以针对每一帧监控视频帧,计算该监控视频帧与其它监控视频帧之间的帧间差分值的和值,如此,对于多帧监控视频帧,可以得到多个和值;然后,可以确定多个和值中的最大值,并将该最大值对应的监控视频帧作为第一监控视频帧,然后,将与该第一监控视频帧之间具有最大帧间差分值的监控视频帧,作为第二监控视频帧);
第二步,基于预设的帧间差分阈值和所述帧间差分值对所述多帧候选监控视频帧进行关联处理,形成对应的视频帧关联网络(例如,可以将每两帧监控视频帧之间的帧间差分值与帧间差分阈值进行比较,以确定出大于帧间差分阈值的每一个帧间差分值,再将该帧间差分值对应的两帧监控视频帧进行关联处理;如此,可以使得形成的视频帧关联网络中,连接的两帧监控视频帧之间经过该关联处理);
第三步,根据所述视频帧关联网络,获取与所述第一监控视频帧具有关联关系的监控视频帧,得到第一关联监控视频帧集合;
第四步,根据所述视频帧关联网络,获取与所述第二监控视频帧具有关联关系的监控视频帧,得到第二关联监控视频帧集合;
第五步,确定所述第一关联监控视频帧集合和所述第二关联监控视频帧集合的并集,并将该并集作为候选监控视频帧集合;
第六步,分别统计所述候选监控视频帧集合中每一帧所述候选监控视频帧与所述第一监控视频帧在所述视频帧关联网络中的视频帧关联链路,得到每一帧所述候选监控视频帧的第一链路关联度表征值,其中,所述第一链路关联度表征值基于所述候选监控视频帧对应的每一条视频帧关联链路的链路关联度加权得到(例如,对于候选监控视频帧集合中的候选监控视频帧1,该候选监控视频帧1关联有候选监控视频帧2,该候选监控视频帧2关联有所述第一监控视频帧,如此,可以形成一条视频关联链路;并且,该候选监控视频帧1还关联有候选监控视频帧3,该候选监控视频帧3关联有所述第一监控视频帧,如此,也可以形成一条视频关联链路;基于此,可以先分别计算这两条视频关联链路的链路关联度,再对两个链路关联度进行加权计算;其中,一条视频关联链路的链路关联度可以是,该视频关联链路上的每两帧候选监控视频帧之间的帧间差分值的平均值),且每一条视频帧关联链路的链路关联度的权重系数基于每一条视频帧关联链路的链路长度确定(例如,该权重系数与该链路长度之间可以具有负相关关系);
第七步,分别统计所述候选监控视频帧集合中每一帧所述候选监控视频帧与所述第二监控视频帧在所述视频帧关联网络中的视频帧关联链路,得到每一帧所述候选监控视频帧的第二链路关联度表征值,其中,所述第二链路关联度表征值基于所述候选监控视频帧对应的每一条视频帧关联链路的链路关联度加权得到,且每一条视频帧关联链路的链路关联度基于每一条视频帧关联链路的链路长度确定(如前述步骤,在此不再一一赘述);
第八步,根据所述第一链路关联度表征值和所述第二链路关联度表征值分别计算所述候选监控视频帧集合中每一帧所述候选监控视频帧的链路关联度表征值(例如,对于所述候选监控视频帧集合中一帧候选监控视频帧,可以计算该候选监控视频帧对应的第一链路关联度表征值与对应的第二链路表征值之间的平均值,并将该平均值作为该候选监控视频帧的链路关联度表征值);
第九步,基于所述链路关联度表征值,对所述候选监控视频帧集合中每一帧所述候选监控视频帧进行筛选,得到至少一帧第三监控视频帧(例如,可以将链路关联度表征值最大的一帧或多帧候选监控视频帧,作为第三监控视频帧;或者,可以将链路关联度表征值大于预设表征值的候选监控视频帧,作为第三监控视频帧);
第十步,将所述第一监控视频帧、所述第二监控视频帧和所述至少一帧第三监控视频帧,分别作为目标监控视频帧。
可以理解的是,在上述示例中,可以将两帧监控视频帧之间的帧间差分值作为该两帧监控视频帧之间的关联度。
再例如,在第三种可以替代的示例中,可以基于以下步骤对监控视频帧进行筛选,以得到至少一帧目标监控视频帧:
第一步,对所述多帧监控视频帧进行采样,得到多帧采样监控视频帧(例如,可以对所述多帧监控视频帧进行等间隔采样);
第二步,依次将所述多帧采样监控视频帧中的每一帧采样监控视频帧,确定为候选采样监控视频帧,并获取所述候选采样监控视频帧对应的帧长度信息,其中,所述帧长度信息包括所述候选采样监控视频帧的帧开始时间和所述候选采样监控视频帧的帧结束时间(例如,对于一帧所述候选采样监控视频帧,该候选采样监控视频帧的帧开始时间可以为9时15分0.1秒,帧结束时间可以为9时15分0.15秒,如此,该候选采样监控视频帧的帧长可以为0.05秒);
第三步,获取预设时间修正单位长度和预设时间修正最大长度,其中,所述预设时间修正单位长度小于所述预设时间修正最大长度,且所述预设时间修正最大长度大于所述监控视频帧的帧长(其中,对视频帧进行筛选的精度要求越高,该预设时间修正单位长度可以越小,该预设时间修正最大长度可以越大;反之,对视频帧筛选的效率要求越高,或对降低数据处理量的需求越高,该预设时间修正单位长度可以越大,该预设时间修正最大长度可以越小;其中,该预设时间修正单位长度和该预设时间修正最大长度的具体数值可以基于用户根据实际应用场景进行的配置操作生成,如前所述,所述监控视频帧的帧长为0.05S,对应的该预设时间修正单位长度可以为0.03S,该预设时间修正最大长度可以为0.09S);
第四步,根据所述候选采样监控视频帧的帧开始时间、所述预设时间修正单位长度和所述预设时间修正最大长度,确定所述候选采样监控视频帧对应的多个帧开始修正时间(如对于帧开始时间“9时15分0.1秒”,得到的帧开始修正时间可以包括9时15分0.07秒、9时15分0.04秒、9时15分0.01秒、9时15分0.13秒等),并根据所述候选采样监控视频帧的帧结束时间、所述预设时间修正单位长度和所述预设时间修正最大长度,确定所述候选采样监控视频帧对应的多个帧结束修正时间(如对于帧开始时间“9时15分0.15秒”,得到的帧开始修正时间可以包括9时15分0.18秒、9时15分0.21秒、9时15分0.24秒、9时15分0.12秒等);
第五步,从所述候选采样监控视频帧的多个帧开始修正时间中,选取多个目标帧开始修正时间(例如,可以随机选择出部分帧开始修正时间作为目标帧开始修正时间,也可以将全部的帧开始修正时间作为目标帧开始修正时间),并从所述候选采样监控视频帧的多个帧结束修正时间中,选取每一个所述目标帧开始修正时间对应的目标帧结束修正时间(例如,可以针对每一个目标帧开始修正时间,在所述多个帧结束修正时间中选择一个帧结束修正时间,作为该目标帧开始修正时间对应的目标帧结束修正时间,其中,该目标帧结束修正时间与该目标帧开始修正时间之间的差值大于或等于所述监控视频帧的帧长),得到多个目标帧修正时间组;
第六步,在所述多帧监控视频帧中,确定每一个所述目标帧修正时间组对应的监控视频帧集合,得到多个监控视频帧集合(也就是说,针对每一个所述目标帧修正时间组,将所述多帧监控视频帧中帧长度信息与该目标帧修正时间组之间有交集的每一帧监控视频帧,作为该目标帧修正时间组对应的监控视频帧集合的一部分;如此,针对多个目标帧修正时间组,可以得到多个监控视频帧集合);
第七步,针对每一个所述监控视频帧集合,对该监控视频帧集合包括的监控视频帧进行帧间差分处理,得到对应的差分处理结果,并基于每一个所述监控视频帧集合对应的差分处理结果,在所述多个监控视频帧集合中选择出目标监控视频帧集合(例如,针对一个监控视频帧集合,可以计算该监控视频帧集合中每两帧监控视频帧之间的帧间差分值,然后,再计算该帧间差分值的平均值;如此,对于多个监控视频帧集合,可以得到多个平均值;然后,可以将平均值最大的监控视频帧集合作为目标监控视频帧集合;或者,可以将平均值大于阈值的监控视频帧集合作为目标监控视频帧集合,其中,该阈值可以是该多个平均值的均值);
第八步,将每一帧所述候选采样监控视频帧对应的目标监控视频帧集合中的监控视频帧,作为目标监控视频帧。
在上述示例的基础上,对于步骤S110还需要说明的是,基于不同的需求,步骤S110还可以包括其它不同的步骤。
例如,在一种可以替代的示例中,为了提高进行警示操作的精度,在执行上述的步骤2之后,若所述目标监控视频帧中不存在目标对象,步骤S110还可以包括以下步骤:
首先,判断是否已经基于历史监控视频帧创建有至少一条对象轨迹信息;其次,若已经基于历史监控视频帧创建有至少一条对象轨迹信息,则对每一条所述对象轨迹信息对应的轨迹丢失帧数进行更新,其中,该轨迹丢失帧数用于判断是否执行所述警示操作(该轨迹丢失帧数的具体作用,可以结合后文所述)。
例如,在一种具体的应用示例中,若所述目标监控视频帧中不存在行人,可以先判断是否已经创建有至少一条对象轨迹信息。然后,在已经创建有至少一条对象轨迹信息时,可以对每一条所述对象轨迹信息对应的轨迹丢失帧数进行更新,如加1,如此,可以表明当前监控的行人没有在目标监控场景内,即确认在当前时刻行人丢失。
在上述示例的基础上,对于步骤S110还需要说明的是,为了避免进行不必要的警示操作而导致资源浪费的问题,在一种可以替代的示例中,在执行上述的步骤2之后,若所述目标监控视频帧中存在至少一个目标对象,且该至少一个目标对象中存在不属于所述监控对象的目标对象,步骤S110还可以包括以下步骤:
首先,判断是否已经基于历史监控视频帧创建有至少一条对象轨迹信息;其次,若已经基于历史监控视频帧创建有至少一条对象轨迹信息,则将每一条所述对象轨迹信息对应的轨迹标签信息配置为所述第一标签信息;然后,若未基于历史监控视频帧创建有至少一条对象轨迹信息,则对每一个所述目标对象分别创建对应的对象轨迹信息,并将得到的每一条对象轨迹信息对应的轨迹标签信息配置为所述第一标签信息。
例如,在一种具体的应用示例中,若所述目标监控视频帧中存在至少一个行人,儿童作为所述监控对象,且该至少一个行人中存在成年人,如此,可以先判断是否已经创建有至少一条对象轨迹信息。然后,已经创建有至少一条对象轨迹信息,由于目标对象中存在成年人,因而,可以将该至少一条对象轨迹信息对应的轨迹标签信息配置为所述第一标签信息,即表明行人中存在成年人,可以不用进行警示操作。
可以理解的是,将所述轨迹标签信息配置为所述第一标签信息可以是指,在该轨迹标签信息已经属于第一标签信息时维持该第一标签信息,在该轨迹标签信息不属于第一标签信息时更改为第一标签信息。
在上述示例的基础上,对于步骤S110还需要说明的是,考虑到在执行上述的步骤3之后,判定结果可以为已经基于历史监控视频帧创建有至少一条对象轨迹信息,步骤S110还可以包括以下步骤:
首先,将所述至少一条对象轨迹信息与至少一个目标对象进行对象匹配处理;其次,若存在与所述至少一个目标对象中的每一个目标对象不匹配的对象轨迹信息,则对该对象轨迹信息对应的轨迹丢失帧数进行更新,其中,该轨迹丢失帧数用于判断是否执行所述警示操作;然后,若存在与所述至少一条对象轨迹信息中每一条对象轨迹信息不匹配的目标对象,则基于该目标对象创建对应的对象轨迹信息;最后,若存在与所述至少一条对象轨迹信息中的一条对象轨迹信息匹配的目标对象,则将该目标对象添加至匹配的对象轨迹信息中。
例如,在一种具体的应用示例中,若已经创建有2条对象轨迹信息,则将该2条对象轨迹信息与所述目标监控视频帧中的行人进行匹配处理。然后,若目标监控视频帧中有1个行人,则存在与行人不匹配的对象轨迹信息,表明该对象轨迹信息的行为在目标视频帧中丢失,因而,可以将该对象轨迹信息对应的轨迹丢失帧数进行更新,如加1。或者,若目标监控视频帧中有3个行人,则存在与对象轨迹信息不匹配的行人,表明该行人是第一次出现,因而,可以为该行人创建对应的对象轨迹信息。或者,若存在与对象轨迹信息匹配的行人,可以将该行人添加到该对象轨迹信息中,例如,若检测行人的方式为人形检测,可以将检测得到的人形检测框添加至该对象轨迹信息中。如此,对于多帧监控视频帧,在一条对象轨迹信息中可以包括具有先后关系的多个人形检测框。
第二方面,对于步骤S120需要说明的是,判断所述目标对象是否属于监控对象和所述轨迹标签信息是否属于第一标签信息的具体方式不受限制,可以根据实际应用需求进行选择。
例如,在一种可以替代的示例中,步骤S120可以包括以下步骤:
首先,获取每一条所述对象轨迹信息对应的轨迹丢失帧数;其次,判断每一个所述轨迹丢失帧数是否大于预设的帧数阈值;然后,若存在大于所述帧数阈值的轨迹丢失帧数,则判断该轨迹丢失帧数对应的对象轨迹信息对应的目标对象是否属于监控对象,并判断该对象轨迹信息对应的轨迹标签信息是否属于第一标签信息。
例如,在一种具体的应用示例中,可以先获取每一个行人对应的对象轨迹信息对应的轨迹丢失帧数(如前所述,例如,若在获取到的第一帧监控视频帧中为行人A创建有对象轨迹信息,在之后的3帧监控视频帧中都不存在行人A,则行人A对应的轨迹丢失帧数为3),如此,对于至少一个行人,可以得到至少一个轨迹丢失帧数(若获取的每一帧监控视频帧中都存在特定行人,侧该特定行人的轨迹丢失帧数为0)。其次,可以判断每一个轨迹丢失帧数是否大于预设帧数阈值。然后,对于大于预设帧数阈值的轨迹丢失帧数,可以判断对应的行人是否属于儿童,并判断对应的轨迹标签信息是否属于第一标签信息,即判断对应的行人是否属于儿童以及与该行人一起的其它行人是否属于儿童。如此,若一个行人属于儿童,且不存在一起行动的其它行人或一起行动的其它行人也属于儿童,可以判定需要对该行人执行预设的警示操作。
可选地,在上述示例中,判断所述目标对象是否属于监控对象的具体方式不受限制,可以根据实际应用需求进行选择。
例如,在一种可以替代的示例中,若所述监控对象为儿童,为了能够对目标对象是否为儿童进行可靠的判断,可以先计算目标对象的身高信息,如基于人形检测方法中的人形检测框的高度信息,确定目标对象的身高信息,然后,再将该身高信息与儿童的身高阈值信息进行比较,从而确定目标对象是否属于儿童。
第三方面,对于步骤S130需要说明的是,执行所述警示操作的具体方式不受限制,可以根据实际应用需求进行选择。
例如,在一种可以替代的示例中,可以向监控人员的终端设备输出警示信息。又例如,在另一种可以替代的示例中,若能够确定警示操作对应的目标对象的监护人,可以向该监护人的终端设备输出警示信息。
在上述示例的基础上,若执行步骤S120判定出所述目标对象不属于监控对象和/或所述轨迹标签信息属于第一标签信息,可以选择不执行所述警示操作。并且,为了节约存储资源等,还可以将所述对象轨迹信息删除。
在上述示例的基础上,在执行步骤S130之后,即在执行所述警示操作之后,为了节约存储资源等,还可以将所述对象轨迹信息删除。
结合图3,本申请实施例还提供一种可应用于上述监控设备10的目标对象监控装置100。其中,所述目标对象监控装置100可以包括轨迹信息创建模块110、对象信息判断模块120和警示操作执行模块130。
所述轨迹信息创建模块110,用于基于获取的监控视频中的至少一个目标对象创建对应的对象轨迹信息,得到至少一条对象轨迹信息。在本实施例中,所述轨迹信息创建模块110可用于执行图2所示的步骤S110,关于所述轨迹信息创建模块110的相关内容可以参照前文对步骤S110的描述。
所述对象信息判断模块120,用于判断所述对象轨迹信息对应的目标对象是否属于监控对象,并判断该对象轨迹信息对应的轨迹标签信息是否属于第一标签信息,其中,该第一标签信息表征所述至少一个目标对象中存在不属于监控对象的目标对象。在本实施例中,所述对象信息判断模块120可用于执行图2所示的步骤S120,关于所述对象信息判断模块120的相关内容可以参照前文对步骤S120的描述。
所述警示操作执行模块130,用于若所述目标对象属于所述监控对象,且所述对象轨迹信息对应的标签信息不属于所述第一标签信息,则对该目标对象执行预设的警示操作。在本实施例中,所述警示操作执行模块130可用于执行图2所示的步骤S130,关于所述警示操作执行模块130的相关内容可以参照前文对步骤S130的描述。
在本申请实施例中,对应于上述的目标对象监控方法,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,该计算机程序运行时执行目标对象监控方法的各个步骤。
其中,前述计算机程序运行时执行的各步骤,在此不再一一赘述,可参考前文对所述目标对象监控方法的解释说明。
综上所述,本申请提供的目标对象监控方法和监控设备,在判断目标对象是否属于监控对象的基础上,一并判断该目标对象的对象轨迹信息对应的轨迹标签信息是否属于第一标签信息,使得需要在目标对象属于监控对象且轨迹标签信息不属于第一标签信息时,才对目标对象执行警示操作。基于此,由于第一标签信息表征的内容为监控视频中的至少一个目标对象中存在不属于监控对象的目标对象,也就是说,只有在监控对象单独存在的时候,才对监控对象进行警示,使得可以改善现有技术中由于在检测有监控对象时就进行警示操作而导致容易出现误警示(例如,在有非监控对象与监控对象一并出现的情况下,非监控对象本身就可以对监控对象进行监控,此时,就没有必要进行监控)的问题,从而改善现有监控技术中存在的监控效果较差的问题,具有较高的实用价值。
在本申请实施例所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,电子设备,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种目标对象监控方法,其特征在于,包括:
基于获取的监控视频中的至少一个目标对象创建对应的对象轨迹信息,得到至少一条对象轨迹信息;
判断所述对象轨迹信息对应的目标对象是否属于监控对象,并判断该对象轨迹信息对应的轨迹标签信息是否属于第一标签信息,其中,该第一标签信息表征所述至少一个目标对象中存在不属于监控对象的目标对象;
若所述目标对象属于所述监控对象,且所述对象轨迹信息对应的标签信息不属于所述第一标签信息,则对该目标对象执行预设的警示操作。
2.根据权利要求1所述的目标对象监控方法,其特征在于,所述基于获取的监控视频中的至少一个目标对象创建对应的对象轨迹信息,得到至少一条对象轨迹信息的步骤,包括:
获取目标监控视频帧,其中,该目标监控视频帧属于监控视频;
判断所述目标监控视频帧中是否存在至少一个目标对象;
若所述目标监控视频帧中存在至少一个目标对象,则在每一个所述目标对象属于所述监控对象时,判断是否已经基于历史监控视频帧创建有至少一条对象轨迹信息,其中,该历史监控视频帧属于所述监控视频;
若未基于历史监控视频帧创建有至少一条对象轨迹信息,则对每一个所述目标对象分别创建对应的对象轨迹信息。
3.根据权利要求2所述的目标对象监控方法,其特征在于,所述基于获取的监控视频中的至少一个目标对象创建对应的对象轨迹信息,得到至少一条对象轨迹信息的步骤,还包括:
若所述目标监控视频帧中不存在目标对象,则判断是否已经基于历史监控视频帧创建有至少一条对象轨迹信息;
若已经基于历史监控视频帧创建有至少一条对象轨迹信息,则对每一条所述对象轨迹信息对应的轨迹丢失帧数进行更新,其中,该轨迹丢失帧数用于判断是否执行所述警示操作。
4.根据权利要求2所述的目标对象监控方法,其特征在于,所述基于获取的监控视频中的至少一个目标对象创建对应的对象轨迹信息,得到至少一条对象轨迹信息的步骤,还包括:
若所述目标监控视频帧中存在至少一个目标对象,且该至少一个目标对象中存在不属于所述监控对象的目标对象,则判断是否已经基于历史监控视频帧创建有至少一条对象轨迹信息;
若已经基于历史监控视频帧创建有至少一条对象轨迹信息,则将每一条所述对象轨迹信息对应的轨迹标签信息配置为所述第一标签信息;
若未基于历史监控视频帧创建有至少一条对象轨迹信息,则对每一个所述目标对象分别创建对应的对象轨迹信息,并将得到的每一条对象轨迹信息对应的轨迹标签信息配置为所述第一标签信息。
5.根据权利要求2所述的目标对象监控方法,其特征在于,所述基于获取的监控视频中的至少一个目标对象创建对应的对象轨迹信息,得到至少一条对象轨迹信息的步骤,还包括:
若已经基于历史监控视频帧创建有至少一条对象轨迹信息,则将该至少一条对象轨迹信息与至少一个目标对象进行对象匹配处理;
若存在与所述至少一个目标对象中的每一个目标对象不匹配的对象轨迹信息,则对该对象轨迹信息对应的轨迹丢失帧数进行更新,其中,该轨迹丢失帧数用于判断是否执行所述警示操作;
若存在与所述至少一条对象轨迹信息中每一条对象轨迹信息不匹配的目标对象,则基于该目标对象创建对应的对象轨迹信息;
若存在与所述至少一条对象轨迹信息中的一条对象轨迹信息匹配的目标对象,则将该目标对象添加至匹配的对象轨迹信息中。
6.根据权利要求2所述的目标对象监控方法,其特征在于,所述获取目标监控视频帧的步骤,包括:
获取拍摄目标监控场景形成的连续多帧监控视频帧;
对所述多帧监控视频帧进行筛选,得到至少一帧目标监控视频帧。
7.根据权利要求6所述的目标对象监控方法,其特征在于,所述对所述多帧监控视频帧进行筛选,得到至少一帧目标监控视频帧的步骤,包括:
将所述多帧监控视频帧中的第一帧监控视频帧作为第一目标监控视频帧,将所述多帧监控视频帧中的最后一帧监控视频帧作为第二目标监控视频帧,并将所述多帧监控视频帧中第一帧监控视频帧和最后一帧监控视频帧以外的其它监控视频帧作为候选监控视频帧,得到多帧候选监控视频帧;
在所述多帧候选监控视频帧中,计算每两帧所述候选监控视频帧之间的帧间差分值,并基于预设的帧间差分阈值和所述帧间差分值对所述多帧候选监控视频帧进行关联处理,形成对应的视频帧关联网络;
分别计算所述第一目标监控视频帧与每一帧所述候选监控视频帧之间的帧间差分值、所述第二目标监控视频帧与每一帧所述候选监控视频帧之间帧间差分值,并基于所述帧间差分值确定与所述第一目标监控视频帧具有最大关联度的第一候选监控视频帧、与所述第二目标监控视频帧具有最大关联度的第二候选监控视频帧;
获取所述视频帧关联网络中连接所述第一候选监控视频帧和所述第二候选监控视频帧的视频帧链路子网络,其中,该视频帧链路子网络用于表征该第一候选监控视频帧和该第二候选监控视频帧之间的关联关系;
根据所述第一候选监控视频帧和所述第二候选监控视频帧相对于所述视频帧链路子网络对应的视频帧子链路集合的关联度,确定所述第一候选监控视频帧和所述第二候选监控视频帧相对于所述视频帧链路子网络的目标关联度,其中,所述视频帧子链路集合包括所有满足预设的关联度约束条件的视频帧子链路;
在所述目标关联度大于预设的关联度阈值时,基于所述视频帧关联网络,获取基于所述第二候选监控视频帧与连接的每一帧候选监控视频帧之间的关联度形成的关联度取值范围;
基于所述关联度取值范围对所述视频帧子链路集合中每一条视频帧子链路上的候选视频帧进行筛选,得到至少一帧第三候选监控视频帧;
将所述第一目标监控视频帧、所述第二目标监控视频帧、所述第一候选监控视频帧、所述第二候选监控视频帧和所述第三候选监控视频帧,分别作为目标监控视频帧。
8.根据权利要求6所述的目标对象监控方法,其特征在于,所述对所述多帧监控视频帧进行筛选,得到至少一帧目标监控视频帧的步骤,包括:
对所述多帧监控视频帧进行采样,得到多帧采样监控视频帧;
依次将所述多帧采样监控视频帧中的每一帧采样监控视频帧,确定为候选采样监控视频帧,并获取所述候选采样监控视频帧对应的帧长度信息,其中,所述帧长度信息包括所述候选采样监控视频帧的帧开始时间和所述候选采样监控视频帧的帧结束时间;
获取预设时间修正单位长度和预设时间修正最大长度,其中,所述预设时间修正单位长度小于所述预设时间修正最大长度,且所述预设时间修正最大长度大于所述监控视频帧的帧长;
根据所述候选采样监控视频帧的帧开始时间、所述预设时间修正单位长度和所述预设时间修正最大长度,确定所述候选采样监控视频帧对应的多个帧开始修正时间,并根据所述候选采样监控视频帧的帧结束时间、所述预设时间修正单位长度和所述预设时间修正最大长度,确定所述候选采样监控视频帧对应的多个帧结束修正时间;
从所述候选采样监控视频帧的多个帧开始修正时间中,选取多个目标帧开始修正时间,并从所述候选采样监控视频帧的多个帧结束修正时间中,选取每一个所述目标帧开始修正时间对应的目标帧结束修正时间,得到多个目标帧修正时间组;
在所述多帧监控视频帧中,确定每一个所述目标帧修正时间组对应的监控视频帧集合,得到多个监控视频帧集合;
针对每一个所述监控视频帧集合,对该监控视频帧集合包括的监控视频帧进行帧间差分处理,得到对应的差分处理结果,并基于每一个所述监控视频帧集合对应的差分处理结果,在所述多个监控视频帧集合中选择出目标监控视频帧集合;
将每一帧所述候选采样监控视频帧对应的目标监控视频帧集合中的监控视频帧,作为目标监控视频帧。
9.根据权利要求1-8任意一项所述的目标对象监控方法,其特征在于,所述判断所述对象轨迹信息对应的目标对象是否属于监控对象,判断该对象轨迹信息对应的轨迹标签信息是否属于第一标签信息的步骤,包括:
获取每一条所述对象轨迹信息对应的轨迹丢失帧数;
判断每一个所述轨迹丢失帧数是否大于预设的帧数阈值;
若存在大于所述帧数阈值的轨迹丢失帧数,则判断该轨迹丢失帧数对应的对象轨迹信息对应的目标对象是否属于监控对象,并判断该对象轨迹信息对应的轨迹标签信息是否属于第一标签信息。
10.一种监控设备,其特征在于,包括:
存储器,用于存储计算机程序;
与所述存储器连接的处理器,用于执行该存储器存储的计算机程序,以实现权利要求1-9任意一项所述的目标对象监控方法。
CN202110274089.0A 2021-03-15 2021-03-15 目标对象监控方法和监控设备 Active CN112689132B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110274089.0A CN112689132B (zh) 2021-03-15 2021-03-15 目标对象监控方法和监控设备
PCT/CN2022/080927 WO2022194147A1 (zh) 2021-03-15 2022-03-15 目标对象监控方法和监控设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110274089.0A CN112689132B (zh) 2021-03-15 2021-03-15 目标对象监控方法和监控设备

Publications (2)

Publication Number Publication Date
CN112689132A true CN112689132A (zh) 2021-04-20
CN112689132B CN112689132B (zh) 2021-05-18

Family

ID=75455569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110274089.0A Active CN112689132B (zh) 2021-03-15 2021-03-15 目标对象监控方法和监控设备

Country Status (2)

Country Link
CN (1) CN112689132B (zh)
WO (1) WO2022194147A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114863364A (zh) * 2022-05-20 2022-08-05 碧桂园生活服务集团股份有限公司 一种基于智能视频监控的安防检测方法及系统
CN114897973A (zh) * 2022-07-15 2022-08-12 腾讯科技(深圳)有限公司 轨迹检测方法、装置、计算机设备和存储介质
WO2022194147A1 (zh) * 2021-03-15 2022-09-22 中科智云科技有限公司 目标对象监控方法和监控设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100013656A1 (en) * 2008-07-21 2010-01-21 Brown Lisa M Area monitoring using prototypical tracks
CN105551188A (zh) * 2016-02-04 2016-05-04 武克易 具有看护功能的物联网智能设备实现方法
CN106157331A (zh) * 2016-07-05 2016-11-23 乐视控股(北京)有限公司 一种吸烟检测方法和装置
WO2017163282A1 (ja) * 2016-03-25 2017-09-28 パナソニックIpマネジメント株式会社 監視装置及び監視システム
JP2020005121A (ja) * 2018-06-28 2020-01-09 セコム株式会社 監視装置
CN110929619A (zh) * 2019-11-15 2020-03-27 云从科技集团股份有限公司 一种基于图像处理的目标对象追踪方法、系统、设备及可读介质
WO2020145883A1 (en) * 2019-01-10 2020-07-16 Hitachi, Ltd. Object tracking systems and methods for tracking an object
CN111914661A (zh) * 2020-07-06 2020-11-10 广东技术师范大学 异常行为识别方法、目标异常识别方法、设备及介质
CN112200085A (zh) * 2020-10-10 2021-01-08 上海明略人工智能(集团)有限公司 人流数据的获取方法和装置及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6492041B2 (ja) * 2016-09-07 2019-03-27 東芝テリー株式会社 監視画像処理装置及び監視画像処理方法
CN110795963A (zh) * 2018-08-01 2020-02-14 深圳云天励飞技术有限公司 一种基于人脸识别的监控方法、装置及设备
CN108965826B (zh) * 2018-08-21 2021-01-12 北京旷视科技有限公司 监控方法、装置、处理设备及存储介质
KR102021441B1 (ko) * 2019-05-17 2019-11-04 정태웅 인공지능을 이용한 영상 기반의 실시간 침입 감지 방법 및 감시카메라
CN112689132B (zh) * 2021-03-15 2021-05-18 成都点泽智能科技有限公司 目标对象监控方法和监控设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100013656A1 (en) * 2008-07-21 2010-01-21 Brown Lisa M Area monitoring using prototypical tracks
CN105551188A (zh) * 2016-02-04 2016-05-04 武克易 具有看护功能的物联网智能设备实现方法
WO2017163282A1 (ja) * 2016-03-25 2017-09-28 パナソニックIpマネジメント株式会社 監視装置及び監視システム
CN106157331A (zh) * 2016-07-05 2016-11-23 乐视控股(北京)有限公司 一种吸烟检测方法和装置
JP2020005121A (ja) * 2018-06-28 2020-01-09 セコム株式会社 監視装置
WO2020145883A1 (en) * 2019-01-10 2020-07-16 Hitachi, Ltd. Object tracking systems and methods for tracking an object
CN110929619A (zh) * 2019-11-15 2020-03-27 云从科技集团股份有限公司 一种基于图像处理的目标对象追踪方法、系统、设备及可读介质
CN111914661A (zh) * 2020-07-06 2020-11-10 广东技术师范大学 异常行为识别方法、目标异常识别方法、设备及介质
CN112200085A (zh) * 2020-10-10 2021-01-08 上海明略人工智能(集团)有限公司 人流数据的获取方法和装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
骆佳程: "视频序列中的行人行为分析算法研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022194147A1 (zh) * 2021-03-15 2022-09-22 中科智云科技有限公司 目标对象监控方法和监控设备
CN114863364A (zh) * 2022-05-20 2022-08-05 碧桂园生活服务集团股份有限公司 一种基于智能视频监控的安防检测方法及系统
CN114863364B (zh) * 2022-05-20 2023-03-07 碧桂园生活服务集团股份有限公司 一种基于智能视频监控的安防检测方法及系统
CN114897973A (zh) * 2022-07-15 2022-08-12 腾讯科技(深圳)有限公司 轨迹检测方法、装置、计算机设备和存储介质
CN114897973B (zh) * 2022-07-15 2022-09-16 腾讯科技(深圳)有限公司 轨迹检测方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
WO2022194147A1 (zh) 2022-09-22
CN112689132B (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN112689132B (zh) 目标对象监控方法和监控设备
CN111860318A (zh) 一种建筑工地行人徘徊检测方法、装置、设备及存储介质
US20140269339A1 (en) System for analysing network traffic and a method thereof
CN108629254B (zh) 一种运动目标的检测方法及装置
CN111507235A (zh) 基于视频的铁路周界异物入侵检测方法
CN112818766A (zh) 一种基于计算机视觉的高空抛物检测警报方法及系统
CN114821414A (zh) 一种基于改进yolov5的烟火检测方法、系统及电子设备
CN114070711A (zh) 告警信息的处理方法、装置、电子设备及存储介质
CN113673311A (zh) 一种交通异常事件检测方法、设备及计算机存储介质
CN112927178B (zh) 遮挡检测方法、装置、电子设备以及存储介质
CN113435359A (zh) 一种图像识别方法
CN111400114A (zh) 基于深度递归网络大数据计算机系统故障检测方法及系统
CN114973741A (zh) 异常数据的处理方法、装置、存储介质及电子装置
CN113569965A (zh) 一种基于物联网的用户行为分析方法及系统
CN114139016A (zh) 一种智慧小区的数据处理方法及系统
CN112291538A (zh) 一种视频监控数据的存储方法及装置
CN117093461A (zh) 一种时延检测分析的方法、系统、设备和存储介质
CN113628073A (zh) 一种智慧小区的物业管理方法及系统
CN114898279A (zh) 物体检测方法及装置、计算机设备、存储介质
CN114780304A (zh) 一种基于大数据的智慧城市运维管理方法及云平台
CN113407750A (zh) 一种图像分布式存储方法及系统
CN112990153A (zh) 一种多目标行为识别方法、装置、存储介质以及电子设备
CN113537087A (zh) 一种智慧交通信息处理方法、装置及服务器
Sofwan et al. Design of smart open parking using background subtraction in the IoT architecture
CN112597924A (zh) 电动自行车轨迹追踪方法、摄像机装置和服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant