CN108230594A - 一种用于在视频监控系统中生成警报的方法 - Google Patents

一种用于在视频监控系统中生成警报的方法 Download PDF

Info

Publication number
CN108230594A
CN108230594A CN201711327621.0A CN201711327621A CN108230594A CN 108230594 A CN108230594 A CN 108230594A CN 201711327621 A CN201711327621 A CN 201711327621A CN 108230594 A CN108230594 A CN 108230594A
Authority
CN
China
Prior art keywords
action
method described
individual
video
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711327621.0A
Other languages
English (en)
Other versions
CN108230594B (zh
Inventor
尼克拉·丹尼尔松
西蒙·莫林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to EP16205866.3 priority Critical
Priority to EP16205866.3A priority patent/EP3340104A1/en
Application filed by Axis AB filed Critical Axis AB
Publication of CN108230594A publication Critical patent/CN108230594A/zh
Application granted granted Critical
Publication of CN108230594B publication Critical patent/CN108230594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G08B13/19615Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion wherein said pattern is defined by the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed circuit television systems, i.e. systems in which the signal is not broadcast
    • H04N7/183Closed circuit television systems, i.e. systems in which the signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Abstract

本发明涉及一种用于在视频监控系统中生成警报的方法。公开了一种用于在监控系统中生成警报信号的方法。该方法包括检测视频流中的目标个体、选择目标个体,以及跟踪目标个体,作为第一步骤。在这些步骤之后,该方法包括:响应于识别检测到的对象为目标人,对视频流中的多个图像帧的检测到的个体的动作进行分类,以及如果对象的被分类的动作被分类为预定义的警报生成动作,则生成警报信号。

Description

一种用于在视频监控系统中生成警报的方法
技术领域
[0001]本发明涉及一种用于跟踪对象的方法,并且具体地涉及一种用于在视频监控系统 中生成警报的方法。
背景技术
[0002]在视频监控和视频分析的领域内,动作辨识是开发的领域。动作辨识的目的是实 现对由在被监控的场景中的对象所执行的动作(通常是人的动作)的自动检测。示例可能 是,当个体或对象正在进入特定区域时,周边传感器能够生成警报,当相同的个体采取有敌 意的姿态时,动作辨识可以生成警报。通过改善的图形处理技术、深度学习等促进开发,以 更短的时间实现更先进的处理。
[0003]存在用于动作辨识的若干已知的技术,并且它们可以被划分为空间技术和时间技 术,其中,空间技术例如包括对静止图像(或单个图像帧)中的姿态进行分类的各种方式,而 时间技术典型地牵涉事件链的评估,例如一系列图像帧中的姿态的评估。可以利用神经网 络来用于执行动作辨识,然而目前发展水平技术还包括支持矢量机等。用于动作辨识的技 术不是本申请的焦点,然而将在具体实施方式中给出更多的示例。
[0004] 在现代监控情形中,常见的情况是,巨量信息被收集到控制中心,其中一个或多个 操作员现场审查信息。信息典型地包括许多现场视频流。通常,存在实现后来审查信息的记 录功能,但是在被监控的场景之一中能够对不希望有的动作瞬间地进行反应、而不是仅仅 能够回顾地分析,是有好处的。理论上,跟踪和分析由摄像机所捕获的一切将成为可能。实 际上,人为因素和处理性能的当前限制两者使得此类方法(即,对由许多摄像机所捕获的所 有信息的现场评估)不切实际。
[0005] 本发明目标在于提供改善的操作员支持,具体用于复杂的监控情形。
发明内容
[0006] 鉴于以上所述,因而本发明的目的是通过提供用于在视频监控系统中生成警报的 改善的方法来消除或减轻上述问题。
[0007] 根据第一构思,提供用于在监控系统(运动摄像机)中生成警报信号的方法,包括 检测视频流中的目标个体、选择目标个体、跟踪目标个体、响应于识别检测到的对象为目标 人,对视频流中的多个图像帧上的检测到的个体的动作进行分类,以及如果对象的被分类 的动作被分类为预定义的警报生成动作则生成警报信号。
[0008] 个体的识别可以基于该技术领域的任何现有的技术。通常,输出包括可以与所存 储的外观模型相比较的外观模型(诸如外观矢量或特征矢量)。
[0009]根据第一方面,本发明解决了对优化跟踪处理并且具体是警报生成的需要。从监 控观点,在能够回溯个体的动作以便挑选出特定事件链时,存在好处,并且照此,贯穿整个 应用,视频监控已经是高度有用的工具。在聚焦于特定个体以便例如在执行禁止动作的行 为中捕获某人时,视频监控也己经是有效的。监控系统可以是运动摄像机。
[0010] 在本申请中,贯穿全文使用了词“禁止”来用于描述警报生成动作。这仅是因为最 明显的使用情况包括对于将被考虑为禁止的动作的检测。尽管如此,出于另外的原因,这不 排除将被考虑为有兴趣的动作,并且广义术语将简单地是“警报生成”,这进而使得读取文 本有点麻烦。因此,为了简化起见,我们遵守“禁止”并且使其具有意义“我们将对其有反应、 在没有反应的情况下不应当出现的动作”。
[0011] 本发明可以如何促进操作员的工作并且提高监控系统的效率,是显而易见的。
[0012] 在一个或多个实施例中,优选的是,对图像帧的子集(例如包括目标个体的裁切), 而不是对全部图像帧执行动作辨识。以这种方式,具体针对包含大量个体的视图,计算负载 显著地降低。这当然意味着场景中的一些个体将被忽视(仅已经被选择和跟踪的个体将被 主动地监控)。
[0013] 将被监控的个体与数据库的内容相比较是启动跟踪序列的直接方式,而不考虑识 别和/或比较是手动还是自动执行的。
[0014] 系统可以输出个体化的特征矢量或外观矢量以用于稍后参考。
[0015] 在一个或多个实施例中,通过辨识算法执行的目标人的识别,凭此能够使识别自 动化,使操作员受益。在该实施例中,操作员可以被警告或可以不被警告个体已经被识别以 及跟踪己经被启动。在其中操作员被警告的实施例中,操作员可以被提示跟踪是否应当被 中断。
[0016] 进行手动地或自动地比较的数据库可以包括先前被识别的个体,并且在本上下文 背景中,被识别意味这通过名称被识别,或者仅在他们的身份保持未知但是他们已经是一 些先前的控制或监控的主体的意义上被识别。数据库可以包括被识别的个体的图像和/或 表不被识别的个体的特征矢量。
[0017] 另外,或者替代的,数据库可以包括与特定监控情形或位置有关的识别的属性的 集合。属性的示例能够是‘携带袋子’、‘眼睛不可见’/ ‘面部被遮蔽’等,即在日常情形中可 能不是可疑的、但是根据上下文背景其可能值得被注意的属性。
[0018] 根据实施例的集合,可以在包括“禁止”动作的集合的数据库中选择预定义的警报 生成动作。该实施例具有若干级别的复杂度。在第一级别中,可能仅仅存在可以被识别的一 定数量的动作,并且在这些之中,一部分被考虑为被禁止。此外,针对特定监控情形,动作的 一个集合将被考虑为被禁止,而在另一个中,动作的另一个集合将被考虑为被禁止。相比于 在运动场或火车站中,这些集合在仓库中将是不同的。
[0019] 此外,一旦个体被识别,动作的预置集合可以是基于监控情形的警报生成(“在该 区域中,下面的动作将被禁止”),然而在其他或有关实施例中,可以基于特定个体(例如对 于已知的商店窃贼)来决定集合(“对于这人,下面的动作将被禁止并且警报生成”)。在具体 实施方式中将进一步解决这一点。
[0020] 在甚至进一步细化的实施例中,警报生成动作的选择可以与个体和/或与特定区 域相关。警报生成动作的选择可以与特定个体相关。示例包括操作员或系统辨识在之前已 经执行了禁止动作的个体,并且在此类情况中,能够针对禁止动作被重复的事件跟踪该个 体。能够在没有与操作员的交互的情况下执行该实施例,至少直到警报已经被生成。此外, 警报生成动作的选择可以与特定区域相关联,并且作为一示例,选择能够包括,在一些区域 中,最常见的禁止动作可以是奔跑和抢劫,而在其它的实施例中,其能够是“展示暴力倾 向”、“形成团体”等。这是关于目标动作辨识降低计算负载的又一种方式。
[GG21]在一个或若干实施例中,在选择目标个体时,提示警报生成动作的选择。通过这些 实施例实现若干可替代的方式。一个示例能够是,在操作员例如通过点击人识别那人时,呈 现选择窗口。在选择窗口中,操作员可以选择对于该特定人将被考虑为被禁止的许多动作。 可用的选择可以与可以被辨识的所有可用的动作相对应,或者可用的选择也可以受限于与 特定个体有关的动作的子集,例如已知个体已经在之前执行的禁止动作。如果个体被自动 地识别,则随着个体被识别,选择窗格可以被设置为出现,并且操作员可以消除窗格或者使 得选择被激活。选择窗格仅仅是呈现查询的许多可能的方式当中的示例。
[0022] 在任何实施例中,通过相机中的图形处理算法来至少部分地执行动作辨识。也可 以通过相机中的图形处理算法全部执行动作辨识。
[0023]在一个或多个实施例中,动作候选辨识器被配置为向对象图像帧应用第一动作辨 识算法并且因此检测动作候选的存在;视频提取器,被配置为通过从视频序列中提取与多 个图像帧有关的视频数据来产生动作视频序列的动作图像帧,其中,从中提取视频数据的 多个图像帧中的一个或多个包括感兴趣的对象;以及网络接口,被配置为向服务器传递动 作视频序列。服务器包括被配置为向动作视频序列应用第二动作辨识算法并且因此检验或 者拒绝接受动作候选是动作的动作检验器。在本申请人的尚未审定的申请中进一步公开这 一点,如在本申请的另一个部分所详述的。
[0024]在一个或多个实施例中,可以使用基于相机的图像分析学(图形处理算法)来执行 动作分类,而在其他或有关实施例中,通过远程设备支持或执行动作分类,如以上讨论的。 [0025]该方法可以进一步包括从监控系统的第一设备切换到第二设备,包括向摄像机的 网络传送外观矢量。
[0026]在一个或若干实施例中,将目标对象的外观矢量作为新的发布内容或者作为更新 记录到数据库。
[0027]动作辨识可以基于空间/上下文辨识方法,或者时间辨识方法。
[0028] 在本发明的第二方面中,提供一种系统,包括:具有图像处理电路的数字网络相 机、对象识别器、对象追踪器、警报生成器,其中,后者可以形成数字网络相机的一部分或被 包括在基于服务器的解决方案(服务器或服务器的网络)中,并且系统进一步包括用户接 口,其中,所述系统被配置为执行根据在本申请中公开的一个或任何实施例的方法。
[0029]根据本发明的又一个方面,提供一种计算机程序产品,包括具有指令的计算机可 读存储介质,指令在由具有处理能力的设备执行时适于执行根据上述或在下面描述的方 法。
[0030] 应当注意到,本发明涉及特征的所有可能组合,除非另外明确地陈述。
[0031] 根据在下面给出的具体描述,本发明的应用的进一步范围将变得显而易见。然而, 应当理解,详细的描述和特定示例在指示本发明的优选的实施例时是仅作为说明被给出, 因为根据该详细描述,在本发明的范围内的各种改变和修改将对本领域技术人员变得明 显。因此,应当理解,本发明不局限于所描述的设备的特定组成部分或所描述的方法的步 骤,因此设备和方法可以改变。还应当理解,在本文使用的术语仅用于描述特定实施例的目 的并且不意在进行限制。必须指出,如在说明书和所附权利要求中所使用的,冠词“一”、 “该”和“所述”意在指存在一个或多个要素,除非上下文另有清楚地其他指示。因此,例如, 对“传感器”或“该传感器”的引用可以包括若干传感器等。此外,词“包括”不排除其他要素 或步骤。
附图说明
[0032]参考附图,通过以下对本发明的优选实施例的说明性的且非限制性的详细描述, 将更好地理解本发明的以上以及附加的目的、特征和优点,在附图中,相同的附图标记将用 于类似的元件,其中:
[0033]图1是图示本发明的第一实施例的流程图,
[0034]图2是图示如在图1的实施例中公开的用于一系列本发明的许多可能的实施例的 部分流程图,
[0035]图3是图示如在图1的实施例中公开的用于本发明的步骤的许多可能的实施例的 部分流程图,
[0036]图4是图示如在图1的实施例中公开的用于一系列本发明的许多可能的实施例的 部分流程图,
[0037]图5是被配置用于根据本发明方法的实施例中的一个或任何本发明方法的实施例 来执行本发明方法的系统的示意图,并且
[0038]图6是一种计算机程序产品的示意图,该计算机程序产品包括具有指令的计算机 可读存储介质,指令适于在由具有处理能力的设备执行时,根据本发明方法的实施例中的 一个或任何本发明方法的实施例来执行本发明方法。
具体实施方式
[0039]在实际情形中,单个操作员可以负责同时监视若干摄像机视图。典型地,在商店 中,监控摄像机可以覆盖入口、付款通道和商店内的许多位置。如果可疑个体被作为目标, 这将意味着对其他视图的认知降低,这是因为操作员将关于目标个体具有增加的认知。 [0040]根据本发明,当目标人被选择用于跟踪(S卩,被识别为要被跟踪的对象时),操作员 可以作出有效的选择。结果,操作员的注意力可以被转向别处,并且如果禁止动作中的一个 动作在进行,则系统将生成警报信号,凭此操作员可以被通知对情形进行充分审查。
[0041]图1图示根据本发明方法的第一实施例100的发明方法。通过检测场景中的目标个 体的步骤102来启动方法100。事实上,个体将被作为目标,但是为了简化起见,使用术语“目 标个体”,而不是“可能在稍后阶段被作为目标的个体”。实际上,该步骤常常在通过辨识个 体已经进入成像的场景以及个体位于特定区域中的对象检测算法或运动检测算法所执行 的自动步骤之前,常常引起个体(或其他移动对象)通过矩形被突出。在第二步骤104中,操 作员将选择目标个体。如果已经利用矩形或以任何其他方式标注了个体,则很可能接近讨 论中的个体在视图中通过使用标记来点击而进行选择。
[0042]当实现选择时,可以自动地或通过经由任何适当的接口的通信的方式根据用户请 求启动目标个体的跟踪106。此外,可以由目标个体进行的动作的集合被分类108为禁止(如 在本说明书的上下文中所限定的)。这将参考其他实施例更详细地讨论,但是可能已经陈述 至IJ,将动作分类到“禁止”可以以许多不同的方式(手动和自动两者)来执行。
[0043] 根据这一点,一检测到目标个体执行禁止动作的集合中所包括的动作110,系统就 将生成警报112。警报可以用于若干目的,例如其可以仅生成标记用于稍后审查,或者其可 以在一检测到动作时就对操作员生成直接的通知。如果未被包括在禁止动作的列表中的动 作被识别,则系统将仅返回到跟踪和动作辨识,而不生成任何警报。
[0044] 这些是本发明的任何实施例的主要构建框,然而构建框中的任何可以进一步细 化,以便提供更精心设计的解决方案以使执行方法的系统的操作员或用户受益。将在下文 描述这些精心设计中的一些,并且本领域技术人员会认识到,细化构件框可以被自由地组 合(除非逻辑上是不可能的),以用于形成方法的可替代实施例。
[0045] 检测和选择个体,图2
[0046]可以以许多不同的方式检测个体,并且选择个体的步骤可以与检测密切相关。在 一个实施例中,仅通过由操作员进行选择来检测个体并且作为目标,在其后不存在另外的 逻辑。可以通过包含特别感兴趣的个体的数据库116来支持操作员。数据库可以与执行方法 的系统集成或可以不与执行方法的系统集成。也可以通过呈现个体的可能的身份的辨识系 统114来支持操作员。如果事实是特定个体将总是被选择(例如知名的商店窃贼进入商店), 则可以在向操作员发送跟踪被启动的警报的情况下或没有向操作员发送跟踪被启动的警 报的情况下更自动地或不自动地执行检测和选择的全部步骤。
[0047]根据其他或组合的可替代方式,不是基于相貌而是基于属性118识别个体。属性可 以是身体的,诸如人是否携带袋子、推动手推车、携带不适当的工具等。总之,方法的该部分 可以非常简单,然而其也可以是精心设计的并且仅受限于可用的技术。
[0048] 针对个体将动作分类为禁止
[0049] 再次,该步骤可以更多或更少地精心设计,并且存在许多不同的可能的可替代方 式。在一个实施例中,禁止动作被预设,意味着不管特定目标个体怎么样,动作的相同的集 合将被考虑为禁止。这可以进而具有进一步的可替代方式,因为选择取决于特定区域而不 是特定个体。
[0050] 在其他实施例中,通过操作员来限定禁止动作的集合,并且在又一些其他或有关 实施例中,通过被识别的个体来完全地或部分地限定禁止动作的集合。后者不意味着被识 别的个体执行选择,而是针对特定个体,可以完全地或部分地预设动作的定制的集合。不管 怎样推导出禁止动作的集合,在一个或多个实施例中,操作员可以能够通过添加或去除动 作来微调集合。
[0051] 禁止动作的集合可以与位置相关联,意味着仅在特定区域中禁止特定动作,使得 仅如果在该特定区域内执行动作才生成警报。
[0052] 讨论中的动作也可以与对象的分类有关,例如其可以在儿童与成人、员工与非员 工之间进行区分,并且可以相应地调整警报生成动作的集合。讨论中的动作可以与个体对 象有关,例如,这个人不应当被允许在该区域中携带袋子等。
[0053] 跟踪个体,图3
[0054]可以以任何现有的方式进行跟踪个体的步骤。如果使用单个摄像机并且个体从未 离开场景,则跟踪是相当直接的,并且可以根据技术“通过检测的跟踪”120或“基于运动的 跟踪”122中的一个,或者通过保证在单个或若干场景上跟踪同一个体的另一个技术或组合 的当前技术或新颖的技术来执行跟踪,诸如通过再识别的跟踪。
[0055]本发明在其中包括若干监控摄像机的系统中具有明显的优点,因为这是操作员可 以受益于额外的支持的典型的情形。在这种情况下,可以通过使外观模型被存储124在对所 有摄像机(或至少有关的摄像机)可用的位置,或者广播到系统的其他摄像机来使得外 观模型可用于系统内的所有摄像机。
[0056]动作辨识和警报生成
[0057]动作辨识是针对本发明使能的,而不是主要问题,但是仍然可以提及一些可替代 方式。已经在本申请的背景部分中提及一些,并且结论是可以使用用于动作辨识的任何方 法。然而,存在可以与视频监控的领域有关的两个特征。一个是应当在运行中执行动作辨 识,这是因为直接的警报是值得欣赏的,并且另一个是可能存在对在摄像机上可用的处理 性能的限制。针对诸如基于空间或上下文信息128的技术之类的直接的动作辨识技术,这些 特征很少地引起任何问题。然而,针对其中大量数据不得不被处理的目前发展水平技术,其 可能产生问题,例如,处理性能是不充分的。后者的示例是其中使用图像的时间分辨的序列 130的技术。
[0058]由Georgia Gkioxari、Ross Girshick和Jitendra Malik在“Contextual Action Recognition with R*CNN(利用R*CNN的上下文动作辨识);arXiv:1505.01197”中公开了上 下文动作辨识算法的示例。动作辨识算法的另外示例(上下文和/或空间动作辨识算法以及 时间动作辨识算法两者)例如在CN102855462中、在CN103106394中、以及由Karen Simonyan 和Andrew Zisserman在“Two-Stream Convolutional Networks for Action Recognition in Video (在视频中用于动作辨识的两流卷积网络)”arXiv: 1406.2199中描述。
[0059]忽视所使用的技术,可以优选的是,仅对图像的最小的可能的部分(示意地是包括 目标个体的剪切(裁切))执行动作辨识。在一些实施例中,仅将很可能有效的个体的数个部 分包括在禁止种类的动作(甚至更小的裁切)中,将是足以的,而在又一些其他实施例中,可 以优选的是,包括环境的数个部分,以为了能够进行上下文评估(略微更大的裁切)的目的。 [0060]在其他实施例中,将动作辨识作为两阶段处理132来执行。在第一阶段中,示意地 基于诸如仅评估目标个体的当前姿态的技术之类的低复杂度的动作辨识技术来进行初始 辨识。在第二阶段中,使用诸如使用时间分辨的信息的技术之类的更复杂的技术作出确认。 这使得能够进行确认后面的快速‘进行中的’警报。例如,在更复杂的技术是计算要求高的 情况下,可以将执行动作辨识所必需的例如图像帧或图像帧的裁切的信息传递到与摄像机 相比较具有优越计算能力的服务器134。在由本申请人/受让人提出的尚未审定的申请(于 2016年11月14日提交的欧洲专利申请EP16198671.1)中公开了该技术,该申请通过引用被 合并。具体地,对与相关联的描述一起提交的引用的申请的图2作出参考。
[0061]可以以若干不同的方式(包括今天用于警报生成的技术以及生成警报的新颖方 式,诸如向VMS发送信号来对操作员报警、拉响警报、执行任何预设动作)来执行警报生成。 [0062]图5是被配置用于根据本发明方法的实施例中的一个或任何本发明方法的实施例 来执行本发明方法的系统140的示意图。系统包括一个或多个网络摄像机,其根据需要更多 或更少。
[0063]数字网络摄像机142被设置为捕捉描绘场景的视频序列。数字网络摄像机142包括 外壳144、透镜14e和电路14S。数字网络摄像机142被设置为进行捕捉和处理,并且在一些实 施例中还存储视频序列。电路148包括图像传感器150、图像处理单元152、对象识别器154、 动作候选辨识器156和网络接口 I58。电路148可以进一步包括中央处理单元CPU160、数字数 据存储介质(存储器)162和编码单元164中的一个或多个。图像处理单元152、对象识别器 154、动作候选辨识器156,和编码单元164中的任何一个可以被实施为专用硬件电路和/或 软件模块。在被实施为软件的情况下,软件可以在CPU 160上运行。CRJ 160可以是用于执行 数字数据处理的任何适当的CPU。也应当注意,任何专用硬件电路可以部分地包括在专用处 理器上或在CPU 160上运行的软件部分。数字网络摄像机包括跟踪器(未示出),其是通过已 经描述的组件执行的功能。
[0064]存储器162可以是任何种类的易失性或非易失性存储器。此外,存储器162可以包 括多个存储器单元。多个存储器单元中的至少一个可以用作用于在处理例如视频序列的内 容时缓冲数据的缓冲存储器。
[0065] 数字网络摄像机142被设置为经由网络接口 158连接到通过服务器166表示的数字 网络。到数字网络的连接可以是有线或无线的。因而,网络接口 158可以是诸如以太网端口 之类的适于l〇/l〇〇/l〇〇〇Mbps数据业务的网络端口、被设置为接纳例如RJ45连接器的模块 式连接器的模块化端口。正常情况下,此类RJ45连接器端口被设置为接纳网络电缆,诸如 (例如,标准5类(cat 5)、超5类(cat 5e)或超六类(cat 6))双绞线电缆。可替代地,网络端 口的1/0装置可以是使用移动因特网通信标准(例如,1G、2G、2.5G、2.75G、3G、3.5G、3.75G、 3 • 9G、4G、5G)或使用WiFi的无线1/0装置。
[0066] 摄像机组件(S卩,透镜装置146和图像传感器150)可以被设置为捕捉原始图像,其 中,每个原始图像可以被描述为不同波长的光并且来源于不同的对象和对象的部分。这些 原始图像然后被从模拟转换到数字格式并且被传递到图像处理单元152中。根据该实施例, 数字网络摄像机142是被设置为捕捉可见光图像的摄像机。可替代地或组合地,数字网络摄 像机142的图像传感器150可以被设置为捕捉热像,或者其他类型的图像。
[0067]对象识别器154被配置为检测由摄像机142捕捉的视频序列中感兴趣的对象。为了 本发明的目的,感兴趣的对象可以例如是人类,但是其也可以是车辆、动物等。
[0068]对象识别器154进一步被配置为在视频序列的一个或多个图像帧中识别感兴趣的 对象。
[0069]系统进一步包括用户接口 168,经由用户接口 168,用户可以发送命令并且执行与 摄像机的电路的其他通信。如所提及的,单个系统可以包括全部都连接到数字网络的、优选 地连接到相同的数字网络的所公开的类型的若千摄像机。用户接口 168可以直接地或者经 由服务器166连接到摄像机142。
[0070]应当注意,在其他实施例或组合的实施例中,智能处理可以与摄像机分开定位,诸 如在服务器166上,意味着摄像机基本上仅用作收集视频流并且将其转发到另一个网络连 接的设备的目的,而不具有处理或者具有有限的处理。
[0071]系统因此被配置为根据本发明的一个或任何实施例的执行方法。
[0072]图6是一种计算机程序产品的示意图,该计算机程序产品包括具有指令的计算机 可读存储介质,指令适于在由具有处理能力的设备执行时,根据本发明方法的实施例中的 一个或任何本发明方法的实施例来执行本发明方法。

Claims (15)

1. 一种用于在监控系统中生成警报信号的方法,所述方法包括: 检测视频流中的对象, 选择所述对象作为目标对象, 跟踪所述目标对象, 剪裁所述视频流的每个图像帧的一部分,其中,所述每个图像帧的一部分包括所述目 标对象, 通过分析所剪裁的部分来辨识通过所跟踪的对象进行的动作, 将所辨识的动作分类,以及 如果所跟踪的对象的动作中的一个或多个动作被分类为预定义警报生成动作,则生成 警报信号。
2. 根据权利要求1所述的方法,其中,检测的行为通过对象检测算法或者运动检测算法 来执行。
3. 根据权利要求1所述的方法,其中,选择所述对象作为目标对象的行为通过将用于所 述对象的外观模型与用于多个对象的外观模型的数据库进行比较来执行。
4. 根据权利要求1所述的方法,其中,选择所述对象作为目标对象的行为通过辨识算法 来执行。
5. 根据权利要求1所述的方法,进一步包括选择所述预定义警报生成动作。
6. 根据权利要求5所述的方法,其中,所述预定义警报生成动作在包括禁止动作的集合 的数据库中选择。
7. 根据权利要求5所述的方法,其中,所述预定义警报生成动作的选择与所跟踪的对象 相关。
8. 根据权利要求5所述的方法,其中,所述预定义警报生成动作的选择与特定区域相 关。
9. 根据权利要求5所述的方法,其中,所述预定义警报生成动作的选择在选择所述目标 对象时被提示。
10. 根据权利要求1所述的方法,其中,辨识动作的行为作为两阶段过程来执行,在第一 阶段中,在捕捉所述视频流的摄像机处执行第一动作辨识,以用于检测动作候选,并且在第 二阶段中,将包括触发所述动作候选的所述对象的视频数据发送到远程服务器,以用于检 验或者拒绝所述动作候选为真实动作。
11. 根据权利要求1所述的方法,进一步包括从所述监控系统的第一设备切换到第二设 备,包括切换描述所跟踪的对象的外观模型。
12. 根据权利要求3所述的方法,其中,所述目标对象的外观模型作为新的发布内容或 者作为更新被记录到数据库。
13. 根据权利要求1所述的方法,其中,所述辨识动作的行为基于空间/上下文辨识方 法、时间辨识方法或者二者的组合。
14. 一种包括数字网络摄像机的系统,所述数字网络摄像机具有图像处理电路、对象识 别器、对象跟踪器、警报生成器,其中,所述警报生成器可以形成所述数字网络摄像机的一 部分或者被包括在基于服务器的解决方案中,并且所述系统进一步包括用户接口,其中,所 述系统被配置为执行根据权利要求1所述的方法。
15.—种计算机程序产品,包括具有指令的计算机可读存储介质,所述指令适于在由具 有处理能力的设备执行时,执行根据权利要求1所述的方法。
CN201711327621.0A 2016-12-21 2017-12-13 一种用于在视频监控系统中生成警报的方法 Active CN108230594B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP16205866.3 2016-12-21
EP16205866.3A EP3340104A1 (en) 2016-12-21 2016-12-21 A method for generating alerts in a video surveillance system

Publications (2)

Publication Number Publication Date
CN108230594A true CN108230594A (zh) 2018-06-29
CN108230594B CN108230594B (zh) 2021-06-29

Family

ID=57755012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711327621.0A Active CN108230594B (zh) 2016-12-21 2017-12-13 一种用于在视频监控系统中生成警报的方法

Country Status (6)

Country Link
US (1) US10510234B2 (zh)
EP (1) EP3340104A1 (zh)
JP (1) JP2018139403A (zh)
KR (1) KR20180072561A (zh)
CN (1) CN108230594B (zh)
TW (1) TWI749113B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109831648A (zh) * 2019-01-24 2019-05-31 广州市天河区保安服务公司 防盗远程监控方法、装置、设备及存储介质
CN110956792A (zh) * 2018-09-26 2020-04-03 安讯士有限公司 用于转换警报的方法
CN112423021A (zh) * 2020-11-18 2021-02-26 北京有竹居网络技术有限公司 视频的处理方法、装置、可读介质和电子设备

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271847A (zh) 2018-08-01 2019-01-25 阿里巴巴集团控股有限公司 无人结算场景中异常检测方法、装置及设备
KR101942808B1 (ko) 2018-11-13 2019-01-29 주식회사 인텔리빅스 객체 이미지 인식 dcnn 기반 cctv 영상분석장치
KR102127276B1 (ko) 2018-12-11 2020-06-26 주식회사 인텔리빅스 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법
KR102194499B1 (ko) 2019-01-18 2020-12-23 주식회사 인텔리빅스 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 및 그 장치의 구동방법
RU196355U1 (ru) * 2019-06-26 2020-02-26 Леся Николаевна Анищенко Устройство для автоматизированного распознавания поведения с целью выявления агрессии
KR102201096B1 (ko) 2020-06-11 2021-01-11 주식회사 인텔리빅스 실시간 cctv 영상분석장치 및 그 장치의 구동방법
US20220083781A1 (en) * 2020-09-17 2022-03-17 Nec Laboratories America, Inc. Rule enabled compositional reasoning system
KR102259377B1 (ko) 2020-12-14 2021-05-31 김경환 인쇄용 롤러 거치장치
CN114694197A (zh) * 2020-12-29 2022-07-01 中兴通讯股份有限公司 行车预警方法、电子设备和计算机可读存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009076094A (ja) * 2008-11-20 2009-04-09 Panasonic Corp 移動物体監視装置
CN101622652A (zh) * 2007-02-08 2010-01-06 行为识别系统公司 行为识别系统
US20120274781A1 (en) * 2011-04-29 2012-11-01 Siemens Corporation Marginal space learning for multi-person tracking over mega pixel imagery
CN102968802A (zh) * 2012-11-28 2013-03-13 无锡港湾网络科技有限公司 一种基于视频监控的运动目标分析跟踪方法及系统
CN103119607A (zh) * 2010-07-08 2013-05-22 国际商业机器公司 根据视频的人的活动确定的优化
WO2013177586A1 (en) * 2012-05-25 2013-11-28 The Johns Hopkins University An integrated real-time tracking system for normal and anomaly tracking and the methods therefor
US20140341433A1 (en) * 2004-09-24 2014-11-20 Objectvideo, Inc. Method for finding paths in video
CN104363414A (zh) * 2014-10-31 2015-02-18 无锡悟莘科技有限公司 一种智能视频的分析方法
CN104915655A (zh) * 2015-06-15 2015-09-16 西安电子科技大学 一种多路监控视频的管理方法与设备
CN105554440A (zh) * 2014-10-27 2016-05-04 安讯士有限公司 监控方法和设备

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050146605A1 (en) 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
JP2003087771A (ja) * 2001-09-07 2003-03-20 Oki Electric Ind Co Ltd 監視システム及び方法
US7058205B2 (en) * 2001-12-07 2006-06-06 Xerox Corporation Robust, on-line, view-based appearance models for visual motion analysis and visual tracking
WO2005076852A2 (en) * 2004-02-04 2005-08-25 Perseus Wireless, Inc. Method and system for providing information to remote clients
US9094615B2 (en) * 2004-04-16 2015-07-28 Intheplay, Inc. Automatic event videoing, tracking and content generation
US20060018516A1 (en) * 2004-07-22 2006-01-26 Masoud Osama T Monitoring activity using video information
GB2429515B (en) * 2005-08-11 2008-06-25 Rolls Royce Plc Cooling method and apparatus
JP4318724B2 (ja) 2007-02-14 2009-08-26 パナソニック株式会社 監視カメラ及び監視カメラ制御方法
US20090036331A1 (en) * 2007-08-03 2009-02-05 Smith Ian D Hydraulic fluid compositions
US8525678B2 (en) 2007-08-21 2013-09-03 Nec Corporation Behavior monitoring system and behavior monitoring method
JP2010056720A (ja) * 2008-08-27 2010-03-11 Panasonic Corp ネットワークカメラおよびネットワークカメラシステム
FR2944629B1 (fr) * 2009-04-17 2017-01-20 Univ De Tech De Troyes Systeme et procede de localisation de cible par un reseau de cameras
MY176067A (en) 2009-08-24 2020-07-24 Mimos Berhad System and method to determine suspicious behavior
CN102457712A (zh) 2010-10-28 2012-05-16 鸿富锦精密工业(深圳)有限公司 可疑目标识别及追踪系统及方法
TWM406237U (en) * 2010-12-17 2011-06-21 Utechzone Co Ltd Intersection traffic pre-warning system
CN102752574B (zh) * 2011-04-18 2015-01-28 中兴通讯股份有限公司 一种视频监控系统及方法
AU2011201953B2 (en) * 2011-04-29 2013-09-19 Canon Kabushiki Kaisha Fault tolerant background modelling
CN102855462A (zh) 2011-07-01 2013-01-02 富士通株式会社 确定人体动作周期及识别人体动作的方法和装置
CN103106394A (zh) 2012-12-24 2013-05-15 厦门大学深圳研究院 一种视频监控中的人体行为识别方法
JP6474107B2 (ja) * 2013-06-28 2019-02-27 日本電気株式会社 映像監視システム、映像処理装置、映像処理方法および映像処理プログラム
CN105794191B (zh) * 2013-12-17 2019-04-09 夏普株式会社 识别数据传输装置及方法和识别数据记录装置及方法
IL236752B (en) * 2015-01-15 2019-10-31 Eran Jedwab An integrative security system and method
US9443320B1 (en) * 2015-05-18 2016-09-13 Xerox Corporation Multi-object tracking with generic object proposals
US9818043B2 (en) * 2015-06-24 2017-11-14 Microsoft Technology Licensing, Llc Real-time, model-based object detection and pose estimation
WO2017062645A1 (en) * 2015-10-06 2017-04-13 Evolv Technologies, Inc. Platform for gathering real-time analysis
US10297026B1 (en) * 2016-11-29 2019-05-21 Amazon Technologies, Inc. Tracking of a dynamic container in a video

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140341433A1 (en) * 2004-09-24 2014-11-20 Objectvideo, Inc. Method for finding paths in video
CN101622652A (zh) * 2007-02-08 2010-01-06 行为识别系统公司 行为识别系统
JP2009076094A (ja) * 2008-11-20 2009-04-09 Panasonic Corp 移動物体監視装置
CN103119607A (zh) * 2010-07-08 2013-05-22 国际商业机器公司 根据视频的人的活动确定的优化
US20120274781A1 (en) * 2011-04-29 2012-11-01 Siemens Corporation Marginal space learning for multi-person tracking over mega pixel imagery
WO2013177586A1 (en) * 2012-05-25 2013-11-28 The Johns Hopkins University An integrated real-time tracking system for normal and anomaly tracking and the methods therefor
CN102968802A (zh) * 2012-11-28 2013-03-13 无锡港湾网络科技有限公司 一种基于视频监控的运动目标分析跟踪方法及系统
CN105554440A (zh) * 2014-10-27 2016-05-04 安讯士有限公司 监控方法和设备
CN104363414A (zh) * 2014-10-31 2015-02-18 无锡悟莘科技有限公司 一种智能视频的分析方法
CN104915655A (zh) * 2015-06-15 2015-09-16 西安电子科技大学 一种多路监控视频的管理方法与设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956792A (zh) * 2018-09-26 2020-04-03 安讯士有限公司 用于转换警报的方法
CN109831648A (zh) * 2019-01-24 2019-05-31 广州市天河区保安服务公司 防盗远程监控方法、装置、设备及存储介质
CN112423021A (zh) * 2020-11-18 2021-02-26 北京有竹居网络技术有限公司 视频的处理方法、装置、可读介质和电子设备

Also Published As

Publication number Publication date
US10510234B2 (en) 2019-12-17
KR20180072561A (ko) 2018-06-29
TWI749113B (zh) 2021-12-11
TW201826141A (zh) 2018-07-16
EP3340104A1 (en) 2018-06-27
JP2018139403A (ja) 2018-09-06
CN108230594B (zh) 2021-06-29
US20180174412A1 (en) 2018-06-21

Similar Documents

Publication Publication Date Title
CN108230594A (zh) 一种用于在视频监控系统中生成警报的方法
KR102189205B1 (ko) 사람의 활동 개요 생성 시스템 및 방법
EP1346577B1 (en) Method and apparatus to select the best video frame to transmit to a remote station for cctv based residential security monitoring
CA2545535C (en) Video tripwire
US7760908B2 (en) Event packaged video sequence
EP1435170B1 (en) Video tripwire
US8566314B2 (en) System and related techniques for detecting and classifying features within data
KR101570339B1 (ko) 영상분석 서버를 통한 미래 발생범죄 예측 시스템
Caruccio et al. EDCAR: A knowledge representation framework to enhance automatic video surveillance
US11308777B2 (en) Image capturing apparatus with variable event detecting condition
CN109376577A (zh) 视频综合分析方法及系统
KR101372860B1 (ko) 영상 검색 시스템 및 영상 분석 서버
WO2018198373A1 (ja) 映像監視システム
Pandya et al. Smart home anti-theft system: a novel approach for near real-time monitoring, smart home security and large video data handling for wellness protocol
KR20100077662A (ko) 지능형 영상감시 시스템 및 영상감시 방법
Blauensteiner et al. A socio-technical approach for event detection in security critical infrastructure
KR20030040434A (ko) 지원 또는 증거 자료를 필요로 하는 사건을 검출하기 위한영상 기반 방법 및 장치
CN110188617A (zh) 一种机房智能监控方法及系统
Mohammed et al. Implementation of human detection on raspberry pi for smart surveillance
CN110262269B (zh) 运行控制方法、模块、系统、家电设备和可读存储介质
Aqeel et al. Detection of Anomaly in Videos Using Convolutional Autoencoder and Generative Adversarial Network model
Desurmont et al. A seamless modular approach for real-time video analysis for surveillance
Ziliani et al. Evaluation of multi-sensor surveillance event detectors
KALADY A REVIEW SMARTMONITOR-AN INTELLIGENT SECURITY SYSTEM
Duraes et al. Building modular surveillance systems based on multiple sources of information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant