CN108235017B - 用于检测事件的方法和装置 - Google Patents

用于检测事件的方法和装置 Download PDF

Info

Publication number
CN108235017B
CN108235017B CN201711295624.0A CN201711295624A CN108235017B CN 108235017 B CN108235017 B CN 108235017B CN 201711295624 A CN201711295624 A CN 201711295624A CN 108235017 B CN108235017 B CN 108235017B
Authority
CN
China
Prior art keywords
data
event
camera
data rate
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711295624.0A
Other languages
English (en)
Other versions
CN108235017A (zh
Inventor
维克托·埃德帕尔姆
埃瑞克·安德松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN108235017A publication Critical patent/CN108235017A/zh
Application granted granted Critical
Publication of CN108235017B publication Critical patent/CN108235017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Holo Graphy (AREA)

Abstract

本发明涉及用于检测事件的方法和装置。该方法包括：重复地记录表示由编码器产生的数据量的值，该编码器通过时间压缩对来自场景的视频进行编码；通过将所记录的值的特性与预定特性进行比较来确定编码后的视频所表示的场景中是否发生了特定事件；并且响应于确定事件发生而生成事件信号。

Description

用于检测事件的方法和装置
技术领域
本发明涉及从捕获的视频中检测事件。更具体地说，本发明涉及用于在捕获的视频中检测事件的方法和装置。
背景技术
今天的大多数监控、监视和安全系统包括用于捕捉和生成视频的设备。通常，分析捕获的视频以检测特定事件的发生。这种事件的例子是运动检测、对象检测、侵入检测。检测这些类型的事件需要大量的处理能力。这种对高处理能力的要求可能会限制在捕获视频的低处理能力摄像机中提供事件检测的可能性。使用较小处理能力摄像机的一个原因可能是高处理能力摄像机的价格较高。另一个原因可能是，具有高处理能力的摄像机比具有较小处理能力的摄像机需要更多的电能，并且可能无法将该电能的量提供给摄像机的位置。因此，需要一种使得事件检测需要较小的计算能力的方法。
发明内容
本发明的一个目的是使得事件检测需要较小的处理能力。
该目的通过用于检测事件的方法来实现。
更具体地，根据本发明的一些实施例，用于检测事件的方法包括：重复地记录指示由编码器产生的数据量的值，该编码器通过时间压缩对来自场景的视频进行编码；通过将所记录的值的特性与预定特性进行比较来确定编码后的视频所表示的场景中是否发生了特定事件；并且，响应于确定事件发生而生成事件信号。通过记录在视频的编码中生成的数据量，然后使用该数据来确定捕获的视频中是否发生了事件，可以节省处理能力，这是由于可以在不处理所有图像数据的大量分析的情况下进行确定。事实上可能还有另外的优点，即确定所需的数据较少，亦即用于分析的数据的传输可能导致较小的网络负载，使得能够确定事件或者特定事件是否发生的数据的存储可以需要更小的存储容量。
在进一步的实施例中，在确定特定事件是否发生的行为中比较的特性可以是来自一组特性中的任何特性或特性的任何组合，该一组特性包括：所记录的值以高于第一预定阈值的速率增加；至少一个所记录的值高于第二预定阈值；所记录的值以大于第三预定阈值的速率下降；和，在一段时间上的值的积分超过第四预定阈值。采用这些特征中的任何一个特征的优点是，为了从表示由编码器生成的数据量的所记录的值计算出该特征，不需要大量的处理能力或存储器。
而且，基于表示一系列对应值的描述，可以通过将表示一系列所记录的值的特征与预定事件特征进行匹配，来确定和识别特定事件。对所记录的值的序列进行匹配的优点可以是可以检测和识别更具体的事件和/或更复杂的事件。
在又一些实施例中，通过将表示一系列所记录的值的特征与表示正常状态的描述进行比较来确定事件，并且其中如果所记录的值的序列以大于预定值的程度不同于正常状态，则确定发生了这样的事件。如果特征与正常状态特征不同则确定事件发生的优点是，确定可以是非常有效的，这是因为通过与少数特征进行比较就可以检测到许多事件，甚至未预料的事件或未知的事件。
根据另外的实施例，通过测量从先前记录值的时间起包括由编码器产生的数据的传输的数据量，获得指示由编码器产生的数据量的每个重复地记录的值。而且，传输的数据的测量可以从上一个被记录的值的时间开始进行。
一些实施例可以进一步包括将所记录的值存储在数据库中，其中确定特定事件是否发生的动作是对记录在数据库中的值进行的。
其它实施例可以进一步包括通过网络将所记录的值传送到客户端，其中确定特定事件是否发生的动作由客户端进行。
在一些实施例中，表示值随时间增加的所记录的值的特征指示对象进入编码后的视频中的场景。这个特征的优点是确定更复杂事件的特征变得可能。
在进一步的实施例中，所记录的值的特征是值本身，并且其中通过将所记录的值与预定的第一阈值进行比较来识别穿过场景的第一对象类型，并且其中通过将所记录的值与预定的第二阈值进行比较来识别穿过场景的第二对象类型。
根据一些实施例，确定特定事件是否发生的动作仅针对大于预定阈值的所记录的值执行，这种确定方案的优点是非常简单并且需要非常小的处理能力来操作。
在一些实施例中，表示包括未经时间编码的图像帧的数据的值在确定特定事件是否发生的行为中不被使用。不基于非时间编码图像帧确定事件的优点在于，因为非时间编码帧不携带任何与视频中的移动有关的信息，所以即使进一步节省处理能力，也不会降低确定的精度。
在另外的实施例中，该方法还包括每次确定特定事件的发生时，递增计数器。这样的优点是，可以实现需要低处理能力的计数器，例如人计数器、车辆计数器、通用对象计数器。这样的计数器可以例如在具有有限资源的摄像机或具有有限资源或至少有限的空闲资源中的另一设备中实现。在一些实施例中，该方法进一步包括每次确定特定事件的发生时，递增与该特定事件相关的计数器。由此，存在为特定的事件布置的计数器，这可以导致为不同的对象(例如人、动物、车辆等)、或者针对不同的事件(例如跑步、走路、留下物体等)，布置单独的计数器。
根据下面给出的详细描述，本发明的进一步适用范围将变得显而易见。然而，应该理解的是，由于在本发明的范围内的各种变化和修改将通过该详细的描述对于本领域技术人员变得显而易见，因此指示本发明的优选实施例的详细描述和具体示例仅仅是以示例的方式给出的。由此，应该理解的是，本发明不限于所描述的装置的特定组成部分或所描述的方法的步骤，这是因为这样的装置和方法可以变化。还应该理解，这里使用的术语仅仅是为了描述特定实施例的目的，而不是限制性的。必须注意的是，如在说明书和所附权利要求中所使用的，除非上下文另有明确规定，“一”、“该”和“所述”旨在表示存在一个或多个元件。因此，例如，对“传感器”或“该传感器”的引用可以包括若干传感器等。此外，词语“包括”不排除其它元件或步骤。
附图说明
本发明的其它特征和优点将通过下面参照附图的优选实施例的详细说明而变得显而易见，附图中：
图1是可以包括本发明实施例的实现的系统的示意图；
图2是根据本发明实施例的摄像机的框图；
图3是表示数据速率经过一段时间的曲线图，示出了可以用于本发明实施例的该曲线图的特征；和
图4是根据本发明实施例的用于生成事件信号的过程的流程图。
此外，在附图中，相同的附图标记在全部附图中表示相同或相应的部件。
具体实施方式
本发明涉及事件检测系统和用于检测事件的方法。参见图1，事件检测系统可以是包括多个监视摄像机12a-c、通信网络14、系统管理设备16a-b和数据存储设备18 的系统。监视摄像机12a-c可以是能够捕获运动视频的任何类型的联网监视摄像机。通信网络14可以是任何有线或无线通信网络，或者可以是各种有线和/或无线网络的任何组合，例如局域网(LAN)、广域网(WAN)、互联网、蜂窝网络、Wi-Fi等。系统管理设备16a-b可以是具有使得操作员能够与系统中的设备交互或者接收与事件检测有关的信息的显示器的任何计算设备。数据存储设备18可以是网络附加存储单元 (NAS)、文件服务器、视频服务器或任何其它数据存储单元。
现在参照图2，系统中使用的监视摄像机12被布置为将场景的运动视频捕获为数字数据。因此，监视摄像机12包括将来自场景的光引导到图像传感器42上的至少一个透镜40。图像传感器42和图像处理器44将光转换为表示所捕获的图像的数字数据。此外，摄像机12被布置为捕获多个图像以提供用于生成运动视频的数据。然后，表示运动视频的数据在编码器46中被编码，编码器46使用时间压缩方案对运动视频进行编码。摄像机可以是捕获可见光的相机、IR相机、ToF相机(飞行时间相机)等。
时间压缩方案是通过不将每个帧编码为单独且完整的图像来减小压缩视频尺寸的方案。被完全编码的帧被称为帧内帧(intra frames)，这是因为这些帧基于当前编码的图像帧中的信息被完全编码。视频中的所有其它帧由指定自上一帧起的改变的数据来表示，即表示这些帧的数据表示与其它帧的差异。这些帧被称为增量帧间帧，这是因为这些帧取决于其它帧中的数据。帧间帧可以与在一些编码方案中被称为P帧的先前帧相关，但是可替代地，帧间帧可以与被称为B帧的先前帧和未来帧相关。
运动视频在编码器46中的编码减少了将表示运动视频的数据量。在编码器46中使用的编码方案的示例是H.264、H.265、MPEG-2第二部分、MPEG-4第二部分等。在一些摄像机12中，在运动视频的编码之前和/或之后，甚至更多地分析和/或处理运动视频。在这样的摄像机12中，处理单元48可以被布置为用于这种类型的分析和/ 或处理。许多摄像机12还需要易失性存储器50和/或非易失性存储器52用于程序的操作和数据的存储。
在运动视频通过网络14传输之前，视频数据由通信协议管理，然后在物理上适应连接到摄像机的网络。图2中的网络接口54可以被视为以本领域技术人员已知的任何方式进行这些操作的设备或模块。摄像机中的设备和模块之间的通信可以通过直接的单独的物理连接，或数据总线，或两者的组合来实现，这些通信实现在图2中由内部通信路径56表示。
本发明的事件检测系统被设计为使用比分析视频流的所有像素以检测事件的系统更小的处理能力来检测事件。当涉及检测存储的数据，即表示较旧的记录的存储的数据中的事件时，表示较长时间段的数据中的事件检测将比使用分析视频流的所有像素以检测事件的系统更快。这些优点是通过分析摄像机12的时间压缩视频编码器46产生的数据量来实现的，摄像机12正在捕获在其中需要事件检测的场景的运动视频。编码器46产生的数据量取决于连续捕获的图像帧之间的变化的量。例如，相比于具有大量移动的场景的图像序列，基本上没有移动对象的场景的图像序列将导致更少的编码数据。由此，编码步骤之后的数据量在很大程度上取决于连续地捕获的图像的变化。这也可以被描述为由编码器46生成的被编码的图像数据的量取决于受场景中的移动影响的图像传感器上的像素的数量。例如，相比于远离摄像机的对象或小对象，靠近摄像机的对象或场景中的大对象将影响图像传感器上的更多像素。因此，数据量是图像信息的时间压缩的效果。
根据本发明的实施例，在包括所监视的场景的运动视频的数据流中，表示每单位时间的数据量的多个数据速率被顺序地测量和记录(register)。从而，记录了表示数据速率随时间变化的数据集。可以从系统中的各个位置测量或获取数据速率。例如，可以在摄像机的编码器46处、在摄像机的网络接口54处、在网络14中的交换机或路由器处、在系统管理设备16a-b中的网络接口或解码器处、或者在网络存储设备18中的网络接口或解码器处，测量或获取数据速率。可以在表示图像流的流上直接测量数据速率，但也可以通过测量传输运动视频的网络数据包的数据速率来测量。测量数据流的数据速率或任何数据传输的过程对于本领域技术人员来说是公知的。表示随着时间的数据速率的数据集可以使用非常少量的数据表示，特别是与表示运动视频流所需的数据相比较。例如，考虑在表示数据速率随时间的变化的数据集中包括表示用于表示图像流中的每个图像的数据量的值或数据条目。如果摄像机是一个一千万像素的摄像机，则使用任何标准编码器，帧内帧的大小，即空间编码的帧内帧的大小约为2.5MB。即使是使用无损编码方案进行编码的一千万像素帧也不会有比10MB更大的尺寸。为了记录表示0MB-10MB之间的每个大小的值或数据条目，只需要三个字节，这是因为三个字节将能够表示超过1600万的值。如果数据速率的分辨率不是那么重要，甚至可能使用两个或一个字节来表示数据速率。无论如何，相比于用于表示一个帧内帧的数据，表示数据集当中的数据速率所需的数据可以容易地小近百万倍。在流媒体视频(streaming video)中，每帧使用的数据当然会更小，这是因为帧间帧是时间编码的。然而，所使用的数据集可以不需要包括每个帧的大小，而是可以表示预定时间段内的累积数据量。在一个实施例中，帧大小被作为数据速率的表示记录。帧大小指示对帧进行编码所需的数据量。帧大小使用4个字节(32位)进行记录，并且为每一帧记录帧大小。以每秒30帧捕获帧，相应地本发明用于检测事件的数据在本实施例中可以是 0.12Kb/s。这远远低于6000Kb/s的正常运动视频流的数据速率。
独立于图像流中的图像的编码的确切实现以及在数据集中用于表示数据集中的每个值或数据条目的分辨率(即字节数)，当使用数据速率数据集而不是图像流的图像时，必须处理的数据量的差异是巨大的。在存储方面又获得了另一个巨大的收益，这是因为只有一小部分数据需要存储。例如，监视系统可以仅存储发生感兴趣事件的时间段的运动视频数据，并存储整个监视时间段的数据速率值。然后，所存储的数据速率值可以被搜索和/或分析以过滤出特定的事件。然后，还可以使用数据速率值以确认没有存储运动视频的时间段没有发生事件。而且，一般而言，所存储的数据速率数据集可以被用来在记录的视频中搜索感兴趣的视频序列是有益的。分析数据速率集的另一个优点是可以在不损害场景中存在的人员的完整性的情况下，分析场景中的事件。
在图3中，通过根据时间绘制数据速率来说明数据集的示例。该图的数据集是通过记录表示摄像机捕获的视频流中每个图像帧的数据的量而实现的。在当前的数据集中，通过简单地移除表示帧内帧的每个值，消除了帧内帧的影响。可替代地，去除帧内帧可以被实施为去除高于最大阈值的所有数据值。去除帧内帧的优点是，当你不必考虑每个帧内帧的数据速率的峰值时，分析数据速率将变得更简单。特别是由于帧内帧不提供与帧之间的移动或改变有关的信息，这是因为帧内帧是空间编码的而不是时间编码的。以这种方式，数据集将利用在时间编码器中帧间的固有移动指示，而不受帧内帧的高数据量值的干扰。
导致图3的曲线的监视场景是道路，并且摄像机被布置为在道路的纵向方向上捕获来自道路上方的视频。通过简单地查看曲线就可以识别各种事件。例如，每个峰的高度都能识别车辆的大小，至少是车辆在最近点经过摄像机时的相对大小。由此，可能通过仅关注曲线中的峰值来得出经过摄像机的车辆的尺寸的结论。此外，峰的每一侧的曲线的陡峭性揭示了车辆的行驶方向。曲线的陡峭部分是离开场景的车辆的摄像机编码视频的结果，或者是在靠近摄像机的点到达场景的车辆的摄像机编码视频的结果，即，当捕获的车辆的图像大时，离开或到达场景导致由于车辆的原因而在短时间内很多像素改变。曲线在峰的另一侧的不太陡峭的部分是车辆在捕获的场景中从远处朝向摄像机行驶或在场景中从摄像机驶离的结果。这是车辆在场景中相对较长时间的结果，并且慢慢被看出为越来越小，距离摄像机渐行渐远。
现在参考图3中的曲线104，从上面的推理可以看出，第一峰106表示诸如面包车或卡车的大型汽车驶向摄像机。这是从曲线的以下的外观推导出的：曲线108通向峰106的部分可以被识别为表示在场景中长时间行驶的车辆，直到它到达靠近摄像机的位置，从而导致不太陡峭的曲线。曲线108的不太陡峭的部分在曲线的峰106的顶部之前被记录的事实表明车辆正在场景中朝向摄像机行驶。相应地，如上所述，曲线 110在峰的随后侧的部分是陡峭的，指示车辆正在靠近摄像机处离开场景。
第二峰112表示在场景中从摄像机驶离的轿车。由峰112的高度表示的轿车的大小，并且通过曲线114的通向峰112的陡峭部分和曲线116的在峰之后的不太陡峭的部分来确定的行进方向。峰118表示驶离摄像机的另一大型车辆，而峰120和峰122 各自可以表示驶离摄像机的轿车。
曲线104的最后一个峰124高于表示大型车辆的峰，并且当查看曲线126、128的在峰124的每一侧的部分的陡度时，发现两个部分都不太陡峭。这些指示使得有可能得出以下结论：峰表示两辆正在彼此相反方向上行驶的车辆。
因此，可以使用表示时间编码的视频数据的数据速率的曲线104的特征来识别或者至少指示特定的事件。例如，可以设置阈值以指示像是场景中的运动的事件，例如，如果数据速率超过阈值，则触发事件。表示朝向摄像机行驶或远离摄像机行驶的对象的事件可以通过分析在峰的每一侧的曲线的部分的导数来识别，即，如上所述计算曲线的这些部分的陡度。这样的陡度值，例如，梯度，也可以用于指示速度事件，例如可以根据曲线的陡度来计算对象的速度。曲线下面的面积也可用于分析事件。该面积可用于确定车辆的速度、车辆的大小以及许多其它事情。
又一替代方案是生成表示各种事件的模型，这些事件在表示数据速率针对时间的曲线中可识别，然后通过使用这些模型识别特定事件。可以通过以下方式来形成这样的模型：识别和记录表示特定事件的曲线的一部分的特定特征的组合，或者记录典型事件、并且如果记录的曲线相比于已记录的典型曲线没有改变超过预定的量，将事件识别为该事件。也可以通过使用深度学习来形成模型，例如，将神经网络训练为通过时间编码视频的数据速率的输入来识别特定事件。
另一个应用是创建一个模型，该模型表示通常应该在场景中发生的事件，然后在所记录的数据速率从该模型改变时，触发警报。例如，该系统可以用于勘察铁路轨道。通过分析曲线的特征或者通过使用神经网络方法训练系统，形成表示轨道上经过的列车的模型。然后，系统可以被设置为指示何时检测到不适合模型的事件。由此，这可以用来检测轨道上的动物或人，这是因为像轨道上的动物或人的事件的数据速率曲线很可能与表示列车的模型显著不同。
用于检测事件的数据速率分析可用于许多应用中。如上所述，用于检测事件的数据速率分析可以用于交通监控和火车轨道监视。其它使用领域是监视工厂中的过程，例如对传送带上的产品进行计数，如果数据速率序列(即经过一段时间的数据速率) 的一些或多个特性、或者这样的数据速率序列的一段或多段与“正常”特性或段不同，则产生警报，以例如指示与预期过程不一致等。如上所述，特征可以由诸如数据速率值、梯度、面积的特定数据点表示，而段可以由该时间段上的曲线的形状来表示。此外，检测事件的方法可用于监控建筑物或场所以检测可疑和/或危险的活动。这种检测事件的方法也可以用于控制楼宇自动化系统，如照明、供暖、通风等。
上述使用案例是使用来自一个或多个摄像机的实时数据速率呈现的。然而，有利地，数据速率数据也可以被存储用于以后的分析。数据不需要太多的存储空间，并且当您想要查找特定事件的时间点以研究该事件的视频时，数据可以非常有用。在这种特殊情况下，视频将会可用，但是，用于搜索事件时，数据速率数据的效率要高得多，这是因为要分析的数据要少得多。因此，存储和使用数据速率信息供以后使用是一个很大的优点。
现在参照描绘本发明的实施例的过程200的图4的流程图。该过程包括记录每个指示从特定时间点开始的数据速率的连续值(步骤202)。这些值可以基于摄像机中的编码器提供的信息、基于通过测量从编码器输出的数据的量所获得的值、基于诸如网络流量的由网络接口提供的值等。如在上面的示例中所呈现的，每个值和/或系列的值表示所记录的值的特性，并且与表示至少一个事件的对应的预定特性进行比较(步骤204)。如果比较指示值或系列的值表示事件(步骤206)，则生成事件信号(步骤 208)，然后过程返回到步骤202，以记录指示由编码器产生的数据的数据速率的额外的值。事件信号可以是内部信号或传送到其它系统或设备的信号。例如，信号可以指示表示检测到对象的事件，该信号可以在内部被发送到计数器以便针对对象的数量进行计数。此外，事件信号可以是承载事件的数据的信号，例如，中等大小的车辆以60 km/h的速度在向西的方向上经过。此外，事件信号可以是警报信号。技术人员将认识到事件信号的多种变化。如果比较没有指示任何事件的发生(步骤206)，则该过程直接返回到步骤202，以记录指示由编码器产生的数据的数据速率的额外的值。该过程可以在实时数据上执行，例如，当数据被产生并且值被生成时执行，或者该过程可以在存储的数据上执行，例如，数据被存储在一些存储设备中并被解析以检测所存储的数据中的事件。
步骤204中的比较可以包括结合图3的数据速率曲线所讨论的特征中的任何一个或任何组合。例如，比较的特征可以是正在被与阈值比较的数据速率的值，该阈值指示场景中是否有足够的改变来触发运动事件。特征可以是与曲线中的单个数据条目或多个连续数据速率值有关的变化的导数，即陡度。可以将这样的导数与预定阈值进行比较以指示事件。另一个可以比较的特征是数据速率值的积分，即曲线下的面积。这样的面积可以在数据速率超过阈值的两个时间点之间测量或者简单地在预定的时间帧上测量。比较可以包括将一组特征与预定的一组特征(例如，上述特征的任何组合) 进行比较。另外，一组特征可以包括来自不同时间点的多个特征。例如，可以通过检测第一导数，然后检测峰值并且最后检测第二导数来检测指示轿车正在朝向或远离摄像机行使的事件。然后，可以将这组特征值与一组预定特征进行比较。
而且，该系统可以通过将系统的所有功能布置在摄像机中来实现，即摄像机包括用于执行根据本发明实施例的过程的装置。例如，摄像机12从编码器46，从网络接口或者，从摄像机中的任何其它数据速率提取点获取数据速率值，并且将数据速率值存储在存储器50、52中，以与在摄像机执行的程序中设置的特征进行比较，该程序被摄像机执行以用于现场地或从历史数据速率中检测事件。然后，摄像机可以响应于事件检测来传送事件标识符。
可替代地，可以在经由网络连接到摄像机并接收流运动视频的任何设备中实现该系统。这样的设备，例如系统管理设备16a-b、数据存储设备18等，可以测量在运动视频流中接收到的数据的量并且自己执行过程。该设备也可以是诸如文件服务器、NAS 等的存储设备，该存储设备被布置为存储从针对被接收以进行存储的数据的测量获得的数据速率、或者在另一个位置获得的数据速率。
在另一个替代方案中，系统的操作分布在多个设备上。例如，摄像机12可以测量并生成数据速率值，并将数据速率值发送到存储设备18以进行存储，并将数据速率值发送到系统管理设备16a-b以进行现场事件检测。而且，系统管理设备16a-b也可以被布置为获得存储在存储设备处的历史数据速率值，并且分析历史数据速率值以进行事件检测。
表示场景中发生的事件的数据速率值和数据速率值序列的特性可以非常依赖于由摄像机捕获的景观，例如，摄像机是否是被从上面沿道路或路径的纵向定向，或者摄像机是否是被安装来捕获经过者在图像中从左向右移动的场景。相应地，摄像机的视角可以决定可能检测到的事件的类型。
上面的示例都是针对固定式摄像机给出的，但是摄像机也可以是移动摄像机。例如，摄像机可以安装在无人机或UAV(无人驾驶飞行器)中，或者摄像机可以是车辆中的仪表板摄像机。
而且，事件检测可以被用在布置有隐私区域以保护人们的隐私的系统中。根据本发明的事件检测器可以在不泄露任何个人可识别的信息的情况下，分析整个场景以便产生事件。

Claims (8)

1.一种用于检测事件的方法，包括：
重复地记录指示在编码器生成的数据流中每单位时间的数据量的值，从而记录表示数据速率随时间的变化的数据集，所述编码器通过时间压缩对来自场景的视频进行编码；并且
通过分析在所述数据集的所述数据速率相对于时间的表示的峰的两侧上的部分的导数，来检测表示对象朝向或远离用于捕捉所述场景的摄像机行驶的事件。
2.根据权利要求1所述的方法，进一步包括：将所述数据集存储在数据库中，其中检测事件的动作是对在所述数据库中存储的所述数据集进行的。
3.根据权利要求1所述的方法，进一步包括：通过网络将所述数据集传送到客户端，其中检测事件的动作由所述客户端进行。
4.根据权利要求1所述的方法，进一步包括：通过分析所述数据集的所述数据速率相对于时间的所述表示的所述部分的陡度，来指示触发事件检测的对象的速度。
5.根据权利要求1所述的方法，进一步包括：通过分析所述峰的高度，来识别触发事件检测的对象的大小。
6.根据权利要求1所述的方法，其中，在所述数据集中不包括表示包括未经时间编码的图像帧的数据的值。
7.根据权利要求1至6中任一项所述的方法，进一步包括：在每次检测到事件发生时，递增计数器。
8.根据权利要求1至6中任一项所述的方法，进一步包括：在每次识别出特定事件的发生时，递增与所述特定事件相关的计数器。
CN201711295624.0A 2016-12-21 2017-12-08 用于检测事件的方法和装置 Active CN108235017B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16205867.1 2016-12-21
EP16205867.1A EP3340105A1 (en) 2016-12-21 2016-12-21 Method for and apparatus for detecting events

Publications (2)

Publication Number Publication Date
CN108235017A CN108235017A (zh) 2018-06-29
CN108235017B true CN108235017B (zh) 2022-12-30

Family

ID=57755013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711295624.0A Active CN108235017B (zh) 2016-12-21 2017-12-08 用于检测事件的方法和装置

Country Status (6)

Country Link
US (1) US11055856B2 (zh)
EP (1) EP3340105A1 (zh)
JP (1) JP7036579B2 (zh)
KR (1) KR102386804B1 (zh)
CN (1) CN108235017B (zh)
TW (1) TWI767950B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522451B (zh) * 2018-12-13 2024-02-27 连尚（新昌）网络科技有限公司 重复视频检测方法和装置
US10904637B2 (en) * 2018-12-17 2021-01-26 Qualcomm Incorporated Embedded rendering engine for media data
US10867201B2 (en) * 2019-01-15 2020-12-15 Waymo Llc Detecting sensor occlusion with compressed image data
CN111105581B (zh) * 2019-12-20 2022-03-15 上海寒武纪信息科技有限公司 智能预警方法及相关产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1599904A (zh) * 2001-12-06 2005-03-23 皇家飞利浦电子股份有限公司 自适应环境系统和提供自适应环境的方法
CN1666528A (zh) * 2002-07-05 2005-09-07 阿斯佩克特斯有限公司 在大量并行图像序列中有效进行事件检测的方法和系统
CN102340625A (zh) * 2010-07-16 2012-02-01 安讯士有限公司 事件启动的视频捕获方法及捕获事件启动的视频的摄像机

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0491589A (ja) 1990-08-06 1992-03-25 Sharp Corp 移動物体検知装置
JP3206386B2 (ja) * 1994-12-29 2001-09-10 日本ビクター株式会社 ビデオ記録装置
JPH10197543A (ja) 1997-01-10 1998-07-31 Nippon Telegr & Teleph Corp <Ntt> 時系列画像動き計測方法および装置
US6574279B1 (en) * 2000-02-02 2003-06-03 Mitsubishi Electric Research Laboratories, Inc. Video transcoding using syntactic and semantic clues
US7006666B2 (en) * 2001-11-21 2006-02-28 Etreppid Technologies, Llc Method and apparatus for detecting and reacting to occurrence of an event
JP2004032551A (ja) 2002-06-27 2004-01-29 Seiko Epson Corp 画像処理方法、画像処理装置及びプロジェクタ
KR100838816B1 (ko) * 2002-08-24 2008-06-17 엘지전자 주식회사 동영상 검색 방법
WO2005039181A1 (ja) 2003-10-21 2005-04-28 Matsushita Electric Industrial Co., Ltd. 監視装置
JP4232114B2 (ja) 2006-02-17 2009-03-04 ソニー株式会社 データ処理装置およびデータ処理方法、並びにプログラム
JP2008131611A (ja) * 2006-11-27 2008-06-05 Victor Co Of Japan Ltd 監視装置、監視画像の記録方法、監視画像の送信方法、監視画像の記録制御プログラム、及び監視画像の送信制御プログラム
KR20080073844A (ko) * 2007-02-07 2008-08-12 주식회사 엠아이비전 통계적인 기법을 적용한 영상 검색 방법
EP2213000B1 (en) * 2007-07-16 2014-04-02 Telchemy, Incorporated Method and system for content estimation of packet video streams
WO2009054119A1 (ja) 2007-10-26 2009-04-30 Panasonic Corporation 状況判定装置、状況判定方法、状況判定プログラム、異常判定装置、異常判定方法、異常判定プログラムおよび混雑推定装置
JP2009118332A (ja) * 2007-11-08 2009-05-28 Nippon Hoso Kyokai <Nhk> トリガ信号発生装置
JP4982472B2 (ja) 2008-12-15 2012-07-25 日本電信電話株式会社 映像監視システム、映像監視方法および映像監視プログラム
WO2012098078A2 (en) * 2011-01-21 2012-07-26 Siemens Aktiengesellschaft Method for processing a compressed video stream
CN102136195B (zh) 2011-03-28 2013-05-01 长安大学 一种基于图像纹理检测道路交通状况的方法
CN102395030B (zh) 2011-11-18 2014-05-07 杭州海康威视数字技术股份有限公司 基于视频压缩码流的运动分析方法、码流转换方法及其装置
CN105027550B (zh) * 2012-11-06 2018-04-06 阿尔卡特朗讯公司 用于处理视觉信息以检测事件的系统和方法
JP6421422B2 (ja) * 2014-03-05 2018-11-14 日本電気株式会社 映像解析装置、監視装置、監視システムおよび映像解析方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1599904A (zh) * 2001-12-06 2005-03-23 皇家飞利浦电子股份有限公司 自适应环境系统和提供自适应环境的方法
CN1666528A (zh) * 2002-07-05 2005-09-07 阿斯佩克特斯有限公司 在大量并行图像序列中有效进行事件检测的方法和系统
CN102340625A (zh) * 2010-07-16 2012-02-01 安讯士有限公司 事件启动的视频捕获方法及捕获事件启动的视频的摄像机

Also Published As

Publication number Publication date
TWI767950B (zh) 2022-06-21
TW201840187A (zh) 2018-11-01
JP2018125846A (ja) 2018-08-09
CN108235017A (zh) 2018-06-29
KR102386804B1 (ko) 2022-04-14
US11055856B2 (en) 2021-07-06
KR20180072547A (ko) 2018-06-29
US20180174306A1 (en) 2018-06-21
JP7036579B2 (ja) 2022-03-15
EP3340105A1 (en) 2018-06-27

Similar Documents

Publication Publication Date Title
CN108235017B (zh) 用于检测事件的方法和装置
US10824872B2 (en) Method for identifying events in a motion video
CN108073890B (zh) 用于由相机所捕获的视频序列中的动作识别的方法和系统
US9424747B2 (en) Vehicle counting methods and systems utilizing compressed video streams
US9286516B2 (en) Method and systems of classifying a vehicle using motion vectors
US20190110047A1 (en) Thermal-image based video compression systems and methods
GB2507395A (en) Estimating vehicle speed from video stream motion vectors
US20180082436A1 (en) Image processing apparatus, image processing system, and image processing method
CN107547617B (zh) 一种交通事故信息收集方法及装置
JP6915219B2 (ja) コンピュータ実施方法、撮像システム、及び画像処理システム
CN103150899B (zh) 监测道路交通信息的方法、装置及系统
US8934020B2 (en) Integrated video quantization
Gasparini et al. Anomaly detection, localization and classification for railway inspection
CN201142737Y (zh) 用于ip网络视频监控系统的前端监控装置
CN117409588A (zh) 一种基于地磁视频数据融合的交通异常监测方法及系统
US10769907B2 (en) Counter-flow detection in compressed video
JP7031817B2 (ja) 監視システム、監視プログラム、および、記憶媒体
Mukanahallipatna Simha et al. Evaluating the impact of lossy compression on ADAS deep learning models using fisheye cameras
CN114220037A (zh) 对象识别方法、装置及系统
DE102013206150A1 (de) Fahrzeugzählverfahren und -systeme, die komprimierte videoströme verwenden

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant