CN105554440A - 监控方法和设备 - Google Patents

监控方法和设备 Download PDF

Info

Publication number
CN105554440A
CN105554440A CN201510690196.6A CN201510690196A CN105554440A CN 105554440 A CN105554440 A CN 105554440A CN 201510690196 A CN201510690196 A CN 201510690196A CN 105554440 A CN105554440 A CN 105554440A
Authority
CN
China
Prior art keywords
video
scene
superposition
motion
picture frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510690196.6A
Other languages
English (en)
Other versions
CN105554440B (zh
Inventor
卡尔-阿克塞尔·阿尔马
斯蒂芬·伦德贝里
约翰·文纳斯滕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN105554440A publication Critical patent/CN105554440A/zh
Application granted granted Critical
Publication of CN105554440B publication Critical patent/CN105554440B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19667—Details realated to data compression, encryption or encoding, e.g. resolution modes for reducing data volume to lower transmission bandwidth or memory requirements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19682—Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19697—Arrangements wherein non-video detectors generate an alarm themselves

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及监控方法和设备。本申请涉及包括来自传感器单元(108)的传感器数据作为来自监控场景(200)的摄像机(106)的视频流中的叠加(204)的方法和系统。所述叠加具有对应于场景区域(202a-f)的叠加区域(206a-f)，并且在所述传感器单元探测到场景区域中的运动时，将图形元素(208)添加到对应于所述场景区域的叠加区域中的叠加。随后，诸如目标特征探测或运动或改变探测之类的视频分析程序可用于确定在特定的场景区域中是否已由所述摄像机和所述传感器单元两者进行了探测。

Description

监控方法和设备
技术领域
本发明涉及用于监控场景的方法和设备。
背景技术
监控摄像机用于许多不同的应用中，室内以及室外两者。这些摄像机采集的视频通常发送到视频管理系统(VMS)，视频管理系统可对视频应用各种视频分析程序，例如，运动探测以及目标探测或识别，其中目标可例如是面部或车牌。分析程序的结果可记录为事件，事件随后可触发警告或被收集到不同的统计中，例如，为了对人员进行计数或对车辆进行计数的目的。VMS还可被设置成如果某些事件发生，则开启视频的记录。在一些情况下，监控摄像机本身还可具有分析采集的视频以及在本地实施各种视频分析程序的能力。
还存在不同类型的运动传感器，例如，检测热辐射的改变的被动红外(PIR)传感器。来自监控摄像机的视频上实施的视频分析程序以及运动传感器进行的运动探测两者有时可由监控的场景中不感兴趣的目标或运动触发。存在各种尝试以将摄像机的输出与其他类型的传感器结合。作为一个示例，PIR传感器可连接至监控摄像机的I/O端口，且在触发PIR传感器时，摄像机被设定成开启记录。还存在如何结合摄像机和其他传感器的输出的其他想法，但在此领域仍存在改进的空间。
发明内容
据此，本发明的一个目的因此在于提供一种结合监控摄像机和外部传感器(例如，运动探测传感器)的信息的方便的方式。
根据本发明的第一方面，一种视频编码单元包括第一数据输入，被设置成从监控场景的摄像机接收具有多个图像帧的视频流，第二数据输入，被设置成从探测多个预定场景区域中的运动的传感器单元接收传感器数据，以及处理单元，被设置成生成表示所述传感器数据的叠加，并且将所述叠加添加到所述视频流中的所述图像帧，其中所述叠加具有表示所述场景区域的多个叠加区域，其中所述叠加包括在表示场景区域的那些叠加区域中的图形元素，在所述场景区域中所述传感器数据表示所述传感器单元探测的运动。
以这种方式，传感器数据可以以方便的方式包括在视频流中。不必为传感器数据提供任何单独的通道，并且所述视频流可被处理，就如其没有叠加一样。常规的视频分析算法可用于在随后的阶段从所述视频流获取传感器数据，并且不必提供单独的硬件或软件发送或接收传感器数据。
所述图形元件可采用动画图形元素的形式。所述动画图形元素包括以下至少之一：例如通过旋转或通过变化位置在所述叠加区域内移动的图形元素，或例如通过改变形状、颜色或图案在不同的视觉状态之间交替的图形元素。使用动画元素意味着将容易通过常用的运动或目标探测方法探测图形元素，并且由此，以简单且方便的方式确定传感器单元探测具体的场景区域中的运动。
所述处理单元可设置成通过用形成所述图形元素的像素替换所述图像帧的一部分中的像素值，将所述叠加添加到所述图像帧，换句话说，可使用添加叠加的标准的程序容易地添加所述叠加。
在一些情况下，所述图像帧包括具有留出所述图像帧的一部分为空白的格式的所述场景的表示，并且随后所述处理单元被设置成将所述叠加添加到所述空白部分。这将给出这样的好处：不会有来自摄像机的信息被所述叠加掩藏，并且仅所述空白部分受影响。在所述视频流从具有广角或鱼眼镜头的摄像机接收时，该镜头给出具有空白区域围绕的场景的圆形表示，这特别有用。
作为一种选择，所述处理单元可被设置成将所述叠加添加到所述图像帧中的单独部分，并且被设置成通过以下中的任何方式来创建所述单独部分：通过为所述帧中的所述叠加添加单独部分来增加所述视频流中的所述图像帧的大小，或通过重新编码所述图像数据来减少所述图像帧中图像数据的大小，并且为所述帧中的所述叠加添加所述单独部分。通过这种方式，添加叠加时不会有来自所述摄像机的所述视频的信息的损失，所述摄像机图像中没有合适的区域用于添加叠加而不覆盖重要信息时，这是有用的。
根据本发明的另一方面，一种摄像机单元包括：摄像机，被设置成监控场景，传感器单元，被设置成探测多个预定场景区域中的运动，以及如上面描述的视频编码单元。所述传感器单元可包括PIR传感器阵列，其中每个PIR传感器被设置成通过检测所述场景区域中对应的一个场景区域中的热辐射的任何改变来探测运动。PIR传感器提供一种探测运动的成本划算且稳健的方式。此外，反馈到所述视频编码器并由所述视频编码器处理的数据的量占用非常小的带宽及处理功率。
此外，或作为一种可替代的方案，所述传感器单元可包括固定或旋转LIDAR传感器，被设置成通过检测到所述场景区域中目标的距离的任何改变来探测运动。LIDAR传感器给出比PIR阵列更详细的场景表示，并且所述视频编码单元可因此在生成结果叠加之前，进行所述LIDAR数据的额外的分析或过滤。例如，针对应添加到叠加的图形元素的运动，引起运动的目标的大小和运动的程度可用于过滤。
此外，或作为一种可替代的方案，所述传感器单元可包括超声波传感器阵列，设置成通过检测到所述场景区域中目标的距离的任何改变来探测运动。正如PIR传感器一样，超声波传感器是成本划算的选择。
此外，或作为一种可替代的方案，所述传感器单元可包括飞行时间传感器，被设置成通过检测到所述场景区域中目标的距离的任何改变来探测运动。
此外，或作为一种可替代的方案，所述传感器单元可包括结构光传感器，被设置成通过检测到所述场景区域中目标的距离的任何改变来探测运动。正如LIDAR传感器一样，所述TOF传感器以及所述结构光传感器给出比PIR阵列更详细的场景表示，且所述视频编码单元可因此在生成结果叠加之前，进行所述传感器数据的额外的分析或过滤。例如，针对应添加到叠加的图形元素的运动，引起运动的目标的大小或运动的程度可用于过滤。
此外，或作为一种可替代的方案，所述传感器单元可包括麦克风阵列，被设置成通过检测所述场景区域中来自目标的声音的任何改变来探测运动。作为示例，可识别某些类型的声音，例如脚步。声音数据不仅用于探测运动，也可用于其他类型的分析。
根据本发明的另一方面，一种视频管理系统，包括：第三数据输入，被设置成接收具有多个图像帧的视频流以及叠加，所述多个图像帧描绘具有多个预定场景区域的场景，所述叠加具有表示所述场景区域的叠加区域，以及视频分析单元，被设置成分析所述视频流，以及在场景区域中探测到目标并且在表示该场景区域的叠加区域中同时探测到图形元素时生成事件。
通过这种方式，在无需适应具体传感器数据通道的情况下，视频管理系统以比利用纯视频数据方便且简单的方式利用其它数据是可能的。将叠加区域中的探测与场景区域中的探测结合降低了错误告警的风险，例如，将阴影探测为视频中的目标时。叠加区域中的探测可因此视为场景的视频图像中的探测的验证。
所述视频分析单元可被设置成通过以下至少之一来探测所述场景区域中的目标：例如通过将当前图像帧与一个或多个之前的图像帧或背景模型进行比较来探测所述场景区域中的改变或运动，或通过探测具体目标类型的目标特征来探测目标的存在，所述具体目标类型的目标特征例如面部、人、车辆、车牌。类似的程序可用于叠加区域、或更具体地，所述视频分析单元被设置成通过以下至少之一探测所述叠加区域中的图形元素：例如通过将当前图像帧与一个或多个之前的图像帧或背景模型进行比较来探测所述图形元素的改变或运动，或通过探测具体的目标特征来探测所述图形元素的存在。
根据本发明的另一方面，一种视频监控系统，包括：上面描述的所述摄像机单元，所述摄像机单元进一步被设置成输出所述处理单元生成的所述视频流，以及也在上面描述的所述视频管理系统，并且所述视频管理系统被设置成接收所述生成的视频流。由此，实现了视频数据可容易地与来自运动传感器的传感器数据结合的系统，而不用增加向所述视频管理系统提供所述传感器数据的任何具体的通道。标准的视频分析程序可随后用于获取所述传感器数据，并将其与所述视频流中的探测结合，以实现更好的目标探测，随后将给出更少错误告警的风险。
根据本发明的另一方面，一种生成编码的视频流的方法，包括步骤：从监控场景的摄像机接收具有多个图像帧的视频流，从探测多个预定场景区域中的运动的传感器单元接收传感器数据，以及生成表示所述传感器数据的叠加，并且将所述叠加添加到所述视频流中的所述图像帧，其中所述叠加具有表示所述场景区域的多个叠加区域，并且其中所述叠加包括在表示场景区域的那些叠加区域中的图形元素，在所述场景区域中，所述传感器数据表示所述传感器单元探测的运动。。
根据本发明的另一方面，一种生成视频分析事件的方法，包括步骤：接收具有多个图像帧的视频流以及叠加，所述多个图像帧描绘具有多个预定场景区域的监控的场景，所述叠加具有表示所述场景区域的叠加区域，分析所述视频流，以及在场景区域中探测到目标并且在表示该场景区域的叠加区域中同时探测到图形元素时生成事件。
根据本发明的另一方面，一种视频监控方法，包括步骤：根据上面描述的方法生成编码的视频流，以及接收所述编码的视频流以及根据上面描述的方法生成视频分析事件。
与本发明的各方面有关的方法和本发明的上面描述的设备和系统的同样的好处相关联。
根据下面给出的详细的描述，本发明的适用性的进一步的范围将变得显而易见。然而，应理解，虽然表示本发明优选的实施例，但由于根据此详细的描述，本发明的范围内的各种改变和修改对于本领域的技术人员将变得显而易见，因此，仅通过说明的方式给出详细的描述以及具体示例。
因此，应理解，由于设备和方法可能变化，所以本发明不限于描述的设备的特定的部件部分或描述的方法的步骤。还应理解，本文中使用的术语仅为了描述特定的实施例的目的，且目的不在于限制。必须注意到，如说明书以及所附的权利要求中所使用的，冠词“一”、“一个”、“该”以及“所述”目的在于表示存在一个或多个元件，除非上下文另有明确规定。因此，例如，对“一个单元”或“该单元”的引用可包括几个设备，等等。再有，词“包含”、“包括”、“含有”及类似的用词不排除其他元件或步骤。
附图说明
现在将通过示例的方式并参照所附的示意图更详细的描述本文发明，其中：
图1图示一种视频监控系统。
图2示出一种图像帧。
图3示出另一个图像帧。
图4-图9示出摄像机单元的各种示例。
图10图示一种生成编码的视频流的方法。
图11图示一种生成视频分析事件的方法。
具体实施方式
图1示出包含摄像机单元102以及视频管理系统(VMS)104的视频监控系统100。摄像机单元102包含摄像机106、传感器单元108以及视频编码单元110。视频编码单元110具有第一输入114以及第二输入116，第一输入114从摄像机106接收视频图像，第二输入116从传感器单元108接收传感器数据。视频编码单元110还包含处理单元118。摄像机单元102直接或经由网络向视频管理系统104传送视频流。视频管理系统104经由第三数据输入112从摄像机单元接收该视频流。视频管理系统104包含视频分析单元120。
摄像机106通过采集场景200的图像来监控图2中图示的场景200。传感器单元108通过探测多个场景区域202a-202f中的任何场景中的运动也来监控场景200。传感器单元108具有根据场景区域202a-202f的分辨率或者更大的分辨率，表示传感器单元108至少探测运动在哪个场景区域202a-202f中发生是可能的，或者换句话说，场景区域202a、场景区域202b、场景区域202c等中是否发生运动。
存在传感器单元108中使用的传感器的几种可能的不同选择。图4-图9中图示了包括摄像机106以及传感器单元108的摄像机单元102的一些示例。摄像机单元的图示的示例中的任何一个可包括任何类型的描述的传感器单元或任何类型的其他传感器单元，且下面建议的传感器单元的结合以及图示的摄像机单元仅仅是示例。
作为第一示例，PIR传感器阵列可用于传感器单元中。PIR传感器中的每一个可通过检测对应的场景区域中的热变化来探测运动。通常，阵列中的每一个PIR传感器将设置成仅探测场景区域202a-202f中的一个区域中的运动。场景区域中的热变化解释为表示具有与其环境不同的温度的人或其他目标(例如，车辆或动物)已在该区域中移动。因此，在传感器单元是PIR传感器阵列时，通过传感器单元108可探测的场景中的运动将需要与这种热变化关联。PIR传感器阵列的变形可以是通常具有较低的分辨率的热成像摄像机。
PIR传感器阵列可例如用于摄像机单元102中，如图4或图6中示出的。在图4中，摄像机单元被设置成高高放在墙上，紧挨着天花板，且传感器单元中的传感器阵列被放在下面，紧挨着摄像机106。此摄像机单元会是监控房间或走廊时的方便的选择。在图6中，示出了适于安装在天花板上或天花板中的摄像机单元。传感器单元108中的传感器围绕摄像机106放置。在这种情况下，摄像机可具有广角或鱼眼镜头，其能够给出相当大面积的视野。
传感器单元108的另一种选择是固定或旋转LIDAR传感器，其通过用固定或旋转激光照明器照亮场景并分析反射光以找出场景区域中距离的任何改变，来测量距离。相应地，在任何场景区域中探测到的距离的改变解释为表示目标已在该场景区域中移动。
固定或旋转LIDAR传感器可例如如图5或图9中示出的那样放在摄像机单元中。图5中示出的摄像机单元类似于图4中示出的摄像机单元，但具有不同类型的传感器单元。图9中示出的摄像机单元可高高放在墙上的架子上，用于监控诸如便利店的内部之类的区域。
传感器单元108的又一种选择将是超声波传感器阵列，其通过解释来自发射的高频声波的回声来测量距离。任何场景区域中探测的距离的改变再次解释为表示目标已在该场景区域中移动。超声波传感器阵列可例如如图7中示出的那样放在摄像机单元中。图7中的摄像机可正如图6中图示的摄像机，装备广角或鱼眼镜头。
传感器单元108还可包含飞行时间(TOF)传感器，其通过测量发射的光到达目标并返回到摄像机需要的时间来测量距离。在任何场景区域中存在距离的改变时，这表示目标已在该场景区域中移动。
传感器单元108还可包含结构光传感器，其通过将已知图案的光投射到场景上并分析此图案的形变方式来测量距离。场景区域中目标的移动探测为图案的形变中的改变。
TOF传感器或结构光传感器可例如如图8中示出的那样放在摄像机单元中。在这里，传感器单元108和摄像机106是两个独立的单元，一起形成摄像机单元102。图8中的传感器单元108安装在箱式摄像机106上，其例如可用于监控室外场景，例如停车场。
根据另一种变形，传感器单元108可包含麦克风阵列，其通过分析源自场景区域的声音来探测移动。与麦克风阵列有关的、确定移动的声音是场景中的移动的表示。另一种选择将是探测符合某些声音模式的声音，例如来自脚步的声音。麦克风阵列可例如如图7中图示的那样放在摄像机单元中。
返回到图1，视频编码单元110从监控场景200的摄像机106接收视频流并从传感器单元108接收传感器数据。视频编码单元118创建使传感器数据可见的叠加204，并将此叠加添加到来自摄像机106的视频流。如图2中示出的，叠加204包含多个叠加区域206a-206f，叠加区域206a-206f中的每一个表示对应的场景区域202a-202f。图2(和图3)中标记场景区域202a-202f以及叠加区域206a-206f的虚线现实中在图像中不一定存在。在传感器数据表示探测到运动的那些场景区域中，对应的叠加区域包含图形元素208。
在图2中示出的示例中，传感器数据表示在视频中探测到场景区域202c中目标210的运动，且因此，叠加区域206c包括图形元素208。图形元素208可采用不同的形式，通常，其将是特定的图形符号或动画元素。动画元素可例如是例如通过旋转或通过在叠加区域内移动其位置(例如，如图2中表示的来回移动)而在叠加区域中移动的图形元素或符号。
动画图形元素还可以是例如通过改变其颜色、图案或甚至形状而在两种或多种不同的视觉状态之间交替的图形元素。图形元素可例如在黑白之间变化，或在两种不同的形状(例如，圆形或方形)之间交替。另一种选择是使整个叠加区域在两种视觉状态之间交替，以创建区域的“闪烁”。另一种选择将是使用可选地移动或滚动的文本作为图形元素，文本例如说“PIR传感器探测到的运动”或与之类似。可基于视频管理系统处的视频分析单元的能力(即，探测程序可用什么类型的运动或目标)选择图形元素的特性。
在图2中，图形元素是叠加区域中如箭头指示的来回移动的圆或球。在图2示出的示例中，叠加204放在图像的底部。还可放在图像帧的侧面或顶部。叠加204可放在图像数据的顶部上，或者换句话说，图像像素数据可改变成图像区域中的叠加204的像素数据。放置叠加204的区域将优选地是图像中期望没有重要信息的区域。这通常将意味着帧的底部或顶部。如果叠加接近图像的一个或多个边缘放置，则这对于用户来说是最方便的，但这不是必需的。
在图3中，示出了一种变形，其中来自摄像机106的图像数据未占据整个图像帧。这将是装备广角或鱼眼镜头的摄像机106的情况。如所图示的，围绕场景的圆形表示存在叠加204的空间，且叠加区域206a-206f紧挨着对应的扇形场景区域202a-202f放置。在图3中示出的示例中，表示在场景区域202c中检测到目标210的移动的图形元素208简单地填充叠加区域206c，图形元素208可选地可闪光或闪烁，即，在两种颜色之间交替。
叠加204的放置的另一种选择是：操控视频流以创建叠加204的位置，其不在来自摄像机106的任何图像数据的顶部。这可例如通过改变视频的大小来实现，例如，通过在用于叠加204的图像的底部添加少许像素行。另一种选择是将来自摄像机106的图像重新编码成更小的尺寸，且然后使用不再用于图像数据的像素显示叠加204。
不管叠加204以何种方式放在图像帧中，结果可描述为视频流，其在每帧中以两种方式表示场景200：来自摄像机106的视频图像以及提供如传感器单元108同时检测的场景200中的移动的可视化的叠加204。
向VMS104发送视频流，在VMS通过视频分析单元122分析视频流。视频分析单元112可例如通过将图像帧与一个或多个之前的帧进行比较，或通过将图像帧与背景模型进行比较，来实施任何类型的视频运动探测或目标探测。视频分析单元112可通过识别各种目标特征，例如通过使用Viola-Jones类型探测框架中的级联的目标分类器来探测目标，Viola-Jones类型探测框架例如P.Viola和M.Jones在关于计算机视觉与模式识别的IEEE计算机学会会议议程中的名为“简单特征的优化级联在快速目标检测中的应用”(“Rapidobjectdetectionusingaboostedcascadeofsimplefeatures”)的文章中描述的。
视频分析单元112有利地被设置成探测实际的视频图像内和叠加204内两者的运动、改变或目标，以及将某个场景区域202a-202f中的探测与对应的叠加区域206a-206f中的探测关联，使得在场景区域和对应的叠加区域两者中都存在探测时产生事件。在存在希望用外部运动传感器补充监控摄像机，且摄像机连接至除了视频流之外没有能力接收任何其他数据的VMS的场景中，这尤其有利。由于传感器数据被表示为通过VMS接收的视频流的图像帧中的叠加，所以没有必要从传感器单元向视频管理系统提供单独的传感器数据流。相反地，VMS可使用标准的目标或运动探测方法，从叠加提取该信息，并将该信息与从视频帧本身的分析中提取的信息结合。
在图10中，图示生成编码的视频流的方法1000。在步骤1002，从摄相机接收视频流，并从传感器单元接收传感器数据。在步骤1004，根据传感器数据生成叠加，该叠加表示通过传感器单元在场景的哪个区域中探测到运动，且随后在步骤1006，将叠加添加到视频流，以生成编码的视频流。
在图11，图示生成视频分析事件的方法1100。在步骤1102，接收方法1000的步骤1006中生成的编码的视频流。在步骤1104，使用标准的视频分析程序分析此编码的视频流，以探测场景区域和叠加区域两者中的运动和/或目标。随后在步骤1106，在场景区域和对应的叠加区域两者中都进行了探测时，生成事件。
总而言之，本文描述了包括来自传感器单元108的传感器数据作为来自监控场景200的摄像机106的视频流中的叠加204的方法和系统。叠加具有对应于场景区域202a-202f的叠加区域206a-206f，且在传感器单元探测场景区域中的运动时，图形元素208被添加到对应于该场景区域的叠加区域中的叠加。诸如目标特征探测或运动或改变探测之类的视频分析程序可随后用于确定是否已由摄像机和传感器单元两者在特定的区域进行了探测。
所描述的实施例的几种变形是可能的。作为一种示例，视频管理系统和摄像机单元可以被设置在一个单元中，或可驻留在网络中的不同的节点。视频分析单元和视频编码单元的任务可由一个或同一处理单元实施，或在不同的处理单元中实施。
所描述的实施例的另一种变形将是在来自摄像机的视频中还添加探测的运动或目标的叠加。在这种情况下，可在摄像机单元分析视频，且随后，视频编码单元将在视频中添加描述探测的另一个叠加。这对于可视化摄像机进行的运动或目标探测是有用的。VMS可选择以探测“摄像机运动探测”叠加中的运动和/或场景的视频图像中的运动。在不同的叠加区域中添加来自几个传感器单元的信息也将是可能的，或者甚至在同样的叠加区域使用不同的图形符号以供不同的传感器单元或摄像机本身进行探测也将是可能的。
附图标记列表
100视频监控系统
102摄像机单元
104视频管理系统
106摄像机
108传感器单元
110视频编码单元
112编码的视频流的数据输入
114来自摄像机的视频流的数据输入
116传感器数据的数据输入
118处理单元
120视频分析单元
200场景
202a-f场景区域
204叠加
206a-f叠加区域
208图形元素

Claims (15)

1.一种视频编码单元，包括：
第一数据输入，被设置成从监控场景的摄像机接收具有多个图像帧的视频流，
第二数据输入，被设置成从探测多个预定场景区域中的运动的传感器单元接收传感器数据，
处理单元，被设置成生成表示所述传感器数据的叠加，并且将所述叠加添加到所述视频流中的所述图像帧，其中所述叠加具有表示所述场景区域的多个叠加区域，其中所述叠加包括在表示场景区域的那些叠加区域中的图形元素，在所述场景区域中所述传感器数据表示所述传感器单元探测的运动。
2.根据权利要求1所述的视频编码单元，其中所述图形元素是动画图形元素。
3.根据权利要求2所述的视频编码单元，其中所述动画图形元素包括以下至少之一：
例如通过旋转或通过变化位置在所述叠加区域内移动的图形元素，
例如通过改变形状、颜色或图案在不同的视觉状态之间交替的图形元素。
4.根据权利要求1所述的视频编码单元，其中所述处理单元被设置成通过用形成所述图形元素的像素替换所述图像帧的一部分中的像素值，将所述叠加添加到所述图像帧。
5.根据权利要求1所述的视频编码单元，其中所述图像帧包括具有留出所述图像帧的一部分为空白的格式的所述场景的表示，并且其中所述处理单元被设置成将所述叠加添加到所述空白部分。
6.根据权利要求1至3中任一项所述的视频编码单元，其中所述处理单元被设置成将所述叠加添加到所述图像帧中的单独部分，并且被设置成通过以下中的任何方式来创建所述单独部分：
通过为所述帧中的所述叠加添加单独部分来增加所述视频流中的所述图像帧的大小，
通过重新编码所述图像数据来减少所述图像帧中图像数据的大小，并且为所述帧中的所述叠加添加所述单独部分。
7.一种摄像机单元，包括：
摄像机，被设置成监控场景，
传感器单元，被设置成探测多个预定场景区域中的运动，
根据权利要求1所述的视频编码单元。
8.根据权利要求7所述的摄像机单元，其中所述传感器单元包括以下至少之一：
PIR传感器阵列，其中每个PIR传感器被设置成通过检测所述场景区域中对应的一个场景区域中的热辐射的任何改变来探测运动，
固定或旋转LIDAR传感器，被设置成通过检测到所述场景区域中目标的距离的任何改变来探测运动，
超声波传感器阵列，被设置成通过检测到所述场景区域中目标的距离的任何改变来探测运动，
飞行时间传感器，被设置成通过检测到所述场景区域中目标的距离的任何改变来探测运动，
结构光传感器，被设置成通过检测到所述场景区域中目标的距离的任何改变来探测运动，
麦克风阵列，被设置成通过检测所述场景区域中来自目标的声音的任何改变来探测运动。
9.一种视频管理系统，包括：
第三数据输入，被设置成接收具有多个图像帧的视频流以及叠加，所述多个图像帧描绘具有多个预定场景区域的场景，所述叠加具有表示所述场景区域的叠加区域，
视频分析单元，被设置成分析所述视频流，以及在场景区域中探测到目标并且在表示该场景区域的叠加区域中同时探测到图形元素时生成事件。
10.根据权利要求9所述的视频管理系统，其中所述视频分析单元被设置成通过以下至少之一来探测所述场景区域中的目标：
例如通过将当前图像帧与一个或多个之前的图像帧或背景模型进行比较来探测所述场景区域中的改变或运动，
通过探测具体目标类型的目标特征来探测目标的存在，所述具体目标类型的目标特征例如面部、人、车辆、车牌。
11.根据权利要求9或10所述的视频管理系统，其中所述视频分析单元被设置成通过以下至少之一探测所述叠加区域中的图形元素：
例如通过将当前图像帧与一个或多个之前的图像帧或背景模型进行比较来探测所述图形元素的改变或运动，
通过探测具体的目标特征来探测所述图形元素的存在。
12.一种视频监控系统，包括：
根据权利要求7所述的摄像机单元，所述摄像机单元进一步被设置成输出所述处理单元生成的所述视频流，
根据权利要求9所述的视频管理系统，所述视频管理系统被设置成接收所述生成的视频流。
13.一种生成编码的视频流的方法，包括步骤：
从监控场景的摄像机接收具有多个图像帧的视频流，
从探测多个预定场景区域中的运动的传感器单元接收传感器数据，
生成表示所述传感器数据的叠加，并且将所述叠加添加到所述视频流中的所述图像帧，其中所述叠加具有表示所述场景区域的多个叠加区域，并且其中所述叠加包括在表示场景区域的那些叠加区域中的图形元素，在所述场景区域中，所述传感器数据表示所述传感器单元探测的运动。
14.一种生成视频分析事件的方法，包括步骤：
接收具有多个图像帧的视频流以及叠加，所述多个图像帧描绘具有多个预定场景区域的监控的场景，所述叠加具有表示所述场景区域的叠加区域，
分析所述视频流，以及在场景区域中探测到目标并且在表示该场景区域的叠加区域中同时探测到图形元素时生成事件。
15.一种视频监控方法，包括步骤：
根据权利要求13所述的方法生成编码的视频流，
接收所述编码的视频流并且根据权利要求14所述的方法生成视频分析事件。
CN201510690196.6A 2014-10-27 2015-10-22 监控方法和设备 Active CN105554440B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14190460.7A EP3016382B1 (en) 2014-10-27 2014-10-27 Monitoring methods and devices
EP14190460.7 2014-10-27

Publications (2)

Publication Number Publication Date
CN105554440A true CN105554440A (zh) 2016-05-04
CN105554440B CN105554440B (zh) 2017-08-01

Family

ID=51868773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510690196.6A Active CN105554440B (zh) 2014-10-27 2015-10-22 监控方法和设备

Country Status (4)

Country Link
US (1) US10084972B2 (zh)
EP (1) EP3016382B1 (zh)
JP (1) JP6313270B2 (zh)
CN (1) CN105554440B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106341666A (zh) * 2016-10-13 2017-01-18 浪潮（苏州）金融技术服务有限公司 一种通过动态区域捕捉技术有效减少视频文件体积的方法
CN108230594A (zh) * 2016-12-21 2018-06-29 安讯士有限公司 一种用于在视频监控系统中生成警报的方法
CN110120061A (zh) * 2018-02-05 2019-08-13 杭州萤石软件有限公司 一种运动对象监控方法、装置、系统及电子设备
CN110557676A (zh) * 2018-05-30 2019-12-10 罗技欧洲公司 用于确定和推荐场景的视频内容活动区域的系统和方法
CN111031278A (zh) * 2019-11-25 2020-04-17 广州恒龙信息技术有限公司 一种基于结构光和tof的监控方法和系统
CN113343031A (zh) * 2021-06-10 2021-09-03 浙江大华技术股份有限公司 数据添加方法及装置、存储介质、电子装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10142538B2 (en) * 2015-02-24 2018-11-27 Redrock Microsystems, Llc LIDAR assisted focusing device
US11322261B2 (en) * 2016-04-08 2022-05-03 19Labs Inc. System and method for implementing augmented reality during telehealth sessions in a telehealth device
KR101951874B1 (ko) * 2017-01-10 2019-05-10 주식회사 무스마 실시간 인코딩 장치 및 실시간 인코딩 방법
KR102471073B1 (ko) * 2017-12-18 2022-11-25 삼성전자주식회사 전자 장치 및 그 동작방법
EP3503028B1 (en) * 2017-12-21 2020-02-12 Axis AB Setting of a motion trigger level
DE102018204768B4 (de) 2018-03-28 2022-09-01 Magna Telemotive Gmbh Vorrichtung zur Bilderkennung
AU2019374741B2 (en) * 2018-11-06 2023-02-02 Motorola Solutions, Inc. Method and system for displaying video streams
US12056922B2 (en) 2019-04-26 2024-08-06 Samsara Inc. Event notification system
US11787413B2 (en) * 2019-04-26 2023-10-17 Samsara Inc. Baseline event detection system
EP3836538B1 (en) * 2019-12-09 2022-01-26 Axis AB Displaying a video stream
LU101563B1 (en) * 2019-12-20 2021-06-21 Luxembourg Inst Science & Tech List Networked apparatus, system and method for monitoring transient occupancy
CN111491124B (zh) * 2020-04-17 2023-02-17 维沃移动通信有限公司 视频处理方法、装置及电子设备
CN112929662B (zh) * 2021-01-29 2022-09-30 中国科学技术大学 解决码流结构化图像编码方法中对象重叠问题的编码方法
WO2024203208A1 (ja) * 2023-03-24 2024-10-03 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、信号処理方法、プログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1191467A (ja) 1997-09-19 1999-04-06 Fujitsu General Ltd 後方監視カメラ装置
US6871782B2 (en) * 1999-10-08 2005-03-29 Canon Kabushiki Kaisha User programmable smart card interface system having an arbitrary mapping
US7522186B2 (en) 2000-03-07 2009-04-21 L-3 Communications Corporation Method and apparatus for providing immersive surveillance
US6965645B2 (en) * 2001-09-25 2005-11-15 Microsoft Corporation Content-based characterization of video frame sequences
US20050259149A1 (en) 2004-05-24 2005-11-24 Paris Smaragdis Surveillance system with acoustically augmented video monitoring
US8395664B2 (en) * 2006-09-13 2013-03-12 Smartvue Corp. Wireless surveillance system and method for 3-D visualization and user-controlled analytics of captured data
NL1028743C1 (nl) 2005-04-12 2005-05-17 Internova Holding Bvba Beveiligingssysteem, en alarm-verificatiesysteem.
US9172937B2 (en) * 2006-03-31 2015-10-27 Qurio Holdings, Inc. Timed events during recorded media playback
US20080050092A1 (en) 2006-08-25 2008-02-28 Forrest Lee Erickson Video overlay text/ graphic inserter for exception video trigger
US20080074494A1 (en) 2006-09-26 2008-03-27 Harris Corporation Video Surveillance System Providing Tracking of a Moving Object in a Geospatial Model and Related Methods
US9036902B2 (en) * 2007-01-29 2015-05-19 Intellivision Technologies Corporation Detector for chemical, biological and/or radiological attacks
JP2009227450A (ja) 2008-03-25 2009-10-08 Mitsubishi Electric Corp エレベータのかご内監視装置
US20100020166A1 (en) 2008-07-25 2010-01-28 Robert Levine Environmental hazard warning system
US8159344B2 (en) * 2008-10-28 2012-04-17 Honeywell International, Inc. Microwave motion detectors utilizing multi-frequency ranging and target angle detection
JP2010182021A (ja) 2009-02-04 2010-08-19 Mitsubishi Electric Corp 画像監視システム
US9738223B2 (en) 2012-05-31 2017-08-22 GM Global Technology Operations LLC Dynamic guideline overlay with image cropping

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106341666A (zh) * 2016-10-13 2017-01-18 浪潮（苏州）金融技术服务有限公司 一种通过动态区域捕捉技术有效减少视频文件体积的方法
CN108230594A (zh) * 2016-12-21 2018-06-29 安讯士有限公司 一种用于在视频监控系统中生成警报的方法
CN110120061A (zh) * 2018-02-05 2019-08-13 杭州萤石软件有限公司 一种运动对象监控方法、装置、系统及电子设备
CN110557676A (zh) * 2018-05-30 2019-12-10 罗技欧洲公司 用于确定和推荐场景的视频内容活动区域的系统和方法
CN111031278A (zh) * 2019-11-25 2020-04-17 广州恒龙信息技术有限公司 一种基于结构光和tof的监控方法和系统
CN113343031A (zh) * 2021-06-10 2021-09-03 浙江大华技术股份有限公司 数据添加方法及装置、存储介质、电子装置
CN113343031B (zh) * 2021-06-10 2023-03-24 浙江大华技术股份有限公司 数据添加方法及装置、存储介质、电子装置

Also Published As

Publication number Publication date
CN105554440B (zh) 2017-08-01
US20160119553A1 (en) 2016-04-28
JP2016086416A (ja) 2016-05-19
US10084972B2 (en) 2018-09-25
JP6313270B2 (ja) 2018-04-18
EP3016382B1 (en) 2016-11-30
EP3016382A1 (en) 2016-05-04

Similar Documents

Publication Publication Date Title
CN105554440A (zh) 监控方法和设备
CA3088774C (en) Sensor fusion for monitoring an object-of-interest in a region
Haering et al. The evolution of video surveillance: an overview
US20220319183A1 (en) System for tracking and visualizing objects and a method therefor
US10354144B2 (en) Video camera scene translation
Fan et al. Heterogeneous information fusion and visualization for a large-scale intelligent video surveillance system
CN107223332B (zh) 基于声学相机的音频视觉场景分析
US7796154B2 (en) Automatic multiscale image acquisition from a steerable camera
EP2531952B1 (en) System and method for 2d occupancy sensing
US20070052807A1 (en) System and method for user monitoring interface of 3-D video streams from multiple cameras
US20070052858A1 (en) System and method for analyzing and monitoring 3-D video streams from multiple cameras
KR20160088129A (ko) 다중 비디오써머리제공방법 및 장치
CN107122743B (zh) 安防监控方法、装置和电子设备
Callemein et al. Anyone here? Smart embedded low-resolution omnidirectional video sensor to measure room occupancy
US10979675B2 (en) Video monitoring apparatus for displaying event information
KR102710645B1 (ko) 객체 썸네일 처리장치 및 그 장치의 구동방법
EP3819817A1 (en) A method and system of evaluating the valid analysis region of a specific scene
CN117011729A (zh) 一种无人机人体异常行为检测的方法及系统
US20210142481A1 (en) Method and System of Evaluating the Valid Analysis Region of a Specific Scene
Yuen et al. A user-centric control and navigation for augmented virtual environment surveillance application
Guerra Homography based multiple camera detection of camouflaged targets
Flores Guerra Homography based multiple camera detection of camouflaged targets

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant