CN114554140A - 视频监视系统、视频管理方法和数字装置 - Google Patents

视频监视系统、视频管理方法和数字装置 Download PDF

Info

Publication number
CN114554140A
CN114554140A CN202111332001.2A CN202111332001A CN114554140A CN 114554140 A CN114554140 A CN 114554140A CN 202111332001 A CN202111332001 A CN 202111332001A CN 114554140 A CN114554140 A CN 114554140A
Authority
CN
China
Prior art keywords
video
video stream
stream
streams
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111332001.2A
Other languages
English (en)
Inventor
K·马里耶
B·诺顿
D·S·约根森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maishitong System Co ltd
Original Assignee
Maishitong System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maishitong System Co ltd filed Critical Maishitong System Co ltd
Publication of CN114554140A publication Critical patent/CN114554140A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal

Abstract

本公开的一方面涉及视频监视系统、视频管理方法和数字装置，视频监视系统包括视频管理系统和一或多个数字装置，一或多个数字装置各自被配置为模拟至少一个物理视频照相机，并且经由计算机网络将视频流和/或视频元数据发送到视频接收系统，其中视频管理系统包括：输入接口，用于从相应的一或多个视频照相机和/或其它视频源接收一或多个视频流；处理单元，被配置为从输入接口接收一或多个输入视频流并且将输入视频流存储在视频储存库中，各输入视频流对应于所接收的视频流中的相应视频流；以及输出接口，被配置为经由计算机网络将输入视频流中的一或多个输入视频流和/或所存储的视频流中的一或多个视频流发送到数字装置中的一或多个数字装置。

Description

视频监视系统、视频管理方法和数字装置
技术领域
本公开大体上涉及视频监视系统。
背景技术
现代视频监视系统已经发展成高度复杂且通常异构(heterogeneous)的系统，其包括经由联网基础设施绑定在一起并且借助于高级管理软件控制的大量不同的外围装置和计算机硬件元件。现代视频监视系统的一个重要组件是允许接收、存储和处理来自一个或多个视频照相机的视频流的视频记录和处理系统。
例如，US2015/0215583公开了一种视频监视系统，其包括互联网协议(“IP”)照相机、网络和具有管理资源、视频存储资源以及查看和控制资源的云计算资源。IP照相机和云计算资源经由网络连接。IP照相机独立地访问各个云计算资源。连接到网络的装置的应用软件从IP照相机的视频数据中辨识一个或多个感兴趣对象以供提取。
视频管理系统(也称为视频管理软件或视频管理服务器)是照相机监视系统的组件，其提供视频管理服务，诸如以下各项中的一项或多项：从一个或多个视频照相机收集一个或多个视频流；将接收到的一个或多个视频流存储到存储装置；以及提供界面以查看接收到的一个或多个实况视频流以及/或者访问一个或多个存储的视频流。
在这个快速发展的领域中，监视系统，特别是视频管理系统因此面临着支持、应对和利用来自大量不同供应商的各种不同硬件装置的持续挑战，其中各个硬件装置通常具有其自己的驱动器组件和/或接口，诸如其自己的应用编程接口(API)。
此外，通常期望监视系统，特别是视频管理系统是通用的，并且可以用于可能施加不同需求或要求的不同类型的应用中。此外，在监视系统中施加的需求和要求可能随时间而变化。
在该背景下，通常期望提供一种用于视频监视系统的视频管理系统，该视频管理系统是灵活的并且便于视频监视系统容易地适应不同的需要以及/或者容易地适应不同硬件组件的能力。
发明内容
本公开中描述的至少一些方面的目的是解决上述一个或多个问题以及/或者与现有视频监视系统相关联的其它问题，或者至少提供已知系统的替代方案。
根据一个方面，本文公开了包括视频管理系统以及计算机实现的一个或多个数字装置的视频监视系统的实施例。一个或多个数字装置中的各个数字装置被配置为模拟用于经由计算机网络将视频流和/或视频元数据发送到视频接收系统的至少一个物理视频照相机，该视频接收系统可以远离数字装置。根据本发明，一个或多个数字装置中的各个数字装置被配置为通过提供一个或多个接口来模拟物理视频照相机，所述接口允许视频接收系统通过检索视频流和/或进行照相机设置来与该数字装置通信，如同该数字装置是物理视频照相机一样。一个或多个数字装置中的各个数字装置还被配置为经由一个或多个接口将所述视频流和/或视频元数据输出到所述视频接收系统。视频管理系统包括：
输入接口，用于从相应的一个或多个视频照相机以及/或者从一个或多个其它视频源接收一个或多个视频流；
处理单元，其被配置为从输入接口接收一个或多个输入视频流并且将所述输入视频流存储在视频储存库中，各个输入视频流对应于所接收的视频流中的相应视频流；以及
输出接口，其被配置为经由计算机网络将输入视频流中的一个或多个输入视频流以及/或者所存储的视频流中的一个或多个视频流发送到数字装置中的一个或多个数字装置。
因此，即使对于由没有高级能力的视频照相机拍摄的视频流，监视系统也允许以灵活的方式创建定制的处理视频流和/或元数据。此外，当数字装置为用户安装应用程序提供执行环境时，视频处理的类型可以在任何时间容易地适配，特别是通过在数字装置上安装期望的应用程序。此外，数字装置的实施例可以由与物理视频照相机分离并远离物理视频照相机的数字装置数据处理系统来实现。特别地，数字装置的一些实施例可以集成到视频管理系统中，而数字装置的其它实施例可以由远离实现视频管理系统的视频管理数据处理系统的数字装置数据处理系统来实现。例如，数字装置的一些实施例可以在远离视频管理系统数据处理系统的远程计算基础设施上执行，诸如在云基础设施上执行。因此，数字装置的数量以及由数字装置托管的应用程序的数量和复杂性是容易缩放的，并且不受视频照相机的硬件限制或者执行视频管理软件的视频管理数据处理系统的可用计算能力的限制。通常，视频照相机可以是监视照相机，诸如IP监视照相机、联网监视照相机等，或其它类型的视频照相机。
视频管理系统可以被实现为在视频管理数据处理系统上执行的视频管理计算机程序。特别地，视频管理系统可以包括视频记录服务器，其可以被实现为由视频管理数据处理系统执行的记录服务器处理，其中记录服务器被配置为接收和存储输入视频流并且将输入视频流发送到一个或多个数字装置中的至少一个数字装置。
为此，视频管理数据处理系统可以包括一个或多个处理单元以及存储有程序代码的存储器，该程序代码被配置为当由一个或多个处理单元执行时实现视频管理系统，特别是记录服务器处理。实现视频管理系统的数据处理系统通常(但不一定)安装在视频照相机所在的设施的场所上，从而避免了通过公共通信网络从视频照相机传输视频流的需要。在一些实施例中，视频管理数据处理系统经由本地计算机网络(诸如局域网等)连接到一个或多个视频照相机，从而促进视频管理系统高效地接收大数据量，特别是不依赖于外部互联网连接。
由视频管理系统接收的视频流是数字视频流，例如，以相应的视频数据流的形式。数字视频流可以是使用合适的视频编码协议(诸如H.264或H.265等)编码的编码视频流。视频管理系统可以将输入视频流存储为编码视频流。类似地，输出接口可以提供输入视频流和/或先前存储的视频流作为适当编码的视频流。
视频储存库(repository)可以是用于存储媒体内容(特别是视频内容)的合适的数据存储装置。特别地，视频储存库可以是合适的媒体数据库，特别是视频数据库。视频储存库可以被实现为视频管理数据处理系统的一部分，或者视频储存库可以由与视频管理数据处理系统(特别是与记录服务器)通信连接的单独的数据处理系统来实现。
在一些实施例中，视频管理系统被配置为将输入视频流发送到一个或多个数字装置(诸如一个或多个远程数字装置等)中的至少一个数字装置，并且同时将输入视频流存储在视频储存库中，即数字装置可以准实时地接收和处理视频流作为实况视频馈送。因此，由数字装置生成的视频流和/或元数据可以准实时地馈送到视频接收系统中，例如，用于由操作者准实时或实况查看。
根据另一方面，本文公开计算机实现的数字装置的实施例，该数字装置被配置为模拟用于经由计算机网络向视频接收系统发送视频流和/或视频元数据的至少一个物理视频照相机，该视频接收系统可以远离数字装置。因此，数字装置被配置为作为视频源(诸如视频服务器)而操作，用于经由计算机网络将视频流和/或视频元数据发送到视频接收系统。数字装置可以实现用于处理所接收的视频流的视频流水线。该处理可以得到经处理的视频流和/或视频元数据。
计算机实现的数字装置模拟至少一个物理视频照相机，即，数字装置被配置为提供一个或多个接口，该接口允许外部系统(例如，如上所述的视频接收系统)通过检索视频流和/或进行照相机设置来与该数字装置通信，如同该数字装置是物理视频照相机一样。因此，数字装置被配置/构造为向视频接收系统给予物理视频照相机的呈现。特别地，计算机实现的数字装置的实施例包括视频接收系统(其可以远离计算机实现的数字装置)可访问的一个或多个接口，使得视频接收系统可以以与物理视频照相机相同的方式与计算机实现的数字装置交互。对于视频接收系统，计算机实现的数字装置可能与物理视频照相机不可区分。例如，数字装置可以被视频接收系统识别为计算机网络上的视频照相机。然而，应当理解，数字装置不包括用于光学拍摄视频图像的任何光学系统、图像传感器等。代替地，数字装置被配置为接收视频流，特别是从视频管理系统接收视频流。数字装置被配置为经由一个或多个接口输出所接收的视频流或所接收的视频流的经处理版本，使得视频接收系统以与视频接收系统从物理视频照相机接收视频流相同的方式从数字装置接收可选地处理的视频流。因此，计算机实现的数字装置可以被认为是虚拟数字装置。数字装置还可以输出视频元数据。
根据本发明，一个或多个物理视频照相机可以系连至相同的数字装置。例如，可以有利地为系连至相同数字装置并观看相同目标区域(或场景)的若干物理视频照相机提供不同的能力，例如，具有不同的视场或不同的分辨率。与连接到相同数字装置的其它物理视频照相机相比，这些物理视频照相机之一可以例如具有更窄的视场。更一般地，这些物理视频照相机可以出于独立的原因而操作，诸如用于显示目标区域的不同和/或互补视图或细节。在若干物理视频照相机系连至相同数字装置的这种情况下，该数字装置可以有利地被配置为针对一个或多个用户安装应用程序提供相同的执行环境，从而允许利用相同的一个或多个用户安装应用程序来处理所接收的视频流的至少一部分(即，得到经处理的视频流和/或与所接收的视频流相关联的视频元数据)。例如，数字装置可以为被配置为在从系连到该数字装置的不同物理视频照相机接收的视频流中执行面部识别的用户安装应用程序提供执行环境。
相反地，一个物理视频照相机可以系连至若干数字装置。换句话说，物理视频照相机可以被模拟若干次。例如，从该物理视频照相机接收的视频流可以由第一数字装置上的第一应用程序处理，以检测所接收的视频流中的人面部，并且相同的所接收的视频流可以由第二数字装置上的第二应用程序处理，以检测所接收的视频流中的车辆。替代地或附加地，所接收的视频流可以在相同数字装置上被多次处理和/或可以在其它数字装置上被进一步处理。例如，可以例如在其它数字装置上和/或利用其它用户安装应用程序，进一步处理已经由用户安装应用程序检测到人面部的经处理的视频流，以对检测到的人面部执行面部识别。
根据本发明的一个或多个数字装置中的各个数字装置独立于其被系连至(或被系连至它们)的一个或多个物理视频照相机而操作。换句话说，各个数字装置具有该数字装置被系连至(或被系连至该数字装置)的一个或多个物理视频照相机的属性，但具有其自己的寿命。因此，所述一个或多个数字装置不与虚拟化视频照相机或虚拟视频照相机混淆，因为它们被系连至物理视频照相机。
各个数字装置基于从一个或多个物理视频照相机接收的一个或多个视频流进行操作，并且提供一个或多个接口，所述接口允许视频接收系统通过检索视频流和/或进行照相机设置来与该数字装置通信，如同该数字装置是那个或这些物理视频照相机一样。一个或多个数字装置中的各个数字装置还被配置为经由一个或多个接口将所述视频流和/或视频元数据输出到所述视频接收系统。
数字装置可以被配置为模拟至少一个App(应用)启用照相机。为了本说明书的目的，术语“App启用照相机”旨在指代视频照相机，特别是物理视频照相机，其包括处理单元，在该处理单元上可以安装一个或多个软件应用程序以向视频照相机提供附加的数字能力。这可以允许延长否则将被视为过时的物理视频照相机的生命周期。App启用照相机可以是IP照相机。特别地，术语“App启用照相机”包括可以例如由视频照相机的用户在制造之后的任何时间安装这样的应用程序的照相机。为此，App启用照相机可以包括处理单元和合适的操作系统(例如基于Android的操作系统)，其被配置为提供执行环境以促进用户安装应用程序的执行，特别是被配置为当由处理单元执行时使处理单元处理由视频照相机记录的视频流和/或向照相机提供其它功能的应用程序。
因此，数字装置可以包括合适的操作系统(例如基于Android的操作系统)，其被配置为提供用于促进应用程序(特别是用户安装应用程序)的执行的执行环境。应用程序可以被配置为当由数据处理系统(特别是基于云的处理资源)执行时，使数字装置处理从视频管理系统接收的视频流，以生成经处理的视频流和/或从所接收和/或经处理的视频流导出的视频元数据。数字装置被配置为将经处理的视频流和/或视频元数据输出到视频接收系统，例如输出到远程数据处理系统，诸如输出到视频管理系统或输出到用于接收视频流和/或相关联的视频元数据的其它视频接收系统。
为了本说明书的目的，本文使用的术语数字装置旨在指代计算机程序，该计算机程序被配置为当由数字装置数据处理系统执行时，模拟至少一个物理电子装置，特别是模拟至少一个物理视频照相机，诸如至少一个物理IP照相机等。数字装置可以是基于云的数字装置。如本文所使用的术语基于云的数字装置旨在指代计算机程序，该计算机程序被配置为当由基于云的计算架构的基于云的计算资源执行时，模拟至少一个物理电子装置，特别是模拟至少一个物理视频照相机。
特别地，本文公开的数字装置的实施例被配置为模拟至少一个App启用物理视频照相机。为此，数字装置被配置为：
从视频管理系统接收视频流，
为一个或多个用户安装应用程序提供执行环境，所述执行环境允许所述一个或多个用户安装应用程序处理所接收的视频流的至少一部分，从而得到经处理的视频流和/或与所接收的视频流相关联的视频元数据，以及
经由所述一个或多个接口将所述经处理的视频流和/或所述视频元数据输出到所述视频接收系统。
为此，数字装置数据处理系统可以包括处理单元和存储有程序代码的存储器，该程序代码被配置为当由处理单元执行时实现数字装置。可以理解，单个数字装置数据处理系统可以实现一个或多个数字装置。类似地，应当理解，不同的数字装置可以由单个数据处理系统或由相应的单独的数字装置数据处理系统来实现。因此，一个或多个数字装置数据处理系统可以例如经由计算机网络通信地连接到视频管理数据处理系统。在一些实施例中，一个或多个基于云的数字装置可以由例如云架构中的一个或多个虚拟机实现。本公开涉及部署在数字装置上或由数字装置执行的应用程序。应当理解，这旨在指通过实现数字装置的数字装置数据处理系统执行的应用程序，例如，通过执行基于云的数字装置的云计算架构执行的应用程序。
通常，处理单元可以包括适当编程的微处理器或适当地适于进行本文描述的数据和/或信号处理功能的任何其它电路和/或装置。特别地，处理单元可以包括通用或专用可编程微处理器，诸如中央处理单元(CPU)、数字信号处理单元(DSP)、专用集成电路(ASIC)、可编程逻辑阵列(PLA)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、专用电子电路等，或其组合。为此，处理单元可以由被配置为由处理单元执行的软件和/或固件适当地编程。软件和/或固件可以存储在处理单元的合适的存储器上。在一些实施例中，处理单元是适当编程的计算机或其它数据处理系统。
在一些实施例中，一个或多个数字装置中的至少一个数字装置包括被配置为解码所接收的视频流的视频解码器模块。解码器模块可以被配置为对使用合适的视频编码标准(诸如H.264标准或H.265标准等)编码的视频流进行解码。数字装置可以被配置为提供允许由数字装置部署的一个或多个应用程序接收经解码视频流的至少一部分(例如各个帧)的应用接口和/或其它服务。应用接口还可以允许由数字装置执行的一个或多个应用程序返回经处理的视频流，例如经处理的视频流的各个帧。在一些实施例中，所述一个或多个数字装置中的至少一个数字装置包括视频编码器模块，所述视频编码器模块被配置为对所接收的视频流和/或经处理的视频流进行重新编码。编码器模块可以被配置为根据合适的视频编码标准(诸如H.264标准或H.265标准等)对视频流进行编码。
在一些实施例中，一个或多个数字装置中的至少一个数字装置包括通信模块，该通信模块被配置为与视频管理系统建立视频隧道或其它合适的通信会话，并且经由视频隧道或以其它方式在所建立的通信会话的上下文内接收视频流。在一些实施例中，数字装置被配置为将经处理的视频流和/或相关联的视频元数据发送到视频管理系统，特别是经由所建立的视频隧道或以其它方式在数字装置已经接收原始视频流的相同的所建立的通信会话的上下文内将经处理的视频流和/或相关联的视频元数据返回到视频管理系统。
数字装置被配置为模拟至少一个App启用照相机。因此，数字装置可以包括视频服务器组件，该视频服务器组件被配置为作为可由视频接收客户端组件(其可以远离数字装置)识别的视频服务器而操作，并且被配置为向视频客户端组件提供视频流和/或元数据。视频服务器组件可以集成到通信模块中。视频服务器组件可以被配置为实现网络控制协议(诸如实时流协议(RTSP)等)，该网络控制协议被配置为在通信系统中使用以控制流媒体服务器。可替代地或另外地，视频服务器组件可以被配置为根据开放网络视频接口论坛(ONVIF)核心规范的版本(诸如ONVIF核心规范版本2.4等)进行操作。另外，服务器组件可以被配置为根据一个或多个ONVIF配置文件的版本进行操作。
应当理解，数字装置与物理视频照相机的区别在于物理视频照相机包括图像传感器。因此，对由图像传感器拍摄的视频流进行由物理视频照相机(例如，由App启用物理视频照相机)进行的任何视频处理。另一方面，本文公开的数字装置的实施例经由计算机网络从外部数据处理系统接收视频流(特别是经编码的视频流)，并且处理接收到的视频流，特别是解码所接收的视频流并处理经解码的视频流。
数字装置可以被配置为托管各种不同的应用程序。应用程序的示例包括处理视频流的至少一部分(例如，视频流的一个或多个帧)以创建与视频流相关联的元数据(例如，指示视频流的一个或多个所检测到的属性或特征的元数据)(例如以进行对象检测、事件检测和/或运动检测等)的应用程序。这些处理技术中的一些或更多个可以包括机器学习技术的应用。应用程序的一个示例可以将GPS位置数据添加到视频中描绘的视场内的地方，例如以辨识犯罪的位置。视频处理的其它示例可以包括检测或以其它方式添加关于犯罪的元数据，诸如从拼接在一起的各种照相机创建数据。因此，在一些实施例中，数字装置可以被配置为接收多个视频流，并且基于多个视频的组合来生成元数据。
应用程序的其它示例包括处理视频流的至少一部分以修改视频流(即，以创建经处理的视频流的至少一部分)的应用程序。这种处理的示例包括用于图像/视频增强等的处理。例如，应用程序可以将低分辨率视频放大到更高分辨率视频和/或增强图像质量和/或从质量差的视频创建超分辨率。这允许使用或延长前一代照相机(诸如VGA照相机等)的生命周期。
可替代地或另外地，所述一个或多个数字装置可以将一个或多个低分辨率视频放大到更高分辨率视频和/或增强图像质量和/或从质量差的视频创建超分辨率，然后将一个或多个增强视频提供给一个或多个用户安装应用程序。换句话说，根据本发明的数字装置可以在将一个或多个经处理的视频流发送到一个或多个用户安装应用程序之前对原始照相机数据运行超分辨率。
本文公开的视频管理系统的至少一些实施例能够从各种不同的照相机接收视频流。因此，在一些实施例中，视频管理系统的输入接口包括一个或多个照相机驱动器，各个照相机驱动器被配置为从至少一种类型的视频照相机接收视频流。在一些实施例中，各个照相机驱动器被配置为将一个或多个时间戳添加到所接收的视频流，以提供输入视频流作为时间戳输入视频流。然后，视频管理系统可以被配置为存储具有添加的时间戳的输入视频流，并且使用添加的时间戳作为规范时间戳以用于后续处理的目的。
在一些实施例中，视频管理系统被配置为选择性地将当前接收的输入视频流或先前存储的视频流(即，先前存储在视频储存库中的视频流)馈送到数字装置。将先前存储的视频流馈送到数字装置可以包括利用修改的时间戳替换规范时间戳，修改的时间戳对应于当前时间，即视频流被发送到数字装置的时间。因此，视频管理系统允许数字装置模拟在当前时间(即实时或准实时)拍摄视频的至少一个物理视频照相机。
在一些实施例中，视频管理系统还包括索引服务器，用于对存储在元数据储存库(特别是元数据数据库)中的元数据进行索引。因此，促进了对所存储的元数据的高效后续检索。
视频管理系统(特别是记录服务器)被配置为从一个或多个数字装置接收视频流和/或相关联的元数据。在一些实施例中，视频管理系统被配置为判断接收到的经处理的视频流是否是从数字装置接收到的，以及接收到的经处理的视频流是否对应于先前存储的视频流(即，是先前存储的视频流的经处理版本)，并且选择性地将时间戳添加到接收到的经处理的视频流和/或接收到的元数据，添加的时间戳对应于先前存储的视频流的规范时间戳。特别地，检测所接收的经处理的视频流是否对应于先前存储的视频流可以包括：响应于视频管理系统已经将具有修改的时间戳的先前存储的视频流馈送到数字装置，判断是否接收到经处理的视频和/或元数据。视频管理系统可以例如在视频管理系统已经例如经由相同的视频隧道(经由该视频隧道，具有修改的时间戳的先前存储的视频已经被馈送到数字装置)接收到作为相同会话的一部分的经处理视频流时做出该判断。
应当理解，视频管理系统和/或数字装置可以接收和处理附加的媒体流和/或附加的传感器数据，诸如音频信号、雷达信号、LIDAR信号等。还应当理解，视频流可以是指示可见光的视频图像的视频流以及/或者指示不可见波长处的辐射的视频图像，诸如热图像等，例如，由SWIR相机等拍摄的图像。数字装置可以向由数字装置托管的应用程序提供这样的附加媒体流和/或传感器数据，以允许应用程序将附加媒体流与视频流结合地进行处理。
视频管理系统可以被配置为经由合适的计算机网络(诸如互联网等)将视频流传输到数字装置。
本公开涉及不同的方面，包括上文和下文描述的视频监视系统，进一步的方法、系统、装置和产品手段，各个方面产生结合一个或多个其它方面描述的一个或多个益处和优点，并且各个方面具有与结合本文描述的和/或如所附权利要求中公开的一个或多个其它方面描述的实施例相对应的一个或多个实施例。
特别地，本公开还涉及一种计算机实现的视频管理处理，包括：
从相应的一个或多个视频照相机以及/或者其它视频源接收一个或多个视频流，
将一个或多个输入视频流存储在视频储存库中，各个输入视频流对应于所接收的视频流中的相应视频流，以及
经由计算机网络从视频管理系统向一个或多个数字装置发送输入视频流中的一个或多个输入视频流以及/或者所存储的视频流中的一个或多个视频流，所述一个或多个数字装置中的各个数字装置被配置为模拟至少一个物理视频照相机并且经由计算机网络将视频流和/或视频元数据发送到视频接收系统，所述视频接收系统可以远离所述数字装置，
其中，所述一个或多个数字装置中的各个数字装置被配置为通过提供一个或多个接口来模拟物理视频照相机，所述一个或多个接口允许所述视频接收系统通过检索视频流和/或进行照相机设置来与该数字装置通信，如同该数字装置是物理视频照相机一样，以及其中，所述一个或多个数字装置中的各个数字装置还被配置为经由所述一个或多个接口将所述视频流和/或视频元数据输出到所述视频接收系统。
注意，上文和下文描述的计算机实现的方法的各种实施例的特征可以至少部分地在软件或固件中实现，并且在数据处理系统或其它处理单元上执行，这是由诸如计算机可执行指令等的程序代码手段的执行引起的。这里和下文中，术语处理单元包括适当地适于进行上述功能的任何电路和/或装置。特别地，上述术语包括通用或专用可编程微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、可编程逻辑阵列(PLA)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、专用电子电路等，或其组合。
本公开还涉及计算机程序的实施例，该计算机程序被配置为使数据处理系统进行上文和下文中描述的计算机实现的方法的动作。计算机程序可以包括程序代码手段，当程序代码手段在数据处理系统上执行时，该程序代码手段适于使数据处理系统进行上面和下面公开的计算机实现的方法的动作。计算机程序可以存储在计算机可读存储介质(特别是非暂时性存储介质)上，或者体现为数据信号。非暂时性存储介质可以包括用于存储数据的任何合适的电路或装置，诸如RAM、ROM、EPROM、EEPROM、闪速存储器、磁或光存储装置(诸如CDROM、DVD和/或硬盘等)。
附图说明
以上和其它方面将从下面参考附图描述的实施例中变得显而易见并得以阐明，在附图中：
图1示意性地示出视频监视系统的示例。
图2示意性地示出模拟App启用视频照相机的基于云的数字装置的示例。
图3示意性地示出计算机实现的视频管理处理的示例。
图4至7示意性地示出视频管理和视频处理过程的示例。
具体实施方式
图1示意性地示出视频监视系统的示例。
视频监视系统包括多个视频照相机100、视频管理系统300和多个数字装置500。在图1的示例中以及在以下附图中的一些中，数字装置被示出为远离视频管理系统，特别是由远离执行视频管理系统的视频管理数据处理系统的数字装置数据处理系统执行。特别地，描述了数字装置是基于云的实施例。然而，应当理解，在一些实施例中，一个或多个或甚至所有数字装置可以集成到视频管理系统中，或者以其它方式在与视频管理系统相同的数据处理系统上执行。可选地，视频监视系统可包括附加组件，诸如视频分析系统600和/或其它视频接收系统700。这些可以在远离视频管理系统的数据处理系统上实现(如图1所示)，或者它们可以在与视频管理系统相同的数据处理系统上执行。
虽然图1示出具有三个视频照相机的系统，但应当理解，其它示例可以包括少于三个或多于三个照相机。通常，视频监视系统可以包括一个或多个视频照相机。一个或多个视频照相机通常分布为遍及期望监视的区域，例如，遍及期望监视的设施的场所。可以基于诸如期望的监视水平、设施的大小和/或设施布局的复杂性等的因素来选择照相机的数量和位置以及要安装的照相机的类型。
视频照相机可以是视频监视领域中已知的常规视频照相机。应当理解，视频监视系统可以包括多个相同类型的视频照相机，即具有相同能力、以相同格式提供相同类型的视频输出等的视频照相机。可替代地，视频监视系统的许多示例可以包括不同类型的照相机，例如具有不同能力、以不同格式提供不同分辨率的视频流或输出与视频相关联的附加元数据的视频照相机。视频照相机的能力的示例可以包括以下各项中的一项或多项：音频记录、可见波长范围和/或红外波长范围(诸如近红外波长范围等)内的视频记录、诸如平摇或变焦等的控制功能、图像处理能力、运动检测等。
视频照相机100通信地连接到视频管理系统300。为此，视频照相机100可以经由局域网200或以不同的合适方式(例如，经由点对点有线和/或无线连接等)连接到视频管理系统。例如，视频照相机可以经由以太网连接而连接到视频管理系统。无线连接的示例包括5G网络。应当理解，视频监视系统的一些示例可以包括提供不同于视频流的传感器信号和/或媒体流(诸如音频信号、雷达信号、LIDAR信号等等)的附加传感器。
视频管理系统300从视频照相机100接收视频流，并且可选地从其它源接收输入信号。视频管理系统被配置为将所接收的视频流存储在媒体储存库350中，并提供用于访问实况视频流的接口(I/F)360，并且访问存储在媒体储存库350中的视频流。媒体储存库350可以是媒体数据库或用于存储媒体内容的其它合适的存储装置。视频管理系统可以包括允许用户查看实况视频和/或存储视频和/或控制一个或多个视频照相机的操作的用户界面。
视频管理系统300可以体现为由合适的数据处理系统(例如，由一个或多个服务器计算机)执行的软件程序。实现视频管理系统的数据处理系统通常(但不一定)安装在视频照相机所在的设施的场所上，从而避免了通过公共或其它通信网络从视频照相机传输视频流的需要。
视频管理系统包括一个或多个照相机驱动器(CD)310，用于向相应类型的视频照相机提供接口。不同的视频照相机可以以不同的格式(例如，使用不同的编码方案和/或不同的网络协议)提供它们的视频流。类似地，不同的照相机可以提供用于照相机控制(诸如变焦或平摇等)的不同接口。因此，视频管理系统300可以包括被配置为与相应的照相机类型协作的多个不同的照相机驱动器310。特别地，照相机驱动器310可以实现用于与视频照相机和/或其它监视设备通信的一个或多个合适的网络协议和/或其它通信标准。这样的协议和标准的示例包括开放网络视频接口论坛(ONVIF)标准和实时流协议(RTSP)。
照相机驱动器310还将一个或多个时间戳添加到所接收的视频信号101，以确保由视频管理系统存储并随后提供的视频流包括统一的时间戳。添加的时间戳也将被称为规范时间戳(canonical time stamp)。规范时间戳指示视频管理系统从相应的视频照相机100接收视频流101的时间。因此，照相机驱动器提供统一的时间戳输入视频流311，各个时间戳输入视频流311对应于所接收的视频流101中的相应一个。
视频管理系统300包括记录服务器(RS)320。记录服务器可以体现为由合适的数据处理系统(例如，由一个或多个服务器计算机)执行的软件程序模块。记录服务器从对应的照相机驱动器310接收源自相应的视频照相机100的输入视频流311。记录服务器将所接收的输入视频流存储在合适的媒体存储装置(诸如合适的媒体数据库等)中。应当理解，媒体储存库350可以是视频管理系统300的一部分，或者其可以与视频管理系统分离但通信地耦接到视频管理系统。媒体储存库350可以被实现为任何合适的大容量存储装置(诸如一个或多个硬盘等)。所接收的输入视频流的存储也被称为记录所接收的输入视频流。记录服务器可以接收与输入视频流相关联的附加输入信号(诸如音频信号、运动检测信号等)。附加输入信号可以源自视频照相机100和/或源自其它信号源，诸如源自附加监视传感器等。视频管理系统可以将附加输入信号存储在媒体储存库350中和/或存储在单独的存储装置中。
记录服务器320还被配置为经由合适的接口360将实况输入视频流311和/或从媒体储存库350检索的先前存储的输入视频流分别选择性地提供给一个或多个外部实体500、600、700。
为此，接口360可以提供用于经由通信网络400向一个或多个数字装置500(诸如基于云的数字装置等)提供实况视频流和/或先前存储的视频流的网络接口。为此，接口360可以被配置为与数字装置500建立相应的视频隧道(video tunnel)和/或其它通信会话。接口360可以实现一个或多个合适的网络协议和/或用于与其它监视设备通信的其它通信标准。这样的协议和标准的示例包括开放网络视频接口论坛(ONVIF)标准和实时流协议(RTSP)。
下面将参考图2至图7更详细地描述数字装置500的操作以及视频管理系统与数字装置之间的交互的示例。
可选地，接口360可以实现到其它类型的外部实体的不同通信通道。外部实体的示例包括视频接收系统700，其可以接收视频流并提供用于查看和/或处理视频流的功能。外部实体的其它示例包括视频分析系统600，其可以接收视频流并进行用于分析视频流的视频处理。为此，视频分析系统可以进行对象检测、对象识别、运动检测及/或其它类型的视频分析。视频分析系统可以创建指示所进行的视频分析的结果的视频元数据。例如，视频分析系统可以创建指示视频流中的经识别对象的视频元数据。元数据可以包括关于视频流中的经识别对象的空间和时间位置的信息和/或关于经识别对象的身份的信息。分析系统可以将所生成的元数据存储在合适的元数据储存库中。在一些实施例中，分析系统可以将生成的元数据传送回视频管理系统。视频管理系统可以将返回的元数据存储在合适的元数据储存库340(诸如合适的元数据数据库等)中，该元数据储存库可以与媒体储存库350分离或集成到媒体储存库350中。为此，视频管理系统可以包括索引服务器(IS)330。索引服务器可以体现为由合适的数据处理系统(例如，由一个或多个服务器计算机)执行的软件程序模块。索引服务器可以接收元数据并将所接收的元数据存储在元数据储存库340中。索引服务器还可以对所存储的元数据进行索引，以允许更快地后续搜索和检索所存储的元数据。从外部分析系统600接收的元数据可以由记录服务器320接收并转发到索引服务器330。替代地或另外地，索引服务器可以直接从一个或多个分析系统600接收元数据。
接口360可以实现不同类型的接口。例如，接口可以例如以软件开发工具包和/或一个或多个通信协议(诸如合适的消息传递协议(例如SOAP、XML等))的形式提供应用接口。因此，接口可以作为到不同类型系统的网关来操作。
通信网络400可以是互联网或其它合适的通信网络。然而，应当理解，其它实体500、600和700中的至少一些可以驻留在与视频管理系统相同的数据处理系统上，或者替代地驻留在经由局域网连接到视频管理系统的数据处理系统上。
图2示意性地示出模拟App启用视频照相机的基于云的数字装置的示例。
基于云的数字装置500可以实现为在基于云的计算平台800(诸如基础设施即服务(IaaS)架构等)上执行的计算机程序。
数字装置包括向一个或多个用户安装应用程序(App)540提供执行平台的合适的操作系统(O/S)520。例如通过在App商店或类似的应用程序储存库中获得应用程序，可以在数字装置500的运行时间期间部署应用程序540。在一些实施例中，操作系统是基于Android的操作系统。为此，数字装置可以包括允许在云计算架构800上执行数字装置500的操作系统和/或其它软件组件的硬件抽象层(HAL)510。
数字装置500还包括服务组件530，该服务组件被配置为向应用程序540提供各种服务，例如，当应用程序在数字装置上执行时，允许应用程序请求视频流(例如，视频流的各个帧)。
数字装置还包括通信模块(COM)550，该通信模块允许数字装置使用合适的网络协议(诸如RTSP等)与视频管理系统通信。数字装置500包括解码器模块(DEC)560，该解码器模块被配置为对所接收的视频流进行解码。例如，解码器模块560可以被配置为接收和解码根据H.264和/或H.265和/或用于编码视频流的其它合适的编码标准所编码的视频流。因此，数字装置500可以允许由数字装置执行的一个或多个应用程序540访问所接收和解码的视频流。应用程序可以处理视频流或视频流的各个帧。一些应用程序可以处理视频流并生成修改的视频流。可替代地或另外地，一个或多个应用程序可以处理所接收的视频流，以基于视频流创建元数据。
为此，数字装置500可以被配置为托管各种不同的应用程序。应用程序的示例包括处理视频流的至少一部分(例如，视频流的一个或多个帧)以创建与视频流相关联的元数据(例如，指示视频流的一个或多个检测到的属性或特征的元数据)(例如以进行对象检测、事件检测、运动检测等)的应用程序。这些处理技术中的一些或更多个可以包括机器学习技术的应用。应用程序的一个示例可以将GPS位置数据添加到视频中描绘的视场内的地方，例如以辨识犯罪的位置。视频处理的其它示例可以包括检测或以其它方式添加关于犯罪的元数据，诸如从拼接在一起的各种照相机创建数据等。因此，在一些实施例中，数字装置可以被配置为接收多个视频流，并且基于多个视频的组合来生成元数据。
可替代地，数字装置上的应用程序可以调用一个或多个物理视频照相机，这些物理视频照相机系连至该数字装置(或数字装置系连至该物理视频照相机)，以查询它们的GPS位置。这允许例如在应用程序中通过GPS坐标搜索物理视频照相机(否则在通过GPS位置搜索时会丢失物理视频照相机)。知道物理视频照相机的GPS位置还可以允许应用程序创建有用的相关性，诸如与景深(或DOP，其可以例如由该应用程序或其它应用程序计算)的GPS相关性。当涉及室外物理视频照相机时，GPS位置通常更有用。
应用程序的其它示例包括处理视频流的至少一部分以修改视频流(即，以创建经处理的视频流的至少一部分)的应用程序。这种处理的示例包括用于图像/视频增强等的处理。例如，应用程序可以将低分辨率视频放大到更高分辨率视频和/或增强图像质量和/或从质量差的视频创建超分辨率。
通信模块还被配置为允许数字装置500作为计算机网络上的视频服务器操作，即，向视频流接收系统提供视频流。特别地，数字装置可以输出从视频管理系统接收的视频流和/或其可以输出经处理的视频流，即基于所接收的视频流但由一个或多个应用程序540修改的视频流。为此，数字装置包括编码器模块(ENC)570，该编码器模块被配置为对要由数字装置输出的视频流进行编码。例如，编码器模块570可以被配置为根据H.264和/或H.265和/或用于编码视频流的其它合适的编码标准来对视频流进行编码。
因此，数字装置500被配置为模拟至少一个物理视频照相机(其可以在计算机网络上被识别为视频照相机)并且经由计算机网络向外部视频信号接收系统提供适当编码的视频流。通常，模拟视频照相机包括支持API(诸如在RTSP和/或ONVIF等中定义的API等)，通常由视频照相机支持的API，特别是用于检索视频流、用于进行照相机设置等的API。特别地，数字装置500被配置为模拟至少一个App启用视频照相机，该至少一个App启用视频照相机允许部署应用程序并且输出由应用程序对视频流进行的视频处理的结果。代替如物理视频照相机中的情况那样对由图像传感器直接获得的视频流进行操作，数字装置对从本文公开的视频管理系统接收的视频流进行操作。
图3示意性地示出计算机实现的视频管理处理的示例。图3的处理可以例如由图1的视频监视系统的视频管理系统进行。
在步骤S1中，该处理从视频照相机100接收视频流101。
在步骤S2中，该处理将时间戳添加到所接收的视频流，该时间戳指示视频管理系统接收视频流的时间，从而得到时间戳输入视频流311。应当理解，该处理可以将多个时间戳添加到所接收的视频流，例如以指示各个部分(例如视频流的各个帧)的接收时间。在一些实施例中，将时间戳添加到一些但不是所有帧，例如，仅添加到初始帧和/或添加到一个或多个以其它方式选择的帧。还应当理解，取决于照相机100的类型，所接收的视频流101可以包括或可以不包括时间戳。然而，如下面将更详细描述的，不管所接收的视频流101中是否存在任何时间戳，输入视频流311的添加后的时间戳随后将被视频管理系统用作规范时间戳。
在步骤S3中，该处理将时间戳输入视频流311存储在媒体储存库350中。
在步骤S4中，在存储时间戳输入视频流的同时，该处理将时间戳输入视频流311作为实况视频提供给如本文所述的一个或多个数字装置。
应当理解，视频管理系统的实施例中的一些实施例可能能够同时接收和处理多个视频流，例如来自不同视频照相机的视频流。
图4示意性地示出由包括图2的数字装置500的图1的视频监视系统进行的视频管理和视频处理过程的示例。
视频管理系统300的照相机驱动器310从视频照相机100接收视频流101。例如，如结合图2的处理的步骤S2所描述的，照相机驱动器310将时间戳添加到所接收的视频流。
记录服务器320从照相机驱动器接收时间戳输入视频流311，并且将时间戳输入视频流存储在媒体储存库350中。同时，记录服务器320经由接口360将时间戳输入视频流311作为实况视频馈送到一个或多个数字装置500。
在步骤S51中，数字装置的通信模块经由通信网络400从视频管理系统300接收时间戳视频流。
在步骤S52中，数字装置500的解码器模块对视频流进行解码。
在步骤S53中，数字装置将经解码视频流的至少一部分(例如，视频流的各个帧)提供给部署在数字装置上的一个或多个应用程序。应当理解，在一些实施例中，数字装置可以向一个或多个应用程序提供经编码视频流，即数字装置可以提供接收的视频流而无需预先解码。
在步骤S54中，应用程序处理视频流的至少一部分，并且返回经修改的(即经处理的)视频流和/或与视频流有关的元数据。
在步骤S55中，数字装置500的编码器模块对经处理的视频流进行编码。可替代地，如果应用程序没有返回任何经处理的视频流，则编码器模块可以重新编码原始接收的视频流。
在步骤S56中，通信模块将由应用程序生成的经编码视频流和/或元数据发送到外部数据处理系统700。因此，外部数据处理系统可以以与否则将从视频照相机(特别是从App启用照相机)接收视频流相同的方式从数字装置500接收可选地处理的视频流。
应当理解，视频管理系统的一些实施例可能能够同时接收并处理多个视频流，例如来自不同视频照相机的视频流和/或转发到相应的数字装置的视频流。
图5示意性地示出由包括图2的数字装置500的图1的视频监视系统进行的视频管理和视频处理过程的另一示例。
除了在图5的示例中视频管理系统300将先前存储的视频流而不是当前从视频照相机接收的实况视频流发送到数字装置之外，图5的处理类似于图4的处理。
为此，记录服务器320从媒体储存库350检索先前存储的视频流，并经由接口360经由通信网络400将检索到的视频流转发到数字装置500，如结合图4所述。
在本示例中，由于传输的视频流是先前存储的视频流，因此从媒体储存库350检索的视频流根据视频流的记录时间被加日期时间戳。记录服务器320可以将检索到的视频流与原始规范日期戳一起转发到数字装置500。可替代地，记录服务器320可以利用与记录服务器转发先前存储的视频流的当前时间相对应的另一修改的时间戳来替换规范日期戳。因此，在后一种情况下，数字装置500接收模拟当前由至少一个物理视频照相机拍摄的实况视频流的至少一个视频流。数字装置500接收、解码至少一个视频流并将其提供给一个或多个应用程序，并且将重新编码、经处理的视频流和/或与视频流有关的元数据转发给外部数据处理系统，所有这些都如结合图4所述。
因此，由数字装置500输出的视频流和/或由数字装置输出的元数据模拟当前拍摄视频的App启用照相机的至少一个输出。
图6示意性地示出由包括图2的数字装置500的图1的视频监视系统进行的视频管理和视频处理过程的又一示例。
除了在图6的示例中数字装置500将其输出返回到视频管理系统300，而不是将其传输到外部数据处理系统之外，图6的处理类似于图4的处理。应当理解，在其它示例中，数字装置可以将其输出转发到外部数据处理系统，并且同时将输出返回到视频管理系统300。
在任何情况下，在图6的示例中，数字装置500经由通信网络400将经处理的视频流和/或与视频流有关的元数据发送回视频管理系统300。特别地，数字装置可以通过相同的视频隧道或以其它方式在用于将视频流从视频管理系统300转发到数字装置500的相同通信会话期间返回经处理的视频流和/或元数据。因此，在经由接口360从数字装置500接收到经处理的视频流和/或元数据时，记录服务器320可以将所接收的经处理的视频流和/或元数据与在同一会话期间馈送到数字装置的视频流相关联。因此，记录服务器可以与原始视频流相关联地将元数据和/或经处理的视频流分别存储在元数据储存库340和/或媒体储存库350中。特别地，记录服务器可以基于规范时间戳来同步相应的数据流。
类似地，图7示意性地示出由包括图2的数字装置500的图1的视频监视系统进行的视频管理和视频处理过程的又一示例。
除了在图7的示例中数字装置500将其输出返回到视频管理系统300而不是将其传输到外部数据处理系统之外，图7的处理类似于图5的处理。应当理解，在其它示例中，数字装置可以将其输出转发到外部数据处理系统，并且同时将输出返回到视频管理系统300。
在任何情况下，在图7的示例中，数字装置500经由通信网络400将经处理的视频流和/或与视频流有关的元数据发送回视频管理系统。特别地，数字装置可以通过相同的视频隧道或以其它方式在用于将视频流从视频管理系统300转发到数字装置500的相同通信会话期间返回经处理的视频流和/或元数据。因此，在经由接口360从数字装置接收到经处理的视频流和/或元数据时，记录服务器320可以将所接收的经处理的视频流和/或元数据与在同一会话期间馈送到数字装置的视频流相关联。因此，记录服务器可以与原始视频流相关联地将元数据和/或经处理的视频流分别存储在元数据储存库340和/或媒体储存库350中。特别地，记录服务器可以同步各个数据流。
为此，记录服务器320从媒体储存库350检索先前存储的视频流，并经由接口360经由通信网络400将检索到的视频转发到数字装置500，如结合图5所述。特别地，记录服务器可以利用与记录服务器转发先前存储的视频流的当前时间相对应的另一修改的时间戳来替换检索到的视频流的规范日期戳。记录服务器可以维护关于规范时间戳与修改的时间戳之间的关系(特别是时滞)的信息，以供在后续重新同步期间使用。因此，数字装置500接收模拟当前由视频照相机拍摄的至少一个实况视频流的视频流。数字装置500接收、解码视频流并将其提供给一个或多个应用程序，并且将重新编码、经处理的视频流和/或与视频流有关的元数据转发到外部数据处理系统，所有这些都如结合图5所述。
在经由相同的视频隧道或以其它方式作为相同通信会话的一部分从数字装置接收到返回的经处理的视频流和/或元数据时，记录服务器可以基于修改的时间戳与规范时间戳之间的已知关系将经处理的视频流和/或元数据与规范时间戳重新同步。因此，记录服务器可以再次利用规范时间戳替换修改的时间戳，并且存储利用规范时间戳加时间戳的经处理的视频和/或元数据。
本文描述的由处理单元执行的方法步骤的实施例可以借助于包括若干不同元件的硬件和/或至少部分地借助于适当编程的微处理器来实现。在列举了若干部件的设备权利要求中，这些部件中的若干部件可以由同一个元件、组件或硬件项来体现。在相互不同的从属权利要求中记载或在不同实施例中描述某些措施的仅有事实并不指示不能有利地使用这些措施的组合。
应当强调的是，当在本说明书中使用时，术语“包括/包含”用于指定所述的特征、元件、步骤或组件的存在，但不排除一个或多个其它特征、元件、步骤、组件或其组的存在或添加。

Claims (16)

1.一种视频监视系统，其包括视频管理系统以及计算机实现的一个或多个数字装置，所述一个或多个数字装置中的各个数字装置被配置为模拟用于经由计算机网络将视频流和/或视频元数据发送到视频接收系统的至少一个物理视频照相机，其中，所述一个或多个数字装置中的各个数字装置被配置为通过提供一个或多个接口来模拟至少一个物理视频照相机，所述一个或多个接口允许所述视频接收系统通过检索视频流和/或进行照相机设置来与该数字装置通信使得如同该数字装置是所述至少一个物理视频照相机一样，以及其中，所述一个或多个数字装置中的各个数字装置还被配置为经由所述一个或多个接口将所述视频流和/或视频元数据输出到所述视频接收系统，其中，所述视频管理系统包括：
输入接口，用于从相应的一个或多个视频照相机以及/或者一个或多个其它视频源接收一个或多个视频流；
处理单元，其被配置为从所述输入接口接收一个或多个输入视频流并且将输入视频流存储在视频储存库中，各个输入视频流对应于所接收的视频流中的相应视频流；以及
输出接口，其被配置为经由计算机网络将输入视频流中的一个或多个输入视频流以及/或者所存储的视频流中的一个或多个视频流发送到所述数字装置中的一个或多个数字装置。
2.根据权利要求1所述的视频监视系统，其中，所述视频管理系统被配置为：将输入视频流同时发送到所述一个或多个数字装置中的至少一个数字装置，并且将输入视频流存储在所述视频储存库中。
3.根据前述权利要求中任一项所述的视频监视系统，其中，所述一个或多个数字装置中的至少一个数字装置被配置为：
接收视频流，特别是经编码视频流；
向一个或多个用户安装应用程序提供执行环境，所述执行环境允许所述一个或多个用户安装应用程序处理所接收的视频流中的至少一部分，从而得到经处理的视频流和/或与所接收的视频流相关联的视频元数据；以及
输出所述经处理的视频流和/或所述视频元数据。
4.根据权利要求3所述的视频监视系统，其中，所述一个或多个数字装置中的至少一个数字装置包括视频解码器模块，所述视频解码器模块被配置为对所接收的视频流进行解码。
5.根据权利要求4所述的视频监视系统，其中，所述一个或多个数字装置中的至少一个数字装置被配置为提供应用接口，所述应用接口允许所述应用程序中的各个应用程序接收经解码的视频流的至少一部分。
6.根据权利要求4或5所述的视频监视系统，其中，所述一个或多个数字装置中的至少一个数字装置包括视频编码器模块，所述视频编码器模块被配置为重新编码并输出所述经处理的视频流。
7.根据权利要求3至6中任一项所述的视频监视系统，其中，所述一个或多个数字装置中的至少一个数字装置包括通信模块，所述通信模块被配置为与所述视频管理系统建立通信会话并且经由所建立的通信会话接收视频流。
8.根据权利要求7所述的视频监视系统，其中，所述一个或多个数字装置中的至少一个数字装置被配置为在所建立的通信会话期间将所述经处理的视频流和/或所述视频元数据传输到所述视频管理系统。
9.根据前述权利要求中任一项所述的视频监视系统，其中，所述一个或多个数字装置中的至少一个数字装置包括被配置为作为视频服务器而操作的视频服务器组件，所述视频服务器能够操作以使用网络控制协议将视频流和/或视频元数据提供给视频客户端组件，所述网络控制协议被配置为在通信系统中使用以控制流媒体。
10.根据前述权利要求中任一项所述的视频监视系统，其中，所述输入接口包括一个或多个照相机驱动器，各个照相机驱动器被配置为从至少一种类型的照相机接收视频流；其中，各个照相机驱动器被配置为将一个或多个时间戳添加到所接收的视频流，以提供输入视频流作为时间戳输入视频流；以及其中，所述视频管理系统被配置为存储具有所添加的时间戳作为规范时间戳的输入视频流。
11.根据权利要求10所述的视频监视系统，其中，所述视频管理系统被配置为在将先前存储的视频流馈送到数字装置的情况下，利用修改的时间戳替换所述规范时间戳，所述修改的时间戳对应于当前时间。
12.根据权利要求11所述的视频监视系统，其中，所述视频管理系统被配置为在从数字装置接收到经处理的视频流和/或视频元数据的情况下，判断所接收的经处理的视频流和/或视频元数据是否对应于先前存储的视频流，并且选择性地将时间戳添加到所接收的经处理的视频流和/或所接收的视频元数据，所添加的时间戳对应于先前存储的视频流的规范时间戳。
13.根据前述权利要求中任一项所述的视频监视系统，其中，所述视频管理系统以及所述一个或多个数字装置中的至少一个数字装置被配置为接收并处理一个或多个附加媒体流以及/或者附加传感器数据。
14.根据权利要求13所述的视频监视系统，其中，所述一个或多个数字装置中的至少一个数字装置被配置为将所述一个或多个附加媒体流以及/或者所述附加传感器数据提供给由该数字装置托管的应用程序中的一个或多个应用程序，以允许所述一个或多个应用程序将附加媒体流与所述一个或多个数字装置中的至少一个数字装置所接收的视频流相结合地进行处理。
15.一种计算机实现的视频管理方法，包括：
从相应的一个或多个视频照相机以及/或者其它视频源接收一个或多个视频流；
将一个或多个输入视频流存储在视频储存库中，各个输入视频流对应于所接收的视频流中的相应视频流；以及
经由计算机网络从视频管理系统向一个或多个数字装置发送输入视频流中的一个或多个输入视频流以及/或者所存储的视频流中的一个或多个视频流，所述一个或多个数字装置中的各个数字装置被配置为模拟至少一个物理视频照相机并且经由计算机网络将视频流和/或视频元数据发送到视频接收系统，
其中，所述一个或多个数字装置中的各个数字装置被配置为通过提供一个或多个接口来模拟至少一个物理视频照相机，所述一个或多个接口允许所述视频接收系统通过检索视频流和/或进行照相机设置来与该数字装置通信使得如同该数字装置是所述至少一个物理视频照相机一样，以及其中，所述一个或多个数字装置中的各个数字装置还被配置为经由所述一个或多个接口将所述视频流和/或视频元数据输出到所述视频接收系统。
16.一种数字装置，其被配置为模拟至少一个物理视频照相机，特别是应用启用视频照相机，并且经由计算机网络将视频流和/或视频元数据发送到视频接收系统，所述数字装置被配置为通过提供一个或多个接口来模拟至少一个物理视频照相机，所述一个或多个接口允许所述视频接收系统通过检索视频流和/或进行照相机设置来与该数字装置通信使得如同该数字装置是所述至少一个物理视频照相机一样，其中，所述数字装置还被配置为：
从视频管理系统接收视频流；
向一个或多个用户安装应用程序提供执行环境，所述执行环境允许所述一个或多个用户安装应用程序处理所接收的视频流的至少一部分，从而得到经处理的视频流和/或与所接收的视频流相关联的视频元数据；以及
经由所述一个或多个接口将所述经处理的视频流和/或所述视频元数据输出到所述视频接收系统。
CN202111332001.2A 2020-11-11 2021-11-11 视频监视系统、视频管理方法和数字装置 Pending CN114554140A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20207009.0 2020-11-11
EP20207009.0A EP4002853B1 (en) 2020-11-11 2020-11-11 Video surveillance system

Publications (1)

Publication Number Publication Date
CN114554140A true CN114554140A (zh) 2022-05-27

Family

ID=73343966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111332001.2A Pending CN114554140A (zh) 2020-11-11 2021-11-11 视频监视系统、视频管理方法和数字装置

Country Status (4)

Country Link
US (1) US20220150442A1 (zh)
EP (2) EP4002853B1 (zh)
KR (1) KR102608025B1 (zh)
CN (1) CN114554140A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2623496A (en) 2022-10-10 2024-04-24 Milestone Systems As Computer-implemented method, computer program, storage medium and system for video surveillance
GB2623325A (en) 2022-10-11 2024-04-17 Milestone Systems As Methods of video surveillance, computer programs, storage media and video surveillance systems

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1310097B1 (en) * 2000-08-15 2019-07-31 Microsoft Technology Licensing, LLC Methods, systems and data structures for timecoding media samples
US20070107029A1 (en) * 2000-11-17 2007-05-10 E-Watch Inc. Multiple Video Display Configurations & Bandwidth Conservation Scheme for Transmitting Video Over a Network
JP5030261B2 (ja) * 2005-11-16 2012-09-19 キヤノン株式会社 映像配信装置、ビューワ装置、映像配信装置の制御方法、ビューワ装置の制御方法およびコンピュータプログラム
US8624733B2 (en) * 2007-11-05 2014-01-07 Francis John Cusack, JR. Device for electronic access control with integrated surveillance
US9282297B2 (en) * 2008-01-24 2016-03-08 Micropower Technologies, Inc. Video delivery systems using wireless cameras
AU2008200965B2 (en) * 2008-02-28 2010-02-18 Canon Kabushiki Kaisha Network Surveillance Systems
US8773532B2 (en) * 2011-06-13 2014-07-08 Alcatel Lucent Video surveillance system integrating real and logical video streams
US20150058709A1 (en) * 2012-01-26 2015-02-26 Michael Edward Zaletel Method of creating a media composition and apparatus therefore
KR101702885B1 (ko) * 2012-05-02 2017-02-06 한화테크윈 주식회사 시간 동기화 장치 및 방법
US9888214B2 (en) * 2012-08-10 2018-02-06 Logitech Europe S.A. Wireless video camera and connection methods including multiple video streams
US20150215583A1 (en) 2013-12-04 2015-07-30 Rasilient Systems, Inc. Cloud Video Surveillance
US10070063B2 (en) * 2015-02-20 2018-09-04 Grideo Technologies Inc. Integrated video capturing and sharing application on handheld device
US11301685B2 (en) * 2015-04-02 2022-04-12 Sportsmedia Technology Corporation Automatic determination and monitoring of vehicles on a racetrack with corresponding imagery data for broadcast
GB2544089B (en) * 2015-11-06 2020-02-12 Veracity Uk Ltd Network switch
US10499119B2 (en) * 2016-08-10 2019-12-03 Saad Ibrahim Al Mohizea System and method to verify date and location for the creation of a video
US11178451B2 (en) * 2018-08-17 2021-11-16 Roku, Inc. Dynamic playout of transition frames while transitioning between playout of media streams
WO2020118450A1 (en) * 2018-12-15 2020-06-18 Genetec Inc. Method and system for enrolling a camera into a video surveillance system
CN109788224B (zh) * 2019-03-26 2020-12-04 歌尔科技有限公司 视频录制方法、装置、网络摄像器及存储介质

Also Published As

Publication number Publication date
KR102608025B1 (ko) 2023-11-30
EP4002854A1 (en) 2022-05-25
KR20220064328A (ko) 2022-05-18
EP4002853C0 (en) 2023-07-19
EP4002853A1 (en) 2022-05-25
EP4002853B1 (en) 2023-07-19
US20220150442A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
US20200236278A1 (en) Panoramic virtual reality framework providing a dynamic user experience
US10121080B2 (en) Systems and methods for controlling the recording, storing and transmitting of video surveillance content
Anjum et al. Video stream analysis in clouds: An object detection and classification framework for high performance video analytics
KR102608025B1 (ko) 비디오 감시 시스템
US9807338B2 (en) Image processing apparatus and method for providing image matching a search condition
WO2017181777A1 (zh) 全景视频直播方法、装置和系统以及视频源控制设备
US10958820B2 (en) Intelligent interface for interchangeable sensors
KR101467430B1 (ko) 클라우드 컴퓨팅 기반 어플리케이션 제공 방법 및 시스템
KR102087533B1 (ko) 통신 장치, 통신 제어 방법, 및 컴퓨터 프로그램
TWI767763B (zh) 資料管線裝置
TW201724866A (zh) 用於視訊處理之系統及方法
US20110142233A1 (en) Server and camera for video surviellance system and method for processing events in the same system
CN102204248B (zh) 视频数据处理方法、视频图像展示方法和装置
US11496671B2 (en) Surveillance video streams with embedded object data
US10825310B2 (en) 3D monitoring of sensors physical location in a reduced bandwidth platform
US20180246964A1 (en) Speech interface for vision-based monitoring system
US10116770B2 (en) Image processing apparatus based on open platform and protocol conversion method used for the same
KR101493884B1 (ko) 4ｄ 방송 서비스를 위한 방송 네트워크와 홈 네트워크의 제어 방법 및 장치
US11599392B1 (en) Hybrid cloud/camera AI computer vision system
CN107534797A (zh) 增强包括相机记录的媒体记录
WO2022028177A1 (zh) 信息推送、视频处理方法和设备
US20230142015A1 (en) Video surveillance system, computer-implemented video management process, and non-transitory computer readable storage medium
US10785339B2 (en) Handling of event notifications in non-standard formats
US20220286642A1 (en) Event-oriented multi-channel video backup apparatus and method, and network surveillance camera system including the same
KR20200061109A (ko) 영상처리 일체형 cctv

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination