CN116016950A - 用于传输视频流的方法和系统 - Google Patents

用于传输视频流的方法和系统 Download PDF

Info

Publication number
CN116016950A
CN116016950A CN202211252590.8A CN202211252590A CN116016950A CN 116016950 A CN116016950 A CN 116016950A CN 202211252590 A CN202211252590 A CN 202211252590A CN 116016950 A CN116016950 A CN 116016950A
Authority
CN
China
Prior art keywords
view
video stream
multiview
sensor data
sensors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211252590.8A
Other languages
English (en)
Inventor
米卡埃尔·穆尔斯塔姆
袁嵩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN116016950A publication Critical patent/CN116016950A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

本公开涉及用于传输视频流的方法和系统，具体涉及从包括主单元和多个传感器的系统提供视频流的方法，主单元被配置为从多个传感器接收数据，方法包括：从主单元向客户端传输多视图视频流，多视图视频流代表由来自系统中的多个传感器的传感器数据视图组成的多视图；在主单元中接收来自客户端的代表放大操作的命令；根据接收到的命令计算更新后的多视图；评估更新后的多视图是否包括大于预定阈值的在更新后的多视图中的主导传感器数据视图之外的区域；如果在主导传感器数据视图之外的区域大于预定阈值，传输代表更新后的多视图的多视图视频流；如果在主导传感器数据视图之外的区域小于或等于预定阈值，传输代表主导传感器数据视图的单视图视频流。

Description

用于传输视频流的方法和系统
技术领域
本公开涉及用于提供包括传感器数据视图的视频流的计算机实现的方法和系统。更具体地，本公开涉及基于传感器数据视图的多视图和单视图的视频流的处理。用于相同目的的计算机程序也被公开。
背景技术
实时视频监控系统在广泛的应用中已变得越来越流行。在多方向和多信道摄像头中，摄像头从每个单独的传感器/信道产生流。摄像头也可以被设置为输出将所有的传感器/信道组合成一个视频流的所谓的多视图流。传感器可以位于单个摄像头设备中或者位于彼此连接的若干个摄像头设备中。
监控系统可以说包括边缘端和客户端，边缘端是图像、视频或者其它内容被获得的地方，客户端是“视图”形式的视觉内容被呈现给用户的地方。“视图”可以被视为在输出设备上用于呈现视觉信息的视觉内容的配置。该术语经常地被用于视频内容。作为示例，四视图是由四个视频源组成的视图。
视频系统的客户端上的多视图可以通过两种方式实现。在客户端上提供多视图的第一种方式是在边缘端组成多视图流并将一个(即单个)流传输到客户端。在客户端上提供多视图的第二种方式是从边缘端传输单独的(即多个)流，并在客户端上组成多视图。本公开涉及在客户端上提供多视图的第一种方式，即传输一个流。
存在不同类型的多视图布局。一种是将视图并排布置，例如，如具有形成正方形的四个视图的四视图。另一种类型是所谓的画中画，其中视图被布置为彼此重叠。例如，一个视图中的图像部分可以被替换为来自另一摄像头的示出相同场景部分的视频。在其它变体中，叠加视频可以示出场景的概览，而辅助视图可以示出场景的放大视图。多视图的又一种格式是在视频的一侧中或处添加传感器数据表示。传感器数据可以由不同于图像传感器的另一类型的传感器(诸如用于对通过入口的人进行计数的传感器)捕捉。
云台缩放(PTZ)摄像头是能够进行定向和缩放控制的摄像头。PTZ摄像头使用光学缩放和电机来物理地调整摄像头的目标和缩放。在数字云台缩放(PTZ)摄像头中，倾斜、平移和缩放操作不涉及机械部件的移动。相反，倾斜、平移和缩放是通过在摄像头的可视区域内进行电子地导航和缩放来完成的。
支持多视图配置的现存系统不提供多视图中的PTZ操作。就它所提供的而言，这将是处理由若干个视图组成的多视图的问题，例如，通过数字地放大多视图图像的子部分。因此，需要能够更有效地处理多视图流的视图及其分辨率的系统。
发明内容
本公开的一个目标是提供用于提供视频流的方法和系统，其在多视图视频流及其缩放的上下文中提供增强的视频质量和无缝的用户体验。本公开的第一方面涉及从包括主单元和多个传感器的系统提供视频流的方法，其中，主单元被配置为从多个传感器接收数据，方法包括以下步骤：
从主单元向客户端传输多视图视频流，其中，多视图视频流代表由来自系统中的多个传感器的传感器数据视图组成的多视图；
在主单元中接收来自客户端的代表放大操作的命令；
根据接收到的命令计算更新后的多视图；
评估更新后的多视图是否包括大于预定阈值的在更新后的多视图中的主导传感器数据视图之外的区域；
如果在主导传感器数据视图之外的区域大于预定阈值，则传输代表更新后的多视图的多视图视频流；并且
如果在主导传感器数据视图之外的区域小于或等于预定阈值，则传输代表主导传感器数据视图的单视图视频流。
因此，客户端始终接收或者是单视图视频流或者是多视图视频流的一个流。例如，可以是网络浏览器、视频管理系统(VMS)、移动电话上的应用程序或者任何其它合适的用户界面的客户端接收视频流。客户端可以通过例如应用程序编程接口(API)，诸如基于http的API(诸如VAPIX)，向主单元发送命令，以控制例如主单元的平移、倾斜和缩放功能。主单元因此可以被配置为从客户端接收应用程序编程接口(API)命令以控制与放大操作相关的操作。主单元可以包括具有例如图像传感器形式的多个传感器的摄像头。图1中示出了诸如系统的实施例的示例。从客户端的角度来看，从主单元到客户端有连续的流。客户端接收或者是单视图视频流或者是多视图视频流的一个流。从传输多视图视频流到传输单视图视频流的转换对于客户端来说是无缝的体验。
主单元可以是主控单元。多个传感器然后可以被视为从属单元或者从属单元的部分。当前公开的从具有主单元和多个从属单元的系统提供视频流的方法的一个优点是，当用于切换到传输代表主导传感器数据视图的单视图视频流的条件时，从客户端到主单元的命令可以被转发到主导传感器数据视图源自其的从属单元。这意味着命令将直接地控制从属单元。
本公开涉及来自客户端的缩放操作的处理。起点是主单元将多视图视频流从主单元传输到客户端。多视图视频流代表由来自系统中的多个传感器的传感器数据视图组成的多视图，例如，四视图或者画中画(PiP)视图。当主单元从客户端接收到表示放大命令的命令时，处理单元基于命令计算更新后的多视图。传感器数据视图中的一个现在可以成为“主导”传感器数据视图，因为它在更新后的多视图中占据了原始传感器数据视图的最大的面积。下一步是评估在主导传感器数据视图之外是否有区域，并且如果有，则评估该区域是否大于预定阈值。如果在主导传感器数据视图之外的区域小于或等于预定阈值，则主单元切换到向客户端传输代表主导传感器数据视图的单视图视频流。单视图视频流示出来自单个传感器的视频或者数据表示。从用户和客户端两者的角度来看，从传输多视图视频流到传输单视图视频流的转换是无缝的。单视图视频流典型地可以具有比多视图视频流的分辨率高的分辨率。
优选地，多视图视频流是包括来自系统中的多个传感器的数据视图的单个视频流。这意味着多视图可以是压缩后的数据流的聚合视图，而单视图视频流是示出来自单个传感器的视频或者数据表示的单个传感器流。来自传感器的视频流和到客户端的流可以由处理单元控制。
本公开进一步涉及一种系统，包括：
主单元，连接到客户端；
多个传感器；
处理单元，被配置为：
从主单元向客户端传输多视图视频流，其中，多视图视频流代表由来自系统中的多个传感器的传感器数据视图组成的多视图；
基于从客户端接收到的代表放大操作的命令，根据接收到的命令计算更新后的多视图；
评估更新后的多视图是否包括大于预定阈值的在更新后的多视图中的主导传感器数据视图之外的区域；
如果在主导传感器数据视图之外的区域大于预定阈值，则传输代表更新后的多视图的多视图视频流；
如果在主导传感器数据视图之外的区域小于预定阈值，则传输代表主导传感器数据视图的单视图视频流。
本公开进一步涉及具有指令的计算机程序，指令当由计算设备或计算系统执行时使得计算设备或计算系统执行当前公开的提供视频流的方法的任何实施例。在此上下文中的计算机程序应被广义地解释，并且包括例如要在PC或者适于作为监控系统或包括传感器的任何系统的一部分运行的计算机上运行的计算机程序。
本发明的这些和其它方面在本发明的以下详细描述中阐述。
附图说明
下面将参考附图描述本发明，附图是示例性的并且不限于当前公开的用于提供包括传感器数据视图的视频流的方法和系统。
图1示出了当前公开的用于提供包括传感器数据视图的视频流的系统的实施例的示意图。
图2A至图2D示出了多视图/单视图和缩放操作的一些示例性视图。
图3A至图3C示出了当前公开的用于提供包括传感器数据视图的视频流的方法的一些用例。
图4示出了当前公开的用于提供包括传感器数据视图的视频流的方法的一个实施例的流程图。
图5示出了用于提供包括传感器数据视图的视频流的方法的实施例的流程图，方法包括缩小操作的处理。
具体实施方式
本公开涉及从包括主单元和多个传感器的系统提供视频流的方法。方法包括从主单元向客户端传输多视图视频流的第一步骤，其中，多视图视频流代表由来自系统中的多个传感器的传感器数据视图组成的多视图。视频流可以被视为图像帧的序列。然而，多视图视频流的所有视图不一定必须是移动视觉媒体或者视频。一个或若干个视图可以包括其它传感器数据，诸如人员计数器数据，或者与多视图视频流相关的其它信息。
方法进一步包括在主单元中接收来自客户端的代表放大操作的命令的步骤。命令可以响应于输入设备(例如操纵杆)的移动而被发送。方法然后根据接收到的命令提取或者计算更新后的多视图。放大操作应被广义地解释为涵盖也可能涉及平移和/或倾斜操作的放大场景。例如，如果用户/客户端希望放大视图的外围区域，则放大操作可以与在对应的摄像头中执行的平移和/或倾斜操作结合，以获得更新后的多视图。视图的“外围”区域可以指视图的外部分，甚至可能部分地在视图之外。
放大操作基于来自客户端的命令，诸如VAPIX命令。有若干种类型的缩放命令。根据第一类型的缩放命令，缩放保持视图的中心点并应用缩放级别。这可以对应于VAPIX中的被称为“缩放”的命令。在第二类型的缩放(在VAPIX中被称为“区域缩放”)中，缩放被执行，但是中心点(x,y)改变了。另外，在VAPIX中还有进一步的缩放命令“continuouszoommove”，明确地要求更连续的缩放，以便更逐步地缩放。缩放级别可以被表达为相对值或者绝对值。
当更新后的多视图已被计算时，评估更新后的多视图是否包括大于预定阈值的在更新后的多视图中的主导传感器数据视图之外的区域。本领域技术人员将具有实施这种评估所需的技能和工具。他拥有关于更新后的多视图中的不同视图的信息，并且可以通过众所周知的图像处理技术计算视图的大小。更新后的多视图中的传感器数据视图的面积大小然后可以被相互比较。占据更新后的多视图的最大的面积的传感器数据视图可以被认为是主导传感器数据视图。
方法进一步包括如果在主导传感器数据视图之外的区域小于或等于预定阈值则从主导传感器数据视图的多视图视频流改变为单视图视频流的步骤。预定阈值可以被选择为使得当主导传感器数据视图基本上占据整个更新后的多视图，或者至少占据整个更新后的多视图的主要部分时，系统切换到将单视图视频流而不是多视图视频流传输到客户端。阈值可以被设置为0，意味着只有当主导传感器数据视图占据整个更新后的多视图时，系统才从多视图视频流切换到单视图视频流。优选地，对于两种视图，从主单元向客户端传输的视频流以相同的格式被编码。由此，根据此实施例，对于被发送到客户端的所有的视频流，视频格式是相同的，并且因此客户端不必为了遵从当前公开的方法和系统而进行调整或者更新。客户端始终接收一个视频流。方法可以基本上实时地被执行。
图4示出了当前公开的用于提供包括传感器数据视图的视频流的方法的一个实施例的流程图。方法包括以下步骤：从主单元向客户端传输(301)多视图视频流；从客户端接收(302)代表放大操作的命令；计算(303)更新后的多视图；评估(304)更新后的多视图是否包括大于预定阈值的在更新后的多视图中的主导传感器数据视图之外的区域；检查(305)在主导传感器数据视图之外的区域是否大于预定阈值；如果是，则传输(306)代表更新后的多视图的多视图视频流；并且如果否，则传输(307)代表主导传感器数据视图的单视图视频流。
图2A至图2D示出了缩放操作过程期间多视图/单视图的一些示例性视图。根据图2A-图2B-图2C-图2D的转换和缩放操作图示了缩放操作的示例。在图2A中，客户端被提供有包括来自系统中的多个传感器的传感器数据视图(202)的多视图视频流(201)。多视图视频流(201)因此是包括多个视图的组合的单个视频流。当主单元从客户端接收到放大命令时，处理单元基于从客户端接收到的命令计算更新后的多视图。这种更新后的多视图(205)在图2B中示出。由于更新后的多视图中的主导传感器数据视图(图2B中的右上视图(202’))没有占据更新后的多视图(205)的足够大的部分—在主导传感器数据视图(202’)之外的区域(203)大于预定阈值—主单元传输代表更新后的多视图(205)的多视图视频流(201)。此更新后的多视图(205)包括主导传感器数据视图(202’)和其它传感器数据视图(202”)的部分。可以是VMS或类似物的客户端通过向主单元发送命令，从图2B的配置继续放大到图2C的配置。主单元将多视图视频流(201)更新为包括传感器数据视图(202)的另一更新后的多视图(205)，传感器数据视图(202)仍然是主导视图，但是仍然没有占据整个更新后的多视图(205)的足够大的部分以切换到单视图视频流。需要注意的是，从主单元到客户端有连续的流。从图2C接收到进一步的放大命令，系统基于该放大命令放大到图2D中的传感器数据视图(202)。由于传感器数据视图(202)现在占据整个更新后的多视图(205)，因此主单元被配置为传输单视图视频流(204)而不是多视图视频流。单视图视频流(204)代表是图2D中的更新后的多视图(205)中的唯一的视图的主导传感器数据视图(202)。因此，从用户和客户端的角度来看，转换是无缝的。在单视图视频流包括移动视觉媒体或者视频的情况下，对于传感器数据视图(202)或者其任何放大后的版本，单视图视频流可以提供比多视图视频流的分辨率高的分辨率。例如，如果当传感器数据视图(202)在单视图视频流(204)中以全尺寸显示时，主单元接收到缩小命令，则系统可以从图2D的配置返回到多视图视频流。切换到的多视图流可以是预定的格式，例如四视图。
本公开的上下文中的多视图视频流可以被定义为包括来自多个传感器的、视觉媒体形式的传感器数据视图的单个视频流。最典型的视觉媒体是图像的序列，也被称为视频，或者来自图像传感器的静止图像。传感器数据视图中的至少一个可以是来自图像捕捉单元的视频视图。在视频管理系统中，例如，对于监控，例如，在四视图配置或者其它合适的配置(3×3、4×4、M×N等)中并排显示一些视图以进行概览很常见。四视图配置的示例被提供在图3A中。四个传感器数据视图(202)(视频1、视频2、视频3和视频4)在多视图视频流(201)中被并排显示。当满足用于切换到单视图视频流的准则的对视频2的放大操作发生时，它使得系统传输代表主导传感器数据视图(202)的单视图视频流(204)，在此情况下为视频2。多视图的进一步示例是画中画特征，其中，一个或若干个传感器数据视图被显示在与其它传感器数据视图重叠的嵌入窗口中。这样的窗口可以被放置在其它传感器数据视图中/上的任何位置。这样的配置的一个示例是其中重叠的视图或者窗口包括视频形式的传感器数据视图的视图。更具体地，根据一个示例，可以有示出建筑物外部的一个或若干个视图。嵌入窗口然后可以示出来自建筑物内部的、由位于建筑物内部的摄像头设备捕捉的视图。如果客户端发送用于放大到示出建筑物内部的视图的命令，则建筑物内部的单视图视频流被传输。图3B和图3C示出了画中画配置的示例。在图3B中，第二传感器数据视图(202”’)(视频2)在多视图视频流(201)中被放置在第一传感器数据视图(202)(视频1)的顶部。第二传感器数据视图(202”’)可以被配置为使得它部分地阻挡第一传感器数据视图(202)(视频1)的在第二传感器数据视图(202”’)(视频2)后面的部分的视图。可替代地，第二传感器数据视图(202”’)可以至少部分地透明。在图3C中，第二传感器数据视图(202”’)(传感器数据)在多视图视频流(201)中被放置在第一传感器数据视图(202)(视频)的顶部。当前公开的提供视频流的方法可以被应用于图3B和图3C的配置。在图3B中，满足用于切换到单视图视频流的准则的对视频2的放大操作使得系统传输代表主导传感器数据视图(202’)的单视图视频流(204)，在此情况下为视频2。在图3C中，满足用于切换到单视图视频流的准则的对传感器数据(202”’)的放大操作使得系统传输代表主导传感器数据视图(202’)的单视图视频流(204)，在此情况下，是详细的传感器数据(202”’)。
进一步可能的配置是其中多视图是由来自系统中的多个传感器的传感器数据视图组成的拼接视图的配置。图像拼接或者照片拼接是将具有重叠的或相邻的视场的多个图像组合以产生分段全景图或高分辨率图像的过程。
在当前公开的用于提供包括传感器数据视图的视频流的方法和系统内，单元和传感器的若干种可能的配置是可能的。传感器数据视图可以包括图像、视频流、雷达图像流或人员计数器数据的可显示的表示，或者其组合。摄像头是捕捉视觉图像的光学仪器。它可以捕捉静止图像或者图像的序列。摄像头是可以包括一个或若干个传感器的设备。PTZ摄像头是能够进行远程定向和缩放控制的摄像头。PTZ摄像头通常只包括一个图像传感器。其它类型的摄像头是ePTZ或者虚拟云台缩放(VPTZ)，其中，高分辨率摄像头数字地缩放和平移图像的部分，没有物理的摄像头移动。当前公开的方法和系统不限于特定类型的摄像头或者传感器。多个传感器可以是来自不同摄像头的传感器，但是也可以是一个摄像头中的传感器。不同类型的传感器的组合也是可能的。作为示例，主单元可以具有与PTZ摄像头相结合的指向不同方向的一些固定的图像传感器。由此，在一个实施例中，多视图包括来自平移-倾斜-缩放(PTZ)摄像头以及一个或多个固定的摄像头视图的传感器数据视图。多个传感器可以形成主单元的部分，可以是外部传感器，或者其组合。
在当前公开的方法的一个实施例中，多视图包括来自第一传感器的背景视频流和来自第二传感器的至少一个叠加视频。来自第一传感器的背景视频流可以源自第一摄像头，而来自第二传感器的至少一个叠加视频流源自第二摄像头。流中的一个可以是来自雷达或者雷达系统的雷达视图。
多视图视频流是包括来自系统中的多个传感器的数据视图的单个视频流。这意味着多视图可以是压缩后的数据流的聚合流，而单视图视频流是示出来自单个传感器的视频或者数据表示的单个传感器流。主单元可以被配置为使用H.265的视频压缩标准来传输多视图视频流。H.265也被称为高效视频编码(HEVC)，是被设计为MPEG-H项目的一部分的作为高级视频编码(AVC)(H.264)的继任者的视频压缩标准。当使用H.265的视频压缩标准时，主单元可以被配置为从多个传感器接收编码后的流并聚合它们。可替代地，主单元可以被配置为使用H.264的视频压缩标准来传输多视图视频流。
如以上所陈述的，多个传感器中的至少一个可以是非图像传感器，诸如被配置为提供环境数据(诸如与存在、人或物体的数量、温度、湿度、污染、火灾有关的数据)的监控传感器或传感器系统，或者被配置为提供环境数据的生化传感器或传感器系统。如本领域技术人员将认识到的，摄像头可以被用作人员计数器。基于摄像头的应用程序可以例如提供关于通过站点的人员的数量以及他们移动的方向的信息。它还可以提供趋势、峰值和其它有价值的信息。在当前公开的方法的一个实施例中，如果主导视图是非图像传感器的视图，并且在主导传感器数据视图之外的区域小于或等于预定阈值，则在接收到放大操作时，包括非图像传感器的环境数据的更详细的视图的单视图视频流被传输。也就是说，如果多个传感器中的一个是非图像传感器(诸如人员计数器)，则放大之前的多视图视频流可以包括与人员计数器相关的高级信息。当发生放大并且系统切换到单视图视频流时，具有人员计数器的更详细的信息的更详细的视图被传输。
此外，当系统已经根据当前公开的方法切换到单视图视频流时，在单视图视频流包括来自非图像传感器的视图的情况下，系统优选地被配置为使得客户端可以继续使用相同的命令，诸如VAPIX，包括平移/倾斜/缩放命令。在来自非图像传感器的数据的单视图视频流中，这可以例如暗示进一步的放大提供甚至更详细的数据和/或平移或倾斜针对数据更新时间窗口或其它参数。
当前公开的提供视频流的方法可以进一步包括在显示器上显示多视图视频流或单视图视频流的步骤。
本公开进一步涉及一种系统，包括：
主单元，连接到客户端；
多个传感器；
处理单元，被配置为：
从主单元向客户端传输多视图视频流，其中，多视图视频流代表由来自系统中的多个传感器的传感器数据视图组成的多视图；
基于从客户端接收到的代表放大操作的命令，根据接收到的命令计算更新后的多视图；
评估更新后的多视图是否包括大于预定阈值的在更新后的多视图中的主导传感器数据视图之外的区域；
如果在主导传感器数据视图之外的区域大于预定阈值，则传输代表更新后的多视图的多视图视频流；
如果在主导传感器数据视图之外的区域小于预定阈值，则传输代表主导传感器数据视图的单视图视频流。
图1示出了当前公开的系统(101)的实施例的示意图。主单元(101)可以将视频流(105)传输到客户端(103)。系统包括或者是主单元(101)的部分或者连接到主单元(101)的多个传感器(102)。处理单元(104)被配置为处理从客户端(103)接收的命令并确定多视图视频流还是单视图视频流应被传输到客户端(103)。
本领域技术人员将认识到，当前公开的系统可以被配置为执行当前公开的从包括主单元和多个传感器的系统提供视频流的方法的任何实施例。多个传感器可以形成主单元的部分。可替代地，多个传感器是外部传感器。这些替代方案的组合也是可能的。
系统可以进一步包括有用的部件(诸如客户端)，其中，客户端可以包括视频管理系统和/或显示器和/或软件应用程序、到客户端的用于发送视频流和接收命令等的有线接口或无线接口。
本公开进一步涉及一种从包括主单元和多个传感器的系统提供视频流的方法，其中，主单元被配置为从多个传感器接收数据，方法包括以下步骤：
从主单元向客户端传输单视图视频流，其中，单视图视频流代表来自多个传感器中的一个的单视图；并且
在从客户端接收到代表缩小操作的命令时，从主单元向客户端传输多视图视频流，其中，多视图视频流代表由来自系统中的多个传感器的传感器数据视图组成的多视图。
提供用于缩小的视频流的方法对于当用户进行缩小时从单视图视频流移回到多视图视频流是有用的。在单视图视频流中，来自多个传感器中的一个的单视图被传输。
根据一个实施例，当从其中在单视图内有放大的配置(即，其中，不是所有的单视图的内容都被示出)发生缩小时，方法从传输单视图视频流切换到传输多视图视频流。用户缩小到其中所有(基于缩小命令)计算的更新后的单视图都适合视图的级别可以被用作切换到传输多视图视频流的触发器。优选地，多视图视频流是预定的多视图视频流。
在一个实施例中，系统继续传输单视图视频流，直到主单元在单视图为全尺寸时接收到两个缩小命令，基于两个缩小命令，主单元切换到传输多视图视频流。这可以防止从单视图视频流到多视图视频流的无意的切换。可替代地，系统可以被配置为基于经过的预定的时间段切换到传输多视图视频流。这样的预定的时间段可以基于从客户端发送到主单元的命令的频率来计算和设置。如果知道命令被发送的频率，则特定的预定的时间将对应于已被发送的命令(在这种情况下为缩小命令)的数量。用于提供用于切换到传输多视图视频流的条件的进一步选项是当缩小级别大于预定的限制时进行切换，即对于小的缩小，不切换，并且对于特定的最小幅度的缩小，切换。
从多视图视频流配置继续，提供视频流的方法可以进一步包括以下步骤：
在主单元中接收来自客户端的代表放大操作的命令；
根据接收到的命令计算更新后的多视图；
评估更新后的多视图是否包括大于预定阈值的在更新后的多视图中的主导传感器数据视图之外的区域；
如果在主导传感器数据视图之外的区域大于预定阈值，则传输代表更新后的多视图的多视图视频流；
如果在主导传感器数据视图之外的区域小于或等于预定阈值，则传输代表主导传感器数据视图的单视图视频流。
图5示出了用于提供包括传感器数据视图的视频流的方法的实施例的流程图(400)。方法包括以下步骤：从主单元向客户端传输单视图视频流，其中，单视图视频流代表来自多个传感器中的一个的单视图(401)；并且，在从客户端接收到代表缩小操作的命令时(402)，从主单元向客户端传输多视图视频流，其中，多视图视频流代表由来自系统中的多个传感器的传感器数据视图组成的多视图(403)。
如以上所陈述的，不同类型的传感器的组合也是可能的。当前公开的技术也适用于鱼眼镜头。鱼眼镜头是产生强烈的视觉失真旨在创建宽全景或半球形图像的超广角镜头。鱼眼的特殊之处在于，对鱼眼图像的DPTZ操作不仅是图像的裁剪，而且还进行矫正，所以它更像是图像裁剪的直线变换。其它方面原理相同。鱼眼可以是多视图中的一个传感器数据视图。如果只有一个是鱼眼视图的传感器数据视图，则客户端可以发送用于放大鱼眼视图的命令。原则上，如果在子视图之外的区域小于预定阈值，则使用此缩放切换到传输鱼眼视图中示出的子视图的矫正后的单视图视频流是可能的。

Claims (15)

1.一种从包括主单元和多个传感器的系统提供视频流的方法，其中，所述主单元被配置为从所述多个传感器接收数据，所述方法包括以下步骤：
从所述主单元向客户端传输多视图视频流，其中，所述多视图视频流代表由来自所述系统中的所述多个传感器的传感器数据视图组成的多视图；
在所述主单元中接收来自所述客户端的代表放大操作的命令；
根据接收到的所述命令计算更新后的多视图；
评估所述更新后的多视图是否包括大于预定阈值的在所述更新后的多视图中的主导传感器数据视图之外的区域；
如果在所述主导传感器数据视图之外的所述区域大于所述预定阈值，则传输代表所述更新后的多视图的多视图视频流；
如果在所述主导传感器数据视图之外的所述区域小于或等于所述预定阈值，则传输代表所述主导传感器数据视图的单视图视频流。
2.根据权利要求1所述的提供视频流的方法，其中，所述更新后的多视图中的所述主导传感器数据视图是占据所述更新后的多视图的最大的面积的所述传感器数据视图。
3.根据权利要求1所述的提供视频流的方法，其中，所述预定阈值为0。
4.根据权利要求1所述的提供视频流的方法，其中，所述多个传感器形成所述主单元的部分，或者其中，所述多个传感器是外部传感器，或者其组合。
5.根据权利要求1所述的提供视频流的方法，其中，所述主单元是主控单元，并且所述多个传感器是从属单元或者从属单元的部分，进一步包括当传输所述单视图视频流时将来自所述客户端的进一步命令转发到对应于所述主导传感器数据视图的从属单元的步骤。
6.根据前述权利要求中的任一项所述的提供视频流的方法(300)，其中，所述单视图视频流(204)具有比所述多视图视频流(201)的代表所述更新后的多视图(205)的所述主导传感器数据视图(202)的分辨率高的分辨率。
7.根据权利要求1所述的提供视频流的方法，其中，所述多个传感器中的至少一个是非图像传感器，诸如被配置为提供诸如与存在、人或物体的数量、温度、湿度、污染、火灾有关的数据的环境数据的监控传感器或传感器系统，或者被配置为提供环境数据的生化传感器或传感器系统，
其中，在接收到代表放大操作的命令时，如果所述主导传感器数据视图是所述非图像传感器的视图并且在所述主导传感器数据视图之外的所述区域小于或等于所述预定阈值，则传输包括所述非图像传感器的所述环境数据的更详细的视图的单视图视频流。
8.根据权利要求1所述的提供视频流的方法，其中，所述多视图视频流是包括来自所述系统中的多个传感器的数据视图的单个视频流。
9.根据权利要求1所述的提供视频流的方法，其中，所述多视图是压缩后的数据流的聚合视图。
10.根据权利要求1所述的提供视频流的方法，其中，所述多视图是画中画视图。
11.根据权利要求1所述的提供视频流的方法，其中，所述多视图包括来自第一传感器的背景视频流和来自第二传感器的至少一个叠加视频。
12.一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质上存储有指令，所述指令当在具有处理能力的计算设备或计算系统上执行时用于实现根据权利要求1所述的方法。
13.一种系统，包括：
主单元，连接到客户端；
多个传感器；
处理单元，被配置为：
从所述主单元向所述客户端传输多视图视频流，其中，所述多视图视频流代表由来自所述系统中的所述多个传感器的传感器数据视图组成的多视图；
基于从所述客户端接收到的代表放大操作的命令，根据接收到的所述命令计算更新后的多视图；
评估所述更新后的多视图是否包括大于预定阈值的在所述更新后的多视图中的主导传感器数据视图之外的区域；
如果在所述主导传感器数据视图之外的所述区域大于所述预定阈值，则传输代表所述更新后的多视图的多视图视频流；
如果在所述主导传感器数据视图之外的所述区域小于所述预定阈值，则传输代表所述主导传感器数据视图的单视图视频流。
14.根据权利要求13所述的系统，其中，所述处理单元被配置为执行根据权利要求1所述的方法。
15.一种从包括主单元和多个传感器的系统提供视频流的方法，其中，所述主单元被配置为从所述多个传感器接收数据，所述方法包括以下步骤：
从所述主单元向客户端传输单视图视频流，其中，所述单视图视频流代表来自所述多个传感器中的一个的单视图；
在从所述客户端接收到代表缩小操作的命令时，从所述主单元向所述客户端传输多视图视频流，其中，所述多视图视频流代表由来自所述系统中的所述多个传感器的传感器数据视图组成的多视图。
CN202211252590.8A 2021-10-22 2022-10-13 用于传输视频流的方法和系统 Pending CN116016950A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21204318.6 2021-10-22
EP21204318.6A EP4171022B1 (en) 2021-10-22 2021-10-22 Method and system for transmitting a video stream

Publications (1)

Publication Number Publication Date
CN116016950A true CN116016950A (zh) 2023-04-25

Family

ID=78592460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211252590.8A Pending CN116016950A (zh) 2021-10-22 2022-10-13 用于传输视频流的方法和系统

Country Status (6)

Country Link
US (1) US11936920B2 (zh)
EP (1) EP4171022B1 (zh)
JP (1) JP7386307B2 (zh)
KR (1) KR20230057946A (zh)
CN (1) CN116016950A (zh)
TW (1) TW202322632A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4171022B1 (en) * 2021-10-22 2023-11-29 Axis AB Method and system for transmitting a video stream

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003115050A (ja) * 2001-10-04 2003-04-18 Sony Corp 映像データ処理装置及び映像データ処理方法、データ配信装置及びデータ配信方法、データ受信装置及びデータ受信方法、記憶媒体、並びにコンピュータ・プログラム
JP2004193766A (ja) 2002-12-09 2004-07-08 Fujitsu Ltd 映像配信表示システム、映像配信システム、映像表示システム、および映像配信方法
WO2005094351A2 (en) * 2004-03-26 2005-10-13 Peoples Broadband, Inc. Next generation consumer telecommunications network
EP1769635A2 (en) * 2004-06-01 2007-04-04 L-3 Communications Corporation Modular immersive surveillance processing system and method.
WO2006040687A2 (en) 2004-07-19 2006-04-20 Grandeye, Ltd. Automatically expanding the zoom capability of a wide-angle video camera
TW200704183A (en) * 2005-01-27 2007-01-16 Matrix Tv Dynamic mosaic extended electronic programming guide for television program selection and display
JP2008536196A (ja) * 2005-02-14 2008-09-04 ヒルクレスト・ラボラトリーズ・インコーポレイテッド ３ｄポインティングを使用してテレビアプリケーションを向上させる方法およびシステム
US7796154B2 (en) * 2005-03-07 2010-09-14 International Business Machines Corporation Automatic multiscale image acquisition from a steerable camera
CA2601792C (en) * 2005-03-30 2016-02-09 United Video Properties, Inc. Systems and methods for video-rich navigation
US20060230427A1 (en) * 2005-03-30 2006-10-12 Gerard Kunkel Method and system of providing user interface
CN104135641B (zh) * 2014-07-15 2018-10-02 北京小鱼在家科技有限公司 一种移动终端的工具及智能整合音视频的服务器
CN104822070B (zh) * 2015-04-13 2018-07-20 腾讯科技（北京）有限公司 多路视频流播放方法及装置
KR102396036B1 (ko) * 2015-05-18 2022-05-10 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
EP3451650B1 (en) * 2017-08-29 2020-01-08 Axis AB A method of calibrating a direction of a pan, tilt, zoom, camera with respect to a fixed camera, and a system in which such a calibration is carried out
KR101967819B1 (ko) * 2017-11-02 2019-04-10 주식회사 코난테크놀로지 타일 영상 기반 다중 재생을 위한 영상 처리장치 및 그 타일 영상 구성방법
US20210029343A1 (en) * 2018-03-29 2021-01-28 Sony Corporation Information processing device, method, and program
US11463738B2 (en) * 2019-11-22 2022-10-04 Charter Communications Operating, Llc Delivering on-demand video viewing angles of an arena
EP3849202B1 (en) * 2020-01-10 2023-02-08 Nokia Technologies Oy Audio and video processing
US11086491B1 (en) * 2020-01-21 2021-08-10 Honeywell International Inc. Systems and methods for displaying video streams on a display
US10904446B1 (en) * 2020-03-30 2021-01-26 Logitech Europe S.A. Advanced video conferencing systems and methods
EP3902244B1 (en) * 2020-04-23 2022-03-23 Axis AB Controlling a pan-tilt-zoom camera
US20230109787A1 (en) * 2021-09-24 2023-04-13 Apple Inc. Wide angle video conference
EP4171022B1 (en) * 2021-10-22 2023-11-29 Axis AB Method and system for transmitting a video stream

Also Published As

Publication number Publication date
US11936920B2 (en) 2024-03-19
JP2023063251A (ja) 2023-05-09
US20230129908A1 (en) 2023-04-27
KR20230057946A (ko) 2023-05-02
EP4171022B1 (en) 2023-11-29
EP4171022A1 (en) 2023-04-26
EP4171022C0 (en) 2023-11-29
TW202322632A (zh) 2023-06-01
JP7386307B2 (ja) 2023-11-24

Similar Documents

Publication Publication Date Title
US10187569B2 (en) Portable device capable of generating panoramic file
JP4345829B2 (ja) 画像表示システム、画像表示装置、画像表示方法およびプログラム
KR101662074B1 (ko) 제어 장치, 카메라 시스템 및 기록 매체
JP2007189503A (ja) 端末装置及びプログラム
KR20110108265A (ko) 제어 장치, 카메라 시스템 및 프로그램
JP2004023373A (ja) 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US9065996B2 (en) Surveillance system
JP2016127571A (ja) カメラシステム、表示制御装置、表示制御方法、及びプログラム
JP2007020092A (ja) 画像表示装置、画像表示方法および画像表示システム
JP2008252331A (ja) デジタル監視システム
KR101778744B1 (ko) 다중 카메라 입력의 합성을 통한 실시간 모니터링 시스템
US11936920B2 (en) Method and system for transmitting a video stream
JP2006033380A (ja) 監視システム
CN113556462B (zh) 用于控制平移倾斜变焦相机的方法和系统以及存储介质
JP2007043466A (ja) 画像合成装置並びに多カメラ監視システム
JPH08336128A (ja) 映像視聴装置
JP6157220B2 (ja) 出力装置およびその方法
JP6261191B2 (ja) 表示制御装置、表示制御方法、プログラム
KR20170055455A (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템 및 그가 적용된 tvi 장치
JP2008301191A (ja) 映像監視システム、映像監視制御装置、映像監視制御方法、及び映像監視制御用プログラム
JP2012034099A (ja) データ送信装置
JPH11243508A (ja) 画像表示装置
JP2006165664A (ja) 画像送受信システム
JP2006222617A (ja) 遠隔撮影システム、遠隔表示制御装置及び遠隔撮影装置
JP2010114575A (ja) 監視システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination