CN105379261A - 服务器节点装置与方法 - Google Patents

服务器节点装置与方法 Download PDF

Info

Publication number
CN105379261A
CN105379261A CN201480035944.0A CN201480035944A CN105379261A CN 105379261 A CN105379261 A CN 105379261A CN 201480035944 A CN201480035944 A CN 201480035944A CN 105379261 A CN105379261 A CN 105379261A
Authority
CN
China
Prior art keywords
server node
node device
data
output equipment
subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480035944.0A
Other languages
English (en)
Inventor
托马斯·迈克尔·卡开宁
奥西·迈克尔·卡雷沃
沃特里·哈卡莱依宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gurulogic Microsystems Oy
Original Assignee
Gurulogic Microsystems Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gurulogic Microsystems Oy filed Critical Gurulogic Microsystems Oy
Publication of CN105379261A publication Critical patent/CN105379261A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/565Conversion or adaptation of application format or content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6377Control signals issued by the client directed to the server or network components directed to server
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60General implementation details not specific to a particular type of compression
    • H03M7/6047Power optimization with respect to the encoder, decoder, storage or transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

一种服务器节点装置(10),通过通讯网络耦合于输入数据的多个源(30)以及一个或多个输出设备(20),服务器节点装置(10)接收来自输入数据的多个源(30)的数据内容,处理数据内容以提供给一个或多个输出设备(20)的至少一个子集,其中,服务器节点装置(10)主管一个或多个进程(110),所述进程(110)将数据内容处理成为兼容于一个或多个输出设备(20)的至少一个子集的原有数据呈现格式的格式,一个或多个输出设备(20)的至少一个子集同时呈现数据内容。

Description

服务器节点装置与方法
技术领域
本公开涉及服务器节点装置,尤其能够从多个输入设备接收输入数据、处理输入数据、并输出相应的输出数据的服务器节点装置,其中,输出数据包括各种类型的数据,如图形数据、音频数据、或以任何维度的其它内容。本发明还涉及运行上述服务器节点装置的方法,尤其是,运行服务器节点装置,以从多个输入设备接收输入数据、处理输入数据、并输出相应的输出数据,其中,输出数据包括各种类型的数据,如图形数据、音频数据、或以任何维度的其它内容。进一步,本发明还涉及记录于非瞬变(非暂时)机器可读存储介质上的软件产品,其中,软件产品可执行于计算硬件以实现上述方法。
背景技术
当前,存在这样的情形:需要把来自多个输入源的输入内容组合成为单一输出内容,而不扭曲输入内容,如,不给输出内容增加时间延迟,或者不影响它的像素分辨率。此外,还有许多情形不需要组合后的输出数据被存储,而其它情形则因为回放的需要而存储组合后的输出数据。这种存储最好是在保持原来的精度的情况下实现,如保留分辨率,以实现高质量的回放。
现有的技术方案中包括许多输入设备及数据收集设备,如模拟和/或数字照相头,连接到视频录制系统这样的监视装置;这样的视频录制系统包括数字录像机(DVR)、网络录像机(NVR)、个人录像机(PVR)。现有的技术方案为了实现高质量监视的目的,建设时成本高、耗时长,因为输入数据的每个源都按惯例连接于它自己的显示器,或者输入数据的几个源以高分辨率的方式连接在一起以共用显示器,其中生成了马赛克画面来显示来自所有的输入数据源的图像。参见图1,它是由一个机动车停车场的监视服务系统所生成的马赛克图像的示意图。在有些情形下,需要收集来自多个声音源的音频信号以生成高质量的音频数据。在此情形下,通常需要在被监视的声音源中进行选择,或者需要对来自声音源的音频内容进行汇总,比如,在一个管弦乐队,在一定空间内设置着多个电容器式麦克风,需要生成高质量的整体的合成信号来供大家欣赏,就像一场管弦乐音乐会的数字化广播的情形。
目前,缺少成本效率高的系统来处理来自相应输入源的多个高质量数据,这样的系统还应当避免使用很多的设备用于生成和传送高质量数据。当前的视频会议系统及应用通常支持各种类型的设备和输入数据源,不同的会议系统彼此互连共同工作。这样的视频会议系统能够按照大量的潜在的组合方式被配置,这带来一个问题,即,难以用这样的系统实现有效的通讯。在系统内采用互相一致的通讯协议是传统的做法,虽然某些输入数据源被转码成为经协商确定的格式,结果是,通过系统被通讯的一些图像的质量会下降。
无线移动通讯设备,如智能手机、平板电脑、平板手机电脑(phablet)、笔记本电脑、无线腕式可穿戴电脑,都被用来生成内容,有图像、视频、其它摄像信息、以及音频数据等形式。用这些移动设备处理图形信息要消耗大量的电能,对于为这些移动设备供电的电池来说,这是个问题,例如,当内容被解码并放大至期望的大小来被移动设备的像素显示器来显示的情况下。当这些移动设备被配置成为一群用户提供视频会议服务的情况,上述的电能消耗就确实成了问题。
发明内容
本发明旨在提供一个改进的服务器节点装置,其能够降低呈现设备(renderingdevice)的处理要求,所述的呈现设备操作用于呈现其接收自服务器节点装置的内容数据。
本发明还旨在提供一种改进的监视系统和/或视频会议系统。
本发明还旨在提供一种改进的方法,用于运行服务器节点装置,该装置能够降低呈现设备的处理要求,所述的呈现设备用于呈现其接收自服务器节点装置的内容数据。
根据本发明的第一方面,提供一种服务器节点装置,通过通讯网络耦合于输入数据的多个源以及一个或多个输出设备,服务器节点装置接收来自输入数据的多个源的数据内容,处理数据内容以提供给一个或多个输出设备的至少一个子集,其中,服务器节点装置主管(host)一个或多个进程,所述进程将数据内容处理成为兼容于一个或多个输出设备的至少一个子集的原有(native)数据呈现格式的格式,一个或多个输出设备的至少一个子集同时呈现数据内容。
服务器节点装置对接收自多个源的数据内容进行组合以生成组合信号以提供给一个或多个输出设备的至少一个子集。
在服务器节点装置中,多个源包括一个或多个照相机,一个或多个输出设备的至少一个子集同时呈现收集自一个或多个照相机的一个或多个图像。
在服务器节点装置中,一个或多个图像被收集自同一个照相机,以显示一个给定的场景按时间的变化。
在服务器节点装置中,多个源包括一个或多个声音源,一个或多个输出设备的至少一个子集同时呈现收集自一个或多个声音源的一个或多个音频信号。
本发明的优点在于,在服务器节点装置把内容数据处理成为与一个或多个输出设备原有的格式相兼容的格式,这节省计算资源。
实践中,原有(native)的数据呈现格式通常是RGB、YUV2,但典型地,图像被以压缩的形式传送,采用适当的分辨率。这种情形对应于兼容于原有数据呈现格式。通常,很容易从发送的格式转换成原有的数据呈现格式,只需要在一个或多个输出设备的最大量的处理,如解压缩或颜色转换。有益地,数据内容以一种被请求的格式提供给呈现设备,所述的被请求的格式可以是最适于呈现设备的原有(native)格式、压缩格式或类似的。
服务器节点装置实现作为监视系统的一个或多个进程。
服务器节点装置实现作为视频会议系统的一个或多个进程。
服务器节点装置的实现方式是,服务器节点装置包括一个或多个服务器,其中一个或多个服务器至少是部分地实现于一个或多个输出设备和/或多个源。
服务器节点装置也被用作TV/视频的广播/多播,即,包括同时的源照相机和/或视频源的应用场景。服务器节点装置还适合使用简单的设备通过互联网进行图像浏览,从多个图像获取信息,图像的生成是适于显示器的需要的。在一些方案中,显示器的分辨率与格式是固定的,或者包括少数的选择,如标准的设定,内容只能针对这些分辨率而生成;在某些方案中,一个给定的设备必须将显示器(窗口)的分辨率信息和格式信息发送给服务器节点装置,以便进行合适的调整。有时,某些或所有的用户能够在他们的显示器上独立地调整每个源的可见度,这样的信息需要被传送给服务器节点装置。
在服务器节点装置中,一个或多个输出设备在发送给服务器节点装置的一个消息中定义一个或多个参数,所述参数定义一个或多个原有格式,一个或多个输出设备要求服务器节点装置按照这些原有格式来提供内容数据。
按照兼容于一个或多个输出设备的至少一个子集的子集的兴趣区域(ROI)的方式,服务器节点装置提供处理过的内容数据给一个或多个输出设备的至少一个子集。
服务器节点装置至少一部分是实现于云计算环境。
服务器节点装置按照其初始的分辨率存储来自输入数据的一个或多个源的内容数据,按照兼容于一个或多个输出设备的原有格式的格式,将内容数据提供给一个或多个输出设备的至少一个子集。
在服务器节点装置中,内容数据包括以下至少之一:图像、视频、音频、传感器信号数据、文本数据。
服务器节点装置处理通过其的内容数据,方式是,响应于一个或多个输出设备的至少一个子集的用户输入,允许动态变化地进行图像大小调整。
根据第二方面,本发明提供一种在服务器节点装置处理数据的方法,服务器节点装置通过通讯网络耦合于输入数据的多个源以及一个或多个输出设备,服务器节点装置接收来自输入数据的多个源的数据内容,处理数据内容以提供给一个或多个输出设备的至少一个子集,所述方法包括步骤:
主管在服务器节点装置中的一个或多个进程,所述进程将数据内容处理成为兼容于一个或多个输出设备的至少一个子集的原有数据呈现格式的格式,在一个或多个输出设备的至少一个子集同时呈现数据内容。
所述方法包括:服务器节点装置对接收自多个源的数据内容进行组合以生成组合信号以提供给一个或多个输出设备的至少一个子集。
所述方法包括:在一个或多个输出设备的至少一个子集同时呈现一个或多个图像,所述一个或多个图像被收集自包括在多个源之内的一个或多个照相机。
所述方法包括:从同一个照相机收集一个或多个图像,以显示一个给定的场景按时间的变化。
所述方法包括:在一个或多个输出设备的至少一个子集同时呈现一个或多个音频信号,所述一个或多个音频信号被收集自包括于多个源之内的一个或多个声音源。
所述方法包括:服务器节点装置实现作为监视系统的一个或多个进程。
所述方法包括:服务器节点装置实现作为视频会议系统的一个或多个进程。
服务器节点装置也被用作TV/视频的广播/多播,即,包括同时的源照相机和/或视频源的应用场景。服务器节点装置还适合使用简单的设备通过互联网进行图像浏览,从多个图像获取信息,图像的生成是适于显示器的需要的。在一些方案中,显示器的分辨率与格式是固定的,或者包括少数的选择,如标准的设定,内容只能针对这些分辨率而生成;在某些方案中,一个给定的设备必须将显示器(窗口)的分辨率信息和格式信息发送给服务器节点装置,以便进行合适的调整。有时,某些或所有的用户能够在他们的显示器上独立地调整每个源的可见度,这样的信息需要被传送给服务器节点装置。
所述方法包括:实现服务器节点装置,使其包括一个或多个服务器,其中一个或多个服务器至少是部分地实现于一个或多个输出设备和/或多个源。
所述方法包括:一个或多个输出设备在一个发送给服务器节点装置的一个消息中定义一个或多个参数,所述参数定义一个或多个原有格式,一个或多个输出设备要求服务器节点装置按照这些原有格式来提供内容数据。
所述方法包括:按照兼容于一个或多个输出设备的至少一个子集的子集的兴趣区域(ROI)的方式,服务器节点装置提供处理过的内容数据给一个或多个输出设备的至少一个子集。
所述方法包括:实现服务器节点装置,使其至少一部分是实现于云计算环境。
所述方法包括:服务器节点装置按照其初始的分辨率存储来自输入数据的一个或多个源的内容数据,按照兼容于一个或多个输出设备的原有格式的格式,将内容数据提供给一个或多个输出设备的至少一个子集。
当实现所述方法,内容数据包括以下至少之一:图像、视频、音频、传感器信号数据、文本数据。
所述方法包括:服务器节点装置处理通过其的内容数据,方式是,响应于一个或多个输出设备的至少一个子集的用户输入,允许动态变化地进行图像大小调整。
根据第三方面,本发明提供了一种记录于机器可读数据存储介质上的软件产品,所述软件产品执行于计算硬件,用以实现根据本发明的第二方面的方法。
可以理解,在不脱离所附权利要求限定的本发明范围的情况下,本发明的特征易于组合为多种形式。
附图说明
现在将参考以下附图,仅通过示例的方式来描述本公开的实施例,在附图中:
图1是马赛克图像的示意图
图2A和2B是系统的示意图,系统包括用来提供被通讯的数据处理的服务器节点装置;
图3是发生在图2A和2B的系统内的数据交换的示意图。
在附图中,使用带下划线的数字来表示该带下划线的数字位于其上的项目或该带下划线的数字与之相邻的项目。不带下划线的数字与通过将该不带下划线的数字和一项目相连的线所标识的项目相关联。当一个数字不带下划线并且伴随有相关联的箭头时,使用该不带下划线的数字来标识该箭头所指向的一般项目。
具体实施方式
在描述实施例时所使用的缩略词如表1所列。
表1:缩写与缩略词
总体上看,参见图2,本发明涉及一个由5所表示的系统。系统5包括用10表示的服务器节点装置,该装置提供一种简单有效的方法来输出一个或多个输出设备20中的任何维度的各种图形内容、音频内容、和/或其它类型的内容,其中用于一个或多个输出设备20的内容衍生自被需要的输入数据的多个源30,这些源例如可用于现场监视和/或回放之目的。所述的方法采用受控于服务器节点装置10(例如受控于它的控制服务器节点40)的平行数据处理技术,其中,所述的处理技术被执行于一个给定的输出设备20,即“客户端”,它处在服务器节点装置10的一个服务器或其组合。服务器节点装置10包括一个或多个数据服务器。可选地,一个或多个数据服务器的一个子集被实现为一个或多个云服务器。服务器节点装置10,或者至少它的一部分,被实现在输入数据的一个源,即,实现在至少一个客户端设备。服务器节点装置10的一个服务器节点位于一个发送的客户端设备,也位于一个接收设备,尽管这可能不是一个最优的方案。服务器节点装置10包括一个或多个服务器,一个或多个服务器位于一个云计算环境。一个或多个客户端设备可以要么是源客户端,要么是目的地客户端,或者是它们的任意组合。
多个源30包括至少一个照相机,从至少一个照相机收集多个图像,当系统5在运行时,多个图像在不同的时间被重放。例如,来自同一照相机的多个图像被系统5重放,以显示在一个给定的场所的随时间的变化,这些变化可能对应于一个物体从给定场所的消失,这可能对应于偷窃的行为。
在图2中,服务器节点装置10包括多个服务器节点,例如用于扩展计算任务。输出设备20作为一个多播客户端来工作,它从单一的服务器节点接收内容数据,然后,输出设备20能够将内容数据发送给多目的地输出设备20、或者是耦合于在空间上彼此共用的本地网络的多目的地输出设备20,所说的本地网络例如是彼此共用的本地局域网。
输入数据的一个给定的源30将来自输入数据的多个源30的内容数据发送给服务器节点装置10。耦合于服务器节点装置10的一个给定设备能够作为一个输入或输出代理服务器而工作。输入数据的源30可以是任何设备或者计算硬件上的软件过程,它能够输出模拟或数字信号,这些信号包括图像信息、视频信息、或其它图形信息。
在图2所示的系统5中,包括输入数据的源30、输出设备20、以及服务器节点装置10,它能够节省系统内提供的大量通讯带宽,由于为每个目的地客户端的输出内容的构建和编码考虑到了每个单独的呈现设备和/或用于实现系统的软件的数据处理能力。服务器节点装置10的一个服务器节点位于一个发送客户端设备,和/或也位于接收设备,尽管后者可能不是最优的方案。
图2中的系统5能够处理源设备的一个多样化的数据,例如,照相机输入、桌面内容、3D照相机输入以及麦克风输入。图2中的输出设备包括内部(设备内的)显示器、外部显示器、3D显示器、3D打印机、扬声器等。例如,为了高效的3D打印,被打印的3D物体被生成自多样化的源,如照相机或文件。
图2中的系统5的运行方式是,呈现客户端设备,如输出设备20,需要较少的解码能力,因为内容通过服务器节点装置10被发送给它们时,特定的兴趣区域(ROI)是按照期望的编码格式、大小、质量而发送的,例如,来自一个或多个监视照相机的内容,提供来自一个被监视的空间区域的图像,用于防盗的安全之目的。此外,为输出设备20或目的地客户端的音频数据按照期望的格式和质量被发送。在运行中,系统能够在内容编码格式不被设备解码器(例如,在一个或多个输出设备20中)支持的时候避免出现问题,或者是当由于其它未知原因导致内容不兼容的时候避免出现问题。类似地,其它类型的数据的解码和处理所消耗的资源不多于系统中的必要资源,通常情况转码不是必要的。当在系统内发送数据时,当内容的发送是针对期望的兴趣区域ROI或质量,对比于所有的图像或数据发送给所有的输出设备(即,呈现客户端)时都是按照来自于源的时候的完全的精度的情形,前者需要较少通讯带宽。因此,在图2的系统中,呈现客户端可以根据需要从服务器节点装置10请求图像、视频、其它图形数据和/或音频数据,服务器节点装置10根据呈现客户端的需要对其所提供的内容进行适配。
在图2的系统5中,连接于系统的任何类型的模拟或数字图像、视频、图形数据、和音频输入都可以用作输入数据的源,即源30。例如,图1中的前30个照相机提供前30个图像,这些图像是模拟的,它们都通过同轴电缆装置连接并与系统5所主管(host)的一个监视系统的一个数字捕获电子电路板(卡)装置进行通讯。数字捕获电子电路板装置把模拟图像信号变换成数字YCbCr格式,即也被称为YUV2的格式。图1中提供马赛克图像的最后三个照相机是数字照相机,其中的两个数字照相机已经通过CAT5网络电缆连接,而一个数字照相机已经通过一个无线数据连接而连接,所述的无线连接例如是系统5的一个本地局域网(LAN)所属,使用WLAN协议。
系统5中的数字照相机,例如当被实现为“IP照相机”区别于模拟照相机的地方在于,数字照相机不需要与前述的数字捕获电子电路卡装置共用,因为数字照相机在它自己的机壳内包含数字处理电路,它们的输出已经被编码为数字格式,如YCbCr、RGB、MJPG、或者H.264。系统5能够接纳输入数据的其它类型的源,如,音频和图形输入源,其中它们的输出被处理的方式类似于前述的监视照相机,但是以它们自己原有的格式。换言之,系统5能够对给服务器节点装置10的输入数据进行解释,使得它能够被有效地解码,用于构建相应的输出信号以便提供给输出设备20。
如果来自源30的一个或多个输入信号通过服务器节点装置10发送给不止一个呈现设备,如不止一个输出设备20,当输入信号是以压缩格式提供给服务器节点装置10,系统5对输入信号仅作一次解压缩,相应的解压缩信息存储在存储器缓存中,直到一个新的输入信号替代了旧的。尽管解码的输入数据替代了之前被解压缩的输入信号,在系统5中仍然会出现这样的运行情况,即,信号不总是被解压缩,例如,当没有输出设备20需要解压缩格式的或者是不同分辨率的输入信号。因此,仅当一个或多个输出设备20需要解压缩格式的内容被提供给它们的时候,接收自一个或多个源30的一个或多个输入信号才在服务器节点装置10内被解码。当所有的呈现设备(如所有的输出设备20)需要由一个或多个源30生成的来自服务器节点装置10的输入数据所具有的分辨率与格式是类似于它们从一个或多个源30发送给服务器节点装置10的分辨率与格式时,在服务器节点装置10内的解码是不需要的,这就需要一个或多个输出设备20对它那里的数据进行解码。
当服务器节点装置10包括计算硬件,计算硬件执行一个或多个软件产品以提供其处理功能,服务器节点装置10可以被配置为把接收自一个或多个源30的数据处理成为多种格式,所述的多种格式是由一个或多个输出设备20,即呈现设备所需要的。服务器节点装置10所提供的这种功能是一种“Mixin”(混合)功能,其中系统5生成解压缩输入信号的一个组合,生成一个合成信号,称为“Mixin信号”,所述的输入信号是从一个或多个源30提供的。此外,关于“Mixin”功能,服务器节点装置10对“Mixin”信号进行编码和/或解码,使其成为对于给定的输出设备20(即呈现设备)是最优的格式。在从呈现设备发给服务器节点装置10的一个消息中,呈现设备定义一个或多个信号的位置(ROI)以及所需要的音频内容的质量,系统5从源30收集相应的相关信号,当合适的时候,要进行解压缩和转换,从其原有的格式变成最优的格式,最优的格式是由呈现设备中所采用的编码方法来定义的。
系统5的一个重要的功能是,对来自输入数据的源30的信号进行组合,通过采用像调整图像大小、对图像和/或音频信号进行过采样等手段,针对一个给定的兴趣区域(ROI),生成一个组合信号(如Mixin信号)给一个或多个输出设备20。例如,在系统5中,在服务器节点装置10,输入图像信号被与输出合成信号进行组合,所采用的方法是由服务器节点装置10提供的调整大小功能,例如采用超采样计算算法、立方法(cubicmethod)或线性方法;输入图像信号与输出合成信号进行组合,生成一个最终的输出信号以发送给输出设备20,在此之前,获得尽可能高的信号质量,也是可行的。
系统5进行编码所采用的编码方法是最适合每个呈现设备(如,输出设备20)的,例如,在服务器节点装置10为每个输出设备20定制,每个设备发送一个编码请求消息给服务器节点装置10,将其编码需求告知服务器节点装置10,由此来进行定制。服务器节点装置10能够生成为每个输出设备20定制的一个专用的输出,或者,这种定制也可以是针对具有彼此类似的编码需求的这种输出设备20的组。
在系统5的运行中,会出现这种情况,音频数据或其它类型的数据需要被组合。许多类型的数据能够简单地被组装在一起,生成组合数据,如,级联的音频文件。在其它情形下,需要按时间对文件进行合并,如,多个音频文件按时间平行地进行组合,以生成组合数据,如,在录制管弦乐音乐会的过程中,来自单个的麦克风的信号要被组合在一起,生成音乐会的整体的录音。信号的这种混合或组合是系统5提供的功能。当多个音频信号被彼此组合,有益地使用能够保留原始音量的方法,不增加额外的或过多的噪声。在一个示例中,多个音频信号对应于多个人一起在会议上讲话,系统5的一个优点是,它调整各人的声音的相对音量,使他们的音量彼此类似,这适用于电话会议或视频会议的情形。在另一个示例中,例如当系统5需要作为一个闯入者监视系统来工作的情形,基于一个最活跃的照相机源和/或音量最高的音频源,来选择一个音频源以传送给输出设备20。
当系统被用于视频会议的目的,源30和输出设备20是预定义的。参加该视频会议的一个给定用户的通讯设备可以既作为输出设备20也可以作为给系统5的输入信号的源30;类似的考虑可比照适用于电话会议。在监视应用中,输出设备20和源30可能位于彼此不同的位置,在某些情形,输出设备20均具有彼此不同的ROI,因而每个都需要源30的不同组合的信号。系统5提供了这种灵活性。因此,执行于系统中的进程为了一个给定的期望的输出信号,向呈现设备源30请求一个兴趣区域所需要的分辨率。ROI也可以是一个给定输出设备20的显示器的一个区域,为此,由服务器节点装置10正在处理的图像数据为了在输出设备20的呈现而被适配。例如,一个给定的输出设备20的原有的显示分辨率是800像素X480像素,它作为一个ROI被通讯给在服务器节点装置10上执行的一个或多个进程。在某种情形下,一个给定应用的一个显示区域,即“窗口”,可能小于显示器的原有分辨率,这就需要放大内容图像,以便呈现,这可采用上述的立方法或线性方法,这种放大有益地在服务器节点装置10执行,或者是由在服务器节点装置10的处理和在具有上述原有分辨率的给定的输出设备20的处理的组合来执行。在输出设备20接收的内容的调整大小是由包括在输出设备20中的计算硬件中的处理来执行。当呈现的原有分辨率和/或ROI“窗口”在分辨率小于输入源的分辨率,则需要进行缩小的处理。调整大小的操作在服务器节点装置10进行,但也可以在包括于输出设备20中的计算硬件中的数据处理来执行。
系统5能够生成图1所示的马赛克图像,此外,系统5能够生成包括来自任何数量的输入数据源30的内容的马赛克,例如,来自数字录像机和/或模拟录像机。马赛克可能在软件控制下以灵活的方式按要求进行重新安排,如为了在监视中心监视图像的人员缓解压力的考虑。马赛克是实时生成,且被示意为6X6图像的格式,但它是可以再配置为其它格式的,如1X1、1X2、2X3、9X6等。在马赛克中的图像的大小可以不同,例如,图1中的33个图像可以呈现为一个大图像和32个小图像,大图像的面积是小图像的四倍。马赛克中可以有许多不同大小的图像,图像的长宽比也可以不同。基于用户需要,图像的安排可以动态地变化,这些变化被通知给服务器节点装置,以实现最优的数据“Mixin”和数据传送。
本发明的实施例可以为系统5的呈现设备(即,一个或多个输出设备20)节省数量可观的计算能力。服务器节点装置10构建正好的期望的大小的内容、按照最合适于呈现设备的格式,并返回给呈现设备,从而实现了上述的节省。这种计算方面的节省可以提高系统5的运行可靠性,因为所需要的大量的数据处理以集中化的方式在服务器节点装置10的一个或多个服务器节点执行。这种集中化处理降低了在呈现设备,即输出设备20所需要的处理能力。而且,系统5能够节省与数据处理相关的数量可观的能源,原因如下:
(i)系统5的一个给定的呈现设备解压缩其接收的按原有格式的内容,避免了在呈现设备的为转换操作而需要的能源;
(ii)呈现设备能够直接使用它所接收的内容,不需要缩放内容,避免了在给定的呈现设备进行后处理的需要。
当呈现设备是低功率的便携设备,这种与数据处理相关的功耗的减少使得呈现设备靠电池供电时可以工作更长的时间而不需要更换电池或充电。而且,系统5能够减少从服务器节点装置10到一个或多个输出设备20(即,呈现设备)所通讯的数据量,因为一个给定的呈现设备的ROI常常会远远小于组合内容。例如,如果30个项目的被模数转换(ADC)后的750X750像素的图像和3个项目的1024X768像素分辨率的数字图像被从33个监视照相机发送,如图1所示的那样,发送给一个具有800X640像素的原有(native)分辨率的给定的呈现设备,那么,服务器节点装置10在它的进程中所实现的对图像面积和通讯传输能力的节省因子是38.4倍。如前所述,呈现设备不需要对图像大小进行调整以适应呈现设备的较小的显示器。当实现视频监视系统时,上述的实施例的方案尤其有用,视频捕获存储在服务器节点装置10中,自服务器节点装置10提供给一个或多个呈现设备的视频输出可以同时被实时观看或者回放。视频可以以完整的分辨率被存储在服务器节点装置10,并且以对于呈现设备来说最合适和高效的格式提供给一个或多个呈现设备。当系统5被实现于录制视频会议的情形,类似的考虑也适用。
通过将服务器节点装置10和给定的呈现设备耦合在一起的通讯网络,如果给定的呈现设备一次接收一个图像,系统5能够完成自动的视频图像同步,所述的通讯网络例如可以是互联网,其它类型的通讯网络也可以被额外地或替代地采用,例如像高安全级别的专用网络这样的专用定制通讯网络。在此情况下,服务器节点装置10在实时的方式对于来自输入数据的每个源30的要被编码的图像进行构建。
系统5可以把实时的现场内容传送给几个呈现设备,即使一些呈现设备在它们的数据处理能力方面比其它的呈现设备要慢一些,服务器节点装置10一旦收到呈现设备的请求,立即以定制的形式为每个呈现设备构建编码图像,较慢的呈现设备不会延迟图像被提供给较快的呈现设备的速率,按这种方式,服务器节点装置10能够支持呈现设备以类似于源30的方式工作,发送其自己的输入信号给服务器节点装置10,然后接收最新被发来的、针对精准ROI的、它期望在自己的图形显示器上呈现的图像。
系统5能够用来提供多个参与者之间的双向实时通讯,例如,在视频会议中。在服务器节点装置10中所进行的图像处理,如调整大小,使得它有可能让相当大量的参与者同时处在视频连接。如果几个呈现设备在它们自己的图形显示器上具有类似的ROI,服务器节点装置10可以把类似的图像提供给和个彼此类似的呈现设备,如型号类似的智能手机。在视频监视或视频会议中,一个给定的参与方可以选择更近地观看马赛克中有兴趣的一个特定照相机的图像,或者是研究视频会议的另一个参会方的脸部特征。给定参与方的呈现设备发送一个请求给服务器节点装置10,请求它以定制的方式(如,使用不同的缩放和/或分辨率)为特定参与方的呈现设备处理内容,由此实现上述的灵活性。要实现在服务器节点装置10的这种变化的了内容处理方式,只要特定的参与用户在它的呈现设备的触摸屏上滑动手指,或者是点击鼠标或类似的动作,即可实现。这种变化了的内容处理方式还可以包括,改变图像的长宽比、对定义了的图像进行各向异性的缩放、在一个图像或视频图像序列的某个区域执行颜色增强、对图像的某个区域进行高亮,等等。
在图3中,呈现设备,即输出设备20,发送请求100给呈现设备,请求其按照为输出设备20定义的方式来提供数据内容,所述内容是有关被服务器节点装置10主管(host)的特定的进程110A,例如,特定的进程110A是一个视频会议、住宅或停车场的监视服务、或者实况转播的体育比赛。服务器节点装置10能够同时支持多个进程110A、110B、110C,某些呈现设备可以同是订阅多个进程,使得它们的用户可以在进程之间快速切换。这种切换是有益的,例如,当系统5被用来监视和控制一个化工厂或者是医院设施,多个活动会同时发生,如,移动救护服务和紧急情况处理部门,这二者就需要互相协调。

Claims (33)

1.一种服务器节节点装置(10),通过通讯网络耦合于输入数据的多个源(30)以及一个或多个输出设备(20),服务器节点装置(10)接收来自输入数据的多个源(30)的数据内容,处理数据内容以提供给一个或多个输出设备(20)的至少一个子集,
其中,服务器节点装置(10)主管一个或多个进程(110),所述进程(110)将数据内容处理成为兼容于一个或多个输出设备(20)的至少一个子集的原有数据呈现格式的格式,
一个或多个输出设备(20)的至少一个子集同时呈现数据内容。
2.如权利要求1所述的服务器节点装置(10),其特征在于,服务器节点装置(10)对接收自多个源(30)的数据内容进行组合以生成组合信号以提供给一个或多个输出设备(20)的至少一个子集。
3.如权利要求1所述的服务器节点装置(10),其特征在于,多个源(30)包括一个或多个照相机,一个或多个输出设备(20)的至少一个子集同时呈现收集自一个或多个照相机的一个或多个图像。
4.如权利要求3所述的服务器节点装置(10),其特征在于,一个或多个图像被收集自同一个照相机,以显示一个给定的场景按时间的变化。
5.如权利要求1所述的服务器节点装置(10),其特征在于,多个源(30)包括一个或多个声音源,一个或多个输出设备(20)的至少一个子集同时呈现收集自一个或多个声音源的一个或多个音频信号。
6.如权利要求1所述的服务器节点装置(10),其特征在于,服务器节点装置(10)实现作为监视系统(5)的一个或多个进程(110)。
7.如权利要求1所述的服务器节点装置(10),其特征在于,服务器节点装置(10)实现作为视频会议系统(5)的一个或多个进程(110)。
8.如权利要求1所述的服务器节点装置(10),其特征在于,服务器节点装置(10)为TV/视频的广播/多播而实现一个或多个进程(110)。
9.如权利要求1所述的服务器节点装置(10),其特征在于,服务器节点装置(10)为通过互联网的图像浏览而实现一个或多个进程(110)。
10.如权利要求1所述的服务器节点装置(10),其特征在于,服务器节点装置(10)包括一个或多个服务器,其中,一个或多个服务器至少是部分地实现于一个或多个输出设备和/或多个源(30)。
11.如权利要求1所述的服务器节点装置(10),其特征在于,一个或多个输出设备(20)在发送给服务器节点装置(10)的一个消息(100)中定义一个或多个参数,所述参数定义一个或多个原有格式,一个或多个输出设备(20)要求服务器节点装置(10)按照所述原有格式来提供内容数据。
12.如权利要求1所述的服务器节点装置(10),其特征在于,按照兼容于一个或多个输出设备(20)的至少一个子集的子集的兴趣区域(ROI)的方式,服务器节点装置(10)提供处理过的内容数据给一个或多个输出设备(20)的至少一个子集。
13.如权利要求1所述的服务器节点装置(10),其特征在于,服务器节点装置(10)的至少一部分是实现于云计算环境。
14.如权利要求1所述的服务器节点装置(10),其特征在于,服务器节点装置(10)按照初始的分辨率存储来自输入数据的一个或多个源(30)的内容数据,按照兼容于一个或多个输出设备(20)的原有格式的格式,将内容数据提供给一个或多个输出设备的至少一个子集。
15.如权利要求1所述的服务器节点装置(10),其特征在于,内容数据包括以下至少之一:图像、视频、音频、传感器信号数据、文本数据。
16.如权利要求1所述的服务器节点装置(10),其特征在于,服务器节点装置(10)处理通过其的内容数据,响应于一个或多个输出设备(20)的至少一个子集的用户输入,允许动态变化地进行图像大小调整。
17.一种在服务器节点装置(10)处理数据的方法,服务器节点装置(10)通过通讯网络耦合于输入数据的多个源(30)以及一个或多个输出设备(20),其中,服务器节点装置(10)接收来自输入数据的多个源(30)的数据内容,处理数据内容以提供给一个或多个输出设备(20)的至少一个子集,所述方法包括步骤:
在服务器节点装置(10)主管一个或多个进程(110),所述进程(110)将数据内容处理成为兼容于一个或多个输出设备(20)的至少一个子集的原有数据呈现格式的格式;
在一个或多个输出设备(20)的至少一个子集同时呈现数据内容。
18.如权利要求17所述的方法,其特征在于,所述方法包括:服务器节点装置(10)对接收自多个源(30)的数据内容进行组合以生成组合信号以提供给一个或多个输出设备(20)的至少一个子集。
19.如权利要求17所述的方法,其特征在于,所述方法包括:在一个或多个输出设备(20)的至少一个子集同时呈现一个或多个图像,所述一个或多个图像被收集自包括在多个源(30)之内的一个或多个照相机。
20.如权利要求19所述的方法,其特征在于,所述方法包括:
从同一个照相机收集一个或多个图像;
显示一个给定的场景按时间的变化。
21.如权利要求17所述的方法,其特征在于,所述方法包括:在一个或多个输出设备(20)的至少一个子集同时呈现一个或多个音频信号,所述一个或多个音频信号被收集自包括于多个源(30)之内的一个或多个声音源。
22.如权利要求17所述的方法,其特征在于,所述方法包括:服务器节点装置(10)实现作为监视系统(5)的一个或多个进程(110)。
23.如权利要求17所述的方法,其特征在于,所述方法包括:服务器节点装置(10)实现作为视频会议系统(5)的一个或多个进程(110)。
24.如权利要求17所述的方法,其特征在于,所述方法包括:服务器节点装置(10)为TV/视频的广播/多播而实现一个或多个进程(110)。
25.如权利要求17所述的方法,其特征在于,所述方法包括:服务器节点装置(10)为通过互联网的图像浏览而实现一个或多个进程(110)。
26.如权利要求17所述的方法,其特征在于,所述方法包括:实现服务器节点装置(10),使其包括一个或多个服务器,其中,一个或多个服务器至少是部分地实现于一个或多个输出设备(20)和/或多个源(30)。
27.如权利要求17所述的方法,其特征在于,所述方法包括:一个或多个输出设备(20)在一个发送给服务器节点装置(10)的一个消息(100)中定义一个或多个参数,所述参数定义一个或多个原有格式,一个或多个输出设备(20)要求服务器节点装置(10)按照所述原有格式来提供内容数据。
28.如权利要求17所述的方法,其特征在于,所述方法包括:按照兼容于一个或多个输出设备(20)的至少一个子集的子集的兴趣区域(ROI)的格式,服务器节点装置(10)提供处理过的内容数据给一个或多个输出设备(20)的至少一个子集。
29.如权利要求17所述的方法,其特征在于,所述方法包括:实现服务器节点装置(10),使其至少一部分是实现于云计算环境。
30.如权利要求17所述的方法,其特征在于,所述方法包括:服务器节点装置(10)按照初始的分辨率存储来自输入数据的一个或多个源(30)的内容数据,按照兼容于一个或多个输出设备(20)的原有格式的格式,将内容数据提供给一个或多个输出设备(20)的至少一个子集。
31.如权利要求17所述的方法,其特征在于,所述内容数据包括以下至少之一:图像、视频、音频、传感器信号数据、文本数据。
32.如权利要求17所述的方法,其特征在于,所述方法包括:服务器节点装置(10)处理通过其的内容数据,响应于一个或多个输出设备(20)的至少一个子集的用户输入,允许动态变化地进行图像大小调整。
33.一种记录于机器可读数据存储介质上的软件产品,所述软件产品执行于计算硬件(10、20、30),用以实现根据权利要求17的方法。
CN201480035944.0A 2013-04-23 2014-04-21 服务器节点装置与方法 Pending CN105379261A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1307342.4A GB2514543B (en) 2013-04-23 2013-04-23 Server node arrangement and method
GB1307342.4 2013-04-23
PCT/EP2014/001051 WO2014173520A1 (en) 2013-04-23 2014-04-21 Server node arrangement and method

Publications (1)

Publication Number Publication Date
CN105379261A true CN105379261A (zh) 2016-03-02

Family

ID=48537695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480035944.0A Pending CN105379261A (zh) 2013-04-23 2014-04-21 服务器节点装置与方法

Country Status (6)

Country Link
US (1) US10250683B2 (zh)
EP (1) EP2989789A1 (zh)
CN (1) CN105379261A (zh)
GB (1) GB2514543B (zh)
RU (1) RU2662731C2 (zh)
WO (1) WO2014173520A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872594A (zh) * 2016-03-30 2016-08-17 乐视控股(北京)有限公司 实时码率调节方法、装置及服务端设备

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2514543B (en) 2013-04-23 2017-11-08 Gurulogic Microsystems Oy Server node arrangement and method
US9396354B1 (en) 2014-05-28 2016-07-19 Snapchat, Inc. Apparatus and method for automated privacy protection in distributed images
US9113301B1 (en) 2014-06-13 2015-08-18 Snapchat, Inc. Geo-location based event gallery
US10824654B2 (en) 2014-09-18 2020-11-03 Snap Inc. Geolocation-based pictographs
US9385983B1 (en) 2014-12-19 2016-07-05 Snapchat, Inc. Gallery of messages from individuals with a shared interest
US10311916B2 (en) 2014-12-19 2019-06-04 Snap Inc. Gallery of videos set to an audio time line
CN105991961B (zh) * 2015-02-02 2019-07-23 南宁富桂精密工业有限公司 视频会议录制系统及其方法
KR102035405B1 (ko) 2015-03-18 2019-10-22 스냅 인코포레이티드 지오-펜스 인가 프로비저닝
US10135949B1 (en) 2015-05-05 2018-11-20 Snap Inc. Systems and methods for story and sub-story navigation
US10354425B2 (en) 2015-12-18 2019-07-16 Snap Inc. Method and system for providing context relevant media augmentation
WO2018123972A1 (ja) * 2016-12-27 2018-07-05 株式会社村田製作所 高周波モジュール及び通信装置
US10581782B2 (en) * 2017-03-27 2020-03-03 Snap Inc. Generating a stitched data stream
US10582277B2 (en) * 2017-03-27 2020-03-03 Snap Inc. Generating a stitched data stream
CN112164132B (zh) * 2020-10-17 2021-04-02 深圳市游梦初心文化网络有限公司 基于大数据和云计算的游戏兼容处理方法及云端计算中心
WO2023164176A1 (en) * 2022-02-25 2023-08-31 Jacktrip Labs, Inc. Digital signal processing for cloud-based live performance
CN116866621B (zh) * 2023-09-05 2023-11-03 湖南马栏山视频先进技术研究院有限公司 一种面向视频实时渲染的云端同步方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070121651A1 (en) * 2005-11-30 2007-05-31 Qwest Communications International Inc. Network-based format conversion
US20110078532A1 (en) * 2009-09-29 2011-03-31 Musigy Usa, Inc. Method and system for low-latency transfer protocol
US20110083145A1 (en) * 2009-10-06 2011-04-07 Chris Cholas Methods and apparatus for combining local video content in a digital video stream

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010047517A1 (en) * 2000-02-10 2001-11-29 Charilaos Christopoulos Method and apparatus for intelligent transcoding of multimedia data
WO2002023375A2 (en) * 2000-09-13 2002-03-21 Smartserv Online, Inc. Method and apparatus for providing device-specific formatted data to a plurality of browser-enabled devices
WO2003005228A1 (en) * 2001-07-03 2003-01-16 Yahoo, Inc. Method and system for providing access to content associated with an event
US7679649B2 (en) * 2002-04-19 2010-03-16 Ralston John D Methods for deploying video monitoring applications and services across heterogenous networks
US7702015B2 (en) * 2003-03-20 2010-04-20 Ge Security, Inc. Systems and methods for multi-resolution image processing
EP1463332B1 (en) * 2003-03-25 2015-06-24 Broadcom Corporation Media processing system supporting different media formats via server-based transcoding
DE102004015806A1 (de) * 2004-03-29 2005-10-27 Smiths Heimann Biometrics Gmbh Verfahren und Anordnung zur Aufnahme interessierender Bereiche von beweglichen Objekten
KR100584217B1 (ko) * 2004-05-29 2006-05-26 전자부품연구원 하드웨어 트랜스코더를 이용한 이동형 디바이스의멀티미디어 서비스
US8787164B2 (en) * 2004-07-09 2014-07-22 Qualcomm Incorporated Media delivery system and method for transporting media to desired target devices
JP4207019B2 (ja) * 2005-05-16 2009-01-14 船井電機株式会社 クライアント・サーバシステム
US7956929B2 (en) * 2005-10-31 2011-06-07 Broadcom Corporation Video background subtractor system
US7840977B2 (en) * 2005-12-29 2010-11-23 United Video Properties, Inc. Interactive media guidance system having multiple devices
CN101072116B (zh) * 2007-04-28 2011-07-20 华为技术有限公司 业务选择方法、装置、系统及客户端应用服务器
US20090019492A1 (en) * 2007-07-11 2009-01-15 United Video Properties, Inc. Systems and methods for mirroring and transcoding media content
GB2463006B (en) * 2008-08-26 2011-03-16 Cvon Innovations Ltd Conversion management system, method and computer program
WO2010062761A1 (en) * 2008-11-03 2010-06-03 Novarra, Inc. Method and system for transforming and delivering video file content for mobile devices
US9282337B2 (en) * 2009-02-27 2016-03-08 Vixs Systems, Inc. Media source device with digital format conversion and methods for use therewith
US8259816B2 (en) * 2009-03-12 2012-09-04 MIST Innovations, Inc. System and method for streaming video to a mobile device
CN101552913B (zh) * 2009-05-12 2011-07-06 腾讯科技(深圳)有限公司 多路视频通讯系统及处理方法
US8903895B2 (en) * 2009-07-22 2014-12-02 Xinlab, Inc. Method of streaming media to heterogeneous client devices
JP2011062941A (ja) * 2009-09-18 2011-03-31 Toshiba Tec Corp サーマルプリンタ装置およびサーマルプリンタ制御方法
US8387088B2 (en) * 2009-11-13 2013-02-26 At&T Intellectual Property I, Lp Method and apparatus for presenting media programs
US9183560B2 (en) * 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate
JP2012099890A (ja) * 2010-10-29 2012-05-24 Sony Corp 画像処理装置、画像処理方法、および画像処理システム
WO2012126964A1 (en) * 2011-03-21 2012-09-27 Unwired Planet, Inc. Method and system for providing media optimization
US9088804B2 (en) * 2011-08-25 2015-07-21 Ustream, Inc. On-demand selection of transcoding formats for multimedia broadcast streams
GB2514543B (en) 2013-04-23 2017-11-08 Gurulogic Microsystems Oy Server node arrangement and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070121651A1 (en) * 2005-11-30 2007-05-31 Qwest Communications International Inc. Network-based format conversion
US20110078532A1 (en) * 2009-09-29 2011-03-31 Musigy Usa, Inc. Method and system for low-latency transfer protocol
US20110083145A1 (en) * 2009-10-06 2011-04-07 Chris Cholas Methods and apparatus for combining local video content in a digital video stream

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872594A (zh) * 2016-03-30 2016-08-17 乐视控股(北京)有限公司 实时码率调节方法、装置及服务端设备

Also Published As

Publication number Publication date
WO2014173520A1 (en) 2014-10-30
EP2989789A1 (en) 2016-03-02
RU2015143011A (ru) 2017-05-26
GB2514543B (en) 2017-11-08
GB201307342D0 (en) 2013-05-29
RU2662731C2 (ru) 2018-07-30
US10250683B2 (en) 2019-04-02
US20160036915A1 (en) 2016-02-04
GB2514543A (en) 2014-12-03

Similar Documents

Publication Publication Date Title
CN105379261A (zh) 服务器节点装置与方法
US8665943B2 (en) Encoding device, encoding method, encoding program, decoding device, decoding method, and decoding program
US8601097B2 (en) Method and system for data communications in cloud computing architecture
US20090322784A1 (en) System and method for virtual 3d graphics acceleration and streaming multiple different video streams
US7697768B2 (en) Method and apparatus for encoding an image
TW201246942A (en) Object of interest based image processing
CN102364945B (zh) 多画面图像解码显示的方法及其视频监控终端
JP2006134326A (ja) クライアントのディスプレイ状態に基づいてサーバからクライアントへのマルチメディアデータの送信を制御するための方法、クライアントのディスプレイ状態に基づいてクライアントでのマルチメディアデータの復号化を適合させるための方法、クライアントのディスプレイ状態に基づいてサーバからクライアントへのマルチメディアデータの送信を制御するためのモジュール、クライアントのディスプレイ状態に基づいてクライアントにおけるマルチメディアデータの復号化を適合させるためのモジュール、及びクライアント‐サーバシステム
CN111147860B (zh) 一种视频数据的解码方法及装置
CN114630051B (zh) 视频处理方法以及系统
CN104661059A (zh) 一种图片播放的方法、装置及机顶盒
CN110958431A (zh) 多路视频压缩后传系统及方法
US11943473B2 (en) Video decoding method and apparatus, video encoding method and apparatus, storage medium, and electronic device
CN104735410A (zh) 一种低于4k/s的窄带宽视频传输方法及系统
WO2023011408A1 (zh) 一种多窗口视频通信方法、设备及系统
CN211506458U (zh) 可实现无线投屏的智能视频通讯控制电路及投屏装置
US20160014417A1 (en) Methods and apparatuses for stripe-based temporal and spatial video processing
Kwon et al. Design and implementation of video management system using smart grouping
US20140055471A1 (en) Method for providing scalable remote screen image and apparatus thereof
KR100899666B1 (ko) 분산 다중 스트리밍 전송 장치
US20210263697A1 (en) System for Cloud-Composited Low-Latency Video Wall for Videoconferencing
KR20020070721A (ko) 동영상 전송장치
JP2014103534A (ja) 画像伝送装置
CN113038277B (zh) 一种视频处理方法和装置
WO2023223401A1 (ja) リアルタイム編集システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160302