CN109446355A - 用于分布式媒体的交互式和实时可视化的系统和方法 - Google Patents

用于分布式媒体的交互式和实时可视化的系统和方法 Download PDF

Info

Publication number
CN109446355A
CN109446355A CN201811275167.3A CN201811275167A CN109446355A CN 109446355 A CN109446355 A CN 109446355A CN 201811275167 A CN201811275167 A CN 201811275167A CN 109446355 A CN109446355 A CN 109446355A
Authority
CN
China
Prior art keywords
source
media
computer
viewing
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811275167.3A
Other languages
English (en)
Other versions
CN109446355B (zh
Inventor
克里斯托弗·O·杰恩斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mersive Technologies Inc
Original Assignee
Mersive Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mersive Technologies Inc filed Critical Mersive Technologies Inc
Publication of CN109446355A publication Critical patent/CN109446355A/zh
Application granted granted Critical
Publication of CN109446355B publication Critical patent/CN109446355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H04L65/1089—In-session procedures by adding media; by removing media
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H04L65/1093—In-session procedures by adding participants; by removing participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567—Multimedia conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)

Abstract

一种用于提供媒体的控制和可视化的方法。从源计算机接收具有初始分辨率的第一媒体流；第一媒体流被重新缩放以生成具有第二分辨率的第二媒体流；将第二媒体源流传送到目的计算机；在从目的计算机接收到指示对第二媒体流的选择的指令之后，根据接收到的重新缩放信息来重新缩放流，以生成被传送到目的计算机的具有第三分辨率的第三媒体流。

Description

用于分布式媒体的交互式和实时可视化的系统和方法
本申请是申请日为2016年4月23日，名称为“用于分布式媒体的交互式和实时可视化的系统和方法”的中国发明专利申请201680035020.X的分案申请。
背景技术/待解决的问题
存在用于控制显示器上多个媒体源的外观和相对位置/比例(布局)的各种技术。例如，视频墙定标器和切换器允许用户将控制命令注入到影响单个共享显示器上的视频源的呈现的视频路由系统中。视频墙控制命令必要地修改主显示器的共享外观–即，如果媒体源在该显示器上被缩放得更大–则该缩放针对那单个共享显示器的所有观看器。另一方面，一些系统支持与共享观看不同的个别控制。例如，一些视频电话会议软件系统允许各个用户在没有共享观看的情况下在其自己的界面中缩放文档或web相机视图的视频流。
因此，这些现有技术没有解决既包括提供各种媒体流的同步观看的主机显示系统又包括在每个连接的源计算机上的相同系统的各个(但同步)观看的分布式可视化系统的需要。所需要的是一种机制，其允许用户控制共享显示器表面,并且以支持组协作和单独观看每个共享媒体源的方式同时观看连接的设备上的共享显示器，而不修改主共享显示器屏幕。
考虑这种情况，例如，当四个源计算机，每个连接到同时共享媒体源的共享显示器。假设共享显示器是1920x1080分辨率的屏幕。如果每台计算机正在共享单个1920x1080分辨率的媒体流，并且所有四个源均在共享显示器上被显示，那么任何单独源分辨率最多是(1920/2)x(1080/2)＝960x540。虽然这对于不同的，通常差别的媒体源的比较性观看是有用的，但是信息必然地丢失。此外，在每个单独的计算机上显示共享显示媒体的复制的系统可能进一步降低每个显示的媒体源的分辨率，使得它在受约束的用户界面内适用。
方案/发明内容
公开了一种系统和方法，其允许多个用户在一组计算机处使用连接到公共显示系统的各种设备协作地可视化一组媒体源。该系统支持从一个或多个源计算机同时流传输的多个媒体源，并将这些源布置在公共显示器上用于同时可视化。同时，每个源计算机经由用户界面被呈现，呈现共享显示器上的媒体流的当前布置和布局。
本系统和方法引入了允许协作会话中的每个参与者交互地选择和观看特定源媒体的高分辨率视频的技术。由于先前的媒体流传输系统通常支持媒体源从源计算机到共享显示器的单向流传输，但是不支持共享显示器在源计算机上的同时可视化，因此需要该方法。即使在共享显示器的图形表示在源计算机上被描绘的情况下，也必须按比例缩放以匹配源计算机显示器分辨率的约束以及潜在的用户界面的限制。
附图说明
图1是图示本系统的示例性部件的图；
图2是示出在本系统的示例性实施例中执行的一组示例性步骤的流程图；
图3-5图示了其中当四个用户连接到本系统并协作时的示例，其中多个源媒体文件被共享；
图6示出了其中媒体源直接从源计算机传送到目的计算机的示例性实施例；以及
图7示出了其中元数据在客户端计算机之间传送以指示是否正在检查特定源的示例性实施例。
具体实施方式
本系统和方法在其中多个源计算机连接到特定协作会话的环境中操作，来自至少一个源计算机的一个或多个媒体源被显示在中央共享显示器上并且还显示在至少一个源计算机上。该系统允许在特定源计算机上以独立于共享显示器上的当前比例的分辨率来观看媒体源。这个功能提供了共享显示器表面的协作可视化，同时支持各个用户以期望的比例观看单个媒体源。
图1示出了本系统100的示例性部件，其包括主机显示系统102和经由诸如互联网的网络130与系统102通信的一个或多个客户端显示设备106(*)[其中“*”是指示任意设备的通配符]。如图1所示，在示例性实施例中，主机系统102包括主机控制器(数字处理器)104、关联的数据存储器110、共享显示器103和服务器115。耦合到服务器115的主机控制器104执行主机软件105以提供本文描述的媒体缩放功能。数据存储器110用于存储数据，包括源映射101和用于存储用户元数据信息的配置文件121。在一些情况下，用户可以一起观看用于共享观看的单个主机计算机共享显示器103。
每个源(或“客户端”)计算机106可以是具有数字处理器104和显示器108的任何类型的计算机控制设备，诸如台式或膝上型计算机、平板电脑或智能电话等。驻留在每个源计算机106中的存储器111中的客户端软件应用107执行任务，包括提供用于处理和格式化从系统102接收到的信息的用户界面116，以及将控制信息发送到系统，如下面详细描述的。
图2是示出在本系统的示例性实施例中执行的一组示例性步骤的流程图。如图2所示，响应于在步骤203处来自一个或多个源计算机106的请求，主机系统102建立与(一个或多个)请求计算机的会话连接。在示例性实施例的这个步骤中，每个源计算机通过发送元数据来请求发起新的媒体源流，该元数据指示包括流的信息，包括原始分辨率、类型(静止图像或视频流)以及潜在的其它数据，诸如指示视频流如何被编码的数据。系统102可以拒绝新的流(例如，如果超过了可允许的流的最大数量)；否则，主机系统在步骤205处确认请求。作为响应，在步骤210处，源计算机106中的一个或多个向主机系统102发送具有初始(原始)分辨率的各自的媒体源流。
在步骤215处，主机系统102通过向每个连接的源计算机发送源映射101向每个连接的源计算机106通知关于当前可从其它连接的源计算机106获得的媒体源流。源映射101可以包括图形表示(即，共享显示状态的图像)、媒体源名称和所有者的列表、或表示共享显示器103的状态的其它信息。
在一个实施例中，在步骤215中，主机系统102以多个“缩略图”的形式向每个连接的源计算机发送源映射101，这些“缩略图”是可用源媒体流的缩放/定位表示。缩略图是描绘源映射的图形方式，其中所有权可以通过与图标对应的缩略图的边界颜色，或者通过在缩略图上显示名称等来显示。在另一个实施例中，源映射101包括不一定以几何形式布置或描绘为缩略图的媒体源列表，例如，具有所有权信息的文本名称列表等。当用户经由源计算机连接到主机系统并且保持连接时，这个源映射传输在不需要用户输入的情况下发生。为了以更高的分辨率观看源媒体流的一个，用户从源映射101中指示为可用的那些源媒体流中“选择”，如下面详细解释的。
源映射101允许用户经由连接到主机显示系统102的每个源计算机106上的用户界面116选择特定媒体源109。例如，在一个实施例中，源映射是用户界面116上的每个可用媒体源的图形表示。例如，当四个媒体源已经被共享给主机显示系统时，这些源的每一个以与每个源媒体的各自的原始分辨率相比相对较低的分辨率和较低的帧速率以缩略图显示在连接的源计算机上。
在步骤217处，系统102以允许在单个显示屏幕上观看每个流的第二分辨率在共享显示器103上显示来自连接的源计算机的媒体流，并且在步骤220处，系统102同样以第二分辨率将流传输媒体从每个连接的用户发送到每个连接的源计算机106。
在步骤225处，为了选择要观看的特定媒体源，在一个实施例中，源计算机106处的用户通过使用界面116在源映射101中与感兴趣的媒体源对应的缩略图上右点击来选择源映射101中的媒体源。在这个实施例中，出现菜单并且用户选择“分离并缩放”选项。在示例性实施例中，源映射101可以包括文件名称的列表、简短描述和媒体源的所有者，在这种情况下，主机系统102不一定初始地将实际媒体流发送到所有连接的用户。该信息初始地被发送到每个用户来代替媒体流本身。在这样的实施例中，源映射101仅包括数据。如下所述，用户可以使用该数据来选择媒体源，并且然后开始接收所选择的媒体源流。注意的是，当以这种方式观看媒体源时，它可能不是原来的源视频流。例如，所观看的媒体可能是比原始媒体源流更低帧速率的一组静止图像(以原始分辨率)。
在步骤225中，在选择媒体源109(*)之后，源计算机106(*)的用户经由用户界面116输入包括重新缩放信息的显示参数，并且源计算机向主机系统102发送包括所选择的媒体源和重新缩放信息的控制命令。
在步骤230处，响应于接收到控制命令，主机系统102然后以第三分辨率向选择的源计算机106(*)传送对应重新缩放的源媒体流。重新缩放的媒体流不受当前在共享显示器上的媒体流(其可以是静止图像)的比例和外观的约束，而是由所选择的媒体源的所选择的显示参数确定。即，新传送的(重新缩放的)源媒体流可以是与共享显示器103上显示的对应媒体流不同的分辨率，并且不受任何连接的源计算机106上的显示外观变化的影响。然后选择的源计算机以第三分辨率显示接收到的源媒体流。
图3-5图示了其中当四个用户连接到本系统并协作时的示例，其中多个源媒体文件被共享。如图3的示例所示，假定三个源计算机106(1)、106(2)、106(3)连接到主机显示系统102。连接到主机显示系统的源计算机可以可选地将媒体流发布到共享显示器。还假定源计算机106(1)将具有分辨率为1080p的两个不同的媒体流(1920x1080的流140(A)和1200x720的流140(B))流传输到共享显示器103。在本示例中，第二源计算机106(2)流传输1024x768媒体流140(C)，并且源计算机106(3)流传输1920x1080分辨率媒体流140(D)。
如图2所示，在步骤217处，主机显示系统102缩放和定位传入媒体流以适合共享显示器表面，潜在地将每个源重新缩放为第二分辨率。
如果全部四个媒体源被同时显示，那么每个源被正常重新缩放以适合共享显示器表面上的2x2布置，如在图4的示例中所看到的，其中已经被共享的这组媒体流同时显示在共享显示器103上，并且也显示在每个连接的源计算机106的客户端显示器108上，如图4中的源计算机106(1)的客户端显示器108(1)上所示。这时，每个输入媒体流已在X方向和Y方向两者上被重新缩放。这种分辨率重新映射取决于共享显示器本身的分辨率。
分辨率映射可以被定义为：
其中SW和SH是显示器上共享媒体流的分辨率。客户端媒体流原始分辨率为(W，H)，共享显示分辨率为(DW，DH)，并且布置比例因子为(AW，AH)。布置比例因子考虑由于其它源及其相对尺寸而将源媒体帧重新映射到共享显示器所需的比例变换。在我们的示例中，其中在共享显示器上布置了四个源的情况下，对于源140(D)的分辨率重新映射是：
或960,540
该分辨率是动态的，并且随着源被添加/去除或者控制命令相对于共享显示器上的其它当前发布的流重新缩放流时，该分辨率基于当前的布置因子而改变。它也取决于任何给定媒体源的输入分辨率。
在示例性实施例中，连接到共享显示器的源计算机或能够直接观察共享显示器的用户在媒体源经历初始缩放变换之前初始地不能访问该媒体源。这种访问是通过使用由客户端软件107在客户端显示器108上呈现的用户界面116选择所请求的媒体源以请求来自源计算机106之一的媒体源140(D)来完成的。
例如，如果控制源计算机106(1)的用户想要以比共享显示器103上当前可能(或现有)更高的分辨率观察源140(D)的媒体流，则该用户可以经由用户的源计算机106(1)上的用户界面116指示该需求。
图5绘出了其中主机系统102接收请求并且开始向源计算机106(2)发送重新缩放的媒体流140(DR3)以及其它媒体源的情况。图5图示了图5示例中的初始媒体流D的3个不同水平的分辨率–初始源分辨率[流140(DR1)]、共享显示(默认)分辨率[流140(DR2)]以及重新缩放的分辨率[流140(DR3)]的同时传输。
图6示出了其中媒体源直接从源计算机106传送到目的计算机106而不是从主机计算机系统102本身传送的示例性实施例。这是其中客户端计算机106的用户想要“检查”正在从另一个客户端计算机流传输的媒体源109的情况。这里，主机计算机系统102充当中介，并且媒体不是从主机系统流传输，而是主机系统请求客户端计算机(它是“要被检查的”媒体流的源)将流发送到做出请求的客户端计算机。
如图6所示，在步骤603处，客户端计算机106请求要被检查的特定媒体源109。在步骤605处，主机系统102接收检查媒体源的请求，并向最初传送所请求的媒体流的客户端计算机(该流的所有者或“拥有客户端计算机”)传送对应的请求以将流发送到请求客户端计算机。响应于该请求，在步骤610处，拥有客户端计算机开始将媒体源传送到请求客户端计算机，如箭头611所指示的。可替代地，在步骤610处，拥有客户端计算机将所请求的媒体源传送到主机计算机系统和请求客户端计算机两者，如箭头611和612所指示的。
图7示出了其中在客户端计算机之间传送元数据以指示是否正在检查特定源以及要检查多长时间的示例性实施例。在这个实施例中，用户可以观看指示正在检查特定媒体元素的人数的信息以及可能相关的其它统计信息。
作为示例，考虑已经从其膝上型计算机(源客户端计算机)共享幻灯片演示稿和电子表格的教授。房间里的学生可以连接到主机计算机，并经由其自己的用户界面看到在其自己的源映射中被适当缩放的两个媒体源。初始地，源映射中的那些图像是低分辨率并且被缩放到适合学生的设备–其可能不允许他们例如阅读特定幻灯片中的文本。
学生可以随时从源映射中选择媒体源并以高分辨率、缩放到填充其整个显示器或者允许它们平移/放大到该特定源的原始分辨率附近来看它。
假设，在本示例中，教授已经显示了若干张幻灯片，然后暂停，以继续讨论电子表格中的信息。学生仍然可以使用本文描述的方法观看幻灯片源。所需要的是一种机制，其允许看到班级里是否有些人由于他们仍然正在其自己的设备上研究幻灯片源并且当前没有看电子表格而“落后于”讨论。本系统通过提供可以在教授的客户端计算机用户界面上指示的“参与”度量来解决他的问题。
如图7所示，在步骤703处，客户端计算机106请求特定的源用于“抽出(tear-out)”，主机系统102在数据存储器110中存储指示客户端计算机的请求的元数据121，其中包括用户的名称和唯一ID、请求的时间以及请求了哪个媒体源流140(n)。这种元数据信息被称为观看事件。“抽出”是为了更详细地观看而从源映射101选择并因此“抽出”特定媒体源的过程。
在步骤705处，响应于客户端计算机的请求，主机系统102基于该请求向请求客户端计算机106传送适当地重新缩放的(可能以原始分辨率)媒体源流140(n)，如以上关于图1-5所描述的。
在步骤710处，当用户不再以重新缩放的分辨率来观看所传送的媒体源(经由客户端计算机用户界面116)时，指示这种情况的元数据121从客户端计算机被传送到主机系统102，指示重新缩放的高分辨率观看不再在用户的客户端计算机上发生。这种情况也是一种观看事件，它与先前当同一客户端计算机开始显示重新缩放的媒体源时发生的观看事件相关。
在步骤715处，通过将各种观看事件组合成存储在数据存储器110中的累积的统计信息122，接收到的元数据信息被主机计算机102变换成观看统计。作为示例，观看统计可以包括：
当前正在观看“抽出”的媒体源的用户的数量；
当前正在观看抽出的媒体源的所有用户的名称；
正在以抽出模式观看任何源与只观看完整的媒体映射图的班级的百分比；
用户已经在抽出模式下观看源的总时间，以及
已经观看源超过特定时间量的用户的数量。
最后，在步骤720处，通过将观看统计传送到一个或多个客户端计算机，并且在步骤725处，使用对应的(一个或多个)用户界面116以某种方式显示那些统计，使得观看统计对客户端计算机或共享显示器或两者是可用的。
例如，如果存在感到困惑并在幻灯片媒体源上“卡住”超过5分钟的学生，则主持人的用户界面可以通过在与该学生对应的图标上绘制指示“困惑”的指示符来描绘该事件。
在一个实施例中，主机系统102监视每个连接的计算机的“观看事件”的开始/停止时间。在系统操作期间，主机系统收集每个连接的用户的数据，包括用户名称、该用户的唯一ID、开始观看时间、结束观看时间和媒体ID。累积的事件数据然后被变换成指示多少/哪些观看者当前正在观看媒体的信息。然后，这种信息用于指示由于用户正在私下观看所选择的媒体流一个而不再看共享屏幕的用户的百分比。
特征的组合：
(A1)在用于提供媒体的控制和可视化的方法中，所述方法可以包括：从源计算机接收具有初始分辨率的第一媒体源流；重新缩放第一媒体源流以生成具有第二分辨率的第二媒体源流；将第二媒体源流传送到目的计算机；接收来自目的计算机的指示对第二媒体源流的选择的指令和用于所选择的流的重新缩放信息；根据接收到的重新缩放信息重新缩放第二媒体源流以生成具有第三分辨率的第三媒体源流；以及将第三媒体源流传送到目的计算机。
(A2)在以上表示为(A1)的方法中，所述方法可以包括在目的计算机上显示第三媒体源流。
(A3)在以上表示为(A1)或(A2)的任一方法中，所述方法可以包括向目的计算机传送表示共享显示器的状态的源映射。
(A4)在以上表示为(A3)的方法中，所述方法可以包括根据源映射在目的计算机上显示第二媒体源流。
(A5)在以上表示为(A3)或(A4)的任一方法中，源映射可以包括描绘在共享显示器上显示的媒体源流的相对布置的图形表示。
(A6)在以上表示为(A3)至(A5)的任何方法中，源映射可以包括对共享显示器上的每个媒体源的相对尺寸和位置进行编码的图形表示。
(A7)在以上表示为(A1)至(A6)的任何方法中，可以在共享显示器上显示重新缩放后的第一媒体源流。
(A8)在以上表示为(A1)至(A7)的任何方法中，第一媒体源流可以结合一个或多个其它媒体源流显示在共享显示器上。
(A9)在以上表示为(A1)至(A8)的任何方法中，媒体源可以直接从源计算机传送到目的计算机。
(B1)在用于提供媒体的控制和可视化的方法中，所述方法可以包括：从请求客户端计算机接收对源自拥有客户端计算机的媒体源流进行检查的请求；向拥有客户端计算机传送将媒体源流发送到请求客户端计算机的请求；以及响应于接收到发送媒体源流的请求，将媒体源从拥有客户端计算机传送到请求客户端计算机。
(B2)在以上表示为(B1)的方法中，媒体源流可以被传送到请求客户端计算机和执行所要求步骤的主机计算机两者。
(C1)在用于指示特定媒体源是否正在被包括源计算机和目的计算机的多个互连计算机中的一个检查的方法中，所述方法可以包括：从源计算机接收媒体源流；从目的计算机接收指示对媒体源流的选择的指令；通过存储从源计算机发送的指示用户名称、请求的时间和所请求的媒体源的标记的元数据来捕获第一观看事件；将第一媒体源流传送到目的计算机；当一个计算机的用户不再显示所传送的媒体源流时，通过存储从目的计算机接收到的指示媒体源流的显示不再发生的元数据来捕获第二观看事件；通过分析观看事件信息将第一观看事件和第二观看事件的元数据变换成观看统计；以及将观看统计发送到互连计算机的一个。
(C2)在以上表示为(C1)的方法中，所述方法可以包括监视每个互连计算机的每个所述观看事件的开始/停止时间。
(C3)在以上表示为(C1)或(C2)的任一方法中，所述方法可以包括从每个互连计算机收集数据，所述数据包括由计算机的一个选择的每个所述媒体源流的开始观看时间、结束观看时间和媒体ID。
(C4)在以上表示为(C3)的方法中，所述方法可以包括将收集到的事件数据变换成指示哪些用户当前正在观看第一媒体源流的观看信息。
(C5)在以上表示为(C4)的方法中，所述方法可以包括使用观看信息来指示正在观看任何所选择的媒体流的用户的百分比。
(C6)在以上表示为(C1)至(C5)的任何方法中，观看统计可以被发送到互连计算机的至少一个以及发送到共享显示器。
(C7)在以上表示为(C1)至(C6)的任何方法中，所述观看统计可以包括当前观看所选择的媒体源流的用户的数量。
(C8)在以上表示为(C1)至(C7)的任何方法中，所述观看统计可以包括当前观看所选择的媒体源流的所有用户的名称。
(C9)在以上表示为(C1)至(C8)的任何方法中，所述观看统计可以包括观看所选择的媒体源流的互连计算机的百分比。
(C10)在以上表示为(C1)至(C9)的任何方法中，所述观看统计可以包括用户已经观看所选择的媒体源的总时间。
(C11)在以上表示为(C1)至(C10)的任何方法中，所述观看统计可以包括已经观看所选择的媒体源流超过预定时间量的用户的数量。
(C12)在以上表示为(C1)至(C11)的任何方法中，从每个互连计算机收集到的数据可以包括用户名称、对应用户的唯一ID。
本发明的某些实施例的以上描述不旨在是穷尽的或将本发明限制到所公开的精确形式。权利要求中使用的术语不应该被解释为将本发明限制为说明书中所公开的具体实施例，而是本发明的范围由以下权利要求确定。

Claims (9)

1.一种用于指示特定媒体源是否正在被包括源计算机和目的计算机的多个互连计算机中的至少一个检查的方法，包括：
从源计算机接收媒体源流；
从目的计算机接收指示对媒体源流的选择的指令；
捕获包括用户名称、媒体源流的选择的时间和所选择的媒体源的标记的第一观看事件并将第一观看事件存储为第一元数据；
将媒体源流传送到目的计算机；
当所传送的媒体源流不再被显示在目的计算机上时捕获第二观看事件并将第二观看事件存储为第二元数据；
通过分析观看事件信息将第一观看事件和第二观看事件的第一元数据和第二元数据变换成观看统计；以及
将观看统计发送到互连计算机的一个。
2.如权利要求1所述的方法，还包括：
从每个互连计算机收集包括由互连计算机选择的每个所述媒体源流的开始观看时间、结束观看时间和媒体ID的数据；
将收集到的事件数据变换成指示哪些用户当前正在观看第一媒体源流的观看事件信息；以及
使用观看事件信息来指示正在观看任何所选择的媒体流的用户的百分比。
3.如权利要求1所述的方法，其中所述观看统计被发送到互连计算机中的至少一个以及发送到共享显示器。
4.如权利要求1所述的方法，其中所述观看统计包括：
当前正在观看所选择的媒体源流的用户的数量。
5.如权利要求1所述的方法，其中所述观看统计包括：
当前正在观看所选择的媒体源流的所有用户的用户名称。
6.如权利要求1所述的方法，其中所述观看统计包括：
观看所选择的媒体源流的互连计算机的百分比。
7.如权利要求1所述的方法，其中所述观看统计包括：
用户已经观看所选择的媒体源的开始时间与结束时间之间的差。
8.如权利要求1所述的方法，其中所述观看统计包括：
已经观看所选择的媒体源流超过预定时间量的用户的数量。
9.如权利要求1所述的方法，其中从每个互连计算机存储的第一元数据和第二元数据包括用户名称、对应用户的唯一ID。
CN201811275167.3A 2015-04-24 2016-04-23 用于分布式媒体的交互式和实时可视化的系统和方法 Active CN109446355B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US14/695,796 2015-04-24
US14/695,796 US9705936B2 (en) 2015-04-24 2015-04-24 System and method for interactive and real-time visualization of distributed media
PCT/US2016/029079 WO2016172654A1 (en) 2015-04-24 2016-04-23 System and method for interactive and real-time visualization of distributed media
CN201680035020.XA CN107851107B (zh) 2015-04-24 2016-04-23 用于分布式媒体的交互式和实时可视化的系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680035020.XA Division CN107851107B (zh) 2015-04-24 2016-04-23 用于分布式媒体的交互式和实时可视化的系统和方法

Publications (2)

Publication Number Publication Date
CN109446355A true CN109446355A (zh) 2019-03-08
CN109446355B CN109446355B (zh) 2022-05-27

Family

ID=57143619

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811275167.3A Active CN109446355B (zh) 2015-04-24 2016-04-23 用于分布式媒体的交互式和实时可视化的系统和方法
CN201680035020.XA Active CN107851107B (zh) 2015-04-24 2016-04-23 用于分布式媒体的交互式和实时可视化的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201680035020.XA Active CN107851107B (zh) 2015-04-24 2016-04-23 用于分布式媒体的交互式和实时可视化的系统和方法

Country Status (5)

Country Link
US (2) US9705936B2 (zh)
EP (1) EP3286672A4 (zh)
JP (3) JP6405059B2 (zh)
CN (2) CN109446355B (zh)
WO (1) WO2016172654A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9705936B2 (en) * 2015-04-24 2017-07-11 Mersive Technologies, Inc. System and method for interactive and real-time visualization of distributed media
US10679677B2 (en) * 2016-03-31 2020-06-09 Sony Corporation Information processing device and information processing method
US11363087B2 (en) * 2018-05-24 2022-06-14 Disney Enterprises, Inc. Leveraging microservices to orchestrate media workflows in the cloud
CN108898416B (zh) * 2018-05-30 2022-02-25 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
CN111385607A (zh) * 2018-12-29 2020-07-07 浙江宇视科技有限公司 分辨率的确定方法、装置、存储介质、客户端及服务器
KR102668429B1 (ko) 2019-11-15 2024-05-24 삼성전자주식회사 전자장치 및 그 제어방법
US11651749B2 (en) * 2020-11-02 2023-05-16 Panduit Corp. Display layout optimization of multiple media streams

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003224829A (ja) * 2002-01-30 2003-08-08 Fujitsu Ltd ストリーミング配信コンテンツの視聴状況指標算出方法及びシステム
CN1561588A (zh) * 2001-09-29 2005-01-05 皇家飞利浦电子股份有限公司 在观看电视期间显示群组观看统计数据的系统和方法
CN101523369A (zh) * 2006-08-21 2009-09-02 斯灵媒体公司 捕捉和共享媒体内容以及对共享媒体内容的管理
CN103548359A (zh) * 2011-02-25 2014-01-29 英国天空广播公司 使用内容部分的定制播放列表对媒体内容进行流传输

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5128776A (en) * 1989-06-16 1992-07-07 Harris Corporation Prioritized image transmission system and method
US5241625A (en) 1990-11-27 1993-08-31 Farallon Computing, Inc. Screen image sharing among heterogeneous computers
US5703965A (en) 1992-06-05 1997-12-30 The Regents Of The University Of California Image compression/decompression based on mathematical transform, reduction/expansion, and image sharpening
JPH09266571A (ja) * 1996-03-28 1997-10-07 Mitsubishi Electric Corp 画像伝送装置
JPH1023383A (ja) * 1996-07-03 1998-01-23 Matsushita Electric Ind Co Ltd テレビ会議システム
US7552460B2 (en) * 2000-05-08 2009-06-23 Microsoft Corporation Modifying an electronic program guide based on viewer statistics
JP2002269457A (ja) 2001-03-09 2002-09-20 Hitachi Ltd 情報サービスシステム、これに使用される情報提供端末、情報サービス方法および情報提供端末プログラム
JP3488442B2 (ja) * 2001-03-30 2004-01-19 株式会社ジャストシステム 視聴状況管理方法および装置
JP2003061072A (ja) * 2001-08-16 2003-02-28 Tokyo City Co Ltd 映像視聴認証システム
JP2003324758A (ja) 2002-04-26 2003-11-14 Nippon Telegr & Teleph Corp <Ntt> ストリーミング視聴率集計システム、ストリーミングサーバ、および視聴率サーバ
US20040008249A1 (en) * 2002-07-10 2004-01-15 Steve Nelson Method and apparatus for controllable conference content via back-channel video interface
EP1381237A3 (en) * 2002-07-10 2004-05-12 Seiko Epson Corporation Multi-participant conference system with controllable content and delivery via back-channel video interface
US7362349B2 (en) * 2002-07-10 2008-04-22 Seiko Epson Corporation Multi-participant conference system with controllable content delivery using a client monitor back-channel
JP2004252970A (ja) 2003-01-30 2004-09-09 Daiwa Securities Group Inc 遠隔講演システム、方法及びプログラム、情報処理システム及び方法、遠隔聴講端末装置
US7034860B2 (en) * 2003-06-20 2006-04-25 Tandberg Telecom As Method and apparatus for video conferencing having dynamic picture layout
JP4335642B2 (ja) 2003-11-10 2009-09-30 日本電信電話株式会社 視聴者反応情報収集方法と、視聴者反応情報収集システムで用いられるユーザ端末及び視聴者反応情報提供装置と、そのユーザ端末・視聴者反応情報提供装置の実現に用いられる視聴者反応情報作成用プログラム
WO2005076993A2 (en) * 2004-02-09 2005-08-25 Regis Development, L.L.C. Computer presentation and command integration apparatus and method
JP2005295142A (ja) 2004-03-31 2005-10-20 Victor Co Of Japan Ltd 映像情報管理サーバ及び映像情報管理方法
US8787164B2 (en) 2004-07-09 2014-07-22 Qualcomm Incorporated Media delivery system and method for transporting media to desired target devices
JP4011573B2 (ja) 2004-09-10 2007-11-21 日本電信電話株式会社 会議構造把握支援方法、装置、プログラム、及び該プログラムを格納した記録媒体
US20060107294A1 (en) 2004-11-16 2006-05-18 Rivlin Ze Ev Integrated video processing circuit and method for providing a displayed visual user interface for the display, selection and setup of video input sources
US7535484B2 (en) * 2005-03-14 2009-05-19 Sony Ericsson Mobile Communications Ab Communication terminals that vary a video stream based on how it is displayed
JP2007110399A (ja) * 2005-10-13 2007-04-26 Canon Inc 視聴状況共有システム
ES2386977T3 (es) 2005-11-29 2012-09-10 Google Inc. Aplicaciones sociales e interactivas para medios masivos
US20080133767A1 (en) 2006-11-22 2008-06-05 Metis Enterprise Technologies Llc Real-time multicast peer-to-peer video streaming platform
US20120162351A1 (en) * 2007-09-19 2012-06-28 Feldman Michael R Multimedia, multiuser system and associated methods
JP5082722B2 (ja) * 2007-09-28 2012-11-28 ブラザー工業株式会社 画像表示装置及び画像表示システム
US20090184962A1 (en) * 2008-01-22 2009-07-23 Dell Product L.P. Systems and Methods for Managing Video Resolution in a Multiple-Output Information Handling System
US8473851B2 (en) * 2008-02-27 2013-06-25 Cisco Technology, Inc. Multi-party virtual desktop
CN102132575B (zh) * 2008-08-29 2013-10-02 索尼电脑娱乐公司 信息处理系统及信息处理装置
US10631632B2 (en) * 2008-10-13 2020-04-28 Steelcase Inc. Egalitarian control apparatus and method for sharing information in a collaborative workspace
US20100169791A1 (en) * 2008-12-31 2010-07-01 Trevor Pering Remote display remote control
JP4683128B2 (ja) * 2009-01-06 2011-05-11 ソニー株式会社 プレゼンス情報共有装置、プレゼンス情報共有方法、プレゼンス情報共有プログラムおよびプレゼンス情報共有システム
JP2010166168A (ja) * 2009-01-13 2010-07-29 Koichi Sumida 映像配信サーバ、映像配信方法、および映像配信システム
JP2010211513A (ja) 2009-03-10 2010-09-24 Hideki Yoshioka 動画投稿システム
JP2010287030A (ja) 2009-06-11 2010-12-24 Nikon Corp コンテンツ配信システムおよびコンテンツ再生装置
KR20110032678A (ko) * 2009-09-23 2011-03-30 삼성전자주식회사 디스플레이장치, 시스템 및 그 해상도 제어방법
JP5415225B2 (ja) 2009-10-15 2014-02-12 ソニー株式会社 動画提供装置、動画提供方法およびプログラム
JP2011130279A (ja) 2009-12-18 2011-06-30 Sony Corp コンテンツ提供サーバ、コンテンツ再生装置、コンテンツ提供方法、コンテンツ再生方法、プログラムおよびコンテンツ提供システム
US8964013B2 (en) 2009-12-31 2015-02-24 Broadcom Corporation Display with elastic light manipulator
JP2012039288A (ja) 2010-08-05 2012-02-23 Hitachi Ltd イーラーニング・テレビ会議システム及び方法、イーラーニングシステム
JP2012124735A (ja) 2010-12-09 2012-06-28 Sharp Corp 視聴情報収集システムおよび視聴情報収集方法
JP2012159987A (ja) * 2011-01-31 2012-08-23 Canon Inc 文書閲覧確認装置、文書閲覧確認方法及びプログラム
US8682973B2 (en) * 2011-10-05 2014-03-25 Microsoft Corporation Multi-user and multi-device collaboration
JP5755168B2 (ja) 2012-03-09 2015-07-29 Kddi株式会社 レコメンド装置、レコメンド方法、およびプログラム
US9167009B2 (en) * 2012-05-08 2015-10-20 International Business Machines Corporation Presenting data to electronic meeting participants
KR101955202B1 (ko) * 2012-10-31 2019-03-07 삼성에스디에스 주식회사 다자간 영상 통화 장치 및 이를 이용한 다자간 영상 출력 방법
DK2962478T3 (da) * 2013-02-26 2020-04-20 Mersive Tech Inc System og fremgangsmåde til flerbrugerstyring og mediestreaming til et fælles display
JP6111753B2 (ja) * 2013-03-11 2017-04-12 株式会社リコー 情報処理装置、伝送システム、プログラム
US9215413B2 (en) * 2013-03-15 2015-12-15 Cisco Technology, Inc. Split frame multistream encode
JP6244719B2 (ja) * 2013-07-30 2017-12-13 カシオ計算機株式会社 文書管理装置、文書管理システム及びプログラム
US10044979B2 (en) * 2013-08-19 2018-08-07 Cisco Technology, Inc. Acquiring regions of remote shared content with high resolution
JP6331296B2 (ja) 2013-09-06 2018-05-30 株式会社リコー 情報処理端末、伝送システム、及びプログラム
US9705936B2 (en) * 2015-04-24 2017-07-11 Mersive Technologies, Inc. System and method for interactive and real-time visualization of distributed media

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1561588A (zh) * 2001-09-29 2005-01-05 皇家飞利浦电子股份有限公司 在观看电视期间显示群组观看统计数据的系统和方法
JP2003224829A (ja) * 2002-01-30 2003-08-08 Fujitsu Ltd ストリーミング配信コンテンツの視聴状況指標算出方法及びシステム
CN101523369A (zh) * 2006-08-21 2009-09-02 斯灵媒体公司 捕捉和共享媒体内容以及对共享媒体内容的管理
CN103548359A (zh) * 2011-02-25 2014-01-29 英国天空广播公司 使用内容部分的定制播放列表对媒体内容进行流传输

Also Published As

Publication number Publication date
US20170310714A1 (en) 2017-10-26
JP2018519700A (ja) 2018-07-19
JP2020174401A (ja) 2020-10-22
EP3286672A1 (en) 2018-02-28
EP3286672A4 (en) 2019-03-27
US20160316172A1 (en) 2016-10-27
CN109446355B (zh) 2022-05-27
CN107851107A (zh) 2018-03-27
JP6405059B2 (ja) 2018-10-17
JP2018182761A (ja) 2018-11-15
CN107851107B (zh) 2019-04-05
JP7084450B2 (ja) 2022-06-14
WO2016172654A1 (en) 2016-10-27
US10404763B2 (en) 2019-09-03
US9705936B2 (en) 2017-07-11

Similar Documents

Publication Publication Date Title
CN107851107B (zh) 用于分布式媒体的交互式和实时可视化的系统和方法
US9049341B2 (en) Method and apparatus for video resource management in video conference
US20120033743A1 (en) System and method for generating coded video sequences from still media
NO333026B1 (no) Styringssystem for et lokalt telepresencevideokonferansesystem og fremgangsmate for a etablere en videokonferansesamtale.
CN105210394A (zh) 用于共享显示器的多用户控制和流媒体传输的系统和方法
CN109511004B (zh) 一种视频处理方法及装置
CN107409239B (zh) 基于眼睛追踪的图像传输方法、图像传输设备及图像传输系统
KR20180001551A (ko) 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
US20140327727A1 (en) Method and Device for Processing Video Conference
KR20150097609A (ko) 이머전 통신 클라이언트, 서버 및 컨텐츠 뷰를 획득하는 방법
KR20150029461A (ko) 파노라마 영상의 스트리밍 서비스 제공 시스템에서 타일링 영상 동기화 방법
CN105306872B (zh) 控制多点视频会议的方法、装置和系统
CN101090460A (zh) 一种在多幅全景图之间切换的方法
KR101795522B1 (ko) 멀티 디스플레이 시스템을 위한 영상 콘텐츠 인터랙션 방법 및 장치
CN111045770A (zh) 用于远程展示的方法、第一终端、设备、可读存储介质
US20230412413A1 (en) Management of user&#39;s incoming images in videoconference sessions
US9177530B2 (en) Handheld document reading device with auxiliary display
JP2019169928A (ja) 字幕生成装置及び字幕生成プログラム
KR20090002440A (ko) 좌석에 따른 영상의 크기와 각도 표시방법 및 표시장치
Ostkamp et al. Using mobile devices to enable visual multiplexing on public displays: three approaches compared
KR102392908B1 (ko) 자유시점 비디오 서비스를 제공하는 방법, 장치 및 시스템
TW201125356A (en) Display wall multiple display system
RU2156040C1 (ru) Интерактивная рекламно-информационная сеть мультимедийных салонов
Salmimaa et al. 22‐1: Distinquished Paper and Invited Paper: Live Delivery of Neurosurgical Operating Theatre Experience in Virtual Reality
Lee et al. A Study on HMD-AR based Industrial Training System for Live Machinery Operation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant