CN105165017A - 视频平铺 - Google Patents

视频平铺 Download PDF

Info

Publication number
CN105165017A
CN105165017A CN201480023058.6A CN201480023058A CN105165017A CN 105165017 A CN105165017 A CN 105165017A CN 201480023058 A CN201480023058 A CN 201480023058A CN 105165017 A CN105165017 A CN 105165017A
Authority
CN
China
Prior art keywords
video
block
tiling
output streams
video block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480023058.6A
Other languages
English (en)
Other versions
CN105165017B (zh
Inventor
M.C.西尔瓦
M.图比尼斯
C.佩里
N.J.奇波罗
D.M.阿韦拉
J.F.艾伦
D.W.塔策尔
A.哈姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Savant Systems Inc
Original Assignee
Savant Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Savant Systems Inc filed Critical Savant Systems Inc
Publication of CN105165017A publication Critical patent/CN105165017A/zh
Application granted granted Critical
Publication of CN105165017B publication Critical patent/CN105165017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H04N21/42209—Display device provided on the remote control for displaying non-command information, e.g. electronic program guide [EPG], e-mail, messages or a second television channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

在一个实施例中，在显示设备的屏幕上示出经平铺的视频显示。经平铺的视频显示包括每一个都示出不同视频流的视频内容的多个视频区块。在屏幕上根据平铺布局布置视频区块。在与显示设备分离的无线移动设备的触敏屏幕上示出用户界面（UI）。UI包括每一个都对应于经平铺的视频显示中的相应的视频区块的多个UI区块。在虚拟显示屏幕上根据视频区块的平铺布局来布置UI区块。响应于在触敏屏幕上的UI区块中的特定的一个区块的至少一部分上的手势，对该特定的UI区块以及对应的视频区块两者进行修改。

Description

视频平铺
相关申请
本申请要求由Michael C. Silva等人于2013年2月25日提交的，题为“Video Tiling（视频平铺）”的美国临时专利申请No.61/768,917的权益，该美国临时专利申请的内容以其整体通过引用而被并入。
背景。
技术领域
本公开一般涉及音频/视频系统，以及更特别地涉及创建经平铺的（tiled）视频显示并控制该经平铺的视频显示。
背景信息
随着时代的进步，家庭和商业环境两者中的用户能访问从各种视频源设备作为视频流提供的越来越多数量的视频内容。用户可以通过有线电视盒和卫星电视接收器访问非常多种的电视频道。用户可以通过数字媒体接收器访问通过因特网流出的不断扩大的数目的个人节目和电影。用户可以通过蓝光TM以及其它盘播放器访问非常大量的录制的视频内容。可以从监控摄像机、视频会议系统、计算机系统、游戏系统等获取更进一步的视频内容。给出了所有这些视频内容，用户经常期望同时浏览来自多个视频源设备的多个视频流就并不奇怪了。
为了解决这个问题，已经开发了从不同视频源设备获得视频流并同时在显示设备的屏幕上示出的窗口中显示该视频流的各种视频处理系统。例如，一种处理系统可以获得8个不同的视频流并同时在显示设备的屏幕上的矩阵中布置的8个视频窗口中显示它们的视频内容。
尽管现有的使用视频窗口的视频处理系统可以帮助用户浏览视频内容，但是它们一般经受许多不足。
首先，它们一般都难于控制。一些视频处理系统依赖于被设置在视频处理系统自身的前面板上或者是以按钮为中心的遥控器上的物理选择按钮。为了选择视频窗口，并且在窗口上执行对它们的操作，例如，为了调整视频窗口的大小以获取在其中示出的视频内容的更大的视图，用户可能不得不以特定的顺序驱动特定的物理按钮。可能对于用户来说很难记住哪些按钮对应于哪些视频窗口以及哪些操作。不正确的按钮按压可能导致不期望的结果和无效。其它视频处理系统依赖于显示设备的屏幕上显示的图形用户界面来控制窗口。可以经由以按钮为中心的遥控器或者定点设备（例如，鼠标）来导航该图形用户界面。尽管这样的图形用户界面可以提供相对于物理按钮的一些优点，但是它可能仍然难于操作。导航图形用户界面通常是麻烦的。用户可能需要重复地从头到尾滚动各种选择的视频窗口来选择期望的一个视频窗口，或者将往往难以看到的光标移动到特定的位置以选择特定的视频窗口。这样的操作可能是耗时的并且无效的。
其次，许多现有的视频处理系统可以同时显示的不同视频流的数量对一些应用来说是不够的。现有的视频处理系统典型地被限制为同时显示一些适量的固定最大数目的不同视频流，例如，4个、6个、8个等不同的视频流。但是用户可能访问远远更多数目的不同视频流。用户可能期望观看数打或者甚至数百个视频并在数打或者甚至数百个视频之间快速改变焦点，例如，以浏览视频库、分类视频内容、或者涉及“长尾”视频内容的其它目的。然而，给定现有视频处理系统的限制，这可能很困难。
因此，需要可以解决这些不足中的一些不足或者全部不足的经改进的系统。
发明内容
在本公开的一个或多个实施例中，视频平铺系统允许用户通过在分离的无线移动设备的触敏显示屏幕上使用手势来控制操作，在显示设备上同时浏览来自多个视频源设备的多个视频流的视频内容。另外，视频平铺系统通过递归的平铺技术允许显示实际上无限量的视频流。
视频平铺系统可以包括矩阵切换器/控制器以及主机控制器。矩阵切换器/控制器可以具有模块化设计，并且包括多个多窗口视频处理输出模块。可以将多窗口视频处理输出模块以菊花链布局彼此耦合，并且该多窗口视频处理输出模块操作用于通过级联操作建立经平铺的视频输出流。经平铺的视频输出流可以被输出到显示设备（例如，电视），以便同时显示多个视频区块（video tiles），每一个视频区块正在示出不同视频流的视频内容。
矩阵切换器/控制器可以在主机控制器的指导下操作，所述主机控制器控制并监控其操作并且与具有触敏屏幕的分离的无线移动设备通信（例如，经由无线网络连接）。无线移动设备可以显示示出了被布置在虚拟显示屏幕上的多个UI区块的用户界面（UI）。虚拟显示屏幕是显示设备的对应屏幕的屏幕空间的图形表示。UI区块中的每一个是对应的视频区块的图形表示，并且以对应于显示设备的屏幕上的视频区块的布置的平铺布局来布置UI区块。通过在无线移动设备的触敏屏幕上使用手势（例如，多点触摸手势），用户可以在虚拟显示屏幕上对UI区块进行调整大小和/或重新布置。例如，用户可以使用手势来扩展特定的UI区块，以便其包围虚拟显示屏幕的较大的部分或者全部；或者收缩特定的UI区块以便其包围虚拟显示屏幕的较小的部分。相似地，用户可以使用手势来使特定的UI区块与不同的UI区块交换，从而使得互换它们各自的位置。作为响应，主机控制器可以使得矩阵切换器/控制器以及其多窗口视频处理输出模块改变经平铺的视频输出流，以便以对应的方式对显示设备的屏幕上示出的视频区块调整大小和/或重新布置。
另外，通过在无线移动设备的触敏屏幕上使用手势来选择特定的UI区块，用户可以配置并改变对应的视频区块的属性。相似地，通过使用手势，用户可以改变视频区块中的特定的一个视频区块，针对该特定的一个视频区块在音频输出设备上播放相关的音频。可以通过对视频区块调整大小和/或重新布置来保持该音频。更进一步地，用户可以将当前的区块布置以及配置保存为自定义平铺布局。
视频平铺系统可以通过递归平铺技术提供实际上无限量的视频流的显示。视频区块中的一个或多个可以被配置成示出经平铺的视频输出流，而不是示出来自特定视频源设备的单个视频流，以便在该视频区块的边界内示出多个经嵌套的视频区块。为了提供这样的显示，可以产生第一经平铺的视频输出流，并且然后反馈，并与附加的视频流一起使用，以构建第二经平铺的视频输出流，第一经平铺的视频输出流的视频区块在第二视频输出流的区块之内被示出为经嵌套的视频区块。可以在显示设备上示出作为结果的第二经平铺的视频输出流，或者再次将其反馈，以产生另一级别的嵌套。
用户可以使用示出在无线移动设备的触敏屏幕上的UI来浏览嵌套层。经嵌套的UI区块可以对应于每一个经嵌套的视频区块。通过在无线移动设备的触敏屏幕上使用手势（例如多点触摸手势），用户可以扩展和收缩经嵌套的UI区块，以在低级和高级嵌套之间导航来浏览视频内容。
应理解的是，各种其他实施例和实施方式可以利用本发明内容中描述的技术和结构中的一些。本发明内容仅仅意图作为对读者的一个简短介绍，而并不意味着本文提及的特定特征是本发明的所有特征或者是本发明的必要特征。
附图说明
以下的发明描述涉及附图，其中：
图1是视频平铺系统的示例架构的框图；
图2是示例的矩阵切换器/控制器的框图；
图3是以菊花链布置耦合的两个示例的多窗口视频处理输出模块的组件的框图；
图4A是示出由经平铺的视频输出流生成的经平铺的视频显示的示例显示设备的外视图；
图4B是可以由视频平铺系统支持的示例的预设平铺布局的一系列图；
图5是示例无线移动设备的框图；
图6是示出示例用户界面（UI）的示例无线移动设备的外视图；
图7是示例扩展级数和示例收缩级数的图；
图8是图解用于扩展和收缩UI区块的示例的扩展和箍缩多点触摸手势以及对应的视频区块的图；
图9是图解用于重新布置UI区块的示例的拖放手势以及对应的视频区块的图；
图10A描绘了可以在UI中被示出的示例控制选项菜单；
图10B描绘了可以在UI中被示出的示例平铺布局菜单；
图11是用于在无线移动设备的触敏屏幕上使用手势浏览多个视频流的视频内容的示例步骤序列的流程图；
图12是通过示例的递归平铺技术创建的包括经嵌套的视频区块的示例经平铺的视频显示的图；以及
图13是用于通过递归平铺技术创建包括经嵌套的视频区块的经平铺的视频显示的步骤序列的流程图。
具体实施方式
图1是视频平铺系统的示例架构100的框图。该示例架构包括矩阵切换器/控制器200以及主机控制器120。矩阵切换器/控制器200被配置用于在多种设备之间切换信号，控制该多种设备，以及以其他方式与该多种设备交互操作，所述多种设备例如提供N x N切换、多区域音频与视频处理、设备控制、以及其它能力。主机控制器120被配置用于控制和监控矩阵/切换器控制器200的操作，以及提供用户界面解释和高级控制功能。
可以将矩阵切换器/控制器200耦合到诸如盘播放器120、有线电视盒140、卫星电视接收器150、数字媒体接收器160、监控摄像机、视频会议系统、计算机系统、游戏系统等的多种视频源设备。所述视频源设备中的至少一些设备还可以操作作为提供例如伴随由设备提供的视频流的音频流的音频源。还可以将矩阵切换器/控制器200耦合到诸如紧凑盘（CD）播放器、数字音乐播放器、无线电接收器等的专用音频源设备（未示出）。相似地，可以将矩阵切换器/控制器200耦合到例如显示设备400的多种显示设备。显示设备可以是电视、监视器、投影仪或能够显示视频内容的其它设备。包括显示设备400的显示设备也可以操作作为音频输出设备，并且包括用于播放例如伴随视频内容的音频流的扬声器。还可以将矩阵切换器/控制器200耦合到专用音频输出设备（未示出）。另外，可以将矩阵切换器/控制器200直接地或者通过一个或更多个中间控制器耦合到包括照明设备、供暖通风与空调（HVAC）设备、电话设备等的多种其它类型的设备。
主机控制器120被耦合到矩阵切换器/控制器200，并且还可以将主机控制器120耦合到数据交换机180。可以将无线接入点190耦合到数据交换机180或者结合到数据交换机180中。可替换地，主机控制器120可以包括其自己的无线网络接口。
主机控制器120可以无线地与诸如遥控器、壁式小键盘、专用触摸面板等的多种不同类型的用户接口设备通信。特别地，主机控制器120可以与一个或更多个具有触敏屏幕的无线移动设备500通信。如本文中使用的，术语“无线移动设备”指的是被适配为在一个人的身体上运送并且包括无线数据通信能力的电子设备。诸如平板计算机（例如，可从苹果公司获得的iPad®平板）、智能电话（例如可从苹果公司获得的iPhone®多媒体电话）、以及便携式媒体播放器（例如，诸如可从苹果公司获得的iPod® touch）等的设备被认为是无线移动设备。
图2是示例矩阵切换器/控制器200的框图。可编程多媒体控制器200可以包括具有处理器215和存储器220的通用计算机210。存储器220包含多个用于存储软件和数据结构的存储位置。处理器215包括被配置用于执行软件和操纵来自数据结构的数据的逻辑。通用操作系统225（它的数个部分常驻在存储器220中并由处理器215执行）可以在功能上组织通用计算机210。通用操作系统可以是可从苹果公司获得的基于OS X®Unix的操作系统，或者是另一类型的操作系统。由处理器215执行的管理过程230可以操作用于，除了其它之外还和主机控制器120上以及无线移动设备500上执行的软件一起管理经平铺的视频输出流的构建。可以将微控制器240互连到通用计算机210并将其配置用于实现对矩阵切换器/控制器200的设备控制操作以及切换的低级管理。设备控制接口245可以在微控制器240的指导下操作以与被耦合到矩阵切换器/控制器200的设备通信并向被耦合到矩阵切换器/控制器200的设备提供控制命令。另外，可以由微控制器240控制音频开关250与视频开关260。音频开关250和视频开关260可以是N x N交叉点开关。尽管被示出为分离的开关，但是在某些实施方式中，可以将音频开关250和视频开关260的功能结合到单个组件中。
矩阵切换器/控制器200可以具有模块化设计，并且多个输入/输出插槽可以容纳可移除服务模块。中平面270可以将通用计算机210、音频开关250、视频开关260以及矩阵切换器/控制器200的其它组件互连到输入/输出插槽。可以在输入/输出插槽中设置服务模块。这些模块可以包括音频输入模块、音频输出模块、视频输入模块、视频输出模块、以及组合模块（总起来说为音频和/或视频输入和/或输出模块275）、音频处理模块、视频处理模块、以及组合处理模块（总起来说为音频和/或视频处理模块285）、以及执行不同类型的功能的其它类型的模块（未示出）。
为了实现允许用户同时观看来自多个视频源设备的多个视频流的视频内容的视频平铺系统，可以在矩阵切换器/控制器200的输入/输出插槽中填入一个或更多个多窗口视频处理输出模块285。在一个实施方式中，每一个多窗口视频处理输出模块285包括两个换算器（scalar）、两个帧缓冲器、两个混合器、以及用于支持经平铺的视频显示的两个视频区块的其它组件。在其它实施方式中，为了支持不同数目的视频区块可以包括不同数目的组件。例如，在另一实施方式中，独立多窗口视频输出模块285可以支持经平铺的视频显示的四个视频区块，或者经平铺的视频显示的八个视频区块。
多窗口视频处理输出模块285以及它们的内部组件可以以菊花链布置彼此耦合，并且操作用于通过级联操作建立经平铺的视频输出流。图3是以菊花链布置耦合的两个示例多窗口视频处理输出模块的组件300的框图。主机控制器120可以供应视频，例如表示将与视频区块一起示出的屏上显示（OSD）的图形。可以向图案/色键生成器310提供该视频，所述图案/色键生成器310将视频的每一帧内的某些像素的颜色改变成特定颜色或者颜色的特定图案以产生随后由混合器用作条件的“键”。可以在由Robert P. Madonna等人于2007年3月16日提交的美国专利申请序列号No.11/687,511中找到关于创建和使用这样的键的某些细节，该美国专利申请的内容在本文中以其整体通过引用而被并入。在一些实施方式中，图案/色键生成器310还可以提供某视频定时数据。
第一多窗口视频处理输出模块可以从视频源设备130、140、150或160获得已经由矩阵切换器/控制器200接收并已经通过视频开关260切换的第一视频流。第一视频流可以受第一换算器315支配以及由此创建的视频区块存储于第一帧缓冲器320中。按照例如从图案/色键生成器310接收的视频定时数据，可以从第一帧缓冲器320向第一混合器325传递本地存储的视频区块。第一混合器325可以除其它之外包括图案/色键控逻辑以及融合逻辑。第一混合器325的图案/色键控逻辑在来自图案/色键生成器310的传入视频的帧内寻求例如特定颜色的像素或者具有颜色的特定图案的键，并且确定是否应该传递来自传入视频的像素或者本地视频区块的那些像素，例如传递键存在于其中的本地视频区块。在一个实施方式中，第一混合器325的图案/色键控逻辑可以在可编程混合区域（例如，在帧之内具有大小和偏移的矩形区域）内寻求所述键。当将要调整区块的大小时，随着换算器315将视频区块缩放到新的大小并且可编程混合区域对应地扩展或者收缩，可以不管是否存在键而在混合区域内传递本地视频区块。第一混合器325的融合逻辑如由第一混合器325的图案/色键控逻辑根据键或简单地根据可编程混合区域（根据具体情况而定）指导的那样，将传入视频的像素与本地视频区块的像素进行组合。然后第一多窗口视频处理输出模块可以在第一多窗口视频处理输出模块的第一输出端口上输出包括第一视频区块和图形的视频流。
第一输出端口可以被耦合到（例如，菊花链到）第一多窗口视频处理输出模块的第二输入端口，以便将视频流反馈回第一多窗口视频处理输出模块。第一多窗口视频处理输出模块可以从视频源设备130、140、150或160获得第二视频流。第二视频流可以受第二换算器330支配，以及由此创建的视频区块存储于第二帧缓冲器335中。按照例如从图案/色键生成器310接收到的视频定时数据，可以从第二帧缓冲器335向第二混合器340传递本地存储的视频区块。第二混合器340的图案/色键控逻辑在第二输入端口上进入的传入视频的帧内寻求键，并且确定是否应该传递来自传入视频的像素或者本地视频区块的像素。可替换地，如果正在调整区块的大小，那么不管是否存在键均可以在混合区域内传递本地视频区块。第二混合器340的融合逻辑如由第二混合器340的图案/色键控逻辑根据键或简单地根据可编程混合区域（根据具体情况而定）指导的那样，将传入视频的像素与本地视频区块的像素进行组合。以这种方式，可以将第二视频区块与包括第一视频区块以及图形的视频流进行组合以产生具有两个视频区块的视频流。该视频流在第一多窗口视频处理输出模块的第二输出端口上输出。第二输出端口可以被耦合到（菊花链到）第二多窗口视频处理输出模块的输入端口，并且使用第三换算器345、第三帧缓冲器350以及第三混合器355重复该技术以添加第三视频区块，以及使用第四换算器360、第四帧缓冲器365以及第四混合器370再次重复以添加第四视频区块，以及再次重复…等等，以建立具有所期望数目的视频区块的经平铺的视频输出流。最终，输出端口可以被耦合到显示设备400，并且将该经平铺的视频输出流提供到显示设备400用于向用户显示。还可以经由输出端口提供伴随的音频。
图4A是示出了由经平铺的视频输出流产生的经平铺的视频显示的示例显示设备400的外视图。在该示例中，经平铺的视频显示包括屏幕405上的六个视频区块410-460，每一个都示出不同视频流的视频内容，根据可以被称为“6/左上角大”的平铺布局来加以布置。然而，应理解的是，不同数目的视频区块可以被示为并根据多种不同的平铺布局加以布置。可以由多窗口视频处理输出模块285缩放其内容被示出在视频区块410-460中的视频流，同时保持纵横比。另外，可以呈现、并在每个区块周围以及区块的整个集合周围示出具有可编程属性（例如，存在，颜色，箕舌线（witch）等）的框或边界470以提供它们的界限的视觉定义。
图4B是可以由视频平铺系统支持的示例预设平铺布局480的一系列图。先前提及的“6/左上角大”的平铺布局可以是这些被支持的平铺布局中的一个的示例。可以将这些预设的平铺布局以及自定义平铺布局存储为例如可扩展标记语言（XML）文件的一个或多个可编辑文件。应理解的是，可以支持多种其它预设平铺布局以及用户定义的平铺布局。可以由用户以XML定义用户定义的平铺布局来满足特定应用和用户特有的需求。
可以从示出在无线移动设备500的触敏屏幕上的用户界面控制经平铺的视频显示。图5是示例无线移动设备500的框图。移动设备500可以除了其它组件之外包括处理器510，存储器520，无线网络接口530，以及触敏屏幕540。处理器510包括被配置用于执行软件和操纵来自数据结构的数据的逻辑。存储器520包含用于存储软件和数据结构的多个存储位置。无线网络接口530可以与例如主机控制器120的其它设备通信。触敏屏幕540可以从用户接收手势（例如，多点触摸手势）。
通用操作系统550（其部分驻留在存储器520中）可以功能性地组织无线移动设备500。通用操作系统550可以是可从苹果公司获得的IOS®操作系统，或者是另一类型的操作系统。可以与操作系统550一起执行控制应用（app）560。控制应用560可以在触敏屏幕540（可在其上接收用于控制视频平铺系统的手势）上显示用户界面（UI）。响应于UI中接收到的输入，控制应用560可以与主机控制器120通信，主机控制器120可以依次将信息传递到在矩阵切换器/控制器200上执行的管理过程230。
图6是示出示例UI的示例无线移动设备500的外视图。UI包括布置在虚拟显示屏幕605上的多个UI区块610-660布置。UI区块610-660中的每一个都是对应的视频区块310-360的图形表示，并且被以对应于显示设备400的屏幕305上的视频区块310-360的布置的平铺布局加以布置。虚拟显示屏幕605是显示设备400的屏幕305的屏幕空间的图形表示。UI区块610-660可以包括静态图像，或者在一些实施方式中，可以示出正在显示设备400上的对应视频区块310-360中被示出的相同的视频内容。
可以例如经由文本标记在相应的UI区块610-660内指示提供每一个视频区块310-360的内容的相应的视频源设备。另外，可以例如通过声音图标670指示将要在音频输出设备上针对其播放相关音频的视频区块310-360中的特定的一个。可以由音量控制器680调节音频音量。可以由布局图标675访问布局菜单。可以由其它图标和接口元件访问其它功能。
通过在无线移动设备500的触敏屏幕540上使用手势，用户可以在虚拟显示屏幕605上对UI区块610-660进行调整大小和/或重新布置。例如，用户可以使用手势来扩展特定的UI区块，以便其包围虚拟显示屏幕605的较大的部分或者全部；或者来收缩特定的UI区块，以便其包围虚拟显示屏幕605的较小的部分。相似地，用户可以使用手势来使一个特定的UI区块与另一个UI区块交换，因此互换它们各自的位置。响应于对UI区块调整大小或者重新布置，主机控制器120可以使得矩阵切换器/控制器200以及其多窗口视频处理输出模块285改变经平铺的视频输出流，以便以对应的方式对显示设备400上示出的视频区块调整大小和/或重新布置。
调整大小可以根据已定义的扩展或收缩级数在不同的预设平铺布局之间有效地转换。图7是示例扩展级数和示例收缩级数的图。从“2x3”平铺布局710开始，存在多个区块712-716,740-746（表示视频区块和对应的UI区块两者）。如果扩展第一区块712，可以根据已定义的级数将第一区块712转换成为“1左2右”平铺布局的主要区块，而邻近的区块714、716成为次级区块。如果再次扩展第一区块712，可以根据已定义的级数将第一区块712转换成为“全屏”平铺布局的单独区块。相似地，如果正以“全屏”平铺布局示出第二区块742并收缩第二区块742，可以根据已定义的级数将第二区块742转换成为“1左2右”平铺布局的主要区块，而其它区块744、746成为次级区块。同样地，如果再次收缩第二区块744，可以将第二区块744连同附加的区块712、714和716一起示出为“2x3”平铺布局710的一部分。在调整大小期间，可以不断地更新触摸位置和UI区块之间的关联以便UI正确地理解用户输入。另外，可以动态估计在背景区块之上的前景区块造成的任何遮挡。
在无线移动设备500的触敏显示屏幕540上输入的用于调整UI区块610-660的大小的手势可以包括多点触摸手势。图8是图解用于扩展和收缩UI区块以及对应的视频区块的示例的扩展和箍缩多点触摸手势的图800。在帧810，用户在触敏屏幕540上在特定的UI区块816上通过触摸两个点812、814并移动分开来输入扩展手势。在帧820，当特定的UI区块816扩展时，视觉指示器822（例如，红色边框）可以发信号通知根据扩展级数的可用于该区块的“下一个估计尺寸”。在帧830，用户从触摸触敏屏幕540释放，并且特定的UI区块816（以及对应的视频区块）被设置成根据扩展级数的适当大小。
在帧840，用户通过触摸两点842、844并向一起移动而在触敏屏幕540上在特定的UI区块上输入箍缩手势。在帧850，当特定的UI区块816收缩时，视觉指示器822（例如，红色边框）可以发信号通知根据收缩级数的用来放置该特定UI区块816的可用区域。在帧860，用户从触摸触敏屏幕540释放，并且特定UI区块816（以及对应的视频区块）被设置成根据收缩级数的适当大小。
与调整大小相似，重新布置可以使用输入到无线移动设备500的触敏屏幕540上的手势。图9是图解用于重新布置UI区块的示例拖放手势以及对应的视频区块的图900。在帧910，用户在触敏屏幕540上在特定的UI区块930上触摸，并且开始跨越屏幕拖动。可以在大小方面减小UI区块930并将其示出为随着用户的触摸位置950移动的表示940。当表示940被移动到UI区块中的另一个960之上时，视觉指示器970（例如，红色边框）可以指示该特定的UI区块可以与该UI区块960交换。在帧920，当用户从触摸触敏屏幕540释放时，交换UI区块930、960（以及对应的视频区块）。
另外，除了重新布置和调整大小，被输入到无线移动设备500的触敏屏幕540上的手势可以被用于改变在音频输出设备上针对其播放相关的音频的视频区块310-360中的特定的一个视频区块。通过使用拖放手势，用户可以选择声音图标670并将其从一个UI区块拖到另一个UI区块。作为响应，主机控制器120可以使得矩阵切换器/控制器200和其音频开关250将对应的视频区块的音频指引到音频输出设备。
更进一步地，手势与菜单一起可以被用在无线移动设备500的敏感屏幕540上以配置并改变视频区块的属性和视频源设备。响应于在无线移动设备500的触敏屏幕540上在特定的UI区块上触摸并保持，可以在UI中示出控制选项菜单。图10A描绘了可以被示出在UI中的示例控制选项菜单1010。在区域1020中，用户可以为对应于特定的UI区块的视频区块选择特定的视频源设备（例如，盘播放器120、有线电视盒140、卫星电视接收器150、数字媒体接收器160、监控摄像机、视频会议系统、计算机系统、游戏系统等等）。可以经由附加的控制器（未示出）选择从那个视频源设备提供特定视频内容的特定视频流（例如，频道）。在区域1030中，用户可以选择该对应的视频区块是否是将要在音频输出设备上播放与其相关的音频的那一个视频区块。另外，在区域1040中，可以控制或者关闭提供视频流的视频源设备。
用户可以将当前的区块布置和配置保存为自定义平铺布局。图10B描绘了可以被示出在UI中的示例布局菜单1050。可以响应于选择布局图标675而示出布局菜单1050。通过选择接口元件（例如，按钮）1060，可以将当前的视频平铺布局保存为自定义平铺布局。自定义平铺布局一保存就可以被显示在区域1070中用于随后的快速选择。还可以在另一区域1080中显示预设平铺布局以用于选择。
图11是用于在无线移动设备500的触敏屏幕540上使用手势浏览多个视频流的视频内容的示例步骤序列1100的流程图。在步骤1110，在无线移动设备500上执行的与主机控制器120一起工作的控制应用560显示包括布置在虚拟显示屏幕605上的多个UI区块610-660的UI，每个UI区块都是被示出在显示设备400上的对应的视频区块的图形表示。在步骤1120，在触敏屏幕540上在UI区块的特定的一个之上检测手势（例如，多点触摸手势）。在步骤1130，确定手势的类型。
如果该手势具有第一类型（例如，扩展或箍缩多点触摸手势），那么在步骤1140，控制应用560可以扩展特定UI区块，以便其包围虚拟显示屏幕605的较大的部分或者全部，或者收缩特定的UI区块以便其包围虚拟显示屏幕605的较小的部分。另外，在步骤1145，主机控制器120可以使得矩阵切换器/控制器200及其多窗口视频处理输出模块285改变经平铺的视频输出流，以便以对应的方式扩展或收缩对应的视频区块。
如果该手势具有第二类型（例如，拖放手势），那么在步骤1150，控制应用560可以响应于该手势将特定的UI的表示移动到另一UI区块之上，并在释放时交换这两个UI区块。另外，在步骤1155， 主机控制器120可以使得矩阵切换器/控制器200及其多窗口视频处理输出模块285改变经平铺的视频输出流，以便以对应的方式交换对应的视频区块。
另外，如果该手势具有第三类型（例如，在声音图标670上拖放），那么在步骤1160，控制应用560可以响应于该手势将该声音图标从特定的UI区块移动到另一UI区块。在步骤1165，主机控制器120可以使得矩阵切换器/控制器200及其音频开关250将对应的视频区块的音频指引到音频输出设备。
另外，如果该手势具有第四类型（例如，触摸并保持），那么在步骤1170，控制应用560可以在UI中显示控制选项菜单1010，其可以被用于配置和改变对应的视频区块的属性以及针对该视频区块提供视频流的视频源设备。在步骤1175，主机控制器120可以使得矩阵切换器/控制器200如在控制选项菜单1010中指示的那样改变属性。
以上讨论的视频平铺系统可以通过递归平铺技术提供实际上无限量的视频流的显示。视频区块中的一个或多个区块可以被配置成示出经平铺的视频输出流，而不是示出来自特定视频源设备的单个视频流，以便在该视频区块的边界内示出多个经嵌套的视频区块。
图12是通过递归平铺技术创建的包括经嵌套的视频区块的示例的经平铺的视频显示的图。在该示例中，视频平铺系统在每个级别中使用六个视频区块。然而，应该理解的是，可以在不同的实施例中使用不同数目的视频区块。在六个主要的视频区块1210-1260中，一些区块1210、1230、1250、1260可以示出单个视频流的视频内容。其它区块1220、1240可以包括多个经嵌套的视频区块。嵌套可以针对用户可选择的数目的级别而继续。例如，第一视频区块1220可以包括一级嵌套（包括在其边界内的六个第一级经嵌套的视频区块1221-1226，其中的每一个示出单个相应的视频流的视频内容）。相似地，第二视频区块1240可以包括两级嵌套。第二视频区块1240可以在其边界内包括六个第一级经嵌套的视频区块1241-1246，其中的五个1241-1245示出了单个相应的视频流的视频内容。第六个第一级经嵌套的视频区块1246可以在其边界内包括六个进一步经嵌套的视频区块1271-1276，其中的每一个示出了单个相应的视频流的视频内容。应理解的是，可以采用附加级别的嵌套针对可配置的级别数目来重复该模式。另外，应理解的是，在任何特定级别的嵌套中的视频区块中的一些或者所有区块可以包括经嵌套的视频区块。
为了提供经嵌套的视频区块，可以通过视频开关260将经平铺的视频输出流反馈到多窗口视频处理输出模块285，并将该经平铺的视频输出流用于构建进一步的经平铺的视频输出流。图13是用于通过递归平铺技术创建包括经嵌套的视频区块的经平铺的视频显示的示例步骤序列1300的流程图。在步骤1310，由多窗口视频处理输出模块285中的一个模块使用以上讨论的技术产生第一经平铺的视频输出流。在步骤1320，多窗口视频处理输出模块将第一经平铺的视频输出流通过视频开关260反馈。在步骤1330，视频开关260将第一经平铺的视频输出流切换到多窗口视频处理输出模块285中的一个模块。在步骤1340，通过接收多窗口视频处理输出模块来使用第一经平铺的视频输出流来代替来自视频源设备的视频流，并最终构建第二经平铺的视频输出流。在第二经平铺的视频输出流中，将第一经平铺的视频输出流的视频区块示出为经嵌套的视频区块。在步骤1350，决定是否存在附加级别的嵌套。如果不存在，执行可以进行到步骤1360，其中将第二经嵌套的视频输出流被提供作为将要被示出在显示设备400上的最终视频输出流。如果不是这样，那么执行返回进行到步骤1310-1340，其中将第二经平铺的视频输出流再次反馈（现在被当作第一经平铺的视频输出流使用），并从其中产生具有另一级别的嵌套的新的第二视频输出流。可以重复该过程至最终产生示出了所期望数目的视频流的最终视频输出流。
用户可以使用示出在无线移动设备500的触敏屏幕540上的UI以浏览嵌套层。除了存在对应于每个视频区块的UI区块外，还可以存在对应于每个经嵌套的视频区块的经嵌套的UI区块。通过在无线移动设备500的触敏显示器540上使用手势（例如，多点触摸手势），用户可以扩展具有经嵌套的UI区块的UI区块以包围虚拟显示屏幕605的一些或者所有。这可以引起显示设备400的屏幕上的视频区块的对应改变。然后用户可以使用相似的手势扩展经嵌套的UI区块中的一个区块，再次引起对应的视频区块改变，以进行到更低的级别。可替换地，用户可以收缩经嵌套的UI区块，以及对应的经嵌套的视频区块，以向上前进到更高的级别。以这种方式，用户可以在大量的视频流的视频内容之间导航。
应理解的是，可以在本文讨论的实施例的精神和范围内进行各种调节和修改。例如，尽管以上讨论了可以将经平铺的视频显示示出在单独的显示设备上，在替换实施例中，可以将经平铺的视频显示示出在多个显示设备上。在一些实施方式中，可以将经平铺的视频显示以其整体示出在多个显示设备的每一个显示设备上。在其它实施方式中，可以将经平铺的视频显示的部分示出在可以被并排布置成为视频墙的多个显示设备的每一个显示设备上。在这样的实施方式中，可以生成并适当地分发多个不同的视频输出流，每一个都对应于相应的显示设备。
另外，应理解的是，可以以软件、硬件或者其组合来实现以上描述的技术的至少一些部分。软件实现可以包括存储在诸如易失性或持久性存储器、硬盘、紧凑盘（CD）、或其它有形介质的非暂时性设备可读介质中的可执行指令。硬件实现可以包括经配置的处理器、逻辑电路、专用集成电路、和/或其它类型的硬件组件。另外，组合的软件/硬件实现可以包括存储在非暂时性设备可读介质中的可执行指令以及例如处理器、存储器等的一个或多个硬件组件两者。相应地，应理解的是，以上描述意味着仅以示例的方式进行。

Claims (16)

1.一种方法，其包括：
从一个或多个视频源设备接收多个视频流；
生成包括第一多个视频区块的第一经平铺的视频输出流，所述第一多个视频区块中的每一个示出来自所述一个或多个视频源设备的所述多个视频流中的不同视频流的视频内容；
生成包括第二多个视频区块的第二经平铺的视频输出流，其中所述第二经平铺的视频输出流的视频区块中的至少一个区块示出来自所述一个或多个视频源设备的所述多个视频流中的视频流的视频内容，并且所述第二经平铺的视频输出流的视频区块中的至少一个区块示出所述第一经平铺的视频输出流，以便所述第一多个视频区块表现为在所述第二多个视频区块中的单个区块之内的经嵌套的视频区块；以及
将所述第二经平铺的视频输出流用作显示在显示设备的屏幕上的经平铺的视频显示的基础。
2.如权利要求1的方法，进一步包括：
生成包括第三多个视频区块的第三经平铺的视频输出流，其中所述第三经平铺的视频输出流的视频区块中的至少一个区块示出来自所述一个或多个视频源设备的所述多个视频流中的视频流的视频内容，并且所述第三经平铺的视频输出流的视频区块中的至少一个区块示出所述第二经平铺的视频输出流，以便所述第二多个视频区块表现为在所述第二多个视频区块中的单个区块之内的第一层经嵌套的视频区块，并且所述第一多个视频区块表现为在所述第二多个视频区块中的单个区块之内的第二级经嵌套的视频区块；以及
将所述第三经平铺的视频输出流用作显示在显示设备的屏幕上的所述经平铺的视频显示的基础。
3.如权利要求1的方法，其中所述生成第一经平铺的视频输出流在第一输出模块处执行，并且所述生成第二区块视频输出流在第二输出模块处执行，并且所述方法进一步包括：
把将要作为输入接收的所述第一经平铺的视频输出流馈送到所述第二输出模块。
4.如权利要求1的方法，其中根据第一平铺布局布置所述第一多个视频区块，并根据第二平铺布局布置所述第二多个视频区块。
5.如权利要求4的方法，其中所述第一平铺布局与所述第二平铺布局相同。
6.如权利要求1的方法，进一步包括：
在与所述显示设备分离的无线移动设备上显示用户界面（UI），所述UI示出包括多个UI区块的虚拟显示屏幕，所述多个UI区块中的每一个对应于所述经平铺的视频显示的相应的视频区块，所述UI区块中的至少一些对应于所述经嵌套的视频区块；
检测与所述多个UI区块中的特定UI区块相关联的用户输入；以及
响应于所述用户输入，修改在所述虚拟显示屏幕上的所述特定UI区块与所述显示设备的屏幕上的对应的视频区块两者。
7.如权利要求6的方法，其中所述特定UI区块是特定的经嵌套的UI区块，并且所述对应的视频区块是对应的经嵌套的视频区块。
8.如权利要求6的方法，其中修改包括：
调整所述特定UI区块的大小以包围所述虚拟显示屏幕的较大的部分或者所述虚拟显示屏幕的较小的部分；以及
以对应于调整所述特定UI区块的大小的方式，调整所述对应的视频区块的大小以包围所述显示设备的屏幕的较大的部分或者包围所述显示设备的屏幕的较小的部分。
9.如权利要求8的方法，其中所述用户输入是扩展或箍缩多点触摸手势。
10.如权利要求8的方法，其中根据定义平铺布局之间的一系列转换的预定义的扩展或收缩级数来从所述平铺布局转换到不同的平铺布局。
11.如权利要求6的方法，其中修改包括：
将所述特定UI区块与在所述虚拟显示屏幕上的不同位置处的另一UI区块交换；以及
以对应于交换所述特定UI区块的方式，将所述对应的视频区块与在所述显示设备的屏幕上的不同位置处的视频区块交换。
12.如权利要求11的方法，其中所述用户输入是拖放手势。
13.一种装置，其包括：
一个或多个视频输入模块，其被配置用于接收来自一个或多个视频源设备的多个视频流；
视频开关，其被配置用于切换所述多个视频流；以及
一个或多个多窗口视频处理输出模块，其被配置用于接收来自所述视频开关的所述多个视频流，所述一个或多个多窗口视频处理输出模块被配置用于：
　　生成包括第一多个视频区块的第一经平铺的视频输出流，所述第一多个视频区块中的每一个示出来自所述一个或多个视频源设备的所述多个视频流中的不同视频流的视频内容，
　　生成包括第二多个视频区块的第二经平铺的视频输出流，其中所述第二经平铺的视频输出流的视频区块中的至少一个区块示出来自所述一个或多个视频源设备的所述多个视频流中的视频流的视频内容，并且所述第二经平铺的视频输出流的视频区块中的至少一个区块示出所述第一经平铺的视频输出流，以便所述第一多个视频区块表现为在所述第二多个视频区块中的单个区块之内的经嵌套的视频区块，以及
　　输出所述第二经平铺的视频输出流。
14.如权利要求13的装置，其中所述一个或多个多窗口视频处理输出模块进一步被配置用于：
生成包括第三多个视频区块的第三经平铺的视频输出流，其中所述第三经平铺的视频输出流的视频区块中的至少一个区块示出来自所述一个或多个视频源设备的所述多个视频流中的视频流的视频内容，并且所述第三经平铺的视频输出流的视频区块中的至少一个区块示出所述第二经平铺的视频输出流，以便所述第二多个视频区块表现为在所述第二多个视频区块中的单个区块之内的第一层经嵌套的视频区块，并且所述第一多个视频区块表现为在所述第二多个视频区块中的单个区块之内的第二级经嵌套的视频区块；以及
输出所述第三经平铺的视频输出流。
15.如权利要求13的装置，其中所述一个或多个多窗口视频处理输出模块包括生成所述第一经平铺的视频输出流的第一多窗口视频处理输出模块，以及生成所述第二经平铺的视频输出流的第二第一多窗口视频处理输出模块，并且所述视频开关被配置用于把将要作为输入接收的所述第一经平铺的视频输出流反馈到所述第二多窗口视频处理输出模块。
16.如权利要求13的装置，其中根据第一平铺布局布置所述第一多个视频区块，并根据第二平铺布局布置所述第二多个视频区块，其中所述第一平铺布局与所述第二平铺布局相同。
CN201480023058.6A 2013-02-25 2014-02-25 用于视频平铺的方法和装置 Active CN105165017B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361768917P 2013-02-25 2013-02-25
US61/768917 2013-02-25
PCT/US2014/018194 WO2014130990A1 (en) 2013-02-25 2014-02-25 Video tiling

Publications (2)

Publication Number Publication Date
CN105165017A true CN105165017A (zh) 2015-12-16
CN105165017B CN105165017B (zh) 2019-05-17

Family

ID=50336508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480023058.6A Active CN105165017B (zh) 2013-02-25 2014-02-25 用于视频平铺的方法和装置

Country Status (9)

Country Link
US (1) US10387007B2 (zh)
EP (2) EP3835935A1 (zh)
CN (1) CN105165017B (zh)
AU (1) AU2014218565B2 (zh)
BR (1) BR112015020382A2 (zh)
CA (1) CA2901957C (zh)
MX (1) MX355320B (zh)
NZ (1) NZ711348A (zh)
WO (1) WO2014130990A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105472324A (zh) * 2015-11-20 2016-04-06 深圳市创凯智能股份有限公司 视频显示方法和装置
CN105700848A (zh) * 2014-12-12 2016-06-22 三星电子株式会社 用于控制声音输出的装置和方法
CN106060627A (zh) * 2016-06-15 2016-10-26 乐视控股（北京）有限公司 一种基于多路直播的音频处理方法及装置
CN109348276A (zh) * 2018-11-08 2019-02-15 北京微播视界科技有限公司 视频画面调整方法、装置、计算机设备和存储介质
CN110418158A (zh) * 2019-08-29 2019-11-05 网易（杭州）网络有限公司 直播间业务配置方法及装置、电子设备、存储介质
CN110622503A (zh) * 2017-05-25 2019-12-27 三菱电机株式会社 监视系统
CN112947873A (zh) * 2019-11-26 2021-06-11 通用电气精准医疗有限责任公司 用于医学图像查看器的远程布局控制的系统和方法
CN113747047A (zh) * 2020-05-30 2021-12-03 华为技术有限公司 一种视频播放的方法及设备
CN114443188A (zh) * 2020-11-02 2022-05-06 泛达公司 多个媒体流的显示布局优化
WO2022262416A1 (zh) * 2021-06-16 2022-12-22 北京荣耀终端有限公司 音频的处理方法及电子设备

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9591339B1 (en) 2012-11-27 2017-03-07 Apple Inc. Agnostic media delivery system
US9774917B1 (en) 2012-12-10 2017-09-26 Apple Inc. Channel bar user interface
US10200761B1 (en) 2012-12-13 2019-02-05 Apple Inc. TV side bar user interface
US9532111B1 (en) 2012-12-18 2016-12-27 Apple Inc. Devices and method for providing remote control hints on a display
US10521188B1 (en) 2012-12-31 2019-12-31 Apple Inc. Multi-user TV user interface
US20140267395A1 (en) * 2013-03-13 2014-09-18 Ross Video Limited Low-latency interactive multiviewer interfaces and methods for video broadcast equipment
KR101518453B1 (ko) * 2013-08-29 2015-05-11 주식회사 픽스트리 컨텐츠 재생 장치 및 방법
USD756393S1 (en) * 2014-01-06 2016-05-17 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US11442595B2 (en) * 2014-03-04 2022-09-13 Volkswagen Ag Method and device for controlling the selection of media files for playback
US20150253937A1 (en) * 2014-03-05 2015-09-10 Samsung Electronics Co., Ltd. Display apparatus and method of performing a multi view display thereof
KR20150142347A (ko) * 2014-06-11 2015-12-22 삼성전자주식회사 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템
DE102014211342A1 (de) * 2014-06-13 2015-12-17 Volkswagen Aktiengesellschaft Anwenderschnittstelle und Verfahren zum Anpassen einer semantischen Skalierung einer Kachel
AU2015280256A1 (en) 2014-06-24 2016-10-13 Apple Inc. Column interface for navigating in a user interface
CN117573019A (zh) 2014-06-24 2024-02-20 苹果公司 输入设备和用户界面交互
JP6429545B2 (ja) * 2014-09-10 2018-11-28 キヤノン株式会社 制御装置、制御方法
KR20160057651A (ko) * 2014-11-14 2016-05-24 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR20160060846A (ko) 2014-11-20 2016-05-31 삼성전자주식회사 디스플레이 장치 및 디스플레이 방법
US9442686B2 (en) * 2014-11-26 2016-09-13 Blackberry Limited Electronic device and method of controlling display of information
US20160191997A1 (en) * 2014-12-30 2016-06-30 Spotify Ab Method and an electronic device for browsing video content
US10319408B2 (en) * 2015-03-30 2019-06-11 Manufacturing Resources International, Inc. Monolithic display with separately controllable sections
CN105992068A (zh) * 2015-05-19 2016-10-05 乐视移动智能信息技术（北京）有限公司 一种视频文件预览方法及装置
US20170003859A1 (en) * 2015-06-30 2017-01-05 Mediatek Inc. Method for one-handed operation on electronic device and associated electronic device
EP3334133A4 (en) * 2015-08-06 2019-03-13 LG Electronics Inc. MOBILE TERMINAL AND ITS CONTROL METHOD
CN106803234B (zh) * 2015-11-26 2020-06-16 腾讯科技（深圳）有限公司 图片编辑中的图片显示控制方法及装置
CN108369797A (zh) * 2015-11-30 2018-08-03 株式会社尼康 显示装置、显示程序及显示方法
US10838613B2 (en) * 2016-02-17 2020-11-17 Trufan Llc Consumer electronic entertainment and display system
KR102204132B1 (ko) 2016-05-31 2021-01-18 매뉴팩처링 리소시스 인터내셔널 인코포레이티드 전자 디스플레이의 원격 영상 검증 시스템 및 방법
DK201670581A1 (en) 2016-06-12 2018-01-08 Apple Inc Device-level authorization for viewing content
DK201670582A1 (en) 2016-06-12 2018-01-02 Apple Inc Identifying applications on which content is available
CN106331553B (zh) * 2016-08-26 2020-03-24 北京金山安全软件有限公司 一种存储视频的方法、装置及电子设备
CN106331822B (zh) * 2016-08-26 2020-02-07 北京金山安全软件有限公司 一种播放多视频的方法、装置及电子设备
US11966560B2 (en) 2016-10-26 2024-04-23 Apple Inc. User interfaces for browsing content from multiple content applications on an electronic device
JP6347286B2 (ja) * 2016-11-21 2018-06-27 株式会社コナミデジタルエンタテインメント ゲーム制御装置、ゲームシステム、及びプログラム
WO2018101514A1 (ko) * 2016-12-01 2018-06-07 엘지전자 주식회사 영상표시장치, 및 이를 구비하는 영상표시 시스템
US10768800B2 (en) * 2016-12-06 2020-09-08 The Directv Group, Inc. Scrolling score guide with quick tune feature
US10362241B2 (en) * 2016-12-30 2019-07-23 Microsoft Technology Licensing, Llc Video stream delimiter for combined frame
US11106339B2 (en) * 2017-09-19 2021-08-31 Adobe Inc. Designing and resizing graphical user interfaces
WO2019172964A1 (en) * 2018-03-05 2019-09-12 Trufan Llc Consumer electronic entertainment and display system
DK201870354A1 (en) 2018-06-03 2019-12-20 Apple Inc. SETUP PROCEDURES FOR AN ELECTRONIC DEVICE
CN113940088A (zh) 2019-03-24 2022-01-14 苹果公司 用于查看和访问电子设备上的内容的用户界面
US11683565B2 (en) 2019-03-24 2023-06-20 Apple Inc. User interfaces for interacting with channels that provide content that plays in a media browsing application
EP3928194A1 (en) 2019-03-24 2021-12-29 Apple Inc. User interfaces including selectable representations of content items
CN113906419A (zh) 2019-03-24 2022-01-07 苹果公司 用于媒体浏览应用程序的用户界面
US11863837B2 (en) 2019-05-31 2024-01-02 Apple Inc. Notification of augmented reality content on an electronic device
US11797606B2 (en) 2019-05-31 2023-10-24 Apple Inc. User interfaces for a podcast browsing and playback application
US10639548B1 (en) * 2019-08-05 2020-05-05 Mythical, Inc. Systems and methods for facilitating streaming interfaces for games
JP7377352B2 (ja) * 2020-01-16 2023-11-09 テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド 複数メンバーでのインスタントメッセージング方法、システム、装置及び電子機器、並びにコンピュータプログラム
US11843838B2 (en) 2020-03-24 2023-12-12 Apple Inc. User interfaces for accessing episodes of a content series
US11899895B2 (en) 2020-06-21 2024-02-13 Apple Inc. User interfaces for setting up an electronic device
CN112492398B (zh) * 2020-10-22 2023-06-16 北京奇艺世纪科技有限公司 一种视频播放方法、装置及电子设备
US11720229B2 (en) 2020-12-07 2023-08-08 Apple Inc. User interfaces for browsing and presenting content
US11934640B2 (en) 2021-01-29 2024-03-19 Apple Inc. User interfaces for record labels
US11726644B2 (en) 2021-06-21 2023-08-15 Microsoft Technology Licensing, Llc Providing visual feedback during touch-based operations on user interface elements
US11895362B2 (en) 2021-10-29 2024-02-06 Manufacturing Resources International, Inc. Proof of play for images displayed at electronic displays

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1550979A (zh) * 2003-03-21 2004-12-01 用于在屏幕区域内嵌图中呈现数据表示的接口
CN101193392A (zh) * 2006-12-01 2008-06-04 Lg电子株式会社 移动终端以及显示其待机屏幕的方法
US20100017748A1 (en) * 2001-04-30 2010-01-21 Broadband Graphics, Llc Display container cell modification in a cell based eui
US20100077431A1 (en) * 2008-09-25 2010-03-25 Microsoft Corporation User Interface having Zoom Functionality
US20100110082A1 (en) * 2008-10-31 2010-05-06 John David Myrick Web-Based Real-Time Animation Visualization, Creation, And Distribution
US20120081299A1 (en) * 2010-10-04 2012-04-05 Verizon Patent And Licensing Inc. Method and apparatus for providing remote control via a touchable display

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8065628B2 (en) 2007-06-25 2011-11-22 Microsoft Corporation Dynamic user interface for previewing live content
US20100299421A1 (en) * 2007-10-04 2010-11-25 Robby Gurdan Digital multimedia network with hierarchical parameter control protocol
US7907142B2 (en) 2008-01-15 2011-03-15 Verint Systems Inc. Video tiling using multiple digital signal processors
US8108650B2 (en) * 2009-05-29 2012-01-31 Apple Inc. Translation lookaside buffer (TLB) with reserved areas for specific sources
NO331338B1 (no) * 2009-06-24 2011-11-28 Cisco Systems Int Sarl Fremgangsmate og anordning for endring av en videokonferanse-layout
US20130283318A1 (en) * 2012-04-23 2013-10-24 Comcast Cable Communications, LLC. Dynamic Mosaic for Creation of Video Rich User Interfaces
US10585553B2 (en) * 2012-12-06 2020-03-10 Samsung Electronics Co., Ltd. Display device and method of controlling the same

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100017748A1 (en) * 2001-04-30 2010-01-21 Broadband Graphics, Llc Display container cell modification in a cell based eui
CN1550979A (zh) * 2003-03-21 2004-12-01 用于在屏幕区域内嵌图中呈现数据表示的接口
CN101193392A (zh) * 2006-12-01 2008-06-04 Lg电子株式会社 移动终端以及显示其待机屏幕的方法
US20100077431A1 (en) * 2008-09-25 2010-03-25 Microsoft Corporation User Interface having Zoom Functionality
CN102165403A (zh) * 2008-09-25 2011-08-24 微软公司 具有缩放功能的用户界面
US20100110082A1 (en) * 2008-10-31 2010-05-06 John David Myrick Web-Based Real-Time Animation Visualization, Creation, And Distribution
US20120081299A1 (en) * 2010-10-04 2012-04-05 Verizon Patent And Licensing Inc. Method and apparatus for providing remote control via a touchable display

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105700848A (zh) * 2014-12-12 2016-06-22 三星电子株式会社 用于控制声音输出的装置和方法
CN105700848B (zh) * 2014-12-12 2019-10-08 三星电子株式会社 用于控制声音输出的装置和方法
CN105472324B (zh) * 2015-11-20 2018-07-24 深圳市创凯智能股份有限公司 视频显示方法和装置
CN105472324A (zh) * 2015-11-20 2016-04-06 深圳市创凯智能股份有限公司 视频显示方法和装置
CN106060627A (zh) * 2016-06-15 2016-10-26 乐视控股（北京）有限公司 一种基于多路直播的音频处理方法及装置
CN110622503A (zh) * 2017-05-25 2019-12-27 三菱电机株式会社 监视系统
CN109348276A (zh) * 2018-11-08 2019-02-15 北京微播视界科技有限公司 视频画面调整方法、装置、计算机设备和存储介质
CN109348276B (zh) * 2018-11-08 2019-12-17 北京微播视界科技有限公司 视频画面调整方法、装置、计算机设备和存储介质
US11144201B2 (en) 2018-11-08 2021-10-12 Beijing Microlive Vision Technology Co., Ltd Video picture adjustment method and apparatus, computer device and storage medium
CN110418158A (zh) * 2019-08-29 2019-11-05 网易（杭州）网络有限公司 直播间业务配置方法及装置、电子设备、存储介质
CN112947873A (zh) * 2019-11-26 2021-06-11 通用电气精准医疗有限责任公司 用于医学图像查看器的远程布局控制的系统和方法
CN113747047A (zh) * 2020-05-30 2021-12-03 华为技术有限公司 一种视频播放的方法及设备
WO2021244368A1 (zh) * 2020-05-30 2021-12-09 华为技术有限公司 一种视频播放的方法及设备
CN113747047B (zh) * 2020-05-30 2023-10-13 华为技术有限公司 一种视频播放的方法及设备
CN114443188A (zh) * 2020-11-02 2022-05-06 泛达公司 多个媒体流的显示布局优化
WO2022262416A1 (zh) * 2021-06-16 2022-12-22 北京荣耀终端有限公司 音频的处理方法及电子设备

Also Published As

Publication number Publication date
CA2901957C (en) 2021-06-15
EP2959691A1 (en) 2015-12-30
NZ711348A (en) 2018-12-21
EP3835935A1 (en) 2021-06-16
BR112015020382A2 (pt) 2017-07-18
AU2014218565B2 (en) 2017-07-06
CA2901957A1 (en) 2014-08-28
MX2015010963A (es) 2015-11-13
WO2014130990A1 (en) 2014-08-28
US20140245148A1 (en) 2014-08-28
CN105165017B (zh) 2019-05-17
US10387007B2 (en) 2019-08-20
MX355320B (es) 2018-04-16
AU2014218565A1 (en) 2015-09-10

Similar Documents

Publication Publication Date Title
CN105165017A (zh) 视频平铺
RU2528016C2 (ru) Способ и устройство для управления осветительным устройством в виртуальной комнате
US8547414B2 (en) Touch screen video switching system
CN102572370B (zh) 视频会议的控制方法和会议终端
CN107113477B (zh) 移动图像回放方法、设备及计算机可读存储介质
KR102262051B1 (ko) 디스플레이장치, 이를 포함하는 다중 디스플레이 시스템 및 그 제어방법
US7984377B2 (en) Cascaded display of video media
US20110320948A1 (en) Display apparatus and user interface providing method thereof
CN101188713A (zh) 以交叉形状显示菜单的方法和设备
CN106210599A (zh) 一种多画面调整方法、装置及多点控制单元
WO2014125403A2 (en) Method of video interaction using poster view
US20140033111A1 (en) Method of displaying status bar
KR101145936B1 (ko) 모바일 제어기를 이용한 다중 타일 디스플레이 시스템 및 그 운영방법
JP2011505630A (ja) 共通ユーザー・インターフェース構造
CN104811780A (zh) 电子设备控制方法及装置
CN103324272A (zh) 一种电子设备控制方法及装置
CN105228002A (zh) 显示设备及其控制方法
CN111679772B (zh) 一种屏幕录制方法、系统、多屏设备和可读存储介质
KR20150074389A (ko) 디스플레이 장치 및 그 디스플레이 방법
US20220084299A1 (en) Mobile device and mobile device control method
JP6341924B2 (ja) ハンドヘルドディスプレイズーム機能
KR102620702B1 (ko) 모바일 장치 및 모바일 장치의 제어 방법
KR20110050217A (ko) 디스플레이 장치 및 그 사용자 인터페이스 제공 방법
CN105808234A (zh) 用于项目管理的方法和电子设备
CN103699303A (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201104

Address after: Massachusetts, USA

Patentee after: Savant systems

Address before: Massachusetts

Patentee before: Savant Systems, LLC

TR01 Transfer of patent right