CN114443188A - 多个媒体流的显示布局优化 - Google Patents

多个媒体流的显示布局优化 Download PDF

Info

Publication number
CN114443188A
CN114443188A CN202110419848.8A CN202110419848A CN114443188A CN 114443188 A CN114443188 A CN 114443188A CN 202110419848 A CN202110419848 A CN 202110419848A CN 114443188 A CN114443188 A CN 114443188A
Authority
CN
China
Prior art keywords
media
display
source
media stream
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110419848.8A
Other languages
English (en)
Inventor
M·D·西蒙斯
J·P·佐罗
A·M·桑切斯
小罗伯特·J·帕克西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panduit Corp
Original Assignee
Panduit Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panduit Corp filed Critical Panduit Corp
Publication of CN114443188A publication Critical patent/CN114443188A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0442—Handling or displaying different aspect ratios, or changing the aspect ratio
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/20—Details of the management of multiple sources of image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

提供了一种用于优化阱设备处的多个视频流的显示布局的系统和方法。可以基于多个不同变量来动态地优化多个流的显示布局，所述变量包括阱设备的特性、活动传入流的总数、活动音频、以及源材料或设备的其他特性。传入媒体流的源可以包含用于优化多个媒体流的显示布局的有用的特性。源设备的一个此类特性可以包括设备类型，诸如膝上型计算机、PC、电话、或平板电脑。可以从每一个传入流中提取信息，以便预测传入媒体流所源自的源设备类型。

Description

多个媒体流的显示布局优化
相关申请的交叉引用
本申请要求于2020年11月1日提交的美国临时专利申请号63/108,485的权益，该临时申请通过引用整体并入本文。
技术领域
本公开涉及优化用于输出到阱设备(sink device)的多个传入媒体流的显示布局，并且更具体地，部分地基于接收到传入媒体流所来自的源设备类型的预测，动态地优化显示布局。
背景技术
当组合多个视频流时(诸如在电话会议应用中)，常规的视频流控制算法利用几种方式来确定视频流的大小和放置。这些方式包括以相等的大小显示所有流、强调主动说话者(即，将一个流显示得比其他流大)、画中画和成帧(即，在中间的大流周围显示成正方形的小流)。结果往往是屏幕实际使用面积(screen real estate)利用不佳且文字难以辨认。另外，各种操作系统上的本机流协议(native streaming protocol)不共享指定操作系统运行的设备类型的元数据(例如，膝上型计算机、PC、电话、平板电脑等)。因此，流接收器通常缺乏设备的输出上正在被查看的内容的上下文，这进而也会导致浪费屏幕空间和最终用户或观看者的次优输出呈现。
发明内容
根据一些实施例，公开了一种媒体接收器，其中该媒体接收器包括存储器，该存储器被配置为存储机器可读指令；以及处理器电路系统，该处理器电路系统与该存储器通信。该处理器电路系统被配置为执行该机器可读指令，使得该处理器电路系统：接收与第一媒体源相对应的第一媒体流，从该第一媒体流获取第一元数据，接收与第二媒体源相对应的第二媒体流，从该第二媒体流获取第二元数据，基于该第一元数据来确定该第一媒体源的第一源类型，基于该第二元数据来确定该第二媒体源的第二源类型，至少基于该第一源类型和该第二源类型来生成包括该第一媒体流和该第二媒体流的优化显示，以及控制该优化显示到阱设备的传送。
根据一些实施例，一种用于优化显示屏幕上的显示布局的方法，该方法包括：通过通信接口，从第一媒体源接收第一媒体流；通过处理器，从该第一媒体流提取第一元数据；通过该通信接口，从第二媒体源接收第二媒体流；通过该处理器，从该第二媒体流提取第二元数据；通过该处理器，基于该第一元数据来确定该第一媒体源的第一源类型；通过该处理器，基于该第二元数据来确定该第二媒体源的第二源类型；通过该处理器，至少基于该第一源类型和该第二源类型来生成包括该第一媒体流和该第二媒体流的优化显示；以及通过该处理器，控制该优化显示到阱设备的传送。
附图说明
图1示出了根据本公开的一个或多个实施例的包括流媒体接收器的媒体呈现系统的环境图。
图2示出了来自图1的系统的框图，包括流媒体接收器的更详细的视图。
图3示出了根据本公开的一个或多个实施例的描绘了用于优化多个媒体流的显示布局的过程的示例性流程图。
图4示出了根据本公开的一个或多个实施例的描绘了用于优化显示布局的信号、数据和/或相对应的信息的流的示例性流程图。
图5示出了根据本公开的一个或多个实施例的描绘了用于基于对输入媒体流的分析来预测源设备类型的过程的示例性流程图。
图6示出了根据本公开的一个或多个实施例的图示了用于基于输入媒体流的一个或多个特性来预测源设备类型的第一示例性实施例的流程图。
图7示出了根据本公开的一个或多个实施例的图示了用于基于输入媒体流的一个或多个特性来预测源设备类型的第二示例性实施例的流程图。
图8示出了根据本公开的一个或多个实施例的图示了用于基于输入媒体流的一个或多个特性来预测源设备类型的第三示例性实施例的流程图。
图9示出了根据本公开的一个或多个实施例的图示了用于基于输入媒体流的一个或多个特性来预测源设备类型的第四示例性实施例的流程图。
图10示出了根据本公开的一个或多个实施例的所优化的示例性显示布局。
图11示出了根据本公开的一个或多个实施例的所优化的示例性显示布局。
图12示出了根据本公开的一个或多个实施例的所优化的示例性显示布局。
图13示出了根据本公开的一个或多个实施例的所优化的示例性显示布局。
图14示出了根据本公开的一个或多个实施例的所优化的示例性显示布局。
图15示出了根据本公开的一个或多个实施例的所优化的示例性显示布局。
图16示出了根据本公开的一个或多个实施例的所优化的示例性显示布局。
具体实施方式
根据需要，本文公开了详细的实施例；然而，应当理解，所公开的实施例只是可以以包括附加或更少的部件和/或步骤的各种和替代形式体现的本发明特征的示例性实施例。附图不一定按照比例；一些特征可能被夸大或最小化以示出特定部件的细节。因此，本文所公开的具体结构和功能细节不应被解释为限制性的，而仅作为用于教导本领域技术人员以各种方式采用本发明的代表性基础。
图1是根据本公开的一个或多个实施例的包括流媒体接收器12的媒体呈现系统10的环境图。流媒体接收器12被配置为从一个或多个源设备14接收多媒体内容，诸如音频和/或视频(A/V)流。源设备14可以包括能够提供音频和/或视频信号的任何输入媒体设备。例如，源设备14可以包括各种类型的计算设备或多媒体设备，诸如个人计算机(PC)、膝上型计算机、智能电话、平板电脑、或流媒体播放器。
流媒体接收器12可以被配置为连接到网络16，诸如局域网(LAN)或广域网(WAN)，该广域网诸如为互联网。根据一个或多个实施例，各种源设备14通过网络16与流媒体接收器12通信。如图所示，一个或多个源设备14使用无线通信协议直接无线地连接到流媒体接收器12。在某些实施例中，源设备14中的一个或多个可以使用导线或电缆(诸如USB、HDMI、显示端口(DisplayPort)等)直接连接到流媒体接收器12。
流媒体接收器12进一步被配置为处理和分析来自多个源设备14的多个传入媒体流，并且生成输出媒体信号，其中输出媒体信号被传送到至少一个阱设备18。阱设备18可以指代被配置为接收音频和/或视频信号(诸如显示器、电视、投影仪、视频会议系统、A/V开关等)的任何输出媒体设备、或给定设备输出的端点。
输出媒体信号是输出到阱设备18的合成流，该合成流包括来自源设备14的多个传入媒体流。流媒体接收器12可以将合成流作为单个平坦流输出到阱设备18。输出媒体信号的合成平坦流可以包括与其各自的源设备14的属性相对应的元数据，其中属性元数据随后可以用于在最终用户的接口或阱设备处控制输出。
根据本公开的一个或多个实施例，流媒体接收器12在组合用于输出到阱设备18的流时，优化来自多个源设备14的多个传入媒体流的显示布局。因此，这些属性可以与传入媒体流的大小、位置、缩放、定向、纵横比和其他特征相关，以增强多个流的显示布局。优化阱设备18处的多个传入视频流的显示布局提供了对屏幕实际使用面积更高效的使用，并且可以提供诸如文本的可辨认性增加之类的优点。例如，通过优化视频流的大小和放置，当显示多个视频流时，可以将浪费的屏幕空间最小化，并且可以处理难以辨认的文本以使其更易辨认(例如，通过增大显示窗口来增加文本大小)。
可以基于多个不同变量来优化多个流的显示布局，这些变量包括阱设备18的特性、活动传入流的总数、活动音频、以及源材料或设备的其他特性。传入媒体流的源可以包含用于优化多个媒体流的显示布局的有用的特性。源的一个此类特性可以包括设备类型，诸如膝上型计算机、PC、电话、或平板电脑。如上所述，操作系统(诸如Microsoft Windows、Apple OSX、Apple iPadOS、Apple iOS和Android)上的本机流协议不直接共享与操作系统在其上运行的设备的特定类型有关的元数据。因此，本公开的一个或多个实施例可以提供一种系统、装置和方法，用于基于从传入媒体流获取的可用元数据和/或其他属性信息来预测向流媒体接收器12提供传入媒体流的源设备的设备类型。
图2示出了来自图1的系统10的框图，包括流媒体接收器12的更详细的视图。根据一个或多个实施例，流媒体接收器12被配置为检测与输入媒体流20相关联的源设备类型，并且至少部分地基于每一个流的所预测的源设备类型来优化多个输入媒体流的显示布局。流媒体接收器12可以被配置成从多个源设备14接收多个输入媒体流20，并且生成到一个或多个阱设备18的输出媒体信号22，如图1中所描述的。如图2所示，阱设备18在流媒体接收器12的外部，并且可经由与流媒体接收器12的直接通信或经由网络16(即，网络阱设备)来访问。在一个或多个替代实施例中，阱设备18可以与流媒体接收器12集成在单个设备内。附加地，流媒体接收器12可以是独立设备，或者可以作为部件集成到另一个计算单元或设备内。
如图2所示，流媒体接收器12包括总线24、处理器26、存储器28、辅助存储设备30和通信接口32。总线24可以包括允许在流媒体接收器12的其他部件之间进行通信的部件。处理器26可以是以硬件、固件、或硬件和软件的组合来实现的任何类型的处理部件。这可以包括中央处理单元(CPU)、图形处理单元(GPU)、微处理器、微控制器、专用集成电路(ASIC)、或类似的处理部件。处理器26可以包括一个或多个处理器，该一个或多个处理器能够被编程以执行诸如用于控制流媒体接收器12的一个或多个部件的功能或过程。存储器28可以存储信息和指令，以供处理器26使用。例如，处理器26可以被配置为读取和执行存储在存储器28上的指令以执行功能。这可以包括控制逻辑34，诸如计算机软件和数据。存储器28可以包括随机存取存储器(RAM)、只读存储器(ROM)、和/或另一种类型的动态或静态存储设备(例如，闪存存储器、磁存储器和/或光存储器)。辅助存储设备30还可以存储与流媒体接收器12的操作和使用有关的信息和/或软件。例如，辅助存储设备30可以包括硬盘驱动器和/或可移动存储设备或驱动器，以及其他类型的存储设备和/或非瞬态计算机可读介质。
流媒体接收器12还包括画布引擎36和画布渲染器38。画布引擎36和画布渲染器38可以实现为硬件、软件、或硬件和软件的组合。因此，尽管描绘为单独的部件，但是画布引擎36和画布渲染器38可以与处理器26和/或存储器28或辅助存储设备30集成作为控制逻辑。画布引擎36被配置为采用不同变量中的一个或多个的组合，这些变量可以包括阱设备18的特性、活动传入流的总数、活动音频、以及源材料或源设备14的其他特性，并指示画布渲染器38如何在阱设备18处最佳地集中显示多个输入媒体流20。因此，画布渲染器38可以接收该指令，并且生成用于阱设备18的输出媒体信号22。
通信接口32可以包括一个或多个收发器或类似收发器的部件(例如，单独的接收器和发射器)，其使得流媒体接收器12能够与源设备14和阱设备18通信，诸如经由有线连接、无线连接、或者有线和无线连接的组合。通信接口32允许流媒体接收器12从另一个设备接收信息，诸如从来自多个源设备14的输入媒体流20接收信息。通信接口32可以进一步允许流媒体接收器12向另一个设备提供信息，包括向阱设备18提供输出媒体信号22。例如，通信接口32可以包括以太网接口、光接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、Wi-Fi接口、蜂窝网络接口等。
流媒体接收器12可以执行本文所描述的一个或多个过程。流媒体接收器12可以基于处理器执行存储在诸如存储器28和/或存储设备30的非瞬态机器可读介质(例如，机器可以是计算机设备)上的软件指令来执行这些过程。本文将机器可读介质定义为非瞬态存储器设备，其可以包括单个物理存储设备内的存储器空间或分布在多个物理存储设备上的存储器空间。软件指令可以经由通信接口32从另一个机器可读介质或从另一个设备读入存储器28或存储设备30。存储在存储器28和/或存储设备30中的软件指令在被执行时，可以使得处理器26执行本公开中所描述的一个或多个过程。附加地或者替代地，可以使用硬接线电路系统代替软件指令，或者与软件指令结合使用，以执行本文描述的一个或多个过程。因此，本文所描述的各种实现方式可能不限于硬件电路系统和软件的任何特定组合。
提供图2中所示出的部件的布置和/或数量作为示例。在实践中，流媒体接收器12或类似设备可以包括附加部件、较少部件、不同部件或与所示部件不同地布置的部件。附加地或替代地，流媒体接收器12的一个或多个部件可以执行被描述为由流媒体接收器的另一组部件执行的一个或多个功能。
图3示出了根据本公开的一个或多个实施例的描绘了用于优化多个媒体流的显示布局的过程的示例性流程图300。可以基于流媒体接收器12从多个不同变量收集的信息来优化显示布局。用于显示布局优化的信息和/或变量可以包括阱设备18的特性、从每一个传入媒体流20提取的元数据、活动传入媒体流的总数等。如将更详细地描述的，从每一个传入媒体流20提取的元数据可以允许流媒体接收器12预测与每一个媒体流相对应的源设备的类型，这可以用于进一步增强多个流的显示布局的优化。
流程图300中描述的过程包括获取阱设备18的特性，如在步骤305处所提供的。阱设备18的特性可以包括阱设备的大小、纵横比和分辨率。阱设备18的附加特性可以包括用户距离阱设备的平均观看距离。例如，在会议室或演讲厅应用中，距阱设备的平均用户观看距离可以是相关的。流媒体接收器12可以自动确定一些阱特性，诸如纵横比和分辨率。其他特性可以从用户的输入中获取。例如，在对流媒体接收器12的配置时，用户可以输入各种阱特性，包括阱设备的大小和用户距阱设备的平均观看距离。
流媒体接收器12从多个源设备14接收一个或多个传入或输入媒体流20，如在步骤310处所提供的。如前所述，输入媒体流20可以从源设备14无线地接收，或者经由有线连接接收，诸如到网络的以太网连接或者到流媒体接收器12的直接电缆连接(例如，USB、HDMI等)。
从每一个输入媒体流20提取元数据以收集关于流及其相对应的源设备的信息，如在步骤315处所提供的。从每一个输入媒体流20提取的元数据可以包括关于每一个媒体流的信息和/或特性，诸如MAC地址、流纵横比、流分辨率、流协议等。
一旦提取，流媒体接收器12处理并分析来自源设备12的媒体流的每一个输入的特性，如在步骤320处所提供的。在一些实现方式中，这可以包括标识哪些流包括活动音频，并且如果多个流具有活动音频，则标识哪些流具有优先级。根据一个或多个实施例，流媒体接收器12基于从流的元数据中提取的各种特性的分析来预测每一个媒体流所源自的源设备的类型，如在步骤325处所提供的。可以预测的源设备类型的示例包括膝上型计算机、PC、智能电话、平板电脑等。下面结合图5-9更详细地描述用于预测源设备类型的方法的各种示例。
随后，流媒体接收器12处理阱特性、输入流特性、和/或所预测的源设备类型中的一个或多个，并且生成多个传入媒体流的优化显示布局以在阱设备18处显示，如在步骤330处所提供的。例如，可以生成优化阱设备18处的活动输入媒体流的大小和放置的显示布局。在优化阱设备18的多个媒体流的显示布局中，流媒体接收器12可以利用阱特性、输入流特性和源设备类型等来将浪费的屏幕空间最小化，并增加流图像、视频和文本的清晰度和可辨认性。流媒体接收器12可以使用画布引擎36基于可用元数据和阱特性来优化多个传入媒体流的显示布局。
在生成多个输入媒体流的优化显示布局时，流媒体接收器12将输出媒体信号22传送到阱设备18，如在步骤335处所提供的。如前所述，输出媒体信号22可以是单个平坦流，包括以优化显示布局布置的多个输入媒体流20的组合。根据一个或多个实施例，画布渲染器38可以用于基于从画布引擎36接收的指令来生成输出媒体信号22。
输出媒体信号22的传送可以是动态的，并且输出媒体信号22从流媒体接收器12到阱设备18的传输可以是连续的。因此，多个传入媒体流的阱设备18处的显示布局的优化也可以是连续的和动态的，特别是当输入媒体流的数量、内容和源改变时。例如，当添加或移除传入媒体流时，流媒体接收器12的部件和逻辑模块可以处理所有活动流特性，以确定当前活动媒体流的最优化大小和放置，并相应地更新输出媒体信号22。当活动媒体流改变其任何特性(诸如设备类型或定向)时，可对新的可用特性进行处理以确定所有当前活动媒体流的最优化的大小和放置。此外，还可能的是，阱特性可改变或替换。当阱特性改变时，还可以处理新的可用阱特性，以确定所有当前活动媒体流的最优化的大小和放置。
图4是根据本公开的一个或多个实施例的描绘了用于优化显示布局的信号、数据和/或相对应的信息的流的示例性流程图400。描绘了四个输入媒体流20，尽管流媒体接收器12可以被配置为接收、处理和优化任意数量的输入媒体流的显示布局。如图所示，从每一个输入媒体流20提取的元数据可以被分类为静态元数据40或动态元数据42。静态元数据40可以包括指示源设备的类型、以及mac地址、协议、DPI和/或主机名的特性。每一个输入流20的动态元数据42可以包括信息或特性，这些信息或特性诸如屏幕定向、纵横比、分辨率和/或内容(例如，经由计算机视觉)、以及流是否包括活动音频。流元数据40、42和阱元数据44可以用于分析、计算和生成所有活动输入流的优化显示布局46的过程(405)，然后流元数据40、42和阱元数据44可以被传送到阱设备18。图4所示的用于生成优化显示布局46的过程(405)可以是图3所描述的方法300的步骤330的替代实施例的说明。
为了优化同时显示的多个流的显示布局，理解每一个输入媒体流所源自的设备的类型是有帮助的。可以将媒体流传送到流媒体接收器12的源设备类型的示例包括膝上型计算机、PC、智能电话、平板电脑等。由于操作系统上的本机流协议不共享有关操作系统在其上运行的设备的类型的元数据，因此可以从其他可用信息中推断源设备类型。如前所述，流媒体接收器12可以基于对从输入媒体流的元数据中提取的各种特性的分析来预测每一个输入媒体流20所源自的源设备的类型。
图5是根据本公开的一个或多个实施例的描绘了用于基于对输入媒体流的分析来预测源设备类型的过程的示例性流程图500。因此，流程图500所描述的方法可以是来自图3所示的流程图300所描述的过程的步骤325的扩展。
为了预测源设备类型，流媒体接收器12向每一个输入媒体流20的各种特性分配权重，如在步骤505处所提供的。在步骤510处，从各个权重中的一个或多个来计算总流权重。例如，一个或多个各个权重可以被求和以提供最终的总流权重。各个权重和/或总流权重可以提供在一定程度的确定性内从其接收输入媒体流20的源设备的类型的指示。为此，基于从流的元数据中提取的特性对传入媒体流的各个方面给定不同的值，并相应地加权以生成关于源设备的类型的最终预测或置信水平，如在步骤515处所提供的。
最终或总流权重随后可以被链接到相对应的输入媒体流，以用于优化阱设备18处的多个流的显示布局。尽管为每一个输入媒体流20计算的最终权重与之链接，但是权重可以是带外(out of band)的并且可以随着输入媒体流的特性的改变而动态地改变。使用权重信息，流媒体接收器12可以确定是否正在从例如，膝上型计算机、PC、电话或平板电脑接收给定的输入媒体流。
一旦从元数据中提取，每一个输入媒体流20的一个或若干特性可以被分析和加权。图6描绘了示出了用于基于这一个或多个特性来预测源设备类型的第一示例实施例的流程图600。根据第一实施例，流媒体接收器12可以接收和处理输入媒体流的媒体访问控制(MAC)地址。如果MAC地址来自第3层或以上的交换机，则可以使用地址解析协议(ARP)命令来解析具有传入媒体流的MAC地址。基于MAC地址，流媒体接收器可以尝试确定正在从其传送输入媒体流的源设备类型(例如，膝上型计算机、PC、电话、平板电脑)。该MAC地址分类可以通过维护MAC地址的数据集以及标识用于显式用户设备制造型号类型的关键MAC地址范围来实现，该数据集包括组织唯一标识符(OUI)和网络接口控制器(NIC)。该方法可以提供权重，该权重有助于在一定程度的确定性内预测发送输入媒体流的设备的类型。OUI或NIC的标识可以确定基于MAC地址分类给定的权重，该权重可以表达为分配给OUI和NIC的各个权重的总和，如下面的等式1所示：
(等式1) OUI权重+NIC权重＝总流权重
图7描绘了示出了用于基于输入媒体流20的一个或多个特性来预测源设备类型的第二示例实施例的流程图700。根据第二实施例，流媒体接收器12可以进一步分析包括在输入媒体流的元数据中的主机名。流媒体接收器12尝试接收主机名，并且如果成功，则在主机名中寻找将有助于标识源设备类型的关键标识信息。这可以通过维护制造商在特定设备型号类型上默认使用的已知主机名前缀和/或后缀的数据集来实现。例如，如果主机名被标识为“玛丽的iPhone”，那么它可能在一定程度的确定性内表明设备类型是智能电话，且更具体地，是智能电话的特定品牌和/或型号。因此，可以将各个权重分配给输入媒体流的主机名(主机名权重)。在一些实现方式中，来自主机名的各个权重可以与来自MAC地址分类的权重相结合，如下面的等式2所示：
(等式2) (OUI权重+NIC权重)+主机名权重＝总流权重
图8描绘了示出了用于基于输入媒体流20的一个或多个特性来预测源设备类型的第三示例实施例的流程图800。根据第三实施例，流媒体接收器12可以进一步分析与输入媒体流相关联的流协议。流协议的分析还可以包括对输入媒体流的纵横比和分辨率的分析。例如，流媒体接收器12通过流协议对传入媒体流进行排序以进行进一步分析。输入媒体流可以首先通过流协议来排序，因为每一个协议可以具有不同的分类方法，并且可以有助于缩小源设备类型或至少缩小源设备14的制造商的范围。例如，Airplay流协议可以指示源设备是Apple设备。
一旦通过流协议排序，流媒体接收器12可以随后分析纵横比和屏幕分辨率。由特定的制造商型号类型使用的共用屏幕分辨率和纵横比的数据集可以被保存并存储在存储器28或存储设备30中，以便帮助标识源设备类型。可以将各个权重分配给流协议、纵横比和分辨率特性中的每一个。在某些实现方式中，这些各个权重可以与来自MAC地址分类和主机名分类的权重中的一个或多个进行组合，以提供用于预测源设备类型的总流权重，如下面的等式3所示：
(等式3)
(OUI权重+NIC权重)+主机名权重+(协议权重+纵横比权重+分辨率权重)＝总流权重
图9描绘了示出了用于基于输入媒体流20的一个或多个特性来预测源设备类型的第四示例实施例的流程图900。根据第四实施例，流媒体接收器12可以经由计算机视觉对象检测(CVOD)和计算机视觉图像分类(CVIC)技术进一步分析输入媒体流。在一些实现方式中，最初可以采用计算机视觉对象检测。流媒体接收器12利用计算机视觉对象检测来分析输入媒体流20的前几帧视频帧。这样，流媒体接收器12可以扫描(多个)帧中的特定对象。这可以使用内部训练模型数据集来与输入媒体流的帧进行比较来实现。内部训练模型数据集可以存储在存储器28或辅助存储设备30中。特定对象的示例可以包括任务栏对象、开始菜单图标、主屏幕或背景图像、标志等。内部训练模型数据集可以用于识别或检测帧中可以有助于指示输入媒体流20的源设备类型的对象，因为某些对象可以与某些设备类型或制造商相关联。因此，流媒体接收器12可以基于计算机视觉对象检测过程(CVOD权重)来分配单个权重。如图所示，计算机视觉对象检测过程可以导致使用用于从图像或视频数据检测特定对象的对象识别技术来预测源设备类型。
如果CVOD权重对应于相对较低的确定性水平，则流媒体接收器12可以随后使用计算机视觉图像分类来进一步分析输入媒体流20。使用来自计算机视觉对象检测过程的相同视频帧，流媒体接收器12可以使用存储在存储器中的不同内部训练模型数据集将图像分类为来自特定源设备类型。因此，流媒体接收器12可以基于计算机视觉图像分类过程(CVIC权重)来分配各个权重。在某些实现方式中，各个权重、CVOD权重和CVIC权重可以与来自MAC地址分类、主机名分类和协议分类过程的权重中的一个或多个进行组合，以提供用于预测源设备类型的总流权重，如下面的等式4所示：
(等式4)
(OUI权重+NIC权重)+主机名权重+(协议权重+纵横比权重+分辨率权重)+(CVOD权重+CVIC权重)＝总流权重
如图所示，各个权重可以组合到更广泛的分类中，并求和以提供每一个分类的总权重。应当注意，分类仅为示例性的。此外，与每一个分类相对应的各个权重也是示例性的，并且可以以不同于图6-图9所示的方式来分组或组织。一个或多个各个权重的任何组合可以用于计算总流权重并随后用于预测源设备类型。
基于本文所描述的各种特性(包括传入媒体流的源设备类型)的多个传入媒体流的动态、优化显示布局可以减少浪费的屏幕空间、增加可辨认性并最终增强观看体验。例如，图10-图16示出了显示布局50的样本进展，该样本进展描绘了当不同的源设备14动态地连接到并将媒体流20传送到流媒体接收器12时，流媒体接收器12可如何优化整体显示布局50。如图10-图16所示，不是为每一个输入媒体流20给定相等的屏幕空间，而是使用本文所描述的技术来动态地优化显示布局50，以为终端用户提供增强的观看体验。
图10示出了两个输入媒体流的示例性显示布局50。在该示例中，可以从第一源设备(1)接收第一输入媒体流，该第一源设备(1)是膝上型计算机。可以从第二源设备(2)接收第二输入媒体流，该第二源设备(2)是智能电话。如图所示，第二源设备(智能电话)以“竖屏”模式或垂直地定向，使得纵横比包括小于高度的宽度(例如，9:16)。图11示出了当第二源设备(2)的定向旋转，从而将其纵横比改变为宽屏或“横屏”模式中的一个(例如，从9:16变成16:9)时，来自图10的显示布局50可如何改变。
图12示出了当第三源设备(3)主动连接到流媒体接收器12时，当从第三源设备(3)接收到第三输入媒体流时，来自图10的显示布局50可如何改变，该第三源设备(3)可以是另一个膝上型计算机。图13示出了当第二源设备(2)的定向旋转，从而将其纵横比改变为宽屏或“横屏”模式中的一个(例如，从9:16变成16:9)，类似于图11时，来自图12的显示布局50可如何改变。
图14示出了当第四源设备(4)以竖屏模式主动连接到流媒体接收器12时，当从第四源设备(4)接收到第四输入媒体流时，来自图12的显示布局50可如何改变，该第四源设备(4)可以是另一个智能电话。图15示出了当第四源设备(4)的定向旋转，从而将其纵横比改变为宽屏或“横屏”模式中的一个(例如，从9:16变成16:9)时，来自图14的显示布局50可如何改变。图16示出了当第二源设备(2)的定向旋转，从而将其纵横比改变为宽屏或“横屏”模式中的一个(例如，从9:16变成16:9)时，来自图15的显示布局50可如何改变。
尽管上文描述了示例性实施例，但并不旨在这些实施例描述所描述的特征的所有可能形式。而是，说明书中使用的词语是描述性的词语而不是限制性的词语，并且应当理解，可以在不脱离本公开的精神和范围的情况下进行各种改变。附加地，各种实现实施例的特征可以组合以形成本公开的进一步实施例。

Claims (20)

1.一种媒体接收器，包括：
存储器，所述存储器被配置为存储机器可读指令；以及
处理器电路系统，所述处理器电路系统与所述存储器通信，其中所述处理器电路系统被配置为执行所述机器可读指令，以使得所述处理器电路系统：
接收与第一媒体源相对应的第一媒体流；
从所述第一媒体流获取第一元数据；
接收与第二媒体源相对应的第二媒体流；
从所述第二媒体流获取第二元数据；
基于所述第一元数据来确定所述第一媒体源的第一源类型；
基于所述第二元数据来确定所述第二媒体源的第二源类型；
至少基于所述第一源类型和所述第二源类型来生成包括所述第一媒体流和所述第二媒体流的优化显示；以及
控制所述优化显示到阱设备的传送。
2.如权利要求1所述的媒体接收器，其特征在于，所述处理器电路系统被配置为执行所述机器可读指令，以进一步使得所述处理器电路系统：
接收与所述阱设备相对应的属性数据；以及
进一步基于所述属性数据来生成包括所述第一媒体流和所述第二媒体流的所述优化显示。
3.如权利要求2所述的媒体接收器，其特征在于，与所述阱设备相对应的所述属性数据包括所述阱设备的预定用户观看距离。
4.如权利要求1所述的媒体接收器，其特征在于，所述第一元数据包括与所述第一媒体源相对应的MAC地址分类，并且所述第二元数据进一步包括与所述第二媒体源相对应的MAC地址分类。
5.如权利要求1所述的媒体接收器，其特征在于，所述第一元数据包括与所述第一媒体源相对应的主机名分类，并且所述第二元数据进一步包括与所述第二媒体源相对应的主机名地址分类。
6.如权利要求1所述的媒体接收器，其特征在于，所述第一元数据包括所述第一媒体源的协议、纵横比和分辨率信息，并且所述第二元数据进一步包括所述第二媒体源的协议、纵横比和分辨率信息。
7.如权利要求1所述的媒体接收器，其特征在于，所述第一元数据包括所述第一媒体源的计算机视觉对象检测和计算机视觉图像分类信息，并且所述第二元数据进一步包括所述第二媒体源的计算机视觉对象检测和计算机视觉图像分类信息。
8.如权利要求1所述的媒体接收器，其特征在于，所述处理器电路系统被配置为执行所述机器可读指令，以使得所述处理器电路系统生成所述优化显示以包括：
第一显示窗口，所述第一显示窗口包括所述第一媒体流的显示；以及
第二显示窗口，所述第二显示窗口包括所述第二媒体流的显示，其中所述第一显示窗口的大小与所述第二显示窗口的大小不同。
9.如权利要求1所述的媒体接收器，其特征在于，所述处理器电路系统被配置为执行所述机器可读指令，以使得所述处理器电路系统生成所述优化显示以包括：
第一显示窗口，所述第一显示窗口包括所述第一媒体流的显示；以及
第二显示窗口，所述第二显示窗口包括所述第二媒体流的显示，其中所述第一显示窗口与所述第二显示窗口具有不同的尺寸。
10.如权利要求1所述的媒体接收器，其特征在于，所述处理器电路系统被配置为执行所述机器可读指令，以使得所述处理器电路系统生成所述优化显示以包括：
第一显示窗口，所述第一显示窗口包括所述第一媒体流的显示，所述第一显示位于所述优化显示内的基于所述第一源类型所选择的第一位置处；以及
第二显示窗口，所述第二显示窗口包括所述第二媒体流的显示，所述第二显示位于所述优化显示内的基于所述第二源类型所选择的第二位置处。
11.一种用于优化显示屏幕上的显示布局的方法，所述方法包括：
通过通信接口，从第一媒体源接收第一媒体流；
通过处理器，从所述第一媒体流提取第一元数据；
通过所述通信接口，从第二媒体源接收第二媒体流；
通过所述处理器，从所述第二媒体流提取第二元数据；
通过所述处理器，基于所述第一元数据来确定所述第一媒体源的第一源类型；
通过所述处理器，基于所述第二元数据来确定所述第二媒体源的第二源类型；
通过所述处理器，至少基于所述第一源类型和所述第二源类型来生成包括所述第一媒体流和所述第二媒体流的优化显示；以及
通过所述处理器，控制所述优化显示到阱设备的传送。
12.如权利要求11所述的方法，所述方法进一步包括：
通过所述处理器，接收与所述阱设备相对应的属性数据；以及
通过所述处理器，进一步基于所述属性数据来生成包括所述第一媒体流和所述第二媒体流的所述优化显示。
13.如权利要求12所述的方法，其特征在于，与所述阱设备相对应的所述属性数据包括所述阱设备的预定用户观看距离。
14.如权利要求11所述的方法，其特征在于，所述第一元数据包括与所述第一媒体源相对应的MAC地址分类，并且所述第二元数据进一步包括与所述第二媒体源相对应的MAC地址分类。
15.如权利要求11所述的方法，其特征在于，所述第一元数据包括与所述第一媒体源相对应的主机名分类，并且所述第二元数据进一步包括与所述第二媒体源相对应的主机名地址分类。
16.如权利要求11所述的方法，其特征在于，所述第一元数据包括所述第一媒体源的协议、纵横比和分辨率信息，并且所述第二元数据进一步包括所述第二媒体源的协议、纵横比和分辨率信息。
17.如权利要求11所述的方法，其特征在于，所述第一元数据包括所述第一媒体源的计算机视觉对象检测和计算机视觉图像分类信息，并且所述第二元数据进一步包括所述第二媒体源的计算机视觉对象检测和计算机视觉图像分类信息。
18.如权利要求11所述的方法，其特征在于，生成所述优化显示包括：
生成第一显示窗口，所述第一显示窗口包括所述第一媒体流的显示；以及
生成第二显示窗口，所述第二显示窗口包括所述第二媒体流的显示，其中所述第一显示窗口的大小与所述第二显示窗口的大小不同。
19.如权利要求11所述的方法，其特征在于，生成所述优化显示包括：
生成第一显示窗口，所述第一显示窗口包括所述第一媒体流的显示；以及
生成第二显示窗口，所述第二显示窗口包括所述第二媒体流的显示，其中所述第一显示窗口与所述第二显示窗口具有不同的尺寸。
20.如权利要求11所述的方法，其特征在于，生成所述优化显示包括：
生成第一显示窗口，所述第一显示窗口包括所述第一媒体流的显示，所述第一显示位于所述优化显示内的基于所述第一源类型所选择的第一位置处；以及
生成第二显示窗口，所述第二显示窗口包括所述第二媒体流的显示，所述第二显示位于所述优化显示内的基于所述第二源类型所选择的第二位置处。
CN202110419848.8A 2020-11-02 2021-04-19 多个媒体流的显示布局优化 Pending CN114443188A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063108485P 2020-11-02 2020-11-02
US63/108,485 2020-11-02
US17/217,469 US11651749B2 (en) 2020-11-02 2021-03-30 Display layout optimization of multiple media streams
US17/217,469 2021-03-30

Publications (1)

Publication Number Publication Date
CN114443188A true CN114443188A (zh) 2022-05-06

Family

ID=75581392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110419848.8A Pending CN114443188A (zh) 2020-11-02 2021-04-19 多个媒体流的显示布局优化

Country Status (4)

Country Link
US (2) US11651749B2 (zh)
EP (1) EP3993409A1 (zh)
CN (1) CN114443188A (zh)
AU (1) AU2021202385A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114756156A (zh) * 2020-12-25 2022-07-15 群创光电股份有限公司 电子装置
EP4333423A1 (en) * 2022-09-05 2024-03-06 Nokia Technologies Oy Video conference calls

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103907357A (zh) * 2011-08-26 2014-07-02 谷歌公司 用于呈现视频流的系统和方法
CN105165017A (zh) * 2013-02-25 2015-12-16 萨万特系统有限责任公司 视频平铺
US20160098169A1 (en) * 2012-03-15 2016-04-07 Ronaldo Luiz Lisboa Herdy Apparatus, system, and method for providing social content
US20160316172A1 (en) * 2015-04-24 2016-10-27 Mersive Technologies, Inc. System and method for interactive and real-time visualization of distributed media
US20170078740A1 (en) * 2014-03-11 2017-03-16 Sony Corporation Information processing device, information processing system, and information processing method
US20170257411A1 (en) * 2016-03-07 2017-09-07 Intel Corporation Technologies for providing hints usable to adjust properties of digital media
WO2018169735A1 (en) * 2017-03-13 2018-09-20 Microsoft Technology Licensing, Llc Event conditioned views for teleconferencing sessions

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7870125B1 (en) * 2005-12-27 2011-01-11 Charter Communications Holding Company Integrated media content server system and method for the customization of metadata that is associated therewith
US8446454B2 (en) 2007-05-21 2013-05-21 Polycom, Inc. Dynamic adaption of a continuous presence videoconferencing layout based on video content
US7840638B2 (en) 2008-06-27 2010-11-23 Microsoft Corporation Participant positioning in multimedia conferencing
US8635317B2 (en) * 2009-06-23 2014-01-21 Nokia Corporation Method and apparatus for providing uniform content management
US9119070B2 (en) 2009-08-31 2015-08-25 Verizon Patent And Licensing Inc. Method and system for detecting unauthorized wireless devices
US8350891B2 (en) 2009-11-16 2013-01-08 Lifesize Communications, Inc. Determining a videoconference layout based on numbers of participants
US9129340B1 (en) * 2010-06-08 2015-09-08 United Services Automobile Association (Usaa) Apparatuses, methods and systems for remote deposit capture with enhanced image detection
US8537195B2 (en) 2011-02-09 2013-09-17 Polycom, Inc. Automatic video layouts for multi-stream multi-site telepresence conferencing system
US9124920B2 (en) * 2011-06-29 2015-09-01 The Nielson Company (Us), Llc Methods, apparatus, and articles of manufacture to identify media presentation devices
US9467708B2 (en) * 2011-08-30 2016-10-11 Sonic Ip, Inc. Selection of resolutions for seamless resolution switching of multimedia content
KR101899458B1 (ko) * 2012-01-11 2018-09-18 삼성전자주식회사 3ｄ 디스플레이 장치 및 그 방법
US9716856B2 (en) * 2012-03-07 2017-07-25 Echostar Technologies L.L.C. Adaptive bit rate transcode and caching for off air television programming delivery
US9204291B2 (en) 2012-10-12 2015-12-01 Crestron Electronics, Inc. User identification and location determination in control applications
US8943072B2 (en) 2012-10-25 2015-01-27 Xerox Corporation Determining OEM of rebranded device
US9100699B2 (en) * 2012-11-28 2015-08-04 At&T Intellectual Property I, Lp Method and apparatus for selection and presentation of media content
US9177402B2 (en) * 2012-12-19 2015-11-03 Barco N.V. Display wall layout optimization
US9042605B2 (en) * 2013-02-15 2015-05-26 Google Inc. Determining a viewing distance for a computing device
US9781385B2 (en) 2013-03-15 2017-10-03 Blue Jeans Network User interfaces for presentation of audio/video streams
US9210379B2 (en) 2014-02-27 2015-12-08 Google Inc. Displaying a presenter during a video conference
KR102230024B1 (ko) * 2014-09-05 2021-03-18 엘지전자 주식회사 전자 기기 및 그 동작방법
US20160103793A1 (en) * 2014-10-14 2016-04-14 Microsoft Technology Licensing, Llc Heterogeneous Application Tabs
US10237581B2 (en) * 2016-12-30 2019-03-19 Facebook, Inc. Presentation of composite streams to users
US20180225024A1 (en) * 2017-02-09 2018-08-09 Zumobi, Inc. System and method for generating an integrated mobile graphical experience using compiled-content from multiple sources
US11367132B1 (en) * 2017-04-28 2022-06-21 United Services Automobile Association (Usaa) Systems and methods for generating personalized accounting analysis videos
US20190230310A1 (en) 2018-01-24 2019-07-25 Microsoft Technology Licensing, Llc Intelligent content population in a communication system
JP7129248B2 (ja) * 2018-07-05 2022-09-01 フォルシアクラリオン・エレクトロニクス株式会社 情報制御装置、及び表示変更方法
US11356732B2 (en) * 2018-10-03 2022-06-07 Nbcuniversal Media, Llc Tracking user engagement on a mobile device
KR102624613B1 (ko) * 2018-12-11 2024-01-15 삼성전자주식회사 사이니지 장치 및 그 제어 방법
US11349976B2 (en) * 2019-09-12 2022-05-31 Lenovo (Beijing) Co., Ltd. Information processing method, file transmission method, electronic apparatus, and computing apparatus
US11164539B2 (en) * 2019-12-18 2021-11-02 Ross Video Limited Systems and methods for bandwidth reduction in video signal transmission
US20210405865A1 (en) * 2020-06-26 2021-12-30 Microsoft Technology Licensing, Llc Dynamic positioning of content views based on a camera position relative to a display screen

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103907357A (zh) * 2011-08-26 2014-07-02 谷歌公司 用于呈现视频流的系统和方法
US20160098169A1 (en) * 2012-03-15 2016-04-07 Ronaldo Luiz Lisboa Herdy Apparatus, system, and method for providing social content
CN105165017A (zh) * 2013-02-25 2015-12-16 萨万特系统有限责任公司 视频平铺
US20170078740A1 (en) * 2014-03-11 2017-03-16 Sony Corporation Information processing device, information processing system, and information processing method
US20160316172A1 (en) * 2015-04-24 2016-10-27 Mersive Technologies, Inc. System and method for interactive and real-time visualization of distributed media
US20170257411A1 (en) * 2016-03-07 2017-09-07 Intel Corporation Technologies for providing hints usable to adjust properties of digital media
WO2018169735A1 (en) * 2017-03-13 2018-09-20 Microsoft Technology Licensing, Llc Event conditioned views for teleconferencing sessions

Also Published As

Publication number Publication date
US11651749B2 (en) 2023-05-16
US20220139356A1 (en) 2022-05-05
AU2021202385A1 (en) 2022-05-19
US20230237976A1 (en) 2023-07-27
EP3993409A1 (en) 2022-05-04

Similar Documents

Publication Publication Date Title
US20230237976A1 (en) Display Layout Optimization of Multiple Media Streams
US8933927B2 (en) Display system with image conversion mechanism and method of operation thereof
US9936117B2 (en) Method of setting camera profile and apparatus of obtaining image
EP2840800A1 (en) Content-based audio/video adjustment
CN108111910B (zh) 一种调整视频播放清晰度的方法和系统
CN111708503A (zh) 一种投屏控制方法、设备及计算机可读存储介质
EP3070959A1 (en) Methods and systems for content presentation optimization
KR20190031032A (ko) 컨텐트를 실행하는 방법 및 장치
EP2787772A1 (en) Method for connecting short-range communication in electronic device and the electronic device
US20170109123A1 (en) Screen sharing system and method for sharing screen
WO2016065514A1 (zh) 图像显示方法、用户终端和视频接收设备
EP4006826A1 (en) Display apparatus and operating method thereof
CN105208388A (zh) 视频通讯中动态调整编码帧率的方法和系统
EP3699902B1 (en) Display device and image display method of the same
US10534973B2 (en) Methods, systems, and media for color palette extraction for video content items
CN116259281A (zh) 一种显示设备及背光控制方法
US8212796B2 (en) Image display apparatus and method, program and recording media
CN114092366A (zh) 图像处理方法、移动终端及存储介质
KR102604170B1 (ko) 전자 장치 및 그 제어 방법
KR102615070B1 (ko) 디스플레이 장치, 및 그 제어방법
WO2023173757A1 (zh) 显示设备及蓝牙搜索方法、蓝牙连接请求的处理方法
CN114189741B (zh) 图像处理方法及相关装置
JP2015002540A (ja) 表示装置、表示装置の制御方法、テレビジョン受像機、プログラム、および、記録媒体
US11252657B2 (en) Electronic apparatus and control method thereof
WO2022245362A1 (en) Video signal classifications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination