CN113711170A - 显示视频和相关用户文本的用户界面的上下文感知控制 - Google Patents

显示视频和相关用户文本的用户界面的上下文感知控制 Download PDF

Info

Publication number
CN113711170A
CN113711170A CN202080029810.3A CN202080029810A CN113711170A CN 113711170 A CN113711170 A CN 113711170A CN 202080029810 A CN202080029810 A CN 202080029810A CN 113711170 A CN113711170 A CN 113711170A
Authority
CN
China
Prior art keywords
comment
user interface
content
rendering
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080029810.3A
Other languages
English (en)
Inventor
D·允
S·S·菲尔斯
M·亚尔曼德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN113711170A publication Critical patent/CN113711170A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

公开的技术提供了一种在用户界面的评论部分内显示视频内容的计算设备。当用户通过选择用户界面评论部分内的链接来调用视频显示时，系统可以控制用户界面的导航位置以在评论部分内同时地显示视频和选定的评论。在一个说明性示例中，系统可以显示具有视频显示区域和评论部分的用户界面。用户界面可以被定位以在显示设备的查看区域内显示评论部分，并且这样的位置可以将视频显示区域放置在查看区域的外部。在这样的场景中，当系统接收到指示对评论部分内显示的评论的选择的用户输入时，系统可以生成视频内容的渲染以在评论部分内显示。

Description

显示视频和相关用户文本的用户界面的上下文感知控制
背景技术
在许多社交、教育和娱乐平台上，对视频进行评论正变得流行和无处不在。许多基于视频的评论者会引用视频内容来上下文化(contextualize)并指定他们的消息。评论者可以通过多种方式引用视觉实体或特定的声音片段。例如，用户可以引用某人在特定时间的声音或引述(quote)或者提供时间戳等。在一些系统中，用户可以包括到其评论的链接，并允许用户查看在特定时间点处开始的视频。
尽管现有系统提供了用于用户提供评论的平台，但是从评论者的角度以及从查看者的角度而言，当前使用的用户界面本质上是简单化的并且不提供用于对用户体验进行优化的工具。例如，在一些现有系统中，当查看者选择与评论相关联的视频链接时，当前系统经常使用户界面滚动(scroll)远离评论部分以便显示选定的视频。此特征会导致许多低效率和并发情况。特别地，当与现有系统交互时，用户在他们选择评论以查看视频时无法维持评论的视图。这不允许用户在观看相关视频的同时持续地查看他们感兴趣的评论。通过要求用户在用户界面的评论部分与视频部分之间来回滚动，这会导致许多低效率，这在其中有成百上千条评论的情况下可能是极其困难的。这种类型的导航关于用户的生产力和计算资源是非常低效的。
针对这些和其他技术挑战，提出了本文所公开的内容。
发明内容
本文公开的技术通过使计算设备能够在用户界面的评论部分内显示视频内容来提供对现有系统的改进。当用户通过在用户界面的评论部分内选择到视频的链接来调用视频的显示时，系统可以控制用户界面的导航位置以同时地在评论部分内显示选定的评论并且还在评论部分内显示视频。
在一个说明性示例中，系统可以显示具有视频显示区域和评论部分的用户界面。在一些场景中，用户界面可以被导航地定位以在显示设备的查看区域内显示评论部分，并且这样的位置可以将视频显示区域放置在显示屏的查看区域之外，例如，网页的滚动位置可能使视频位于屏幕之外。在这样的场景中，当系统接收到指示对评论部分内显示的评论的选择的用户输入时，系统可以生成视频内容的渲染以在评论部分内显示。
本文所描述的技术可以导致更高效地使用计算系统。特别地，通过控制用户界面的方面以确保同时显示视频和选择评论，系统可以改进关于用户生产力的多个效率并促进更高效地使用计算资源。本文呈现的系统减轻了用户在整个用户界面中手动导航以在视频回放期间查看特定评论的需要。消除或减轻手动导航过程导致更高效地使用计算资源，例如，存储器使用、网络使用和处理资源，因为这可以减少一个人需要花费在计算机上以浏览大页面的时间。另外地，系统可以通过减轻对包含大量评论的页面的繁琐手动用户界面导航过程的需要来增强用户参与。
通过阅读以下具体实施方式并且查看相关联的附图，除了上文明确描述的那些特征和技术优势之外的其他特征和技术优势也将是显而易见的。提供本发明内容以便以简化的形式对下面在具体实施方式中进一步描述的概念的选择进行介绍。本发明内容不旨在标识要求保护的主题的关键或重要特征，也不旨在用于协助确定要求保护的主题的范围。例如，术语“技术”可以指代由上面描述的上下文以及整个文档允许的(多个)系统、(多个)方法、计算机可读指令、(多个)模块、算法、硬件逻辑和/或(多个)操作。
附图说明
参考附图描述了具体实施方式。在附图中，附图标记的最左边的数字标识该附图标记在其中首次出现的附图。相同的附图标记在不同的附图中指示相似或相同的项目。对多个项目中的单独的项目的引用可以使用具有字母序列中的字母的附图标记来指代每个单独的项目。对项目的一般引用可以使用没有字母序列的特定附图标记。
图1示出了涉及计算设备的示例过程，该计算设备可以控制显示视频显示区域和评论部分的用户界面的导航。
图2示出了涉及计算设备的示例过程，该计算设备可以控制用户界面的导航以与关联于评论的视频内容同时地显示选定的评论。
图3示出了涉及计算设备的示例过程，该计算设备可以控制用户界面的导航以与关联于评论和相关评论的视频内容同时地显示选定的评论和相关评论。
图4示出了涉及计算设备的示例过程，该计算设备可以生成重新配置的用户界面以同时地显示评论以及与评论相关联的视频内容。
图5示出了涉及计算设备的示例过程，该计算设备可以从重新配置的用户界面转换回原始用户界面。
图6A示出了涉及计算设备的示例过程，该计算设备可以生成定制的用户界面以同时地显示评论以及与评论相关联的视频内容。
图6B示出了用于同时地显示评论以及与评论相关联的视频内容的定制的用户界面的示例。
图7示出了涉及计算设备的示例过程，该计算设备可以取决于用户输入的类型而生成不同类型的用户界面。
图8示出了涉及计算设备的示例过程，该计算设备可以与相关联的评论同时地生成音频用户界面元素的渲染。
图9示出了涉及计算设备的示例过程，该计算设备可以控制用户界面的导航与相关评论同时地显示视频内容的静止图像。
图10是示出用于计算高效地生成视频的口语内容的例程的方面的流程图。
图11是示出用于本文公开的技术的说明性操作环境的方面的计算系统图。
图12是示出可以实现本文公开的技术的方面的计算设备的配置和操作的方面的计算架构图。
具体实施方式
图1示出了涉及计算设备100的示例过程，该计算设备100可以控制和增强显示视频显示区域和评论部分的用户界面的导航位置。图1中示出的示例示出了用于控制用户界面130的导航位置以在视频显示区域140和评论部分150中渲染视频内容的过程的两个阶段。该过程的第一阶段在图的左侧示出，并且该过程的第二阶段在图的右侧示出。该图被布置为说明可以如何向用户显示用户界面130的部分。具体地，出于说明性目的，用户界面130的在显示设备170(例如，屏幕)的查看区域160内的部分可以由设备的用户查看。然而，出于说明性目的，用户界面130的未在查看区域160内绘制的部分是“屏幕之外的”，并且不能由用户查看。
如过程的第一阶段中示出的，计算设备100可以显示包括视频显示区域140和评论部分150的用户界面130。如所示的，用户界面130的初始导航位置显示在显示设备170的查看区域160内的评论部分150，以及在视频显示区域140内的经渲染的视频内容116。用户界面130的位置将视频显示区域140定位在查看区域160之外。视频显示区域140和评论部分150彼此不同，因此，视频内容的渲染116“在屏幕之外”并且不能由计算设备100的用户查看。如可以认识到的，可以通过向上或向下滚动用户界面的用户交互来操纵用户界面130的位置，以在显示设备170的查看区域160内查看用户界面130的部分。评论部分150在本文中也被称为“文本字段150”或“文本部分150”。评论部分150可以包括用户界面的包含文本的任何部分。例如，评论部分150可以是文字处理文档、OneNote文件、电子表格、博客或者可以使计算机结合视频的渲染来渲染文本的任何其他形式的媒体或数据的一部分。
还如图1中示出的，在过程的第一阶段中，计算设备100可以接收指示对评论部分160内显示的评论162的选择的用户输入161。用户输入161可以基于与触摸屏或适于选择评论162的任何其他机制的用户交互。在一些配置中，用户输入161可以是由计算设备100的麦克风接收到的语音命令。在一些配置中，用户输入161可以由计算设备的相机或成像传感器接收。这样的实施例允许用户提供手势来选择评论162。例如，用户可以指向用户界面内的特定评论。还可以认识到的是，对评论162的选择可以包括对评论的至少一部分的选择。因此，如果用户选择与显示的视频相关联的词或任何其他符号或字符，则这样的用户输入可以使计算设备102执行一个或多个动作(例如，视频的显示、音频输出的渲染或其他类型的媒体(例如，静止图像或其他图形元素)的显示)，同时控制用户界面的导航位置以连续地显示选定的词、符号或字符。
如过程的第二阶段中示出的，响应于接收到用户输入，计算设备100可以生成内容的第二渲染117以在评论部分150内显示，其中用户界面130被配置为维持用户界面130的位置，以将评论部分150定位在显示设备170的查看区域160内，同时在显示设备170的查看区域160内显示第二渲染117。
本文提供的实施例是出于说明性目的的，并且不应被解释为限制性的。可以认识到的是，可以利用任何类型的计算设备来实现本文公开的技术。例如，尽管在本文所描绘的示例中的一些中利用了移动设备，但是可以使用与具有显示区域的显示设备(例如，监视器)通信的任何计算设备来实现所公开的技术。出于说明性的目的，显示设备的显示区域被认为是可以生成用于显示经渲染的图像的光的显示设备的表面。
图2示出了涉及计算设备100的示例过程，该计算设备100可以控制用户界面130的导航位置以与关联于在查看区域160中的评论162的视频内容117的渲染同时地显示选定的评论162。在该示例中，在过程的第二阶段中，计算设备100还可以自动滚动或以其他方式定位用户界面130以使得计算设备100能够同时地显示经渲染的视频内容117，使得该视频内容117不会遮蔽或阻挡选定的评论162的显示。
在图1中示出的示例中，用户界面可以被定位为使得在评论部分内的视频内容的第二渲染117可以阻挡选定的评论162的至少一部分。在图2中示出的示例中，系统可以响应用户输入来控制用户界面130的导航位置，以允许评论以其整体与查看区域160中的第二渲染117同时地显示。该控制导航还可以选择用于第二渲染117的位置，使得这减轻了与评论部分中的任何评论的重叠。系统可以分析评论的坐标和经渲染的视频117的坐标，以使查看区域160中的重叠的量最小化。也可以调整视频渲染的大小，以使视频渲染与一个或多个评论之间的重叠的量最小化。可以使视频渲染最小化到预定大小，该预定大小可以取决于一个或多个用户设置或其他因素，例如，视频数据的分辨率。
在一些配置中，计算设备100可以在任何方向(例如，向上、向下、向左或向右)滚动用户界面130，以使得计算设备能够同时地显示经渲染的视频内容117，使得该视频内容117不会遮蔽或阻挡选定的评论162的显示。用于检测用户界面元素(例如，视频内容117和/或评论162的渲染)的位置的任何合适的技术可以用于本公开的重要方面。例如，评论162的坐标可以由计算设备100分析。计算设备然后可以基于评论162的坐标来确定视频内容117的渲染的坐标。计算设备100然后可以定位视频内容117的渲染，使得视频内容117的坐标相对于评论162的坐标具有不超过阈值水平的重叠。阈值水平的重叠可以允许没有重叠达到任何预定水平的重叠。另外地，计算设备100可以确定视频内容117的渲染的坐标，使得在显示设备170的查看区域160内渲染视频内容117。
图3示出了涉及计算设备100的示例过程，该计算设备100可以控制用户界面130的导航以与关联于评论162和相关评论163的视频内容同时地显示选定的评论162和相关评论163。该实施例使计算设备100能够分析各种评论，以允许显示关于经渲染的视频内容117具有阈值水平的相关性的评论。在一个说明性示例中，相关评论可以包括对选定的评论162的任何回复。
如图3中示出的，计算设备100可以应用受控导航来显示评论162和相关评论163。这可以通过将用户界面130滚动到允许显示评论162和相关评论163的位置来完成。同时，视频内容117的渲染被定位为使得视频内容117的渲染相对于评论162和相关评论163具有阈值水平的重叠或不重叠。
图4示出了涉及计算设备100的示例过程，该计算设备100可以生成重新配置的用户界面130”以同时地显示选定的评论162以及与评论162相关联的视频内容的渲染。在该示例中，计算设备100可以修改评论部分150的尺寸以允许视频显示区域140与评论162同时地渲染视频内容116。
重新配置的用户界面130”可以以多种方式实现。在该特定示例中，评论部分150的顶部边框被修改为使得选定的评论162上方的评论被隐藏，并且选定的评论162显示在评论部分150的顶部。如由图4中的箭头示出的，评论部分150的顶部边框被调整以启用显示区域140。虽然图4的示例示出了其中评论部分150的尺寸(例如，高度(H))被修改的一个示例，但是可以认识到的是，重新配置的用户界面130”可以涉及图形元素的任何形状或大小的修改，以允许同时查看视频显示区域140和选定的评论162。
图5示出了涉及计算设备的示例过程，该计算设备可以从重新配置的用户界面转换回原始用户界面。继续图4的示例，图5示出了开始于重新配置的用户界面130”的两步过程。在该示例中，重新配置的用户界面130”包括指示评论部分150被折叠的可选择的图形元素164。重新配置的用户界面130”还被配置为在可选择的图形元素164处接收用户输入165。响应于用户输入165，计算设备100可以恢复回原始用户界面130，该原始用户界面130显示选定的评论162和查看区域160并将视频显示区域140放置在屏幕之外。
尽管该示例利用基于触摸的用户输入，但是可以认识到的是，该实施例可以涉及用于将显示恢复回原始用户界面130的语音命令或任何其他类型的输入。还可以认识到的是，该实施例可以涉及除了可选择的图形元素164之外的其他类型的图形元素。例如，评论部分150的顶部边框可以被加粗、成形、着色或以其他方式修改以指示评论部分150的折叠状态。
除了提供重新配置的用户界面130”之外，计算设备100可以生成定制的用户界面130’。在这样的实施例中，计算设备可以生成全新的用户界面配置，其与至少一个评论(例如，选定的评论162)同时地渲染在显示区域140内的内容。
图6A示出了涉及计算设备的示例过程，该计算设备可以生成定制的用户界面130’以同时地显示选定的评论162以及与评论162相关联的视频内容。在该说明性示例中，选定的评论162位于查看区域160内的视频显示区域140下方。还示出了定制的用户界面130’被布置为使得经渲染的视频116的显示不会遮蔽或以其他方式阻挡选定的评论162或任何其他评论的显示。该示例是出于说明性目的提供的，并且不应被解释为限制性的。定制的用户界面130’可以具有相对于经渲染的视频116处于任何位置、定向或大小的评论162。
图6B示出了被配置为同时地显示评论以及与评论相关联的视频内容的定制的用户界面130’的示例。一般而言，视频内容的显示区域140和选定的评论162可以以任何布置。例如，如示例1中示出的，选定的评论162和相关评论163可以紧邻包括视频内容116的渲染的显示区域140定向。
在一些配置中，视频内容116的显示区域140可以具有关于选定的评论162的阈值水平的重叠。出于说明性目的，阈值水平的重叠可以包括零重叠直到任何预定水平的重叠，其可以在用户偏好文件或基于用户活动的任何其他上下文数据中定义。在其他实施例中，重叠的阈值水平可以基于评论162的被覆盖的文本的量。例如，只要文本可以被解释，阈值水平的重叠可以允许一些重叠。因此，如示例2中示出的，重叠的量可以允许视频覆盖或以其他方式遮蔽评论162的一些词，同时仍然使用户能够理解评论的本质。因此，当某些关键词(例如，“THE”和“A”以及其他连接词或过渡词)被视频渲染覆盖时，用户界面可能具有阈值水平的重叠。
系统还可以调整显示元素的大小和/或位置以消除显示区域140与评论162之间的任何重叠或使这些重叠最小化。如示例3中示出的，可以调整显示区域140或至少一个评论162的高度(H)和宽度(W)，以消除两个图形元素之间的任何重叠。在一个说明性示例中，重叠的阈值水平可以基于评论的内容。如果确定评论包括阈值百分比的预定关键字，则系统可以确定重叠的阈值水平为零，并且系统可以相应地布置图形元素，如示例3中示出的。
类似于图4和图5中示出的示例，定制的用户界面也可以被配置为恢复回原始用户界面。在这样的实施例中，计算设备100可以响应于用户输入而将定制的用户界面130’的显示恢复回原始用户界面130。在一些配置中，计算设备100还可以基于其他事件(例如，计时器或其他标准)来将定制的用户界面130’的显示恢复回原始用户界面130。
在一些实施例中，计算设备100可以取决于由用户提供的输入类型而采取不同的动作。图7示出了涉及计算设备100的示例过程，该计算设备100可以取决于用户输入的类型而生成不同类型的用户界面。在该示例中，计算设备100可以基于第一类型的用户输入来在评论部分内显示视频内容的第二渲染117。第一类型的用户输入可以是任何类型的输入，包括被动输入(例如，光标161的悬停)或任何其他类型的合适输入。如所示的，用户界面130可以响应于第一类型的用户输入，而从图左侧的示例转变为图7右上角中的用户界面130。图7右上角中的用户界面130示出了在评论部分150内的视频内容117的渲染。
图7中还示出了计算设备可以基于第二类型的用户输入来采取其他动作。在该示例中，基于第二类型的用户输入(其可以包括更活跃的类型的输入，例如，悬停和点击或悬停和双击)，计算设备100可以生成定制的用户界面130’。如所示的，用户界面130可以响应于第二类型的用户输入，而从图左侧的示例转变为图7右下角中的定制的用户界面130’。图7右下角中的用户界面1130’示出了视频内容117连同选定的评论162和评论163的渲染。
已经出于说明性目的提供了这些示例，并且这些示例不应被解释为限制性的。可以认识到的是，可以响应于各种类型的用户输入来生成任何类型的用户界面。例如，在图7的示例中，响应于第二类型的用户输入，计算设备100可以生成重新配置的用户界面130’，或同时地显示选定的评论162以及与选定的评论162相关联的视频的任何其他用户界面配置。
在一些配置中，计算设备100可以以多种不同的格式和媒体渲染视频内容。例如，在评论部分150内的链接可以被配置为播放与视频相关联的音频片段。在这样的实施例中，如图8中示出的，与响应于用户对评论162的选择而渲染视频相反，计算设备100可以与相关联的评论同时地显示音频界面元素118。计算设备100还可以响应于用户对评论162选择来渲染来自扬声器801的音频输出802。在一些配置中，计算设备100可以在不显示音频界面元素118的情况下响应于用户对评论162的至少一部分的选择来渲染来自扬声器801的音频输出802，同时还控制用户界面130的位置以显示评论部分150。
在另一示例中，在评论部分150内的链接可以被配置为显示从视频内容捕获的静止图像。在这样的实施例中，如图9中示出的，与响应于用户对评论162的选择而渲染视频相反，计算设备100可以显示来自视频内容的特定时间点的静止图像。图像的显示可以与相关联的评论同时地显示，或者以其他方式在用户界面130的评论部分150内显示。
图10是示出用于计算高效地在用户界面的评论部分中显示视频的例程1000的方面的图。本领域普通技术人员应该理解，本文公开的方法的操作不一定以任何特定次序呈现，并且以替代次序执行操作中的一些或所有操作是可能的并且是被设想到的。为了便于描述和说明，已经以展示的次序呈现了操作。在不脱离所附权利要求书的范围的情况下，可以添加、省略、一起执行和/或同时执行操作。
还应该理解，所示方法可以在任何时间结束，并且不需要以其整体执行。如本文所定义的，可以通过执行计算机存储介质上包括的计算机可读指令来执行方法的一些或全部操作和/或实质上等同的操作。在说明书和权利要求书中使用的术语“计算机可读指令”及其变型在本文中被广泛地使用，以包括例程、应用、应用模块、程序模块、程序、组件、数据结构、算法等。可以在各种系统配置上实现计算机可读指令，这些系统配置包括单处理器或多处理器系统、小型计算机、大型计算机、个人计算机、手持计算设备、基于微处理器的可编程消费者电子产品、其组合等。
因此，应当认识到的是，本文所描述的逻辑操作被实现为：(1)计算机实现的动作的序列或在诸如本文所描述的那些计算系统之类的计算系统上运行的程序模块；和/或(2)在计算系统内的互连机器逻辑电路或电路模块。该实现方式是取决于计算系统的性能和其他要求的选择问题。因此，逻辑操作可以以软件、固件、专用数字逻辑单元及其任何组合来实现。
另外地，可以与上面描述的示例呈现UI相关联地实现图10和其他附图中示出的操作。例如，本文描述的各种设备和/或(多个)模块可以生成、发送、接收和/或显示与视频的内容相关联的数据(例如，实时内容、广播的事件、记录的内容等)和/或呈现UI，该呈现UI包括远程计算设备、化身(avatar)、频道、聊天会话、视频流、图像、虚拟对象和/或与视频相关联的应用的一个或多个参与者的渲染。
例程1000开始于操作1002，在该操作1002处，系统可以引起用户界面130的显示，该用户界面130具有视频显示区域和评论部分。图1中示出了用户界面130的一个示例。视频显示区域140可以被配置为渲染视频116。评论部分可以包括多个评论。每个评论可以包括链接或被配置为响应于用户选择而显示视频渲染或其他媒体的显示的其他相关联的元数据。用户界面130可以在诸如平板计算机、移动电话、台式计算机等之类的客户端设备上显示。
接下来，在操作1004处，系统(例如，计算设备100)可以接收选择评论部分内的评论的用户输入。由于个体评论可以通过使用链接或其他元数据与某种类型的媒体相关联，因此响应于对评论162的用户选择，用户界面130可以生成视频117的渲染。用户选择可以是由任何设备(例如，鼠标、触摸表面设备、语音输入设备等)进行的。
在操作1006处，系统可以响应于用户输入而确定用于用户界面130的导航位置或生成定制的界面或重新配置的用户界面。如上面所描述的，可以基于视频渲染(例如，图1中示出的第二渲染117)的大小和位置来选择导航位置。可以选择用户界面130的位置以允许在用户界面的评论部分内显示第二渲染117。在一些配置中，可以选择用户界面的位置(例如，滚动位置)，以允许视频的第二渲染117和选定的评论和/或相关评论的同时非重叠显示。
在其他配置中，与选定的评论相关的视频的渲染可以与选定的评论一起在重新配置的用户界面中显示，该重新配置的用户界面改变评论部分的大小和形状以实现视频(例如，第一渲染116以及选定的评论)的同时显示。在另一实施例中，可以生成定制的用户界面以与视频的相关联的渲染同时地显示选定的评论。这样的实施例可以安排选定的评论和相关联的视频的布局以适应计算设备的屏幕大小，其中可以调整评论的大小和形状以及视频渲染的大小和形状以允许用户除了查看经渲染的视频的特定部分外，还可以查看评论。
接下来，在操作1008处，系统可以与视频的相关联的渲染同时地渲染选定的评论。本文公开了若干示例。如图1中示出的，可以在用户界面的评论部分内显示第二渲染117。在另一示例(例如，图3中示出的示例)中，可以选择滚动位置以使得能够与选定的评论和其他相关评论同时地显示经渲染的视频。
如图4中示出的，其他实施例使得评论部分能够被修改，使得用户界面可以与至少一个评论(包括选定的评论162)同时地显示视频渲染。这些示例是出于说明性目的提供的，并且不应被解释为限制性的。可以认识到的是，用户界面的任何位置或用户界面内的经渲染的元素的任何形状都可以被修改，以使得系统能够与选定的评论和/或其他相关评论同时地显示视频。
在操作1008的一些方面，系统可以响应于不同类型的用户输入而确定用户界面的特定滚动位置或重新配置用户界面。例如，如图7中示出的，响应于第一类型的输入(例如，悬停)，系统可以在用户界面的评论部分内自动显示视频。响应于第二类型的输入(例如，点击或双击选择特定评论)，系统可以生成定制的用户界面或重新配置的用户界面，以显示视频的渲染以及一个或多个评论。
接下来，在操作1010处，系统可以响应于一个或多个动作而将用户界面130返回到原始布局。例如，在操作1008处已经完成视频回放之后，如果系统正在显示定制的用户界面或重新配置的用户界面，则系统可以在视频回放结束时将这些显示恢复回原始界面。例如，原始界面是图1左侧示出的用户界面130。
应当认识到的是，上面描述的主题可以被实现为计算机控制的装置、计算机过程、计算系统，或者被实现为诸如计算机可读存储介质之类的制品。示例方法的操作在单独的框中示出，并且参考那些框进行总结。方法被示为框的逻辑流，这些框中的每个框可以表示可以以硬件、软件或其组合来实现的一个或多个操作。在软件的上下文中，操作表示存储在一个或多个计算机可读介质上的计算机可执行指令，该计算机可执行指令当由一个或多个处理器执行时，使得一个或多个处理器能够执行所引述的操作。
通常，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、模块、组件、数据结构等。描述操作的次序不旨在被解释为限制性的，并且任何数量的所描述的操作可以以任何次序执行、以任何次序组合、被细分为多个子操作和/或并行执行，以实现所描述的过程。所描述的过程可以由与一个或多个设备(例如，一个或多个内部或外部CPU或GPU)和/或一个或多个硬件逻辑单元(例如，现场可编程门阵列(“FPGA”)、数字信号处理器(“DSP”)或其他类型的加速器)相关联的资源执行。
上面描述的所有方法和过程都可以体现在由一个或多个通用计算机或处理器执行的软件代码模块中，并经由该软件代码模块完全自动化。可以将代码模块存储在例如下面所描述的任何类型的计算机可读存储介质或其他计算机存储设备中。方法中的一些或全部可以可替代地体现在例如下面所描述的专用计算机硬件中。
本文描述的和/或在附图中描绘的流程图中的任何常规描述、元素或框应该被理解为潜在地表示模块、片段或代码的部分，其包括用于实现例程中的特定逻辑功能或元素的一个或多个可执行指令。替代实现方式被包括在本文描述的示例的范围内，其中，取决于如本领域技术人员理解的所涉及的功能，可以从所示或所讨论的那些元素或功能中删除元素或功能或以不同的次序执行元素或功能，包括实质上同步或以相反的次序执行。
图11是示出其中系统1102可以实现本文公开的技术的示例环境1100的图。在一些实现方式中，系统1102可以用于收集、分析和共享定义向通信会话1004的用户显示的一个或多个对象的数据。
如所示的，可以在与系统1102相关联的或者是作为系统1102的一部分的多个客户端计算设备1106(1)至1106(N)之间实现通信会话1104(其中，N是值为二或更大的数字)。客户端计算设备1106(1)至1106(N)使用户(也被称为个人)能够参与通信会话1104。尽管该实施例示出了通信会话1104，但是可以认识到的是，对于本文公开的每个实施例而言，通信会话1104不是必要的。可以认识到的是，视频流可以由每个客户端1106上传并且评论可以由每个客户端1106提供。可以认识到的是，任何客户端1106也可以从服务器模块1130接收视频数据和音频数据。
在该示例中，通信会话1104由系统1102托管在一个或多个网络1108上。即，系统1102可以提供使客户端计算设备1106(1)至1106(N)的用户能够(例如，经由实时查看和/或记录的查看)参与通信会话1104的服务。因此，通信会话1104的“参与者”可以包括用户和/或客户端计算设备(例如，多个用户可以在房间中经由使用单个客户端计算设备参与通信会话)，用户和/或客户端计算设备中的每一个可以与其他参与者进行通信。作为替代方案，通信会话1104可以利用对等技术由客户端计算设备1106(1)至1106(N)中的一个托管。系统1102还可以托管聊天对话和其他团队协作功能(例如，作为应用套件的一部分)。
在一些实现方式中，这样的聊天对话和其他团队协作功能被认为是不同于通信会话1104的外部通信会话。用于收集通信会话1104中的参与者数据的计算机化代理可以能够链接到这样的外部通信会话。因此，计算机化代理可以接收诸如日期、时间、会话特定信息等之类的信息，该信息实现到这种外部通信会话的连通性。在一个示例中，可以根据通信会话1104来进行聊天对话。另外地，系统1102可以托管通信会话1104，该通信会话1104包括共同位于会议位置(例如，会议室或礼堂)或位于不同位置的至少多个参与者。在本文所描述的示例中，一些实施例可以不利用通信会话1104。在一些实施例中，视频可以从客户端计算设备中的至少一个(例如，1106(1)、1106(2))上传到服务器模块1130。当视频内容被上传到服务器模块1130时，任何客户端计算设备都可以访问上传的视频内容并在诸如上述那些的用户界面之类的用户界面内显示该视频内容。
在本文描述的示例中，参与通信会话1104的客户端计算设备1106(1)至1106(N)被配置为接收并渲染通信数据以在显示屏的用户界面上进行显示。通信数据可以包括实时内容和/或记录的内容的各种实例或流的集合。实时内容和/或记录的内容的各种实例或流的集合可以由一个或多个相机(例如，摄像机)提供。例如，实时内容或记录的内容的单个流可以包括与由摄像机提供的视频馈送相关联的媒体数据(例如，捕获参与通信会话的用户的外观和话音的音频数据和视觉数据)。在一些实现方式中，视频馈送可以包括这种音频数据和视觉数据、一个或多个静止图像和/或一个或多个化身。一个或多个静止图像还可以包括一个或多个化身。
实时内容或记录的内容的单个流的另一个示例可以包括媒体数据，该媒体数据包括参与通信会话的用户的化身以及捕获用户的话音的音频数据。实时内容或记录的内容的单个流的又一示例可以包括媒体数据，该媒体数据包括在显示屏上显示的文件以及捕获用户的话音的音频数据。因此，通信数据内的实时内容或记录的内容的各种流使得能够促进一群人之间的远程会议以及在一群人之内共享内容。在一些实现方式中，通信数据内的实时内容或记录的内容的各种流可以源自位于空间(例如，房间)中的用于记录或流式传输演示的多个共置的摄像机，该演示包括一个或多个个人呈现以及一个或多个个人消费呈现的内容。
参与者或出席者可以在活动发生时实时查看通信会话1104的内容，或者可替代地，在活动发生后的较晚时间经由记录进行查看。在本文描述的示例中，参与通信会话1104的客户端计算设备1106(1)至1106(N)被配置为接收并渲染通信数据以在显示屏的用户界面上进行显示。通信数据可以包括实时内容和/或记录的内容的各种实例或流的集合。例如，内容的单个流可以包括视频馈送相关联的媒体数据(例如，捕获参与通信会话的用户的外观和话音的音频数据和视觉数据)。内容的单个流的另一示例可以包括媒体数据，该媒体数据包括参与会议会话的用户的化身以及捕获用户的话音的音频数据。内容的单个流的又一示例可以包括媒体数据，该媒体数据包括在显示屏上显示的内容项和/或捕获用户的话音的音频数据。因此，通信数据内的内容的各种流使得能够促进跨远程位置分散的一群人之间的会议或广播演示。每个流还可以包括文本、音频和视频数据，例如，在频道、聊天板或私人消息传递服务内传送的数据。
通信会话的参与者或出席者是在相机或其他图像和/或音频捕获设备的范围内的人，以使得可以捕获(例如，记录)当人正在查看和/或收听经由通信会话共享的内容时所产生的人的动作和/或声音。例如，参与者可以坐在人群中，查看舞台呈现发生的广播位置处实时进行的共享内容。或者，参与者可以坐在办公室会议室中，经由显示屏查看与其他同事的通信会话的共享内容。甚至更进一步，参与者可以坐在或站在个人设备(例如，平板计算机、智能电话、计算机等)的前面，独自在其办公室或在家中查看通信会话的共享内容。
系统1102包括(多个)设备1110。(多个)设备1110和/或系统1102的其他组件可以包括经由一个或多个网络1108彼此通信和/或与客户端计算设备1106(1)至1106(N)通信的分布式计算资源。在一些示例中，系统1102可以是独立系统，其负责管理一个或多个通信会话(例如，通信会话1104)的方面。作为示例，系统1102可以由诸如YOUTUBE、FACEBOOK、SLACK、WEBEX、GOTOMEETING、GOOGLE HANGOUTS等之类的实体管理。
(多个)网络1108可以包括例如公共网络(例如，互联网)、私有网络(例如，机构和/或个人内联网)、或私有网络和公共网络的某种组合。(多个)网络1108还可以包括任何类型的有线和/或无线网络，包括但不限于局域网(“LAN”)、广域网(“WAN”)、卫星网络、电缆网络、Wi-Fi网络、WiMax网络、移动通信网络(例如，3G、4G等)或其任何组合。(多个)网络1108可以利用通信协议，包括基于分组和/或基于数据报的协议，例如，互联网协议(“IP”)、传输控制协议(“TCP”)、用户数据报协议(“UDP”)或其他类型的协议。此外，(多个)网络1108还可以包括促进网络通信和/或形成网络的硬件基础的多个设备，例如，交换机、路由器、网关、接入点、防火墙、基站、中继器、骨干设备，等等。
在一些示例中，(多个)网络1108还可以包括使得能够连接到无线网络的设备，例如，无线接入点(“WAP”)。示例支持通过在各种电磁频率(例如，射频)上发送和接收数据的WAP(包括支持电气和电子工程师协会(“IEEE”)802.21标准(例如，802.11g、802.11n、802.11ac等)和其他标准的WAP)的连通性。
在各种示例中，(多个)设备1110可以包括以群集或其他分组配置进行操作以共享资源、平衡负载、提高性能、提供故障转移支持或冗余或用于其他目的的一个或多个计算设备。例如，(多个)设备1110可以属于各种类别的设备，例如，传统的服务器类型的设备、台式计算机类型的设备和/或移动类型的设备。因此，尽管(多个)设备1110被示为单一类型的设备或服务器类型的设备，但是(多个)设备110可以包括各种各样的设备类型，并且不限于特定类型的设备。(多个)设备1110可以表示但不限于服务器计算机、台式计算机、web服务器计算机、个人计算机、移动计算机、膝上型计算机、平板计算机或任何其他种类的计算设备。
客户端计算设备(例如，客户端计算设备1106(1)至1106(N)中的一个)可以属于各种类别的设备，其可以与(多个)设备1110相同或不同，例如，传统的服务器类型的设备、台式计算机类型的设备、移动类型的设备、专用类型的设备、嵌入式类型的设备和/或可穿戴类型的设备。因此，客户端计算设备可以包括但不限于台式计算机、游戏控制台和/或游戏设备、平板计算机、个人数据助理(“PDA”)、移动电话/平板计算机混合设备、膝上型计算机、电信设备、计算机导航类型的客户端计算设备(例如，基于卫星的导航系统，其包括全球定位系统(“GPS”)设备)、可穿戴设备、虚拟现实(“VR”)设备、增强现实(“AR”)设备、植入式计算设备、汽车计算机、支持网络的电视、瘦客户机、终端、物联网(“IoT”)设备、工作站、媒体播放器、个人录像机(“PVR”)、机顶盒、相机、用于包括在计算设备中的集成组件(例如，外围设备)、家用电器或任何其他种类的计算设备。此外，客户端计算设备可以包括客户端计算设备的较早列出的示例的组合，例如，台式计算机类型的设备或移动类型的设备与可穿戴设备等的组合。
各种类别和设备类型的客户端计算设备1106(1)至1106(N)可以表示具有(例如，经由总线1116)可操作地连接到计算机可读介质1194的一个或多个数据处理单元1192的任何类型的计算设备，在一些实例中，总线1116可以包括系统总线、数据总线、地址总线、PCI总线、Mini-PCI总线以及任何各种本地、外围和/或独立总线中的一个或多个。
存储在计算机可读介质1194上的可执行指令可以包括例如操作系统1119、客户端模块1120、简档模块1122以及可由(多个)数据处理单元1192加载和执行的其他模块、程序或应用。
客户端计算设备1106(1)至1106(1)N还可以包括一个或多个接口1124，以实现通过(多个)网络1108在客户端计算设备1106(1)至1106(N)与其他联网设备(例如，(多个)设备1110)之间的通信。这样的网络接口1124可以包括一个或多个网络接口控制器(NIC)或其他类型的收发机设备，以通过网络发送和接收通信和/或数据。此外，客户端计算设备1106(1)至1106(N)可以包括输入/输出(“I/O”)接口(设备)1126，该输入/输出接口(设备)1126实现与输入/输出设备(例如，包括外围输入设备(例如，游戏控制器、键盘、鼠标、笔、诸如麦克风之类的声音输入设备、用于获得和提供视频馈送和/或静止图像的摄像机、触摸输入设备、手势输入设备等)的用户输入设备，和/或包括外围输出设备(例如，显示器、打印机、音频扬声器、触摸输出设备等)的输出设备)的通信或包括这些输入/输出设备。图11示出了客户端计算设备1106(N)以某种方式连接到显示设备(例如，显示屏1129(1))，该显示设备可以根据本文所描述的技术来显示UI。
在图11的示例环境1100中，客户端计算设备1106(1)至1106(N)可以使用其相应的客户端模块1120彼此连接和/或与(多个)其他外部设备连接，以便参与通信会话1104，或者向协作环境贡献活动。例如，第一用户可以利用客户端计算设备1106(1)来与另一客户端计算设备1106(2)的第二用户进行通信。当执行客户端模块1120时，用户可以共享数据，这可能导致客户端计算设备1106(1)通过(多个)网络1108连接到系统1102和/或其他客户端计算设备1106(2)至1106(N)。
客户端计算设备1106(1)至1106(N)(其中的每一个在本文也被称为“数据处理系统”)可以使用其相应的简档模块1122来生成参与者简档(图11中未示出)，并将参与者简档提供给其他客户端计算设备和/或系统1102的(多个)设备1110。参与者简档可以包括以下各项中的一个或多个：用户或一组用户的身份(例如，姓名、唯一标识符(“ID”)等)、用户数据(例如，个人数据)、诸如位置之类的机器数据(例如，IP地址、建筑物中的房间等)和技术能力等。可以利用参与者简档来针对通信会话注册参与者。
如图11中示出的，系统1102的(多个)设备1110包括服务器模块1130和输出模块1132。在该示例中，服务器模块1130被配置为从各个客户端计算设备(例如，客户端计算设备1106(1)至1106(N))接收媒体流1134(1)至1134(N)。如上面所描述的，媒体流可以包括视频馈送(例如，与用户相关联的音频和视觉数据)、要与用户的化身的呈现一起输出的音频数据(例如，纯音频体验，其中不发送用户的视频数据)、文本数据(例如，文本消息)、文件数据和/或屏幕共享数据(例如，在显示屏上显示的文档、幻灯片版面、图像、视频等)等等。因此，服务器模块1130被配置为在实时查看通信会话1104期间接收各种媒体流1134(1)至1134(N)的集合(该集合在本文中被称为“媒体数据1134”)。在一些场景中，并非参与通信会话1104的所有客户端计算设备都提供媒体流。例如，客户端计算设备可以仅是消费设备或“收听”设备，使得其仅接收与通信会话1104相关联的内容，而不向通信会话1104提供任何内容。
在各种示例中，服务器模块1130可以选择要与参与客户端计算设备1106(1)至1106(N)中的单个客户端计算设备共享的媒体流1134的方面。因此，服务器模块1130可以被配置为基于流1134来生成会话数据1136和/或将会话数据1136传递到输出模块1132。然后，输出模块1132可以将通信数据1139传送到客户端计算设备(例如，参与通信会话的实时查看的客户端计算设备1106(1)至1106(3))。通信数据1139可以包括由输出模块1132基于与输出模块1132相关联的内容1150并且基于所接收的会话数据1136来提供的视频、音频和/或其他内容数据。
如所示的，输出模块1132将通信数据1139(1)发送到客户端计算设备1106(1)，并且将通信数据1139(2)发送到客户端计算设备1106(2)，并且将通信数据1139(3)发送到客户端计算设备1106(3)，等等。发送到客户端计算设备的通信数据1139可以相同或可以不同(例如，用户界面内的内容流的位置可以在设备之间不同)。
在各种实现方式中，(多个)设备1110和/或客户端模块1120可以包括GUI呈现模块1140。GUI呈现模块1140可以被配置为对通信数据1139进行分析，该通信数据1139用于递送到客户端计算设备1106中的一个或多个。具体地，在设备(多个)1110和/或客户端计算设备1106处的GUI呈现模块1140可以对通信数据1139进行分析，以确定用于在相关联的客户端计算设备1106的显示屏1129上显示视频、图像和/或内容的适当方式。在一些实现方式中，GUI呈现模块1140可以将视频、图像和/或内容提供给渲染在相关联的客户端计算设备1106的显示屏1129上的呈现GUI 1146。GUI呈现模块1140可以使呈现GUI 1146渲染在显示屏1129上。呈现GUI1146可以包括由GUI呈现模块1140分析的视频、图像和/或内容。
在一些实现方式中，呈现GUI 1146可以包括多个部分或网格，这些部分或网格可以渲染或包括用于在显示屏1129上显示的视频、图像和/或内容。例如，呈现GUI 1146的第一部分可以包括演示者或个人的视频馈送，呈现GUI 1146的第二部分可以包括个人消费由呈现者或个人提供的会议信息的视频馈送。GUI呈现模块1140可以以适当地模仿呈现者和个人可以共享的环境体验的方式来填入呈现GUI 1146的第一部分和第二部分。
在一些实现方式中，GUI呈现模块1140可以放大或提供由视频馈送表示的个人的缩放视图，以便突出显示个人对呈现者的反应，例如，面部特征。在一些实现方式中，呈现GUI 1146可以包括与会议(例如，一般通信会话)相关联的多个参与者的视频馈送。在其他实现方式中，呈现GUI 1146可以与诸如聊天频道、企业团队频道等之类的频道相关联。因此，呈现GUI1146可以与不同于一般通信会话的外部通信会话相关联。
图12示出了说明示例设备1200(在本文也被称为“计算设备”)的示例组件的图，该示例设备1200被配置为生成用于本文公开的用户界面中的一些的数据。设备1200可以生成可以包括一个或多个部分的数据，该一个或多个部分可以渲染或包括用于在显示屏1129上显示的视频、图像、虚拟对象和/或内容。设备1200可以表示本文描述的(多个)设备中的一个。另外地或可替代地，设备1200可以表示客户端计算设备1106中的一个。
如所示的，设备1200包括一个或多个数据处理单元1202、计算机可读介质1204和(多个)通信接口1206。设备1200的组件例如经由总线1209可操作地连接，该总线1209可以包括系统总线、数据总线、地址总线、PCI总线、Mini-PCI总线以及任何各种本地、外围和/或独立总线中的一个或多个。
如本文所利用的，(多个)数据处理单元(例如，(多个)数据处理单元1202和/或(多个)数据处理单元1192)可以表示例如CPU类型的数据处理单元、GPU类型的数据处理单元、现场可编程门阵列(“FPGA”)、另一类别的DSP或其他硬件逻辑组件(在一些实例中，其可以由CPU驱动)。例如但不限于，可以利用的说明性类型的硬件逻辑组件包括专用集成电路(“ASIC”)、专用标准产品(“ASSP”)、片上系统(“SOC”)、复杂可编程逻辑器件(“CPLD”)等。
如本文所利用的，计算机可读介质(例如，计算机可读介质1204和计算机可读介质1194)可以存储可由(多个)数据处理单元执行的指令。计算机可读介质还可以存储可由外部数据处理单元(例如，由外部CPU、外部GPU)执行和/或可由外部加速器(例如，FPGA类型的加速器、DSP类型的加速器或任何其他内部或外部加速器)执行的指令。在各种示例中，在计算设备中并入了至少一个CPU、GPU和/或加速器，而在某些示例中，CPU、GPU和/或加速器中的一个或多个在计算设备的外部。
计算机可读介质(在本文也可以被称为多个计算机可读介质)可以包括计算机存储介质和/或通信介质。计算机存储介质可以包括以用于存储信息(例如，计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术实现的易失性存储器、非易失性存储器和/或其他持久和/或辅助计算机存储介质、可移除和不可移除计算机存储介质中的一个或多个。因此，计算机存储介质包括在设备和/或作为设备的一部分或在设备外部的硬件组件中包括的有形和/或物理形式的介质，包括但不限于随机存取存储器(“RAM”)、静态随机存取存储器(“SRAM”)、动态随机存取存储器(“DRAM”)、相变存储器(“PCM”)、只读存储器(“ROM”)、可擦除可编程只读存储器(“EPROM”)、电可擦除可编程只读存储器(“EEPROM”)、闪速存储器、压缩盘只读存储器(“CD-ROM”)、数字通用磁盘(“DVD”)、光卡或其他光学存储介质、磁带盒、磁带、磁盘存储装置、磁卡或其他磁存储设备或介质、固态存储器设备、存储阵列、网络附接存储装置、存储区域网络、托管的计算机存储装置或任何其他存储存储器、存储设备和/或可以用于存储和维护供计算设备访问的信息的存储介质。
与计算机存储介质相反，通信介质可以在诸如载波之类的调制的数据信号或其他传输机制中体现计算机可读指令、数据结构、程序模块或其他数据。如本文所定义的，计算机存储介质不包括通信介质。即，计算机存储介质不包括仅由调制的数据信号、载波或传播信号本身组成的通信介质。
(多个)通信接口1206可以表示例如网络接口控制器(“NIC”)或其他类型的收发机设备，以通过网络发送和接收通信。此外，(多个)通信接口1206可以包括一个或多个摄像机和/或音频设备1222，以使得能够生成视频馈送和/或静止图像等等。
在所示的示例中，计算机可读介质1204包括数据储存库1208。在一些示例中，数据储存库1208包括数据存储装置，例如，数据库、数据仓库或其他类型的结构化或非结构化数据存储装置。在一些示例中，数据储存库1208包括具有一个或多个表、索引、存储的过程等的语料库和/或关系数据库以实现数据访问，其包括例如以下各项中的一个或多个：超文本标记语言(“HTML”)表、资源描述框架(“RDF”)表、web本体语言(“OWL”)表和/或可扩展标记语言(“XML”)表。
数据储存库1208可以存储用于存储在计算机可读介质1204中和/或由(多个)数据处理单元1218和/或(多个)加速器执行的过程、应用、组件和/或模块的操作的数据。例如，在一些示例中，数据储存库1208可以存储会话数据1210(例如，会话数据1136)、简档数据1212(例如，其与参与者简档相关联)和/或其他数据。会话数据1210可以包括通信会话中的参与者(例如，用户和/或客户端计算设备)的总数量、在通信会话中发生的活动、通信会话的受邀者列表和/或与何时以及如何进行或托管通信会话相关的其他数据。数据储存库1208还可以包括内容数据1214，例如，包括视频、音频或用于在显示屏1129中的一个或多个上渲染和显示的其他内容的内容。
可替代地，上面引用的数据中的一些或全部可以存储在一个或多个数据处理单元1202的板上的单独的存储器1181(例如，在CPU类型的处理器、GPU类型的处理器、FPGA类型的加速器、DSP类型的加速器和/或其他加速器的板上的存储器)上。在该示例中，计算机可读介质1204还包括操作系统1218和被配置为向其他设备暴露设备1200的功能和数据的(多个)应用编程接口1210(API)。另外地，计算机可读介质1204包括一个或多个模块(例如，服务器模块1230、输出模块1232和GUI呈现模块1246)，但是所示模块的数量仅是示例，并且该数量可以变得更高或更低。即，在本文与所示模块相关联地描述的功能可以由一个设备上或遍布在多个设备上的较少数量的模块或较大数量的模块来执行。
应当认识到的是，除非另外具体陈述，否则在上下文内理解本文使用的条件性语言(例如，“可以(can)”、“可(could)”、“可能(might)”或“可以(may)”)，以表达某些示例包括而其他示例不包括某些特征、元素和/或步骤。因此，这种条件性语言通常不意在暗示一个或多个示例以任何方式要求某些特征、元素和/或步骤，或者一个或多个示例必须包括用于(在有或没有用户输入或提示的情况下)决定在任何特定示例中是否要包括或执行某些特征、元素和/或步骤的逻辑单元。除非另外具体陈述，否则诸如短语“X，Y或Z中的至少一个”之类的合取语言应理解为表示条目、项等可以是X，Y，或Z，或者其组合。
应用于本文公开的技术的其他变型也可以在本公开的范围内。例如，尽管本文公开的示例涉及对评论的选择，但本文公开的技术包括对与评论或文本相关联的字符、词和图像或任何其他图形元素的任何用户选择。因此，如果用户在评论或任何其他文本内选择了特定词或特定图像，则系统可以通过在包含选定的词、图像等的用户界面部分内显示视频渲染来响应。可以认识到的是，文本部分内的每个评论或短语也可以包括多个链接。因此，在本文公开的示例中，单个评论可以包括多个词，其中单个评论的各个词各自具有唯一的链接。
还应该认识到的是，可以对上面描述的示例进行各种变型和修改，其中的元素应被理解为在其他可接受的示例之中。所有这些修改和变型旨在在本文中被包括在本公开内容的范围内，并由所附权利要求书保护。
最后，虽然已经以特定于结构特征和/或方法动作的语言对各种配置进行了描述，但应当理解的是，所附表示中定义的主题并不一定受限于所描述的特定特征或动作。而是，公开的特定特征和动作作为实现要求保护的主题的示例形式。
本文呈现的公开内容也涵盖在以下条款中阐述的主题：
条款1、一种要由数据处理系统执行的、用于运行的方法，该方法包括：引起用户界面的显示，该用户界面包括视频显示区域和评论部分，其中，用户界面的位置在显示设备的查看区域内显示评论部分，用户界面的位置将显示内容的渲染的视频显示区域定位在查看区域的外部；接收用户输入，该用户输入指示对在评论部分内显示的评论的至少一部分的选择；以及响应于接收到用户输入，生成用于在评论部分内显示的内容的第二渲染，其中，用户界面被配置为：维持用户界面的位置以将评论部分定位在显示设备的查看区域内，同时在显示设备的查看区域内显示内容的第二渲染。
条款2、根据条款1的方法，其中，方法还包括：控制用户界面的位置，以与内容的第二渲染同时地显示评论。
条款3、根据条款1-2的方法，其中，方法还包括：控制用户界面的位置，以与评论和内容的第二渲染同时地显示相关评论。
条款4、根据条款1-3的方法，其中，方法还包括：确定与评论相关联的媒体类型包括内容的静止图像，并且其中，第二渲染包括响应于用户输入而在显示设备的查看区域内显示的内容的静止图像。
条款5、根据条款1-4的方法，其中，方法还包括：确定与评论相关联的媒体类型包括内容的音频数据，并且其中，第二渲染包括指示音频数据的回放的图形用户界面；以及引起音频设备生成音频数据的音频输出。
条款6、根据条款1-5的方法，其中，与评论相关联的元数据定义视频数据的时间间隔，该视频数据定义内容，其中，第二渲染包括响应于用户输入而在显示设备的查看区域内显示内容的时间间隔。
条款7、根据条款1-6的方法，其中，方法还包括：基于从输入设备接收的数据来分析用户输入，以确定输入类型；响应于确定输入类型是第一输入类型，而在评论部分内显示内容的第二渲染，同时维持用户界面的位置；以及响应于确定输入类型是第二类型，而显示定制的用户界面，该定制的用户界面同时地显示选定的评论以及内容的渲染或内容的第二渲染中的至少一个。
条款8、根据条款1-7的方法，其中，第一输入类型包括：光标在评论的至少一部分上悬停。
条款9、根据条款1-8的方法，其中，第二输入类型包括：光标在评论的至少一部分上悬停；以及输入设备的用户致动，该用户致动指示对评论的选择。
条款10、一种要由数据处理系统执行的、用于运行的方法，该方法包括：引起用户界面的显示，该用户界面包括视频显示区域和评论部分，其中，用户界面的位置在显示设备的查看区域内显示评论部分，用户界面的位置将显示内容的渲染的视频显示区域定位在查看区域的外部；接收用户输入，该用户输入指示对在评论部分内显示的评论的选择；以及响应于接收到用户输入，生成用于与评论的显示同时地渲染视频内容的定制的用户界面，其中，定制的用户界面被配置为具有在视频内容的渲染与评论之间的阈值水平的重叠。
条款11、根据条款10的方法，其中，方法还包括：控制用户界面的位置，以与内容的第二渲染同时地显示评论。
条款12、根据条款10-11的方法，其中，方法还包括：控制用户界面的位置，以与评论和内容的第二渲染同时地显示相关评论。
条款13、根据条款10-12的方法，其中，方法还包括：确定与评论相关联的媒体类型包括内容的静止图像，并且其中，第二渲染包括响应于用户输入而在显示设备的查看区域内显示的内容的静止图像。
条款14、根据条款10-13的方法，其中，方法还包括：确定与评论相关联的媒体类型包括内容的音频数据，并且其中，第二渲染包括指示音频数据的回放的图形用户界面；以及引起音频设备生成音频数据的音频输出。
条款15、条款10-14的方法，其中，与评论相关联的元数据定义视频数据的时间间隔，该视频数据定义内容，其中，第二渲染包括响应于用户输入而在显示设备的查看区域内显示内容的时间间隔。
条款16、一种系统，包括：用于引起用户界面的显示的单元，该用户界面包括视频显示区域和文本部分，其中，用户界面的导航位置在显示设备的查看区域内显示文本部分，用户界面的导航位置将显示内容的渲染的视频显示区域定位在查看区域的外部；用于接收用户输入的单元，该用户输入指示对在文本部分内显示的选定的文本的选择；以及用于响应于接收到用户输入，生成用于在文本部分内显示的内容的第二渲染的单元，其中，用户界面被配置为：维持用户界面的导航位置以将文本部分定位在显示设备的查看区域内，同时渲染音频或在显示设备的查看区域内显示内容的第二渲染的静止图像或视频。
条款17、根据条款16的系统，其中，方法还包括：控制用户界面的导航位置，以在渲染音频或在显示设备的查看区域内显示内容的第二渲染的静止图像或视频时，同时地显示评论。
条款18、根据条款16-17的系统，其中，方法还包括：控制用户界面的导航位置，以与评论和内容的第二渲染同时地显示相关评论。
条款19、根据条款16-18的系统，还包括：用于确定与评论相关联的媒体类型包括内容的静止图像的单元，并且其中，第二渲染包括响应于用户输入而在显示设备的查看区域内显示的内容的静止图像。
条款20、根据条款16-19的系统，还包括：用于基于从输入设备接收的数据来分析用户输入，以确定输入类型的单元；用于响应于确定输入类型是第一输入类型，而在文本部分内显示内容的第二渲染，同时维持用户界面的导航位置的单元；以及用于响应于确定输入类型是第二类型，而显示定制的用户界面的单元，该定制的用户界面同时地显示选定的文本以及内容116的渲染或内容117的第二渲染中的至少一个。

Claims (15)

1.一种要由数据处理系统执行的、用于运行的方法，所述方法包括：
引起用户界面的显示，所述用户界面包括视频显示区域和评论部分，其中，所述用户界面的位置在显示设备的查看区域内显示所述评论部分，所述用户界面的所述位置将显示内容的渲染的所述视频显示区域定位在所述查看区域的外部；
接收用户输入，所述用户输入指示对在所述评论部分内显示的评论的至少一部分的选择；以及
响应于接收到所述用户输入，生成用于在所述评论部分内显示的所述内容的第二渲染，其中，所述用户界面被配置为：维持所述用户界面的所述位置以将所述评论部分定位在显示设备的查看区域内，同时在显示设备的所述查看区域内显示所述内容的所述第二渲染。
2.根据权利要求1所述的方法，其中，所述方法还包括：控制所述用户界面的所述位置，以与所述内容的所述第二渲染同时地显示所述评论。
3.根据权利要求1所述的方法，其中，所述方法还包括：控制所述用户界面的所述位置，以与所述评论和所述内容的所述第二渲染同时地显示相关评论。
4.根据权利要求1所述的方法，其中，所述方法还包括：确定与所述评论相关联的媒体类型包括所述内容的静止图像，并且其中，所述第二渲染包括响应于所述用户输入而在所述显示设备的所述查看区域内显示的所述内容的所述静止图像。
5.根据权利要求1所述的方法，其中，所述方法还包括：
确定与所述评论相关联的媒体类型包括所述内容的音频数据，并且其中，所述第二渲染包括指示所述音频数据的回放的图形用户界面；以及
引起音频设备生成所述音频数据的音频输出。
6.根据权利要求1所述的方法，其中，与所述评论相关联的元数据定义视频数据的时间间隔，所述视频数据定义所述内容，其中，所述第二渲染包括响应于所述用户输入而在所述显示设备的所述查看区域内显示所述内容的所述时间间隔。
7.根据权利要求1所述的方法，其中，所述方法还包括：
基于从输入设备接收的数据来分析用户输入，以确定输入类型；
响应于确定所述输入类型是第一输入类型，而在所述评论部分内显示所述内容的所述第二渲染，同时维持所述用户界面的位置；以及
响应于确定所述输入类型是第二类型，而显示定制的用户界面，所述定制的用户界面同时地显示选定的评论以及所述内容的所述渲染或所述内容的所述第二渲染中的至少一个。
8.根据权利要求7所述的方法，其中，所述第一输入类型包括：光标在所述评论的至少一部分上悬停。
9.根据权利要求7所述的方法，其中，所述第二输入类型包括：光标在所述评论的至少一部分上悬停；以及输入设备的用户致动，所述用户致动指示对所述评论的选择。
10.一种要由数据处理系统执行的、用于运行的方法，所述方法包括：
引起用户界面的显示，所述用户界面包括视频显示区域和评论部分，其中，所述用户界面的位置在显示设备的查看区域内显示所述评论部分，所述用户界面的所述位置将显示内容的渲染的所述视频显示区域定位在所述查看区域的外部；
接收用户输入，所述用户输入指示对在所述评论部分内显示的评论的选择；以及
响应于接收到所述用户输入，生成用于与所述评论的显示同时地渲染视频内容的定制的用户界面，其中，所述定制的用户界面被配置为具有在所述视频内容的所述渲染与所述评论之间的阈值水平的重叠。
11.根据权利要求10所述的方法，其中，所述方法还包括：控制所述用户界面的所述位置，以与所述内容的所述第二渲染同时地显示所述评论。
12.根据权利要求10所述的方法，其中，所述方法还包括：控制所述用户界面的所述位置，以与所述评论和所述内容的所述第二渲染同时地显示相关评论。
13.根据权利要求10所述的方法，其中，所述方法还包括：确定与所述评论相关联的媒体类型包括所述内容的静止图像，并且其中，所述第二渲染包括响应于所述用户输入而在所述显示设备的所述查看区域内显示的所述内容的所述静止图像。
14.根据权利要求10所述的方法，其中，所述方法还包括：
确定与所述评论相关联的媒体类型包括所述内容的音频数据，并且其中，所述第二渲染包括指示所述音频数据的回放的图形用户界面；以及
引起音频设备生成所述音频数据的音频输出。
15.根据权利要求10所述的方法，其中，与所述评论相关联的元数据定义视频数据的时间间隔，所述视频数据定义所述内容，其中，所述第二渲染包括响应于所述用户输入而在所述显示设备的所述查看区域内显示所述内容的所述时间间隔。
CN202080029810.3A 2019-04-19 2020-03-30 显示视频和相关用户文本的用户界面的上下文感知控制 Pending CN113711170A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/389,828 US11785194B2 (en) 2019-04-19 2019-04-19 Contextually-aware control of a user interface displaying a video and related user text
US16/389,828 2019-04-19
PCT/US2020/025632 WO2020214395A1 (en) 2019-04-19 2020-03-30 Contextually-aware control of a user interface displaying a video and related user text

Publications (1)

Publication Number Publication Date
CN113711170A true CN113711170A (zh) 2021-11-26

Family

ID=70296154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080029810.3A Pending CN113711170A (zh) 2019-04-19 2020-03-30 显示视频和相关用户文本的用户界面的上下文感知控制

Country Status (4)

Country Link
US (1) US11785194B2 (zh)
EP (1) EP3942396A1 (zh)
CN (1) CN113711170A (zh)
WO (1) WO2020214395A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210385554A1 (en) * 2018-10-16 2021-12-09 Sony Group Corporation Information processing device, information processing method, and information processing program
US11678031B2 (en) 2019-04-19 2023-06-13 Microsoft Technology Licensing, Llc Authoring comments including typed hyperlinks that reference video content
JP7216432B2 (ja) * 2020-09-29 2023-02-01 テレネット株式会社 映像共有システム、携帯端末、映像通信アダプタ、管理サーバ、及び映像共有方法
CN112752158B (zh) * 2020-12-29 2023-06-20 北京达佳互联信息技术有限公司 一种视频展示的方法、装置、电子设备及存储介质
CN115734016A (zh) * 2021-08-31 2023-03-03 腾讯科技（深圳）有限公司 评论信息的显示方法、装置、计算机设备及存储介质
CN113783997B (zh) * 2021-09-13 2022-08-23 北京字跳网络技术有限公司 一种视频发布方法、装置、电子设备及存储介质
CN114217889B (zh) * 2021-11-11 2023-08-11 北京百度网讯科技有限公司 显示方法、装置、设备和存储介质
WO2023108475A1 (en) * 2021-12-15 2023-06-22 Citrix Systems, Inc. Application hotspot on endpoint device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120308195A1 (en) * 2011-05-31 2012-12-06 Michael Bannan Feedback system and method
US20130145269A1 (en) * 2011-09-26 2013-06-06 University Of North Carolina At Charlotte Multi-modal collaborative web-based video annotation system
CN104956357A (zh) * 2012-12-31 2015-09-30 谷歌公司 在网络内创建和共享内联媒体评论
CN105554582A (zh) * 2015-12-14 2016-05-04 广州弹幕网络科技有限公司 一种评论展示方法及系统
CN105723724A (zh) * 2013-11-19 2016-06-29 索尼互动娱乐公司 信息处理设备
CN107241622A (zh) * 2016-03-29 2017-10-10 北京三星通信技术研究有限公司 视频定位处理方法、终端设备及云端服务器
CN108509110A (zh) * 2018-03-30 2018-09-07 广州视源电子科技股份有限公司 分屏显示和操作的方法、装置、终端设备及存储介质

Family Cites Families (138)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020120925A1 (en) 2000-03-28 2002-08-29 Logan James D. Audio and video program recording, editing and playback systems using metadata
US6564383B1 (en) 1997-04-14 2003-05-13 International Business Machines Corporation Method and system for interactively capturing organizing and presenting information generated from television programs to viewers
US6452609B1 (en) 1998-11-06 2002-09-17 Supertuner.Com Web application for accessing media streams
US20020083441A1 (en) 2000-08-31 2002-06-27 Flickinger Gregory C. Advertisement filtering and storage for targeted advertisement systems
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
KR20040041082A (ko) 2000-07-24 2004-05-13 비브콤 인코포레이티드 멀티미디어 북마크와 비디오의 가상 편집을 위한 시스템및 방법
US20060064716A1 (en) 2000-07-24 2006-03-23 Vivcom, Inc. Techniques for navigating multiple video streams
MXPA03002061A (es) 2000-09-08 2004-09-10 Kargo Inc Interaccion de video.
US7870592B2 (en) 2000-12-14 2011-01-11 Intertainer, Inc. Method for interactive video content programming
JP4765182B2 (ja) 2001-01-19 2011-09-07 ソニー株式会社 双方向テレビ通信方法および、双方向テレビ通信用クライアント装置
US20020162120A1 (en) 2001-04-25 2002-10-31 Slade Mitchell Apparatus and method to provide supplemental content from an interactive television system to a remote device
US6966837B1 (en) 2001-05-10 2005-11-22 Best Robert M Linked portable and video game systems
JP3690672B2 (ja) 2002-05-17 2005-08-31 任天堂株式会社 ゲームシステムおよびゲームプログラム
US7739584B2 (en) 2002-08-08 2010-06-15 Zane Vella Electronic messaging synchronized to media presentation
US7941762B1 (en) 2003-02-14 2011-05-10 Shoretel, Inc. Display of real time information for selected possibilities
US7640341B2 (en) 2003-06-19 2009-12-29 Microsoft Corporation Instant messaging for multi-user computers
US20060041472A1 (en) 2004-08-23 2006-02-23 Lukose Rajan M Systems and methods of interfacing an advertisement with a message presentation client
US8250599B2 (en) 2004-10-26 2012-08-21 Yahoo! Inc. System and method for providing time-based content
US7689910B2 (en) 2005-01-31 2010-03-30 International Business Machines Corporation Processing semantic subjects that occur as terms within document content
US7974535B2 (en) 2005-03-28 2011-07-05 Pioneer Corporation Remote control system
US20070022437A1 (en) 2005-07-19 2007-01-25 David Gerken Methods and apparatus for providing content and services coordinated with television content
JP4805633B2 (ja) 2005-08-22 2011-11-02 任天堂株式会社 ゲーム用操作装置
US7942745B2 (en) 2005-08-22 2011-05-17 Nintendo Co., Ltd. Game operating device
US7873974B2 (en) 2005-09-19 2011-01-18 Sony Corporation Identification of television programming using a portable wireless device
CN101288069A (zh) 2005-10-14 2008-10-15 微软公司 可点击视频超链接
ES2386977T3 (es) 2005-11-29 2012-09-10 Google Inc. Aplicaciones sociales e interactivas para medios masivos
US7735101B2 (en) 2006-03-28 2010-06-08 Cisco Technology, Inc. System allowing users to embed comments at specific points in time into media presentation
US20070244902A1 (en) 2006-04-17 2007-10-18 Microsoft Corporation Internet search-based television
US20070271580A1 (en) 2006-05-16 2007-11-22 Bellsouth Intellectual Property Corporation Methods, Apparatus and Computer Program Products for Audience-Adaptive Control of Content Presentation Based on Sensed Audience Demographics
US8200762B2 (en) * 2006-06-01 2012-06-12 Aol Inc. Displaying complex messaging threads into a single display
US20080046925A1 (en) 2006-08-17 2008-02-21 Microsoft Corporation Temporal and spatial in-video marking, indexing, and searching
ES2433966T3 (es) 2006-10-03 2013-12-13 Shazam Entertainment, Ltd. Método para caudal alto de identificación de contenido de radiodifusión distribuido
US8819719B1 (en) * 2006-12-06 2014-08-26 Google Inc. Real-time video commenting
US20080178241A1 (en) 2007-01-18 2008-07-24 At&T Knowledge Ventures, L.P. System and method for viewing video episodes
JP4833147B2 (ja) * 2007-04-27 2011-12-07 株式会社ドワンゴ 端末装置、コメント出力方法、及びプログラム
WO2009002508A1 (en) * 2007-06-25 2008-12-31 Life Covenant Church, Inc. Interactive delivery of editorial content
US8230458B2 (en) 2007-06-29 2012-07-24 At&T Intellectual Property I, L.P. System and method of providing video content commentary
US7877687B2 (en) 2007-08-16 2011-01-25 Yahoo! Inc. Persistent visual media player
US9535988B2 (en) * 2007-12-21 2017-01-03 Yahoo! Inc. Blog-based video summarization
JP5390093B2 (ja) 2007-12-21 2014-01-15 任天堂株式会社 ゲームプログラムおよびゲーム装置
US8140973B2 (en) 2008-01-23 2012-03-20 Microsoft Corporation Annotating and sharing content
US7889073B2 (en) 2008-01-31 2011-02-15 Sony Computer Entertainment America Llc Laugh detector and system and method for tracking an emotional response to a media presentation
US8112702B2 (en) 2008-02-19 2012-02-07 Google Inc. Annotating video intervals
US20090210778A1 (en) * 2008-02-19 2009-08-20 Kulas Charles J Video linking to electronic text messaging
US20090249388A1 (en) 2008-04-01 2009-10-01 Microsoft Corporation Confirmation of Advertisement Viewing
US9966112B1 (en) * 2013-04-18 2018-05-08 Gracenote, Inc. Systems and methods to associate multimedia tags with user comments and generate user modifiable snippets around a tag time for efficient storage and sharing of tagged items
JP5475259B2 (ja) 2008-09-25 2014-04-16 株式会社東芝 テキスト情報共有方法、サーバ装置及びクライアント装置
JP5229484B2 (ja) 2009-01-28 2013-07-03 任天堂株式会社 情報処理システム、プログラムおよび情報処理装置
US8402497B2 (en) 2009-02-05 2013-03-19 Purplecomm Inc. Meta channel network-based content download technology
US20110010656A1 (en) * 2009-07-13 2011-01-13 Ta Keo Ltd Apparatus and method for improved user interface
CA2746481C (en) 2010-02-03 2017-06-13 Nintendo Co., Ltd. Game system, controller device, and game process method
US8948515B2 (en) 2010-03-08 2015-02-03 Sightera Technologies Ltd. Method and system for classifying one or more images
US9264785B2 (en) 2010-04-01 2016-02-16 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval
JP2012043288A (ja) 2010-08-20 2012-03-01 Nintendo Co Ltd 情報処理装置、情報処理システム、および情報処理方法
EP2628143A4 (en) * 2010-10-11 2015-04-22 Teachscape Inc METHOD AND SYSTEMS FOR RECORDING, PROCESSING, MANAGING AND / OR EVALUATING MULTIMEDIA CONTENT OF OBSERVED PERSONS IN EXECUTING A TASK
JP5654330B2 (ja) 2010-11-26 2015-01-14 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US20120151345A1 (en) * 2010-12-10 2012-06-14 Mcclements Iv James Burns Recognition lookups for synchronization of media playback with comment creation and delivery
US8656422B2 (en) 2011-01-25 2014-02-18 Motorola Mobility Llc Method and apparatus for managing targeted advertisements for a linear television service
US8996625B1 (en) * 2011-02-01 2015-03-31 Google Inc. Aggregate display of messages
US8978047B2 (en) 2011-02-03 2015-03-10 Sony Corporation Method and system for invoking an application in response to a trigger event
US9319732B2 (en) * 2011-05-03 2016-04-19 Vmtv, Inc. Program guide based on sharing personal comments about multimedia content
US8740708B2 (en) 2011-05-27 2014-06-03 Performance Designed Products Llc Gun handle attachment for game controller
US8657680B2 (en) 2011-05-31 2014-02-25 United Video Properties, Inc. Systems and methods for transmitting media associated with a measure of quality based on level of game play in an interactive video gaming environment
US8744237B2 (en) 2011-06-20 2014-06-03 Microsoft Corporation Providing video presentation commentary
US9066145B2 (en) * 2011-06-30 2015-06-23 Hulu, LLC Commenting correlated to temporal point of video data
US8515241B2 (en) 2011-07-07 2013-08-20 Gannaway Web Holdings, Llc Real-time video editing
TWI485580B (zh) 2011-08-24 2015-05-21 Pixart Imaging Inc 光學定位系統和光學定位方法
US10079039B2 (en) 2011-09-26 2018-09-18 The University Of North Carolina At Charlotte Multi-modal collaborative web-based video annotation system
WO2013085459A1 (en) 2011-12-06 2013-06-13 Dianovator Ab Medical arrangements and a method for prediction of a value related to a medical condition
US20130154923A1 (en) 2011-12-16 2013-06-20 Wayne E. Mock Performing Searching for a List of Entries Using a Remote Control Device
JP5197841B1 (ja) 2011-12-22 2013-05-15 株式会社東芝 映像再生装置及び映像再生方法
US20130171897A1 (en) 2012-01-03 2013-07-04 Su-Tuan Hsu Tang Pad with fabric material and method of manufacturing the same
US10672018B2 (en) 2012-03-07 2020-06-02 Visa International Service Association Systems and methods to process offers via mobile devices
US8698746B1 (en) 2012-04-24 2014-04-15 Google Inc. Automatic calibration curves for a pointing device
US8886836B2 (en) * 2012-06-12 2014-11-11 Facebook, Inc. Providing a multi-column newsfeed of content on a social networking system
US8730048B2 (en) 2012-06-18 2014-05-20 Microsoft Corporation Earphone-based game controller and health monitor
US20140033040A1 (en) 2012-07-24 2014-01-30 Apple Inc. Portable device with capability for note taking while outputting content
US20140040776A1 (en) * 2012-08-02 2014-02-06 Jonathan P. Dann Systems and methods for bi-directional display of content of a social networking system
US20140052513A1 (en) 2012-08-20 2014-02-20 Solavei, Llc Social Commerce Intelligence Engine
US9699485B2 (en) 2012-08-31 2017-07-04 Facebook, Inc. Sharing television and video programming through social networking
US9826286B2 (en) 2012-09-18 2017-11-21 Viacom International Inc. Video editing method and tool
US9332315B2 (en) * 2012-09-21 2016-05-03 Comment Bubble, Inc. Timestamped commentary system for video content
US9948589B2 (en) * 2012-11-14 2018-04-17 invi Labs, Inc. System for and method of organizing contacts for chat sessions on an electronic device
WO2014085910A1 (en) 2012-12-04 2014-06-12 Interaxon Inc. System and method for enhancing content using brain-state data
US9253520B2 (en) 2012-12-14 2016-02-02 Biscotti Inc. Video capture, processing and distribution system
US20140215360A1 (en) 2013-01-28 2014-07-31 Quadmanage Ltd. Systems and methods for animated clip generation
US9244600B2 (en) 2013-02-05 2016-01-26 Alc Holdings, Inc. Video preview creation with audio
US9197853B2 (en) 2013-05-20 2015-11-24 Ricoh Company, Ltd Switching between views using natural gestures
US10001904B1 (en) 2013-06-26 2018-06-19 R3 Collaboratives, Inc. Categorized and tagged video annotation
US20150046812A1 (en) 2013-08-12 2015-02-12 Google Inc. Dynamic resizable media item player
KR101587926B1 (ko) 2013-09-12 2016-01-25 엠랩 주식회사 스트리밍 동영상에 대한 코멘트 태깅 시스템 및 그 제공방법
WO2015038338A1 (en) 2013-09-16 2015-03-19 Thomson Licensing Browsing videos by searching multiple user comments and overlaying those into the content
JP2015072665A (ja) * 2013-10-04 2015-04-16 ソニー株式会社 表示制御装置、および記憶媒体
US9681199B2 (en) 2013-10-30 2017-06-13 Adobe Systems Incorporated Forecasting-based management of advertisement delivery and inventory
US20150143211A1 (en) 2013-11-18 2015-05-21 Microsoft Corporation Link insertion and link preview features
CN104703056B (zh) 2013-12-04 2019-04-12 腾讯科技（北京）有限公司 一种视频播放方法、装置和系统
US20150182861A1 (en) * 2013-12-30 2015-07-02 ALWIN Inc. Method for video-based social media networking
US9672280B2 (en) 2014-04-10 2017-06-06 Google Inc. Methods, systems, and media for searching for video content
US20200044996A1 (en) * 2014-05-06 2020-02-06 Google Inc. Automatic identification and extraction of sub-conversations within a live chat session
US9398326B2 (en) 2014-06-11 2016-07-19 Arris Enterprises, Inc. Selection of thumbnails for video segments
CN104965693A (zh) 2014-08-29 2015-10-07 腾讯科技（深圳）有限公司 一种视频处理的方法和系统
US10924441B1 (en) * 2014-09-12 2021-02-16 Google Llc Dynamically generating video context
US10153996B2 (en) * 2014-12-23 2018-12-11 Facebook, Inc. Threaded conversation user interface
US20160259790A1 (en) * 2015-03-06 2016-09-08 Facebook, Inc. Ranking External Content Using Social Signals on Online Social Networks
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160373388A1 (en) * 2015-06-19 2016-12-22 Voxer Ip Llc Messaging application for recording and inserting a video message into a chat
US20180124458A1 (en) 2015-06-23 2018-05-03 Gregory Knox Methods and systems for generating media viewing experiential data
US20180115802A1 (en) 2015-06-23 2018-04-26 Gregory Knox Methods and systems for generating media viewing behavioral data
US20180124459A1 (en) 2015-06-23 2018-05-03 Gregory Knox Methods and systems for generating media experience data
US20180109828A1 (en) 2015-06-23 2018-04-19 Gregory Knox Methods and systems for media experience data exchange
US9894415B2 (en) 2016-06-22 2018-02-13 Gregory Knox System and method for media experience data
US10042841B2 (en) 2015-07-17 2018-08-07 International Business Machines Corporation User based text prediction
US10268664B2 (en) * 2015-08-25 2019-04-23 Facebook, Inc. Embedding links in user-created content on online social networks
KR101777242B1 (ko) 2015-09-08 2017-09-11 네이버 주식회사 동영상 컨텐츠의 하이라이트 영상을 추출하여 제공하는 방법과 시스템 및 기록 매체
US10303328B2 (en) * 2015-09-14 2019-05-28 Lg Electronics Inc. Mobile terminal and method for controlling the same
WO2017070656A1 (en) 2015-10-23 2017-04-27 Hauptmann Alexander G Video content retrieval system
US20170131864A1 (en) * 2015-11-06 2017-05-11 Facebook, Inc. Interface for Presenting Feed to a User Based on Scroll Inputs
US20170140051A1 (en) * 2015-11-16 2017-05-18 Facebook, Inc. Ranking and Filtering Comments Based on Labelling
US20170154125A1 (en) 2015-11-30 2017-06-01 International Business Machines Corporation Autocomplete suggestions by context-aware key-phrase generation
WO2017091910A1 (en) * 2015-12-04 2017-06-08 Nextwave Software Inc. Visual messaging method and system
WO2017112796A1 (en) 2015-12-21 2017-06-29 Google Inc. Automatic suggestions and other content for messaging applications
US10341405B2 (en) 2015-12-29 2019-07-02 Facebook, Inc. Social networking interactions with portions of digital videos
TWI579758B (zh) * 2016-01-29 2017-04-21 物聯智慧科技（深圳）有限公司 使用者電子裝置、使用者介面及電腦程式產品
KR102462365B1 (ko) 2016-02-29 2022-11-04 삼성전자주식회사 사용자 데모그래픽 정보 및 콘텍스트 정보에 기초한 텍스트 입력 예측 방법 및 장치
US9918128B2 (en) 2016-04-08 2018-03-13 Orange Content categorization using facial expression recognition, with improved detection of moments of interest
US20190246165A1 (en) 2016-10-18 2019-08-08 Robert Brouwer Messaging and commenting for videos
US10623783B2 (en) 2016-11-01 2020-04-14 Facebook, Inc. Targeted content during media downtimes
US10511891B2 (en) * 2016-11-21 2019-12-17 Google Llc Video playback in group communications
US10657834B2 (en) 2017-01-20 2020-05-19 Coursera, Inc. Smart bookmarks
US10999228B2 (en) * 2017-04-25 2021-05-04 Verizon Media Inc. Chat videos
US10853659B2 (en) * 2017-05-05 2020-12-01 Google Llc Methods, systems, and media for adaptive presentation of a video content item based on an area of interest
CN110506262A (zh) 2017-06-12 2019-11-26 谷歌有限责任公司 使用机器学习模型的情境感知聊天历史协助
US10171877B1 (en) 2017-10-30 2019-01-01 Dish Network L.L.C. System and method for dynamically selecting supplemental content based on viewer emotions
US11755834B2 (en) 2017-12-22 2023-09-12 Google Llc Selective text prediction for electronic messaging
US11205045B2 (en) 2018-07-06 2021-12-21 International Business Machines Corporation Context-based autocompletion suggestion
US10904631B2 (en) 2019-04-19 2021-01-26 Microsoft Technology Licensing, Llc Auto-completion for content expressed in video data
US11026000B2 (en) 2019-04-19 2021-06-01 Microsoft Technology Licensing, Llc Previewing video content referenced by typed hyperlinks in comments
US11678031B2 (en) 2019-04-19 2023-06-13 Microsoft Technology Licensing, Llc Authoring comments including typed hyperlinks that reference video content

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120308195A1 (en) * 2011-05-31 2012-12-06 Michael Bannan Feedback system and method
US20130145269A1 (en) * 2011-09-26 2013-06-06 University Of North Carolina At Charlotte Multi-modal collaborative web-based video annotation system
CN104956357A (zh) * 2012-12-31 2015-09-30 谷歌公司 在网络内创建和共享内联媒体评论
CN105723724A (zh) * 2013-11-19 2016-06-29 索尼互动娱乐公司 信息处理设备
CN105554582A (zh) * 2015-12-14 2016-05-04 广州弹幕网络科技有限公司 一种评论展示方法及系统
CN107241622A (zh) * 2016-03-29 2017-10-10 北京三星通信技术研究有限公司 视频定位处理方法、终端设备及云端服务器
CN108509110A (zh) * 2018-03-30 2018-09-07 广州视源电子科技股份有限公司 分屏显示和操作的方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
WO2020214395A1 (en) 2020-10-22
EP3942396A1 (en) 2022-01-26
US20200336718A1 (en) 2020-10-22
US11785194B2 (en) 2023-10-10

Similar Documents

Publication Publication Date Title
US11785194B2 (en) Contextually-aware control of a user interface displaying a video and related user text
US11888633B2 (en) Concurrent display of multiple content views during a communication session
US10754526B2 (en) Interactive viewing system
CN113728591B (zh) 预览由评论中键入的超链接引用的视频内容
CN113711618B (zh) 创作包括引用视频内容的键入的超链接的评论
US10917608B1 (en) Dynamically controlled aspect ratios based on a number of participants depicted in communication video streams
US20200201512A1 (en) Interactive editing system
CN114902629A (zh) 用于在通信会话期间提供动态控制的视图状态以改进参与的方法和系统
US20210266501A1 (en) Dynamically Controlled Aspect Ratios for Communication Session Video Streams
US10942633B2 (en) Interactive viewing and editing system
US20230388357A1 (en) 2d and 3d transitions for renderings of users participating in communication sessions
WO2023229758A1 (en) Automation of visual indicators for distinguishing active speakers of users displayed as three-dimensional representations
WO2023239467A1 (en) Customization of a user interface displaying a rendering of multiple participants of a hybrid communication session
US20230386145A1 (en) Automation of audio and viewing perspectives for bringing focus to relevant activity of a communication session
US20240146779A1 (en) Persistent participant prioritization across communication sessions
US12056665B2 (en) Agenda driven control of user interface environments
US20240163124A1 (en) Persistent display of prioritized participants with shared content of communication sessions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination