CN108027832A - 使用关键字缩放的自动摘要的可视化 - Google Patents

使用关键字缩放的自动摘要的可视化 Download PDF

Info

Publication number
CN108027832A
CN108027832A CN201680053919.4A CN201680053919A CN108027832A CN 108027832 A CN108027832 A CN 108027832A CN 201680053919 A CN201680053919 A CN 201680053919A CN 108027832 A CN108027832 A CN 108027832A
Authority
CN
China
Prior art keywords
text
user
communication session
event
relevance values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680053919.4A
Other languages
English (en)
Inventor
F·弗雷舍
M·D·尼尔松
D·尼切
H·V·特贝尔
J·N·R·林德布鲁姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN108027832A publication Critical patent/CN108027832A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G06F16/345—Summarisation for human users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/416—Extracting the logical structure, e.g. chapters, sections or page numbers; Identifying elements of the document, e.g. authors
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

一种方法，其用于自动选择文本数据的一个或多个部分，并且特别地，用于选择从通信会话的一个或多个通信流转换的文本的一个或多个部分。所述方法包括：由用户终端访问以媒体文件为形式的所述通信会话；访问与所述媒体文件相关联的时间元数据，所述元数据定义被确定为在所述通信会话期间已经发生的事件；在运行在所述用户终端上的应用的用户界面中显示所述文本数据的一个或多个部分，所述事件是由所述部分中的一些部分表示的；分别向所述部分中的每个部分分配相关性值；以及将每个唯一的相关性值与所述用户界面的相应缩放等级相关联，以使得对所述文本数据的所述显示包括：所述应用选择基于分别被分配给每个部分的所述相关性值以所述用户界面的不同缩放等级来显示所述文本的部分中的一个或多个部分。

Description

使用关键字缩放的自动摘要的可视化
背景技术
诸如互联网之类的基于分组的通信网络已经发展为允许在作为通信系统的一部分的不同用户终端的用户之间高效地传输大量通信业务。可以经由适合在两个或更多用户的用户终端之间路由通信数据的服务器在基于分组的网络上交换通信数据。
为了参与通信会话，每个用户在他/她相应的终端上运行通信客户端应用。当用户运行通信客户端时，客户端允许用户向通信系统的其他用户提出联系请求或者从通信系统的其他用户接受联系请求，并且由此变成预先约定的联系人，并接着与这些联系人中的一个或多个建立通信连接以便通过网络发送和接收通信。可以存在用户可以向通信系统的其他用户提出联系请求或者从通信系统的其他用户接受联系请求的其他方式，例如通过电子邮件邀请的方式。在所连接的用户间的通信会话中，用户可以使用其相应的用户终端来通过网络发送经编码的通信数据流，以由在通信会话中连接的一个或多个其他用户终端接收。所发送的数据流可以在服务器处被处理并且被转发至参与所述通信会话的其他用户终端中的每个用户终端。
通信数据可以包括用户捕获的音频和/或视频数据以及基于文本的消息(即时消息传送，IM)，其作为在两个用户终端之间的一对一通话或者在三个或更多个用户终端之间的会议通话的一部分。通信客户端还可以用于传送其他数据，例如允许用户共享诸如联系人细节、文档和/或媒体文件之类的文件。通信客户端还可以具有与其他应用交互的能力，以使得与这些应用相关联的数据能够被共享。例如，第一用户终端可以用于呈现可以作为通信会话的一部分来现场共享的幻灯片演示。
通信数据通常是实时地交换的以使得现场进行通信会话，但是一些通信系统还可以提供可以存储消息并记录整个通信会话以便其随后可以由用户终端下载的云存储系统。涉及视听数据的通信会话可以以视频文件的形式被记录并存储在云存储介质上。所记录的通信会话视频文件可以由被邀请为所记录的通信会话的一部分的用户终端中的一个用户终端下载和回放。这在被邀请为特定通信会话的一部分的一个或多个联系人离线或因其他缘由无法参入通信会话的事件中可以是有用的。另一原因在于用户可能只想要重新观看或重新收听他是其一部分的通信会话。所下载的视频记录可以通过媒体播放应用回放并且根据观看用户的偏好来控制。在一些情况下，自动话音识别引擎可以用于将所记录的话音转录成文本。自然语言处理技术可以用于从文本中提取关键字和关键短语，以便向用户提供通信会话的可视摘要。
发明内容
本公开的发明人已经意识到当在用户终端屏幕上显示通信会话的可视摘要时，记录中的每个分段或事件仅以一种方式被可视地呈现。例如，所记录的话音的一部分可以被转录成单个文本框并且向用户显示。在一些场景中，所述转录对用户可以对用户有用以帮助他导航通过记录到其发现有趣的部分。然而，在其他时刻，所述转录可能特别恼人并且通过提供用户无须知道的等级的细节来使屏幕混乱。可替代地，所述转录或可视表示可能没有提供足够的细节。在该情况下，用户可以决定整体关闭可视摘要，因为其最终对用户几乎不管用。
因此，期望的是所记录的通信会话的每一部分以多种不同的方式可视地表示为每个具有不同的详细程度。通过允许用户控制他看见的细节的等级，用户可以在需要的情况下访问更加详细的摘要，或者在可接受较不详细的摘要的情况下访问更清楚、更紧凑的摘要。用户将能够快速且方便地导航所记录的通信会话以看见他需要的所有信息，而不用面对仅以一种方式显示每个可视表示的限制。
根据本公开的第一方面，提供了一种用于自动选择文本数据的一个或多个部分的方法，所述文本数据是从通信会话的一个或多个通信流转换的，所述方法包括：由用户终端访问以媒体文件为形式的通信会话；由用户终端访问与媒体文件相关联的时间元数据，其中，所述元数据定义被确定在通信会话期间已经发生的事件；在运行在用户终端上的应用的用户界面中显示文本数据的一个或多个部分，所述事件由所述部分中的一些部分来表示的；分别给所述部分中的每个部分分配相关性值；以及将每个唯一的相关性值与所述用户界面的相应缩放等级相关联，以使得对所述文本数据的所述显示包括：所述应用选择基于分别被分配给每个部分的所述相关性值以所述用户界面的不同缩放等级来显示所述文本的部分中的一个或多个部分。
根据本公开的第二方面，提供了一种用户终端，所述用户终端用于自动地选择从通信会话的一个或多个通信流转换的文本数据的一个或多个部分，所述用户终端包括：处理器和至少一个存储单元，其一起被配置为：访问并存储以媒体文件为形式的通信会话；访问与媒体文件相关联的时间元数据，其中，所述元数据定义被确定在通信会话期间已经发生的事件；可视显示单元；在处理器上运行的应用，所述应用被配置为：回放媒体文件；在由可视显示单元所显示的应用的用户界面中显示文本数据的一个或多个部分，所述事件是由所述部分中的一些部分表示的；分别向部分中的每个部分分配相关性值；以及将每个唯一的相关性值与所述用户界面的相应缩放等级相关联，以使得对所述文本数据的所述显示包括：所述应用选择基于分别被分配给每个部分的所述相关性值以所述用户界面的不同缩放等级来显示所述文本的部分中的一个或多个部分。
根据本公开的第三方面，提供了适合回放媒体文件的客户端应用，所述应用在非瞬时性计算机可读介质上实施并且包括代码，所述代码被配置为当在用户终端上运行时执行上文描述的本公开的第一方面的方法。
提供了该发明内容以用简化形式引入在以下的具体实施方式中进一步描述的概念的选择。该发明内容不旨在标识所要求保护的主题的必要特征和关键特征，也不旨在用于限制所要求保护的主题的范围。
附图说明
为了更好地理解本发明并且示出其如何被实施，通过示例的方式对附图进行参考，其中：
图1是通信网络的示意性表示。
图2是用户终端的示意性框图。
图3是云会议平台的示意性框图。
图4是用于记录和分析通信会话的流程图。
图5是电子通信的内容的表示。
图6a至6d是在“缩放功能”模式期间的网络客户端用户的示意性表示。
图7是执行搜索功能的网络客户端用户界面的另一示意性表示。
具体实施方式
图1和2示意性地示出了通信系统100，在该情况下，是在诸如互联网之类的分组交换网络上实现的通信系统。多个终端用户终端102和服务器104各自连接至互联网，其示意性地被表示为通信“云”108，通信“云”108包括用于在用户终端102和/或服务器104之间路由数据分组的多个相互联网的路由节点。这些服务器中的一个或多个可以是适合当在用户终端102之间时接收、处理和引导通信数据流的视听多点控制单元(AV MCU)104a。AV MCU104a还被配置为连接至云会议平台105。云会议平台可以通过网络108远程地连接至AV MCU104a。可替代地，AV MCU和云会议平台105可以被实现为单个单元。云会议平台105还经由AVMCU 104a来接收通信数据流。云会议平台105被配置为进一步处理所接收到的通信数据流并且存储通信会话的记录以供通信系统100的一个或多个用户终端随后访问。在下文描述了如在本公开的上下文中所使用的云会议平台105的细节。
用户终端102与网络108之间的连接中的每个连接可以包括经由有线或无线调制解调器的链路，并且可以经由或可以不经由诸如局域网或蜂窝网运营商的基于分组的服务等之类的另一网络进行。尽管网络108被称为分组交换网络，其可以替代地被实现为电路交换网络。用于访问互联网的各种可能的布置的细节对于本领域技术人员而言将是熟悉的。用户终端中的每个用户终端被示出为与用户A、B、C相关联。应当理解的是，可能存在比由图1所示出的那些用户终端更多或更少的用户终端。用户终端102可以是以下中的任何一个(但不限于)：个人计算机(PC)、膝上型计算机、移动电话(智能电话)、游戏控制台、个人数字助理(PDA)、平板计算机、可穿戴技术设备，例如智能手表、智能珠宝或虚拟现实耳机等。为了本公开的剩余的目的，用户终端102被示出为智能电话。
为了实现用于在联系人之间发送和接收通信数据的通信系统，多个用户终端102中的每个用户终端安装有通信客户端应用222的相应实例，如在图2中所示出的。通信客户端222被配置为发送和接收多种类型的通信数据，包括但不限于：捕获的音频数据(例如，互联网协议语音VoIP数据)、捕获的视频数据、即时消息传送(IM)文本数据、和/或文件传递。通信客户端还可以被配置为发送和接收作为在一个或多个用户终端处执行的呈现的一部分的视听数据。
通信客户端可以被配置为支持两个或更多个用户终端102之间的远程屏幕。此外，通信客户端应用仍然可以被配置为与在用户终端102上运行的多个其他应用进行交互。以此方式，第一用户可以共享他们对在其用户终端102处使用这些其他应用中的一个或多个应用的观点并且与在通信会话中的其他用户终端102共享所述观点。例如，第一用户终端(例如，与用户A相关联的102a)可以运行幻灯片演示应用以便与通信会话中的一个或多个其他用户共享预先准备的演示。通信客户端222a能够访问幻灯片应用或者以其他方式与幻灯片应用进行交互，以便生成表示该演示并且能够被发送至通信会话102中的其他用户终端102的通信数据。例如，所述演示的所有视听元素可以被编码成音频和视频数据，并且作为通信会话的一部分被发送至其他用户终端102。因此，可以在给予演示的第一用户与通信会话中接收该演示的一个或多个其他用户之间共享该演示。尽管第一用户在共享他的演示，但是用户仍然可以发送其他通信数据。因此，例如，第一用户(演示者)可以对其演示提供视听评论，并且可以在通信会话中的所有用户之间进行讨论。演示者、和/或具有来自演示者的许可的其他用户中的一个或多个用户能够通过在该演示中的一个或多个点处添加可视或可听的注释来与演示本身进行交互。
在实施例中，演示可以与运行处理演示的应用的相应实例的两个或更多用户终端102远程地托管。尽管在以上的示例中使用了幻灯片演示，但是演示可以采用各种不同的形式，包括对文档的共享和对音频和/或视频媒体的共享，例如播放视频或音频文件。
如在图2中所示出的，用户终端102包括以一个或多个中央处理单元(CPU)为形式的处理装置200。处理装置200可操作地耦合至多个设备：用于连接至网络108的网络接口202，诸如内部或外部硬盘驱动和/或闪速存储器之类的非易失性存储介质204，以RAM 206为形式的易失性存储介质、诸如LED或LCD屏幕之类的显示器208，能够接收用户输入控制的诸如触摸屏系统、键盘、鼠标或轨迹板等之类的一个或多个用户输入设备210，一个或多个麦克风212，一个或多个音频扬声器214。终端102安装有通信客户端应用222的实例，这在于客户端222被存储在非易失性存储介质204中并且被布置为在处理装置200上运行(通常在也运行在处理装置200上的操作系统220的控制之下)。客户端应用222包括I/O层224、客户端引擎层226、和客户端用户界面(UI)层228。
在操作中，I/O层224处理用于编码和解码文本、语音、和/或视频通信的较低等级的编码解码器，以为了通过网络108发送和接收的目的。接着，客户端引擎226负责管理联系人列表并且负责建立与AV MCU服务器104a的通信信道。UI层228负责经由显示器208向用户输出屏幕上的用户界面，包括用于管理通信的屏幕上的控件。
终端102可以安装有其他应用的一个或多个实例，每个实例在图2中被表示为在操作系统220的控制之下在处理装置200上运行的软件栈240。这些其他应用240可以采取许多不同的形式并且可以包括幻灯片演示应用、文本编辑应用、媒体播放应用等。如在上文中所描述的，通信客户端222可以被配置为与这些其他应用240进行交互，以使得通信数据可以包括涉及其他应用240的屏幕共享演示，例如第一用户可以使用幻灯片应用来向通信会话中的其他用户终端102屏幕共享幻灯片。
可替代地或除了用户终端102被安装有其他应用240中的一个之外，用户终端可以被配置为在线地访问应用的网络版本。例如，用户终端102可以被安装有适合通过网络108访问远程在线应用的互联网客户端应用260(网络浏览器)。云会议平台105可以被配置为托管和运行一个或多个这样的在线应用340。通信客户端222能够与互联网客户端应用260交互，以使得通信数据能够包括与在线应用相关的数据，例如，屏幕共享演示可以基于使用在线幻灯片应用而在通信会话中被共享。
参考图3，示出了云会议平台105的更加详细的表示。云会议平台105可选地包括网络接口301，网络接口301被配置用于通过网络108接收由AV MCU 104a转发的通信数据流。云会议平台105还包括一个或多个中央处理单元350和诸如内部或外部硬盘驱动和/或闪速存储器之类的至少一个非易失性存储介质352、以RAM 354为形式的易失性存储介质。在非易失性存储介质352上存储的是一系列通信分析软件模块300，包括自动话音识别引擎302、话音翻译引擎304、自然语言处理引擎(NLP)306、音频分频引擎308、视频分析引擎310、和屏幕共享/幻灯片分析引擎312。稍后在本公开中更加详细地描述这些中的每一个。CPU被配置为结合RAM 354来运行分析软件模块300。
云会议平台105还包括用于存储元数据事件文件的事件存储314，元数据事件文件表示在通信分析软件模块300对所记录的通信数据流的分析期间检测到的事件的发生，将在下文更加详细地描述其过程。如在上文中所提及的，云会议平台105还可以托管和运行一个或多个在线应用。当在云会议平台105上运行的其他应用240或在线应用340中的一个用于例如编辑、交互、和/或共享作为通信会话的一部分的数据时，也可以检测到事件(并存储其可视表示)。
参考图4，流程图示出了在云会议平台105处执行以用于记录通信会话并使得该记录可用于回放的步骤。在步骤402处，云会议平台105从AV MCU 104a接收一个或多个通信会话的通信数据流。云会议事件平台105被配置为解决所接收的、与不同的通信会话相关联的数据流。所接收的针对每个通信会话的通信数据包括音频数据流、视频数据流、屏幕共享流(例如，幻灯片演示)、以及数据文件传输中的一个或多个。
在步骤404处，所接收的每个通信会话的通信数据流被存储在非易失性存储介质352处，以使得每个通信会话被记录。在步骤406处，在已经存储了通信数据流之后，分析所述通信数据流以确定在每个通信会话期间发生的事件。这涉及云会议平台105根据情况将通信分析软件模块300中的一个或多个应用至所存储的通信流中的每个。例如，视频分析引擎310将仅被应用至视频流，而屏幕共享/幻灯片分析引擎312仅被应用至屏幕共享流。执行分析以便确定事件在通信会话期间已经发生。可以实时地执行步骤402到406，即在通信会话期间当其发生时。在该场景中，云会议平台105与AV MCU 104a进行交互以实时地记录通信数据流并对其进行分析。可替代地，可以在云会议平台105处对完成了的通信会话的记录进行访问和分析，而不是实时地记录独立的通信流。例如，对通信会话的记录可以是视频或音频文件。可以由AV MCU 104a或与通信系统相关联的另一服务器(图3中未示出)来生成视频或音频文件，文件从其被上传至云会议平台105。可替代地，可以由通信会话中的用户终端102中的一个生成和上传所记录的视频或音频文件。云会议平台105可以通过将一个或多个通信分析软件模块300应用至所接收的视频或音频文件来对其进行分析。以该方式，所述分析是对所记录的视频或音频文件执行的而不是对从AV MCU104a所接收的所存储的通信流执行的。
下文提供了作为步骤406的一部分执行的分析的一些示例。所存储的音频数据流可以被输入到自动话音识别引擎(ASR)302。合适的ASR 302是MicrosoftASR服务。ASR 302通过运行在话音识别技术领域的技术人员公知的一系列算法来工作。ASR 302可以被配置为识别多于一种语言的音频话音数据。ASR 302转换所存储的音频话音数据并且以经识别的语言将文本数据输出为通信会话的全部文本转录。所述全部文本转录本身可以被认为是通信会话的事件的可视表示(或如稍后所描述的，作为文本数据的一部分)。经转换的输出文本可以被输入至NLP引擎306，以使得可以从经转换的输出文本提取关键字(和/或关键短语)。然而，如果NLP 306只能识别并提取特定语言的关键字，则经转换的输出文本可以首先被输入到自动话音翻译引擎304。合适的话音翻译引擎304的示例是Microsoft翻译服务。话音翻译引擎304使用已知的语言处理算法将输入文本从第一语言转换至与NLP 306兼容的第二语言。
NLP 306接收经转换的输出文本(如果需要的话，经翻译的)以使得其可以自动地提取随后回放所记录的通信会话的用户可能感兴趣的关键词。NLP 306可以包括用来提取关键词的多个已知的算法和技术。这些算法可以包括针对关键词和关键短语提取的机器学习算法，例如在由Turney,Peter D.(2000)所著的“用于关键短语提取的学习算法(Learning algorithms for keyphrase extraction)”中描述的“C.45”和“GenEx”(http://dx.doi.org/10.1023/A:1009976227802)；和/或由Mihalcea等所著的“文本排列：将顺序带到文本中(TextRank:Bringing Order into Texts)”描述的用于文本处理的基于图的排列模型(2004)(http://web.eecs.umich.edu/～mihalcea/papers/mihalcea.emnlp04.pdf)。
由NLP 306所使用的其他已知的NLP方法可以包括Microsoft Azure机器学习API，其被配置为将ASR 302的(经翻译的)经转换的输出文本看作输入并且返回表示所述输入文本中关键谈话点的字符串列表。所述API采用从Microsoft的复杂自然语言处理工具包中已知的技术。
总之，NLP 306检测例如具有积极或消极意图的关键词和关键短语。NLP 306还可以提取被确定为具有积极或消极情绪的输入文本串中的关键短语。此外，可以将在输入字符串中所识别的日期和时间提取为关键词。同样，可以将日历事件和位置可以提取为关键词。本领域技术人员将理解可以由NLP 306提取其他类型的关键词和关键短语。
由NLP 306提取的个体关键词和关键短语中的每个构成了由NLP 306对事件的检测。由NLP 306检测到的每个事件的表示被存储(如稍后在步骤408处所描述的)，其中，所述表示中的每个表示包括所提取的关键词或关键短语文本，它们被表示为文本的一部分。
所存储的音频数据流也被输入至音频分析引擎308。音频分析引擎可以与ASR 302并行地接收音频数据流。音频分析引擎308分析输入音频数据的音频属性例如以确定通信会话中的说话者(用户)的沉默、大笑、大喊、改变的发生。每一次音频分析引擎308进行这样的确定时，事件被生成并且被存储(如下文在步骤408所描述的)。由音频分析引擎308所确定的事件被存储，以使得所述事件包括音频事件的发生的基于文本的细节，例如“[鼓掌]”、“[沉默]”、“[用户X发言]”等。
所存储的视频数据流被输入至视频分析引擎310。视频分析引擎310可以使用算法来分析视频数据的视觉性质，例如以确定在通信会话中由说话者(用户)做出的手势的发生、针对用户显示的可视ID、在所捕获的视频中的显著改变。在所捕获的视频中所确定的改变的示例可以包括房间或视角的改变，以及一个或多个用户进入和/或离开房间，例如“用户B已经加入会话”或者“用户C已经从相机移开”。识别已经进入或离开房间的用户可以是基于使用脸部识别软件的视频分析引擎310的。脸部识别技术可以是有用的，以使得在单个视频场景中捕获的两个或更多个用户(例如，共同的演示者)可以被确定为通信会话中的两个不同的用户。每一次由视频分析引擎310对这些发生中的任何一个发生进行确定，则事件被生成且被存储(如下文在步骤408处所描述的)。由视频分析引擎310确定的事件的表示被存储，以使得对事件的表示包括视频事件的发生的基于文本的细节，例如“[场景改变]”、“[手势：指]”；“[手势：挥手]”标志语言手势等。
如果屏幕共享(包括幻灯片演示)作为通信会话的一部分被执行，则所存储的屏幕共享通信数据被输入至屏幕共享/幻灯片分析引擎312。例如，光学字符识别(OCR)技术可以用于分析在共享文档中显示的文本或手写的注释。在屏幕共享涉及数字演示的场景中，OCR可以不是必须的(例如，共享幻灯片演示中的幻灯片)。当通信会话中的第一用户已经使用幻灯片放映给出演示时，屏幕共享/幻灯片分析引擎312可以确定何时已经显示了新的幻灯片，自动地提取幻灯片标题的文本以及幻灯片中的内容，例如标题、副标题、突出显示的文本等。每次由屏幕共享/幻灯片分析引擎312进行了这样的确定时，该事件的表示被生成并且被存储(如下文在步骤408处所描述的)。由屏幕共享/幻灯片分析引擎312确定的事件的表示被存储，其中表示包括所提取的文本。当屏幕共享/幻灯片分析引擎312确定新的幻灯片已经被显示并且幻灯片没有标题时，所存储的事件的表示可以仅包括指示幻灯片号码的文本(例如“幻灯片3”)。
当在云会议平台105上运行的其他应用240或在线应用340中的任何一个用于以某一方式传输数据时，也可以确定事件的发生。例如，如果通信会话中的一个或多个用户调用其他应用240或在线应用340中的一个，则其使用可以被确定为特定通信会话的事件。作为一个示例，通信会话中的一个或多个用户可以在通信会话期间通过键入文本或输入手绘注释到数字笔记应用中来记笔记，所述数字笔记应用例如Microsoft(其是如图3中示出的App 342的示例)。在云会议平台105上运行的在线记笔记应用识别笔记已经被记录并且生成对事件的表示。对事件的表示可以包括实际的文本和/或用户记录的手绘笔记。可替代地，对事件的表示可以是以下指示：笔记是由通信会话中的特定用户记录的。记笔记的用户可以决定不将笔记与其他用户共享，在该情况下，笔记将不被确定为事件并且将保持私有，仅仅对做该笔记的用户可访问。
作为另一示例，对正被共享的文档的编辑可以由与处理文档相关联的在线应用识别。例如，如果通信会话中的用户中的任何用户使用Microsoft来编辑幻灯片放映演示，则在云会议平台105上运行的在线PowerPoint应用(“Office 365”App的另一示例)识别该编辑并且生成针对该编辑的事件的表示。所生成的对事件的表示包括所述编辑的基于文本的细节，例如“[由用户X添加的额外文本]”。所述编辑本身也被记录为通信会话的记录的一部分，以使得当所记录的通信会话随后在用户终端102上被访问和回放时，所述编辑能够被看见。
作为另一示例，第一用户可以使用他的用户终端102上的照片应用来在通信会话期间拍摄并共享照片。在云会议平台105上运行的在线照片应用344识别照片已经被共享并且生成对事件的表示，该对事件的表示包括正被共享的照片的基于文本的细节，例如“[由用户X共享的照片]”。在该情况下，可能不能够记录对实际照片的共享以供在用户终端102处随后回放。替代地，所述照片可以被存储在云会议平台105的存储器352中，以使得用户终端102可以在回放所记录的通信会话时在合适的点处下载所述照片。
类似地，在另一示例中，第一用户可以在通信会话期间共享联系人卡片、参与者列表、和/或日历事件数据。诸如Microsoft或Microsoft346之类的在云会议平台105上运行的合适的在线应用识别这样的数据已经被共享并且生成对事件的表示，该对事件的表示包括正被共享的数据的基于文本的细节，例如，[从用户X接收新的联系人卡片]、[从用户X接收的新参与者]、和/或[从用户X接收的新日历事件]。在该情况下，可能不能够记录对实际数据的共享以供在用户终端102处随后回放。替代地，所述数据可以被存储在云会议平台105的存储器352中，以使得用户终端102可以在回放所记录的通信会话时在合适的点处下载所述数据。
在步骤408处，从由通信共享软件模块300所执行的分析确定的所产生的事件被存储在事件存储314处。所述事件可以被表示并存储为以JavaScript对象表示(JSON)格式的事件文件318，但是也可以使用其他格式。每个事件文件318包括针对该事件的文本和/或其他可视表示、关于该事件何时在相关联的通信会话期间发生的时间戳、以及所分配的相关性值(在下文中更加详细地描述的)。可视表示可以是文本数据的一部分，包括从所记录的通信会话的全部文本转录中提取的文本。当后续回放所记录的通信会话时，文本的该部分可以与所记录的通信会话一起被显示并且与其匹配。因此，可以通过与所记录的通信会话相关联的一系列时间元数据来表示事件。事件文件318可以被串联以使得针对所记录的每个通信会话存储单个分析结果文件320。事件存储器314可以是需要针对访问的授权的安全存储，例如，可以在元数据被访问之前使用如主动目录认证的已知的认证方法。
在实施例中，由于表示元数据事件的数据被存储至事件存储314，因此相关性模块356可以运行算法以向表示事件的文本的每个部分分配相关性值。例如，文本的某些部分可以被确定为具有最大的相关性，例如幻灯片放映演示中的幻灯片的标题。所分配的相关性值可以是向文本的最相关部分分配的具有较高值整数的整数。所分配的值的范围可以取决于在所记录的通信会话中已经发生的不同类型的事件的数量。在实施例中，表示一些类型的事件的文本的部分可能被认为比表示其他类型的事件的文本的部分更相关或更重要，并且因此相应地被分配了更高的相关性值。另外，可以向表示相同类型的事件的文本的部分分配不同的相关性值。例如，从NLP分析306所确定的不同的关键词或关键短语是基于对这些所确定的关键词(或关键短语)的内容的比较而各自被分配了不同的相关性值等级的文本的部分。
向表示当前事件的文本的部分分配的相关性值可以受到向在通信会话中发生当前事件之后或之前不久发生的一个或多个其他事件的表示分别分配的一个或多个相关性值的影响。作为示例，当在通信会话中在发言的用户改变时，可以检测到音频事件。该音频事件的表示可以被相关性模块356认为是重要的。因此，向该音频事件的表示分配相应地高的相关性值。作为响应，可以向在说活者改变事件之后的预先定义的时间段内发生的事件的表示各自分配与其本来已经被分配的值相比有所增加的相关性值。因此，说活者改变音频事件的重要性在这些随后的事件的表示中得到反映。
在步骤410处，与特定的通信会话相关联的所存储的通信数据流被一起处理并且被格式化成可以被存储在非易失性存储介质352处的媒体文件316。即，所接收的通信会话的所有视频和音频数据流被同步到从开始到结束重新创建通信会话的媒体文件316中。取决于通信数据流的类型，媒体文件316可以是视频文件或音频文件。例如，如果针对通信会话所接收的数据流仅包括音频数据流，则所述数据流可以被格式化成音频文件。为了方便起见，我们在下文中可以引用视频文件316。生成和存储视频文件316的步骤可以在于步骤402处接收了通信数据流之后立即由云会议平台105发起。所述视频文件可以是以任何合适的格式的，包括但不限于MP4、mpg、AVI、FLV、WMV、MOV。
在所描述的主要实施例中，本公开涉及一种一个或多个用户可以由此共享幻灯片放映演示的屏幕共享方法。在该场景中，针对通信会话中的所有接收用户终端的输出视频将是相同的。因此，针对想要随后回放所记录的通信会话的任何用户而言，针对每个用户的视频文件316将是相同的。
在本公开范围之内的可替代的实施例中，通信会话包括视频会议界面，通信会话中的每个通信客户端被配置为由此向会话中的其他用户输出视频。云会议平台105可以被配置为生成视频文件316的相应版本，其中针对参与该通话的每个用户都有一个，加上针对不是该通话的一部分的其他用户的版本。例如，如果参与该通话的用户想要回放所记录的会话，则他的用户终端102将能够访问与他相关联的视频文件316。这就是如此用户可以重新体验该通信，如同当最初进行该会话时最初向他显示的那样。这是有用的，因为在通话中在每个相应的用户终端102处通常将不同地视频会议界面。针对没有参与通信会话的用户，可以针对这些用户生成通用视频文件，在该通用视频文件中表示了参与该会话的所有用户。在另外的实施例中，云会议平台105可以被配置为仅生成和存储对于想随后回放所记录的通信会话的所有用户都相同的一个视频文件316。该场景中的示例可以包括演讲或Keynote演讲的视频记录。
在步骤412处，云会议平台105将来自通信会话的所有元数据(即，事件文件318或分析结果文件320)与针对该会话的合适的视频文件316相关联。所述元数据可以被编码为所生成的视频文件316本身的一部分，或者其可以保持与视频文件316相分离，例如作为端数据的流。当被编码为所生成的视频文件316(例如，MP4格式)的一部分时，所述元数据可以被嵌入在以可以由大多数标准媒体播放应用280和/或网络客户端(网络浏览器)260识别的标准元数据格式的视频文件中。这样的媒体播放应用280和网络客户端260可以支持对所述元数据的使用，例如导航通过视频的章和/或以各种方式显示所述元数据(例如，副标题)。这些应用能够使用在本公开中所描述的大多数元数据。然而，被配置为识别在本文中所公开的整个范围的元数据的新的媒体播放应用280和/或网络客户端260可能需要被安装在用户终端102上，以使得用户可以享受如在本文中所公开的完整体验。
所述端数据可以包括所有事件文件318(或者单个结果分析文件320)。可替代地，所述端数据可以包括如由ASR 302输出的通信会话的完整转录。所述转录可以包括文本和对其他可视表示(例如，图形图标)的指示。用户终端102接收转录并且可以基于在用户终端102处执行的对转录的分析来确定事件的发生并且将元数据事件文件存储在本地存储器存储204处。
在另外的实施例中，可以由用户终端102来执行对事件(元数据)的确定和存储。例如，用户终端102的处理器200可以被配置为自身直接分析所取回的媒体文件316并且从所记录的通信会话来确定事件的发生。为此，用户终端可以被配置有与在云会议平台105处使用的通信数据分析模块300类似的一个或多个分析模块(未示出)。以该方式，用户终端102被配置为将所记录的通信会话的通信流转换成文本。针对从由用户终端102生成的转录所确定的任何事件，这些可以作为事件文件(或者作为结果分析文件)被存储在本地存储器存储204中，类似于在云会议平台105处的事件存储器314上存储的事件文件318(或单个结果分析文件320)。因此，在实施例中，用户终端102仅仅需要从云会议平台105访问视频文件(媒体文件)316。应当理解的是，如在本公开通篇中所使用的术语“访问的”元数据包含用户终端102获得元数据(即，事件文件或单个结果分析文件)的所有方式。此外，用户终端102能够采用如在本文中所描述的访问元数据的方法中的任何一个或组合。
对于将元数据与视频文件316相关联(即，上文的步骤412)的云会议平台105可替代地或另外地，云会议平台105可以被配置为在通信会话仍在进行的同时向AV MCU 104a实时地发送元数据。这可以是指云会议平台105的现场应用。在该场景中，元数据因此由针对通信会话的所有参与者的AV MCU 104a而被现场实时地并入到通信会话中。因此，事件的可视表示(所显示的事件)可以当它们在播出该通信会话的媒体播放应用280或网络客户端260的可滚动导航区域612中发生时被现场示出。在下文中更加详细地描述了可滚动导航区域612。所述可视表示可以包括如先前所描述的一系列不同的类型，例如从ASR 302输出的(经翻译的)文本的部分、由使用其他应用的用户采取的动作(例如，拍摄的照片、对幻灯片放映演示进行的编辑等)、以及对其他音频和/或视频事件的表示。
事件(所显示的事件)的表示也可以在通信会话的“接近实时”的回放中被示出。例如，参与现场通信的一个或多个用户可以选择暂停在其用户终端102处对现场通信的播出。例如，用户可以暂停通信会话以便进行或接听另一通话。当针对其用户终端102上的本地用户暂停通信会话时，通信会话本身在其他参与者之间继续并且继续被记录为视频文件316(如在上文中所描述的)。可替代地或另外地，可以在后台将所述通信会话记录至用户终端102的存储204。当用户准备好时，其可以选择“恢复”所述通信会话的回放。作为响应，用户终端102可以从通信会话被暂停的点处开始从云会议平台105访问并下载视频文件316(或者访问通信会话的本地记录)。用户终端102还访问元数据(如在上文中所描述的)，其意味着在通信会话中已经发生的所有事件(包括自从通信会话被暂停时起已经发生的事件)的可视表示可以被显示在可滚动导航区域612中。因此，用户可以通过在导航区域612实施惯性滚动动作滚动通过所显示的事件来追赶上现场会话，其与所记录的通信的时间的相关点同步，以前进通过通信会话直到其赶上正在进行的现场会话为止。稍后将详细描述该惯性滚动概念。可替代地，用户可以选择按钮或某一控件而不是使用惯性滚动动作来重新加入现场的实时通信会话。显然，用户无法前进超过仍然是现场的通信会话的时间点。然而，用户通过向回滚动通过所显示的在所记录的会话中先前已经发生的事件来选择“倒回”会话。例如，这在用户认为其可能已经错过了一些事情或者想要再次观看或收听会话中的一些东西的情况下可以是有用的。当然，如果现场的实时通信会话仍在进行，则用户可以再次选择返回该现场的实时通信会话。
因此，尽管在本文中参考所记录的通信会话描述了主要的实施例，但本公开的方面也与现场的、正在进行的通信会话相关。
在步骤414处，当通信会话完成时，云会议平台105生成以文本总结通信会话的内容的电子邮件500。云会议平台105可以具有被邀请成为该通信的一部分但出于无论何种原因未加入的任何用户的知识。在该情况下，云会议平台105可以自动地向没有加入该通信会话的这些用户发送电子邮件。尽管我们提及电子邮件，但是云会议平台105能够通过包括即时消息传送(IM)和/或SMS的其他通信方式来发送基于文本的摘要。另一种可能性在于云会议平台105可以向一个或多个用户发送推送通知，通知他们所记录的通信能够由他们访问。所述推送通知可以例如在用户的通信客户端222中被显示。接着，用户可以决定何时取回基于文本的摘要。可替代地，用户可以忽略或丢弃该通知。为了方便起见，我们提及电子邮件摘要。在的确加入该通信会话的用户想要访问和重新回放所记录的通信会话的一种方便的方式的情况下，还可以向所述用户中的任何一个用户发送电子邮件摘要。另外，电子邮件摘要可以被发送至具有主人或管理员许可的任何其他联系人。例如，如果在所记录的通信会话中没有敏感内容，则更广泛地散布所述电子邮件可以是有益的，例如向协作者的更广泛的团队或者向一般邮件列表散布。
图5示出了以列表形式总结通信会话的内容的电子邮件500的示例表示。邀请包括至所记录的视频文件316的第一文本链接502。第一文本链接502可以表现为通信会话的标题，例如，基于从屏幕共享/幻灯片分析312确定的以及从合适的事件文件318(或所产生的分析文件)读取的共享的幻灯片放映演示的标题。在图5中所示出的示例中，如从第一幻灯片所确定的演示的标题是“吃水果的益处”。通过轻敲或者以其他方式选择第一文本链接502，用户终端102将能够访问视频文件316，以使得他们能够流式传播视频文件或将其下载。当用户终端102已经访问了视频文件316或已经将其下载时，所述文件将从记录的开始处起在安装于用户终端102(例如，网络客户端(网页浏览器)260或媒体播放应用280)上的应用中的一个合适的应用中回放。记录从开始处回放是因为第一链接502表示这样的通信会话的事件，其在数据流分析期间被确定在通信开始时已经发生并且因此加盖有在通信会话的开始处的时间的时间戳。因此，第一文本链接502直接链接至视频文件316的开始处的开始。
摘要邮件500还可以包括文本链接，例如幻灯片放映演示中的个体幻灯片504的标题的列表。如同第一文本链接502一样，链接504可以从屏幕共享/幻灯片分析引擎312确定并且从合适的事件文件318(例如，所产生的分析文件)读取。在所示出的示例中，存在显示有标题“香蕉”、“橙子”和“苹果”的三个链接504。其他的链接可以被示出为表示被确定为在特定幻灯片的演示期间已经发生的事件的副标题。例如，引号506中的一个或多个链接是基于NLP 306所认为的在通信会话中说出的关键词或关键短语。例如，在“香蕉”链接504下，显示了链接“一口气吃27根香蕉对你的健康可能是危险的”，而在“橙子”链接504下，显示了链接“每天喝250毫升橙汁是非常好的维生素C的来源”。可以包括并突出显示其他链接，例如，当可视事件发生508时，或者当音频事件发生510时。例如，可视事件链接“[视频剪辑]”508和音频事件链接“[鼓掌]”被示出在“香蕉”链接504下。应当理解的是，取决于通信会话的内容，可以存在更多或更少的链接。
因此，电子邮件摘要500中的每个链接与由通信数据分析模块300检测到的事件相对应。如所描述的，所述链接中的每个链接是基于所检测到的事件的，其中，每个事件被加盖有通信会话期间的时间点的时间戳。因此，每个链接直接链接至视频文件316的对应的时间点。因此，通过在任何时刻在所显示的链接中的任何一个链接上轻敲，第一用户终端102访问视频文件316并且链接至所记录的通信会话中的对应的时刻。可以在运行在用户终端102上的媒体播放应用280或网络客户端应用260中播出所记录的通信会话。诸如在用户终端102上运行的一个或多个应用240之类的其他的应用也可以被配置为并且适合于播放所记录的通信会话。为了方便起见，在下文中我们仅提及用于播出所记录的通信会话的网络客户端260。通过轻敲或选择特定的链接，使得所记录的通信会话的回放立刻向前或向后跳转到与所选择的链接所基于的事件的时间戳相对应的时间点。可以由用户多次重新选择相同的链接，以使得其可以不断从可能特别感兴趣的特定时间点起对所记录的通信会话进行回放。
当用户终端102访问或下载所记录的视频文件316时，其还访问与所记录的通信会话相关联的事件文件318(或者单个结果分析文件320)。例如，如果视频文件316被下载，则事件文件318(或单个结果分析文件320)也从云会议平台105被下载。如果视频文件316从云会议平台105被流式传播，则与事件文件数据相关的数据也可以被流式传播。可替代地，如果事件文件318已经在步骤412(上文所描述的)处被编码为单个视频316本身的一部分，则将无须单独访问事件文件318。
图6a示出了在用户终端102上运行的网络客户端260的示例用户界面600的示意性示图。网络客户端260被配置为通过播放所访问的视频文件316来回放所记录的通信会话。当所记录的通信包括视频分量时，在网络客户端用户界面600的第一区域602中显示所述视频。视频分量将包括对所记录的通信会话的所有可视元素的回放，包括显示所共享的幻灯片放映演示中的幻灯片。网络客户端UI 600还包括显示所记录的通信会话的持续时间中的时间点的计时器604。回放控件606包括屏幕上熟悉的控件，因此用户可以使用按钮608来暂停/恢复对所记录的通信会话的回放。
所记录的通信会话的音频回放与视频分量是同步的。音频从网络客户端260播出，而不中断在用户终端102上运行的其他应用的任何音频流的播出。因此，如果所记录的通信会话是仅录音的音频，或者如果用户无需或无法看见显示器208，则他可以仅收听音频输出。
跳过控制按钮210允许用户前进或后退到当在通信会话中引入下一个或前一个幻灯片时回放的时间点。跳过控制按钮210还可以用于前进或后退到当检测到的下一个或前一个事件发生时的时间点。在实施例中，用户设置可以允许用户前进或后退到当下一个或前一个类型的事件发生时的时间点，例如，用户可以仅想要跳过音频事件的发生。因为网络客户端260可以访问元数据，即事件文件318(或单个结果分析文件320)，其知道当选择跳过按钮610时，要跳过什么回放时间点。因此，当所记录的会话的回放是视频而不是实际的幻灯片放映时，元数据允许用户以逐个幻灯片为基础有效地跳过视频。在实施例中，用户可以双击跳过控件210以回到所记录的通信会话的开始或结束处。
作为使用回放控制按钮206的可替代方案，用户能够通过与在第一区域602中所显示的视频进行交互来控制所记录的通信会话的回放。例如，通过在区域602中轻敲或点击，回放可以被暂停/恢复。此外，通过对在602中的视频区域执行扫动动作(或者通过在区域602中的视频的左和右边缘上轻敲或点击)，回放将前进(例如，扫动左边/轻敲右边缘)或后退(扫动右边/轻敲左边缘)到当下一个或前一个幻灯片被引入通信会话时回放的时间点。可以在播放回放时或者当其已经被暂停时，实现跳过所记录的通信会话的能力。在实施例中，如果用户想要在区域602中显示的内容的更大视图，其可以侧向旋转其用户终端102以获得区域602的全屏视图。本领域技术人员将理解，可以由CPU 200连同用户终端102的加速度计类型的设备(未示出)来进行这样的侧向旋转的确定。
如果所记录的通信会话仅包括音频分量，则用户仍然可以跳到音频录音中的下一个或前一个事件，例如，已经从NLP 306和/或音频分析引擎308确定为已发生的任何事件。尽管不存在所记录的视频分量，但是云会议平台105可以生成可视元素作为格式化视频文件316的一部分。该可视元素可以是在区域602中显示的静态图像(例如，用于指示正在回放仅音频通信会话的声波符号)。可替代地，可视元素可以包括将所记录的通信会话回放的过程可视化的一系列图像。所述图像还可以通过显示事件的可视表示来指示在通信会话中发生的最近的事件。因此，用户仍然在区域602中看见关于在通信会话期间发生了什么的一些有帮助的视觉线索。
与在网络客户端UI 600上使用所显示的控制按钮606一样，用户终端102还可以包括一个或多个物理控件，例如控制按钮，其还可以用于以如在本文中描述的任何方式来控制对所记录的通信会话的回放。可替代地或另外地，物理控件可以是连接至用户终端102的另一输入设备210的一部分，例如，键盘、鼠标、或耳机/耳麦控件。
在实施例中，网络客户端UI 600还包括导航区域612。由用户终端102访问元数据(事件文件318或单个分析结果文件320)，以使得每个事件由在导航区域612中可显示的文本数据的部分可视地表示(如在上文中所描述的)。可以加载元数据，以使得所显示的每个文本的部分与所记录的通信会话的回放是同步的。这基于在所存储的每个事件文件中包括的时间戳是可能的。当回放所记录的通信会话时，高亮度条660与其所表示的这样的事件(当其在对所记录的通信会话的回放中发生时)同步地自动向下滚动导航区域612中所显示的文本的部分。因此，当回放所记录的通信会话时，高亮度条660向下进展通过导航区域612，进而突出显示文本的每个显示部分。尽管在本文中将高亮度条660描述为向下进展，但是在其他实施例中，高亮度条可以在任何方向上顺序地移动通过文本的所显示的部分。
缩放功能
在实施例中，在导航区域612中所显示的单独的文本的部分的数量是基于已经向文本的每个部分分配的相关性值以及基于导航区域612的用户可控制的缩放等级功能的。当文本的部分作为步骤408(上文描述的)的一部分被存储并且被分配了相关性值时，相关性模块356算法也工作以将每个相关性值与导航区域612的缩放等级相关联。例如，被认为具有最高相关性的文本的部分可以与导航区域612的最低缩放等级相关联。最低缩放等级(即，缩得最小)可以被认为是“概览”缩放等级。在示例实施例中，在幻灯片放映演示中表示幻灯片的改变的文本的部分可以被分配最高的相关性。因此，这些文本的部分则与概览缩放等级相关联。作为结果，当控制导航区域612的缩放等级缩小至概览缩放等级时，将仅在导航区域612中显示具有已经与概览缩放等级相关联的相关性值的这些文本的部分。概览缩放等级可以被设置成当发起对所记录的通信会话的回放时针对导航区域612的默认起始缩放等级。类似地并且如在下文中更加详细地解释的，较低的相关性值相应地与导航区域612的更放大的等级相关联。因此，当网络客户端260将导航区域612放大到已经与向一个或多个文本的部分分配的较低相关性值相关联的缩放等级时，这些文本的部分(加上具有所分配的较高的相关性值的文本的部分)将在导航区域612中被显示。因此，当放大或缩小时，导航区域612被配置为显示不同相关性等级的文本的部分，以使得用户能够根据需求快速且容易地看到合适等级的细节。
在可替代的实施例中，相关性值可以由在用户终端102处运行的算法(在下文中为“用户终端相关性算法”)来确定，而不是由在云会议平台105处的相关性模块356分配的相关性值。当用户终端102访问元数据(事件文件318或单个分析结果文件320)时，用户终端相关性算法可以分析并比较表示每个事件的单个文本的部分并且向每个部分分配相关性值。
在实施例中，所分配的相关性值(由相关性模块356或用户终端102分配的)可以是基于由通信系统100的多个用户所展示的动作的。即，可以这样说，所分配的相关性值是“众包(crowd sourced)”的。作为一个示例，参与通信会话的用户可以响应于他们所观看和/或听到的内容而提交现场反馈。可以通过在用户终端102的用户界面中呈现的“喜欢”按钮的方式来提交反馈。可选地，可以经由AV MCU 104a向云会议平台105发送该反馈。所述反馈可以从任何数量的用户来收集，例如从数百个到潜在地数百万个观看演示的用户收集。接着，可以由相关性模块356或个体用户终端102在分配相关性值时使用所述反馈。对于检测到的与积极反馈中的峰值相关的事件(即，所接收的大量的“喜欢”)，相对于否则已经分配了的值而言，增加了向表示该事件的文本的部分分配的相关性值。因此，事件表示的相关性可以基于当事件在通信会话中发生时与该事件相关联的受欢迎程度。
另外，众包技术可以基于用户如何与所记录的视频文件316的回放进行交互。即，可以当用户回放视频文件时，从用户终端102提交如上文所描述的反馈，即而不是作为现场通信会话的一部分来提交反馈。因此，在该场景中，可以增大或减小已经向事件的表示分配的相关性值(如上文解释的，通过相关性模块356或用户终端102)。因此，所述表示可以基于来自用户的反馈随着时间变得更相关或更不相关。例如，可以通过与上文描述的实施例类似的“喜欢”按钮的方式提交反馈，以使得受欢迎事件的表示具有所分配的增加的相关性。接收反馈的其他方式包括监视用户如何(详尽)导航所记录的视频文件316。例如，回放的受欢迎的时间点可以使得向在这些时间点发生的事件的表示分配增加的相关性值。作为另一示例，用户可以输入搜索项以搜索针对特定的事件表示的事件元数据的内容(如在下文更详细解释的)。搜索项和/或所选择的搜索结果可以作为反馈被发送至云会议平台105。因此，用户中的受欢迎的搜索项和/或搜索结果可以由云会议平台105确定。基于该众包信息，可以向与受欢迎的搜索项和/或搜索结果相关的事件的表示分配增加的相关性值。
因此，通过跟踪用户与所下载的视频文件316的交互的反馈，可以定期地更新向事件的表示分配的相关性值，以反映这些用户的整体行为。以该方式，随后从云会议平台105访问或下载视频文件316的用户终端102也将能够访问最新的元数据。已经访问了视频文件316的用户终端102可以被配置为从云会议平台105下载经更新的元数据以作为端数据流。
与所分配的相关性值相关联的相应的缩放等级还可以由在用户终端102处的用户终端相关性算法来确定，而不是由在云会议平台105处的相关性模块356算法来确定。在该情况下，用户终端相关性算法还可以将可用于导航区域612的显示大小面积考虑在内。例如，与所分配的相关性值相关联的缩放等级可以在用户控制导航区域612的缩放等级之前被预先计算。可替代地，所分配的相关性值可以与每次用户通过放大或缩小导航区域612来控制缩放功能的缩放等级相关联。
尽管潜在地更加处理器密集，但是因为接着可以将导航区域612的可用面积的大小考虑在内，所以当用户控制缩放功能时，将文本的部分的相关性与缩放等级关联可以是有益的。例如，如果由网络客户端260所确定的导航区域612足够大，则可以在不使导航区域612拥挤的情况下显示更多的文本的部分。例如，还可以显示更多的文本的部分，其可能包括相关性程度比已经在导航区域612中显示的文本的部分更低的文本的部分。通过对比，如果导航区域612较小，则用户终端相关性算法可以被配置为当导航区域612被缩小时给予被分配有最高相关性程度的文本的部分优先级。这有助于确保导航区域612不会挤满了经显示的文本的部分。在另外的实施例中，导航区域612的缩放等级可以仅仅基于导航区域612的大小而由网络客户端260动态地调整，即不需要用户控制所述缩放功能。这在回放所记录的通信会话期间重新调整导航区域612的大小的情况下可以是有用的。
图6a描绘了示例场景，其中，导航区域612已经被缩小到概览缩放等级，以使得在导航区域612中显示的文本的部分表示已经分配有最高相关性值的每个幻灯片改变614。幻灯片的每个改变614被示出为由屏幕共享/幻灯片分析模块312确定的新幻灯片的标题。如果针对任何特定的幻灯片或页面没有标题，则其可以被示出为通过幻灯片编号或页编号(例如，“幻灯片5”或“第5页”)在导航区域612中被表示。计时器604被示出在“00：00”处，即在回放的开始处。作为结果，将高亮度条660在突出显示标题为“吃水果的益处”的第一幻灯片614的导航区域612的顶部示出。如果在回放所记录的通信会话期间缩放功能没有被改变，则如在上文中所描述的，高亮度条660逐渐沿导航区域向下移动进而突出所显示的每个文本的部分，这与他们表示为在回放所记录的通信会话时发生的事件的事件相同步。
用户可以通过在网络客户端用户界面600中显示的缩放控制按钮672和674来控制导航区域612的缩放等级。通过轻敲或以其他方式选择按钮672(放大，“+”)，放大导航区域612以使得网络客户端260用已经被分配了较低相关性值的更多经显示的文本的部分来填充导航区域612。通过对比，轻敲或以其他方式选择按钮(缩小，“-”)，缩小导航区域612以使得网络客户端260减小在导航区域612中显示的文本的部分的量，从而仅显示已经被分配了较高相关性值的文本的部分。如果缩放等级是完全放大或完全缩小，则可以“变暗”合适的控制按钮672或674以指示用户无法在该方向上再进一步控制缩放了。
尽管屏幕上的缩放控件被示出为按钮672、674，但是可以通过诸如虚拟滑块控件之类的其他方式来控制缩放。当用户通过不同的缩放等级进行缩放时，可以暂时地显示缩放控件旁边的标签以指示诸如“概览缩放等级”、“最大缩放等级”等的缩放等级。取决于存在多少用于显示文本的部分的不同缩放等级(即，基于所分配的不同相关性值的数量)，可以将不同的缩放等级相应地按级分配，例如，如果在导航区域612中存在用于显示文本的部分的四个不同的缩放等级，则缩放控件可以将缩放等级显示为“1/4”、“2/4”、“3/4”和“4/4”中的一个。
可以实现对缩放功能的控制以使得每次用户轻敲或选择放大或缩小控制时，网络客户端260被配置为使得导航区域612的缩放等级被缩放至已经与相关性值关联的下一个缩放等级。接着，网络客户端260在导航区域612中显示已经被分配有合适的相关性值的文本的部分。
可以使用浮点缩放值来实现分别与所分配的相关性值关联的缩放等级，以使得用户可以动态地放大和缩小导航区域612，而无需缩放等级“卡在”或“锁定”到预先定义的离散的缩放等级。当用户控制导航区域612的缩放功能以使其达到已经与向一个或多个文本的部分分配的相关性值关联的浮点值时，将在导航区域612中显示这些文本的部分(加上具有所分配的较高相关性值的文本的部分)。这可以提供更流动且更自然的用户体验。
控制按钮还可以用于使导航区域612的缩放等级产生改变，例如，通过不同的控制按钮和/或轮式控件的方式。本领域技术人员可以知道放大或缩小导航区域612的其他方式，并且放大或缩小导航区域612的其他方式可以包括但不限于，诸如进行手指开合手势之类的触摸屏控件。
图6b至6d示出了相同网络客户端用户界面600，其回放所记录的相同通信会话但是在回放中随后的时间点上并且在逐渐放大等级的导航区域中。
在图6b中，回放已经前进至“01：00”并且正在播放下一幻灯片。作为结果，所显示的表示下一幻灯片“香蕉”的文本的部分现在由高亮度条660突出显示。在该点上，缩放等级仍然在概览缩放等级上，以使得仅具有最高相关性的文本的部分仍然在导航区域612中被显示。在回放期间的某一点上，导航区域612的缩放功能可以被控制成进一步放大。这由图6c示出。
在图6c中，已经增加了缩放等级意味着将在导航区域中显示具有与新的缩放等级关联的相关性值相比相等或更大的相关性值的文本的部分。因此，现在在导航区域612中包括被认为具有比文本的其他部分更低相关性的一些文本的部分。这些较不相关的文本的部分可以提供可以帮助导航所记录的通信会话的更加详细的信息。这些较不相关的文本的部分可以与所记录的通信会话的一个分区相关联，其中一个或多个更相关的文本的部分也已经针对所述分区相关联。即，与已经被分配更大相关性值的文本的部分相比，已经被分配较低相关性值的较不相关的文本的部分可以提供关于所记录通信的一部分的更多细节。尽管被称为“较不相关”，但是当在导航区域612中显示时，这些文本的部分提供对用户而言有时特别有用的重要信息源。例如，这些新近显示的较不相关的文本的部分可以包括以下中的一个或多个：基于NLP分析306检测到的关键词和/或关键短语616；对音频事件618的指示(例如，沉默、大笑、鼓掌、音乐、说活者的改变等)；对可视事件620的指示(例如，手势、视频剪辑等)；和/或从屏幕共享/幻灯片分析312检测到的对事件622的指示(例如，文本副标题、文本元素，例如基于OCR的捕获)。
当导航区域612被放大时，所记录的通信会话的回放不间断地继续并且将在与回放中当前的时间点相对应的导航区域612中的当前或最近的文本的部分上显示高亮度条660。突出显示的文本的部分可以是在放大动作之后刚刚填充了导航区域612的最近显示的、较不相关的文本的部分。可选地，还可以利用计时器624来显示所显示的每个文本的部分，计时器624指示在所记录的通信会话中其所表示的事件被检测到的时间点。例如，在图6c中，“[鼓掌]”文本的部分表示在所记录的通信会话中在“01：25”处发生音频事件。
在实施例中，用户能够选择向文本的部分分配的相关性值的范围。例如，如果存在较大数量的事件，则用户可以选择用户设置以使用更宽范围的相关性值。根据可用的相关性值的范围，相关性模块356(或用户终端102)必须给文本的部分分配可用的相关性值中的一个，以确定文本的部分中的哪些文本的部分与其他文本的部分相比更加相关。例如，可以将关键短语确定为比音频事件更加相关。通过使用更大数量的不同的相关性值，相应地存在变得与这些相关性值相关联的更大数量的缩放等级。因此，向用户提供了用于在网络客户端260放大或缩小导航区域612时改变如何显示不同相关性程度的文本的部分的较细粒度。相反地，用户可以降低可用的相关性值的范围，以使得当网络客户端260放大并缩小导航区域612时，存在较少的方式来显示不同相关性程度的文本的部分。
对于整个所记录的通信会话而言，如果与可以在导航区域内显示的相比存在更多的文本的部分，则导航区域612变成可滚动的。在回放继续时或在回放已经暂停时，滚动标记605允许用户滚动通过所显示的文本的部分。当高亮度条660在回放期间已经向下移动以使其已经到达所显示的导航区域612的底部时，网络客户端260刷新导航区域612以使得接着来自通信会话的下一系列的文本的部分从导航区域612的顶部开始被显示。高亮度条660还移动至经刷新的导航区域612的顶部以突出显示文本的当前部分并且继续向下移动到底部。当导航区域612已经被刷新时，滚动标记605进一步沿导航区域向下显示以指示回放的整体进程并且存在“滚动离开导航区域612的顶部”的一个或多个先前的文本的部分。在任何时候，用户可以滚动回导航区域612以查看在所记录通信会话中较早的先前的文本的部分形式或者还可以沿导航区域612向下滚动以查看即将到来的文本的部分。
在图6d中，所记录的通信会话的回放已经前进至“06：00”且导航区域612已经放大到最高缩放等级(即，最放大)。在该情况下，网络客户端260被配置为将所记录的音频数据流的全部转录显示为由ASR 302输出。全部转录可以被认为是具有最低可能相关性值的文本的部分。分配了较高相关性值的所确定的其他文本的部分还可以被包含或者可以被禁用以防止中断所显示的全部转录的流。用户可以滚动通过全部转录。还可以通过移动高亮度条660来突出显示所述转录，高亮度条660向下移动通过转录文本，以保持与所记录通信会话的音频分量的回放同步。可以针对文本的每个分区(例如，段落或所检测到的主题改变)来显示计时器624，以便不使导航区域612过于拥挤。
在实施例中，当用户控制导航区域612的缩放功能时，他可以不想改变所记录通信会话的回放的位置。因此，在一个实施例中，控制导航区域612的缩放以使得当用户放大或缩小时，其以当前的回放位置为中心。即，缩放将以针对该缩放等级显示高亮度条660的地方为中心。媒体文件316的回放不受影响并且不受对缩放等级的任何改变而不间断地继续。用户还可以在回放被暂停时放大并缩小所显示的文本的部分。
在可替代的实施例中，用户可以想要使用缩放功能来活动地改变所记录通信会话回放的位置。例如，如果用户选择放大或缩小导航区域612中的特定区域，则网络客户端260控制所记录的通信会话的回放以使其跳转到用户已经放大到(或缩小到的)的最近的文本的部分并且从该点继续播放，即回放将保持与用户放大或缩小到的文本的部分同步。还将显示高亮度条660以突出显示合适的文本的部分(或整个转录的一部分)，并且在回放继续时继续向下移动通过所显示的文本的部分。
在导航区域612中所显示的所有文本的部分也是由用户可选择的。如果由用户选择，则回放基于文本的部分被表示的事件的时间戳而跳转到所记录的通信会话的时间点。如果导航区域612已经被放大以查看音频分量的整个转录，则可以选择每个句子以使得回放跳转到所记录的通信会话的该时间点。动态地更新导航区域612以示出突出显示所选择的文本的部分(或当完全放大时，显示整个转录的一部分)的高亮度条660。接着，高亮度条660从该点起继续向下滚动通过所显示的文本的部分(或转录)，如在上文中所描述的。因此，如在导航区域612中所显示的文本的部分具有与在电子邮件摘要500中显示的可选链接(502、504、506、508、510)非常类似的目的。在电子邮件摘要500中选择链接中的一个链接或者在导航区域612中选择相应的文本的部分在网络客户端UI 600中具有相同的效果。
参考图7，在实施例中，网络客户端UI 600还可以包括搜索框680。用户可以输入以文本字符串为形式的搜索项。可替代地，可以说出搜索项并且通过在用户终端102上运行的话音识别模块(未示出)来识别所述搜索项。可以在回放所记录的通信会话期间或当其被暂停时输入搜索项。网络客户端260针对与所输入的搜索项匹配的结果来查看事件元数据的内容。所述结果可以在宽泛的意义上匹配，例如搜索可以自动地寻找经搜索的项的相关变型，包括同义词、单数和复数形式、已经潜在的拼写错误。可替代地或另外地，搜索可以使用自然语言处理方法。例如，针对“水果”的搜索可以给出包括诸如“香蕉”、“橙子”、“苹果”等之类的相关文本的关键词和/或关键短语的结果。
可以针对元数据的内容(例如，从ASR 302输出的文本的内容、或者从OCR分析确定的文本)来进行选择。此外，可以针对在通信会话期间发生的事件的类型来进行选择，包括但不限于音频事件、可视事件、当特定用户发言时、和/或当特定用户加入或离开会话时。
网络客户端260可以针对所搜索的项分析跨所有缩放等级的元数据。例如，即使所记录的音频数据流的全部转录通常仅当导航区域612被完全放大时才显示，但当导航区域612被进一步缩小时可以找到匹配。
可以以自动完成的方式显示搜索结果，例如在用户输入每个键入的字符时在搜索框下方显示最接近的匹配的列表并且更新所述列表。每个结果可以由图形682指示，例如以指示已经发现的事件类型，例如幻灯片改变事件、音频事件、可视事件等。在由ASR 302导出的关键词、关键短语或全部转录的一部分中发现的结果可以显示有引号(“”)，以指示该结果是转录的一部分。还可以给所述结果提供上下文，即如果在转录中发现所搜索的词，则可以显示针对结果的短摘录，其中所搜索的词以粗体或以某种方式突出地示出。因此，用户可以更容易地理解所搜索的项如何在通信会话中被使用的上下文。结果列表可以根据其所分配的相关性等级或者按照时间顺序而被存储。在实施例中，可以在结果旁边示出计时器684，以指示在所记录的通信会话中发生事件的时间点。
用户可以选择所建议的搜索结果中的一个，并且作为响应，网络客户端260使得所记录通信会话的回放位置(或暂停位置)径直跳转到回放的对应时间点。此外，通过选择结果，更新导航区域612以显示高亮度条从而使得对应的文本的部分被突出地示出。在可替代的实施例中，对搜索结果的选择不改变或中断当前的回放位置，但是可以更新导航区域612以在显著的位置示出对应的文本的部分，例如，在导航区域612的顶部或者在导航区域612的中间。
如果所选择的结果与具有所分配的相关性值的文本的部分相关联以使得其已经能够以导航612当前所处的缩放等级显示，则网络客户端260不引起缩放等级的改变。可替代地，所选择的结果可以与相对于在导航区域612的当前的缩放等级上正在显示的文本的部分相比具有所分配的更低的相关性值的文本的部分关联。在该情况下，网络客户端260控制缩放等级，以使得其放大到与较低相关性值相关联的缩放等级，这使得与所选择的结果相关联的文本的部分由高亮度条660突出显示在导航区域612中。
在实施例中，可以基于对通信会话的通信流的分析来确定事件，且所述多个部分中的每个部分可以包括以下中的一个：音频话音信号的全部文本转录；从所述全部转录中提取的文本的一个或多个段落；从所述全部转录中提取的文本的一个或多个句子；使用自然语言处理技术从所述全部转录中提取的一个或多个关键词或关键短语。
在实施例中，对文本的部分的显示可以包括：当被分配给全部文本转录的相关性值与用户界面的完全放大缩放等级相关联并且用户界面被完全放大时，显示全部文本转录；并且对文本的部分的显示还可以包括：当被分配给关键词或关键短语中相应的一个或多个的相关性值与用户界面的非完全放大缩放等级相关联并且用户界面被缩放到所述非完全缩放等级时，显示相应的关键词或关键短语中一个或多个，不包括显示来自全部文本转录的其他词。
在实施例中，所述部分还可以包括：表示从通信会话的音频流的属性的分析中确定的事件的文本；表示从通信会话的视频流的属性的分析中确定的事件的文本；和/或表示从屏幕共享数据的分析中确定的事件的文本，所述分析可选地包括光学字符识别技术。
在实施例中，指示最高相关性的唯一的相关性值可以与用户界面的最大缩小缩放等级相关联。
在实施例中，向每个部分分配相关性值并且将每个唯一的相关性值与相应的缩放等级相关联可以使用在用户终端上运行的算法来执行。
在实施例中，将每个唯一的相关性值与相应的缩放等级相关联可以是在改变用户界面的缩放等级之前预先计算。
在实施例中，将每个唯一的相关性值与相应的缩放等级相关联可以当用户界面的缩放等级被改变时执行，并且可以基于分配有每个唯一的相关性值的单独部分的数量，并且还基于用于显示所述文本的部分的用户界面的可用显示区域。
所述方法可以包括基于通过用户终端接收的用户控制输入来改变用户界面的缩放等级，所述用户控制是经由以下中的一个或多个接收的：屏幕上的放大和缩小按钮；屏幕上的虚拟缩放滑块；手指开合触摸手势；和/或用户终端和/或连接至所述用户终端的设备的物理控制器按钮。
在实施例中，与所述唯一的相关性值中的一个相关联的相应的缩放等级可以是浮点缩放值。
在实施例中，响应于用户界面的缩放等级是放大，对文本的部分的所述显示包括：显示分配有这样的相关性值的文本的部分，该相关性值表示大于或等于由与所述放大缩放等级相关联的所述唯一的相关性值所表示的相关性的相关性。
该方法可以包括所述应用回放所述媒体文件，以及当与所述文本的部分相对应的所述事件在所述媒体文件的所述回放中发生时，基于所述时间元数据、按照时间顺序一次一个地、并且与所述媒体文件的所述回放同步地突出显示所显示的文本的部分。
该方法可以包括应用改变缩放等级，其中，所述缩放等级的改变以用户界面中显示的当前突出显示的文本的部分为中心，并且其中，媒体文件的回放继续不改变。
该方法可以包括应用改变缩放等级，其中，所述缩放等级的改变以用户界面的用户选择的区域为中心；其中，所述高亮度被移动以突出显示离在具有改变的缩放等级的用户界面中居中的缩放最近地显示的文本的部分；并且其中，媒体文件的回放被同步以从与离居中的缩放最近地显示的所述文本的部分对应的媒体文件中的事件开始回放。
该方法可以包括由用户终端接收一个或多个用户输入搜索项，所述搜索项使得应用搜索所访问的元数据中与一个或多个输入搜索项匹配的内容。
该方法可以包括应用返回与一个或多个输入搜索项匹配的一个或多个结果，其中，所述文本的部分中相应的部分被映射至每个相应的结果；在用户界面中显示一个或多个结果；由用户终端接收用于选择所述结果中的一个结果的用户输入；并且响应于所述选择，在用户界面中显著地显示被映射至所选择的结果的文本的部分。
在实施例中，如果被映射至所选择的结果的所述文本的部分已经被分配了具有比与所述用户界面的当前缩放等级相关联的相关性值更低的相关性的相关性值，则通过放大到与具有较低相关性的相关性值相关联的缩放等级来改变所述缩放等级，以使得被映射至所选择的结果的所述文本的部分在所述用户界面中被显示。
可以根据在上文中所描述的方法中的任何方法来配置本公开的第二方面的用户终端。
本公开的第三方面的客户端应用可以被配置为执行在上文中所描述的方法中的任何方法。
一般而言，可以使用软件、固件、硬件(例如，固定逻辑电路)、或这些实现的组合来实现在本文中所描述的功能中的任何功能。如在本文中所使用的术语“模块”、“功能”、“组件”和“逻辑”一般表示软件、固件、硬件、或其组合。在软件实现的情况下，模块、功能、或逻辑表示当在处理器(例如，CPU或多个CPU上)被执行时执行指定任务的程序代码。程序代码可以存储在一个或多个计算机可读存储器设备中。在下文中所描述的技术特征是平台独立的，这指的是可以在具有多种处理器的多种商业计算平台上实现所述技术。
例如，用户终端102和/或云会议平台105还可以包括使得这些设备的硬件执行操作的实体(例如，软件)，例如处理器、功能块等。例如，用户终端102和/或云会议平台105可以包括能够被配置为保存指令的计算机可读介质，所述指令使得这些设备且更具体地使得操作系统以及这些设备相关联的硬件执行操作。因此，所述指令用于配置操作系统和相关联的硬件以执行操作并且以该方式使得操作系统和相关联的硬件的转换以执行功能。可以由计算机可读介质通过多种不同的配置来向用户终端102(或云会议平台105)提供指令。
计算机可读介质的一个这样的配置是信号承载介质，并且因此被配置为例如经由网络向计算设备发送指令(例如，作为载波)。计算机可读介质还可以被配置为计算机可读存储介质并且因此不是信号承载介质。计算机可读存储介质的示例包括随机存取存储器(RAM)、只读存储器(ROM)、光盘、闪速存储器、硬盘存储器、以及可以使用磁性的、光学的、以及其他技术来存储指令和其他数据的其他存储器设备。
尽管已经用特定于结构特征和/或方法动作的语言描述了本主题，但是，应当理解的是，在所附权利要求中所定义的主题不一定限于在上文中所描述的具体特征或动作。相反，在上文中所描述的具体特征和动作是作为实现权利要求的示例形式而公开的。

Claims (15)

1.一种用于自动选择文本数据的一个或多个部分的方法，所述文本数据是从通信会话的一个或多个通信流转换的，所述方法包括：
由用户终端访问以媒体文件为形式的所述通信会话；
由所述用户终端访问与所述媒体文件相关联的时间元数据，其中，所述元数据定义被确定为在所述通信会话期间已经发生的事件；
在运行在所述用户终端上的应用的用户界面中显示所述文本数据的一个或多个部分，所述事件是由所述部分中的一些部分表示的；
分别向所述部分中的每个部分分配相关性值；以及
将每个唯一的相关性值与所述用户界面的相应缩放等级相关联，以使得对所述文本数据的所述显示包括：所述应用选择基于分别被分配给每个部分的所述相关性值以所述用户界面的不同缩放等级来显示所述文本的部分中的一个或多个部分。
2.根据权利要求1所述的方法，其中，所述事件是基于对所述通信会话的所述通信流的分析而确定的，并且其中，所述多个部分中的每个部分包括以下中的一个：
音频话音信号的全部文本转录；
从所述全部转录中提取的文本的一个或多个段落；
从所述全部转录中提取的文本的一个或多个句子；
使用自然语言处理技术从所述全部转录中提取的一个或多个关键词或关键短语。
3.根据权利要求2所述的方法，其中，对文本的部分的所述显示包括：当被分配给所述全部文本转录的所述相关性值与所述用户界面的完全放大缩放等级相关联并且所述用户界面被完全放大时，显示所述全部文本转录；并且
其中，对文本的部分的所述显示还包括：当被分配给所述关键词或关键短语中相应的一个或多个关键词或关键短语的相关性值与所述用户界面的非完全放大缩放等级相关联，并且所述用户界面被缩放到所述非完全缩放等级时，显示所述关键词或关键短语中相应的一个或多个关键词或关键短语，不包括显示来自所述全部文本转录的其他词。
4.根据权利要求2或3所述的方法，其中，所述部分还包括：
表示从对所述通信会话的音频流的属性的分析中确定的事件的文本；
表示从对所述通信会话的视频流的属性的分析中确定的事件的文本；和/或
表示从对屏幕共享数据的分析中确定的事件的文本，所述分析可选地包括光学字符识别技术。
5.根据前述权利要求中的任何一项所述的方法，其中，指示最高相关性的所述唯一的相关性值与所述用户界面的最大缩小缩放等级相关联。
6.根据前述权利要求中的任何一项所述的方法，其中，向所述部分中的每个部分分配相关性值以及将每个唯一的相关性值与相应的缩放等级相关联是使用在所述用户终端上运行的算法执行的。
7.根据前述权利要求中的任何一项所述的方法，其中，将每个唯一的相关性值与相应的缩放等级相关联是在改变所述用户界面的所述缩放等级之前预先计算的。
8.根据前述权利要求中的任何一项所述的方法，其中，将每个唯一的相关性值与相应的缩放等级相关联是当所述用户界面的所述缩放等级被改变时被执行的，并且是基于分配有每个唯一的相关性值的各个部分的数量的，并且还是基于所述用户界面中用于显示所述文本的部分的可用显示区域的。
9.根据前述权利要求中的任何一项所述的方法，其中，响应于所述用户界面的所述缩放等级是放大，对所述文本的部分的所述显示包括：显示分配有这样的相关性值的文本的部分，该相关性值表示大于或等于由与所述放大缩放等级相关联的所述唯一的相关性值所表示的相关性的相关性。
10.根据前述权利要求中的任何一项所述的方法，还包括所述应用回放所述媒体文件，以及当与所述文本的部分相对应的所述事件在所述媒体文件的所述回放中发生时，基于所述时间元数据、按照时间顺序一次一个地、并且与所述媒体文件的所述回放同步地突出显示所显示的文本的部分。
11.根据前述权利要求中的任何一项所述的方法，还包括：
由所述用户终端接收一个或多个用户输入搜索项，所述搜索项使得所述应用搜索所访问的元数据中与所述一个或多个输入搜索项匹配的内容；
所述应用返回与所述一个或多个输入搜索项匹配的一个或多个结果，其中，所述文本的部分中的相应的部分被映射至每个相应的结果；
在所述用户界面中显示所述一个或多个结果；
由所述用户终端接收用于选择所述结果中的一个结果的用户输入；以及
响应于所述选择，在所述用户界面中显著地显示被映射至所选择的结果的所述文本的部分。
12.根据权利要求11所述的方法，其中，如果被映射至所选择的结果的所述文本的部分已经被分配了具有比与所述用户界面的当前缩放等级相关联的相关性值更低的相关性的相关性值，则通过放大到与具有较低相关性的相关性值相关联的缩放等级来改变所述缩放等级，以使得被映射至所选择的结果的所述文本的部分在所述用户界面中被显示。
13.一种用于自动地选择文本数据的一个或多个部分的用户终端，所述文本数据是从通信会话的一个或多个通信流转换的，所述用户终端包括：
处理器和至少一个存储元件，其共同被配置为：
访问并存储以媒体文件为形式的通信会话；
访问与所述媒体文件相关联的时间元数据，其中，所述元数据定义被确定为在所述通信会话期间已经发生的事件；
可视显示单元；
在所述处理器上运行的应用，所述应用被配置为：
回放所述媒体文件；
在由所述可视显示单元显示的所述应用的用户界面中显示所述文本数据的一个或多个部分，所述事件是由所述部分中的一些部分表示的；
分别向所述部分中的每个部分分配相关性值；以及
将每个唯一的相关性值与所述用户界面的相应缩放等级相关联，以使得对所述文本数据的所述显示包括：所述应用选择基于分别被分配给每个部分的所述相关性值以所述用户界面的不同缩放等级来显示所述文本的部分中的一个或多个部分。
14.根据权利要求13所述的用户终端，其根据权利要求2至12中的任何一项所述的方法而被配置。
15.一种适合回放媒体文件的客户端应用，所述应用在计算机可读存储介质上被实施并且包括代码，所述代码被配置为当在用户终端上运行时，执行根据权利要求1至12中的任何一项所述的方法。
CN201680053919.4A 2015-09-18 2016-09-09 使用关键字缩放的自动摘要的可视化 Pending CN108027832A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
GBGB1516552.5A GB201516552D0 (en) 2015-09-18 2015-09-18 Keyword zoom
GB1516552.5 2015-09-18
US14/933,910 2015-11-05
US14/933,910 US20170083214A1 (en) 2015-09-18 2015-11-05 Keyword Zoom
PCT/US2016/050848 WO2017048590A1 (en) 2015-09-18 2016-09-09 Visualization of automatic summarization using keyword zoom

Publications (1)

Publication Number Publication Date
CN108027832A true CN108027832A (zh) 2018-05-11

Family

ID=54544451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680053919.4A Pending CN108027832A (zh) 2015-09-18 2016-09-09 使用关键字缩放的自动摘要的可视化

Country Status (5)

Country Link
US (1) US20170083214A1 (zh)
EP (1) EP3347832A1 (zh)
CN (1) CN108027832A (zh)
GB (1) GB201516552D0 (zh)
WO (1) WO2017048590A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112424853A (zh) * 2018-07-24 2021-02-26 谷歌有限责任公司 以对文本文档的音频回放进行补充的视觉内容为特点的文本到语音界面

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201516553D0 (en) 2015-09-18 2015-11-04 Microsoft Technology Licensing Llc Inertia audio scrolling
US10121474B2 (en) * 2016-02-17 2018-11-06 Microsoft Technology Licensing, Llc Contextual note taking
AU2017320475B2 (en) 2016-09-02 2022-02-10 FutureVault Inc. Automated document filing and processing methods and systems
AU2017320476B2 (en) 2016-09-02 2021-10-07 FutureVault Inc. Systems and methods for sharing documents
US11316865B2 (en) 2017-08-10 2022-04-26 Nuance Communications, Inc. Ambient cooperative intelligence system and method
US10546655B2 (en) 2017-08-10 2020-01-28 Nuance Communications, Inc. Automated clinical documentation system and method
US11250382B2 (en) 2018-03-05 2022-02-15 Nuance Communications, Inc. Automated clinical documentation system and method
EP3762931A4 (en) * 2018-03-05 2022-05-11 Nuance Communications, Inc. AUTOMATED CLINICAL DOCUMENTATION REVIEW SYSTEM AND METHOD
US11176944B2 (en) * 2019-05-10 2021-11-16 Sorenson Ip Holdings, Llc Transcription summary presentation
US11675563B2 (en) * 2019-06-01 2023-06-13 Apple Inc. User interfaces for content applications
US11113229B2 (en) * 2019-06-03 2021-09-07 International Business Machines Corporation Providing a continuation point for a user to recommence consuming content
US11043207B2 (en) 2019-06-14 2021-06-22 Nuance Communications, Inc. System and method for array data simulation and customized acoustic modeling for ambient ASR
US11227679B2 (en) 2019-06-14 2022-01-18 Nuance Communications, Inc. Ambient clinical intelligence system and method
US11216480B2 (en) 2019-06-14 2022-01-04 Nuance Communications, Inc. System and method for querying data points from graph data structures
US11531807B2 (en) 2019-06-28 2022-12-20 Nuance Communications, Inc. System and method for customized text macros
US11670408B2 (en) 2019-09-30 2023-06-06 Nuance Communications, Inc. System and method for review of automated clinical documentation
US11361759B2 (en) * 2019-11-18 2022-06-14 Streamingo Solutions Private Limited Methods and systems for automatic generation and convergence of keywords and/or keyphrases from a media
US11604830B2 (en) 2020-01-07 2023-03-14 Rovi Guides, Inc. Systems and methods for performing a search based on selection of on-screen entities and real-world entities
US11367444B2 (en) 2020-01-07 2022-06-21 Rovi Guides, Inc. Systems and methods for using conjunctions in a voice input to cause a search application to wait for additional inputs
JP7452152B2 (ja) * 2020-03-23 2024-03-19 株式会社リコー 情報処理システム、情報処理装置、情報処理方法及びプログラム
US11222103B1 (en) 2020-10-29 2022-01-11 Nuance Communications, Inc. Ambient cooperative intelligence system and method
WO2022165279A1 (en) 2021-01-29 2022-08-04 Apple Inc. User interfaces and associated systems and processes for sharing portions of content items
US20230394860A1 (en) * 2022-06-04 2023-12-07 Zoom Video Communications, Inc. Video-based search results within a communication session

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070124298A1 (en) * 2005-11-29 2007-05-31 Rakesh Agrawal Visually-represented results to search queries in rich media content
US20080148147A1 (en) * 2006-12-13 2008-06-19 Pado Metaware Ab Method and system for facilitating the examination of documents
US20080201434A1 (en) * 2007-02-16 2008-08-21 Microsoft Corporation Context-Sensitive Searches and Functionality for Instant Messaging Applications
US20080300872A1 (en) * 2007-05-31 2008-12-04 Microsoft Corporation Scalable summaries of audio or visual content
US20150139610A1 (en) * 2013-11-15 2015-05-21 Clipmine, Inc. Computer-assisted collaborative tagging of video content for indexing and table of contents generation

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5564005A (en) * 1993-10-15 1996-10-08 Xerox Corporation Interactive system for producing, storing and retrieving information correlated with a recording of an event
JP2626598B2 (ja) * 1994-11-25 1997-07-02 日本電気株式会社 グラフィカルユーザインタフェースを有する対話システムの操作性評価装置
US5982369A (en) * 1997-04-21 1999-11-09 Sony Corporation Method for displaying on a screen of a computer system images representing search results
US7596755B2 (en) * 1997-12-22 2009-09-29 Ricoh Company, Ltd. Multimedia visualization and integration environment
US6172712B1 (en) * 1997-12-31 2001-01-09 Intermec Ip Corp. Television with hard disk drive
US6421063B1 (en) * 1999-04-09 2002-07-16 Hewlett-Packard Company Pixel zoom system and method for a computer graphics system
US6446041B1 (en) * 1999-10-27 2002-09-03 Microsoft Corporation Method and system for providing audio playback of a multi-source document
US6937266B2 (en) * 2001-06-14 2005-08-30 Microsoft Corporation Automated online broadcasting system and method using an omni-directional camera system for viewing meetings over a computer network
US6920613B2 (en) * 2001-08-27 2005-07-19 Xerox Corporation Video/text bi-directional linkage for software fault clearance applications
US6703550B2 (en) * 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
US20040155888A1 (en) * 2003-02-11 2004-08-12 Padgitt David Gary Method for displaying the contents of a collection of media objects
US7428000B2 (en) * 2003-06-26 2008-09-23 Microsoft Corp. System and method for distributed meetings
US7383495B2 (en) * 2005-02-15 2008-06-03 Microsoft Corporation Presentation viewing tool designed for the viewer
US7872650B2 (en) * 2006-04-27 2011-01-18 Microsoft Corporation Remotely viewing large tiled image datasets
US8099429B2 (en) * 2006-12-11 2012-01-17 Microsoft Corporation Relational linking among resoures
US20080263010A1 (en) * 2006-12-12 2008-10-23 Microsoft Corporation Techniques to selectively access meeting content
US20080201302A1 (en) * 2007-02-16 2008-08-21 Microsoft Corporation Using promotion algorithms to support spatial searches
KR100850571B1 (ko) * 2007-02-21 2008-08-06 삼성전자주식회사 이동 통신 단말기의 웹 페이지 표시 방법
US8051387B2 (en) * 2007-06-28 2011-11-01 Nokia Corporation Method, computer program product and apparatus providing an improved spatial user interface for content providers
US20090113278A1 (en) * 2007-10-25 2009-04-30 Fuji Xerox Co., Ltd. System and methods for generating automatic and user-controllable movies of presentations on small devices
US20090169060A1 (en) * 2007-12-26 2009-07-02 Robert Bosch Gmbh Method and apparatus for spatial display and selection
JP5133678B2 (ja) * 2007-12-28 2013-01-30 株式会社ベネッセコーポレーション 動画再生システム及びその制御方法
WO2010016059A1 (en) * 2008-08-04 2010-02-11 Lior Friedman System for automatic production of lectures and presentations for live or on-demand publishing and sharing
US20110179385A1 (en) * 2008-09-24 2011-07-21 Wencheng Li Content classification utilizing a reduced description palette to simplify content analysis
US20100125791A1 (en) * 2008-11-14 2010-05-20 Rebelvox, Llc User interface for a telecommunication and multimedia management system and method
US8433431B1 (en) * 2008-12-02 2013-04-30 Soundhound, Inc. Displaying text to end users in coordination with audio playback
US20100141655A1 (en) * 2008-12-08 2010-06-10 Eran Belinsky Method and System for Navigation of Audio and Video Files
US20110113357A1 (en) * 2009-11-12 2011-05-12 International Business Machines Corporation Manipulating results of a media archive search
US20110153330A1 (en) * 2009-11-27 2011-06-23 i-SCROLL System and method for rendering text synchronized audio
US8326880B2 (en) * 2010-04-05 2012-12-04 Microsoft Corporation Summarizing streams of information
US8957920B2 (en) * 2010-06-25 2015-02-17 Microsoft Corporation Alternative semantics for zoom operations in a zoomable scene
US8954427B2 (en) * 2010-09-07 2015-02-10 Google Inc. Search result previews
US20120221936A1 (en) * 2011-02-24 2012-08-30 James Patterson Electronic book extension systems and methods
US8948892B2 (en) * 2011-03-23 2015-02-03 Audible, Inc. Managing playback of synchronized content
US20120245936A1 (en) * 2011-03-25 2012-09-27 Bryan Treglia Device to Capture and Temporally Synchronize Aspects of a Conversation and Method and System Thereof
US10672399B2 (en) * 2011-06-03 2020-06-02 Apple Inc. Switching between text data and audio data based on a mapping
US20130067420A1 (en) * 2011-09-09 2013-03-14 Theresa B. Pittappilly Semantic Zoom Gestures
US20130106888A1 (en) * 2011-11-02 2013-05-02 Microsoft Corporation Interactively zooming content during a presentation
US20130159555A1 (en) * 2011-12-20 2013-06-20 Microsoft Corporation Input commands
US8914452B2 (en) * 2012-05-31 2014-12-16 International Business Machines Corporation Automatically generating a personalized digest of meetings
US9754320B2 (en) * 2012-10-15 2017-09-05 Bank Of America Corporation Providing a record of an interactive conference
US9576049B2 (en) * 2012-12-21 2017-02-21 Microsoft Technology Licensing, Llc Semantic searching using zoom operations
KR102155836B1 (ko) * 2013-02-22 2020-09-14 삼성전자주식회사 터치 스크린 상에서 객체 디스플레이를 제어하는 휴대 단말 및 방법
US20140372217A1 (en) * 2013-06-13 2014-12-18 International Business Machines Corporation Optimal zoom indicators for map search results
EP3028472B1 (en) * 2013-07-29 2020-02-26 Koninklijke KPN N.V. Providing tile video streams to a client
US10289742B2 (en) * 2013-08-22 2019-05-14 Sensoriant, Inc. Method and system for addressing the problem of discovering relevant services and applications that are available over the internet or other communications network
US20150127340A1 (en) * 2013-11-07 2015-05-07 Alexander Epshteyn Capture
US9400833B2 (en) * 2013-11-15 2016-07-26 Citrix Systems, Inc. Generating electronic summaries of online meetings
EP3162074A1 (en) * 2014-06-27 2017-05-03 Koninklijke KPN N.V. Determining a region of interest on the basis of a hevc-tiled video stream
US9575936B2 (en) * 2014-07-17 2017-02-21 Verint Systems Ltd. Word cloud display
KR102319456B1 (ko) * 2014-12-15 2021-10-28 조은형 콘텐츠 재생 방법 및 이를 수행하는 전자 기기
US9632664B2 (en) * 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
WO2016185289A1 (en) * 2015-05-21 2016-11-24 Gammakite, Llc Device for language teaching with time dependent data memory
GB201516553D0 (en) * 2015-09-18 2015-11-04 Microsoft Technology Licensing Llc Inertia audio scrolling

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070124298A1 (en) * 2005-11-29 2007-05-31 Rakesh Agrawal Visually-represented results to search queries in rich media content
US20080148147A1 (en) * 2006-12-13 2008-06-19 Pado Metaware Ab Method and system for facilitating the examination of documents
US20080201434A1 (en) * 2007-02-16 2008-08-21 Microsoft Corporation Context-Sensitive Searches and Functionality for Instant Messaging Applications
US20080300872A1 (en) * 2007-05-31 2008-12-04 Microsoft Corporation Scalable summaries of audio or visual content
US20150139610A1 (en) * 2013-11-15 2015-05-21 Clipmine, Inc. Computer-assisted collaborative tagging of video content for indexing and table of contents generation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112424853A (zh) * 2018-07-24 2021-02-26 谷歌有限责任公司 以对文本文档的音频回放进行补充的视觉内容为特点的文本到语音界面

Also Published As

Publication number Publication date
GB201516552D0 (en) 2015-11-04
WO2017048590A1 (en) 2017-03-23
US20170083214A1 (en) 2017-03-23
EP3347832A1 (en) 2018-07-18

Similar Documents

Publication Publication Date Title
CN108027832A (zh) 使用关键字缩放的自动摘要的可视化
CN108141499A (zh) 惯性音频滚动
US10531044B2 (en) Intelligent virtual assistant system and method
US8117281B2 (en) Using internet content as a means to establish live social networks by linking internet users to each other who are simultaneously engaged in the same and/or similar content
US20170371496A1 (en) Rapidly skimmable presentations of web meeting recordings
CN107636651A (zh) 使用自然语言处理生成主题索引
US8391455B2 (en) Method and system for live collaborative tagging of audio conferences
CN112584086A (zh) 视频会议中的实时视频变换
US20170358321A1 (en) Methods and systems for altering video clip objects
US20120233155A1 (en) Method and System For Context Sensitive Content and Information in Unified Communication and Collaboration (UCC) Sessions
US20230252981A1 (en) Systems and Methods for Identifying and Providing Information about Semantic Entities in Audio Signals
CN103052926A (zh) 利用社交联网进行媒体共享
WO2019144849A1 (zh) 一种为用户推送信息的方法和装置
US10990828B2 (en) Key frame extraction, recording, and navigation in collaborative video presentations
JP6367748B2 (ja) 認識装置、映像コンテンツ提示システム
US11128927B2 (en) Content providing server, content providing terminal, and content providing method
US10657202B2 (en) Cognitive presentation system and method
Guillemot et al. Klewel webcast: From research to growing company
CN115309296A (zh) 信息展示方法、装置、电子设备、存储介质及程序产品
WO2018132514A1 (en) Intelligent virtual assistant system and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180511

WD01 Invention patent application deemed withdrawn after publication