CN116368785A - 智能查询缓冲机制 - Google Patents
智能查询缓冲机制 Download PDFInfo
- Publication number
- CN116368785A CN116368785A CN202180071356.2A CN202180071356A CN116368785A CN 116368785 A CN116368785 A CN 116368785A CN 202180071356 A CN202180071356 A CN 202180071356A CN 116368785 A CN116368785 A CN 116368785A
- Authority
- CN
- China
- Prior art keywords
- presentation
- user
- presented
- content
- question
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003139 buffering effect Effects 0.000 title claims description 16
- 230000007246 mechanism Effects 0.000 title description 5
- 238000000034 method Methods 0.000 claims abstract description 57
- 230000004044 response Effects 0.000 claims abstract description 29
- 238000004590 computer program Methods 0.000 claims abstract description 24
- 239000000463 material Substances 0.000 claims description 64
- 238000012545 processing Methods 0.000 claims description 40
- 230000000007 visual effect Effects 0.000 claims description 8
- 230000001755 vocal effect Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims 2
- 230000009471 action Effects 0.000 abstract description 21
- 238000004891 communication Methods 0.000 description 22
- 230000015654 memory Effects 0.000 description 20
- 238000010801 machine learning Methods 0.000 description 18
- 238000003058 natural language processing Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 13
- 230000002085 persistent effect Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 6
- 230000001149 cognitive effect Effects 0.000 description 5
- 239000004744 fabric Substances 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 239000000344 soap Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000037406 food intake Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1827—Network arrangements for conference optimisation or adaptation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/21—Monitoring or handling of messages
- H04L51/212—Monitoring or handling of messages using filtering or selective blocking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/21—Monitoring or handling of messages
- H04L51/214—Monitoring or handling of messages using selective forwarding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Information Transfer Between Computers (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
描述了用于控制基于网络的呈现的方法、装置和计算机程序产品。在该方法中,分析该呈现的已经呈现的内容和未来内容,当从通信地耦合到基于网络的呈现的用户终端接收到用户问题时,缓冲用户问题,使得系统可以基于所分析的内容来确定回答用户问题的内容是否已经或将被呈现在呈现中。响应于该确定,系统将执行动作,系统将向用户提供以下各项之一:1)如果回答内容已经或将被呈现在呈现中,系统将在用户界面中提供与回答内容有关的通知,并且将用户问题保持在缓冲状态中;或者2)如果内容没有被呈现并且将不被呈现,系统将从缓冲状态释放用户问题,以允许用户问题被转发给呈现的呈现者。
Description
背景技术
本公开一般涉及用户界面。更具体地,本公开涉及用于进行实况网络(web)会议会话的用户界面。
当在实况网络(web)会议会话中呈现时,呈现者将经常被其他参与者打断。通常,另一个参与者将在呈现的其他部分中询问已经被呈现者或将被呈现者解决的问题。当其他参与者由于缺乏上下文而没有注意到或没有理解幻灯片的重要性时,问题可能已经在先前幻灯片中被解决了。替选地,由于由呈现者做出的对于呈现的组织选择,将在即将到来的材料中回答问题。
对于其他参与者,这些多余的问题变得冗余、时间低效并且有损于呈现。
需要对用户界面进行进一步的改进来解决这个问题。
发明内容
根据本公开,一种用于控制基于网络(web)的呈现的方法、装置和计算机程序产品。在本发明的实施例中,分析呈现的已经呈现的内容和未来内容。当从通信地耦合到基于网络(web)的呈现的用户终端接收到用户问题时,缓冲用户问题,使得系统可以基于所分析的内容来确定回答用户问题的内容是否已经或将被呈现在呈现中。响应于该确定,系统将执行动作。在实施例中,系统将向用户提供以下各项之一:1)如果回答内容已经或将被呈现在呈现中,系统将在用户界面中提供与回答内容有关的通知,并且将用户问题保持在缓冲状态中;或2)如果内容没有被呈现并且将不被呈现,则系统将从缓冲状态释放用户问题,以允许用户问题被转发给呈现的呈现者。
在装置实施例中,包括处理器和保持计算机程序指令的计算机存储器,该计算机程序指令由处理器执行以用于控制基于网络(web)的呈现,用于执行如上所述的方法。
在计算机程序产品实施例中,计算机程序产品存储在非暂态计算机可读介质中,用于在数据处理系统中使用,包括计算机程序产品,该计算机程序产品保持由数据处理系统执行的用于控制基于网络(web)的呈现的计算机程序指令,用于执行如上所述的方法。
在本发明的另一个实施例中,一种用于控制基于网络(web)的呈现的方法包括分析基于web的呈现的内容,该方法从通信地耦合到基于web的呈现的用户终端接收用户问题。在确定回答用户问题的内容是否被呈现在呈现中的同时,缓冲用户问题。基于所分析的内容,修改基于网络(web)的呈现的用户界面,所分析的内容包括回答内容是否将被呈现在呈现中。
上文已经概述了所公开的主题的一些更相关的特征。这些特征应当被解释为仅仅是说明性的。通过以不同方式应用所公开的主题或通过修改将要描述的本发明,可以获得许多其它有益结果。
附图说明
为了更全面地理解本发明及其优点,现在结合附图来参考以下描述,其中:
图1描绘了可以实现说明性实施例的示例性方面的分布式数据处理环境的示例性框图;
图2是可以实现说明性实施例的示例性方面的数据处理系统的示例性框图;
图3描绘了用于进行网络(web)会议的本发明的实施例的流程图;
图4描绘了用于使系统准备进行网络(web)会议的本发明的实施例的流程图;
图5是本发明的一个实施例的架构图;
图6描绘了用于进行网络(web)会议的本发明的另一个实施例的流程图;
图7是根据本发明的实施例的用于用户的用户界面的图;以及
图8描绘了用于在网络(web)会议期间收集问题和回答相关信息的本发明的实施例的流程图。
具体实施方式
在高级别,本发明提供了一种用于进行网络(web)会议的方法、系统和计算机程序产品。当参与者发信号表示他们想要询问问题时,在问题被转发给呈现者之前,问题被缓冲。在问题被保持的同时,系统搜索是否在呈现中回答了问题。如果在呈现中找到回答,则将回答呈现给参与者。如果在呈现中没有找到回答,则将问题转发给呈现者。
现在将参考示例性的附图在本文中更全面地描述实施例。然而,本发明可以以许多不同的形式实施,并且不应被解释为限于本文中阐述的示例实施例。提供实施例,以便本公开传达本发明的原理;如本领域技术人员将理解的,这些示例的变型在本发明的范围内。在描述中,可以省略公知的特征和技术的细节,以避免不必要地模糊所呈现的实施例。
现在参考附图,并且具体参考图1-图2,提供了可以实现本公开的说明性实施例的数据处理环境的示例性示图。应当理解,图1-图2仅是示例性的,并且不是旨在断言或暗示关于可以实现所公开的主题的各方面或实施例的环境的任何限制。在不偏离本发明的范围的情况下,可以对所描绘的环境进行许多修改。
现在参考附图,图1描绘了可以实现示例性实施例的各方面的示例性分布式数据处理系统的图形表示。分布式数据处理系统100可以包括其中可以实现示例性实施例的各方面的计算机网络。分布式数据处理系统100包含至少一个网络102,该网络102是用于在分布式数据处理系统100内连接在一起的各种设备和计算机之间提供通信链路的介质。网络102可以包括诸如有线、无线通信链路或光纤光缆之类的连接。
在所描绘的示例中,服务器104和服务器106与网络存储单元108一起连接到网络102。另外,客户端110、112和114也连接到网络102。这些客户端110、112和114可以是例如智能电话、平板计算机、个人计算机、网络计算机等。在所描绘的示例中,服务器104向客户端110、112和114提供数据,诸如引导文件、操作系统映像和应用。在所描绘的示例中,客户端110、112和114是服务器104的客户端。分布式数据处理系统100可以包括未示出的附加的服务器、客户端和其他设备。一个或多个服务器计算机可以是连接到网络102的大型计算机。大型计算机可以是例如运行IBM z/OS操作系统的IBM系统z大型机。连接到大型机的可以是大型机存储单元和工作站(未示出)。工作站可以是直接连接到大型机的通过总线进行通信的个人计算机,或者是经由显示端口直接连接到大型机的控制台终端。
在所描绘的示例中,分布式数据处理系统100是具有网络102的因特网,该网络102表示使用传输控制协议/因特网协议(TCP/IP)协议组来相互通信的世界范围的网络和网关的集合。因特网的核心是主节点或主机计算机之间的高速数据通信线路的主干,其由对数据和消息进行路由的数千个商业、政府、教育和其它计算机系统组成。当然,分布式数据处理系统100也可以被实现为包括许多不同类型的网络,诸如例如内联网、局域网(LAN)、广域网(WAN)等。如上所述,图1旨在作为示例,而不是作为对所公开的主题的不同实施例的架构限制,并且因此,图1中所示的特定元素不应被认为是关于可以实现本发明的说明性实施例的环境的限制。
现在参考图2,示出了可以实现说明性实施例的各方面的示例性数据处理系统的框图。数据处理系统200是诸如图1中的客户端114之类的计算机的示例,实现本公开的说明性实施例的处理的计算机可用代码或指令可以位于其中。
现在参考图2,示出了可以实现说明性实施例的数据处理系统的框图。数据处理系统200是诸如图1中的服务器104或客户端110之类的计算机的示例,实现说明性实施例的处理的计算机可用程序代码或指令可以位于其中。在该说明性示例中,数据处理系统200包括通信结构202,该通信结构202提供处理器单元204、存储器206、持久性存储装置208、通信单元210、输入/输出(I/O)单元212和显示器214之间的通信。
处理器单元204用于执行可以被加载到存储器206中的软件的指令。处理器单元204可以是一个或多个处理器的集合,或者可以是多处理器内核,这取决于特定的实现方式。此外,处理器单元204可以使用一个或多个异构处理器系统来实现,其中主处理器与辅助处理器一起存在于单个芯片上。作为另一个说明性示例,处理器单元204可以是包含相同类型的多个处理器的对称多处理器(SMP)系统。
存储器206和持久性存储装置208是存储设备的示例。存储设备是能够临时地和/或持久地存储信息的任何硬件。在这些示例中,存储器206可以是例如随机存取存储器或任何其他合适的易失性或非易失性存储设备。持久性存储器208可以根据特定的实现方式采取各种形式。例如,持久性存储器208可以包含一个或多个组件或设备。例如,持久性存储装置208可以是硬盘驱动器、闪存、可重写光盘、可重写磁带或上述各项的某个组合。由持久性存储装置208使用的介质也可以是可移动的。例如,可移动硬盘驱动器可以用于持久性存储装置208。
在这些示例中,通信单元210提供与其他数据处理系统或设备的通信。在这些示例中,通信单元210是网络接口卡。通信单元210可以通过使用物理和无线通信链路中的一者或两者来提供通信。
输入/输出单元212允许与可以连接到数据处理系统200的其它设备进行数据的输入和输出。例如,输入/输出单元212可以通过键盘和鼠标提供用于用户输入的连接。此外,输入/输出单元212可以向打印机发送输出。此外,输入/输出单元可以提供与用于来自用户的音频输入的麦克风和用于提供来自计算机的音频输出的扬声器的连接。显示器214提供向用户显示信息的机制。
用于操作系统和应用或程序的指令位于持久性存储装置208上。这些指令可以被加载到存储器206中以供处理器单元204执行。不同实施例的处理可以由处理器单元204使用计算机实现的指令来执行,这些指令可以位于诸如存储器206之类的存储器中。这些指令被称为程序代码、计算机可用程序代码或计算机可读程序代码,其可以由处理器单元204中的处理器读取和执行。不同实施例中的程序代码可以体现在不同的物理或有形的计算机可读介质上,诸如存储器206或持久性存储装置208。
程序代码216以功能形式位于可选择性地移动的计算机可读介质218上,并且可以被加载到或传送到数据处理系统200以供处理器单元204执行。在这些示例中,程序代码216和计算机可读介质218形成计算机程序产品220。在一个示例中,计算机可读介质218可以采用有形形式,诸如例如光盘或磁盘,其被插入或放置到作为持久性存储装置208的一部分的驱动器或其他设备中,以便传送到存储设备上,诸如作为持久性存储装置208的一部分的硬盘驱动器。在有形形式中,计算机可读介质218还可以采取持久性存储装置的形式,诸如连接到数据处理系统200的硬盘驱动器、拇指驱动器或闪存。计算机可读介质218的有形形式也被称为计算机可记录存储介质。在一些情况下,计算机可记录介质218可以是不可移动的。
替选地,程序代码216可以通过与通信单元210的通信链路和/或通过与输入/输出单元212的连接从计算机可读介质218传送到数据处理系统200。在说明性示例中,通信链路和/或连接可以是物理的或无线的。计算机可读介质还可以采用非有形介质的形式,诸如包含程序代码的通信链路或无线传输。针对数据处理系统200示出的不同组件不意味着对可以实现不同实施例的方式提供架构限制。不同的说明性实施例可以被实现在包括对针对数据处理系统200示出的那些组件进行附加或替换的组件的数据处理系统中。图12中所示的其它组件可以与所示的说明性示例不同。作为一个示例,数据处理系统200中的存储设备是可以存储数据的任何硬件装置。存储器206、持久性存储装置208和计算机可读介质218是有形形式的存储设备的示例。
在另一示例中,总线系统可以用于实现通信结构202,并且可以包括一个或多个总线,诸如系统总线或输入/输出总线。当然,总线系统可以使用任何合适类型的架构来实现,该架构提供在附接到总线系统的不同组件或设备之间的数据传输。另外,通信单元可以包括用于发送和接收数据的一个或多个设备,诸如调制解调器或网络适配器。此外,存储器可以是例如存储器206或高速缓存,诸如在可以存在于通信结构202中的接口和存储器控制器集线器中找到的。
用于执行本发明的操作的计算机程序代码可以用一种或多种编程语言的任意组合来编写,该编程语言包括面向对象的编程语言(诸如JavaTM、Smalltalk、C++、C#、面向对象的C(Objective-C)等)以及传统的过程编程语言(诸如Python或C)。程序代码可以完全在用户的计算机上执行,部分在用户的计算机上执行,作为独立的软件包执行,部分在用户的计算机上并且部分在远程计算机上执行,或者完全在远程计算机或服务器上执行。在后一种情况下,远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机,或者可以连接到外部计算机(例如,通过使用因特网服务提供商的因特网)。
本领域的普通技术人员将理解,图1-图2中的硬件可以根据实现方式而变化。附加到或替代图1-图2中描绘的硬件,还可以使用其它内部硬件或外围设备,诸如闪存、等同的非易失性存储器或光盘驱动器等,同样,在不偏离所公开的主题的范围的情况下,还可以将示例性实施例的处理应用于除了前面提到的SMP系统之外的多处理器数据处理系统。
本文中描述的技术可以结合诸如图1中所示的标准客户端-服务器范例来操作,其中客户端机器与在一个或多个机器的集合上执行的因特网可访问的基于网络(Web)的门户进行通信。终端用户操作能够访问门户并且与门户进行交互的可连接因特网的设备(例如,台式计算机、笔记本计算机、支持因特网的移动设备等)。通常,每个客户端或服务器机器是诸如图2中所示的包括硬件和软件的数据处理系统,并且这些实体通过诸如因特网、内联网、外联网、专用网、或任何其它通信介质或链路之类的网络彼此通信。数据处理系统通常包括一个或多个处理器、操作系统、一个或多个应用、以及一个或多个实用程序。
现在将参考示例性的附图在本文中更全面地描述实施例。然而,本发明可以以许多不同的形式实施,并且不应被解释为限于本文中阐述的示例实施例。提供实施例以便本公开传达本发明的原理;如本领域技术人员将理解的,这些实施例的变型在本发明的范围内。在描述中,可以省略公知的特征和技术的细节,以避免不必要地模糊所呈现的实施例。
在本发明的实施例中,当参与者发信号表示他们想要询问问题时,在系统允许问题被转发给呈现者、或者允许参与者麦克风对于网络(web)会议被取消静音之前,系统记录参与者的口头问题。这使得系统能够在后台进行操作的同时保持或缓冲问题。自然语言处理(NLP)模块将把问题表现为可使用的形式,以执行查找对该问题的回答是否已经在呈现中。搜索模块使用NLP输出来理解由用户所说的问题,并且如果在呈现中存在回答,则生成回答。在实施例中,如果对问题的回答已经被先前的幻灯片回答,则通过将参与者引向先前的幻灯片或者在新的弹出窗口中向用户呈现回答。在本发明的实施例中,如果回答将被未来幻灯片回答,则系统将向用户通知问题将在未来被解决。替选地,弹出窗口可以向用户呈现未来幻灯片中的回答。在其它实施例中,用户问题是以书面形式而不是以口头形式输入的。用于输入问题的界面也可以用于呈现回答,例如,类似于聊天的用户界面。
在一些实施例中,系统将分析用户的问题以确定它是否适合于呈现,例如,它是否在呈现的范围内,以避免将会偏离该呈现的问题。如果认为不合适,则系统将阻止问题中断该呈现。可以向询问范围外问题的参与者发送通知。在一些实施例中,范围外问题被收集并且在稍后被转发给呈现者,使得呈现者可以使用不同的手段(诸如电子邮件)来回答该范围外问题。
如果系统确定问题尚未在呈现材料中被回答,问题适合于呈现并且没有未来内容将解决该问题,则系统将取消参与者的静音。呈现者将听到问题,可能会有一定延迟,但是问题最终将被转达给呈现者。呈现者可以设计呈现,以使得可以在呈现中的预定时间或间隙而周期性地将问题转发给呈现者。在本发明的实施例中,模块将在来自呈现者的呈现中设定一组断点。在呈现正被呈现的同时,系统将确定该组断点中的下一个断点何时将在呈现中。系统将在从缓冲状态释放用户问题之前等待,直到下一个断点为止。
在替选实施例中,系统可以确定呈现者是否正在说话并且等待呈现中的间隙以转达问题。在其他实施例中,诸如幻灯片改变之类的演示中的自然中断可以是触发将问题转达给呈现者的事件。在参与者正在等待的同时,在一些实施例中可以向参与者发送他的问题在队列中的通知。
在本发明的实施例中,呈现材料可以由附加的问题和回答材料来扩充。例如,由于呈现者可能在先前的日期已经给出了特定的呈现或类似的呈现,来自先前会话的问题和回答被存储在常见询问问题(FAQ)数据库中。如果呈现者是主题专家,则可能存在其它准备好的材料可以扩充呈现材料。在一些实施例中,使用聊天机器人(Chatbot)在聊天界面中向提问参与者呈现回答。
在本发明的实施例中,系统将按照意图对问题进行分组,即,对来自多个参与者的问题进行分组,以防止相同的问题被转达或询问。在本发明的实施例中,针对尚未被呈现所回答的问题或与呈现相关的支持材料进行分组。具有最高频率的一组问题可以被移动到用于呈现者的队列的前面以首先解决。可以对该组相似问题执行NLP分析,以确定哪个是该组问题中的最完整或最具代表性的问题。仅将该组问题中的最完整或最具代表性的问题或该组问题的精简子集转发给呈现者。
图3中描绘了本发明的一个实施例,在步骤301中,根据本发明的实施例建立电话会议系统。在该实施例中,根据需要,将呈现下载给参与者。使用如本文中所述的查询缓冲功能来启用音频和聊天功能。即,不是立即将问题转发给呈现者,而是进行缓冲,使得可以在不中断呈现的情况下进行附加处理。在该步骤中,查询缓冲机制开始监听音频会话并且处理用于呈现的聊天。与本发明特别相关的是,针对用于呈现者的问题来查看参与者输入。在优选实施例中,这些任务由智能监听器模块执行。
在步骤303中,使用自然语言处理(NLP)模块。在前一步骤中,呈现被转换成可使用格式,例如被写入到“文档”,使得随着呈现的进行,用户上下文可以被抽象,使得用户问题可以在上下文中被理解,从而创建问题的用户上下文。在该实施例中,“上下文文档”采用可使用的格式,使得它稍后可以在处理中被查询。上下文文档可以对包含何时在呈现中呈现幻灯片的时间参照,以及还可以包含对来自呈现者和其他参与者的音频的NLP表现(render)的时间参照。上下文文档用于确定用户问题的当前上下文,以便可以选择呈现材料中最相关的内容。在优选实施例中,呈现材料被机器学习组件摄取以创建可使用的格式。在本发明的实施例中,使用IBM WatsonTM系列产品中的产品来创建上下文文档。如所描述的,呈现材料包括书面材料和视听材料以及由系统捕获的音频流和聊天流。在步骤305中,该信息也以数据库或其他合适的格式被选择性地存储在常见询问问题(FAQ)数据库或其他合适的知识存储库中。
在步骤307中,用户在呈现期间在音频通道或聊天通道中询问问题。在步骤309中,问题被暂时延迟和静音(如果需要的话),以便可以在不中断呈现的情况下进行附加的处理。在步骤311中,NLP模块将问题的含义导出为可使用的形式。在步骤313中,系统确定是否在呈现中回答了问题。在该步骤中,系统查看在呈现中(或者在问题被询问的时间之前,或者在将在呈现之后被呈现的幻灯片中)已回答的一组问题。在本发明的实施例中,针对呈现期间的会话(例如存储在上下文文档和呈现文档中),使用认知发现功能来检测问题是否已经被回答或将被回答。由认知发现功能参考在步骤303中创建的上下文文档来确定用户问题的当前上下文,以便可以选择呈现材料中最相关的内容。
在其它实施例中,在FAQ数据库中对问题和回答进行索引,并且系统使用搜索引擎来查找回答。
如果回答了问题,则在步骤315中,系统在呈现的持续时间内保持来自用户参与者的问题,并且在该特定用户的界面中显示回答。此外,在该步骤中,如果问题将在即将到来的材料中被回答,则系统维持对来自用户的问题的保持,并且向用户通知该问题将在即将到来的材料中被回答。
本发明的实施例确定问题是否在呈现的范围之外/不适合于呈现。例如,关于大学足球的问题可能被认为在关于机器学习的呈现的范围之外。确定问题是否在范围之外可以通过语义分析来执行,该语义分析将问题中使用的字词与呈现中的关键词集合进行比较。如果问题在范围之外,则系统在呈现的持续时间内保持来自用户的问题,并且在呈现之后将该问题通知给呈现者。系统还在通知中向参与者通知该问题在呈现的范围之外。该通知可以向参与者通知该问题正被转发给呈现者以便稍后做出响应。呈现者可能想在呈现之后使用另一通道来跟进用户,或者考虑系统是否已正确地将问题分类为在范围之外或不适合。在呈现的未来版本中,呈现者可能想将问题包括在呈现中或FAQ集合中。
如果在呈现或支持材料中没有回答问题,则在缓冲之后,系统允许问题通过而到达呈现者。
在本发明的实施例中,按照意图对在呈现或支持材料中没有回答的问题进行分组,以防止重复。一旦从相应的组中消除了重复,系统就允许剩余的问题(即缩减的问题组)通过网络(web)会议用户界面而到达呈现者。系统可以挑选具有相同意图的问题组中的最完整或最具代表性的问题,使得缩减的问题组可以是单个问题。
问题和回答被系统记录。在本发明的实施例中,已回答和未回答的问题都被馈送到学习机制中以提高系统质量。通过向FAQ集合添加新的问题和回答以及理解用户询问关于呈现主题的问题的不同方式,可以提高系统质量。此外,所记录的问题和回答向呈现者提供信息以了解观众感兴趣的主题。
在上述实施例中,假定回答不在当前幻灯片中,因为这是不寻常的情况。然而,在替选实施例中,这可能是让参与者提出问题的适当时间,并且应当被允许。在该实施例中,认知发现功能确定回答在当前幻灯片中。在实施例中,可以通过认知发现功能在界面内向用户示出当前幻灯片中的回答问题的特定位置。用户可能感觉幻灯片没有解决问题。在附加的用户输入(例如“这回答了您的问题,是,否?”)的情况下,并且因此在否定响应的情况下,系统向呈现者呈现问题。
虽然上述实施例设想了参与者利用口头问题来联系呈现者的音频/视频呈现,但是在本发明的其他实施例中,参与者使用输入问题的书面界面来联系呈现者。尽管书面问题不会分散一组参与者的注意力,但是呈现者所看到的问题可能仍然会分散呈现者的注意力,并且在呈现者的注意力分散的情况下,呈现将受到影响。
在本发明的实施例中,呈现的音频通道上的来自呈现者的音频被NLP应用捕获和分析,并且被转换成可以被学习系统使用的形式。因此,可能已经包括文本和图像信息两者的呈现材料(例如幻灯片)被由演示者所说的实际字词补充。这些字词还可以提供对参与者的问题的回答。在缓冲时段之后被允许成为呈现的一部分的来自其他参与者的口头字词也可以用于确定问题的上下文。在本发明的实施例中,那些字词也将成为上下文文档的一部分。
图4描绘了用于使系统准备进行网络(web)会议的本发明的实施例的流程图。在步骤401中,通过机器学习来摄取呈现,使得系统可以在呈现期间在呈现内容中搜索对由网络(web)会议中的参与者所询问的问题的回答。在本发明的实施例中,回答可以按层次结构进行分层:1)呈现对问题的简单回答:Q:什么是北美体积最大的瀑布?A:尼亚加拉瀑布;2)幻灯片,在该幻灯片上出现回答;以及3)选择与所理解的问题有关的FAQ。回答的层次结构可以由第一面板中的超链接或其他GUI控件来链接。机器学习从呈现准备材料,使得Q&A界面可以被呈现给未来的网络(web)会议中的参与者。尽管未示出,但是该信息可以被添加到FAQ数据库。
在步骤403中,系统确定是否存在网络(web)会议呈现的先前版本。如果是,则在步骤405中,摄取先前呈现以及任何相关联的问题和回答、FAQ数据库以及被标记为与该先前呈现相关联的其它材料。注意,这些材料可能已经通过机器学习来摄取和分类,并且因此该步骤可以是将已经摄取的材料与当前呈现相关联的问题。步骤407表示与先前呈现相关联的所有摄取材料可以被存储在单个FAQ数据库中,而不是多个信息类型中。在相关材料以多种形式存储的其它实施例中,将呈现信息存储在FAQ数据库中可能仍然有用。然而,在本发明的一些实施例中不执行该步骤。
可以存在由呈现者准备的与主题有关的其它材料。可能存在呈现者知道但是由其他人准备的相关材料。这可能是呈现者第一次准备了关于该主题的呈现。因此,在步骤409中,系统搜索呈现者已指定为与当前呈现有关的其它材料。在优选实施例中,为了向呈现者给予控制的措施,仅使用由呈现者指定的那些材料。在替选实施例中,可用知识的一般搜索可以由系统来进行,并且被系统摄取。在步骤411中,摄取其它相关材料。在相关材料被编译到FAQ数据库中的实施例中,在步骤413中,有关的相关摄取材料被添加到FAQ数据库。
一旦该呈现、该呈现的先前版本和相关材料已经被摄取并且被转换成可使用的形式,则在步骤415中,处理结束。本领域技术人员将注意到,在不同的实施例中,信息可以被转换成多种不同的形式。
图5是本发明的一个实施例的架构图。一组参与者501和提问者参与者503经由网络505连接到呈现者507。网络(web)会议由网络(web)服务508来运行。
在一些实施例中,网络(web)服务被划分成多个模块。例如,自然语言模块(NLP)509被用于理解由参与者提出的问题,并且将它们转换为用于网络(web)服务中的其他模块的可使用的格式。NLP模块509可以在按需的基础上为网络(web)服务中的其他模块执行其他NLP任务。图形用户界面模块511用于呈现该呈现者的呈现,即在适当的时间改变幻灯片,呈现聊天界面,并且还用于呈现本发明的问题和回答界面,无论是在聊天界面内还是在另一个界面内。
搜索模块513用于在呈现和所指定的相关材料中搜索对一个或多个当前提出的问题的回答。在一些实施例中,搜索模块仅在实际呈现中搜索回答。然而,在优选实施例中,系统已经将来自该呈现、先前相关呈现或所指定的“相关”材料的材料进行索引或摄取到数据库或其他可使用的格式中。
在本发明的实施例中,可以在智能监听器模块515和动作模块517中找到系统的许多方面。监听器模块515将对来自参与者的响应进行识别、分类和分组,以便系统或呈现者可以适当地进行响应。观众参与者501、503使用音频或文本(聊天)界面来提交响应。监听器模块可以对响应进行分类,即,响应是问题、反馈、投票、评论还是投诉。在本发明的实施例中,经分类的响应使用具有权重和更多信息的响应类型来帮助所需动作的优先级(例如,问题、投诉、高优先级)。在本发明的实施例中,仅问题或投诉将被转发给呈现者,因为需要对这些分类中的输入采取动作。该步骤确定响应或问题与呈现的相关程度。如果问题或回答是相关的,则存在分配给回答的更高权重。也就是说,更高的权重将更可能创建对呈现的中断。如果响应或问题是不相关的,则系统丢弃响应,或者将其添加到可以由呈现者在稍后时间解决的问题列表。本机地(natively)或者通过NLP模块509,监听器模块515优选地采用语义内容分析。在在线会议会话期间使用语义内容分析来理解来自参与者的问题。例如,语义内容分析针对与从摄取处理创建的内容文档的搜索相关的术语来执行对初始问题/响应中的术语和字词的分析。语义内容分析也可以用于分析呈现者的音频,以准备用于将参与者的问题置于适当上下文中的上下文文档。
在本发明的实施例中,通过登录或基于IP的信息来识别网络(web)会议参与者。在一些实施例中,可以根据基于梅尔(Mel)频率倒谱(Cepstral)系数(MFCC)的发言者标识来识别发言者(即,呈现者、提问者、其他参与者)。诸如长期短期记忆(LSTM)或其他人工递归神经网络(RNN)架构之类的机器学习被智能监听器模块用于命令或问题缓冲。
在本发明的实施例中,由监听器模块515执行以下操作。来自参与者问题的信息通过句子解析器来运行,并且获得经解析的标志(token)。语义自适应搜索方法用于缩小数据库(例如FAQ数据库)中的搜索范围,以便经由NLP从呈现或伴随的数据库中找到相关回答。MFCC应用或其他方法可以用于发言者识别,这对于建立问题的上下文是有用的。
在实施例中,监听器模块515使用统计聚类和分类方法来提取参与者问题的音频和视觉上下文会话信息特征,对特征空间进行索引,以及将相关信息和其他信息分类到语义类别中。作为统计聚类的示例,在某些实施例中使用K均值聚类对相关数据进行聚类。如在别处提到的,有监督的或无监督的学习用于对数据进行标记。如已知的,欧几里得距离的加权变化可以用于短语比较,以确定当前问题是否类似于由参与者提出的其它问题。在实施例中,欧几里得距离将问题的特征向量中的所有分量与其它问题的相似分量的相等权重进行比较。监听器模块515然后消除给定问题组中的重复问题以创建缩减的问题组。在一些实施例中,对问题进行分组用于在呈现或支持材料中未被回答的那些问题。在呈现或支持材料中被回答的问题可以通过对用户的适当通知来处理。
监听器模块515对类似的问题进行计数和分组,以识别事件/问题的严重性。例如,在如下事件中,50%的远程观众正在询问问题,因为他们无法看到呈现屏幕,所以需要将事件/问题立即显现给呈现者,以便可以纠正或重新开始网络(web)会议。
监听器模块515将语义分析和聚类的结果移交给动作模块517。
动作模块517负责决定是否中断呈现者,以向呈现者警告参与者问题或高严重性事件,该高严重性事件影响需要立即关注的多个参与者。需要立即关注的呈现行为的示例包括视频或音频问题,该视频或音频问题可以通过增加呈现者的音量、推进幻灯片或最大化该呈现的项目上的显示来纠正。动作模块517还做出不打断呈现者的决定,而是向参与者呈现回答。
由动作模块517所采取的动作可以从手动模式配置到自动模式。手动模式可以用于允许系统来配置监听器模块515,以收集特定数据并且基于用户选择的模式对它们进行评分。例如,在自动模式中,监听器模块515可以监听呈现通道中的在线观众导航,并且决定许多与会者的行为指示需要改变。例如,当许多与会者正在试图增加语音或增大屏幕时,这将向监听器模块指示在呈现中存在不清楚的东西。呈现中的不清晰可能是由于语音、幻灯片、文本、慢连接问题而造成的。如果大多数参与者共享相同的行为,那么这将倾向于导致动作模块517中断呈现者以纠正该情形。动作模块可以建议推荐的动作。在本发明的实施例中,动作模块提供弹出通知,以通知呈现者或主管管理员来修改呈现,例如提高音量,或者在严重问题中,重新连接参与者以清除由与会者正在经历的问题。
在手动模式中,呈现者对呈现具有更大的控制。呈现者可以选择手动地探查由语音清晰度所需的设定。在手动模式中,呈现者可以选择动作模块517如何处理关于问题和反馈的动作。也就是说,呈现者可以指定在呈现期间何时呈现问题,例如,仅在幻灯片之后,或者在呈现中的指定点处。通过将问题限制到呈现中的指定点,该选择将具有如下效果:合并参与者问题,以避免重复问题。
在本发明的实施例中,监听器模块将继续将适当的信息移交给动作模块。
常见询问问题数据库519表示如下数据库,该数据库包含来自已被呈现者指定为与当前呈现有关的相关材料或过去呈现的数据。在一些情况下,呈现者是关于当前主题的主题专家(SME)。可以存在呈现者网站,在该呈现者网站中存在论坛,在该论坛中,SME或其他论坛成员回答追随者(follower)的问题,或者呈现者可以是社交媒体网站上的专家,在该社交媒体网站中,追随者的问题被呈现并且被回答。另外,呈现者可能已经对该主题进行了重要的研究。所有这些可以提供附加材料,该附加材料可以提供对参与者的问题的回答。根据感知到的相关信息的可靠性,呈现者可以将来自这些源的信息指定为与呈现相关。此外,当参与者对信息进行深入研究时,呈现者可以将相应信息指定为属于要在界面中显示的信息层次中的特定级别。呈现者可以根据感知到的信息的准确性来编辑或注释FAQ数据库519中的信息。
在本发明的一些实施例中使用机器学习模块521。在实施例中,动作模块可以使用历史数据来学习所推荐的动作与由呈现者指定的会议设置。在用作输入特征的特征当中,包括网络(web)会议呈现是否包括远程参与者,以及如果是,包括多少或什么比例、呈现的主题或标题、会议观众的数量、观众的会议线路数量以及用于连接到会议的通道。
在本发明的一些实施例中,机器学习模块521还被用来摄取来自呈现、先前相关呈现和其它相关材料的信息。在一些实施例中,机器学习521被用来提供对参与者问题的回答。如已知的,可重新配置的权重被应用于数据输入集合以确定机器学习的输出。作为在一些实施例中用于图像分析的合适的机器学习的示例,用于区域卷积神经网络(R-CNN)上下文分析的OpenCV的Python+工作流使得动作模块能够执行推荐的动作集合。如本领域技术人员已知的,OpenCV是图像分割算法。在本发明的实施例中,系统捕获呈现中的信息。由于呈现将最可能具有图像,所以系统将需要从图像中提取信息。
对于文本和音频信息,可以使用其他已知的算法来提取信息。例如,可以使用自然语言处理(NLP)来执行文本转录。可以使用已知的语音识别算法来分析音频信息。
图6描绘了用于进行网络(web)会议的本发明的另一个实施例的流程图。元素601示出了在呈现期间可能发生的聊天。由于空间限制,呈现本身未被示出,但是也将被显示在屏幕上。本领域技术人员将理解,聊天可以是参与者、聊天机器人(chatbot)和呈现者(主持人)之间的口头聊天通道。
如屏幕中所显示的,聊天包含来自用户1的第一个问题:“什么时间传送?”,继之以来自呈现者(主持人)的响应:“10AM”。这示出了聊天机器人无法在呈现材料中找到回答的情况。聊天还包含来自用户2的第二个问题:“谁是我们的联系人?”。在这种情况下,系统可以响应“鲍勃”,因为这个回答在呈现或支持材料中。它可以是在先前呈现中由另一个用户询问的问题。聊天还包含来自用户2的响应:“谢谢”。系统可以将此识别为愉快,这不是需要被响应的问题。一些聊天机器人被编程为响应于这样的愉快。然而,在优选实施例中,系统被编程为不因某些类型的用户输入(诸如愉快、反馈、投票、评论或投诉,其不是针对呈现者的问题)而中断呈现。
在该实施例中,聊天机器人603使用自然语言API与用户进行交互。在步骤605中根据所理解的字词来记录会话。在一些实施例中,还可以产生索引文档607以供搜索引擎使用。索引文档可以包括来自呈现者的音频、当幻灯片改变时的时间戳以及与呈现有关的其它项目,以改进搜索结果。机器学习系统609可以采用认知发现功能来读取记录的或索引的会话,并且创建对索引文档607进行补充的注释。在本发明的一些实施例中,索引文档607还包含呈现材料和支持材料。
步骤611表示聊天的一部分:问题“谁是我们的联系人?”。如步骤613中所示,聊天机器人的自然语言API检测到该短语是应当接收响应的问题。在步骤615中,在处理查询的同时,系统引入延迟,从而缓冲该问题。在步骤617中,机器学习609确定是否回答了问题。对于该问题,机器学习609确定在呈现或支持材料中回答了该问题。因此,在步骤619中,它不允许问题被转达给呈现者并且进行响应,“您的问题先前被回答了。会议联系人是鲍勃”。相反,如果没有回答问题,例如,先前的问题“什么时间传送?”,则在步骤621中,系统停止问题的延迟,并且允许问题通过网络(web)会议通道而到达主持人呈现者,从而主持人可以进行响应“10AM”。
图7是根据本发明的实施例的用于用户的用户界面的图。在第一面板701中,用户将问题:“什么是强化机器学习?”键入到NLP界面中。在这种情况下,系统能够在呈现材料中找到回答并且进行响应:在幻灯片4中找到对您的问题的回答。幻灯片4的缩略图可以被呈现在面板中。
在第二面板703中,用户键入问题:“我何时应该使用机器学习?”。在这种情况下,聊天机器人不能在呈现材料中找到回答,但是能够找到一些看起来相关的FAQ。系统进行响应:请参考下面的FAQ,其可以回答您的问题:1)有监督的ML使用;2)无监督的ML使用;3)神经网络使用。FAQ的列表包含整个FAQ文本,或者可以是具有到全文本的超链接的摘要,这取决于面板中的可用显示空间。
在第三面板705中,用户键入问题:“使用什么聚类算法?”。在该示例中,系统不能在呈现或支持材料中找到合适的回答。相反,系统进行响应:“您的问题在用于呈现者的队列中”,表示该问题已经被转发给呈现者。
图8描绘了用于在网络(web)会议期间收集问题和回答相关信息的本发明的实施例的流程图。收集该信息增加了基于反馈学习的系统的质量。该信息被用于持续地训练新问题的相关性得分的系统。实施例允许主动学习处理来改进呈现材料。例如,在呈现之后,呈现者可以查看由参与者所询问的问题,并且手动地标记高度相关的问题。机器学习基于与呈现的内容相似性将一些问题指定为值得呈现者关注的问题,并且还标记与呈现不相关的其他问题。
在步骤801中,从网络(web)会议参与者接收问题。在步骤803中,系统确定该问题是否与先前已经询问的问题相似。用于确定相似性的方法可以是语义分析,如上面用于队列中问题的方法那样。替选地,在该步骤中,基于FAQ数据库中的FAQ或其他支持材料来进行类似问题的确定。如果问题与已经询问的问题相似,则系统从队列中移除该问题,以便呈现者不会面临经历重复问题的任务。在一些实施例中,在移除问题之前,可以记录在呈现中被询问的相似问题的数量和次数。将优先级给予最常见询问问题提高了系统和呈现的质量。
如果不是,则在步骤805,系统将问题添加到呈现者。在一些实施例中,将问题被提问的时间添加到问题队列,以帮助向呈现者和/或系统提供上下文。在步骤807中,执行搜索以确定在支持材料中是否存在回答。支持材料可以包括呈现、呈现的先前版本、FAQ数据库以及呈现者已选择为与呈现有关的其它支持材料。支持材料还可以包括刚刚进行的呈现的问题和回答。参与者对所呈现的回答的反应(例如参与者是否接受回答或询问新的相关问题)被用作回答是否被认为正确的指示。在步骤809中,系统将候选回答添加到呈现者问题队列。
在步骤811中,呈现者接受对问题的候选回答之一,或者提供替选回答。在步骤813中,呈现者可以决定将问题和回答添加到FAQ或其它支持材料。或者,基于参与者反馈,在步骤815中,因为大量参与者对于材料被呈现的方式具有问题或疑问,呈现者可以决定将材料添加到呈现。在步骤817中,从队列中移除当前问题。尽管在附图中未示出,但是问题和回答可以被顺序地呈现给呈现者,并且因此每个单独的提问或问题可以被单独地呈现,因此流程图将返回到步骤811。一旦所有问题已被呈现者解决,则在步骤819中,处理结束。
如上所述,在本发明的实施例中,通过基于机器学习的处理来执行对呈现、先前相关呈现和所指示的相关材料的摄取。在这些实施例中,使用余弦相似性来识别相对于先前询问的问题的相似信息,并且确定与呈现的相关性或者甚至与当前呈现的先前呈现内容的相关性。在这样的实施例中,NLP用于实体识别,而余弦相似性用于内容信息中的相关性。
与现有技术相比,本发明具有许多优点。通过缓冲问题并且在上下文中允许问题被转发给呈现者,以最少的不需要的中断来执行呈现。这增加了对于所有参与者的呈现质量。通过确定问题/评论的上下文,即基于对参与者响应的类型的识别,仅将问题和相关问题转发给呈现者。如果呈现者在网络(web)会议期间没有或将不回答类似问题(在这种情况下,系统对参与者进行响应),则转达给呈现者的问题在呈现中的适当时间被转发,以优化需要的中断。如果问题已经被回答,则参与者将保持静音,并且系统将弹出提供回答的通知。在一些实施例中,在呈现期间,经由参与者的屏幕上的聊天机器人或者经由仅在参与者的线路上的语音接口来提供回答。以这些方式,参与者的问题将不会在会议会话期间干扰呈现者和其他参与者。
如果问题内容将在未来呈现,则将通过类似的方式向用户通知该主题将在不久的未来被解决。另外,系统将筛选不适当的或在范围之外的问题,以防止会议被延迟或偏离主题(sidetrack)。
描述该方法的步骤的顺序不是旨在被解释为限制,并且任何数量的所描述的方法框可以以任何顺序组合以实现该方法或替选方法。另外,在不偏离本发明的实施例的范围的情况下,可以从方法中删除各个框。
本领域技术人员将理解,模块之间的任务划分是示例性的,并且本发明的其他实施例将不同地划分任务。此外,在以下描述示例性处理时,参考流程图描述处理的顺序不是旨在被解释为限制,并且任何数量的所描述的方法框可以以不同的顺序组合以实现该方法或替选方法。另外,在不偏离本文中描述的主题的范围的情况下,可以从该方法中删除各个框。
尽管已经描述了优选的操作环境和用例,但是本文中的技术可以在期望部署服务的任何其他操作环境中使用。
如已经描述的,上述功能可以被实现为独立的方法,例如由一个或多个硬件处理器执行的一个或多个基于软件的功能,或者它可以作为受管理的服务(包括作为经由SOAP/XML或RESTful接口的网络(web)服务)来使用。本文中描述的特定硬件和软件实现细节仅用于说明性目的,而不意味着限制所描述的主题的范围。
更一般地,在所公开的主题的上下文中的计算设备各自都是包括硬件和软件的数据处理系统,并且这些实体通过网络(诸如因特网、内联网、外联网、专用网络或任何其它通信介质或链路)彼此通信。数据处理系统上的应用提供对网络(web)和其它已知服务和协议的本机支持,包括但不限于对HTTP、FTP、SMTP、SOAP、XML、WSDL、UDDI和WSFL等的支持。关于SOAP、WSDL、UDDI和WSFL的信息可从万维网联盟(W3C)获得,万维网联盟负责开发和维护这些标准;关于HTTP、FTP、SMTP和XML的进一步信息可从因特网工程任务组(IETF)获得。
除了基于云的环境之外,本文中描述的技术可以在各种服务器侧架构中或结合各种服务器侧架构来实现,包括简单的n层架构、网络(web)门户、联合系统等。
更一般地,本文中描述的主题可以采取完全硬件实施例、完全软件实施例或包含硬件和软件元素两者的实施例的形式。在优选实施例中,模块功能以软件来实现,该软件包括但不限于固件、驻留软件、微代码等。此外,接口和功能可以采取可从计算机可用或计算机可读介质访问的计算机程序产品的形式,该计算机可用或计算机可读介质提供由计算机或任何指令执行系统使用或与计算机或任何指令执行系统结合使用的程序代码。为了本说明书的目的,计算机可用或计算机可读介质可以是能够包含或存储由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序的任何装置。该介质可以是电、磁、光、电磁、红外或半导体系统(或装置或设备)。计算机可读介质的示例包括半导体或固态存储器、磁带、可移动计算机盘、随机存取存储器(RAM)、只读存储器(ROM)、硬磁盘和光盘。光盘的当前示例包括紧凑盘只读存储器(CD-ROM)、紧凑盘读取/写入(CD-R/W)和DVD。计算机可读介质是有形的、非暂态的物品。
计算机程序产品可以是具有用于实现一个或多个所描述的功能的程序指令(或程序代码)的产品。这些指令或代码可以在通过网络从远程数据处理系统下载之后存储在数据处理系统中的计算机可读存储介质中。或者,这些指令或代码可以存储在服务器数据处理系统中的计算机可读存储介质中,并且适于通过网络下载到远程数据处理系统,以在远程系统内的计算机可读存储介质中使用。
在代表性实施例中,在专用计算平台中,优选地以由一个或多个处理器执行的软件来实现技术。软件被维持在与一个或多个处理器相关联的一个或多个数据存储库或存储器中,并且软件可以被实现为一个或多个计算机程序。总的来说,该专用硬件和软件包括上述功能。
在优选实施例中,本文中提供的功能被实现为现有云计算部署管理解决方案的附件或扩展。
虽然以上描述了由本发明的某些实施例执行的操作的特定顺序,但是应当理解,这样的顺序是示例性的,因为替选实施例可以以不同的顺序执行操作、组合某些操作、重叠某些操作等。说明书中对给定实施例的引用指示所描述的实施例可以包括特定特征、结构或特性,但是每个实施例可能不一定包括该特定特征、结构或特性。
在本文中描述的本发明的优选实施例中,提供了一种用于控制基于网络(web)的呈现的方法,包括:分析基于网络(web)的呈现的内容;从通信地耦合到基于网络(web)的呈现的用户终端接收用户问题;在基于所分析的内容确定回答用户问题的内容是否被呈现在呈现中的同时,缓冲用户问题,其中,该确定包括回答内容是否将被呈现在呈现中;以及响应于该确定,修改基于网络(web)的呈现的用户界面。该方法还可以包括:响应于确定回答内容被呈现在呈现中,将用户问题保持在缓冲状态中,并且在用户界面中向用户提供与回答内容有关的通知。该方法还可以包括:响应于确定内容未被呈现在呈现中,从缓冲状态释放用户问题,以允许用户问题被转发给基于网络(web)的呈现的用户界面中的该呈现的呈现者。该方法还可以包括:分析呈现的呈现内容,其中,呈现内容包括在呈现的音频通道上呈现的口头信息和在呈现的视觉通道上呈现的视觉信息;使用所分析的呈现内容来创建上下文文档;以及使用上下文文档来确定用户问题的当前上下文。
最后,虽然已经单独描述了系统的给定组件,但是本领域普通技术人员将理解,一些功能可以在给定指令、程序序列、代码部分等中组合或共享。
Claims (20)
1.一种用于控制基于网络的呈现的方法,包括:
分析所述呈现的呈现内容和未来内容;
从通信地耦合到所述基于网络的呈现的用户终端接收用户问题;
在基于所分析的内容来确定回答所述用户问题的内容是否已经或将被呈现在所述呈现中的同时,缓冲所述用户问题;以及
响应于所述确定,执行以下各项之一:
响应于确定所述回答内容已经或将被呈现在所述呈现中,将所述用户问题保持在缓冲状态中,并且在用户界面中向用户提供与所述回答内容有关的通知;或
响应于确定所述内容尚未被呈现并且将不被呈现,从所述缓冲状态释放所述用户问题以允许所述用户问题被转发给所述呈现的呈现者。
2.根据权利要求1所述的方法,其中,响应于确定所述回答内容已经被呈现,所述方法还包括在所述用户界面中的所述通知中向用户提供所述回答内容。
3.根据权利要求1所述的方法,其中,响应于确定所述回答内容将被呈现,所述方法还包括在所述通知中包括所述回答内容将被呈现在所述呈现中。
4.根据权利要求1所述的方法,其中,分析所述呈现的即将到来的内容包括分析所述呈现中的视觉信息和所述呈现的注释。
5.根据权利要求1所述的方法,还包括防止所述用户问题被转发给呈现者。
6.根据权利要求1所述的方法,还包括分析所述呈现的呈现内容,所述呈现内容包括所述呈现的音频通道上的口头信息和所述呈现的视觉通道上的视觉信息。
7.根据权利要求1所述的方法,其中,接收多个用户问题,并且针对所述问题中的每个问题执行所述分析、接收和缓冲,所述方法还包括:
在确定之后,对于确定所述内容尚未被呈现并且将不被呈现的问题,并且在释放用户问题之前,执行以下各项:
对从多个参与者接收到的问题集合进行分组,其中,所述问题是按照相应问题的意图来分组的;
对于每个问题组,消除重复的问题以创建缩减的问题组;以及
将所述缩减的问题组转发给所述呈现者。
8.根据权利要求1所述的方法,还包括:
基于频率确定相应问题组的优先级;以及
基于最高优先级将缩减的问题组转发给所述呈现者。
9.一种装置,包括:
处理器;
保持计算机程序指令的计算机存储器,所述计算机程序指令由所述处理器执行以用于控制基于网络的呈现,所述计算机程序指令包括:
用于分析所述呈现的呈现内容和未来内容的程序代码;
用于从通信地耦合到所述基于网络的呈现的用户终端接收用户问题的程序代码;
用于在基于所分析的内容来确定回答所述用户问题的内容是否已经或将被呈现在所述呈现中的同时,缓冲所述用户问题的程序代码;以及
用于响应于所述确定,执行以下各项之一的程序代码:
响应于确定所述回答内容已经或将被呈现在所述呈现中,将所述用户问题保持在缓冲状态中,并且在用户界面中向用户提供与所述回答内容有关的通知;或
响应于确定所述内容尚未被呈现并且将不被呈现,从所述缓冲状态释放所述用户问题以允许所述用户问题被转发给所述呈现的呈现者。
10.根据权利要求9所述的装置,还包括:
用于响应于确定所述回答内容已经被呈现,在所述用户界面中的所述通知中向用户提供所述回答内容的程序代码。
11.根据权利要求9所述的装置,还包括:
用于接受所述呈现中的一组断点的程序代码;
用于确定所述一组断点中的下一个断点何时将在所述呈现中的程序代码;以及
用于在从所述缓冲状态释放所述用户问题之前等待,直到所述下一个断点为止的程序代码。
12.根据权利要求11所述的装置,还包括用于在所述系统等待所述下一个断点的同时提供所述问题在队列中的通知的程序代码。
13.根据权利要求9所述的装置,还包括:
用于确定是否存在与所述基于网络的呈现有关的先前呈现材料或指定相关材料的程序代码;
用于将先前呈现材料或指定相关材料包括在呈现材料集合中的程序代码;
用于在运行所述基于网络的呈现之前分析所述呈现材料集合的程序代码;
用于从所述呈现材料创建知识源的程序代码;
用于确定所述知识源中是否存在针对用户问题的回答内容的程序代码;以及
用于在所述通知中使用所述知识源中的所述回答内容的程序代码。
14.根据权利要求9所述的装置,还包括:
用于过滤多个用户问题以找到其中确定所述内容尚未被呈现并且将不被呈现的用户问题集合的程序代码;
用于对来自从多个参与者接收到的问题集合的相应问题进行分组的程序代码,其中,所述问题是按照相应问题的意图来分组的,从而产生至少第一组问题;
用于确定哪个是第一组问题中的最完整或最具代表性的问题的程序代码;以及
用于将所述第一组问题中的最完整或最具代表性的问题转发给所述呈现者的程序代码。
15.一种在非暂态计算机可读介质中的计算机程序产品,用于在数据处理系统中使用,所述计算机程序产品保持由所述数据处理系统执行的用于控制基于网络的呈现的计算机程序指令,所述计算机程序指令包括:
用于分析所述呈现的呈现内容和未来内容的程序代码;
用于从通信地耦合到所述基于网络的呈现的用户终端接收用户问题的程序代码;
用于在基于所分析的内容来确定回答所述用户问题的内容是否已经或将被呈现在所述呈现中的同时,缓冲所述用户问题的程序代码;以及
用于响应于所述确定,执行以下各项之一的程序代码:
响应于确定所述回答内容已经或将被呈现在所述呈现中,将所述用户问题保持在缓冲状态中,并且在用户界面中向用户提供与所述回答内容有关的通知;或
响应于确定所述内容尚未被呈现并且将不被呈现,从所述缓冲状态释放所述用户问题以允许所述用户问题被转发给所述呈现的呈现者。
16.根据权利要求15所述的计算机程序产品,还包括用于响应于确定所述回答内容已经被呈现,在所述用户界面中的所述通知中向用户提供所述回答内容的程序代码。
17.根据权利要求15所述的计算机程序产品,还包括:
用于分析所述呈现的呈现内容的程序代码,其中,所述呈现内容包括在所述呈现的音频通道上呈现的口头信息和在所述呈现的视觉通道上呈现的视觉信息;
用于使用所分析的呈现内容来创建上下文文档的程序代码;以及
用于使用所述上下文文档来确定用户问题的当前上下文的程序代码。
18.根据权利要求16所述的计算机程序产品,还包括:
用于所述呈现中的点的程序代码,其中,断点由幻灯片改变事件或呈现者音频通道中的暂停来确定;以及
用于在从所述缓冲状态释放所述用户问题之前等待,直到下一个断点为止的程序代码。
19.根据权利要求15所述的计算机程序产品,还包括:
用于过滤多个用户问题以找到其中确定所述内容尚未被呈现并且将不被呈现的用户问题集合的程序代码;
用于对从多个参与者接收到的所述问题集合进行分组的程序代码,其中,所述问题是按照相应问题的意图来分组的,从而形成至少一个问题组;
用于从每个问题组中消除重复的问题,以便为每个问题组创建缩减的问题组的程序代码;以及
用于将所述缩减的问题组转发给所述呈现者的程序代码。
20.根据权利要求15所述的计算机程序产品,还包括用于通过登录或IP地址信息来识别参与者的程序代码。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/082,437 US11405227B2 (en) | 2020-10-28 | 2020-10-28 | Smart query buffering mechanism |
US17/082,437 | 2020-10-28 | ||
PCT/IB2021/058732 WO2022090824A1 (en) | 2020-10-28 | 2021-09-24 | Smart query buffering mechanism |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116368785A true CN116368785A (zh) | 2023-06-30 |
Family
ID=81257775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180071356.2A Pending CN116368785A (zh) | 2020-10-28 | 2021-09-24 | 智能查询缓冲机制 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11405227B2 (zh) |
JP (1) | JP2023549634A (zh) |
CN (1) | CN116368785A (zh) |
DE (1) | DE112021005731T5 (zh) |
GB (1) | GB2615263A (zh) |
WO (1) | WO2022090824A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11385726B2 (en) * | 2020-06-01 | 2022-07-12 | Science House LLC | Systems, methods, and apparatus for enhanced presentation remotes |
US11943074B2 (en) * | 2021-10-29 | 2024-03-26 | Zoom Video Communications, Inc. | Real-time video-based audience reaction sentiment analysis |
US11929169B2 (en) * | 2022-02-09 | 2024-03-12 | Kyndryl, Inc. | Personalized sensory feedback |
US12028180B1 (en) * | 2023-12-18 | 2024-07-02 | Breakout Learning, Inc. | Apparatus and method for monitoring multiparty stream communications |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6443840B2 (en) * | 1986-03-10 | 2002-09-03 | Response Reward Systems, L.C. | Evaluation of responses of participatory broadcast audience with prediction of winning contestants; monitoring, checking and controlling of wagering, and automatic crediting and couponing |
US8392400B1 (en) * | 2005-12-29 | 2013-03-05 | Amazon Technologies, Inc. | Method and apparatus for stress management in a searchable data service |
EP2049970A4 (en) | 2006-07-24 | 2014-12-31 | Chacha Search Inc | METHOD, SYSTEM AND COMPUTER-READABLE MEMORY FOR BALADODIFFUSION AND VIDEO FORMATION IN AN INFORMATION SEARCH SYSTEM |
US20080120101A1 (en) | 2006-11-16 | 2008-05-22 | Cisco Technology, Inc. | Conference question and answer management |
US8060390B1 (en) | 2006-11-24 | 2011-11-15 | Voices Heard Media, Inc. | Computer based method for generating representative questions from an audience |
US20120303614A1 (en) | 2011-05-23 | 2012-11-29 | Microsoft Corporation | Automating responses to information queries |
US9154531B2 (en) * | 2013-06-18 | 2015-10-06 | Avaya Inc. | Systems and methods for enhanced conference session interaction |
WO2014210603A2 (en) | 2013-06-28 | 2014-12-31 | Healthtap, Inc. | Systems and method for evaluating and selecting a healthcare professional |
US9959307B2 (en) | 2013-09-24 | 2018-05-01 | Empire Technology Development Llc | Automatic question sorting |
US20160189556A1 (en) * | 2014-12-29 | 2016-06-30 | International Business Machines Corporation | Evaluating presentation data |
US11947582B2 (en) * | 2015-01-12 | 2024-04-02 | International Business Machines Corporation | Enhanced knowledge delivery and attainment using a question answering system |
US10083219B2 (en) * | 2015-01-12 | 2018-09-25 | International Business Machines Corporation | Enhanced knowledge delivery and attainment using a question answering system |
US9720917B2 (en) * | 2015-02-17 | 2017-08-01 | International Business Machines Corporation | Electronic meeting question management |
US10043062B2 (en) * | 2016-07-13 | 2018-08-07 | International Business Machines Corporation | Generating auxiliary information for a media presentation |
US20190295022A1 (en) * | 2018-03-23 | 2019-09-26 | Encaptiv Corporation | Method and System for Delivering a Custom Conversion Action Based on Engagement Level |
US20200211408A1 (en) * | 2018-12-26 | 2020-07-02 | Microsoft Technology Licensing, Llc | Question and answer data object generation from communication session data |
US11115765B2 (en) * | 2019-04-16 | 2021-09-07 | Biamp Systems, LLC | Centrally controlling communication at a venue |
-
2020
- 2020-10-28 US US17/082,437 patent/US11405227B2/en active Active
-
2021
- 2021-09-24 GB GB2306534.5A patent/GB2615263A/en active Pending
- 2021-09-24 WO PCT/IB2021/058732 patent/WO2022090824A1/en active Application Filing
- 2021-09-24 CN CN202180071356.2A patent/CN116368785A/zh active Pending
- 2021-09-24 JP JP2023520098A patent/JP2023549634A/ja active Pending
- 2021-09-24 DE DE112021005731.6T patent/DE112021005731T5/de active Pending
Also Published As
Publication number | Publication date |
---|---|
DE112021005731T5 (de) | 2023-08-24 |
US20220131717A1 (en) | 2022-04-28 |
WO2022090824A1 (en) | 2022-05-05 |
GB202306534D0 (en) | 2023-06-14 |
US11405227B2 (en) | 2022-08-02 |
JP2023549634A (ja) | 2023-11-29 |
GB2615263A (en) | 2023-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10608831B2 (en) | Analysis of multi-modal parallel communication timeboxes in electronic meeting for automated opportunity qualification and response | |
US11688399B2 (en) | Computerized intelligent assistant for conferences | |
JP6969653B2 (ja) | 電子会議システム | |
US10599703B2 (en) | Electronic meeting question management | |
US10630734B2 (en) | Multiplexed, multimodal conferencing | |
JP6304345B2 (ja) | 電子会議システム | |
US10629189B2 (en) | Automatic note taking within a virtual meeting | |
US11405227B2 (en) | Smart query buffering mechanism | |
JP2019003604A (ja) | ビデオベースの通信におけるコンテンツキュレーションのための方法、システム及びプログラム | |
US20150066935A1 (en) | Crowdsourcing and consolidating user notes taken in a virtual meeting | |
WO2015030962A1 (en) | Providing an electronic summary of source content | |
US11546392B2 (en) | In-conference question summary system | |
US20170154264A1 (en) | Autonomous collaboration agent for meetings | |
WO2023095629A1 (ja) | 対話管理装置、対話管理システム及び対話管理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |