CN108292301B - 上下文笔记记录 - Google Patents

上下文笔记记录 Download PDF

Info

Publication number
CN108292301B
CN108292301B CN201780004198.2A CN201780004198A CN108292301B CN 108292301 B CN108292301 B CN 108292301B CN 201780004198 A CN201780004198 A CN 201780004198A CN 108292301 B CN108292301 B CN 108292301B
Authority
CN
China
Prior art keywords
context image
text
note
current
presenter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780004198.2A
Other languages
English (en)
Other versions
CN108292301A (zh
Inventor
J·于
R·拉加玛尼
O·克里希纳
P·瓦德亚纳坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN108292301A publication Critical patent/CN108292301A/zh
Application granted granted Critical
Publication of CN108292301B publication Critical patent/CN108292301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/106—Display of layout of documents; Previewing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221—Announcement of recognition results

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

描述了上下文笔记记录。笔记记录助理可以接收对具体演示会话的指示。该指示可以由笔记记录助理使用以范文信息或与会话相关的内容。笔记记录助理可以接收具体的呈现会话内容，其可以包括可识别的上下文图像。可识别的上下文图像可以意在定义个体页面、个体幻灯片、或演示中的其他原子单位。笔记记录助理通过以下方式来操作：接收导航消息、基于导航消息将当前助理上下文图像改变为当前演示者上下文图像；接收包括文本单元的语音至文本消息；显示当前演示者上下文图像，并且显示与当前演示者上下文图像相关联的文本单元；以及存储与当前演示者上下文图像相关联的文本单元。

Description

上下文笔记记录
背景技术
演示可以在许多不同的设置中进行，例如，教室、会见、研讨会、以及会议。这样的演示的出席者使用信息使用不同的资源来对演示者的口头内容记录笔记。这些资源包括手动地将笔记写在纸上或者将笔记键入到文字处理应用、演示应用、或笔记记录应用中，所述笔记记录应用例如，微软
Figure BDA0001673427820000011
或
Figure BDA0001673427820000012
然而，笔记记录对于出席者而言可能是具有挑战的和消耗时间的。常常，笔记记录者花费比聆听演示者更多的时间来键入笔记，这导致有价值的口头讨论的损失、不完整的笔记、或者甚至是不准确的笔记。
发明内容
描述了针对上下文笔记记录的系统和技术。提供了能够与笔记记录应用(或者其他生产力应用)通信或者作为笔记记录应用的一部分的笔记记录助理。笔记记录助理接收源自演示捕获应用的内容，以支持和供应与所呈现的内容相关的笔记记录。演示捕获应用使得音频能够在具体的演示会话内容使用演示应用来呈现时被捕获。
演示捕获应用具有广播模式，其中，提供语音至文本信息和导航信息的消息可以被传输至运行笔记记录助理的设备。例如，当演示者对麦克风中讲话时，音频由演示捕获应用捕获，并且通过例如演示者的设备处的语音至文本(STT)服务或本地程序而被转换成文本。文本与演示的内容相关联，所述演示的内容是由演示应用的“当前演示者内容图像”显示的，并且本文(例如，STT数据)和关于当前演示者内容图像的信息(例如，导航数据)两者被广播或者以其他方式被传输至笔记记录助理。
笔记记录助理可以接收对具体演示会话的指示。该指示可以由笔记记录助理使用以访问有关会话的信息和内容，或者简单地提供用于包括在笔记记录应用中的标题。笔记记录助理可以接收具体的演示会话内容，其包括可识别的上下文图像。可识别的上下文图像意在定义个体页面、个体幻灯片、或演示中的其他原子单元。笔记记录助理通过以下方式来操作：接收导航消息、基于导航消息将当前助理上下文图像改变为当前演示者上下文图像；接收包括文本单元的语音至文本消息；显示当前演示者上下文图像，并且显示与当前演示者上下文图像相关联的文本单元；以及存储与当前演示者上下文图像相关联的文本单元。
无论出席者当前正在查看演示中的什么幻灯片或页面，笔记记录助理将显示并存储与演示的正确幻灯片或页面相关联的演示者的经转换的音频内容。因此，疏忽的出席者或者对演示的不同部分记录笔记的出席者能够避免遗漏演示者的口头内容中的任何内容，并且使得该口头内容适当地与正确的视觉内容相关联。
笔记记录助理可以通过使用翻译服务而支持多个语言。当笔记记录助理接收针对翻译的请求时，笔记记录助理可以发送对翻译服务的请求。所述请求包括目标语言以及与当前演示者上下文图像相关联的最新近的文本单元。接着，笔记记录助理接收、显示、并且存储与上下文图像相关联的经翻译的文本单元。
笔记记录助理可以与笔记记录应用集成或通信，以用演示者的口头内容来填充笔记。在一种情况下，特殊表格可以被插入到笔记中并且用可识别的上下文图像来填充。接着，笔记记录助理可以提供所接收的文本单元以用于与合适的上下文图像相关联。以该方式，笔记记录应用的用户可以在使得演示者的口语内容自动地填充表格的同时进行注释并且记录额外的笔记。
提供了该发明内容以用简化的形式引入了对在下文的具体实施方式中所进一步描述的概念的选择。该发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在被用来限制所要求保护的主题的范围。
附图说明
图1-3示出了采用上下文笔记记录的示例场景。
图4示出了演示者的设备的示例实现的系统架构。
图5示出了出席者的设备的示例实现的系统架构。
图6A-6C示出了用于上下文笔记记录的演示捕获应用的示例过程流程图。
图7A和7B示出了用于上下文笔记记录的笔记记录助理的示例过程流程图。
图8A和8B示出了上下文笔记记录的示例场景。
图9示出了上下文笔记记录的另一示例场景。
具体实施方式
描述了针对上下文笔记记录的系统和技术。提供了能够与笔记记录应用(或者其他生产力应用)通信或者作为其部分的笔记记录助理。笔记记录助理接收源自演示捕获应用的内容，以支持和供应与所呈现的内容相关的笔记记录。演示捕获应用使得音频能够在具体的演示会话内容使用演示应用来呈现时被捕获。
根据本发明的各种实施例，演示者可以使用演示应用和演示捕获应用来给出演示，并且出席者可以听见演示者并亲自或在线地看见演示，并且使用笔记记录助理来执行上下文笔记记录。
图1-3示出了用于采用上下文笔记记录的示例场景。参考图1，演示者101和出席者102可以全都位于同一物理位置100，例如在教室中。以典型的方式，演示者101可以将演示作为具体演示会话的部分而给出(例如，针对特定科目的教室课程)。使用在演示者的计算设备104上运行的演示应用103，具体的演示会话内容可以在演示者的计算设备104处被显示，并且当可用时，在屏幕105上显示(例如，经由房间显示器或者在经由投影仪的表面上)。
出席者102可以接收具体的演示会话内容，以使得他们在其对应的计算设备106处具有内容，并且可以使用笔记记录应用107或其他生产力应用来记录笔记。可以使用演示者的计算设备104处的演示捕获应用108以及出席者的计算设备106处的笔记记录助理109来完成上下文笔记记录。演示捕获应用108可以集成为演示应用103的一部分(例如，内置的或作为插件)。笔记记录助理109可以是独立的应用或者与笔记记录应用107或者其他生产力应用(内置的或者作为插件提供的)集成。
演示捕获应用具有广播模式，其中，提供语音至文本信息和导航信息的消息可以被传输至运行笔记记录助理109的计算设备106。例如，当演示者101对麦克风110中讲话时，音频由演示捕获应用108捕获，并且通过例如演示者的设备处的语音至文本(STT)服务或本地程序而被转换成文本。所述文本与演示的内容相关联，所述演示的内容是由演示应用的“当前演示者内容图像”显示的，并且本文(例如，STT数据)和关于当前演示者内容图像的信息(例如，导航数据)两者被广播或者以其他方式被传输至笔记记录助理。
在图1中所示出的实现环境中，演示捕获应用108可以使能将文本信息和导航信息从演示者的计算设备104(或者连接的广播设备)直接广播111至出席者的计算设备106。通信的模式可以是任何合适的近场或中场点对点连接，例如蓝牙。即，演示捕获应用108可以从演示者捕获音频，从演示者当前演示的具体的演示会话内容中识别在讨论的内容，并且本地地广播至位于同一物理房间中的出席者计算设备106。以该方式，笔记记录助理109在使用演示捕获应用的演示者物理在场时使能上下文笔记记录，并且仅仅演示者的计算设备104需要能够在演示期间访问互联网(如果使用STT服务而不是针对STT的本地程序)。
在图2中所示出的实现环境中，演示者201和出席者202仍然在同一物理位置200中。然而，出席者计算设备204处的笔记记录助理203经由诸如互联网205之类的网络来接收信息，而不是如在图1中那样从演示者的计算设备直接接收信息。笔记记录助理服务206可以在服务器处被支持，并且可以从演示者计算设备208处的演示捕获应用207接收信息，并将该信息发送至出席者计算设备204处的笔记记录助理203。在该实现中，出席者可以针对具体呈现会话而登记以使得他们可以接收信息。在一些情况下，可以控制信息向笔记记录助理的传输，以使得仅仅物理上接近于演示者的出席者可以接收信息。
在图3中所示出的实现环境中，通信模式的组合可以是可用的。例如，出席者301和出席者302两者可以与演示者303在同一物理位置300中，而出席者304可以在远离演示者303的位置305处。在演示房间300中，出席者301可以在计算设备306处从演示者的计算设备307(或连接的广播设备)直接地接收广播，如关于图1的环境所描述的。自在线广播被启用，演示房间300中的一些出席者(例如，具有计算设备308的出席者303)可以通过互联网310来接收信息，如关于图2所描述的那样。在该实现中，可以不要求物理存在，并且因此，出席者304可以在位于远程位置305的其计算设备311处接收信息。
如从其中可以部署所描述的笔记记录助理的环境中的一些所看出的，该功能可以在学校和在线教室，研讨会中的会议，以及与全球参与者的会见中使用。所述功能可以对具有特殊需求的人有帮助。另外，可以包括实时翻译以帮助国际学生。
图4示出了演示者的设备的示例实现的系统架构。演示设备400可以是任何计算设备，例如但不限于：膝上型计算机、台式计算机、智能电视、智能电话、或者支持演示捕获应用的其他计算设备。设备104、208、和307可以被实施为出席者计算设备500。参考图4，演示设备400至少包括存储器存储401、处理器402、通信接口403、以及麦克风404。
存储401可以存储演示程序软件405和演示捕获应用406。在一些情况下，演示捕获应用406是插件或者作为演示程序软件405的一部分而被包括。处理器402可以包括一个或多个处理器和/或取回并执行来自存储401的演示程序软件405和演示捕获应用406的其他电路。
存储401可以是以用于存储信息的任何方法或技术实现的易失性和/或非易失性、可移动和/或不可移动介质，所述信息例如：计算机可读指令、数据结构、程序模块、或者其他数据。存储401的示例包括：随机存取存储器、只读存储器、磁盘、光盘、CD、DVD、闪速存储器、虚拟存储器和非虚拟存储器、盒式磁带、磁带、磁盘存储或其他磁存储设备、或者任何其他合适的存储介质。在任何情况下，“存储介质”(或“多个存储介质”)都不应当被理解为传播信号或载波。
存储401可以被实现为单存储设备，但也可以跨位于同一位置或彼此相对地分布的多个存储设备或子系统来实现。此外，存储401可以包括能够与处理器402进行通信的额外元件，例如控制器。
处理器402的示例包括通用中央处理单元、专用处理器、和逻辑器件，以及任何其他类型的处理设备、组合、或其变型。一个或多个处理设备可以包括多处理器或多核处理器，并且可以根据一个或多个合适的指令集来操作，包括但不限于精简指令集计算(RISC)指令集、复杂指令集计算(CISC)指令集、或其组合。在一些实施例中，一个或多个数字信号处理器(DSP)可以作为代替或附加于通用CPU的系统的计算机硬件的部分而被包括。
通信接口403允许设备400与其他计算系统(未示出)之间通过网络或网络(未示出)或空气的集合的通信。共同允许系统间通信的连接和设备的示例可以包括网络接口卡、天线、功率放大器、RF电路、收发机、以及其他通信电路。连接和设备可以通过通信介质进行通信以与其他计算系统或系统的网络交换通信，所述通信介质例如金属、玻璃、空气、或任何其他合适的通信介质。前文提及的通信介质、网络、连接、和设备是公知的，并且不需要在这里详细讨论。
麦克风404可以是内置的，或者是可以经由麦克风输入端口(例如，经由USB或TRS插孔)耦合至设备400的分离的麦克风。
演示设备400的方面可以在单个计算设备内实现，但也可以跨在执行程序指令时协作的多个处理设备或子系统而分布。
图5示出了出席者的设备的示例实现的系统架构。出席者计算设备500可以是任何计算设备，例如但不限于：膝上型计算机、台式计算机、智能电视、智能电话、或者支持笔记记录助理的其他计算设备。设备106、203、306、308、和311可以被实施为出席者计算设备500。参考图5，出席者计算设备500至少包括存储器存储501、处理器502、以及通信接口503。
存储501可以存储笔记记录助理504和笔记记录应用505。在一些情况下，笔记记录助理504是插件或者作为笔记记录应用505的一部分(例如，笔记记录应用506)而被包括。在一些情况下，笔记记录应用505或笔记记录应用506具有使能针对用户的存储的笔记的跨平台和跨设备的笔记记录的对应的在线服务。
处理器502可以包括一个或多个处理器和/或其他电路，其取回并执行来自存储401的笔记记录助理504和笔记记录应用505或笔记记录应用506。
存储501可以是以用于存储信息的任何方法或技术实现的易失性和/或非易失性、可移动和/或不可移动介质，所述信息例如：计算机可读指令、数据结构、程序模块、或者其他数据。存储501的示例包括：随机存取存储器、只读存储器、磁盘、光盘、CD、DVD、闪速存储器、虚拟存储器和非虚拟存储器、盒式磁带、磁带、磁盘存储或其他磁存储设备、或者任何其他合适的存储介质。在任何情况下，“存储介质”(或“多个存储介质”)都不应当被理解为传播信号或载波。
存储501可以被实现为单存储设备，但也可以跨位于同一位置或彼此相对地分布的多个存储设备或子系统来实现。此外，存储501可以包括能够与处理器502进行通信的额外元件，例如控制器。
处理器502的示例包括通用中央处理单元、专用处理器、和逻辑器件，以及任何其他类型的处理设备、组合、或其变型。一个或多个处理设备可以包括多处理器或多核处理器，并且可以根据一个或多个合适的指令集来操作，包括但不限于精简指令集计算(RISC)指令集、复杂指令集计算(CISC)指令集、或其组合。在一些实施例中，一个或多个数字信号处理器(DSP)可以作为代替或附加于通用CPU的系统的计算机硬件的部分而被包括。
通信接口503允许设备500与其他计算系统(未示出)之间通过网络或网络(未示出)或空气的集合的通信。共同允许系统间通信的连接和设备的示例可以包括网络接口卡、天线、功率放大器、RF电路、收发机、以及其他通信电路。连接和设备可以通过通信介质进行通信以与其他计算系统或系统的网络交换通信，所述通信介质例如金属、玻璃、空气、或任何其他合适的通信介质。前文提及的通信介质、网络、连接、和设备是公知的，并且不需要在这里详细讨论。
出席者计算设备500的方面可以在单个计算设备内实现，但也可以跨在执行程序指令时协作的多个处理设备或子系统而分布。
图6A-6C示出了用于上下文笔记记录的演示捕获应用的示例过程流程图。
参考图6A，当演示者在演示软件程序中时，演示捕获应用可以接收针对广播模式的请求(600)，并且识别具体的演示会话内容(601)。具体的演示会话内容可以包括可识别的上下文图像。在一些实施例中，演示软件可以是微软
Figure BDA0001673427820000071
而具体的演示会话内容是针对具体演示的幻灯片组(deck)。在该示例情况下，可识别的上下文图像是指演示中的幻灯片。因此，每个演示可以具有许多可识别的上下文图像，每个幻灯片一个。
一旦演示者开始演示，则演示捕获应用模块可以从演示者的设备的麦克风接收音频输入(602)。演示捕获接着可以在该实现中经由语音至文本(STT)应用程序接口(API)发起与STT服务的双向通信。STT服务可以是任何可用/可访问的在线服务。在一些情况下，STT服务是在演示者的设备上运行的本地应用。一旦建立了所述双向通信，则演示捕获应用可以经由STT API将经记录的语音数据的单元发送至STT服务(604)，并且作为回应，接收与经记录的语音数据的单元相对应的文本单元(605)。
在返回了文本单元之后，演示捕获应用接着可以指定具体的演示会话内容中具有相关联的位置的文本单元(606)。相关联的位置可以是幻灯片编号、页码等。在一些情况下，文本可以被显示在演示者的设备屏幕上。额外地，所指定的数据(文本单元)可以被广播(607)。数据可以被如下广播：有线地或无线地、点对点、或通过局域网(LAN)、广域网(WAN)、蜂窝网络(例如，无线电话)、WiFi网络、内联网、外联网、互联网、自组织网络、或其组合。特定网络可以取决于实现，例如，如在图1-3的场景中所描述的。
图6B和6C示出了针对操作607的两个示例广播方案。在一种情况下，如在图6B中所示出的，所指定的数据可以通过在两种类型的消息中执行笔记记录助理的设备608来广播。一种类型的消息是导航消息609，其包含位置标识符。所述位置标识符提供演示者正在显示的位置，例如幻灯片编号或页码。另一种类型的消息是STT消息610。STT消息610包含文本单元，所述文本单元可以与笔记记录助理处的当前位置相关联。当演示者改变幻灯片时，可以生成新的导航消息以通知笔记记录助理关于随后的STT消息要与新的幻灯片相关联。在另一情况下，如在图6C中所示出的，消息611包括文本单元和位置标识符两者，以使得笔记记录助理在接收文本单元时可以不需要跟踪当前图像上下文。因此，使得笔记记录助理知道与当前位置相关联的文本单元以及当前位置。
图7A和7B示出了用于上下文笔记记录的笔记记录助理的示例过程流程图。在一些情况下，当笔记记录助理被发起时，笔记记录助理开始在其附近搜索广播。如果是这样，则笔记记录助理可以向用户提供选项以选择具体的演示会话。参考图7A，笔记记录助理可以接收指示以开始接收具体的演示会话(701)。笔记记录助理可以接收具体的演示会话(702)。具体的演示内容包括可识别的上下文图像。可识别的上下文图像意在定义个体页面、个体幻灯片、或演示中的其他原子单元(例如，PowerPoint中的幻灯片、Word文档中的页面等)。在一些情况下，笔记记录助理通过接收统一资源定位符(URL)消息并且接着取回URL位置处的具体演示内容来接收具体的演示内容。在一些情况下，笔记记录助理通过直接广播(例如，蓝牙)或来自物理环境中的设备(例如，演示者的计算机)的其他通信模态来接收具体的演示内容。
结合对具体的演示内容进行接收，笔记记录助理可以用具体的演示内容来填充笔记本表格。笔记记录助理可以可替代地或另外地填充笔记记录助理用户界面。
笔记记录助理通过以下方式来操作：接收导航消息、基于导航消息将当前助理上下文图像改变为当前演示者上下文图像；接收包括文本单元的语音至文本消息；显示当前演示者上下文图像，并且显示与当前演示者上下文图像相关联的文本单元；以及存储与当前演示者上下文图像相关联的文本单元。
即，当笔记记录助理接收导航消息(703)时，位置标识符可以从导航消息中被识别，并且用于识别演示者正在讲话的演示内的当前位置。
在接收到导航消息之后，笔记记录助理可以将当前助理上下文图像改变至当前演示者上下文图像(704)。当前助理上下文图像是笔记记录助理软件可以指向(例如，在表格中或者其他数据结构中)的上下文图像，以及所接收的任何文本单元被分配至的上下文图像。当前演示者上下文图像是演示者的演示应用当前处于其上(并进行显示)的上下文图像。一旦当前助理上下文图像被改变至当前演示者上下文图像，当前演示者图像就变成当前助理上下文图像。
笔记记录助理可以接收STT消息(705)。STT消息包括要与当前演示者上下文图像相关联的文本单元。在接收之后，笔记记录助理接着可以显示与当前演示者上下文图像相关联的文本单元(706)。此外，笔记记录助理可以存储与当前演示者上下文图像相关联的文本(707)。笔记记录助理可以具有其自己的图形用户界面，其中显示图像和文本(例如，见图8A)。
在一些情况下，是所述图像预先填充了对笔记记录应用可用的表格，所述文本被显示在表格的合适区域中(见图8B和图9)。例如，笔记记录助理可以与笔记记录应用集成或通信，以用演示者的口头内容来填充笔记。在一种情况下，如在上文中所提及的，特殊表格可以被插入到笔记中并且用可识别的上下文图像来填充。笔记记录助理接着可以提供所接收的文本单元以用于与合适的上下文图像相关联。以该方式，笔记记录应用的用户可以在使得演示者的口语内容自动地填充表格的同时进行注释并且记录额外的笔记。
参考图7B，在笔记记录助理中可以包括额外的功能。特别地，终端用户可以选择将当前语言(演示者正在讲的)改变至不同语言。笔记记录助理可以从终端用户的设备接收针对翻译的请求(708)以及对目标语言的指示。目标语言是当前语言将会被翻译成的语言。
接着，笔记记录助理可以经由翻译API来发起与翻译服务的双向通信(709)，并且对翻译服务的请求可以被发送(710)。所述请求可以包括目标语言以及与当前演示者上下文图像相关联的最新近的文本单元。翻译可以使用服务来完成，或者可以由笔记记录助理直接完成(如果翻译服务从本地应用可获得)。
笔记记录助理接收与当前演示者上下文图像相关联的经翻译的文本单元(711)，并且接着可以显示与当前演示者上下文图像相关联的经翻译的文本单元(712)。此外，笔记记录助理可以存储与当前演示者上下文图像相关联的经翻译的文本单元(713)。
图8A、8B、和9示出了针对上下文笔记记录的示例场景。
参考图8A，笔记记录助理801(助理程序)和笔记记录程序802是两个分别的程序。考虑到图8A，两个程序的图形界面被示出为在一个屏幕上出现在彼此旁边。然而，窗口可以以任何合适的方式来布置。笔记记录助理801可以包括利用导航810显示的上下文图像。与由笔记记录助理所接收的来自演示者的音频评论相对应的STT内容可以在文本区域803中与合适的上下文图像相关联地显示。示出了具有对应的文本818的幻灯片817的上下文图像。还存在用于翻译至其他语言804、805、806、807的选项。用户可以使用利用导航810显示的上下文图像来导航至不同的幻灯片，并且笔记记录助理仍然将STT内容与正确的上下文幻灯片相关联(因为插入至区域803的文本是基于由笔记记录助理从导航管理或STT消息所接收的导航信息的，而不是来自用户与利用导航810显示的上下文图像的交互的任何导航信息的)。的确，无论出席者当前正在查看演示中的什么幻灯片或页面，笔记记录助理将显示并存储与演示的正确幻灯片或页面相关联的演示者的经转换的音频内容。因此，疏忽的出席者或者对演示的不同部分记录笔记的出席者能够避免遗漏演示者的口头内容中的任何内容，并且使得该口头内容适当地与正确的视觉内容相关联。
尽管笔记记录助理正在操作，但用户可以同时在笔记记录程序802中记录笔记。在图8A中所示出的示例中，表格808可以是可用的，其可以用演示的幻灯片来填充。用户可以针对幻灯片记录其自己的笔记。在图8A中所示出的示例表格中，幻灯片(包括幻灯片817)的缩略图812被包括在具有针对用户输入的笔记的区域814的表格中。终端用户能够向下滚动笔记记录程序以看到幻灯片及其笔记的完整列表。
图8B示出了集成的笔记记录程序和笔记记录助理。在该示例中，用演示的幻灯片填充的表格820(具有可识别的上下文图像的具体的演示会话内容)除了缩略图812以及针对用户输入的笔记的区域814之外还包括针对STT内容的区域821，其占用了图8A的区域803的位置。另外，关于具体的演示会话822的信息可以被插入到笔记中，所述信息例如类/会话名称、日期、以及演示内容的URL。
图9示出了集成的笔记记录助理和笔记记录程序的另一示例(助理+笔记记录程序)900。助理+笔记记录程序900-1、900-2、900-3的每个视图是终端用户针对每个幻灯片901-1、901-2、901-3将看到的视图。当终端用户选择要查看哪个幻灯片901-1、901-2、901-3时，程序900可以显示针对该幻灯片所接收的内容和对应的STT数据，并且可以将与所显示的幻灯片相关联的其自己的笔记插入在区域907-1、907-2、和907-3中。区域907-1、907-2、和907-3允许终端用户记录针对对应的幻灯片901-1、901-2、901-3的笔记，同时仍然从演示者接收所有音频内容。终端用户可以按下位于幻灯片901-1、901-2、901-3旁边的箭头以显示下一幻灯片或前一幻灯片的视图。例如，如果终端用户想要查看幻灯片1 901-1，则程序可以显示幻灯片1 901-1以及任何对应的内容。接着，当终端用户准备好时，他们可以按下右箭头，则幻灯片2 901-2连同任何对应的内容将被显示。
无论出席者当前正在查看演示中的什么幻灯片或页面，笔记记录助理将显示并存储与演示的正确幻灯片或页面相关联的演示者的经转换的音频内容。因此，疏忽的出席者或者对演示的不同部分记录笔记的出席者能够避免遗漏演示者的口头内容中的任何内容，并且使得该口头内容适当地与正确的视觉内容相关联。
助理+笔记记录程序900还可以包括用于通过选择在STT内容902-1显示下方的语言903、904、905、906中的一个来翻译对应的STT内容902-1的选项。此外，助理+笔记记录程序900还可以包含用于显示关于演示的信息的区域909。所述信息可以包括但不限于：演示者名字、演示的日期、演示的名称等。在一个实施例中，信息区域909中的内容在助理+笔记记录程序900-1、900-2、900-3的每个视图中保持相同。终端用户可以按下幻灯片旁边的箭头。
在下文中提供了在教室环境中针对笔记记录助理的具体用例。
教室中的笔记记录体验是有挑战的和消耗时间的。捕获在课堂上讨论的所有内容变得非常困难。当学生记录他们自己的笔记时，有可能从幻灯片本身遗漏上下文。该问题可以通过使用预先填充了笔记记录应用中的分区的系统以使得用户能够容易地捕获与每个幻灯片相对应的笔记来解决。解决方案还将有助于捕获作为文本的有关幻灯片的口头讨论。另一改进将有助于针对口头讨论的实时翻译。
例如，教师使用
Figure BDA0001673427820000121
Deck来上课。当学生各自启动以教室助理为形式的笔记记录助理时，教室助理自动地检测他们在上什么课以及教师在使用什么PowerPoint文件。教室助理用学生现有的幻灯片和占位符来填充
Figure BDA0001673427820000122
页面，以记录对应于每个幻灯片的笔记。当教师谈论每个幻灯片时，由演示捕获应用的插件使能的文本至语音转换在演示应用中发生，并且被发送给学生。
作为另一示例，教师使用PowerPoint Deck来上课。当学生各自启动以教室助理为形式的笔记记录助理时，教室助理自动地检测他们在上什么课以及教师在使用什么PowerPoint文件。教室助理用学生现有的幻灯片和占位符来填充
Figure BDA0001673427820000131
页面，以记录对应于每个幻灯片的笔记。当教师谈论每个幻灯片时，由演示捕获应用的插件使能的文本至语音转换在演示应用中发生，并且被添加至学生的笔记。学生具有选择其语言的选项，并且其提供针对口头讨论的实时翻译。
应当理解的是，这本文中所描述的示例和实现仅仅是出于说明性的目的，并且将向本领域技术人员暗示了鉴于其的各种修改或变化，并且所述修改和变化将包括在该申请的精神和范围之内。
尽管已经用特定于结构特征和/或方法行为的语言描述了本发明，但应当理解的是，在所附权利要求中所定义的主题非必须限于所描述的具体的特征或行为。相反，在上文中所描述的具体的特征和行为是作为实现权利要求以及将由本领域技术人员理解旨在处于权利要求的范围内的其他等同的特征和行为的示例而公开的。

Claims (15)

1.一种促进上下文笔记记录的方法，所述方法包括：
在计算设备处接收对具体的演示会话的指示；
在所述计算设备处接收具体的演示会话内容，所述具体的演示会话内容包括可识别的上下文图像；
在所述计算设备处接收导航消息，其中，所述导航消息包括位置标识符，所述位置标识符用于标识当前演示者上下文图像；
响应于接收到所述导航消息，在所述计算设备处将所述具体的演示会话内容的当前助理上下文图像改变至所述当前演示者上下文图像，所述当前助理上下文图像对应于所接收的任何文本单元被分配至的上下文图像，以及所述当前演示者上下文图像对应于演示者的演示应用当前处于其上的上下文图像；
在所述计算设备处接收包括与所述当前演示者上下文图像相关联的文本单元的语音至文本消息；
在所述计算设备处显示与所述当前演示者上下文图像相关联的所述文本单元；以及
不管终端用户当前在所述计算设备上查看的是什么上下文图像，存储与所述当前演示者上下文图像相关联的所述文本单元。
2.根据权利要求1所述的方法，还包括：
接收对目标语言的指示；
当与所述当前演示者上下文图像相关联的所述文本单元被接收时，发送对翻译服务的请求，所述请求包括所述目标语言以及与所述当前演示者上下文图像相关联的所述文本单元；
接收与所述当前演示者上下文图像相关联的经翻译的文本单元；
显示与所述当前演示者上下文图像相关联的所述经翻译的文本单元；以及
存储与所述当前演示者上下文图像相关联的所述经翻译的文本单元。
3.根据权利要求1所述的方法，还包括：
用所述具体的演示会话内容来填充笔记记录表格，所述具体的演示会话内容包括多个所述可识别的上下文图像。
4.根据权利要求3所述的方法，还包括：
识别所述笔记记录表格中的所述当前演示者上下文图像，其中，与所述当前演示者上下文图像相关联的所述文本单元被插入和显示在所述笔记记录表格中。
5.根据权利要求4所述的方法，还包括：
在区域中接收和显示对所述笔记记录表格的用户输入，所述区域关联于与具有被插入和显示的所述文本单元的上下文图像不同的上下文图像。
6.根据权利要求3所述的方法，其中，用所述具体的演示会话内容来填充所述笔记记录表格包括：
与笔记记录应用进行通信以输入和存储所述具体的演示会话内容。
7.根据权利要求1所述的方法，其中，所述接收具体的演示会话内容包括：
接收统一资源定位符(URL)消息；以及
在由所述URL消息所标识的URL位置处获得所述具体的演示会话内容。
8.一种系统，包括：
处理系统；
显示器；
一个或多个计算机可读存储介质；以及
存储在所述一个或多个计算机可读存储介质上的上下文笔记记录程序，所述上下文笔记记录程序当由所述处理系统执行时，引导所述处理系统执行以下操作：
响应于接收导航消息，将具体的演示会话内容的当前助理上下文图像改变至所述具体的演示会话内容的当前演示者上下文图像，其中，所述导航消息包括位置标识符，所述位置标识符用于标识所述当前演示者上下文图像，以及所述当前助理上下文图像对应于所接收的任何文本单元被分配至的上下文图像，以及所述当前演示者上下文图像对应于演示者的演示应用当前处于其上的上下文图像；
响应于接收到包括文本单元的语音至文本消息，至少显示与所述当前演示者上下文图像相关联的文本单元并且不管终端用户当前在所述系统的所述显示器上查看的是什么上下文图像，存储与所述当前演示者上下文图像相关联的所述文本单元。
9.根据权利要求8所述的系统，还包括：
存储在所述一个或多个计算机可读存储介质上的笔记，其中，所述上下文笔记记录程序还引导所述处理系统执行以下操作：
用所述具体的演示会话内容来填充所述笔记中的笔记记录表格，所述具体的演示会话内容包括多个可识别的上下文图像；
识别所述笔记记录表格中的所述当前演示者上下文图像，并且将与当前演示者上下文图像相关联的所述文本单元插入在所述笔记记录表格中；以及
响应于在区域中接收到对所述笔记记录表格的用户输入而显示所述用户输入，所述区域关联于与具有被插入的所述文本单元的上下文图像不同的上下文图像。
10.根据权利要求8所述的系统，其中，所述上下文笔记记录程序还引导所述处理系统执行以下操作：
与笔记记录应用进行通信以输入和存储所述具体的演示会话内容；以及
与所述笔记记录应用进行通信以输入与所述当前演示者上下文图像相关联的所述文本单元。
11.根据权利要求8所述的系统，其中，所述上下文笔记记录程序还引导所述处理系统执行以下操作：
响应于接收到针对所指示的具体的演示会话的统一资源定位符(URL)消息，在由所述URL消息所标识的URL位置处获得所述具体的演示会话内容。
12.根据权利要求8所述的系统，其中，所述上下文笔记记录程序还引导所述处理系统执行以下操作：
提供针对目标语言的翻译选项；
接收对目标语言的指示；
当与所述当前演示者上下文图像相关联的所述文本单元被接收时，发送对翻译服务的请求，所述请求包括所述目标语言以及与所述当前演示者上下文图像相关联的所述文本单元；
接收与所述当前演示者上下文图像相关联的经翻译的文本单元；
显示与所述当前演示者上下文图像相关联的所述经翻译的文本单元；以及
存储与所述当前演示者上下文图像相关联的所述经翻译的文本单元。
13.一种或多种计算机可读存储介质，其具有存储在其上的上下文笔记记录程序，所述上下文笔记记录程序当由处理系统执行时，引导所述处理系统：
响应于接收到导航消息，将具体的演示会话内容的当前助理上下文图像改变至所述具体的演示会话内容的当前演示者上下文图像，其中，所述导航消息包括位置标识符，所述位置标识符用于标识所述当前演示者上下文图像，以及所述当前助理上下文图像对应于所接收的任何文本单元被分配至的上下文图像，以及所述当前演示者上下文图像对应于演示者的演示应用当前处于其上的上下文图像；
响应于接收到包括文本单元的语音至文本消息，至少显示与所述当前演示者上下文图像相关联的所述文本单元并且不管终端用户当前在终端用户设备上查看的是什么上下文图像，存储与所述当前演示者上下文图像相关联的所述文本单元。
14.根据权利要求13所述的介质，其中，所述上下文笔记记录程序还引导所述处理系统执行以下操作：
用所述具体的演示会话内容来填充笔记中的笔记记录表格，所述具体的演示会话内容包括多个可识别的上下文图像；
识别所述笔记记录表格中的所述当前演示者上下文图像，并且将与当前演示者上下文图像相关联的所述文本单元插入在笔记记录表格中；以及
响应于在区域中接收到对所述笔记记录表格的用户输入而显示所述用户输入，所述区域关联于与具有被插入的所述文本单元的上下文图像不同的上下文图像。
15.根据权利要求13所述的介质，其中，所述上下文笔记记录程序还引导所述处理系统执行以下操作：
与笔记记录应用进行通信以输入和存储所述具体的演示会话内容。
CN201780004198.2A 2016-02-17 2017-02-09 上下文笔记记录 Active CN108292301B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662296596P 2016-02-17 2016-02-17
US62/296,596 2016-02-17
US15/062,797 US10121474B2 (en) 2016-02-17 2016-03-07 Contextual note taking
US15/062,797 2016-03-07
PCT/US2017/017084 WO2017142768A1 (en) 2016-02-17 2017-02-09 Contextual note taking

Publications (2)

Publication Number Publication Date
CN108292301A CN108292301A (zh) 2018-07-17
CN108292301B true CN108292301B (zh) 2022-12-20

Family

ID=59561617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780004198.2A Active CN108292301B (zh) 2016-02-17 2017-02-09 上下文笔记记录

Country Status (4)

Country Link
US (1) US10121474B2 (zh)
EP (1) EP3417404B1 (zh)
CN (1) CN108292301B (zh)
WO (1) WO2017142768A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
DE212014000045U1 (de) 2013-02-07 2015-09-24 Apple Inc. Sprach-Trigger für einen digitalen Assistenten
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
CN105869654B (zh) * 2016-03-29 2020-12-04 阿里巴巴集团控股有限公司 音频消息的处理方法及装置
US11276395B1 (en) * 2017-03-10 2022-03-15 Amazon Technologies, Inc. Voice-based parameter assignment for voice-capturing devices
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US10923121B2 (en) 2017-08-11 2021-02-16 SlackTechnologies, Inc. Method, apparatus, and computer program product for searchable real-time transcribed audio and visual content within a group-based communication system
EP3557440A1 (en) * 2018-04-20 2019-10-23 Ricoh Company, Ltd. Information processing apparatus, system, display control method, and carrier means
JP7338214B2 (ja) * 2018-04-20 2023-09-05 株式会社リコー 通信端末、管理システム、表示方法、及びプログラム
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
KR102067446B1 (ko) * 2018-06-04 2020-01-17 주식회사 엔씨소프트 자막 생성 방법 및 시스템
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
CN109543048B (zh) * 2018-12-12 2020-11-06 广东小天才科技有限公司 一种笔记生成方法及终端设备
EP3712781A1 (en) * 2019-03-20 2020-09-23 Nokia Technologies Oy An apparatus and associated methods for presentation of presentation data
US11475884B2 (en) * 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
EP3886005A1 (en) * 2020-03-23 2021-09-29 Ricoh Company, Ltd. Information processing system, user terminal, method of processing information, and carrier means
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN112087656B (zh) * 2020-09-08 2022-10-04 远光软件股份有限公司 在线笔记生成方法、装置及电子设备
CN114327170B (zh) * 2021-12-31 2023-12-05 北京安博盛赢教育科技有限责任公司 交流群组的生成方法、装置、介质和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1152326A3 (en) * 2000-05-04 2004-02-11 International Business Machines Corporation A technique for providing continuous speech recognition as an alternative input device to limited processing power devices
CN102567496A (zh) * 2010-12-13 2012-07-11 微软公司 会议上下文的书签
CN103926981A (zh) * 2013-01-11 2014-07-16 Lg电子株式会社 电子设备及其控制方法
CN104050221A (zh) * 2013-03-15 2014-09-17 国际商业机器公司 用于在虚拟会议中自动记笔记的方法和系统

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3421359B2 (ja) 1992-03-13 2003-06-30 三洋電機株式会社 電話メモ装置
US8140980B2 (en) * 2003-08-05 2012-03-20 Verizon Business Global Llc Method and system for providing conferencing services
US7542971B2 (en) 2004-02-02 2009-06-02 Fuji Xerox Co., Ltd. Systems and methods for collaborative note-taking
US20070133437A1 (en) 2005-12-13 2007-06-14 Wengrovitz Michael S System and methods for enabling applications of who-is-speaking (WIS) signals
US7296218B2 (en) * 2006-02-08 2007-11-13 Dittrich William A Instant note capture/presentation apparatus, system and method
US8165609B2 (en) 2007-07-24 2012-04-24 Yue Fang Storage and access of digital content
US7962525B2 (en) 2007-11-05 2011-06-14 Microsoft Corporation Automated capture of information generated at meetings
CN104902113B (zh) * 2008-04-02 2018-10-19 特维里奥公司 处理电话会话的系统和方法
US8868430B2 (en) 2009-01-16 2014-10-21 Sony Corporation Methods, devices, and computer program products for providing real-time language translation capabilities between communication terminals
US8768705B2 (en) 2009-10-27 2014-07-01 Cisco Technology, Inc. Automated and enhanced note taking for online collaborative computing sessions
US9236047B2 (en) * 2010-05-21 2016-01-12 Microsoft Technology Licensing, Llc Voice stream augmented note taking
US9473449B2 (en) * 2011-02-10 2016-10-18 Jeffrey J. Ausfeld Multi-platform collaboration appliance
US20120245936A1 (en) * 2011-03-25 2012-09-27 Bryan Treglia Device to Capture and Temporally Synchronize Aspects of a Conversation and Method and System Thereof
JP2012256208A (ja) * 2011-06-09 2012-12-27 Casio Comput Co Ltd 講演システム及びこの講演システムに用いられる表示装置
US9014358B2 (en) * 2011-09-01 2015-04-21 Blackberry Limited Conferenced voice to text transcription
EP2584509A1 (en) * 2011-10-17 2013-04-24 Research In Motion Limited Note compiler interface
US9245254B2 (en) * 2011-12-01 2016-01-26 Elwha Llc Enhanced voice conferencing with history, language translation and identification
US10875525B2 (en) * 2011-12-01 2020-12-29 Microsoft Technology Licensing Llc Ability enhancement
US9225936B2 (en) 2012-05-16 2015-12-29 International Business Machines Corporation Automated collaborative annotation of converged web conference objects
US10176156B2 (en) 2012-10-30 2019-01-08 Microsoft Technology Licensing, Llc System and method for providing linked note-taking
US20140160153A1 (en) 2012-12-07 2014-06-12 Jatinder Pal Singh Method and system for real-time learning and collaboration solution
US8792863B2 (en) * 2012-12-28 2014-07-29 Telefonica, S.A. Method for collecting and storing annotations associated to a voice audio data
US20140280186A1 (en) * 2013-03-15 2014-09-18 International Business Machines Corporation Crowdsourcing and consolidating user notes taken in a virtual meeting
US20140365200A1 (en) * 2013-06-05 2014-12-11 Lexifone Communication Systems (2010) Ltd. System and method for automatic speech translation
EP3039509A4 (en) * 2013-08-28 2017-04-19 Hewlett-Packard Enterprise Development LP Managing presentations
US9402055B2 (en) * 2013-10-11 2016-07-26 Fuji Xerox Co., Ltd. Systems and methods for peripheral awareness of, and nominal interaction with, a remote meeting using a wearable device
US9398059B2 (en) * 2013-11-22 2016-07-19 Dell Products, L.P. Managing information and content sharing in a virtual collaboration session
US20150149540A1 (en) * 2013-11-22 2015-05-28 Dell Products, L.P. Manipulating Audio and/or Speech in a Virtual Collaboration Session
US10459985B2 (en) * 2013-12-04 2019-10-29 Dell Products, L.P. Managing behavior in a virtual collaboration session
US9372543B2 (en) * 2013-12-16 2016-06-21 Dell Products, L.P. Presentation interface in a virtual collaboration session
US9329833B2 (en) * 2013-12-20 2016-05-03 Dell Products, L.P. Visual audio quality cues and context awareness in a virtual collaboration session
KR101864361B1 (ko) * 2014-04-08 2018-06-04 네이버 주식회사 다양한 의미 범주에 기반한 번역 결과 제공 방법 및 시스템
JP2015210683A (ja) * 2014-04-25 2015-11-24 株式会社リコー 情報処理システム、情報処理装置、情報処理方法およびプログラム
US9614969B2 (en) * 2014-05-27 2017-04-04 Microsoft Technology Licensing, Llc In-call translation
JP2016062357A (ja) * 2014-09-18 2016-04-25 株式会社東芝 音声翻訳装置、方法およびプログラム
TWI590240B (zh) * 2014-12-30 2017-07-01 鴻海精密工業股份有限公司 會議記錄裝置及其自動生成會議記錄的方法
TWI616868B (zh) * 2014-12-30 2018-03-01 鴻海精密工業股份有限公司 會議記錄裝置及其自動生成會議記錄的方法
TWI619115B (zh) * 2014-12-30 2018-03-21 鴻海精密工業股份有限公司 會議記錄裝置及其自動生成會議記錄的方法
US10021152B2 (en) * 2015-02-05 2018-07-10 At&T Intellectual Property I, L.P. Sharing location information for locations accessed during a conference
US10331304B2 (en) * 2015-05-06 2019-06-25 Microsoft Technology Licensing, Llc Techniques to automatically generate bookmarks for media files
GB201516552D0 (en) * 2015-09-18 2015-11-04 Microsoft Technology Licensing Llc Keyword zoom
JP6147825B2 (ja) * 2015-09-29 2017-06-14 株式会社東芝 電子機器および方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1152326A3 (en) * 2000-05-04 2004-02-11 International Business Machines Corporation A technique for providing continuous speech recognition as an alternative input device to limited processing power devices
CN102567496A (zh) * 2010-12-13 2012-07-11 微软公司 会议上下文的书签
CN103926981A (zh) * 2013-01-11 2014-07-16 Lg电子株式会社 电子设备及其控制方法
CN104050221A (zh) * 2013-03-15 2014-09-17 国际商业机器公司 用于在虚拟会议中自动记笔记的方法和系统

Also Published As

Publication number Publication date
US10121474B2 (en) 2018-11-06
WO2017142768A1 (en) 2017-08-24
EP3417404A1 (en) 2018-12-26
CN108292301A (zh) 2018-07-17
EP3417404B1 (en) 2022-04-13
US20170236517A1 (en) 2017-08-17

Similar Documents

Publication Publication Date Title
CN108292301B (zh) 上下文笔记记录
US11256882B1 (en) Translation training with cross-lingual multi-media support
US11573993B2 (en) Generating a meeting review document that includes links to the one or more documents reviewed
US11270060B2 (en) Generating suggested document edits from recorded media using artificial intelligence
EP3709243A1 (en) Updating existing content suggestions to include suggestions from recorded media using artificial intelligence
US11263384B2 (en) Generating document edit requests for electronic documents managed by a third-party document management service using artificial intelligence
US11720741B2 (en) Artificial intelligence assisted review of electronic documents
US20140281855A1 (en) Displaying information in a presentation mode
US11392754B2 (en) Artificial intelligence assisted review of physical documents
US20150120278A1 (en) Translation and integration of presentation materials with cross-lingual multi-media support
CN104951546B (zh) 在即时通信软件中订阅消息的方法和装置
US20090144056A1 (en) Method and computer program product for generating recognition error correction information
US9525896B2 (en) Automatic summarizing of media content
US8276077B2 (en) Method and apparatus for automatic annotation of recorded presentations
WO2022017203A1 (zh) 听写交互方法、装置和电子设备
US10965743B2 (en) Synchronized annotations in fixed digital documents
KR101868992B1 (ko) 전자칠판 기반 강의 서비스 시스템 및 방법
US9971818B2 (en) Integrating data between different enterprise systems
CN115396404B (zh) 云会议场景中主讲人讲解位置的同步投屏方法及相关装置
EP2778954A1 (en) Displaying information in a presentation mode
US20240119851A1 (en) Method and system for providing language learning services
US20140255901A1 (en) Apparatus, System, and Method for Displaying Content
Silva Pop Up Archive: Standardized Preservation and Distribution of Culturally Significant Audio
Sharp The Innovation
KR20140087949A (ko) 증강 현실을 이용한 외국어 학습 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant