CN107667402A - 利用视觉内容从被动记录中捕捉笔记 - Google Patents

利用视觉内容从被动记录中捕捉笔记 Download PDF

Info

Publication number
CN107667402A
CN107667402A CN201680032698.2A CN201680032698A CN107667402A CN 107667402 A CN107667402 A CN 107667402A CN 201680032698 A CN201680032698 A CN 201680032698A CN 107667402 A CN107667402 A CN 107667402A
Authority
CN
China
Prior art keywords
notes
content
record
ongoing
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201680032698.2A
Other languages
English (en)
Inventor
M·盖博
M·P·达拉尔
刘杰
G·普拉加帕蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/678,611 external-priority patent/US20160293165A1/en
Priority claimed from US14/832,144 external-priority patent/US9910840B2/en
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107667402A publication Critical patent/CN107667402A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G11B2020/10546—Audio or video recording specifically adapted for audio data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提出用于执行从正在进行的内容流的被动记录中捕捉笔记并且将视觉内容(例如图像和视频)与笔记相关联的方法的系统、方法以及具有指令的计算机可读介质。被动记录包括临时记录正在进行的内容流的最新内容。正在进行的内容流被被动地记录在被动记录缓冲器中。被动记录缓冲器被配置为存储对应于正在进行的内容流的最新记录内容的有限量的记录内容。在用户指示时，笔记从被动记录中的记录内容中生成、与视觉内容相关联并且存储在针对用户的笔记文件中。

Description

利用视觉内容从被动记录中捕捉笔记
背景技术
大多数时候人们会觉得在积极参加正在进行的会话或演讲的同时记录手写笔记是非常困难的，不论当事人是简单地倾听或与他人积极地交谈。最好的情况下，会话变得支离破碎，这是因为笔记记录者必须在会话中(或在倾听会话时)暂停以将会话的显著要点记录为笔记。十分经常性地，笔记记录者在写下之前要点的笔记时会遗漏信息(该信息可能重要或可能不重要)。打字键入笔记并不会改变会话变得支离破碎或笔记记录者(在打字笔记时)会遗漏会话的一部分的这一事实。
对整个会话进行录音并且随后重放并在重放期间捕捉笔记，并且能够在笔记记录者捕捉信息到笔记时暂停重放，是一种选择。然而，这需要笔记记录者投入时间重新倾听整个会话以将相关要点捕捉为笔记。
大多数人没有录音机，但是通常拥有具有记录音频能力的移动装置。尽管新的移动装置不断地更新为具有更多的计算能力和存储，但创建典型的演讲的音频记录将消耗大量的存储资源。
发明内容
提供下面的发明内容以简化的形式提出一系列概念，其在下面的具体实施方式中进一步描述。发明内容既不旨在确定所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。
提出了用于执行从正在进行的内容流的被动记录(passive recording)中捕捉笔记并且将视觉内容(例如图像和视频)与笔记相关联的方法的系统、方法以及具有指令计算机可读介质。被动记录包括临时记录正在进行的内容流的最新内容。正在进行的内容流被动地记录在被动记录缓冲器中。被动记录缓冲器被配置为存储对应于正在进行的内容流的最新记录内容的有限量的记录内容。在用户指示时，笔记从被动记录中的记录内容中生成、与视觉内容相关联并且存储在用户的笔记文件中。
根据公开的主题的附加方面，提出了一种在用于从正在进行的内容流中生成笔记的用户的计算装置上实施的计算机执行方法。方法包括被动地记录正在进行的内容流，其中，被动记录将正在进行的内容流的记录内容存储在被动记录缓冲器中。然后基于正在进行的内容流的被动记录的记录内容生成笔记的用户指示被接收。响应于接收到生成笔记的用户指示，从被动记录的记录内容中生成笔记并且在笔记文件中存储笔记。从用户接收将视觉内容与生成的笔记相关联的指示，并且将生成的笔记与笔记文件中的视觉内容相关联。
根据公开的主题的另外方面，提出一种具有计算机可执行指令的计算机可读介质。计算机可执行指令当在至少包括处理器的计算系统上执行时，实施一种用于从正在进行的内容流生成利用种类注释的笔记的方法。方法包括至少被动地记录正在进行的内容流，其中，被动记录存储在被动记录缓冲器中。基于正在进行的内容流的被动记录的记录内容生成笔记的用户指示被接收。将视觉内容与生成的笔记相关联的用户指示也被接收。从被动记录的记录内容中的正在进行的内容流中生成笔记。视觉内容还与笔记相关联，并且注释的笔记与对应于正在进行的内容流的事件相关联地存储在笔记文件中。
根据公开的主题的另外方面，提出一种用于从正在进行的内容流生成注释的笔记的计算装置。计算装置包括处理器和存储器，其中，处理器执行存储在存储器中的指令作为附加部件的部分或与附加部件相结合以从正在进行的内容流生成笔记。这些附加部件至少包括被动记录缓冲器、音频记录部件、被动记录部件、图像捕捉部件和笔记生成器部件。在操作中，音频记录部件记录正在进行的内容流的内容并且被动记录部件从音频记录部件获得正在进行的内容流的记录内容并且将记录内容存储到被动记录缓冲器中。图像捕捉部件被配置为结合笔记生成器部件将视觉内容与生成的笔记相关联。笔记生成器部件通过被动记录部件开始被动记录处理。进一步地，笔记生成器部件通过用户界面部件从用户接收指示以捕捉正在进行的内容流的记录内容、从捕捉的记录内容生成笔记、将视觉内容与笔记相关联、并且在数据存储的笔记文件中存储生成的笔记。
附图说明
公开的主题的前述方面和许多伴随的优点将变得更易于理解，因为在结合下面的附图时通过参照下面的描述被更好地理解，其中；
图1A示出关于时间线的示例性音频流(即，正在进行的音频情况)，并且进一步示出到示例性被动记录缓冲器中的音频流的多个正在进行的被动记录；
图1B示出在实施到被动记录缓冲器中的音频流的正在进行的被动记录时关于备选的实施方式(关于图1A)的部件；
图2是示出用于生成正在进行的内容流的最新部分的笔记的示例性程序的流程图；
图3是示出用于生成正在进行的文件流的最新部分的笔记并且持续捕捉直到用户指示的示例性程序的流程图；
图4是示出用于实施公开的主题的方面的适当配置的计算装置的示例性部件的框图；
图5是示出适用于执行公开的主题的方面的示例性网络环境的示意图；
图6示出由在适当配置的计算装置上执行的应用(或应用程序)呈现的典型的主屏幕；
图7示出在用户已经与“增加会议”控制交互之后的图6的示例性计算装置；
图8示出图6的示例性计算装置，在用户已经切换到种类呈现作为用户可操纵控制之后，以用于将被动记录缓冲器的内容捕捉到笔记文件中的笔记并且将对应的种类与笔记相关联；
图9示出显示与“会议4”相关联的笔记的示例性计算装置；
图10示出用于生成正在进行的内容流的最新部分的笔记、持续捕捉直到用户指示、以及对具有预定种类或标签的捕捉的笔记进行注释的示例性程序；
图11是示出图6的示例性计算装置的示意图，在用户已经切换到用于捕捉将与从被动记录缓冲器的内容生成的笔记相关联的图像或视频的用户可操纵内容展示之后；以及
图12示出如上所述位于被动记录缓冲器中的用于生成正在进行的文件流的最新部分的笔记、持续捕捉直到用户指示并且将视觉内容与笔记文件中捕捉的笔记相关联的示例性程序。
具体实施方式
为了清楚，如在本文件中使用的术语“示例性”应该被解释为用作事物的说明性或示例，而不应该被解释为那个事物的理想情况或主要说明性。
为了清楚和限定，术语“文件流”或“正在进行的文件流”应该被解释为处于音频内容和/或视听内容在其中可以被感测并记录的正在进行的场景。正在进行的内容流的示例以说明性而非限制性的方式包括：会话；演讲；独白；记录场景的展示等。除了通过音频和/或视/听传感器或部件来检测内容流之外，根据多个实施例，正在进行的内容流可以对应于由用户的计算装置接收为数字流的数字化内容流。
术语“被动记录”指对内容流的正在进行的记录。通常，内容流对应于正在进行的、当前的音频或视/听情况，其可以通过情况感测装置以说明性的方式诸如麦克风检测。为了本公开的简洁性，将基本上针对被动记录音频内容进行描述。然而，在各个实施例中，正在进行的记录还可以包括音频内容和视觉内容两者，并可以通过一个(或多个)视/听捕捉装置，诸如是(以说明性方式)具有麦克风的视频摄像机，或者通过视频摄像机和麦克风两者进行检测。正在进行的记录是“被动的”，因为仅临时进行内容流的记录；在预定时间量之后，任何被动记录内容由内容流的最新内容重写。就此，被动记录的目的对于用户来说不是用于生成内容流的音频或视/听记录，而是在有人指示下最新记录内容的文本的副本可以被生成并且存储为用户的笔记的情况下，临时地存储最新记录内容。
在被动地记录当前情况(例如音频和/或视/听情况)时，最近记录文本被放置在“被动记录缓冲器”中。在操作中，被动记录缓冲器是被配置为保持有限预定量的最近记录内容的主计算装置中的存储缓冲器。例如，在操作中，被动记录缓冲器可以被配置为存储由主计算装置的记录部件捕捉的正在进行的音频(或视/听)情况的最近一分钟的记录。为了进一步示出公开的主题的方面，特别是关于被动记录和被动记录缓冲器，参照图1。
图1示出关于时间线100的示例性音频流102(即，正在进行的音频情况)，并且进一步示出到示例性被动记录缓冲器中的音频流的多个正在进行的被动记录。根据公开的主题的多个实施例并且在图1中示出，对应于正在进行的音频流102的时间(如通过时间线100指示)可以根据时间段截断，如时间段ts0-ts8所示。尽管可以根据实施细节确定时间段，但在一个非限制示例中，时间段对应于15秒。相应地，被动记录缓冲器，诸如被动记录缓冲器102可以被配置为使得其可以存储预定量的最近记录内容，其中，预定量对应于在单个时间段期间记录的多个数量的最近记录内容。如图1中示意性示出，无尽管源记录缓冲器102被配置为保持对应于4个时间段数量的最新记录内容，但如指示的，该数量可以根据实施细节和/或根据用户偏好而确定。
概念上，并且通过说明性和示例的方式，在被动记录缓冲器102被配置为临时存储对应于4个时间段的最近记录内容的情况下，在时间段ts4开始时，被动记录缓冲器102将包括从时间段ts0-ts3的最近记录内容，如被动记录缓冲器104所示。类似地，在时间段ts5开始时，被动记录缓冲器102将包括从时间段ts1-ts4的最近记录内容，等等，并且如被动记录缓冲器106-112所示。
关于实施细节，当根据内容的时间段管理最近记录内容时，如上所述，被动记录缓冲器可以实施为循环队列，在循环队列中，记录内容的最旧的时间段被重写作为新时间段开始。当然，当被动记录缓冲器102被实施为内容的段的集合时(对应于多个时间段)，用户提供指示以转录被动记录缓冲器的内容的时间点不总是与时间段重合。因此，实施细节或用户配置细节可以被实施为使得至少预定量时间的最近记录内容总是被捕捉。在该实施例中，当用户(或实施者)期望记录至少4个时间段的内容时，被动记录缓冲器可以被配置为保持值5个时间段的最近记录内容。
尽管关于图1A的以上讨论沿时间段关于捕捉最近记录内容进行，但将理解的是这是可以被动地记录内容的一种方式。本领域技术人员将理解的是还存在其中音频或视/听流可以被被动地记录的其它实施方法。实际上，在如图1B所示的备选的实施例中，被动记录缓冲器被配置为根据时间足以包含预定最大量的被动记录内容(如在多个帧中记录的)的大小。例如，当被动记录内容的(时间上)最大量为2分钟时，被动记录缓冲器被配置为保持足够数量的帧，诸如帧160-164，其总共对应于2分钟。因此，在新的帧(在正在进行的被动记录中)被接收时，内容落在被动记录的在前时间量的较旧的帧将被废弃。参照被动缓冲器T0，假设被动记录的在前的时间量在9个帧中被捕捉(如被动缓冲器T0所示)，当新的帧165被接收时，其被存储在被动缓冲器中并且最旧的帧160被废弃，如被动缓冲器T1所示。
尽管被动记录缓冲器可以被配置为独立于被动记录缓冲器可以包含并且根据公开的主题各个实施例而保持最大量的记录内容，但计算机用户可以配置将被转录的最近捕捉的内容的量并且将其设置为笔记文件中的笔记——当然，受被动记录缓冲器可以包含的(关于时间)最大量内容的限制。例如，尽管被动记录缓冲器可以包含的(关于时间)最大量被动记录内容可以是2分钟，但在各个实施例中，允许用户配置将被转换为笔记的被动记录内容的(时间上的)长度，诸如内容的前60秒、前2分钟等。在这点上，(在用户指示时)关于将被转录和存储为笔记文件中的笔记的音频或视/听内容流的长度的用户配置是独立于被动记录缓冲器尺寸的(除了可以在缓冲器中存储的内容的上限)。此外，尽管在上述示例建议被动记录缓冲器可以包含多达2分钟内容，但这仅仅是示意性的并且不应该被解释为限制为公开的主题。实际上，在各个可选的非限制性实施例中，被动记录缓冲器可以被配置为保持5分钟记录内容、3分钟记录内容、90秒记录内容等中的任意一个。此外，被动记录缓冲器的尺寸可以根据关于将被转换为笔记文件中的笔记的音频内容的长度的用户配置来根据需要被动态地确定、调节。
帧仅仅根据其时间序列存储在被动缓冲器上，而不是在帧被接收和存储在被动缓冲器的时刻将帧(160-165)转换为音频流。通过在接收它们时不对帧进行处理，而是将帧处理为适用于副本的音频流(将在下面描述)，大量的处理资源可以被保存。然而，在接收被动缓冲器中的内容将被转录为笔记的指示时，帧被合并在一起形成可以由副本部件或服务来处理的音频(或视/听)流。
如关于图1A和图1B所示，可以存在任意数量的无缘缓冲器的实施方式，并且公开的主题应该被是为同样适用于这些实施方式。实际上，无论被动缓冲器被实施的方式如何，重要的是预定时间段的在前内容被保持并且在使用系统的人的指示下提供用于转录。
如上面简要讨论的，在正在进行的音频流(或视/听流)被被动记录的情况下，人们(例如，计算装置上的本公开的主题的用户)可以使得正在进行的流的最新记录内容被转录为文本和笔记文件中记录的副本。图2是示出用于生成正在进行的音频流的最新部分的笔记(即，最新记录内容的文本副本)的示例性程序200的流程图。在框200开始，正在进行的音频流的被动记录过程开始。应该理解，该被动记录是正在进行的过程并且持续记录正在进行的音频(或视/听)流(即，内容流)直到特别地在用户的指示下终止，而不管关于程序200采取的其它步骤/活动。关于通过被动记录过程的记录内容的格式，应该理解，可以使用任意适合的格式，格式以示意性并且非限制性的方式包括：MP3(MPEG-2音频层III)、AVI(音频视频交替)、AAC(高级音频编码)、WMA(Windows媒体音频)、WAV(波形音频文件格式)等。典型但不唯一地，最近记录内容的格式取决于用于将音频内容转换为文件格式的编码解码器(编码器/解码器)。
在框204处，在内容流的被动记录正在进行的情况下，程序200等待用户指示。在接收到用户指示之后，在决定框206处，做出关于用户指示是关于(从被动记录缓冲器102的记录内容)生成笔记还是关于终止程序200的确定。如果指示关于生成笔记，那么在框208处，被动记录缓冲器中的最近记录内容被捕捉。在实现中，通常，捕捉被动记录缓冲器中的最近记录内容包括将最近记录内容从被动记录缓冲器复制到另一临时缓冲器。此外，最大限度地将被动记录缓冲器中的内容保持为帧，帧被合并到进入临时缓冲器中的音频流(或视/听流)中。进行这种复制使得最近记录内容可以在不影响正在进行的音频流的被动记录的情况下被转录，以使得正在进行的内容流的信息/内容被持续记录。
在框210处，在捕捉被动记录缓冲器中的最近记录内容之后，捕捉的记录内容被转录为文本。根据公开的主题的方面，捕捉的记录内容可以通过用户计算装置(即，相同的装置实施程序200)上的可执行副本部件(包括硬件和/或软件部件)进行转录。备选地，副本部件可以将捕捉的记录内容传输到线上副本服务，并且反过来，接收捕捉的记录内容的文本副本。作为另外的备选方案，捕捉的记录内容可以临时地存储用于将来的副本，例如，存储捕捉的记录内容以用于随后上传到具有转录内容的充足能力的计算装置，或存储捕捉的记录内容直到网络通信可以被建立以从线上副本服务获得副本。
在框212处，副本被保存为笔记文件中的笔记。除了捕捉的记录内容的文本副本之外，额外的信息可以与笔记文件中的笔记一起进行存储。诸如捕捉的记录内容的日期和时间的信息可以与笔记文件中的笔记一起或作为笔记文件中的笔记的一部分进行存储。相对时间(相对于程序200的开始)可以与笔记文件中的笔记一起或作为笔记文件中的笔记的一部分进行存储。诸如会议信息、GPS位置数据、用户信息等的情景信息可以与笔记文件中的笔记一起或作为笔记文件中的笔记的一部分进行存储。在生成笔记并且将其存储在笔记文件中之后，程序200返回到框204以等待额外的指示。
在某一时刻，在决定框206处，用户指示/行动可以关于终止程序200。相应地，程序200进行到框214，在框214处，正在进行的音频(或视/听)流的被动记录被终止，并且程序200终止。
通常，可以检测正在进行的会话/流的感兴趣部分并且用户将期望不仅捕捉关于最近时间段的笔记，而且以正在进行的方式持续捕捉内容。公开的主题可以适当地并且有利地被实施以持续捕捉内容(以用于基于文本的笔记的部分)，如关于图3描述。图3是示出用于生成正在进行的内容流的最新部分的笔记并且用于持续捕捉直到用户指示的示例性程序300的流程图。如将看到的，程序200和程序300的许多方面相同。
在框302处开始，正在进行的音频流的被动记录过程开始。如上面关于程序200指示的，该被动记录过程是正在进行的过程并且持续记录正在进行的内容流直到被特别地终止，而不管关于程序300采取的其它步骤/活动。关于最近记录内容的格式，应该理解，可以使用任意适合的格式，以示意性并且非限制性的方式包括MP3(MPEG-2音频层III)、AVI(音频视频交替)、AAC(高级音频编码)、WMA(Windows媒体音频)、WAV(波形音频文件格式)等。
在框304处，在被动记录正在进行的情况下，程序300等待用户指示。在接收到用户指示之后，在决定框306处，做出关于用户指示是关于(从被动记录缓冲器102的记录内容)生成笔记还是关于终止程序300的确定。如果用户指示关于生成笔记，那么在框308处，被动记录缓冲器中的最近记录内容被捕捉。除了从被动记录缓冲器捕捉记录内容之外，在决定框310处，做出关于用户是否已经指示程序300应该持续捕捉正在进行的音频流以用于作为扩充的笔记的副本的确定。如果确定用户没有指示程序300应该持续捕捉正在进行的音频流，那么程序300如下所述继续到框316。然而，如果用户已经指示程序300应该持续捕捉正在进行的音频流作为扩充的笔记的部分，那么程序继续到框312。
在框312处，在不中断被动记录过程的情况下，到被动记录缓冲器的正在进行的内容流的正在进行的记录被持续捕捉为扩充的捕捉的记录内容的部分，其中，扩充的捕捉的记录内容因此大于可以存储在被动记录缓冲器中的记录内容的量。在框314处，这种内容流的持续捕捉持续直到从用户接收到指示以释放或终止持续的捕捉。在框316处，在捕捉到被动记录缓冲器中的最近记录内容和如用户指示的任意额外的内容之后，捕捉的笔记内容被转录为文本。如以上关于图2的程序200所提及的，捕捉的记录内容可以通过用户计算装置上的可执行副本部件(包括硬件和/或软件部件)进行转录。备选地，副本部件可以将捕捉的记录内容传输到线上副本服务，并且反过来，接收捕捉的记录内容的文本副本。作为另外的备选方案，捕捉的记录内容可以临时地存储以用于将来的副本，例如，存储捕捉的记录内容以用于随后上传到具有转录内容的充足能力的计算装置，或者存储捕捉的记录内容直到网络通信可以被建立以从线上副本服务获得副本。
在框318处，副本被保存为笔记文件中的笔记，即，包括至少一个或多个文本笔记的数据文件。除了捕捉的记录内容的文本副本之外，额外的信息可以与笔记文件中的笔记一起进行存储。诸如捕捉的记录内容的日期和时间的信息可以与笔记文件中的笔记一起或作为笔记文件中的笔记的一部分进行存储。相对时间(相对于程序200的开始)可以与笔记文件中的笔记一起或作为笔记文件中的笔记的一部分进行存储。诸如会议信息、GPS位置数据、用户信息等的情景信息可以与笔记文件中的笔记一起或作为笔记文件中的笔记的一部分进行存储。在生成笔记并且将其存储在笔记文件中之后，程序300返回到框304以等待另外的指示。
如上所述，在决定框306处，用户指示/行动可以关于终止程序300。在这种情况下，程序300进行到框320，在框320处，正在进行的音频(或视/听)流的被动记录被终止，并且之后程序300终止。
关于上述程序200和300以及本文描述的程序1000和其它过程，尽管这些程序/过程以离散的步骤表达，但这些步骤应该被视为本质上具有逻辑性并且可以对应于或可以不对应于特定实施方式的任意实际和/或离散步骤。此外，这些步骤在各个程序和过程中被呈现的顺序不应该被解释为步骤可以被实施的唯一顺序，除非另外指示。在一些情况下，这些步骤中的一些可以省略。本领域技术人员将了解步骤的逻辑性呈现足以指示执行所要求保护的主题的方面，而不管逻辑指示/步骤被实施的任意特定语言。
当然，虽然这些程序包括公开的主题的多种新颖的特征，但是在这些程序中阐述的主题的执行中也可以实施其它步骤(未示出)。本领域技术人员将理解，这些程序的逻辑步骤可以被组合在一起或包括多个步骤。上述程序的步骤可以并行或顺序实施。通常但是不唯一地，各个程序的功能在计算装置(诸如以下关于图4中描述的计算装置)的一个或多个处理器上执行的软件(例如，应用程序、系统服务器、库等)中实施。另外，在各个实施例中，各个程序中的全部或一些还可以在可执行硬件模块中实施，可执行硬件模块包括但不限于计算机系统上的片上系统、编码解码器、特别设计的处理器和/或逻辑电路等。
这些程序/处理器通常在可执行编码模块中实施，可执行编码模块包括程序、功能、循环结构、诸如if-then和if-then-else语句、赋值、算数运算等。然而，每个程序的可执行语句中的具体实施基于不同的实施配置和决定，包括编程语言、编译器、目标处理器、操作环境、以及链接或绑定操作。本领域技术人员将容易理解在这些程序中识别的逻辑步骤可以以任意数量的方式实施，从而，上面阐述的逻辑描述足以能够实现类似的结果。
虽然公开的主题的许多新颖的方面被表达在程序中，程序被实施为应用程序(也称为计算机程序)、应用(较小、通常单个或狭窄定义的应用程序)和/或方法内，但是这些方面还可以实施为由计算机可读介质(也称为计算机可读存储介质，其为制造产品)执行的计算机可执行指令。本领域技术人员将理解，计算机可读介质可以托管、存储和/或复制计算机可执行指令和数据以用于稍后检索和/或执行。当在计算机可读存储装置上托管或存储的计算机可执行指令被执行时，其执行引起、配置和/或适配执行计算装置以实施多个步骤、方法和/或功能，包括上述关于各个示出的程序的那些步骤、方法和程序。计算机可读介质的示例包括但不限于：光存储介质，诸如蓝光光盘、数字视频光盘(DVD)、光盘(CD)、光盘盒等；磁存储介质，包括硬盘驱动器、软盘、磁带等；云存储(即，线上存储装置)等。虽然计算机可读介质可以将计算机可执行指令(和数据)经由各种传输装置和包括载波和/或传播的信号的介质传递到计算装置用于执行，但为了本公开的目的，计算机可读介质清楚地排除载波和/或传播的信号。
有利地，公开的主题的许多益处可以在具有有限计算能力和/或存储能力的计算装置上执行。进一步地，公开的主题的许多益处可以在具有有限计算能力、存储能力以及网络连通性的计算设备上实施。实际上，适用于执行公开的主题的适当的计算装置以示意性并且非限制性的方式包括：移动电话、平板电脑、“平板”计算装置(混合移动电话/平板装置)、个人数字助手、手提电脑、台式电脑等。
关于可以实施公开的主题的方面的各个计算装置，图4是示出用于执行公开的主题的适当配置的计算装置400的示例性部件的框图。示例性计算装置400包括一个或多个处理器(或处理单元)，诸如处理器402和存储器404。处理器402和存储器404以及其它部件以系统总线410互联。存储器404通常(但不是总是)包括易失性存储器406和非易失性存储器408两者。只要存储器被供电，易失性存储器406就保持或存储信息。相反，即使当不提供电力供应时，非易失性存储器408也能够存储(或存留)信息。一般而言，RAM和CPU缓存存储器是易失性存储器406的示例，而ROM、固态存储器装置、内存存储装置和/或存储卡是非易失性存储器408的示例。如所示出的存储器404的一部分是被动记录缓冲器414。尽管示出为与易失性存储器406和非易失性存储器408两者分开，但这种区分用于示意性目的以标识出存储器404包括(作为易失性存储器或作为非易失性存储器)的被动记录缓冲器414。
此外，示出的计算装置400包括网络通信部件412，其用于通过计算机网络将该计算装置与其它装置互联，可选地包括如上讨论的线上副本服务。网络通信部件412(有时称为网络接口卡或NIC)使用一个或多个通信协议经由物理/有形(例如，有线、光等)连接、无线连接或两者通过网络通信。如本领域技术人员容易地理解的，诸如网络通信部件412的网络通信部件通常包括硬件和/或固件部件(并且也包括或包含可执行软件部件)，其通过传输介质(即，网络)传输和接收数字和/或模拟信号。
处理器402执行从存储器404(和/或从计算机可读介质)检索的指令，以实施多种功能，特别是如上讨论和描述的关于响应于被动记录正在进行的音频或视/听流并从被动记录中生成笔记。处理器401可以包括诸如单处理器、多处理器、单核单元和多核单元等的多个可用处理器中的任意处理器。
示例性计算装置400进一步包括音频记录部件420。备选地，未示出，示例性计算装置400可以被配置为如上讨论的包括视/听记录部件，或音频记录部件和视频记录部件两者。音频记录部件420通常包括诸如麦克风的音频感测装置以及用于将感测的音频内容转换为被动记录缓冲器414中的最近记录内容的诸如硬件和/或软件解码编码器的可执行硬件和软件。被动记录部件426使用音频记录部件420以将音频内容捕捉到被动记录缓冲器，如以上关于程序200和300描述的。笔记生成器部件428在计算装置用户的指示下(通常通过用户界面部件422中的一个或多个用户界面控制)操作，以被动地捕捉正在进行的音频(或视/听)流的内容，并且进一步从被动记录缓冲器414中的最近记录内容生成一个或多个笔记，如上所述。如上面指示的，笔记生成器部件428可以利用计算装置400的可选副本部件424的优势以将捕捉的记录内容从被动记录缓冲器414转录为用于保存在存储在数据存储430中的(多个笔记文件中的)笔记文件434中的文本表示。备选地，笔记生成器部件428可以将被动记录缓冲器414的捕捉的记录内容通过网络经由网络通信部件412传递到线上副本服务，或在连接可获得时将临时地存储在数据存储430中的捕捉的音频内容432上传到更有能力的计算装置。
注释部件被配置为对生成的笔记注释以一个或多个注释，即，一个或多个类别的多个预定类别。对生成的笔记进行注释在下面关于图6-9和图10更详细地描述。
关于数据存储430，虽然数据存储可以如所示出的包括分别从通常用在计算装置400上的存储器404可访问的硬驱动和/或固态驱动，但是实际上这种区别可以仅仅是逻辑上的。在多个实施例中，数据存储是计算装置400的非易失性存储器408的部分。另外，虽然数据存储430被指示为计算装置400的部分，但是在备选的实施例中，数据存储可以被实施为通过网络(经由网络通信部件412)可访问计算装置的基于云的存储服务。
关于示例性计算装置400的多个部件，本领域技术人员将理解这些部件可以实施为存储在计算装置的存储器中的可执行软件模块、硬件模块和/或部件(包括SoC-片上系统)或两者的组合。实际上，诸如被动记录部件426、笔记生成器部件428和副本部件424以及其它的部件可以根据多个可执行实施例而实施，包括执行本文中描述的处理的一个或多个逻辑部件的可执行软件模块、或作为包括实施本文中描述的处理的一个或多个逻辑部件的可执行逻辑的硬件部件。这些可执行硬件部件的示例以示例性且非限制性的方式包括ROM(只读存储器)装置、可编程逻辑阵列(PLA)装置、PROM(可编程只读存储器)装置、EPROM(可擦除PROM)装置、逻辑电路和装置等，其每个可以被编码有在执行中实施本文描述的功能的指令和/或逻辑。
此外，在特定实施例中，多个部件中的每一个可以实施为独立的、配合的过程或装置，与一个或多个计算系统和/或计算装置结合或在一个或多个计算系统和/或在一个或多个计算系统和/或计算装置上操作。当然，应该进一步理解的是，上文描述的各个部件应该被视为用于实施多个描述的功能的逻辑部件。如本领域技术人员容易地理解的，逻辑部件和/或子系统可以以或可以不以一对一方式直接对应于实际离散的部件。在实际实施例中，每个计算装置的多个部件可以组合在一起或分布在多个实际部件和/或实施为计算机网络上的配合的过程。
图5是示出适用于实施公开的主题的方面的示例性环境500的示意图。如图5中所示，计算装置400(在本示例中，计算装置是用户/个人501的移动电话)可以被配置为被动地记录如上所述的包括个人501、503、505和507的多人中的正在进行的会话。在用户/个人501指示时，计算装置400捕捉被动记录缓冲器414的内容、获得从被动记录缓冲器中捕捉的最近记录内容的副本，并且存储文本副本作为数据存储的笔记文件中的笔记。计算装置400连接到网络502，计算装置通过网络502可以从副本服务510获得捕捉的音频内容(或视/听视觉内容)的副本，和/或将转录文本存储在线上和/或基于云数据存储中(未示出)。
除了捕捉或生成正在进行的内容流的笔记，通常人们可能期望将额外的信息与那个笔记相关联。例如，大部分人具有不同的角色，他/她可以在任意某天期间承担不同的角色，以示意性并且非限制性的方式包括：个人/家庭角色、儿童足球队的志愿者角色、个人的职业内的不同项目、社区服务角色等。此外，在正在进行的会话期间，特定项——在来自正在进行的内容流/会话的笔记中捕捉的——可以与那个人的生活的特定方面特别相关。在这些情况下，将有利的是能够对捕获的笔记以类别或标签，其可以用于标识捕捉的笔记作为属于他/她生活的特定方面。
进一步地，虽然从正在进行的会话生成笔记可以捕捉关键信息，然而对特别文件进行定位和/或理解特定文件的上下文在个人能够将标签或类别与笔记相关联时(即，对捕捉的笔记进行注释时)可以极大地提高。参照以上示例，那个人可以极大地提高效率，从而他/她可以通过将标签(或更通常为注释)关联到生成的/捕捉的笔记而回忆笔记的特定上下文和/或识别属于他/她生活的特别方面的一个或多个笔记。
根据公开的主题的方面，在正在进行记录期间，个人可以提供关于与生成的笔记和注释相关的类别或标签的指示。这种指示可以作为提供指示以捕捉和生成正在进行的会话或音频流的特定笔记的一部分或除了提供指示以捕捉和生成正在进行的会话或音频流的特定笔记之外而做出，如关于图6-9和图10阐述的。实际上，图6-9示出与执行用于从正在进行的音频会话捕捉笔记的应用程序的计算装置的示例性交互，并且进一步示出对捕捉的笔记的注释以类别或标签。图10示出用于生成正在进行的内容流的最新被动记录内容的笔记、用于持续捕捉直到用户指示、以及用于利用预定类别或标签对捕捉的笔记进行注释的示例性程序1000。
关于图6-9，图6示出如由在计算装置600上执行的应用(或应用程序)呈现的典型的主屏幕。主屏幕示出/包括多个会议条目，诸如会议条目602和604，为此，计算装置的用户针已经引起应用程序以从正在进行的会话中捕捉笔记。在这一点上，会议被用作组织工具以一种类型的文件夹，在该文件夹中被捕捉的笔记可以被分组在一起。如可以看到的，发生在“2015年7月27日”的“10:31AM”的名为“PM会议”的会议602包括两个捕捉的文件。类似地，发生在“2015年7月28日”的“1:30PM”的名为“组Mtg”的会议604包括3个捕捉的笔记。
除了列表“会议”(其更通常用作收集正在进行的音频流的生成的笔记的文件夹)，用户还可以通过与“添加会议”控制60 6进行交互来创建新的会议(或文件夹)。因此，如果用户加入新会议并且期望从会议的会话捕捉(或可能期望捕捉)笔记，则用户简单地与“加入会议”控制606进行交互。
转向图7，图7示出在用于已经与“加入会议”控制606交互之后图6的示例性计算装置600。根据公开的主题的一个实施例，作为创建新会议的部分，在计算装置600上执行的笔记捕捉应用开始其被动记录正在进行的内容流的过程，如状态指示符702指示。除了状态指示符，会议题目704也被显示，指示新会议的默认题目。当然，在多个实施例中，会议的默认题目可以是用户可配置的对用户有意义的题目或从用户日历(即，与当前时间重合的会议)获得。同样通过计算装置600上的应用示出持续时间控制706，用户通过持续时间控制706可以控制在被动记录缓冲器中捕捉的内容的量/持续时间(作为秒的函数)，如上所述。在本示例中，在被动记录缓冲器中捕捉的以秒为单位的内容的量被设置为30秒，即，值30秒的内容被捕捉在被动记录缓冲器中。
在图7中还示出捕捉按钮708。根据公开的主题的方面，通过与捕捉按钮708交互，用户可以使得下层应用从被动记录缓冲器捕捉/生成笔记并且与会议相结合地将笔记存储在笔记文件中，如上所述。实际上，还如上所述，通过与捕捉按钮708的持续交互，诸如持续按压捕捉按钮708，在当前捕捉/生成的笔记中的内容的量被延长直到交互终止，从而延长笔记中捕捉的内容的量。还在计算装置600上呈现使得被动记录终止并且返回到主页面(如图6所示)的主控制710以及如下所述从“典型”笔记捕捉切换到注释笔记捕捉的类别转换控制712。
如上所述，除了从正在进行的内容流简单捕捉笔记，用户可以期望将类别或标签与捕捉的笔记关联作为笔记的注释。虽然用户可以在笔记已经被捕捉/生成之后利用类别或标签注释已经捕捉的笔记，但是根据公开的主题的方面，可以提供一系列预定类别，其中，每个预定类别被提供为用户可操纵控制，用户可以通过其使得被动记录缓冲器的内容被捕捉并且转换为(与会议相关联的)笔记文件中的笔记，以及由用户可操纵控制提供的类别进行注释。实际上，通过与类别转换控制712交换，用户可以切换到类别呈现/从类别呈现切换。
图8示出在用户已经切换到作为用户可操作控制的类别呈现以用于将被动记录缓冲器的内容捕捉到笔记文件中的笔记并且将对应的类别作为注释与笔记相关联之后的示例性计算装置600。如图8所示，计算装置600现在以诸如用户可操纵控制802-808的用户可操纵控制的形式提供一系列预定类别。实际上，根据公开的主题的方面，通过与用户可操纵可控制802-808的任意一个交互，笔记被生成并且存储在笔记文件中，被注释以与用户可操纵控制相关联的类别，并且与会议或更通常地与对应于正在进行的内容流的“事件”相关联。换言之，对于将类别与生成的笔记相关联的指示也是基于正在进行的内容流的被动记录的记录内容生成笔记的指示。图8中还示出使得被动记录终止并且返回到主页面(如图6所示)的主控制710、在“典型”笔记捕捉和“注释”笔记捕捉之间切换或转换的类别转换控制712。
应该理解并且根据各个实施例，虽然用户可以通过与诸如工作/行动控制802的类别相关的用户可操纵控制交互而生成笔记，但用户可以进一步对生成的笔记配置为与一个或多个额外的类别相关联。以此方式，生成的笔记可以与多个类别相关联。当然，如将容易地理解的，通常，特别的笔记可适用于多于一种类别。例如，分类为工作/行动项目(如由工作/行动控制802表示)的笔记还可以可识别并且分类为想法(如由想法控制804表示)。虽然多个实施例可以包括在从捕捉的内容生成笔记时关联多个类别的能力，但是在可选的实施例中，用户可以在生成笔记之后将一个或多个类别与多个预定类别中的笔记相关联。此外，虽然可以利用应用程序提供默认的一组多个类别，但是该组多个预定类别可以是用户可配置的，以使得用户可以添加、删除和/或修改类别。
假设用户已经针对示例性的图6-8中示出的会议捕捉非注释笔记和注释笔记两者，图9示出了示例性计算装置600，其显示捕捉并与“会议4”相关联的笔记。实际上，如图9所示，题目控制902显示会议的当前名称，状态控制904显示关于会议的笔记的多个状态信息，包括存在从会议捕捉的三个(3)笔记，并且进一步包括笔记906、908和914，每个呈现为用户可操纵控制以用于将笔记复制给用户。如可以看到的，第一笔记906不与类别相关联(如通过缺少控制上的类别图标所指示)，而笔记908与类别相关联/由类别注释，如由存在类别图标912(对应于图8的“工作/行动”用户可操纵类别控制802)所指示的。第三笔记914与图像/视频相关联，如图标916指示。将笔记与图像或视频相关联在下面关于图11和图12更详细地讨论。除了笔记控制906和908，计算装置600还包括返回记录笔记(图7或图8中显示的屏幕的任意一个)以持续捕捉该会议的笔记的用户可操纵记录图标910。
虽然图6-9示出了用于与利用类别注释捕捉笔记的计算装置上执行的应用交互的特定组用户界面，但是应该理解的是，这仅仅是这种用户交互的一个示例并且不应该被示出限制在公开的主题上。本领域技术人员将理解，可以存在可以通过应用而适当使用的任意数量的用户界面，以从被动记录缓冲器捕捉正在进行的音频流的笔记并且将笔记与类别相关联或利用类别注释笔记。
转向图10，图10示出用于生成如上位于所述的被动记录缓冲器中的正在进行的内容流的最新部分的笔记、用于持续捕捉直到用户指示，以及用于利用预定类别或标签注释捕捉的笔记的示例性程序1000。在框1002处开始，正在进行的音频流的被动记录过程开始。在框1004处，在被动记录正在进行的情况下，程序1000等待用户指示。
在接收到用户指示之后，在决定框1006处，进行关于用户指示是关于(从被动记录缓冲器102的记录内容)生成笔记还是关于终止程序1000的确定。如果用户指示关于生成笔记，那么在框1008处，被动记录缓冲器中的最近记录内容被捕捉。除了从被动记录缓冲器捕捉记录内容之外，在决定框1010处，进行关于用户是否已经指示程序1000应该持续捕捉正在进行的音频流以用于作为扩充的笔记的副本的确定。如果确定为用户没有指示程序1000应该持续捕捉正在进行的音频流，那么程序如下所述继续到框1016。然而，如果用户已经指示程序1000应该持续捕捉正在进行的音频流作为扩充的笔记的部分，那么程序继续到框1012。在框1012处，在不中断被动记录过程的情况下，到被动记录缓冲器的正在进行的内容流的正在进行的记录被持续捕捉为扩充的捕捉的记录内容的部分，其中，扩充的捕捉的记录内容因此大于可以存储在被动记录缓冲器中的记录内容的量。
在框1014处，这种内容流的持续捕捉持续直到从用户接收到指示以释放或终止持续的捕捉。在框1016处，在捕捉被动记录缓冲器中的最近记录内容和如用户指示的任意额外的内容之后，从捕捉的记录内容生成笔记。根据各个实施例，可以根据记录/捕捉的内容的副本生成笔记。备选地，笔记可以被生成为来自记录的/捕捉的内容的单个音频文件。进一步地，笔记可以以诸如音频文件和副本的多种格式存储在笔记文件中。
在框1018处，生成的笔记然后被存储在笔记文件中，即，数据文件包括至少一个或多个文本笔记。如上所述，根据各个实施例，笔记可以存储在与会议相关联(或作为会议的部分)的笔记文件中。在框1020中，进行关于类别是否与生成的笔记相关联，即，是否利用类别注释笔记的确定。如果笔记不与类别相关联，程序1000返回到框1004等待另外的用户指示。备选地，如果生成的笔记将利用类别注释，那么在框1022处，利用类别来对笔记进行注释，并且程序1000返回到框1004。
如上所述，在决定框1006，用户指示/行动可以关于终止程序1000。在这种情况下，程序1000进行到正在进行的音频(或视/听)流的被动记录被终止的框1024，然后程序1000终止。
除了或可选地将类别与从被动记录缓冲器中的被动记录生成的笔记相关联，本领域技术人员将容易理解，通常，用户可能期望将图像或视频(即，视觉内容)与笔记中捕捉的正在进行的会话的特定片段相关联。例如，在头脑风暴会议中，惯常实践是在白板(或黑板或纸)上写下想法、话题、任务等，并且意识到想法，如书写的，包括重要细节，其可能或可能无法在绘话中在任意特别时间时发现。或重要信息在特别情景或原型中找到。这样，惯常实践是在会议进程期间对某物拍摄图像或录制视频。因此，将有利的是能够将那个图像或视频与来自被动记录缓冲器的捕捉的笔记相关联。
根据公开的主题的方面，通常，仅来自被动记录缓冲器的捕捉的内容不足以：计算装置的用户可能期望具有与捕捉的笔记相关联的额外的内容、图像和/或视频。如所提及的，这种额外的内容可以以示意性并且非限制性的方式包括特定情境的图像、白板上的画、原型的图像、示范的视频等。
如上面关于图4讨论的，计算装置400可以包括可以用于捕捉图像或视频的图像捕捉部件438。此外，注释部件436可以进一步被配置为将生成的笔记与捕捉的图像或视频相关联(或利用捕捉的图像或视频对生成的笔记进行注释)。
因此，如图11所示，除了分配任务，或更通常的，通过与捕捉图像控制1104交互而对生成的笔记进行注释(不管注释是标签/类别、扬声器或任务)，个人可以使得下层应用程序捕捉被动记录缓冲器的内容、从捕捉的内容生成笔记、捕捉图像并且将图形与生成的笔记相关联(作为针对生成的笔记的注释的一种形式)。
转向图11，图11是示出在用户已经切换到呈现用于捕捉与从被动记录缓冲器的内容生成的笔记相关联的图像或视频的用户可操纵控制之后的示例性计算装置600的示意图。如图11所示，示例性的计算装置提供预览将在图像或视频中捕捉的内容的图像/视频预览1102。此外，呈现用户可操纵控制1104和1106用于捕捉图像(经由用户可操纵控制1106)和视频(经由用户可操纵控制1106)。还包括其它控制，诸如用于返回到主屏幕(如图6中所示)的主控制710或用于从捕捉笔记/将图像与笔记相关联切换到利用类别(如关于图8描述)注释笔记的类别控制712。
根据公开的主题的方面，通过与图像捕捉控制1104或视频捕捉控制1106中的任意一个交互，图像或视频经由图像捕捉部件438捕捉，并且相应地，从被动记录缓冲器生成笔记，并且捕捉的图像(或视频)与生成的笔记相关联并且存储在笔记文件中。
根据公开的主题的各个实施例，只要视频被捕捉，那么用于包含在笔记中的内容的捕捉就可以持续(超过将被捕捉的笔记的时间长度的设置)。类似地，保持与用户可操纵图像捕捉控制1104的交互(即，持续触摸)还可以用于将持续正在进行的内容流的内容的捕捉至生成的笔记。
根据公开的主题的方面，在一个实施例中，可以通过用户与图像捕捉控制1104或视频捕捉控制1106的交互而从被动记录缓冲器中的被动记录内容自动生成笔记。当然，通过上述类别，图像和/或视频可以在笔记已经生成并且存储在笔记文件中之后与生成的笔记相关联。
现在转到图12，图12示出用于生成如位于上述被动记录缓冲器中的正在进行的内容流的最新部分的笔记、用于持续捕捉直到用户指示、以及用于将图像或视频与笔记文件中的笔记相关联的示例性程序1200。在框1202处开始，正在进行的音频流的被动记录过程开始。在框1204处，在被动记录正在进行的情况下，程序1200等待用户指示。如上所述，根据各个实施例，用户指令可以通过与图像捕捉控制1104或视频捕捉控制1106交互而被指示。备选地，用户指示可以以其它方式指示，诸如通过用户与图7的用户可操纵控制708交互。
在接收到用户指示之后，在决定框1206处，进行关于用户指示是关于(从被动记录缓冲器102的记录内容)生成笔记还是关于终止程序1200的确定。如果用户指示关于生成笔记，那么在框1208处，被动记录缓冲器中的最近记录内容被捕捉。除了从被动记录缓冲器捕捉记录内容，在确定框1210处，进行关于用户是否已经指示程序1200应该持续捕捉正在进行的音频流用于作为扩充的笔记的副本的确定。如果确定为用户不指示程序1200应该持续捕捉正在进行的音频流，那么程序如下所述继续到框1216。然而，如果用户已经指示程序1200应该持续捕捉正在进行的音频流作为扩充的笔记的部分，那么程序继续到框1212。在框1212处，在不中断被动记录过程的情况下，到被动记录缓冲器的正在进行的内容流的正在进行的记录被持续捕捉为扩充的捕捉的记录内容的部分，其中，扩充的捕捉的记录内容因此大于可以存储在被动记录缓冲器中的记录内容的量。在至少一个实施例中，内容的持续捕捉可以对应于视觉内容的持续捕捉或与图像捕捉控制1104的持续的用户交互。
在框1214处，这种内容流的持续捕捉持续直到接收到用户指示释放或终止持续的捕捉。在框1216处，在捕捉被动记录缓冲器中的最近记录内容和如用户指示的任意额外的内容之后，从捕捉的记录内容生成笔记。
在框1218处，生成的笔记然后被存储在笔记文件中，即，数据文件包括至少一个或多个文本笔记。如上所述，根据各个实施例，笔记可以存储在与会议相关联(或作为会议的部分)的笔记文件中。在框1220中，进行关于图像或视频是否与生成的笔记相关联的确定。如果笔记不与图像或视频相关联，程序1200返回到框1204等待额外的用户指示。备选地，如果生成的笔记与图像或视频相关联，那么在框1222处，图像或视频与笔记文件中的笔记相关联。然后，程序1200返回到框1204。
根据公开的主题的各个实施例，虽然笔记可以与从图像捕捉部件438获得的图像和/或视频相关联，但是应该理解，公开的主题不限于唯一地从该部件获得图像和/或视频。实际上，从计算装置600上的另一来源获得或从计算装置外部的另一来源获得的图像或视频可以与生成的笔记相关联。例如，会议中的笔记的图像或扬声器可以随(笔记的捕捉)之后获得并且与笔记文件中的笔记相关联。
如上所述，在决定框1206处，用户指示/行动可以关于终止程序1200。在这种情况下，程序1200进行到正在进行的音频(或视/听)流的被动记录被终止的框1224，然后程序1200终止。
虽然已经描述了公开的主题的多个新颖的方面，但是应该理解这些方面是示例性的并且不应该被解释为限制。可以在不脱离公开的主题的范围的情况下对多个方面进行变形和改变。

Claims (12)

1.一种在用户的计算装置上执行的计算机实施方法，所述计算装置至少包括处理器和存储器，以用于从正在进行的内容流中生成笔记，所述方法包括：
被动地记录正在进行的内容流，被动记录将所述正在进行的内容流的记录内容存储在被动记录缓冲器中；
接收用于基于所述正在进行的内容流的所述被动记录的所述记录内容来生成笔记的用户指示；
从所述被动记录的所述记录内容生成所述正在进行的内容流的笔记，并且将所述笔记存储在笔记文件中；
从所述用户接收用于将视觉内容与所生成的笔记相关联的指示；以及
将所述视觉内容与所述笔记文件中的所生成的笔记相关联。
2.根据权利要求1所述的计算机执行方法，其中在所述笔记已经生成并且存储在所述笔记文件中之后，从所述用户接收用于将所述视觉内容与所生成的笔记相关联的所述指示。
3.根据权利要求1所述的计算机执行方法，其中用于基于所述正在进行的内容流的所述被动记录的所述记录内容来生成所述笔记的所述用户指示是根据来自所述用户的用于将所述视觉内容与所生成的笔记相关联的指示。
4.根据权利要求1所述的计算机执行方法，其中所述视觉内容从所述计算装置外部的源和所述计算装置的图像捕捉部件中的任一个而被获得。
5.根据权利要求4所述的计算机执行方法，其中所述视觉内容包括图像。
6.根据权利要求4所述的计算机执行方法，其中所述视觉内容包括视频。
7.根据权利要求1所述的计算机执行方法，进一步包括：
从所述用户接收用于将类别与所生成的笔记相关联的指示；以及
利用所述笔记文件中的所述类别来注释所生成的笔记。
8.根据权利要求1所述的计算机执行方法，其中所生成的笔记与对应于所述正在进行的内容流的会议相关联地被存储在所述笔记文件中。
9.一种计算机可读介质，具有计算机可执行指令，所述计算机可执行指令，当在包括至少一个处理器的计算机系统上执行时，实施用于从正在进行的内容流生成笔记的方法，所述方法包括根据权利要求1-8所述的方法中的任一方法。
10.一种用于从正在进行的内容流生成笔记的计算装置，所述计算装置包括处理器和存储器，其中所述处理器执行存储在所述存储器中的指令作为附加部件的部分或与所述附加部件相结合以从正在进行的内容流生成笔记，所述附加部件包括：
被动记录缓冲器，所述被动记录缓冲器被配置为临时地存储正在进行的内容流的预定量的记录内容；
音频记录部件，所述音频记录部件被配置为生成所述正在进行的内容流的记录内容；
被动记录部件，所述被动记录部件被配置为从所述音频记录部件获得所述正在进行的内容流的记录内容并且将所述记录内容存储到所述被动记录缓冲器；
图像捕捉部件，所述图像捕捉部件被配置为捕捉视觉内容；以及
笔记生成器部件，所述笔记生成器部件被配置为：经由所述被动记录部件开始被动记录过程，从所述用户经由用户界面部件接收用于捕捉所述正在进行的内容流的记录内容的指示，从所捕捉的记录内容生成笔记，将视觉内容与所生成的笔记相关联，以及将所生成的笔记存储在数据存储中的笔记文件中。
11.根据权利要求10所述的计算装置，其中来自所述用户的用于捕捉所述正在进行的内容流的记录内容的所述指示包括：将视觉内容与所生成的笔记相关联的指示。
12.根据权利要求10所述的计算装置，其中所生成的笔记与对应于所述正在进行的内容流的会议相关联地存储在所述数据存储中的所述笔记文件中。
CN201680032698.2A 2015-04-03 2016-04-01 利用视觉内容从被动记录中捕捉笔记 Withdrawn CN107667402A (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US14/678,611 2015-04-03
US14/678,611 US20160293165A1 (en) 2015-04-03 2015-04-03 Generating notes from passive recording
US201562186313P 2015-06-29 2015-06-29
US62/186,313 2015-06-29
US14/832,144 US9910840B2 (en) 2015-04-03 2015-08-21 Annotating notes from passive recording with categories
US14/832,144 2015-08-21
US14/859,291 US20160292897A1 (en) 2015-04-03 2015-09-19 Capturing Notes From Passive Recordings With Visual Content
US14/859,291 2015-09-19
PCT/US2016/025464 WO2016161232A1 (en) 2015-04-03 2016-04-01 Capturing notes from passive recordings with visual content

Publications (1)

Publication Number Publication Date
CN107667402A true CN107667402A (zh) 2018-02-06

Family

ID=55752767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680032698.2A Withdrawn CN107667402A (zh) 2015-04-03 2016-04-01 利用视觉内容从被动记录中捕捉笔记

Country Status (4)

Country Link
US (1) US20160292897A1 (zh)
EP (1) EP3278337A1 (zh)
CN (1) CN107667402A (zh)
WO (1) WO2016161232A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD738889S1 (en) * 2013-06-09 2015-09-15 Apple Inc. Display screen or portion thereof with animated graphical user interface
US9910840B2 (en) * 2015-04-03 2018-03-06 Microsoft Technology Licensing, Llc Annotating notes from passive recording with categories
US10409550B2 (en) * 2016-03-04 2019-09-10 Ricoh Company, Ltd. Voice control of interactive whiteboard appliances
US10417021B2 (en) 2016-03-04 2019-09-17 Ricoh Company, Ltd. Interactive command assistant for an interactive whiteboard appliance
KR20180068069A (ko) * 2016-12-13 2018-06-21 삼성전자주식회사 전자 장치 및 이의 제어 방법
CN113395605B (zh) * 2021-07-20 2022-12-13 上海哔哩哔哩科技有限公司 视频笔记生成方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214225A (zh) * 2010-06-11 2011-10-12 微软公司 记录数据的上下文标记
WO2014041399A1 (en) * 2012-09-14 2014-03-20 Nokia Corporation Handling user-generated content
US8909022B1 (en) * 2013-10-21 2014-12-09 Google Inc. Methods and systems for providing media content collected by sensors of a device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6856758B2 (en) * 2003-04-09 2005-02-15 Televentions, Llc Method and apparatus for insuring complete recording of a television program
US20120245936A1 (en) * 2011-03-25 2012-09-27 Bryan Treglia Device to Capture and Temporally Synchronize Aspects of a Conversation and Method and System Thereof
US8626496B2 (en) * 2011-07-12 2014-01-07 Cisco Technology, Inc. Method and apparatus for enabling playback of ad HOC conversations
US8917838B2 (en) * 2012-06-12 2014-12-23 Mitel Networks Corporation Digital media recording system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214225A (zh) * 2010-06-11 2011-10-12 微软公司 记录数据的上下文标记
WO2014041399A1 (en) * 2012-09-14 2014-03-20 Nokia Corporation Handling user-generated content
US8909022B1 (en) * 2013-10-21 2014-12-09 Google Inc. Methods and systems for providing media content collected by sensors of a device

Also Published As

Publication number Publication date
US20160292897A1 (en) 2016-10-06
WO2016161232A1 (en) 2016-10-06
EP3278337A1 (en) 2018-02-07

Similar Documents

Publication Publication Date Title
US11288443B2 (en) Summarization method for recorded audio
CN107667402A (zh) 利用视觉内容从被动记录中捕捉笔记
US20160379641A1 (en) Auto-Generation of Notes and Tasks From Passive Recording
CN107533681A (zh) 利用任务指派从被动录制捕获笔记
KR102438200B1 (ko) 문맥적 데이터를 이용한 비디오 편집 및 클러스터를 이용한 컨텐트 검색
US10455287B2 (en) Content delivery system, method, and recording medium
TW201600980A (zh) 管理具有時間線的日曆事件
US11488585B2 (en) Real-time discussion relevance feedback interface
CN105282474B (zh) 用于时移视频获取和压缩的系统和方法
CN111527746B (zh) 一种控制电子设备的方法及电子设备
US10547582B1 (en) Methods and systems for enhancing viewer engagement with content portions
CN105637503A (zh) 具有同时文本编辑的语音识别方法和系统
US20170193100A1 (en) Music distribution system
US11641511B2 (en) Selective content transfer for streaming content
CN113014994A (zh) 多媒体播放控制方法及装置、存储介质、电子设备
US9910840B2 (en) Annotating notes from passive recording with categories
CN109753482A (zh) 文件管理方法及装置
US20220303500A1 (en) Transmission confirmation in a remote conference
TW202215416A (zh) 通過應用程式與網路的聯動寫入與語音檔有關的備忘錄的方法、系統及電腦可讀記錄介質
CN107533541A (zh) 使用用户数据注解来自被动记录的注释
CN107533853A (zh) 根据被动记录生成笔记
Banerjee et al. Creating multi-modal, user-centric records of meetings with the carnegie mellon meeting recorder architecture
CN109284259A (zh) 文件储存方法、装置、计算机设备及存储介质
US20170192995A1 (en) Method and device for managing personal media items

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180206