CN111213197B - 基于洞察力的认知辅助装置、方法及系统 - Google Patents

基于洞察力的认知辅助装置、方法及系统 Download PDF

Info

Publication number
CN111213197B
CN111213197B CN201880052218.8A CN201880052218A CN111213197B CN 111213197 B CN111213197 B CN 111213197B CN 201880052218 A CN201880052218 A CN 201880052218A CN 111213197 B CN111213197 B CN 111213197B
Authority
CN
China
Prior art keywords
user
cognitive
cognitive state
data
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201880052218.8A
Other languages
English (en)
Other versions
CN111213197A (zh
Inventor
P-V·阮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuvi Cognitive Network Co
Original Assignee
Fuvi Cognitive Network Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuvi Cognitive Network Co filed Critical Fuvi Cognitive Network Co
Publication of CN111213197A publication Critical patent/CN111213197A/zh
Application granted granted Critical
Publication of CN111213197B publication Critical patent/CN111213197B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/02—Counting; Calculating
    • G09B19/025—Counting; Calculating with electrically operated apparatus or devices

Abstract

一种用于增强用户的学习、复习、复述、以及记忆的技能的基于洞察力的认知辅助装置、方法及系统。基于个人直觉的认知辅助系统包括可作为相机头戴设备被用户佩戴的一个或多个组件，撷取该用户的直觉状态的一个或多个传感器，撷取视频的相机，基于所撷取的该用户的直觉状态针对所撷取的视频提供认知导航地图的处理器，以及输入针对由认知导航地图链接的该视频的笔记、评论的输入装置，以及储存该信息的所有部分以及链接及识别的认知地图的存储器。

Description

基于洞察力的认知辅助装置、方法及系统
相关申请的交叉参考
本申请要求2017年6月13日提交的美国临时专利申请号62/518,824的优先权，其内容整体通过参考包含于此。
技术领域
与示例实施例一致的装置、方法、系统、以及电脑可读媒体广泛涉及认知技术，尤其涉及学习及记忆相关技术。
背景技术
目前，世界的知识增长极快。学生受到来自学校及其它地方的大量信息的挑战。在多年的学习中，该大量信息常常以讲座形式呈现给学生。
在记忆领域的研究似乎表明个人在他或她的短期记忆中可保留数量极为有限的感官信息。除非一段感官信息在个人的工作记忆中接收认知处理任务，否则它在几秒内就会被遗忘。当个人不喜欢该感官信息的主题时，尤其如此，他或她的大脑中的疼痛中心被激活并引起拖延。在如此情形下的个人往往将他或她的注意力集中在更愉快的想法，而不是学习不喜欢的主题。因此，此人的学习结果会很差。
研究还表明，个人通过导航、扫描、关联、以及建立信息组块(chunk)可对复杂主题获得更全面的理解。组块包括针对该主题内的数个相关特征的关联网。并且，若每个新建组块又与该主题中的其它组块及该人的洞察力相关，则获得对该主题的充分全面理解，并通过洞察力分块网络在该人洞察力中很好地建立新的长期记忆。参见例如“Learning How toLearn,”Barbara Oakley,https://youtu.be/vd2dtkMINIw(最近一次访问为2018年1月7日)中关于拖延、专注模式、发散模式及分块方法。
为将上述方法应用于今天的学习技术，学生可在上学期间在不同的课堂教学过程中使用相机拍摄有关他们的讲座的视频。学生还可在讲座期间在他们的笔记本(notebook)或便携式电脑上做笔记。在家，他们可在屏幕或电视上回放该视频，然后将该笔记与对应片段关联，以根据该笔记的指导，从一点到另一个点或者从一个主题到另一个主题来复习及复述讲座。
不过，从头到尾复习长视频可能非常费时费力。而且，学生只能在他们理解的时间点或针对他们理解的主题做笔记，且笔记可能在他们感到困惑或他们不感兴趣的时间点或主题上丢失或令人困惑。
当复习时，不容易跟踪并将笔记、评论放入视频中的相关特定片段中。当保存作品时，常常丢失在笔记、评论与相关特定片段之间的链接。因此，学习过程的有效性以及未来对此类保存信息的使用受到限制。
讲师自其学生收到的用来帮助他或她认识他或她的学生感到无聊、困倦或困惑的点或时间以及学生感兴趣及兴奋的时间或点的反馈信号也非常有限。
本领域需要监控、收集并标记一个或多个学生在他们的讲座上以及在他们的讲座期间的认知状态，以使他们可导航至必要的复习点。需要在视频讲座的特定片段中直接添加笔记、简述、以及/或者评论。此外，需要记录学习过程的一个或多个部分、组件、或完整数据，包括在教室录制的视频讲座，用户在讲座期间或过程中的同步认知表现，学生在复习期间或过程中的同步认知表现，复述，笔记的内容，评论，问题，搜索，以及针对所识别的文件的内容的导航系统。
本领域还需要通过网络来交流、讨论、以及改进学习过程，以帮助用户更有效地学习材料，并通过提供关于讲座的更好的反馈来帮助讲师改进教学过程，以使讲师可以容易、有效、且有趣的方式呈现材料。本领域需要改进信息获取过程以及信息呈现过程。
发明内容
依据示例的非限制性实施例，基于撷取的同步的视觉及音频信息，撷取的同步的用户的认知状态信息、显示器、基于直觉的导航地图以及由用户输入的笔记或评论，提供一种认知辅助系统。
依据示例的非限制性实施例，基于包含在子窗口(window)中显示并用用户的同步认知状态标记的子标题模块的脚本窗口而提供基于直觉的导航地图。
依据示例的非限制性实施例，将撷取的同步的视觉及音频信息划分成与在子窗口中显示并用用户的同步认知状态标记的子标题模块同步的子视频或片段。
依据示例的非限制性实施例，与在子窗口中显示并用用户的同步认知状态标记的子标题模块同步的该子视频可添加有由用户输入的相关笔记、评论、简述等。
示例的非限制性实施例可克服现有技术中的上述缺点及问题，还可经开发以针对上面未提到的其它缺点及问题提供解决方案。不过，依据本披露的教导操作的方法、装置、系统、以及电脑可读媒体不一定需要克服任何上述特定问题或缺点。应当理解，一个或多个实施例无需克服上述缺点，且可不克服上述任何问题。
依据示例实施例的一个态样，提供基于个人情感的认知辅助系统，其包括经配置以自环境撷取包括视觉及音频信息的至少其中之一的数据的至少一个装置，经配置以撷取与由该装置撷取的该数据对应的用户的情感状态的至少一个传感器，包括存储器(memory)及处理器的复习装置。该处理器经配置以：依据预定的标准将由该装置撷取的该数据划分成多个片段，针对该多个片段的各者，确定该用户的直觉状态，包括相关性的类型及相关性的程度，该直觉状态产生自对应于该多个片段中的该相应片段的由该传感器撷取的该用户的该情感状态的预定组分(component)与储存于该存储器中的独特参考信号之间的比较，其中，该独特参考信号代表独特直觉参考样本，生成至少一条时间轴，以及控制以针对该多个片段的各者显示所生成的包括情感指示器的时间轴。该情感指示器标示所确定的该用户的直觉状态。
依据另一个示例实施例，提供基于个人情感的认知辅助方法。该方法包括通过电脑接收包括自环境撷取的视觉信息及音频信息的至少其中之一的数据，通过该电脑接收由至少一个传感器撷取的与该数据对应的用户的情感状态，依据预定的标准通过该电脑将该数据划分成多个片段，针对该多个片段的各者，通过该电脑确定该用户的直觉状态，包括相关性的类型及相关性的程度，该直觉状态产生自对应于该多个片段中的该相应片段的所接收的该用户的情感状态的预定组分与储存于该存储器中的多个独特参考信号之间的比较。该独特参考信号代表独特直觉参考样本。该方法还包括通过该电脑针对该数据生成至少一条时间轴。该时间轴包括针对该多个片段的各者的情感指示器，该情感指示器标示所确定的该用户的直觉状态，以及通过该电脑输出所生成的时间轴以及所接收的数据的至少其中一部分。
依据又一个示例实施例，提供非暂时性电脑可读记录媒体，在其中储存基于个人情感的认知辅助方法。当通过电脑执行该方法时，该方法使该电脑：接收包括自环境撷取的视觉信息及音频信息的至少其中之一的数据，接收由至少一个传感器撷取的与该数据对应的用户的情感状态，依据预定的标准将该数据划分成多个片段，针对该多个片段的各者，确定该用户的直觉状态，包括相关性的类型及相关性的程度，该直觉状态产生自对应于该多个片段中的该相应片段的所接收的该用户的情感状态的预定组分与储存于该存储器中的多个独特参考信号之间的比较。该独特参考信号代表独特直觉参考样本。该电脑还针对该数据生成至少一条时间轴，该至少一条时间轴包括针对该多个片段的各者的情感指示器，该情感指示器标示所确定的该用户的直觉状态，以及输出所生成的时间轴以及所接收的数据的至少其中一部分。
附图说明
包含于并构成本说明书的一部分的附图与说明一起用以解释并示例说明示例实施例。具体地说：
图1A示出依据一个示例实施例撷取用户的环境例如视频讲座及同步认知状态感官数据的设备的视图。
图1B示出依据一个示例实施例由传感器撷取并经解释以对应于用户的分类认知状态的同步认知状态感官数据的视图。
图1C示出依据一个示例实施例实际用于撷取教室中的视频讲座及同步认知状态感官数据的该设备的视图。
图1D示出依据一个示例实施例基于用户的同步分类认知状态复习、复述、以及合并录制内容例如讲座的视图。
图2示出依据另一个示例实施例撷取讲座材料及感官数据的系统的方块图。
图3示出依据一个示例实施例的复习装置的方块图。
图4示出依据一个示例实施例生成时间轴的方法的流程图。
图5示出依据一个示例实施例显示内容以及用户的认知状态的视图。
图6示出依据一个示例实施例的复习装置的方块图。
图7示出依据一个示例实施例通过复习装置将视频及音频内容与感官数据同步的视图。
图8A及图8B示出依据示例实施例建立相关性的方法的视图。
图9A-图10C示出依据示例实施例在学习内容以后建立相关性的方法的视图。
图10示出依据一个示例实施例建立相关性或内容的理解的方法的流程图。
图11示出依据另一个示例实施例建立相关性的方法的视图。
图12及图13示出依据又一个示例实施例通过分组设置建立相关性的方法的视图。
图14示出依据另一个示例实施例关于特定任务确定用户的技能水平的方法的视图。
图15示出依据又一个示例实施例关于特定任务确定用户的技能水平的方法的流程图。
具体实施方式
现在将参照附图详细说明示例实施例。示例实施例可以许多不同的形式实施，且不应当被解释为限于本文中所述的示例实施例。相反，提供该示例实施例以使本披露详尽而完整，并向本领域的技术人员充分传递示例概念。此外，可能省略众所周知的功能或构造，以提供关于示例实施例的清晰且简明的说明。应当参阅权利要求及其等同物来确定发明概念的真实范围。
依据示例的非限制性实施例，例如基于撷取的同步的视觉及音频信息，撷取的同步的用户的认知状态信息，显示器，基于直觉的导航地图以及由用户输入的笔记、评论来提供认知辅助系统。
依据示例的非限制性实施例，基于包含在子窗口中显示并用用户的同步认知状态标记的子标题模块的脚本窗口提供基于直觉的导航地图，如下面更详细所述。
依据示例的非限制性实施例，将撷取的同步的视觉及音频信息划分成与在子窗口中显示并用用户的同步认知状态标记的子标题模块同步的子视频或片段。
依据示例的非限制性实施例，与在子窗口中显示并用用户的同步认知状态标记的子标题模块同步的该子视频可添加相关笔记、评论、及/或简述。
在相关领域中，例如，神经科学表明，所有的人类心智功能都是基于我们的记忆或洞察力，包括陈述性及非陈述性记忆或内隐及外显记忆。参见例如Eric R.Kandel,"We arewhat we remember:memory and the biological basis of individuality",PublicLecture Royal Society，https://www.youtube.com/watch？v＝skyvzMxtLu8&feature＝ youtu.be,最近一次访问是2017年12月11日，该文献因其有益的背景而通过参考包含于此。
建立洞察力的过程(或学习的过程)可包括：将有意义的信息感知于工作记忆中，建立相关性或组块并进行重复或复述，然后通过生物过程分配并储存此信息于大脑的不同区域中。综合学习的过程是从新的短期记忆建立新的长期记忆的过程，且该过程需要三个条件的至少其中一个：第一，相关性建立，第二，重复以及/或者情感刺激，参见例如FrankLongo,"Learning and Memory:How it Works and When it Fails",StanfordUniversity,https://www.youtube.com/watch？v＝a_HfSnQqeyY&t＝1846s，最近一次访问是2017年12月11日，以及Eleanor Maguire,"The neuroscience of Memory",The RoyalInstitution,https://youtu.be/gdzmNwTLakg,最近一次访问是2017年12月11日,"Learning How to Learn,"Barbara Oakley,https://youtu.be/yd2dtkMINIw,最近一次访问是2018年1月7日,以及"How We Learn Versus How We Think We Learn"Robert Bjork,UCLA心理学系杰出研究教授,https://youtu.be/oxZzoVp5jmI,最近一次访问是2018年1月10日,这些文献因它们的有益背景而通过参考包含于此。
例如，Nguyen(同一发明实体)的US9,711,056说明撷取、检测并识别在人探索并观察环境时由该人的器官生成的不同类型的情感刺激，该文献因其有益的背景而通过参考包含于此。
不过，需要建立装置、方法及系统来撷取该观察及该情感，显示所撷取的材料，在该观察与洞察力之间建立相关性，执行重复以及监控该学习过程的该情感刺激，以增强人学习的能力。
下面提供学习增强的另一个例子，其通过撷取该过程的信息及同步的情感信息然后复习来改进该过程。
高尔夫老师可设置相机来撷取高尔夫学习者的挥杆动作。然后，该老师可使用软件来分析高尔夫球手的前额的运动，以确定挥杆、切球或推杆的质量。
不过，此方法的结果有一些限制，因为头部的运动很小且依据从相机位置至头部的距离而变化，球员通常在击球之间移动头部。
本领域需要改进此过程。依据一个示例实施例，将相机置于高尔夫球手的头上，且该相机撷取该高尔夫球手观察的东西，其中，高尔夫球是最重要的元素。相应地，该高尔夫球手应当保持观察并保持其前额至该球的距离稳定，直至球杆头撞击该球。
此外，需要撷取高尔夫球手在他或她挥杆期间的同步情感信号，然后，在此轮比赛结束以后的回顾过程期间可改进该高尔夫球手的分析及学习过程。在一个示例实施例中，由相机收集的信息反映高尔夫球手在他的挥杆或推杆期间的专注度，该专注度非常影响该挥杆或推杆的质量。
如上面提到的并通过参考包含于此的美国专利号9,711,056中所述，可基于自用户获得并与环境数据同步的情感及/或感官数据撷取人的认知状态。例如，图1A示出依据一个示例实施例撷取感官及情感数据的设备的视图。
如图1A中所示，依据一个实施例，可在头戴设备(headset)1上设置一个或多个相机11。也就是说，依据一个示例实施例，可设置左相机、中央相机、以及右相机(未显示)来撷取视觉数据及/或音频数据。在一个示例实施例中，可在头戴设备1的前面设置一个摄像机11，其包括麦克风以撷取音频数据。这些设置为示例而非限制。本领域的普通技术人员将很容易了解，可用个人设备例如用户的个人数据助理或蜂窝电话来撷取视觉数据及/或音频数据。此外，本领域的普通技术人员将很容易了解，可使用任意数目的相机及/或麦克风，且可通过单个相机或通过多个相机，通过一个独立的麦克风或多个麦克风来提供视觉数据及/或音频数据。然后，可将所撷取的视觉及音频数据(VI)传送至电子板10，该电子板包括与处理器耦接的至少一个存储器(未显示)。
在一个示例实施例中，电子板10可处理感官信息及情感信息，以生成用户的认知状态。在另一个示例实施例中，可将所生成的认知感官信息通过设置于头戴设备1上的通信接口(未显示)传输至另一个远程设备，以供储存、监控或进一步处理。例如，头戴设备1可包括通信接口(interface)(例如，网卡、天线，以及本领域的普通技术人员已知的或以后开发的其它接口)，以将数据无线地(例如蓝牙、红外、WiFi、以及/或者蜂窝网络)传输至远程服务器或云，以供进一步储存、处理或监控以及共同监督。可将该通信接口内置于电子板10中或者可作为头戴设备1上的独立设备设置。
在一个示例实施例中，在头戴设备1上进一步设置一个或多个情感传感器或认知状态传感器13。尽管图1A示出四个认知状态传感器，但此设置为示例而非限制。本领域的普通技术人员将很容易了解，可使用单个感官或认知状态传感器，但较佳地，设置多个认知状态传感器来撷取用户的认知状态。认知状态传感器13可设于头戴设备1的两侧上。在图1A中示出的一个示例实施例中，仅显示该用户的头部的一侧，但另一侧也可包括四个认知状态传感器13，以检测该用户的认知状态。也就是说，在一个示例实施例中，通过检测大脑的各部分的活动而从多个传感器13获得认知状态。
依据一个示例实施例，将自该认知状态传感器获得的原始EEG信号组合并与该视频及音频信号同步。在一个示例实施例中，该原始EEG信号包含认知独特直觉组分。在一个示例实施例中，在独特参考信号对EEG信号滤波，以检测趋向探索性/学习观察的明显状态的ET 10组分，趋向明显观察的自信状态的ET 9，以获得该用户的注意认知状态，如下面更详细所述。滤波器的输出基于该用户的不同注意状态而处于不同的水平。也就是说，该EEG频率及幅度基于用户的情感水平或认知状态而变化。在一个示例实施例中，不活动意味着在识别频率的所有EEG组分的幅度低于预定阈值。相应地，在一个示例实施例中，可确定用户正在睡觉或者没有关注。依据一个示例实施例，多个认知状态传感器13生成相应通道信号(例如ET9-ET10)，如下面参照图1B更详细所述。使用该相应通道信号来确定佩戴头戴设备1的用户的认知状态。
EEG的设置为示例而非限制。依据一个示例实施例，当在特定EEG组分与参考信号之间的区别高于预定阈值或高于预定相应阈值时，其意味着该用户处于识别状态，例如明显的(相关的、已知的)、自信的(良好相关的、有经验的)等。例如，参见美国专利号9,711,056，其通过参考包含于此。
依据一个示例实施例，可将认知状态传感器13设置于该用户的额叶周围，以检测该用户的执行情感，例如该用户是期望的、担心的、明显的或自信的。例如，如图1B中所示，在该用户的额叶周围设置五个认知状态传感器13(S1-S5)并输出相应感官信号ss1-ss5。在一个示例实施例中，若自传感器S1及S3检测的ET 10信号输出高于预定相应阈值的相应信号，则可确定该用户感觉明显，例如，观察是已知的。若自传感器S2、S4及S5检测的ET 11信号输出高于预定相应阈值的相应信号，则可确定该用户感觉舒适以及/或者期待良好的结果。
在一个示例实施例中，由于该用户自上而下读取文本(也就是，从上方行至下方行)，所以将声音的信号与文本行同步解释。因此，在图1B中示出的一个示例实施例中，以垂直行显示音频信号(也就是声音输出)，并且还沿垂直方向显示时间轴，以与文本一致。
依据一个示例实施例，图1B示出针对30秒的持续时间撷取的声音信号。例如，时间轴14被显示于图1B的左侧并被分成由15秒点、10秒点、0秒点及-15秒点表示的间隔。该15秒标记表示已播放的声音数据，且-15秒标记表示将在15秒内播放的声音数据，0秒标记标示正在输出的声音数据的当前位置。图1B还显示声音信号16具有在低水平(从-2s至+1s以及从+9s至+11s)的2个持续时间，其将标示在话语之间的一段沉默或暂停。在一个示例实施例中，这些持续时间将连续的声音信号划分成包含独立含义的模块。依据图1B中所示的一个示例实施例，将声音数据16分成三个独立的声音模块V1、V2、以及V3。在一个示例实施例中，基于录制的声音中的自然断点例如当作暂停时或者当句子结束时(可基于录制的声音语调检测，该声音语调将与幅度对应)，将声音数据16分成三个声音模块V1、V2、以及V3。
依据一个示例实施例，基于所划分的声音模块或片段V1、V2、V3，执行声音至文本转换。也就是说，声音数据被转换成文本数据且可被显示给用户。在一个示例实施例中，针对每个声音片段或模块提供一个文本框(text box)。例如，如图1B中所示，从转换该声音信号获得的文本被显示于文本框TB1-TB3中。也就是说，对应于所转换的声音片段V1的第一文本被显示于文本框TB1中；对应于所转换的声音片段V2的第二文本被显示于文本框TB2中；以及对应于所转换的声音片段V3的第三文本被显示于文本框TB3中。在一个示例实施例中，将与被转换的声音对应的文本输出设置于三个对应窗口中，它们是图1B中显示的TB1、TB2、以及TB3。在一个示例实施例中，正在显示的子窗口的数目将对应于在连续声音输出的划分期间生成的声音片段的数目。如图1B中所示，还将该用户的认知状态显示为自传感器S1、S2...S5获得的五个认知状态信号(ss1-ss5)17。这些认知状态信号也沿该垂直方向与声音信号同步显示。依据一个示例实施例，还将该认知状态信号ss1-ss5分成对应于声音片段V1-V3的片段。也就是说，在一个示例实施例中，按片段分析该认知状态信号，该片段对应于该声音片段，以确定该用户的情感状态。
如图1B中所示，E1是从分析在时间15秒至10秒产生的并对应于声音片段V1的信号ss1、ss2、ss3、ss4、以及ss5获得的认知状态，该声音片段V1的文本被显示于TB1框中。在一个示例实施例中，E1被解释为对应于情感状态1，并可以第一颜色(例如，蓝色)标记，以标示该用户有点困倦或者不确信与声音片段V1对应的材料的至少其中一些。也就是说，E1标示该用户对声音片段V1中的材料似乎有点困惑(不完全自信)的状态。E2是从该用户听声音V2的时间期间录制的信号ss1-ss5获得的认知状态，该声音V2的内容被显示于TB2中。E2被解释为对应于情感状态2，并可以第二颜色(例如，绿色)标记，以标示该用户知道及/或理解该材料(声音片段V2)。E3是从该用户听声音V3的时间期间录制的信号ss1-ss5获得的情感状态，该声音V3的内容被显示于TB3中。E3被解释为对应于情感状态3，并可以第三颜色(例如，红色)标记，以标示该用户努力关注但尚未理解该材料(声音片段V3)。图1B中示出的该标记仅作为示例提供，而非限制。依据另一个示例实施例，在各文本框TB1-TB3中的文本可为基于所确定的该用户的情感状态(E1-E3)编码的颜色。作为替代，可使用不同的标记及指示器来表示该用户的状态，包括％符号，在使用的不同颜色内的颜色阴影等。依据一个示例实施例，例如，声音信号16可为在教室中作讲座的演讲者的声音。例如，在黑板上显示或投射于屏幕上的内容可被录制为视觉数据，并与由该演讲者输出的音频信号同步储存。
如图1C中所示，该演讲者可能正在作讲座，向用户呈现特定的内容或信息。该演讲者可能在黑板上展示正被呈现的内容的例子18。多个学生可能正戴着头戴设备1观看该讲座。由该多个学生的其中每个或一些配戴的头戴设备1中的每一个可针对该演讲者的声音信号的每个部分输出该相应用户的相应认知状态。该多个用户/学生的该多个认知状态可经组合以向该演讲者提供输出，例如此部分讲座令人困惑，此部分很无聊，或者此部分很好理解。通过此反馈，该演讲者可通过简化使学生困惑的概念以及/或缩短很好理解的内容的呈现来改进他或她的呈现材料。这些仅作为示例提供，而非限制。
图1D示出依据一个示例实施例基于用户的同步分类认知状态复习、复述，以及合并录制内容例如讲座的视图。依据图1D中显示的一个示例实施例，用户或学生正在通过使用大显示器19a(例如电视)以及独立远程控制器(例如触摸屏或速写板19b)来复习及/或学习该讲座。触摸屏19b可包括iPad、移动终端、通用远程控制器等。这些作为示例提供，而非限制。依据一个示例实施例，触摸屏19b主要用于输入笔记及/或简述，用于控制及/或导航显示设备19a，且主要意图不是用于显示图像及/或视频。依据一个示例实施例，在可用大屏幕的地方分组工作及/或在家工作时尤其方便。
如图1D中所示，显示器19a在屏幕的左部输出在该讲座期间撷取的视频数据的回放，可在屏幕的中部将所转换的对应声音数据显示为文本片段，以及以其音频形式通过扬声器输出，以及可将在该初始讲座期间撷取的以及/或者在复习期间做的用户笔记显示于屏幕的右部上的屏幕的右侧上，下面将参照图8A-图9C对其作更详细的解释。
图2示出依据另一个示例实施例撷取讲座材料及感官数据的系统的方块图。在图2中，例如，该用户录制讲座，例如讲师在黑板21上提供的主题及/或笔记。此外，该用户还可录制音频数据，例如伴随黑板21上显示的图例，由讲师提供的解释。该用户可通过多个个人设备22a...22n(例如智能手机22a、个人电脑或笔记本22b、录像机22c、以及相机22n)的其中一个或多个来录制。这些设备仅作为示例提供，而非限制。
在一个示例实施例中，可将该音频及视频数据直接输出至服务器24。将具有对应时间戳的音频及视频数据输出至服务器24，例如，将每10秒的录制通过网络(例如因特网、WiFi、蓝牙等)传输至服务器24。尽管图2中显示服务器24为独立设备，但服务器24可依据个人设备的处理能力及存储器位于个人电脑22b或一些其它个人设备22a...22n中。
该用户可能正戴着头戴设备23，其监控该用户的认知状态。头戴设备23仅作为示例提供，而非限制。在一个示例实施例中，该用户可能正戴着另一个设备，该设备将包括若干传感器，以通过参照图1A描述的传感器测量该用户的认知状态。在一个示例实施例，由该传感器检测的信号用以确定该用户的认知状态或情感状态。
在一个示例实施例中，如上参照图1B所述，当用户放松且不专注时，人脑输出低探索性信号(ET9-ET10-ET11-ET12)。低探索性信号标示该用户没有主动学习。另一方面，在一个示例实施例中，当该用户感兴趣并关注时，在探索性信号的识别频率的幅度会变化(ET1-ET12)。依据一个示例实施例，不同的幅度带(在不同的识别频带)用于检测该用户的不同的认知或情感状态，也就是，确定该用户的认知或情感状态的变化。
在一个示例实施例中，可自该用户撷取8通道EEG信号，并基于这些撷取的信号，可确定该用户是否在关注以及对正被呈现的材料的理解程度。例如，该用户是否困倦、走神、未关注主题(可能具有很强的无聊或疲倦感)。8通道EEG信号仅作为示例提供，而并非限制。
在一个示例中，可将该感官数据保存于头戴设备23内的存储卡中。在另一个示例实施例中，可通过网络将该感官数据定期输出至服务器24。例如，该网络可包括因特网、WiFi、蓝牙或甚至有线网络，例如，该头戴设备通过导线连接至服务器24，该服务器可位于个人设备22a...22n中。在一个示例实施例中，例如，将例如以10秒间隔累积的该感官数据与时间戳一起输出至服务器24，以供进一步处理。
服务器24包括处理器及存储器，如下面参照图3所述。在一个示例实施例中，服务器24可比较该音频/视频数据(下文称为内容或环境数据)与该感官数据的时间戳，以生成该用户的认知或情感状态，然后可将其储存于存储器25中。存储器25可包括在服务器24内部或远程的一个或多个数据库。
在一个示例实施例，如图3中所示，服务器30为复习及/或处理装置，包括处理器31，该处理器可为中央处理单元(CPU)，其控制该装置及其硬件组件并执行储存于一个或多个存储器例如存储器34中的软件指令。例如，处理器31还可包括随机访问存储器(RAM)、只读存储器(ROM)、一个或多个图形处理、接口等。处理器31的组件可通过总线(bus)彼此连接。处理器31还可与显示器32连接并控制该显示器，该显示器以不同形式及格式输出录制的或原始的视频信号。显示器32包括输出音频声音的扬声器。这作为示例提供，而非限制。可设置多个扬声器，且该些扬声器可位于显示器32的外部。处理器31可与网络接口或网卡33连接，其可包括WiFi芯片、蓝牙芯片、无线网络芯片等。网卡33还可包括用于有线连接的一个或多个端口(port)。此外，装置30可包括存储器34，其可储存一个或多个可执行指令，当由处理器31执行时，该可执行指令使该处理器控制装置30及其组件。存储器34还可储存由装置22a至22n(参见例如图2)的其中之一生成的音频及视频数据(内容)。装置30还可包括用户界面35，其可包括按钮、键盘、鼠标、USB端口、麦克风、手势传感器等。用户界面35通过麦克风、键盘、鼠标、触摸屏等接收不同格式的用户输入，例如手势、音频，这些仅作为示例提供，而非限制。
在一个示例实施例中，处理器31比较该音频/视频数据的时间戳与该感官数据的时间戳，并针对该内容生成时间轴。图4是依据一个示例实施例生成时间轴的方法的流程图。在一个示例实施例中，通过该系统的时钟(由CPU控制)可同步视觉、音频、以及认知数据。例如，该系统实时撷取同步的视觉、音频、以及认知信息，然后将该同步的原始材料储存于存储卡中。当复习时，软件应用在不同的参考频率自该原始认知信息滤波，以实时检测在不同时间阶段的认知状态。基于该同步，该系统通过使用被包含于非暂时性电脑可读媒体中并由处理器执行的该软件应用可实时推断在该讲座期间的用户的不同认知状态。
此外，在一个示例实施例中，在该复习期间，该视频及分析的用户的认知状态可被提前准备，而非实时。
如图4中所示，在操作401a中，该装置接收环境数据例如音频及/或视频数据，且在操作401b中，该装置自例如由该用户佩戴的该传感器接收该感官数据。这些仅作为示例提供，而非限制。依据另一个示例实施例，该视频及/或音频内容可以预定的时间间隔例如10秒间隔与该感官数据一起提供。例如，一组(V、A、E)可通过采样频率同步，其中，V为视觉(visual)数据，A为音频(audio)数据，以及E为该用户的情感(emotional)状态。
在操作402中，基于声音信号的连续性将所接收的内容(视频/音频数据)分成片段。例如，该处理器基于声音语调确定作暂停的地方或句子的结尾。依据一个示例实施例，还可将片段的最大长度设为例如5秒。若在一分钟时长的声音数据中找不到暂停或句子的结尾，则在五秒点将该声音分段(五秒间隔块)。这仅作为示例提供，而非限制。在一个示例实施例中，使用“明显的”及“自信的”频率来检测用户的探索性认知状态。这两个主要信号反映用户的最近观察与洞察力的相关性。例如，使用已知的或未知的或明显的或陌生的状态。在一个示例实施例中，不使用与生存及生殖区域相关的情感信号(例如，ET1至ET8)如爱、害怕、封闭、开放。
在操作403中，针对该数据的各分段部分(也就是，针对每块内容)，基于所处理的感官数据确定该用户的认知状态(ET9-ET10)。如上所述，当位于大脑的特定部分上的传感器输出在一个或多个频带具有第一幅度(小幅度)的信号时，该装置可确定用户是困惑的及/或害怕的及/或担心的。另一方面，当位于大脑的另一部分上的传感器输出具有第二幅度(大幅度)的信号时，该装置可确定用户是自信的。依据一个示例实施例，在第一频带具有高幅度且在第二频带具有低幅度的信号可标示该用户的困惑认知状态，而在该第一频带具有低幅度且在该第二频带具有高幅度的信号可标示该用户的自信状态。若所有该些传感器产生具有第一幅度的信号，则这可标示该用户睡着或未在关注。这仅作为示例提供，而非限制。
例如，依据另一个示例实施例，该感官数据用以确定该用户分心(ET-1)。例如，头戴设备1可能检测到该用户在看黑板，但他的思维偏离展示主题或在别处(在睡觉)。相机仍在录制该讲座。此外，该装置可标记此过程(此时间段)，以帮助该用户容易地识别要复习的该讲座的部分，也就是，该用户在课堂上错过的部分。依据又一个示例实施例，若该感官数据触发其它情感，例如人、食物，以及/或者该视频/音频数据之外的事物，则可将该用户的认知状态确定为被外部想法分心而不关注该讲座。
在操作404中，将该音频/视频数据(内容)与对应的确定的认知状态同步或链接，且(可选地)可将该分段的音频数据转换成文本，以供显示。在操作405中，生成要显示的时间轴，其描述该用户的认知或情感状态(可选地与该音频/视频数据或内容的对应部分一起)。在一个示例实施例中，该时间轴可经生成以用于回放在该讲座期间获得的该音频/视频内容。该时间轴可为基于所确定的该用户的认知或情感状态而编码的颜色。也就是说，针对清楚了解材料的该用户，该时间轴的一部分可以绿色显示，而针对该用户感到困惑或未关注的该讲座的内容，该时间轴的另一部分可以红色显示。下面通过示例对此作更详细的解释。
图5示出依据一个示例实施例显示内容与用户的对应认知状态的视图。
如图5中所示，内容51与时间轴52一起通过显示器被显示给用户，显示当前正被显示的内容的时间点是现有技术已知的。内容51可包括视频及音频内容。此外，可提供时间轴53并通过显示器显示给用户。时间轴53描述与该音频及/或视频内容对应的该用户的认知或情感状态。例如，时间轴53描述与所显示的内容同步的该用户的认知状态。该用户的认知状态选自该用户不感兴趣或睡觉的不感兴趣状态54，该用户对该输出内容感到舒适的自信状态55，以及该用户不理解所提供的材料的困惑状态56。这些仅作为示例提供，而非限制。依据另一个示例实施例，可使用针对不同认知状态的颜色编码，且自信及困惑的程度可对应于颜色的特定阴影。例如，在时间轴53上的深红色可标示该用户非常困惑，粉红色可标示该用户只是有点困惑。
依据另一个示例实施例，可将时间轴52及53组合成单个集成时间轴，其说明关于该内容及该用户的认知状态的当前正被显示的时间点。
依据不同示例实施例，该用户可确定令人困惑的或错过的该讲座(内容)的部分，并在这内容的这些部分上实行他或她的复习课程。依据不同示例实施例，替代复习整个讲座(内容)，该用户可关注该困惑的部分或该错过的部分。另外，参加该讲座的多个用户的认知状态可为该讲师提供反馈。例如，若70％的该些用户在该讲座的特定部分感到困惑，则该讲师可决定修改或简化材料。另一方面，若该些用户(学生)对该讲座的另一部分不感兴趣，则该讲师可修改该讲座，以吸引用户的注意。
依据另一个示例实施例，配置复习装置以促进在该讲座结束以后的材料学习。
图6示出依据一个示例实施例的复习装置的方块图。
如图6中所示，复习装置60包括处理器61、存储器62、以及输出装置63。存储器62储存撷取的视频数据62a、撷取的音频数据62b、撷取的感官数据62c，该感官数据为撷取的8通道EEG信号。处理器61执行同步器61a，例如，该同步器经配置以将所撷取的视频数据62a与所撷取的音频数据62b及所撷取的感官数据62c同步，如下参照图7所述。处理器61还执行确定该用户的认知状态ET0-ET10的认知状态确定器61b，利用来自同步器61a及认知状态确定器61b的输出针对音频及视频内容及该感官数据生成一个或多个时间轴的时间轴生成器61c，以及语音至文本转换器61d，下面作更详细说明。可将该环境音频/视频内容与认知状态一起通过输出装置63输出至用户，该输出装置包括至少一个显示器以及扬声器。
图7示出依据一个示例实施例通过复习装置将视频及音频内容与感官数据同步的视图。图7示出原始输入数据的同步。如图7中所示，可沿时间轴71及72将视频数据62a显示于显示器上。时间轴71可为针对该讲座的预定间隔的时间轴。依据一个示例实施例，针对当前时间点tn以及在当前时间点之前及之后五分钟呈现时间轴71。时间轴72是针对整个的内容持续时间的时间轴。依据一个示例实施例，时间轴71及72表明当前正被观看或播放的该讲座的进度，如现有技术已知的那样。依据一个示例实施例，在时间点tn显示视频数据62a，且时间轴71及72显示在当前时间点tn的指示器。时间轴71具有10分钟间隔的条(bar)，其可由用户自当前显示的时间点tn以+5分钟及-5分钟的点滚动。时间轴72对于该讲座的全部内容具有同一时间点tn。与视频数据62a相关，提供音频数据62b。音频数据62b当前在同一时间点输出，并针对与视频数据62a的30秒间隔对应的30秒间隔设置。此外，时间轴73显示在当前时间点tn的指示器。另外，将感官数据62c与音频数据62b及视频数据62a同步。依据一个示例实施例，通过同步器61a同步初始撷取的8通道EEG信号，CH1-CH8。可将该用户的同步认知状态62c与同步音频62b显示于同一时间轴73上(-15秒至+15秒)。与视频数据62a、音频数据62b关联输出该用户的认知状态。可将自感官数据62c确定的认知状态以指示器、阴影、颜色等形式标示于一个或多个时间轴上。依据另一个示例实施例，可生成专门针对该用户的认知状态的专用时间轴。
依据一个示例实施例，时间轴73是针对tn附近的最近时间：30秒。以文本显示在此30秒时间段内的音频信息，以增强tn附近的细节识别能力。时间轴71是针对tn附近的中等事件段：10分钟。将在此10分钟时间段内的音频信息与该用户的认知状态一起显示，以增强更广泛的识别及导航的能力。时间轴72是针对完整故事视频：显示沿该原始视频的认知状态历史，以增强性能评估及导航的能力。
依据一个示例实施例，该用户的认知状态信号62c包含例如美国专利9,711,056中说明并请求保护的认知独特直觉组分，例如，趋向探索性/学习观察的明显状态的ET 10组分，趋向明显观察的自信状态的ET 9，趋向对事物的观察的认知状态的ET4，趋向对食物的观察的认知状态的ET3。基于参考认知信号，该系统可过滤并检测该用户对在该用户的观察上的认知的状态，例如，视频62a及/或音频62b。例如，通过由ET 10参考样本过滤数据62c，该系统可识别在整个讲座期间该用户的状态，并例如以三级系统对它们评级。例如，第1级标示该用户不专注(无聊、困倦、他的思维在别处游荡)，第2级标示该用户是自信的且他的知识是明显的(相关的、已知的、理解的)，第3级标示该用户是专注的但对材料感到困惑(尚未与洞察力关联)。这仅作为示例提供，而非限制。
图8A示出依据一个示例实施例建立相关性的方法的视图。
如图8A中所示，该用户处于复习或学习原始讲座的内容的过程。依据一个示例实施例，语音至文本转换器61d将音频数据81(例如讲师的声音)分成多个部分，如上面更详细所述。依据另一个示例实施例，通过语音至文本转换器61d将音频数据81分成5、10或15秒间隔(在当前点(n)之前及之后的部分：n-3、n-2、n，...，n+3，其中，n为正被输出的该音频数据的当前部分，以划分讲座中与当前时间或当前点(n)最接近的30秒内容)。在一个示例实施例中，在两个句子之间的间隔处(或者在两种意义、两种语义之间等)划分该音频内容。基于此音频信号，该视频也在意义上被划分成分立的视频，且语音至文本转换器61d解释该声音，以将该音频数据转换成分为部分n-3，...，n+3的文本。所显示的视频图像62a对应于所显示的文本部分n且是当前输出的视频及音频数据。此外，还提供针对当前所显示的内容之前及之后的音频内容的文本作为n-3、n-2、n-1以及n+1、n+2，及n+3片段或模块。依据一个示例实施例，每个部分是五秒，且正被显示的文本81对应于时间轴73。在图8A中，最近意义之前及之后15秒的可见相关性如时间轴73所示。例如，提供30秒视频的内容以一次观看。30秒视频内容可见且可滚动，以与视频内容同步。依据一个示例实施例，该滚动可自动出现。依据一个示例实施例，用户可一次观看30秒长视频的完整内容，以在先前15秒内容、最近内容，以及接下来的(将来的)15秒内容之间建立相关性。在相关领域中，观看者一次只观看视频中的单个图像。不过，在一个示例实施例中，观看者可同时观看右侧的笔记87、在音频数据81的上方部分中显示的先前15秒内容，以及在音频数据81的下方部分中显示接下来的15秒内容，且还可观看视频62a。
在图8A中，针对围绕当前播放的内容的认知状态历史的10分钟间隔(中间部分)设置时间轴71及88。依据图8A中的一个示例实施例，时间轴71及88是分别围绕最近内容(原始)及最近内容(正被观看)的10分钟时间轴。相应地，自最近内容提供具有更广阔的角度及相关性的观看。类似地，依据一个示例实施例，时间轴72及85允许观看者观看用户状态的完整故事。依据一个示例实施例，更全面的观看提供关于特定关注区域的标示。图8A中示出的示例实施例的显示训练用户完整观看故事，从特定的时间点至更广阔的场景，以及从更广阔的场景至完整故事(在一个示例实施例中的完整讲座或者甚至针对测试或考试正在学习的所有材料)。依据一个示例实施例，可同时观看全部内容或讲座。因此，该用户可通过观看讲座的不同角度来比较并评估进程。
因此提供时间轴71及88，tn显示于中间，并提供具有在当前显示时间之前五分钟以及当前显示时间之后五分钟的时间条。另外，由时间轴生成器61c生成的时间轴72及85被显示给用户，并且是针对沿整个讲座(全部内容)的整个认知状态历史的时间轴。当前的输出位置或视频部分被显示为时间tn且它相对于全部内容显示。依据一个示例实施例，时间轴72及85与本领域中已知的视频控制类似，但在其上标记有用户的认知状态。
图8A显示当前所显示的图像大约在时间轴72及85所示的全部内容的中间。如图8A中所示，该用户可能正在学习及/或复习该内容(讲座)。相应地，在该复习期间，该用户还可佩戴图1中所示的头戴设备。在一个示例实施例中，通过同步器61a将在该复习时间生成的额外感官数据与正被显示的该内容(视频及音频)同步，且时间轴生成器61c可生成复习时间轴85及88，该复习时间轴将显示在实时复习期间该用户的认知状态。依据一个示例实施例，在时间轴85及88中显示在最近或当前时间(在该复习期间)的该用户的认知状态。复习时间轴85及88可被实时更新并显示给用户，从而在该复习或学习过程期间对材料的理解容易被该用户掌握。依据一个示例实施例，可将该用户实时的认知状态86动态输出至显示器上。此外，同步器61a可通过工具栏89同步在该讲座(该内容的原始呈现)期间该用户做的笔记87以及/或者在所述复习或学习该内容期间做的笔记。依据一个示例实施例，用户可检索、显示、以及编辑洞察力的相关性。
依据图8A中示出的一个示例实施例，时间轴71、72、85及88描述该用户的认知状态。不过，这仅作为示例提供，而非限制。依据不同示例实施例，该些时间轴的其中仅一个时间轴或一部分可显示该用户的认知状态。例如，仅时间轴72及85可分别显示该用户在原始讲座呈现期间及复习期间的认知状态。另外，图8A使用颜色或阴影来描述该用户的认知状态，但这仅作为示例提供，而非限制。本领域的普通技术人员将很容易了解，可使用其它标记、指示器及编码技术来描述该用户的认知状态。依据一个示例实施例，用户可通过该些时间轴的其中任意一个滚动导航至该内容中的所需部分。在一个示例实施例中，例如，用户可点击或选择时间轴72或时间轴85上的特定点，且该用户界面(UI)将利用所选择的点作为点n切换至新的屏幕。
图8B示出依据另一个示例实施例将音频信号与文本一起显示以增强例如针对外语学生的可见语音识别能力的视图。在图8B中，除显示文本81以外，还提供音频数据801，以允许该用户除了观看文本格式的该内容以外还可以收听。
图9A示出依据一个示例实施例在学习内容以后建立相关性的方法的视图。
如图9A中所示，在该用户复习内容以后，时间轴生成器61c更新时间轴95及98，标示与在该复习之前相比，该用户对全部内容的其中较大部分的认知状态是自信的。作为比较，时间轴94显示该用户对内容的较大部分94a感到困惑，而在复习之后，该用户对时间轴95中示出的较小部分95a感到困惑。在图9A中，初始内容92被显示为，时间轴93处于标示该用户感到困惑的颜色阴影状态，且时间轴94标示该用户感到困惑的该总体内容的一部分为约(28％)并由不同的阴影部分94a标示。在复习内容以后，该用户现在理解大部分材料或较大部分材料。在该复习以后，时间轴95显示该用户的认知状态为自信，且现在以标示自信或用户理解材料/内容的阴影描述所转换的文本部分91。还显示该用户的当前状态96为自信。将组合笔记97显示给该用户。将在原始的内容呈现期间所做的笔记97a与在该复习或学习过程期间所做的额外笔记97b一起显示，由同步器61a同步，且还可通过使用工具栏99编辑。
图9B示出依据一个示例实施例利用支持工具建立相关性的视图。如图9B中所示，除观看具有时间轴93及94的原始内容92以外，还向该用户提供时间轴95及98，如上所述。此外，该用户能够收听并观看所说的话，如音频数据91的显示所示。该用户还可通过使用箭头键9004滚动内容。通过选择或强调音频数据91中的特定词语，在视图9003中可向该用户提供定义。也就是说，在一个示例实施例中，视图9003可包括搜索引擎例如词典9001或辅导材料(例如，若正在学习数学概念)。在视图9001中显示辅导材料的类型。在所提供的一个例子中，可提供英语词典或词语的图像。可在笔记部分9002中描述定义。此外，可提供时间9003，以解释术语在文本中的位置。依据一个示例实施例，可通过该额外的支持工具(例如辅导材料及词典)改进该讲座的概念及意义。
图9C示出依据一个示例实施例利用支持工具建立相关性的视图。在图9C中，在视图9001中所示的辅导材料中，选择图像，因此，在笔记部分9006中显示说明概念的图像。依据一个示例实施例，提供一种增强可见相关性构建能力的方法，以例如支持外国学生理解英语。依据一个示例实施例，将支持工具描述为图像数据库及定义数据库。这作为示例提供，而非限制。依据一个示例实施例，可提供其它支持工具，包括但不限于课本、互联网搜索，以及甚至相关练习及家庭作业。
图10示出依据一个示例实施例建立相关性或内容的理解的方法的流程图。
如图10中所示，在操作1001中，该复习装置自存储器检索撷取的内容以及对应的撷取的认知状态。所撷取的内容可包括视频及/或音频数据。所撷取的该用户的认知状态可包括ET0-ET10，如上面更详细所述。可对应所观看及/或收听的内容在一个或多个时间轴上显示所确定的认知状态。在操作1002中，基于时间、语义或根据该用户的指定将该内容分成内容子模块(部分)，例如分成五秒时间间隔。可将该内容按部份作为子模块显示给该用户。在操作1003中，将音频内容逐部分地连续地转换成文本。在操作1004中，关于在显示器上及/或通过扬声器输出的该部分/子模块，确定在该复习期间该用户的认知状态。在操作1005中，生成关于该复习材料的该用户的认知状态并将其呈现给该用户。依据一个示例实施例，确定并输出在该复习期间该用户的认知状态，以使该用户可确定他对材料的进一步理解。
图11示出依据又一个示例实施例建立相关性的方法的视图。如图11中所示，可在屏幕1100的第一区域1101中显示原始数据。原始数据1101可包括在会议、研讨会、实验、运动练习等期间录制的视频数据及/或音频数据的其中任意一种。在图11中示出的示例实施例中，原始数据1101是在实验室课程(例如化学实验)期间录制的视频数据(没有音频数据)。时间轴1104及1105与上述时间轴类似，不在这里作进一步说明，以避免冗余。如图11中所示，提供键映射(key map)1106，就在时间轴1105中所使用的阴影技术标示该用户的认知状态。尽管仅时间轴105被显示为以该用户的情感状态涂阴影，但本领域的普通技术人员将很容易理解，也可对时间轴1104以该用户的认知状态涂阴影。
在屏幕1100的第二区域1102中提供分段数据。依据一个示例实施例，可依据预定标准将原始数据1101分段。例如，可将该视频数据分成预定的五秒间隔的组块。该些帧的其中之一例如第一帧、最后帧，中间帧的其中之一可被用作相应片段的图标或图像。在图11中，提供数据片段1107，其分别对应于五秒视频数据。通过点击该多个片段中的每一个，该用户可观看该相应视频片段。依据该用户的认知或情感状态对该些片段涂阴影。在图11中，屏幕1100的第三区域1103可包括关于原始数据的用户笔记、教授笔记、课本链接、互联网连接、指南、词典、以及辅导材料。相应地，不同数据类型基于不同标准被分段或分成部分。例如，该数据可基于时间间隔(每五秒)被分成部分。依据另一个示例实施例，可分析该数据的意义，并可通过使用语音暂停或识别场景变化的图像识别技术将该数据分成部分。这些仅作为示例提供，而非限制。
依据另一个示例实施例，还可通过分组(group)学习进一步增强该学习过程。例如，提供社交网络应用特征来增强学习过程。图12示出依据一个示例实施例的社交网络应用的用户主页(home page)的视图。在一个示例实施例中，使用类似Facebook或Twitter的社交网络应用来增强该学习过程。
如图12中所示，例如，通过移动设备例如智能手机向用户显示用户主屏幕1200。在该用户主页屏幕1200中，显示在用户的数据库1200a中储存的讲座列表。该列表附有时间轴1200a-1，标示该讲座主题在何时获得。例如，如图12中所示，讲座主题列表1200a包括讲座主题N、N-1、N-2...N-8。这些讲座具有获得它们的对应时间。如图12中所示，在时间/日期N获得讲座主题N，如时间轴1200a-1中所示。在时间/日期N-1获得讲座主题N-1，也如时间轴1200a-1中所示，依此类推。讲座主题N处于该时间轴的当前位置(顶部位置)，其标示当前所学习的讲座主题。在主屏幕页面1200的左部1201上概括主题N。依据图12中示出的一个示例实施例，主题N为数学讲座，其中，Mary为该主题的讲师，该讲座的长度为1小时46分，在时间/日期N录制。也就是说，在一个示例实施例中，主屏幕页面1200的左部1201提供关于当前讲座主题(也就是主题N)的元数据(metadata)。此外，依据一个示例实施例，关于讲座主题N提供时间轴1201。时间轴1201a显示在讲座主题N的不同部分的自信程度。该用户可复习讲座主题N的脚本，如用户主页屏幕1200的下部1202所示。也就是说，下部1202显示被转换为文本的讲座主题N。顶部文本模块1202a对应于该用户正在复习的讲座主题N的当前位置，如时间轴1201a上的当前位置指示器1201b所示。依据一个示例实施例，该用户可使用时间轴1201a来滚动至脚本1202中的所需部分。该用户可通过滚动时间轴1201a或通过滚动文本模块1202来复习讲座主题N，而不加载讲座主题N的视频。用户主页屏幕1200还包括笔记部分1203，用于显示对应于讲座主题N的用户笔记。在一个示例实施例中，笔记部分1203将基于正被复习的讲座主题N的当前部分显示在该复习期间及/或在该原始讲座期间用户的笔记输入。换句话说，笔记部分1203与时间轴1201a上的当前位置指示器1201b同步，且与正被复习的当前文本模块1202a同步。笔记部分1203可依据用户定义的设置在该原始讲座期间、在该复习期间、以及/或者在两者期间呈现所做的笔记。默认(default)设置将用于显示对应于当前位置指示器1201b的所有可用笔记。
当该用户想要观看关于下一主题的特征或元数据时，该用户上/下滚动列表1200a，且区域1201、1202及1203将提供与该列表的顶部上的该讲座主题对应的主题的内容。
此外，如图12中所示，主屏幕1200包括针对该用户的朋友的显示组件或显示单元。在一个例子中，图12中描述，在显示区1205中显示朋友1-7，且在显示区1206中显示朋友-1、-2、-3、以及-4。如图12中所示，在显示区1205中显示没有新帖子(post)的朋友，且在显示区1206中显示具有新帖子(也就是，用户尚未看到的帖子)的朋友。该用户已对朋友3、5、7的帖子作了评论，其通过显示指示器(例如打勾标记)反映，且该用户未对朋友2、4以及6的帖子作评论，其通过另一个指示器(例如未打勾框)可见。
在一个示例实施例中，该些帖子针对特定主题，从而通过观看特定主题，该屏幕将显示对应于该主题的帖子及/或标示对该特定主题作评论的朋友。在一个示例实施例中，该用户可滑动朋友的图标来观看该朋友的一个或多个帖子。
如图13中所示，依据一个示例实施例，该用户选择讲座主题N，并将讲座主题N以视频形式显示于区域1301中。此外，在区域1301中，可显示时间轴1301a。也就是说，依据一个示例实施例，当用户选择在图12中示出的该用户主页屏幕的1200a部分上的任意点时，讲座主题N的视频将播放于屏幕部分1301，如图13中所示。该用户可通过触摸区域1301、1302或1303随时暂停/播放视频。该用户可通过滚动1302或通过操纵时间轴1301a来快进、回放讲座主题N的视频。在播放讲座主题N的视频期间，该用户可通过操纵屏幕部分1305来观看她所作的笔记以及此外由朋友所作的笔记以及朋友的评论。
如图13中所示，将在区域1301中播放的讲座主题N的视频的音频转换成文本并显示在区域1302中。在区域1303中，显示用户笔记(依据用户设置及/或默认设置包括朋友的笔记)。在区域1304中，显示用户所作的评论(依据用户设置及/或默认设置包括朋友的评论)。例如，朋友n、n-3、n+1、n+3、n+5、n+7可能有关于讲座主题N的当前部分1302a的评论，如通过打勾标记的显示指示器在部分1305中所示，这仅作为示例提供，而非限制。此外，可提供具有答复1306的区域。在图13中示出的示例实施例中，朋友n-1、n-2、n+2、n+4以及n+6可能对用户的朋友的评论作评论(答复)。在一个示例实施例中，显示于区域1304中的用户评论可为要在家解决的在课堂期间由讲师给出的数学问题。因此，在一个示例实施例中，在区域1306中显示的来自朋友的答复可能包括该问题的解决方案，且该用户可通过复习在图13中示出的讲座主题N屏幕的区域1306中提供的答复Rn来检查他的朋友的各种解决方案。
依据一个示例实施例，用户可通过在朋友显示区域1305中选择朋友来浏览不同朋友的评论/答复。通过在朋友显示区域1305中选择一个或多个朋友，该用户将在区域1306中看到所选朋友所作的答复/评论。这作为示例提供，而非限制。
图14示出依据又一个示例实施例关于特定任务确定用户的技能水平的方法的视图。
如图14中所示，可使用相机(例如上面参照图1所述的头戴设备1上的相机)撷取图像的参考帧1410，以确定对象141的运动。在参考帧1401中，静止对象141可被显示于中心。也就是说，依据一个示例实施例，静止对象141可为该用户正在看的对象，例如高尔夫球(当该用户正在打高尔夫球时)、黑板上的点(当用户在教室中时)，或足球(当该用户正在踢球时)。这些静止对象仅作为示例设置，而非限制。基于分析多个撷取的图像，检测在帧1410内的对象141的运动。通过分析在帧1410内的对象141的运动，可检测该用户的情感状态。例如，所检测的对象141的运动反映用户的前额的运动，其可反映该用户的认知状态。依据一个示例实施例，该检测方法可检测该用户的附加情感/认知信息，以排除EEG信号中的噪声影响。
在一个示例实施例中，若静止对象141自中心沿方向141a及141b移动，则检测该用户的头的水平运动。此外，若静止对象141自中心沿方向141c及141d运动，则检测该用户的头的垂直运动，如图14中所示。该运动通过分析图像帧的子集(也就是，视频的一部分)来检测。如上面更详细所述，该视频的一部分可对应于如上参照文本至语音转换所述的组块或分块。
依据又一个示例实施例，用以确定运动的该视频的该部分可针对特定背景。
例如，若该用户正在看黑板上的特定点，则可检测该用户摇头或点头的运动。也就是说，检测的水平运动可标示该用户正在摇头，因此似乎感到困惑。另一方面，检测的头的垂直运动可标示该用户理解正被呈现的材料。因此，将被用作参考集的该视频的该部分将依赖于所检测的该用户的头部运动，例如直至暂停。
依据又一个示例实施例，将被用以检测运动的该视频的该部分可依赖于正被执行的任务。若该用户正在打高尔夫球，则该运动可帮助检测任务的质量。例如，当该高尔夫球手正在推杆时，对象141应当在该推杆过程中的参考帧1410内保持静止。若该推杆失败，则该高尔夫球手可回顾并查看向下运动的静止对象141，且该用户可因此确定他在推杆期间抬头。通过分析他在推杆期间的动作，可改进他的推杆。
图15示出依据上面参照图14描述的示例实施例关于特定任务确定用户的技能水平的方法的流程图。
如图15中所示，在操作1501中，检测静止对象。在一个示例实施例中，可通过使用本领域中已知的各种图像识别技术检测静止对象，例如用户正在看的中心点如高尔夫球或黑板。在操作1502中，基于关于该静止对象检测的运动，将视频划分为组块或片段。依据一个示例实施例，分析该视频，以确定图像帧之间该静止对象的运动。可将每个运动确定为该视频的片段的组块。对于每个确定的组块或片段，在操作1503中确定运动的类型。所确定的运动的类型是基于背景。
例如，关于黑板例子，所检测的运动的类型可为水平的或垂直的运动，其将标示该用户感到困惑(摇头)还是自信(点头)。关于高尔夫例子，所检测的运动的类型可为相对高尔夫球并从运动开始直至高尔夫球被击中的时间期间的头部的运动。
在操作1504中，至少部分基于所确定的运动类型确定该用户的技能水平或自信程度。例如，若该用户在点头或感官数据标示该用户的认知状态为自信，则可组合这些因素来确定该用户知道并理解正被呈现的材料。另一方面，若确定该用户的挥杆缓慢(花很长时间)且高尔夫球在帧之间运动，则可将这些因素与感官数据组合(其可标示该用户的记忆在努力工作)来确定低技能水平。例如，专业高尔夫球手主要使用他的运动技能而不是记忆技能来快速挥杆，并保持他的眼睛盯着球。
在一个示例实施例中，在操作1505中，可将所确定的技能水平输出给用户或者可基于所确定的技能水平修改操作。依据一个示例实施例，可基于所确定的技能水平向该用户呈现额外的辅导材料或材料。作为替代，可用额外的暂停以较慢的速度呈现该讲座。依据又一个示例实施例，高尔夫比赛可经颜色编码以标示该用户还需要针对特定的洞、特定的运动、任务等进行练习。可将该用户引导至课程内的特定区域来练习特定的任务。
依据又一个示例实施例，当正在执行复杂任务(例如，操作复杂机器或设备)时，例如，若技能水平不足或若该用户似乎睡着，则所确定的技能水平可用以输出警报或甚至关闭设备。
依据示例实施例的一个态样，提供一种基于个人直觉的认知辅助系统，其包括：一个或多个装置，经配置以自包括同步的视觉及音频信息的环境撷取数据；至少一个传感器，经配置以撷取与自环境撷取的并由用户观察、收听的该同步的视觉及音频信息对应的该用户的直觉状态或认知状态；至少一个显示装置，经配置以显示撷取的认知信息及处理的认知信息，包括撷取的同步视觉、音频信息，撷取的用户的直觉状态信息，以及处理的同步视觉、音频信息，以及处理的用户的直觉状态信息。该装置还包括处理器，其经配置以：基于所撷取的直觉状态或感官数据以及储存于数据库中的独特参考信号识别该用户的独特直觉状态，将所识别的该用户的独特直觉状态解释成识别的独特可见直觉标记，将所撷取的同步音频信息解释成同步的文本及符号，将该系列解释的同步文本及符号分块成独立的连续的同步子标题模块，将连续的撷取的同步视觉及音频信息划分成对应于连续的同步子标题模块的分立的连续同步视频；以及显示器，其以脚本窗口内的独立的连续子标题子窗口显示独立的连续的同步子标题模块。该处理器还经配置以用与所识别的该用户的独特直觉状态对应的该同步的识别的独特可见直觉标记来标记同步子标题窗口。该装置还包括存储器，其储存该同步认知信息，包括撷取的同步视觉、音频、直觉信息，处理的同步视觉、音频、直觉信息。
依据各种示例实施例，用户可容易地了解在学习、面对面会议、视频电话会议等时需要进一步注意的主题。依据各种示例实施例，基于该用户观察及收听的环境做出的个人笔记及评论、形成的思维可与该环境同步。这些个人交谈文件、思维可模仿该用户的工作记忆的学习及思维。将它们记录，然后储存、输出、共享，以辅助该用户进行各种“交谈后”信息储存及交换。该输出可采取各种形式，包括电子邮件、社交媒体等。
对本发明的各种示例实施例所作的说明是出于示例目的，而非意图详尽无遗或限于所披露的实施例。
许多修改对于本领域的普通技术人员可能显而易见，而不背离所述实施例的范围及精神。本文中所使用的术语经选择以最佳解释该些实施例的原理、实际应用或在市场已知技术上的技术改进，或者使本领域的普通技术人员能够理解本文中所披露的实施例。
在一个示例实施例中，该认知模块处理器可被实施于有形电脑可读媒体上。本文中所使用的术语“电脑可读媒体”是指参与向处理器提供指令以供执行的任意媒体。电脑可读储存媒体可为例如但不限于电子的、磁的、光的、电磁的、红外的，或半导体的系统、装置、或设备，或上述任意合适的组合。该电脑可读储存媒体的更具体例子(非详尽清单)将包括以下：具有两条或更多条导线的电性连接、便携式电脑盘如软盘或柔性盘、磁带或任意其它磁媒体、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦写可编程只读存储器(EPROM或闪存)、存储卡、任意其它存储芯片或盒、光纤、便携式压缩盘只读存储器(CD-ROM)、任意其它光媒体、穿孔卡(punchcard)、纸带、具有孔洞图案的任意其它物理媒体，或电脑可读的任意其它媒体，或上述合适的组合。
在本文档的上下文中，电脑可读储存媒体可为可包含或储存由指令执行系统、装置或设备使用或与其结合使用的程序(program)的任意有形的、非暂时性媒体。
另一种形式是信号媒体且可包括例如基带中或者作为载波的部分的具有电脑可读程序代码(code)包含于其中的传播数据信号。这样的传播信号可采取任意各种形式，包括但不限于电磁的、光的，或其任意合适的组合。该信号媒体可包括同轴电缆、铜线及光纤，包括导线，该导线包括数据总线。该信号媒体可为不是电脑可读储存媒体且可传送、传播或传输由指令执行系统、装置或设备使用或与其结合使用的程序的任意媒体。
在电脑可读媒体上实施的程序代码可利用任意适当的媒体传输，包括但不限于无线、线缆、光缆、RF等，或上述任意合适的组合。
用以针对该些示例实施例的态样执行操作的电脑程序代码可以一种或多种编程语言的任意组合来编写，包括面向对象的编程语言例如Java、Smalltalk、C++、.Net等，以及通常的过程编程语言。该程序代码可被完全执行于该用户的电脑上，部分执行于该用户的电脑上，作为独立软件包，部分执行于该用户的电脑上且部分执行于远程电脑上，或者完全执行于该远程电脑或服务器上。该远程电脑可通过包括局域网(LAN)或广域网(WAN)的任意类型的网络与该用户的电脑连接，或者可与外部电脑建立连接(例如利用因特网服务提供者通过因特网连接)。
该电脑可读媒体仅是机器可读媒体的一个例子，其可携带指令以实施本文中所述的任意方法及/或技术。此类媒体可采取许多形式，包括但不限于非易失性媒体及易失性媒体。非易失性媒体包括例如光盘或磁盘。易失性媒体包括动态存储器。
可包括各种形式的电脑可读媒体以将一个或多个指令的一个或多个序列传输至处理器例如CPU，以供执行。例如，该指令初始可承载于远程电脑的磁盘上。或者，远程电脑可将该指令加载至其动态存储器中并利用调制解调器(modem)通过电话线发送该指令。电脑系统本地的调制解调器可接收该电话线上的该数据并使用红外发射器将该数据转换为红外信号。红外探测器可接收该红外信号中携带的数据且合适的电路可将该数据置于数据总线上。该总线将该数据传输至易失性储存设备，处理器自该易失性储存设备检索并执行该指令。可选地，由该易失性存储器接收的该指令可在处理器执行之前或之后被储存于永久储存设备上。还可利用本领域已知的各种网络数据通信协议通过因特网将该指令下载至电脑平台中。
附图中的流程图及方块图说明依据各种示例实施例的系统、方法及电脑程序产品的可能实施的架构、功能以及操作。在这点上，该流程图或方块图中的各方块可代表模块、片断，或部分代码，其包括用于实施特定逻辑功能的一条或多条可执行指令。应当注意的是，在一些替代实施中，方块中所示的功能可能不按附图中所示的顺序发生。例如，以连续方式显示的两个方块可能基本上同时执行，或者两个方块可能有时以相反的顺序执行，取决于所涉及的功能。还要注意的是，方块图和/或流程图中的每个方块、以及方块图和/或流程图中的方块组合，可由执行特定功能或行为的基于专用硬件的系统、或者专用硬件及电脑指令的组合实施。
本文中所使用的术语仅是出于说明特定实施例的目的，并非意图限制。除非上下文中另外明确指出，否则本文中所使用的单数形式“一”、“一个”以及“该”也意图包括复数形式。还应当理解，在本说明书中使用的术语“包括”和/或“包含”表明所述特征、整体、步骤、操作、元件和/或组件的存在，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件、和/或其群组。
所附的权利要求中的所有方式或步骤加功能元素的相应结构、材料、动作及等同意图包括执行该功能的任意结构、材料或动作结合具体请求保护的其它请求保护的元素。
对该示例实施例所作的说明是出于示例说明目的，而非意图详尽无遗或限于任意形式。许多修改及变更将对于本领域的普通技术人员将显而易见，而不背离本发明的范围及精神。示例实施例经选择及说明以解释其操作及实际应用，并使本领域的普通技术人员能够理解具有适于所考虑的特别应用的各种修改的各种实施例。也就是说，这些实施例的各种修改将很容易被本领域的技术人员理解，且本文中所定义的一般原则及具体例子可在不需要创新能力的情况下被应用于其它实施例。例如，上述不同实施例的其中一些或全部特征可被组合成单个实施例。反过来，上述单个实施例的该特征的其中一些可自该实施例移除。因此，本披露并非意图限于本文中所述的示例实施例，而是将被给予如权利要求及其等同的特征所定义的最广范围。

Claims (14)

1.一种基于个人情感的学习辅助系统，包括：
至少一个数据撷取装置，撷取包括同步的视觉及音频信息的数据，且撷取自用户生成的对应的认知信号；以及
至少一个显示装置，经配置以：
在该至少一个显示装置的不同显示区域中输出该视觉及音频信息的多组分信息，其中，该不同显示区域包括：
至少一个第一视频播放区域，其中，播放该视觉及音频信息的视频，以及
至少一个第二额外信息区域，其中，显示多个同步文本及符号滚动片段，其中，该多个同步文本及符号滚动片段包括被转换成文本及符号的该视觉及音频信息的至少一个且与播放的该视频同步显示，
在该第一视频播放区域及该第二额外信息区域的至少一者上生成及显示与所显示的该文本及符号片段同步的多个指示器，
通过该至少一个数据撷取装置将撷取的该数据划分成多个片段，
针对该多个片段的各者，自认知状态的多个类型确定该用户的第一认知状态及第二认知状态，及自该认知状态的多个程度确定所确定的该第一认知状态的第一程度及所确定的该第二认知状态的第二程度，
其中，在通过该数据撷取装置对该数据的该撷取期间基于该用户生成的该认知信号以确定该第一认知状态，
其中，在该至少一个第一视频播放区域中该数据的回放期间基于该用户生成的该认知信号以确定该第二认知状态，以及
其中，该多个指示器针对该多个片段中对应的片段标示该第一认知状态及该第二认知状态。
2.如权利要求1所述的基于个人情感的学习辅助系统，其中，至少一个时间轴显示在该至少一个第一视频播放区域及该至少一个第二额外信息区域的至少其中一者中。
3.如权利要求2所述的基于个人情感的学习辅助系统，其中，针对该多个片段的该各者，基于该用户的该第一认知状态及该用户的该第二认知状态的至少其中一者，以及基于该认知状态的该第一程度及该认知状态的该第二程度的至少其中一者，该至少一个时间轴是颜色编码的。
4.如权利要求2所述的基于个人情感的学习辅助系统，其中，该至少一个时间轴包括：
第一时间轴，显示在该至少一个第一视频播放区域中，具有与该视频同步的该多个指示器，其中，该多个指示器在撷取的该数据的原始呈现期间标示该用户的该第一认知状态及该认知状态的该第一程度，以及
第二时间轴，显示在该至少一个第二额外信息区域中，具有与显示的该文本及符号片段同步的该多个指示器，其中，该多个指示器在该视频播放在该至少一个第一视频播放区域的复习期间标示该用户的该第二认知状态及该认知状态的该第二程度。
5.如权利要求1所述的基于个人情感的学习辅助系统，其中，该至少一个显示装置包括：
第一显示装置，显示该至少一个第一视频播放区域，以及
第二显示装置，显示该至少一个第二额外信息区域。
6.如权利要求1所述的基于个人情感的学习辅助系统，其中，该至少一个显示装置还显示包括与当前正在显示的对应的相应片段有关的图像、图形、文本及简述的至少一者的第三区域。
7.如权利要求1所述的基于个人情感的学习辅助系统，其中，该至少一个显示装置还包括运动至简述转换器，经配置以将该多个片段中示出的对象的运动信息转换成同步的简述及符号。
8.一种基于个人情感的学习辅助方法，包括：
通过至少一个数据撷取装置撷取包括同步视觉及音频信息的数据；
通过该至少一个数据撷取装置撷取自用户生成的认知信号，该认知信号对应撷取的该数据；
在不同显示区域中输出撷取的该同步视觉及音频信息的多组分信息，其中，该不同显示区域包括：
至少一个第一视频播放区域，其中，播放撷取的该同步视觉及音频信息的视频，及
至少一个第二额外信息区域，其中，显示多个同步文本及符号滚动片段，其中，该多个同步文本及符号滚动片段包括被转换成文本及符号的所撷取的该同步视觉及音频信息的至少一者并与所播放的该视频同步显示；
通过至少一个显示装置在该第一视频播放区域及该第二额外信息区域的至少一者上生成及显示与所显示的该文本及符号片段同步的多个指示器；
通过该至少一个数据撷取装置将撷取的该数据划分为多个片段；以及
针对该多个片段的各者，自认知状态的多个类型确定该用户的第一认知状态及第二认知状态，及自该认知状态的多个程度确定所确定的该第一认知状态的第一程度及所确定的该第二认知状态的第二程度，
其中，在通过该数据撷取装置对该数据的该撷取期间基于该用户生成的该认知信号以确定该第一认知状态，
其中，在该至少一个第一视频播放区域中该数据的回放期间基于该用户生成的该认知信号以确定该第二认知状态，以及
其中，该多个指示器针对该多个片段中对应的片段标示该第一认知状态及该第二认知状态。
9.如权利要求8所述的基于个人情感的学习辅助方法，其中，至少一个时间轴显示在该至少一个第一视频播放区域及该至少一个第二额外信息区域的至少其中一者中。
10.如权利要求9所述的基于个人情感的学习辅助方法，其中，针对该多个片段的该各者，基于该用户所确定的该第一认知状态及该用户所确定的该第二认知状态的至少其中一者，以及基于该用户的该认知状态所确定的该第一程度及该认知状态所确定的该第二程度的至少其中一者，该至少一个时间轴是颜色编码的。
11.如权利要求8所述的基于个人情感的学习辅助方法，其中，该至少一个第一视频播放区域显示在第一显示装置的第一显示器上，该至少一个第二额外信息区域显示在第二显示装置的第二显示器上。
12.如权利要求8所述的基于个人情感的学习辅助方法，还包括：
显示包括与当前正在显示的对应的相应片段有关的图像、图形、文本及简述的至少一者的第三区域。
13.如权利要求8所述的基于个人情感的学习辅助方法，还包括：
将该多个片段中示出的对象的运动信息转换成同步的简述及符号。
14.一种非暂时性电脑可读记录媒体，在其中储存基于个人情感的认知辅助方法，当通过电脑执行时，该方法使该电脑：
控制至少一个数据撷取装置以撷取包括同步的视觉及音频信息的数据；
控制该至少一个数据撷取装置以撷取自用户生成的认知信号，该认知信号对应撷取的该数据；
在不同显示区域中输出该视觉及音频信息的多组分信息；
其中，该不同显示区域，包括：
至少一个第一视频播放区域，其中，播放该视觉及音频信息的视频，以及
至少一个第二额外信息区域，其中，播放同步文本及符号滚动片段，其中，该同步文本及符号滚动片段包括被转换成文本及符号的该视觉及音频信息的至少一者并与所播放的该视频同步显示，
在该第一视频播放区域及该第二额外信息区域的至少其中一者上生成及显示与所显示的该同步文本及符号片段同步的多个指示器，
通过该至少一个数据撷取装置将撷取的该数据划分成多个片段，
针对该多个片段的各者，自认知状态的多个类型确定该用户的第一认知状态及该用户的第二认知状态，及自该认知状态的多个程度确定该认知状态的第一程度及该认知状态的第二程度，
其中，在通过该数据撷取装置对该数据的该撷取期间基于该用户生成的该认知信号以确定该第一认知状态，
其中，在该至少一个第一视频播放区域中该数据的回放期间基于该用户生成的该认知信号以确定该第二认知状态，以及
其中，该多个指示器针对该多个片段中对应的片段标示该第一认知状态及该第二认知状态。
CN201880052218.8A 2017-06-13 2018-05-14 基于洞察力的认知辅助装置、方法及系统 Expired - Fee Related CN111213197B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762518824P 2017-06-13 2017-06-13
US62/518,824 2017-06-13
US15/870,210 2018-01-12
US15/870,210 US10127825B1 (en) 2017-06-13 2018-01-12 Apparatus, method, and system of insight-based cognitive assistant for enhancing user's expertise in learning, review, rehearsal, and memorization
PCT/US2018/032516 WO2018231403A1 (en) 2017-06-13 2018-05-14 Apparatus, method, and system of insight-based cognitive assistant for enhancing user's expertise in learning, review, rehearsal, and memorization

Publications (2)

Publication Number Publication Date
CN111213197A CN111213197A (zh) 2020-05-29
CN111213197B true CN111213197B (zh) 2021-07-20

Family

ID=64050939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880052218.8A Expired - Fee Related CN111213197B (zh) 2017-06-13 2018-05-14 基于洞察力的认知辅助装置、方法及系统

Country Status (10)

Country Link
US (2) US10127825B1 (zh)
EP (1) EP3639255A4 (zh)
JP (1) JP6742545B1 (zh)
KR (1) KR102140075B1 (zh)
CN (1) CN111213197B (zh)
AU (2) AU2018283906A1 (zh)
CA (1) CA3067017C (zh)
MY (1) MY202173A (zh)
SG (1) SG11201911766WA (zh)
WO (1) WO2018231403A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10661145B2 (en) * 2018-06-20 2020-05-26 BTE Enterprises, LLC Sports swing training device
US11133099B2 (en) * 2018-07-13 2021-09-28 International Business Machines Corporation Memory recall assistance for memory loss
USD881044S1 (en) * 2018-10-05 2020-04-14 Fuvi Cognitive Network Corp. Wearable apparatus for intuition based cognitive assistant
US10664489B1 (en) 2018-11-16 2020-05-26 Fuvi Cognitive Network Corp. Apparatus, method, and system of cognitive data blocks and links for personalization, comprehension, retention, and recall of cognitive contents of a user
JPWO2020116193A1 (zh) * 2018-12-07 2020-06-11
US11514805B2 (en) * 2019-03-12 2022-11-29 International Business Machines Corporation Education and training sessions
CN110495854B (zh) * 2019-07-30 2022-08-05 科大讯飞股份有限公司 特征提取方法、装置、电子设备及存储介质
US20220254336A1 (en) * 2019-08-12 2022-08-11 100 Brevets Pour La French Tech Method and system for enriching digital content representative of a conversation
US11120705B2 (en) * 2020-02-13 2021-09-14 Fuvi Cognitive Network Corp. Apparatus, method, and system of cognitive assistance for transforming multimedia content into a cognitive formation
US11210962B2 (en) 2020-04-14 2021-12-28 A.R. Head Ventures Ltd Electronic display and method for memorizing themes
CN112185191B (zh) * 2020-09-21 2022-08-16 信阳职业技术学院 一种智能数字化教学模型
CN112259083B (zh) * 2020-10-16 2024-02-13 北京猿力未来科技有限公司 音频处理方法及装置
JP7473917B2 (ja) 2020-10-21 2024-04-24 株式会社デジタル・ナレッジ 教材オーサリングシステム
WO2022160842A1 (zh) * 2021-01-26 2022-08-04 华中师范大学 一种基于脑电数据的学生协作状态评估方法及系统
KR102303074B1 (ko) * 2021-02-25 2021-09-17 주식회사 한국이러닝개발원 타임 마그넷 이러닝 시스템
TWI833570B (zh) * 2023-02-06 2024-02-21 亞東學校財團法人亞東科技大學 輕度認知障礙語音檢測系統

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110107454A (ko) * 2010-03-25 2011-10-04 최영민 학습 몰입 강화를 위한 온라인 학습 시스템 및 방법
KR20150030419A (ko) * 2013-09-12 2015-03-20 대우조선해양 주식회사 압축공기 분사 전류고정날개 및 그 압축공기 분사 전류고정날개를 이용한 프로펠러의 캐비테이션 손상방지 시스템
CN104680859A (zh) * 2015-02-13 2015-06-03 绵阳点悟教育科技有限公司 一种自主学习系统及检测方法
CN105531998A (zh) * 2013-08-19 2016-04-27 诺基亚技术有限公司 用于对象检测和分割的方法、装置及计算机程序产品
CN105825732A (zh) * 2016-05-23 2016-08-03 河南科技学院 汉语言文学教学用辅助系统

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6069652A (en) * 1997-09-26 2000-05-30 Ultrak, Inc. Furnace video camera apparatus
US6190314B1 (en) * 1998-07-15 2001-02-20 International Business Machines Corporation Computer input device with biosensors for sensing user emotions
US6513046B1 (en) * 1999-12-15 2003-01-28 Tangis Corporation Storing and recalling information to augment human memories
US20130211238A1 (en) * 2001-01-30 2013-08-15 R. Christopher deCharms Methods for physiological monitoring, training, exercise and regulation
US6595781B2 (en) * 2001-06-20 2003-07-22 Aspen Research Method and apparatus for the production and integrated delivery of educational content in digital form
US6904263B2 (en) * 2001-08-01 2005-06-07 Paul Grudnitski Method and system for interactive case and video-based teacher training
US9300790B2 (en) * 2005-06-24 2016-03-29 Securus Technologies, Inc. Multi-party conversation analyzer and logger
US9101279B2 (en) * 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
US10198958B2 (en) * 2007-05-04 2019-02-05 Freer Logic Method and apparatus for training a team by employing brainwave monitoring and synchronized attention levels of team trainees
US20140033025A1 (en) * 2007-12-06 2014-01-30 Adobe Systems Incorporated Displaying a text-based description of digital content in a sub-frame
JP5133678B2 (ja) * 2007-12-28 2013-01-30 株式会社ベネッセコーポレーション 動画再生システム及びその制御方法
US20100100546A1 (en) * 2008-02-08 2010-04-22 Steven Forrest Kohler Context-aware semantic virtual community for communication, information and knowledge management
JP5392906B2 (ja) * 2009-06-24 2014-01-22 学校法人東京電機大学 遠隔学習システム及び遠隔学習方法
US8334793B2 (en) * 2009-10-14 2012-12-18 Fujitsu Limited Systems and methods for indexing media files using brainwave signals
US10869626B2 (en) * 2010-06-07 2020-12-22 Affectiva, Inc. Image analysis for emotional metric evaluation
US10111611B2 (en) * 2010-06-07 2018-10-30 Affectiva, Inc. Personal emotional profile generation
US20120047437A1 (en) * 2010-08-23 2012-02-23 Jeffrey Chan Method for Creating and Navigating Link Based Multimedia
US9164590B2 (en) * 2010-12-24 2015-10-20 Kevadiya, Inc. System and method for automated capture and compaction of instructional performances
US20120236201A1 (en) * 2011-01-27 2012-09-20 In The Telling, Inc. Digital asset management, authoring, and presentation techniques
US9355110B1 (en) * 2011-07-14 2016-05-31 Google Inc. Dynamic presentation of data items based on prioritized associations
EP2790582A1 (en) * 2011-12-16 2014-10-22 Koninklijke Philips N.V. History log of user's activities and associated emotional states
US9560094B2 (en) * 2012-02-02 2017-01-31 Tata Consultancy Services Limited System and method for identifying and analyzing personal context of a user
CN104081784B (zh) * 2012-02-10 2017-12-08 索尼公司 信息处理装置、信息处理方法和程序
WO2013141386A1 (ja) * 2012-03-23 2013-09-26 独立行政法人科学技術振興機構 パーソナルゲノム情報環境提供装置、パーソナルゲノム情報環境提供方法、および、プログラム
US9224309B2 (en) * 2012-04-02 2015-12-29 Wisconsin Alumni Research Foundation Teaching system for improving information retention based on brain-state monitoring
US8864310B2 (en) * 2012-05-01 2014-10-21 RightEye, LLC Systems and methods for evaluating human eye tracking
US20130308922A1 (en) * 2012-05-15 2013-11-21 Microsoft Corporation Enhanced video discovery and productivity through accessibility
US8924327B2 (en) * 2012-06-28 2014-12-30 Nokia Corporation Method and apparatus for providing rapport management
US8799561B2 (en) * 2012-07-27 2014-08-05 International Business Machines Corporation Valid page threshold based garbage collection for solid state drive
US9177257B2 (en) * 2012-08-30 2015-11-03 International Business Machines Corporation Non-transitory article of manufacture and system for providing a prompt to user for real-time cognitive assistance
JP6217645B2 (ja) * 2012-11-01 2017-10-25 ソニー株式会社 情報処理装置、再生状態制御方法及びプログラム
WO2014085910A1 (en) * 2012-12-04 2014-06-12 Interaxon Inc. System and method for enhancing content using brain-state data
US10410191B2 (en) * 2013-03-14 2019-09-10 Bill.Com, Llc System and method for scanning and processing of payment documentation in an integrated partner platform
EP2972678A4 (en) * 2013-03-15 2016-11-02 Interaxon Inc CLOTHING COMPUTER APPARATUS AND ASSOCIATED METHOD
US9681186B2 (en) * 2013-06-11 2017-06-13 Nokia Technologies Oy Method, apparatus and computer program product for gathering and presenting emotional response to an event
US20150079560A1 (en) * 2013-07-03 2015-03-19 Jonathan Daniel Cowan Wearable Monitoring and Training System for Focus and/or Mood
CN103473111A (zh) * 2013-08-16 2013-12-25 运软网络科技(上海)有限公司 一种仿脑计算虚拟化的方法和系统
KR20150030491A (ko) * 2013-09-12 2015-03-20 주식회사 펀에듀 오감을 이용하는 교육 서비스 시스템 및 이를 위한 방법
US10013892B2 (en) * 2013-10-07 2018-07-03 Intel Corporation Adaptive learning environment driven by real-time identification of engagement level
US20150213002A1 (en) * 2014-01-24 2015-07-30 International Business Machines Corporation Personal emotion state monitoring from social media
KR102243653B1 (ko) * 2014-02-17 2021-04-23 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US9943698B2 (en) * 2014-04-22 2018-04-17 Lockheed Martin Corporation Cognitive enhancement using feedback
US10321842B2 (en) * 2014-04-22 2019-06-18 Interaxon Inc. System and method for associating music with brain-state data
AU2015264260A1 (en) * 2014-05-21 2016-12-01 Akili Interactive Labs, Inc. Processor-implemented systems and methods for enhancing cognitive abilities by personalizing cognitive training regimens
US20160042648A1 (en) * 2014-08-07 2016-02-11 Ravikanth V. Kothuri Emotion feedback based training and personalization system for aiding user performance in interactive presentations
US10120413B2 (en) * 2014-09-11 2018-11-06 Interaxon Inc. System and method for enhanced training using a virtual reality environment and bio-signal data
WO2016064314A1 (en) * 2014-10-24 2016-04-28 Telefonaktiebolaget L M Ericsson (Publ) Customization of help information based on eeg data
CN105094315B (zh) * 2015-06-25 2018-03-06 百度在线网络技术（北京）有限公司 基于人工智能的人机智能聊天的方法和装置
US9894266B2 (en) * 2015-06-30 2018-02-13 International Business Machines Corporation Cognitive recording and sharing
US10285634B2 (en) * 2015-07-08 2019-05-14 Samsung Electronics Company, Ltd. Emotion evaluation
TWI691929B (zh) * 2016-02-17 2020-04-21 原相科技股份有限公司 互動式服務平台及其運作方法
US9711056B1 (en) 2016-03-14 2017-07-18 Fuvi Cognitive Network Corp. Apparatus, method, and system of building and processing personal emotion-based computer readable cognitive sensory memory and cognitive insights for enhancing memorization and decision making skills
US20170315825A1 (en) * 2016-05-02 2017-11-02 John C. Gordon Presenting Contextual Content Based On Detected User Confusion
US20170330482A1 (en) * 2016-05-12 2017-11-16 Matthew J. Vendryes User-controlled video language learning tool
US10762429B2 (en) * 2016-05-18 2020-09-01 Microsoft Technology Licensing, Llc Emotional/cognitive state presentation
US20170351330A1 (en) * 2016-06-06 2017-12-07 John C. Gordon Communicating Information Via A Computer-Implemented Agent
EP3490432A4 (en) * 2016-07-27 2020-02-12 Biosay, Inc. SYSTEMS FOR MEASURING AND MANAGING A PHYSIOLOGICAL-EMOTIONAL STATE
US20180032126A1 (en) * 2016-08-01 2018-02-01 Yadong Liu Method and system for measuring emotional state

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110107454A (ko) * 2010-03-25 2011-10-04 최영민 학습 몰입 강화를 위한 온라인 학습 시스템 및 방법
CN105531998A (zh) * 2013-08-19 2016-04-27 诺基亚技术有限公司 用于对象检测和分割的方法、装置及计算机程序产品
KR20150030419A (ko) * 2013-09-12 2015-03-20 대우조선해양 주식회사 압축공기 분사 전류고정날개 및 그 압축공기 분사 전류고정날개를 이용한 프로펠러의 캐비테이션 손상방지 시스템
CN104680859A (zh) * 2015-02-13 2015-06-03 绵阳点悟教育科技有限公司 一种自主学习系统及检测方法
CN105825732A (zh) * 2016-05-23 2016-08-03 河南科技学院 汉语言文学教学用辅助系统

Also Published As

Publication number Publication date
CN111213197A (zh) 2020-05-29
SG11201911766WA (en) 2020-01-30
KR102140075B1 (ko) 2020-07-31
US10373510B2 (en) 2019-08-06
CA3067017A1 (en) 2018-12-20
MY202173A (en) 2024-04-13
AU2021200339A1 (en) 2021-03-18
CA3067017C (en) 2021-01-19
JP6742545B1 (ja) 2020-08-19
JP2020527741A (ja) 2020-09-10
KR20200010564A (ko) 2020-01-30
US20180366014A1 (en) 2018-12-20
EP3639255A1 (en) 2020-04-22
US10127825B1 (en) 2018-11-13
EP3639255A4 (en) 2021-04-07
WO2018231403A1 (en) 2018-12-20
AU2018283906A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
CN111213197B (zh) 基于洞察力的认知辅助装置、方法及系统
Kuhn et al. gPhysics—Using smart glasses for head-centered, context-aware learning in physics experiments
US10614298B2 (en) Generating auxiliary information for a media presentation
Burmester et al. How users perceive and use interactive information graphics: An exploratory study
Sun et al. How presenters perceive and react to audience flow prediction in-situ: An explorative study of live online lectures
Suvorov Interacting with visuals in L2 listening tests: An eye-tracking study
Maltese et al. What are students doing during lecture? Evidence from new technologies to capture student activity
Nirme et al. A virtual speaker in noisy classroom conditions: supporting or disrupting children’s listening comprehension?
Scott Nixon Mediating social thought through digital storytelling
Baecher Video in teacher learning: Through their own eyes
Falloon Creating content: Building literacy skills in year 1 students using open format apps
Emhardt et al. What is my teacher talking about? Effects of displaying the teacher’s gaze and mouse cursor cues in video lectures on students’ learning
Ochoa Multimodal systems for automated oral presentation feedback: A comparative analysis
Krause et al. Supporting Students with Autism Spectrum Disorders in Physical Education: There's an App for that!
Cappellini et al. A multimodal corpus to study videoconference interactions for techno-pedagogical competence in second language acquisition and teacher education
CN111681142A (zh) 基于教育视频虚拟教学的方法、系统、设备及存储介质
Benta et al. A multimodal affective monitoring tool for mobile learning
Chen et al. Improve dancing skills with motion capture systems: case study of a taiwanese high school dance class
Hovious et al. The reader as subjective entropy: a novel analysis of multimodal readability
Holt et al. Building a multimodal corpus to study the development of techno-semio-pedagogical competence across different videoconferencing settings and languages
Soltangheis From children's play to intentions: a play analytics framework for constructionist learning apps
Aşık et al. The affordances of a mobile video-tagging tool for evaluating presentation skills in a second language
Koch Defenses in movement: Video-analysis of conflict patterns in group communication
Helvert et al. Observing, coaching and reflecting: A multi-modal natural language-based dialogue system in a learning context
TWI731577B (zh) 學習狀態改善管理系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210720

CF01 Termination of patent right due to non-payment of annual fee