CN103561652A

CN103561652A - 用于辅助患者的方法和系统

Info

Publication number: CN103561652A
Application number: CN201280026694.5A
Authority: CN
Inventors: R·S·雅辛斯基; M·布卢特; L·贝洛迪
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2011-06-01
Filing date: 2012-06-01
Publication date: 2014-02-05
Anticipated expiration: 2032-06-01
Also published as: CN103561652B; EP2713881B1; JP6101684B2; WO2012164534A1; RU2013158677A; US9747902B2; US20150081299A1; RU2613580C2; JP2014518100A; EP2713881A1; BR112013030406A2

Abstract

提供了一种用于帮助用户与他人进行社交互动的系统，所述系统被配置为确定用户是否辨识该人，如果确定用户没有辨识该人，则向用户提供关于该人的信息。还提供了对应的方法和用于执行所述方法的计算机程序产品。

Description

用于辅助患者的方法和系统

技术领域

本发明涉及一种用于辅助患有（诸如由阿尔茨海默症导致的）记忆障碍的人进行社交互动的方法和系统。

背景技术

患有早期和中期阿尔茨海默症（AD）的患者表现出智力障碍，诸如，记忆力丧失、执行功能和注意力退化，通常在来自家庭成员、朋友或护理提供者的帮助下，他们一般仍然能够相当好地执行其日常任务。

但是，患有AD（或者一般而言的记忆和认知障碍）的人会发现很难进行社交互动，诸如，与他人（可以是护理人员、医生、朋友）谈话，由于他们通常不记得这个人是谁或者关于他们的相关信息，而且不能完全跟随谈话。这些互动中的记忆丧失对患有AD的人产生压力，并且这通常反映在这个人的不希望出现的行为中，因此使他们难以维持正常的社交生活。

尽管存在用于帮助老年人执行其基本任务和活动的系统，但是这些系统不是特别针对在头脑方面患有显著的记忆障碍（诸如，阿尔茨海默症）的人而设计的，并且因此并不是特别适合这一用途。

因此，需要一种用于辅助患有记忆障碍的人进行社交互动的方法和系统。

发明内容

将在下列叙述中陈述本发明的各个方面。

1、一种用于辅助用户与另一人进行社交互动的系统，所述系统被配置为确定所述用户是否辨识该人，以及如果确定所述用户没有辨识该人，则向所述用户提供关于该人的信息。

2、根据表述1所述的系统，其中，所述系统被配置为通过确定所述用户的情绪状态来确定所述用户是否辨识该人。

3、根据表述2所述的系统，其中，所述系统包括一个或多个传感器，用于测量所述用户的生理特征，并且其中，所述系统被配置为基于测量出的生理特征来确定所述用户的情绪状态。

4、根据表述2或3中的任一项所述的系统，其中，所述系统被配置为通过分析所述用户在互动期间的语音来确定所述用户的情绪状态。

5、根据表述1到4中的任一项所述的系统，其中，所述系统被配置为通过播放音频和/或视频消息并且通过监测所述用户对消息的反应来确定所述用户是否辨识该人。

6、根据表述1到4中的任一项所述的系统，其中，所述系统被配置为通过使用语音辨识算法以分析所述用户和/或该人在互动期间的语音，来确定所述用户是否辨识该人。

7、根据表述1到6中的任一项所述的系统，其中，所述系统包括：

图像捕获模块，用于捕获该人的图像或者一系列图像；

处理器，用于向捕获到的图像应用面部辨识算法，以识别该人，并且用于获得关于识别出的人的信息；以及

用户接口，如果确定所述用户没有辨识该人，则所述用户接口用于向所述用户呈现获得的关于所述识别出的人的所述信息。

8、根据表述1到7中的任一项所述的系统，其中，所述系统包括：

麦克风，用于记录该人在所述互动期间的语音；

处理器，用于使用声音辨识算法对记录的语音进行处理，以识别该人，并且用于获得关于识别出的人的信息；以及

9、根据前述表述中的任一项所述的系统，其中，所述系统还被配置为如果确定所述用户没有辨识该人，则向该人提供信息，所述信息向该人指示所述用户没有辨识他们。

10、根据前述表述中的任一项所述的系统，所述系统包括用于记录所述用户与该人之间的互动期间的语音的麦克风，并且其中，所述系统还被配置为在确定互动完成时为所述用户生成所述互动的摘要，并且向用户接口提供所述摘要，以便呈现给用户。

11、根据表述10所述的系统，其中，所述系统还被配置为确定所述用户在互动期间的情绪状态，并且所述系统还被配置为基于记录的语音和确定的情绪状态为所述用户生成所述互动的所述摘要。

12、根据前述表述中的任一项所述的系统，其中，所述系统还被配置为确定所述用户是否记得或者理解与该人进行互动的目的，并且，如果确定所述用户不记得或者不理解所述互动的所述目的，则所述系统还被配置为向所述用户提供关于所述互动的所述目的的信息。

13、根据前述表述中的任一项所述的系统，其中，还将所述系统配置为监测所述互动，以确定用户是否能够随着所述互动的进行而跟随或理解所述互动，并且，如果确定所述用户无法跟随或理解所述互动，则所述系统还被配置为向所述用户提供关于所述互动的信息。

14、根据表述13所述的系统，其中，所述系统还被配置为确定所述互动的语境，从而如果确定所述用户无法跟随或理解所述互动，所述系统能够在向所述用户提供关于所述互动的具体语境的信息。

15、根据表述12、13或14所述的系统，其中，将所述系统配置为(i)监测所述用户的语音，以确定所述用户是否能够开始并跟随所述互动；(ii)监测所述用户的语音，以确定所述用户的情绪状态；(iii)监测所述用户和该人的语音，以确定所述互动和当前对话的语境；和/或(iv)监测所述用户在互动期间的生理反应，以确定所述用户是否记得或理解与该人进行所述互动的目的和/或确定所述用户是否随着所述互动的进行而跟随并理解所述互动。

16、一种用于辅助用户与另一人进行社交互动的方法，所述方法包括：

确定所述用户是否辨识该人；以及

如果确定所述用户没有辨识该人，则向所述用户提供关于该人的信息。

17、根据表述16所述的方法，其中，确定所述用户是否辨识该人的步骤包括确定所述用户的情绪状态。

18、根据表述17所述的方法，其中，所述方法还包括测量所述用户的生理特征的步骤；并且其中，所述确定所述用户的所述情绪状态的步骤使用测量出的生理特征。

19、根据表述17或18所述的方法，其中，所述确定所述用户的情绪状态的步骤还包括分析所述用户在所述互动期间的语音。

20、根据表述16到19中的任一项所述的方法，其中，所述确定所述用户是否辨识该人的步骤包括播放音频和/或视频消息，以及监测所述用户对所述消息的反应。

21、根据表述16到19中的任一项所述的方法，其中，所述确定所述用户是否辨识该人的步骤包括分析用户和/或该人在所述互动期间的语音。

22、根据表述16到21中的任一项所述的方法，其中，所述方法还包括以下步骤：

捕获该人的一幅图像或一系列图像；

向捕获到的图像应用面部辨识算法，以识别该人；

获得关于识别出的人的信息；以及

如果确定所述用户没有辨识该人，则向所述用户呈现获得的关于识别出的人的信息。

23、根据表述16到22中的任一项所述的方法，其中，所述方法还包括：

记录该人在所述互动期间的语音；

使用语音辨识算法对记录的语音进行处理，以识别该人；

获得关于识别出的人的信息；以及

如果确定用户没有辨识该人，则向所述用户呈现获得的关于识别出的人的信息。

24、根据表述16到23中的任一项所述的方法，其中，所述方法还包括如果确定所述用户没有辨识该人则向该人提供信息的步骤，所述信息向该人指示所述用户没有辨识他们。

25、根据表述16到24中的任一项所述的方法，所述方法还包括以下步骤：

在所述用户和该人之间的互动期间记录语音；

在确定互动完成时，为所述用户生成所述互动的摘要；以及

向用户接口提供所述摘要，便于向所述用户呈现。

26、根据表述25所述的方法，其中，所述方法还包括的步骤有：

确定所述用户在所述互动期间的情绪状态，以及

基于记录的语音和确定的情绪状态，为所述用户生成所述互动的所述摘要。

27、根据表述16到26中的任一项所述的方法，其中，所述方法还包括以下步骤：

确定所述用户是否记得或者理解与该人进行所述互动的目的；以及

如果确定所述用户不记得或不理解所述互动的所述目的，则向所述用户提供关于所述互动的所述目的的信息。

28、根据表述16到27中的任一项所述的方法，其中，所述方法还包括以下步骤：

监测所述互动，以确定所述用户是否随着所述互动的进行跟随并理解所述互动；以及

如果确定所述用户无法跟随或无法理解所述互动，则向所述用户提供关于所述互动的信息。

29.根据表述28所述的方法，其中，所述方法包括确定所述互动的语境，由此，如果确定所述用户无法跟随或者理解所述互动，则能够向所述用户提供关于所述互动的具体语境的信息。

30、根据表述27、28或29所述的方法，其中，所述方法还包括：

(i)监测所述用户的所述语音，以确定所述用户是否能够开始并跟随所述互动；(ii)监测所述用户的所述语音，以确定所述用户的所述情绪状态；(iii)监测所述用户和该人的语音，以确定所述互动和当前对话的语境；和/或(iv)监测所述用户在所述互动期间的生理反应，以确定所述用户是否记得或者理解与该人进行所述互动的目的和/或确定所述用户是否随着所述互动的进行而跟随并理解所述互动。

31、一种包括计算机可读代码的计算机程序产品，所述代码被配置为在由适当的计算机或处理器执行所述代码时，所述计算机或处理器执行根据表述16到30中的任一项所述的方法。

附图说明

现在将参考下列附图，仅通过示例的方式描述本发明的示例性实施例，其中：

图1是根据本发明的系统的方框图；

图2是图示了根据第一实施例的方法的流程图；

图3是图示了可能的用户的情绪状态的图示；

图4是图示了根据第二实施例的方法的流程图；

图5图示了用于监测本发明的实施例中的互动的模块；以及

图6是示出了根据本发明的实施例的系统的操作的流程图。

具体实施方式

尽管下文将参考用于患有阿尔茨海默症（AD）的人的系统和方法描述本发明，但是应当认识到，本发明适于患有影响其社交互动能力的记忆障碍的任何人来使用。

在图1中示出了根据本发明的系统2的示例性实施例。系统2包括由系统2的用户（即，患有记忆障碍的人）佩戴或携带的便携式或移动装置4。移动装置4能够采取任何适当的形式，但是在优选实施例中，移动装置4是佩戴在用户的脖子上的挂件，尽管在备选实施例中，移动装置4能够是移动电话（诸如，智能电话或PDA）。

移动装置4包括用于与基站单元10通信的收发器电路6和关联的天线8。收发器电路10能够被配置为使用与基站单元10通信的任何适当的通信协议，包括，例如蓝牙或Wi-Fi，或诸如GSM的移动通信协议等。

移动装置4还包括视觉显示器14、扬声器16、麦克风18、照相机20、移动或取向传感器21（诸如，加速度计和/或磁强计）以及用户可操作输入端22，它们当中的每个均连接至处理器12。这些部件形成了允许用户与移动装置4交互的用户接口，并且反之亦然。移动装置4还能够包括存储器23，其用于在通过收发器电路6进行传输之前存储由麦克风18和照相机20收集的数据。在本发明的一些实施例中，移动装置4也包括一个或多个传感器24，其用于感测用户的生理特征（例如，心率、呼吸速率和/或排汗），尽管应当认识到，能够从移动装置4外部或独立于移动装置4提供这些传感器24（例如，由此这些传感器24能够直接附着于用户的皮肤），并且这些传感器24能够与移动装置4连接，用于向处理器12传送测量结果。

在处于移动装置4外部时，传感器24能够形成人体区域网（BAN）或个人区域网（PAN）。由传感器24收集到的数据能够被直接传输至基站单元10，以便对其进行评估，或者如果在系统内存在任何时间严格性要求，能够首先将所述数据发送至移动装置4，以便对其进行处理。

应当认识到，移动装置4能够包括图1中所图示的那些部件以外的其他部件。例如，装置4能够包括取向传感器和光传感器。

提供显示器14，用于向用户示出文本或图形消息和/或视频剪辑。提供扬声器16，用于输出音频（通常为语音，尽管也能够提供其他音频内容），其可以与由显示器14提供的视觉信息相关联。

使用麦克风18来检测并记录装置4附近的声音，主要是用户和人的语音或与用户进行互动的人的语音。

使用照相机20来捕获图像，尤其是人的图像或与用户进行互动的人的图像。所述图像能够是静止图像或者视频序列。

用户可操作输入端22允许用户与移动装置4互动，并且可以包括单个输入端（诸如，按钮或按键）、多个输入端（诸如，键盘）或用户可操作输入端的其他形式（诸如，与显示器14相关联的触摸屏）。

在所图示的实施例中，基站单元10包括用于与移动装置4通信的收发器电路25和关联的天线26。与在移动装置4中一样，基站单元10中的收发器电路25能够被配置为使用任何适当的通信协议，包括，例如蓝牙或Wi-Fi，或诸如GSM的移动电信协议等。在该实施例中，基站单元10是位于用户家里的计算机或服务器或者是在远程位置处与移动装置4进行无线通信的服务器。

在备选实施例中，应当认识到，在基站单元10处于远程位置的情况下，移动装置4可以与中间装置进行无线通信，诸如，经由因特网与基站单元10进行通信的路由器和/或家用计算机，并且因此，基站单元10中的收发器电路25和天线26可以由用于将基站单元10连接至因特网的适当部件构成。

基站单元10包括处理器28、存储器30、数据库31和用户可操作输入端32。数据库31用于存储关于与用户互动过或者可能与用户互动的人的信息、以往的互动、针对用户的患者数据、用户可能具有的不同的沟通问题、在出现这些问题时应当提供给用户的支持、谈话的主题以及其他相关信息。用户可操作输入端32允许用户或者护理提供者与基站单元10互动，并且可以包括键盘、触摸屏等。

如以上所描述的，患有AD（以及其他记忆障碍）的人能够发现难以进行社交互动，诸如，与另一人（可以是护理人员、医生、朋友）进行谈话，因为患有AD的人无法辨识和他说话的人，或者他们可能忘记谈话的线索。然而，根据本发明的实施例的系统2提供辅助用户（患有AD或者其他记忆障碍）辨识与其进行交流的人的信息，为用户减少初始的混淆，并且有助于避免用户将记忆的缺失转化成压力。

在互动期间，系统2能够监测用户，以确定他们是否辨识与其进行交流的人以及互动的语境，并且确定用户的情绪反应，或者用户是否正在因互动而感到有压力，并且根据需要还能够由系统2提供其他的支持。

根据本发明的实施例，系统2能够识别谈话的语境和主题，以便提供语境相关的支持，用于在互动期间更好地辅助用户。

本发明的实施例还能够向正在与用户互动的人提供反馈，所述反馈指示用户是否辨识他们或者在互动中或在互动期间是否需要辅助，并且这能够使该人调整与用户互动的方式。

此外，一旦用户已经完成其与该人的互动，系统2能够为用户提供关于互动的信息，以改善用户对所述交谈的回忆。

系统2能够处理多模式数据，诸如，音频、视频、文本、光和触觉，从而在帮助患有AD或者记忆障碍的人进行社会互动，同时对其记忆障碍及其情绪状态做出解释。具有如本文中所描述这样的辅助系统2能够有助于改善患有AD的人的生活质量，尤其是社会生活的质量。

现在将参考图2中的流程图描述第一实施例。在图示的实施例中，如果用户没有辨识正在与其互动的人，则系统2将采用面部辨识技术识别出该人，并向用户提供关于该人的信息，以便帮助用户辨识该人以及互动的目的。系统2还在互动过程中监测用户的情绪状态/压力水平，并根据需要提供额外的支持。

能够在（例如，通过分析由照相机20获得的图像或由另一光传感器检测到的光）检测到用户前方的人的时候，或者在（例如，通过分析由麦克风18记录的声音）检测到用户的语音或在按计划发生互动之前的预定时间（可以将其记录到电子日历中，以供所述用户存储到移动装置4中）的时候激活所述方法。

所述方法开始于步骤101，在所述步骤101中，系统2确定用户是否辨识即将与其互动（或者已经开始与其互动）的人。这一步骤能够包括移动装置4直接广播询问用户是否辨识该人的音频消息。在这种情况下，用户会做出是/否的应答，通过对来自移动装置4中的麦克风18的输出进行处理来识别出所述应答。

该步骤还可以包括使用麦克风记录谈话的初始部分，并使用语音辨识算法分析用户和该人的语音。该阶段的谈话内容能够指示用户是否已经辨识该人。

备选地，或额外地，该步骤能够包括监测用户的情绪状态，以得到用户是否已经辨识该人的迹象。例如，该步骤可以涉及测量用户的一个或多个生理特征，诸如，心率、心率变化、皮肤导电性、呼吸速率、排汗或作为用户的压力水平或情绪状态的指标的任何其他特征。例如，能够通过移动装置4中的专用传感器24来测量所述特征。备选地，能够通过对麦克风18的输出进行处理以识别与用户的呼吸相关联的声音，来测量呼吸速率，并且能够通过用户皮肤的视频数据来测量心率。

也可以通过经由麦克风18获得的用户的音量水平或者音调的测量结果来确定用户的情绪状态。

在将要确定情绪状态或压力水平的情况下，将特征测量结果（或者来自传感器24、麦克风18和/或照相机20的原始数据）传输至基站单元10，并且处理器28对所述测量结果或数据进行处理，以确定用户的压力水平或情绪状态。处理结果（即，情绪或压力水平）将具有相关联的概率值，其指示所述确定的可靠程度。之后，能够使用所述处理结果作为用户是否辨识正在与其互动的人的指示。

所述处理的第一部分涉及对测量出的生理特征进行分类和量化，并将其映射至情绪状态。优选地，根据（例如）如在图3中所示的简单的方案完成所述映射，在该方案中，由两个维度内的离散值表征用户的情绪状态。

情绪反应的这两个基本维度几乎能够有效地表征任何体验。效价表示被编码成正面（例如，高兴）、中性或负面（例如，伤心、生气）的总体高兴度，唤起表示情绪的强度水平，其被编码成兴奋、中性或冷静。多种常见的情绪（尤其是对应于对环境的身体反应的那些情绪）能够被容易地放置到所述效价－唤起图内。本领域技术人员将意识到用于将测量出的生理特征（诸如心率、心率变化、皮肤导电性、呼吸速率、排汗和皮肤电反应）映射至所述效价－唤起图的技术，并且在本文中将不对这些技术进行详细描述。

本领域技术人员将认识到，系统2可以按照与上文描述的不同的方式处理传感器数据，以便表征对于用户的更大数量的情绪状态。例如，可以向示意图增加第三维度，指示用户的压力或压力。

如果用户没有辨识该人（步骤103中确定的），则所述方法移至步骤105-113，在所述步骤中，系统2使用面部辨识技术识别该人，并且为用户提供关于该人的信息，以便帮助用户辨识该人以及互动的目的。

在步骤105中，检测与用户互动的人的面部。优选地，这一操作通过移动装置4中的照相机20来执行，其连续地或者周期性地（例如，每5秒钟）收集用户周围区域的图像（例如，如果移动装置4具有挂件的形式，则所述区域是用户前方的区域），并且检测在所述图像中是否存在面部。这样的技术在本领域中是众所周知的（尤其是在数字照相机领域），并且不需要在本位中对其进行详细描述。这一处理能够通过移动装置4中的处理器12来执行，然而备选地，也能够通过基站单元10中的处理器28来执行。在一些实施方式中，为了仅检测实际与用户互动的人的面部，而不是在周围环境中检测到的任何面部，所述算法可以要求检测到的面部至少具有特定尺寸（以确保检测到的人靠近用户）。

一旦在图像中检测到面部，则能够捕获所述图像（步骤107）并且经由收发器电路6和天线8将其发送至基站单元10，以便处理器28进行处理。备选地，无论是否检测到面部，都能够捕获图像，并将其存储，以供后续用作针对用户的回顾记忆辅助工具。

之后，处理器28执行面部辨识算法，以尝试并且识别捕获到的图像中的面部（步骤109）。该处理能够利用存储在存储器30中涉及用户认识的或先前互动过的人的信息。该信息能够包括人的面部的一幅或多幅图像。处理器28能够使用任何已知类型的面部辨识算法识别出图像中的人。例如，处理器28可以使用基于本征面部算法来提供尽可能快的输出，然而本领域技术人员将意识到可以使用其他面部辨识算法。

在执行面部辨识算法之前，可以执行预处理，在所述预处理中，相对于几何特性（诸如，尺寸和姿势）将输入的面部图像进行规格化，并且之后相对于光学计量特性（诸如，照度和灰度）将其进一步规格化，从而使向面部辨识算法提供的图像标准化。此外，由于图像中的面部周围的未使用的像素（例如，图像背景）比面部的变化大，因此能够移除所述像素。

如以上所提到的，能够使用基于本征面部的面部辨识算法。在该算法中，第一步骤是将彩色图像转化为灰度，之后应用直方图均衡化作为自动使每个面部图像的亮度和对比度标准化的方法。有效的应用低通滤波器，以便减去在初始的预处理之后仍然存在于图像中的噪声。本征面部使用主分量分析，以降低图像的“维数”（图像中的像素的数量）。将面部图像投射到“面部空间”（特征空间）中，所述“面部空间”最佳地定义了已知的测试图像的差异。通过“本征面部”定义所述面部空间，所述“本征面部”为面部集合的本征向量。这些本征面部不必对应于感知到的截然不同的特征，如，耳朵、眼睛和鼻子。之后，将新的图像在该特征空间内的投影与训练集的可用投影进行比较，以识别该人。与诸如3D成像的其他算法相比，所述方案稳定、简单，并且实现起来容易且迅速。其为需要近乎实时的计算时间的自动化系统中的辨识问题提供了一种可行的解决方案。

一旦已经识别捕获到的图像中的人，则处理器28从存储器30检索与该人相关联的信息（步骤111）。所述信息能够包括（例如）关于其身份、其与用户的关系以及先前与用户交谈的主题的信息。所述信息还能够涉及与该人互动的目的，能够通过进入用户的日程安排或日历来得到所述目的。例如，能够以视频、音频或文本数据文件的形式存储关于该人和/或互动的信息。

之后，基站单元10将检索到的信息经由收发器电路24和天线26发送至移动装置4，并且移动装置4向用户呈现所述信息（步骤113）。根据从存储器30检索到的信息的格式（即，音频、视频、文本等），能够通过显示器14和扬声器16中的其中之一或二者皆有，向用户呈现所述信息。已经发现，在触发患有记忆障碍或AD的用户的记忆时，信息的视觉呈现更为有效，因此，至少信息的视觉显示是优选的。

因而，系统2提供关于用户正在互动的或者即将与之互动的人的信息并且任选地，还提供关于互动目的的信息，并以简单的形式将其呈现给系统2的用户，其减少了用户的欠佳的记忆对与该人的互动造成的影响。

应当认识到，可以在对于所指示的系统2的部件的备选部件中执行以上所描述的处理步骤。例如，可以通过移动装置4中的处理器12来执行所述面部辨识算法，并且可以仅将对识别出的人的相关信息的请求传输至基站单元6。备选地，由照相机20收集的所有图像可以被传输至基站单元10，以便检测出所述图像中的面部。

除了对与用户进行互动的人的图像执行面部辨识处理之外，还可能对使用移动装置4中的麦克风18捕获到的该人的音频使用语音识别处理。能够将两种处理类型的输出（其能够包括暂时身份以及所述辨识是准确辨识的似然/置信度值）进行组合，并做出最终的识别确定。两种处理类型的使用提高了对该人的识别的可靠性。

在备选的优选度较低的实施方式中，可能使用语音辨识处理来识别正在与用户互动的人，取代以上所描述的面部辨识处理。然而，与面部辨识的实施方式不同的是，该实施方式要求在能够执行任何识别之前，该人先开始对用户说话，因而稍微延迟向用户提供关于该人的信息。

返回到步骤103，作为与面部辨识处理并列的任选步骤，如果用户没有辨识该人，则能够由移动装置4向该人提供反馈（步骤115）。以这种方式，能够使该人意识到用户没有辨识他，并且其能够相应地调整其在互动期间的行为。向该人的反馈可以包括来自移动装置4的视觉（例如，文本或基于光的）和/或音频消息。适当的视觉提示可以是指示用户没有辨识该人的红灯或者是基于文本的消息，由于用户没有做出充分的应答，所述消息可以建议该人如何做来帮助用户。

在步骤113和/或115之后，所述方法移至步骤117，在该步骤中，系统2对所述互动进行分析，以确定语境。如果在步骤103中确定用户没有辨识该人，则所述方法也进行至步骤117。如果需要，通过在步骤117中确定互动的语境，系统2将能够在互动期间向用户提供相关的支持。

在步骤117中，如果所述互动是针对用户的电子日历中排定的一个互动，则系统2能够检查存储在日历中的信息，以确定所述互动的语境。例如，所述日历可以指示所述互动是医疗护理专家的预约，用于讨论用户当前的药物治疗状况，并且系统2能够使用该日历信息，以确定互动的语境。额外地或备选地，能够使用语音处理引擎将系统2中的麦克风18记录的用户和/或该人的语音转换为文本，并且自然语言处理引擎能够对该文本进行操作，以确定互动的语境。

在步骤117后，所述方法移至步骤118，在该步骤中，系统2监测互动期间的用户情绪状态和/或压力水平。能够参考步骤101如以上所描述的监测用户的情绪状态和/或压力水平。

在步骤119中，确定用户是否感到压力。如图3中所示，能够通过将生理特征测量结果与一个或多个阈值进行比较，或者通过将测量结果映射至预定的情绪状态，做出所述确定。

如果确定在互动中的该点上用户没有感到压力，则所述方法返回步骤118，并且继续监测下一部分互动期间的用户的情绪状态。

如果确定在互动中的该点上用户感到压力，则所述方法移至步骤121，在该步骤中，向用户提供支持。能够根据用户的特定情绪状态或压力水平调整向用户提供的具体支持。所述支持能够包括视觉和/或音频提示，其涉及与正在与用户互动的人的身份以及通过在步骤117中导出的语境信息而确定的互动的目的。

此外，与为用户提供的所述支持并列，系统2可以向正在与用户互动的人提供关于用户的情绪状态的反馈（步骤123）。例如，在所述反馈是通过移动装置4显示的视觉提示的情况下，能够使用红色显示来指示用户感到压力。这与以上所描述的步骤115类似，并且允许该人相应地调整其在互动期间的行为。在步骤121和123之后，所述方法返回步骤118，在该步骤中，系统2继续监测用户的情绪状态。

步骤118、119、121和123能够通过下列方案来实现：使用移动装置4中的麦克风18记录用户和该人之间的谈话；将其划分成具有预定长度（例如，5秒钟）的部分；并且对各个部分进行分析，以确定用户的情绪状态是否随时间而下降（即，用户逐渐感到压力）。谈话的分析能够包括提取包括能量、无声－有声比率、间距范围和中间间距的参数，并且计算它们如何在时间期间变化以及是否超过试探阈值，所述阈值能够以在试验期间收集的用户数据为基础。例如，如果能量、无声－有声比率和间距范围增大得太多，则很可能用户正在感到压力，并且系统2应当向用户提供辅助。此外，由于长时间的停顿能够指示因用户无法处理问题或者不记得事件或动作而导致的互动中的中断，因此所述分析能够检测谈话中的停顿。

因而，提供了一种辅助用户（患有AD或者其他记忆障碍）辨识与其进行交流的人的方法，为用户减少初始的混淆，并且有助于避免用户在互动期间将记忆的缺失转化成压力。所述方法还在互动期间提供对用户的监测，以便确定是否需要进一步的支持。此外，所述方法能够向与用户进行互动的人提供反馈，所述反馈允许该人调整与用户进行互动的方式。

作为对上述方法的修改，也能够在用户辨识与其进行互动的人并且未确定用户感到压力时（即，在步骤103和119之后）向所述人提供反馈。在通过显示特定颜色提供在步骤115和123中向用户提供的反馈的情况下，能够使用不同的颜色来指示用户的不同情绪状态。例如，如果红色显示指示用户没有辨识该人或者用户感到压力，则能够使用绿色显示来指示用户已经辨识该人或者用户不感到压力。

对上述方法的另一修改能够随着在步骤113中向用户呈现信息之后，确定用户是否辨识该人。在这种情况下，所述方法可以在步骤113中呈现信息之后返回步骤101。

对上述方法的又一修改能够在步骤103中已经辨识该人之后或者在步骤117中由系统2自动地确定所述互动的语境之后，确定用户是否记得或者理解与该人互动的目的（语境）（例如，讨论其当前的医疗状态、所需的一般辅助等）。在一个实施例中，能够通过与步骤101中确定用户是否辨识与其进行互动的人相类似的方式完成该确定（例如，通过直接询问用户、在互动开始时监测生理特征和/或对语音进行分析）。如果确定用户不记得或不理解与该人进行互动的目的，则系统2能够向用户提供适当的信息（例如，如步骤121中的）和/或向该人提供信息（例如，如步骤123中的）。系统2能够以类似的方式确定随着互动的进行用户是否跟随并理解谈话，并根据需要提供相关的支持。在下文中将参考图5详细讨论这一修改。

对上述方法的另一项修改可以是监测与用户互动的人的情绪状态（例如，通过分析移动装置4中的麦克风18记录的该人的语音），并采用这一监测调整提供给用户的信息和/或提供给该人的反馈。

如果发现用户对该人没有反应（例如，由于没有辨识他们或者出于互动的原因），则系统2能够就所述情况向护理提供者发出通知或提示。

此外，系统2有可能对生理传感器24的输出进行处理，以确定用户的生命体征（例如，心率、心率变化、血压等）是否处于正常范围内，如果不处于正常范围内，则能够通知或提醒护理提供者。

在本发明的另一实施例中，为了更新用户关于先前的互动或刚刚完成的互动的短时记忆，系统2向用户提供关于该互动的信息。医疗护理提供者或者护理工作者也能够有利地使用所述信息，以帮助训练和改善用户的记忆，由此延缓AD的进展。

在图4中示出了根据本发明的该实施例的方法的流程图。在步骤131中，移动装置4在用户和该人之间的互动期间收集音频和/或视频数据。

移动装置4随着该数据的收集将其发送至基站单元10，以便进行处理，或者备选地，在互动已经结束（例如，能够通过检测到该人不再面对用户或者接近用户，和/或麦克风18在超过预定时间段内检测不到用户语音的而确定）之后将其发送至基站单元10，以便进行处理。

任选地，在步骤133中，系统2还能够在互动期间收集关于用户的情绪状态的信息（例如，使用（一个或多个）生理传感器24或者分析用户的语音，如以上所描述的）。

基站单元10中的处理器28接收来自移动装置4的音频和/或视频数据，以及任选的关于用户在互动期间的情绪状态的信息，并且利用所述数据执行算法，以生成用户和该人之间的互动的摘要（步骤135）。该算法能够包括用于将数据中的语音转化为文本的语音辨识算法、用于确定口头词语的含义的内容辨识算法（例如，自然语言处理算法）以及用于提取和概括互动的要点的算法。所述摘要将包括关于所述互动的信息，诸如，所涉及的人、所覆盖的主题、所给出的任何指令（例如，通过护理工作人员）、互动的日期和时间等。能够使用关于用户的情绪状态的信息来调整将要包括到摘要中的信息。例如，在处理器识别用户记住特定事件或反应存在困难的情况下（如情绪状态信息与音频和/或视频数据的比较所指示的），关于所述事件或所需的反应的信息能够包括在摘要中。

在步骤136中，可以将关于用户的情绪状态的信息以及任选的涉及所述互动的其他信息（例如，所涉及的人、谈话主题等）存储到基站单元10中的存储器30内，以供后续的回顾以及护理工作人员的使用。

之后，将所述摘要（其可以具有文本、音频和/或视频格式）传输至移动装置4，移动装置4视情况使用视觉显示器14和/或扬声器16向用户呈现所述摘要（步骤137）。移动装置4可以在完成互动之后或在完成互动之后的预定时间或在一天中的预定时间直接向用户呈现所述摘要。移动装置4还可以包括用于在向用户呈现摘要之前在适当的时间吸引用户的注意力的一些手段。该手段可以包括振动移动装置4（以及改变振动的频率和/或强度），生成音频指示和/或可视指示。

这一方法允许用户在互动完成后回顾和回想所述互动，其有助于改善其记忆。这还允许由护理提供者回顾用户的互动，以评估用户的进展以及用户难以记住的特定事或人。此外，能够使用由先前的互动的摘要导出的信息来影响关于是否要在接下来的互动期间向用户提供支持的决策。

由于系统2致力于辅助具有记忆障碍的人，因而所生成的摘要应当简单，以便于理解和跟随。摘要中的语音应当由相对较短的句子构成，在语法上要将所述句子形成为使其易于跟随（例如，患有AD的人一般无法处理代词，因此所述句子应当被构造为避免代词的使用或者将其使用降至最低）。此外，语音的速度应当相对较慢，而且语音本身应当响亮且易懂。除了语音/音频之外，所述摘要还能够包括在谈话期间记录的其他多媒体内容（例如，图片、视频）。由于护理提供者知道用户的需要，因此护理提供者能够选择在生成摘要中所使用的语音特征（速度、响度、类型、音调、谱色等）和多媒体内容（类型、持续时间、大小等）。

在一些实施例中，向用户和护理提供者或医生提供的摘要能够是不同的。例如，针对护理提供者或医生的摘要旨在捕获尽可能多的关于互动的数据，从而使护理提供者了解用户（例如，关于用户交流和互动的能力、关于用户的健康和情绪、关于用户的日程安排和日常生活）。除了互动（语音、图像或视频）之外，这些摘要还能够包括来自生理传感器的数据以及示出用户情绪状态的信息。

在一些实施例中，护理工作人员能够调整移动装置4的操作（有可能经由基站单元10或其他远程站）。护理提供者可以能够调整由移动装置4提供的可视化选项（即，视觉输出的类型和/或内容）、音频水平设置、能够由移动装置4激活的针对用户和与用户进行互动的人的提示、用户的日程安排或日历（例如，护理工作人员能够为用户添加新的预约、关于现有预约的额外信息、所涉及的人、预约的目的或目标等），并激活或禁用系统2内的某些功能（诸如，用户和/或人的情绪反应的测量、互动的摘要的生成等）。

图5图示了根据本发明的实施例的用于在互动期间进行监测并向用户提供支持的多个模块。这些模块的操作通常对应于图2中的步骤117-步骤123，并且它们通过观察用户是否能够理解并对与其进行互动的人做出反应，而试图对互动进行监测。如以下所描述的，通过同时分析用户语音和生理信号的不同方面来完成所述监测。将从每个所述模块中提取的信息进行组合，以确定是否有必要向用户提供支持。

如由麦克风18记录的用户的语音被输入到语音参数分析模块42、情绪分析模块44和语音辨识模块46中。与用户进行互动的人的语音也被输入到语音辨识模块46中。

语音参数模块42检查用户的语音，以确定在互动期间是否出现长时沉默、犹豫、呼吸变化、语音质量变化和谈话中断。这些特征可以指示用户无法跟随谈话。在图5中，B1指代该模块42的输出。

情绪分析模块44检查用户的语音，以确定其情绪。如果语音参数（诸如，音调、速率、能量、谱特性、沉默、句子持续时间、呼吸和/或响度）指示偏离用户的正常（通常）状态，这可以指示支持是有用的。能够使用该模块44来建立用户正常状态的概率模型，并且之后周期性地检查后续互动期间的语音参数是否符合所述模型。在图5中，B2指代该模块44的输出。

语音辨识模块46对用户和该人的语音进行处理，并将所辨识的语音转化为文本。后续由自然语言处理引擎48对该文本进行分析，以确定互动期间的谈话（对话）是否有意义以及是否健康，并确定是否存在指示需要支持的词或短语。在图5中，B3指代该模块48的输出。

此外，通过语境和主题提取模块50对所述文本进行处理，以识别有意义的词，以便重现谈话的主题和语境。之后所述信息用于调整向用户提供的支持，使用户能够意识到语境，因而更加有效。在图5中，C1指代该模块50的输出。

除了语音的分析之外，还提供生理数据分析模块52，其接收来自移动装置4中的或与移动装置4相关联的（一个或多个）生理特征传感器24的信号，并确定用户对互动的生理反应或互动期间的生理反应。还使用所述反应来监测互动并确定是否需要支持。例如，使用可佩戴的生理特征传感器24（向移动装置4传送信息），能够测量用户的心率、心率变化、皮肤导电性、皮肤温度和呼吸模式。能够从所述生理传感器数据确定用户的放松和压力状态。在图5中，B4指代该模块50的输出。

向加权和概率决策模块54和问题识别模块56提供模块42、44、48和52的输出。向搜索与检索模块58提供来自语境和主题提取模块50的输出。搜索与检索模块58与两个数据库60、62连接，所述数据库60、62存储关于用户可能具有的交流问题的信息（数据库60）以及关于如何向每一问题提供支持的信息（数据库62）。

加权和概率决策模块54对来自模块42、44、48和52的信息进行处理，并确定用户在互动期间是否需要支持。如果确定不需要支持，则系统2允许互动继续进行，而不会介入以向用户提供支持。然而，如果确定需要支持，则问题识别模块56得到激活，并且经由搜索与检索模块58从数据库60获得关于用户具有的问题的信息。

在识别了问题之后，使用支持识别模块64来确定向用户提供的具体支持。支持识别模块64使用识别出的问题、来自语境和主题提取模块50的输出C1以及存储在数据库62中的信息来确定所需的支持。数据库62可以以查找表的形式存储关于涉及用户在互动期间可能具有的问题而提供的支持的信息。一旦识别出所需的支持，则向用户提供所述支持。

例如，如果通过监测互动确定用户不能辨识该人，则播放示出用户先前遇到该人的视频；如果用户没有辨识所述探访的目的，则再次在视觉上提供所述目的；如果检测到用户生气，则能够将这一点通知该人；如果检测到用户感到疲劳，则能够将这一点通知该人，并且他们能够相应地结束谈话。简而言之，对于来自监测阶段的每个结果和问题，都有将被遵循的支持路线。

在优选实施例中，由基站单元10中的处理器28提供图5中所示的每个模块的功能。

通过图6中的流程图，示出了根据本发明的互动监测和支持的具体实施例。该流程图旨在图示可能的社交互动的模型，在所述模型中，两个人靠近，他们互相问候，用户记得他们决定碰面的原因，继而他们开始互动。所有那些步骤对于健康人来讲是微不足道的，但是患有记忆和认知障碍的人可能在执行那些步骤中存在严重问题，积聚压力并使其自身孤立。倘若用户记得所要执行的任务但是不能辨识前方的人，则移动装置4提示该人应当做什么来提供帮助。之后，装置4以视频的形式示出关于该人（如果能得到）或者关于用户连同该人的用户信息，以唤起用户的记忆。在用户既不记得该人也不记得探访的原因的情况下，移动装置4切换至完全支持模式。在该模式下，将该情况告知该人，并向用户呈现关于该人以及所要执行的任务的信息。

因而，在人物辨识阶段，针对将要与用户互动或者刚刚开始与用户互动的人执行面部和语音辨识（分别由150和152指代）。人物辨识阶段还利用存储在数据库（例如，基站单元10中的数据库31）中的针对所述用户的预约列表，所述预约列表指示预期要与用户互动的人。

如果通过面部和声音辨识而识别出的人与预期的人不匹配（154）（根据预约列表中的信息），则装置4与该人通信（156），以了解所述辨识的结果是对还是错。在156中，能够要求该人确认其姓名，将通过麦克风18对其记录，并进行语音分析，以提取所说的姓名。如果辨识的结果错误，并且该人就是预期的那个人，则系统2移至任务/互动辨识阶段（168向前）。

如果辨识的结果正确，并且该人不是预先安排在该时间与用户互动的人，则系统2确定（160）所述探访的原因与预期的原因是否相同（例如，与预定安排被派来递送药物的护士不同的护士），或者该人是否出于不同原因而出现在那里。在160中，移动装置4能够询问该人其探访的目的，并且能够使用语音辨识算法来理解其回复。如果探访的原因不同于预先安排的原因，则移动装置4将所述新的互动告知用户（164），并在预约列表中创建新的事件（166）。

如果探访的原因与预先安排的原因的相同（但是是另一不同的已知的人）或者如果该人就是预期进行所述互动的人（来自158），则移动装置4告知用户预先安排的互动（168）。如果用户不记得和/或不理解互动的原因（170）（由于该人不是预先安排要与用户进行互动的人，因此也不记得该人），则认为用户无反应（172），并且移动装置4向用户提供关于所述互动的目的以及该人的身份的信息（174）。也可以提示针对用户的护理提供者患者无反应。

如果用户记得探访/互动的目的（170），则认为用户具有部分反应（176），并且由移动装置4向用户提供关于该人的身份的信息（178）。

如果在154中，面部和声音辨识与预期的人匹配，则确定用户是否辨识所述人（180）。这能够通过向用户播放音频消息询问其是否辨识该人来完成。能够使用语音处理算法来解释由用户所说的回复。如果用户辨识该人，则能够假定用户有反应（184），并且此时不需要支持。之后，系统2能够允许交谈开始（186），而不必向用户提供任何支持或者向该人提供任何反馈。

之后，装置4进入谈话支持模式，在该模式中，其记录谈话，并提供用户的记忆障碍是否阻碍了谈话进行的反馈。

如果用户没有辨识该人（182），则即使用户没有辨识该人，仍然确定用户是否辨识探访原因（168）。之后，系统2如上文所描述的继续运行（170-178）。

因此，提供了一种用于辅助患有记忆障碍的人进行社交互动的方法和系统。

尽管已经在附图和前面的描述中已经详细说明和描述本发明，但这样的说明和描述被认为是说明性或示例性的而非限制性的；本发明不限于所公开的实施例。

通过研究附图、公开和所附的权利要求，本领域技术人员在实施请求保护的本发明时能够理解和实现所公开实施例的其他变化。在权利要求中，“包括”一词不排除其他元件或步骤，并且不定冠词“一”或“一个”不排除多个。单个处理器或其他单元可以完成在权利要求中记载的若干项的功能。有些手段记载在相互不同的从属权利要求中，这一事实并不表示不能用这些手段的组合来获益。可以在适当的介质上存储和/或分布计算机程序，诸如连同其他硬件供应或作为其他硬件一部分供应的光存储介质或固态介质，但也可以在其他形式中分布，诸如经由因特网或其他有线或无线电信系统。权利要求中的任何附图标记不应被解释为限制范围。

Claims

1.一种用于辅助用户与另一人进行社交互动的系统，所述系统被配置为确定所述用户是否辨识该人，以及如果确定所述用户没有辨识该人，则向所述用户提供关于该人的信息。

2.根据权利要求1所述的系统，其中，所述系统被配置为通过确定所述用户的情绪状态来确定所述用户是否辨识该人。

3.根据权利要求2所述的系统，其中，所述系统包括一个或多个传感器，用于测量所述用户的生理特征，并且其中，所述系统被配置为基于测量出的生理特征来确定所述用户的情绪状态。

4.根据权利要求2或3所述的系统，其中，所述系统被配置为通过分析所述用户在互动期间的语音来确定所述用户的情绪状态。

5.根据权利要求1到4中的任一项所述的系统，其中，所述系统被配置为通过以下方式来确定所述用户是否辨识该人：

播放音频和/或视频消息，并且监测所述用户对消息的反应；或者

使用语音辨识算法，以分析所述用户和/或该人在互动期间的语音。

6.根据权利要求1到5中的任一项所述的系统，其中，所述系统包括：

图像捕获模块，用于捕获该人的图像或者一系列图像；

7.根据前述权利要求中的任一项所述的系统，其中，所述系统还被配置为如果确定所述用户没有辨识该人，则向该人提供信息，所述信息向该人指示所述用户没有辨识他们。

8.一种用于辅助用户与另一人进行社交互动的方法，所述方法包括：

确定所述用户是否辨识该人；以及

9.根据权利要求8所述的方法，所述方法还包括以下步骤：

在所述用户和该人之间的互动期间记录语音；

在确定所述互动完成时，为所述用户生成所述互动的摘要；以及

向用户接口提供所述摘要，便于向所述用户呈现。

10.根据权利要求9所述的方法，所述方法还包括以下步骤：

确定所述用户在所述互动期间的情绪状态，以及

11.根据权利要求9到10中的任一项所述的方法，其中，所述方法还包括以下步骤：

12.根据权利要求8到11中的任一项所述的方法，其中，所述方法还包括以下步骤：

13.根据表述12所述的方法，其中，所述方法包括确定所述互动的语境，由此，如果确定所述用户无法跟随或者理解所述互动，则能够向所述用户提供关于所述互动的具体语境的信息。

14.根据权利要求11、12或13中的任一项所述的方法，其中，所述方法还包括：

(i)监测所述用户的所述语音，以确定所述用户是否能够开始并跟随所述互动；(ii)监测所述用户的所述语音，以确定所述用户的所述情绪状态；(iii)监测所述用户和该人的语音，以确定所述互动和当前对话的语境；和/或(iv)监测所述用户在所述互动期间的生理反应，以确定所述用户是否记得或者理解与该人进行所述互动的所述目的和/或确定所述用户是否随着所述互动的进行而跟随并理解所述互动。

15.一种包括计算机可读代码的计算机程序产品，所述代码被配置为在由适当的计算机或处理器执行所述代码时，所述计算机或处理器执行根据权利要求8到14中的任一项所述的方法。