CN116348867A - 记忆退化检测和改善 - Google Patents

记忆退化检测和改善 Download PDF

Info

Publication number
CN116348867A
CN116348867A CN202180072394.XA CN202180072394A CN116348867A CN 116348867 A CN116348867 A CN 116348867A CN 202180072394 A CN202180072394 A CN 202180072394A CN 116348867 A CN116348867 A CN 116348867A
Authority
CN
China
Prior art keywords
user
human utterances
corpus
computer
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180072394.XA
Other languages
English (en)
Inventor
S·克瓦特拉
J·D·威尔逊
J·R·福克斯
S·K·莱科施特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN116348867A publication Critical patent/CN116348867A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/065Adaptation
    • G10L15/07Adaptation to the speaker
    • G10L15/075Adaptation to the speaker supervised, i.e. under machine guidance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/906Clustering; Classification
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • G06F16/353Clustering; Classification into predefined classes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1822Parsing for meaning understanding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

记忆退化检测和评估包括使用语音接口捕获人类话语,并为用户生成人类话语的语料库,基于由计算机处理器通过自然语言处理确定的人类话语的含义从多个人类话语中选择的人类话语。基于响应于与计算机处理器可操作地耦合的一个或多个感测设备感测到的信号而生成的数据,确定对应于语料库的一个或多个语料库的人类话语的上下文信息。基于由计算机处理器使用一个或多个机器学习模型执行的模式识别来识别人类话语的语料库中的模式。基于模式识别,识别用户的记忆功能的变化。基于所述上下文信息所识别的变化被分类为关于所述变化是否可能是由于用户的记忆障碍引起的。

Description

记忆退化检测和改善
背景技术
本公开涉及基于语音的计算机和人交互,并且更具体地,涉及使用人工智能(AI)的基于语音的计算机和人交互。
人工智能计算机系统在数量和复杂性上都在增长,并且经常涉及基于语音的计算机和人交互。基于语音的交互系统经常出现在家庭和其他环境中,以通过语音提示和命令实现对自动化设备和系统的控制。基于语音的交互系统用于自动化控制之外的无数目的。例如,通过基于语音的交互系统,用户可以查询天气、获取行车路线、搜索喜欢的歌曲等。用户甚至可以请求提醒用户忘记的事情,例如用户将一组车钥匙放在哪里。
发明内容
在一个或多个实施例中,一种方法包括捕获具有语音接口的人类话语,并为相应的用户生成人类话语的语料库,所述人类话语的语料库包括基于人类话语的含义从所述多个人类话语中选择的人类话语,所述含义由计算机处理器通过人类话语的自然语言处理来确定。该方法包括基于响应于与计算机处理器可操作地耦合的一个或多个感测设备感测到的信号而生成的数据来确定对应于语料库的一个或多个人类话语的上下文信息。该方法包括基于由计算机处理器使用一种或多种机器学习模型执行的模式识别来识别人类话语的语料库中的模式。该方法包括基于模式识别识别用户的记忆功能的变化。该方法包括基于对应于语料库的一个或多个人类话语的上下文信息来对记忆功能的改变是否可能是由于用户的记忆障碍进行分类。
在一个或多个实施例中,一种系统包括被配置成初始化操作的处理器。所述操作包括使用语音接口捕获多个人类话语,并为相应的用户生成人类话语的语料库,所述人类话语的语料库包括基于人类话语的含义从多个人类话语中选择的人类话语,所述含义由计算机处理器通过人类话语的自然语言处理来确定。所述操作包括基于响应于与计算机处理器可操作地耦合的一个或多个感测设备感测到的信号而生成的数据来确定对应于语料库的一个或多个人类话语的上下文信息。该操作包括基于计算机处理器使用一个或多个机器学习模型执行的模式识别来识别人类话语的语料库中的模式。所述操作包括基于模式识别来识别用户记忆功能的变化。所述操作包括基于与语料库中一个或多个人类话语相对应的上下文信息来对记忆功能的改变是否可能是由于用户的记忆障碍进行分类。
在一个或多个实施例中,一种计算机程序产品包括其上存储有指令的一个或多个计算机可读存储介质。所述指令可由处理器执行以初始化操作。所述操作包括用语音接口捕获多个人类话语,并为相应的用户生成人类话语的语料库,所述人类话语的语料库包括基于人类话语的含义从多个人类话语中选择的人类话语,所述含义由计算机处理器通过人类话语的自然语言处理来确定。所述操作包括基于响应于与计算机处理器可操作地耦合的一个或多个感测设备感测到的信号而生成的数据来确定对应于所述语料库的一个或多个人类话语的上下文信息。所述操作包括基于计算机处理器使用一个或多个机器学习模型执行的模式识别来识别人类话语的语料库中的模式。所述操作包括基于模式识别来识别用户记忆功能的变化。所述操作包括基于与所述语料库中一个或多个人类话语相对应的上下文信息来对记忆功能的改变是否可能是由于用户的记忆障碍进行分类。
提供该概述部分仅是为了介绍某些概念,而不是为了识别要求保护的主题的任何关键或基本特征。根据附图和下面的详细描述,本发明布置的其他特征将变得显而易见。
附图说明
本发明的布置通过示例的方式在附图中示出。然而,附图不应被解释为对本发明的限制。仅针对所示的特定实现进行安排。在回顾以下详细描述并参考附图后,各个方面和优势将变得显而易见。
图1示出了根据一个实施例的示例计算环境。
图2示出了根据一个实施例的示例存储器评估器系统。
图3是根据一个实施例的内存监控和评估方法的流程图。
图4示出了根据一个实施例的云计算环境。
图5示出了根据一个实施例的抽象模型层。
图6示出了根据一个实施例的云计算节点。
具体实施方式
虽然本公开以定义新颖特征的权利要求结束,但相信从以下考虑将更好地理解本公开中描述的各种特征结合附图的描述。出于说明的目的提供本文描述的过程、机器、制造及其任何变体。在本公开中描述的具体结构和功能细节不应被解释为限制,而仅作为权利要求的基础和作为教导本领域技术人员以不同方式使用几乎任何适当详细结构中描述的特征的代表性基础。此外,本公开中使用的术语和短语并非旨在限制,而是提供所描述特征的可理解描述。
本公开涉及基于语音的计算机和人交互,并且更具体地,涉及使用AI的基于语音的计算机和人交互。智能家居和类似环境通常包括AI语音应答系统,它实现了自然语言理解(NLU)创建人机界面,通过该界面可以从人类话语中机器确定语言结构和含义。人工智能语音响应系统通过诸如包括扬声器和智能虚拟代理的智能扬声器等接口,通过语音提示和命令的NLU处理,可以控制智能家居或类似环境中的各种物联网(IoT)设备。AI语音应答系统还可以提供对用户特定查询的响应(例如,“我的眼镜在哪里?”)和对一般信息的请求(例如,“今天是几号?”)。
本文公开的系统、方法和计算机程序产品的一个方面是人类话语的语料库的生成(例如,用户特定和一般请求)和识别语料库中指示用户健忘模式的模式。使用一种或多种执行模式识别的机器学习模型来识别健忘模式。基于对语料库中用户话语的内容、频率和模式的增量监控和上下文化,可以检测用户的记忆障碍。作为在本文中定义,“记忆障碍(memory impairment)”是由于疾病或病症导致个体大脑结构和功能发生长期或永久性变化,导致个体存储和检索信息和数据的能力下降。因此,记忆障碍不同于单纯的健忘,后者是由于暂时的情况(例如,压力、疲劳和/或分心)引起的,并且随着情况的改善而消退。相比之下,记忆障碍是由导致个人存储和检索信息和数据的能力长期(通常为数年)或永久性退化的疾病(例如,阿尔茨海默病)或状况(例如,年龄、脑损伤)。
可以基于由一个或多个物联网设备捕获的传感器信息将用户话语上下文化。上下文信息可用于区分记忆障碍和日常健忘。在一些实施例中,可以与用户进行使用机器学习并基于话语语料库中识别的模式生成的人机对话,以将记忆障碍与日常健忘区分开来。
本文公开的系统、方法和计算机程序产品的另一方面是改善行动策略的生成。该策略也可以基于对包含在语料库中并与上下文信息相对应的话语之间的模式的识别来确定。改善行动策略可以包括在预定时间(例如,在疾病影响更明显的晚上)自动让用户参与交互式机器生成的对话,以帮助用户执行一项或多项任务(例如,提醒用户吃药并确保家用电器关闭并锁好门)。对话可以是基于上下文数据的机器生成的,并且可以根据用户记忆障碍的性质来构造以使用户平静或安抚。
参考下面的附图更详细地描述本公开中描述的实施例的其他方面。为了说明简单和清楚的目的,图中所示的组件未必按比例绘制。例如,为清楚起见,一些组件的尺寸可能相对于其他组件被放大。此外,在认为合适的情况下,附图中重复的附图标记表示对应的、类似的或相似的特征。
图1描绘了示例计算环境100。计算环境100包括根据一个实施例的示例记忆评估系统(MES)102。MES 102说明性地以存储在存储器中并在计算机系统104的一个或多个处理器上执行的软件来实现。计算机系统104可以是诸如计算节点600的计算节点(例如,基于云的服务器)的一部分,其包括计算机系统,例如示例计算机系统612(图6)。计算机系统104为AI语音应答系统提供平台。MES 102与在计算机系统104上执行的AI语音应答系统可操作地耦合或集成在其中。在其他实施例中,MES 102在单独的计算机系统上执行并且通信地与在不同计算机系统上运行的AI语音应答系统耦合。AI语音应答系统通过数据连接通信网络106到语音接口108。数据通信网络106可以是并且通常是因特网。数据通信网络106可以是或可以包括广域网(WAN)、局域网(LAN)或这些和/或其他类型网络的组合,并且可以包括有线、无线、光纤和/或其他连接。语音接口108可以是例如智能扬声器,其包括扬声器和智能虚拟助理,智能虚拟助理响应由AI语音应答系统解释的人类话语(例如,语音提示和命令)。
在计算机系统104上运行的AI语音应答系统提供自然语言理解(NLU)人机界面,利用该界面可以根据人类话语机器确定语言结构和含义。使用机器学习,人工智能语音应答系统可以学习识别用户的独特语音特征(例如,声音信号模式)以及通过语音接口108传送的语音命令和提示。语音接口108捕获的语音命令和提示可以选择、创建和修改电子存储器存储的数据以控制一个或多个物联网设备,如物联网设备110a、110b、110c和110n所示。物联网设备l10a-l1On可以通过有线或无线(例如Wi-Fi、蓝牙)与语音接口108通信连接。物联网设备110a-11On可以包括例如智能电器、气候控制器、照明系统、娱乐系统、能源监控器等,它们是智能家居或类似环境的一部分并且可以与它们位于同一地点或远程来自计算机系统104。
图2更详细地示出了根据一个实施例的MES 200的某些组件。MES 200说明性地包括语料库生成器202、上下文化器204、模式识别器206、识别器208和分类器210。语料库生成器202、上下文化器204、模式识别器206、识别器208和分类器210中的每一个都可以在可操作地耦合或集成在人工智能语音应答系统中的软件中实现。在其他实施例中,语料库生成器202,上下文化器204、模式识别器206、识别器208和分类器210可以在专用电路或电路和软件的组合中实现,该电路和软件被配置为与AI语音应答系统协同操作。
语料库生成器202生成对应于用户的人类话语的语料库。语料库由语料库生成器202从与AI语音响应系统可操作耦合的语音接口(例如,智能扬声器)捕获的各种人类话语中选择某些用户话语来生成。人类话语由语料库生成器202基于话语的含义来选择。话语的含义由语料库生成器202使用自然语言处理来确定。
所选择的一个或多个人类话语的上下文由上下文化器204基于响应于由一个或多个感测设备感测到的信号而生成的数据来确定。一个或多个传感设备可以包括物联网设备,这些设备可操作地耦合到语音接口,并通过人工智能语音应答系统解释的语音提示和命令进行控制。
模式识别器206执行模式识别以识别人类话语的语料库中的模式。模式识别由模式识别器206基于一个或多个机器学习模型来执行。基于模式识别,识别器208识别用户记忆功能的变化。分类器210应用上下文数据来分类用户记忆功能的识别变化是否是记忆障碍的症状。可选地,响应于分类器210将用户的记忆功能的识别变化分类为记忆障碍的症状,致动器212可以启动一个或多个改善动作以减轻用户记忆障碍的影响。
用户话语可以包括由MES 200的用户说出的单个单词、短语和/或句子。用户是其语音被AI语音应答系统识别的个人,AI语音应答系统与MES 200协同运行并使用机器学习进行训练以根据与用户相对应的独特语音特征(例如,声学信号模式)识别用户。这些话语由与AI语音应答系统通信耦合的语音接口捕获,并传送到MES 200。
语料库生成器202从人类话语中选择特定的话语,其中用户提出问题(例如,“我的车钥匙在哪里?”),询问信息(例如,“外面的天气怎么样?”),或涉及用户记忆或认知的可识别方面(例如,“我不记得我今天的约会时间”)。语料库生成器202可以从用户与AI语音应答系统之间的对话中选择用户话语。用户可以说,例如“我的眼镜丢了”,人工智能语音应答系统可能会通过语音接口向其传达机器生成的音频响应,“你戴眼镜了吗?”诸如“我丢了眼镜”之类的陈述不是直接问题。只有在推论上,该陈述才是问题或求助请求。尽管如此,语料库生成器202可以使用机器学习将话语包含在语料库中。
在一些实施例中,话语也可以选自对话,在对话中用户与另一个人进行口头交流并且由语音接口捕获。在MES 200与无线和/或有线电话系统通信耦合的其他实施例中,语料库生成器202可以从通过无线或有线电话连接进行的对话中选择用户话语。在MES 200可操作地耦合到文本消息系统(例如,电子邮件)的其他实施例中,语料库生成器202可以选择涉及问题、信息请求或被识别为涉及用户认知的另一消息的基于文本的消息。
语料库生成器202对话语的选择是基于使用自然语言处理确定的语法和语义的话语。语料库生成器202通过应用一种或多种机器学习模型来理解话语的内容并基于内容选择话语来获得话语的语义理解。
在一些实施例中,语料库生成器202应用双向长短期模型(Bi-LSTM)。Bi-LSTM在某种意义上是两个递归神经网络(RNN)的结合。RNN包含节点网络,其中节点连接形成有向图,每个节点(输入、输出和隐藏节点)都具有随时间变化的实值激活函数。RNN通过时间“记住”信息,而不是将所有输入和输出视为独立的,从而使RNN能够预测,例如,句子中的下一个词。Bi-LSTM从过去到未来和从未来到过去两个方向处理有序序列。倒着跑Bi-LSTM保留来自未来的信息,并且使用两个隐藏状态的组合能够在任何时间点保留过去和未来的信息。Bi-LSTM模型可以基于对多个话语执行多跳推理来确定话语的内容。
在其他实施例中,语料库生成器202使用其他机器或统计学习模型,例如非潜在相似性(NLS)。例如,NLS使用二阶相似度矩阵来确定单词、短语和句子之间的语义相似度。话语的语言单位(例如,单词、短语、句子)表示为向量,话语之间的相似性由每对向量之间夹角的余弦值来衡量。语料库生成器202可以使用其他机器或统计学习模型来确定用户话语的内容和意义。使用机器或统计学习,语料库生成器202还可以识别用户话语的一个或多个主题。语料库生成器202通过在电子存储器中存储基于确定的内容和含义选择的用户话语来生成话语语料库214。
语料库生成器202还可以使用自然语言处理来执行情感分析。基于情感分析,语料库生成器202可以识别对应于一个或多个所选用户话语的用户的精神状态(例如,愤怒、悲伤、沮丧、快乐)。
上下文化器(contextualizer)204为至少一些选择的用户话语提供上下文。上下文信息可以包括用户的健康状况、用户的认知状态、注意力等。上下文化器204可以基于经由信号馈送(例如,Wi-Fi、蓝牙)从一个或多个物联网设备提供给语音接口的智能虚拟助手(例如,包括扬声器和智能虚拟助手的智能扬声器)的数据来确定上下文信息。说明性地,上下文化器204接收由对象跟踪器(例如,IoT相机)216获得的上下文数据,它还通过将上下文数据存储在电子存储器中来构建上下文数据库218。其他未明确显示的物联网设备也可以生成信号以响应其他物联网设备执行的各种类型的感测。
在一些实施例中,上下文化器204基于包括由对象跟踪器216捕获的图像和/或视频的上下文数据来确定上下文信息(例如,一个或多个IoT相机)。使用经过训练以识别和分类图像和/或视频的卷积神经网络(CNN),上下文化器204可以为语音接口捕获的话语提供上下文含义。在某些实施例中,用户话语的内容和含义由Bi-LSTM模型(如上所述实现)的协同应用来确定话语的内容和区域卷积神经网络(R-CNN)来识别图像中对应于用户话语的一个或多个对象。R-CNN可以通过图像中的边界区域来识别图像中的对象。通过深度CNN从每个区域提取特征向量。分类器使用应用于每个特征向量的分类器(例如,线性支持向量机(SVM))来识别对象。上下文化器204可以组合用于确定用户话语的含义或内容的Bi-LSTM模型和用于执行相对于捕获的图像进行反向推理跳跃的CNN,以生成与话语相对应的上下文数据。
用户话语和图像之间的关系可以由上下文化器204基于时间和/或主题来确定。例如,时间戳之间的机器比较分别对应于记录用户话语的时间和捕获图像的时间可以揭示用户话语和图像中捕获的事件同时或几乎同时发生。或者,bi-LSTM和R-CNN都可以分别识别用户话语和图像的主题。上下文化器204可以根据各自的主题将用户话语与图像匹配。
模式识别器206识别所选用户话语中的模式。模式识别可以基于不同的因素。例如,模式识别器206基于诸如话语的性质(例如,问题、信息请求、陈述)的因素来识别模式。用户可能正在寻找一个对象(例如,眼镜、钥匙)。用户可能会问关于日期或时间。用户可能会重复这样的问题或陈述。在预定间隔期间重复问题或陈述的次数可能会加快。模式识别器206可以基于预定时间间隔期间重复相同或语义相似话语的频率或次数来识别模式,使用例如上述NLS或其他NLU处理来确定。模式识别器206被训练使用机器学习来识别模式。例如,使用监督学习模型,模式识别器206可以使用标记的特征向量的集合来训练以识别用户健忘的模式。用于训练模式识别器206的标记特征向量可以包括对应于用户过去话语的特征向量集合。在其他实施例中,标记特征向量的集合对应于同意共同共享此类数据的多个人的过去话语。
并非所有的健忘都是记忆障碍的症状。例如,询问语音应答系统,“我把雨伞放在哪里了?”连续三天每天都下雨与在一小时内问六次“现在几点?”相比,不太可能是由于记忆障碍。标识符208结合了模式识别器206识别的模式和相应的模式上下文化器204生成的上下文信息,用于识别模式识别器206识别的健忘模式的可能根本原因。
在一些实施例中,如果话语的性质不明确或者话语相对于用户健忘的重要性不确定,则MES 200可以自动调用对上下文信息的搜索。搜索电子存储的上下文数据可以启动识别上下文信息以减轻不确定性。例如,诸如“我的钥匙发生了什么事?”之类的陈述可能不容易被识别为关于用户钥匙位置的问题。使用结合了R-CNN和Bi-LSTM的级联模型(每个都在上面描述),由Bi-LSTM初步确定含义不明确可以自动调用对上下文信息的搜索,R-CNN通过获取显示用户在房子里四处走动寻找某物的图像(时间戳与用户说出的语句一致)来提供。话语和上下文信息(图像)的融合可以解决歧义并证明话语的性质等同于“我的钥匙在哪里?”其他物联网设备可以提供图像以外的上下文信息。
在执行上下文信息搜索时,如果话语的性质不明确或者话语相对于用户健忘的重要性不确定,则MES 200执行推理跳跃,在电子存储的信息中双向移动(如上所述)上下文数据来解决不明确或不确定性。如果需要的信息不是通过上下文数据的语料库中的推理跳跃获得的,MES 200可以从一个或多个外部物联网搜索和获取所需数据。如果MES 200基于获取的数据确定含义的可能性满足预定的置信水平(例如,60%或更高),MES 200不会搜索上下文数据来获取附加信息以解决任何不明确或不确定性。
基于上下文化器204生成的上下文信息的标识符208可以识别一种或多种可能的健忘模式的潜在原因。一个可能的原因可能是用户的潜在健康状况,而不是记忆障碍。例如,在给定时间段内识别出的健忘模式可能是由于用户服用了引起困倦的医生处方药。上下文化器204生成的上下文数据可以包括以电子方式存储在上下文数据库218中的上下文数据,该数据基于用户或护理人员提供的输入,包括健康相关参数,例如用户正在服用的药物和服用药物的时间,使得半衰期(药物有效的时间跨度),这可以表明时间上与表示健忘的话语重叠。因此,标识符208可以识别模式识别器206识别的健忘模式的可能原因可能是由于健康状况(例如,嗜睡诱导药物)而不是记忆障碍。
类似地,识别的健忘模式可能是由于暂时注意力不集中,例如,如果用户忙于正在进行的家庭维修。上下文化器204生成的上下文数据可以包括对象跟踪器216捕获的图像(例如,一个或更多物联网摄像头),这可能会显示用户反复被从事维修的工人打扰。基于上下文数据,识别器208可以识别健忘模式的可能原因是由于家庭维修的分心而不是记忆障碍导致的注意力不集中。
相比之下,用户可能会反复询问,“我的眼镜在哪里?”上下文化器204生成的上下文数据可以包括对象跟踪器216(例如,一个或多个物联网相机)捕获的图像,这些图像表明每次或大多数时候,用户提出问题时,用户实际上戴着眼镜。
上下文化器204可以生成不对应于特定话语的上下文数据但仍然可以提供标识符208信息以识别由模式识别器206识别的健忘模式的可能潜在原因。例如,由上下文化器204生成的上下文数据可以包括由对象跟踪器216(例如,一个或多个loT相机)捕获的图像显示用户将一副老花镜放在冰箱中。同样使用机器学习训练的识别器208可以识别用户的异常行为。当图像与较早或随后的话语相结合时,即使只有一个或几个,说“我的眼镜丢了”或“我的眼镜在哪里?”识别器208不会将模式识别器206识别的健忘模式归因于健康状况、分心等,而是识别可能的健忘症状。
基于不同传感设备(例如,传感器嵌入式物联网设备)生成的不同信号的上下文信息可以包括用户的注意力、认知状态和/或健康状况。与图像相关的上下文信息可以包括在给定环境(例如,智能家居)中用户的面部图案、手势和/或移动。外部噪音、天气状况等也可以提供上下文信息。
甚至不涉及任何特定话语的上下文信息也可以被识别器208用来识别健忘模式。例如,上下文化器204可以从对象跟踪器216(例如,一个或多个物联网相机)捕获的显示异常活动的图像生成上下文信息。这种活动虽然不直接对应于特定的话语,但可以对应于例如用户尝试使用工具或不打算用于执行活动的对象(例如物联网设备)。例如,物联网相机拍摄的图像可能会显示用户试图使用电动剃须刀或将钥匙放在微波炉中打开一罐汤。基于一组从记忆障碍患者的经历中提取的标记训练数据,机器学习模型可以识别患者经常做的行为。这种类型的上下文信息能够被分类器210用于分类是否记忆功能的改变(由更频繁的健忘表示)可能是由于用户的记忆障碍。
分类器210对通过加速重复用户话语(例如,问题、信息请求、等同于问题或信息请求)证明的记忆功能的变化进行分类,所述用户话语包含在由语料库生成器202生成的语料库中。支持将识别出的健忘模式归因于普通记忆力减退这一推论的相应上下文信息不利于将变化分类为由于记忆障碍引起的。健忘可能是由于压力、疲劳、分心等原因造成的。指示诸如压力或疲劳的状况的上下文信息,诸如心率、呼吸率或其他生物标志物,可以由设备(例如,智能手表)捕获并无线传送到MES 200以电子存储在上下文数据库218中。上下文数据库218同样可以提供指示分心或用户注意力不集中的上下文信息,例如在家中进行维修的工人图像或室外与天气相关的事件可能会分散用户注意力。这样的上下文信息可以指示这样的事件或条件,即支持用户健忘是暂时的而不是由记忆障碍引起的推断。然而,缺乏支持暂时性记忆丧失的推断的上下文信息导致分类器210将记忆功能的改变归类为由于记忆损伤。在一些实施例中,如果没有上下文信息表明这些变化仅反映了暂时的记忆力减退,分类器210的默认分类是将记忆功能的变化分类为由于记忆障碍。
在一些实施例中,分类器210可以实现机器学习分类模型,例如深度学习神经网络。分类模型可以使用监督学习来训练,该监督学习应用于对应于个人不同分类或类别的标记特征向量的集合。该模型可以是基于输入向量将用户分类为患有或未患有记忆障碍的二值分类器(binary classifier)。在一些实施例中,分类模型可以是多分类器模型,其包括非患病类别和多个类别,每个类别对应于不同的疾病。取决于用于训练多类分类模型的底层特征向量,分类器210可以根据预测的严重程度损害对可能由于用户的记忆障碍而起作用的记忆中的变化进行分类。
在一些实施例中,语料库生成器202使用众包(crowdsourcing)来填充话语语料库214。各种统计分析可以基于包括语料库的群体来进行并用作基准功能用于分类用户的记忆功能变化是否可能是由于记忆障碍(例如,变化是否偏离人口常态超过预定数量的标准偏差)。可以使用迭代强化学习生成机器学习分类模型,由此模型随着话语语料库214的人口规模的增加而迭代地细化。
可选地,MES 200可以包括改善动作致动器212,其设计改善行动策略以响应将用户的记忆功能变化分类为记忆障碍的症状。改善行动策略包括在预定时间让用户参与交互式机器生成的对话,以帮助用户执行一项或多项任务。例如,改善行动策略可能涉及跟踪(例如,使用物联网摄像头)用户的移动,并在用户准备睡觉之前离开设备(例如炉灶)(通过语音界面)生成语音警告。提醒可以是交互式对话的一部分,其中询问用户前门是否被锁定和/或提醒用户如何执行一些其他活动以确保用户的安全。改善行动策略可以包括在用户需要服药或采取其他行动时发出语音提醒。改善行动策略可包括确定用户的当前健康状况并生成建议用户按要求咨询健康专家的电子通知。改善行动策略可以包括生成电子通知并将通知传送给护理人员,以告知护理人员用户可能记忆障碍。可以通过数据通信网络、有线网络或无线通信网络传送通知。
图3是根据一个实施例的记忆监控和评估的示例方法300的流程图。方法300可以使用与参考图1和图2所描述的相同或相似的系统来执行。在块302,系统捕获具有语音接口的多个人类话语,并为相应的用户生成人类话语的语料库,该语料库包括基于人类话语的含义从多个人类话语中选择的人类话语。人类话语的含义由计算机处理器对人类话语的自然语言处理来确定。
在块304,系统基于响应于由与计算机处理器可操作地耦合的一个或多个感测设备感测到的信号而生成的数据来确定对应于语料库的一个或多个人类话语的上下文信息。系统在块306基于计算机处理器使用一个或多个机器学习模型执行的模式识别来识别人类话语的语料库中的模式。
在块308,系统基于模式识别识别用户的记忆功能的变化。基于与语料库的一个或多个人类话语相对应的上下文信息,系统在块310能够对记忆功能的变化是否可能是由于用户的记忆障碍造成的进行分类。
在一些实施例中,系统通过让用户参与交互式机器生成的对话,以响应将记忆功能的变化分类为记忆障碍的症状。
在一些实施例中,系统通过基于上下文信息执行用户的行为分析来对变化进行分类。在其他实施例中,系统通过执行情绪分析来对变化进行分类以确定用户的心理状态。情绪分析可以基于话语的语气和/或说出的特定词语来确定用户生气、沮丧或经历可能与分心或注意力不集中同时导致用户记忆力暂时下降的情绪,而不是表明记忆障碍。
在其他实施例中,系统响应于可能对应于也可能不对应于用户记忆功能的变化的不明确的话语,通过执行上下文数据库的基于计算机的搜索来确定上下文信息。如果话语的性质不明确或话语的重要性相对于用户健忘不确定,则系统可以自动调用上下文数据库的搜索以获取上下文信息。
可选地,系统可以响应于将记忆功能的变化分类为记忆障碍的症状而构建改善行动策略。在一些实施例中,改善行动策略包括在预定时间让用户参与交互式机器生成的对话以帮助用户执行一项或多项任务。在其他实施例中,改善行动策略包括生成电子通知建议用户咨询健康专家。在其他实施例中,系统可替代地或附加地生成电子通知并将该通知传送给护理人员以告知用户的护理人员可能是记忆障碍。该通知可以通过数据通信网络、有线网络或无线网络传送。
明确指出,虽然本公开包括对云计算的详细描述,本文所述教导的实施不限于云计算环境。相反,本发明的实施例能够结合现在已知或以后开发的任何其他类型的计算环境来实现。
云计算是服务交付的模型,用于使得能够方便地、按需地网络访问可配置计算资源(例如,网络、网络带宽、服务器、处理、存储器、存储、应用、虚拟机和服务)的共享池,所述可配置计算资源可以以最小的管理努力或与服务的提供商的交互来快速供应和释放。该云模型可以包括至少五个特性、至少三个服务模型和至少四个部署模型。
特性如下:
按需自助服务:云消费者可以单方面地根据需要自动地提供计算能力,诸如服务器时间和网络存储,而不需要与服务的提供者的人类交互。
广泛的网络接入:能力可通过网络获得并且通过标准机制接入,该标准机制促进异构瘦客户机平台或厚客户机平台(例如,移动电话、膝上型计算机和PDA)的使用。
资源池:提供者的计算资源被池化以使用多租户模型来服务于多个消费者,其中不同的物理和虚拟资源根据需要动态地指派和重新指派。存在位置独立性的感觉,因为消费者通常不具有对所提供的资源的确切位置的控制或了解,但可能能够以较高抽象级别(例如,国家、州或数据中心)指定位置。
快速弹性:能够快速和弹性地提供能力,在一些情况下自动地快速缩小和快速释放以快速放大。对于消费者而言,可用于供应的能力通常显得不受限制并且可以在任何时间以任何数量购买。
测量的服务:云系统通过在适合于服务类型(例如,存储、处理、带宽和活动用户账户)的某个抽象级别处利用计量能力来自动控制和优化资源使用。可以监视、控制和报告资源使用,为所利用的服务的提供者和消费者提供透明度。
服务模型如下:
软件即服务(SaaS):提供给消费者的能力是使用在云基础设施上运行的提供者的应用。可通过诸如web浏览器(例如,基于web的电子邮件)之类的瘦客户端接口从不同客户端设备访问应用。消费者不管理或控制包括网络、服务器、操作系统、存储或甚至单独的应用能力的底层云基础设施,可能的例外是有限的用户特定应用配置设置。
平台即服务(PaaS):提供给消费者的能力是将消费者创建的或获取的使用由提供商支持的编程语言和工具创建的应用部署到云基础设施上。消费者不管理或控制包括网络、服务器、操作系统或存储的底层云基础设施,但是对所部署的应用和可能的应用托管环境配置具有控制。
基础设施即服务(IaaS):提供给消费者的能力是提供处理、存储、网络和消费者能够部署和运行任意软件的其他基本计算资源,所述软件可以包括操作系统和应用。消费者不管理或控制底层云基础设施,而是具有对操作系统、存储、所部署的应用的控制以及对所选联网组件(例如,主机防火墙)的可能受限的控制。
部署模型如下:
私有云:云基础架构仅为组织运作。它可以由组织或第三方管理,并且可以存在于场所内或场所外。
社区云:云基础架构被若干组织共享并支持共享了关注(例如,任务、安全要求、策略、和合规性考虑)的特定社区。它可以由组织或第三方管理,并且可以存在于场所内或场所外。
公共云:使云基础架构对公众或大型行业组可用,并且由出售云服务的组织拥有。
混合云:云基础架构是两个或更多个云(私有、社区或公共)的组合,这些云保持唯一实体但通过使数据和应用能够移植的标准化或专有技术(例如,云突发以用于云之间的负载平衡)绑定在一起。
云计算环境是面向服务的,集中于无状态、低耦合、模块化和语义互操作性。云计算的核心是包括互连节点网络的基础设施。
现在参考图4,示出了说明性云计算环境400。如图所示,云计算环境400包括云消费者使用的本地计算设备可以与其通信的一个或多个云计算节点410,所述本地计算设备例如是个人数字助理(PDA)或移动电话440a、台式计算机440b、膝上型计算机440c和/或汽车计算机系统440n。节点410可以彼此通信。它们可以被物理地或虚拟地分组(未示出)在一个或多个网络中,诸如如上文描述的私有云、社区云、公共云或混合云或其组合。这允许云计算环境400提供基础设施、平台和/或软件作为服务,云消费者不需要为其维护本地计算设备上的资源。应当理解,图4中所示的计算设备440a-n的类型仅旨在说明,并且计算节点410和云计算环境400可以在任何类型的网络和/或网络可寻址连接上(例如,使用web浏览器)与任何类型的计算设备通信。
现在参考图5,示出了由云计算环境400(图4)提供的一组功能抽象层。应当预先理解,图5中所示的组件、层和功能仅旨在说明,并且本发明的实施例不限于此。如所描绘的,提供了以下层和相应的功能:
硬件和软件层560包括硬件和软件组件。硬件组件的示例包括:主机561;基于RISC(精简指令集计算机)架构的服务器562;服务器563;刀片服务器564;存储装置565;以及网络和网络组件566。在一些实施例中,软件组件包括网络应用服务器软件567和数据库软件568。
虚拟化层570提供抽象层,从该抽象层可以提供虚拟实体的以下示例:虚拟服务器571;虚拟存储器572;虚拟网络573,包括虚拟专用网络;虚拟应用和操作系统574;以及虚拟客户端575。
在一个示例中,管理层580可以提供以下描述的功能。资源供应581提供用于在云计算环境内执行任务的计算资源和其他资源的动态采购。计量和定价582在云计算环境内利用资源时提供成本跟踪,并为这些资源的消费开账单或发票。在一个示例中,这些资源可以包括应用软件许可证。安全性为云消费者和任务提供身份验证,以及为数据和其他资源提供保护。用户门户583为消费者和系统管理员提供对云计算环境的访问。服务水平管理584提供云计算资源分配和管理,使得满足所需的服务水平。服务水平协议(SLA)规划和履行585提供根据SLA预期未来需求的云计算资源的预安排和采购。
工作负载层590提供可以利用云计算环境的功能的示例。可以从该层提供的工作负荷和功能的示例包括:地图和导航591;软件开发和生命周期管理592;虚拟课堂教育交付593;数据分析处理594;交易处理595;以及MES596。
图6图示了计算节点600的示例的示意图。在一个或多个实施例中,计算节点600是合适的云计算节点的示例。计算节点600并不旨在对此处描述的本发明的实施例的使用范围或功能提出任何限制。计算节点600能够执行任何本公开中描述的功能的一部分。
计算节点600包括计算机系统612,其与许多其他通用或专用计算系统环境或配置一起操作。可能适用于计算机系统612的众所周知的计算系统、环境和/或配置的示例包括但不限于个人计算机系统、服务器计算机系统、瘦客户端、胖客户端、手持或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、小型计算机系统、大型计算机系统和分布式云计算包括任何上述系统或设备等的环境。
计算机系统612可以在由计算机系统执行的计算机系统可执行指令的一般上下文中描述,例如程序模块。通常,程序模块可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、逻辑、数据结构等。计算机系统612可以在分布式云计算环境中实践,其中任务由通过通信网络链接的远程处理设备执行。在分布式云计算环境中,程序模块可以位于本地和远程计算机系统存储介质中,包括内存存储设备。
如图6所示,计算机系统612被示为通用计算设备的形式。计算机系统612的组件可包括但不限于一个或多个处理器616、存储器628和将包括存储器628的各种系统组件耦合到处理器616的总线618。如本文所定义,“处理器”是指被配置为执行指令的至少一个硬件电路。硬件电路可以是集成电路。处理器的示例包括但不限于中央处理器(CPU)、阵列处理器、矢量处理器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA),一种专用集成电路(ASIC),可编程逻辑电路和控制器。
由处理器执行计算机程序的指令包括执行或运行该程序。如本文所定义,“运行”和“执行”包括由处理器根据一个或多个机器可读指令执行的一系列动作或事件。如本文所定义,“正在运行”和“正在执行”是指处理器活动执行动作或事件。术语“运行”、“运行”、“执行”和“正在执行”在本文中作为同义词使用。
总线618表示几种类型的总线结构中的一种或多种,包括内存总线或内存控制器、外设总线、加速图形端口以及使用各种总线架构中的任何一种的处理器或本地总线。仅作为示例而非限制,此类架构包括行业标准架构(ISA)总线、微通道架构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)本地总线、外围组件互连(PCI)总线和PCIExpress(PCle)总线。
计算机系统612通常包括各种计算机系统可读介质。这样的介质可以是计算机系统612可访问的任何可用介质,并且可以包括易失性和非易失性介质、可移动和不可移动介质。
存储器628可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)630和/或高速缓冲存储器632。计算机系统612还可以包括其他可移动/不可移动、易失性/非易失性计算机系统存储介质。举例来说,可以提供存储系统634用于从不可移动、非易失性磁介质和/或固态驱动器(未示出并且通常称为“硬盘驱动器”)读取和写入。尽管未示出,用于从可移动非易失性磁盘(例如,“软盘”)读取和写入的磁盘驱动器和光盘驱动器可以提供用于读取或写入可移动、非易失性光盘(例如CD-ROM、DVD ROM或其他光学介质)的软件。在这种情况下,每个都可以通过一个或多个数据介质接口连接到总线618。如以下将进一步描绘和描述的,存储器628可以包括具有一组(例如,至少一个)程序模块的至少一个程序产品,这些程序模块被配置为执行本发明的实施例的功能。
具有一组(至少一个)程序模块642的程序/实用程序640可以作为示例而非限制存储在存储器628中,以及操作系统、一个或多个应用程序、其他程序模块和程序数据。操作系统、一个或多个应用程序、其他程序模块和程序数据或其某种组合中的每一个都可以包括网络环境的实现。程序模块642通常执行如本文所述的本发明的实施例的功能和/或方法。例如,一个或多个程序模块可以包括MES 596或其部分。
程序/实用程序640可由处理器616执行。由计算机系统612使用、生成和/或操作的程序/实用程序640和任何数据项是功能数据结构,其在被计算机系统612使用时赋予功能。如本公开中定义的,“数据结构”是数据模型的数据组织在物理内存中的物理实现。因此,数据结构由内存中特定的电或磁结构元素组成。数据结构对存储在内存中的数据施加物理组织,如使用处理器执行的应用程序所使用的那样。
计算机系统612还可以与一个或多个外部设备614通信,例如键盘、定点设备、显示器624等;使用户能够与计算机系统612交互的一个或多个设备;和/或使计算机系统612与一个或多个其他计算设备通信的任何设备(例如网卡、调制解调器等)。这样的通信可以经由输入/输出(I/O)接口622发生。而且,计算机系统612可以与一个或多个网络通信,例如局域网(LAN)、通用广域网(WAN)和/或经由网络适配器620的公共网络(例如因特网)。如图所示,网络适配器620经由总线618与计算机系统612的其他组件通信。应当理解,虽然未示出,但其他硬件和/或软件组件可与计算机系统612结合使用。示例包括但不限于:微代码、设备驱动程序、冗余处理单元、外部磁盘驱动器阵列、RAID系统、磁带驱动器和数据归档存储系统等。
虽然计算节点600用于说明云计算节点的示例,但是应当理解,计算机系统使用与结合图1描述的相同或相似的体系结构。图6可以用在非云计算实现中以执行这里描述的各种操作。就此而言,此处描述的示例实施例并不旨在限于云计算环境。计算节点600是数据处理系统的示例。如本文所定义,“数据处理系统”是指一个或多个硬件系统被配置为处理数据,每个硬件系统包括至少一个被编程为初始化操作的处理器和存储器。
计算节点600是计算机硬件的示例。计算节点600可以包括比所图6示出的更少的组件或图6中未示出的附加组件,取决于所实施的特定类型的设备和/或系统。所包含的特定操作系统和/或应用程序可能会根据设备和/或系统类型以及所包含的I/O设备类型而有所不同。此外,一个或多个说明性组件可以并入到另一组件中,或者以其他方式形成另一组件的一部分。例如,处理器可以包括至少一些存储器。
计算节点600也是服务器的示例。如本文所定义,“服务器”是指配置为与一个或多个其他数据处理系统共享服务的数据处理系统。如本文所定义,“客户端设备”是指从服务器请求共享服务并且用户直接与之交互的数据处理系统。客户端设备的示例包括但不限于工作站、台式计算机、计算机终端、移动计算机、膝上型计算机、上网本计算机、平板计算机、智能电话、个人数字助理、智能手表、智能眼镜、游戏设备、机顶盒、智能电视等。在一个或多个实施例中,本文描述的各种用户设备可以是客户端设备。路由器、防火墙、交换机、接入点等网络基础设施不是如本文定义的术语“客户端设备”的客户端设备。
本文使用的术语仅用于描述特定实施例的目的,并不旨在限制。尽管如此,现在将介绍适用于整个文档的几个定义。
如本文所定义,单数形式“一个(a)”、“一个(an)”和“该(the)”也包括复数形式,除非上下文另有明确说明。
如本文所定义,“另一个”是指第二个或更多。
如本文所定义,除非另有明确说明,否则“至少一个”、“一个或多个”和“和/或”是开放式表达,它们在操作中是连词和析词。例如,每个表达式“A、B和C中的至少一个”、“A、B或C中的至少一个”、“A、B和C中的一个或多个”、“A、B或C中的一个或多个”和“A、B和/或C”是指单独的A、单独的B、单独的C、A和B一起,A和C在一起,B和C在一起,或者A、B和C在一起。
如本文所定义,“自动”是指无需用户干预。
如本文所定义,“包括(includes)”、“包括(including)”、“包含(comprises)”和/或“包含(comprising)”指定了陈述的特征、整数、步骤、操作、元素和/或组件的存在,但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或其组的存在或添加。
如本文所定义,“如果(if)”是指“响应于(in response to)”或“响应于(responsive to)”,这取决于上下文。因此,短语“如果确定(if it is determined)”可以被解释为意味着“响应于确定(in response to determining)”或根据上下文“响应确定(responsive to determining)”。同样,短语“如果检测到[规定的条件或事件](if[astated condition or event]is detected)”可以解释为“在检测到[规定的条件或事件]时(upon detecting[the stated condition or event])”或“响应于检测[规定的条件或事件](in response to detecting[the stated condition or event])”或“响应于检测[规定的条件或事件](responsive to detecting[the stated condition or event])”取决于上下文。
如本文所定义,“一个实施例(one embodiment)”、“一个实施例(anembodiment)”、“在一个或多个实施例中(in one or more embodiments)”、“在特定实施例中(in particular embodiment)”或类似的语言表示结合该实施例描述的特定特征、结构或特性包含在本公开中描述的至少一个实施例中。因此,贯穿本公开的前述短语和/或类似语言的出现可以但不一定全部指代相同的实施例。
如本文所定义,短语“响应于(in response to)”和“响应于(responsive to)”是指对动作或事件容易响应或反应。因此,如果“响应于”或“响应于”第一动作执行第二动作,则在第一动作的发生与第二动作的发生之间存在因果关系。响应于(in response to)”和“响应于(responsive to)”这两个短语表示因果关系。
如本文所定义,“基本上”是指不需要精确地实现所列举的特性、参数或值,而是指偏差或变化,包括例如公差、测量误差、测量精度限制和本领域技术人员已知的其他因素可能会以不排除该特性旨在提供的效果的量出现。
如本文所定义,“用户(user)”和“个人(indicidual)”均指人类。
术语第一、第二等可在本文中用于描述各种元素。这些元素不应受这些术语限制,因为这些术语仅用于将一个元素与另一个元素区分开来,除非另有说明或上下文另有明确指示。
本发明可以是任何可能的技术细节集成水平的系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令的计算机可读存储介质(或多个介质),所述计算机可读程序指令用于使处理器执行本发明的各方面。
计算机可读存储媒体可为可保留和存储供指令执行装置使用的指令的有形装置。计算机可读存储媒质可以是,例如但不限于,电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备、或者上述的任意合适的组合。计算机可读存储媒质的更具体示例的非穷尽列表包括以下各项:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式紧凑盘只读存储器(CD-ROM)、数字通用盘(DVD)、记忆棒、软盘、诸如穿孔卡之类的机械编码设备或具有记录在其上的指令的槽中的凸出结构、以及上述各项的任何合适的组合。如本文所使用的计算机可读存储媒体不应被解释为暂时性信号本身,例如无线电波或其他自由传播的电磁波、通过波导或其他传输媒体传播的电磁波(例如,穿过光纤电缆的光脉冲)或通过电线发射的电信号。
本文中所描述的计算机可读程序指令可以经由网络(例如,互联网、局域网、广域网和/或无线网络)从计算机可读存储介质下载到相应的计算/处理设备,或者下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输纤维、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口接收来自网络的计算机可读程序指令,并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储媒质中。
用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路的配置数据、或以一种或多种程序设计语言的任何组合编写的源代码或目标代码,这些程序设计语言包括面向对象的程序设计语言(诸如Smalltalk、C++等)和过程程序设计语言(诸如“C”程序设计语言或类似程序设计语言)。计算机可读程序指令可以完全地在用户计算机上执行、部分在用户计算机上执行、作为独立软件包执行、部分在用户计算机上部分在远程计算机上执行或者完全在远程计算机或服务器上执行。在后一种情况下,远程计算机可通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接至用户计算机,或者可连接至外部计算机(例如,使用互联网服务提供商通过互联网)。在一些实施例中,包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来使电子电路个性化来执行计算机可读程序指令,以便执行本发明的各方面。
下面将参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器,使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现在流程图和/或框图的或多个框中指定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储媒质中,这些指令使得计算机、可编程数据处理装置、和/或其他设备以特定方式工作,从而,其中存储有指令的计算机可读存储媒质包括包含实现流程图和/或框图中的或多个方框中规定的功能/动作的方面的指令的制造品。
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上,使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤,以产生计算机实现的处理,使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图中的或多个方框中规定的功能/动作。
附图中的流程图和框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这点上,流程图或框图中的每个框可以表示指令的模块、段或部分,其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实施方案中,框中所注明的功能可不按图中所注明的次序发生。例如,连续示出的两个框实际上可以基本上同时执行,或者这些框有时可以以相反的顺序执行,这取决于所涉及的功能。还将注意,框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作或执行专用硬件和计算机指令的组合的专用的基于硬件的系统来实现。
本发明的各种实施例的描述是为了说明的目的而给出的,并不旨在穷举或限制所公开的实施例。在不脱离所描述的实施例的范围的情况下,许多修改和变化对于本领域的普通技术人员来说将是显而易见的。选择此处使用的术语是为了最好地解释实施例的原理、实际应用或对市场上发现的技术的技术改进,或使其他人能够本领域普通技术人员理解本文公开的实施例。

Claims (20)

1.一种方法,包括:
用语音接口捕获多个人类话语,并为相应的用户生成人类话语的语料库,所述人类话语的语料库包括基于所述人类话语的含义从多个人类话语中选择的人类话语,所述含义由计算机处理器通过人类话语的自然语言处理确定;
基于响应于与计算机处理器可操作地耦合的一个或多个感测设备感测到的信号而生成的数据来确定对应于所述语料库的一个或多个人类话语的上下文信息;
基于计算机处理器使用一个或多个机器学习模型执行的模式识别来识别人类话语的语料库中的模式;
基于模式识别识别用户记忆功能的变化;以及
基于与所述语料库的一个或多个人类话语相对应的上下文信息,对记忆功能的变化是否可能是由于用户的记忆障碍进行分类。
2.如权利要求1所述的方法,其中所述分类包括响应于将记忆功能的变化分类为记忆障碍的症状而使用户参与交互式机器生成的对话。
3.如权利要求1所述的方法,其中所述分类还包括执行行为分析或情绪分析中的至少一种以确定用户的心理状态。
4.如权利要求1所述的方法,其中所述确定上下文信息包括响应于话语的含义不明确或关于用户健忘的话语的重要性不确定执行上下文数据库的基于计算机的搜索。
5.如权利要求1所述的方法,还包括响应于将记忆功能的变化分类为记忆障碍的症状而构建改善行动策略。
6.如权利要求5所述的方法,其中所述改善行动策略包括在预定时间让用户参与交互式机器生成的对话以帮助用户执行一项或多项任务。
7.如权利要求5所述的方法,其中所述改善行动策略包括至少其中之一:生成电子通知以建议用户咨询健康专家或生成电子通知并将该通知传送给护理人员以告知护理人员用户可能的记忆障碍。
8.一种系统,包括:
处理器,被配置为初始化操作,包括:
用语音接口捕获多个人类话语,并为相应的用户生成人类话语的语料库,所述人类话语的语料库包括基于所述人类话语的含义从多个人类话语中选择的人类话语,所述含义由计算机处理器通过人类话语的自然语言处理确定;
基于响应于与计算机处理器可操作地耦合的一个或多个感测设备感测到的信号而生成的数据来确定对应于所述语料库的一个或多个人类话语的上下文信息;
基于计算机处理器使用一个或多个机器学习模型执行的模式识别来识别人类话语的语料库中的模式;
基于模式识别识别用户记忆功能的变化;以及
基于与所述语料库的一个或多个人类话语相对应的上下文信息,对记忆功能的变化是否可能是由于用户的记忆障碍进行分类。
9.如权利要求8所述的系统,其中所述分类包括响应于将记忆功能的变化分类为记忆障碍的症状而使用户参与交互式机器生成的对话。
10.如权利要求8所述的系统,其中所述分类还包括执行行为分析或情绪分析中的至少一种以确定用户的心理状态。
11.如权利要求8所述的系统,其中所述确定上下文信息包括响应于话语的含义不明确或关于用户健忘的话语的重要性不确定执行上下文数据库的基于计算机的搜索。
12.如权利要求8所述的系统,其中所述处理器被配置成初始化操作,所述操作还包括响应于将记忆功能的变化分类为记忆障碍的症状而构建改善行动策略。
13.如权利要求12所述的系统,其中所述改善行动策略包括在预定时间让用户参与交互式机器生成的对话以帮助用户执行一项或多项任务。
14.一种计算机程序产品,该计算机程序产品包括:
一个或多个计算机可读存储介质和共同存储在所述一个或多个计算机可读存储介质上的程序指令,程序指令可由处理器执行以使所述处理器初始化操作,包括:
用语音接口捕获多个人类话语,并为相应的用户生成人类话语的语料库,所述人类话语的语料库包括基于所述人类话语的含义从多个人类话语中选择的人类话语,所述含义由计算机处理器通过人类话语的自然语言处理确定;
基于响应于与计算机处理器可操作地耦合的一个或多个感测设备感测到的信号而生成的数据来确定对应于所述语料库的一个或多个人类话语的上下文信息;
基于计算机处理器使用一个或多个机器学习模型执行的模式识别来识别人类话语的语料库中的模式;
基于模式识别识别用户记忆功能的变化;以及
基于与所述语料库的一个或多个人类话语相对应的上下文信息,对记忆功能的变化是否可能是由于用户的记忆障碍进行分类。
15.如权利要求14所述的计算机程序产品,其中所述分类包括响应于将记忆功能的变化分类为记忆障碍的症状而使用户参与交互式机器生成的对话。
16.如权利要求14所述的计算机程序产品,其中所述分类还包括执行行为分析或情绪分析中的至少一种以确定用户的心理状态。
17.如权利要求14所述的计算机程序产品,其中所述确定上下文信息包括响应于话语的含义不明确或关于用户健忘的话语的重要性不确定执行上下文数据库的基于计算机的搜索。
18.根据权利要求14所述的计算机程序产品,其中所述程序指令可由所述处理器执行以使所述处理器初始化操作,所述操作还包括响应于将记忆功能的变化分类为记忆障碍的症状而构建改善行动策略。
19.如权利要求18所述的计算机程序产品,其中所述改善行动策略包括在预定时间让用户参与交互式机器生成的对话以帮助用户执行一项或多项任务。
20.如权利要求18所述的计算机程序产品,其中所述改善行动策略包括至少其中之一:生成电子通知以建议用户咨询健康专家或生成电子通知并将该通知传送给护理人员以告知护理人员用户可能的记忆障碍。
CN202180072394.XA 2020-10-29 2021-09-02 记忆退化检测和改善 Pending CN116348867A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/084,614 US11495211B2 (en) 2020-10-29 2020-10-29 Memory deterioration detection and amelioration
US17/084,614 2020-10-29
PCT/CN2021/116124 WO2022088968A1 (en) 2020-10-29 2021-09-02 Memory deterioration detection and amelioration

Publications (1)

Publication Number Publication Date
CN116348867A true CN116348867A (zh) 2023-06-27

Family

ID=81380357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180072394.XA Pending CN116348867A (zh) 2020-10-29 2021-09-02 记忆退化检测和改善

Country Status (5)

Country Link
US (1) US11495211B2 (zh)
JP (1) JP2023547152A (zh)
CN (1) CN116348867A (zh)
GB (1) GB2615241B (zh)
WO (1) WO2022088968A1 (zh)

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE218002T1 (de) 1994-12-08 2002-06-15 Univ California Verfahren und vorrichtung zur verbesserung des sprachverständnisses bei sprachbehinderten personen
US6524239B1 (en) 1999-11-05 2003-02-25 Wcr Company Apparatus for non-instrusively measuring health parameters of a subject and method of use thereof
US9251712B2 (en) * 2007-03-18 2016-02-02 Persinvitro Llc Method and apparatus to encourage development of long term recollections of given episodes
JP5351942B2 (ja) 2011-09-07 2013-11-27 シャープ株式会社 認知症ケア支援システム
US8803690B2 (en) 2012-01-06 2014-08-12 Panasonic Corporation Of North America Context dependent application/event activation for people with various cognitive ability levels
US9177257B2 (en) 2012-08-30 2015-11-03 International Business Machines Corporation Non-transitory article of manufacture and system for providing a prompt to user for real-time cognitive assistance
WO2016006727A1 (ko) 2014-07-08 2016-01-14 삼성전자 주식회사 인지기능 검사 장치 및 방법
WO2017036516A1 (en) 2015-09-01 2017-03-09 Deutsche Telekom Ag Externally wearable treatment device for medical application, voice-memory system, and voice-memory-method
KR102447513B1 (ko) 2016-01-22 2022-09-27 한국전자통신연구원 점증적 대화지식 자가학습 기반 대화장치 및 그 방법
US10799186B2 (en) * 2016-02-12 2020-10-13 Newton Howard Detection of disease conditions and comorbidities
CN108463175B (zh) 2016-02-22 2020-11-06 松下知识产权经营株式会社 痴呆症状检测系统以及记录介质
US20200297264A1 (en) 2016-03-31 2020-09-24 Sony Corporation Information processing device, information processing method, and program
US10650810B2 (en) 2016-10-20 2020-05-12 Google Llc Determining phonetic relationships
WO2018204934A1 (en) 2017-05-05 2018-11-08 Canary Speech, LLC Selecting speech features for building models for detecting medical conditions
US10395647B2 (en) 2017-10-26 2019-08-27 Harman International Industries, Incorporated System and method for natural language processing
JP6263308B1 (ja) 2017-11-09 2018-01-17 パナソニックヘルスケアホールディングス株式会社 認知症診断装置、認知症診断方法、及び認知症診断プログラム
WO2020023978A2 (en) 2018-07-27 2020-01-30 MapHabit, Inc. Systems and methods for treating memory impairment

Also Published As

Publication number Publication date
US11495211B2 (en) 2022-11-08
US20220139375A1 (en) 2022-05-05
GB202306124D0 (en) 2023-06-07
WO2022088968A1 (en) 2022-05-05
GB2615241A (en) 2023-08-02
GB2615241B (en) 2024-03-06
JP2023547152A (ja) 2023-11-09

Similar Documents

Publication Publication Date Title
US11200811B2 (en) Intelligent recommendation of guidance instructions
US11581069B2 (en) Intelligent generation of customized questionnaires
US20200126670A1 (en) Stress level reduction using haptic feedback
US11106870B2 (en) Intelligent text enhancement in a computing environment
US11074913B2 (en) Understanding user sentiment using implicit user feedback in adaptive dialog systems
US11132510B2 (en) Intelligent management and interaction of a communication agent in an internet of things environment
US20200028925A1 (en) Prioritizing social media posts and recommending related actions
US11928985B2 (en) Content pre-personalization using biometric data
US10678855B2 (en) Generating descriptive text contemporaneous to visual media
US20200159836A1 (en) Intelligent resolution of conflicting information in adaptive dialog systems
US11240313B2 (en) Contextually assigning user input to personal electronic devices
JP7292780B2 (ja) 認知システムのためのコミュニケーション・モデル
US20200175973A1 (en) Vocal utterance based item inventory actions
US11348020B2 (en) Intelligent crowd-sourced instability detection in a computing environment
US20200302331A1 (en) Intelligent problem solving using visual input
US11222041B2 (en) Blockchain-based central repository and analytical platform for communications in the internet of things
US11889149B2 (en) Intelligent mitigation of concentration conflicts
US20210065019A1 (en) Using a dialog system for learning and inferring judgment reasoning knowledge
US11164575B2 (en) Methods and systems for managing voice response systems to optimize responses
US11714966B2 (en) Cognitive responses with electronic messaging
CN116097210A (zh) 智能透镜/增强眼镜中的迭代存储器映射操作
US20200380406A1 (en) Dynamic user feedback for efficient machine learning
CN116348867A (zh) 记忆退化检测和改善
US20210312127A1 (en) Intelligent augmentation of word representation via character shape embeddings in a neural network
US11734588B2 (en) Managing domain competence during a computing session

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination