CN109313935A - 信息处理系统、存储介质和信息处理方法 - Google Patents

信息处理系统、存储介质和信息处理方法 Download PDF

Info

Publication number
CN109313935A
CN109313935A CN201780038599.XA CN201780038599A CN109313935A CN 109313935 A CN109313935 A CN 109313935A CN 201780038599 A CN201780038599 A CN 201780038599A CN 109313935 A CN109313935 A CN 109313935A
Authority
CN
China
Prior art keywords
data
episode
user
information processing
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780038599.XA
Other languages
English (en)
Other versions
CN109313935B (zh
Inventor
飞鸟井正道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109313935A publication Critical patent/CN109313935A/zh
Application granted granted Critical
Publication of CN109313935B publication Critical patent/CN109313935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/144—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Economics (AREA)
  • Library & Information Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Toys (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Machine Translation (AREA)

Abstract

提供一种能够基于从与用户的对话构建的情节来对用户进行响应并且增强用户的记忆的信息处理系统、存储介质和信息处理方法。本发明设置有控制单元，该控制单元具有：累积功能：当基于由代理设备获取的传感器数据识别出特定用户时，基于从传感器数据中提取的关键字，在累积单元中生成情节数据，生成用于提取与情节数据有关的信息的问题，并且将对特定用户问题的回答累积在情节数据中；以及响应功能：当基于从代理设备获取的传感器数据识别出特定用户时，基于从传感器数据中提取的关键字，从累积单元中搜索情节数据，并且生成与所检索到的情节数据有关的响应数据以使代理设备能够对特定用户进行响应。

Description

信息处理系统、存储介质和信息处理方法
技术领域
本公开内容涉及信息处理系统、存储介质和信息处理方法。
背景技术
传统上，已经提出了一种在人们不能记住日常生活中人的名字或面部的情况下补充信息的技术。
例如，下面的专利文献1描述了一种基于人与用户之间的对话来检测亲密程度，并且相应地向人提供用户的隐私信息的机器人系统。
此外，下面的专利文献2描述了一种用于患有脑功能障碍的患者的生活支持设备，该生活支持设备在与近亲在电话上谈话时显示近亲的伪脸部图像，并且以几乎与交互内容匹配的方式改变伪脸部图像以提高对患有脑功能障碍的老年人的脑功能恢复的贡献程度。
引文列表
专利文献
专利文献1：JP 2014-176963A
专利文献2：JP 2015-192844A
发明内容
技术问题
然而，上述专利文献1中描述的技术仅是为了方便。此外，上述专利文献2中描述的技术在脑功能障碍已经发展的情况下是有用的，但是没有考虑在发展之前预防脑功能障碍。
因此，本公开内容提出了一种能够基于根据与用户的交互构建的情节来对用户做出响应以增强用户的记忆的信息处理系统、存储介质和信息处理方法。
问题的解决方案
根据本公开内容，提供了一种信息处理系统，包括：累积部，其被配置成累积用户的情节数据；以及控制部，其包括以下累积功能：当基于经由代理设备获取的传感器数据识别特定用户时，基于从传感器数据提取的关键字在累积部中生成情节数据，生成用于探听出与情节数据有关的信息的问题，并且将来自特定用户对问题的答复累积在情节数据中，以及以下响应功能：当基于经由代理设备获取的传感器数据而识别出特定用户时，基于从传感器数据提取的关键字，从累积部检索所生成的情节数据，并且生成与所检索到的情节数据有关的响应数据用于代理设备对特定用户进行响应。
根据本公开内容，提供了一种其上存储有用于使计算机用作以下的程序的存储介质：累积部，其被配置成累积用户的情节数据；以及控制部，其包括以下累积功能：当基于经由代理设备获取的传感器数据识别特定用户时，基于从传感器数据提取的关键字在累积部中生成情节数据，生成用于探听出与情节数据有关的信息的问题，并且将来自特定用户对问题的答复累积在情节数据中，以及以下响应功能：当基于经由代理设备获取的传感器数据而识别出特定用户时，基于从传感器数据提取的关键字，从累积部检索所生成的情节数据，并且生成与所检索到的情节数据有关的响应数据用于代理设备对特定用户进行响应。
根据本公开内容，提供了一种信息处理方法，包括：累积处理，其中当基于经由代理设备获取的传感器数据识别特定用户时，处理器基于从传感器数据提取的关键字在累积部中生成情节数据，生成用于探听出与情节数据有关的信息的问题，并且将来自特定用户对问题的答复累积在情节数据中，以及响应处理，其中当基于经由代理设备获取的传感器数据而识别出特定用户时，处理器基于从传感器数据中提取的关键字，从累积部中检索所生成的情节数据，并且生成与所检索到的情节数据有关的响应数据用于代理设备对特定用户进行响应。
发明的有益效果
根据如上所述的本公开内容，可以基于根据与用户的交互构造的情节来对用户做出响应以增强用户的记忆。
注意，以上描述的效果不一定是限制性的。与上述效果一起或替代上述效果，可以实现该说明书中描述的效果或可以从该说明书领会的其他效果中的任何一种。
附图说明
[图1]图1是描述根据本公开内容的一个实施方式的信息处理系统的概述的图。
[图2]图2是示出根据本公开内容的一个实施方式的宠物机器人的配置的示例的框图。
[图3]图3是示出根据本公开内容的一个实施方式的控制部和存储部的功能配置示例的框图。
[图4]图4是示出根据本公开内容的实施方式的累积在问题数据库中的问题数据的示例的图。
[图5]图5是示出根据本公开内容的实施方式的累积在情节数据库中的情节数据的示例的图。
[图6]图6是描述根据本公开内容的实施方式的累积在人数据库中的人数据的示例的图。
[图7]图7是描述根据本公开内容的实施方式的累积在地点数据库中的地点数据的示例的图。
[图8]图8是示出根据本公开内容的实施方式的初始启动时的处理的流程图。
[图9]图9是示出根据本公开内容的实施方式的在情节累积时的处理的流程图。
[图10]图10是示出根据本公开内容的实施方式的在情节使用时的处理的流程图。
[图11]图11是示出根据本公开内容的实施方式的变型的宠物机器人的控制部和存储部的功能配置示例的框图。
[图12]图12是示出根据本变型的累积在情节数据库中的情节数据的示例的图。
[图13]图13是示出根据本变型的情节累积时的处理的流程图。
[图14]图14是示出根据本变型的情节使用时的处理的流程图。
[图15]图15是示出根据本公开内容的实施方式的系统配置的示例的图。
[图16]图16是示出根据本公开内容的实施方式的服务器的配置的示例的框图。
具体实施方式
在下文中，将参照附图详细描述本公开内容的(一个或多个)优选实施方式。注意，在该说明书和附图中，使用相同的附图标记来表示具有基本相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。
此外，将按以下顺序给出描述。
1.根据本公开内容的实施方式的信息处理系统的概述
2.配置
3.操作处理
3-1.在初始启动时的处理
3-2.在累积时的处理
3-3.在利用时的处理
4.变型
4-1.配置
4-2.操作处理
(4-2-1.在累积时的处理)
(4-2-2.在利用时的处理)
5.补充
6.结论
<<1.根据本公开内容的一个实施方式的信息处理系统的概述>>
首先，将描述根据本公开内容的一个实施方式的信息处理系统的概述。图1是描述根据本实施方式的信息处理系统的概述的图。如图1所示，根据本实施方式的信息处理系统是由具有娱乐性质的宠物机器人1(代理设备)实现的，该宠物机器人1的外观具有对诸如兔子的动物模拟形成的形状。此外，宠物机器人1能够自主地移动眼睛、腿部等以表现出类似动物的行为。
(背景)
这里，传统上提出了一种旨在用于补充方便地呈现用户不能记住的信息的技术和一种有助于老年人的脑功能恢复的技术，然而没有特别考虑在日常生活中在老年人的脑功能障碍的发展之前对其进行预防。
因此，在根据本实施方式的信息处理系统中，可以在与宠物机器人1的日常交互中增强用户的记忆并且在发展之前预防脑功能障碍。
如图1所示，例如，宠物机器人1在日常生活中与用户进行对话，并且根据用户说出的内容构建情节。具体地，宠物机器人1从用户说出的内容中收集与地点、时间、人物、事件等有关的信息以构建情节数据库。对于不充分的信息，宠物机器人1询问用户以收集情节构建所需的信息。
宠物机器人1连续地执行这样的情节数据库的构建，并且利用所构建的情节数据库生成和输出唤起用户的记忆的响应数据。本实施方式通过提醒用户情节来增强记忆，并且有助于预防脑功能障碍。
上面已经描述了根据本实施方式的信息处理系统的概述。注意，在本实施方式中，宠物机器人1用作信息处理设备的示例，然而本实施方式不限于此，而是可以是在诸如平板终端或智能手机的显示终端上显示的虚构宠物，例如，即基于软件程序的小型机器人。
接下来，将参照图2具体描述作为根据本实施方式的信息处理设备的示例的宠物机器人1的配置。
<<2.配置>>
图2是示出根据本实施方式的宠物机器人1的配置的示例的框图。如图2所示，宠物机器人1具有控制部10、通信部11、位置信息获取部14、摄像装置15、声音输入部16、驱动部18、触摸传感器19、存储部20、声音输出部22、加速度传感器23和角速度传感器24。
控制部10用作算术处理设备和控制设备，并且根据各种程序控制宠物机器人1中的整体操作。控制部10例如由诸如中央处理单元(CPU)或微处理器的电子电路来实现。此外，控制部10可以包括存储要使用的程序、操作参数等的只读存储器(ROM)以及临时存储适当变化的参数等的随机存取存储器(RAM)。
此外，根据本实施方式的控制部10可以根据从通信部11、位置信息获取部14、摄像装置15、声音输入部16、触摸传感器19、加速度传感器23、角速度传感器24等获得的各种类型的信息执行自动操作的自主控制。
通信部11是用于将数据发送至其他设备/从其他设备接收数据的通信模块。例如，通信部11经由网络(未示出)连接至各种类型的服务器以发送/接收数据、或者通过蓝牙(注册商标)或Wi-Fi(注册商标)直接连接至外围设备(未示出)以发送/接收数据。
位置信息获取部14具有基于从外部获取的信号感测宠物机器人1的当前位置的功能。具体地，位置信息获取部14是例如由全球定位系统(GPS)定位部实现的，并且从GPS卫星接收无线电波以感测宠物机器人1所在的位置，并且将所感测到的位置信息输出至控制部10。此外，位置信息获取部14可以通过从除GPS之外的例如Wi-Fi、蓝牙、移动电话、PHS、智能电话等或者近场通信等接收/或向其发送来感测位置。
摄像装置15具有包括成像透镜、光圈、变焦透镜、聚焦透镜等的透镜系统、用于使透镜系统执行聚焦操作和变焦操作的驱动系统、用于对通过透镜系统获取的成像光进行光电转换以生成成像信号的固态成像传感器阵列等。固态图像传感器阵列可以是由例如电荷耦合器件(CCD)传感器阵列或互补金属氧化物半导体(CMOS)传感器阵列实现的。
声音输入部16收集用户的语音或周围环境的声音，并且将声音信号输出至控制部10。声音输入部16是由麦克风、对利用麦克风获得的声音信号进行放大处理的麦克风放大器部和用于对声音信号进行数字转换的模数(A/D)转换器实现的，并且将声音信号输出至控制部10。
驱动部18是用于实现宠物机器人1的每个关节处的自由度的功能模块，并且包括分别为每个关节处的诸如滚动、俯仰和偏转的轴设置的多个驱动单元。驱动单元中的每一个包括执行关于预定轴的旋转操作的电动机、检测电动机的旋转位置的编码器以及基于编码器的输出自适应地控制电动机的旋转位置和旋转速度的驱动器的组合。
触摸传感器19检测来自用户的身体动作比如“拍打”或“拍手”所施加的压力。注意，宠物机器人1可以具有代替触摸传感器19的压力传感器，或者除触摸传感器19之外还具有压力传感器。
存储部20存储用于控制部10执行各种类型的处理的程序等。此外，存储部20包括包含存储介质的存储装置、将数据记录在存储介质上的记录设备、从存储介质读出数据的读取设备、和删除记录在存储介质上的数据的删除设备等。
声音输出部22由扬声器和用于该扬声器的放大器电路实现。此外，声音输出部22输出诸如哭声的声音。
加速度传感器23和角速度传感器24检测宠物机器人1的定向和运动加速度。
上面具体地描述了根据本实施方式的宠物机器人1的配置。注意，根据本实施方式的宠物机器人1的配置不限于图2所示的示例。例如，宠物机器人1可以使用上述摄像装置15作为用于测量距位于前方的对象的距离的距离传感器，或者可以通过使用红外线系统等被单独地设置有距离传感器。
此外，宠物机器人1可以包括例如如图1所示的主体单元110、分别耦接至主体单元110的前部、后部、左侧和右侧的腿部单元111、以及被分别耦接至主体单元110的前端和后端的头部单元112和尾部单元113，以及耦接至头部单元112的耳部单元114。在主体单元110中，储存有通过经由内部总线将中央处理单元(CPU)、动态随机存取存储器(DRAM)、闪存只读存储器(ROM)、个人计算机(PC)卡接口电路和信号处理电路彼此连接来形成的控制部10以及作为宠物机器人1的电源的电池。此外，在主体单元110中，还储存有通信部11、位置信息获取部14、存储部20、加速度传感器23、角速度传感器24等。
此外，在头部单元112中，用于对外部情况进行成像的摄像装置15、用于检测由来自用户的身体动作例如“拍打”或“拍手”施加的压力的触摸传感器19、用于收集外部声音的声音输入部16、用于输出诸如哭声的声音的声音输出部22、用于测量距位于前方的对象的距离的距离传感器(未示出)等被分别地布置在预定位置处。声音输入部16可以安装在被耦接至头部单元112的耳朵单元114中。摄像装置15可以设置在与宠物机器人1的“眼睛”相当的位置处。此外，摄像装置15可以布置在头部单元112的前额部分中，并且发光二极管(LED)(未示出)可以布置在与“眼睛”相当的位置处。
此外，具有多个自由度的致动器和电位计被分别地放置在每个腿部单元111的关节部分、每个腿部单元111与主体单元110之间的每个耦接部分、头部单元112与主体单元110之间的耦接部分、尾部单元113的尾部耦接部分、耳部单元114的耳部耦接部分等处。例如，致动器具有伺服电动机作为部件。通过驱动伺服电动机来控制腿部单元111用于转换到目标姿势或操作。
关于以上描述的宠物机器人1的具体配置示例，可以参考例如JP 2002-157596A。JP 2002-157596A的全部内容通过引用并入本文中。
此外，参照图2描述的宠物机器人1的配置也适用于宠物机器人1是微型机器人的情况。具体地，显示微型机器人的显示终端具有与显示部等同的部件，即，上述控制部10、通信部11、位置信息获取部14、摄像装置15、声音输入部16、触摸传感器19、存储部20以及声音输出部22。微型机器人被显示在显示部上，并且可以与用户交互。
(功能配置)
接下来，将参照图3描述控制部10和存储部20的功能配置。图3是示出根据本公开内容的实施方式的控制部10和存储部20的功能配置示例的框图。在该附图中，声音分析部101、图像分析部102、人识别部103、信息收集部104、响应生成部105以及输出控制部106被示出为宠物机器人1的控制部10的功能。此外，在该附图中，问题数据库201、情节数据库202、人数据库203和地点数据库204被示出为存储部20的功能。在下文中，将进一步描述相应结构元件。
声音分析部101通过声音识别将从声音输入部16输入的声音信号转换成文本，并且进一步执行语法分析和语义分析。
图像分析部102分析由摄像装置15捕获的捕获图像。例如，图像分析部102从所捕获图像识别用户的面部(计算面部特征量等)。
人识别部103基于由宠物机器人1获取的传感器数据识别与宠物机器人1交谈的人或存在于附近的人。例如，人识别部103基于由图像分析部102获得的用户的面部图像的分析结果来执行人识别。具体地，人识别部103对在人数据库203中预先登记的面部图像和人图像进行图案匹配以识别在捕获图像中反映的人是谁。人识别不限于由摄像装置15获得的捕获图像，而是可以对例如由声音分析部101分析的发出的语音的特征量与在人数据库203中预先登记的每个人的语音特征量进行比较用于识别。此外，人识别部103可以对由为宠物机器人1设置的生物传感器(未示出)感测到的用户的生物信息(例如，指纹、掌纹等)和在人数据库203中预先登记的每个人的生物信息进行比较用于识别。
信息收集部104具有收集来自用户的情节信息以累积在情节数据库202中的功能。例如，信息收集部104从由声音分析部101分析的用户发出的语音的内容中提取关键字以生成情节。此外，信息收集部104生成用于进一步探听出来自用户的与情节有关的信息的问题，并且将从用户对问题的答复中获取的信息累积在情节数据库202中。例如，信息收集部104生成用于填充预先设定的情节的每个项目的问题。例如，参考问题数据库201生成这样的问题。
此处，在图4中示出了累积在问题数据库201中的问题数据的示例。在图4中，用于在情节内容不足等的情况下补充内容的问题的条件和疑问句被彼此关联地累积。此外，问题ID被分配给每个问题。在图4中，示出了如下问题的示例：在初始启动的情况下生成的问题、在构造的情节数据中没有人物的情况下生成的问题、在情节中不存在地点的情况下生成的问题、在情节中不存在日期和时间的情况下生成的问题、在与情节有关的事件的数目是0的情况下生成的问题、在事件的数目小于预定数目(例如，小于三个)的情况下生成的问题。
此外，在图4中，还示出了用于提示与用户的对话而不特别限制条件的肯定表达语句(“然后？”、“我明白了！”、“嗯嗯”等)以及使用用户已经发出指示特定情感的关键字作为条件的情况适用该情感的表达语句(“他哭了”、“他玩得高兴”等)的示例。
如图4所示，信息收集部104使用累积在问题数据库201中的问题数据生成用于用户的问题数据。问题数据可以与包括在紧接在前的用户的话语中的名词结合。例如，在用户发出“今天，我要和你谈论当我儿子很小时的那些日子”的情况下，信息收集部104生成针对在情节中不存在日期和时间的情况下的问题(“你讨论的是什么时候？”)以补充日期和时间信息，因为像“当我儿子很小时的那些日子”，情节的日期和时间不清楚。在该情况下，信息收集部104可以将问题数据与名词“当他很小时的那些日子”结合。具体地，例如，信息收集部104生成问题数据，例如“当他很小时的那些日子，好的，你讨论的是什么时候？”。例如，利用输出控制部106，生成的疑问句数据通过来自声音输出部22的声音来输出。
接下来，将参照图5描述累积在情节数据库202中的情节数据的示例。如图5所示，情节数据包括例如人物、地点、日期和时间、事件和媒体数据的项目，并且情节ID被分配给每个情节。
在人物项目中，登记与出现在情节中的人有关的信息。由于此处由人数据库203管理与人有关的信息作为示例，因此人物数据库203中分配的人ID(P01、P02等)被登记在情节数据库202中的人物项目中。
在地点项目中，登记与情节发生的地点有关的信息。由于此处由地点数据库204管理与地点有关的信息作为示例，因此地点数据库204中分配的地点ID(A01、A02等)被登记在情节数据库202中的地点项目中。
在日期和时间项目中，登记情节的日期和时间信息。在图5中，例如，登记诸如1965年和1970年的年份。
在事件项目中，登记情节中的特定事件。例如，在图5中，例如，指示事件或情节的过程的文本，基于用户话语登记例如“他玩球”、“他过去常哭因为他没接住的球滚的很远”以及“我给他买了冰激凌并且回家吃”。
在媒体数据项目中，登记与情节有关的音乐数据、图像数据(静止图像或运动图像)、MIDI数据、至关于相关信息的网站的链接信息等。作为媒体数据，例如，假设有在收集信息时用户向宠物机器人1展示的要由摄像装置15捕获的捕获图像、用户使宠物机器人1从声音输入部16听到并且收集的声学数据、利用用户已讨论的事件的关键字经由因特网检索到的数据等。
注意，以上描述的图5所示的情节数据项目仅是示例，并且本实施方式不限于此。
然后，将参照图6描述累积在人数据库203中的人数据的示例。如图6所示，人数据包括例如名字、出生日期、关系、图像等的项目，并且人ID(P01、P02等)被分配给每段人数据。人数据可以是由宠物机器人1在初始阶段从与用户的交互中收集的数据，或者可以是由用户通过诸如为宠物机器人1设置的键盘或触摸板显示器的操作输入部(未示出)输入的数据。“关系”项目是指示与设置为所有者的用户的关系的数据项目。在多个所有者的情况下，例如，“家庭”，存在他们的多个家庭成员，并且因此可以使用诸如“祖父”、“祖母”、“父亲”、“母亲”、“女儿”、“儿子”、“孙子”等的名称分别进行登记。
接下来，将参照图7描述累积在地点数据库204中的地点数据的示例。如图7所示，地点数据包括例如名称、类型、纬度和经度等项目，并且地点ID(A01、A02等)被分配给每段地点数据。
然后，将描述控制部10的功能配置中的响应生成部105。
响应生成部105基于构建在情节数据库202中的情节数据生成用于提醒(唤起)用户与情节有关的信息的响应数据。具体地，例如，当识别出与宠物机器人1交谈的特定用户时，响应生成部105基于从由声音输入部16收集到的用户说出的内容中提取的关键字来搜索情节，并且生成与检索到的情节数据中的项目中的一个有关的响应数据。例如，在特定用户说出“明天我将去C公园”的情况下，响应生成部105基于从说出的内容中提取的关键字“C公园”来搜索情节。在找到与“C公园”有关的情节数据的情况下，响应生成部105基于情节数据(例如，与人物和日期与时间有关的信息)生成唤醒特定用户中与“C公园”有关的记忆的响应数据，例如“C公园是你上个月与你儿子去过的公园，不是吗？”。此外，响应生成部105可以在情节数据中生成媒体数据作为响应数据。以这种方式，可以在用户与宠物机器人1之间的对话期间自然地唤醒用户的久远记忆，并且增强记忆以预防脑功能障碍。
输出控制部106施加控制以通过声音由声音输出部22输出所生成的问题数据或响应数据。注意，在宠物机器人1具有显示部(未示出)的情况下，输出控制部106可以从显示部输出转换成文本的问题数据或响应数据，或者可以输出包括在问题数据或响应数据中的图像数据。此外，输出控制部106可以将问题数据或响应数据从通信部11输出至外围设备。此外，在宠物机器人1具有投影部(未示出)的情况下，输出控制部106还能够施加控制以从投影部投影文本或图像。
上面具体描述了根据本实施方式的控制部10和存储部20的功能配置。接下来，将参照图8至图10描述根据本实施方式的信息处理系统的操作处理。
<<3.操作处理>>
<3-1.在初始启动时的处理>
图8是示出根据本实施方式的在初始启动时的处理的流程图。如图8所示，宠物机器人1的控制部10首先从由摄像装置15捕获的捕获图像中获取当前存在于附近的人的面部图像(步骤S103)。面部图像被新登记在人数据库203中。
接下来，控制部10参考问题数据库201利用信息收集部104生成与人有关的问题(关于在“在初始启动时”的条件的问题)，并且用输出控制部106从声音输出部22输出声音(步骤S106)。
然后，声音分析部101分析用户响应于上述问题发出的语音(步骤S109)。
接下来，信息收集部104基于声音分析结果将与从用户发出的语音中提取的人有关的信息累积在人数据库203中(步骤S112)。
然后，控制部10重复上述步骤S106至S112直到例如问遍人信息的各个项目为止(步骤S115)。注意，在尚未从用户获得人信息的情况下可以终止重复处理。
下面将按时间顺序指示基于以上描述的处理在初始启动时宠物机器人1与用户之间的对话的示例。
宠物机器人1“很高兴见到你，你叫什么名字？”
用户A“樱田米子”
(宠物机器人1的信息收集部104在将用户A的捕获的面部图像新登记在人数据库203中，并且进一步登记“名字，姓氏：樱田”、“名字，名：米子”以及“关系：她自己”。)
宠物机器人1“米子，我应该称呼你什么？”
用户A“你可以称呼我米。”
(信息收集部104将“昵称：米”登记在人数据库203中。)
宠物机器人1“米，你的生日是什么时候？”
用户A“我的生日是7月8日。”
宠物机器人1“米，你多大了？”
用户A“我80岁了。”
(信息收集部104根据年龄和当前日期(例如，2016年)计算出生日期，并且登记“出生日期：1936年7月8日”。)
宠物机器人1“谢谢，米！”
<3-2.在累积时的处理>
图9是示出根据本实施方式的在情节累积时的处理的流程图。如图9所示，宠物机器人1的控制部10首先从由摄像装置15捕获的捕获图像中获取存在于附近的用户的面部图像，并且参考人数据库203执行人识别(步骤S203)。
接下来，声音分析部101分析用户发出的语音(步骤S206)。
然后，信息收集部104基于分析结果确定搜索情节的条件是否完整(步骤S209)。情节搜索条件包括例如与人、地点、日期和时间有关的信息，并且信息收集部104根据需要生成用于获得搜索所需的信息的问题数据。注意，情节搜索条件不限于此，而是可以是与人、地点、日期和时间中的至少任何一个有关的信息，或者可以是与事件有关的关键字。
接下来，在搜索条件完整(步骤S209/是)的情况下，信息收集部104基于搜索条件从情节数据库202中搜索满足条件的情节(步骤S212)。
然后，在不存在满足条件的情节(步骤S215/否)的情况下，信息收集部104在情节数据库202中创建新情节(分配情节ID等)(步骤S218)。
接下来，在情节已经存在(步骤S215/是)的情况下，或者在创建新情节(步骤S218)之后，控制部10参考问题数据库201利用信息收集部104生成用于收集与情节有关的信息的问题数据，并且利用输出控制部106通过声音从声音输出部22输出问题数据(步骤S221)。
接下来，声音分析部101分析用户响应于上述问题发出的语音(步骤S224)。
然后，信息收集部104将从声音分析结果中提取的与情节有关的信息累积在情节数据库中(步骤S227)。
然后，控制部10重复上述步骤S221至S227直到例如情节信息的项目被完全填充(例如，“三个或更多个事件”等)为止(步骤S230)。此外，信息收集部104通过利用摄像装置15捕获用户在对话期间展示的图片等、利用声音输入部16获取用户播放的音乐或者基于用户说出的关键字从网络获取数据，来获取与该情节有关的媒体数据。例如，在用户说出“我被问到‘那白色山是什么山？’”的情况下，信息收集部104登记该情节的地点的纬度和经度以及通过用“白色山”进行搜索获得的富士山的图像作为与文本相关的媒体数据。注意，可以在用户开始谈论另一话题的情况下或者在尚未获得情节信息的情况下终止重复处理。
下面将按时间顺序指示基于上述处理在情节累积时宠物机器人1与用户之间的对话的示例。
用户A“今天，我将和你谈论关于当我儿子很小时的那些日子。”
宠物机器人1“当他很小时的那些日子，好的，你谈论的是什么时候？”
用户A“大概是上幼儿园的年龄。”
(当识别出与之交谈的用户是作为所有者的用户A时，信息收集部104生成“你谈论的是什么时候？”的问题数据以在情节搜索条件中获取“日期和时间”。在这种情况下，信息收集部104可以结合从紧接在前的用户发出的语音中提取的关键字“当他很小时的那些日子”生成诸如“当他很小时的那些日子，好的，你谈论的是什么时候？”的问题数据。此外，基于用户A的响应中的“大概是上幼儿园的年龄”的信息和与从人数据库203中获取的用户A的儿子的出生日期(1960年7月8日)有关的信息，考虑到可以进入“幼儿园”时的年龄(例如，2至5)的情况下，信息收集部104在出生年份上加2至5以获得“1962年至1965年”作为搜索条件日期和时间。当搜索条件完整时，信息收集部104搜索与条件“人：她自己(人ID：P01)”、“人：儿子(人ID：P02)”和“日期和时间：1962年至1965年”相符的情节。在不存在任何情节的情况下，信息收集部104生成人物是她自己和她的儿子，并且日期和时间是1962年至1965年的情节(情节ID：E01)。
宠物机器人1“幼儿园年龄，好的。你谈论的是什么地方？”
用户A“C公园。”
宠物机器人1“C公园？”
用户A“这是位于附近的公园。”
(信息收集部104在地点数据库204中生成名称为“C公园”并且类型为“公园”的新地点数据(地点ID：A01)。)
宠物机器人1“位于附近的公园，好的。故事是什么？”
(信息收集部104生成用于询问与事件有关的信息的问题数据并且通过声音输出问题数据。)
用户A“我儿子喜欢玩球。他过去常在C公园玩球。”
宠物机器人1“嗯嗯。”
用户A“但他不擅长运动。他过去常常哭因为他没接住的球滚得很远。”
宠物机器人1“他哭了。然后？”
用户A“我感到遗憾因为他没有停止哭泣，所以我过去常常给他买冰淇淋并且回家吃。”
(信息收集部104登记诸如从用户发出的语音中提取的诸如“玩球”、“他过去常常哭因为他没接住的球滚得很远”、“我过去常常给他买冰淇淋并且回家吃”的事件信息。此外，信息收集部104在与用户对话期间生成提示用于对话的话语，诸如“然后？”或“嗯嗯”，或者适应用户的情感的话语，例如“他哭了”。)
<3-3.在利用时的处理>
图10是示出根据本实施方式的在情节利用时的处理的流程图。如图10所示，宠物机器人1的控制部10首先从由摄像装置15捕获的捕获图像中获取存在于附近的用户的面部图像，并且参考人数据库203执行人识别(步骤S253)。
接下来，声音分析部101分析用户发出的语音(步骤S256)。
然后，响应生成部105基于分析结果确定用于搜索情节的条件是否完整(步骤S259)。情节搜索条件包括例如与人(由上述人识别执行的识别)、地点、日期和时间有关的信息，并且响应生成部105根据需要生成用于获得搜索所需的信息的问题数据。
接下来，在搜索条件完整(步骤S259/是)的情况下，响应生成部105基于搜索条件(人、地点、日期和时间等)通过情节数据库202搜索满足条件的情节(步骤S262)。
然后，在不存在满足条件的情节(步骤S265/否)的情况下，由信息收集部104在情节数据库202中新创建情节(步骤S268)。图9示出了在新创建情节时累积情节信息的处理。
另一方面，在情节已经存在(步骤S265/是)的情况下，响应生成部105从情节数据中提取唤起(提醒)用户的情节的记忆的信息(步骤S271)。在该情况下，考虑到紧接在前的用户的话语的声音分析结果，响应生成部105可以从情节数据中提取信息。因此，可以避免与用户的话语的内容重叠的话题，并且可以提取接近用户话语的内容的信息。
接下来，响应生成部105基于提取的信息生成响应数据，并且所生成的响应数据的输出由输出控制部106控制(步骤S274)。例如，响应生成部105从自情节数据库202检索到的情节数据中的事件项目中随机选择文本，并且生成用于询问关于文本的部分的响应数据。更具体地，基于从检索到的情节数据的事件项目中选择的“玩球”的文本，响应生成部105生成例如“他玩了什么游戏？”的响应数据。此外，响应生成部105可以生成从检索到的情节数据中的媒体的项目中随机提取的媒体作为响应数据。媒体中的每一个的数据可以与事件项目中的每个文本相关，并且响应生成部105可以生成从事件项目中提取的文本和与文本相关的媒体作为响应数据。
然后，声音分析部101分析用户在对上述响应的答复中发出的语音(步骤S277)。
然后，控制部10例如在上述步骤S271至S277被重复预定次数的情况下终止处理(步骤S280)。可以在用户开始谈论另一话题的情况下或在不能获得用户的响应的情况下终止重复处理。
下面将按时间顺序指示基于以上描述的处理在情节利用时宠物机器人1与用户之间的对话的示例。
用户A“我前几天去旅行了。”
(宠物机器人1借助于捕获的图像识别用户A，并且由于已经发出与情节的地点有关的关键字“旅行”，因此生成并且输出用于探听出具体地点的响应数据。)
宠物机器人1“你去哪里旅行了？”
用户A“D湖。”
(由于已经发出了与情节的地点有关的专有名词“D湖”，因此宠物机器人1用“D湖”和用户A她自己(人ID：P01)在情节数据库中搜索情节。由于用户A的儿子(人ID：P02)已被登记为作为搜索结果找到的情节数据(情节ID：E02)中的人物，所以宠物机器人1提出“儿子”的话题。)宠物机器人1“D湖是你和你儿子观光过的，不是吗？”
用户A“奥！你是对的。”
(由于不存在要对其响应的特定关键字，宠物机器人1通过再现在情节数据中的媒体项目中登记的歌曲“海洋”来做出响应。)
宠物机器人1“你儿子唱过这首歌，不是吗？”
用户A“……是啊，他可能把D湖错当成海洋了。他在豪华游轮上大声唱歌，每个人都笑着回头看他。”
(由于不存在要对其响应的特定关键字，宠物机器人1通过经由显示部或投影部(未示出)再现从情节数据中的事件项目的文本中检索到的并且登记的富士山图像来做出响应。)
宠物机器人1“景色是这样吗？”
用户A“很好，嗯，富士山？我看到了。说到这一点，好像我儿子看着富士山正在说着什么......我觉得我被问到有关富士山的名称。”
(通过以这种方式呈现媒体数据，可以更加生动地唤起用户A的记忆。)
<<4.变型>>
本实施方式不限于上述示例，而是还可以感测在情节累积和利用时的用户的情感以用于构建情节数据和唤起响应。例如，可以通过在构建情节数据时使宠物机器人1适应用户的情感来增加同情，并且使得更容易收集情节信息。此外，当利用情节时，可以通过使用具有积极情感的情节来给予用户幸福感，并且可以更有效地增强记忆。在下文中，将参照图11至图14提供具体描述。
<4-1.配置>
图11是示出根据本变型的宠物机器人1的控制部10a和存储部20的功能配置示例的框图。图中，声音分析部101、图像分析部102、人识别部103、信息收集部104、响应生成部105、输出控制部106、情感估计部107以及情感表现表现控制部108被示出为宠物机器人1的控制部10a的功能。此外，在图中，问题数据库201、情节数据库202、人数据库203以及地点数据库204被示出为存储部20的功能。
情感估计部107从用户的捕获的图像或收集的语音估计用户的情感。例如，情感估计部107从由摄像装置15捕获的用户的面部图像识别表情以估计情感。此外，情感估计部107对通过声音输入部16输入的用户发出的语音进行频谱分析等以估计情感。
信息收集部104当从在情节数据库202中的用户收集情节信息作为情节的情感项目时登记用户的情感。要登记的情感可以由例如“愉快或悲伤”的基本表述来表达，或者可以在“愉悦度”和“唤醒度”的二维空间中表达。此处，根据本变型的累积在情节数据库202中的情节数据的示例被示出在图12中。在图12所示的示例中，在每段情节数据中的情感项目中，在收集情节数据时的用户情感值用0(厌恶)至1(偏好)的“愉悦度”来一维地表达。
情感表现控制部108施加控制以通过宠物机器人1的动作、语音等表现出与由情感估计部107估计的用户的情感相适应的情感。情感表现控制可以在收集情节数据和利用情节两者时执行。例如，当宠物机器人1表现出与用户具有相同的感觉以在用户正在谈论情节时表现出同情，预期用户将进一步谈论该情节。具体地，在宠物机器人1具有模仿狗的形状的情况下，情感表现控制部108例如施加控制以在情感值为1(偏好)时用力地摇尾巴，并且当情感值为0(厌恶)时，放低尾巴而不摇摆。此外，在宠物机器人1具有模拟兔子的形状的情况下，情感表现控制部108施加控制以在情感值是1(偏好)时将耳朵朝向用户转动并且使耳朵竖直抬起，当情感值大约是1时产生诸如跳跃的小动作，并且当情感值是0(厌恶)时，下垂耳朵并且跺腿。
<4-2.操作处理>
接下来，将参照图13至图14描述本变型的操作处理。
(4-2-1.在累积时的处理)
图13是示出根据本变型的在情节累积时的处理的流程图。如图13所示，宠物机器人1的控制部10首先从由摄像装置15捕获的捕获图像中获取存在于附近的用户的面部图像，并且参考人数据库203执行人识别(步骤S303)。
接下来，声音分析部101分析用户发出的语音(步骤S306)。
然后，信息收集部104基于分析结果确定用于搜索情节的条件是否完整(步骤S309)。情节搜索条件包括例如与人、地点、日期和时间有关的信息，并且信息收集部104根据需要生成用于获得搜索所需的信息的问题数据。
接下来，在搜索条件完整(步骤S309/是)的情况下，信息收集部104基于搜索条件在情节数据库202中搜索满足条件的情节(步骤S312)。
然后，在不存在满足条件的情节(步骤S315/否)的情况下，信息收集部104在情节数据库202中新创建情节(分配情节ID等)(步骤S318)。
接下来，在情节已经存在(步骤S315/是)的情况下，或者在新创建情节(步骤S318)之后，控制部10参考问题数据库201利用信息收集部104生成用于收集与情节有关的信息的问题数据，并且利用输出控制部106从声音输出部22通过声音输出问题数据(步骤S321)。
接下来，声音分析部101分析用户响应于上述问题发出的语音(步骤S324)。
然后，情感估计部107基于对捕获图像和语音的分析来估计用户的情感(步骤S327)。
接下来，信息收集部104将与从声音分析结果中提取的情节有关的信息与指示估计的用户的情感的情感值一起累积在情节数据库中(步骤S330)。注意，信息收集部104将例如识别的情感值的平均值登记为情节的情感值。
接下来，情感表现控制部108施加控制以利用宠物机器人1的运动或语音表现出与用户的情感相适应的情感(步骤S333)。例如，在用户的情感值是1(偏好)的情况下，情感表现控制部108将宠物机器人1的耳朵朝向用户转动并且竖起耳朵、跳跃等以表现出积极的情感并且进一步提示用户交谈。另一方面，在用户的情感值是0(厌恶)的情况下，情感表现控制部108通过降低耳朵并且保持安静等来表现出消极情感以显示对用户感觉的考虑。
然后，对于上述步骤S321至S333，控制部10重复用于收集情节信息的问题直到完全填充情节信息的项目为止，除非用户的情感值不低于例如0.5(步骤S336)。例如，在用户的情感值低于0.5的情况下，确定用户关于该情节具有消极情感，并且由于用户极可能不想要谈论该情节，因此宠物机器人1终止情节累积处理。
下面将按时间顺序指示基于以上描述的处理在情节累积时宠物机器人1与用户之间的对话的示例。
用户A“今天，我将和你谈论关于当我儿子很小时的那些日子。”
宠物机器人1“当他很小时的那些日子，好的。你谈论的是什么时候？”
用户A“大概是幼儿园的年龄。”
(当识别出与之交谈的用户是作为所有者的用户A时，信息收集部104生成“你谈论的是什么时候？”的问题数据以获取情节搜索条件的“日期和时间”。类似于上述示例，基于“关于幼儿园的年龄”的信息和用户A的儿子的出生日期的信息将“1965”设定为搜索条件日期和时间。信息收集部104搜索与“人：她自己(人ID：P01)”、“人：儿子(人ID：P02)”和“日期和时间：1965年”的条件一致的情节，并且在不存在这样的情节的情况下，生成新的情节(情节ID：E01)。)
宠物机器人1“在幼儿园的年龄。你谈论的是什么地方？”
用户A“C公园。”
宠物机器人1“C公园？”
用户A“这是位于附近的公园”
(信息收集部104在地点数据库204中生成名称为“C公园”并且类型为“公园”的新地点数据(地点ID：A01)。)
宠物机器人1“位于附近的公园。故事是什么？”
用户A“我儿子喜欢玩球。他过去常在向日葵(Himawari)公园玩球。”
宠物机器人1“嗯嗯。”
用户A“但他不擅长运动。他过去常常哭因为他没接住的球滚得很远。”
宠物机器人1“他哭了。然后？”
用户A“我感到很遗憾因为他没有停止哭泣，所以我过去常常给他买冰淇淋并且回家吃。”
(当识别出用户A在谈论情节的同时微笑时，宠物机器人1与用户的愉快情感一致地竖直地将耳朵转向用户A并且跳跃等以表现出积极的情感。此外，宠物机器人1重复从紧接在前的用户话语中提取的关键字以进一步提示用户A交谈。)
宠物机器人1“冰激凌！”
用户A“你对这个故事很感兴趣。顺便说一句，我只让他在夏天吃冰淇淋。在天冷之后我曾让他吃冰淇淋。然后他会肠胃不适，这太糟糕了。”(以该方式，当宠物机器人1表现出同情用户的交谈的情感时，可以进一步提示用户A谈论该情节。)
(4-2-2.在利用时的处理)
图14是示出根据本变型的在情节利用时的处理的流程图。如图14所示，宠物机器人1的控制部10首先从由摄像装置15捕获的捕获图像中获取存在于附近的用户的面部图像，并且参考人数据库203执行人识别(步骤S353)。
接下来，声音分析部101分析用户发出的语音(步骤S356)。
然后，响应生成部105基于分析结果确定用于搜索情节的条件是否完整(步骤S359)。情节搜索条件包括例如与人(由上述人识别执行的识别)、地点、日期和时间有关的信息，并且响应生成部105根据需要生成用于获得搜索所需的信息的问题数据。
接下来，在搜索条件完整(步骤S359/是)的情况下，响应生成部105基于搜索条件(人、地点、日期和时间等)在情节数据库202中搜索满足条件的情节(步骤S362)。在该情况下，响应生成部105仅搜索其情感值大于或等于0.5的具有积极情感(愉快情感)的情节。
然后，在不存在满足条件的情节(步骤S365/否)的情况下，由信息收集部104在情节数据库202中新创建情节(步骤S368)。如图13所示的是在新创建情节时累积情节信息的处理。
另一方面，在情节已经存在(步骤S365/是)的情况下，响应生成部105从情节数据中提取唤起(提醒)用户对情节的记忆的信息(步骤S371)。
接下来，响应生成部105基于所提取的信息生成响应数据，并且由输出控制部106控制所生成的响应数据的输出(步骤S374)。如上所述，由于搜索仅其情感值大于或等于0.5的具有积极情感的情节以生成响应数据，因此宠物机器人1能够在给予用户幸福感的同时增强记忆。
然后，声音分析部101分析用户在答复上述响应时发出的语音(步骤S377)。
接下来，情感估计部107基于对捕获图像和语音的分析来估计用户的情感(步骤S380)。
然后，情感表现控制部108控制宠物机器人1的运动和声音以适应用户的情感以表现出情感(步骤S383)。
然后，控制部10例如在上述步骤S371至S383被重复预定次数的情况下终止处理(步骤S386)。注意，可以在用户开始谈论另一话题的情况下、在不能获得用户的响应的情况下或者在用户的情感值低于0.5至变为负的情况下终止重复处理。
下面将按时间顺序指示基于以上描述的处理在情节利用时宠物机器人1与用户之间的对话的示例。
用户A“我前几天去旅行了。”
(宠物机器人1借助于捕获的图像识别用户A，并且由于已经发出与情节的地点有关的关键字“旅行”，因此生成并且输出用于探听出具体地点的响应数据。)
宠物机器人1“你去哪里旅行了？”
用户A“D湖。”
(由于已经说出与情节的地点有关的专有名词“D湖”，因此宠物机器人1在情节数据库中搜索具有“D湖”和用户A她自己(人ID：P01)的情节。在作为搜索的结果找到的情节数据(情节ID：E02、ID：E03)中，因为情节ID：E02的情感值是0.8，以及情节ID：E03的情感值是0.1，所以具有积极情感的情节ID：E02的情节数据被选择为情节。因此，可以避免选择具有消极情感的情节以冒犯用户A并且停止与用户A的对话。因为用户A的儿子(人ID：P02))已被登记为所选情节ID：E02的情节数据中的人物，所以宠物机器人1提出“儿子”的话题。)
宠物机器人1“D湖是你和你儿子观光过的，不是吗？”
用户A“奥！你是对的。”
(由于不存在要对其响应的特定的关键字，宠物机器人1通过再现在情节数据中的媒体项目中登记的歌曲“海洋”来做出响应。)
宠物机器人1“你儿子唱过这首歌，不是吗？”
用户A“……是啊，他可能把D湖错当成大海了。他在豪华游轮上大声唱歌，每个人都笑着回头看他。”
(当识别出用户A在回忆的同时微笑时，宠物机器人1通过与用户的愉快情感一致地竖直地将耳朵转向用户A并且跳跃等来表现出积极情感。此外，由于不存在要对其响应的特定的关键字，所以宠物机器人1通过经由显示部或投影部(未示出)再现从情节数据中的事件项目的文本中检索到的并且登记的富士山图像来做出响应。)
宠物机器人1“景色是这样吗？”
用户A“咦？你也快乐吗？哦……，嗯，富士山？我看到了。说到这一点，好像我的儿子看着富士山正在说着什么……我觉得我被问到有关富士山的名称。我确信我们在夏天去旅行的，但是我不知道我们是否在秋天去了那里因为富士山被雪覆盖了。”
(除了呈现媒体信息之外，通过仅提出具有积极情感的情节作为话题并且具有宠物机器人1的同情反应，可以在给予幸福感的同时更有效唤起新的记忆，并且可以增强用户A的记忆。)
<<5.补充>>
在上述实施方式中，宠物机器人1单独执行情节累积和利用(记忆的增强)，但是本实施方式不限于此，而是还可以在服务器侧上实现上述处理。在下文中，将参照图15提供描述。
图15是示出根据本实施方式的系统配置的示例的图。如图15所示，宠物机器人1能够无线地连接至路由器4，并且连接至与路由器4连接的调制解调器5并且进一步经由调制解调器5连接至网络2以连接至网络上的服务器3以执行数据通信。
宠物机器人1向服务器3发送已经收集的用户发出的语音、捕获的捕获图像等，并且可以由服务器3执行情节数据的构建。此外，宠物机器人1根据由服务器3的控制询问用于收集情节信息的问题或者做出唤起情节的记忆的响应以增强记忆。
服务器3基于从宠物机器人1发送的各种类型的数据来执行情节数据的构建。此外，服务器3施加控制以使宠物机器人1向用户呈现用于收集情节信息的问题或者唤起情节的记忆的响应以增强记忆。此处，将参照图16具体描述服务器3的配置示例。
图16是示出根据本实施方式的服务器3的配置的示例的框图。如图16所示，服务器3具有控制部30、通信部31、问题数据库32、情节数据库33、人数据库34以及地点数据库35。
通信部31是用于执行至另一设备的数据发送/从另一设备的数据接收的通信模块。例如，通信部31经由网络2连接至宠物机器人1，并且执行数据发送/数据接收。
控制部30用作算术处理设备和控制设备，并且根据各种程序控制服务器3中的整体操作。控制部30是例如由诸如CPU或微处理器的电子电路来实现的。此外，控制部30可以包括存储要使用的程序、操作参数等的ROM以及临时存储适当变化的参数等的RAM。
此外，根据本实施方式的控制部30用作声音分析部301、图像分析部302、人识别部303、信息收集部304、响应生成部305、输出控制部306、情感估计部307以及情感表现控制部308。注意，结构元件中的每一个的功能类似于参照图11描述的相同配置。
以该方式，根据本实施方式的信息处理系统可以包括宠物机器人1和服务器3。
<<6.结论>>
如上所述，在根据本公开内容的实施方式的信息处理系统中，可以基于从与用户的交互构造的情节来对用户做出响应以增强用户的记忆。
此外，考虑到用户的情感，还可以促进关于用户具有积极情感的情节的对话以增强对情节的记忆，并且对宠物机器人1施加情感表现控制以适应用户的情感。因此，在本实施方式中，可以在给予用户幸福感的同时收集情节信息并且增强记忆。
上面已经参照附图描述了本公开内容的(一个或多个)优选实施方式，但是本公开内容不限于上述示例。本领域技术人员可以在所附权利要求书的范围内发现各种变化和修改，并且应该理解，这些变化和修改会自然地归入本公开内容的技术范围内。
例如，还可以生成用于使包括在上述信息处理系统的宠物机器人1和服务器3中的诸如CPU、ROM和RAM的硬件中要运行的宠物机器人1和服务器3的功能的计算机程序。此外，还提供了其上存储有计算机程序的计算机可读存储介质。
此外，在该说明书中描述的效果仅是说明性或示例性的效果，而不是限制性的。即，连同或代替上述效果，根据本公开内容的技术可以实现本领域技术人员根据该说明书的描述而清楚的其他效果。
此外，本技术还可以如下配置。
(1)一种信息处理系统，包括：
累积部，被配置成累积用户的情节数据；以及
控制部，被配置成包括累积功能和响应功能，
在所述累积功能中：
当基于经由代理设备获取的传感器数据而识别出特定用户时，
基于从所述传感器数据中提取的关键字，在所述累积部中生成情节数据，
生成用于探听出与所述情节数据有关的信息的问题，以及
将所述特定用户对所述问题的答复累积在所述情节数据中，
以及
在所述响应功能中，
当基于经由所述代理设备获取的所述传感器数据而识别出所述特定用户时，
基于从所述传感器数据中提取的所述关键字，从所述累积部检索所生成的情节数据，以及
生成与所检索到的情节数据有关的响应数据用于所述代理设备对所述特定用户进行响应。
(2)根据(1)所述的信息处理系统，其中，
所述控制部生成与所检索到的所述情节数据中的一个项目有关的响应数据。
(3)根据(1)或(2)所述的信息处理系统，其中，
所述控制部生成与所检索到的所述情节数据关联的视频和/或声音数据作为所述响应数据。
(4)根据(1)至(3)中的任意一项所述的信息处理系统，其中，
当累积所述情节数据时所述特定用户的情感与所述情节数据关联地被累积在所述累积部中，并且
所述控制部基于从所述传感器数据中提取的关键字和与各情节数据关联的情感从所述累积部中检索情节数据。
(5)根据(4)所述的信息处理系统，其中，
所述控制部基于从所述传感器数据中提取的关键字，从累积在所述累积部中的情节数据中的与积极情感关联的情节数据中检索情节数据。
(6)根据(4)至(5)中的任意一项所述的信息处理系统，其中，
所述控制部
从所述传感器数据识别所述特定用户的情感，并且
生成用于使所述代理设备表现出与所述识别的结果相同的情感的控制数据。
(7)根据(1)至(6)中的任意一项所述的信息处理系统，其中，
当基于所获取的传感器数据而识别出所述特定用户时，所述控制部
基于从所述传感器数据中提取的所述关键字，从所述累积部中检索情节数据，
生成用于进一步探听出要累积在所检索到的所述情节数据中的信息的问题，并且
将所述特定用户对所述问题的答复累积在所述情节数据中。
(8)根据(7)所述的信息处理系统，其中，
所述控制部生成用于探听出所检索到的所述情节数据中的项目中的信息尚未被存储的项目的问题。
(9)根据(7)或(8)所述的信息处理系统，其中，
所述控制部
从当所述特定用户进行答复时检测到的所述传感器数据中识别所述特定用户的情感，并且
将所述特定用户的答复累积在所述情节数据中，并且将所述情感与所述情节数据关联地累积在所述累积部中。
(10)根据(7)至(9)中的任意一项所述的信息处理系统，其中，所述控制部生成用于使所述代理设备表现出与所述识别的结果相同的情感的控制数据。
(11)根据(1)至(10)中的任意一项所述的信息处理系统，其中，所述控制部
基于由成像部捕获的作为所述传感器数据的面部图像数据来识别出所述特定用户，并且
基于从由声音输入部获取的作为所述传感器数据的声音数据中识别的关键字，从所述累积部中检索情节数据。
(12)根据(11)所述的信息处理系统，其中，
所述信息处理系统是所述代理设备，并且
所述信息处理系统还包括：
所述成像部，
所述声音输入部，以及
声音输出部，被配置成通过声音输出与所检索到的所述情节数据有关的响应数据。
(13)根据(1)至(11)中的任意一项所述的信息处理系统，包括：
通信部，被配置成：
接收由所述代理设备获取的传感器数据，并且
向所述代理设备发送与所检索到的情节有关的响应数据。
(14)根据(1)至(13)中的任意一项所述的信息处理系统，其中，
所述控制部生成用于使所述用户回想起与所述情节数据有关的记忆的响应数据。
(15)根据(1)至(14)中的任意一项所述的信息处理系统，其中，
所述控制部生成日期和时间、地点、人物、事件和媒体数据中的至少任何一个项目作为所述情节数据中累积的项目。
(16)根据(15)所述的信息处理系统，其中，
所述控制部基于从所述用户的讲话声音数据中提取的与日期和时间、地点、人物或事件有关的关键字，从所述累积部中检索所生成的情节数据。
(17)一种其上存储有程序的存储介质，所述程序用于使计算机用作：
累积部，被配置成累积用户的情节数据；以及
控制部，被配置成包括累积功能和响应功能，
在所述累积功能中，
当基于获取的传感器数据而识别出特定用户时，
基于从所述传感器数据中提取的关键字，在所述累积部中生成情节数据，
生成用于探听出与所述情节数据有关的信息的问题，以及
将所述特定用户对所述问题的答复累积在所述情节数据中，
以及
在所述响应功能中，
当基于所获取的传感器数据而识别出所述特定用户时，
基于从所述传感器数据提取的所述关键字，从所述累积部中检索所生成的情节数据，以及
生成与所检索到的情节数据有关的响应数据用于对所述特定用户进行响应。
(18)一种信息处理方法，包括由处理器执行累积处理和响应处理，在所述累积处理中，
当基于经由代理设备获取的传感器数据而识别出特定用户时，
基于从所述传感器数据中提取的关键字，在累积部中生成情节数据，生成用于探听出与所述情节数据有关的信息的问题，以及
将所述特定用户对所述问题的答复累积在所述情节数据中，以及在所述响应处理中，
当基于经由所述代理设备获取的所述传感器数据而识别出所述特定用户时，
基于从所述传感器数据中提取的所述关键字，从所述累积部中检索所生成的情节数据，以及生成与所检索到的情节数据有关的响应数据用于所述代理设备对所述特定用户进行响应。
参考标记列表
1 宠物机器人
2 网络
3 服务器
4 路由器
5 调制解调器
10 控制部
11 通信部
14 位置信息获取部
15 摄像装置
16 声音输入部
18 驱动部
19 触摸传感器
20 存储部
22 声音输出部
23 加速度传感器
24 角速度传感器
30 控制部
31 通信部
32 问题数据库
33 情节数据库
34 人数据库
35 地点数据库
101 声音分析部
102 图像分析部
103 人识别部
104 信息收集部
105 响应生成部
106 输出控制部
107 情感估计部
108 情感表现控制部
201 问题数据库
202 情节数据库
203 人数据库
204 地点数据库
301 声音分析部
302 图像分析部
303 人识别部
304 信息收集部
305 响应生成部
306 输出控制部
307 情感估计部
308 情感表现控制部

Claims (18)

1.一种信息处理系统，包括：
累积部，被配置成累积用户的情节数据；以及
控制部，被配置成包括累积功能和响应功能，
在所述累积功能中：
当基于经由代理设备获取的传感器数据而识别出特定用户时，
基于从所述传感器数据中提取的关键字，在所述累积部中生成情节数据，
生成用于探听出与所述情节数据有关的信息的问题，以及
将所述特定用户对所述问题的答复累积在所述情节数据中，以及
在所述响应功能中，
当基于经由所述代理设备获取的所述传感器数据而识别出所述特定用户时，
基于从所述传感器数据中提取的所述关键字，从所述累积部检索所生成的情节数据，以及
生成与所检索到的情节数据有关的响应数据用于所述代理设备对所述特定用户进行响应。
2.根据权利要求1所述的信息处理系统，其中，
所述控制部生成与所检索到的所述情节数据中的一个项目有关的响应数据。
3.根据权利要求1所述的信息处理系统，其中，
所述控制部生成与所检索到的所述情节数据关联的视频和/或声音数据作为所述响应数据。
4.根据权利要求1所述的信息处理系统，其中，
当累积所述情节数据时所述特定用户的情感与所述情节数据关联地被累积在所述累积部中，并且
所述控制部基于从所述传感器数据中提取的关键字和与各情节数据关联的情感从所述累积部中检索情节数据。
5.根据权利要求4所述的信息处理系统，其中，
所述控制部基于从所述传感器数据中提取的关键字，从累积在所述累积部中的情节数据中的与积极情感关联的情节数据中检索情节数据。
6.根据权利要求4所述的信息处理系统，其中，
所述控制部
从所述传感器数据识别所述特定用户的情感，并且
生成用于使所述代理设备表现出与所述识别的结果相同的情感的控制数据。
7.根据权利要求1所述的信息处理系统，其中，
当基于所获取的传感器数据而识别出所述特定用户时，所述控制部
基于从所述传感器数据中提取的所述关键字，从所述累积部中检索情节数据，
生成用于进一步探听出要累积在所检索到的所述情节数据中的信息的问题，并且
将所述特定用户对所述问题的答复累积在所述情节数据中。
8.根据权利要求7所述的信息处理系统，其中，
所述控制部生成用于探听出所检索到的所述情节数据中的项目中的信息尚未被存储的项目的问题。
9.根据权利要求7所述的信息处理系统，其中，
所述控制部
从当所述特定用户进行答复时检测到的所述传感器数据中识别所述特定用户的情感，并且
将所述特定用户的答复累积在所述情节数据中，并且将所述情感与所述情节数据关联地累积在所述累积部中。
10.根据权利要求7所述的信息处理系统，其中，
所述控制部生成用于使所述代理设备表现出与所述识别的结果相同的情感的控制数据。
11.根据权利要求1所述的信息处理系统，其中，
所述控制部
基于由成像部捕获的作为所述传感器数据的面部图像数据来识别出所述特定用户，并且
基于从由声音输入部获取的作为所述传感器数据的声音数据中识别的关键字，从所述累积部中检索情节数据。
12.根据权利要求11所述的信息处理系统，其中，
所述信息处理系统是所述代理设备，并且
所述信息处理系统还包括：
所述成像部，
所述声音输入部，以及
声音输出部，被配置成通过声音输出与所检索到的所述情节数据有关的响应数据。
13.根据权利要求1所述的信息处理系统，包括：
通信部，被配置成：
接收由所述代理设备获取的传感器数据，并且
向所述代理设备发送与所检索到的情节有关的响应数据。
14.根据权利要求1所述的信息处理系统，其中，
所述控制部生成用于使所述用户回想起与所述情节数据有关的记忆的响应数据。
15.根据权利要求1所述的信息处理系统，其中，
所述控制部生成日期和时间、地点、人物、事件和媒体数据中的至少任何一个项目作为所述情节数据中累积的项目。
16.根据权利要求15所述的信息处理系统，其中，
所述控制部基于从所述用户的讲话声音数据中提取的与日期和时间、地点、人物或事件有关的关键字，从所述累积部中检索所生成的情节数据。
17.一种其上存储有程序的存储介质，所述程序用于使计算机用作：
累积部，被配置成累积用户的情节数据；以及
控制部，被配置成包括累积功能和响应功能，
在所述累积功能中，
当基于获取的传感器数据而识别出特定用户时，
基于从所述传感器数据中提取的关键字，在所述累积部中生成情节数据，
生成用于探听出与所述情节数据有关的信息的问题，以及
将所述特定用户对所述问题的答复累积在所述情节数据中，以及
在所述响应功能中，
当基于所获取的传感器数据而识别出所述特定用户时，
基于从所述传感器数据提取的所述关键字，从所述累积部中检索所生成的情节数据，以及
生成与所检索到的情节数据有关的响应数据用于对所述特定用户进行响应。
18.一种信息处理方法，包括由处理器执行累积处理和响应处理，在所述累积处理中，
当基于经由代理设备获取的传感器数据而识别出特定用户时，
基于从所述传感器数据中提取的关键字，在累积部中生成情节数据，生成用于探听出与所述情节数据有关的信息的问题，以及
将所述特定用户对所述问题的答复累积在所述情节数据中，以及在所述响应处理中，
当基于经由所述代理设备获取的所述传感器数据而识别出所述特定用户时，
基于从所述传感器数据中提取的所述关键字，从所述累积部中检索所生成的情节数据，以及生成与所检索到的情节数据有关的响应数据用于所述代理设备对所述特定用户进行响应。
CN201780038599.XA 2016-06-27 2017-03-15 信息处理系统、存储介质和信息处理方法 Active CN109313935B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-126499 2016-06-27
JP2016126499 2016-06-27
PCT/JP2017/010393 WO2018003196A1 (ja) 2016-06-27 2017-03-15 情報処理システム、記憶媒体、および情報処理方法

Publications (2)

Publication Number Publication Date
CN109313935A true CN109313935A (zh) 2019-02-05
CN109313935B CN109313935B (zh) 2023-10-20

Family

ID=60787112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780038599.XA Active CN109313935B (zh) 2016-06-27 2017-03-15 信息处理系统、存储介质和信息处理方法

Country Status (3)

Country Link
US (2) US11003894B2 (zh)
CN (1) CN109313935B (zh)
WO (1) WO2018003196A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110253595A (zh) * 2019-06-21 2019-09-20 北京猎户星空科技有限公司 一种智能设备控制方法和装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10783329B2 (en) * 2017-12-07 2020-09-22 Shanghai Xiaoi Robot Technology Co., Ltd. Method, device and computer readable storage medium for presenting emotion
CN110196914B (zh) * 2019-07-29 2019-12-27 上海肇观电子科技有限公司 一种将人脸信息录入数据库的方法和装置
WO2021133982A1 (en) * 2019-12-24 2021-07-01 Consilient Labs Inc. Episodic memory stores, data ingestion and query systems for same, including examples of autonomous smart agents
JP7436804B2 (ja) * 2020-01-23 2024-02-22 株式会社Mixi 情報処理装置、及びプログラム
US20220343132A1 (en) * 2021-04-26 2022-10-27 Iview Displays (Shenzhen) Company Ltd. Method for controlling virtual pets, and smart projection device
WO2023189521A1 (ja) * 2022-03-30 2023-10-05 ソニーグループ株式会社 情報処理装置および情報処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006123153A (ja) * 2004-11-01 2006-05-18 Advanced Telecommunication Research Institute International コミュニケーションロボット用開発支援装置および開発支援プログラム
JP2008125815A (ja) * 2006-11-21 2008-06-05 Business Design Kenkyusho:Kk 会話ロボットシステム
JP2012048333A (ja) * 2010-08-25 2012-03-08 Nikon Corp 情報記録再生システム
WO2015093382A1 (ja) * 2013-12-20 2015-06-25 Ｒｅ ＆ Ｄｏ 株式会社 サービス提供管理システム
CN104836914A (zh) * 2015-05-12 2015-08-12 惠州Tcl移动通信有限公司 一种基于通话内容的事项提醒方法及提醒系统

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006881B1 (en) * 1991-12-23 2006-02-28 Steven Hoffberg Media recording device with remote graphic user interface
JP2000064933A (ja) * 1998-08-19 2000-03-03 Yamaha Motor Co Ltd ２サイクル筒内噴射エンジンの始動方法
AU5752300A (en) * 1999-06-22 2001-01-09 Transcomputing International Corporation Event planning system
US6526395B1 (en) * 1999-12-31 2003-02-25 Intel Corporation Application of personality models and interaction with synthetic characters in a computing system
US6539284B2 (en) * 2000-07-25 2003-03-25 Axonn Robotics, Llc Socially interactive autonomous robot
US6721706B1 (en) * 2000-10-30 2004-04-13 Koninklijke Philips Electronics N.V. Environment-responsive user interface/entertainment device that simulates personal interaction
US7044742B2 (en) * 2001-12-26 2006-05-16 Kabushikikaisha Equos Research Emergency reporting apparatus
JP2005044330A (ja) * 2003-07-24 2005-02-17 Univ Of California San Diego 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置
US7917376B2 (en) * 2003-12-29 2011-03-29 Montefiore Medical Center System and method for monitoring patient care
US20060036536A1 (en) * 2003-12-30 2006-02-16 Williams William R System and methods for evaluating the quality of and improving the delivery of medical diagnostic testing services
EP1634225A4 (en) * 2004-03-10 2008-01-16 Nice Systems Ltd DEVICE AND METHOD FOR GENERATING CONTENT-BASED FOLLOW-UP
US20070183633A1 (en) * 2004-03-24 2007-08-09 Andre Hoffmann Identification, verification, and recognition method and system
US20070061759A1 (en) * 2005-08-05 2007-03-15 Realnetworks, Inc., System and method for chronologically presenting data
JP2009271785A (ja) * 2008-05-08 2009-11-19 Nippon Telegr & Teleph Corp <Ntt> 情報提供方法及び装置及びコンピュータ読み取り可能な記録媒体
US20100022279A1 (en) * 2008-07-22 2010-01-28 Sony Ericsson Mobile Communications Ab Mood dependent alert signals in communication devices
JP2010092358A (ja) 2008-10-09 2010-04-22 Nippon Telegr & Teleph Corp <Ntt> エピソード記憶想起支援システム、エピソード記憶想起支援方法およびプログラム
US20100211407A1 (en) * 2009-02-13 2010-08-19 Duke David O Method and system for providing a patient therapeutic plan
US7962797B2 (en) * 2009-03-20 2011-06-14 Microsoft Corporation Automated health model generation and refinement
US20110099153A1 (en) * 2009-10-26 2011-04-28 Nokia Corporation Method and apparatus for generating a polymorphic note
KR101019655B1 (ko) * 2009-12-04 2011-03-07 (주) 퓨처로봇 사용 유도 장치 및 방법
TWI447660B (zh) * 2009-12-16 2014-08-01 Univ Nat Chiao Tung Robot autonomous emotion expression device and the method of expressing the robot's own emotion
US8401522B2 (en) * 2011-02-21 2013-03-19 Carmela R. Crawford Systems, methods and apparatus for authenticating access to enterprise resources
JP5729692B2 (ja) * 2011-02-28 2015-06-03 国立大学法人信州大学 ロボット装置
US9253282B2 (en) * 2011-10-18 2016-02-02 Qualcomm Incorporated Method and apparatus for generating, using, or updating an enriched user profile
US20130337420A1 (en) * 2012-06-19 2013-12-19 International Business Machines Corporation Recognition and Feedback of Facial and Vocal Emotions
US20170163471A1 (en) * 2012-10-11 2017-06-08 Google Inc. Collaborative Recovery for an Account Associated with a Social Network
US9355368B2 (en) 2013-03-14 2016-05-31 Toyota Motor Engineering & Manufacturing North America, Inc. Computer-based method and system for providing active and automatic personal assistance using a robotic device/platform
US20140280296A1 (en) * 2013-03-14 2014-09-18 Google Inc. Providing help information based on emotion detection
US20140278057A1 (en) * 2013-03-15 2014-09-18 John Michael Berns System and method for automatically calendaring events and associated reminders
JP6149230B2 (ja) 2014-03-28 2017-06-21 学校法人塚本学院 脳機能障害者生活支援装置
US9753967B2 (en) * 2014-03-31 2017-09-05 Samsung Electronics Co., Ltd. Computing system with error detection mechanism and method of operation thereof
US20160063874A1 (en) * 2014-08-28 2016-03-03 Microsoft Corporation Emotionally intelligent systems
US20160094491A1 (en) * 2014-09-30 2016-03-31 Genesys Telecommunications Laboratories, Inc. Pattern-controlled automated messaging system
US10446142B2 (en) * 2015-05-20 2019-10-15 Microsoft Technology Licensing, Llc Crafting feedback dialogue with a digital assistant
US9710757B2 (en) * 2015-07-22 2017-07-18 Wisdo Ltd. Methods and systems for dynamically generating real-time recommendations
US10176798B2 (en) * 2015-08-28 2019-01-08 Intel Corporation Facilitating dynamic and intelligent conversion of text into real user speech
US9922524B2 (en) * 2015-10-30 2018-03-20 Blue Willow Systems, Inc. Methods for detecting and handling fall and perimeter breach events for residents of an assisted living facility
JP6719739B2 (ja) * 2016-05-20 2020-07-08 日本電信電話株式会社 対話方法、対話システム、対話装置、及びプログラム
JP6719072B2 (ja) * 2016-08-10 2020-07-08 パナソニックＩｐマネジメント株式会社 接客装置、接客方法及び接客システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006123153A (ja) * 2004-11-01 2006-05-18 Advanced Telecommunication Research Institute International コミュニケーションロボット用開発支援装置および開発支援プログラム
JP2008125815A (ja) * 2006-11-21 2008-06-05 Business Design Kenkyusho:Kk 会話ロボットシステム
JP2012048333A (ja) * 2010-08-25 2012-03-08 Nikon Corp 情報記録再生システム
WO2015093382A1 (ja) * 2013-12-20 2015-06-25 Ｒｅ ＆ Ｄｏ 株式会社 サービス提供管理システム
CN104836914A (zh) * 2015-05-12 2015-08-12 惠州Tcl移动通信有限公司 一种基于通话内容的事项提醒方法及提醒系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110253595A (zh) * 2019-06-21 2019-09-20 北京猎户星空科技有限公司 一种智能设备控制方法和装置
CN110253595B (zh) * 2019-06-21 2022-01-21 北京猎户星空科技有限公司 一种智能设备控制方法和装置

Also Published As

Publication number Publication date
WO2018003196A1 (ja) 2018-01-04
US11003894B2 (en) 2021-05-11
US20190163961A1 (en) 2019-05-30
CN109313935B (zh) 2023-10-20
US20210232807A1 (en) 2021-07-29

Similar Documents

Publication Publication Date Title
CN109313935A (zh) 信息处理系统、存储介质和信息处理方法
US11858118B2 (en) Robot, server, and human-machine interaction method
US6684127B2 (en) Method of controlling behaviors of pet robots
CN100423911C (zh) 机器人装置及其行为控制方法
KR20190126906A (ko) 돌봄 로봇을 위한 데이터 처리 방법 및 장치
US20120232891A1 (en) Speech communication system and method, and robot apparatus
JP2023017880A (ja) 情報処理装置および情報処理方法
JP2003205483A (ja) ロボットシステム及びロボット装置の制御方法
US9525841B2 (en) Imaging device for associating image data with shooting condition information
US11232790B2 (en) Control method for human-computer interaction device, human-computer interaction device and human-computer interaction system
WO2020228349A1 (zh) 一种基于空气成像的虚拟新闻主播系统及其实现方法
CN111339881A (zh) 基于情绪识别的宝宝成长监护方法及系统
JP6753407B2 (ja) 感情誘導システム、感情誘導方法、およびプログラム
CN113377269A (zh) 智能型互动显示装置、互动显示系统及其互动显示方法
JP2021026261A (ja) 情報処理システム、方法およびプログラム
CN112639969A (zh) 声学事件识别装置、方法和程序
CN111971670A (zh) 在对话中生成响应
CN115983051B (zh) 一种虚拟宠物交互仿真电子宠物方法及系统
US20230239259A1 (en) Message selection apparatus, message presentation apparatus, message selection method, and message selection program
US20230298617A1 (en) Message generation apparatus, message presentation apparatus, message generation method, and message generation program
CN116704828A (zh) 语言及认知辅助系统及方法
CN111479060A (zh) 图像采集方法、装置、存储介质及电子设备
KR20210003684A (ko) 동물과의 커뮤니케이션을 이용한 콘텐츠 제공 방법, 프로그램, 및 시스템
CN117854504A (zh) 基于大模型的物联网应用方法、系统、设备及存储介质
CN114332660A (zh) 一种动物识别方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant