CN111263926A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN111263926A
CN111263926A CN201880069169.9A CN201880069169A CN111263926A CN 111263926 A CN111263926 A CN 111263926A CN 201880069169 A CN201880069169 A CN 201880069169A CN 111263926 A CN111263926 A CN 111263926A
Authority
CN
China
Prior art keywords
information
user
sensory information
presentation
sensory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880069169.9A
Other languages
English (en)
Other versions
CN111263926B (zh
Inventor
金语枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111263926A publication Critical patent/CN111263926A/zh
Application granted granted Critical
Publication of CN111263926B publication Critical patent/CN111263926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user

Abstract

[问题]为了提供一种技术,该技术使得用户能够根据用户他/她自身或另一用户实际体验到的感觉来体验感觉。[解决方案]提供了一种信息处理装置,该信息处理装置设置有:数据获取单元,其用于获取预先经过感测的多个感觉信息的相关性数据;感觉信息确定单元,其用于基于相关性数据来确定与第一感觉信息有关系的第二感觉信息;以及呈现控制单元,其用于控制与第二感觉信息对应的呈现数据向用户的呈现。

Description

信息处理装置、信息处理方法和程序
技术领域
本公开内容涉及信息处理装置、信息处理方法和程序。
背景技术
如今,使用向用户呈现与预定感觉信息相关联的呈现数据以允许用户体验预定感觉的技术。例如,存在一种由计算机等来生成与感觉信息相关联的呈现数据并且将所生成的呈现数据呈现给用户的技术。在一个示例中,公开了一种生成与从发送设备接收到的感觉信息相关联的呈现数据的接收设备的技术(例如,参见专利文献1)。在该文献中,与呈现数据相关联的感觉信息通常由人生成。
引用列表
专利文献
专利文献1:日本专利申请特开第2009-194597号
发明内容
本发明要解决的问题
然而,在一些情况下,用户想要重新体验与用户实际体验到的感觉相似的感觉。替选地,在某些情况下,用户也可能想要体验与其他用户实际体验到的感觉相似的感觉。因此,期望提供一种使得用户能够体验与由该用户或其他用户实际体验到的感觉对应的感觉的技术。
问题的解决方案
根据本公开内容,提供了一种信息处理装置,该信息处理装置包括:数据获取单元,其被配置成获取预先感测的多个感觉信息的相关性数据;感觉信息确定单元,其被配置成基于相关性数据来确定与第一感觉信息相关的第二感觉信息;以及呈现控制单元,其被配置成控制与第二感觉信息相关联的呈现数据向用户的呈现。
根据本公开内容,提供了一种信息处理方法,该信息处理方法包括:获取预先感测的多个感觉信息的相关性数据;基于相关性数据来确定与第一感觉信息相关的第二感觉信息;以及由处理器控制与第二感觉信息相关联的呈现数据向用户的呈现。
根据本公开内容,提供了一种用于使计算机用作信息处理装置的程序,该信息处理装置包括:数据获取单元,其被配置成获取预先感测的多个感觉信息的相关性数据;感觉信息确定单元,其被配置成基于相关性数据确定与第一感觉信息相关的第二感觉信息,以及呈现控制单元,被配置成控制与第二感觉信息相关联的呈现数据向用户的呈现。
本发明的效果
根据如上所述的本公开内容,提供了一种技术,该技术使得用户能够体验与该用户或其他用户实际体验到的感觉对应的感觉。注意,上述效果不一定是限制性的。利用以上效果或代替以上效果,可以实现本说明书中描述的效果中的任何一种或可以从本说明书中掌握的其他效果。
附图说明
图1是示出根据本公开内容的实施方式的信息处理系统的示例性配置的图。
图2是示出根据本公开内容的实施方式的用户终端的示例性功能配置的图。
图3是示出控制单元的具体配置示例的图。
图4是示出根据本公开内容的实施方式的服务器的示例性功能配置的图。
图5是示出执行程序所需的数据的示例的图。
图6是示出存储数据的示例的图。
图7是示出相关性数据的示例的图。
图8是示出由根据本公开内容的实施方式的信息处理系统执行的注册处理的示例的流程图。
图9是示出由根据本公开内容的实施方式的信息处理系统执行的数据更新处理的示例的流程图。
图10是示出由另一用户间接体验由该用户期望体验的感觉的具体示例的示图。
图11是示出由根据本公开内容的实施方式的信息处理系统执行的呈现处理的第一示例的流程图。
图12是示出指示由用户当前体验的感觉的信息的示例的图。
图13是示出以具体描述由根据本公开内容的实施方式的信息处理系统执行的呈现处理的第二示例的图。
图14是示出以描述与由用户体验到的视觉信息相关联的呈现数据被设置成呈现给另一用户的情况的图。
图15是示出由根据本公开内容的实施方式的信息处理系统执行的呈现处理的第二示例的流程图。
图16是示出以具体描述由根据本公开内容的实施方式的信息处理系统执行的呈现处理的第三示例的图。
图17是示出由根据本公开内容的实施方式的信息处理系统执行的呈现处理的第三示例的流程图。
图18是示出根据本公开内容的实施方式的信息处理装置的示例性硬件配置的框图。
具体实施方式
在下文中,将参照附图详细描述本公开内容的优选实施方式。注意,在本说明书和附图中,具有基本相同的功能和配置的部件用相同的附图标记表示,并且省略对这些结构元件的重复说明。
注意,在本说明书和附图中,有时在相同的附图标记之后使用不同的数字来将具有基本相同或相似的功能和结构的多个结构元件彼此区分开。然而,在不需要特别区分具有基本相同或相似功能和结构的多个结构元件的情况下,仅附加相同的附图标记。此外,存在以下情况:通过添加后跟不同的字母的相同附图标记来区分不同实施方式的相似结构元件。然而,在不需要特别区分每个相似的结构元件的情况下,仅附加相同的附图标记。
注意,按照以下顺序给出描述。
1.实施方式的具体描述
1.1.系统的示例性配置
1.2.用户终端的示例性功能配置
1.3.服务器的示例性功能配置
1.4.注册处理和数据更新处理
1.5.呈现处理
1.5.1第一示例
1.5.2第二示例
1.5.3第三示例
2.示例性硬件配置
3.结论
<1.实施方式的具体描述>
现在给出本公开内容的实施方式的具体描述。
[1.1.系统的示例性配置]
现在描述根据本公开内容的实施方式的信息处理系统的示例性配置。
图1是示出根据本公开内容的实施方式的信息处理系统的示例性配置的图。如图1所示,信息处理系统1包括用户终端10-1、检测设备30-1和呈现设备40-1。用户终端10-1、检测设备30-1和呈现设备40-1可以由用户U1使用。用户终端10-1通过无线或有线的方式连接至检测设备30-1和呈现设备40-1中的每一个。此外,用户终端10-1连接至网络90,并且能够经由网络90与服务器20通信。
此外,如图1所示,信息处理系统1包括用户终端10-2、检测设备30-2和呈现设备40-2。用户终端10-2、检测设备30-2和呈现设备40-2可以由用户U2使用。用户终端10-2通过无线或有线的方式连接至检测设备30-2和呈现设备40-2中的每一个。此外,用户终端10-2连接至网络90,并且能够经由网络90与服务器20通信。
此外,在图1所示的示例中,用户的数量是两个(用户U1和用户U2)。然而,用户的数量不限于特定的用户数量。换言之,在用户再次体验与同一用户实际体验到的感觉相似的感觉的情况下,用户的数量可以是一个。替选地,在用户想要体验与另一用户实际体验到的感觉相似的感觉的情况下,至少两个用户是必要的。用户的数量可以是三个或更多个。在用户的数量为三个或更多个的情况下,足够的是,针对三个或更多个用户中的每一个提供用户终端10、检测设备30和呈现设备40。
此外,本公开内容的实施方式主要基于以下假设:针对每个用户提供用户终端10、检测设备30和呈现设备40。然而,用户终端10、检测设备30和呈现设备40中的至少一些可能不必须针对每个用户提供。换言之,用户终端10、检测设备30和呈现设备40中的至少一些可以被一些或所有用户共享。在这种情况下,可以通过登录时输入的用户ID来识别用户。
此外,本公开内容的实施方式主要基于用户终端10-1和用户终端10-2是智能电话的假设。然而,用户终端10-1和用户终端10-2不限于智能电话。例如,用户终端10-1和用户终端10-2中的至少一些可以是移动电话、平板计算机、个人计算机(PC)、头戴式显示器或摄像机。用户终端10-1和用户终端10-2中的每一个都可以用作信息处理装置。
如图1所示,信息处理系统1包括服务器20。服务器20连接至网络90。然后,服务器20能够经由网络90与用户终端10-1通信。此外,服务器20能够经由网络90与用户终端10-2进行通信。如图1所示,服务器20由独立于用户终端10的计算机构成。然而,服务器20的各种功能可以被并入用户终端10-1或用户终端10-2中。
以上描述了根据本公开内容的实施方式的信息处理系统1的示例性配置。
[1.2.用户终端的示例性功能配置]
现在描述用户终端10的示例性功能配置。
图2是示出根据本公开内容的实施方式的用户终端10的示例性功能配置的图。如图2所示,用户终端10包括控制单元110、操作单元160、存储单元170、通信单元180和输出单元190。现在描述用户终端10中配备的这些功能块。
例如,控制单元110可以由诸如一个或多个中央处理单元(CPU)的处理器构成。在该块由诸如CPU的处理器构成的情况下,处理器可以由电子电路构成。可以通过由这样的处理器执行程序来实现控制单元110。现在描述控制单元110的具体配置。
图3是示出控制单元110的具体配置示例的图。如图3所示,控制单元110包括检测数据获取单元120、检测数据发送控制单元140、管理数据获取单元151、感觉信息确定单元152和呈现控制单元153。
检测数据获取单元120从检测设备30获取由检测设备30检测到的数据(检测数据)。检测数据获取单元120包括视觉信息获取单元121、听觉信息获取单元122、嗅觉信息获取单元123、触觉信息获取单元124和味觉信息获取单元125。此外,检测数据获取单元120包括生物信息获取单元131、地理信息获取单元132、时间信息获取单元133、事件信息获取单元134、其他信息获取单元135和用户信息获取单元136。
在检测设备30具有能够感测用户的视觉信息的视觉信息检测器的情况下,视觉信息获取单元121获取由视觉信息检测器感测的视觉信息。在这种情况下,设置有成像设备的视觉信息检测器可以获得由成像设备捕获的真实世界的图像作为视觉信息,或者可以获得使用环境感测技术(同时定位和地图绘制(SLAM))从图像获得的真实世界的三维环境地图作为视觉信息。例如,视觉信息可以由RGB摄像机、深度摄像机、偏振摄像机、红外摄像机、超声传感器、陀螺仪传感器、加速度计和全球定位系统(GPS)传感器中的一个或多个的组合来检测。
在检测设备30包括能够感测用户的听觉信息的听觉信息检测器的情况下,听觉信息获取单元122获取由听觉信息检测器感测的听觉信息。在这种情况下,听觉信息检测器可以包括麦克风,使得听觉信息检测器获得由麦克风检测到的声音信息作为听觉信息。在从声音信息中识别出声源中的对象的情况下,听觉信息获取单元122可以与声音信息一起获取对象的识别结果。在包括具有方向性的麦克风的情况下,听觉信息检测器可以与声音信息一起获取从麦克风到声源的取向信息和距离信息。距离信息可以由绝对坐标或相对坐标来表示。
在检测设备30具有能够感测用户的嗅觉信息的嗅觉信息检测器的情况下,嗅觉信息获取单元123获取由嗅觉信息检测器感测的嗅觉信息。在这种情况下,嗅觉信息检测器可以包括对特定气体的浓度作出响应的多个传感器,使得嗅觉信息检测器获得由这些传感器检测到的结果作为嗅觉信息。替选地,嗅觉信息检测器可以包括生物传感器,该生物传感器模仿人的嗅觉功能以获得由这样的传感器检测到的结果作为嗅觉信息。
在检测设备30具有能够感测用户的触觉信息的触觉信息检测器的情况下,触觉信息获取单元124获取由触觉信息检测器感测的触觉信息。在这种情况下,触觉信息检测器可以包括附接至用户身体的一部分(例如,手臂、脚或手指)的传感器,使得触觉信息检测器获得由这样的传感器检测到的感觉(例如,施加至用户的握着对象的手的力感或通过用户触摸材料而引起的接触表面的凹凸感)作为触觉信息。
在检测设备30具有能够感测用户的味觉信息的味觉信息检测器的情况下,味觉信息获取单元125获取由味觉信息检测器感测的味觉信息。在这种情况下,味觉信息检测器可以由安装在用户上的传感器(例如,脑电图传感器、生物信息传感器等)构成,使得味觉信息检测器获得由这样的传感器检测到的结果作为味觉信息。替选地,在味觉信息检测器包括直接对从用户的口腔摄取的成分做出反应的味觉传感器的情况下,味觉信息检测器可以获得由这样的传感器检测到的结果作为味觉信息。
以这种方式,可以获取视觉信息、听觉信息、触觉信息、嗅觉信息和味觉信息。通常,视觉信息、听觉信息、触觉信息、嗅觉信息和味觉信息也被称为五种类型的感觉信息。因此,本文中使用的术语“感觉信息”也可以用作五种类型的感觉信息中的至少一种。然后,五种类型的感觉信息可以包括视觉信息、听觉信息、触觉信息、嗅觉信息和味觉信息。然而,感觉信息不限于五种类型的感觉信息中的任何一种。
在检测设备30具有能够感测用户的生物信息的生物信息检测器的情况下,生物信息获取单元131获取由生物信息检测器感测的生物信息。在这种情况下,生物信息检测器可以由附接至用户的心率监测器构成,使得生物信息检测器获得由这样的监测器检测到的心率(例如,来自心率变化的心率上升等的信息)。)作为生物信息。替选地,由汗液传感器构成的生物信息检测器可以获得由这样的传感器检测到的汗液量(例如,指示出汗量超过阈值的情况下用户感觉到热的信息)作为生物信息。替选地,由附接至用户的温度传感器构成的生物信息检测器可以获得由这样的传感器检测到的体温变化作为生物信息。
地理信息获取单元132获取由用户终端10检测到的地理信息。地理信息的格式不限于特定形式。例如,地理信息可以包括用户的GPS信息(位置信息)。时间信息获取单元133获取由用户终端10检测到的时间(temporal)信息。例如,时间信息可以包括日期、时刻(time)信息等。事件信息获取单元134获取由用户终端10检测到的事件信息。事件的类型不限于特定类型。例如,事件可以是远足日期、生日或桑巴狂欢节日期。
其他信息获取单元135获取由用户终端10检测到的其他信息。其他信息可以是任何信息。例如,其他信息可以是由用户在SNS上注册的信息。例如,其他信息可以是从其他设备获取的信息,例如指示由附接至宠物猫的生物传感器获取的猫的生物学状态的生物信息。用户信息获取单元136获取由用户终端10检测到的用户ID。
通过再次参照图2继续进行描述。
操作单元160具有接收由用户进行的操作输入的功能。本公开内容的实施方式主要基于以下假设:操作单元160包括触摸屏面板。然而,操作单元160可以包括按钮、鼠标、键盘、开关、操纵杆等。此外,操作单元160可以包括检测用户的语音的麦克风。
存储单元170包括存储器,并且是存储由控制单元110执行的程序或执行该程序所需的数据的记录介质。此外,存储单元170暂时存储用于由控制单元110进行的算术逻辑运算的数据。例如,存储单元170由磁存储设备、半导体存储设备、光学存储设备或磁光存储设备构成。
通信单元180包括通信电路,并且具有经由网络与其他设备进行通信的功能。例如,通信单元180具有从其他设备获取数据并且向其他设备提供数据的功能。例如,通信单元180由通信接口构成。
输出单元190输出各种类型的信息。例如,输出单元190可以包括能够执行由用户在视觉上可识别的显示的显示器。在这种情况下,显示器可以是液晶显示器或有机电致发光(EL)显示器。此外,例如,在不需要显示信息的情况下,用户终端10可以不必包括输出单元190。
此外,本公开内容的实施方式主要基于以下假设:操作单元160、通信单元180、存储单元170和输出单元190被包括在用户终端10中。然而,操作单元160、通信单元180、存储单元170或输出单元190中的至少一个可以被设置在用户终端10的外部。
以上描述了根据本公开内容的实施方式的用户终端10的示例性功能配置。
[1.3.服务器的示例性功能配置]
现在描述根据本公开内容的实施方式的服务器20的示例性功能配置。图4是示出根据本公开内容的实施方式的服务器20的示例性功能配置的图。如图4所示,服务器20包括控制单元210、存储单元230和通信单元240。
控制单元210控制服务器20中的每个部件。此外,控制单元210可以由例如中央处理单元(CPU)等构成。在控制单元210由诸如CPU的处理器构成的情况下,这样的处理器可以由电子电路构成。控制单元210可以通过由这样的处理器执行程序来实现。
存储单元230包括存储器,并且是存储由控制单元210执行的程序或执行该程序所需的数据的记录介质。此外,存储单元230暂时存储用于由控制单元210进行的算术逻辑运算的数据。例如,存储单元230由磁存储设备、半导体存储设备、光学存储设备或磁光存储设构成。
现在描述执行程序所需的数据的示例。图5是示出执行程序所需的数据的示例的图。如图5所示,存储单元230能够存储存储数据231和相关性数据232,作为执行程序所需的数据的示例。此外,稍后将描述存储数据231和相关性数据232的细节。
再次通过参照图4继续进行描述。
通信单元240包括通信电路,并且具有经由网络与其他设备进行通信的功能。例如,通信单元240具有从其他设备获取数据并且向其他设备提供数据的功能。例如,通信单元240由通信接口构成。
以上描述了根据本公开内容的实施方式的服务器20的示例性功能配置。
[1.4.注册处理和数据更新处理]
现在描述由根据本公开内容的实施方式的信息处理系统1执行的注册处理和数据更新处理。
首先,用户终端10中的检测数据获取单元120获取由检测设备30和用户终端10检测到的各种类型的信息(五种类型的感觉信息、生物信息、地理信息、时间信息、事件信息、其他信息和用户ID)。例如,可以由检测设备30检测五种类型的感觉信息和生物信息。另一方面,可以在用户终端10中检测地理信息、时间信息、事件信息、其他信息和用户ID。
在一些情况下,各种类型的信息中的一个信息或多个信息的任何组合在下文中可以被称为“检测数据”。这样的检测数据是在对应定时处从同一用户检测到的数据。对应定时可以是同时的,或者可以是满足预先建立的预定条件的定时。
检测数据发送控制单元140控制通过通信单元180向服务器20的各种类型信息的发送。
在服务器20中,数据获取单元212获取通过通信单元240从用户终端10接收到的各种类型的信息。然后,存储控制单元214基于由数据获取单元212获取的各种类型的信息来更新存储在存储单元230中的存储数据231。具体地,足够的是,存储控制单元214将由数据获取单元212获取的各种类型的信息添加到存储在存储单元230中的存储数据231。
图6是示出存储数据231的示例的图。参照图6,由用户U1的检测设备30-1检测到的各种类型的信息(五种类型的感觉信息、生物信息、地理信息、时间信息、事件信息、其他信息和用户ID=“U1”)被添加到存储数据231。此外,由用户U2的检测设备30-2检测到的各种类型的信息(五种类型的感觉信息、生物信息、地理信息、时间信息、事件信息、其他信息和用户ID=“U2”)被添加到存储数据231。
如图6所示,在对应定时处从同一用户检测到的各种类型的信息作为一个数据被注册在存储数据231中。随后,相关性计算单元216基于存储数据231来计算相关性数据232。具体地,相关性计算单元216基于存储数据231,基于在对应定时处从同一用户检测到多个检测数据的频率来计算多个检测数据之间的相关性程度。例如,相关性计算单元216基于存储数据231,基于在对应定时处从同一用户检测到多个感觉信息的频率来计算多个感觉信息之间的相关性程度。
本公开内容的实施方式基于以下假设:相关性计算单元216在感测到多个检测数据中的一个检测数据的条件下,将在与多个检测数据中的所述一个检测数据对应的定时处从同一用户感测到多个检测数据中的其他检测数据的比率计算为相关性程度。例如,相关性计算单元216在感测到多个感觉信息中的一个感觉信息的条件下,将在与所述一个感觉信息对应的定时处从同一用户感测到多个感觉信息中的其他感觉信息的比率计算为相关性程度。
图7是示出相关性数据232的示例的图。参照图7,相关性数据232在检测到第一检测数据的条件下包括在与第一检测数据对应的定时处从同一用户检测到第二检测数据的比率作为“相关性程度”。在图7中,在感测到第一检测数据“视觉信息V1”的条件下,包括在与第一检测数据“视觉信息V1”对应的定时处从同一用户感测到第二检测数据“听觉信息A1”的比率作为“2%的相关性程度”。
此外,可以以任何方式表达要与阈值进行比较的相关性程度。例如,作为相关性程度,比率可以如上所述的那样直接被使用,或可以是将比率转换之后的另一值。将更具体地描述相关性程度的计算。此外,可以在感觉信息或生物信息紧之后使用括号来指示从感觉信息或生物信息提取的特性(例如,“视觉信息(曲奇)”等)。
例如,假设以下情况:视觉信息A(猫)、视觉信息B(张开嘴的猫)、视觉信息C(人)、触觉信息A(左手:猫的毛发浓密的感觉)、触觉信息B(右手:所持有玩具的重量)、听觉信息A(猫咪的叫声)和其他信息A(由附接至猫的传感器对低血糖水平的检测)。
在这种情况下,在同时获取视觉信息A、视觉信息C、触觉信息A和触觉信息B的情况下,相关性计算单元216可以使视觉信息C与视觉信息A之间的相关性程度增大,可以使(视觉信息A+视觉信息C)与触觉信息A之间的相关性程度增大,并且可以使(视觉信息A+视觉信息C+触觉信息B)与触觉信息A之间的相关性程度增大。换言之,相关性计算单元216可以使新创建的组合的相关性程度增大,或者可以使重新创建的组合的相关性程度增大。
此外,在同时获取视觉信息A、视觉信息B和听觉信息A超过预定次数的情况下,相关性计算单元216可以使视觉信息A与视觉信息C的相关性程度增大,并且可以使视觉信息A与视觉信息B的相关性程度增大。然后,在多个感觉信息之间的相关性程度达到预定值的情况下,相关性计算单元216可以将多个感觉信息之间的相关性程度限定为“相关”。
另一方面,在预定时段或预定空间中同时获取视觉信息A和触觉信息B的次数小于预定次数的情况下,相关性计算单元216可以使视觉信息A与触觉信息B之间的相关性程度减小。然后,在多个感觉信息之间的相关性程度达到预定值的情况下,相关性计算单元216可以将多个感觉信息之间的相关性程度限定为“不相关”。
此外,在视觉信息A、视觉信息B和其他信息A的组合与听觉信息A的相关性程度超过阈值(例如,高达80%)并且视觉信息A、视觉信息B和其他信息A的其他组合与听觉信息A的相关性程度小于阈值(例如,低至2%)的情况下,其他信息A可以为被限定为在同时获取视觉信息A和视觉信息B的情况下生成听觉信息A的要求。
尽管以上具体描述了相关性程度的计算,但是可以使用其他技术来执行相关性程度的计算。例如,相关性计算单元216可以使用诸如人工智能和机器学习的技术来计算多个感觉信息之间的相关性程度,或者可以在生成感觉信息的情况下计算用于生成其他感觉信息的条件。
此外,本公开内容的实施方式基于以下假设:相关性程度是基于任何用户(本公开内容的实施方式中的用户U1和用户U2)的检测数据共同计算的,而不考虑从哪个用户检测到包括在存储数据231中的检测数据。然而,可以针对检测到检测数据的每个用户来计算基于包括在存储数据231中的检测数据的相关性程度。
图8是示出由根据本公开内容的实施方式的信息处理系统1执行的注册处理的示例的流程图。此外,图8所示的流程图仅示出了由根据本公开内容的实施方式的信息处理系统1执行的注册处理的示例。因此,由根据本公开内容的实施方式的信息处理系统1执行的注册处理不限于图8所示的流程图的示例。
首先,用户终端10中的检测数据获取单元120获取由检测设备30和用户终端10检测到的各种类型的信息(五种类型的感觉信息、生物信息、地理信息、时间信息、事件信息、其他信息和用户ID)(S11)。然后,检测数据发送控制单元140控制各种类型的信息通过通信单元180向服务器20的发送(S12)。
图9是示出由根据本公开内容的实施方式的信息处理系统1执行的数据更新处理的示例的流程图。此外,图9所示的流程图仅示出了由根据本公开内容的实施方式的信息处理系统1执行的数据更新处理的示例。因此,由根据本公开内容的实施方式的信息处理系统1执行的数据更新处理不限于图9所示的流程图的示例。
在服务器20中,通信单元240首先接收从用户终端10发送的各种类型的信息(S21),并且数据获取单元212获取通过通信单元240接收到的各种类型的信息。然后,存储控制单元214基于由数据获取单元212获取的各种类型的信息来更新存储数据231(S22)。相关性计算单元216基于存储数据231来更新相关性数据232(S23)。
以上描述了由根据本公开内容的实施方式的信息处理系统1执行的注册处理和数据更新处理。
[1.5.呈现处理]
现在描述由根据本公开内容的实施方式的信息处理系统1执行的呈现处理。
(1.5.1第一示例)
现在描述由根据本公开内容的实施方式的信息处理系统1执行的呈现处理的第一示例。在该描述中,假设用户U2想要体验与用户U1体验到的感觉相似的感觉。然而,用户U2能够体验与用户U2已经体验过的感觉相似的感觉。在用户终端10-2中,首先选择第一感觉信息。在这种情况下,由用户U2选择的第一感觉信息由操作单元160接收并且由感觉信息确定单元152获取。
在本公开内容的实施方式中,主要描述以下情况:选择指示用户U2想要体验的感觉的信息作为第一感觉信息。然而,可以以任何方式选择第一感觉信息。例如,第一感觉信息可以由用户终端10-2根据预定算法来选择。在这种情况下,由感觉信息确定单元152来获取通过预定算法选择的第一感觉信息。
在选择了第一感觉信息的情况下,管理数据获取单元151从服务器20获取相关性数据232。感觉信息确定单元152基于相关性数据来确定与第一感觉信息相关的第二感觉信息。具体地,感觉信息确定单元152可以基于与第一感觉信息的相关性程度超过阈值的感觉信息来确定第二感觉信息。例如,感觉信息确定单元152可以将与第一感觉信息的相关性程度超过阈值的感觉信息确定为第二感觉信息。
然后,呈现控制单元153控制与第二感觉信息相关联的呈现数据向用户U2的呈现。这样的配置使得用户U2可以体验与用户U1实际体验到的感觉对应的感觉。
在这种情况下,例如,如同第一感觉信息的类型是视觉信息并且第二感觉信息的类型是听觉信息的情况,第一感觉信息的类型可以与第二感觉信息的类型不同。以这种方式,用户U2能够以另一种类型的感觉来体验与用户U1实际体验到的感觉类似的感觉。
在呈现控制单元153控制与第二感觉信息相关联的呈现数据向用户U2的呈现的情况下,呈现控制单元153还可以控制与第一感觉信息相关联的呈现数据向用户U2的呈现。在与第一感觉信息相关联的呈现数据也被呈现给用户U2的情况下,期望用户U2以更强的真实感体验用户U2想要体验的感觉。
例如,与第一感觉信息相关联的感觉被指示为“感觉X0”。然后,假设获取“感觉X1”、“感觉X2”和“感觉X3”作为和与第一感觉信息相关的第二感觉信息相关联的感觉。在这种情况下,呈现控制单元153还可以控制与“感觉X0”相关联的呈现数据向用户U2的呈现,使得用户U2不仅体验“感觉X1”、“感觉X2”和“感觉X3”,而且还体验“感觉X0”。
相反,在呈现控制单元153控制与第二感觉信息相关联的呈现数据向用户U2的呈现的情况下,呈现控制单元153不一定控制与第一感觉信息相关联的呈现数据向用户U2的呈现。在没有将与第一感觉信息相关联的呈现数据呈现给用户U2的情况下,用户U2间接地体验用户U2想要体验的感觉。
例如,类似于上述情况,假设获取“感觉X1”、“感觉X2”和“感觉X3”作为和与第一感觉信息相关的第二感觉信息相关联的感觉。在这种情况下,呈现控制单元153可以不一定控制与“感觉X0”相关联的呈现数据向用户U2的呈现,使得在用户U2体验到“感觉X1”、“感觉X2”和“感觉X3”的同时,用户U2不会体验到“感觉X0”。
在该示例中,感觉信息和呈现数据可以预先彼此关联。例如,在呈现设备40包括视觉呈现设备(例如,显示器等)的情况下,呈现控制单元153可以执行控制,使得与视觉信息相关联的呈现数据由视觉呈现设备呈现。例如,呈现控制单元153生成与曲奇的视觉信息相关联的图像数据,并且控制由视觉呈现设备进行的呈现,使得呈现控制单元153可以控制与曲奇的视觉信息相关联的呈现数据的呈现。
例如,在呈现设备40包括触觉呈现设备的情况下,呈现控制单元153可以执行控制,使得与触觉信息相关联的呈现数据由触觉呈现设备来呈现。例如,呈现控制单元153生成与曲奇的触觉信息相关联的触觉信息(例如,用手持有曲奇的感觉)并且控制由触觉呈现设备进行的呈现,使得呈现控制单元153可以控制与曲奇的触觉信息相关联的呈现数据的呈现。
在这种情况下,呈现控制单元153向用户提供被用户触摸的对象的油腻感,从曲奇的大小预测重量,并且向用户的手施加压力,使得呈现控制单元153可以给用户重量的感觉。此外,呈现控制单元153在检测到用户的咬操作的情况下,控制触觉呈现设备向用户的牙齿施加预定的适当排斥力,使得呈现控制单元153可以向用户提供曲奇的松脆的触感。
例如,在呈现设备40包括嗅觉呈现设备的情况下,呈现控制单元153可以控制嗅觉呈现设备呈现与嗅觉信息相关联的呈现数据。例如,呈现控制单元153生成与曲奇的嗅觉信息相关联的嗅觉信息(例如,曲奇的气味),并且控制由嗅觉呈现设备进行的呈现,使得呈现控制单元153可以控制与曲奇的嗅觉信息相关联的呈现数据的呈现。
在这种情况下,呈现控制单元153可以在检测到曲奇的位置的情况下生成气味,使得气味从曲奇的位置通过空气传播。例如,呈现控制单元153可以通过在用户接近曲奇的虚拟显示的图像时增加发出气味的强度来增加曲奇的气味的浓度。
例如,在呈现设备40包括听觉呈现设备的情况下,呈现控制单元153可以控制与听觉信息相关联的呈现数据被听觉呈现设备呈现。例如,呈现控制单元153生成与曲奇的听觉信息相关联的听觉信息(例如,咀嚼曲奇的声音)并且控制由听觉呈现设备进行的呈现,使得呈现控制单元153可以控制与曲奇的听觉信息相关联的呈现数据的呈现。
在这种情况下,呈现控制单元153根据牙齿的运动和曲奇在口腔中的虚拟位置来生成松脆咀嚼的声音数据,并且呈现所生成的声音数据。即使在控制与听觉信息相关联的呈现数据的呈现的情况下,呈现控制单元153也可以控制定位的声音数据和具有立体效果的声音数据的呈现,这与控制与嗅觉信息相关联的呈现数据的呈现的情况相似。
在执行感觉信息的识别的情况下,可以提取感觉信息的特性(即使在执行生物信息的识别的情况下,也可以提取生物信息的特性)。例如,在执行对包括曲奇的视觉信息的识别的情况下,用户体验到该感觉,因此可以表明用户体验到曲奇的视觉感觉。
现在描述由用户U2间接体验用户U2想要体验的感觉的具体示例。特别地,给出以下情况的描述:选择曲奇的味觉作为用户U2想要体验的感觉并且确定曲奇的视觉感觉、听觉感觉和嗅觉感觉代替曲奇的味觉,作为用户U2实际体验到的感觉。图10是示出由用户U2间接体验用户U2想要体验的感觉的具体示例的图。
如图10所示,首先假设用户U2想要体验曲奇的味觉,并且用户U2在用户终端10-2中选择被设置为第一感觉信息的“味觉信息(曲奇)”。在这种情况下,由用户U2选择的被设置为第一感觉信息的“味觉信息(曲奇)”由操作单元160接收,并且由感觉信息确定单元152获取。
在选择被设置为第一感觉信息的“味觉信息(曲奇)”的情况下,管理数据获取单元151从服务器20获取相关性数据232。例如,感觉信息确定单元152基于相关性数据232将与被设置为第一感觉信息的“味觉信息(曲奇)”的相关性程度超过阈值的感觉信息确定为第二感觉信息。
在图10所示的示例中,“视觉信息(曲奇)、触觉信息(曲奇)和嗅觉信息(曲奇)”与被设置为第一感觉信息的“味觉信息(曲奇)”的相关性程度为“80%”。假设阈值为“70%”,则“视觉信息(曲奇)、触觉信息(曲奇)和嗅觉信息(曲奇)”与被设置为第一感觉信息的“味觉信息(曲奇)”的为80%的相关性程度超过阈值“70%”,因此感觉信息确定单元152将“视觉信息(曲奇)、触觉信息(曲奇)和嗅觉信息(曲奇)”确定为第二感觉信息。
然后,呈现控制单元153控制与第二感觉信息“视觉信息(曲奇)、触觉信息(曲奇)和嗅觉信息(曲奇)”相关联的呈现数据向用户U2的呈现。这样的配置使得用户U2可以体验与用户U1实际体验到的感觉(与曲奇相关的味觉感觉)对应的感觉(与曲奇相关的视觉感觉、听觉感觉和嗅觉感觉)。
在该示例中,特别地,假设呈现控制单元153控制用户U2的与被设置为第二感觉信息的“视觉信息(曲奇)、触觉信息(曲奇)和嗅觉信息(曲奇)”代替被设置为第一感觉信息的“味觉信息(曲奇)”相关联的呈现数据的呈现。这允许用户U2间接体验用户U2想要体验的感觉(与曲奇相关的味觉感觉)。
此外,在上述示例中,主要描述了以下情况:预先确定是否将与第一感觉信息相关联的呈现数据呈现给用户U2。然而,可以根据情况来控制是否将与第一感觉信息相关联的呈现数据呈现给用户U2。换言之,呈现控制单元153可以基于预定条件来确定是否控制与第一感觉信息相关联的呈现数据向用户U2的呈现。
预定条件可以是任何条件。例如,预定条件可以包括指示是否存在呈现与第一感觉信息相关联的呈现数据的呈现设备的条件。换言之,呈现控制单元153可以根据用户U2是否具有呈现与第一感觉信息相关联的呈现数据的呈现设备来确定是否控制与第一感觉信息相关联的呈现数据向用户U2的呈现。
替选地,预定条件可以是以下条件:该条件指示是否进行了用于允许呈现与第一感觉信息相关联的呈现数据的设置。换言之,呈现控制单元153可以根据是否进行了用于允许呈现与第一感觉信息相关联的呈现数据的设置(根据用户U2的偏好设置或功率模式设置)来确定是否控制与第一感觉信息相关联的呈现数据向用户U2的呈现。
例如,呈现控制单元153在设置功率节省模式的情况下,不控制与第一感觉信息相关联的呈现数据向用户U2的呈现,并且在未设置功率节省模式的情况下,可以控制与第一感觉信息相关联的呈现数据向用户U2的呈现。替选地,例如,在出于卫生等原因而优选地不呈现与第一感觉信息(例如,味觉信息)相关联的呈现数据的情况下,还假设不控制与第一感觉信息相关联的呈现数据向用户U2的呈现。
图11是示出由根据本公开内容的实施方式的信息处理系统1执行的呈现处理的第一示例的流程图。此外,图11所示的流程图仅示出了由根据本公开内容的实施方式的信息处理系统1执行的呈现处理的示例。例如,在图11所示的示例中,主要假设用户U2体验与用户U1已经体验过的感觉相似的感觉。然而,用户U2能够体验与用户U2已经体验过的感觉相似的感觉。此外,由根据本公开内容的实施方式的信息处理系统1执行的呈现处理不限于图11所示的流程图的示例。
在用户终端10-2中,用户U2首先选择指示用户U2想要体验的感觉的信息(第一感觉信息)。在这种情况下,由用户U2选择的第一感觉信息由操作单元160接收并且由感觉信息确定单元152获取。此外,还由感觉信息确定单元152获取设备信息和个人信息(S31)。
设备信息可以包括指示由用户U2持有的呈现设备40-2的类型的信息(即,指示连接至用户终端10-2的呈现设备40-2的类型的信息)。呈现设备40-2的类型可以是可以由呈现设备40-2向用户U2呈现的呈现数据的类型(即,呈现设备40-2使得用户U2能够体验的感觉的类型)。此外,个人信息是关于用户U2的信息,并且可以包括用户U2的年龄、性别等。
在选择了指示用户U2想要体验的感觉的感觉信息(第一感觉信息)的情况下,管理数据获取单元151从服务器20获取相关性数据232。然后,感觉信息确定单元152从相关性数据获取指示用户U2想要体验的感觉的感觉信息(第一感觉信息)与用户U1的感觉信息之间的相关性程度(S32)。感觉信息确定单元152确定相关性程度是否大于阈值(S33)。
如果相关性程度等于或小于阈值(在S33中为“否”),则感觉信息确定单元152终止呈现处理。另一方面,在相关性程度大于阈值(在S33中为“是”)的情况下,感觉信息确定单元152基于设备信息来确定用户U2是否具有呈现与用户U1的感觉信息相关联的呈现数据的呈现设备40-2(S34)。
如果用户U2不具有呈现与用户U1的感觉信息相关联的呈现数据的呈现设备40-2(在S34中为“否”),则呈现控制单元153终止呈现处理。另一方面,如果用户U2具有呈现与用户U1的感觉信息相关联的呈现数据的呈现设备40-2(在S34中为“是”),则呈现控制单元153基于用户U2的个人信息来控制与用户U1的感觉信息相关联的呈现数据呈现给用户U2(S35),并且终止呈现处理。
基于用户U2的个人信息的呈现数据不限于特定类型。例如,认为期望用户U2的年龄越低,由用户U2体验到的感觉的强度越小。因此,呈现控制单元153可以执行控制,使得随着用户U2的年龄越低,将与指示具有越低强度的感觉的感觉信息相关联的呈现数据呈现给用户U2。
替选地,在用户U2的性别是女性的情况下,认为与用户U2的性别是男性的情况相比,期望由用户U2体验到的感觉的强度较小。因此,在用户U2的性别是女性的情况下,呈现控制单元153可以执行控制,使得与用户U2的性别是男性的情况相比,将与指示具有较小强度的感觉的感觉信息相关联的呈现数据呈现给用户U2。此外,呈现数据可以不一定特别取决于用户U2的个人信息。
以上描述了由根据本公开内容的实施方式的信息处理系统1执行的呈现处理的第一示例。
(1.5.2第二示例)
现在描述由根据本公开内容的实施方式的信息处理系统1执行的呈现处理的第二示例。现在假设,在用户U2的生物信息与用户U1的生物信息相关联的情况下,通过使用户U2体验与用户U1体验到的感觉相似的感觉,用户U2体验的感觉伴随有更强的真实感。在这种情况下,在用户U1体验到的感觉在一定程度上比用户U2当前体验的感觉具有更高的亲和性的情况下,用户U2也能体验用户U1所体验到的感觉。
此外,以与以下假设的情况类似的方式,在用户U2的生物信息与用户U2过去的生物信息相关联的情况下,通过使用户U2再次体验与用户U2过去体验过的感觉相似的感觉,用户U2体验到的感觉可以伴随有更强的真实感。
现在假设感觉信息确定单元152获取基于用户U2的感觉信息(第一感觉信息)以及基于用户U2的生物信息(第一生物信息)。在这种情况下,感觉信息确定单元152将在与对应于第一生物信息的第二生物信息相关联的定时处从同一用户(在该示例中为用户U1)感测的并且与第一感觉信息相关的感觉信息确定为第二感觉信息。对应于第一生物信息的第二生物信息可以是与第一生物信息相同或相似(具有相同特性)的第二生物信息。
现在使用由用户U2输入的生物信息(特别是由用户U2在社交网络服务(SNS)上注册的生物信息)作为基于用户U2的生物信息(第一生物信息)来给出描述。然而,基于用户U2的生物信息(第一生物信息)可以是由感测用户U2的检测设备30-2获得的生物信息。
此外,使用由用户U2输入的感觉信息(特别是由用户U2在SNS上注册的感觉信息)作为基于用户U2的感觉信息(第一感觉信息)来给出描述。然而,基于用户U2的感觉信息(第一生物信息)可以是由感测用户U2的检测设备30-2获得的感觉信息。
现在详细描述由根据本公开内容的实施方式的信息处理系统1执行的呈现处理的第二示例。图12是示出指示用户U2当前体验的感觉的信息的示例的图。参照图12,示出了视觉信息G1作为指示用户U2当前体验的感觉的信息(感觉信息)的示例。用户U2体验由视觉信息G1指示的感觉,因此用户体验关于山的视觉感觉。
图13是示出以具体描述由根据本公开内容的实施方式的信息处理系统1执行的呈现处理的第二示例的图。现在假设,在用户U2正在体验由视觉信息G1指示的感觉的情况下,如数据D1中所示,生物信息(心率上升)、视觉信息(山)和生物信息(热)被用户U2注册在SNS上。在这种情况下,感觉信息确定单元152获取生物信息(心率上升)、视觉信息(山)和生物信息(热)。
另一方面,假设,作为用户U1的体验,在用户U1体验关于太阳的视觉感觉的情况下,用户U1体验由于直接暴露于由太阳发出的阳光而变得出汗过多并且心率上升。在这种情况下,如图13所示,用户ID“U1”、视觉信息(太阳)和生物信息(心率上升)彼此关联的数据被注册在存储数据231中。
类似地,假设,作为用户U1的体验,在用户U1体验关于暖气(heating)的视觉感觉的情况下,用户U1体验由于停留在用户U1可以靠近看到暖气的地方而变得出汗过多并且心律上升。在这种情况下,如图13所示,用户ID“U1”、视觉信息(暖气)和生物信息(心率上升)彼此关联的数据被注册在存储数据231中。
感觉信息确定单元152在获取用户U2的生物信息(心率上升)、视觉信息(山)和生物信息(热)时,获取与用户U2的生物信息对应的用户U1的生物信息。在该示例中,感觉信息确定单元152从存储数据231获取用户U1的生物信息(心率上升)作为与用户U2的生物信息(心率上升)具有相同特性的生物信息。然后,感觉信息确定单元152从存储数据31获取视觉信息(太阳)和视觉信息(暖气),作为在与用户U1的生物信息(心率上升)对应的定时处从该用户U1感测的感觉信息。
随后,感觉信息确定单元152将从用户U1感测的视觉信息(太阳)和视觉信息(暖气)之中的、与用户U2当前正在体验的视觉信息(山)和生物信息(热)两者相关的感觉信息确定为第二感觉信息。
参照相关性数据232,视觉信息(太阳)与视觉信息(山)具有80%的相关性程度,并且与生物信息(热)具有60%的相关性程度。例如,假设阈值为50%。在这种情况下,视觉信息(太阳)与视觉信息(山)和生物信息(热)两者的相关性程度均超过阈值。因此,可以说视觉信息(太阳)与视觉信息(山)和生物信息(热)两者都相关。
因此,从用户U1感测的视觉信息(太阳)被认为在一定程度上比用户U2当前正在体验的视觉信息(山)和生物信息(热)具有更高的亲和性,因此可以将与视觉信息(太阳)相关联的呈现数据呈现给用户U2。
此外,在未从用户U2获取与用户U1的感觉信息相同类型的感觉信息(第二感觉信息)的情况下,感觉信息确定单元152可以控制与用户U1的感觉信息相关联的呈现数据被无条件地呈现给用户U2。例如,感觉信息可以是触觉信息(猫毛)、嗅觉信息(薄荷)等。
在未从用户U1获取与用户U1的感觉信息相同类型的感觉信息(第二感觉信息)的情况下,感觉信息确定单元152可以执行控制,使得与用户U2的感觉信息相关联的呈现数据按原样呈现给用户U2。例如,感觉信息可以是听觉信息、生物信息(腿是沉重的)等。可以通过向用户的腿施加压力来将与生物信息(腿是沉重的)相关联的呈现数据提供给用户。
另一方面,参照相关性数据232,视觉信息(暖气)与视觉信息(山)具有1%的相关性程度,并且与生物信息(热)具有80%的相关性程度。以类似的方式,假设阈值为50%。在这种情况下,视觉信息(暖气)与生物信息(热)的相关性程度超过阈值,但是视觉信息(暖气)与视觉信息(山)的相关性程度等于或小于阈值。因此,可以说视觉信息(暖气)与生物信息(热)相关,而不与视觉信息(山)相关。
因此,认为从用户U1感测的视觉信息(暖气)在一定程度上与用户U2当前正在体验的生物信息(热)具有较高的亲和性,但是与视觉信息(山)的亲和性不是很高,因此,与视觉信息(暖气)相关联的呈现数据可以不必呈现给用户U2。
图14是示出以描述与用户U1体验到的视觉信息相关联的呈现数据被呈现给用户U2的情况的图。如以上参照图13所述,与用户U1体验到的视觉信息(太阳)相关联的呈现数据被呈现给用户U2。这允许用户U2也体验与视觉信息(太阳)相关联的感觉,因此用户U2所体验的感觉伴随有更强的真实感。
参照图14,示出了视觉信息G2,其中视觉信息(太阳)被添加到图12所示的视觉信息G1。此外,如以上所述,与视觉信息(暖气)相关联的呈现数据不被呈现给用户U2,因此视觉信息(暖气)不被添加到视觉信息G2。
图15是示出由根据本公开内容的实施方式的由信息处理系统1执行的呈现处理的第二示例的流程图。此外,图15所示的流程图仅示出了由根据本公开内容的实施方式的信息处理系统1执行的呈现处理的示例。例如,在图15所示的示例中,主要假设用户U2体验与用户U1已经体验过的感觉相似的感觉。然而,用户U2能够体验与用户U2已经体验过的感觉相似的感觉。此外,由根据本公开内容的实施方式的信息处理系统1执行的呈现处理不限于图15所示的流程图的示例。
在用户终端10-2中,感觉信息确定单元152首先获取用户U2的生物信息(第一生物信息)。此外,感觉信息确定单元152还获取设备信息和个人信息(S41)。在由感觉信息确定单元152获取用户U2的生物信息(第一生物信息)的情况下,管理数据获取单元151从服务器20获取相关性数据232。然后,感觉信息确定单元152从相关性数据中获取与用户U2的生物信息(第一感觉信息)相关的用户U1的感觉信息(第二感觉信息)(S42)。
感觉信息确定单元152基于设备信息来确定用户U2是否具有呈现与用户U1的感觉信息(第二感觉信息)相关联的呈现数据的呈现设备40-2(S43)。如果用户U2不具有呈现与用户U1的感觉信息(第二感觉信息)相关联的呈现数据的呈现设备40-2(在S43中为“否”),则感觉信息确定单元152终止呈现处理。
另一方面,如果用户U2具有呈现与用户U1的感觉信息(第二感觉信息)相关联的呈现数据的呈现设备40-2(在S43中为“是”),则操作由通过感觉信息确定单元152分支到S44。
如果未从用户U2获取与用户U1的感觉信息相同类型的感觉信息(第二感觉信息)(在S44中为“否”),则操作由感觉信息确定单元152分支到S47。另一方面,如果从用户U2获取了与用户U1的感觉信息相同类型的感觉信息(第二感觉信息)(在S44中为“是”),则感觉信息确定单元152从相关性数据中获取用户U1的感觉信息(第二感觉信息)与用户U2的感觉信息之间的相关性程度(S45)。
感觉信息确定单元152确定相关性程度是否大于阈值(S46)。如果相关性程度等于或小于阈值(在S46中为“否”),则呈现控制单元153终止呈现处理。另一方面,如果相关性程度大于阈值(在S46中为“是”),则呈现控制单元153基于用户U2的个人信息来控制与用户U1的感觉信息相关联的呈现数据呈现给用户U2(S47),并且然后终止呈现处理。
以上描述了由根据本公开内容的实施方式的信息处理系统1执行的呈现处理的第二示例。
(1.5.3第三示例)
现在描述由根据本公开内容的实施方式的信息处理系统1执行的呈现处理的第三示例。在该示例中,假设在与如上所述的那样选择的感觉信息(第一感觉信息)相关的感觉信息的类型为第一类型的情况下,感觉信息确定单元152确定与第一类型不同的第二类型的感觉信息作为第二感觉信息,并且呈现控制单元153将与第二感觉信息相关联的呈现数据呈现给用户U2。这例如在用户U2不能感知与第一类型的感觉信息相关联的感觉的情况下或者在第一类型的感觉信息不完美的情况下是有效的。
例如,在与所选择的感觉信息(第一感觉信息)相关的感觉信息的类型为第一类型的情况下,感觉信息确定单元152可以将与第一类型不同的第二类型的感觉信息确定为第二感觉信息。这允许和与所选择的感觉信息(第一感觉信息)相关的感觉信息相似的感觉信息被确定为第二感觉信息,并且允许与第二感觉信息对应的呈现数据被呈现给用户U2。第一类型和第二类型中的每一个不限于特定类型。
在这种情况下,在与所选择的感觉信息(第一感觉信息)相关的感觉信息的类型为第一类型的情况下,感觉信息确定单元152可以基于感觉信息的识别结果将第二类型的感觉信息确定为第二感觉信息。可以以任何方式执行感觉信息的识别。
例如,在所选择的感觉信息(第一感觉信息)是视觉信息的情况下,感觉信息确定单元152可以基于对视觉信息的分析来获得用户步行声音的反射声(听觉信息)、空气流动(触觉信息)等作为识别结果。然后,可以将听觉信息(用户步行声音的反射声)和触觉信息(空气流动)确定为第二感觉信息。
替选地,在所选择的感觉信息(第一感觉信息)是视觉信息的情况下,感觉信息确定单元152可以通过分析视觉信息来获得猫的口部的运动等作为识别结果。然后,在识别出猫的口部张开或闭合的情况下,可以将猫的喊叫(听觉信息)确定为第二感觉信息。在这种情况下,可以根据猫的口部的张开和闭合将猫的喊叫呈现给使用者U2。
替选地,在所选择的感觉信息(第一感觉信息)是视觉信息的情况下,感觉信息确定单元152可以通过对视觉信息进行分析来获得用户的手与猫之间的位置关系等作为识别结果。然后,在识别出用户的手接触猫的情况下,可以将触觉信息(猫毛)确定为第二感觉信息。在这种情况下,可以根据用户的手的运动将触觉信息(猫毛)呈现给用户U2。
例如,假设用户U2是视力障碍的人,因此不能感知视觉感觉,但是能够感知听觉感觉和触觉感觉。在这种情况下,如果与由用户U2选择的感觉信息(第一感觉信息)相关的感觉信息的类型是视觉感觉,则感觉信息确定单元152可以将听觉信息或触觉信息确定为与要呈现给用户U2的呈现数据相关联的第二感觉信息。换言之,第一类型可以包括视觉感觉,并且第二类型可以包括听觉感觉或触觉感觉中的至少一种。
现在详细描述由根据本公开内容的实施方式的信息处理系统1执行的呈现处理的第三示例。图16是示出以具体描述由根据本公开内容的实施方式的信息处理系统1执行的呈现处理的第三示例的图。在该示例中,假设用户U2是视力障碍的人。在这种情况下,假设选择了与视觉信息(猫)相关联的感觉。在这种情况下,足够的是,感觉信息确定单元152基于视觉信息(猫)来获取听觉信息(猫)。然后,呈现控制单元153优选地通过控制与听觉信息(猫)相关联的呈现数据向用户U2的呈现,使用户U2实际体验与听觉信息(猫)相关联的听觉感觉。
图17是示出由根据本公开内容的实施方式的信息处理系统1执行的呈现处理的第三示例的流程图。此外,图17所示的流程图仅示出了由根据本公开内容的实施方式的信息处理系统1执行的呈现处理的示例。因此,由根据本公开内容的实施方式的信息处理系统1执行的呈现处理不限于图17所示的流程图的示例。
在用户终端10-2中,首先,由感觉信息确定单元152获取如上所述的那样选择的感觉信息(第一感觉信息)(S51)。此外,还由感觉信息确定单元152获取设备信息和个人信息(S52)。在该示例中,如果用户U2能够感知所选择的感觉信息(第一感觉信息)(在S53中为“否”),则操作进行至S54,但如果用户U2无法感知所选择的感觉信息(第一感觉信息)(在S53中为“是”),则操作进行至S56。
在操作进行至S54的情况下,如果用户U2不具有呈现与所选择的感觉信息相关联的呈现数据的呈现设备40-2(在S54中为“否”),则呈现控制单元153终止呈现处理。另一方面,如果用户U2具有呈现与所选择的感觉信息相关联的呈现数据的呈现设备40-2(在S54中为“是”),则呈现控制单元153基于个人信息来控制与所选择的感觉信息相关联的呈现数据呈现给用户U2(S55),并且终止呈现处理。
另一方面,如果操作分支到S56,则感觉信息确定单元152基于所选择的感觉信息来获取其他感觉信息(S56)。如果用户U2不具有呈现与其他感觉信息相关联的呈现数据的呈现设备40-2(在S57中为“否”),则呈现控制单元153终止呈现处理。另一方面,如果用户U2具有呈现与其他感觉信息相关联的呈现数据的呈现设备40-2(在S57中为“是”),则呈现控制单元153基于个人信息来控制与其他感觉信息相关联的呈现数据呈现给用户U2(S55),并且终止呈现处理。
以上描述了由根据本公开内容的实施方式的信息处理系统1执行的呈现处理的第三示例。
<2.硬件配置示例>
接下来,参照图18,将描述根据本公开内容的实施方式的信息处理装置(用户终端)10的硬件配置。图18是示出根据本公开内容的实施方式的信息处理装置10的硬件配置示例的框图。注意,尽管图18所示的示例是信息处理装置(用户终端)10的硬件配置示例,但是服务器20的硬件配置可以与图18所示的硬件配置示例类似地来实现。
如图18所示,信息处理装置10包括中央处理单元(CPU)901、只读存储器(ROM)903和随机存取存储器(RAM)905。此外,信息处理装置10可以包括:主机总线907、桥接器909、外部总线911、接口913、输入设备915、输出设备917、存储设备919、驱动器921、连接端口923和通信设备925。此外,信息处理装置10可以根据需要包括成像设备933和传感器935。替代CPU901或除了CPU 901之外,信息处理装置10还可以包括诸如数字信号处理器(DSP)或专用集成电路(ASIC)的处理电路。
CPU 901用作算术处理设备和控制设备,并且根据记录在ROM 903、RAM 905、存储设备919或可移除记录介质927中的各种程序来控制信息处理装置10的整体操作或部分操作。ROM 903存储由CPU 901使用的程序、操作参数等。RAM 905暂时存储在执行CPU 901时使用的程序、在执行这些程序时适当地改变的参数等。CPU 901、ROM 903和RAM 905经由由诸如CPU总线的内部总线配置的主机总线907彼此连接。此外,主机总线907经由桥接器909连接至诸如外围部件互连/接口(PCI)总线的外部总线911。
输入设备915是例如由用户操作的设备,例如鼠标、键盘、触摸屏、按钮、开关和操纵杆。输入设备915可以包括被配置成检测用户的语音的麦克风。输入设备915可以是使用例如红外辐射和另一种类型的无线电波的遥控设备。替选地,输入设备915可以是外部连接设备929,例如与信息处理装置10的操作对应的移动电话。输入设备915包括输入控制电路,该输入控制电路基于由用户输入的信息来生成输入信号,以将生成的输入信号输出到CPU901。用户输入各种类型的数据,并且通过操作输入设备915来向信息处理装置10指示处理操作。此外,稍后将描述的成像设备933例如可以通过捕获用户的手的运动图像或捕获用户的手指来充当输入设备。在这种情况下,可以根据手的移动或手指的方向来判定指向位置。
输出设备917包括可以在视觉上或听觉上将获取的信息报告给用户的设备。输出设备917可以是例如诸如液晶显示器(LCD)、等离子显示面板(PDP)、有机电致发光(EL)显示器、投影仪或全息图显示设备的显示设备、诸如扬声器或耳机的声音输出设备、打印机等。输出设备917以诸如图像的文本或视频或诸如语音和音频声音的声音的形式输出通过由信息处理装置10执行的处理获得的结果。此外,输出设备917可以包括用于照亮周围环境的灯等。
存储设备919是作为信息处理装置10的存储单元的示例的用于数据存储的设备。存储设备919包括例如诸如硬盘驱动器(HDD)的磁性存储单元设备、半导体存储设备、光学存储设备、磁光存储设备等。存储设备919在其中存储由CPU 901执行的各种数据和程序、从外部获取的各种数据等。
驱动器921是用于诸如磁盘、光盘、磁光盘和半导体存储器的可移除记录介质927的读取器/写入器,并且内置在信息处理装置10中或从外部附接至信息处理装置10。驱动器921读出记录在已安装的可移除记录介质927上的信息,并且将该信息输出到RAM 905。此外,驱动器921将记录写入已安装的可移除记录介质927。
连接端口923是用于将设备直接连接至信息处理装置10的端口。连接端口923可以是例如通用串行总线(USB)端口、IEEE1394端口和小型计算机系统接口(SCSI)端口等。此外,连接端口923可以是RS-232C端口、光学音频端子、高清晰度多媒体接口(HDMI)(注册商标)端口等。外部连接设备929到连接端口923的连接使得可以在信息处理装置10与外部连接设备929之间交换各种数据。
通信设备925是通信接口,其包括例如用于连接至通信网络931的通信设备等。通信设备925可以是例如有线或无线局域网(LAN)、蓝牙(注册商标)、用于无线USB(WUSB)的通信卡等。此外,通信设备925还可以是例如用于光通信的路由器、用于非对称数字用户线路(ADSL)的路由器、用于各种类型的通信的调制解调器等。例如,通信设备925通过使用诸如TCP/IP的预定协议在因特网上发送和接收信号等,或者向另一通信设备发送信号和从另一通信设备接收信号。此外,通信设备925连接至的通信网络931是通过有线或无线连接建立的网络。通信网络931例如是因特网、家庭LAN、红外通信、无线电通信、卫星通信等。
成像设备933是例如通过使用诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的图像传感器以及诸如用于控制被摄体图像在图像传感器上的图像形成的透镜的各种构件来捕获真实空间的图像的设备,并且生成捕获的图像。成像设备933可以捕获静止图像或运动图像。
例如,传感器935是各种传感器,例如,测距传感器、加速度传感器、陀螺仪传感器、地磁传感器、振动传感器、光学传感器和声音传感器。传感器935获取关于信息处理装置10的状态的信息(例如,信息处理装置10的壳体的姿势)以及关于信息处理装置10周围的环境的信息(例如,信息处理装置10周围的发光强度和噪声)。此外,传感器935可以包括全球定位系统(GPS)传感器,其接收GPS信号以测量设备的纬度、经度和高度。
<3.结论>
根据如上所述的本公开内容的实施方式,提供了一种信息处理装置,该信息处理装置包括数据获取单元、感觉信息确定单元和呈现控制单元。数据获取单元获取预先感测的多个感觉信息的相关性数据,感觉信息确定单元基于相关性数据来确定与第一感觉信息相关的第二感觉信息,并且呈现控制单元控制与第二感觉信息相关联的呈现数据向用户的呈现。
根据这样的配置,用户可以体验与该用户或另一用户实际体验到的感觉对应的感觉。
以上已经参照附图描述了本公开内容的优选实施方式,而本公开内容不限于以上示例。本领域技术人员可以在所附权利要求的范围内找到各种改变和修改,并且应当理解,它们将自然地落入本公开内容的技术范围内。
例如,还可以创建用于使嵌入在计算机中的诸如CPU、ROM和RAM的硬件执行与上述控制单元110的功能等效的功能的计算机程序。此外,可以提供其上记录有程序的计算机可读记录介质。
以上主要描述了将检测数据获取单元120、检测数据发送控制单元140、管理数据获取单元151、感觉信息确定单元152和呈现控制单元153并入用户终端10-1中的情况。然而,这些部件的功能可以被并入到与用户终端10不同的设备中。例如,这些部件的功能可以被并入到机器人等中。这允许预期提高由机器人提供的服务的质量。
此外,以上主要描述了数据获取单元212、存储控制单元214和相关性计算单元216被并入到服务器20中的情况。然而,这些部件的功能可以被并入到与服务器20不同的设备中。例如,这些部件的功能可以被并入到多个用户终端10中的一些或全部中。
此外,本说明书中描述的效果仅是说明性或示例性效果,而不一定是限制性的。即,利用以上效果或代替以上效果,根据本说明书的描述,根据本公开内容的技术可以实现对于本领域技术人员清晰的其他效果。
此外,以下配置也可以属于本公开内容的技术范围。
(1)
一种信息处理装置,包括:
数据获取单元,其被配置成获取预先感测的多个感觉信息的相关性数据;
感觉信息确定单元,其被配置成基于所述相关性数据来确定与第一感觉信息相关的第二感觉信息;以及
呈现控制单元,其被配置成控制与所述第二感觉信息相关联的呈现数据向用户的呈现。
(2)
根据(1)所述的信息处理装置,
其中,所述呈现控制单元控制与所述第一感觉信息相关联的呈现数据的呈现,并且控制与所述第二感觉信息相关联的呈现数据的呈现。
(3)
根据(1)所述的信息处理装置,
其中,所述呈现控制单元控制与所述第二感觉信息相关联的呈现数据的呈现,而不控制与所述第一感觉信息相关联的呈现数据的呈现。
(4)
根据(1)所述的信息处理装置,
其中,所述呈现控制单元基于预定条件来确定是否控制与所述第一感觉信息相关联的呈现数据的呈现。
(5)
根据(4)所述的信息处理装置,
其中,所述预定条件包括以下条件,所述条件指示是否存在被配置成呈现与所述第一感觉信息相关联的呈现数据的呈现设备。
(6)
根据(5)所述的信息处理装置,
其中,所述预定条件包括以下条件,所述条件指示是否进行了用于允许呈现与所述第一感觉信息相关联的呈现数据的设置。
(7)
根据(1)所述的信息处理装置,
其中,所述感觉信息确定单元在与所述第一感觉信息一起获得基于所述用户的第一生物信息的情况下,将在对应于与所述第一生物信息相关联的第二生物信息的定时处从同一用户感测的、并且与所述第一感觉信息相关的感觉信息确定为所述第二感觉信息。
(8)
根据(7)所述的信息处理装置,
其中,所述第一生物信息包括通过对所述用户执行感测而获得的生物信息以及由所述用户输入的生物信息中的至少一个。
(9)
根据(1)所述的信息处理装置,
其中,所述感觉信息确定单元在与所述第一感觉信息相关的感觉信息的类型为第一类型的情况下,将与所述第一类型不同的第二类型的感觉信息确定为所述第二感觉信息。
(10)
根据(9)所述的信息处理装置,
其中,所述感觉信息确定单元在与所述第一感觉信息相关的感觉信息的类型为所述第一类型的情况下,基于所述感觉信息的识别结果,将所述第二类型的感觉信息确定为所述第二感觉信息。
(11)
根据(9)或(10)所述的信息处理装置,
其中,所述第一类型包括视觉,并且
所述第二类型包括听觉以及触觉中的至少一个。
(12)
根据(1)所述的信息处理装置,
其中,所述第一感觉信息的类型与所述第二感觉信息的类型不同。
(13)
根据(1)至(12)中任一项所述的信息处理装置,
其中,所述感觉信息确定单元基于与所述第一感觉信息的相关性程度超过阈值的感觉信息来确定所述第二感觉信息。
(14)
根据(1)至(13)中任一项所述的信息处理装置,
其中,所述感觉信息确定单元获取由所述用户或预定算法选择的所述第一感觉信息。
(15)
根据(1)至(14)中任一项所述的信息处理装置,
其中,基于在对应定时处从同一用户感测到所述多个感觉信息的频率来计算所述多个感觉信息之间的相关性程度。
(16)
根据(15)所述的信息处理装置,
其中,所述相关性程度是在感测到所述多个感觉信息中的一个感觉信息的条件下,在与所述一个感觉信息对应的定时处从同一用户感测到所述多个感觉信息中的另一个感觉信息的比率。
(17)
根据(1)至(16)中任一项所述的信息处理装置,
其中,所述第一感觉信息包括五种类型的感觉信息中的至少一个。
(18)
根据(17)所述的信息处理装置,
其中,所述五种类型的感觉信息包括视觉信息、听觉信息、触觉信息、嗅觉信息和味觉信息。
(19)
一种信息处理方法,包括:
获取预先感测的多个感觉信息的相关性数据;
基于所述相关性数据来确定与第一感觉信息相关的第二感觉信息;以及
由处理器来控制与所述第二感觉信息相关联的呈现数据向用户的呈现。
(20)
一种用于使计算机用作信息处理装置的程序,所述信息处理装置包括:
数据获取单元,其被配置成获取预先感测的多个感觉信息的相关性数据;
感觉信息确定单元,其被配置成基于所述相关性数据来确定与第一感觉信息相关的第二感觉信息;以及
呈现控制单元,其被配置成控制与所述第二感觉信息相关联的呈现数据向用户的呈现。
附图标记列表
1 信息处理系统
10 用户终端(信息处理装置)
110 控制单元
120 检测数据获取单元
121 视觉信息获取单元
122 听觉信息获取单元
123 嗅觉信息获取单元
124 触觉信息获取单元
125 味觉信息获取单元
131 生物信息获取单元
132 地理信息获取单元
133 时间信息获取单元
134 事件信息获取单元
135 其他信息获取单元
136 用户信息获取单元
140 检测数据发送控制单元
151 管理数据获取单元
152 感觉信息确定单元
153 呈现控制单元
160 操作单元
170 存储单元
180 通信单元
190 输出单元
20 服务器
210 控制单元
212 数据获取单元
214 存储控制单元
216 相关性计算单元
230 存储单元
231 存储数据
232 相关性数据
240 通信单元
30 检测设备
40 呈现设备
90 网络

Claims (20)

1.一种信息处理装置,包括:
数据获取单元,其被配置成获取预先感测的多个感觉信息的相关性数据;
感觉信息确定单元,其被配置成基于所述相关性数据来确定与第一感觉信息相关的第二感觉信息;以及
呈现控制单元,其被配置成控制与所述第二感觉信息相关联的呈现数据向用户的呈现。
2.根据权利要求1所述的信息处理装置,
其中,所述呈现控制单元控制与所述第一感觉信息相关联的呈现数据的呈现,并且控制与所述第二感觉信息相关联的呈现数据的呈现。
3.根据权利要求1所述的信息处理装置,
其中,所述呈现控制单元控制与所述第二感觉信息相关联的呈现数据的呈现,而不控制与所述第一感觉信息相关联的呈现数据的呈现。
4.根据权利要求1所述的信息处理装置,
其中,所述呈现控制单元基于预定条件来确定是否控制与所述第一感觉信息相关联的呈现数据的呈现。
5.根据权利要求4所述的信息处理装置,
其中,所述预定条件包括以下条件,所述条件指示是否存在被配置成呈现与所述第一感觉信息相关联的呈现数据的呈现设备。
6.根据权利要求5所述的信息处理装置,
其中,所述预定条件包括以下条件,所述条件指示是否进行了用于允许呈现与所述第一感觉信息相关联的呈现数据的设置。
7.根据权利要求1所述的信息处理装置,
其中,所述感觉信息确定单元在与所述第一感觉信息一起获得基于所述用户的第一生物信息的情况下,将在对应于与所述第一生物信息相关联的第二生物信息的定时处从同一用户感测的、并且与所述第一感觉信息相关的感觉信息确定为所述第二感觉信息。
8.根据权利要求7所述的信息处理装置,
其中,所述第一生物信息包括通过对所述用户执行感测而获得的生物信息以及由所述用户输入的生物信息中的至少一个。
9.根据权利要求1所述的信息处理装置,
其中,所述感觉信息确定单元在与所述第一感觉信息相关的感觉信息的类型为第一类型的情况下,将与所述第一类型不同的第二类型的感觉信息确定为所述第二感觉信息。
10.根据权利要求9所述的信息处理装置,
其中,所述感觉信息确定单元在与所述第一感觉信息相关的感觉信息的类型为所述第一类型的情况下,基于所述感觉信息的识别结果,将所述第二类型的感觉信息确定为所述第二感觉信息。
11.根据权利要求9所述的信息处理装置,
其中,所述第一类型包括视觉,并且
所述第二类型包括听觉以及触觉中的至少一个。
12.根据权利要求1所述的信息处理装置,
其中,所述第一感觉信息的类型与所述第二感觉信息的类型不同。
13.根据权利要求1所述的信息处理装置,
其中,所述感觉信息确定单元基于与所述第一感觉信息的相关性程度超过阈值的感觉信息来确定所述第二感觉信息。
14.根据权利要求1所述的信息处理装置,
其中,所述感觉信息确定单元获取由所述用户或预定算法选择的所述第一感觉信息。
15.根据权利要求1所述的信息处理装置,
其中,基于在对应定时处从同一用户感测到所述多个感觉信息的频率来计算所述多个感觉信息之间的相关性程度。
16.根据权利要求15所述的信息处理装置,
其中,所述相关性程度是在感测到所述多个感觉信息中的一个感觉信息的条件下,在与所述一个感觉信息对应的定时处从同一用户感测到所述多个感觉信息中的另一个感觉信息的比率。
17.根据权利要求1所述的信息处理装置,
其中,所述第一感觉信息包括五种类型的感觉信息中的至少一个。
18.根据权利要求17所述的信息处理装置,
其中,所述五种类型的感觉信息包括视觉信息、听觉信息、触觉信息、嗅觉信息和味觉信息。
19.一种信息处理方法,包括:
获取预先感测的多个感觉信息的相关性数据;
基于所述相关性数据来确定与第一感觉信息相关的第二感觉信息;以及
由处理器来控制与所述第二感觉信息相关联的呈现数据向用户的呈现。
20.一种用于使计算机用作信息处理装置的程序,所述信息处理装置包括:
数据获取单元,其被配置成获取预先感测的多个感觉信息的相关性数据;
感觉信息确定单元,其被配置成基于所述相关性数据来确定与第一感觉信息相关的第二感觉信息;以及
呈现控制单元,其被配置成控制与所述第二感觉信息相关联的呈现数据向用户的呈现。
CN201880069169.9A 2017-10-31 2018-08-03 信息处理装置、信息处理方法和计算机可读存储介质 Active CN111263926B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-210456 2017-10-31
JP2017210456A JP2019082904A (ja) 2017-10-31 2017-10-31 情報処理装置、情報処理方法およびプログラム
PCT/JP2018/029273 WO2019087502A1 (ja) 2017-10-31 2018-08-03 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN111263926A true CN111263926A (zh) 2020-06-09
CN111263926B CN111263926B (zh) 2022-07-26

Family

ID=66331725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880069169.9A Active CN111263926B (zh) 2017-10-31 2018-08-03 信息处理装置、信息处理方法和计算机可读存储介质

Country Status (5)

Country Link
US (1) US11169599B2 (zh)
EP (1) EP3705981A4 (zh)
JP (1) JP2019082904A (zh)
CN (1) CN111263926B (zh)
WO (1) WO2019087502A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102608981B1 (ko) * 2018-10-24 2023-12-01 한국전자통신연구원 향 시각화 시스템 및 방법
KR102131614B1 (ko) * 2019-07-16 2020-07-08 주상현 대체현실 제공 시스템 및 그 방법
JPWO2022180770A1 (zh) * 2021-02-26 2022-09-01

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060047704A1 (en) * 2004-08-31 2006-03-02 Kumar Chitra Gopalakrishnan Method and system for providing information services relevant to visual imagery
US20120058801A1 (en) * 2010-09-02 2012-03-08 Nokia Corporation Methods, apparatuses, and computer program products for enhancing activation of an augmented reality mode
US20150094551A1 (en) * 2013-07-05 2015-04-02 James Tyler Frix Continuous transdermal monitoring system and method
US20160012688A1 (en) * 2014-07-09 2016-01-14 Baylor College Of Medicine Providing information to a user through somatosensory feedback
JP2016537701A (ja) * 2013-10-25 2016-12-01 インテル コーポレイション ユーザ体験をキャプチャおよび生成するための装置及び方法
CN106377252A (zh) * 2016-09-30 2017-02-08 兰州大学 一种基于虚拟现实的生物信息反馈系统
US20170188066A1 (en) * 2015-12-26 2017-06-29 Tamara Gaidar Technologies for immersive user sensory experience sharing

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3408263B2 (ja) 1992-03-30 2003-05-19 株式会社東芝 情報提示装置及び情報提示方法
JP3733075B2 (ja) 2002-02-07 2006-01-11 株式会社国際電気通信基礎技術研究所 インタラクション・メディアシステム
JP2009194597A (ja) 2008-02-14 2009-08-27 Sony Corp 送受信システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体
WO2010008232A2 (ko) 2008-07-16 2010-01-21 한국전자통신연구원 실감 효과 표현 방법 및 그 장치 및 실감 효과 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
US8396282B1 (en) * 2008-10-31 2013-03-12 Hrl Labortories, Llc Method and system for computing fused saliency maps from multi-modal sensory inputs
US9176649B2 (en) * 2013-03-15 2015-11-03 American Megatrends, Inc. Method and apparatus of remote management of computer system using voice and gesture based input
RU2683205C1 (ru) * 2013-11-25 2019-03-26 Конинклейке Филипс Н.В. Система и способ электрокардиографического мониторинга
JP6530975B2 (ja) 2015-06-12 2019-06-12 日本電信電話株式会社 学習支援装置、学習支援方法、及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060047704A1 (en) * 2004-08-31 2006-03-02 Kumar Chitra Gopalakrishnan Method and system for providing information services relevant to visual imagery
US20120058801A1 (en) * 2010-09-02 2012-03-08 Nokia Corporation Methods, apparatuses, and computer program products for enhancing activation of an augmented reality mode
US20150094551A1 (en) * 2013-07-05 2015-04-02 James Tyler Frix Continuous transdermal monitoring system and method
JP2016537701A (ja) * 2013-10-25 2016-12-01 インテル コーポレイション ユーザ体験をキャプチャおよび生成するための装置及び方法
US20160012688A1 (en) * 2014-07-09 2016-01-14 Baylor College Of Medicine Providing information to a user through somatosensory feedback
US20170188066A1 (en) * 2015-12-26 2017-06-29 Tamara Gaidar Technologies for immersive user sensory experience sharing
CN106377252A (zh) * 2016-09-30 2017-02-08 兰州大学 一种基于虚拟现实的生物信息反馈系统

Also Published As

Publication number Publication date
EP3705981A4 (en) 2020-12-09
EP3705981A1 (en) 2020-09-09
US20200341540A1 (en) 2020-10-29
US11169599B2 (en) 2021-11-09
JP2019082904A (ja) 2019-05-30
CN111263926B (zh) 2022-07-26
WO2019087502A1 (ja) 2019-05-09

Similar Documents

Publication Publication Date Title
WO2020216054A1 (zh) 视线追踪模型训练的方法、视线追踪的方法及装置
US11068050B2 (en) Method for controlling display of virtual image based on eye area size, storage medium and electronic device therefor
US11726324B2 (en) Display system
US20150378433A1 (en) Detecting a primary user of a device
KR102223693B1 (ko) Nui 관여의 검출
CN111263926B (zh) 信息处理装置、信息处理方法和计算机可读存储介质
CN107658016B (zh) 用于老年保健陪伴的Nounou智能监护系统
CN106104650A (zh) 经由凝视检测进行远程设备控制
KR20170048137A (ko) 미디어 컨텐츠 송신 방법, 미디어 컨텐츠 송신 장치, 미디어 컨텐츠 수신 방법, 및 미디어 컨텐츠 수신 장치
CN109426343B (zh) 基于虚拟现实的协作训练方法及系统
US20220404620A1 (en) Methods and devices related to extended reality
JPWO2018042799A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20210192839A1 (en) Inferred Shading
US20230185364A1 (en) Spatially Aware Computing Hub and Environment
TW202324041A (zh) 與遠端設備的使用者互動
de Belen et al. Integrating mixed reality and internet of things as an assistive technology for elderly people living in a smart home
US20210303258A1 (en) Information processing device, information processing method, and recording medium
CN110199244B (zh) 信息处理设备、信息处理方法以及程序
KR20230043749A (ko) 전자 디바이스들에 대한 적응적 사용자 등록
JP2016170589A (ja) 情報処理装置、情報処理方法およびプログラム
CN111344776B (zh) 信息处理装置、信息处理方法和程序
US20210256263A1 (en) Information processing apparatus, information processing method, and program
US20220137908A1 (en) Head mounted processing apparatus
US20190339771A1 (en) Method, System and Apparatus For Brainwave and View Based Recommendations and Story Telling
CN114004922B (zh) 骨骼动画显示方法、装置、设备、介质及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant