CN117296101A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN117296101A
CN117296101A CN202280034005.9A CN202280034005A CN117296101A CN 117296101 A CN117296101 A CN 117296101A CN 202280034005 A CN202280034005 A CN 202280034005A CN 117296101 A CN117296101 A CN 117296101A
Authority
CN
China
Prior art keywords
user
health
control unit
information processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280034005.9A
Other languages
English (en)
Inventor
井元麻纪
朽木悠
近藤茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN117296101A publication Critical patent/CN117296101A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00Economic sectors
    • G16Y10/60Healthcare; Welfare
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation

Abstract

提供了能够通过检测和反馈用户的动作促进更好的生活的信息处理装置、信息处理方法和程序。信息处理装置包括控制单元,该控制单元执行如下处理:基于布置在空间中的传感器的检测结果来识别存在于空间中的用户并且根据用户的动作来计算指示已经执行健康行为的健康点数,以及向用户通知健康点数。

Description

信息处理装置、信息处理方法和程序
技术领域
本公开内容涉及信息处理装置、信息处理方法和程序。
背景技术
为了良好地生活,注意在日常生活中运动身体是重要的。近年来,已经执行了日常佩戴诸如智能手机或智能手环的智能设备,并且通过查看由智能设备检测的活动量诸如步数来掌握自身的运动量。
此外,以下专利文献1公开了通过根据可佩戴活动度计的测量值赋予点数,并且能够用点数兑换产品或服务,从而继续进行对维持健康有效的行动的技术。
引文列表
专利文献
专利文献1:日本专利申请公开第2003-141260号
发明内容
本发明要解决的问题
然而,在现有技术中,需要始终佩戴活动度计,而这在诸如家的放松空间中可能不是优选的。
因此,本公开内容提出了能够通过检测和反馈用户的动作来促进更好的生活的信息处理装置、信息处理方法和程序。
问题的解决方案
根据本公开内容,提出了一种信息处理装置,该信息处理装置包括控制单元,该控制单元执行如下处理:基于设置在空间中的传感器的检测结果来识别存在于空间中的用户并且根据用户的动作来计算指示已经执行健康行为的健康点数;以及给出健康点数的通知。
根据本公开内容,提出了一种信息处理方法,其中,处理器包括:基于设置在空间中的传感器的检测结果来识别存在于空间中的用户并且根据用户的动作来计算指示已经执行健康行为的健康点数;以及给出健康点数的通知。
根据本公开内容,提出了一种用于使计算机用作控制单元的程序,该控制单元执行如下处理:基于设置在空间中的传感器的检测结果来识别存在于空间中的用户并且根据用户的动作来计算指示已经执行健康行为的健康点数;以及给出健康点数的通知。
附图说明
图1是示出根据本公开内容的实施方式的系统的概述的图。
图2是用于说明根据本实施方式的各种功能的图。
图3是示出根据本实施方式的信息处理装置的配置的示例的框图。
图4是示出根据本实施方式的用于实现各种功能的整个操作处理的流程的示例的流程图。
图5是示出根据第一示例的实现健康点数通知功能的信息处理装置的配置的示例的框图。
图6是示出根据第一示例的根据对运动的兴趣度的通知内容的示例的图。
图7是示出根据第一示例的健康点数通知处理的流程的示例的流程图。
图8是示出根据第一示例的向用户的健康点数通知的示例的图。
图9是示出根据第一示例的向用户的健康点数通知的示例的图。
图10是示出根据第一示例的健康点数确认画面的示例的图。
图11是示出根据第二示例的实现空间演出功能的信息处理装置的配置的示例的框图。
图12是示出根据第二示例的空间演出处理的流程的示例的流程图。
图13是示出根据第二示例的在饮食和饮水期间的空间演出处理的流程的示例的流程图。
图14是示出根据第二示例的在饮食和饮水期间根据人数的用于空间演出的视频的示例的图。
图15是用于说明根据第二示例的响应于干杯动作而执行的成像的图。
图16是用于说明根据第二示例的在饮食和饮水期间的空间演出中执行的各种类型的输出控制的示例的图。
图17是示出根据第三示例的实现运动程序提供功能的信息处理装置的配置的示例的框图。
图18是示出根据第三示例的运动程序提供处理的流程的示例的流程图。
图19是示出根据第三示例的瑜伽程序提供处理的流程的示例的流程图。
图20是示出根据第三示例的瑜伽程序的画面的示例的图。
图21是示出显示根据第三示例的瑜伽程序结束时赋予给用户的健康点数的画面的示例的图。
具体实施方式
在下文中,将参照附图来详细描述本公开内容的优选实施方式。注意,在本说明书和附图中,具有基本相同功能配置的部件由相同的附图标记表示,并且省略了冗余的说明。
此外,按照如下顺序给出了描述。
1.概述
2.配置示例
3.操作处理
4.第一示例(健康点数通知功能)
4-1.配置示例
4-2.操作处理
4-3.修改示例
5.第二示例(空间演出功能)
5-1.配置示例
5-2.操作处理
5-3.修改示例
6.第三示例(运动程序提供功能)
6-1.配置示例
6-2.操作处理
6-3.修改示例
7.补充
<<1.概述>>
将参照图1来描述根据本公开内容的实施方式的系统的概述。根据本实施方式的系统可以通过检测用户的动作并适当地执行反馈来促进更好的生活。
图1是示出根据本公开内容的实施方式的系统的概述的图。如图1所示,作为传感器的示例的摄像装置10a设置在空间中。此外,作为执行反馈的输出设备的示例的显示单元30a被设置在该空间中。显示单元30a可以是例如家用电视机。
摄像装置10a例如附接至显示单元30a,并且检测关于存在于显示单元30a周围的一个或更多个人的信息。在显示单元30a由电视机实现的情况下,电视机通常安装在房间中相对容易观看的位置处,并且因此可以通过将摄像装置10a附接至显示单元30a来对整个房间进行成像。更具体地,摄像装置10a连续地对周围环境成像。结果,根据本实施方式的摄像装置10a可以检测用户在房间中的日常行为,包括用户正在看电视时的行为。
注意,执行反馈的输出设备不限于显示单元30a,并且可以是例如如图1所示的安装在房间中的照明设备30c或电视机的扬声器30b等。可以存在多个输出设备。此外,每个输出设备的布置位置不受特别限制。在图1所示的示例中,摄像装置10a设置在显示单元30a的上部中心,但是可以设置在下部中心,可以设置在显示单元30a的另一位置,或者可以设置在显示单元30a周围。
根据本实施方式的信息处理装置1执行控制以基于摄像装置10a的检测结果(捕获图像)来识别用户,计算指示已经根据用户的动作执行健康行为的健康点数,并且向用户通知所计算的健康点数。如图1所示,例如,可以从显示单元30a执行通知。健康行为是预先注册的预定姿势或移动。更具体地,健康行为的示例包括各种类型的伸展、肌肉力量训练、运动、行走、笑、跳舞和家务劳动。
如上所述,在本实施方式中,在待在房间中时随意执行的伸展等被理解为诸如健康点数的数值,并且将其反馈(通知)给用户,使得用户可以自然地意识到运动。此外,由于用户的动作由外部传感器检测,因此用户不必总是佩戴诸如活动度计的设备,并且减轻了对用户的负担。本系统还可以在用户处于放松空间中的情况下实现,从而允许用户对运动感兴趣而不对用户造成负担,并且促进健康和更好的生活。
注意,根据本实施方式的信息处理装置1可以由电视机实现。
此外,根据本实施方式的信息处理装置1可以根据每个用户的健康点数来计算用户对运动的兴趣度,并且根据对运动的兴趣度来确定通知内容。例如,在向对运动的兴趣度低的用户的通知中,可以通过一起给出简单的伸展建议来促进运动。
此外,根据本实施方式的信息处理装置1可以基于摄像装置10a的检测结果(捕获图像)来获取用户的情境(状况),并且可以例如在信息处理装置1不干扰内容的观看的时刻处给出健康点数的通知。
此外,在本系统中,通过使用参照图1描述的传感器(摄像装置10a)和执行反馈的输出设备(显示单元30a等),除了给出上述健康点数的通知的功能之外,还实现了用于促进更好的生活的各种功能。在下文中,将参照图2进行描述。
图2是用于说明根据本实施方式的各种功能的图。首先,在信息处理装置1由用于观看内容的显示设备例如电视机实现的情况下,可以执行内容观看模式M1与身心健康(well being)模式M2之间的切换作为信息处理装置1的操作模式。
内容观看模式M1是主要旨在观看内容的操作模式。内容观看模式M1还可以被称为操作模式,包括例如在信息处理装置1(显示设备)用作传统TV装置的情况下的模式。在内容观看模式M1中,通过接收电视广播的无线电波显示视频和音频,显示记录的电视节目,并且显示在因特网上分发的内容,例如视频分发服务。此外,信息处理装置1(显示设备)也可以用作游戏设备的监视器,并且可以在内容观看模式M1中显示游戏画面。在本实施方式中,即使在内容观看模式M1期间,也可以实现作为用于促进更好的生活的功能之一的“健康点数通知功能F1”。
另一方面,“身心健康”是表示处于身体、精神或社交良好状态(满意状态)的概念,并且也可以被称为“愉快”。在本实施方式中,将主要提供用于促进更好的生活的各种功能的模式称为“身心健康模式”。在“身心健康模式”中,提供了使得人体和心理健康的功能,例如个人健康、爱好、与人的交流和睡眠。更具体地,例如,存在空间演出功能F2和运动程序提供功能F3。注意,“健康点数通知功能F1”也可以在“身心健康模式”中实现。
从内容观看模式M1到身心健康模式M2的转换可以通过用户的明确操作来执行,或者可以根据用户的状况(情境)自动执行。明确操作的示例包括对设置在用于操作信息处理装置1(显示设备)的遥控器中的预定按钮(身心健康按钮)的按压操作。此外,根据情境的自动转换的示例包括在信息处理装置1(显示设备)周围存在的一个或更多个用户在特定时段内没有看着信息处理装置1(显示设备)的情况、用户专注于除了内容观看之外的事情的情况等。在转换到身心健康模式M2之后,首先,画面移动到身心健康模式的主页画面。在主页画面,模式根据用户的情境转换到身心健康模式中的每个应用(功能)。例如,在一个或更多个用户正在饮食或饮水或者将要入睡的情况下,信息处理装置1执行空间演出功能F2,以输出诸如视频、音乐或照明的信息,用于相应的空间演出。此外,例如,在一个或更多个用户主动执行一些运动的情况下,信息处理装置1确定用户旨在执行的运动,并且实现生成并提供适合于用户的运动程序的运动程序提供功能F3。作为示例,例如,在用户放置瑜伽垫的情况下,信息处理装置1生成并提供适合于用户的瑜伽程序。
如上所述,在信息处理装置1(显示设备)中,通过即使在不观看内容时也提供接近于日常生活的有用功能,还可以扩大主要用于内容观看的显示设备的使用范围。
以上已经描述了根据本实施方式的系统的概述。接下来,将顺序描述包括在本系统中的信息处理装置1的基本配置示例和操作处理。
<<2.配置示例>>
图3是示出根据本实施方式的信息处理装置1的配置的示例的框图。如图3所示,信息处理装置1包括输入单元10、控制单元20、输出单元30和存储单元40。注意,信息处理装置1可以由诸如参照图1描述的电视机(显示单元30a)的大显示设备来实现,或者可以由便携式电视设备、个人计算机(PC)、智能电话、平板终端、智能显示器、投影仪、游戏机等来实现。
(输入单元10)
输入单元10具有从外部获取各种类型的信息并且将所获取的信息输入到信息处理装置1的功能。更具体地,输入单元10可以是例如通信单元、操作输入单元和传感器。
通信单元以有线或无线方式可通信地连接至外部设备以发送和接收数据。例如,通信单元连接至网络,并且向网络上的服务器发送数据和从网络上的服务器接收数据。此外,通信单元可以通过例如有线/无线局域网(LAN)、Wi-Fi(注册商标)、蓝牙(注册商标)、移动通信网络(长期演进(LTE)、第四代移动通信系统(4G)和第五代移动通信系统(5G))等可通信地连接至外部设备或网络。根据本实施方式的通信单元接收例如经由网络分发的动态图像。此外,布置在信息处理装置1所布置的空间中的各种输出设备也被假定为外部设备。此外,由用户操作的遥控器也被假定为外部设备。通信单元接收例如从遥控器发送的红外信号。此外,通信单元可以接收从广播站发送的电视广播(模拟广播或数字广播)的信号。
操作输入单元检测用户的操作,并且将操作输入信息输入到控制单元20。操作输入单元例如通过按钮、开关、触摸面板等来实现。此外,操作输入单元可以通过上述遥控器实现。
传感器检测存在于空间中的一个或更多个用户的信息,并且将检测结果(感测数据)输入到控制单元20。可以存在多个传感器。在本实施方式中,摄像装置10a用作传感器的示例。摄像装置10a可以获取RGB图像作为捕获图像。摄像装置10a可以是也可以获取振动信息的深度摄像装置。
(控制单元20)
控制单元20用作算术处理设备和控制设备,并且根据各种程序控制信息处理装置1中的整体操作。控制单元20例如由诸如中央处理单元(CPU)或微处理器的电子电路实现。此外,控制单元20可以包括存储要使用的程序、操作参数等的只读存储器(ROM)和临时存储适当改变的参数等的随机存取存储器(RAM)。
根据本实施方式的控制单元20还用作内容观看控制单元210、健康点数管理单元230、空间演出单元250和运动程序提供单元270。
内容观看控制单元210在内容观看模式M1中执行各种类型的内容的观看控制。具体地,执行控制以从输出单元30(显示单元30a、扬声器30b)输出由电视节目、记录的节目或动态图像分发服务分发的内容的视频和音频。可以由控制单元20根据用户操作来执行到内容观看模式M1的转换。
健康点数管理单元230实现计算并通知用户健康点数的健康点数通知功能F1。健康点数管理单元230可以在内容观看模式M1和身心健康模式M2两者中实现。健康点数管理单元230基于由包括在输入单元10中的摄像装置10a获取的捕获图像(进一步地,使用深度信息)从用户的行为中检测健康行为,计算相应的健康点数,并且将健康点数赋予给用户。对用户的点数赋予包括与用户信息相关联地存储。关于“健康行为”的信息可以预先存储在存储单元40中。此外,可以从外部设备适当地获取“健康行为”的信息。此外,健康点数管理单元230向用户通知关于健康点数的信息,例如在特定时段中的健康点数的总和以及健康点数已经赋予的事实。对用户的通知可以由显示单元30a执行,或者可以给予诸如用户所拥有的可穿戴设备或智能电话的个人终端。稍后将参照图5至图10来描述细节。
空间演出单元250确定用户的情境,并且根据该情境实现用于控制空间演出的视频、音频和照明的空间演出功能F2。空间演出单元250可以在身心健康模式M2中实现。空间演出单元250执行控制,以从例如安装在空间中的显示单元30a、扬声器30b和照明设备30c输出用于空间演出的信息。用于空间演出的信息可以预先存储在存储单元40中。此外,可以从外部设备适当获取用于空间演出的信息。到身心健康模式M2的转换可以由控制单元20根据用户操作来执行,或者可以由确定情境的控制单元20自动地执行。稍后将参照图11至图16描述细节。
运动程序提供单元270确定用户的情境,并且实现根据情境生成并提供运动程序的运动程序提供功能F3。运动程序提供单元270可以在身心健康模式M2中实现。运动程序提供单元270使用例如安装在空间中的显示单元30a和扬声器30b来提供所生成的运动程序。用于生成运动程序的信息和生成算法可以预先存储在存储单元40中。此外,可以从外部设备适当地获取用于生成运动程序的信息和生成算法。稍后将参照图17至图21描述细节。
(输出单元30)
输出单元30具有在控制单元20的控制下输出各种类型的信息的功能。更具体地,输出单元30可以是例如显示单元30a、扬声器30b和照明设备30c。显示单元30a可以由例如诸如电视机的大显示设备实现,或者可以由便携式电视设备、个人计算机(PC)、智能电话、平板终端、智能显示器、投影仪、游戏机等实现。
(存储单元40)
存储单元40由只读存储器(ROM)和随机存取存储器(RAM)实现,ROM存储用于控制单元20的处理的程序、操作参数等,RAM临时存储适当改变的参数等。例如,存储单元40存储关于健康行为的信息、用于计算健康点数的算法、用于空间演出的各种类型的信息、用于生成运动程序的算法、用于生成运动程序的算法等。
尽管以上已经具体描述了信息处理装置1的配置,但是根据本公开内容的信息处理装置1的配置不限于图3中所示的示例。例如,信息处理装置1可以由多个设备实现。具体地,例如,系统可以包括显示设备,该显示设备包括显示单元30a、控制单元20、通信单元、存储单元40、扬声器30b和照明设备30c。此外,控制单元20可以由与显示单元30a分开的设备实现。此外,控制单元20的至少一部分功能可以由外部控制设备实现。作为外部控制设备,例如,假定PC、平板终端、智能电话或服务器(云服务器、边缘服务器等)。此外,存储在存储单元40中的每条信息的至少一部分可以存储在外部存储设备或服务器(云服务器、边缘服务器等)中。
此外,传感器不限于摄像装置10a。例如,还可以包括麦克风、红外传感器、热传感器、超声波传感器等。此外,扬声器30b不限于图1所示的安装类型。扬声器30b可以由例如头戴式耳机、耳机、颈扬声器、骨传导扬声器等实现。此外,可以提供多个扬声器30b。此外,在存在多个通信地连接至控制单元20的扬声器30b的情况下,用户可以任意地选择从哪个扬声器30b输出语音。
<<3.操作处理>>
图4是示出根据本实施方式的用于实现各种功能的整个操作处理的流程的示例的流程图。
如图4所示,首先,在内容观看模式中,控制单元20的内容观看控制单元210执行控制以从显示单元30a或扬声器30b输出由用户适当指定的内容(视频图像和音频)(步骤S103)。
接下来,在检测到模式转换的触发的情况下(步骤S106/是),控制单元20执行控制以将信息处理装置1的操作模式转换到身心健康模式。模式转换的触发可以是用户的明确操作,或者可以是检测到预定情境的情况。预定的情境是例如用户没有看显示单元30a、正在做内容观看之外的事情等。控制单元20可以根据由摄像装置10a连续获取的捕获图像来分析存在于空间中的一个或更多个用户(人)的姿势和移动、生物计量信息、面部取向等,并且确定情境。控制单元20在转换到身心健康模式之后立即显示预定的主页画面。尽管图14示出了主页画面的具体示例,但是主页画面可以是例如自然风景或静态风景的图像。期望主页画面的图像是不干扰正在做除内容观看之外的事情的用户的视频。
另一方面,在内容观看模式期间或当转换到健康点数模式时,控制单元20连续地执行健康点数通知功能F1(步骤S112)。具体地,控制单元20的健康点数管理单元230根据由摄像装置10a连续获取的捕获图像分析存在于空间中的一个或更多个用户(人)的姿势、移动等,并且确定是否执行健康行为(姿势、移动等)。在执行健康行为的情况下,健康点数管理单元230将健康点数赋予给用户。注意,通过预先注册每个用户的面部信息,健康点数管理单元230可以通过面部分析从捕获图像中识别用户,并且与用户相关联地存储健康点数。此外,健康点数管理单元230执行控制,以在预定时刻从显示单元30a等通知用户健康点数的赋予。可以在转换到身心健康模式之后在显示的主页画面上立即显示对用户的通知。
接下来,在转换到身心健康模式之后,控制单元20分析从摄像装置10a获取的捕获图像,并且获取用户的情境(步骤S115)。注意,可以从内容观看模式连续地获取情境。在对捕获图像的分析中,例如,可以执行面部识别、物体检测、动作(运动)检测、姿势估计等。
接下来,控制单元20根据情境来执行在身心健康模式中提供的各种功能(应用)中的功能(步骤S118)。在本实施方式中,可以根据情境提供的功能包括空间演出功能F2和运动程序提供功能F3。用于执行每个功能的应用程序(程序)可以预先存储在存储单元40中,或者可以从因特网上的服务器适当地获取。在检测到由每个功能定义的情境的情况下,控制单元20实现相应的功能。情境是周围情况,并且包括例如用户数、用户手中持有的物体、用户正在执行/要执行的事情、生物计量信息的状态(脉搏、体温、面部表情等)、兴奋度(声音大小、声音量、给定的处理等)或姿势中的至少一个。
此外,即使在身心健康模式期间,控制单元20的健康点数管理单元230也可以连续地实现健康点数通知功能F1。例如,即使在执行空间演出功能F2时,健康点数管理单元230也从每个用户的姿势和运动检测健康行为,并且适当地赋予健康点数。在执行空间演出功能F2时,可以关闭健康点数的通知,以便不干扰空间演出。此外,例如,健康点数管理单元230根据由运动程序提供功能F3提供的运动程序(由用户执行的运动)赋予健康点数。健康点数的通知可以在运动程序结束时执行。
然后,在检测到用于返回到内容观看模式的触发的情况下(步骤S121/是),控制单元20使得操作模式从身心健康模式转换到内容观看模式(步骤S103)。模式转换触发可以是用户的明确操作。
以上已经描述了根据本实施方式的整个操作处理。注意,上述操作处理是示例,并且本公开内容不限于此。
此外,用户在触发模式转换时的明确操作可以是用户的语音输入。此外,用户的指定不限于基于捕获图像的面部识别,并且可以是基于由作为输入单元10的示例的麦克风收集的用户话语声音的声音认证。此外,情境的获取不限于捕获图像的分析,并且可以进一步使用由麦克风收集的环境声音或话语声音的分析。
在下文中,将参照附图具体描述上述功能中的每个功能。
<<4.第一示例(健康点数通知功能)>>
作为第一示例,将参照图5至图10具体描述健康点数通知功能。
<4-1.配置示例>
图5是示出根据第一示例的实现健康点数通知功能的信息处理装置1的配置的示例的框图。如图5所示,实现健康点数通知功能的信息处理装置1包括摄像装置10a、控制单元20a、显示单元30a、扬声器30b、照明设备30c和存储单元40。摄像装置10a、显示单元30a、扬声器30b、照明设备30c和存储单元40如参照图3所述,并且因此这里省略其详细描述。
控制单元20a用作健康点数管理单元230。健康点数管理单元230具有分析单元231、计算单元232、管理单元233、运动兴趣度确定单元234、周围状况检测单元235和通知控制单元236的功能。
分析单元231分析由摄像装置10a获取的捕获图像,并且检测骨架信息和面部信息。在面部信息的检测中,可以通过将面部信息与预先注册的每个用户的面部信息进行比较来指定用户。面部信息是例如面部的特征点的信息。分析单元231将从捕获图像分析的人的面部的特征点与预先注册的一个或更多个用户的面部的特征点进行比较,并且指定具有匹配特征的用户(面部识别处理)。此外,在骨架信息的检测中,例如,从捕获图像中识别每个人的每个部位(头部、肩部、手、脚等),并且计算每个部位的坐标位置(关节位置的获取)。此外,骨架信息的检测可以作为姿势估计处理来执行。
接着,计算单元232基于从分析单元231输出的分析结果来计算健康点数。具体地,计算单元232基于检测出的用户的骨架信息来确定用户是否执行了预先注册的“健康行为”,并且在用户已经执行了“健康行为”的情况下,计算对应的健康点数。“健康行为”是预定的姿势或运动。例如,动作可以是伸展项目,诸如双臂都被抬高到头部之上的“伸展”,在起居室中经常看到的健康动作(行走、大笑)等。此外,还包括肌肉力量训练、运动、跳舞、家务劳动等。存储单元40可以存储“健康行为”的列表。
在列表中的每个项目中,将“健康行为”的名称、骨架信息和难度级别相关联。骨架信息可以是通过骨架检测获得的骨架的点数群信息本身,或者可以是诸如由用线连接骨架的点的两条或更多条线段形成的特征角的信息。难度级别可以由专家预先确定。在伸展的情况下,可以根据姿势的难度来确定难度级别。此外,难度级别可以由身体从正常姿势(坐姿、站姿)到暂停的运动幅度来确定(在运动大的情况下,难度级别高,而在运动小的情况下,难度级别低)。此外,在进行肌肉力量训练、运动等的情况下,可以确定对身体的负荷越大,则难度级别越高。
计算单元232可以根据与由用户执行的姿势或运动匹配的“健康行为”的难度级别来计算健康点数。例如,计算单元232基于其中难度级别和健康点数彼此相关联的数据库来计算难度级别和健康点数。此外,计算单元232可以通过将根据难度级别的权重赋予用于执行“健康行为”的基础点数来计算健康点数。此外,计算单元232可以根据用户的能力改变难度级别。可以基于用户的行为的累积来确定用户的能力。用户的能力可以被分成“初学者、中级者和高级者”三个阶段。例如,包括在列表中的特定伸展项目的难度级别通常可以是“中级”,但是在被应用于初学者用户的情况下可以被改变为“高级”。注意,当向用户推荐伸展等时,也可以使用“难度级别”。
此外,在计算了特定健康行为的健康点数之后,计算单元232可以在预定时间(例如,1小时)内不计算相同行为的健康点数,或者可以通过将健康点数减少预定比率来计算健康点数。此外,在一天中检测到预设数量的健康行为的情况下,计算单元232可以增加奖励点数。
管理单元233将由计算单元232计算的健康点数与用户的信息相关联地存储在存储单元40中。在存储单元40中,可以预先存储识别信息(面部特征点等)、用户名、身高、体重、骨架信息、爱好等作为一个或更多个用户的信息。管理单元233存储关于赋予给相应用户的健康点数的信息作为关于用户的信息之一。关于健康点数的信息包括检测到的行为(从列表项提取的名称等)、根据行为赋予给用户的健康点数、赋予健康点数的日期和时间等。
上述健康点数可以用于添加各种应用的材料。此外,上述健康点数可以用作在身心健康模式下打开新应用或在身心健康模式下打开每个应用的功能的点数。此外,上述健康点数可以用于产品购买。
运动兴趣度确定单元234基于健康点数确定用户对运动的兴趣度。由于累积了每个用户的健康点数,因此运动兴趣度确定单元234可以基于特定时段(例如,一周)的健康点数的总和来确定用户对运动的兴趣度。例如,可以确定健康点数越高,对运动的兴趣度越高。更具体地,例如,运动兴趣度确定单元234可以根据一周的健康点数的总数如下确定对运动的兴趣度。
·0P……对运动不感兴趣(级别1)
·0至100P……对运动有点感兴趣(级别2)
·100至300P……对运动感兴趣(级别3)
·300P至……对运动非常感兴趣(级别4)
可以根据在列表中注册的每个行为的得分以及在特定时段内通常可以获取多少得分的验证来确定在每个级别的点数的阈值。
此外,运动兴趣度确定单元234可以不以预定级别(绝对评价)而是通过与用户的过去状态进行比较(相对评价)来进行确定。例如,如果由于用户的总健康点数的变化(时间变化)而导致用户每周的总健康点数从上周增加预定点数(例如,100P)或更多,则运动兴趣度确定单元234确定“用户对运动变得非常感兴趣”。此外,如果健康点数的总数从上周减少预定点数(例如,100P)或更多,则运动兴趣度确定单元234确定“运动兴趣减弱”。此外,如果与前一周的差异小于或等于预定点(例如,50P),则运动兴趣度确定单元234确定“对运动的兴趣是稳定的”。也可以通过验证来确定得分的宽度。
周围状况检测单元235基于由分析单元231对捕获图像的分析结果来检测周围状况(所谓的情境)。例如,周围状况检测单元235检测是否存在正在观看显示单元30a的用户、是否存在专注于正在显示单元30a上再现的内容的用户、或者是否存在在显示单元30a前方但没有专注于内容(不是正在观看、做其他事情)的用户。可以根据从分析单元231获得的每个用户的面部方向和身体方向(姿势)来确定用户是否正在观看显示单元30a。此外,在用户持续观看显示单元30a预定时间或更长时间的情况下,可以确定用户是专心的。此外,在还检测到眨眼、视线等作为面部信息的情况下,还可以基于这些面部信息来确定专注度。
通知控制单元236执行控制以向用户通知关于由管理单元233在预定时刻赋予给用户的健康点数的信息。通知控制单元236可以在由周围状况检测单元235检测到的情境满足条件的时刻执行通知。例如,由于在存在专注于内容的用户阻碍内容观看的情况下通知显示单元30a,所以可以在用户不专注于内容的情况下、在用户没有观看显示单元30a的情况下、或者在用户正在做除了内容观看之外的事情的情况下从显示单元30a进行通知。当管理单元233赋予健康点数时,通知控制单元236可以确定情境是否满足条件。在情境不满足条件的情况下,可以在等待直到满足时刻之后执行通知。此外,可以响应于用户的明确操作(健康点数的确认,见图10)来执行关于健康点数的信息的显示。
此外,通知控制单元236可以根据由运动兴趣度确定单元234确定的用户对运动的兴趣度来确定通知的内容。通知的内容包括例如此时要赋予的健康点数、赋予的原因、行为带来的效果、推荐的伸展等以及进行推荐的时刻。
这里,图6示出了根据第一示例的根据对运动的兴趣度的通知内容的示例。如图6所示,在存在专心观看内容的人的情况下,通知控制单元236在任何情况下都不呈现关于点数赋予的信息。另一方面,在没有专心观看内容的人的情况下,通知控制单元236根据用户对运动的兴趣度来确定如表格中所示的通知内容。
例如,向对运动的兴趣度低的用户通知已经赋予健康点数的事实、赋予的原因等。这些信息可以同时显示在显示单元30a的画面上,或者可以顺序地显示。此外,显示单元30a向对运动的兴趣度低的用户通知对“健康行为”(伸展等)的建议,该建议可以在由系统侧确定的时间(例如,21:00,其是夜间休闲时间)或在由用户确定的时间并且在没有专心观看内容的人的情况下容易地执行。术语“容易地执行”被假定为具有低难度级别的伸展、不使用诸如椅子或毛巾等的工具的伸展。此外,假定可以在不从用户的当前姿势改变姿势的情况下执行伸展等。也就是说,对于对运动的兴趣度低的用户,提出了具有低心理障碍(出现积极性)的伸展等。
此外,在对运动具有中级兴趣度的人的情况下,仅给出已经赋予健康点数的通知。可以根据用户操作来显示赋予的原因。
此外,显示单元30a在由系统侧确定的时间或者在由用户确定的时间并且在没有专心观看内容的人的情况下,向对运动具有中级兴趣度的用户通知对更高级的“健康行为”(伸展等)的建议。术语“高级”被假定为具有高难度的伸展、使用诸如椅子或毛巾等的工具的伸展。此外,假定通过从用户的当前姿势极大地改变姿势而执行的伸展等。这是因为,即使伸展等具有高的心理障碍,对运动具有中级兴趣度的用户也很可能执行伸展等。
注意,如何为用户选择推荐的伸展等不限于难度级别。例如,通知控制单元236可以掌握用户在一天内的通常姿势或房间中的运动趋势,并且提出适当的伸展等。具体地,在用户一直坐着或者是每天不移动他/她的身体的人的情况下,可以通过伸展以伸展整个身体的肌肉的配置来顺序地呈现推荐,使得当用户可以执行一个推荐的伸展时显示下一个推荐。此外,在一天中运动恒定的情况下,可以呈现具有用于创建放松状态的配置的推荐行为(例如,深呼吸、瑜伽姿势等)。此外,还可以采用这样的配置,其中,用户在通过预先存储身体部位的疼痛信息等来呈现推荐的伸展等时不损伤身体部位。
注意,在人对运动具有高兴趣度的情况下,可以不执行呈现。由于对运动高度感兴趣的人在空闲时间内执行伸展等或者创建时间以移动身体而不从系统侧做出建议的可能性很高,所以该人不做出任何通知,从而减少了由该通知引起的麻烦。
此外,在显示身心健康模式中的主页画面的情况下,由于用户没有观看内容,所以通知控制单元236可以确定“没有专心观看内容的人”并且执行通知。
此外,通知控制单元236的通知方式可以是使得通知图像在显示单元30a的画面上淡入并且显示特定时段然后淡出,或者通知图像可以在显示单元30a的画面上滑入,显示特定时段然后滑出(见图8和图9)。
此外,通知控制单元236还可以在通过显示执行通知时执行音频和照明的控制。
以上已经具体描述了根据本示例的用于实现健康点数通知功能的配置。注意,根据本示例的配置不限于图5中所示的示例。例如,用于实现健康点数通知功能的配置可以由一个设备实现,或者可以由多个设备实现。此外,控制单元20a、摄像装置10a、显示单元30a、扬声器30b和照明设备30c可以以无线或有线的方式可通信地彼此连接。此外,可以包括显示单元30a、扬声器30b或照明设备30c中的至少一个。此外,可以采用还包括麦克风的配置。
此外,在上述描述中,已经描述了通过检测“健康行为”来赋予健康点数,但是本示例不限于此。例如,也可以检测“不健康行为”,并且可以推断健康点数。可以预先注册关于“不健康行为”的信息。“不健康行为”的示例包括不良姿势、久坐和在沙发上睡觉。
<4-2.操作处理>
接下来,将参照图7描述根据本示例的操作处理。图7是示出根据第一示例的健康点数通知处理的流程的示例的流程图。
如图7所示,首先,由摄像装置10a获取捕获图像(步骤S203),并且分析单元231分析捕获图像(步骤S206)。在对捕获图像的分析中,例如,检测骨架信息和面部信息。
接着,分析单元231基于检测到的面部信息来指定用户(步骤S209)。
接着,计算单元232基于检测到的骨架信息来确定用户是否已经执行了健康行为(良好的姿势、伸展等)(步骤S212),并且根据由用户执行的健康行为来计算健康点数(步骤S215)。
随后,管理单元233将计算的健康点数赋予给用户(步骤S218)。具体地,管理单元233将计算出的健康点数作为指定用户的信息存储在存储单元40中。
接着,通知控制单元236基于由周围状况检测单元235检测到的周围状况(情境)来确定通知时刻(步骤S221)。具体地,通知控制单元236确定情境是否满足可以进行通知的预定条件(例如,没有专心观看内容的人)。
接着,运动兴趣度确定单元234根据健康点数来确定用户对运动的兴趣度(步骤S224)。
然后,通知控制单元236根据用户对运动的兴趣度来生成通知内容(步骤S227),并且将通知内容通知给用户(步骤S230)。这里,图8和图9示出了根据第一示例的向用户的健康点数通知的示例。
如图8所示,例如,通知控制单元236可以通过淡入、淡出、弹出等在显示单元30a上显示图像420达特定时段,图像420指示已经向用户赋予的健康点数以及进行赋予的原因。此外,如图9所示,例如,通知控制单元236可以通过淡入、淡出、弹出等在显示单元30a上显示图像422达特定时段,该图像422描述已经向用户赋予健康点数、赋予原因及其效果。
此外,通知控制单元236可以响应于用户的明确操作在显示单元30a上显示如图10所示的健康点数确认画面424。在确认画面424中,显示每个用户的日常健康点数的总数及其分类。此外,在确认画面424上,可以一起显示每个服务的内容观看时间等(例如,用户观看TV多少小时、用户玩游戏多少小时、以及用户使用哪个视频分发服务多少小时)。除了用户的明确操作之外,确认画面424可以在转变到身心健康模式时被显示达特定时段,可以在显示单元30a的电源被关闭时被显示达特定时段,或者可以在睡眠时间之前被显示达特定时段。
以上已经描述了根据本示例的健康点数通知功能的操作处理。注意,图7中所示的操作处理的流程是示例,并且本示例不限于此。例如,图7中所示的步骤的顺序可以并行处理,可以反向处理,或者可以跳过。
<4-3.修改示例>
接下来,将描述第一示例的修改示例。
在上述示例中,已经描述了基于面部信息指定用户,但是本公开内容不限于此,并且分析单元231可以使用例如物体信息。通过分析捕获图像来获得物体信息。更具体地,分析单元231可以通过用户所穿的衣服的颜色来指定用户。当用户可以通过面部识别被预先指定时,管理单元233新注册用户所穿的衣服的颜色(作为存储单元40中的用户信息)。结果,即使在不能执行面部识别的情况下,也可以根据通过分析捕获图像而获得的物体信息来确定人所穿的衣服的颜色,并且可以指定用户。例如,即使在用户的面部未被示出的情况下(例如,在用户相对于摄像装置向后延伸的情况下),也可以识别用户,并且可以赋予健康得分。注意,分析单元231还可以根据除物体信息以外的其他数据来指定用户。例如,分析单元231基于与用户所拥有的智能电话、可穿戴设备等的通信结果来识别谁在哪里,并且识别通过与从捕获图像获取的骨架信息等合并而示出的人。对于通过通信的位置检测,例如,使用通过Wi-Fi的位置检测技术。
此外,在检测到健康行为但不能指定用户的情况下,管理单元233可以不将健康点数赋予给任何人,或者可以以预定比率将健康点数赋予给所有家庭成员。
此外,在上述示例中,已经描述了不存在专心观看内容的用户的情况作为根据情境的通知控制的示例,但是本示例不限于此。例如,根据捕获图像执行物体识别,识别用户的手中持有的物体,并且在用户持有智能电话或书的情况下,存在在专注于智能电话或书的同时执行伸展等的可能性。因此,可以不执行通过声音的通知,以便不干扰专心(仅在画面上执行通知)。此外,由于存在分析由麦克风收集的语音并且在通话中吸收的同时执行伸展等的可能性,所以可以不执行通过声音的通知(仅在画面上执行通知),以便不干扰通话。以这种方式,可以检测更详细的情境,并且可以根据情境执行适当的呈现。
此外,作为通知方法,画面上的通知、通过声音的通知(通信声音)和通过照明的通知(点亮、改变为预定颜色、闪烁等)可以在同一时刻执行,或者可以根据情况适当地使用。例如,在“存在专心观看内容的人”的情况下,在上述示例中不执行通知,但是可以执行除了画面和声音之外的通知,例如,可以仅执行通过照明的通知。此外,在“不存在专心观看内容的人”的情况下,可以根据面部信息确定用户正在观看画面,并且在根据骨架信息确定用户正在站立的情况下,通知控制单元236可以执行画面上的通知和利用照明的通知,并且可以关闭利用声音(通信声音)的通知(因为存在用户在不发出通知声音的情况下在画面上注意到通知的高可能性)。另一方面,在其他情况下,通知控制单元236可以一起执行画面上的通知、通过声音的通知和通过照明的通知。此外,在身心健康模式下执行气氛演出的情况下,通知控制单元236可以仅通过画面和照明执行通知,而不用通过声音执行通知以便不破坏气氛,可以仅通过画面或照明执行通知,或者可以通过任何方法不执行通知。
此外,作为通知时刻,在用户正在观看特定内容的情况下,可以不执行通知(至少,不执行通过画面和声音的通知)。例如,假定预先注册了期望由用户专心观看的内容的类型(戏剧、电影、新闻等)。结果,通知控制单元236可以在用户专心观看期望观看的内容的情况下不执行利用画面或声音的通知,并且可以在用户观看其他类型的内容的情况下执行利用画面或声音的通知。
此外,可以基于用户的通常习惯来检测和注册上述“特定内容”。例如,周围状况检测单元235将用户的面部信息和姿势信息与内容的类型整合,并且指定用户正在观看达相对长时间的内容的类型。更具体地,例如,周围状况检测单元235测量用户在用户一周内观看内容的时间(可以检测到正面的时间、通过将面部指向电视的时间除以内容广播时间而获得的比率等)中针对每种类型观看画面的比率,并且确定用户频繁地观看了哪个类型的内容。结果,可以注册用户被估计为强烈想要观看的类型(特定内容)。类型的估计可以在每次切换广播或分发的内容时更新,或者可以通过每月或每周测量来更新。
<<5.第二示例(空间演出功能)>>
接下来,作为第二示例,将参照图11至16具体描述空间演出功能。在本示例中,根据人类情境,能够执行进一步提高人的专注力的音乐和照明、促进人的身心健康状态的气氛的演出、放松环境的演出、进一步增强人类所享受的状态的演出等。
在这样的演出中,作为示例,使用自然景观(森林、星空、湖泊、海洋、瀑布等)或自然声音(河流的声音、风的声音、昆虫的唧唧声等)。近年来,各种地方的城市化得到发展,并且往往难以从居住空间感受到自然。由于几乎没有机会与自然接触,并且可能感觉到压力,所以通过利用声音和视频创建类似自然的空间,将自然元素结合到生活空间中,从而减少不适,恢复能量,并且提高生产率。
<5-1.配置示例>
图11是示出根据第二示例的实现空间演出功能的信息处理装置1的配置的示例的框图。如图11所示,实现空间演出功能的信息处理装置1包括摄像装置10a、控制单元20b、显示单元30a、扬声器30b、照明设备30c和存储单元40。摄像装置10a、显示单元30a、扬声器30b、照明设备30c和存储单元40如参照图3所述,并且因此这里省略其详细描述。
控制单元20b用作空间演出单元250。空间演出单元250具有分析单元251、情境检测单元252和空间演出控制单元253的功能。
分析单元251分析由摄像装置10a获取的捕获图像,并且检测骨架信息和物体信息。在骨架信息的检测中,例如,从捕获图像中识别每个人的每个部位(头部、肩部、手、脚等),并且计算每个部位的坐标位置(关节位置的获取)。此外,骨架信息的检测可以作为姿势估计处理来执行。此外,在物体信息的检测中,识别存在于周边的物体。此外,分析单元251还可以将骨架信息和物体信息整合,以识别用户手中持有的物体。
情境检测单元252基于分析单元251的分析结果来检测情境。更具体地,情境检测单元252检测用户的状况作为情境。情境的示例包括饮食和饮水、与几个人交谈、做家务、独自放松、读书、入睡、起身以及准备外出。这些是示例,并且可以检测各种状况。注意,情境检测的算法不受特别限制。情境检测单元252可以预先参照诸如假定的姿势、用户所处的位置和所有物的信息来检测情境。
空间演出控制单元253根据由情境检测单元252检测出的情境,执行输出用于空间演出的各种类型的信息的控制。根据情境的用于空间演出的各种类型的信息可以预先存储在存储单元40中,可以从网络上的服务器获取,或者可以重新生成。在重新生成的情况下,可以根据预定的生成算法执行生成,可以通过组合预定的模式执行生成,或者可以使用机器学习执行生成。各种类型的信息的示例包括视频、音频和照明模式。如上所述,假定自然景观和自然声音作为示例。此外,空间演出控制单元253可以根据用户的情境和偏好选择并生成用于空间演出的各种类型的信息。通过根据情境输出用于空间演出的各种类型的信息,能够执行呈现等以进一步提高人的专注力、促进人体和精神的健康状态、呈现放松的环境或进一步提高人所享受的状态。
以上已经具体描述了根据本示例的用于实现空间演出功能的配置。注意,根据本示例的配置不限于图11所示的示例。例如,用于实现空间演出功能的配置可以由一个设备实现,或者可以由多个设备实现。此外,控制单元20b、摄像装置10a、显示单元30a、扬声器30b和照明设备30c可以以无线或有线的方式可通信地彼此连接。此外,可以包括显示单元30a、扬声器30b或照明设备30c中的至少一个。此外,可以采用还包括麦克风的配置。
<5-2.操作处理>
接下来,将参照图12来描述根据本示例的操作处理。图12是示出根据第二示例的空间演出处理的流程的示例的流程图。
如图12所示,首先,控制单元20b将信息处理装置1的操作模式从内容观看模式转换到身心健康模式(步骤S303)。到身心健康模式的转换如图4的步骤S106中所述。
接着,由摄像装置10a获取捕获图像(步骤S306),并且分析单元251分析捕获图像(步骤S309)。在对捕获图像的分析中,例如,检测骨架信息和物体信息。
接着,情境检测单元252基于分析结果来检测情境(步骤S312)。
接着,空间演出控制单元253确定检测出的情境是否满足预设的用于空间演出的条件(步骤S315)。
接着,在检测出的情境满足条件的情况下(步骤S315/是),空间演出控制单元253根据情境来执行预定的空间演出控制(步骤S318)。具体地,例如根据情境执行用于输出空间演出用的各种类型的信息的控制(视频、声音、光的控制)。注意,这里,作为示例,已经描述了满足预定条件的情况。但是,本示例不限于此,并且在存储单元40中未准备与检测到的情境对应的用于空间演出的信息的情况下,空间演出控制单元253可以从服务器重新获取该信息,或者空间演出控制单元253可以重新生成该信息。
以上,已经描述了根据本示例的空间演出处理的流程。注意,将参照图13进一步具体描述上述步骤S318所示的空间演出控制。在图13中,作为具体示例,将描述在情境是“饮食和饮水”的情况下的空间演出控制。
图13是示出根据第二示例的在饮食和饮水期间的空间演出处理的流程的示例的流程图。该流程是在情境是“饮食和饮水”的情况下执行的。
如图13所示,首先,空间演出控制单元253根据由检测到的情境所指示的饮食和饮水的人的数目(具体地,例如,持有杯子(饮料)的人的数目)执行空间演出控制(步骤S323、步骤S326、步骤S329、步骤S337)。可以基于骨架信息(姿势、手形、臂形等)和物体信息来检测饮食和饮水的人、持有杯子的每个人等。例如,在通过物体检测检测到杯子的情况下,并且进一步发现杯子的位置和手腕的位置在距物体信息和骨架信息的一定距离内,可以确定用户具有杯子。一旦检测到物体,则可以在用户没有移动的情况下估计用户持有物体达之后的某段时间。此外,在用户已经移动的情况下,可以重新执行物体检测。
在图14中示出根据饮食和饮水的人数的空间演出的示例。图14是示出根据第二示例的根据饮食和饮水的人数的空间演出的视频的示例的图。这样的图像显示在显示单元30a上。如图14所示,例如,当模式转换到身心健康模式时,在显示单元30a上显示如左上所示的主页画面430。在主页画面430上,显示从森林中仰望的星空的视频作为自然风景的示例。此外,在主页画面430上可以仅显示诸如时间信息的最少信息。接着,在通过检测情境确定显示单元30a周围的一个或更多个用户正在饮食和饮水的情况下(例如,假定一个或更多个用户打算在电视机的前方开始饮食和饮水的情况(一个或更多个用户持有筷子或杯子的情况)),空间演出控制单元253使得显示单元30a上的视频转换为与人数对应的模式中的视频。具体地,例如,在一个人的情况下,显示图14的右上所示的单人模式中的画面432。在单人模式中的画面432可以是例如篝火的视频。通过观察篝火,可以预期放松效果。注意,在身心健康模式中,可以生成模仿一个森林的虚拟世界。然后,可以执行画面转换,使得一个森林中的观看方向根据检测到的情境无缝地改变。例如,在身心健康模式中的主页画面430显示从森林看到的天空的图像。接着,当检测到诸如单独饮食和饮水的情境时,可以降低指向天空的视线(虚拟摄像装置的方向),并且画面可以无缝地转换到森林中的篝火视频(画面432)的视角。
此外,例如,在诸如2至3人的小数目人的情况下,画面转换到在图14的左下处示出的小数目模式画面434。在小数目模式下的画面434可以是例如在森林的深处中具有少量光的视频。即使在小数目的人饮食和饮水时,也能够演出使人感觉轻松的平静气氛。注意,还假定从单人模式到小数目模式的画面转换。同样在这种情况下,作为示例,可以执行其中以一个世界视图(例如,在森林中)观看的方向(视角)无缝地移动的画面转换。注意,作为小数目的示例,人数是2至3,但是本示例不限于此,并且2人可以是小数目以及3或更多人可以是大数目。
此外,例如,在存在大量饮食和饮水的用户(例如,4个或更多用户)的情况下,空间演出控制单元253转换到如图14的右下所示的大数目模式的画面436。主模式下的画面436可以是例如其中明亮的光从森林的深处进入的视频。能够期望活跃和使用户的心情活跃的效果。
上述用于空间演出的视频可以是通过捕获实际场景而获得的动态图像,可以是静止图像,或者可以是由2D或3D CG生成的图像。
此外,可以预先设置根据人数要提供什么类型的视频,或者可以在指定每个用户之后选择与每个用户的气氛(人物、喜好、偏好等)匹配的视频。此外,由于所提供的视频旨在辅助用户正在做什么(例如,饮食和饮水以及谈话),因此优选的是,不执行诸如通知声音、引导语音或消息的明确呈现。可以期望空间演出控制将诸如用户的情绪、精神状态和积极性的用户难以注意的事项提升到更优选的状态。
虽然在图14中已经主要描述了仅视频,但是空间演出控制单元253还可以执行声音和光的演出以及视频的呈现。此外,关于演出的信息的其他示例包括气味、风、室温、湿度、烟等。空间演出控制单元253使用各种输出设备执行这些信息的输出控制。
随后,在人数为两个或更多个的情况下,空间演出控制单元253确定是否已经检测到干杯作为情境(步骤S331和S340)。注意,可以连续地执行情境。还可以根据从捕获图像分析的骨架信息和物体信息来检测诸如干杯的操作。具体地,例如,在持有杯子的人的手腕的点的位置在肩膀的位置上方的情况下,可以检测到诸如干杯的情境。
接着,在检测到干杯的情况下(步骤S331/是,S340/是),空间演出控制单元253执行控制以通过摄像装置10a捕获干杯场景,存储捕获图像,并且在显示单元30a上显示捕获图像(步骤S334和S343)。图15是用于说明根据第二示例的响应于干杯动作而执行的成像的图。如图15所示,当通过分析摄像装置10a的捕获图像检测到多个用户(用户A、用户B和用户C)已经用杯子执行了干杯时,空间演出控制单元253执行控制以通过摄像装置10a自动地捕获干杯场景并且在显示单元30a上显示捕获图像438。结果,可以为用户提供更舒适的饮食和饮水时间。在经过预定时间(例如,几秒)之后,显示的图像438从画面消失,并且被保存在诸如存储单元40的预定存储区域中。
当对干杯场景成像时,空间演出控制单元253可以从扬声器30b输出摄像装置的快门声音。尽管扬声器30b在图15中不可见,但是扬声器30b可以被布置在显示单元30a或显示单元30a周围。此外,空间演出控制单元253可以在图像捕获时适当地控制照明设备30c,以便改善图片外观。此外,这里,作为示例,已经描述了在“干杯动作”中执行图像捕获,但是本示例不限于此。例如,在用户相对于摄像装置10a采取特定姿势的情况下,可以执行图像捕获。此外,本公开内容不限于静止图像的成像,并且可以执行几秒的动态图像的成像或几十秒的动态图像的成像。当执行成像时,输出通知声音以向用户清楚地指示正在执行成像。此外,在从谈话的音量、表情等检测到用户激动的情况下,可以捕获图像。此外,可以在预设时刻执行成像。此外,可以根据用户的明确操作来捕获图像。
然后,在持有杯子的人数改变的情况下(步骤S346/是),空间演出控制单元253转换到与该改变相对应的模式(步骤S323、步骤S326、步骤S329和步骤S337)。这里,使用“持有杯子的人数”等,但是本公开内容不限于此,并且可以使用“参加进餐的人数”、“靠近桌子的人数”等。此外,如参照图14所述,可以无缝地执行画面转换。注意,在持有杯子等的人数变为零的情况下,画面返回到身心健康模式中的主页画面。
以上已经描述了在饮食和饮水期间的空间演出的示例。在饮食和饮水期间的空间演出中执行的各种类型的输出控制的示例如图16所示。图16示出了在什么状态(情境)下将执行什么类型的演出以及演出所发挥的效果的示例。
<5-3.修改示例>
接下来,将描述第二示例的修改示例。
(5-3-1.心率参考)
参考心率的空间演出也是可以的。例如,分析单元251可以基于捕获图像分析用户的用户心率,并且空间演出控制单元253可以参照情境和心率执行控制以输出适当的音乐。心率可以通过用于从面部图像的皮肤表面的颜色等检测脉搏波的非接触脉搏波检测技术来测量。
例如,在情境指示用户独自休息的情况下,空间演出控制单元253可以提供每分钟节拍数(BPM)与用户心率接近的音乐。由于心率可以改变,因此当提供下一首音乐时,可以再次选择BPM与用户心率接近的音乐。通过提供BPM与心率接近的音乐,期望对用户的精神状态具有良好的效果。此外,由于人的心率的节奏经常与要收听的音乐的节奏同步,因此可以预期,通过输出BPM与人在休息时的心率相同级别的音乐来给出抚慰的效果。如上所述,不仅可以从视频中而且可以在音乐中呈现治愈用户的效果。注意,心率的测量不限于基于摄像装置10a的捕获图像的方法,并且可以使用另外的专用设备。
此外,在由情境指示用户正在进行多个谈话或饮食和饮水的情况下,空间演出控制单元253可以提供每分钟节拍(BPM)与每个用户的心率的平均值的1.0倍、1.5倍或2.0倍相对应的音乐。通过提供节奏比当前心率快的音乐,可以期望进一步提高兴奋或增强情绪的效果。注意,在多个用户中存在具有异常快的心率的用户(已经跑步的人等)的情况下,可以排除该用户,并且可以使用剩余用户的心率。此外,心率的测量不限于基于摄像装置10a的捕获图像的方法,并且可以使用外的专用设备。
此外,即时在用户的音乐的实际偏好未知的情况下,也可以提供预先准备的并且通常优选的音乐。
(5-3-2.响应于干杯进一步鼓励图像捕获)
尽管已经描述了快门声音的通知给出与上述干杯动作相对应的图像捕获的时间,但是本公开内容不限于此,并且可以执行声音演出直到图像捕获以便进一步引起干杯。例如,可以根据用户的数量提供声音。例如,在存在三个用户的情况下,可以按照能够检测干杯的姿势(持有杯子的手的位置上升到肩膀的位置之上等)的顺序来分配音阶,并且可以输出诸如“Do,Mi,So”的声音。可以向每个用户提供他/她已经通过执行干杯动作而扮演角色的识别,并且可以加强在该位置的意义。此外,可以确定人数的上限,并且在该地点的人数大于上限的情况下,可以按照检测的顺序使声音达到上限数量。
这样,通过执行引起干杯的演出,希望引起干杯,并且可以增强乐趣,使得干杯的乐趣保持在作为聚会的乐趣的记忆中。作为在祝酒时发出声音的另一种方式,还可以执行以下控制。
每几分钟将有不同的干杯声音。
声音根据杯子内饮料的颜色而变化。
声音根据参与干杯的人在摄像机视角的哪个区域中而改变。
(5-3-3.根据兴奋的演出)
在存在多个用户的情况下,情境检测单元252可以基于分析单元251对捕获图像和收集的声音数据的分析结果,检测兴奋度作为情境,空间演出控制单元253可以根据该兴奋度执行空间演出。
例如,通过基于从捕获图像获得的每个用户的视线检测结果来确定多少用户正看着彼此,可以检测兴奋度。例如,如果五人中的四人正在看某人的面部,则可以看出他们在谈话。另一方面,如果所有的五人不是彼此面对,则可以看出该位置不令人兴奋。
此外,情境检测单元252可以基于对由麦克风收集的收集声音数据(会话声音等)的分析,例如以每短时间发生多少次大笑的频率来检测兴奋度。此外,情境检测单元252可以基于音量变化的分析结果,在变化值是特定值或更大的情况下确定用户是兴奋的。
此外,将描述空间演出控制单元253根据兴奋度进行呈现的示例。例如,空间演出控制单元253也可以根据兴奋度的变化来改变音量。具体地,在用户兴奋的情况下,空间演出控制单元253可以将音乐的音量降低一点以使得易于进行对话,并且在用户不兴奋的情况下,空间演出控制单元可以将音乐的音量升高一点(升高到不太嘈杂的程度),使得用户不进行对话的状态(沉默)不被注意到。在这种情况下,当某人开始对话时,音量缓慢降低到原始音量。
此外,空间演出控制单元253也可以在兴奋度降低的情况下执行提供话题的演出。例如,在已经捕获干杯图像的情况下,空间演出控制单元253可以在显示单元30a上显示捕获图像以及声音效果。结果,可以自然地促进对话。此外,此外,空间演出控制单元253也可以在人多的状态下某人执行了特定的姿势(例如,将饮料倒入杯子的操作)的情况下,改变音乐淡入淡出。当音乐改变时,可以期望切换情绪。注意,即使在改变音乐一次之后的特定时段内再次执行相同的姿势,空间演出控制单元253也不改变音乐。
此外,空间演出控制单元253也可以根据兴奋度来变更视频和声音。例如,在显示天空视频的同时,在多个用户的兴奋度变高(比规定值)的情况下,空间演出控制单元253将视频变更为晴朗的视频,并且在兴奋度变低(比规定值)的情况下,空间演出控制单元253将视频变更为多云的视频。此外,在再现自然声音(小溪的潺潺声、昆虫的唧唧声、鸟的啁啾声等)期间多个用户的兴奋度变高(高于预定值)的情况下,空间演出控制单元253可以降低自然声音(例如,将四种类型的自然声音降低为两种类型的声音)(以便不干扰会话),并且可以在兴奋度变低(低于预定值)的情况下增加自然声音(例如,将三种类型的自然声音增加到五种类型的声音)(以便不引起注意)。
(5-3-4.将饮料倒入杯子时进行演出)
空间演出控制单元253可以根据向杯子进行倒入的瓶子的情况来改变音乐。通过基于捕获图像分析物体信息,可以检测瓶子。例如,空间演出控制单元253可以识别瓶子的颜色和形状以及瓶子的标签,并且如果类型和制造商已知,则将音乐改变为与饮料的类型和制造商相对应的音乐。
(5-3-5.随时间流逝的演出变化)
空间演出控制单元253可以根据时间的流逝来改变演出。例如,在用户单独饮水的情况下,空间演出控制单元253可以根据时间的流逝逐渐减少篝火的火势(诸如图14中所示的篝火的图像)。此外,空间演出控制单元253可以根据时间的流逝来改变视频中出现的天空的颜色(从白天到黄昏等)、减少昆虫的唧唧声或者减少音量。如上所述,还可以通过随着时间的流逝改变视频、音乐等来演出“结束”。
(5-3-6.演出由用户处理的物体的世界视图)
例如,在用户正在给儿童阅读绘本的情况下,空间演出控制单元253用视频、音乐、照明等来表达绘本的世界视图。此外,每当用户翻页时,空间演出控制单元253可以根据故事的场景改变来改变视频、音乐、照明等。通过分析捕获图像来检测物体信息、姿势检测等,可以检测到用户正在阅读绘本、用户正在阅读什么绘本、翻页等。此外,情境检测单元252还可以通过对由麦克风收集的语音数据的语音分析来掌握故事的内容和场景变化。此外,空间演出控制单元253可以通过知道绘本是什么绘本来从诸如服务器的外部设备获取绘本的信息(世界视图、故事)。此外,空间演出控制单元253可以通过获取故事的信息在某种程度上估计故事的进展。
<6.第三示例(运动程序提供功能)>
接着,作为第三示例,将参照图17至图21具体描述运动程序提供功能。在本示例中,当用户想主动运动时,根据用户的能力和对运动的兴趣度生成并提供运动程序。用户可以利用适合于用户的运动程序进行运动,而无需由用户设置级别或运动负荷。为用户提供适当的(不是超负荷载的)运动程序使得运动继续并提高积极性。
<6-1.配置示例>
图17是示出根据第三示例的实现运动程序提供功能的信息处理装置1的配置的示例的框图。如图17所示,实现运动程序提供功能的信息处理装置1包括摄像装置10a、控制单元20c、显示单元30a、扬声器30b、照明设备30c和存储单元40。摄像装置10a、显示单元30a、扬声器30b、照明设备30c和存储单元40如参照图3所述,并且因此这里省略其详细描述。
控制单元20c用作运动程序提供单元270。运动程序提供单元270具有分析单元271、情境检测单元272、运动程序生成单元273和运动程序执行单元274的功能。
分析单元271分析由摄像装置10a获取的捕获图像,并且检测骨架信息和物体信息。在骨架信息的检测中,例如,从捕获图像中识别每个人的每个部位(头部、肩部、手、脚等),并且计算每个部位的坐标位置(关节位置的获取)。此外,骨架信息的检测可以作为姿势估计处理来执行。此外,在物体信息的检测中,识别存在于周边的物体。此外,分析单元271还可以将骨架信息和物体信息整合,以识别用户的手中持有的物体。
此外,分析单元271可以从捕获图像检测面部信息。分析单元271可以通过基于检测到的面部信息将面部信息与预先注册的每个用户的面部信息进行比较来指定用户。面部信息是例如面部的特征点的信息。分析单元271将从捕获图像分析的人的面部的特征点与预先注册的一个或更多个用户的面部的特征点进行比较,并且指定具有匹配特征的用户(面部识别处理)。
情境检测单元272基于分析单元271的分析结果来检测情境。更具体地,情境检测单元272检测用户的状况作为情境。在本示例中,情境检测单元272检测到用户旨在主动运动。此时,情境检测单元272可以根据通过图像分析获得的用户的姿势变化、衣服、手中持有的工具等来检测用户想要进行什么类型的运动。注意,情境检测的算法不受特别限制。情境检测单元272可以参照诸如姿势、衣服和预先假定的所有物的信息来检测情境。
运动程序生成单元273根据由情境检测单元272检测的情境生成关于用户旨在执行的运动的适合于用户的运动程序。用于生成运动程序的各种类型的信息可以预先存储在存储单元40中,或者可以从网络上的服务器获取。
此外,运动程序生成单元273根据用户在用户旨在执行的运动中的能力和身体特性以及用户对用户旨在执行的运动的兴趣度来生成运动程序。例如,可以根据上次执行运动时的改进程度来确定“用户的能力”。此外,“身体特征”是用户身体的特征,并且“身体特征”的示例包括诸如身体的柔软度、关节的运动范围、受伤的存在与否、身体的难以移动的部分等的信息。在存在不希望移动的身体部位或者由于受伤、残疾、年老等而难以移动的身体部位的情况下,可以通过预先注册来生成避开该部位的运动程序。此外,可以根据迄今为止执行运动的时间或频率来确定“对运动的兴趣度”。运动程序生成单元273根据这样的能力和兴趣度生成适合于不会过度地加重用户的负担的用户的级别的运动程序。注意,在由用户输入运动目的(自主神经的调整、放松效果、僵硬肩背疼痛的改善、运动不足的消除、新陈代谢的改善等)的情况下,可以考虑该目的来生成运动程序。在运动程序的生成中,内容、运动次数、时间、顺序等被组合。运动程序可以根据预定的生成算法来生成,可以通过组合预定的模式来生成,或者可以通过使用机器学习来生成。例如,运动程序生成单元273生成针对每种类型的运动(瑜伽、舞蹈、使用工具的伸展、运动、肌肉力量训练、普拉提、跳绳、蹦床、高尔夫球、网球等)的运动项目列表。具体地,基于数据库生成适合于用户的能力、兴趣度、目的等的运动程序,在该数据库中,诸如理想姿势的骨架信息、名称、难度、效果和消耗的能量的信息相关联。
运动程序执行单元274根据生成的运动程序来控制预定的视频、音频和照明。此外,运动程序执行单元274可以将由摄像装置10a获取的用户的姿势和移动适当地反馈到显示单元30a的画面。此外,运动程序执行单元274可以根据所生成的运动程序显示视频图像作为示例,并且可以通过文本和语音来解释提示和效果,并且可以在用户清除解释时前进到下一项。
以上已经具体描述了用于实现根据本示例的运动程序提供功能的配置。注意,根据本示例的配置并不限于图17所示的示例。例如,用于实现运动程序提供功能的配置可以由一个设备实现,或者可以由多个设备实现。此外,控制单元20c、摄像装置10a、显示单元30a、扬声器30b和照明设备30c可以以无线或有线的方式可通信地彼此连接。此外,可以包括显示单元30a、扬声器30b或照明设备30c中的至少一个。此外,可以采用还包括麦克风的配置。
<6-2.操作处理>
接下来,将参照图18描述根据本示例的操作处理。图18是示出根据第三示例的运动程序提供处理的流程的示例的流程图。
如图18所示,首先,控制单元20c将信息处理装置1的操作模式从内容观看模式转换到身心健康模式(步骤S403)。到身心健康模式的转换如图4的步骤S106中所述。
接着,由摄像装置10a获取捕获图像(步骤S406),并且分析单元271分析捕获图像(步骤S409)。在对捕获图像的分析中,例如,检测骨架信息和物体信息。
接着,情境检测单元272基于分析结果检测情境(步骤S412)。
接着,运动程序提供单元270确定检测到的情境是否满足运动程序提供的条件(步骤S415)。例如,在用户旨在执行预定运动的情况下,运动程序提供单元270确定满足条件。
接着,在检测到的情境满足条件的情况下(步骤S415/是),运动程序提供单元270根据情境来提供适合于用户的预定运动程序(步骤S418)。具体地,运动程序提供单元270生成适合于用户的预定运动程序,并且执行生成的运动程序。
然后,当运动程序结束时,健康点数管理单元230(见图3和图5)将与执行的运动程序对应的健康点数赋予给用户(步骤S421)。
以上已经描述了根据本示例的运动程序提供处理的流程。注意,将参照图19进一步具体描述上述步骤S418中所示的运动程序的提供。在图19中,将描述提供瑜伽程序的情况作为具体示例。
图19是示出根据第三示例的瑜伽程序提供处理的流程的示例的流程图。该流程是在情境是“用户将要主动进行瑜伽”的情况下执行的。
如图19所示,首先,情境检测单元272基于捕获图像的物体检测来确定是否检测到瑜伽垫(步骤S433)。例如,在用户同瑜伽垫出现在显示单元30a的前方并放下瑜伽垫的情况下,开始在身心健康模式下提供瑜伽程序。注意,可以假定用于提供瑜伽程序的应用(软件)预先存储在信息处理装置1中。
接着,运动程序生成单元273基于由分析单元271从捕获图像检测到的面部信息来指定用户(步骤S436),并且计算指定用户对瑜伽的兴趣度(步骤S439)。例如,可以基于从数据库(存储单元40等)获取的用户的瑜伽应用的使用频率和使用时间来计算用户对瑜伽的兴趣度。例如,运动程序生成单元273可以在最近一周的瑜伽应用的总使用时间为0分钟的情况下设置“对瑜伽不感兴趣”,在总使用时间小于10分钟的情况下设置“初学者对瑜伽的兴趣”,在总使用时间为10分钟以上且小于40分钟的情况下设置“对瑜伽的中级兴趣”,以及在总使用时间为40分钟以上的情况下设置“对瑜伽的高级兴趣”。
接着,运动程序生成单元273获取指定用户的瑜伽改进级别(能力的示例)(步骤S442)。关于用户到目前为止已经执行的瑜伽应用的信息作为用户信息被累积在例如存储单元40中。瑜伽改进级别是指示用户已经达到什么程度的信息,并且当瑜伽程序结束时,系统(运动程序提供单元270)可以在例如“初学者级别、中级级别、高级级别”的三个阶段中授予瑜伽改进级别。例如,可以基于理想状态(示例)与用户的姿势之间的差异,或者基于对用户的骨架的每个点的摆动程度的评估,来授予瑜伽改善的程度。
接着,分析单元271检测用户的呼吸(步骤S445)。在瑜伽中,由于如果用户善于呼吸则姿势的效果可以被增强,所以呼吸能力也被视为用户的瑜伽能力之一。例如,可以使用麦克风来执行呼吸的检测。例如,可以在遥控器中提供麦克风。在开始瑜伽程序之前,运动程序提供单元270提示用户将遥控器(设置在遥控器中的麦克风)放在他/她的嘴边来执行呼吸,并且检测呼吸。例如,运动程序生成单元273在用户吸气5秒和呼气5秒时将呼吸级别设置为高级,在呼吸浅时将级别设置为中级,并且在呼吸中途停止时将级别设置为初学者的级别。此时,在用户不能很好地呼吸的情况下,可以显示和指示呼吸的目标值的引导和从麦克风获取的呼吸结果两者。
接着,在可以检测到呼吸的情况下(步骤S445/是),运动程序生成单元273基于特定用户对瑜伽的兴趣度、瑜伽的改进程度和呼吸级别来生成适合于用户的瑜伽程序(步骤S448)。注意,在用户输入“练习瑜伽的目的”的情况下,运动程序生成单元273可以考虑输入的目的进一步生成瑜伽程序。此外,运动程序生成单元273可以使用特定用户对瑜伽的兴趣度、瑜伽的改进程度或呼吸级别中的至少一个来生成瑜伽程序。
另一方面,在不能检测到呼吸的情况下(步骤S445/否),运动程序生成单元273基于特定用户对瑜伽的兴趣度或瑜伽的改进程度中的至少一个来生成适合于用户的瑜伽程序(步骤S451)。同样在这种情况下,在用户输入“练习瑜伽的目的”的情况下,可以考虑该目的。
此外,这里,作为示例,已经描述了在步骤S445中执行呼吸的检测,但是本示例不限于此,并且可以不执行呼吸的检测。
将描述瑜伽程序的生成的具体示例。
例如,在用户具有“对瑜伽的高级兴趣度”的情况下,运动程序生成单元273生成在适合于用户输入的目的姿势中组合具有高难度级别的姿势的程序。可以由专家预先授予每个姿势的难度级别。
此外,例如,在用户“对瑜伽的兴趣度是关于初学者”的情况下,运动程序生成单元273生成将在由用户输入的适合于目的姿势中具有低难度级别的姿势组合的程序。此外,用户在瑜伽程序中直到前次已经改进(已经保持接近于示例的姿势一定时段)的姿势可以被替换为具有较高难度级别的姿势。例如,即使在相同类型的姿势中,由于难度根据手所放置的位置、脚的弯曲状态等而改变,因此可以适当地调整作为示例的姿势的难度级别。
此外,在确定用户由于从瑜伽程序的先前执行起经过一个月或更长时间而具有“对瑜伽没有兴趣度”等的情况下,运动程序生成单元273生成可以减少通常要集合的姿势的数量并且容易给出成就感的瑜伽程序。此外,在执行瑜伽程序的频率降低或者用户在几个月内没有执行瑜伽程序等的情况下,用户的积极性降低。因此,运动程序生成单元273可以通过生成具有少量姿势和接近用户迄今在瑜伽程序中擅长的姿势的瑜伽程序来降低难度级别并逐渐提高积极性。
以上已经描述了生成瑜伽程序的具体示例。注意,上述具体示例都是示例,并且本示例不限于此。
随后,运动程序执行单元274执行生成的瑜伽程序(步骤S454)。在瑜伽程序中,在显示单元30a上显示通过向导(例如CG)的示例的姿势的视频。该向导顺序地提示用户采取形成为瑜伽程序的每个姿势。作为粗略的流程,向导首先解释姿势的效果,并且然后向导示出姿势的示例。用户根据向导的示例移动身体。此后,有暂停结束的标志,并且处理进行到下一暂停的描述。然后,当完成所有姿势时,显示瑜伽程序结束画面。
为了辅助用户在瑜伽姿势期间的积极性,运动程序执行单元274可以根据用户对瑜伽的兴趣度或瑜伽改善的程度来执行呈现。例如,运动程序执行单元274给予关于呼吸的建议优先级,以便专心于对于具有“瑜伽改善的初学者级别”的用户而言在瑜伽中第一重要的呼吸。通过音频向导和文本来呈现吸入时刻和呼出时刻。此外,运动程序执行单元274可以在画面上表达呼吸时刻,以便直观地易于理解。例如,可以通过作为向导的身体的大小(吸气时使身体膨胀,呼气时使身体下压)来表示,也可以用箭头或空气流(效果)来表示(在吸气时,可以显示朝向面部的效果,并且在呼气时,可以显示从面部朝向外部的效果)。此外,圆可以在向导上叠加和显示,并且通过圆的尺寸的变化来表示(当吸气时放大圆,并且当呼气时缩小圆)。此外,也可以将圆环形状的测量曲线图作为向导叠加并显示,并且通过测量曲线图的变化(吸气时逐渐增加的曲线图并且呼气时逐渐减少的曲线图)来表现。注意,与每个姿势相关联地预先注册关于理想呼吸时刻的信息。
此外,在用户具有“初级瑜伽改进程度”的情况下,运动程序执行单元274可以基于通过分析由摄像装置10a获取的捕获图像而检测到的用户的骨架信息,显示连接骨架的点(关节位置)的线,以便在显示单元30a的显示画面上与用作向导的人交叠。这里,图20示出了根据本示例的瑜伽程序的画面的示例。图20示出了身心健康模式下的主页画面440和其后可以显示的瑜伽程序的画面442。如瑜伽程序的画面442所示,指示实时检测的用户的姿势的骨架显示444叠加并显示在向导的视频上,使得即使初学者用户也能够直观地掌握身体应该倾斜多少、手臂应该伸展多少、脚应该放置在哪里等。注意,在图20所示的示例中,用户的姿势由线段表示,但是本示例不限于此。例如,运动程序执行单元274可以在向导上叠加并显示基于骨架信息生成的半透明轮廓(身体轮廓)。此外,运动程序执行单元274可以以进一步增加一定厚度的形式表示图20中示出的每个线段。
此外,在用户具有“瑜伽改善的中等程度”的情况下,运动程序执行单元274可以在每个姿势下利用语音向导和人物呈现要有意识的点,诸如应该有意识地伸展哪个肌肉以及应该注意什么。此外,可以使用箭头或效果来表示要成为点的事物,诸如伸展身体的方向。
此外,在用户具有“高级瑜伽改进程度”的情况下,运动程序执行单元274尽可能地减少向导所呈现的言语、人物和效果的量,以便专注于作为瑜伽的原始目的“面对自己的时间”。例如,可以省略对在每个姿态的开始处执行的效果的描述。此外,可以执行具有给予空间演出的优先级的呈现,使得通过减小向导的语音的音量并增加诸如昆虫的唧唧声和小溪的潺潺声的自然声音的音量,用户可以沉浸在世界视图中。
以上已经描述了根据瑜伽改进程度的呈现方法的具体示例。注意,运动程序执行单元274可以根据每个姿势的改进程度(先前)改变当执行每个姿势时呈现向导的方法。此外,可以根据用户对瑜伽的兴趣度来改变以所有姿势呈现向导的方法。
这样,通过根据用户的瑜伽的改进程度或对瑜伽的兴趣度来改变呈现方法,用户要实现的事情(初级的“呼吸”,中级的“有意识(重要点)”)变得清楚,并且用户可以容易地理解要专注于什么。这使得初学者或中级用户更容易获得每个姿势的成就感,特别是比以模糊的方式模仿姿势更容易。
此外,运动程序执行单元274可以使用环绕声执行引导。例如,根据向导“向右弯曲”,用于匹配向导的声音或呼吸的桁条的声音可以从弯曲方向(向右)流动。此外,取决于姿势,在姿势期间可能难以看到显示单元30a。在这样的姿势的情况下(在难以看到画面的姿势的情况下),运动程序执行单元274可以呈现向导语音,就好像向导角色来到用户的脚(或头部附近)并且通过使用环绕声来说话一样。结果,用户可以感觉到真实。此外,向导声音可以是与实时检测到的用户的姿势相对应的建议(“请将你的脚抬高一点”等)。
然后,当所有姿势被执行并且瑜伽程序结束时,健康点数管理单元230根据瑜伽程序赋予并呈现健康点数(步骤S457)。
图21是示出显示在瑜伽程序结束时赋予给用户的健康点数的画面的示例的图。如图21所示,例如,在瑜伽程序的结束画面446上,可以显示指示有关健康点数已经被赋予给用户的通知448。可以更强调健康点数的呈现,以特别地为在长时间之后执行瑜伽程序的用户显示健康点数以便引起下一次的积极性。
此外,当完成瑜伽程序时,运动程序执行单元274可以使向导最后谈论移动身体的效果,或者可以对用户已经执行瑜伽程序的事实进行夸奖。预期两者都可以导致下一次的积极性。此外,通过为对瑜伽具有中间或高级兴趣度的用户执行下一瑜伽程序的引导(新姿势等),诸如“让在下一瑜伽程序中采取该姿势”,可以增加下一次的积极性。此外,在存在此时执行的瑜伽程序中没有成功地摆好姿势的项的情况下,可以给出最后姿势的点数的通知。
此外,在与用户已经频繁(例如,一周一次或更多次)执行瑜伽程序的情况相比姿势的改善度已经降低的情况下,可以向在长时间之后执行瑜伽程序并且对瑜伽的兴趣度在过去处于中级或高级的用户给出诸如“身体已经变硬”或“身体已经摇摆”的负反馈。当诸如身体摇摆的负反馈被给予初学者用户时,积极性可能被削弱,但是在用户在过去已经是中级的或高级的情况下,存在通过使用户意识到用户处于不良状态来提高积极性的效果。
此外,运动程序执行单元274可以显示用于将在瑜伽程序开始时成像的用户的面部与在瑜伽程序结束时成像的面部进行比较的图像,而不管对瑜伽等的兴趣度如何。此时,通过向导传达执行瑜伽程序的效果,例如“血流改善”等,能够给用户带来成就感。
此外,在瑜伽程序结束时,运动程序提供单元270可以基于当前瑜伽程序的结果(每个姿势的实现程度等)来计算用户的瑜伽改进程度,并且将瑜伽改进程度新注册为用户信息。此外,运动程序提供单元270可以计算瑜伽程序的执行期间每个姿势的改进程度,并且将改进程度存储为用户信息。例如,可以基于姿势期间用户的骨架的状态与理想骨架状态之间的差异、骨架的每个点的摆动程度等来评估每个姿势的改进程度。此外,运动程序提供单元270可以计算“呼吸”的改进程度。例如,在瑜伽程序结束时,可以指示用户在麦克风(设置有遥控器)上执行呼吸,并且可以获取呼吸信息以计算改进程度。在用户不能很好地呼吸的情况下,运动程序提供单元270可以显示从麦克风获取的呼吸结果和呼吸的目标值的向导两者。此外,在用户在长时间之后执行了瑜伽程序并且检测到在瑜伽程序期间呼吸变浅的情况下,运动程序提供单元270可以在瑜伽程序结束时执行诸如“呼吸变得比前一时间浅”的反馈。此外,作为瑜伽改进程度的另一获取方法,还假定使用从设置在用户穿戴的伸展材料的穿戴中的传感器接收的数据。
在瑜伽程序结束之后,显示单元30a的画面返回到身心健康模式下的主页画面。
以上已经具体描述了第三示例的操作处理。注意,可以适当地跳过、并行处理或以相反顺序处理图19所示的操作处理的每个步骤。
<6-3.修改示例>
当生成适合于用户的运动程序时,运动程序生成单元273可以进一步结合用户的生活方式。例如,考虑到瑜伽程序开始的时间以及用户的生活方式的趋势,当就寝时间临近并且没有时间时,可以使用较短的程序配置。此外,可以根据瑜伽程序开始的时区来改变程序配置。例如,在睡眠时间接近的情况下,抑制交感神经的动作是重要的,并且因此,能够生成不采用后弯姿势(促进交感神经的动作)而使用户在前弯姿势下比平常更缓慢地意识到呼吸的程序。
此外,当生成适合于用户的运动程序时,运动程序生成单元273还可以基于用户的健康点数来考虑用户对由运动兴趣度确定单元234确定的运动的兴趣度。
此外,当健康点数管理单元230向用户通知健康点数的赋予时,运动程序提供单元270还可以向对运动具有高度兴趣但从未执行过特定运动程序(例如,瑜伽程序)的用户给出建议“你希望在瑜伽程序中运动你的身体吗?”的运动信息。
<7.补充>
以上,已经参照附图详细地描述了本公开内容的优选实施方式,但是本技术并不限于这样的示例。显然,本公开内容的技术领域的普通技术人员可以在权利要求书中记载的技术思想的范围内构思各种修改或校正,并且自然理解,各种修改或校正也落入本公开内容的技术范围内。
此外,还可以创建一个或更多个计算机程序,用于使诸如上述信息处理装置1中内置的CPU、ROM和RAM的硬件呈现信息处理装置1的功能。此外,还提供了存储一个或更多个计算机程序的计算机可读存储介质。
此外,本说明书中描述的效果仅仅是示例性或说明性的,而不是限制性的。也就是说,根据本公开内容的实施方式的技术除了上述效果之外或者代替上述效果,还可以呈现根据本说明书的描述对于本领域技术人员明显的其他效果。
注意,本技术还可以具有以下配置。
(1)
一种信息处理装置,包括:
控制单元,所述控制单元执行如下处理:
基于设置在空间中的传感器的检测结果来识别存在于所述空间中的用户并且根据所述用户的动作来计算指示已经执行健康行为的健康点数;以及
给出所述健康点数的通知。
(2)
根据(1)所述的信息处理装置,其中,所述传感器是摄像装置,以及
所述控制单元分析作为所述检测结果的捕获图像,并且当根据所述用户的姿势或移动来确定所述用户正在执行预先注册为健康行为的预定姿势或移动时,所述控制单元将与所述行为相对应的健康点数赋予给所述用户。
(3)
根据(2)所述的信息处理装置,其中,所述控制单元根据所述行为的难度级别来计算要赋予给所述用户的健康点数。
(4)
根据(1)至(3)中任一项所述的信息处理装置,其中,所述控制单元将关于赋予给所述用户的健康点数的信息存储在存储单元中,并且执行控制以在预定时刻向所述用户给出在特定时段内所述健康点数的总数的通知。
(5)
根据(1)至(4)中任一项所述的信息处理装置,其中,所述传感器设置在安装在所述空间中的显示设备中,并且检测关于在所述显示设备周围行动的一个或更多个人的信息。
(6)
根据(5)所述的信息处理装置,其中,所述控制单元执行控制以在所述显示设备上给出有关所述健康点数已经被赋予的通知。
(7)
根据(6)所述的信息处理装置,其中,所述控制单元基于所述检测结果分析存在于所述显示设备周围的一个或更多个人的状况,并且执行控制以通过在所述状况满足条件的时刻在所述显示设备上显示关于所述用户的健康点数的信息来给出通知。
(8)
根据(7)所述的信息处理装置,其中,所述状况包括观看在所述显示设备上再现的内容的专心程度。
(9)
根据(1)至(8)中任一项所述的信息处理装置,其中,所述控制单元基于特定时段内的所述健康点数的总和或所述总和的时间变化来计算所述用户对运动的兴趣度。
(10)
根据(9)所述的信息处理装置,其中,所述控制单元根据对所述运动的兴趣度来确定所述通知的内容。
(11)
根据(10)所述的信息处理装置,其中,所述通知的内容包括关于此时赋予的健康点数、赋予的原因和推荐伸展的信息。
(12)
根据(1)至(11)中任一项所述的信息处理装置,其中,所述控制单元基于所述检测结果来获取所述空间中存在的一个或更多个人的状况,并且执行控制以根据所述状况从安装在所述空间中的一个或更多个输出设备输出用于空间演出的视频、音频或照明。
(13)
根据以上(12)所述的信息处理装置,其中,所述状况包括以下中的至少任一项:人数、手中持有的物体、正在执行的事情、生物计量信息的状态、兴奋度或姿势。
(14)
根据(12)或(13)所述的信息处理装置,其中,当安装在所述空间中并且用于观看内容的显示设备的操作模式转换成用于提供促进良好生活的功能的模式时,所述控制单元根据所述检测结果来开始用于所述空间演出的输出控制。
(15)
根据(1)至(14)中任一项所述的信息处理装置,其中,
所述控制单元执行如下处理:
基于所述检测结果来确定所述用户旨在执行的运动;
根据所述用户的信息单独地生成所确定的运动的运动程序;以及
在安装在所述空间中的显示设备上呈现所生成的运动程序。
(16)
根据(15)所述的信息处理装置,其中,所述控制单元在所述运动程序结束之后向所述用户赋予所述健康点数。
(17)
根据(15)或(16)所述的信息处理装置,其中,当安装在所述空间中并且用于观看内容的显示设备的操作模式转换到用于提供促进良好生活的功能的模式时,所述控制单元根据所述检测结果来开始所述运动程序的呈现控制。
(18)
一种信息处理方法,其中,处理器包括:
基于设置在空间中的传感器的检测结果来识别存在于所述空间中的用户并且根据所述用户的动作来计算指示已经执行健康行为的健康点数;以及
给出所述健康点数的通知。
(19)
一种用于使计算机用作控制单元的程序,所述控制单元执行如下处理:
基于设置在空间中的传感器的检测结果来识别存在于所述空间中的用户并且根据所述用户的动作来计算指示已经执行健康行为的健康点数;以及
给出所述健康点数的通知。
附图标记列表
1信息处理装置
10输入单元
10摄像装置
20(20a至20c)控制单元
210内容观看控制单元
230健康点数管理单元
250空间演出单元
270运动程序提供单元
30输出单元
30a显示单元
30b扬声器
30c照明设备
40存放单元

Claims (19)

1.一种信息处理装置,包括:
控制单元,所述控制单元执行如下处理:
基于设置在空间中的传感器的检测结果来识别存在于所述空间中的用户并且根据所述用户的动作来计算指示已经执行健康行为的健康点数;以及
给出所述健康点数的通知。
2.根据权利要求1所述的信息处理装置,其中,
所述传感器是摄像装置,以及
所述控制单元分析作为所述检测结果的捕获图像,并且当根据所述用户的姿势或移动确定所述用户正在执行预先注册为健康行为的预定姿势或移动时,所述控制单元将与所述行为相对应的健康点数赋予给所述用户。
3.根据权利要求2所述的信息处理装置,其中,所述控制单元根据所述行为的难度级别来计算要赋予给所述用户的健康点数。
4.根据权利要求1所述的信息处理装置,其中,所述控制单元将关于赋予给所述用户的健康点数的信息存储在存储单元中,并且执行控制以在预定时刻向所述用户给出在特定时段内所述健康点数的总数的通知。
5.根据权利要求1所述的信息处理装置,其中,所述传感器设置在安装在所述空间中的显示设备中,并且检测关于在所述显示设备周围行动的一个或更多个人的信息。
6.根据权利要求5所述的信息处理装置,其中,所述控制单元执行控制以在所述显示设备上给出有关所述健康点数已经被赋予的通知。
7.根据权利要求6所述的信息处理装置,其中,所述控制单元基于所述检测结果分析存在于所述显示设备周围的一个或更多个人的状况,并且执行控制以通过在所述状况满足条件的时刻在所述显示设备上显示关于所述用户的健康点数的信息来给出通知。
8.根据权利要求7所述的信息处理装置,其中,所述状况包括所述显示设备上再现的内容的观看专心程度。
9.根据权利要求1所述的信息处理装置,其中,所述控制单元基于特定时段内的所述健康点数的总和或所述总和的时间变化来计算所述用户对运动的兴趣度。
10.根据权利要求9所述的信息处理装置,其中,所述控制单元根据对所述运动的兴趣度来确定所述通知的内容。
11.根据权利要求10所述的信息处理装置,其中,所述通知的所述内容包括关于当时赋予的健康点数、赋予的原因和推荐伸展的信息。
12.根据权利要求1所述的信息处理装置,其中,所述控制单元基于所述检测结果来获取所述空间中存在的一个或更多个人的状况,并且执行控制以根据所述状况从安装在所述空间中的一个或更多个输出设备输出用于空间演出的视频、音频或照明。
13.根据权利要求12所述的信息处理装置,其中,所述状况包括以下中的至少任意项:人数、手中持有的物体、正在执行的事情、生物计量信息的状态、兴奋度或姿势。
14.根据权利要求12所述的信息处理装置,其中,当安装在所述空间中并且用于观看内容的显示设备的操作模式转换成用于提供促进良好生活的功能的模式时,所述控制单元根据所述检测结果开始用于所述空间演出的输出控制。
15.根据权利要求1所述的信息处理装置,其中,
所述控制单元执行如下处理:
基于所述检测结果来确定所述用户旨在执行的运动;
根据所述用户的信息单独地生成所确定的运动的运动程序;以及
在安装在所述空间中的显示设备上呈现所生成的运动程序。
16.根据权利要求15所述的信息处理装置,其中,所述控制单元在所述运动程序结束之后向所述用户赋予所述健康点数。
17.根据权利要求15所述的信息处理装置,其中,当安装在所述空间中并且用于观看内容的显示设备的操作模式转换到用于提供促进良好生活的功能的模式时,所述控制单元根据所述检测结果来开始所述运动程序的呈现控制。
18.一种信息处理方法,其中,处理器包括:
基于设置在空间中的传感器的检测结果来识别存在于所述空间中的用户并且根据所述用户的动作来计算指示已经执行健康行为的健康点数;以及
给出所述健康点数的通知。
19.一种用于使计算机用作控制单元的程序,所述控制单元执行如下处理:
基于设置在空间中的传感器的检测结果来识别存在于所述空间中的用户并且根据所述用户的动作来计算指示已经执行健康行为的健康点数;以及
给出所述健康点数的通知。
CN202280034005.9A 2021-05-17 2022-01-13 信息处理装置、信息处理方法和程序 Pending CN117296101A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-083276 2021-05-17
JP2021083276 2021-05-17
PCT/JP2022/000894 WO2022244298A1 (ja) 2021-05-17 2022-01-13 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN117296101A true CN117296101A (zh) 2023-12-26

Family

ID=84140376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280034005.9A Pending CN117296101A (zh) 2021-05-17 2022-01-13 信息处理装置、信息处理方法和程序

Country Status (3)

Country Link
CN (1) CN117296101A (zh)
DE (1) DE112022002653T5 (zh)
WO (1) WO2022244298A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141260A (ja) 2001-10-31 2003-05-16 Omron Corp 健康機器、サーバ、健康ポイントバンクシステム、健康ポイント格納方法、健康ポイントバンクプログラム及び健康ポイントバンクプログラムを記録したコンピュータ読み取り可能な記録媒体
JP5318465B2 (ja) * 2008-05-29 2013-10-16 株式会社エクシング 運動支援装置及びコンピュータプログラム
JP5935516B2 (ja) * 2012-06-01 2016-06-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP6320143B2 (ja) * 2014-04-15 2018-05-09 株式会社東芝 健康情報サービスシステム
JP6832114B2 (ja) * 2016-09-30 2021-02-24 株式会社バンダイナムコエンターテインメント 処理システム及びプログラム
JP6703232B2 (ja) * 2016-11-07 2020-06-03 株式会社セガ 情報処理装置および抽選プログラム

Also Published As

Publication number Publication date
WO2022244298A1 (ja) 2022-11-24
DE112022002653T5 (de) 2024-04-11

Similar Documents

Publication Publication Date Title
JP6654715B2 (ja) 情報処理システムおよび情報処理装置
CN104298722B (zh) 多媒体交互系统及其方法
US9779751B2 (en) Respiratory biofeedback devices, systems, and methods
JP7424285B2 (ja) 情報処理システム、情報処理方法、および記録媒体
JP2005237561A (ja) 情報処理装置及び方法
JP2005021255A (ja) 制御装置及び制御方法
US20120194648A1 (en) Video/ audio controller
JP2006293979A (ja) コンテンツ提供システム
US20220314078A1 (en) Virtual environment workout controls
JP6396351B2 (ja) 心身状態推定装置、心身状態推定方法、およびアイウエア
WO2019215983A1 (ja) 情報処理システム、情報処理方法、および記録媒体
CN117296101A (zh) 信息处理装置、信息处理方法和程序
CN112827136A (zh) 一种呼吸训练方法、装置、电子设备、训练系统及存储介质
JP2017198866A (ja) 支援方法、支援システム及びプログラム
JP7069390B1 (ja) 携帯端末
JP6963669B1 (ja) ソリューション提供システム及び携帯端末
JP7069389B1 (ja) ソリューション提供システム及び携帯端末
EP4328928A1 (en) Method and device for controlling improved cognitive function training app
JP2022089139A (ja) ソリューション提供システム及び携帯端末
JP2021173868A (ja) 音声出力システム、環境制御システム、及び、音声出力方法
JP2019207286A (ja) 行動誘引支援システム及びプログラム
Lancioni et al. Use of Microswitches in Habilitation Programs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination