CN105975056A - 信息处理装置、信息处理方法以及程序 - Google Patents

信息处理装置、信息处理方法以及程序 Download PDF

Info

Publication number
CN105975056A
CN105975056A CN201610124867.7A CN201610124867A CN105975056A CN 105975056 A CN105975056 A CN 105975056A CN 201610124867 A CN201610124867 A CN 201610124867A CN 105975056 A CN105975056 A CN 105975056A
Authority
CN
China
Prior art keywords
information
action
series
interval
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610124867.7A
Other languages
English (en)
Inventor
胜正范
松泽庄太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105975056A publication Critical patent/CN105975056A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • G06F1/3259Power saving in cursor control device, e.g. mouse, joystick, trackball
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0317Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/22Social work or social welfare, e.g. community support activities or counselling services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • G06F2218/10Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Nutrition Science (AREA)
  • Child & Adolescent Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及信息处理装置、信息处理方法以及程序,检测用户的多种多样的动作并利用该结果来生成有用的信息。本发明的信息处理装置具备:对用户的反复的且非周期性的一连串的动作进行检测的动作检测部、和生成与上述一连串的动作相关联的信息的信息生成部。本发明的信息处理方法包括:处理器对用户的反复的且非周期性的一连串的动作进行检测的步骤、和生成与上述一连串的动作相关联的信息的步骤。本发明的程序用于使计算机实现如下功能:对用户的反复的且非周期性的一连串的动作进行检测的功能、和生成与上述一连串的动作相关联的信息的功能。

Description

信息处理装置、信息处理方法以及程序
技术领域
本发明涉及信息处理装置、信息处理方法以及程序。
背景技术
近年来,提出一种根据使用各种感测技术所获取的传感器信息来识别用户的动作行动的技术。例如在专利文献1中,提出一种用于利用这种技术,以容易理解的方式将通过小型传感器内置记录装置记录的行动日志提示给用户的表现手法。
专利文献1:日本特开2013-3649号公报
上述的专利文献1所记载的那样的技术也意图用户连续安装传感器装置,并例如基于传感器数据来检测在生活中产生的各种行动。然而,因传感器的小型化、省电力化进一步发展,例如能够在手佩戴物(Wristwear)、颈佩戴物(Neckwear)、眼佩戴物(Eyewear)等各种形式的可佩戴装置上搭载传感器,伴随于此,为了检测用户的动作而能够利用的传感器数据等的资源也多样化。其中,认为也包含已利用的传感器数据,在用于检测用户的动并利用该结果来生成信息的技术,还有改良的余地。
发明内容
鉴于此,在本公开中,提出一种能够检测用户的多种多样的动作并利用该结果来生成有用的信息的、新的和改良了的信息处理装置、信息处理方法以及程序。
根据本公开,提供一种信息处理装置,该信息处理装置具备:对用户的反复的且非周期性的一连串的动作进行检测的动作检测部、和生成与上述一连串的动作相关联的信息的信息生成部。
另外,根据本公开,提供一种信息处理方法,在该信息处理方法中,包括:处理器对用户的反复的且非周期性的一连串的动作进行检测的步骤、和生成与上述一连串的动作相关联的信息的步骤。
另外,根据本公开,提供一种用于使计算机实现对用户的反复的且非周期性的一连串的动作进行检测的功能、和生成与上述一连串的动作相关联的信息的功能的程序。
如以上说明那样,根据本公开,能够检测用户的多种多样的动作并利用该结果来生成有用的信息。
此外,并不限定于上述的效果,可以与上述的效果一起或者代替上述的效果,起到本说明书所示的任意一个效果或者能够从本说明书把握的其它效果。
附图说明
图1是表示本公开的一实施方式所涉及的系统的示意性构成的图。
图2是表示在本公开的一实施方式中,一连串的处理在单个装置内完成的情况下的功能构成的例子的框图。
图3是表示图2所示的例子中的处理的例子的流程图。
图4是表示在本公开的一实施方式中,一连串的处理被分散至多个装置来执行的情况下的功能构成的例子的框图。
图5是用于对在本公开的一实施方式中检测进餐的动作的例子进行说明的图。
图6是表示在本公开的一实施方式中检测进餐的动作的例子的实验结果的图。
图7是用于对在本公开的一实施方式中检测打台球的例子进行说明的图。
图8是用于对在本公开的一实施方式中检测打字的例子进行说明的图。
图9是用于对在本公开的一实施方式中检测购物的例子进行说明的图。
图10是用于对在本公开的一实施方式中检测踢足球的例子进行说明的图。
图11是表示在本公开的一实施方式中有多个检测对象动作的情况下的构成的第一例的图。
图12是表示在本公开的一实施方式中有多个检测对象动作的情况下的构成的第二例的图。
图13是表示在本公开的一实施方式中在动作检测前生成信息的例子的流程图。
图14是表示在图13所示的例子中输出的信息的第一例的图。
图15是表示在图13所示的例子中输出的信息的第二例的图。
图16是表示在本公开的一实施方式中在动作检测中生成信息的例子的流程图。
图17是表示在图16所示的例子中输出的信息的第一例的图。
图18是表示在图16所示的例子中输出的信息的第二例的图。
图19是表示在本公开的一实施方式中在动作检测后生成信息的例子的流程图。
图20是表示在图19所示的例子中输出的信息的第一例的图。
图21是表示在图19所示的例子中输出的信息的第二例的图。
图22是表示在本公开的一实施方式中检测进餐的动作的情况下能够提供的信息的变化的图。
图23是表示在本公开的一实施方式中检测进餐的动作的情况下能够提供的信息的变化的图。
图24是表示在本公开的一实施方式中检测进餐的动作的情况下能够提供的信息的变化的图。
图25是表示本公开的实施方式所涉及的信息处理装置的硬件构成例的框图。
附图标记说明:10…系统;100…传感器装置;110…传感器;112…单轴加速度;114…三轴加速度;120、220…动作检测部;122…预过滤器;124…主分析器;130…信息生成部;132…实时信息生成部;134…日志生成部;140、240…输出装置;150、250…被控制装置;160、260…数据库;170…传感器控制部;180…发送部;210…接收部;300…服务器。
具体实施方式
以下参照附图,对本公开的优选的实施方式详细地进行说明。此外,在本说明书以及附图中,对实际具有相同的功能构成的构成要素赋予相同的附图标记,来省略重复说明。
此外,说明按照以下的顺序进行。
1.系统构成
2.功能构成
2-1.在单个装置内完成的构成的例子
2-2.分散至多个装置的构成的例子
3.所检测的动作的例子
4.有多个检测对象动作的情况下的构成
5.信息生成的例子
5-1.在动作检测前生成信息的例子
5-2.在动作检测中生成信息的例子
5-3.在动作检测后生成信息的例子
5-4.其他的例子
6.硬件构成
7.补充
(1.系统构成)
图1是表示本公开的一实施方式所涉及的系统的示意性构成的图。参照图1,系统10包括传感器装置100。如后述,传感器装置100也可以作为信息处理装置发挥作用,也可以能够在传感器装置100的内部使一连串的处理完成。
另外,系统10也可以包括与传感器装置100进行通信的终端装置200。更具体而言,终端装置200例如可以是智能手机、平板、个人计算机等各种信息处理装置。终端装置200与传感器装置100相配合来执行一连串的处理。此外,如上述那样,在传感器装置100的内部一连串的处理完成的情况下,也能够视为传感器装置100和终端装置200一体化(传感器装置100也作为信息处理装置发挥作用的情况和终端装置200具备传感器并也作为传感器装置发挥作用的情况等价)。
并且,系统10也可以包括经由网络与终端装置200进行通信的服务器300。服务器300通过单个信息处理装置或者多个信息处理装置的集合体来实现。在如上述那样能够视为传感器装置100和终端装置200一体化的情况下,也可以说服务器300与传感器装置100进行通信。另外,在传感器装置100和终端装置200分别独立存在的情况下,也可以服务器300能够分别与传感器装置100以及终端装置200进行通信。
在图示的例子中,传感器装置100被例示为眼佩戴物100a、颈佩戴物100b以及手佩戴物100c。这些可佩戴装置能够被佩戴在用户的身体上,获取在用户的身体产生的加速度等传感器数据。传感器装置100为了获取这样的传感器数据,而至少包括一个传感器。更具体而言,传感器例如包括加速度传感器、陀螺仪传感器、地磁传感器、光传感器、声音传感器、气压传感器、以及/或者位置传感器(例如能够通过GNSS接收机或者Wi-Fi通信装置等来实现)。传感器装置100也可以在内部处理获取到的传感器数据。或者,传感器装置100也可以将获取到的传感器数据发送给终端装置200。传感器装置100和终端装置200执行例如基于Bluetooth(蓝牙)(注册商标)、Wi-Fi的无线通信。
另外,传感器装置100也可以具备用于输出通过在内部的处理而生成的信息或者通过在终端装置200或服务器300中的处理而生成的信息的输出装置。在图示的例子中,眼佩戴物100a具有透视显示器140a作为输出装置。透视显示器140a以透过的方式在用户视觉确认的实际空间的像上重叠图像。另外,颈佩戴物100b具有耳机140b作为输出装置。手佩戴物100c具有显示器140c作为输出装置。此外,例如在能够利用终端装置200具有的输出装置(图示的例子中的显示器240)的情况下、生成的信息专门作为日志被积累而不实时输出的情况下,传感器装置100也可以不必一定具备输出装置。另外,即使在传感器装置100具有输出装置的情况下,也可以不从该输出装置输出通过本实施方式所涉及的一连串的处理而生成的信息。
此外,传感器装置100也可以是图示的眼佩戴物100a、颈佩戴物100b或者手佩戴物100c中的任意一种,也可以是其它种类的可佩戴装置。另外,也可以智能手机等移动装置作为传感器装置100发挥作用。在该情况下,该移动装置也可以作为传感器装置100以及终端装置200双方发挥作用,并且也可以其它装置作为终端装置200发挥作用。此外,传感器装置100也可以是上述那样的可佩戴装置或者移动装置中的任意一个,也可以传感器装置100包括多个可佩戴装置以及/或者移动装置。在传感器装置100为单个装置的情况下,也可以通过该装置具有的多个传感器来获取多个传感器数据。这些构成能够利用于获取例如感测对象或者感测方法不同的多个传感器数据。
构成上述那样的系统10的构成要素中的终端装置200以及服务器300的1个或者多个信息处理装置例如通过后述的信息处理装置的硬件构成来实现。对于传感器装置100而言,在作为信息处理装置发挥作用来使一连串的处理完成的情况下自不必说,在不是那种情况下,也具有执行用于将所获取的传感器数据发送给终端装置200的处理的处理电路(处理器),所以能够通过后述的信息处理装置的硬件构成来实现。
(2.功能构成)
(2-1.在单个装置内完成的构成的例子)
图2是表示在本公开的一实施方式中一连串的处理在单个装置内完成的情况下的功能构成的例子的框图。在图2所示的例子中,传感器装置100包括加速度传感器110、动作检测部120以及信息生成部130。动作检测部120以及信息生成部130是例如通过CPU等处理器根据程序进行动作而实现的软件的构成要素。以下,进一步对各个构成要素进行说明。
在加速度传感器110中,能够获取单轴加速度112以及三轴加速度114的传感器数据。加速度传感器110可以包括用于获取这些传感器数据的各自独立的加速度传感器(换句话说,单轴加速度传感器和三轴加速度传感器),也可以通过变更相同的加速度传感器的感测方法(包括从加速度传感器输出的数据的预处理)来获取上述各个传感器数据。此外,将加速度传感器作为用于获取用于检测用户的动作的传感器数据的传感器的一个例子进行说明,例如也可以并用陀螺仪传感器、地磁传感器、光传感器、声音传感器、气压传感器、以及/或者位置传感器,另外也可以用这些传感器代替加速度传感器110。
动作检测部120基于从加速度传感器110提供的传感器数据来检测用户的动作。在图示的例子中,从加速度传感器110提供的传感器数据包括单轴加速度112以及三轴加速度114的传感器数据。如上述所述,这些传感器数据是感测对象不同的(加速度传感器110分别包括单轴加速度传感器和三轴加速度传感器的情况)、或者感测方法不同的(加速度传感器110通过改变相同的加速度传感器的感测方法来获取单轴加速度以及三轴加速度的传感器数据的情况)多个传感器数据的例子。在图示的例子中,单轴加速度112的传感器数据(以下,也称为第一传感器数据)被输入至动作检测部120所包含的预过滤器122(第一动作检测部),三轴加速度114的传感器数据(以下,也称为第二传感器数据)被输入至动作检测部120所包含的主分析器124(第二动作检测部)。
根据这样的构成,在动作检测部120中,能够由预过滤器122判定是否产生了第一传感器数据满足与检测对象的动作对应的第一条件的区间,并且在判定为产生了这种区间的情况下,主分析器124判定在该区间中第二传感器数据是否满足与检测对象的动作对应的第二条件。因此,能够例如直至由预过滤器122判定为产生了满足第一条件的区间为止,停止主分析器124的处理以及加速度传感器110向主分析器124提供三轴加速度114的传感器数据的处理。由此,例如能够节省实现动作检测部120的处理器的消耗电力。另外,也能够例如通过在加速度传感器110分别独立地包括单轴加速度传感器和三轴加速度传感器的情况下使三轴加速度传感器停止,或者使用于加速度传感器110从由(单轴加速度和三轴加速度共用的)加速度传感器输出的数据提取三轴加速度的处理电路停止,来节省加速度传感器110中的消耗电力。
在本实施方式中,动作检测部120例如对后述的进餐、台球、打字、购物、足球那样的用户的反复的且非周期性的一连串的动作进行检测。此处,用户的反复的一连串的动作包括例如走路、跑步这样的周期性的动作和不是那样的非周期性的动作。动作检测部120也可以能够与上述那样的非周期性的动作一起或者代替非周期性的动作来检测周期性的动作。另外,动作检测部120也可以能够检测非反复的一时性的动作。此外,针对这样的动作(非反复的、或者即使是反复的但也是周期性的动作)的检测,能够适当地利用例如日本特开2013-3649号公报那样的文献所记载的公知的各种手法,此处省略详细的说明。
信息生成部130生成与由动作检测部120检测出的动作(能够包括用户的反复的且非周期性的一连串的动作)相关联的信息。在图示的例子中,信息生成部130执行实时信息生成部132以及日志生成部134的处理。实时信息生成部132根据与检测出的动作的前后关系来生成信息。由实时信息生成部132生成的信息能够包括例如经由显示器等输出装置140输出的信息。更具体而言,这种信息可以是与用户的行动有关的推荐信息、提醒信息等。另外,由实时信息生成部132生成的信息能够包括例如相机等被控制装置150的控制信息。更具体而言,控制信息能够包括使被控制装置150所包含的相机等记录装置执行记录的控制信息。另一方面,日志生成部134在动作检测后生成日志信息。日志信息例如被积累于数据库160,被用于后面的解析、输出。
此外,信息生成部130例如可以生成上述的例子中的任意一种信息,也可以生成多种信息。因此,信息生成部130的处理可以包括实时信息生成部132以及日志生成部134双方,也可以包括任意一方。另外,信息生成部130生成的信息并不局限于上述的例子,只要是能够通过在动作检测中或者检测后以动作的产生为前提生成该信息来由用户提供适当的信息的信息,则可以是任何种类的信息。另外,信息生成部130也可以与上述的那样的信息一起或者代替上述的那样的信息,生成虽然利用动作检测部120的动作的检测结果但不一定以动作的产生为前提的其它种类的信息。
另外,在图2中,图示为由信息生成部130生成的信息的输出目的地即输出装置140、被控制装置150以及数据库160可以包含在传感器装置100中,也可以处于传感器装置100的外部。这意味着这些输出目的地可以是例如传感器装置100具有的显示器、相机、存储器等,也可以是处于传感器装置100的外部的例如终端装置200具有的显示器、相机、存储器等。此外,关于数据库160,并不局限于终端装置200,也可以由服务器300的存储器来实现。在由信息生成部130生成的信息被输出到传感器装置100的外部的情况下,生成的信息从传感器装置100具有的通信装置例如经由基于Bluetooth(注册商标)、Wi-Fi的无线通信发送给终端装置200。终端装置200也可以通过网络通信将接收到的信息转发给服务器300。或者,生成的信息也可以从传感器装置100具有的通信装置通过网络通信直接地发送给服务器300。
图3是表示图2所示的例子中的处理的例子的流程图。图3主要示出传感器装置100的动作检测部120以及信息生成部130执行的处理。
首先,在动作检测部120中,预过滤器122判定是否在从加速度传感器110提供的单轴加速度112的传感器数据中观测到连续的单轴加速度的变化(S101)。此处,在没有观测到连续的单轴加速度的变化的情况下(否),处理暂时结束,例如在经过规定的时间后再次执行。另一方面,在观测到连续的单轴加速度的变化的情况下(是),预过滤器122实施单轴加速度的条件判定(S103)。该判定与上述的是否产生了第一传感器数据满足与检测对象的动作对应的第一条件的区间的判定对应。
在上述的判定中所使用的第一条件例如可以是尽可能较宽地表现在产生对象动作的情况下有可能观测到的第一传感器数据(在图示的例子中为单轴加速度)的特征的条件。如后述,是否产生对象动作最终由主分析器124判定。因此,在预过滤器122的判定中,只要对实际产生对象动作的区间以较高的精度判定为满足第一条件,则即使伴随于此,即使对实际上未产生对象动作的区间的一部分也判定为满足第一条件,但也没有问题。因此,预过滤器122执行的针对第一条件的判定处理可以为能够提高处理速度、节省消耗电力的更简单的处理。
在S103的判定中判定为满足第一条件的情况下(是),在动作检测部120中,主分析器124启动(S105)。此时,加速度传感器110所包含的加速度传感器或者用于使用传感器来获取三轴加速度的传感器数据的处理电路也可以一并启动。主分析器124使用从加速度传感器110提供的三轴加速度114的传感器数据来实施三轴加速度的条件判定(S107)。该判定与上述的第二传感器数据是否满足与检测对象的动作对应的第二条件的判定对应。
在上述的判定中所使用的第二条件例如可以是尽可能正确地表现在产生对象动作的情况下有可能观测到的第二传感器数据(在图示的例子中为三轴加速度)的特征的条件。由于主分析器124最终判定是否产生对象动作,所以优选判定为满足第二条件的区间尽可能接近实际产生对象动作的区间。因此,主分析器124执行的针对第二条件的判定处理只要实现上述的目的,也可以是伴随着处理速度的降低、消耗电力的增大的复杂的处理。即使在这种情况下,也通过预过滤器122从处理对象除去未产生对象动作的区间的至少一部分,所以与例如在整个区间实施针对第二条件的判定的情况相比,能够抑制处理速度的降低、消耗电力的增大。
在S107的判定中判定为满足第二条件的情况下(是),执行信息生成部130的信息的生成(S109)。如已经说明的那样,所生成的信息能够包括经由输出装置140输出的与用户的行动有关的任何的推荐信息或提醒信息、相机等被控制装置150的控制信息、或者被积累于数据库160的日志信息等。
在信息生成后,再次执行上述的S101以下的与动作有关的判定处理。在再次执行的判定处理中也判定为产生对象动作的情况下(S107为是),也可以在信息生成处理(S109)中,以对象动作连续为前提来生成信息。另外,虽然未图示,但在再次执行的判定处理中判定为未产生对象动作的情况下(S101、S103或者S107为否),也可以由信息生成部130执行以对象动作结束为前提的信息的生成。
以上,在本公开的一实施方式中,对一连串的处理在传感器装置的内部完成的情况下的构成的例子进行了说明。此外,如已经对系统构成说明了的那样,一连串的处理也可以在与传感器装置100一体化的终端装置200的内部完成。在该情况下,在上述的说明中,传感器装置100与终端装置200替换。在该情况下,终端装置200也可以如上述那样具备加速度传感器110(也可以是其它种类的传感器)来自己获取传感器数据,并且从其它传感器装置通过无线通信等接收传感器数据。终端装置200从传感器装置100接收传感器数据的构成在如下的例子中进一步进行说明。
(2-2.分散至多个装置的构成的例子)
图4是表示在本公开的一实施方式中一连串的处理被分散至多个装置来执行的情况下的功能构成的例子的框图。此外,对于与上述参照图2以及图3说明了的例子同样的构成要素,赋予共同的附图标记来省略重复的说明。
在图示的例子中,传感器装置100包括加速度传感器110、传感器控制部170和发送部180。传感器控制部170是例如通过CPU等处理器(也可以是更单纯的处理电路)根据程序进行动作来实现的软件的构成要素。发送部180通过传感器装置100具有的、与终端装置200之间执行基于Bluetooth(注册商标)、Wi-Fi的无线通信的通信装置来实现。
传感器控制部170基于从加速度传感器110提供的传感器数据来控制发送部180的动作。更具体而言,传感器控制部170包括预过滤器122,在预过滤器122针对从加速度传感器110提供的单轴加速度112的传感器数据执行的判定处理中,在判定为产生了单轴加速度(第一传感器数据)满足与检测对象的动作对应的第一条件的区间的情况下,传感器控制部170使发送部180启动。启动后的发送部180将从加速度传感器110提供的三轴加速度114的传感器数据发送给终端装置200。在启动之前,发送部180也可以使与终端装置200之间的通信停止。此时,并且,传感器控制部170也可以使加速度传感器110所包含的三轴加速度传感器或者用于使用传感器来获取三轴加速度的传感器数据的处理电路启动。在启动之前,这些传感器或者处理电路也可以停止。根据这样的构成,能够节省实现发送部180的通信装置的消耗电力、加速度传感器110中的消耗电力。
另一方面,在图示的例子中,终端装置200包括接收部210、动作检测部220和信息生成部130。接收部210通过终端装置200具有的、与传感器装置100之间执行基于Bluetooth(注册商标)、Wi-Fi的无线通信的通信装置来实现。动作检测部220以及信息生成部130是例如通过CPU等处理器根据程序进行动作来实现的软件的构成要素。
接收部210接收从传感器装置100发送的传感器数据。如上述那样,发送的传感器数据包括从传感器装置100具有的加速度传感器110提供的三轴加速度114的传感器数据。如上述,在传感器装置100中,在预过滤器122中判定为产生了单轴加速度(第一传感器数据)满足与检测对象的动作对应的第一条件的区间的情况下发送传感器数据。因此,接收部210限于在这种情况下接收传感器数据。在通过接收部210接收到传感器数据的情况下,在动作检测部220中,主分析器124启动,执行针对三轴加速度114的传感器数据的判定处理。此处执行的判定处理可以是三轴加速度(第二传感器数据)是否满足与检测对象的动作对应的第二条件的判定。在通过接收部210未接收到传感器数据的期间,使动作检测部220中的主分析器124的处理停止。由此,例如能够节省实现动作检测部220的处理器的消耗电力。
与上述参照图2以及图3所说明的例子同样地,在本实施方式中,动作检测部220对用户的反复的且非周期性的一连串的动作进行检测。此外,动作检测部220也可以能够与上述那样的非周期性的动作一起或者代替上述那样的非周期性的动作而检测周期性的动作。另外,动作检测部220也可以能够检测非反复的一时性的动作。对于这样的动作的检测,如已经叙述那样能够适当地利用公知的各种手法。
在由动作检测部220检测出对象动作(例如,用户的反复的且非周期性的一连串的动作)的情况下,信息生成部130在该检测中或者检测后,以动作的产生为前提来生成信息。信息生成部130的详细的构成与上述参照图2以及图3所说明的例子同样,所以省略详细的说明。
此外,在终端装置200包含信息生成部130的情况下,所生成的信息的输出目的地为输出装置240、被控制装置250以及/或者数据库260。图示出这些输出目的地可以包括在终端装置200中,也可以处于终端装置200的外部。这意味着这些输出目的地可以是例如终端装置200具有的显示器、相机、存储器等,也可以是处于终端装置200的外部的例如其它终端装置(也可以是传感器装置100)具有的显示器、相机、存储器等。此外,关于数据库260,也可以通过服务器300的存储器来实现。在由信息生成部130生成的信息被输出到终端装置200的外部的情况下,所生成的信息从终端装置200具有的通信装置例如经由基于Bluetooth(注册商标)、Wi-Fi的无线通信发送给其它终端装置(也可以是传感器装置100)。或者,所生成的信息也可以通过网络通信发送到外部(其它终端装置或者服务器300)。
以上,在本公开的一实施方式中,对一连串的处理被分散至多个装置来执行的情况下的构成的例子进行了说明。该情况下,在包括传感器控制部170(预过滤器122)的传感器装置100与除此以外的装置之间分散一连串的处理。在上述的例子中,对处理分散至传感器装置100和终端装置200的情况进行了说明,但也可以在传感器装置100与服务器300之间分散处理。该情况下,服务器300包括上述作为终端装置200的构成要素而被说明了的接收部210、动作检测部220以及信息生成部130。终端装置200也可以对从传感器装置100向服务器300的传感器数据的发送进行中继。或者,传感器装置100也可以经由网络直接向服务器300发送传感器数据。
或者,在上述的例子中,一连串的处理也可以在传感器装置100与除此以外的多个装置之间分散。例如也可以分别对传感器装置100、终端装置200和服务器300分散处理。该情况下,例如也可以终端装置200包括接收部210以及动作检测部220,服务器300包括信息生成部130。或者,也可以信息生成部130分割来安装。更具体而言,例如也可以实时信息生成部132由终端装置200执行,日志生成部134由服务器300执行。
而且,作为其它的例子,传感器装置100也可以不包括传感器控制部170。该情况下,传感器装置100通过发送部180将在加速度传感器110获取的单轴加速度112以及三轴加速度114的传感器数据发送给终端装置200。终端装置200利用动作检测部220对由接收部210接收到的传感器数据进行处理。该情况下,动作检测部220能够采用与图2所示的例子的动作检测部120同样的构成。换句话说,在动作检测部220中,能够不仅包括主分析器124,也包括预过滤器122。该情况下,虽然不节省传感器装置100中的加速度传感器110以及发送部180的消耗电力,但节省在终端装置200中实现动作检测部220的处理器的消耗电力。此处,为了也节省传感器装置100中的消耗电力,也可以在终端装置200中包括传感器控制部170。该情况下,能够在动作检测部220与传感器控制部170之间共享预过滤器122。终端装置200根据传感器控制部170所包含的预过滤器122的判定结果,经由通信装置(可以是与实现接收部210的通信装置相同的装置)对传感器装置100的加速度传感器110进行远程控制。
(3.所检测的动作的例子)
接下来,对本公开的一实施方式中所检测的动作的例子进行说明。如上述,在本实施方式中,动作检测部120(也可以是动作检测部220。以下同样)能够对用户的反复的且非周期性的一连串的动作进行检测(如已经叙述那样,也可以未必一定对用户的反复的且非周期性的一连串的动作进行检测,而专门对反复的且周期性的动作以及/或者非反复的一时性的动作进行检测)。以下,对动作检测部120对用户的反复的且非周期性的一连串的动作进行检测的情况,例举具体的几个例子进一步进行说明。
图5是用于对在本公开的一实施方式中检测进餐的动作的例子进行说明的图。在图5中,对于包括进餐(Mealtime)的区间,示出由佩戴于用户的颈部的加速度传感器(例如,图1所示的颈佩戴物100b具有的加速度传感器)获取的加速度(NA:Neck Acceleration(颈部加速度))、和由分别佩戴在用户的左手以及右手的加速度传感器(例如,图1所示的手佩戴物100c具有的加速度传感器)分别获取的加速度(LWA:LeftWrist Acceleration(左腕加速度)以及RWA:Right Wrist Acceleration(右腕加速度))的波形。图示的区间中的区间P11为进餐的区间,区间P12为进餐后的闲谈的区间。
在本实施方式中,例如在上述那样的情况下,基于NA和LWA来检测进餐的动作产生的区间。此外,在以下的例子(也包括检测进餐以外的动作的例子)中,只是假定惯用右手的用户在不是惯用手的一方的手腕上佩戴手佩戴物100c并对动作区间的检测使用LWA。因此,例如在用户在惯用手的手腕上佩戴手佩戴物100c或惯用左手的情况下,也可以代替LWA而使用RWA。
如果结合上述参照图2~图4所说明的例子,则在该例子中,动作检测部120的预过滤器122基于由颈佩戴物100b具有的加速度传感器获取的单轴加速度112的传感器数据(在图5中示出三轴的加速度,但获取其中的单轴的加速度即可)来实施判定。另外,主分析器124基于由手佩戴物100c具有的加速度传感器获取的三轴加速度114的传感器数据来实施判定。预过滤器122以及主分析器124的判定器例如通过给予实际的进餐的区间中的各个传感器数据作为教师数据来实施机械学习而生成。或者,也可以通过对进餐的区间中的用户的颈、手腕的动作进行解析(例如也使用图像等),以规则库生成判定器。
在NA中,在区间P11中,观察到虽然姿势几乎没有变化但检测值小幅度地变化这样的特征性的波形。因此,预过滤器122能够将该区间检测为满足与进餐对应的第一条件的区间。此处,同样的NA的波形在区间P12的一部分也被观察到。因此,在预过滤器122的阶段,不仅区间P11,区间P12的一部分也能够被检测为满足第一条件的区间。对于区间P12的剩余的部分、区间P11之前的区间,由于NA的波形未示出上述那样的特征,所以能够在预过滤器122的时刻作为不满足与进餐对应的条件的区间而从主分析器124的判定的对象除去。
另一方面,在LWA中,在区间P11与区间P12之间,波形的特征有明确的不同。在图示的例子中,虽然用户使用筷子进餐,但在作为进餐区间的区间P11的一部分,观察到与用左手拿起饭碗送到嘴边这这样的反复的且非周期性的动作对应的波形。另一方面,在区间P12中,用户正在闲谈,所以未观察到这样的LWA的波形。因此,主分析器124能够在该区间中,基于LWA来判定是否满足与进餐对应的第二条件。此外,对于RWA,也产生用右手拿筷子将食物送到嘴中的动作,这些也可以说是反复的且非周期性的动作。因此,如上述那样,也能够根据用户安装的传感器的安装状态等,代替LWA而使用RWA来检测进餐区间。
图6是表示在本公开的一实施方式中检测进餐的动作的例子的实验结果的图。在实验中,针对包括图5所示的例子的数十例子,以实际的进餐(Mealtime:进餐时间)区间和非进餐(Non-mealtime:非进餐时间)的区间为1:9的比例的方式收集了用户实际进餐的区间和除此以外的区间中的传感器数据。用户佩戴颈佩戴物100b以及手佩戴物100c生活,并且实施用于记录实际的进餐的开始时刻以及结束时刻的输入操作。在图6中,用将进餐区间设为100、将非进餐的区间设为900的情况下的比例示出各区间中的预过滤器122以及主分析器124的各个的判定结果。此外,预过滤器122以及主分析器124的判定器通过日本特开2010-198595号所记载的技术来生成。
在图示的结果中,首先,在预过滤器122的判定中,非进餐的区间中的630/900作为不满足(进餐的)条件的区间被除去。另一方面,实际的进餐区间的25/100也被除去(预过滤器122中的检测遗漏)。剩余的345/1000区间(包括75进餐区间和270非进餐的区间)通过了预过滤器122。
并且,在主分析器124的判定(Result:结果)中,判定为通过了预过滤器122的实际的进餐区间中的68/75是进餐区间。剩余的7/75被检测为非进餐的区间(主分析器124中的检测遗漏)。但是,如果考虑实际上在进餐区间中也会产生比较长的进餐动作的中断(例如因短的会话而产生的中断),则推断为上述作为检测遗漏说明了的区间中的至少一部分与这样的中断的区间对应,并不一定能说全部是完全的检测遗漏。另一方面,通过了预过滤器122的实际上非进餐的区间中的262/270被判定为非进餐的区间。剩余的8/270被检测(误检测)为进餐区间。
在以上的结果中,在将实际的进餐区间设为100%的情况下,实际的进餐区间最终被判定为进餐区间的比例(检测率)为68%,被判定为非进餐的区间的比例(检测遗漏率)Ω为32%。其中,预过滤器122中的检测遗漏为25%,主分析器124中的检测遗漏为7%。另外,在进餐区间与非进餐的区间为1:9的比例的情况下,实际上非进餐的区间在动作检测部120中被判定为是进餐区间的比例(误检测率)相对于100进餐区间以8的比例产生。
可以认为:上述的检测结果中的在主分析器124中产生的检测遗漏、误检测起因于判定器的精度,即使假设在全部的区间中实施了主分析器124的判定,也会产生。与此相对,对于在预过滤器122中产生的检测遗漏(实际的进餐区间的25%)而言,如果不设置预过滤器122而在全部的区间中实施主分析器124的判定,则有可能不产生,所以也可以说是实施预过滤器122的判定的缺点。但是,如上述,即使是作为检测遗漏而被说明了的区间,并不一定全部是完全的检测遗漏,例如有可能与进餐动作的较短的中断的区间对应。另一方面,作为实施预过滤器122的判定的优点,在实际上非进餐的区间的70%中省略主分析器124的判定,节省相应的消耗电力等。为了弥补这些欠缺,也可以在后段频度较高的部分设置填补空间那样的处理。
这样,在本实施方式的利用了预过滤器122以及主分析器124的动作的检测中,有可能产生因设置预过滤器122而造成的检测遗漏(在图6的例子中为实际的进餐区间的25%),另一方面能够获得在较多的区间(在图6的例子中为实际上非进餐的区间的70%)省略主分析器124的判定而带来的效果(此外,检测遗漏等的比例根据检测的对象动作、传感器数据的品质等而不同)。因此,例如在不产生因设置预过滤器122而造成的检测遗漏、或即使产生也是能够允许的程度这样的情况下,本实施方式有效。另外,在能够并用由上述说明的以外的检测方法进行的对象动作的检测,并且能够通过其它检测方法来覆盖设置预过滤器122而造成的检测遗漏这样的情况下,本实施方式也有效。
图7是用于对在本公开的一实施方式中检测打台球的例子进行说明的图。在图7中,针对包括打台球的区间,示出了由佩戴于用户的颈部的加速度传感器获取的加速度(NA)、以及由佩戴在用户的右手腕(如上述,惯用手的手腕)的加速度传感器获取的加速度(RWA)的波形(约5分钟)。图示的区间中的区间P21、P22、P23是包括撞击台球的区间。在该例子中,动作检测部120的预过滤器122例如基于由颈佩戴物100b具有的加速度传感器获取的NA的传感器数据来实施判定。另外,主分析器124例如基于由手佩戴物100c具有的加速度传感器获取的RWA的传感器数据来实施判定。
在区间P21、P22、P23中,均在NA中观测到用户为了撞击而以特定的姿势(如果是相同的用户,则每次撞击的偏差较小)静止而产生的特征性的波形。因此,预过滤器122能够将这些区间检测为满足与撞击台球对应的第一条件的区间。并且,在这些区间中,在RWA中观测到用户用右手推球杆而产生的特征性的波形(虽然未图示,但由于用户用于左手支撑球杆,所以在LWA中也同样能够观测到特征性的波形)。因此,主分析器124能够将该波形的特征用作与撞击台球对应的第二条件来执行判定。结果能够检测撞击作为反复的且非周期性的动作而产生的打台球区间。
图8是用于对在本公开的一实施方式中检测打字的例子进行说明的图。在图8中,针对包括打字的区间,示出了由佩戴在用户的颈部的加速度传感器的获取的加速度(NA)、以及由佩戴在用户的左手腕上的加速度传感器获取的加速度(LWA)的波形(约5分钟)。图示的区间中的区间P32是打字区间。区间P31以及区间P33是在笔记本上记笔记的区间。在该例子中,动作检测部120的预过滤器122例如基于由颈佩戴物100b具有的加速度传感器获取的NA的传感器数据来实施判定。另外,主分析器124例如基于由手佩戴物100c具有的加速度传感器获取的LWA的传感器数据来实施判定。
在区间P31、P32、P33中,都由于用户坐在椅子上所以NA的变化较小。因此,预过滤器122能够将这些区间检测为满足与打字对应的第一条件的区间。此外,在图示的范围外,例如也会有用户从椅子站起来而行走的区间。预过滤器122能够将这种区间作为不满足上述那样的第一条件的区间而从主分析器124的判定的对象除去。
另一方面,在LWA中,在区间P32与区间P31及区间P33之间,波形的特征有明确的不同。在作为打字区间的区间P32中,如图中箭头所示,观察到反复的且非周期性的由击键产生的加速度的波形。另一方面,在区间P31以及区间P33中,由于用户仅用左手按压笔记本,所以未观察到那样的LWA的波形。因此,主分析器124能够将这样的波形的特征用作与打字对应的第二条件来执行判定。此外,对于RWA而言,虽然在区间P32中也能够观察到与LWA同样的波形,但在区间P31以及区间P33中,由于用户用右手拿笔记笔记,所以在RWA中,在这些区间中也观察到反复的且非周期性的加速度的波形,难以区分与区间P32的不同。因此,在打字的检测中使用RWA的情况下,主分析器124中的处理有可能与LWA不同。
图9是用于对在本公开的一实施方式中检测购物的例子进行说明的图。在图9中,针对购物中的区间,示出了由佩戴在用户的右手腕上的加速度传感器获取的加速度(RWA)、以及由佩戴在用户的腰上的加速度传感器获取的加速度(LA:Loins Acceleration:腰加速度)的波形(约5分钟)。图示的区间中的区间P41、P42、P43是在购物中用户进行对商品伸手的动作的区间。在该例子中,动作检测部120的预过滤器122例如基于由作为传感器装置100发挥作用(也能够作为终端装置200发挥作用)的智能手机具有的加速度传感器获取的LA的传感器数据来实施判定。另外,主分析器124例如基于由手佩戴物100c具有的加速度传感器获取的RWA的传感器数据来实施判定。
在区间P41以及区间P43中,均在LA中观测到用户为了对商品伸手而站住所产生的特征性的波形。因此,预过滤器122能够将这些区间检测为满足与购物对应的第一条件的区间。另一方面,在区间P42中,在LA中观察到不仅用户为了对商品伸手而站住还弯腰从而产生的特征性的波形。预过滤器122也可以将这些区间检测为满足与购物对应的其它第一条件的区间。或者,也可以在动作检测部120中,对这些区间(区间P41及区间P43、区间P42)赋予表示不同的动作的标签,预过滤器122将各个区间检测为满足分别与不同的动作对应的第一条件的区间。
在区间P41、P42、P43中,均在RWA中观察到用户对商品伸出了手而产生的特征性的波形。因此,主分析器124能够将这些波形的特征用作与购物对应的第二条件来执行判定。此时,对于区间P41及区间P43(用户站住的区间)和区间P42(用户不仅站住还弯腰的区间),可以使用共同的主分析器124,也可以对各个使用不同的主分析器124。结果能够检测用户站住或弯腰并对商品伸手的动作反复地且非周期性地产生的购物的区间。
图10是用于对在本公开的一实施方式中检测踢足球的例子进行说明的图。在图10中,针对包括踢足球的期间,示出了由佩戴在用户的颈部的加速度传感器获取的加速度(NA)、以及由佩戴在用户的右脚踝(惯用脚的脚踝)上的加速度传感器获取的加速度(RAA:Right AnkleAcceleration:右脚踝加速度)的波形(约1分钟)。图示的区间中的区间P51、P52是包括足球的踢球的区间。在该例子中,动作检测部120的预过滤器122例如基于由颈佩戴物100b具有的加速度传感器获取的NA的传感器数据来实施判定。另外,主分析器124例如基于由佩戴在脚踝上的类型的可佩戴装置具有的加速度传感器获取的RAA的传感器数据来实施判定。
在区间P51、P52中,均在NA中观测到用户进行踢球动作而产生的特征性的波形。因此,预过滤器122能够将这些区间检测为满足与足球的踢球对应的第一条件的区间。并且,在这些区间中,在RAA中观测到用户踢到球而产生的特征性的波形(冲击)。因此,主分析器124能够将该波形的特征用作与足球的踢球对应的第二条件来执行判定。结果能够检测踢球作为反复的且非周期性的动作产生的踢足球区间。
以上,对在本实施方式中能够检测的用户的反复的且非周期性的一连串的动作进行了说明。在本实施方式中,动作检测部120也可以例如如图5所示的进餐的例子、图8所示的打字的例子那样,一并检测包括反复的且非周期性的一连串的动作(例如用左手使用叉子的动作、击键等)的区间。或者,动作检测部120也可以例如如图7所示的台球的例子、图9所示的购物的例子、图10所示的足球的例子那样,在分别检测出非周期性的各个动作(例如撞击台球、对商品伸手的动作、足球的踢球等)的区间后,将反复这样的动作的区间识别为检测对象的动作(打台球、购物、或者踢足球)的区间。
如上述那样识别的用户的反复的且非周期性的一连串的动作并不局限于例示的例子,在用户的日常生活中其它也可能较多地产生。这样的动作虽然在是反复的这一点上具有特征性,但由于不是周期性的,所以有时区间的特定并不容易。这种情况下,例如如果基于预过滤器122的判定来某种程度锁定有可能产生了动作的区间,则通过主分析器124的判定能够精度良好地检测对象动作的产生。另外,如已经说明那样,通过仅在由通过预过滤器122判定为满足条件的情况下,执行主分析器124的判定、该判定所使用的传感器数据的获取等,由此能够节省消耗电力等。
此外,在本公开的其它实施方式中,在检测用户的反复的且非周期性的一连串的动作的情况下,动作检测部可以不必一定采用包括预过滤器(第一动作检测部)和主分析器(第二动作检测部)的构成。例如,在构建适当地锁定可能产生对象动作的区间的预过滤器较困难的情况下,或在不需要通过设置预过滤器来节省消耗电力等的情况下,动作检测部也可以不包括预过滤器,而对全部的区间实施主分析器的判定。换句话说,在本公开的实施方式中,检测反复的且非周期性的一连串的动作的步骤与设置预过滤器和主分析器的步骤独立。
另外,如已经叙述那样,在本实施方式中,也可以不必一定检测用户的反复的且非周期性的一连串的动作,也可以取而代之而检测反复的且周期性的动作、非反复的一时性的动作。在检测这样的动作的情况下,也与检测反复的且非周期性的动作的情况同样地,能够通过动作检测部包括预过滤器和主分析器来实现消耗电力等的节省。
(4.有多个检测对象动作的情况下的构成)
图11是表示在本公开的一实施方式中有多个检测对象动作的情况下的构成的第一例的图。在本实施方式中,可以能够分别检测例如上述参照了图5~图10的例子那样的多个动作。另外,例如即使是给予相同的标签的动作,也可能存在在其中包括多个检测对象的情况。例如在参照图5所说明的进餐的检测的例子中,根据餐具的使用方法(使用叉子以及刀的情况、使用勺子的情况、使用筷子的情况等),分别检测出的加速度的特征(例如由左手的动作产生的LWA的特征)可以不同。另外,例如根据食物的种类(米饭、面包、面、汤等),检测出的加速度的特征可以不同。因此,例如在进餐的检测时,可以统一这样的检测对象来作为一次进餐(有可能在一次进餐中,餐具的使用方法改变,或者按顺序或交替地摄食多种食物)。
在图示的例子中,设置有与各个检测对象动作对应的预过滤器122a、122b、…和同样地与各个检测对象动作对应的主分析器124a、124b、…。并且,可以设置与各个检测对象动作对应的信息生成部130a。单轴加速度112的传感器数据被输入给各个预过滤器122a、122b、…,三轴加速度114的传感器数据被输入给各个主分析器124a、124b、…。根据预过滤器122a、122b、…的判定结果来启动对应的主分析器124a、124b、…。更具体而言,例如在通过预过滤器122a判定为产生了满足与第一检测对象动作对应的条件的区间的情况下,主分析器124a启动。此时,如果通过预过滤器122b没有判定为同样地产生了满足与第二检测对象动作对应的条件的区间,则主分析器124b不启动。例如,在各检测对象动作中的单轴加速度112的传感器数据的特征的不同较大且能够通过预过滤器122a、122b、…识别各检测对象动作的情况下,上述那样的构成能够有效。
图12是表示在本公开的一实施方式中有多个检测对象动作的情况下的构成的第二例的图。在图示的例子中,设置有多个检测对象动作共用的预过滤器122、和与各个检测对象动作对应的主分析器124a、124b、…。单轴加速度112的传感器数据被输入给预过滤器122,三轴加速度114的传感器数据被输入给各个主分析器124a、124b、…。根据预过滤器122的判定结果来启动主分析器124a、124b、…。更具体而言,例如在通过预过滤器122判定为产生了满足各检测对象动作共用的条件的区间的情况下,启动各个主分析器124a、124b、…。例如在各检测对象动作中的单轴加速度112的传感器数据的特征的不同较小且通过预过滤器122识别各检测对象动作并不合理的情况下,上述那样的构成能够有效。
在至此的部分中,对与本公开的一实施方式中的动作的检测有关的构成的例子进行了说明。并不局限于此处说明了的例子,在本公开的实施方式中,关于动作的检测,能够有各种变形例。例如传感器装置并不局限于上述的例子那样的眼佩戴物、颈佩戴物以及手佩戴物,也可以佩戴于用户的手臂或脚踝、衣服、牙齿等。另外,传感器装置可以不必一定佩戴于用户上,也可以安装或者内置于被用户使用的道具、例如进餐所使用的餐具(筷子、盘子等)。另外,包含于传感器装置且使用于动作检测部对动作的检测的传感器数据并不局限于上述的例子中的加速度的传感器数据,也可以是由陀螺仪传感器获取的角速度、地磁、气压等。传感器数据也可以包括由相机等所包含的图像传感器获取的图像数据、由麦克风(声音传感器)获取的声音数据。另外,传感器数据也可以包括由GNSS接收机或者Wi-Fi通信装置等(可以说是位置传感器)获取的位置数据。
此处,对于上述那样的传感器数据的组合,例如如果在检测进餐的动作的情况下,则由于能够进餐的场所局限于自家、餐厅等,所以通过实施基于位置数据的过滤,能够提高检测的精度。对于检测出进过餐的场所,可以利用容易检测进餐的动作(容易通过预过滤器122)等的个性化的POI(Point of Interest:兴趣点)。此外,利用位置数据来检测进餐的动作的情况提高识别的精度,另一方面对位置数据的依赖也可能变为检测动作时的制约。例如在反复进行使用了位置数据和加速度的传感器数据的进餐动作的检测的过程中,如果通过使用机械学习等技术,能够自动地调整参数,并使基于加速度的判定器的精度充分提高,则不必一定获取位置数据,或者即使在较难获取的情况下,也能够以充分的精度检测进餐的动作。另外,如果能够不依赖于位置数据就检测进餐的动作,则例如对于从自家离开较少(在进餐的时间段和除此以外的时间段,位置数据的变化较少)的老年人,能够精度良好地检测是否进过餐、进餐的内容等。
另外,例如在动作检测部120能够检测其它动作、例如作为周期性的动作被检测的走路、跑步等的情况下,这些其它动作的检测结果可以利用于进餐的动作的检测。更具体而言,在检测出走路、跑步(也能够包括其它的移动)的期间,基本上认为非进餐,所以也可以认为没有检测出进餐的动作。或者,由于在走路中等进餐礼仪不好,所以也可以与通常的进餐的动作不同地处理走路中检测出的进餐的动作,并输出促使停止在走路中进餐的信息。
(5.信息生成的例子)
(5-1.在动作检测前生成信息的例子)
图13是表示在本公开的一实施方式中在动作检测前生成信息的例子的流程图。此外,在本实施方式中,由于动作检测部120检测实际产生了的动作,所以动作检测前的信息的生成例如通过在动作的检测中以及检测后抑制信息的生成来实现。在图13所示的例子中,动作检测部120执行例如上述参照图5以及图6所说明那样的进餐检测的处理(S201)。此处,信息生成部130判定用户是否是进餐中或者进餐后(S203)。例如用户进餐中的状态可以是传感器数据通过预过滤器122的判定,并且通过主分析器124检测出反复的且非周期性的摄食动作的状态。此外,在该例子中,不需要判定用户是进餐中还是进餐后,所以信息生成部130在用户一旦变为进餐中的状态后,至经过规定时间(例如能够与一般的进餐的间隔对应)为止,能够判定为用户是进餐中或者进餐后。
在上述的S203的判定中判定为用户是进餐中或者进餐后的情况下(是),信息生成部130不生成信息而结束处理。另一方面,在判定为用户非进餐中或者进餐后(换句话说,是进餐前的可能性较高)的情况下(否),信息生成部130生成餐厅的推荐信息(S205~S209)。更具体而言,实时信息生成部132获取用户的位置信息(S205),并基于位置信息来生成处于用户的附近的餐厅的推荐信息(S207)。用户的位置信息可以例如通过传感器装置100具有的位置传感器来获取,也可以通过作为终端装置200发挥作用的移动装置来获取。另外,在推荐信息的生成时,能够适当地利用例如反映用户的嗜好等的公知技术。餐厅的推荐信息可以说是与进餐的场所或者内容有关的推荐信息。对于这样的推荐信息的例子,在接下来的部分参照图14以及图15进一步进行说明。从输出装置140输出所生成的推荐信息(S209)。如上述,输出装置140例如可以是在图1所示的例子中眼佩戴物100a具有的透视显示器140a、颈佩戴物100b具有的耳机140b、手佩戴物100c具有的显示器140c、或者终端装置200具有的显示器240等,推荐信息例如通过图像、声音等输出。
上述那样的信息例如可以不仅根据用户是否是进餐前,还例如根据基于其它行动识别结果而用户是否处于适合接受信息的状态来进行提示。该情况下,例如在(例如通过其它行动识别处理)检测出即使用户是进餐前但还在工作中的情况下,也不输出餐厅的推荐信息。之后,若(例如通过其它行动识别处理)检测出用户结束工作并走出,则生成餐厅的推荐信息,并提示用户。并且,在用户决定目的餐厅并开始走的情况下,也可以提供到餐厅的导航。
图14是表示在图13所示的例子中输出的信息的第一例的图。在图示的例子中,通过眼佩戴物100a具有的透视显示器140a输出餐厅的推荐信息。通过透视显示器140a以透过的方式与实际空间的像1401重叠的图像包括表示餐厅的所在地的图标1403。
图15是表示在图13所示的例子中输出的信息的第二例的图。在图示的例子中,通过手佩戴物100c具有的显示器140c输出餐厅的推荐信息。显示器140c所显示的图像包括用户的位置附近的地图1405、配置在地图上并表示当前地的图标1407、以及表示餐厅的所在地的图标1409。
在上述的例子中,通过动作检测部120检测进餐的动作,信息生成部130在检测出进餐的动作后(进餐中以及进餐后)抑制餐厅的推荐信息的生成。这样,仅限于在检测对象的动作产生前生成信息的例子例如对通过信息生成部130生成与动作有关的推荐信息(例如推荐进行该动作的场所等)的情况有效。在用户已经开始动作的情况下抑制推荐信息的生成(更具体而言,例如在用户已经开始进餐后、结束进餐后,不提供餐厅的推荐信息),由此能够防止输出对用户来说不需要的推荐信息。
(5-2.在动作检测中生成信息的例子)
图16是表示在本公开的一实施方式中在动作检测中生成信息的例子的流程图。在图16所示的例子中,动作检测部120执行例如上述参照图5以及图6说明了的那样的进餐检测的处理(S201)。此处,信息生成部130判定用户是否是进餐中(S221)。例如用户为进餐中的状态可以是传感器数据通过预过滤器122的判定且通过主分析器124检测出反复的且非周期性的摄食动作的状态。如后述,在该例子中,目的在于反复地拍摄用户正进行的进餐的图像来检测其变化。因此,可以例如在反复地执行的S201的进餐检测处理中,如果在前次的检测以后检测出一次摄食动作,也判定为用户是进餐中。另外,也可以在S201的进餐检测处理中未检测出摄食动作的情况持续了规定时间的情况下、传感器数据未通过预过滤器122的判定的情况下,判定为用户已不在进餐中。
在上述的S221的判定中判定为用户是进餐中的情况下(是),在信息生成部130中,实时信息生成部132生成控制信息(S223)。更具体而言,控制信息在该例子中是用于使作为被控制装置150发挥作用的相机执行拍摄的信息。相机是与检测出的动作有关的记录装置的例子。相机根据在S223中生成的控制信息来执行进餐图像的拍摄(S225)。对于拍摄到的进餐图像,例如终端装置200或者服务器300的处理器执行图像解析的处理,识别进餐内容(S227)。实时信息生成部132也可以还生成基于识别出的进餐内容的对用户的建议。所生成的信息与上述的图13的例子同样地由各种输出装置140作为图像、声音等输出。此外,关于这样的建议的例子,在接下来的部分参照图17以及图18进一步进行说明。例如在基于进餐图像的识别结果检测用户吃料理的顺序、速度等的情况下,以规定的周期再次执行进餐检测(S201)。此外,这样的建议例如可以是面向用户自身的建议,也可以是面向与用户不同的他人、例如管理孩子的饮食生活的父母、老年人的护理人员、营养师、医生等的建议。
图17是表示在图16所示的例子中输出的信息的第一例的图。在图示的例子中,通过眼佩戴物100a具有的透视显示器140a输出与用户在进餐中吃料理的顺序有关的信息。通过透视显示器140a与实际空间的像1421(在图示的例子中,包括用户所吃的料理的盘子)重叠的图像包括:表示推荐接下来吃的料理的目标图标1423、以及至此按推荐来吃料理的情况持续的次数的显示1425。
图18是表示在图16所示的例子中输出的信息的第二例的图。在图示的例子中,通过手佩戴物100c具有的显示器140c输出与用户在进餐中吃料理的顺序有关的信息。显示器140c所显示的图像包括:表示推荐接下来吃的料理(的种类)的目标显示1427、以及至此按推荐来吃料理的情况持续的次数的显示1429。
在上述的例子中,通过动作检测部120检测进餐的动作,信息生成部130在进餐的动作的检测中(进餐中)生成记录装置的控制信息。由此,限定于在进餐中使记录装置进行动作,例如能够利用相机获取进餐图像。该情况下,利用动作检测部120的检测结果,以正产生进餐的动作为前提来执行拍摄,所以例如在对进餐图像进行解析来识别进餐内容时,能够排除图像不是进餐图像的可能性,能够提高识别的精度,能够降低处理负荷。此外,并不局限于进餐内容的识别,例如想要在动作的检测中执行与动作有关的记录的情况下(更具体而言,也可以是单纯以图像记录动作的情况),上述那样的构成能够有效。
(5-3.在动作检测后生成信息的例子)
图19是表示在本公开的一实施方式中在动作检测后生成信息的例子的流程图。在图19所示的例子,动作检测部120执行例如上述参照图5以及图6说明了的那样的进餐检测的处理(S201)。此处,信息生成部130判定用户是否是进餐后(S241)。例如用户为进餐后的状态可以是不能通过主分析器124检测出反复的且非周期性的摄食动作的状态。在S201的进餐检测处理中未检测出摄食动作的情况持续了规定时间的情况下或传感器数据未通过预过滤器122的判定的情况下,信息生成部130能够判定为用户是进餐后。如后述,在该例子中,目的在于在进餐后向用户输出提醒信息。因此,在S241中一旦判定为是进餐后并生成了提醒信息(S243、S245)的情况下,在之后再次检测出进餐的动作(反复的且非周期性的摄食动作)之前,能够判定为用户是进餐前(换句话说,非进餐后)。
在上述的S241的判定中判定为用户是进餐后的情况下(是),在信息生成部130中,实时信息生成部132生成提醒信息(S243)。在图示的例子中,提醒信息是用于提醒在进餐后预定进行的动作的信息。所提醒的动作例如包括进餐后的服药。该情况下,在提醒信息的生成时,也可以参照用户已登记的服药预定。另外,实时信息生成部132同样地也可以生成其它种类的提醒信息。例如,实时信息生成部132也可以参照用户的时间表来生成进餐后的用户的预定的提醒信息。此外,关于这样的提醒信息的例子,在接下来的部分中参照图20以及图21进一步进行说明。所生成的提醒信息与上述的图13的例子同样地通过各种的输出装置140作为图像、声音等输出(S245)。另一方面,在S241的判定中判定为用户非进餐后(是进餐中或者是进餐前)的情况下,以规定的周期再次执行进餐检测(S201)。
图20是表示在图19所示的例子中输出的信息的第一例的图。在图示的例子中,通过眼佩戴物100a具有的透视显示器140a输出提醒信息。通过透视显示器140a与实际空间的像1441(在图示的例子中,包括用户吃完的料理的盘子)重叠的图像包括进餐后的服药(胃药)的提醒信息1443、以及向进餐后的用户的预定的提醒信息的链接1445。
图21是表示在图19所示的例子中输出的信息的第二例的图。在图示的例子中,通过手佩戴物100c具有的显示器140c交替地输出进餐后的服药(胃药)的提醒信息1447、和进餐后的用户的预定的提醒信息1449。
在上述的例子中,通过动作检测部120检测进餐的动作,信息生成部130在进餐的动作的检测后生成提醒信息。这样,在检测对象的动作产生后生成信息的例子例如对有与检测对象的动作之间的前后关系确定的其它的动作(在上述的例子中,相对于进餐的服药的动作)的情况有效。在用户结束动作(例如进餐)后才输出信息,从而在对用户来说有效果的时机提供提醒等信息。
此外,在至此说明的例子中,专门实时信息生成部132生成信息,但如已经说明了的那样,也可以日志生成部134生成各种信息。更具体而言,例如也可以日志生成部134生成进餐的时间段、进餐的内容的日志。该情况下,摄食动作的检测能够将反复地且非周期性地连续的区间作为进餐区间而事后确定。另外,对于进餐的内容,能够如上述参照图16所说明的例子那样,利用在进餐的动作检测中所拍摄到的进餐图像来进行检测。并且,例如日志生成部134也可以利用传感器装置100等具有的麦克风来检测进餐区间中的会话的量,并作为会话的活跃的指标进行记录。另外,日志生成部134也可以将与进餐一起(例如摄食动作的期间)检测出的姿态(进餐以外的动作)的大小作为会话的活跃度的指标进行记录。另外,例如日志生成部134也可以根据由麦克风检测出的声音来检测环境音、用户自身的发声等,并推断进餐的场所是正式的场所还是大众的场所。
另外,日志生成部134也可以生成不以绝对值而以相对值表现例如与上述那样的进餐等动作有关的指标的日志。例如,对于进餐的时间,也可以不是以具体的时间(30分钟等),而是以比平时长或短来表现。另外,例如,对于会话的活跃的指标,也可以表现为与用户所属的集团(例如日本人、年过30的男性等)的平均相比是活跃还是不活跃。这样的相对的表现例如能够通过在终端装置200或者服务器300的存储器中储存与指标值有关的统计量的辞典来实现。
(5-4.其它的例子)
图22~图24是表示在本公开的一实施方式中检测进餐的动作的情况下,能够在动作检测前(进餐前)、检测中(进餐中)、检测后(进餐后)分别提供的信息的变化的图。在本公开的实施方式中,例如在检测进餐以外的动作的情况下也同样地能够生成各种内容的信息。另外,在检测进餐的情况下,并不局限于图示的内容,能够生成对用户来说有效的各种种类的信息。
在图22所示的进餐前的例子中,例如在自家进餐的情况下,能够以买东西、烹调、准备等这样的内容生成信息。准备例如也包括饭前的洗手。在餐厅进餐或以配送方式进餐的情况下,能够以菜单显示、菜单选择、订购等这样的内容生成信息。在菜单显示的情况下,也可以显示来自餐厅等的推荐,或者对想要选择的菜单输出与一起食用指导、进餐限制有关的警告。另外,在菜单选择的情况下,也可以显示与用户的过去的进餐有关的数据。
在图23所示的进餐中的例子中,例如能够关于进餐的服务,生成推荐该时机的信息。另外,吃的动作正在进行的时候,能够指导防止吃多,或指导将吃的速度保持在适当的范围,或指导吃的顺序,或指导礼节。在检测出用户一边做什么(例如,一边看电视、一边听音乐、一边读报纸、一边工作)一边进餐的情况下,也可以考虑用户正进餐中的情况之后,生成与这些内容(电视、音乐、报纸、工作等)有关的信息。
另外,在进餐中的例子中,也能够在用户与其它用户一起进餐时,进行使进餐变愉快那样的信息提示。更具体而言,例如能够提供会话的话题,或提示与会话的内容有关的信息,或提示一同进餐的对象的信息。或者,也可以提示使进餐变美味那样的信息。更具体而言,也可以提示与进餐的内容有关的信息,例如与食材的产地、食材的特征、与料理有关的小知识、推荐的一起食用菜单等有关的信息。或者,也可以提供与正进餐的场所有关的信息,例如正进餐的餐厅的历史或话题、畅销菜单、或者餐厅所处的周边地域的信息等。此外,在用户与其它用户一起进餐的情况下,也可以进行顾及个人隐私而例如不输出与一起食用指导或进餐限制有关的警告、与过去的进餐有关的数据等信息,或不进行被其它用户识别那样的输出的做法等控制。
在图24所示的进餐后的例子中,例如在用户具有发布进餐的感想的工具的情况下,可以显示向博客、评论网站的链接,或促进在社交媒体分享感想。另外,从进餐管理的观点来看,也可以提示鉴于吃完后的进餐的内容的进餐内容指导的信息。此时,也可以计算卡路里摄取量、营养摄取量。另外,从健康管理的观点来看,也可以提示鉴于吃完后的进餐的内容的运动指导的信息。此时,也可以计算运动所产生的卡路里消耗量,并与进餐中的卡路里摄取量相比较。另外,也可以如上述的例子那样,提供用于防止忘记服药的警报。或者,也可以实施与进餐后的行动有关的信息提示。该情况下,例如可以进行按照用户的时间表、ToDo列表的信息提示。另外,在没有特别要做的情况、用户为休息中的情况下,也可以提示与娱乐有关的信息。并且,基于结束进餐的情况来提示某些信息的时机,也可以使用其它的行动日志(例如通过其它的行动识别处理所生成的日志)。例如在午后检测吃零食而且检测出吃多的情况下,可以执行促使在吃零食结束后开始回家时走路、输出次日在前往便利店时取消零食这样的提醒等的信息提示。
(6.硬件构成)
接下来,参照图25,对本公开的实施方式所涉及的信息处理装置的硬件构成进行说明。图25是表示本公开的实施方式所涉及的信息处理装置的硬件构成例的框图。图示的信息处理装置900例如能够实现上述的实施方式中的传感器装置、终端装置以及/或者服务器。
信息处理装置900包括CPU(Central Processing unit:中央处理单元)901、ROM(Read Only Memory:只读存储器)903、以及RAM(Random Access Memory:随机存取存储器)905。另外,信息处理装置900也可以包括主机总线907、桥909、外部总线911、接口913、输入装置915、输出装置917、存储器装置919、驱动器921、连接端口923和通信装置925。并且,信息处理装置900也可以根据需要而包括拍摄装置933以及传感器935。在信息处理装置900中,也可以代替CPU901或者与CPU901一起具有DSP(Digital Signal Processor:数字信号处理器)、ASIC(Application Specific Integrated Circuit:专用集成电路)或者FPGA(Field-Programmable Gate Array:现场可编程门阵列)等处理电路。
CPU901作为运算处理装置以及控制装置发挥作用,根据记录在ROM903、RAM905、存储器装置919或者可移动记录介质927中的各种程序,来控制信息处理装置900内的动作整体或者动作的一部分。ROM903对CPU901使用的程序、运算参数等进行存储。RAM905对在CPU901的执行中使用的程序、在该执行中适当地变化的参数等进行一次存储。CPU901、ROM903以及RAM905通过由CPU总线等内部总线构成的主机总线907相互连接。并且,主机总线907经由桥909与PCI(Peripheral Component Interconnect/Interface:外围组件互连/接口)总线等外部总线911连接。
输入装置915例如是鼠标、键盘、触摸面板、按钮、开关以及控制杆等由用户操作的装置。输入装置915例如可以是利用了红外线、其它电波的远程控制装置,也可以是与信息处理装置900的操作对应的移动电话等外部连接设备929。输入装置915包括基于用户输入的信息生成输入信号并输出给CPU901的输入控制电路。用户通过操作该输入装置915,来对信息处理装置900输入各种数据或指示处理动作。
输出装置917由能够使用视觉、听觉、触觉等感觉对用户通知所获取的信息的装置构成。输出装置917例如可以是LCD(Liquid CrystalDisplay:液晶显示器)或者有机EL(Electro-Luminescence:电致发光)显示器等显示装置、扬声器或者耳机等声音输出装置、或振动器等。输出装置917将通过信息处理装置900的处理所得到的结果作为文本或图像等影像、声音或声响等声音、或者振动等进行输出。
存储器装置919是作为信息处理装置900的存储部的一个例子而构成的数据储存用的装置。存储器装置919例如由HDD(Hard DiskDrive:硬盘驱动器)等磁存储设备、半导体存储设备、光存储设备、或者光磁存储设备等构成。存储器装置919例如对CPU901执行的程序或各种数据、以及从外部获取的各种数据等进行储存。
驱动器921是用于磁盘、光盘、光磁盘或者半导体存储器等可移动记录介质927的读写器,被内置或外置于信息处理装置900。驱动器921读出记录在所安装的可移动记录介质927中的信息,并输出给RAM905。另外,驱动器921对所安装的可移动记录介质927写入记录。
连接端口923是用于使设备与信息处理装置900连接的端口。连接端口923例如可以是USB(Universal Serial Bus:通用串行总线)端口、IEE1394端口、SCSI(Small Computer System Interface:小型计算机系统接口)端口等。另外,连接端口923也可以是RS-232C端口、光纤音频端子、HDMI(注册商标)(High-Definition Multimedia Interface:高清晰度多媒体接口)端口等。通过在连接端口923上连接外部连接设备929,能够在信息处理装置900与外部连接设备929之间交换各种数据。
通信装置925例如是由用于与通信网络931连接的通信设备等构成的通信接口。通信装置925例如可以是LAN(Local Area Network:局域网)、Bluetooth(注册商标)、Wi-Fi、或者WUSB(Wireless USB:无线USB)用的通信卡等。另外,通信装置925也可以是光通信用的路由器、ADSL(Asymmetric Digital Subscriber Line:非对称数字用户线路)用路由器、或者各种通信用的调制解调器等。通信装置925例如与因特网、其它通信设备之间使用TCP/IP等规定协议来收发信号等。另外,与通信装置925连接的通信网络931是通过有线或者无线连接的网络,例如可以包括因特网、家庭内LAN、红外线通信、无线电波通信或者卫星通信等。
拍摄装置933例如是使用CMOS(Complementary Metal OxideSemiconductor:互补金属氧化物半导体)或者CCD(Charge CoupledDevice:电荷耦合元件)等拍摄元件、以及用于控制被拍摄体像向拍摄元件的成像的透镜等各种部件来拍摄实际空间,并生成拍摄图像的装置。拍摄装置933可以是拍摄静止图像的装置,还可以是拍摄动态图像的装置。
传感器935例如是加速度传感器、角速度传感器、地磁传感器、照度传感器、温度传感器、气压传感器或者声音传感器(麦克风)等各种传感器。传感器935例如获取信息处理装置900的框体的姿势等与信息处理装置900自身的状态有关的信息、信息处理装置900的周边的亮度、噪声等与信息处理装置900的周边环境有关的信息。另外,传感器935也可以包括接收GPS(Global Positioning System:全球定位系统)信号来测量装置的纬度、经度以及高度的GPS接收机。
以上,示出了信息处理装置900的硬件构成的一个例子。上述的各构成要素可以使用通用的部件来构成,也可以通过特化成各构成要素的功能的硬件来构成。相关构成能够根据实施时的技术水平来适当地变更。
(7.补充)
本公开的实施方式例如能够包括:上述说明的那样的信息处理装置(传感器装置、终端装置以及/或者服务器)、系统、由信息处理装置或者系统执行的信息处理方法、用于使信息处理装置发挥作用的程序、以及记录有程序的非暂时的有形的介质。
以上,参照附图详细地对本公开的优选的实施方式进行了说明,但本公开的技术的范围并不局限于所述例子。可明确如果是具有本公开的技术领域中的通常知识的人,则在权利要求书所记载的技术思想的范畴内,能够想到各种变更例或者修正例,应了解这些当然也属于本公开的技术范围。
此外,本说明书所记载的效果仅仅是说明性和示意性的,而不是限制性的。换句话说,本公开所涉及的技术可以与上述的效果一起或代替上述的效果,起到根据本说明书的记载本领域技术人员显然明白的其它效果。
此外,以下那样的构成也属于本公开的技术范围。
(1)信息处理装置具备:动作检测部,其对用户的反复的且非周期性的一连串的动作进行检测;以及信息生成部,其生成与上述一连串的动作相关联的信息。
(2)在上述(1)所记载的信息处理装置中,上述动作检测部基于感测对象或者感测方法不同的多个传感器数据来检测上述一连串的动作。
(3)在上述(2)所记载的信息处理装置中,上述多个传感器数据包括第一传感器数据和第二传感器数据,
上述动作检测部包括:
第一动作检测部,其判定是否产生了上述第一传感器数据满足与上述一连串的动作对应的第一条件的区间;以及
第二动作检测部,在判定为产生了满足上述第一条件的区间的情况下,上述第二动作检测部判定在该区间中上述第二传感器数据是否满足与上述一连串的动作对应的第二条件。
(4)在上述(2)所记载的信息处理装置中,上述多个传感器数据包括在外部的传感器装置中获取的第一传感器数据和第二传感器数据,
上述信息处理装置还包括接收部,在上述传感器装置中判定为产生了上述第一传感器数据满足与上述一连串的动作对应的第一条件的区间的情况下,上述接收部接收从上述传感器装置发送的上述第二传感器数据,
上述动作检测部判定在满足上述第一条件的区间中上述第二传感器数据是否满足与上述一连串的动作对应的第二条件。
(5)在上述(1)~(4)中任意一项所记载的信息处理装置中,上述信息包括根据与上述一连串的动作的检测的前后关系而生成的信息。
(6)在上述(5)所记载的信息处理装置中,上述信息包括在上述一连串的动作的检测中生成的第一信息。
(7)在上述(6)所记载的信息处理装置中,上述第一信息包括与上述一连串的动作有关的记录装置的控制信息。
(8)在上述(7)所记载的信息处理装置中,上述一连串的动作对应于进餐,
上述记录装置根据上述控制信息用图像来记录上述进餐的内容。
(9)在上述(8)所记载的信息处理装置中,上述第一信息还包括基于上述进餐的内容的对上述用户的建议或者对与上述用户不同的他人的建议。
(10)在上述(5)~(9)中的任意一项所记载的信息处理装置中,上述信息根据与上述一连串的动作的检测的前后关系以及与上述一连串的动作不同的上述用户的行动识别结果而生成。
(11)在上述(5)~(10)中的任意一项所记载的信息处理装置中,上述信息包括在上述一连串的动作的检测后生成的第二信息。
(12)在上述(11)所记载的信息处理装置中,上述第二信息包括在上述一连串的动作后预定进行的动作的提醒信息。
(13)在上述(5)~(12)中的任意一项所记载的信息处理装置中,上述信息包括在上述一连串的动作的检测中以及检测后生成被抑制的第三信息。
(14)在上述(13)所记载的信息处理装置中,上述第三信息包括与上述一连串的动作有关的推荐信息。
(15)在上述(14)所记载的信息处理装置中,上述一连串的动作对应于进餐,
上述推荐信息包括与上述进餐的场所或者内容有关的推荐信息。
(16)在上述(1)~(15)中的任意一项所记载的信息处理装置中,上述信息包括在上述一连串的动作的检测后生成的日志信息。
(17)在上述(16)所记载的信息处理装置中,上述信息还包括在上述一连串的动作的检测中生成的与上述一连串的动作有关的记录装置的控制信息,
上述日志信息包括上述记录装置根据上述控制信息记录的与上述一连串的动作有关的记录。
(18)在上述(17)所记载的信息处理装置中,上述一连串的动作对应于进餐,
上述记录装置用图像记录上述进餐的内容,
上述日志信息包括上述进餐的时间段和在上述进餐的时间段所记录的至少一个上述图像。
(19)在信息处理方法中,包括:处理器对用户的反复的且非周期性的一连串的动作进行检测的步骤;以及生成与上述一连串的动作相关联的信息的步骤。
(20)程序用于使计算机实现如下的功能:对用户的反复的且非周期性的一连串的动作进行检测的功能;以及生成与上述一连串的动作相关联的信息的功能。

Claims (20)

1.一种信息处理装置,其中,具备:
动作检测部,其对用户的反复的且非周期性的一连串的动作进行检测;以及
信息生成部,其生成与所述一连串的动作相关联的信息。
2.根据权利要求1所述的信息处理装置,其中,
所述动作检测部基于感测对象或者感测方法不同的多个传感器数据来检测所述一连串的动作。
3.根据权利要求2所述的信息处理装置,其中,
所述多个传感器数据包括第一传感器数据和第二传感器数据,
所述动作检测部包括:
第一动作检测部,其判定是否产生了所述第一传感器数据满足与所述一连串的动作对应的第一条件的区间;以及
第二动作检测部,在判定为产生了满足所述第一条件的区间的情况下,所述第二动作检测部判定在该区间中所述第二传感器数据是否满足与所述一连串的动作对应的第二条件。
4.根据权利要求2所述的信息处理装置,其中,
所述多个传感器数据包括在外部的传感器装置中获取的第一传感器数据和第二传感器数据,
所述信息处理装置还包括接收部,在所述传感器装置中判定为产生了所述第一传感器数据满足与所述一连串的动作对应的第一条件的区间的情况下,所述接收部接收从所述传感器装置发送的所述第二传感器数据,
所述动作检测部判定在满足所述第一条件的区间中所述第二传感器数据是否满足与所述一连串的动作对应的第二条件。
5.根据权利要求1所述的信息处理装置,其中,
所述信息包括根据与所述一连串的动作的检测的前后关系而生成的信息。
6.根据权利要求5所述的信息处理装置,其中,
所述信息包括在所述一连串的动作的检测中生成的第一信息。
7.根据权利要求6所述的信息处理装置,其中,
所述第一信息包括与所述一连串的动作有关的记录装置的控制信息。
8.根据权利要求7所述的信息处理装置,其中,
所述一连串的动作对应于进餐,
所述记录装置根据所述控制信息用图像来记录所述进餐的内容。
9.根据权利要求8所述的信息处理装置,其中,
所述第一信息还包括基于所述进餐的内容的对所述用户的建议或者对与所述用户不同的他人的建议。
10.根据权利要求5所述的信息处理装置,其中,
所述信息根据与所述一连串的动作的检测的前后关系以及与所述一连串的动作不同的所述用户的行动识别结果而生成。
11.根据权利要求5所述的信息处理装置,其中,
所述信息包括在所述一连串的动作的检测后生成的第二信息。
12.根据权利要求11所述的信息处理装置,其中,
所述第二信息包括在所述一连串的动作后预定进行的动作的提醒信息。
13.根据权利要求5所述的信息处理装置,其中,
所述信息包括在所述一连串的动作的检测中以及检测后生成被抑制的第三信息。
14.根据权利要求13所述的信息处理装置,其中,
所述第三信息包括与所述一连串的动作有关的推荐信息。
15.根据权利要求14所述的信息处理装置,其中,
所述一连串的动作对应于进餐,
所述推荐信息包括与所述进餐的场所或者内容有关的推荐信息。
16.根据权利要求1所述的信息处理装置,其中,
所述信息包括在所述一连串的动作的检测后生成的日志信息。
17.根据权利要求16所述的信息处理装置,其中,
所述信息还包括在所述一连串的动作的检测中生成的与所述一连串的动作有关的记录装置的控制信息,
所述日志信息包括所述记录装置根据所述控制信息记录的与所述一连串的动作有关的记录。
18.根据权利要求17所述的信息处理装置,其中,
所述一连串的动作对应于进餐,
所述记录装置用图像记录所述进餐的内容,
所述日志信息包括所述进餐的时间段和在所述进餐的时间段所记录的至少一个所述图像。
19.一种信息处理方法,其中,包括:
处理器对用户的反复的且非周期性的一连串的动作进行检测的步骤;以及
生成与所述一连串的动作相关联的信息的步骤。
20.一种程序,其中,
所述程序用于使计算机实现如下的功能:
对用户的反复的且非周期性的一连串的动作进行检测的功能;以及
生成与所述一连串的动作相关联的信息的功能。
CN201610124867.7A 2015-03-12 2016-03-04 信息处理装置、信息处理方法以及程序 Pending CN105975056A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-049677 2015-03-12
JP2015049677 2015-03-12

Publications (1)

Publication Number Publication Date
CN105975056A true CN105975056A (zh) 2016-09-28

Family

ID=56879376

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610124867.7A Pending CN105975056A (zh) 2015-03-12 2016-03-04 信息处理装置、信息处理方法以及程序
CN201620168425.8U Expired - Fee Related CN205721624U (zh) 2015-03-12 2016-03-04 信息处理装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201620168425.8U Expired - Fee Related CN205721624U (zh) 2015-03-12 2016-03-04 信息处理装置

Country Status (5)

Country Link
US (1) US10832041B2 (zh)
EP (1) EP3270346A4 (zh)
JP (1) JP6791120B2 (zh)
CN (2) CN105975056A (zh)
WO (1) WO2016143404A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222857A (zh) * 2018-03-02 2019-09-10 富士施乐株式会社 信息处理系统、中继装置、存储介质及中继方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6402820B2 (ja) * 2015-03-05 2018-10-10 富士通株式会社 入力検知方法、入力検知プログラム及びデバイス
US20230368046A9 (en) * 2016-01-28 2023-11-16 Medtronic Minimed, Inc. Activation of Ancillary Sensor Systems Based on Triggers from a Wearable Gesture Sensing Device
JP2017136142A (ja) * 2016-02-02 2017-08-10 セイコーエプソン株式会社 情報端末、動作評価システム、動作評価方法、動作評価プログラム、及び記録媒体
JP6682011B2 (ja) * 2016-11-30 2020-04-15 株式会社オプティム コンピュータシステム、教師データ取引方法及びプログラム
JP6710644B2 (ja) * 2017-01-05 2020-06-17 株式会社東芝 動作解析装置、動作解析方法およびプログラム
JP6403825B1 (ja) * 2017-03-27 2018-10-10 foo.log株式会社 情報提供装置及びプログラム
JP6918626B2 (ja) * 2017-08-09 2021-08-11 オムロンヘルスケア株式会社 情報処理装置、サーバおよびデータ伝送システム
JP6847885B2 (ja) * 2018-03-20 2021-03-24 株式会社東芝 情報処理装置、情報処理方法及びプログラム
WO2020026414A1 (ja) * 2018-08-02 2020-02-06 株式会社日立製作所 情報通信システム、端末装置、及び情報通信システムの作動方法
JP7316831B2 (ja) * 2019-04-19 2023-07-28 株式会社Lixil 支援装置及び支援プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000245713A (ja) * 1999-02-26 2000-09-12 Sanyo Electric Co Ltd 行動認識装置
CN101923882A (zh) * 2009-06-10 2010-12-22 索尼公司 信息处理装置、信息处理方法和信息处理程序
CN103914136A (zh) * 2012-12-28 2014-07-09 索尼公司 信息处理装置、信息处理方法和计算机程序
EP2782046A2 (en) * 2013-03-22 2014-09-24 Sony Corporation Information processing device, sensor device, information processing system, and storage medium

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003173375A (ja) * 2001-09-28 2003-06-20 Toshiba Corp 生活管理端末装置、生活管理方法並びに生活管理システム
JP3923035B2 (ja) * 2003-07-03 2007-05-30 株式会社東芝 生体状態分析装置及び生体状態分析方法
JP2006340776A (ja) 2005-06-07 2006-12-21 Nippon Telegr & Teleph Corp <Ntt> 生体摂食行動認識方法及び生体摂食行動認識システム
JP5649808B2 (ja) * 2009-01-28 2015-01-07 ソニー株式会社 情報処理装置、情報処理方法、プログラム
US9981193B2 (en) * 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
JP6031735B2 (ja) 2011-06-13 2016-11-24 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
JP6151272B2 (ja) * 2012-11-30 2017-06-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報提供方法
US20140200847A1 (en) * 2013-01-17 2014-07-17 Garmin Switzerland Gmbh Wrist-based speed and distance monitoring
US9685097B2 (en) * 2013-06-25 2017-06-20 Clemson University Device and method for detecting eating activities
US9251416B2 (en) * 2013-11-19 2016-02-02 Xerox Corporation Time scale adaptive motion detection
US9916520B2 (en) * 2014-09-03 2018-03-13 Sri International Automated food recognition and nutritional estimation with a personal mobile electronic device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000245713A (ja) * 1999-02-26 2000-09-12 Sanyo Electric Co Ltd 行動認識装置
CN101923882A (zh) * 2009-06-10 2010-12-22 索尼公司 信息处理装置、信息处理方法和信息处理程序
CN103914136A (zh) * 2012-12-28 2014-07-09 索尼公司 信息处理装置、信息处理方法和计算机程序
EP2782046A2 (en) * 2013-03-22 2014-09-24 Sony Corporation Information processing device, sensor device, information processing system, and storage medium

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222857A (zh) * 2018-03-02 2019-09-10 富士施乐株式会社 信息处理系统、中继装置、存储介质及中继方法

Also Published As

Publication number Publication date
CN205721624U (zh) 2016-11-23
US10832041B2 (en) 2020-11-10
JP6791120B2 (ja) 2020-11-25
EP3270346A4 (en) 2019-03-13
WO2016143404A1 (ja) 2016-09-15
EP3270346A1 (en) 2018-01-17
US20170357849A1 (en) 2017-12-14
JPWO2016143404A1 (ja) 2017-12-21

Similar Documents

Publication Publication Date Title
CN205721624U (zh) 信息处理装置
Neff et al. Self-tracking
Klasnja et al. Healthcare in the pocket: mapping the space of mobile-phone health interventions
US20220291820A1 (en) Sedentary Notification Management System for Portable Biometric Devices
JP2022046690A (ja) モバイルデバイスを用いる健康モニタリング
CN103892801B (zh) 装置状态相依的用户接口管理
US8446275B2 (en) General health and wellness management method and apparatus for a wellness application using data from a data-capable band
Tucker The Naked Future: What happens in a world that anticipates your every move?
US20160096072A1 (en) Method and system for detecting, tracking, and visualizing joint therapy data
JPWO2019116679A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20130141235A1 (en) General health and wellness management method and apparatus for a wellness application using data associated with data-capable band
US20140129243A1 (en) General health and wellness management method and apparatus for a wellness application using data associated with a data-capable band
CA2814684A1 (en) Activity attainment method and apparatus for a wellness application using data from a data-capable band
US20140127650A1 (en) General health and wellness management method and apparatus for a wellness application using data associated with a data-capable band
US20140129008A1 (en) General health and wellness management method and apparatus for a wellness application using data associated with a data-capable band
US20140129242A1 (en) General health and wellness management method and apparatus for a wellness application using data associated with a data-capable band
AU2016200450A1 (en) General health and wellness management method and apparatus for a wellness application using data from a data-capable band
US20140125493A1 (en) General health and wellness management method and apparatus for a wellness application using data associated with a data-capable band
US20140125480A1 (en) General health and wellness management method and apparatus for a wellness application using data associated with a data-capable band
US20140127649A1 (en) General health and wellness management method and apparatus for a wellness application using data associated with a data-capable band
US20140125481A1 (en) General health and wellness management method and apparatus for a wellness application using data associated with a data-capable band
Skinner et al. Future directions for integrative objective assessment of eating using wearable sensing technology
KR20150092179A (ko) 어린이의 화장실 훈련 프로세스를 관리하기 위한 시스템 및 방법
AlMousa et al. Requirements elicitation and prototyping of a fully immersive virtual reality gaming system for upper limb stroke rehabilitation in Saudi Arabia
KR20150091334A (ko) 이미지를 이용하여 디지털 상호작용을 생성하는 시스템 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160928