CN101989127A - 数据处理装置、数据处理方法以及程序 - Google Patents

数据处理装置、数据处理方法以及程序 Download PDF

Info

Publication number
CN101989127A
CN101989127A CN2010102447473A CN201010244747A CN101989127A CN 101989127 A CN101989127 A CN 101989127A CN 2010102447473 A CN2010102447473 A CN 2010102447473A CN 201010244747 A CN201010244747 A CN 201010244747A CN 101989127 A CN101989127 A CN 101989127A
Authority
CN
China
Prior art keywords
user
state
active state
unit
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010102447473A
Other languages
English (en)
Other versions
CN101989127B (zh
Inventor
伊藤真人
佐部浩太郎
铃木洋贵
横野顺
青山一美
莲尾高志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101989127A publication Critical patent/CN101989127A/zh
Application granted granted Critical
Publication of CN101989127B publication Critical patent/CN101989127B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及一种数据处理装置、数据处理方法以及程序，该数据处理装置包括：获得单元，被配置成从可穿戴式传感器获得时序数据；活动模型学习单元，被配置成根据获得的时序数据以随机状态转换模型的形式学习代表使用者活动状态的活动模型；识别单元，被配置成通过使用由活动模型学习单元获得的使用者的活动模型识别当前使用者活动状态；以及预测单元，被配置成根据由识别单元识别出的当前使用者活动状态预测在从当前时间逝去预定时间之后的使用者活动状态。

Description

数据处理装置、数据处理方法以及程序
技术领域
本发明涉及数据处理装置、数据处理方法、以及程序，更具体而言，涉及用于随机预测在未来期望时间使用者活动状态的多个概率的数据处理装置、数据处理方法、以及程序。
背景技术
近年来，对如下内容进行了积极研究：通过使用从可穿戴式传感器(使用者可以佩戴的传感器)获得的时序数据对使用者的状态进行建模和学习以及通过经过学习获得的模型识别使用者的当前状态。例如，“Life Patterns：structure from wearable sensors”，Brian Patrick Clarkson，Doctor Thesis，MIT，2002提出了如下这种方法：根据简单地以时序方式累积的图像采集数据识别使用者的当前活动地点，而无需预先把使用者活动定义成一些活动模型(标记)。另外，提出了基于从传感器获得的传感器数据预测在以后时间的使用者活动的方法(例如，日本未审查专利申请公开No.2006-134080；日本未审查专利申请公开No.2008-204040；以及“Life Patterns：structure from wearable sensors”，Brian Patrick Clarkson，Doctor Thesis，MIT，2002)。
发明内容
然而，根据相关技术中的方法，可以仅预测在随后时间的使用者活动，不随机预测在从当前时间逝去预定时间的未来时间使用者活动状态的多个概率。
鉴于上述状况做出了本发明，期望随机预测在未来期望时间使用者活动状态的多个概率。
根据本发明的实施例，提供了一种数据处理装置，包括：获得部件，被配置成从可穿戴式传感器获得时序数据；活动模型学习部件，被配置成根据获得的时序数据以随机状态转换模型的形式学习代表使用者活动状态的活动模型；识别部件，被配置成通过使用活动模型学习部件获得的使用者的活动模型识别当前使用者活动状态；以及预测部件，被配置成根据识别部件识别出的当前使用者活动状态预测在从当前时间逝去预定时间之后的使用者活动状态。
根据本发明的实施例，提供了一种数据处理方法，用于被配置成处理时序数据的数据处理装置，所述方法包括如下步骤：从可穿戴式传感器获得时序数据；根据获得的时序数据以随机状态转换模型的形式学习代表使用者活动状态的活动模型；通过使用通过学习获得的使用者的活动模型识别当前使用者活动状态；以及根据识别出的当前使用者活动状态预测在从当前时间逝去预定时间之后的使用者活动状态。
根据本发明的实施例，提供了一种程序，用于使得计算机作为：获得部件，被配置成从可穿戴式传感器获得时序数据；活动模型学习部件，被配置成根据获得的时序数据以随机状态转换模型的形式学习代表使用者活动状态的活动模型；识别部件，被配置成通过使用活动模型学习部件获得的使用者的活动模型识别当前使用者活动状态；以及预测部件，被配置成根据识别部件识别出的当前使用者活动状态预测在从当前时间逝去预定时间之后的使用者活动状态。
根据本发明的实施例，从可穿戴式传感器获得时序数据，根据获得的时序数据以随机状态转换模型的形式学习代表使用者活动状态的活动模型，通过使用通过学习获得的使用者活动模型识别当前使用者活动状态，根据识别出的当前使用者活动状态预测在从当前时间逝去预定时间之后的使用者活动状态。
根据本发明的实施例，可以随机预测在未来期望时间使用者活动状态的多个概率。
附图说明
图1是示出了根据应用了本发明的实施例的数据处理系统的配置实例的方框图；
图2是示出了图1的数据处理装置的详细配置实例的方框图；
图3是用于描述使用者活动模型学习处理的流程图；
图4是用于描述响应处理学习处理的流程图；
图5是用于描述使用者活动预测控制处理的流程图；
图6示出了HMM的实例；
图7示出了左到右型HMM的实例；
图8A和图8B示出了加置了稀疏限制的HMM；
图9是用于描述第一实验的概况的说明图；
图10是示出了用于第一实验实例的数据处理装置的配置实例的方框图；
图11示出了预处理单元的处理结果；
图12示出了预处理单元的处理结果；
图13示出了使用者活动模型学习单元的学习结果；
图14示出了使用者活动模型学习单元的学习结果；
图15A至图15C示出了使用者活动识别单元的识别结果；
图16A至图16C示出了使用者活动预测单元的预测结果；
图17是用于描述响应处理学习单元的学习表的说明图；
图18是用于描述响应处理选择单元的选择处理的说明图；
图19是用于描述实验2中数据处理装置的识别结果和预测结果的说明图；
图20是用于描述实验2中数据处理装置的识别结果和预测结果的说明图；以及
图21是示出了根据应用了本发明的实施例的计算机的配置实例的方框图。
具体实施方式
图1是示出了根据应用了本发明的实施例的数据处理系统的配置实例的方框图。
图1的数据处理系统包括可穿戴式传感器1、数据处理装置2、以及控制对象装置3。
可穿戴式传感器1是使用者本身可以佩戴的传感器并且包括：例如，摄像装置、麦克风、GPS(全球定位系统)接收器、钟表、加速度传感器、陀螺仪传感器、生物信息传感器等。可穿戴式传感器1把通过感测获得的时序数据(在下文中，还将称为传感器数据)输出给数据处理装置2。
数据处理装置2是尺寸对于使用者而言便携的装置，并且被配置成基于从可穿戴式传感器1提供的时序数据，学习使用者活动状态(代表动作和活动模式的状态)作为随机状态转换模型。对于用于学习的随机状态转换模型，例如，可以采用例如包括隐状态的遍历HMM(隐马尔可夫模型)的随机状态转换模型。将参照图6等对遍历HMM进行描述。
通过使用学习后的随机状态转换模型，数据处理装置2首先识别当前使用者活动状态。接下来，通过使用学习后的随机状态转换模型，数据处理装置2根据迄今为止获得的传感器数据预测直到未来期望时间为止各状态的出现概率，以随机预测在未来期望时间使用者活动状态。随后，数据处理装置2向控制对象装置3输出控制信号，用于使得控制对象装置3按照预测的使用者活动状态执行预定处理。
应当注意，数据处理装置2执行的处理的一部分可以按如下这种方式执行：把数据通过无线通信或者经由互联网等的通信传送给远程装置并在远程地点执行处理。
控制对象装置3是要由数据处理装置2控制的对象的装置，如，显示器、扬声器、AV设备、照明设备、或者诸如空气调节设备的家电装备。或者，控制对象装置3也可以是用于控制显示器、扬声器、AV设备、照明设备、空气调节设备等的控制器等。因此，控制对象装置3的数量不限于一个，也可以存在多个控制对象装置3。
应当注意，可穿戴式传感器1和数据处理装置2是可佩戴的，但控制对象装置3不限于可穿戴式装置。当然，控制对象装置3也可以是可穿戴式装置。另外，可以按无线或有线方式进行数据处理装置2与控制对象装置3之间的信号交换。
根据如此构建的数据处理系统，可以实现如下状态。
例如，当学习使用者在家的情形中的活动状态作为随机状态转换模型时，数据处理装置2识别例如使用者“在起居室中”、“在厨房中”等的当前活动状态。随后，数据处理装置2基于随机状态转换模型预测在预定时间逝去之后的使用者活动状态。例如，数据处理装置2预测使用者“在预定时间逝去之后在厨房中”、“在预定时间逝去之后移动到起居室”等的活动状态。
随后，数据处理装置2进行对于控制对象装置3的与预测到的活动状态对应的控制。例如，在数据处理装置2识别出使用者“在厨房中”的当前活动状态并且使用者“在预定时间逝去之后移动到起居室”的情形中，开启起居室中作为控制对象装置3的照明设备和空气调节设备。另外，数据处理装置2可以开启起居室中的电视接收机(在下文中，还将称为TV)、记录和再现装置、以及诸如音频立体声的AV设备。
另外，当学习使用者在办公室的情形中的活动状态作为随机状态转换模型时，数据处理装置2可以识别使用者“在办公室(在其自身的工位)”、“在会议室”等的当前活动状态。随后，按照预测到的在预定时间逝去之后的活动状态，可以进行“开启在诸如会议室的各地点中的空气调节设备”、“开启复印机”、“把电梯移动到使用者所在的楼层”等的控制。即，此情形中的控制对象装置3是空气调节设备、复印机、电梯等。
此外，例如，在使用者在商店中购物的场景中，识别当前使用者活动状态，即，预测使用者当前正在看的产品等，并在作为控制对象装置3的显示器上显示产品信息。或者，可以在作为控制对象装置3的显示器上显示在行进方向上陈列的产品之中推荐产品等的信息。
另外，在学习使用者通勤往返、上学等采取的移动路线作为活动状态的模型的情形中，当数据处理装置2预测例如使用者正前往车站时，可以在作为控制对象装置3的显示器上显示时间表。另外，数据处理装置2根据移动路线预测停留商店，以及可以显示商店的详细信息(开放时间、销售信息等)。
将对数据处理装置2的详细内容进行描述，采用该数据处理装置2可以进行对使用者活动状态的上述预测以及相应控制处理。
数据处理装置2的详细配置实例
图2是示出了数据处理装置2的详细配置实例的方框图。
传感器输入单元111获得从可穿戴式传感器1输出的要提供给预处理单元121的传感器数据。对于传感器输入单元112和113也一样。然而应当注意，输入单元111至113获得的传感器数据彼此不同。因此，数据处理装置2可以从多个可穿戴式传感器1获得传感器数据，且可以按照获得对象的可穿戴式传感器1的数量提供传感器输入单元11和预处理单元12。应当注意，获得对象的可穿戴式传感器1的数量当然可以是一个。在下文中，把传感器输入单元111至113以及预处理单元121至123分别简单地称为传感器输入单元11和预处理单元12，如果没有必要进行区别的话。
预处理单元121至123中的每个预处理单元按照数据特征对从传感器输入单元111至113提供的传感器数据应用预处理，如，图像特征量提取处理或低通滤波器处理，以便提供给使用者活动模型学习单元13和使用者活动识别单元15。即，预处理单元121至123中的每个预处理单元把传感器数据转化成最适于提供给使用者活动模型学习单元13和使用者活动识别单元15的数据，并把转化后的传感器数据提供给使用者活动模型学习单元13和使用者活动识别单元15。
基于从预处理单元121至123分别提供的传感器数据，使用者活动模型学习单元13学习通过对使用者的活动状态进行建模获得的随机状态转换模型(使用者活动模型)。根据本实施例，对于随机状态转换模型，采用通过对遍历HMM加置稀疏限制获得的模型。使用者活动模型学习单元13把作为学习的结果获得的使用者活动模型的参数提供给使用者活动模型参数存储单元14。使用者活动模型参数存储单元14存储从使用者活动模型学习单元13提供的参数，并随着时机出现把参数提供给使用者活动识别单元15和使用者活动预测单元16。
应当注意，将参照图6至图8A和图8B对加置了稀疏限制的遍历HMM、用于遍历HMM的参数的计算方法等进行描述。
当经由传感器输入单元11和预处理单元12输入新的传感器数据时，基于通过学习获得的使用者活动模型，使用者活动识别单元15识别(辨识)当前使用者活动状态(在下文中，还将称为使用者活动状态)。使用者活动识别单元15把代表识别出的当前使用者活动状态的状态ID提供给使用者活动预测单元16和响应处理学习单元18。
使用者活动预测单元16基于通过学习获得的使用者活动模型预测在预定时间逝去之后的使用者活动状态。更具体地，为使用者活动预测单元16提供代表使用者当前状态的状态ID。根据在当前时间T(T＞0)的使用者活动状态，使用者活动预测单元16确定在预定时间逝去之后的时间T+N(N＞0)其出现概率等于或大于预定阈值的活动状态或者其出现概率最大的活动状态。随后，使用者活动预测单元16把代表所确定的活动状态的状态ID作为在时间T+N的使用者活动状态的预测结果提供给响应处理选择单元19。
响应处理获得单元17为由数据处理装置2对控制对象装置3执行的控制中的每个控制分配处理ID。在控制对象装置3中执行为其分配了处理ID的控制时，响应处理获得单元17获得要提供给响应处理学习单元18的处理ID。
响应处理学习单元18存储学习表，在该学习表中，处理ID与状态ID相关联。在从响应处理获得单元17提供处理ID的情形中，响应处理学习单元18把学习表中代表当前使用者活动状态的状态ID中的所提供处理ID的计数增加。作为结果，对于使用者活动状态的状态ID中的每个状态ID，对处理ID的频度进行计数。据此，响应处理学习单元18学习当使用者处于哪个活动状态时对控制对象装置3是哪个操作(控制)。即，响应处理学习单元18学习与代表当前使用者活动状态的状态ID对应的对控制对象装置3的处理。
从使用者活动预测单元16向响应处理选择单元19提供作为在预定时间逝去之后的时间T+N使用者活动状态的预测结果的状态ID。响应处理选择单元19根据在响应处理学习单元18中存储的学习结果选择(确定)与从使用者活动预测单元16提供的状态ID对应的处理的处理ID。响应处理选择单元19把选择的处理ID提供给响应处理输出单元20。
响应处理输出单元20对控制对象装置3执行与从响应处理选择单元19提供的处理ID对应的控制。
使用者活动模型学习处理
图3是用于描述数据处理装置2所进行的使用者活动模型学习处理的流程图。
首先，在步骤S1中，传感器输入单元11获得可穿戴式传感器1输出的要提供给预处理单元12的传感器数据。
在步骤S2中，预处理单元12对从传感器输入单元11提供的传感器数据应用预处理，并把处理后的传感器数据提供给使用者活动模型学习单元13。
在步骤S3中，使用者活动模型学习单元13基于从预处理单元12提供的传感器数据学习使用者活动模型。即，使用者活动模型学习单元13计算随机状态转换模型的参数作为使用者活动模型。
在步骤S4中，使用者活动模型参数存储单元14存储作为使用者活动模型学习单元13进行学习的结果所获得的使用者活动模型的参数(使用者活动模型参数)以结束处理。
响应处理学习处理
图4是用于学习响应于使用者活动状态的控制对象装置3的处理的响应处理学习处理的流程图。可以在图3的使用者活动模型学习处理确定使用者活动模型之后执行此处理。
首先，在步骤S11中，传感器输入单元11获得可穿戴式传感器1输出的要提供给预处理单元12的传感器数据。
在步骤S12中，预处理单元12对从传感器输入单元11提供的传感器数据应用预处理，并把处理后的传感器数据提供给使用者活动识别单元15。
在步骤S13中，使用者活动识别单元15从使用者活动模型参数存储单元14读取出使用者活动模型的参数。
在步骤S14中，使用者活动识别单元15基于以读取出的参数为基础的使用者活动模型识别(辨识)当前使用者活动状态。使用者活动识别单元15把作为识别结果的代表使用者活动状态的状态ID提供给响应处理学习单元18。
在步骤S15中，响应处理获得单元17获得要提供给响应处理学习单元18的在控制对象装置3中执行的处理的处理ID。步骤S14中的处理和步骤S15中的处理并行执行。
在步骤S16中，响应处理学习单元18把从响应处理获得单元17提供的处理ID以及从使用者活动识别单元15提供的代表当前使用者活动状态的状态ID在学习表中彼此相关联地进行存储，以结束处理。
通过重复执行上述处理，数据处理装置2可以学习当使用者处于哪个状态时对控制对象装置3是哪个操作(控制)。
使用者活动预测控制处理
图5是用于基于输入的传感器数据预测使用者的活动状态以及按照预测的使用者活动状态对控制对象装置3执行控制的使用者活动预测控制处理的流程图。可以在执行图3的使用者活动模型学习处理和图4的响应处理学习处理之后或者与图4的响应处理学习处理并行地执行此处理。
首先，在步骤S21中，传感器输入单元11获得可穿戴式传感器1输出的要提供给预处理单元12的传感器数据。
在步骤S22中，预处理单元12对从传感器输入单元11提供的传感器数据应用预处理，并把处理后的传感器数据提供给使用者活动识别单元15。步骤S21和S22中的处理与图4的步骤S11和S12中的处理相同。在与图4的处理并行地执行图5的处理的情形中，可以按单个处理的形式分别执行步骤S11和S21以及步骤S12和S22。
在步骤S23中，使用者活动预测单元16从使用者活动模型参数存储单元14读取出使用者活动模型的参数。另外，在步骤S23中，使用者活动识别单元15也从使用者活动模型参数存储单元14读取出使用者活动模型的参数。
在步骤S24中，使用者活动识别单元15根据以读取出的参数为基础的使用者活动模型识别当前使用者活动状态。随后，使用者活动识别单元15把作为识别结果的代表使用者活动状态的状态ID提供给响应处理学习单元18。
在步骤S25中，在把当前时间T的使用者活动状态设置成开始点的情况下，使用者活动预测单元16预测在预定时间逝去之后的时间T+N的使用者活动状态。使用者活动预测单元16把作为预测结果的代表在预定时间逝去之后使用者活动状态的状态ID提供给响应处理选择单元19。
在步骤S26中，响应处理选择单元19根据通过图4的处理在响应处理学习单元18中存储的学习表，选择与从使用者活动预测单元16提供的状态ID对应的处理ID。即，响应处理选择单元19选择在时间T+N与预测的使用者活动状态对应的对控制对象装置3的控制。把选择的处理ID提供给响应处理输出单元20。
在步骤S27中，响应处理输出单元20对控制对象装置3执行与从响应处理选择单元19提供的处理ID对应的控制，以结束处理。
如上所述，在数据处理装置2中，通过图3的使用者活动模型学习处理计算使用者活动模型的参数，并且基于使用计算出的参数的使用者活动模型，识别当前使用者活动状态。随后，从当前使用者活动状态，预测在未来预定时间T+N的使用者活动状态，并对控制对象装置3执行按照预测的使用者活动状态的控制。
关于遍历HMM
接下来，将对数据处理装置2采用的作为学习模型的遍历HMM进行描述。
图6示出了HMM的实例。
HMM是具有状态以及状态之间转换的状态转换模型。
图6示出了三个状态中HMM的实例。
在图6中(对于后面的图也一样)，圆形符号代表状态(对应于上述使用者活动状态)，以及箭头符号代表状态转换。
另外，在图6中，si(在图6中，i＝1、2、3)代表状态，以及aij代表从状态si向状态sj的状态转换的状态转换概率。此外，bj(x)代表在去往状态sj的状态转换时观测到观测值x的输出概率密度函数，以及πi代表状态si处于初始状态的初始概率。
应当注意，对于输出概率密度函数bj(x)，例如，使用污染正态概率分布等。
在本文中，通过状态转换概率aij、输出概率密度函数bj(x)、以及初始概率πi定义HMM(连续HMM)。把状态转换概率aij、输出概率密度函数bj(x)、以及初始概率πi称为HMM＝{aij，bj(x)，πi，i＝1、2、…、M，j＝1、2、…、M}的参数λ。M代表HMM的状态的数量。
对于用于估算HMM的参数λ的方法，广泛采用Baum-Welch的最大似然估算方法。Baum-Welch的最大似然估算方法是以EM(期望最大化)算法为基础的参数估算方法。
根据Baum-Welch的最大似然估算方法，基于观测到的时序数据x＝x1、x2、…、xT，进行对HMM的参数λ的估算，以使得从出现概率(观测到(生成)时序数据的概率)获得的似然值最大。在本文中，xt代表在时间t观测到的信号(样本值)，以及T代表时序数据的长度(样本数量)。
例如，“Pattern Recognition and Machine Learning(Information Science and Statistics)”，Christopher M.Bishop，Springer，纽约，2006(将称为文件A)中描述了Baum-Welch的最大似然估算方法。
把从传感器输入单元11获得的传感器数据以时序数据x＝x1、x2、…、xT的形式提供给预处理单元12。随后，把预处理单元12对其应用了预定处理的传感器数据以时序数据x′＝x1′、x2′、…、xT′的形式提供给使用者活动模型学习单元13。
从而，通过使用预处理之后的传感器数据x′＝x1′、x2′、…、xT′，使用者活动模型学习单元13估算代表使用者活动模型的HMM的参数λ。
应当注意，Baum-Welch的最大似然估算方法是以似然值最大化为基础的参数估算方法但不保证最佳性，这根据HMM的结构和参数λ的初始值可以收敛成局部解。
在语音识别中广泛采用HMM。在语音识别中采用的HMM中，通常，预先确定状态的数量、状态转换的方式等。
图7示出了语音识别中采用的HMM的实例。
把图7的HMM称为左到右型。
在图7中，状态的数量为3，且状态转换限于如下这种结构：只允许自身转换(从状态si向状态si的状态转换)以及从左边的状态向右边的相邻状态的状态转换。
相比于如同图7的HMM一样存在对状态转换限制的HMM，图6中所示的不存在对状态转换限制的HMM，即，允许从任意状态si向任意状态sj的状态转换的HMM，被称为遍历HMM。
遍历HMM是在结构上具有极高自由度的HMM，但如果状态的数量大，则对参数λ的估算是困难的。
例如，在遍历HMM中状态的数量为1000的情形中，状态转换的数量为1百万(＝1000×1000)。
因此，在此情形中，在参数λ之中，例如，对于状态转换概率aij，估算1百万个状态转换概率aij。
鉴于以上内容，例如，可以对针对状态设置的状态转换加置稀疏结构的限制(稀疏限制)。
在本文中，稀疏结构是如下这种结构：其中，与密集状态转换(如，允许从任意状态向任意状态的状态转换的遍历HMM)不同，允许自某个状态起的状态转换的状态是极其受限的。应当注意，在本文中，即使在稀疏结构的情形中，也存在去往另一状态的至少一个状态转换，以及还存在自身转换。
图8A和图8B示出了加置了稀疏限制的HMM。
在本文中，在图8A和图8B中，连接两个状态的双向箭头代表从两个状态的一个状态向另一状态的状态转换以及从所述另一状态向所述一个状态的状态转换。另外，在图8A和图8B中，各状态允许自身转换，略去了对代表自身转换的箭头的图示。
在图8A和图8B中，以网状模式在二维空间上布置16个状态。即，在图8A和图8B中，在横向方向上，布置四个状态，另外，在纵向方向上，布置四个状态。
现在，把在横向方向上相邻的状态之间的距离以及在纵向方向上相邻的状态之间的距离均设置成1，然后，图8A示出了加置了稀疏限制的HMM，其中，允许去往距离等于或小于1的状态的状态转换，而不允许去往其它状态的状态转换。
另外，图8B示出了加置了稀疏限制的HMM，其中，允许去往距离等于或小于√2的状态，而不允许去往其它状态的状态转换。
使用者活动识别单元15对通过学习(HMM)获得的使用者活动模型应用Viterbi方法，以获得如下这种状态转换的过程(状态的线路)(路径)(在下文中，还将称为最大似然路径)：其中，观测到来自预处理单元12的处理之后的传感器数据x′＝x1′、x2′、…、xT′的似然值最大。据此，识别当前使用者动作状态。
在本文中，Viterbi方法是如下这种算法：用于确定使值(出现概率)最大化的路径(最大似然路径)，该值是通过把在从各状态si开始的状态转换的路径之中在时间t进行从状态si向状态sj的状态转换的状态转换概率aij以及在该状态转换中在处理后的传感器数据x′＝x1′、x2′、…、xT′之中观测到在时间t的样本值x′t的概率(从输出概率密度函数bj(x)获得的输出概率)在处理后的时序数据x′的长度T上进行累加获得的。
使用者活动预测单元16对通过学习(HMM)获得的使用者活动模型应用前向-后向算法，可以计算在把由使用者活动识别单元15识别出的当前使用者活动状态设置成开始点的情况下直到时间T+N为止各状态si的出现概率。应当注意，当计算出现概率时，使用者活动预测单元16可以采用如下这种方法：在假定在各时间的各状态si的观测概率为相等概率的情况下，基于状态转换概率aij计算直到时间T+N为止各状态si的出现概率，或者，可以采用如下这种方法：通过使用基于状态转换概率aij的随机数以实验方式确定，来计算直到时间T+N为止各状态si的出现概率。
在本文中，前向-后向算法是用于通过如下方式计算概率值的算法：对通过在时间方向上向前传播概率以达到各状态si而获得的前向概率αi(t)以及通过在时间方向上向后传播概率以达到各状态si而获得的后向概率βi(t)进行积分。应当注意，也可以只使用用于计算前向概率αi(t)的前向算法或者用于计算后向概率βi(t)的后向算法。
在上述文件A的347页描述了Viterbi方法，以及在上述文件A的336页描述了前向-后向算法。
第一实验实例
接下来，将对数据处理装置2所进行的预测控制以及对使用者活动模型的学习的具体实例进行描述。首先，将参照图9对第一实验的概况进行描述。
根据第一实验，使用者随处携带作为可穿戴式传感器1的摄像装置，并获得使用者在视觉上识别出的图像(视频)数据作为时序数据。在图9中所示的住宅中，使用者执行包括如下内容的活动(动作)：(1)在起居室中看电视、(2)在用餐空间中进食、(3)在书房中思考、(4)在厨房中做饭、以及(5)在洗漱间中化妆。另外，使用者对作为控制对象装置3的照明设备、电视接收机等执行如下这些操作：如，开启室灯以及开启电视(TV)开关。
基于随着使用者的活动获得的图像的时序数据，数据处理装置2使得遍历HMM学习使用者活动状态。随后，作为学习之后的验证，输入通过使用者的动作获得的新图像的时序数据，并把使用者活动识别单元15所进行的对使用者活动状态的识别与实际使用者活动相比较。应当注意，数据处理装置2从作为可穿戴式传感器1的摄像装置只获得图像的时序数据，不进行与使用者活动相关的做标记等。然而应当注意，作为学习之后的验证，为了把使用者的实际活动与识别结果相比较，在本实验中，对获得的各图像添加表明住宅中位置的伪坐标。另外，对于学习之后的各状态，也与该状态中分配的输入图像的伪坐标的平均值相关联，以及可以采用伪坐标检查识别结果的各状态。
第一实验实例中数据处理装置2的配置
图10是示出了用于第一实验实例的数据处理装置2的配置实例的方框图。
传感器输入单元11-1获得从作为可穿戴式传感器1的摄像装置输出的时序图像数据作为要提供给预处理单元12-1的传感器数据。
预处理单元12-1从由传感器输入单元11-1提供的图像数据提取图像特征量。即，预处理单元12-1把时序图像数据转化成图像特征量的时序数据。此外，预处理单元12-1压缩图像特征量时序数据的维数，并把维度压缩之后的图像特征量的时序数据提供给使用者活动模型学习单元13-1和使用者活动识别单元15-1。
例如，预处理单元12-1采用称作GIST的特征量，作为提取的图像特征量。“Context-based vision system for place and object recognition”，A.Torralba、K.P.Murphy、W.T.Freeman和M.A.Rubin，IEEE Intl.Conference on Computer Vision(ICCV)，尼斯，法国，2003年10月中描述了GIST的详细内容。
应当注意，图像特征量不限于GIST，例如，也可以采用HLCA(高阶局部相关)、LBP(局部二元模式)、颜色直方图、边缘直方图等。
例如，N.Otsu、T.Kurita，“A new scheme for practical flexible and intelligent vision systems”，Proc.IAPR Workshop on Computer Vision，431-435页，1988中描述了HLCA的详细内容。例如，Ojala T、M&
Figure BSA00000216930200142
T，“Multiresolution gray-scale and rotation invariant texture classification with Local Binary Patterns”，IEEE Transactions on Pattern Analysis and Machine Intelligence 24(7)：971-987中描述了LBP的详细内容。
另外，预处理单元12-1可以通过执行主成分分析(PCA)进行对图像特征量时序数据的维度压缩。预处理单元12-1基于PCA的结果压缩(限制)图像特征量(GIST)时序数据的维数，以使得累积贡献率变成较高的值(例如，不小于95等)。
使用者活动模型学习单元13-1在从预处理单元12-1提供的维度压缩之后的图像特征量时序数据被设置成上述传感器数据x′＝x1′、x2′、…、xT′的情况下，计算加置了稀疏限制的遍历HMM的参数λ。应当注意，可以把状态si的初始概率πi设置成统一值。例如，把M个状态si中每个状态si的初始概率πi都设置成1/M。
使用者活动模型参数存储单元14-1存储由使用者活动模型学习单元13-1计算的要随着时机出现提供给使用者活动识别单元15和使用者活动预测单元16的参数λ。
使用者活动识别单元15-1对通过学习(HMM)获得的使用者活动模型应用Viterbi方法并识别(辨识)当前使用者活动状态。使用者活动识别单元15-1把代表识别出的当前使用者活动状态的状态ID提供给使用者活动预测单元16和响应处理学习单元18。
基于代表当前使用者活动状态的状态ID，使用者活动预测单元16-1预测在从当前时间T逝去期望时间之后的时间T+N的使用者活动状态并把预测的活动状态的状态ID提供给响应处理选择单元19-1。在本文中，使用者活动预测单元16-1在假定在时间T+1至T+N观测到各状态si的样本值x ′T+1至x′T+N的概率为1的情况下，计算直到时间T+N为止各状态si的出现概率。随后，在预定时间逝去之后的时间T+N，使用者活动预测单元16-1把出现概率最大的状态或者出现概率等于或大于预定阈值的状态预测为在时间T+N的使用者活动状态。
响应处理获得单元17-1接收和获得表明各房间中照明的开或关、TV开关的开或关、以及空气调节器的开或关的信号，并把信号提供给响应处理学习单元18-1作为各控制对应的处理ID。
当从响应处理获得单元17-1提供处理ID时，响应处理学习单元18-1把学习表的代表当前使用者活动状态的状态ID中的所提供处理ID的频度增加计数。据此，响应处理学习单元18-1计数与各状态ID对应的处理ID的共同出现频度。
当从使用者活动预测单元16-1提供预定状态ID时，响应处理选择单元19-1从响应处理学习单元18-1的学习表选择(确定)针对提供的状态ID要进行的处理的处理ID。更具体地，响应处理选择单元19-1针对提供的状态ID从学习表选择频度最高的处理ID并把处理ID提供给响应处理输出单元20-1。应当注意，响应处理选择单元19-1可以针对提供的状态ID选择频度等于或大于预定阈值的多个处理ID。
按照从响应处理选择单元19-1提供的处理ID，响应处理输出单元20-1对控制对象装置3进行控制。例如，在预测使用者在时间T+N在起居室中的情形中，响应处理输出单元20-1把用于开启起居室中照明和空气调节器的控制信号发送给作为控制对象装置3的照明设备和空气调节器。
将参照图11至图18对使用数据处理装置2的第一实验的上述实验结果进行描述。
预处理单元12-1的处理结果
图11和图12示出了预处理单元12-1的处理结果。
图11示出了从传感器输入单元11-1提供的输入图像、由预处理单元12-1提取的图像特征量时序数据、以及维度压缩之后的图像特征量时序数据的实例。应当注意，因为空间限制，通过图示采集图像获得输入图像，也略去了图像对比浓度的显示。
在从输入图像提取的图像特征量时序数据(在图11的中心)中，存在高达1000个维度的维数，相比而言，在通过主成份分析进行维度压缩之后的图像特征量时序数据(在图11的右边)中，维数压缩到约50个维度。
图12示出了预处理单元12-1所进行的对输入图像的图像特征量的提取处理。
图12示出了针对灰度(8位等级序列)的输入图像的GIST计算的实例。即，针对灰度的输入图像，预处理单元12-1把通过分割可控滤波器的输出成5×5进行平均化而获得的值设置为图像特征量。在本文中，在可控滤波器的参数中，分辨率具有包括大、中、以及小的三级，微分滤波器具有包括一次微分、二次微分、以及三次微分的三级，方向参数具有四个方向(上、下、右、以及左)。应当注意，对于二次微分的微分滤波器，除了各轴中的方向参数之外，还可以计算全轴方向上的方向参数，因此，使用五个方向上的滤波器输出。
使用者活动模型学习单元13-1的学习结果
图13和图14示出了作为使用者活动模型学习单元13-1所进行学习的结果获得的HMM。
在图13和图14中，黑色圆形代表通过使用称作Sammon图的方法基于状态转换概率aij所确定的HMM的各状态sj的坐标(x，y)(使得转换概率大的状态布置成尽可能的接近)，并且等同于状态sj。在本文中，把状态的数量M设置成600。
另外，在图13和图14中，在从状态si向状态sj的状态转换的状态转换概率aij大于0的情形中(在从状态si向状态sj的状态转换有效的状态转换的情形中)，等同于状态si的黑色圆形和等同于状态sj的黑色圆形由直线(线段)连接。因此，在图13和图14中，连接相互黑色圆形的直线等同于(有效)状态转换。
应当注意，图13和图14中，略去了表明状态转换方向的箭头的图示。
图14示出了如下这种状态：其中，在图13中所示学习之后的HMM上，重叠属于诸如(1)在起居室中看电视、(3)在书房中思考、以及(4)在厨房中做饭的各状态si的输入图像的一部分。应当注意，输入图像由灰色矩形表示。
通过观看布置在状态si上的输入图像，把诸如(1)在起居室中看电视、(3)在书房中思考、以及(4)在厨房中做饭的同样的使用者活动状态布置在相邻HMM状态中。即，适当地识别和分类从输入图像识别出的使用者活动状态。
可以认为，通过HMM所进行的学习和识别是以图像特征量为基础的一种聚类。然而，简单地使用图像特征量的聚类只关注于图像的相似度，因而，相似度小的图像之间的相关性低。另一方面，在通过HMM所进行的学习和识别中，在不仅包括图像特征量而且还包括时间先后关系的情况下进行聚类。在具有预定特征量的图像在具有某特征量的图像之后出现的情形中，即使在它们的图像特征量方面相似度小的图像之间的相关性也高。因此，通过使用HMM的学习，即使对输入图像不执行做标记，也可以适当地识别和分类使用者活动状态。
使用者活动识别单元15-1的识别结果
图15A至图15C示出了使用者活动识别单元15-1所进行的识别的结果。
图15A至图15C示出了如下这些状态：其中，当向数据处理装置2提供不用于学习的新输入图像时，作为由使用者活动识别单元15-1识别出的识别结果的状态si在类似于图9的房间布局图上用黑点表示。
应当注意，当然，对于识别处理，不使用向图像数据添加的伪坐标。另外，如上所述，与作为识别结果的状态si对应的伪坐标根据分配给该状态的输入图像的伪坐标的平均值计算。
在图15A中，叉号(×)代表当使用者“(3)在书房中思考”时在某个时间输入图像的真值，即，向输入图像添加的伪坐标。另一方面，圆形符号(○)代表使用者活动识别单元15-1针对叉号(×)的输入图像的识别结果，即，与叉号的输入图像被识别出的状态si对应的伪坐标。
在图15B中，叉号(×)代表当使用者“移动到起居室”时在某个时间的输入图像的真值，即，向输入图像添加的伪坐标。另一方面，圆形符号(○)代表使用者活动识别单元15-1针对叉号(×)的输入图像的识别结果，即，与识别出叉号的输入图像的状态si对应的伪坐标。
在图15C中，叉号(×)代表当使用者“(1)在起居室中看电视”时在某个时间的输入图像的真值，即，向输入图像添加的伪坐标。另一方面，圆形符号(○)代表使用者活动识别单元15-1针对叉号(×)的输入图像的识别结果，即，与识别出叉号的输入图像的状态si对应的伪坐标。
在图15A至图15C的任一使用者活动状态中，叉号和圆形符号彼此极其接近，根据学习后的HMM，可以认为使用者活动状态可以被适当地识别。
使用者活动预测单元16-1的预测结果
图16A至图16C示出了使用者活动预测单元16-1的预测结果。
图16A至图16C均以各活动状态出现概率的形式表示在由使用者活动预测单元16-1识别出的当前使用者活动状态三分钟之后的使用者活动的预测结果。
应当注意，以如下方式获得各活动状态的出现概率。例如，对于“(1)在起居室中看电视”的概率，把状态si对应的伪坐标在起居室中预定范围内的情形定义成“(1)在起居室中看电视”，求得在识别结果三分钟之后状态si对应的伪坐标在定义的预定范围内的概率。对于其它使用者活动状态的出现概率也一样。
图16A示出了在当前使用者活动状态为“(3)在书房中思考”的情形中三分钟后的所预测的使用者活动状态。
在当前使用者活动状态为“(3)在书房中思考”的情形中，使用者在三分钟后仍然“(3)在书房中思考”的概率为42.9％。使用者在三分钟后“(1)在起居室中看电视”的概率为24.5％。使用者在三分钟后“(5)在洗漱间中化妆”的概率为5.4％。另外，使用者“(4)在厨房中做饭”和使用者“(2)在用餐空间中进食”的概率分别为2.6％和0.7％。
图16B示出了在当前使用者活动状态为“(1)在起居室中看电视”的情形中三分钟后的所预测的使用者活动状态。
在当前使用者活动状态为“(1)在起居室中看电视”的情形中，使用者在三分钟后仍然“(1)在起居室中看电视”的概率为63.6％。使用者在三分钟后“(4)在厨房中做饭”的概率为12.3％。使用者在三分钟后“(3)在书房中思考”的概率为8.4％。另外，使用者“(2)在用餐空间中进食”和使用者“(5)在洗漱间中化妆”的概率分别为4.0％和3.1％。
图16C示出了在当前使用者活动状态为“(4)在厨房中做饭”的情形中三分钟后的所预测的使用者活动状态。
在当前使用者活动状态为“(4)在厨房中做饭”的情形中，使用者在三分钟后仍然“(4)在厨房中做饭”的概率为22.2％。使用者在三分钟后“(1)在起居室中看电视”的概率为38.8％。使用者在三分钟后“(2)在用餐空间中进食”的概率为17.9％。另外，使用者“(3)在书房中思考”和使用者“(5)在洗漱间中化妆”的概率分别为8.4％和3.0％。
如上所述，根据使用者活动预测单元16-1，通过使用学习后的HMM，从当前使用者活动状态，可以按出现概率的形式预测在预定时间逝去之后的使用者活动状态。
响应处理学习处理和响应处理选择处理
图17示出了通过响应处理学习单元18进行的学习处理所创建的学习表的一部分。
在学习表中，在HMM的各状态中，在把状态ID和处理ID彼此关联的情况下存储控制对象装置3执行的响应处理的频度。
随后，如图18中所示，在使用者活动预测控制处理中，由使用者活动预测单元16预料提供的状态ID为“5”。在此情形中，响应处理选择单元19-1针对状态ID“5”选择频度最高的处理ID“5”并把选择的处理ID“5”提供给响应处理输出单元20-1。
例如，当预料状态ID“5”为“(1)在起居室中看电视”以及处理ID“5”为“开启TV开关”时，响应处理选择单元19-1把指示“开启TV开关”的信号提供给响应处理输出单元20-1。当指示“开启TV开关”的信号被提供时，响应处理输出单元20-1把用于指示开启电源的远程控制信号发送给TV。
如上所述，根据第一实验，通过使用从可穿戴式传感器1获得的图像信号，准确地识别使用者当前状态，并且可以随机预测在期望时间逝去之后未来的使用者状态。另外，按照预测结果，可以控制外部器件。
第二实验实例
接下来，将对第二实验实例进行描述。数据处理装置2的结构与图10类似，因此，对于对数据处理装置2的描述，引用图10的数据处理装置2的附图标记进行描述。
根据第二实验，对于可穿戴式传感器1使用GPS接收器。另外，对于控制对象装置3，例如，采用便携式小型显示器或扬声器。
数据处理装置2使得遍历HMM学习使用者的动作(更具体地，使用者移动的移动路径)作为使用者活动模型。随后，数据处理装置2预测在时间T+N(在从当前时间T逝去期望时间之后的时间)使用者的目的地(位置)。数据处理装置2在显示器上按照预测的目的地显示信息。例如，在预测的目的地是车站的情形中，数据处理装置2在显示器上显示时间表。另外，例如，在预测的目的地包括使用者频繁光顾的商店的情形中，数据处理装置2在显示器上显示商店的详细信息(开放时间、销售信息等)。
传感器输入单元11-1获得从作为可穿戴式传感器1的GPS接收器输出的时序位置数据作为要提供给预处理单元12-1的传感器数据。预处理单元12-1在本实验中不执行预处理，而是原样地输出提供的数据。然而，可以使得预处理单元121执行例如低通滤波处理或者如下这种处理：补充在未接收到GPS信号的隧道中的路线。
使用者活动模型学习单元13-1、使用者活动模型参数存储单元14-1、以及使用者活动识别单元15-1所进行的处理与第一实验实例中的类似，除了处理对象的传感器数据(时序数据)是位置数据，将略去其描述。
使用者活动预测单元16-1基于代表当前使用者活动状态的状态ID预测在期望时间逝去之后的时间T+N的使用者活动状态。在第二实验中，使用者活动预测单元16-1在当前使用者活动状态被设置成开始点的情况下，计算通过使用基于状态转换概率aij的随机数以实验方式确定的直到时间T+N为止的各状态si的出现概率。即，使用者活动预测单元16-1在采用基于状态转换概率aij的随机数按顺序确定在未来的期望时间T+n(n＝1、2、…、N)出现的是哪个状态si的情况下，进行至少一次实验以确定直到时间T+N为止的状态si。于是，作为进行至少一次的实验的结果，使用者活动预测单元16-1把在期望时间T+N出现概率(出现次数)最大的状态或者出现概率(出现次数)等于或大于预定阈值的状态预测为在时间T+N的使用者活动状态。
应当注意，与第一实验实例类似，根据第二实验也是同样的，在假定在各时间的各状态si的观测概率为相等概率的情况下，也可以通过如下方法预测在时间T+N的使用者活动状态：基于状态转换概率aij计算直到时间T+N为止各状态si的出现概率。
响应处理学习单元18-1存储如下这种学习表：其中，用于与使用者的当前地点对应的状态的状态ID与表明要在显示器上显示的信息的处理ID相关联。另外，响应处理学习单元18-1存储与处理ID相链接的要在显示器上显示的信息(使用者提示信息)。
响应处理选择单元19-1从学习表中选择(确定)与从使用者活动预测单元16提供的状态ID对应的处理ID，并获得要提供给响应处理输出单元20-1的、来自响应处理学习单元18-1的与所选择处理ID对应的使用者提示信息。
响应处理输出单元20-1把从响应处理选择单元19-1提供的使用者提示信息输出给作为控制对象装置3的显示器或扬声器。控制对象装置3在显示器上显示使用者提示信息或者从扬声器以音频形式输出使用者提示信息。
图19和图20示出了第二实验中数据处理装置2的识别结果和预测结果。
在图19中，图上示例的细的实线、虚线、点链状线、以及双点链状线代表数据处理装置2学习的使用者的移动路线。
另外，在图19中，图上示例的粗虚线代表学习之后新输入的使用者移动路线(的时序数据)，以及星形符号代表使用者的目前地点。
此外，图19的粗实线代表使用者活动识别单元15-1的识别结果，以及粗的点链状线代表使用者活动预测单元16-1的预测结果。
另一方面，在图20中，使用者活动模型学习单元13-1学习的各状态si由虚线椭圆示例出。根据图20，使用者的所有移动路线包括在被学习的状态si(虚线椭圆)的一个状态si中，可以理解，HMM可以准确地学习使用者的移动路线。应当注意，在第二实验中，把状态的数量M设置成100。
另外，在图20中，粗实曲线代表学习之后新输入的使用者移动路线(的时序数据)，相比而言，使用者活动识别单元15-1识别出的各状态si由粗实椭圆表示。
此外，在图20中，细实线代表使用者活动预测单元16-1预测的直到期望时间T+N为止使用者移动路线(活动状态)的预测结果。
图20中的细实椭圆对应于图19中的粗的点链状线，以及图20中的粗实椭圆对应于图19中的实线。另外，图20中的粗实曲线对应于图19中的粗虚线。
根据图19和图20，可以理解，选择适当的状态si作为使用者活动预测单元16-1的预测结果。即，可以理解，进行了适当的预测。
在上述第二实验中，通过使用从可穿戴式传感器1获得的位置数据，准确地识别使用者当前状态(目前地点)，另外，可以预测在期望时间逝去之后未来的使用者状态(目前地点)。另外，按照预测结果，控制外部器件，并且可以向使用者提供信息。
如上所述，根据应用了本发明实施例的数据处理装置2，准确地识别使用者的当前动作(状态)作为使用者活动状态，另外，可以按出现概率的形式随机预测在未来期望时间使用者的活动(状态)。随后，基于预测结果，可以控制外部装置并向使用者提示信息。
至此，在构建了按照使用者的动作被自动控制的电子器件的智能房间的情形中，在起居室中安装了按照目的的各种传感器。根据本发明的实施例，当使用者戴上可穿戴式传感器1时，可以识别、预测、以及控制使用者活动状态，因此可以采用简单的配置构建智能房间。
上述一系列处理可以通过硬件执行但也可以通过软件执行。在上述一系列处理通过软件执行的情形中，把建构软件的程序安装到计算机中。在本文中，计算机包括：结合在专用硬件中的计算机，例如能够通过安装各种程序执行各种功能等的通用个人计算机，等等。
图21是示出了用于通过程序执行上述一系列处理的计算机的硬件配置实例的方框图。
在计算机中，CPU(中央处理单元)101、ROM(只读存储器)102、以及RAM(随机访问存储器)103通过总线104相互连接。
此外，输入输出接口105连接到总线104。输入单元106、输出单元107、存储单元108、通信单元109、以及驱动器110连接到输入输出接口105。
输入单元106包括键盘、鼠标、麦克风等。输出单元107包括显示器、扬声器等。存储单元108包括硬盘、非易失性存储器等。通信单元109包括网络接口等。驱动器110被配置成驱动可拆除记录介质111，如，磁盘、光盘、磁光盘、或者半导体存储器。
在如上所述配置的计算机中，在CPU 101例如经由输入输出接口105和总线104把存储单元108中存储的程序加载到RAM 103上以用于执行的情况下，进行上述一系列处理。
可以在记录在例如作为封装媒体等的可拆除记录介质111上的情况下提供计算机(CPU 101)执行的程序。另外，可以经由有线或无线传输媒体(如，局域网、互联网、或者数字卫星广播)提供程序。
在计算机中，通过把可拆除记录介质111装配到驱动器110，可以经由输入输出接口105把程序安装到存储单元108中。另外，通信单元109可以经由有线或无线传输媒体接收要安装到存储单元108中的程序。除了以上内容之外，可以在ROM 102或存储单元108中预先安装程序。
应当注意，计算机执行的程序可以是以本说明书中描述的次序以时序方式执行处理的程序，或者，例如在生成呼叫时的适当时刻或者并行地执行处理的程序。
应当注意，在本说明书中，当然可以按叙述的次序以时序方式执行流程图中描述的步骤，另外，可以并行地或者在生成呼叫时的适当时刻等执行步骤，而非以时序方式执行处理。
应当注意，在本说明书中，系统代表由多个装置建构的整个装置。
本申请包含与2009年8月3日提交日本专利局的日本在先专利申请JP 2009-180780中公开的主题相关的主题，其全部内容经引用并入本文。
本领域技术人员应当理解，根据设计需要和其它因素，可以做出各种修改、组合、子组合和变换，只要它们在所附权利要求或其等同物的范围内。

Claims (11)

1.一种数据处理装置，包括：
获得部件，被配置成从可穿戴式传感器获得时序数据；
活动模型学习部件，被配置成根据获得的时序数据以随机状态转换模型的形式学习代表使用者活动状态的活动模型；
识别部件，被配置成通过使用由所述活动模型学习部件获得的所述使用者的活动模型识别当前使用者活动状态；以及
预测部件，被配置成根据由所述识别部件识别出的所述当前使用者活动状态预测在从当前时间逝去预定时间之后的使用者活动状态。
2.如权利要求1所述的数据处理装置，
其中，所述预测部件以出现概率的形式预测所述预定时间逝去之后的使用者活动状态。
3.如权利要求2所述的数据处理装置，
其中，在假定在所述随机状态转换模型各时间的各状态的观测概率为相等概率的情况下，所述预测部件基于所述随机状态转换模型的状态转换概率计算预定时间逝去之后所述各状态的出现概率，以预测所述预定时间逝去之后的使用者活动状态。
4.如权利要求2所述的数据处理装置，
其中，所述预测部件计算通过使用基于所述随机状态转换模型的状态转换概率的随机数以实验方式确定的所述随机状态转换模型直到所述预定时间逝去为止各状态的出现概率，以预测使用者活动状态。
5.如权利要求3所述的数据处理装置，
其中，所述预测部件预测在预定时间逝去之后的出现概率最大的活动状态和在预定时间逝去之后的出现概率等于或大于预定阈值的活动状态中的一个，作为所述预定时间逝去之后的使用者活动状态。
6.如权利要求5所述的数据处理装置，
其中，所述随机状态转换模型是加置了稀疏限制的包括隐状态的随机状态转换模型。
7.如权利要求6所述的数据处理装置，进一步包括：
响应处理学习部件，被配置成学习由所述识别部件识别出的所述当前使用者活动状态对应的控制对象装置的处理；以及
选择部件，被配置成基于所述响应处理学习部件的学习结果选择由所述预测部件预测的所述预定时间逝去之后的使用者活动状态对应的所述控制对象装置的处理，以及，进行用于使得所述控制对象装置执行选择的处理的控制。
8.如权利要求7所述的数据处理装置，进一步包括：
预处理部件，被配置成对获得的时序数据执行预定的预处理。
9.一种数据处理方法，用于被配置成处理时序数据的数据处理装置，所述方法包括如下步骤：
从可穿戴式传感器获得时序数据；
根据获得的时序数据以随机状态转换模型的形式学习代表使用者活动状态的活动模型；
通过使用通过学习获得的所述使用者的活动模型识别当前使用者活动状态；以及
根据识别出的所述当前使用者活动状态预测在从当前时间逝去预定时间之后的使用者活动状态。
10.一种程序，用于使得计算机作为：
获得部件，被配置成从可穿戴式传感器获得时序数据；
活动模型学习部件，被配置成根据获得的时序数据以随机状态转换模型的形式学习代表使用者活动状态的活动模型；
识别部件，被配置成通过使用由所述活动模型学习部件获得的所述使用者的活动模型识别当前使用者活动状态；以及
预测部件，被配置成根据由所述识别部件识别出的所述当前使用者活动状态预测在从当前时间逝去预定时间之后的使用者活动状态。
11.一种数据处理装置，包括：
获得单元，被配置成从可穿戴式传感器获得时序数据；
活动模型学习单元，被配置成根据获得的时序数据以随机状态转换模型的形式学习代表使用者活动状态的活动模型；
识别单元，被配置成通过使用由活动模型学习单元获得的使用者的活动模型识别当前使用者活动状态；以及
预测单元，被配置成根据由识别单元识别出的当前使用者活动状态预测在从当前时间逝去预定时间之后的使用者活动状态。
CN2010102447473A 2009-08-03 2010-07-27 数据处理装置、数据处理方法以及程序 Expired - Fee Related CN101989127B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-180780 2009-08-03
JP2009180780A JP5382436B2 (ja) 2009-08-03 2009-08-03 データ処理装置、データ処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN101989127A true CN101989127A (zh) 2011-03-23
CN101989127B CN101989127B (zh) 2013-09-11

Family

ID=43037746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010102447473A Expired - Fee Related CN101989127B (zh) 2009-08-03 2010-07-27 数据处理装置、数据处理方法以及程序

Country Status (4)

Country Link
US (1) US8560467B2 (zh)
EP (1) EP2284768A3 (zh)
JP (1) JP5382436B2 (zh)
CN (1) CN101989127B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103620625A (zh) * 2011-06-29 2014-03-05 索尼公司 信息处理装置、信息处理方法、记录介质、以及程序
CN104581622A (zh) * 2013-10-28 2015-04-29 华为技术有限公司 移动用户位置预测方法及设备
CN104680046A (zh) * 2013-11-29 2015-06-03 华为技术有限公司 一种用户活动识别方法及装置
CN104995654A (zh) * 2013-02-13 2015-10-21 日东电工株式会社 生活行动估计系统、生活行动估计装置、生活行动估计程序及记录介质
CN105284144A (zh) * 2013-06-07 2016-01-27 苹果公司 对显著位置进行建模
US9288306B2 (en) 2013-07-29 2016-03-15 Huawei Technologies Co., Ltd. Method for processing user information, mobile terminal, and server
CN108347371A (zh) * 2017-01-23 2018-07-31 谷歌有限责任公司 自动生成和传送用户的状态和/或状态的预测持续时间
CN109165054A (zh) * 2012-06-29 2019-01-08 英特尔公司 用于程序代码的预先取出和早执行的系统和方法
US10209341B2 (en) 2013-09-06 2019-02-19 Apple Inc. Providing transit information
CN110689041A (zh) * 2019-08-20 2020-01-14 陈羽旻 一种多目标行为动作识别预测方法、电子设备及存储介质
US11363405B2 (en) 2014-05-30 2022-06-14 Apple Inc. Determining a significant user location for providing location-based services

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9529864B2 (en) 2009-08-28 2016-12-27 Microsoft Technology Licensing, Llc Data mining electronic communications
JP2012003494A (ja) * 2010-06-16 2012-01-05 Sony Corp 情報処理装置、情報処理方法及びプログラム
CN101937194B (zh) * 2010-09-27 2012-12-19 鸿富锦精密工业（深圳）有限公司 具有学习功能的智能控制系统和方法
CN103493597B (zh) * 2011-04-14 2016-06-08 皇家飞利浦有限公司 氛围呈现控制系统
US10395186B1 (en) 2011-05-20 2019-08-27 Opentable, Inc. Graphical user interface for a restaurant management system including a status indicator
JP2013205171A (ja) * 2012-03-28 2013-10-07 Sony Corp 情報処理装置、情報処理方法、およびプログラム
WO2014074513A1 (en) * 2012-11-06 2014-05-15 Intertrust Technologies Corporation Activity recognition systems and methods
EP2926218A4 (en) * 2012-12-03 2016-08-03 Navisens Inc SYSTEMS AND METHOD FOR ESTIMATING THE MOVEMENT OF AN OBJECT
CA2837414C (en) 2012-12-14 2022-12-13 Battelle Memorial Institute Transactive control and coordination framework and associated toolkit functions
US20140214480A1 (en) * 2013-01-30 2014-07-31 Hewlett-Packard Development Company, L.P. Determining a customer profile state
US9836700B2 (en) * 2013-03-15 2017-12-05 Microsoft Technology Licensing, Llc Value of information with streaming evidence based on a prediction of a future belief at a future time
JP6414925B2 (ja) * 2013-04-30 2018-10-31 住友重機械工業株式会社 ショベルの処理装置及び作業内容判定方法
US9544721B2 (en) 2013-07-26 2017-01-10 Apple Inc. Address point data mining
GB2516865A (en) * 2013-08-02 2015-02-11 Nokia Corp Method, apparatus and computer program product for activity recognition
JP6160399B2 (ja) 2013-09-20 2017-07-12 富士通株式会社 行先情報提供プログラム、行先情報提供装置および行先情報提供方法
JP6027520B2 (ja) * 2013-11-13 2016-11-16 株式会社Ａｇｏｏｐ 情報処理システム、人口流量推定装置、プログラム、情報処理方法及び人口流量を推定する方法
KR101558269B1 (ko) 2014-01-02 2015-10-12 홍익대학교 산학협력단 관심 대상의 특징에 따라 관심 대상의 위치를 예측하는 방법 및 이를 위한 장치
AU2015217160A1 (en) 2014-02-14 2016-09-01 3M Innovative Properties Company Activity recognition using accelerometer data
US10824958B2 (en) * 2014-08-26 2020-11-03 Google Llc Localized learning from a global model
JP5989725B2 (ja) * 2014-08-29 2016-09-07 京セラドキュメントソリューションズ株式会社 電子機器及び情報表示プログラム
EP3193715B1 (en) 2014-09-15 2024-05-15 Attenti Electronic Monitoring Ltd. Impairment detection
CA2961370A1 (en) 2014-09-15 2016-03-24 3M Innovative Properties Company Impairment detection with environmental considerations
JP6458507B2 (ja) * 2015-01-21 2019-01-30 セイコーエプソン株式会社 ウェアラブルコンピューター、コマンド設定方法およびコマンド設定プログラム
US10270609B2 (en) * 2015-02-24 2019-04-23 BrainofT Inc. Automatically learning and controlling connected devices
CN104699787B (zh) * 2015-03-16 2019-08-16 安徽华米信息科技有限公司 一种用户活动状态记录的更新方法及装置
US20160377447A1 (en) * 2015-06-25 2016-12-29 International Business Machines Corporation Cognitive needs-based trip planning
EP3340092A4 (en) * 2015-08-20 2018-09-12 Beijing Didi Infinity Technology and Development Co., Ltd. Method and system for predicting current order information on the basis of historical order
US20170124155A1 (en) * 2015-10-28 2017-05-04 Zan Quan Technology Co., Ltd Sports data matching system and method
US10685306B2 (en) * 2015-12-07 2020-06-16 Sap Se Advisor generating multi-representations of time series data
US10310852B2 (en) 2016-09-29 2019-06-04 Entit Software Llc Timing estimations for application lifecycle management work items determined through machine learning
SG10202104185UA (en) * 2016-10-21 2021-06-29 Datarobot Inc Systems for predictive data analytics, and related methods and apparatus
KR101955939B1 (ko) * 2017-02-13 2019-03-11 남서울대학교 산학협력단 공간필터링과 기계학습을 통한 행위인식 방법 및 그 장치
US11159044B2 (en) 2017-07-14 2021-10-26 Battelle Memorial Institute Hierarchal framework for integrating distributed energy resources into distribution systems
KR101982929B1 (ko) * 2017-09-08 2019-05-27 연세대학교 산학협력단 행동 인식 장치 및 방법
JP7043786B2 (ja) * 2017-10-25 2022-03-30 日本電気株式会社 営業活動支援システム、営業活動支援方法および営業活動支援プログラム
JP7233868B2 (ja) * 2018-08-08 2023-03-07 キヤノン株式会社 情報処理装置の学習システム、情報処理装置、情報処理装置の制御方法及びプログラム
US11229407B2 (en) 2020-06-08 2022-01-25 GoX Studio, Inc. Systems and methods to determine a risk factor related to dehydration and thermal stress of a subject
US11055979B1 (en) 2020-07-29 2021-07-06 GoX Studio, Inc. Systems and methods to provide a watch as a dashboard of a plurality of modules by utilizing a mesh protocol
US11205518B1 (en) 2020-08-17 2021-12-21 GoX Studio, Inc. System and method to provide indications of a subject's fitness based on values of fitness metrics for the subject
WO2022149325A1 (ja) * 2021-01-06 2022-07-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 機器制御方法、プログラム及び機器制御装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1380846A (zh) * 2000-03-31 2002-11-20 索尼公司 机器人设备、控制机器人设备动作的方法、以及外力检测设备和方法
CN1629870A (zh) * 2003-06-30 2005-06-22 微软公司 用于提供用户存在性和有效性的状态和预测的方法及结构
JP2006134080A (ja) * 2004-11-05 2006-05-25 Ntt Docomo Inc 携帯端末、及び、個人適応型コンテキスト獲得方法
CN101238981A (zh) * 2007-01-12 2008-08-13 国际商业机器公司 根据三维捕获的图像流来跟踪身体运动范围的方法和系统
US20090033655A1 (en) * 2007-08-02 2009-02-05 Boca Remus F System and method of three-dimensional pose estimation

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007328435A (ja) * 2006-06-06 2007-12-20 Mitsubishi Electric Corp 移動体行動分析装置
JP5018120B2 (ja) 2007-02-19 2012-09-05 Ｋｄｄｉ株式会社 携帯端末、プログラム及び携帯端末への表示画面制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1380846A (zh) * 2000-03-31 2002-11-20 索尼公司 机器人设备、控制机器人设备动作的方法、以及外力检测设备和方法
CN1629870A (zh) * 2003-06-30 2005-06-22 微软公司 用于提供用户存在性和有效性的状态和预测的方法及结构
JP2006134080A (ja) * 2004-11-05 2006-05-25 Ntt Docomo Inc 携帯端末、及び、個人適応型コンテキスト獲得方法
CN101238981A (zh) * 2007-01-12 2008-08-13 国际商业机器公司 根据三维捕获的图像流来跟踪身体运动范围的方法和系统
US20090033655A1 (en) * 2007-08-02 2009-02-05 Boca Remus F System and method of three-dimensional pose estimation

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103620625A (zh) * 2011-06-29 2014-03-05 索尼公司 信息处理装置、信息处理方法、记录介质、以及程序
CN109165054A (zh) * 2012-06-29 2019-01-08 英特尔公司 用于程序代码的预先取出和早执行的系统和方法
CN104995654A (zh) * 2013-02-13 2015-10-21 日东电工株式会社 生活行动估计系统、生活行动估计装置、生活行动估计程序及记录介质
CN105284144B (zh) * 2013-06-07 2019-04-23 苹果公司 对显著位置进行建模
US10111042B2 (en) 2013-06-07 2018-10-23 Apple Inc. Modeling significant locations
CN105284144A (zh) * 2013-06-07 2016-01-27 苹果公司 对显著位置进行建模
US9288306B2 (en) 2013-07-29 2016-03-15 Huawei Technologies Co., Ltd. Method for processing user information, mobile terminal, and server
US11385318B2 (en) 2013-09-06 2022-07-12 Apple Inc. Providing transit information
US10209341B2 (en) 2013-09-06 2019-02-19 Apple Inc. Providing transit information
US9906913B2 (en) 2013-10-28 2018-02-27 Huawei Technologies Co., Ltd. Method for predicting position of mobile user, and equipment
CN104581622B (zh) * 2013-10-28 2018-09-07 华为技术有限公司 移动用户位置预测方法及设备
WO2015062409A1 (zh) * 2013-10-28 2015-05-07 华为技术有限公司 移动用户位置预测方法及设备
CN104581622A (zh) * 2013-10-28 2015-04-29 华为技术有限公司 移动用户位置预测方法及设备
CN104680046B (zh) * 2013-11-29 2018-09-07 华为技术有限公司 一种用户活动识别方法及装置
CN104680046A (zh) * 2013-11-29 2015-06-03 华为技术有限公司 一种用户活动识别方法及装置
US11363405B2 (en) 2014-05-30 2022-06-14 Apple Inc. Determining a significant user location for providing location-based services
US11716589B2 (en) 2014-05-30 2023-08-01 Apple Inc. Determining a significant user location for providing location-based services
CN108347371A (zh) * 2017-01-23 2018-07-31 谷歌有限责任公司 自动生成和传送用户的状态和/或状态的预测持续时间
US11416764B2 (en) 2017-01-23 2022-08-16 Google Llc Automatic generation and transmission of a status of a user and/or predicted duration of the status
CN110689041A (zh) * 2019-08-20 2020-01-14 陈羽旻 一种多目标行为动作识别预测方法、电子设备及存储介质

Also Published As

Publication number Publication date
JP5382436B2 (ja) 2014-01-08
EP2284768A3 (en) 2014-06-18
US20110029465A1 (en) 2011-02-03
US8560467B2 (en) 2013-10-15
JP2011034402A (ja) 2011-02-17
EP2284768A2 (en) 2011-02-16
CN101989127B (zh) 2013-09-11

Similar Documents

Publication Publication Date Title
CN101989127B (zh) 数据处理装置、数据处理方法以及程序
CN111523621B (zh) 图像识别方法、装置、计算机设备和存储介质
Zerrouki et al. Combined curvelets and hidden Markov models for human fall detection
KR102618732B1 (ko) 얼굴 인식 활용 단말기 및 얼굴 인식 활용 방법
US11087167B2 (en) First-person camera based visual context aware system
KR20190101327A (ko) 구독 제품 가격 산정 방법 및 가격 산정 장치
Sayed et al. From time-series to 2d images for building occupancy prediction using deep transfer learning
CN108009600A (zh) 模型优化、质量检测方法、装置、设备及存储介质
KR20220024579A (ko) 인공지능 서버
Cheung et al. Extended latent class models for collaborative recommendation
Mohamad et al. Online active learning for human activity recognition from sensory data streams
JP7241234B2 (ja) 深層教師なしバイナリコード化ネットワークを実装するコンピュータシステムの状態の監視
Coppola et al. Learning temporal context for activity recognition
Tan et al. Multimodal sensor fusion framework for residential building occupancy detection
CN107644272A (zh) 基于行为模式的学生异常学习表现预测方法
Mehrkanoon et al. Incremental multi-class semi-supervised clustering regularized by Kalman filtering
Dridi et al. Transfer learning for estimating occupancy and recognizing activities in smart buildings
KR20180082950A (ko) 디스플레이 장치 및 그의 서비스 제공 방법
KR102110375B1 (ko) 학습 전이 기반의 비디오 감시 방법
CN116805039B (zh) 特征筛选方法、装置、计算机设备和数据扰动方法
Bruns et al. Adaptive training of video sets for image recognition on mobile phones
Safaei et al. DeePLT: personalized lighting facilitates by trajectory prediction of recognized residents in the smart home
Chen et al. Preference model assisted activity recognition learning in a smart home environment
Choujaa et al. Activity recognition from mobile phone data: State of the art, prospects and open problems
Li et al. One-shot learning gesture recognition based on evolution of discrimination with successive memory

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130911

Termination date: 20150727

EXPY Termination of patent right or utility model