CN102036163B - 行为模式分析系统、移动终端、行为模式分析方法和程序 - Google Patents

行为模式分析系统、移动终端、行为模式分析方法和程序 Download PDF

Info

Publication number
CN102036163B
CN102036163B CN201010292553.0A CN201010292553A CN102036163B CN 102036163 B CN102036163 B CN 102036163B CN 201010292553 A CN201010292553 A CN 201010292553A CN 102036163 B CN102036163 B CN 102036163B
Authority
CN
China
Prior art keywords
behavior
information
unit
behavior pattern
situation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201010292553.0A
Other languages
English (en)
Other versions
CN102036163A (zh
Inventor
仓田雅友
村田诚
小形崇
福本康隆
胜正范
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102036163A publication Critical patent/CN102036163A/zh
Application granted granted Critical
Publication of CN102036163B publication Critical patent/CN102036163B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/30Profiles
    • H04L67/306User profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/021Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/025Services making use of location information using location based information parameters
    • H04W4/026Services making use of location information using location based information parameters using orientation information, e.g. compass
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/025Services making use of location information using location based information parameters
    • H04W4/027Services making use of location information using location based information parameters using movement velocity, acceleration information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/33Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Telephonic Communication Services (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Telephone Function (AREA)

Abstract

本发明提供一种行为模式分析系统、移动终端、行为模式分析方法和程序。所述移动终端包括用于检测用户的移动并输出移动信息的移动传感器;获取关于在当前位置存在的建筑物的信息或关于在当前位置附近存在的建筑物的信息;分析从移动传感器输出的移动信息,并从多个第一行为模式中检测出与移动信息对应的第一行为模式,所述多个第一行为模式是通过分类由用户在较短时间段内进行的行为而获得的;以及分析关于建筑物的信息或第一行为模式,并从多个第二行为模式中检测出与关于建筑物的信息或第一行为模式对应的第二行为模式,所述多个第二行为模式是通过分类由用户在较长时间段进行的行为而获得的。

Description

行为模式分析系统、移动终端、行为模式分析方法和程序
技术领域
[01]本发明涉及行为模式分析系统、移动终端、行为模式分析方法和程序。
背景技术
[02]用于在诸如移动电话的移动终端上安装移动传感器并且用于使得能够自动检测和记录用户的行为历史的技术正在得到关注。例如,JP-A-2008-3655公开了一种通过使用诸如加速度传感器和陀螺仪传感器的移动传感器来检测行走移动、奔跑移动、左转或右转移动以及静止状态的技术。该专利文献描述了一种方法,该方法根据移动传感器的输出数据计算行走速度、行走功率和围绕重力轴的旋转角度,并利用计算结果来检测行走移动、奔跑移动、左转或右转移动以及静止状态。此外,该专利文献还描述了一种通过统计处理来检测用户的行为模式的方法,其以移动或状态的模式为输入,该移动或状态的模式诸如是移动或状态的类型、移动或状态的持续时间以及移动的次数。
发明内容
使用如上所述的方法,可以根据时间系列数据来获得诸如“慢速行走”和“匆忙移动”的行为模式。然而,通过这种方法获得的行为模式主要表达了用户的较短期的移动或状态。因此,难于从行为模式历史中估计行为的具体内容,诸如“今天,在百货商店购物”或“昨天,在旅馆的餐厅就餐”。利用在上述专利文件中描述的方法而获得的行为模式是在较短时间段内执行的行为的累积。而且,构成行为模式的每一个行为不是用户有目的地进行的。另一方面,行为的具体内容在许多情况下是由用户有目的地进行和在较长时间段内为了娱乐而进行的行为的具体内容。因此,难于从在短时间段中进行的行为的累积了解行为的这种具体内容。
鉴于上述情况,期望提供一种行为模式分析系统、移动终端、行为模式分析方法和程序,它们是新的和改进的,并且它们能够根据通过使用移动传感器获得的较短期的行为模式来检测较长期的高度娱乐的行为模式。
根据本发明的一个实施例,提供了一种行为模式分析系统,包括移动终端和服务器。所述移动终端包括:移动传感器,其检测用户的移动并输出移动信息;当前位置信息获取单元,其获取关于当前位置的信息;建筑物信息获取单元,其获取关于在所述当前位置信息获取单元获取的信息所指示的位置存在的建筑物的信息、或关于在所述当前位置和所述当前位置附近存在的建筑物的信息;第一行为模式检测单元,其分析从所述移动传感器输出的所述移动信息,并从多个第一行为模式中检测出与所述移动信息对应的第一行为模式,所述多个第一行为模式是通过分类由所述用户在较短时间段内进行的行为而获得的;以及发送单元,其向服务器发送由所述建筑物信息获取单元获取的所述关于建筑物的信息和由所述第一行为模式检测单元检测出的所述第一行为模式。所述服务器包括:接收单元,其从所述移动终端接收所述关于建筑物的信息和所述第一行为模式;以及第二行为模式检测单元,其分析由所述接收单元接收的所述关于建筑物的信息和所述第一行为模式,并从多个第二行为模式中检测出与所述关于建筑物的信息和所述第一行为模式对应的第二行为模式,所述多个第二行为模式是通过分类由所述用户在较长时间段内进行的行为而获得的。
所述第二行为模式检测单元可以通过使用特定机器学习算法来建立用于根据所述关于建筑物的信息和所述第一行为模式检测所述第二行为模式的检测模型,并且可以通过使用所建立的检测模型来检测出与由所述接收单元接收的所述关于建筑物的信息和所述第一行为模式对应的第二行为模式。
所述移动终端可以进一步包括时间信息获取单元,所述时间信息获取单元获取关于由所述当前位置信息获取单元获取所述关于当前位置的信息的时间点的时间的信息。
所述发送单元可以向所述服务器发送由所述建筑物信息获取单元获取的所述关于建筑物的信息、由所述第一行为模式检测单元检测出的所述第一行为模式以及由所述时间信息获取单元获取的关于时间的信息。所述服务器可以针对所述第一行为模式与所述关于时间的信息的每一种组合保存分数图,所述分数图向所述关于建筑物的信息与所述第二行为模式的每一种组合分配分数。在基于由所述第一行为模式检测单元检测出的所述第一行为模式和由所述时间信息获取单元获取的所述关于时间的信息来选择所述分数图,并从所选择的分数图中提取与由所述建筑物信息获得单元获取的所述关于在所述当前位置存在的建筑物的信息对应的分数的组合,并且所提取的分数组合中的最高分数是特定值或更小的情况下,所述第二行为模式检测单元通过使用特定机器学习算法来建立用于根据所述关于建筑物的信息和所述第一行为模式检测出所述第二行为模式的检测模型,并通过使用所建立的检测模型来检测出与由所述接收单元接收的所述关于建筑物的信息和所述第一行为模式对应的第二行为模式。
所述移动终端可以进一步包括:存储单元,其中存储了日程表信息,所述日程表信息用于以时间系列方式记录能够用所述第二行为模式的组合表达的用户的行为;匹配确定单元,其读取在所述存储单元中存储的所述日程表信息,并确定在所述日程表信息中记录的所述用户的当前行为、过去行为和未来行为与由所述第二行为模式检测单元检测出的所述第二行为模式是否匹配;以及显示单元,其根据所述匹配确定单元的确定结果来显示实际的行为是与在所述日程表信息中记录的日程表匹配、在所述日程表之后、还是在所述日程表之前。
所述服务器可以进一步包括行为预测单元,其通过使用由所述第二行为模式检测单元检测出的所述第二行为模式的历史来预测所述用户接下来要执行的第二行为模式。
在确定与所述第二行为模式匹配的所述用户的行为未被记录在所述日程表信息中的情况下,所述匹配确定单元可以从所述服务器获取由所述行为预测单元预测的所述第二行为模式,并可以从所述日程表信息中提取与所获取的第二行为模式匹配的所述用户的行为。所述显示单元可以显示与由所述匹配确定单元提取出的所述用户的行为相关的信息。
所述服务器可以包括:位置信息累积单元,其通过所述接收单元来接收由所述当前位置信息获取单元获取的所述关于当前位置的信息和由所述第一行为模式检测单元检测出的所述第一行为模式,并在所述存储单元中存储所述第一行为模式的历史和所述关于当前位置的信息;以及聚类单元,其通过使用由所述位置信息累积单元在所述存储单元中累积的所述第一行为模式的历史和所述关于当前位置的信息来将所述用户长时间停留的地点聚类,并计算在每一个所述地点停留的停留概率和在所述地点之间移动的移动概率。所述行为预测单元可以基于由所述聚类单元计算出的所述停留概率和所述移动概率来预测所述用户接下来要执行的所述第二行为模式。
所述行为模式分析系统可以包括多个移动终端。所述服务器可以进一步包括通知信息存储单元,其将特定第二行为模式和要在特定时间通知的通知信息彼此关联地存储;以及信息通知单元,其在所述特定时间,参考由所述第二行为模式检测单元基于由所述接收单元从每一个所述移动终端接收的所述关于建筑物的信息和所述第一行为模式而检测出的所述第二行为模式,并向与第二行为模式对应的移动终端通知所述通知消息,所述第二行为模式与所述特定第二行为模式相同。
所述信息通知单元可以对与所述特定第二行为模式相同的第二行为模式对应的移动终端的数量计数,并在所述移动终端的数量是特定数量或更多的情况下,向所有所述多个移动终端通知所述通知信息。
根据本发明的另一个实施例,提供了一种移动终端。所述移动终端包括:移动传感器,其检测用户的移动,并输出移动信息;当前位置信息获取单元,其获取关于当前位置的信息;建筑物信息获取单元,其获取关于在所述当前位置信息获取单元获取的信息所指示的位置存在的建筑物的信息、或关于在所述当前位置和所述当前位置附近存在的建筑物的信息;第一行为模式检测单元,其分析从所述移动传感器输出的所述移动信息,并从多个第一行为模式中检测出与所述移动信息对应的第一行为模式,所述多个第一行为模式是通过分类由所述用户在较短时间段内进行的行为而获得的;以及第二行为模式检测单元,其分析由所述建筑物信息获取单元获取的所述关于建筑物的信息和由所述第一行为模式检测单元检测出的所述第一行为模式,并从多个第二行为模式中检测出与所述关于建筑物的信息和所述第一行为模式对应的第二行为模式,所述多个第二行为模式是通过分类由所述用户在较长时间段内进行的行为而获得的。
所述移动终端可以进一步包括时间信息获取单元,其获取关于由所述当前位置信息获取单元获取所述关于当前位置的信息的时间点的时间的信息。可以为所述第一行为模式与所述关于时间的信息的每一种组合提供分数图,所述分数图向所述关于建筑物的信息与所述第二行为模式的每一种组合分配分数。所述第二行为模式检测单元可以基于由所述第一行为模式检测单元检测出的所述第一行为模式和由所述时间信息获取单元获取的所述关于时间的信息来选择所述分数图;从所选择的分数图中提取与由所述建筑物信息获取单元获取的所述关于在所述当前位置存在的建筑物的信息对应的分数的组合;以及检测与所提取的分数组合中的最高分数对应的所述第二行为模式。
所述移动终端可以进一步包括时间信息获取单元,其获取关于由所述当前位置信息获取单元获取所述关于当前位置的信息的时间点的时间的信息。可以为所述第一行为模式与所述关于时间的信息的每一种组合提供分数图,所述分数图向所述关于建筑物的信息与所述第二行为模式的每一个组合分配分数。所述建筑物信息获取单元可以获取所述建筑物的分类类型和每一种分类类型的建筑物的数量来作为关于在所述当前位置和所述当前位置附近存在的建筑物的信息。所述第二行为模式检测单元可以基于由所述第一行为模式检测单元检测出的所述第一行为模式和由所述时间信息获取单元获取的所述关于时间的信息来选择所述分数图,可以从所选择的分数图中提取与由所述建筑物信息获取单元获取的各个分类类型对应的分数的组合,可以通过相应的最高分数来归一化在与各个分类类型对应的分数的组合中包括的每一个分数,可以根据由所述建筑物信息获取单元获取的每一种分类类型的建筑物的数量来对与各个分类类型对应的分数的归一化组合进行加权,并且可以对每一个第二行为模式加上与各个分类类型对应的加权分数,并检测相加结果最大的第二行为模式。
所述移动终端可以进一步包括:显示单元,在所述显示单元上显示用于启动与所述第二行为模式相关联的应用程序的显示对象;以及其使得所述显示单元根据由所述第二行为模式检测单元检测出的所述第二行为模式来优先显示与用于启动所述第二行为模式相关联的应用程序的所述显示对象。
根据本发明的另一个实施例,提供了一种行为模式分析服务器,所述行为模式分析服务器包括:接收单元,其从移动终端接收移动信息和关于当前位置的信息,所述移动终端包括移动传感器和当前位置信息获取单元,所述移动传感器检测用户的移动并输出所述移动信息,所述当前位置信息获取单元获取所述关于当前位置的信息;建筑物信息获取单元,其获取关于在所述接收单元接收的所述关于当前位置的信息所指示的位置存在的建筑物的信息、或关于在所述当前位置和在所述当前位置附近存在的建筑物的信息;第一行为模式检测单元,其分析由所述接收单元接收的所述移动信息,并从多个第一行为模式中检测出与所述移动信息对应的第一行为模式,所述多个第一行为模式是通过分类由所述用户在较短时间段内进行的行为而获得的;以及第二行为模式检测单元,其分析由所述建筑物信息获取单元获取的所述关于建筑物的信息和由所述第一行为模式检测单元检测出的所述第一行为模式,并从多个第二行为模式中检测出与所述关于建筑物的信息和所述第一行为模式对应的第二行为模式,所述多个第二行为模式是通过分类由所述用户在较长时间段内进行的行为而获得的。
根据本发明的另一个实施例,提供了一种行为模式分析方法,包括以下步骤:获取移动信息,所述移动信息指示移动传感器的检测结果,所述移动传感器用于检测用户的移动;获取关于当前位置的信息;获取关于在所述获取关于当前位置的信息的步骤中获取的所述关于当前位置的信息所指示的位置存在的建筑物的信息、或关于在所述当前位置和所述当前位置附近存在的建筑物的信息;分析在所述获取移动信息的步骤中获取的所述移动信息,并从多个第一行为模式中检测出与所述移动信息对应的第一行为模式,所述多个第一行为模式是通过分类由所述用户在较短时间段内进行的行为而获得的;以及分析在所述获取关于建筑物的信息的步骤中获取的所述关于建筑物的信息和在所述分析所述移动信息并检测出第一行为模式的步骤中检测出的所述第一行为模式,并从多个第二行为模式中检测出与所述关于建筑物的信息和所述第一行为模式对应的第二行为模式,所述多个第二行为模式是通过分类由所述用户在较长时间段内进行的行为而获得的。
根据本发明的另一个实施例,提供了一种程序,用于使得计算机实现:移动信息获取功能,用于获取移动信息,所述移动信息指示移动传感器的检测结果,所述移动传感器用于检测用户的移动;当前位置信息获取功能,用于获取关于当前位置的信息;建筑物信息获取功能,用于获取关于在所述当前位置信息获取功能获取的信息所指示的所述当前位置存在的建筑物的信息、或关于在所述当前位置和所述当前位置附近存在的建筑物的信息;第一行为模式检测功能,用于分析由所述移动信息获取功能获取的所述移动信息,并从多个第一行为模式中检测出与所述移动信息对应的第一行为模式,所述多个第一行为模式是通过分类由所述用户在较短时间段内进行的行为而获得的;以及第二行为模式检测功能,用于分析由所述建筑物信息获取功能获取的所述关于建筑物的信息和由所述第一行为模式检测功能检测出的所述第一行为模式,并从多个第二行为模式中检测出与所述关于建筑物的信息和所述第一行为模式对应的第二行为模式,所述多个第二行为模式是通过分类由所述用户在较长时间段内进行的行为而获得的。
根据本发明的另一个实施例,提供了一种记录介质,所述记录介质中记录了所述程序,所述记录介质能够被计算机读取。
根据如上所述的本发明的实施例,可以根据通过使用移动传感器获得的较短期行为模式检测较长期的高度娱乐的行为模式。
附图说明
图1是示出根据本发明的第一实施例的行为/状况分析系统的系统配置示例的说明图;
图2是根据该实施例的行为/状况分析系统的系统配置示例的说明图;
图3是示出根据该实施例的行为/状况分析系统的系统配置示例的说明图;
图4是示出根据该实施例的行为/状况分析系统的系统配置示例的说明图;
图5是示出根据该实施例的行为/状况分析系统的系统配置示例的说明图;
图6是示出根据该实施例的行为/状况分析系统的系统配置示例的说明图;
图7是用于解释根据该实施例的移动/状态识别单元的功能的说明图;
图8是用于解释根据该实施例的移动/状态识别单元的功能的说明图;
图9是用于解释根据该实施例的移动/状态识别单元的功能的说明图;
图10是用于解释根据该实施例的移动/状态识别单元的功能的说明图;
图11是用于解释根据该实施例的移动/状态识别单元的功能的说明图;
图12是用于解释根据该实施例的移动/状态识别单元的功能的说明图;
图13是用于解释根据该实施例的移动/状态识别单元的功能的说明图;
图14是用于解释根据该实施例的移动/状态识别单元的功能的说明图;
图15是用于解释根据该实施例的移动/状态识别单元的功能的说明图;
图16是用于解释根据该实施例的地理分类单元的功能的说明图;
图17是用于解释根据该实施例的地理分类单元的功能的说明图;
图18是用于解释根据该实施例的地理分类单元的功能的说明图;
图19是用于解释根据该实施例的电路分类单元的功能的说明图;
图20是用于解释根据该实施例的行为/状况识别单元的功能的说明图;
图21是用于解释根据该实施例的行为/状况识别单元的功能的说明图;
图22是用于解释根据该实施例的行为/状况识别单元的功能的说明图;
图23是用于解释根据该实施例的行为/状况识别单元的功能的说明图;
图24是用于解释根据该实施例的行为/状况识别单元的功能的说明图;
图25是用于解释根据该实施例的行为/状况识别单元的功能的说明图;
图26是用于解释根据该实施例的行为/状况识别单元的功能的说明图;
图27是用于解释根据该实施例的行为/状况识别单元的功能的说明图;
图28是用于解释根据该实施例的行为/状况识别单元的功能的说明图;
图29是用于解释根据该实施例的行为/状况识别单元的功能的说明图;
图30A是用于解释根据该实施例的行为/状况识别单元的功能的说明图;
图30B是用于解释根据该实施例的行为/状况识别单元的功能的说明图;
图31是示出根据本发明的第二实施例的行为/状况分析系统的功能的概览的说明图;
图32是示出根据该实施例的行为/状况分析系统的功能的概览的说明图;
图33是示出根据该实施例的行为/状况分析系统的系统配置示例的说明图;
图34是用于解释根据该实施例的行为预测单元的功能的说明图;
图35A是示出根据该实施例的在由行为验证单元进行的处理之前执行的处理的流程的说明图;
图35B是示出根据该实施例的由行为验证单元执行的处理的流程的说明图;
图35C是示出根据该实施例的由行为验证单元执行的处理的流程的说明图;
图36是示出根据本发明的第三实施例的行为/状况分析系统的功能的概览的说明图;
图37是示出根据该实施例的行为/状况分析系统的功能的概览的说明图;
图38是示出根据该实施例的行为/状况分析系统的系统配置示例的说明图;
图39是用于解释根据该实施例的ToDo管理单元的功能的说明图;
图40是用于解释根据该实施例的ToDo管理单元的功能的说明图;
图41是用于解释根据该实施例的ToDo管理单元的功能的说明图;
图42A是用于解释根据该实施例的ToDo管理单元的功能的说明图;
图42B是用于解释根据该实施例的ToDo管理单元的功能的说明图;
图42C是用于解释根据该实施例的ToDo管理单元的功能的说明图;
图42D是用于解释根据该实施例的ToDo管理单元的功能的说明图;
图43是用于解释根据该实施例的ToDo管理单元的功能的说明图;
图44是用于解释根据该实施例的ToDo管理单元的功能的说明图;
图45是示出根据本发明的第四实施例的行为/状况分析系统的功能的概览的说明图;
图46是示出根据该实施例的行为/状况分析系统的系统配置示例的说明图;以及
图47是示出能够实现用于构成根据本发明的第一到第四实施例的行为/状况分析系统的服务器和客户机的功能的信息处理设备的硬件配置的示例的说明图。
具体实施方式
以下,将参考附图详细描述本发明的优选实施例。注意,在本说明书和附图中,使用相同的附图标记表示具有基本上相同的功能和结构的结构元件,并且省略对这些结构元件的重复的解释。
<描述流程>
在此将简述下述的本发明的实施例的描述流程。首先,将参考图1至30B来描述根据本发明的第一实施例的行为/状况分析系统的配置。然后,将参考图31至35C来描述根据本发明的第二实施例的行为/状况分析系统的配置。然后,将参考图36至44来描述根据本发明的第三实施例的行为/状况分析系统的配置。然后,将参考图45和46来描述根据本发明的第四实施例的行为/状况分析系统的配置。然后,将参考图47来描述能够实现用于构成根据本发明的第一到第四实施例的行为/状况分析系统的服务器和客户机的功能的信息处理设备的硬件配置的示例的说明图。
(描述项目)
1:第一实施例
1-1:系统配置
1-2:移动/状态识别单元108的功能
1-3:地理分类单元110的功能
1-4:行为/状况识别单元112的功能
2:第二实施例
2-1:系统概览
2-2:整体系统配置
2-3:行为预测单元208的功能
2-4:行为验证单元206的功能
3:第三实施例
3-1:系统概览
3-2:整体系统配置
3-3:ToDo管理单元304的功能
4:第四实施例
4-1:系统概览
4-2:整体系统配置
5:硬件配置
<1:第一实施例>
将描述本发明的第一实施例。本实施例涉及一种技术,该技术利用移动传感器检测到的关于用户的移动和状态的信息和由位置传感器检测到的位置信息来检测用户的行为和状况。另外,作为移动传感器,例如使用三轴加速度传感器(包括加速度传感器、重力检测传感器和落下检测传感器等)和三轴陀螺仪传感器(包括角速度传感器、手模糊补偿传感器和地磁传感器等)等。此外,作为位置传感器,例如使用GPS(全球定位系统)。然而,由于可以从RFID(射频标识)、Wi-Fi接入点和关于无线基站的信息等检测当前位置的经度和纬度,因此也可以使用这样的检测装置作为位置传感器。
<1-1:系统配置>
首先,将参考图1来描述根据本实施例的行为/状况分析系统10的系统配置。图1是示出根据该实施例的行为/状况分析系统10的整体系统配置的示例的说明图。另外,在本说明书中,将相对于下面的含义来不同地使用表达“移动,状态”和“行为,状况”。
(1)表达“移动,状态”表示由用户执行的行为,该行为是较短期的,持续几秒到几分钟,并且表达“移动,状态”指示例如“行走”、“奔跑”、“跳跃”或“静止”等动作。此外,这些动作将被统一表达为“移动/状态模式”或“LC(低语境)行为”。另一方面,(2)表达“行为,状况”是由用户在比“移动,状态”更长的时间段内执行的日常行为,并且指示例如“就餐”、“购物”或“工作”等动作。此外,这些动作将被统一表达为“行为/状况模式”或“HC(高语境)行为”。
现在,如图1中所示,行为/状况分析系统10主要由移动传感器102、位置传感器104、时间/日历信息获取单元106、移动/状态识别单元108、地理分类单元110和行为/状况识别单元112构成。此外,行为/状况分析系统10可以具有应用程序(application)AP和服务SV,所述应用程序AP和服务SV使用由行为/状况识别单元112检测到的行为/状况模式。此外,可以向行为/状况识别单元112输入由应用程序AP使用行为/状况模式的结果和用户的简档信息。
当用户执行行为时,首先,由移动传感器102检测在加速度和围绕重力轴的旋转等方面的改变(以下称为传感器数据)。由移动传感器102检测到的传感器数据被输入到移动/状态识别单元108。此外,通过位置传感器104来获取用于指示用户的行踪(以下称为当前位置)的位置信息。例如,通过经度和纬度来表达当前位置。此外,由位置传感器104获取的关于当前位置的位置信息被输入到地理分类单元110。
移动/状态识别单元108是用于通过使用传感器数据来检测移动/状态模式的装置。因此,当从移动传感器102输入传感器数据时,移动/状态识别单元108基于输入的传感器数据来检测行为/状态模式。可以由移动/状态识别单元108检测到的移动/状态模式例如是“行走”、“奔跑”、“静止”、“跳跃”、“火车(乘坐/非乘坐)”和“电梯(乘坐/非乘坐/上升/下降)”。另外,下面将(参考图7至15)详细说明移动/状态识别单元108的移动/状态模式检测方法。然而,移动/状态模式检测方法不限于下述的示例,也可以采用使用机器学习的方法。而且,由移动/状态识别单元108检测到的移动/状态模式被输入到行为/状况识别单元112。
地理分类单元110是用于获取地图信息MP、并利用所获取的地图信息MP来检测在输入位置信息内指示的当前位置的属性的装置。注意,地理分类单元110使用地理分类代码来作为用于表达当前位置的属性的手段。地理分类代码是用于分类与位置相关的多个信息的类型的分类代码(参见图17)。此外,根据例如建筑物的类型、地形形状、地理特征或区域特征来设置这个地理分类。因此,通过指定当前位置的地理分类代码,可以在一定程度上识别用户所处在的环境。
因此,地理分类单元110参考所获取的地图信息MP,基于从位置传感器104输入的位置信息来指定在当前位置存在的建筑物等,并选择与所述建筑物等对应的地理分类代码。由地理分类单元110选择的地理分类代码被输入到行为/状况识别单元112。另外,当使用围绕当前位置的环境来检测行为/状况模式时,地理分类单元110选择与在当前位置附近存在的多个建筑物等对应的地理分类代码,并向行为/状况识别单元112输入地理分类代码或基于地理分类代码的多个信息(参见图18)。
如上所述,从移动/状态识别单元108和地理分类单元110分别向行为/状况识别单元112输入移动/状态模式和地理分类代码。此外,传感器数据也经由移动/状态识别单元108输入到行为/状况识别单元112。此外,关于当前位置的位置信息也经由地理分类单元110输入到行为/状况识别单元112。此外,经由时间/日历信息获取单元106向行为/状况识别单元112输入时间/日历信息。该时间/日历信息是用于指示移动传感器102获取到传感器数据的时间和位置传感器104获取到位置信息的时间的信息。例如,时间/日历信息包括关于获取到传感器数据或位置信息的时间的信息、关于星期几的信息、关于假期的信息或关于日期的信息等。
因此,行为/状况识别单元112基于已经输入的移动/状态模式、地理分类代码(或基于地理分类代码的信息)和时间/日历信息来检测行为/状况模式。通过使用(1)基于规则的确定处理(以下称为基于规则的确定)或(2)基于学习模型的确定处理(以下称为学习模型确定)来检测行为/状况模式。
(1)基于规则的确定
基于规则的确定是这样一种方法,该方法向地理分类代码与行为/状况模式的每一种组合分配分数,并基于所述分数来确定与输入数据对应的适当的行为/状况模式。通过分数图SM(参见图21)来表达用于分配分数的规则。针对每一个时间/日历信息,诸如日期、时间或星期几等,准备分数图SM。例如,准备与三月的第一个星期的星期一对应的分数图SM。此外,针对每一个移动/状态模式,诸如行走、奔跑或火车等,准备分数图SM。例如,准备用于行走的分数图SM。因此,针对时间/日历信息与移动/状态模式的每一种组合准备分数图。因此,准备多个分数图SM。
因此,行为/状况识别单元112从已经准备的多个分数图SM中选择与时间/日历信息和移动/状态模式匹配的分数图SM。然后,行为/状况识别单元112从所选择的分数图SM中提取与地理分类代码对应的分数。另外,可以相对于基于时间/日历信息和移动/状态模式来选择分数图SM的处理和基于地理分类代码来提取分数的处理来适当地改变处理的顺序。通过这些处理,行为/状况识别单元112可以在考虑在获取传感器数据的时间点的当前位置的状况的同时,提取在分数图SM中存在的每一个行为/状况模式的分数。
此外,行为/状况识别单元112从所提取的分数中指定最高分数,并且提取与所述最高分数对应的行为/状况模式。以这种方式检测行为/状况模式的这种方法是基于规则的确定。另外,分数图SM中的分数示出推定用户根据与该分数对应的行为/状况模式进行动作的概率。也就是说,分数图SM示出行为/状况模式的分数分布,推定用户在由地理分类代码指示的当前位置的状况下要根据该行为/状况模式进行动作。
例如,推定在星期天3点在百货商店中的用户进行“购物”的概率为高。然而,也推定在晚上7点左右在同一百货商店中的用户“进餐”的概率为高。如所述,分数图SM(更精确而言,分数图SM组)示出用户在特定位置在特定时间的行为/状况模式的分数分布。例如,分数图SM可以由用户或第三方预先输入,可以通过使用机器学习被获得,或可以通过使用其他统计方法被建立。此外,可以通过从用户获得的个人简档信息PR或行为/状况反馈FB来优化分数图SM。简档信息PR包括例如年龄、性别、职业、关于家庭的信息和关于工作地点的信息。此外,行为/状况反馈FB包括用于指示所输出的行为/状况模式是否正确的信息。
(2)学习模型确定
学习模型确定是这样一种方法,该方法使用机器学习算法来建立用于确定行为/状况模式的确定模型,并通过使用所建立的确定模型来确定与输入数据对应的行为/状况模式(参见图25)。另外,作为机器学习算法,例如可以使用k均值方法、最近相邻方法、SVM方法、HMM方法或增强方法。SVM是支持向量机器的缩写。此外,HMM是隐马可夫模型的缩写。除了这些方法之外,还存在一种通过使用在JP-A-2009-48266中描述的基于遗传搜索的算法构建方法来建立确定模型的方法。
另外,作为特征量向量,例如使用时间/日历信息、移动/状态模式、地理分类代码(或基于地理分类代码的信息)、传感器数据或关于当前位置的位置信息。然而,在使用基于遗传搜索的算法构建方法的情况下,在在学习的过程中选择特征量向量的阶段使用遗传搜索算法。行为/状况识别单元112首先向机器学习算法输入已知正确的行为/状况模式的特征量向量作为学习数据,并建立用于确定每一个行为/状况模式或最佳行为/状况模式的可靠性的确定模型。
然后,行为/状况识别单元112将输入数据输入到所建立的确定模型,并且确定推定与输入数据匹配的行为/状况模式。注意,在获得利用所建立的确定模型执行的确定结果的真伪的反馈的情况下,利用所述反馈来重建该确定模型。然后,行为/状况识别单元112通过使用已经重建的确定模型来确定推定与输入数据匹配的行为/状况模式。以这种方式检测与输入数据匹配的行为/状况模式的这种方法是学习模型确定。另外,用于学习模型确定的计算量比用于基于规则的确定的计算量更大。
行为/状况识别单元112通过如上所述的方法来检测与从时间/日历信息获取单元106、移动/状态识别单元108和地理分类单元110输入的输入数据匹配的行为/状况模式。由行为/状况识别单元112检测到的行为/状况模式用于提供与所述行为/状况模式对应的推荐服务SV,或由应用程序AP使用,应用程序AP根据所述行为/状况模式来执行处理。将比随后描述的第二到第四实施例更详细地描述推荐服务SV和应用程序AP的配置的具体示例。
至此,已经参考图1描述了根据本实施例的行为/状况分析系统10的整体系统配置。接下来,将描述行为/状况分析系统10的服务器/客户机配置。
(服务器/客户机配置)
实际上,通过服务器或客户机设备(移动终端等)来实现图1中所示的行为/状况分析系统10的每一个功能。然而,应当根据服务器或客户机设备的算术处理能力来适当改变如何在要向服务器分配的功能和要向客户机设备分配的功能之间取舍。在此,将介绍服务器/客户机配置的示例(参见图2至6)。
(系统配置示例(1))
首先,将介绍在图2中图示的系统配置示例。在图2的示例中,在客户机设备中设置了移动传感器102、位置传感器104、时间/日历信息获取单元106、移动/状态识别单元108和地理分类单元110。此外,应用程序AP安装在客户机中。另一方面,在服务器中设置了行为/状况识别单元112。此外,服务器保存分数图SM。
在确定行为/状况分析系统10中的服务器/客户机配置时最重要的因素是行为/状况识别单元112的计算量。具体地说,通过使用学习模型确定来实现行为/状况识别单元112的功能对于诸如移动电话或便携式游戏机的客户机设备的当前计算能力而言是不可能的。因此,如图2的示例中所示,在使用学习模型确定的情况下,优选的是,在服务器中设置行为/状况识别单元112,并且从服务器获取并使用行为/状况模式。此外,在分数图SM的数据量大的情况下,客户机设备的存储容量可能被占满,因此,期望由服务器保存分数图SM。
此外,移动传感器102、位置传感器104和时间/日历信息获取单元106是用于获取原始数据的手段,该原始数据直接地反映用户的行为。此外,应用程序AP是用于向用户提供基于检测到的行为/状况模式而产生的功能和信息的手段。因此,如图2的示例中所示,必须在客户机服务器中设置移动传感器102、位置传感器104、时间/日历信息获取单元106和应用程序AP。
此外,可以由客户机设备内部保存地图信息MP和地理分类信息GC,或可以从外部获取地图信息MP和地理分类信息GC。具体地说,地图信息MP在高度精确的情况下数据量极大。因此,关于地图信息MP要内部存储还是要从外部获取,应当根据客户机设备的存储容量来适当地修改设计。此外,在期望总是使用最新地图信息MP的情况下,优选的是,可以使用在客户机设备外部存在的地图信息MP。
(系统配置示例(2))
接下来,将介绍在图3中所示的系统配置示例。在图3的示例中,在客户机设备中设置了移动传感器102、位置传感器104、时间/日历信息获取单元106、移动/状态识别单元108、地理分类单元110、行为/状况识别单元112和应用程序AP。此外,客户机设备保存分数图SM。
如上所述,当使用学习模型确定时,行为/状况识别单元112的计算量变得极大,并且对于现有客户机设备的计算能力而言,实现变得困难。然而,在使用基于规则的确定的情况下,行为/状况识别单元112的计算量较小,因此,可以在客户机设备中设置行为/状况识别单元112。此外,在客户机设备的计算能力在未来改善的情况下,或在使用高端PC(个人计算机)或高端游戏机等的情况下,有可能通过客户机设备来执行学习模型确定。在该情况下,服务器仅根据行为/状况模式来提供推荐服务SV。
根据这样的配置,可以使得客户机设备和服务器之间的通信更少,并且,即使在不良的通信环境中,也可以充裕地使用根据行为/状况模式来执行处理的应用程序AP。此外,通过在客户机设备之间交换与行为/状况模式相关的反馈,可以将在类似环境中生活的其他用户诸如朋友、家庭成员或同事等的行为/状况模式用作学习数据。从而建立与用户的生活环境匹配的行为/状况模式确定模型或分数图SM,并改善行为/状况模式的精度。
(系统配置示例(3))
接下来,将介绍在图4中图示的系统配置示例。在图4的示例中,在客户机设备中设置了移动传感器102、位置传感器104、时间/日历信息获取单元106和应用程序AP。此外,在服务器中设置了移动/状态识别单元108、地理分类单元110和行为/状况识别单元112。此外,服务器保存分数图SM。
如上所述,行为/状况识别单元112的计算量较大。特别是,在使用学习模型确定的情况下,难于使用现有客户机设备的计算能力来实现行为/状况识别单元112的功能。另一方面,移动/状态识别单元108的计算量和地理分类单元110的计算量较小。然而,在减小客户机设备的大小的情况下,有时以计算能力为代价来安装具有小的发热量和小的芯片大小的处理器。在该情况下,优选地在图4的示例中所示的服务器中设置移动/状态识别单元108和地理分类单元110。
根据这样的配置,客户机设备可以向应用程序AP或其他功能分配计算资源。此外,因为未在客户机设备中设置地理分类单元110,所以用于保存或获取地图信息MP和地理分类信息GC的操作变得不必要。因此,可以释放被地图信息MP和地理分类信息GC暂时或永久占用的存储区域。
(系统配置示例(4))
接下来,将介绍图5中图示的系统配置示例。在图5的示例中,在客户机设备中设置了移动传感器102、位置传感器104、时间/日历信息获取单元106、移动/状态识别单元108、地理分类单元110、行为/状况识别单元112和应用程序AP。此外,服务器保存分数图SM或关于确定模型的信息。
如上所述,行为/状况识别单元112的计算量较大。特别是,在使用学习模型确定的情况下,难以利用现有的客户机设备的计算能力来实现行为/状况识别单元112的功能。因此,如图5的示例中所示,可以构思一种用于通过服务器预先计算确定模型并向客户机设备提供所述确定模型的方法。在该情况下,在客户机设备中设置的行为/状况识别单元112通过使用从服务器原样提供的确定模型来检测行为/状况模式;或者,行为/状况识别单元112基于来自用户的反馈来修改确定模型,并使用修改的确定模型。根据这样的配置,使得甚至具有较低计算能力的客户机设备能够实现行为/状况识别单元112的功能。
同样,在使用基于规则的确定的情况下,分数图SM的数据量有时占满客户机设备的存储区域。因此,有时优选的是,服务器保存分数图SM。此外,优化分数图SM的处理也是需要较大量的计算的处理。因此,通过由服务器优化分数图SM并且通过由客户机设备的行为/状况识别单元112使用优化的分数图SM,可以由客户机设备实现行为/状况模式的高度精确的检测。
(系统配置示例(5))
接下来,将介绍在图6中的系统配置示例。在图6的示例中,在客户机设备中设置了移动传感器102、位置传感器104、时间/日历信息获取单元106、移动/状态识别单元108、地理分类单元110、行为/状况识别单元112和应用程序AP。此外,客户机设备存储分数图SM。在图6中所示的系统配置与如上所述的系统配置示例(2)几乎相同。然而,虽然根据系统配置示例(2)由客户机设备保存地图信息MP和地理分类信息GC,但是根据在图6中图示的系统配置示例(5),从外部获取地图信息MP和地理分类信息GC。根据这样的配置,可以扩展可用的存储区域。此外,因为变得有可能使用最新的地图信息MP和地理分类信息GC,所以可以以进一步改善的精度来检测行为/状况模式。
至此,已经介绍了行为/状况分析系统10的服务器/客户机配置的示例。另外,在图2至6中图示的系统配置可以类似地应用到随后描述的第二到第四实施例的服务器/客户机配置。下面,将更详细地描述构成行为/状况分析系统10的每一个结构元件的功能。
<1-2:移动/状态识别单元108的功能>
首先,将参考图7至15来详细描述移动/状态识别单元108的功能。图7至15是用于解释移动/状态识别单元108的功能和操作的说明图。
(输入输出数据的结构)
将参考图7。如上所述,从移动传感器102向移动/状态识别单元108输入传感器数据。例如,作为传感器数据输入加速度的波形数据(以下称为加速度数据),如图7中所示。另外,尽管可能从图7的示例中不能明显看出,但是向移动/状态识别单元108输入在x方向上的加速度数据(x-acc)、在y方向上的加速度数据(y-acc)和在z方向上的加速度数据(z-acc)。另外,x、y和z是相互正交的方向。此外,在安装陀螺仪传感器的情况下,输入三维陀螺仪数据(x-gyro,y-gyro,z-gyro)作为传感器数据。另外,因为传感器的灵敏度由于温度或气压等而改变,所以最好校准这些传感器数据。
当输入传感器数据时,移动/状态识别单元108基于输入的传感器数据来检测移动/状态模式。可以由移动/状态识别单元108检测的移动/状态模式可以是例如“行走”、“奔跑”、“静止”、“暂停”、“跳跃”、“姿势改变”、“转动”、“火车(乘坐)”、“电梯(上升/下降)”、“汽车(乘坐)”或“自行车(骑着)”(参见图8)。
例如,将考虑用于检测行走状态的算法。通常,在人行走时检测到的加速度数据的频率大约是2Hz(每秒两步)。因此,移动/状态识别单元108分析加速度数据的频率,并且检测频率为大约2Hz的部分。由该处理检测到的部分对应于移动/状态“行走”。移动/状态识别单元108也可以从加速度数据中检测“行走”移动/状态模式的发生时间、“行走”移动/状态模式的的持续时间等。此外,移动/状态识别单元108可以根据加速度数据的幅度来检测“行走”的强度。
如所述,可以基于通过分析传感器数据而获得的数据诸如频率或强度等来检测每一个移动/状态模式的特征量(以下称为移动/状态特征量)。另外,在“行走”移动/状态的示例中仅使用加速度数据,然而,根据移动/状态模式的类型,也使用陀螺数据。当获得移动/状态特征量随着时间的改变时,移动/状态识别单元108根据移动/状态特征量依序确定移动/状态模式,并输出按时间顺次改变的移动/状态模式(参见图7)。然而,应当注意,在此获得的移动/状态模式仅是在短时间段内执行的用户行为的集合,并不指示用户的特定日常行为。
由移动/状态识别单元108以这种方式获得的移动/状态模式被输入到行为/状况识别单元112。现在,下面将描述与在图8中所示的一部分移动/状态模式相比更详细的检测算法。
(暂停/静止识别方法)
首先,将参考图9来描述用于识别用户是否暂停或保持静止的方法。图9是示出用于识别用户是否暂停或保持静止的方法的说明图。
首先,当用户执行行为时,向移动/状态识别单元108输入传感器数据。在此,输入三轴方向加速度数据(x-acc,y-acc,z-acc)。当输入传感器数据时,移动/状态识别单元108以先入先出(FIFO)的方式来记录传感器数据(S1000)。当记录了特定量数据时,移动/状态识别单元108计算x-acc、y-acc和z-acc各自的方差(S1002)。然后,移动/状态识别单元108提取用于静止确定的最大方差(det),其是在方差中最大的方差(S1004)。
当提取了用于静止确定的最大方差时,移动/状态识别单元108确定所提取的用于静止确定的最大方差是否小于用于指示静止状态的静止识别值D1(S1006)。在用于静止确定的最大方差不小于D1的情况下,移动/状态识别单元108确定用户未保持静止。在进行这样的确定的情况下,推定用户正在执行某种行为。因此,移动/状态识别单元108向行为/状况识别单元112输入用于指示用户未保持静止的信息(S1014)。
另一方面,在用于静止确定的最大方差小于D1的情况下,移动/状态识别单元108确定最大方差小于D1的状态是否持续比静止识别时间T1更长的时间段(S1008)。在此的静止识别时间T1指示推定用户保持静止的最小时间。在最大方差小于D1的状态持续比T1更长的时间段的情况下,移动/状态识别单元108确定用户保持静止,并向行为/状况识别单元112输入用于指示静止的信息(S1010)。在最大方差小于D1的状态未持续比T1更长的时间段的情况下,移动/状态识别单元108确定用户暂停,并向显示单元210输入用于指示暂停的信息(S1012)。
如所述,通过根据图9的示例来执行确定处理,可以区别静止状态、暂停状态和非静止状态。
(行走/奔跑识别方法)
接下来,将参考图10来描述用于识别用户是否在行走或奔跑的方法。图10是示出用于识别用户是否在行走或奔跑的方法的说明图。
首先,当用户执行行为时,传感器数据被输入到移动/状态识别单元108。在此,输入三轴方向加速度数据(x-acc,y-acc,z-acc)。当输入传感器数据时,移动/状态识别单元108通过使用带通滤波器(BPF)从x-acc、y-acc和z-acc中去除在用户被识别为行走或奔跑的频率范围之外的频率(S1100)。然后,移动/状态识别单元108以FIFO方式来记录通过BPF的x-acc、y-acc和z-acc(S1102)。
然后,移动/状态识别单元108读取在通过BPF后记录的特定量的x-acc、y-acc和z-acc,并计算所读出的数据的自相关函数(SACF:综合自相关函数)。SACF峰值的时间系列对应于在行走或奔跑时引起的用户的周期性移动。然而,SACF包括具有与行走或奔跑对应的频率的谐波。因此,移动/状态识别单元108基于所计算的自相关函数(SACF)来计算增强型自相关函数(ESACF:增强型综合自相关函数)(S1106)。然后,移动/状态识别单元108基于ESACF来计算自相关峰值(S1108),并获得行走/奔跑确定的频率(freq)。
此外,移动/状态识别单元108以FIFO方式来记录未被使得在步骤S1100通过BPF的x-acc、y-acc和z-acc(S1110)。然后,移动/状态识别单元108读取特定量的x-acc、y-acc和z-acc,并计算相应的方差(S1112)。然后,移动/状态识别单元108从所计算的方差中提取最大方差,并将其作为用于行走/奔跑确定的最大方差(var)输出(S1114)。
然后,移动/状态识别单元108将行走/奔跑确定的频率(freq)和用于行走/奔跑确定的最大方差(var)相乘(S1116)。通过freq来表达每单位时间的步数。此外,通过var来表达移动的大小。此外,可以基于步数和移动的大小来确定用户是否在行走或奔跑。因此,可以通过确定freq和var的乘积是否在特定范围中来确定用户是否在行走。首先,为了提高确定的精度,移动/状态识别单元108通过从freq和var的乘积中去除容易错误地识别行走或奔跑的频率范围,来计算用于行走/奔跑确定的数据det(S1118)。
然后,移动/状态识别单元108确定用于行走/奔跑确定的数据是否大于最小行走识别值D2,但是小于最大行走识别值D3,其中最小行走识别值D2是要识别的行走的下限,最大行走识别值D3是要识别的行走的上限(S1120)。在用于行走/奔跑确定的数据大于D2但是小于D3的情况下,移动/状态识别单元108确定用户在行走,并向行为/状况识别单元112输入用于指示行走的信息(S122)。另一方面,在不是D2<det<D3的情况下,移动/状态识别单元108进行到步骤S1124的处理,并确定用于行走/奔跑确定的数据det是否大于D3(S1124)。
在用于行走/奔跑确定的数据大于D3的情况下,移动/状态识别单元108确定用户在奔跑,并向行为/状况识别单元112输入用于指示奔跑的信息(S1126)。另一方面,在用于行走/奔跑确定的数据小于D2的情况下,移动/状态识别单元108确定用户既未行走也未奔跑,并向行为/状况识别单元112输入移动/状态模式不是行走或奔跑的信息(S1128)。另外,通过对freq积分,获得关于在与积分区间对应的时间段内行走的步数的信息。因此,移动/状态识别单元108计算关于步数的信息,并将该信息输入到行为/状况识别单元112。
如所述,通过执行根据图10的示例的确定处理,可以区别行走状态、奔跑状态和非行走/非奔跑状态。
(跳跃识别方法)
接下来,将参考图11来描述用于识别用户是否在跳跃的方法。图11是示出用于识别用户是否在跳跃的方法的说明图。
首先,当用户执行行为时,向移动/状态识别单元108输入传感器数据。在此,输入三轴方向加速度数据(x-acc,y-acc,z-acc)。当输入传感器数据时,移动/状态识别单元108计算由x-acc、y-acc和z-acc的大小表达的跳跃加速度(S1200)。然后,移动/状态识别单元108通过带通滤波器(BPF)去除在识别到用户正在跳跃的跳跃识别值范围之外的频率(S1202)。然后,移动/状态识别单元108计算通过BPF的值的绝对值,并将其作为补偿跳跃加速度输出(S1204)。当以这种方式获得绝对值时,比跳跃加速度更多地去除了由于在跳跃时出现的房屋的晃动或振动等引起的噪声分量。
然后,移动/状态识别单元108通过使用低通滤波器(LPF)从补偿跳跃加速度中去除容易错误地识别跳跃的频率范围(S1206)。然后,移动/状态识别单元108根据通过LPF的数据计算用于确定用户是否在跳跃的跳跃状态确定值(det)。接下来,移动/状态识别单元108确定跳跃状态确定值是否大于最小跳跃识别值D4,最小跳跃识别值D4是要识别的跳跃的下限(S1208)。在跳跃状态确定值大于最小跳跃识别值D4的情况下,移动/状态识别单元108确定用户在跳跃,并向行为/状况识别单元112输入用于指示跳跃的信息(S1210)。另一方面,在跳跃状态确定值小于最小跳跃识别值D4的情况下,移动/状态识别单元108确定用户未在跳跃,并向行为/状况识别单元112输入用户未在跳跃的信息(S1212)。
如所述,通过执行根据图11的示例的确定处理,可以区别跳跃状态和非跳跃状态。
(姿势改变识别方法)
接下来,将参考图12来描述用于识别用户是否正在坐或站的方法。图12是示出用于识别用户是否正在坐或站的方法的说明图。另外,识别用户是否正在坐或站是要识别坐着的用户的站起或站着的用户的坐下。即,要识别用户姿势的改变。
首先,当用户执行行为时,传感器数据被输入到移动/状态识别单元108。在此,输入三轴方向加速度数据(x-acc,y-acc,z-acc)。当输入传感器数据时,移动/状态识别单元108通过使用低通滤波器(LPF)从x-acc、y-acc或z-acc中去除容易错误地识别用户姿势改变的频率范围(S1300)。然后,移动/状态识别单元108分别基于x-acc、y-acc或z-acc来计算x-grav、y-grav和z-grav。x-grav、y-grav和z-grav是用于指示重力方向的多个重力数据。
接下来,移动/状态识别单元108计算用于指示所计算的x-grav的改变的δ(x-grav)、用于指示所计算的y-grav的改变的δ(y-grav)和用于指示所计算的z-grav的改变的δ(z-grav)(S1302)。然后,移动/状态识别单元108计算用于指示δ(x-grav)、δ(y-grav)和δ(z-grav)的大小的姿势改变值(S1304)。然后,移动/状态识别单元108通过使用低通滤波器(LPF)从所计算的姿势改变值中去除容易错误地识别用户姿势改变的范围(S1306),并计算用于确定姿势是否在改变的姿势改变确定值(det)。
然后,移动/状态识别单元108确定姿势改变确定值是否大于最小姿势改变识别值D5,最小姿势改变识别值D5是要识别的用户的姿势改变的下限(S1308)。在姿势改变确定值小于D5的情况下,移动/状态识别单元108确定姿势没有改变,并向行为/状况识别单元112输入用于指示没有姿势改变的信息(S1316)。另一方面,在姿势改变确定值大于D5的情况下,移动/状态识别单元108进行到步骤S1310的处理,并确定用户是否正在坐或站(S1310)。在用户已经站着的情况下,移动/状态识别单元108确定用户坐下,并向行为/状况识别单元112输入用于指示坐下的信息(S1312)。另一方面,在用户已经落座的情况下,移动/状态识别单元108确定用户站起,并向行为/状况识别单元112输入用于指示站起的信息(S1314)。
如所述,通过执行根据图12的示例的确定处理,可以区别姿势改变的存在与否。
(在电梯中的上升/下降的识别方法)
接下来,将参考图13来描述用于识别用户是否在电梯中的方法。图13是示出用于识别用户是否在电梯中的方法的说明图。
首先,当用户执行行为时,传感器数据被输入到移动/状态识别单元108。在此,输入三轴方向加速度数据(x-acc,y-acc,z-acc)。当输入传感器数据时,移动/状态识别单元108通过使用低通滤波器(LPF)从x-acc、y-acc和z-acc中去除容易错误地识别在重力方向上的加速度的频率范围(S1400)。然后,移动/状态识别单元108基于通过LPF的x-acc、y-acc和z-acc来计算重力方向加速度传感器数据(acc)(S1402)。
此外,移动/状态识别单元108计算和记录由x-acc、y-acc和z-acc的大小表达的重力调整数据,以使得能够调整重力值(S1404,S1406)。然后,移动/状态识别单元108读取特定量的重力调整数据,并计算重力调整方差(var),重力调整方差(var)是重力调整数据的方差(S1408)。此外,移动/状态识别单元108读取特定量的重力调整数据,并计算重力调整平均数据,重力调整平均数据是重力调整数据的平均值。
然后,移动/状态识别单元108确定重力调整方差是否小于最大可允许重力调整方差V1,最大可允许重力调整方差V1是允许重力调整的最大值(S1410)。在重力调整方差大于V1的情况下,移动/状态识别单元108不更新重力值(S1412)。另一方面,在重力调整方差小于最大可允许重力调整方差V1的情况下,移动/状态识别单元108确定重力调整平均数据是否大于最小可允许重力平均值A1但是小于最大可允许重力平均值A2,其中最小可允许重力平均值A1是允许重力调整的最小平均值,最大可允许重力平均值A2是允许调整重力的最大平均值(S1414)。
在重力调整平均数据大于A1但是小于A2的情况下,移动/状态识别单元108进行到步骤S1418的处理。另一方面,在其他情况下,移动/状态识别单元108不更新重力的值(S1416)。在移动/状态识别单元108进行到步骤S1418的处理的情况下,移动/状态识别单元108通过使用低通滤波器(LPF)来去除容易错误地识别重力的低频率范围(S1418),并且计算补偿重力调整平均数据。接下来,移动/状态识别单元108计算重力方向加速度传感器数据与补偿重力调整平均数据之间的差(S1420)。然后,移动/状态识别单元108通过从所计算的差中去除容易错误地识别用户在电梯中的频率范围,来计算电梯上升/下降确定数据(S1422)。
接下来,移动/状态识别单元108确定电梯上升/下降确定数据是否大于特定值D6(S1424)。在电梯上升/下降确定数据大于特定值D6的情况下,移动/状态识别单元108进行到步骤S1426的处理。另一方面,在电梯上升/下降确定数据小于特定值D6的情况下,移动/状态识别单元108进行到步骤S1432的处理。在此,特定值D6是有可能识别电梯中的用户开始上升的下限。
在进行到步骤S1426的处理的情况下,移动/状态识别单元108确定电梯上升/下降确定数据是否已经第一次超过特定值D6(S1426)。在是第一次的情况下,移动/状态识别单元108进行到步骤S1428,确定电梯在上升,并向行为/状况识别单元112输入用于指示电梯上升的信息(S1428)。另一方面,在不是第一次的情况下,移动/状态识别单元108进行到步骤S1430的处理,确定电梯的下降已经结束,并向行为/状况识别单元112输入用于指示电梯下降的结束的信息(S1430)。
在进行到步骤S1432的处理的情况下,移动/状态识别单元108确定电梯上升/下降确定数据是否大于特定值D7(S1432)。在此,特定值D7是有可能识别在电梯中的用户开始下降的上限。在电梯上升/下降确定数据大于特定值D7的情况下,移动/状态识别单元108进行到步骤S1434的处理。另一方面,在电梯上升/下降确定数据小于特定值D7的情况下,移动/状态识别单元108进行到步骤S1440的处理。
在进行到步骤S1434的处理的情况下,移动/状态识别单元108确定电梯上升/下降确定数据是否已经第一次降低成低于特定值D7(S1434)。在是第一次的情况下,移动/状态识别单元108进行到步骤S1436,确定电梯在下降,并且向行为/状况识别单元112输入用于指示电梯下降的信息(S1436)。另一方面,在不是第一次的情况下,移动/状态识别单元108进行到步骤S1438的处理,确定电梯的下降已经结束,并向行为/状况识别单元112输入用于指示电梯上升的结束的信息(S1438)。
在进行到步骤S1440的处理的情况下,移动/状态识别单元108确定用户当前是否在电梯中(S1440)。在用户在电梯中的情况下,移动/状态识别单元108进行到步骤S1442的处理,确定电梯不在加速或减速的状态中,并向行为/状况识别单元112输入用于指示无电梯的加速或减速的状态的信息(S1442)。另一方面,在用户未在电梯中的情况下,移动/状态识别单元108进行到步骤S1444的处理,向行为/状况识别单元112输入用于指示用户不在电梯中的状态的信息(S1444)。
如所述,通过执行根据图13的示例的确定处理,可以区分电梯的上升或下降。
(乘坐火车的识别方法)
接下来,将参考图14来描述用于识别用户是否在乘坐火车的方法。图14是示出用户是否在乘坐火车的方法的说明图。
首先,当用户执行行为时,传感器数据被输入到移动/状态识别单元108。在此,输入三轴方向加速度数据(x-acc,y-acc,z-acc)。当传感器数据被输入时,移动/状态识别单元108通过使用低通滤波器(LPF)从x-acc、y-acc或z-acc中去除容易错误地识别用户在乘坐火车的频率范围(S1500)。然后,移动/状态识别单元108基于已经去除了如上所述的频率范围的x-acc、y-acc或z-acc来计算水平方向加速度数据和垂直方向加速度数据(S1502,S1504)。在此,水平方向和垂直方向分别表示与火车行进的地面水平或垂直的方向。
接下来,移动/状态识别单元108以FIFO方式记录特定量的水平方向加速度数据和垂直方向加速度数据(S1506,S1508)。然后,移动/状态识别单元108读取特定量的水平方向加速度数据,并计算水平方向方差(h-var),水平方向方差(h-var)是水平方向加速度数据的方差(S1510)。此外,移动/状态识别单元108读取特定量的垂直方向加速度数据,并计算垂直方向方差(v-var),垂直方向方是垂直方向加速度数据的方差(S1512)。水平方向方差(h-var)指示在火车行进时检测到的在水平方向上的摇摆和振动程度。此外,垂直方向方差(v-var)指示在火车行进时检测到的在垂直方向上的振动和颠簸程度。
然后,移动/状态识别单元108确定垂直方向方差(v-var)是否大于最小可允许垂直方差V1但是小于最大可允许垂直方差V2,其中最小可允许垂直方差V1是允许的最小垂直方向方差,最大可允许垂直方差V2是允许的最大垂直方差(S1514)。在垂直方向方差(v-var)是V1或更小或者是V2或更大的情况下,移动/状态识别单元108将火车乘坐确定数据(det)设置为零(S1528)。另一方面,在垂直方向方差大于V1但是小于V2的情况下,移动/状态识别单元108进行到步骤S1516的处理。
在移动/状态识别单元108进行到步骤S1516的处理的情况下,移动/状态识别单元108确定垂直方向方差和水平方向方差中哪个更小(S1516)。在垂直方向方差(v-var)更小的情况下,移动/状态识别单元108针对特定量的数据对垂直方向方差(v-var)积分,并计算积分值(S1518)。另一方面,在水平方向方差(h-var)更小的情况下,移动/状态识别单元108针对特定量的数据对水平方向方差(h-var)积分,并计算积分值(S1520)。然后,由步骤S1518和S1520的处理获得的积分值被设置为火车乘坐确定数据(det),火车乘坐确定数据(det)用于确定用户是否在乘坐火车。
然后,移动/状态识别单元108确定火车乘坐确定数据是否大于最小火车乘坐识别值D8,最小火车乘坐识别值D8是将用户识别为在乘坐火车的下限(S1522)。在火车乘坐确定数据大于D8的情况下,移动/状态识别单元108确定用户在乘坐火车,并向行为/状况识别单元112输入用于指示用户在乘坐火车的状态的信息(S1524)。另一方面,在火车乘坐确定数据小于D8的情况下,移动/状态识别单元108确定用户未乘坐火车,并向行为/状况识别单元112输入用于指示用户未乘坐火车的信息(S1526)。
如所述,通过执行根据图14的示例的确定处理,可以区分是否处于用户在乘坐火车的状态。通过关注火车从加速到减速的状态,也可以区分用户在乘坐停在车站的火车的情况、火车停在车站的情况和用户从到达车站的火车下来并开始行走的情况等。可以向行为/状况识别单元112通知这些确定结果。
(右转/左转识别方法)
接下来,将参考图15来描述用于识别用户的右转或左转的方法。图15是示出用于识别用户的右转或左转的方法的说明图。
首先,当用户执行行为时,传感器数据被输入到移动/状态识别单元108。在此,输入三轴方向加速度数据(x-acc,y-acc,z-acc)和陀螺数据(x-gyro,y-gyro,z-gyro)。当输入传感器数据时,移动/状态识别单元108通过使用低通滤波器(LPF)从输入的传感器数据中去除容易错误地识别右转或左转的频率范围(S1600)。然后,移动/状态识别单元108基于x-gyro、y-gyro和z-gyro、以及已经去除了如上所述的频率范围的x-acc、y-acc或z-acc来计算在重力方向上的角速度(S1602)。
接下来,移动/状态识别单元108通过使用带通滤波器(BPF)从所计算的角速度中去除在用于识别右转或左转的转动识别范围之外的值,来计算补偿角速度(det)(S1604)。然后,移动/状态识别单元108确定补偿角速度是否小于最大右转识别值D9,最大右转识别值D9是用于识别用户的右转的上限(S1606)。在补偿角速度小于D9的情况下,移动/状态识别单元108确定用户右转,并向行为/状况识别单元112输入确定结果(S1608)。另一方面,在补偿角速度是D9或更大的情况下,移动/状态识别单元108进行到步骤S1610的处理。
在进行到步骤S1610的处理的情况下,移动/状态识别单元108确定补偿角速度是否大于最小左转识别值D10,最小左转识别值D10是用于识别用户的左转的下限(S1610)。在补偿角速度大于D10的情况下,移动/状态识别单元108确定用户左转,并向行为/状况识别单元112输入确定结果(S1612)。另一方面,在补偿角速度小于D10的情况下,移动/状态识别单元108确定用户既不右转也不左转,并向行为/状况识别单元112输入确定结果(S1614)。
如所述,通过执行根据图15的示例的确定处理,可以区分用户的右转和左转。
至此,已经详细描述了移动/状态识别单元108的功能。如上所述,移动/状态模式不指示用户的特定日常行为。可以说移动/状态模式表达了用户在特定时刻(短时间段)的状态。因此,即使移动/状态模式的记录被累积并且与一天对应的多个信息排成队,也难于在不动用人们的存储器的情况下回顾一天的事件。例如,即使当参考诸如“行走”10分钟、“保持静止”30秒、“奔跑”3分钟、“保持静止”10秒、“右转”、“乘坐火车”15分钟、“行走”10分钟、“右转”、...等的多个信息时,也很难知道在哪个位置进行了哪项。因为这个原因,需要用于检测更具体的日常行为(HC行为)的手段。
<1-3:地理分类单元110的功能>
接下来,将参考图16-19来详细描述地理分类单元110的功能。图16-19是用于描述地理分类单元110的功能的说明图。
首先,参考图16。如上所述,地理分类单元110选择与从位置传感器104输入的关于当前位置的位置信息对应的地理分类代码(或基于地理分类代码的信息)。此时,地理分类单元110从地图数据库中获取地图信息MP和地理分类信息GC,并检测在当前位置的建筑物等的属性。地图数据库登记有诸如下述部分的信息:(A1)地图信息;(A2)形状元素数据(关于建筑物、场所或道路的形状的信息);以及(A3)关于与建筑物或场所一起登记的商店(职业类别)等的信息。(A1)和(A2)与地图信息MP对应,而(A3)与地理分类信息GC对应。另外,地图数据库不是必须被包括在行为/状况分析系统10中,并且作为选择,例如可以使用在网上公布的地图数据库。
如图17中所示,在地理分类信息GC中,根据特定分类类型将建筑物等划分为多个分类,并且每一个分类被分配分类代码(地理分类代码)。此外,如图17中所示,可以将地理分类划分为主要分类、中间分类和次要分类(未示出)。此外,在图17的示例中,在主要分类列和中间分类列中所示的分类代码指示地理分类代码。例如,在通过地图信息MP在当前位置检测到击球练习场的情况下,地理分类单元110输出地理分类代码1305000。
此外,地理分类单元110检测在当前位置附近存在的建筑物等的地理分类代码,并建立直方图。然而,在行为/状况模式检测过程中未考虑当前位置的周围环境的情况下,可以省略直方图的建立。在要考虑当前位置的周围环境的情况下,地理分类单元110通过使用地图信息MP和地理分类信息GC来获取在当前位置附近存在的建筑物等的地理分类代码组。然后,地理分类单元110计算每一个地理分类的建筑物等的数量,并建立地理分类的直方图(以下称为地理分类直方图),如图18中所示。
如图19中所示,地理分类代码以精确定点的方式表达当前位置的环境,而地理分类直方图表达当前位置的周围环境。例如,在地理分类代码指示火车站的情况下,在获取关于当前位置的位置信息的时间点的用户行为被缩减为可以在车站内执行的行为。另一方面,在地理分类代码指示公路的情况下,难于基于地理分类代码来缩减用户的行为。然而,如果从地理分类直方图看到用户在有许多零售商店的区域中,则即使地理分类代码指示同一公路,也可以更多地缩减用户的行为。
因为这个原因,所以通过与地理分类代码一起使用地理分类直方图,可以改善随后描述的行为/状况模式检测的精度。因此,地理分类单元110计算地理分类直方图(B2)以及地理分类代码(B1),并将它们输入到行为/状况识别单元112。此外,地理分类单元110还向行为/状况识别单元112输入关于用于指示当前位置的纬度和经度或移动量等的信息(B3)。
至此,已经描述了地理分类单元110的功能。另外,关于当前位置的位置信息可以指示通过将多个位置信息聚类(cluster)而获得的代表点。
<1-4:行为/状况识别单元112的功能>
接下来,将参考图20-30B来详细描述行为/状况识别单元112的功能。图20-30B是用于解释行为/状况识别单元112的功能的说明图。
(概览)
首先,将参考图20。如上所述,向行为/状况识别单元112输入时间/日历信息、移动/状态模式和地理分类代码。此外,向行为/状况识别单元112输入关于用于检测移动/状态模式的移动/状态特征量、传感器数据、根据地理分类代码获得的地理分类直方图、移动量、经度和纬度、移动速度等的信息。此外,可以向行为/状况识别单元112输入个人简档信息或来自用户的反馈。当输入这些信息时,行为/状况识别单元112检测与输入的各个信息的组合匹配的行为/状况模式。此时,行为/状况识别单元112根据基于规则的确定或学习模型确定来检测行为/状况模式。
(基于规则的确定;地理分类代码)
首先,将描述根据基于规则的确定的行为/状况模式检测方法。另外,在此将描述基于地理分类代码的确定方法。如上所述,分数图SM用于基于规则的确定。在此,采用在图21中所示的分数图SM。
在图21的示例中,向中间类别地理分类代码与行为/状况模式的组合分配分数。在图21的示例中,要考虑的行为/状况模式是“体育”、“行走”、“娱乐”、“购物”、...、“工作”、“观看”和“睡觉”。然而,行为/状况模式的类型不限于上述部分,并且例如可以考虑在图26中所示的各种行为/状况模式。可以由用户预先选择要考虑的行为/状况模式,或可以通过利用机器学习算法建立的确定模型来自动选择适合于用户的行为/状况模式。
此外,针对时间/日历信息的类型与移动/状态模式的类型的每一种组合提供如图21中所示的分数图SM。因此,存在多个分数图SM。如图22中所示,首先,行为/状况识别单元112从多个分数图SM中选择分数的组合,其中每一种分数组合与输入的地理分类代码对应(S10)。在图21的示例中向行为/状况识别单元112输入地理分类代码1905000的情况下,对于每种类型的分数图SM选择一组分数“就餐=1,学习=2,工作=4”。即,选择分数组的多种组合。
接下来,行为/状况识别单元112选择与输入的移动/状态模式对应的分数图SM的类型(S12)。此时,行为/状况识别单元112提取与所选择的分数图SM的类型对应的分数组。然后,行为/状况识别单元112从在步骤S12中选择的分数图SM的类型中选择与输入的时间/日历信息对应的分数图SM的类型(S14)。此时,行为/状况识别单元112提取与所选择的分数图SM的类型对应的分数组。结果,提取与已输入的移动/状态模式、时间/日历信息和地理分类代码对应的分数组。
在如上所述的步骤S12的处理中,选择与移动/状态模式对应的分数图SM。通过在图23中描述的操作来实现这个选择处理。如图23中图示,由从多个分数图SM形成的分数图组P1-P9与每一个移动/状态模式相关联。因此,行为/状况识别单元112基于特定的确定条件来区别输入的移动/状态模式(和移动速度/移动量),并选择与确定结果对应的分数图组。例如,在移动/状态模式是“持续超过时间T1的行走”的情况下,选择分数图组P5。
如上所述,当提取了与已经输入的移动/状态模式、时间/日历信息和地理分类代码的组合对应的分数组时,行为/状况识别单元112检测所提取的分数组中的最高分数。然后,行为/状况识别单元112指定与最高分数对应的行为/状况模式,并输出指定的行为/状况模式。由行为/状况识别单元112输出的行为/状况模式用于提供推荐的服务SV或由应用程序AP使用。
此外,行为/状况识别单元112可以被配置成不仅使用与当前输入对应的分数组,还使用与过去的输入对应的分数组,并通过使用HMM等来指定行为/状况模式。
至此,已经描述了根据使用地理分类代码的基于规则的确定的行为/状况模式检测方法。
(基于规则的确定:地理分类直方图)
接下来,将参考图24来描述根据使用地理分类直方图的基于规则的确定的行为/状况模式检测方法。在使用地理分类直方图的情况下,向行为/状况识别单元112输入在当前位置附近存在的建筑物等的地理分类代码和地理分类直方图。在此,假定在当前位置附近检测到10个地理分类(GC1、...、GC10)。
当输入地理分类代码时,行为/状况识别单元112从每一个分数图SM中提取与每一个地理分类代码对应的分数组。在图24的示例中,输入与地理分类GC1、GC2、...、GC10对应的地理分类代码2303000、1905000、...、1602000,并提取各自的对应分数组。当提取分数组时,行为/状况识别单元112通过归一化每一个分数组来计算分数分布pd1、pd2、...、pd10。通过使用在每一个分数组中包括的最高分数来执行这个归一化。
接下来,行为/状况识别单元112对所计算的分数分布pd1、pd2、...、pd10执行与输入的地理分类直方图的值相乘。例如,对分数分布pd1执行与地理分类GC1的直方图值0相乘。此外,对分数分布pd2执行与地理分类GC2的直方图值10相乘。类似地,分别对分数分布pd3、...、pd10执行与地理分类GC3、...、GC10的直方图值45、...、20相乘。接下来,行为/状况识别单元112针对每个分数图SM合计已经如上所述通过直方图值加权的分数分布pd1、pd2、...、pd10,并计算每一个分数图SM的分数分布PD1、...、PDn。在此,n指示时间/日历信息与移动/状态模式的组合的数量。
接下来,行为/状况识别单元112指定与已经输入的时间/日历信息和移动/状态模式的组合对应的分数图SM的类型(例如,第k个分数图SM),并选择与所指定的类型对应的分数分布PDk。然后,行为/状况识别单元112检测在所选择的分数分布PDk中的最高分数,并输出与所检测的最高分数对应的行为/状况模式。根据这样的配置,可以执行考虑了当前位置的周围环境的行为/状况模式检测,另外,也可以设想一种用于选择直方图值最大的地理分类代码并通过使用所选择的地理分类代码来检测行为/状况模式的方法。在这种方法的情况下,在存在许多餐厅的区域中以高概率检测到与“就餐”对应的行为/状况模式。
另外,在上述示例中,已经示出检测最高分数的方法,然而,在例如选择行为/状况模式的多个候选而不是最高分数的情况下,可以以从最高分数开始的顺序来检测要成为候选的行为/状况模式。在该情况下,基于用户的简档信息或过去行为/状况模式检测的历史等来从检测到的行为/状况模式候选中缩减合适的行为/状况模式。这种配置是一个示例,并且这样的变型示例当然包括在本实施例的技术范围中。
至此,已经描述了根据使用地理分类直方图的基于规则的确定的行为/状况模式检测方法。另外,也可以并行地使用使用地理分类代码的方法和使用地理分类直方图的方法。通过并行地使用这些方法,可以以精确定点的方式检测到考虑了用户所在位置的环境和该位置的周围环境(空气)的适当行为/状况模式。
(学习模型确定;地理分类代码)
接下来,将参考图25来描述基于学习模型确定的行为/状况模式检测方法。如上所述,根据学习模型确定,通过使用机器学习算法来建立确定模型,并通过使用所建立的确定模型来检测行为/状况模式。作为机器学习算法,使用线性回归、非线性回归、SVM和增强(Boosting)等。此外,可以将通过遗传搜索方法进行的特征量选择处理与机器学习算法组合。
此外,在建立确定模型时作为教师数据给出的特征向量包括例如时间/日历信息(例如,日期、时间、星期几或假期/非假期)、移动/状态模式、移动/状态特征量、传感器数据(加速度数据或陀螺仪数据等)、地理分类代码、地理分类直方图(每一个代码的数量)、以及纬度和经度等。此外,作为特征向量,可以使用与用户的行为相关的任何检测数据及其经处理的数据。另外,作为教师数据给出的反应变量是用于指示正确的行为/状况模式的正确数据。此外,通过将从可能采取类似行为的一组人的数据中选择性拾取的数据用作教师数据,可以建立针对每组进行了优化的确定模型,采取类似行为的一组人例如是“学生”、“社团成员”、“男人”和“女人”。
机器学习机制从广义上讲是准备大量的已知道正确数据的特征向量,向从特定的函数组选择的函数对应用特征向量,并提取一对函数,其中,当与同一正确数据对应的多个特征向量被应用到该对函数时,可以从该对函数获得相同的特征量(回答数据)。该特定函数组包括任何函数(算法),例如差分运算输出、最大值输出、低通滤波、无偏方差输出和傅立叶变换输出。即,自动建立能够组合这些函数并且输出具有高精度的正确数据的算法(确定模型)。
预期以这种方式建立的确定模型输出被任意输入的相同格式的特征向量的正确或几乎正确的行为/状况模式。因此,行为/状况识别单元112向所建立的确定模型输入根据实际观察到的传感器数据等形成的特征向量,并检测行为/状况模式。如果已经执行了足够的学习,则可以通过这种方法高精度地检测行为/状况模式。然而,通过机器学习算法来建立确定模型的处理是计算量极大的处理。因此,如已经参考图2-6所述的,在使用学习模型确定的情况下,必须修改系统配置。此外,也可以设想组合使用基于规则的确定和学习模型确定的方法。
至此,已经描述了使用学习模型确定的行为/状况模式检测方法。如上所述,当使用学习模型确定时,如果已经执行了足够的学习,则可以高精度地检测行为/状况模式。此外,通过考虑到来自用户的反馈而重建确定模型,可以建立能够以进一步改善的精度来检测行为/状况模式的确定模型。因此,使用学习模型确定有益于改善行为/状况模式检测的精度。
(操作流程)
接下来,将参考图27-30B来描述与行为/状况模式检测方法相关的行为/状况识别单元112的操作流程。注意,图27是示出行为/状况分析系统10的整体操作流程的说明图。
(整个系统)
首先,将参考图27来描述与行为/状况模式检测方法相关的行为/状况分析系统10的整个操作流程。
如图27中所示,当用户执行某个行为时(S20),移动传感器102获取传感器数据(S22)。此外,位置传感器104获取关于当前位置的位置信息。然后,传感器数据被输入到移动/状态识别单元108,并且关于当前位置的位置信息被输入到地理分类单元110。接下来,移动/状态识别单元108检测移动/状态模式,并且地理分类单元110提取地理分类代码(直方图)(S24)。然后,向行为/状况识别单元112输入关于移动/状态模式和地理分类代码(直方图)等的信息。
当关于移动/状态模式和地理分类代码(直方图)等的信息被输入时,行为/状况识别单元112通过使用这些信息来检测行为/状况模式(S26)。另外,将随后详细描述步骤S26的处理。当行为/状况识别单元112检测出行为/状况模式时,关于所检测出的行为/状况模式的信息被输入到应用程序等(S28)。然后,通过使用行为/状况模式来提供推荐的服务SV,或由应用程序向用户提供与行为/状况模式对应的功能。在下面,将详细说明步骤S26的处理流程。
(A:基于规则的确定)
在此,将参考图28来描述与根据基于规则的确定的行为/状况模式检测方法相关的行为/状况识别单元112的操作流程。
如图28中所示,首先,行为/状况识别单元112确定是否登记了用户简档(S102)。在登记了简档的情况下,行为/状况识别单元112进行到步骤S104的处理。另一方面,在未登记用户简档的情况下,行为/状况识别单元112进行到步骤S108的处理。
在进行到步骤S104的情况下,行为/状况识别单元112确定所输入的当前位置的纬度和经度是否是住宅或工作场所(S104)。例如,行为/状况识别单元112参考所登记的用户简档,并确定当前位置的纬度和经度是否与在用户简档中描述的住宅或工作场所的纬度和经度匹配。在在纬度和经度的位置既不存在住宅也不存在工作场所的情况下,行为/状况识别单元112进行到步骤S110的处理。另一方面,在在纬度和经度的位置存在住宅或工作场所的情况下,行为/状况识别单元112进行到步骤S106的处理。
在进行到步骤S106的处理的情况下,行为/状况识别单元112选择与住宅或工作场所对应的分数图SM(分数组),并进行到步骤S112的处理。此外,在通过步骤S102的确定处理进行到步骤S108的处理的情况下,行为/状况识别单元112基于输入的地理分类代码(直方图)来选择分数组(S108),并进行到步骤S112的处理。
此外,在通过步骤S104的确定处理进行到步骤S110的处理的情况下,行为/状况识别单元112基于地理分类代码(直方图)来选择分数组。此外,行为/状况识别单元112基于用户简档来执行对所选择的分数组的加权(S110),并进行到步骤S112的处理。例如,在用户简档中描述用户喜欢垒球的情况下,行为/状况识别单元112执行加权,以使得行为/状况模式=“垒球”的分数变高。
在进行到步骤S112的处理的情况下,行为/状况识别单元112基于移动/状态模式和时间/日历信息来缩减分数图SM的类型(S112)。接下来,行为/状况识别单元112从与通过步骤S112的处理已经缩减的类型对应的分数组中检测最高分数,并选择与已经检测到的最高分数对应的行为/状况模式(S114)。然后,向应用程序等输入所选择的行为/状况模式,并且结束与行为/状况模式的检测相关的系列操作。另外,在使用地理分类直方图的情况下,在步骤S114中计算分数分布,并选择与最高概率对应的行为/状况模式。
至此,已经描述了基于已描述的基于规则的确定的行为/状况模式检测方法。此外,在图28的示例中使用了选择与最高分数对应的行为/状况模式的方法,但是,行为/状况识别单元112可以被配置成不仅使用与当前输入对应的分数组,此外也使用与过去输入对应的分数组,并且通过使用HMM等来选择行为/状况模式。
(B:学习模型确定)
接下来,将参考图29来描述与基于学习模型确定的行为/状况模式检测方法相关的行为/状况识别单元112的操作流程。
如图29中所示,首先,行为/状况识别单元112确定是否登记了用户简档(S122)。在登记了用户简档的情况下,行为/状况识别单元112进行到步骤S124的处理。另一方面,在未登记用户简档的情况下,行为/状况识别单元112进行到步骤S126的处理。
在进行到步骤S124的处理的情况下,行为/状况识别单元112考虑到用户简档而选择由机器学习算法建立的确定模型(S124),并且进行到步骤S128的处理。另一方面,在进行到步骤S126的处理的情况下,行为/状况识别单元112选择由机器学习算法建立的通用确定模型而不考虑用户简档(S126),并且进行到步骤S128的处理。
在进行到步骤S128的处理的情况下,行为/状况识别单元112向在步骤S124或步骤S126中选择的确定模型输入已经输入的信息(特征向量),并且检测与输入的特征向量匹配的行为/状况模式(S128)。接下来,行为/状况识别单元112输出由步骤S128的处理检测出的行为/状况模式(S130)。然后,向应用程序等输入所输出的行为/状况模式,并且结束与行为/状况模式的检测相关的系列操作。
至此,已经描述了基于学习模型确定的行为/状况模式检测方法。
(组合使用)
接下来,将参考图30A和30B来描述与组合使用基于规则的确定和学习模型确定的行为/状况模式检测方法相关的行为/状况识别单元112的操作流程。
如图30A中所示,首先,行为/状况识别单元112确定是否登记了用户简档(S142)。在登记了用户简档的情况下,行为/状况识别单元112进行到步骤S144的处理。另一方面,在未登记用户简档的情况下,行为/状况识别单元112进行到步骤S148的处理。
在进行到步骤S144的处理的情况下,行为/状况识别单元112确定所输入的当前位置的纬度和经度是否是住宅或工作场所(S144)。例如,行为/状况识别单元112参考所登记的用户简档,并确定当前位置的纬度和经度是否与在用户简档中描述的住宅或工作场所的纬度和经度匹配。在在纬度和经度的位置既不存在住宅也不存在工作场所的情况下,行为/状况识别单元112进行到步骤S150的处理。另一方面,在在纬度和经度的位置存在住宅或工作场所的情况下,行为/状况识别单元112进行到步骤S146的处理。
在进行到步骤S146的处理的情况下,行为/状况识别单元112选择与住宅或工作场所对应的分数图SM(分数组)(S146),并进行到步骤S152的处理。此外,在通过由步骤S142的确定处理进行到步骤S148的处理的情况下,行为/状况识别单元112基于所输入的地理分类代码(直方图)来选择分数组(S148),并进行到步骤S152的处理。
此外,在通过步骤S144的确定处理进行到步骤S150的处理的情况下,行为/状况识别单元112基于地理分类代码(直方图)来选择分数组。此外,行为/状况识别单元112基于用户简档来对所选择的分数组执行加权(S150),并进行到步骤S152的处理。例如,在用户简档中描述用户喜欢温泉的情况下,行为/状况识别单元112执行加权以使得行为/状况模式=“温泉”的分数变高。
在进行到步骤S152的处理的情况下,行为/状况识别单元112基于移动/状态模式和时间/日历信息来缩减分数图SM的类型(S152)。接下来,行为/状况识别单元112从与通过步骤S152的处理已经缩减的类型相对应的分数组中检测最高分数,并选择与已经检测到的最高分数对应的行为/状况模式(S154)。另外,在使用地理分类直方图的情况下,在步骤S154中计算分数分布,并且选择与最高概率对应的行为/状况模式。
接下来,行为/状况识别单元112进行到在图30B中所示的步骤S156,确定在步骤S154中检测的最高分数是否是特定值或更大(S156)。在最高分数是特定值或更大的情况下,行为/状况识别单元112进行到步骤S166的处理。另一方面,在最高分数不是特定值或更大的情况下,行为/状况识别单元112进行到步骤S158的处理。
在进行到步骤S158的处理的情况下,行为/状况识别单元112确定是否登记了用户简档(S158)。在登记了用户简档的情况下,行为/状况识别单元112进行到步骤S160的处理。另一方面,在未登记用户简档的情况下,行为/状况识别单元112进行到步骤S162的处理。
在进行到步骤S160的处理的情况下,行为/状况识别单元112考虑到用户简档而选择由机器学习算法建立的确定模型(S160),并进行到步骤S164的处理。另一方面,在进行到步骤S162的处理的情况下,行为/状况识别单元112选择由机器学习算法建立的通用确定模型,而不考虑用户简档(S162),并进行到步骤S164的处理。
在进行到步骤S164的情况下,行为/状况识别单元112向在步骤S160或步骤S162中选择的确定模型输入已经输入的信息(特征向量),并检测与输入的特征向量匹配的行为/状况模式(S164)。接下来,行为/状况识别单元112输出由步骤S164的处理检测出的行为/状况模式、或在图30A中的步骤S154中选择的行为/状况模式(S166)。然后,所输出的行为/状况模式被输入到应用程序,与行为/状况模式的检测相关的系列操作结束。
至此,已经描述了与组合地使用基于规则的确定和学习模型确定的行为/状况模式检测方法相关的行为/状况识别单元112的操作流程。另外,在图30A的示例中通过步骤S154的处理来选择与最高分数对应的行为/状况模式,但是也可以使用其他方法作为选择行为/状况模式的方法。例如,可以使用下述方法,该方法除了使用与当前输入对应的分数组之外,还使用与过去输入对应的分数组,并通过使用HMM等来选择行为/状况模式。
如上所述,通过使用根据本实施例的行为/状况模式检测方法,有可能检测出与在图26中所示的用户日常行为(HC行为)相关的行为/状况模式。结果,有可能使用难于从由LC行为的累积表达的行为历史中预测的用户日常行为。
<2:第二实施例>
接下来,将描述本发明的第二实施例。本实施例涉及一种使用通过在如上所述的第一实施例中描述的行为/状况模式检测方法而获得的行为/状况模式的方法。具体地说,本发明的技术涉及一种将由用户登记的日程表信息与所检测chu的行为/状况模式彼此关联,并根据状况向用户提供适当信息的方法。
<2-1:系统概览>
首先,将参考图31和32来描述根据本实施例的由行为/状况分析系统20实现的功能的概览。图31和32是示出基于与日程表应用程序的关联而呈现信息的有效方法的说明图。
首先,将参考图31。在图31的示例中,在日程表应用程序中登记用于指示旅行时间表的日程表信息,并通过组合登记信息与行为/状况检测的结果而确定通知信息的内容。例如,将考虑在用户早晨向车站行走的时间点要通知的信息。另外,在图31的示例中将“行走”描述为日程表信息,但是即使没有该描述,也可以从“火车”和时间信息的描述中检测出用户在早晨去往车站的状况。此外,可以经由网络来获得日程表信息。
首先,从在日程表信息中登记的信息“火车,9:00-10:00”可以推定将发生用户在9:00之前去往车站的状况。然而,难于从日程表信息估计在用户去往车站时要通知的信息的通知时机。然而,根据本实施例,可以检测出用户的行为/状况模式,因此,可以通过使用所检测出的行为/状况模式来确定通知时机。例如,可以在检测到行为/状况模式“移动(行走)”的时候通知火车指南。
类似地,通过使用行为/状况模式,可以识别用户几乎到达旅游景点的状况、用户在旅游景点周围观光的状况、观光几乎结束的状况和用户在回家路上的状况等。此外,在用户在旅游景点附近的情况下,有可能区别是否用户在徒步观光、用户在购物、或用户在火车中移动。因此,可以实现一种信息呈现方法,该信息呈现诸如是在徒步观光的情况下呈现旅游景点信息、在购物的情况下呈现关于纪念品商店的信息、以及在火车中移动的情况下呈现关于下一个旅游景点的信息。
此外,即使用户落后于日程表或比日程表提前移动,也可以从行为/状况模式掌握用户,因此,可以通过检测延迟或加速来呈现适当的信息。例如,当在根据图32中所示的日程表信息推测应当检测到行为/状况模式“温泉”时实际上检测到行为/状况模式“就餐”的时候,可以向用户通知延迟。此外,可以将日程表的延迟与关于当前位置的位置信息以及在日程表信息中描述的位置信息一起呈现给用户。
如所述,通过在适当的时间向用户呈现与状况相应的信息,使得用户能够基于所呈现的信息来适当地改变运输工具,或改变日程表。此外,可以在用户沿着与日程表信息中的路径不同的路径移动、或者用户进行在日程表信息中未登记的事件的情况下,根据行为/状况模式检测出与日程表信息的差别。因此,有可能呈现以下信息:所述信息适当地关联基于所检测出的行为/状况模式而估计的用户行为与接下来计划的行为(例如,交通手段的呈现)。
在下面描述能够通过如上所述地将日程表信息和检测出的行为/状况模式的内容相关联,在适当的时间向用户呈现适当的信息的行为/状况分析系统20的配置。
<2-2:整体系统配置>
首先,将参考图33来描述根据本实施例的行为/状况分析系统20的整个系统配置。图33是示出根据本实施例的行为/状况分析系统20的整体系统配置的示例的说明图。注意,使用相同的附图标记来表示具有与根据上述第一实施例的行为/状况分析系统10的结构元件基本上相同的功能的结构元件,并且省略这些结构元件的重复解释。
如图33中所示,行为/状况分析系统20主要包括移动传感器102、位置传感器104、时间/日历信息获取单元106、移动/状态识别单元108、地理分类单元110和行为/状况识别单元112。此外,行为/状况分析系统20还包括历史存储单元202、日程表存储单元204、行为验证单元206、行为预测单元208和应用程序显示单元210。
当用户执行行为时,首先,由移动传感器102检测传感器数据。由移动传感器102检测到的传感器数据被输入到移动/状态识别单元108。此外,位置传感器104获取用于指示当前位置的位置信息。然后,向地理分类单元110输入由位置传感器104获取的关于当前位置的位置信息。
当输入传感器数据时,移动/状态识别单元108通过使用传感器数据来检测移动/状态模式。然后,由移动/状态识别单元108检测出的移动/状态模式被输入到行为/状况识别单元112。此外,当输入关于当前位置的位置信息时,地理分类单元110获取地图信息MP,并通过使用所获取的地图信息MP来选择与当前位置对应的地理分类代码。此外,地理分类单元110计算与地理分类有关的直方图。由地理分类单元110选择的地理分类代码被输入到行为/状况识别单元112。
如上所述,分别从移动/状态识别单元108和地理分类单元110向行为/状况识别单元112输入移动/状态模式和地理分类代码。此外,经由移动/状态识别单元108向行为/状况识别单元112输入传感器数据。此外,经由地理分类单元110向行为/状况识别单元112输入关于当前位置的位置信息。此外,从时间/日历信息获取单元106向行为/状况识别单元112输入时间/日历信息。
因此,行为/状况识别单元112基于已经输入的移动/状态模式、地理分类代码(直方图)和时间/日历信息来检测行为/状况模式。另外,在此使用的行为/状况模式检测方法可以是根据基于规则的确定或学习模型确定。由行为/状况识别单元112检测出的行为/状况模式与关于当前位置的位置信息一起被记录在历史存储单元202中。此外,在下面的解释中,在历史存储单元202中累积的关于行为/状况模式的历史信息可以被称为行为历史。类似地,在历史存储单元202中累积的关于当前位置的位置信息可以被称为位置历史。
由行为验证单元206或行为预测单元208读取在历史存储单元202中累积的行为历史和位置历史。行为验证单元206是用于相对于实际行为/状况模式验证日程表信息的部件。日程表信息记录在日程表存储单元204中。因此,行为验证单元206将在日程表存储单元204上记录的日程表信息的内容与由位置传感器104检测到的关于当前位置的信息和由行为/状况识别单元112检测出的行为/状况模式作比较。在日程表信息的内容与当前位置的信息和行为/状况模式匹配的情况下,行为验证单元206向应用程序显示单元210输入用于指示匹配的信息。
另一方面,在日程表信息的内容与当前位置和行为/状况模式不匹配的情况下,行为验证单元206确定在日程表信息中登记的来自过去或用于未来的内容中是否存在与关于当前位置的信息和行为/状况模式匹配的内容。在在日程表信息中登记的来自过去或用于未来的内容中存在与关于当前位置的信息和行为/状况模式匹配的内容的情况下,行为验证单元206向应用程序显示单元210输入用于指示匹配的信息以及来自过去或用于未来的匹配内容。另一方面,在在日程表信息中登记的来自过去或用于未来的内容中不存在与关于当前位置的信息和行为/状况模式匹配的内容的情况下,行为验证单元206从历史存储单元202中读取行为历史和位置历史。
然后,行为验证单元206将在日程表信息中登记的内容与已经读取的行为历史和位置历史作比较,并检测行为/状况模式与在日程表信息中登记的行为的内容失配的时间点。然后,行为验证单元206向应用程序显示单元210输入用于指示所检测到的失配发生的时间点的信息、以及关于该时间点的位置历史和行为历史的信息。
此外,行为验证单元206重复上述比较处理,直到从位置传感器104输入的位置信息和从行为/状况识别单元112输入的行为/状况模式匹配日程表信息的内容。然后,行为验证单元206在匹配的时间点向应用程序显示单元210输入用于指示匹配的信息、以及该时间点的位置信息和行为/状况模式。
此外,从行为预测单元208向行为验证单元206输入位置信息和行为/状况模式预测的结果。例如,在没有日程表信息登记在日程表存储单元204中的情况下,行为验证单元206将由行为预测单元208输入的行为/状况模式预测的结果和由行为/状况识别单元112实际检测出的行为/状况模式作比较。然后,行为验证单元206向应用程序显示单元210输入比较的结果。例如,在推测应当提供关于用户在当前位置后有可能参观的地点的信息或根据在该地点的行为/状况模式的信息,但是未登记日程表信息的情况下,使用由行为预测单元208给出的预测结果。
行为预测单元208读取在历史存储单元202中累积的关于行为历史和位置历史的信息,并基于已经读取的多个信息来预测未来的行为/状况模式和位置信息。例如,行为预测单元208使用从历史存储单元202读取的行为历史等,并基于随机位置转换模型来预测用户的下一个行为/状况模式。作为随机位置转换模型,例如可以使用根据随后描述的位置聚类而估计迁移概率的方法。此外,虽然在图33中未示出,但是在历史存储单元202中记录了其他人的行为历史和位置历史的情况下,行为预测单元208也可以读取其他人的行为历史等,并使用它们来用于行为/状况模式的预测。通过使用其他人的行为历史,对在没有用户他/她自己的行为历史等的地点的行为的预测变得可能(例如,推定预测许多人要采取的行为)。
如所述,行为验证单元206将过去、当前和未来的日程表信息和关于当前检测的行为/状况模式等的信息相对于彼此地验证。此外,行为验证单元206将过去、当前和未来的日程表信息和关于在过去检测出的行为/状况模式等的信息相对于彼此地验证。此外,行为验证单元206将关于由行为预测单元208推定的未来的行为/状况模式等的信息和关于当前检测出的行为/状况模式等的信息相对于彼此地验证。这些验证结果被输入到应用程序显示单元210。此外,行为预测单元208的预测结果也被输入到应用程序显示单元210。
当输入这些信息时,应用程序显示单元210通过使用应用程序,根据输入信息向用户呈现适当的信息。此外,应用程序显示单元210显示用户所使用的应用程序以登记日程表信息或管理日程表信息。此外,应用程序显示单元210显示用于显示地图的应用程序,或通过该应用程序显示行为验证单元206的验证结果等。例如,如图32中所示,在日程表信息中登记的计划事件与实际检测出的行为/状况模式之间的时间和空间差被显示。另外,可以通过声音来通知这样的信息。
至此,已经描述了行为/状况分析系统20的整体系统配置。
<2-3:行为预测单元208的功能>
接下来,将参考图34来描述行为预测单元208的功能。
图34示出使用位置聚类的行为预测方法。行为预测单元208从历史存储单元202读取行为历史和位置历史,并且基于行为历史来缩减关于位置历史的信息。位置历史包括在各种场景中记录的位置信息,诸如在用户徒步移动期间检测到的位置信息、在火车或公共汽车的运输期间检测到的位置信息、以及在用户保持静止期间检测到的位置信息。因此,当向所有的位置信息赋予等同的重要性时,很难预测用户可能采取的行为/状况模式的倾向。
因此,行为预测单元208参考行为历史,并从位置历史中提取与行为/状况模式“行走”和“静止”对应的位置信息。通过以这种方式缩减位置信息,可以减少与行为预测有关的计算量。此外,通过提取行为/状况模式“行走”和“静止”,可以区分用户停留在特定范围内的状况。另外,在行为历史中包括停留长度(或持续时间)和时间/日历信息等的历史的情况下,可以使用这些历史,并且可以将行为历史缩减为具有长的停留长度(或持续时间)的行为,或者可以基于预测出的行为的执行时间来缩减行为历史。通过以如上所述的方式进行缩减,可以提高行为预测的精度。
接下来,行为预测单元208通过基于行为历史进行缩减而获得的位置信息(A)进行聚类。具体而言,行为预测单元208提取位置信息的点集中的区域(簇),并将在每一个提取区域中包括的点组并确定表示每一个组的代表点。如所述,因为行为预测单元208已经基于行为/状况模式“行走”和“静止”执行了缩减,所以未大大地扩展每一个簇。因此,可以建立精确地表达用户的主要停点的簇图(B)。在图34的示例中,获得三个簇A、B和C。
接下来,行为预测单元208基于位置历史来计算簇内和簇之间的迁移概率。通过基于行为/状况模式“行走”和“静止”进行缩减而获得的行为历史包括用户的移动过程(时间系列位置信息)。此外,通过如上所述的聚类来指定每一个簇的范围。因此,通过组合地使用这些信息,行为预测单元208可以区分在哪个簇中包括了构成移动过程的哪个位置信息。此外,行为预测单元208可以区分根据特定移动过程的移动是从哪个簇到哪个簇。
例如,行为预测单元208可以检测在簇A中移动的移动过程MAA的数量、在簇B中移动的移动过程MBB的数量和在簇C中移动的移动过程MCC的数量。此外,行为预测单元208可以检测从簇A到簇B移动的移动过程MAB的数量。此外,行为预测单元208可以预测从簇B到簇A移动的移动过程MBA的数量。此外,行为预测单元208可以预测从簇B到簇C移动的移动过程MBC的数量和从簇C到簇B移动的移动过程MCB的数量。
可以基于在以上述方式检测出的MAA、MBB、MCC、MAB、MBA、MAC、MCA、MBC以及MCB之间的比率来计算在簇内或在簇之间的迁移概率。在以上述方式计算了迁移概率后,行为预测单元208基于所计算的迁移概率来预测行为。例如,计算图34的(C)中所示的迁移概率(数字指示迁移概率的等级),并预测在用户在簇A中并且行为/状况模式是“购物”的情况下,用户将继续购物,然后将移动到簇B。如上所述,即使未登记日程表信息,行为预测单元208也可以基于位置历史和行为历史来预测用户的行为。
至此,已经描述了行为预测单元208的功能。
<2-4:行为验证单元206的功能>
接下来,将参考图35A-35C来描述行为验证单元206的操作流程。
(预处理)
首先,将参考图35A。图35A是示出在行为验证单元206的行为验证操作之前执行的主要处理的流程的说明图。如图35A中所示,首先,移动/状态识别单元108基于传感器数据来检测移动/状态模式(S202)。接下来,由地理分类单元110根据位置信息检测出地理分类信息(地理分类代码、地理分类直方图)(S204)。然后,行为/状况识别单元112根据移动/状态模式和地理分类信息检测行为/状况模式(S206).
接下来,行为验证单元206确定在日程表存储单元204中是否登记了日程表信息(S208)。在日程表存储单元204中登记了日程表信息的情况下,行为验证单元206进行到步骤S210的处理。另一方面,在日程表存储单元204中未登记日程表信息的情况下,行为验证单元206进行到步骤S212的处理。在进行到步骤S210的情况下,行为验证单元206从日程表信息查中看当前的计划事件和下一个计划事件(S210)。另一方面,在进行到步骤S212的处理的情况下,行为验证单元206获取用于指示由行为预测单元208基于行为/状况模式的历史(行为/状况模式历史)预测出的下一个行为的信息(S212)。
(登记了日程表信息的情况)
接下来,将参考图35B。在日程表存储单元204中登记了日程表信息的情况下,行为验证单元206通过图35A的预处理来获知在日程表信息中登记的当前计划事件或下一个计划事件。因此,行为验证单元206确定由位置传感器104检测到的当前位置和由行为/状况识别单元112检测出的当前行为/状况模式是否与在日程表信息中登记的当前计划事件匹配(S222)。在它们与当前计划事件匹配的情况下,行为验证单元206进行到步骤S224的处理。另一方面,在它们与当前计划事件不匹配的情况下,行为验证单元206进行到步骤S228的处理。
在进行到步骤S224的处理的情况下,行为验证单元206确定当前的计划事件是否已经结束(S224)。在当前的计划事件未结束的情况下,行为验证单元206进行到步骤S226的处理。另一方面,在当前的计划事件结束的情况下,行为验证单元206进行到步骤S230的处理。在进行到步骤S226的处理的情况下,行为验证单元206获取在日程表信息中登记的当前的计划事件(S226),并且进行到步骤S240的处理。
在行为验证单元206基于步骤S222的确定处理而进行到步骤S228的处理的情况下,行为验证单元206确定当前检测到的位置信息和行为/状况模式是否与下一个计划事件匹配(S228)。在它们与下一个计划事件匹配的情况下,行为验证单元206进行到步骤S230的处理。另一方面,在它们不与下一个计划事件匹配的情况下,行为验证单元206进行到步骤S232的处理。在进行到步骤S230的处理的情况下,行为验证单元206获取在日程表信息中登记的下一个计划事件(S230),并进行到步骤S240的处理。
在行为验证单元206基于步骤S228的确定处理而进行到步骤S232的处理的情况下,行为验证单元206确定当前检测到的位置信息和行为/状况模式是否与过去的计划事件匹配(S232)。在它们与过去的计划事件匹配的情况下,行为验证单元206进行到步骤S234的处理。另一方面,在它们与过去的计划事件不匹配的情况下,行为验证单元206进行到步骤S236的处理。在进行到步骤S234的处理的情况下,行为验证单元206获取在日程表信息中登记的过去的计划事件(S234),并进行到步骤S240的处理。
在行为验证单元206基于步骤S232的确定处理而进行到步骤S236的处理的情况下,行为验证单元206从行为预测单元208获取当前位置附近的行为预测数据(S236)。然后,行为验证单元206从行为预测单元208获取用户有可能接下来访问的地点的行为预测数据(S238),并进行到步骤S240的处理。
在进行到步骤S240的处理时,行为验证单元206查看计划行为的类型(S240)。计划行为的类型的示例包括美食相关的行为(就餐等)、娱乐、与汽车有关的行为等。接下来,行为验证单元206获取与计划行为的类型相应的信息(S242)。然后,行为验证单元206向应用程序显示单元210输入所获取的信息,并且在应用程序上显示该信息(S244)。然后,行为验证单元206结束与信息呈现有关的系列处理。
根据这样的配置,即使用户的行为未按照在日程表信息中登记的计划事件,也可以提供与时间点的行为/状况模式相应的适当信息。此外,即使在日程表信息中未登记用户的行为,也基于预测的行为/状况模式向用户呈现适当的信息。
(未登记日程表信息的情况)
接下来,参考图35C。在图35C中,在日程表存储单元204中未登记日程表信息的情况下,由行为预测单元208在图35A的预处理中建立行为预测数据。因此,行为验证单元206从行为预测单元208获取当前位置附近的行为预测数据(S252)。然后,行为验证单元206获取用户有可能接下来访问的地点的行为预测数据(S254)。
接下来,行为验证单元206基于多个行为预测数据来查看计划行为的类型(S256)。接下来,行为验证单元206获取与计划行为的类型相应的信息(S258)。然后,行为验证单元206向应用程序显示单元210输入所获取的信息,并且在应用程序上显示该信息(S260)。然后,行为验证单元206结束与信息呈现有关的系列处理。
根据这样的配置,即使在日程表存储单元204中未登记日程表信息,也可以预测用户的行为/状况模式,并且可以向用户呈现与场景相应的适当信息。
至此,已经描述了本发明的第二实施例。本实施例提出了一种将日程表信息和行为/状况模式彼此关联并向用户提供与状况相应的适当信息的技术。也提出了一种用于基于行为历史和位置历史来高效地和精确地预测用户的行为/状况模式的技术。通过使用这些技术,可以根据场景向用户提供更有效的信息。
<3:第三实施例>
接下来,将描述本发明的第三实施例。本实施例涉及一种使用通过在上述第一实施例中描述的行为/状况模式检测方法获得的行为/状况模式的方法。具体地说,本发明的技术涉及一种精细地控制ToDo(将做)信息的通知时机的技术,ToDo信息被登记作为用户的未来计划事件。本实施例进一步涉及一种在多个用户之间共享ToDo信息、并根据每一个用户的行为/状况模式来充分地控制通知接收器的技术。
<3-1:系统概览>
首先,将参考图36和37来描述根据本实施例的要由行为/状况分析系统30实现的功能的概览。图36和37是示出基于与ToDo信息的登记/通知应用程序的关联而呈现信息的有效方法的说明图。
首先,将参考图36。图36图示用于登记ToDo信息的应用程序的登记屏幕和已登记的ToDo信息的显示屏幕。在登记屏幕上,提供了:“最后期限”输入框,用于设定用于通知已登记的ToDo信息的时间段(当前到最后期限);“显示内容”框,用于登记期望通知的ToDo信息;时机框(“行为的类型”),用于设置通知时机;以及共享者选择框(“ToDo的共享?”),用于设置共享者。
可以在登记屏幕的时机框中选择性地输入在特定行为列表中包括的行为/状况模式。此外,可以在登记屏幕的共享者选择框中选择性地输入在特定组列表中包括的组。行为列表包括行为/状况模式,诸如“工作”、“进餐”、“购物”、“家务事”和“观看”。此外,组列表包括组,例如“家庭”、“俱乐部”、“垒球队”、“工作相关的”和“同事”。
当通过使用登记屏幕来登记如上所述的每一个项目时,根据行为/状况模式检测的结果在显示屏幕上显示ToDo信息。例如,在从行为列表中选择并登记“在回家的路上”的情况下,在根据用户的行为检测出的行为/状况模式是“在回家的路上”时,在显示屏幕上显示ToDo信息。在图36的示例中,将“在回家的路上要拿的东西”的购物列表登记为ToDo信息,并在检测到“在回家的路上”的行为/状况模式时,显示登记的购物列表“在回家的路上要拿的东西”和“去书店”
如所述,通过根据行为/状况模式来显示ToDo信息,自动地显示适当的ToDo信息,而不单独地设定每一个ToDo信息的显示时机。因此,可以省去用户登记的麻烦,并且即使用户的行为/状况模式与计划的不同,也可以在适当的时机自动地显示ToDo信息。
例如,如果将ToDo信息的显示时机设定为正常的到家时刻,则在与到家时间改变的情况下,则在与实际到家时间不同的时机显示ToDo信息。然而,对于图36的配置,这样的错误状况不发生。
另外,根据输入内容,在登记屏幕上输入ToDo信息的显示内容时,可以从行为列表中自动地选择行为/状况模式。另外,要自动选择的行为/状况模式可以被预先设定,或可以通过使用通过机器学习来自动建立的确定模型被设定。
例如,如图37中所示,在ToDo信息的显示内容是“购物列表”时,可以自动地选择与“购物列表”对应的行为/状况模式“移动(火车、公共汽车、小汽车、自行车)”、“在回家的路上”和“购物”。类似地,对于“消息列表”可以自动地选择“移动(徒步)和“行走”,对于“家庭帐目”可以自动地选择“购物”和“在购物后”,对于“卡路里检查”可以自动地选择“就餐”和“进餐后”,对于“听英语”可以自动地选择“移动(火车,公共汽车)”,对于“记录节目观看”自动地选择“家务事”和“观看电视”。
如所述,在根据行为/状况模式在适当的时机有效地显示ToDo信息的情况下,有可能更有效地使用ToDo信息。此外,在将随后描述的在多个用户之间共享ToDo信息并且通过使用行为/状况模式来选择ToDo信息的通知接收器的情况下,可以避免向无关的用户不适当地通知ToDo信息,由此减少用户的不愉快,同时,可以实现ToDo信息的有效提供。在下面,将详细描述能够实现这样的功能的行为/状况分析系统30的配置。
<3-2:整体系统配置>
首先,将参考图38来描述根据本实施例的行为/状况分析系统30的整体系统配置。图38是示出根据本实施例的行为/状况分析系统30的整体系统配置的示例的说明图。注意,使用相同的附图标记来表示具有与根据上述第一实施例的行为/状况分析系统10的功能基本上相同的功能的结构元件,并且省略对这些结构元件的重复解释。
如图38中所示,行为/状况分析系统30主要包括移动传感器102、位置传感器104、时间/日历信息获取单元106、移动/状态识别单元108、地理分类单元110和行为/状况识别单元112。此外,行为/状况分析系统30包括ToDo登记/通知应用程序302、ToDo管理单元304和数据库存储单元306。
当用户执行行为时,首先,移动传感器102检测到传感器数据。由移动传感器102检测到的传感器数据被输入到移动/状态识别单元108。此外,位置传感器104获取用于指示当前位置的位置信息。然后,由位置传感器104获取的关于当前位置的位置信息被输入到地理分类单元110。
当输入传感器数据时,移动/状态识别单元108通过使用传感器数据来检测移动/状态模式。然后,由移动/状态识别单元108检测出的移动/状态模式被输入到行为/状况识别单元112。此外,当输入关于当前位置的位置信息时,地理分类单元110获取地图信息MP,并通过使用所获取的地图信息MP来选择与当前位置对应的地理分类代码。此外,地理分类单元110计算与地理分类有关的直方图。由地理分类单元110选择的地理分类代码被输入到行为/状况识别单元112。
如所述,分别从移动/状态识别单元108和地理分类单元110向行为/状况识别单元112输入移动/状态模式和地理分类代码。此外,经由移动/状态识别单元108向行为/状况识别单元112输入传感器数据。此外,经由地理分类单元110向行为/状况识别单元112输入关于当前位置的位置信息。此外,从时间/日历信息获取单元106向行为/状况识别单元112输入时间/日历信息。
因此,行为/状况识别单元112基于已经输入的移动/状态模式、地理分类代码(直方图)和时间/日历信息来检测行为/状况模式。另外,在此使用的行为/状况模式检测方法可以是基于基于规则的确定或学习模型确定。由行为/状况识别单元112检测出的行为/状况模式被输入到ToDo登记/通知应用程序302。ToDo登记/通知应用程序302是用于向用户呈现ToDo信息(在显示屏幕上的内容),并且提供在用户登记ToDo信息(在登记屏幕上的内容)时使用的输入界面的部件。
当在ToDo登记/通知应用程序302中登记最后期限、显示内容、行为/状况模式和共享内容等(以下称为登记信息)时,从ToDo登记/通知应用程序302向ToDo管理单元304输入登记信息。当输入登记信息时,ToDo管理单元304在数据库存储单元306中存储登记信息。此外,ToDo登记/通知应用程序302向ToDo管理单元304输入从行为/状况识别单元112输入的行为/状况模式。
当输入行为/状况模式时,ToDo管理单元304参考在数据库存储单元306中存储的登记信息,并向ToDo登记/通知应用程序302输入与输入的行为/状况模式匹配的ToDo信息。当从ToDo管理单元304输入ToDo信息时,ToDo登记/通知应用程序302在显示屏幕上显示输入的ToDo信息。
另外,向ToDo管理单元304输入多个用户的行为/状况模式。因此,ToDo管理单元304在考虑到已经输入的多个行为/状况模式和关于该多个用户所属的组的信息的同时,基于在数据库存储单元306中存储的登记信息来选择ToDo信息的提供目标。然后,ToDo管理单元304向所选择的提供目标输入在ToDo登记/通知应用程序302中的ToDo信息。当从ToDo管理单元304输入ToDo信息时,每一个ToDo登记/通知应用程序302在显示屏幕上显示所输入的ToDo信息。
根据这样的配置,根据行为/状况模式在适当的时机向适当的用户提供ToDo信息。
<3-3:ToDo管理单元304的功能>
接下来,将参考图39-44来描述ToDo管理单元304的功能。
(概览)
首先,将参考图39和40来描述由ToDo管理单元304登记和通知ToDo信息的操作的概览。
如图39中所示,当从ToDo登记/通知应用程序302输入登记信息时,ToDo管理单元304在数据库存储单元306中存储该登记信息。在数据库存储单元306中设置了ToDo消息数据库、用户/组管理数据库和用户行为状态数据库。ToDo消息数据库是用于存储作为登记信息输入的ToDo信息的数据库。用户/组管理数据库是用于存储作为登记信息输入的关于用户和组的信息的数据库。用户行为状态数据库是用于存储在用户/组管理数据库中存储的用户的行为/状况模式的数据库。ToDo管理单元304在这些数据库中存储登记信息。
如上所述,从每个用户向ToDo管理单元304输入行为/状况模式。因此,ToDo管理单元304从ToDo消息数据库中提取与已经输入的行为/状况模式匹配的ToDo信息,并向已经输入了所述行为/状况模式的用户提供ToDo信息。此时,如果组与ToDo信息相关联,则在用户/组管理数据库中搜索具有匹配的行为/状况模式的用户的所属组,并且也向属于与ToDo信息相关联的组的用户提供该ToDo信息。
根据这样的配置,根据行为/状况模式来确定ToDo信息的通知时机和ToDo信息的通知目标,并且在与行为/状况模式相应的时机向通知目标通知ToDo信息。
如图40中所示,当通知ToDo信息并且用户完成ToDo的行为时,用户向ToDo管理单元304输入ToDo完成通知。当输入完成通知时,ToDo管理单元304从在数据库存储单元306中包括的ToDo消息数据库删除与完成通知对应的ToDo信息。然后,ToDo管理单元304向已经被通知了ToDo信息的用户发送完成通知。
在向每一个用户发送完成通知的情况下,每一个用户可以知道ToDo的完成。例如,在通知仅需要由组中的一个成员执行的ToDo的情况下,可以通过完成通知向该组的每一个用户通知用户完成了ToDo,以使该组的每一个用户知道该ToDo的完成。
以上述方式来执行ToDo的登记、通知、完成登记和完成通知。下面将描述用于实现这些功能的ToDo管理单元304的详细功能配置。
(详细配置,操作流程)
接下来,将参考图41和图42A-42D来描述ToDo管理单元304的详细功能配置和ToDo管理单元304的操作流程。图41是示出ToDo管理单元304的详细功能配置的示例的说明图。图42A-42D是示出ToDo管理单元304的操作流程的说明图。
如图41中所示,由ToDo登记单元312、ToDo完成登记单元314、ToDo同步单元316、ToDo通知单元318和定时器320来构造配置ToDo管理单元304。
(ToDo登记单元312的配置和操作)
在登记时向ToDo登记单元312输入登记信息。此时输入的登记信息包括诸如收件用户、通知接收器的范围、触发行为的类型(在行为列表中包括的行为/状况模式)、消息(ToDo信息)和重复/不重复等信息。当输入这些登记信息时,ToDo登记单元312在数据库存储单元306中存储这些信息。
具体地说,执行如图42A中所示的操作。如图42A中所示,当输入登记信息和关于已经输入登记信息的用户的信息(ID)等时,ToDo登记单元312参考用户/组管理数据库,并确定是否存在与输入的登记信息对应的用户(S302)。在用户/组管理数据库中存在对应的用户的情况下,ToDo登记单元312在ToDo消息数据库中登记在登记信息中包括的消息(S304)。在用户/组管理数据库中存在多个对应用户的情况下,针对所有对应用户中的每一个执行步骤S304的处理。
(ToDo完成登记单元314的配置和操作)
向ToDo完成登记单元314输入完成的ToDo的ID。如图42B中所示,当输入ID时,ToDo完成登记单元314确定是否存在与输入的ID对应的ToDo信息(S312)。然后,在未登记对应的ToDo信息的情况下,ToDo完成登记单元314结束该系列处理,而在登记了对应的ToDo信息的情况下,ToDo完成登记单元314进行到步骤S314的处理。在ToDo完成登记单元314进行到步骤S314的处理的情况下,ToDo完成登记单元314将在ToDo消息数据库中登记的对应的ToDo信息的状态设定为“完成”(S314)。此外,在不可能重复地使用ToDo信息的情况下,可以删除这样的ToDo信息。
(ToDo同步单元316的配置和操作)
由ToDo登记单元312和ToDo完成登记单元314执行的ToDo信息更新的通知被输入到ToDo同步单元316。如图42C中所示,ToDo同步单元316首先确定是否存在未执行相关通知处理(登记通知、完成通知)的ToDo(S322),并且在没有未被通知的ToDo的情况下结束系列处理。另一方面,在存在未被通知的ToDo的情况下,ToDo同步单元316选择未被通知的ToDo(S324),并向ToDo通知单元318输入选择结果。
(ToDo通知单元318的配置和操作)
用于指示未被通知的ToDo的信息被从ToDo同步单元316输入到ToDo通知单元318。如图42D中所示,ToDo通知单元318首先确定在用户的行为状态数据库中登记的该用户的行为/状况模式与未被通知的ToDo的触发是否彼此匹配(S322),并且在它们彼此不匹配的情况下,结束系列处理。另一方面,在它们彼此匹配的情况下,ToDo通知单元318进行到步骤S334的处理,并向用户通知未被通知的ToDo(S334)。
至此,已经描述了ToDo管理单元304的详细配置和操作。另外,成员列表、组、用户、ToDo列表、ToDo项目和行为/状况模式以数据库格式彼此相关联地登记在数据库存储单元306中。通过使用这样关联的数据库,可以在考虑在行为/状况模式与组等之间的关系的同时,在适当的时机向适当的提供目标提供ToDo信息。
例如,通过预先将ToDo和行为/状况模式相关联和登记,可以在检测到登记的行为/状况模式时向用户呈现与所述行为/状况模式相关联的ToDo信息。此外,通过考虑时间/日历信息,可以例如在行为/状况模式的起点和终点提供ToDo信息。例如,关于行为/状况模式“就餐”,可以在“就餐,开始”时呈现ToDo“拍摄就餐的画面”,并且可以在“就餐,结束”时呈现ToDo“卡路里检查”。
此外,可以在与行为/状况模式相应的时机取代ToDo显示而显示登记屏幕。根据这种配置,可以在适当的时机提示ToDo登记。此外,也可以设想一种通过使用用户自己或其他用户的登记历史来检测ToDo的周期或时机,并且通过使用检测结果来优化时机或提供目标的方法。
此外,也可以设想一种通过除了使用行为/状况模式之外还使用由位置传感器104检测到的位置信息或由地理分类单元110检测到的地理分类代码(区域特征等)来优化通知目标或ToDo的通知时机的方法。例如,可以设想用于在商业区或百货商店中的“购物”期间显示“要购买的礼物的列表”的应用模式。
(通知目标的选择)
在上面的解释中,已经指示了由多个用户共享ToDo信息的配置。在此,将参考图43和44来解释关于一种以ToDo的共享为前提,根据行为/状况模式来适当地选择ToDo信息的通知目标的方法。另外,这里将描述的方法涉及以下技术,该技术在向其他人通知ToDo的情况下,考虑到这些人的状况而自动地选择通知目标,或根据与ToDo的内容有关的通知目标的数量来自动地确定是否要向整个组通知ToDo。
(向具有匹配的行为/状况模式的用户通知ToDo的方法)
首先,将参考图43。图43示意性地示出自动选择具有匹配的行为/状况模式的用户并向所选择的用户通知ToDo的配置。在图43的示例中,推定下述情况:其中,向行为/状况模式为“移动”的用户通知ToDo信息“预订餐厅”。ToDo信息“预订餐厅”是仅需要由组中的一个成员执行的动作。
此外,这是最好向未处于忙状况中的用户请求的事情。在图43的示例中,在组中的三个用户中,两个在“工作”并且一个在“移动”。向行为/状况模式是“工作”的用户请求执行“预订餐厅”的ToDo是考虑不周的。此外,如果在“工作”期间通知“预订餐厅”,则发送该ToDo的用户可能使接收到该通知的用户感到不愉快。此外,通过电话等确认远处的用户的状况并请他“预订餐厅”是令人厌烦的。
然而,当使用本实施例的技术时,可以仅向行为/状况模式是“移动”的用户自动发送ToDo信息“预订餐厅”。为了实现这样的功能,首先,ToDo管理单元304监控由组中的每一个用户输入的行为/状况模式,并选择与行为/状况模式“移动”对应的用户。在选择了一个用户的情况下,ToDo管理单元304向该用户发送ToDo信息。此外,在选择了多个用户的情况下,ToDo管理单元304可以向该多个用户发送ToDo信息,或以向从该多个用户中选择的一个用户发送ToDo信息。
例如,在从多个用户中选择一个用户的情况下,ToDo管理单元304可以除了行为/状况模式之外还参考位置信息、地理分类代码(直方图)等。例如,在存在行为/状况模式是“移动”的三个用户并且他们分别在“移动(火车)”、“移动(小汽车)”和“移动(徒步)”的情况下,期望优先向“移动(徒步)”的用户通知ToDo信息。
此外,在存在根据地理分类代码(直方图)分别处于“购物区”、“山区”和“商业区”的三个用户的情况下,期望优先向在“购物区”中的用户通知ToDo信息。如所述,通过使用诸如行为/状况模式和地理分类代码等的信息来缩减ToDo信息的通知目标,可以选择更适当的通知目标。
(根据具有匹配的行为/状况模式的用户的数量来选择通知目标的方法)
接下来,将参考图44。图44示意性地示出用于根据具有匹配的行为/状况模式的用户的数量来自动地确定是否通知在ToDo信息的组中的所有用户的配置。在图44的示例中,对在具有匹配的行为/状况模式的同一组中的用户的数量进行计数,并在超过一半的组成员具有匹配的行为/状况模式的情况下,向在组中的所有用户通知ToDo信息。在这个示例中,设定行为/状况模式“移动”和ToDo信息“让我们出去吃饭”。
在向组中的用户提出建议“让我们出去吃饭”的情况下,某人可能希望预先知道将接受该建议的用户的数量。此外,如果将接受该建议的用户的数量大,则某人可能想提出这样的建议。然而,通常,不到提出了建议就不知道将接受建议的用户的数量。然而,依赖于建议的内容,有可能从行为/状况模式预测将接受建议的用户的数量。
如图44的示例中所示,很可能在“工作”状况中的用户不接受建议“让我们出去吃饭”。另一方面,很可能例如在“移动”的用户将接受该建议。因此,通过指定行为/状况模式和对匹配指定的行为/状况模式的用户的数量计数,可以估计将接受该建议的人的数量。因此,通过基于估计结果确定是否要提出建议(发送ToDo信息),有可能避免发出不成功的建议。此外,可以根据ToDo的内容来改变条件;例如,条件可以是超过一半用户的行为/状况模式的匹配、至少一个用户的行为/状况模式的匹配或所有用户的行为/状况模式的匹配。
通过使用这样的方法,可以防止提出无人接受的建议,并且可以向整个组发出有效的ToDo信息。虽然在图44的示例中示出向整个组发送ToDo信息的配置,但是ToDo信息的发送目标不限于此。此外,在此以ToDo信息作为示例进行了解释,但是图44的方法也可以被应用到任何信息分发技术。例如,这种方法可以被应用到邮件/新闻提供、软件分发、视频内容的提供或音乐内容的提供等。
(输入帮助)
接下来,将说明用于帮助在登记屏幕上的输入的方法。如图36中所示,在登记ToDo信息的情况下,除了输入最后期限信息和显示内容的操作之外,还必须执行从行为列表选择的操作和从组列表选择的操作。如图26中所示,可以在行为列表中描述的行为/状况模式的类型有各种各样。因此,在行为列表中搜索期望的行为/状况模式是令人厌烦的。因此,本发明的发明人设计了一种用于适当地缩减要显示的行为列表的方法。
(根据输入内容来缩减行为列表)
首先,可以设想一种用于根据用户在显示内容部分输入的文本内容来缩减到可能从中进行选择的行为列表的方法。例如,准备与相应的行为/状况模式有关的词的组,并向每一个词分配指示关联度的分数。ToDo登记/通知应用程序302从输入文本中提取在词的组中包括的词,并基于所提取的词的分数来计算文本和行为/状况模式之间的关联度。此外,ToDo登记/通知应用程序302以从最高开始的顺序布置所计算的关联度大于特定值的行为/状况模式,并将行为/状况模式显示为行为列表
通过以这种方式优先显示具有高关联度的行为/状况模式,可以从行为/状况列表中高效地选择期望的行为/状况模式。另外,形态分析等的方法可以用于提取词的方法。此外,可以预先设置或可以通过统计方法计算用于指示行为/状况模式与词之间的关联度的分数。
例如,可以设想一种将在选择特定行为/状况模式时使用的词的类型和其出现频率作为历史信息累积,并将频繁使用的词设定为具有高关联度(分数)的词的方法。此外,可以设想一种向在行为/状况模式的表达中包括的词设定高关联度的方法。例如,在“移动(火车)”的情况下,对于“移动”和“火车”设定高关联度。另外,可以通过在文本中出现的每一个词的出现频率来对分数加权。
(基于行为/状况模式等的缩减)
接下来,将介绍一种基于当前行为/状况模式等来呈现输入字符的候选的方法和一种缩减行为列表或共享列表的方法。例如,可以设想一种作为输入候选,优先呈现与当前位置的纬度和经度、区域特征(地理分类代码)或行为/状况模式(HC行为)有关的词的方法。类似地,可以设想一种基于与当前位置的纬度和经度、区域特征(地理分类代码)或行为/状况模式(HC行为)有关的词来缩减行为列表或共享列表的候选的方法。
例如,存在一种用于基于过去的登记历史来预测很可能在当前状况下输入的词并呈现所预测的词的方法。此外,存在一种重新布置行为列表以使得以从最可能在当前状况下登记的行为开始的顺序来列出行为的方法。类似地,存在一种重新布置共享列表(组列表)以使得以根据过去的登记历史最可能登记的组开始的顺序列出组的方法。注意,优选地以“HC行为>区域特征>纬度/经度”的顺序来设定重要等级,并且优选地根据每一个元素计算概率,并优选地根据重要等级来执行加权。
(在行为列表和共享列表之间的相关)
在在输入ToDo的内容之前从行为列表中选择行为/状况模式的情况下,可以设想一种用于呈现与所选择的行为/状况模式高度关联的词的候选,由此帮助输入内容的方法。也设想一种用于基于过去的登记历史来预测当选择特定行为/状况模式时很可能输入的词,并将该词作为输入候选呈现的方法。此外,也设想一种用于基于过去的登记历史来布置很可能以组列表中的顺序选择的共享组的方法。另外,除了登记历史之外,可以使用关于区域特征或纬度/经度的信息,或者可以优先使用新登记的那些信息。
至此,已经描述了本发明的第三实施例。根据本实施例,已经提出了一种用于将ToDo应用程序与行为/状况模式彼此相关联,并根据通知目标的状况在适当的时机向适当的提供目标通知ToDo的技术。通过使用这种技术,可以在有效的时机向用户提供ToDo信息。
<4:第四实施例>
接下来,将描述本发明的第四实施例。本实施例涉及一种使用通过在上述第一实施例中描述的行为/状况模式检测方法获得的行为/状况模式的方法。具体而言,本实施例的技术涉及一种根据用户的行为/状况模式来在屏幕上显示很可能被用户使用的应用程序,并帮助用户的应用程序选择的操作的技术。此外,通过根据行为/状况模式来切换诸如操作设置等设置信息,可以节省用户调出设置屏幕并且在每次环境改变时改变设置的麻烦。
<4-1:系统概览>
首先,将参考图45来描述由根据本实施例的行为/状况分析系统40实现的功能的概览。图45是示出行为/状况分析系统40的操作的示例和由该操作实现的显示配置的说明图。
如图45中所示,在行为/状况分析系统40中,首先,获取位置信息和传感器数据(S402)。然后,基于已经获取的位置信息和传感器数据等来检测行为/状况模式(S404)。接下来,基于所检测出的行为/状况模式来重新布置应用程序(S406)。例如,如果检测到行为/状况模式“购物”,则优先显示与购物有关的应用程序,如图45中所示。根据这样的配置,使得用户即使在使用被安装了多种应用程序的客户机设备时也能够马上找到与状况相应的适合应用程序,并且大大地增强方便性。
另外,每一个应用程序预先与行为/状况模式相关联。然而,应用程序本身是否使用行为/状况模式不是问题。此外,对于未与行为/状况模式关联的应用程序,可以在统计地计算了在用户的使用历史和行为/状况模式的历史之间的关系的情况下,基于所述关系来关联应用程序和行为/状况模式。此外,可以根据行为/状况模式对一个应用程序设定不同的操作设置。根据这样的配置,可以提供与行为/状况模式相应的用户界面。
<4-2:整体系统配置>
接下来,将参考图46来描述根据本实施例的行为/状况分析系统40的整体系统配置。图46是示出根据本实施例的行为/状况分析系统40的整体系统配置的示例的说明图。注意,使用相同的附图标记来表示具有与根据上述第一实施例的行为/状况分析系统10的功能基本上相同的功能的结构元件,并且省略对这些结构元件的重复解释。
如图46中所示,行为/状况分析系统40主要包括移动传感器102、位置传感器104、时间/日历信息获取单元106、移动/状态识别单元108、地理分类单元110和行为/状况识别单元112。此外,行为/状况分析系统40包括显示控制单元402和显示单元404。
当用户执行行为时,首先,移动传感器102检测到传感器数据。由移动传感器102检测到的传感器数据被输入到移动/状态识别单元108。此外,位置传感器104获取用于指示当前位置的位置信息。然后,由位置传感器104获取的关于当前位置的位置信息被输入到地理分类单元110。
当输入传感器数据时,移动/状态识别单元108通过使用所述传感器数据来检测移动/状态模式。然后,由移动/状态识别单元108检测出的移动/状态模式被输入到行为/状况识别单元112。此外,当输入关于当前位置的位置信息时,地理分类单元110获取地图信息MP,并通过使用所获取的地图信息MP来选择与当前位置对应的地理分类代码。此外,地理分类单元110计算与地理分类相关的直方图。由地理分类单元110选择的地理分类代码被输入到行为/状况识别单元112。
如上所述,分别从移动/状态识别单元108和地理分类单元110向行为/状况识别单元112输入移动/状态模式和地理分类代码。另外,经由移动/状态识别单元108向行为/状况识别单元112输入传感器数据。此外,经由地理分类单元110向行为/状况识别单元112输入关于当前位置的位置信息。此外,从时间/日历信息获取单元106向行为/状况识别单元112输入时间/日历信息。
因此,行为/状况识别单元112基于所输入的移动/状态模式、地理分类代码(直方图)和时间/日历信息来检测行为/状况模式。另外,在此使用的行为/状况模式检测方法可以基于基于规则的确定或学习模型确定。由行为/状况识别单元112检测出的行为/状况模式被输入到显示控制单元402。除了行为/状况模式之外,可以向显示控制单元402输入由位置传感器104检测到的位置信息和由地理分类单元110选择的地理分类代码。
当输入这些信息时,显示控制单元402根据输入信息来改变在显示单元404上显示的应用程序的布置。例如,显示控制单元402在显示单元404上仅显示与行为/状况模式相关联的应用程序。此外,显示控制单元402基于用户的行为历史和应用程序使用的历史来计算行为/状况模式与每一个应用程序之间的关联度,并在显示单元404上仅显示关联度大于特定值的应用程序。可以通过使用统计方法来计算在此使用的关联度。此外,显示控制单元402根据行为/状况模式来改变应用程序的操作设置。
至此,已经描述了本发明的第四实施例。通过使用本实施例的技术,可以在使用安装了多种应用程序的客户机设备时容易地找到期望的应用程序,并且大大地增强用户的方便性。此外,在根据行为/状况模式来自动地重置应用程序的操作设置的情况下,可以获得舒适的操作环境,而无需用户执行特殊的设定操作。此外,除了应用程序的操作设置之外,本实施例的技术还可以被应用到诸如背光设置、音量设置和功率控制设置等设置项目。
<5:硬件配置>
可以通过使用例如在图47中所示的信息处理设备的硬件配置来实现如上所述的服务器和客户机的功能。也就是说,通过使用计算机程序来控制图47中所示的硬件,实现每一个结构元件的功能。另外,这种硬件的模式是任意的,并且可以是个人计算机、诸如移动电话、PHS或PDA等移动信息终端、游戏机或各种信息设备。此外,PHS是个人手持式电话系统(Personal Handy-phone System)的缩写。此外,PDA是个人数字助理(Personal Digital Assistant)的缩写。
如图47中所示,该硬件主要包括CPU 902、ROM 904、RAM 906、主机总线908和电桥910。此外,该硬件还包括外部总线912、接口914、输入单元916、输出单元018、存储单元920、驱动器922、连接端口924和通信单元926。此外,CPU是中央处理单元(Central Processing Unit)的缩写。另外,ROM是只读存储器(Read Only Memory)的缩写。此外,RAM是随机存取存储器(Random Access Memory)的缩写。
CPU 902用作例如算术处理单元或控制单元,并基于在ROM 904、RAM 906、存储单元920或可拆卸记录介质928上记录的各种程序来控制每一个结构元件的整体操作或一部分操作。ROM 904是用于存储例如要在CPU 902上装载的程序或在算术运算中使用的数据等的部件。RAM906暂时或永久地存储例如要在CPU 902上装载的程序或在程序的执行中任意地改变的各种参数等。
这些结构元件通过例如能够执行高速数据传输的主机总线908来彼此连接。就主机总线908而言,它通过电桥910连接到例如外部总线912,外部总线912的数据传输速度较低。此外,输入单元916例如是鼠标、键盘、触摸板、按钮、开关或杆。此外,输入单元916可以是遥控器,所述遥控器可以通过使用红外线或其他无线电波来发射控制信号。
输出单元918例如是:诸如CRT、LCD、PDP或ELD等显示器、诸如扬声器或耳机等音频输出装置、打印机、移动电话或传真机,它们可以在视觉上或在听觉上向用户通知所获取的信息。此外,CRT是阴极射线管(Cathode Ray Tube)的缩写。LCD是液晶显示器(Liquid CrystalDisplay)的缩写。PDP是等离子体显示板(Plasma Display Panel)的缩写。此外,ELD是电激发光显示器(Electro-Luminescence Display)的缩写。
存储单元920是用于存储各种数据的装置。存储单元920例如是诸如硬盘驱动器(HDD)的磁存储装置、半导体存储器、光存储装置或磁光存储装置。HDD是硬盘驱动器(Hard Disk Drive)的缩写。
驱动器922是读取在可拆卸记录介质928上记录的信息或在可拆卸记录介质928中写入信息的装置,可拆卸记录介质928例如是磁盘、光盘、磁光盘或半导体存储器。可拆卸记录介质928例如是DVD介质、蓝光介质、HD-DVD介质或各种类型的半导体存储介质等。当然,可拆卸记录介质928可以是例如电子装置或安装有非接触IC芯片的IC卡。IC是集成电路(Integrated Circuit)的缩写。
连接端口924是诸如USB端口、IEEE1394端口、SCSI、RS-232C端口等端口,或用于连接诸如光音频终端等外部连接装置930的端口。外部连接装置930例如是打印机、移动音乐播放机、数字照相机、数字摄像机或IC记录器。此外,USB是通用串行总线(Universal Serial Bus)的缩写。此外,SCSI是小型计算机系统接口(Small Computer SystemInterface)的缩写。
通信单元926是要连接到网络932的通信装置,并且例如是用于有线或无线LAN、Bluetooth(蓝牙,注册商标)或WUSB的通信卡、光通信路由器、ADSL路由器或各种通信调制解调器。连接到通信单元926的网络932由有线连接或无线连接的网络构成,并且网络932例如是因特网、家用LAN、红外线通信、可见光通信、广播或卫星通信。此外,LAN是局域网(Local Area Network)的缩写。此外,WUSB是无线USB(WirelessUSB)的缩写。此外,ADSL是非对称数字用户线(Asymmetric DigitalSubscriber Line)的缩写。
本领域内的技术人员应当明白,可以根据设计要求或其他因素来进行各种变型、组合、子组合和改变,只要这些变型、组合、子组合和改变在所附的权利要求或其等同内容的范围内。
本申请包含与在2009年10月2日在日本专利局提交的日本优先权专利申请2009-230579中公开的主题相关的主题,该日本优先权专利申请的整体内容通过引用合并在此。

Claims (11)

1.一种行为模式分析系统,包括:
移动终端,所述移动终端包括:
移动传感器,其检测用户的移动,并输出移动信息;
当前位置信息获取单元,其获取关于当前位置的信息;
建筑物信息获取单元,其获取关于在所述当前位置信息获取单元获取的信息所指示的位置存在的建筑物的信息、或关于在所述当前位置和所述当前位置附近存在的建筑物的信息;
第一行为模式检测单元,其分析从所述移动传感器输出的所述移动信息,并从多个第一行为模式中检测出与所述移动信息对应的第一行为模式,所述多个第一行为模式是通过分类由所述用户在较短时间段内进行的行为而获得的;
时间信息获取单元,其获取关于由所述当前位置信息获取单元获取所述关于当前位置的信息的时间点的时间的信息;以及
发送单元,其向服务器发送由所述建筑物信息获取单元获取的所述关于建筑物的信息、由所述第一行为模式检测单元检测出的所述第一行为模式和由所述时间信息获取单元获取的关于时间的信息;以及
服务器,其包括:
接收单元,其从所述移动终端接收所述关于建筑物的信息和所述第一行为模式;以及
第二行为模式检测单元,其分析由所述接收单元接收的所述关于建筑物的信息和所述第一行为模式,并从多个第二行为模式中检测出与所述关于建筑物的信息和所述第一行为模式对应的第二行为模式,所述多个第二行为模式是通过分类由所述用户在较长时间段内进行的行为而获得的
其特征在于,所述服务器为所述第一行为模式与所述关于时间的信息的每一种组合保存分数图,所述分数图向所述关于建筑物的信息与所述第二行为模式的每一种组合分配分数,
其中,在基于由所述第一行为模式检测单元检测出的所述第一行为模式和由所述时间信息获取单元获取的所述关于时间的信息来选择所述分数图,并从所选择的分数图中提取与由所述建筑物信息获得单元获取的所述关于在所述当前位置存在的建筑物的信息对应的分数的组合,并且所提取的分数组合中的最高分数是特定值或更小的情况下,所述第二行为模式检测单元通过使用特定机器学习算法来建立用于根据所述关于建筑物的信息和所述第一行为模式检测出所述第二行为模式的检测模型,并通过使用所建立的检测模型来检测出与由所述接收单元接收的所述关于建筑物的信息和所述第一行为模式对应的第二行为模式。
2.根据权利要求1所述的行为模式分析系统,
其中,所述移动终端进一步包括:
存储单元,其中存储了日程表信息,所述日程表信息用于以时间系列的方式记录能够用所述第二行为模式的组合来表达的用户的行为;
匹配确定单元,其读取在所述存储单元中存储的所述日程表信息,并确定在所述日程表信息中记录的所述用户的当前行为、过去行为和未来行为与由所述第二行为模式检测单元检测出的所述第二行为模式是否匹配;以及
显示单元,其根据所述匹配确定单元的确定结果来显示实际的行为是与在所述日程表信息中记录的日程表匹配、在所述日程表之后、还是在所述日程表之前。
3.根据权利要求2所述的行为模式分析系统,
其中,所述服务器进一步包括行为预测单元,其通过使用由所述第二行为模式检测单元检测出的所述第二行为模式的历史来预测所述用户接下来要执行的第二行为模式,
其中,在确定与所述第二行为模式匹配的所述用户的行为未被记录在所述日程表信息中的情况下,所述匹配确定单元从所述服务器获取由所述行为预测单元预测的所述第二行为模式,并从所述日程表信息中提取与所获取的第二行为模式匹配的所述用户的行为,以及
其中,所述显示单元显示与由所述匹配确定单元提取出的所述用户的行为相关的信息。
4.根据权利要求3所述的行为模式分析系统,
其中,所述服务器包括:
位置信息累积单元,其通过所述接收单元来接收由所述当前位置信息获取单元获取的所述关于当前位置的信息和由所述第一行为模式检测单元检测出的所述第一行为模式,并在所述存储单元中存储所述第一行为模式的历史和所述关于当前位置的信息;以及
聚类单元,其通过使用由所述位置信息累积单元在所述存储单元中累积的所述第一行为模式的历史和所述关于当前位置的信息来将所述用户长时间停留的地点聚类,并计算在每一个所述地点停留的停留概率和在所述地点之间移动的移动概率,以及
其中,所述行为预测单元基于由所述聚类单元计算出的所述停留概率和所述移动概率来预测所述用户接下来要执行的所述第二行为模式。
5.根据权利要求1所述的行为模式分析系统,
其中,所述行为模式分析系统包括多个移动终端,以及
其中,所述服务器进一步包括
通知信息存储单元,其将特定第二行为模式和要在特定时间通知的通知信息彼此关联地存储;以及
信息通知单元,其在所述特定时间,参考由所述第二行为模式检测单元基于由所述接收单元从每一个所述移动终端接收的所述关于建筑物的信息和所述第一行为模式而检测出的所述第二行为模式,并向与第二行为模式对应的移动终端通知所述通知消息,所述第二行为模式与所述特定第二行为模式相同。
6.根据权利要求5所述的行为模式分析系统,其中,所述信息通知单元对与所述特定第二行为模式相同的第二行为模式对应的移动终端的数量计数,并在所述移动终端的数量是特定数量或更多的情况下,向所有所述多个移动终端通知所述通知信息。
7.一种移动终端,包括:
移动传感器,其检测用户的移动,并输出移动信息;
当前位置信息获取单元,其获取关于当前位置的信息;
建筑物信息获取单元,其获取关于在所述当前位置信息获取单元获取的信息所指示的位置存在的建筑物的信息、或关于在所述当前位置和所述当前位置附近存在的建筑物的信息;
第一行为模式检测单元,其分析从所述移动传感器输出的所述移动信息,并从多个第一行为模式中检测出与所述移动信息对应的第一行为模式,所述多个第一行为模式是通过分类由所述用户在较短时间段内进行的行为而获得的;
时间信息获取单元,其获取关于由所述当前位置信息获取单元获取所述关于当前位置的信息的时间点的时间的信息;以及
第二行为模式检测单元,其分析由所述建筑物信息获取单元获取的所述关于建筑物的信息和由所述第一行为模式检测单元检测出的所述第一行为模式,并从多个第二行为模式中检测出与所述关于建筑物的信息和所述第一行为模式对应的第二行为模式,所述多个第二行为模式是通过分类由所述用户在较长时间段内进行的行为而获得的,
其特征在于,为所述第一行为模式与所述关于时间的信息的每一种组合提供分数图,所述分数图向所述关于建筑物的信息与所述第二行为模式的每一种组合分配分数,
其中,在基于由所述第一行为模式检测单元检测出的所述第一行为模式和由所述时间信息获取单元获取的所述关于时间的信息来选择所述分数图,并从所选择的分数图中提取与由所述建筑物信息获得单元获取的所述关于在所述当前位置存在的建筑物的信息对应的分数的组合,并且所提取的分数组合中的最高分数是特定值或更小的情况下,所述第二行为模式检测单元通过使用特定机器学习算法来建立用于根据所述关于建筑物的信息和所述第一行为模式检测出所述第二行为模式的检测模型,并通过使用所建立的检测模型来检测出与所述关于建筑物的信息和所述第一行为模式对应的第二行为模式。
8.根据权利要求7所述的移动终端,
其中,所述建筑物信息获取单元获取所述建筑物的分类类型和每一种分类类型的建筑物的数量来作为关于在所述当前位置和所述当前位置附近存在的建筑物的信息,以及
其中,所述第二行为模式检测单元
基于由所述第一行为模式检测单元检测出的所述第一行为模式和由所述时间信息获取单元获取的所述关于时间的信息来选择所述分数图;
从所选择的分数图中提取与由所述建筑物信息获取单元获取的各个分类类型对应的分数的组合;
通过相应的最高分数来归一化在与各个分类类型对应的分数的组合中包括的每一个分数;
根据由所述建筑物信息获取单元获取的每一种分类类型的建筑物的数量来对与各个分类类型对应的分数的归一化组合进行加权;以及
对每一个第二行为模式加上与各个分类类型对应的加权分数,并检测相加结果最大的第二行为模式。
9.根据权利要求7所述的移动终端,进一步包括:
显示单元,在所述显示单元上显示用于启动与所述第二行为模式相关联的应用程序的显示对象;以及
显示控制单元,其使得所述显示单元根据由所述第二行为模式检测单元检测出的所述第二行为模式来优先显示与用于启动所述第二行为模式相关联的应用程序的所述显示对象。
10.一种行为模式分析服务器,包括:
接收单元,其从移动终端接收移动信息和关于当前位置的信息,所述移动终端包括移动传感器和当前位置信息获取单元,所述移动传感器检测用户的移动并输出所述移动信息,所述当前位置信息获取单元获取所述关于当前位置的信息;
建筑物信息获取单元,其获取关于在所述接收单元接收的所述关于当前位置的信息所指示的位置存在的建筑物的信息、或关于在所述当前位置和在所述当前位置附近存在的建筑物的信息;
第一行为模式检测单元,其分析由所述接收单元接收的所述移动信息,并从多个第一行为模式中检测出与所述移动信息对应的第一行为模式,所述多个第一行为模式是通过分类由所述用户在较短时间段内进行的行为而获得的;
时间信息获取单元,其获取关于由所述当前位置信息获取单元获取所述关于当前位置的信息的时间点的时间的信息;以及
第二行为模式检测单元,其分析由所述建筑物信息获取单元获取的所述关于建筑物的信息和由所述第一行为模式检测单元检测出的所述第一行为模式,并从多个第二行为模式中检测出与所述关于建筑物的信息和所述第一行为模式对应的第二行为模式,所述多个第二行为模式是通过分类由所述用户在较长时间段内进行的行为而获得的,
其特征在于,为所述第一行为模式与所述关于时间的信息的每一种组合提供分数图,所述分数图向所述关于建筑物的信息与所述第二行为模式的每一种组合分配分数,
其中,在基于由所述第一行为模式检测单元检测出的所述第一行为模式和由所述时间信息获取单元获取的所述关于时间的信息来选择所述分数图,并从所选择的分数图中提取与由所述建筑物信息获得单元获取的所述关于在所述当前位置存在的建筑物的信息对应的分数的组合,并且所提取的分数组合中的最高分数是特定值或更小的情况下,所述第二行为模式检测单元通过使用特定机器学习算法来建立用于根据所述关于建筑物的信息和所述第一行为模式检测出所述第二行为模式的检测模型,并通过使用所建立的检测模型来检测出与所述关于建筑物的信息和所述第一行为模式对应的第二行为模式。
11.一种行为模式分析方法,包括以下步骤:
获取移动信息,所述移动信息指示移动传感器的检测结果,所述移动传感器用于检测用户的移动;
获取关于当前位置的信息;
获取关于在所述获取关于当前位置的信息的步骤中获取的所述关于当前位置的信息所指示的位置存在的建筑物的信息、或关于在所述当前位置和所述当前位置附近存在的建筑物的信息;
分析在所述获取移动信息的步骤中获取的所述移动信息,并从多个第一行为模式中检测出与所述移动信息对应的第一行为模式,所述多个第一行为模式是通过分类由所述用户在较短时间段内进行的行为而获得的;
获取关于在获取关于当前位置的信息的步骤中获取所述关于当前位置的信息的时间点的时间的信息;以及
分析在所述获取关于建筑物的信息的步骤中获取的所述关于建筑物的信息和在所述分析所述移动信息并检测出第一行为模式的步骤中检测出的所述第一行为模式,并从多个第二行为模式中检测出与所述关于建筑物的信息和所述第一行为模式对应的第二行为模式,所述多个第二行为模式是通过分类由所述用户在较长时间段内进行的行为而获得的,
其特征在于,为所述第一行为模式与所述关于时间的信息的每一种组合提供分数图,所述分数图向所述关于建筑物的信息与所述第二行为模式的每一种组合分配分数,
其中,在基于在所述分析所述移动信息并检测出第一行为模式的步骤中检测出的所述第一行为模式和在所述获取关于时间的信息的步骤中获取的所述关于时间的信息来选择所述分数图,并从所选择的分数图中提取与在所述获取关于建筑物的信息的步骤中获取的所述关于在所述当前位置存在的建筑物的信息对应的分数的组合,并且所提取的分数组合中的最高分数是特定值或更小的情况下,通过使用特定机器学习算法来建立用于根据所述关于建筑物的信息和所述第一行为模式检测出所述第二行为模式的检测模型,并通过使用所建立的检测模型来检测出与所述关于建筑物的信息和所述第一行为模式对应的第二行为模式。
CN201010292553.0A 2009-10-02 2010-09-25 行为模式分析系统、移动终端、行为模式分析方法和程序 Active CN102036163B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009230579A JP5440080B2 (ja) 2009-10-02 2009-10-02 行動パターン解析システム、携帯端末、行動パターン解析方法、及びプログラム
JP2009-230579 2009-10-02

Publications (2)

Publication Number Publication Date
CN102036163A CN102036163A (zh) 2011-04-27
CN102036163B true CN102036163B (zh) 2014-07-23

Family

ID=43823440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010292553.0A Active CN102036163B (zh) 2009-10-02 2010-09-25 行为模式分析系统、移动终端、行为模式分析方法和程序

Country Status (3)

Country Link
US (2) US8438127B2 (zh)
JP (1) JP5440080B2 (zh)
CN (1) CN102036163B (zh)

Families Citing this family (183)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9052204B2 (en) * 2009-10-14 2015-06-09 Nec Corporation Behavior pattern extraction system, apparatus, method and recording medium storing program
WO2012031278A1 (en) * 2010-09-02 2012-03-08 Pepperdash Technology Corporation Automated facilities management system
US9078233B2 (en) * 2010-10-28 2015-07-07 Nec Casio Mobile Communications, Ltd. Mobile terminal device, notification method, and program
US8495143B2 (en) 2010-10-29 2013-07-23 Facebook, Inc. Inferring user profile attributes from social information
TW201222431A (en) * 2010-11-26 2012-06-01 Inst Information Industry Behavior pattern recognition method, system and computer application program thereof
US9195309B2 (en) * 2011-05-27 2015-11-24 Qualcomm Incorporated Method and apparatus for classifying multiple device states
CN102821350B (zh) * 2011-06-08 2016-08-31 深圳富泰宏精密工业有限公司 出游带路系统和方法
JP5768517B2 (ja) 2011-06-13 2015-08-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
EP2719999B1 (en) * 2011-06-13 2018-07-11 Panasonic Intellectual Property Corporation of America Geomagnetic position detection apparatus and geomagnetic pattern acquisition method
JP6031735B2 (ja) * 2011-06-13 2016-11-24 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
JP2013042360A (ja) * 2011-08-16 2013-02-28 Sony Corp 情報処理装置、情報処理方法、及びプログラム
JP5831084B2 (ja) * 2011-09-20 2015-12-09 大日本印刷株式会社 スポット情報提供装置、スポット情報提供システム及びスポット情報提供プログラム
US20130084882A1 (en) * 2011-09-30 2013-04-04 Qualcomm Incorporated Becoming more "aware" through use of crowdsourcing and device interaction
JP2013083553A (ja) * 2011-10-11 2013-05-09 Sony Corp 情報処理装置、情報処理方法、及びプログラム
US20130246595A1 (en) 2011-10-18 2013-09-19 Hugh O'Donoghue Method and apparatus for using an organizational structure for generating, using, or updating an enriched user profile
KR101365993B1 (ko) * 2011-12-29 2014-02-21 홍익대학교 산학협력단 데이터처리방법, 데이터처리장치, 데이터수집방법, 및 정보제공방법
JP2013156950A (ja) * 2012-01-31 2013-08-15 Fujitsu Ltd 情報処理方法、情報処理プログラム及びサーバ
US20140365412A1 (en) * 2012-02-01 2014-12-11 Yosef Mizrachi Method and system for improving prediction in online gaming
JP5938760B2 (ja) 2012-03-13 2016-06-22 株式会社日立製作所 移動量推定システム、移動量推定方法、移動端末
JP5949000B2 (ja) * 2012-03-15 2016-07-06 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP6144502B2 (ja) * 2012-03-16 2017-06-07 国立大学法人佐賀大学 立位か座位を判別する方法、それを用いた混雑状況通知方法、混雑状況通知装置及びそのプログラム
US8947323B1 (en) * 2012-03-20 2015-02-03 Hayes Solos Raffle Content display methods
KR101943986B1 (ko) * 2012-03-21 2019-01-31 삼성전자주식회사 애플리케이션 또는 컨텐트를 추천하는 이동 통신 단말 및 추천 방법
KR101939683B1 (ko) * 2012-03-29 2019-01-18 삼성전자 주식회사 사용자 행동 실시간 인식장치 및 방법
US9405897B1 (en) * 2012-03-30 2016-08-02 Emc Corporation Authenticating an entity
EP2658291B1 (de) * 2012-04-24 2018-06-13 Scheidt & Bachmann GmbH Verfahren zur automatisierten Ermittlung des Aufenthaltsortes einer Person
US9008688B2 (en) * 2012-05-07 2015-04-14 Qualcomm Incorporated Calendar matching of inferred contexts and label propagation
US9277013B2 (en) 2012-05-10 2016-03-01 Qualcomm Incorporated Storing local session data at a user equipment and selectively transmitting group session data to group session targets based on dynamic playback relevance information
US9215553B2 (en) * 2012-05-11 2015-12-15 Rowles Holdings, Llc Automatic determination of and reaction to mobile user routine behavior based on geographical and repetitive pattern analysis
CN103428628A (zh) * 2012-05-17 2013-12-04 宇龙计算机通信科技(深圳)有限公司 一种网络信号强度提示方法及系统
JP6115028B2 (ja) * 2012-05-28 2017-04-19 セイコーエプソン株式会社 行動記録装置、行動記録方法及び行動記録プログラム
US20130325779A1 (en) * 2012-05-30 2013-12-05 Yahoo! Inc. Relative expertise scores and recommendations
JP5895716B2 (ja) 2012-06-01 2016-03-30 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP5935516B2 (ja) 2012-06-01 2016-06-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP5904021B2 (ja) * 2012-06-07 2016-04-13 ソニー株式会社 情報処理装置、電子機器、情報処理方法、及びプログラム
US20130346420A1 (en) * 2012-06-22 2013-12-26 Polaris Wireless, Inc. Method And System For Identifying Aberrant Wireless Behavior
EP3101561A1 (en) * 2012-06-22 2016-12-07 Google, Inc. Ranking nearby destinations based on visit likelihoods and predicting future visits to places from location history
JP6037325B2 (ja) * 2012-06-22 2016-12-07 公立大学法人首都大学東京 行動促進システム、行動促進方法、及び行動促進システム用のプログラム
TWI455076B (zh) * 2012-07-16 2014-10-01 Hong Ze Kuo 用以記憶輔助學習之可攜式通訊裝置、其系統及其方法與電腦可讀取媒體
JP5944770B2 (ja) * 2012-07-17 2016-07-05 株式会社デンソーアイティーラボラトリ 行先提案システム、行先提案方法、およびプログラム
AU2015252057B2 (en) * 2012-07-20 2017-11-23 Facebook, Inc. Adjusting mobile device state based on user intentions and/or identity
US9052896B2 (en) 2012-07-20 2015-06-09 Facebook, Inc. Adjusting mobile device state based on user intentions and/or identity
US8938411B2 (en) 2012-08-08 2015-01-20 Facebook, Inc. Inferring user family connections from social information
US9196008B2 (en) * 2012-08-13 2015-11-24 Facebook, Inc. Generating guest suggestions for events in a social networking system
US9971830B2 (en) * 2012-09-06 2018-05-15 Facebook, Inc. Recommending users to add to groups in a social networking system
CN104584007B (zh) 2012-09-06 2018-01-09 索尼公司 信息处理设备、信息处理方法及程序
CN103685208B (zh) * 2012-09-25 2017-07-14 华为技术有限公司 用户数据标注方法、终端设备及服务器
EP2741468B1 (en) * 2012-09-25 2018-06-13 Huawei Technologies Co., Ltd. Method for labelling user data, terminal device and server
US10402426B2 (en) 2012-09-26 2019-09-03 Facebook, Inc. Generating event suggestions for users from social information
JP6048074B2 (ja) * 2012-11-02 2016-12-21 富士ゼロックス株式会社 状態推定プログラム及び状態推定装置
US9049549B2 (en) 2012-11-08 2015-06-02 xAd, Inc. Method and apparatus for probabilistic user location
JP6814236B2 (ja) 2012-11-30 2021-01-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報処理方法
WO2014083779A1 (ja) * 2012-11-30 2014-06-05 パナソニック株式会社 情報提供方法
KR101428252B1 (ko) * 2012-12-06 2014-09-23 한국과학기술원 모바일 기기에서 사용자 인터랙션에 기반한 서비스 목록 추천 방법 및 이를 이용하는 모바일 기기
WO2014097348A1 (ja) * 2012-12-18 2014-06-26 富士通株式会社 情報処理装置の制御方法、制御プログラム、情報処理装置
US10235683B2 (en) * 2014-07-18 2019-03-19 PlaceIQ, Inc. Analyzing mobile-device location histories to characterize consumer behavior
EP2958307B1 (en) 2013-02-12 2020-04-22 Sony Corporation Information processing device, information processing method, and program
JP6254577B2 (ja) * 2013-03-08 2017-12-27 ソニー株式会社 情報処理装置、システム、情報処理方法およびプログラム
JP5999256B2 (ja) 2013-03-28 2016-09-28 富士通株式会社 情報管理装置、情報管理システム、情報管理方法、及び情報管理プログラム
CN103218442A (zh) * 2013-04-22 2013-07-24 中山大学 一种基于移动设备传感器数据的生活模式分析方法及系统
JP6191248B2 (ja) * 2013-06-04 2017-09-06 富士通株式会社 情報処理装置及び情報処理プログラム
US20140358722A1 (en) * 2013-06-04 2014-12-04 Sony Corporation Smart shopping reminders while driving
US9438576B2 (en) * 2013-06-12 2016-09-06 Luiz M Franca-Neto Apparatus and method for validation and authorization of device and user by global positioning and non-prompted exchange of information
EP3012743A4 (en) 2013-06-18 2017-03-08 Sony Corporation Information processing device, information processing method and program
JP6372056B2 (ja) * 2013-07-05 2018-08-15 富士ゼロックス株式会社 情報処理装置及び表示制御プログラム
US9846174B2 (en) * 2013-07-12 2017-12-19 Roy Schwartz Computer-implemented methods and computer systems/machines for identifying dependent and vehicle independent states
US9934669B2 (en) 2013-07-17 2018-04-03 Vivint, Inc. Geo-location services
JP6195241B2 (ja) * 2013-08-01 2017-09-13 Kddi株式会社 端末および状況推定システム
JP6183047B2 (ja) 2013-08-12 2017-08-23 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5654105B1 (ja) * 2013-09-05 2015-01-14 株式会社Ubic 行動解析システム、行動解析方法、および、行動解析プログラム
KR102065415B1 (ko) * 2013-09-09 2020-01-13 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
JP6260190B2 (ja) * 2013-10-17 2018-01-17 カシオ計算機株式会社 電子機器、電子機器を制御するコンピュータが実行する設定方法、及びプログラム
US10402870B2 (en) * 2013-11-05 2019-09-03 Walmart Apollo, Llc System and method for indicating queue characteristics of electronic terminals
JP2015127884A (ja) * 2013-12-27 2015-07-09 Necパーソナルコンピュータ株式会社 情報処理装置、情報処理方法、及びプログラム
CN104866696A (zh) * 2014-02-20 2015-08-26 联想(北京)有限公司 一种信息处理的方法及电子设备
EP3591577A1 (en) * 2014-05-22 2020-01-08 Sony Corporation Information processing apparatus, information processing method, and program
CN106416303B (zh) * 2014-05-26 2022-07-05 雅马哈株式会社 连接确认系统、连接确认程序、连接确认方法和连接检测设备
JPWO2015190141A1 (ja) * 2014-06-13 2017-04-20 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US9934453B2 (en) * 2014-06-19 2018-04-03 Bae Systems Information And Electronic Systems Integration Inc. Multi-source multi-modal activity recognition in aerial video surveillance
JP6311478B2 (ja) * 2014-06-20 2018-04-18 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2015194269A1 (ja) * 2014-06-20 2015-12-23 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN104091053B (zh) * 2014-06-26 2017-09-29 李南君 用于自动检测行为模式的方法和设备
US10120892B2 (en) 2014-08-12 2018-11-06 At&T Intellectual Property I, L.P. Profile verification service
JP6546385B2 (ja) * 2014-10-02 2019-07-17 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
CN105574730A (zh) * 2014-10-10 2016-05-11 中兴通讯股份有限公司 基于物联网大数据平台的智能用户画像方法及装置
KR102058894B1 (ko) * 2014-10-31 2020-02-20 에스케이텔레콤 주식회사 예측 기반 동작 인식 장치 및 기록매체
KR20160051231A (ko) * 2014-11-03 2016-05-11 삼성전자주식회사 약속 장소 위치 예측 방법 및 이를 제공하는 전자 장치
US20160148648A1 (en) * 2014-11-20 2016-05-26 Facebook, Inc. Systems and methods for improving stabilization in time-lapse media content
EP3232395A4 (en) * 2014-12-09 2018-07-11 Sony Corporation Information processing device, control method, and program
CN105760646A (zh) * 2014-12-18 2016-07-13 中国移动通信集团公司 一种活动分类方法和装置
JP6683134B2 (ja) * 2015-01-05 2020-04-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US9914218B2 (en) 2015-01-30 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and apparatuses for responding to a detected event by a robot
US10037712B2 (en) 2015-01-30 2018-07-31 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist devices and methods of detecting a classification of an object
US10217379B2 (en) 2015-01-30 2019-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Modifying vision-assist device parameters based on an environment classification
JP6461639B2 (ja) * 2015-02-23 2019-01-30 Kddi株式会社 学習データ生成システム、学習データ生成方法およびプログラム
CN107208920B (zh) * 2015-03-27 2019-09-27 三菱电机株式会社 终端装置、空调设备以及可穿戴终端
US9965754B2 (en) 2015-06-08 2018-05-08 Google Llc Point of sale terminal geolocation
CN105119743B (zh) * 2015-08-07 2017-05-10 百度在线网络技术(北京)有限公司 用户行为意图的获取方法及装置
US10726825B2 (en) 2015-08-28 2020-07-28 Sony Corporation Information processing apparatus, information processing method, and program
KR101615730B1 (ko) * 2015-08-28 2016-04-27 주식회사 코노랩스 일정 관리를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
JP6426296B2 (ja) * 2015-09-28 2018-11-21 シャープ株式会社 予定管理装置、電子機器、予定管理装置の制御方法、および制御プログラム
JP2017063949A (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN105138875A (zh) * 2015-09-30 2015-12-09 百度在线网络技术(北京)有限公司 用户信息的识别方法及装置
JP6160670B2 (ja) * 2015-10-07 2017-07-12 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
CN105357637B (zh) * 2015-10-28 2019-06-11 同济大学 一种位置和行为信息预测系统及方法
US10455363B2 (en) * 2015-11-04 2019-10-22 xAd, Inc. Systems and methods for using geo-blocks and geo-fences to discover lookalike mobile devices
US10278014B2 (en) * 2015-11-04 2019-04-30 xAd, Inc. System and method for using geo-blocks and geo-fences to predict mobile device locations
US10547971B2 (en) * 2015-11-04 2020-01-28 xAd, Inc. Systems and methods for creating and using geo-blocks for location-based information service
KR101817583B1 (ko) * 2015-11-30 2018-01-12 한국생산기술연구원 깊이 이미지를 이용한 행동 패턴 분석 시스템 및 방법
JP6798106B2 (ja) * 2015-12-28 2020-12-09 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6459994B2 (ja) * 2016-01-28 2019-01-30 三菱電機株式会社 推薦情報提示装置、推薦情報提示システム、推薦情報提示方法、推薦情報提示プログラム
JP2017146810A (ja) * 2016-02-18 2017-08-24 株式会社日立製作所 行動特定システムおよび行動特定方法
JP6183489B2 (ja) * 2016-03-02 2017-08-23 ソニー株式会社 情報処理システム、情報処理方法、及びプログラム
WO2017159109A1 (ja) * 2016-03-15 2017-09-21 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6134411B1 (ja) * 2016-03-17 2017-05-24 ヤフー株式会社 情報処理装置、情報処理システム、情報処理方法、および、情報処理プログラム
JP6784044B2 (ja) * 2016-03-24 2020-11-11 カシオ計算機株式会社 行動解析装置、行動解析方法及びプログラム
JP2017195448A (ja) * 2016-04-18 2017-10-26 京セラ株式会社 携帯機器、制御方法、及び制御プログラム
JP2016184416A (ja) * 2016-05-20 2016-10-20 ソニー株式会社 情報処理装置、情報処理方法および記憶媒体
US10401502B2 (en) * 2016-06-07 2019-09-03 Timothy B. Morford Low energy Wi-Fi device for location
JP6139806B1 (ja) * 2016-06-30 2017-05-31 三菱電機インフォメーションシステムズ株式会社 人数推定装置、人数推定プログラム及び通過数推定装置
US10754161B2 (en) 2016-07-12 2020-08-25 Mitsubishi Electric Corporation Apparatus control system
US10003924B2 (en) 2016-08-10 2018-06-19 Yandex Europe Ag Method of and server for processing wireless device sensor data to generate an entity vector associated with a physical location
US20180053102A1 (en) * 2016-08-16 2018-02-22 Toyota Jidosha Kabushiki Kaisha Individualized Adaptation of Driver Action Prediction Models
US10611379B2 (en) 2016-08-16 2020-04-07 Toyota Jidosha Kabushiki Kaisha Integrative cognition of driver behavior
US11120353B2 (en) 2016-08-16 2021-09-14 Toyota Jidosha Kabushiki Kaisha Efficient driver action prediction system based on temporal fusion of sensor data using deep (bidirectional) recurrent neural network
CN106230849B (zh) * 2016-08-22 2019-04-19 中国科学院信息工程研究所 一种基于用户行为的智能设备机器学习安全监测系统
US9805306B1 (en) * 2016-11-23 2017-10-31 Accenture Global Solutions Limited Cognitive robotics analyzer
JP2018105628A (ja) * 2016-12-22 2018-07-05 カシオ計算機株式会社 電子機器、マッチング候補探索方法及びプログラム
JP6710644B2 (ja) * 2017-01-05 2020-06-17 株式会社東芝 動作解析装置、動作解析方法およびプログラム
KR101916675B1 (ko) * 2017-01-22 2018-11-08 계명대학교 산학협력단 사용자 인터랙션을 위한 제스처 인식 방법 및 시스템
JP6254726B1 (ja) * 2017-02-10 2017-12-27 ヤフー株式会社 生成装置、生成方法、及び生成プログラム
KR101955939B1 (ko) * 2017-02-13 2019-03-11 남서울대학교 산학협력단 공간필터링과 기계학습을 통한 행위인식 방법 및 그 장치
WO2018151127A1 (ja) * 2017-02-15 2018-08-23 日本電気株式会社 携帯型停止判定装置、停止判定システム、停止判定方法およびプログラム記憶媒体
JP2017152003A (ja) * 2017-03-23 2017-08-31 セイコーエプソン株式会社 行動記録装置、行動記録方法及び行動記録プログラム
KR102299427B1 (ko) * 2017-03-28 2021-09-07 라인 가부시키가이샤 사용자의 할일 목록에 대한 알림을 제공하는 방법 및 시스템
WO2018179411A1 (ja) * 2017-03-31 2018-10-04 ファーストアカウンティング株式会社 会計処理システム及び会計処理方法
US20180293359A1 (en) 2017-04-10 2018-10-11 International Business Machines Corporation Monitoring an individual's condition based on models generated from e-textile based clothing
CN108696558B (zh) * 2017-04-11 2022-04-26 腾讯科技(深圳)有限公司 位置信息处理方法和装置
CN107391605A (zh) * 2017-06-30 2017-11-24 北京奇虎科技有限公司 基于地理位置的信息推送方法、装置及移动终端
CN107241697A (zh) * 2017-06-30 2017-10-10 北京奇虎科技有限公司 用于移动终端的用户行为确定方法、装置及移动终端
CN107396306A (zh) * 2017-06-30 2017-11-24 北京奇虎科技有限公司 基于移动终端的用户活动状态识别方法、装置及移动终端
CN107172590B (zh) * 2017-06-30 2020-07-10 北京奇虎科技有限公司 基于移动终端的活动状态信息处理方法、装置及移动终端
CN109429331B (zh) * 2017-07-13 2021-08-10 北京嘀嘀无限科技发展有限公司 定位方法、装置及存储介质
JP6385600B1 (ja) 2017-07-19 2018-09-05 三菱電機株式会社 行動可視化装置および行動可視化方法
JP7221586B2 (ja) * 2017-07-25 2023-02-14 ヤフー株式会社 抽出装置、抽出方法、及び抽出プログラム
CN107592421A (zh) * 2017-09-18 2018-01-16 北京金山安全软件有限公司 移动终端的自助服务方法及装置
CN107784597B (zh) * 2017-09-19 2021-09-28 平安科技(深圳)有限公司 出行方式识别方法、装置、终端设备及存储介质
JP2019070913A (ja) * 2017-10-06 2019-05-09 株式会社野村総合研究所 スケジュール情報分析システム及びプログラム
KR102089002B1 (ko) * 2017-10-27 2020-03-13 김현우 행동에 대한 피드백을 제공하는 웨어러블 디바이스 및 방법
KR102055742B1 (ko) * 2017-12-20 2019-12-13 (주)휴레이포지티브 외식패턴의 분석에 따른 건강 관리 방법과 서버 및 휴대용 단말기
KR20200111680A (ko) * 2018-01-23 2020-09-29 소니 주식회사 정보 처리 장치, 정보 처리 방법, 및 기록 매체
WO2019146024A1 (ja) 2018-01-24 2019-08-01 富士通株式会社 画面生成プログラム、画面生成方法および情報処理装置
JP7120565B2 (ja) * 2018-02-02 2022-08-17 Kddi株式会社 車載制御装置
US20190268721A1 (en) * 2018-02-26 2019-08-29 Hewlett Packard Enterprise Development Lp Producing information relating to locations and mobility of devices
US11040850B2 (en) 2018-03-27 2021-06-22 Otis Elevator Company Seamless elevator call from mobile device application
JP7270604B2 (ja) * 2018-03-29 2023-05-10 株式会社Nttドコモ 判定装置
US11040851B2 (en) 2018-04-26 2021-06-22 Otis Elevator Company Elevator system passenger frustration reduction
US11699522B2 (en) * 2018-04-27 2023-07-11 Tata Consultancy Services Limited Unified platform for domain adaptable human behaviour inference
US11134359B2 (en) 2018-08-17 2021-09-28 xAd, Inc. Systems and methods for calibrated location prediction
US11146911B2 (en) 2018-08-17 2021-10-12 xAd, Inc. Systems and methods for pacing information campaigns based on predicted and observed location events
US10349208B1 (en) 2018-08-17 2019-07-09 xAd, Inc. Systems and methods for real-time prediction of mobile device locations
US11172324B2 (en) 2018-08-17 2021-11-09 xAd, Inc. Systems and methods for predicting targeted location events
CN111115400B (zh) * 2018-10-30 2022-04-26 奥的斯电梯公司 检测电梯井道中的电梯维护行为的系统和方法
US10863329B2 (en) * 2018-12-19 2020-12-08 Intel Corporation Methods and apparatus for conditional classifier chaining in a constrained machine learning environment
JP7150225B2 (ja) * 2019-02-05 2022-10-11 日本信号株式会社 施設誘導システム
CN109963250A (zh) * 2019-03-07 2019-07-02 普联技术有限公司 情景类别识别方法、装置、处理平台及系统
US11151519B2 (en) * 2019-05-13 2021-10-19 International Business Machines Corporation Event reminder notification system
CN110213718A (zh) * 2019-05-24 2019-09-06 北京小米移动软件有限公司 感知终端行为的方法及装置
AT522734B1 (de) * 2019-06-26 2021-03-15 Ait Austrian Inst Tech Gmbh Verfahren zur Ermittlung eines Bewegungsprofils einer Person
JP7427216B2 (ja) 2019-09-20 2024-02-05 株式会社ギックス 人流動分析方法、プログラム、コンピュータ記憶媒体及び人流動分析システム
KR102243259B1 (ko) * 2019-10-07 2021-04-21 주식회사 한화 시선 추적 기술을 기반으로 하는 작업자의 작업을 학습 및 평가하기 위한 장치 및 그 방법
CN110909047B (zh) * 2019-11-28 2022-05-17 大连海事大学 一种面向指定时刻的日常行为识别方法
US11073907B1 (en) * 2020-01-28 2021-07-27 Dell Products L.P. System and method of adjusting of an environment associated with a user
US20210329407A1 (en) * 2020-04-20 2021-10-21 T-Mobile Usa, Inc. Constrained user device location using building topology
CN111782966B (zh) * 2020-06-30 2023-07-28 北京百度网讯科技有限公司 用户分群方法、装置、计算机设备和介质
JP2022015778A (ja) * 2020-07-10 2022-01-21 コニカミノルタ株式会社 作業特性取得装置、作業特性取得方法及びプログラム
US12014299B2 (en) 2020-08-26 2024-06-18 International Business Machines Corporation Hyper-detection of user activity
JP2022107137A (ja) * 2021-01-08 2022-07-21 富士通株式会社 情報処理装置、出力方法、および出力プログラム
WO2023036665A1 (en) * 2021-09-07 2023-03-16 Signify Holding B.V. Receiving and analyzing consumer behavior data using visible light communication
JP2023093173A (ja) * 2021-12-22 2023-07-04 株式会社日立製作所 行動支援装置、行動支援システム、および行動支援方法
CN114820692B (zh) * 2022-06-29 2023-07-07 珠海视熙科技有限公司 跟踪目标的状态分析方法、装置、存储介质和终端
CN115205982B (zh) * 2022-09-08 2023-01-31 深圳市维海德技术股份有限公司 起立跟踪检测方法、电子设备及介质
US20240192762A1 (en) * 2022-12-08 2024-06-13 Stmicroelectronics, Inc. Sensor unit with on-device unsupervised learning and classification

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7119831B2 (en) * 2002-01-17 2006-10-10 Sony Corporation Information providing apparatus, information providing method, storage medium, and computer program

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3460400B2 (ja) * 1995-08-10 2003-10-27 松下電工株式会社 日常生活行動の解析方法及びその装置
JP3505040B2 (ja) * 1996-07-11 2004-03-08 株式会社リコー 携帯型情報処理装置
US6677963B1 (en) * 1999-11-16 2004-01-13 Verizon Laboratories Inc. Computer-executable method for improving understanding of business data by interactive rule manipulation
US20020111154A1 (en) * 2001-02-14 2002-08-15 Eldering Charles A. Location based delivery
US20030135582A1 (en) * 2001-12-21 2003-07-17 Docomo Communications Laboratories Usa, Inc. Context aware search service
JP3998968B2 (ja) * 2001-12-25 2007-10-31 三菱電機株式会社 移動体ナビゲーション装置
JP2003271634A (ja) * 2002-03-12 2003-09-26 Mazda Motor Corp 情報提供方法及びそのコンピュータ・プログラム
WO2004077291A1 (ja) * 2003-02-25 2004-09-10 Matsushita Electric Industrial Co., Ltd. アプリケーションプログラムの予測方法及び移動体端末
US20040225654A1 (en) * 2003-05-09 2004-11-11 International Business Machines Corporation Techniques for invoking services based on patterns in context determined using context mining
JP4305048B2 (ja) * 2003-05-15 2009-07-29 ソニー株式会社 地域属性判定方法、地域属性判定装置、および地域属性判定プログラム
JP4220360B2 (ja) * 2003-11-28 2009-02-04 株式会社東芝 行動イベント情報生成装置、行動イベント情報生成方法及び行動イベント情報収集装置
US20070005363A1 (en) * 2005-06-29 2007-01-04 Microsoft Corporation Location aware multi-modal multi-lingual device
JP4783181B2 (ja) * 2006-03-13 2011-09-28 株式会社東芝 行動予測装置
JP5041202B2 (ja) 2006-06-20 2012-10-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US8606497B2 (en) * 2006-11-03 2013-12-10 Salient Imaging, Inc. Method, system and computer program for detecting and monitoring human activity utilizing location data
JP4797948B2 (ja) * 2006-11-22 2011-10-19 株式会社デンソー 運転行動推定方法および装置
US7882056B2 (en) * 2007-09-18 2011-02-01 Palo Alto Research Center Incorporated Method and system to predict and recommend future goal-oriented activity
US7984006B2 (en) * 2007-09-18 2011-07-19 Palo Alto Research Center Incorporated Learning a user's activity preferences from GPS traces and known nearby venues
WO2009043020A2 (en) * 2007-09-28 2009-04-02 The Trustees Of Dartmouth College System and method for injecting sensed presence into social networking applications
US8457888B2 (en) * 2009-03-08 2013-06-04 Mitac International Corp. Method for reminding users about future appointments while taking into account traveling time to the appointment location

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7119831B2 (en) * 2002-01-17 2006-10-10 Sony Corporation Information providing apparatus, information providing method, storage medium, and computer program

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Activity-Based Serendipitous Recommendations with the Magitti Mobile Leisure Guide;Victoria Bellotti et al.;《CHI 2008 Proceedings》;20080410;摘要,第1157页第2栏 *
Victoria Bellotti et al..Activity-Based Serendipitous Recommendations with the Magitti Mobile Leisure Guide.《CHI 2008 Proceedings》.2008,摘要,第1157页第2栏.

Also Published As

Publication number Publication date
US8438127B2 (en) 2013-05-07
JP2011081431A (ja) 2011-04-21
CN102036163A (zh) 2011-04-27
US20130304685A1 (en) 2013-11-14
JP5440080B2 (ja) 2014-03-12
US20110081634A1 (en) 2011-04-07

Similar Documents

Publication Publication Date Title
CN102036163B (zh) 行为模式分析系统、移动终端、行为模式分析方法和程序
US10044818B2 (en) Notification related to predicted future geographic location of mobile device
CN102521019B (zh) 基于上下文向用户提供信息
US7577522B2 (en) Spatially associated personal reminder system and method
US20170351767A1 (en) Information processing system, information processing device, control method, and program
US7783590B2 (en) Task selection apparatus and task selection assistance method
CN102132589A (zh) 用于显示所监视位置的用户定义名称
KR20160038836A (ko) 사용자에게 콘텐트를 제공하기 위한 장치 및 방법
WO2014061224A1 (ja) エリアマップ提供システム、端末装置、及びサーバ装置
EP3680838A1 (en) Information processing device and information processing method
KR101680266B1 (ko) 지역 서비스 정보를 이용한 상황 정보 생성 장치 및 방법
CN107851243A (zh) 推断物理会议位置
CN103020001A (zh) 信息发送方法、信息接收方法及电子设备
JP2009163715A (ja) ディスプレイ連動装置及び方法
CN110160548B (zh) 用于生成行驶路线的方法、系统和装置
Takeuchi et al. A user-adaptive city guide system with an unobtrusive navigation interface
JP2004326211A (ja) 情報処理装置および方法、記録媒体、並びにプログラム
CN110781403B (zh) 信息处理装置、信息处理系统、以及信息处理方法
JP2022030060A (ja) 情報処理装置、情報処理方法、及び、プログラム
US20040224699A1 (en) Targeted information access via portable device
JP6360089B2 (ja) 携帯情報端末、携帯情報端末の制御方法、及びプログラム
JP2001202373A (ja) 情報提供装置を管理する情報管理装置及びこれと送受信する情報端末
CN110431593B (zh) 约会支援系统、约会支援方法及存储介质
JP2023015753A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
KR101669253B1 (ko) 사용자를 프로파일링하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant