JP2017174212A - 行動解析装置、行動解析方法及びプログラム - Google Patents

行動解析装置、行動解析方法及びプログラム Download PDF

Info

Publication number
JP2017174212A
JP2017174212A JP2016060473A JP2016060473A JP2017174212A JP 2017174212 A JP2017174212 A JP 2017174212A JP 2016060473 A JP2016060473 A JP 2016060473A JP 2016060473 A JP2016060473 A JP 2016060473A JP 2017174212 A JP2017174212 A JP 2017174212A
Authority
JP
Japan
Prior art keywords
behavior
specific
action
user
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016060473A
Other languages
English (en)
Other versions
JP2017174212A5 (ja
JP6784044B2 (ja
Inventor
喜多 一記
Kazunori Kita
一記 喜多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2016060473A priority Critical patent/JP6784044B2/ja
Priority to US15/450,387 priority patent/US20170279907A1/en
Priority to CN201710171951.9A priority patent/CN107224290A/zh
Publication of JP2017174212A publication Critical patent/JP2017174212A/ja
Publication of JP2017174212A5 publication Critical patent/JP2017174212A5/ja
Application granted granted Critical
Publication of JP6784044B2 publication Critical patent/JP6784044B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00Indicating or recording presence, absence, or direction, of movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121Determining geometric values, e.g. centre of rotation or angular range of movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/535Tracking the activity of the user
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/0423Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting deviation from an expected pattern of behaviour or schedule

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】ユーザの行動解析をより適切に行うこと。【解決手段】行動解析装置1は、特定行動検出部52と、行動解析部53と、を備える。特定行動検出部52は、ユーザにおける特定行動を検出する。行動解析部53は、特定行動に対応する期間におけるユーザの関連行動を解析する。これにより、ユーザの行動において、特定行動に対応する期間の行動として蓋然性の高い行動が行動解析結果としてより取得され易いものとなる。【選択図】図2

Description

本発明は、行動解析装置、行動解析方法及びプログラムに関する。
従来、各種センサによる測定結果に基づいてユーザの行動を解析する技術が知られている。
例えば、特許文献1には、センサを装着したユーザの歩行等の動きを捉えて速度等を計算し、ユーザの運動を解析する技術が開示されている。
特開2015−188605号公報
しかしながら、ユーザの行動を解析する従来の技術においては、センサの検出結果によって表されるユーザの行動を解析しているため、解析されるユーザの行動の具体性及び解析精度が十分ではなかった。
本発明は、このような状況に鑑みてなされたものであり、ユーザの行動解析をより適切に行うことを目的とする。
上記目的を達成するため、本発明の一態様の行動解析装置は、
ユーザにおける特定行動を検出する特定行動検出手段と、
前記特定行動に対応する期間における前記ユーザの関連行動を解析する行動解析手段と、
を備えることを特徴とする。
本発明によれば、ユーザの行動解析をより適切に行うことができる。
本発明の一実施形態に係る行動解析装置のハードウェアの構成を示すブロック図である。 図1の行動解析装置の機能的構成のうち、行動解析処理を実行するための機能的構成を示す機能ブロック図である。 ユーザの行動履歴のデータから特定行動が検出される状態を示す模式図である。 特定行動が検出されることにより、特定行動に対応する関連行動が特定される様子を示す模式図である。 図2の機能的構成を有する図1の行動解析装置が実行する行動解析処理の流れを説明するフローチャートである。 行動解析処理のステップS18において実行される立ち座り/移動判定処理の流れを説明するフローチャートである。 移動手段判定処理の流れを説明するフローチャートである。
以下、本発明の実施形態について、図面を用いて説明する。
[第1実施形態]
[ハードウェア構成]
図1は、本発明の一実施形態に係る行動解析装置1のハードウェアの構成を示すブロック図である。
行動解析装置1は、例えばスマートフォンあるいはリスト端末等のウェアラブル機器として構成され、ユーザに携帯または装着された状態で使用される。
行動解析装置1は、第1CPU(Central Processing Unit)11Aと、第2CPU11Bと、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、GPS(Global Positioning System)部16と、センサ部17と、撮像部18と、入力部19と、出力部20と、記憶部21と、通信部22と、ドライブ23と、を備えている。
第1CPU11A及び第2CPU11Bは、ROM12に記録されているプログラム、または、記憶部21からRAM13にロードされたプログラムに従って各種の処理を実行する。例えば、第1CPU11A及び第2CPU11Bは、後述する行動解析処理のためのプログラムに従って、行動解析処理を実行する。
また、第1CPU11Aは、第2CPU11Bよりも低消費電力で動作可能(例えば、動作クロック周波数がより低い等)な構成となっている。第2CPU11Bの機能をFPGA(Field‐Programmable Gate Array)やASIC(Application Specific Integrated Circuit)で実現することとしてもよい。なお、本実施形態では、図1に示すように、第1CPU11Aと第2CPU11Bとを併せてCPU11としている。
RAM13には、第1CPU11A及び第2CPU11Bが各種の処理を実行する上において必要なデータ等も適宜記憶される。
第1CPU11A及び第2CPU11B、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、GPS部16、センサ部17、撮像部18、入力部19、出力部20、記憶部21、通信部22及びドライブ23が接続されている。
GPS部16は、アンテナを含み複数のGPS衛星から送信されるGPS信号を受信して、行動解析装置1の位置情報を取得する。
センサ部17は、3軸加速度センサ、ジャイロセンサ、磁気センサ、気圧センサ及び生体センサ等の各種センサを備えている。
撮像部18は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部18の出力信号として出力される。
このような撮像部18の出力信号は、第1CPU11Aあるいは第2CPU11B等に適宜供給される。
入力部19は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部20は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部21は、ハードディスクあるいはDRAM(Dynamic Random Access Memory)等で構成され、各種センサの出力データや各種画像のデータを記憶する。
通信部22は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。また、通信部22は、RFID(Radio Frequency Identifier)タグあるいはNFC(Near Field Communication)タグ等の無線タグを備えている。
ドライブ23には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ23によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部21にインストールされる。また、リムーバブルメディア31は、記憶部21に記憶されている各種センサの出力データ等も、記憶部21と同様に記憶することができる。
[機能的構成]
図2は、図1の行動解析装置1の機能的構成のうち、行動解析処理を実行するための機能的構成を示す機能ブロック図である。
行動解析処理とは、ユーザにおける特定の行動を行動解析の契機となる行動として検出し、当該特定の行動に隣接する期間(時間的な前後の期間)の行動を、当該特定の行動と対応付けて判定することにより、ユーザの行動を解析する一連の処理をいう。
行動解析処理が実行される場合には、図2に示すように、第1CPU11Aにおいて、センサ情報取得部51と、特定行動検出部52とが機能し、第2CPU11Bにおいて、行動解析部53が機能する。
また、記憶部21の一領域には、履歴データ記憶部71と、関連行動記憶部72と、解析結果記憶部73とが設定される。
履歴データ記憶部71には、ユーザの行動履歴のデータが記憶される。例えば、履歴データ記憶部71には、GPS部16の測位データ、センサ部17の各種センサの出力データ、メールの送信履歴等の通信履歴、ユーザによって使用されたアプリの履歴等、行動解析装置1の各種動作の履歴のデータが記憶される。
関連行動記憶部72には、ユーザにおける特定の行動(以下、適宜「特定行動」と呼ぶ。)と、当該特定行動と関連する行動(以下、適宜「関連行動」と呼ぶ。)とが対応付けて記憶されている。特定行動としては、所定の関連行動の前または後、あるいは、前及び後に行われる可能性が高い行動が定義されている。
具体的には、特定行動には、所定の関連行動の開始に対応する第1の特定行動と、所定の関連行動の終了に対応する第2の特定行動とが含まれ、所定の関連行動の開始及び終了に対応する第1の特定行動と第2の特定行動との組み合わせを定義することも可能である。
即ち、第1の特定行動は対応する関連行動の開始を示唆し、第2の特定行動は対応する関連行動の終了を示唆するものとなる。
例えば、「平日の特定の時間帯に玄関を出る」という第1の特定行動に対しては、「通勤する」という関連行動が対応付けられている。
また、例えば、「自宅から一定距離以上離れた位置で写真を所定枚数以上撮影する」という第2の特定行動に対しては、「旅行に出かける」という関連行動が対応付けられている。
さらに、デスクワークの職場において、「座る」という第1の特定行動と「立ち上がる」という第2の特定行動との組み合わせに対しては、「仕事をする(デスクワーク)」という関連行動が対応付けられている。
なお、特定行動及び関連行動は、単一の行動として定義することの他、複数の行動の組み合わせとして定義することのいずれも可能である。例えば、第1の特定行動として、「起床後に立ち上がり、その後に座る」という行動の組み合わせを定義することができ、この場合の関連行動として、「食事する」という行動を定義することができる。また、例えば、「通勤する」という関連行動として、「歩行、バスでの移動及び電車での移動」という3種類の行動の組み合わせを定義することができる。
このように、センサの出力のみから行動を解析した場合、現在の行動自体の解析結果(例えば、「座る」あるいは「座っている」等)が取得される状況において、本実施形態の行動解析装置1では、前後の行動と対応して定義された関連行動(例えば、「食事する」等)であるか否かが解析される。
解析結果記憶部73には、行動解析処理の結果であるユーザの行動が記憶される。例えば、解析結果記憶部73には、ユーザのある1日の行動として、起床、食事(朝食)、通勤、仕事、帰宅、ジョギング、食事(夕食)、就寝といった行動が時系列に記憶される。
センサ情報取得部51は、GPS部16の測位データ及びセンサ部17の各種センサの出力データを取得し、ユーザの行動履歴のデータとして、履歴データ記憶部71に記憶する。
特定行動検出部52は、関連行動記憶部72を参照し、履歴データ記憶部71に記憶されたユーザの行動履歴のデータから、行動解析の契機となる行動として、特定行動を検出する。
図3は、ユーザの行動履歴のデータから特定行動が検出される状態を示す模式図である。なお、図3においては、加速度センサの出力データから、ユーザの特定行動として、立ち上がり動作及び座り動作が検出される状態を示している。
図3に示すように、ユーザが行動解析装置1を種々の状態で視聴している際に、ユーザが座り動作を行った場合(期間C)、あるいは、ユーザが立ち上がり動作を行った場合(期間E)には、これらの行動を特定行動として検出することができる。
行動解析部53は、特定行動検出部52によって、履歴データ記憶部71に記憶されたユーザの行動履歴のデータから、特定行動が検出された場合、関連行動記憶部72を参照し、ユーザの行動履歴のデータに、当該特定行動に対応する関連行動が存在するか否かの判定を行う。ユーザの行動履歴のデータに、当該特定行動に対応する関連行動が存在しない場合、ユーザの行動履歴のデータにおいて、行動の要素(履歴における最小単位の行動)及び行動の種別(ユーザの生活における行動の種類)に基づいて、ユーザが行った可能性のある行動を判定する。なお、このとき判定される行動としては、誤りのない判定結果となることを重視し、ユーザの行動履歴のデータから明確に特定可能な範囲で行動を判定することができる。例えば、「X地点からY地点まで時速Z[km]で移動した」といった判定結果であれば、取得されるデータから明確に判定できるため、誤りとなる可能性を低いものとできる。
一方、ユーザの行動履歴のデータに、当該特定行動に対応する関連行動が存在する場合、行動解析部53は、当該関連行動をユーザの行動として判定する。
具体的には、行動解析部53は、特定行動検出部52によって検出された特定行動に対応付けて関連行動記憶部72に記憶されている関連行動を取得し、履歴データ記憶部71において、その特定行動に隣接する期間の行動が関連行動と一致するか否かの判定を行う。
例えば、行動解析部53は、第1の特定行動が検出されている場合、第1の特定行動の後の期間において、第1の特定行動に対応する関連行動と一致する行動が行われているか否かの判定を行う。そして、行動解析部53は、第1の特定行動に対応する関連行動と一致する行動が行われている場合、当該期間のユーザの行動を第1の特定行動に対応する関連行動として判定し、行動の日時と対応付けて解析結果記憶部73に記憶する。
また、行動解析部53は、第2の特定行動が検出されている場合、第2の特定行動の前の期間において、第2の特定行動に対応する関連行動と一致する行動が行われているか否かの判定を行う。そして、行動解析部53は、第2の特定行動に対応する関連行動と一致する行動が行われている場合、当該期間のユーザの行動を第2の特定行動に対応する関連行動として判定し、行動の日時と対応付けて解析結果記憶部73に記憶する。
さらに、行動解析部53は、特定行動検出部52によって、第1の特定行動及び第2の特定行動の組み合わせが検出されている場合、行動解析部53は、当該第1の特定行動及び第2の特定行動の間の期間において、第1の特定行動及び第2の特定行動に対応する関連行動と一致する行動が行われているか否かの判定を行う。そして、行動解析部53は、第1の特定行動及び第2の特定行動に対応する関連行動と一致する行動が行われている場合、当該期間のユーザの行動を第1の特定行動及び第2の特定行動に対応する関連行動として判定し、行動の日時と対応付けて解析結果記憶部73に記憶する。
図4は、特定行動が検出されることにより、特定行動に対応する関連行動が特定される様子を示す模式図である。なお、図4の行動は職場で行われているものとする。
図4に示すように、センサの出力(ここでは加速度センサ)によって、座り動作及び立ち上がり動作を検出することができ、これらを第1の特定行動及び第2の特定行動とすることができる。
すると、これら第1の特定行動及び第2の特定行動の組み合わせに対する関連行動として、「仕事をする(デスクワーク)」という行動が対応付けられていることから、行動解析部53は、履歴データ記憶部71において、第1の特定行動及び第2の特定行動の間の期間の行動履歴のデータを参照し、当該期間のユーザの行動が「仕事をする(デスクワーク)」という関連行動と一致するか否かを判定する。本実施形態において、行動解析部53は、当該期間のユーザの行動が、「仕事をする(デスクワーク)」という関連行動に明らかに一致しない行動である場合を除き、当該期間のユーザの行動を「仕事をする(デスクワーク)」という関連行動であると判定する。
即ち、職場で座り動作が行われてから立ち上がり動作が行われるまでは、「仕事をする(デスクワーク)」という行動が行われる可能性が高いところ、行動解析部53による行動解析の結果として、「仕事をする」という行動であると判定される。なお、同一の特定行動(または特定行動の組み合わせ)に対して、複数の関連行動が対応付けられている場合、行動解析部53は、ユーザの行動履歴のデータを参照し、最も可能性の高い関連行動を選択する。
このように、本実施形態における行動解析部53の行動解析では、特定行動に隣接する期間の行動が、関連行動記憶部72に記憶されている特定行動の関連行動と照合されるため、限定された行動パターンのデータとの一致を判定すればよく、具体的かつ高精度な行動解析を行うことができる。
また、本実施形態における行動解析装置1では、第2CPU11Bよりも低消費電力で動作可能な第1CPU11Aにおいて、センサ情報取得部51及び特定行動検出部52が常時あるいは間欠的に動作していればよく、第2CPU11Bにおいて動作する行動解析部53は、特定行動検出部52によって特定行動が検出されたタイミングで起動すればよい。
そのため、行動解析処理を行う上で、第2CPU11Bは必要に応じて起動すればよいため、行動解析装置1の低消費電力化を図ることができる。
[動作]
図5は、図2の機能的構成を有する図1の行動解析装置1が実行する行動解析処理の流れを説明するフローチャートである。
行動解析処理は、ユーザによる入力部19への行動解析処理開始の操作により開始される。
ステップS11において、センサ情報取得部51は、各種センサの出力データを取得する。
ステップS12において、センサ情報取得部51は、各種センサの出力データを取得日時と対応付けて履歴データ記憶部71に記憶する。
ステップS13において、センサ情報取得部51は、GPS部16の測位データを取得する。
ステップS14において、センサ情報取得部51は、取得日時と対応付けて測位データを履歴データ記憶部71に記憶する。
ステップS15において、特定行動検出部52は、履歴データ記憶部71に記憶されているユーザの行動履歴のデータを参照し、ユーザの移動距離(位置情報の差分)及び移動速度(平均値)を算出する。
ステップS16において、特定行動検出部52は、所定距離以上または所定速度以上の移動を検出したか否かの判定を行う。なお、ユーザの所定距離以上または所定速度以上の移動は、特定行動として関連行動記憶部72に記憶されているものとする。
所定距離以上または所定速度以上の移動を検出した場合、ステップS16においてYESと判定されて、処理はステップS17に移行する。
一方、所定距離以上または所定速度以上の移動を検出していない場合、ステップS16においてNOと判定されて、処理はステップS18に移行する。
ステップS17において、特定行動検出部52は、検出した所定距離以上または所定速度以上の移動を、特定行動として、日時と対応付けて履歴データ記憶部71に記憶(タグ付け)する。
ステップS18において、特定行動検出部52は、立ち上がり動作、座り動作、移動動作の検出・判定処理(以下、「立ち座り/移動判定処理」と呼ぶ。)を実行する。
ステップS19において、特定行動検出部52は、立ち座り/移動判定処理において、立ち上がり動作、座り動作あるいは歩行や移動動作が検出されたか否かの判定を行う。
立ち座り/移動判定処理において、立ち上がり動作、座り動作あるいは歩行や移動動作が検出された場合、ステップS19においてYESと判定されて、処理はステップS20に移行する。
一方、立ち座り/移動判定処理において、立ち上がり動作、座り動作あるいは歩行や移動動作が検出されていない場合、ステップS19においてNOと判定されて、行動解析処理は終了する。
ステップS20において、特定行動検出部52は、立ち上がり動作、座り動作、歩行あるいは移動動作を特定行動として、日時と対応付けて履歴データ記憶部71に記憶(タグ付け)する。
ステップS21において、特定行動検出部52は、履歴データ記憶部71に記憶されたユーザの行動履歴のデータから、関連行動記憶部72に記憶されている特定行動を検出する。
ステップS22において、行動解析部53は、ユーザの行動履歴のデータに、検出した特定行動に対応する関連行動が存在するか否かの判定を行う。
ユーザの行動履歴のデータに、検出した特定行動に対応する関連行動が存在する場合、ステップS22においてYESと判定されて、処理はステップS25に移行する。
一方、ユーザの行動履歴のデータに、検出した特定行動に対応する関連行動が存在しない場合、ステップS22においてNOと判定されて、処理はステップS23に移行する。
ステップS23において、行動解析部53は、特定行動に対応する期間のユーザの行動要素及び行動の種別を特定する。
ステップS24において、行動解析部53は、行動要素及び行動の種別に応じて、ユーザが行った可能性のある行動を判定する。
ステップS25において、行動解析部53は、特定行動に対応する期間のユーザの行動(ステップS22において存在すると判定された関連行動またはステップS24において判定された行動)を、行動解析結果として、日時と対応付けて時系列の解析結果記憶部73に記憶する。
ステップS26において、行動解析部53は、行動解析結果であるユーザの行動を所定のアプリに出力またはサーバに送信する。これに対応して、行動解析装置1の設定に従い、アプリまたはサーバから行動の状況に応じた情報やサービスの提供が行われる。
ステップS26の後、行動解析処理は終了する。
図6は、行動解析処理のステップS18において実行される立ち座り/移動判定処理の流れを説明するフローチャートである。なお、図6における閾値Th1〜Th4は、行動の判定のために予め設定された閾値である。即ち、人間の歩く、走る及び静止するという行動について、鉛直方向の加速度の大きさや分布が違うことを利用して閾値Th1〜Th4を設定することができる。例えば、一般に、「歩く」では0.5〜0.6G、「走る」では0.8〜0.9G近くであるのに対し、静止状態は0.004G以下となることが多く、このような行動解析に係る種々の加速度パラメータを利用して閾値Th1〜Th4を設定するようにしてもよい。ただし、これらの具体的な数値は一例であり、個人差等により変動するものであることから、行動解析装置1を使用するユーザの行動からキャリブレーション等を行うことで、より適切な数値に補正することとしてもよい。
ステップS41において、特定行動検出部52は、上下加速度Ax(t)、前後加速度Ay(t)の時系列データを取得する。
ステップS42において、特定行動検出部52は、上下加速度Ax(t)の平均>閾値Th1であるか否かの判定を行う。
上下加速度Ax(t)の平均>閾値Th1である場合、ステップS42においてYESと判定されて、処理はステップS43に移行する。
一方、上下加速度Ax(t)の平均>閾値Th1でない場合、ステップS42においてNOと判定されて、処理はステップS46に移行する。
ステップS43において、特定行動検出部52は、|上下加速度Ax(t)−Ax(t−1)|の平均>閾値Th2であるか否かの判定を行う。
|上下加速度Ax(t)−Ax(t−1)|の平均>閾値Th2である場合、ステップS43においてYESと判定されて、処理はステップS44に移行する。
|上下加速度Ax(t)−Ax(t−1)|の平均>閾値Th2でない場合、ステップS43においてNOと判定されて、処理はステップS45に移行する。
ステップS44において、特定行動検出部52は、ユーザの行動を「走行」に分類する。
ステップS44の後、処理は運動解析処理に戻る。
ステップS45において、特定行動検出部52は、ユーザの行動を「その他の行動(デスクワーク等)」に分類する。
ステップS45の後、処理は運動解析処理に戻る。
ステップS46において、特定行動検出部52は、|上下加速度Ax(t)−Ax(t−1)|の平均>閾値Th3であるか否かの判定を行う。
|上下加速度Ax(t)−Ax(t−1)|の平均>閾値Th3である場合、ステップS46においてYESと判定されて、処理はステップS48に移行する。
一方、|上下加速度Ax(t)−Ax(t−1)|の平均>閾値Th3でない場合、ステップS46においてNOと判定されて、処理はステップS47に移行する。
ステップS47において、特定行動検出部52は、ユーザの行動を「立ち止まる」に分類する。
ステップS47の後、処理は運動解析処理に戻る。
ステップS48において、特定行動検出部52は、{(前後加速度Ay(t)−Ay(t−1))+(上下加速度Ax(t)−Ax(t−1))1/2の平均>閾値Th4であるか否かの判定を行う。
{(前後加速度Ay(t)−Ay(t−1))+(上下加速度Ax(t)−Ax(t−1))1/2の平均>閾値Th4である場合、ステップS48においてYESと判定されて、処理はステップS49に移行する。
一方、{(前後加速度Ay(t)−Ay(t−1))+(上下加速度Ax(t)−Ax(t−1))1/2の平均>閾値Th4でない場合、ステップS48においてNOと判定されて、処理はステップS50に移行する。
ステップS49において、特定行動検出部52は、ユーザの行動を「走行」に分類する。
ステップS49の後、処理は運動解析処理に戻る。
ステップS50において、特定行動検出部52は、ユーザの行動を「歩行」に分類する。
ステップS50の後、処理は運動解析処理に戻る。
このような処理により、ユーザの行動履歴のデータにおいて、特定行動が検出され、検出された特定行動に対応する関連行動が行動解析結果として取得される。
そのため、ユーザの行動において、特定行動の前後の行動として蓋然性の高い行動が行動解析結果としてより取得され易いものとなる。
したがって、ユーザの行動解析をより適切に行うことが可能となる。
[第2実施形態]
次に、本発明の第2実施形態について説明する。
第1実施形態においては、履歴データ記憶部71に記憶されたユーザの行動履歴のデータを対象として、行動解析処理を行うものとした。
これに対し、リアルタイムに入力されるユーザの行動履歴のデータ(センサの出力データ等)を対象として、行動解析処理を行うことが可能である。
この場合、特定行動検出部52が、センサ情報取得部51によって逐次取得されるユーザの行動履歴のデータを監視し、第1の特定行動が検出された場合、行動解析部53が、以後に取得されるユーザの行動履歴のデータが、当該第1の特定行動と対応付けて関連行動記憶部72に記憶されている関連行動と一致するか否かを判定する。
このとき、一致すると判定された場合、その関連行動が第1の特定行動の後の行動とされる。
また、第2の特定行動については、センサ情報取得部51によって逐次取得されるユーザの行動履歴のデータを所定時間分、バッファしておき、特定行動検出部52が、センサ情報取得部51によって逐次取得されるユーザの行動履歴のデータを監視し、第2の特定行動が検出された場合、バッファされているユーザの行動履歴のデータが、当該第2の特定行動と対応付けて関連行動記憶部72に記憶されている関連行動と一致するか否かを判定する。
このとき、一致すると判定された場合、その関連行動が第2の特定行動の前の行動とされる。
なお、第1の特定行動及び第2の特定行動の組み合わせとして特定行動が定義されている場合、特定行動検出部52が、センサ情報取得部51によって逐次取得されるユーザの行動履歴のデータを監視し、第1の特定行動が検出された場合に、第2の特定行動が検出されるまでのユーザの行動履歴のデータをバッファする。そして、第2の特定行動が検出された場合に、行動解析部53が、バッファされているユーザの行動履歴のデータが、当該第1の特定行動及び第2の特定行動と対応付けて関連行動記憶部72に記憶されている関連行動と一致するか否かを判定する。
このとき、一致すると判定された場合、その関連行動が第1の特定行動と第2の特定行動との間の行動とされる。
このように、リアルタイムに入力されるユーザの行動履歴のデータ(センサの出力データ等)に対しても、行動解析処理を行うことが可能である。
したがって、ユーザの行動解析をより適切に行うことが可能となる。
[変形例1]
上述の実施形態において、行動解析処理では、立ち上がり動作、座り動作、歩行あるいは移動動作を特定行動として検出するものとしたが、特定行動としては、交通手段を利用した移動等を設定することも可能である。
即ち、加速度センサ、気圧センサ及び磁気センサの出力データを統計的に分析することで、歩行、走行、階段の昇降、エレベータによる昇降、電車による移動、バスによる移動、乗用車による移動等を区別して検出可能であることから、これらを特定行動として設定することができる。
以下、電車による移動、バスによる移動、乗用車による移動、歩行及び走行を特定行動として検出する場合の処理(以下、「移動手段判定処理」と呼ぶ。)について説明する。
図7は、移動手段判定処理の流れを説明するフローチャートである。
移動手段判定処理は、行動解析処理のステップS18において、立ち座り/移動判定処理に代えて、あるいは、立ち座り/移動判定処理と共に実行することができる。なお、図7における閾値Th11〜Th15は、移動手段の判定のために予め設定された閾値である。即ち、例えば3軸合成の加速度でも、「走る」では、1〜1.2Gの範囲に広く分布するが、「歩く」では1.03〜1.05G付近に分布する。そして「自動車」、「バス」及び「電車」では約0.98〜1.01Gの狭い範囲に集中することが多い。よって、「歩く」、「走る」等と「自動車」、「バス」等とについて識別可能である。また、東京近郊の平常時の3軸合成した磁気量は約45[μT]程度で、「徒歩」では40〜50[μT]、「自動車」や「バス」で30[μT]の範囲で略一定であるが、「電車」では通常生じない100[μT]以上の磁気が頻繁に観測されるので、「電車」と他の移動とについては一般的に容易に識別できる。また、「自動車」と「バス」については、横方向や進行方向の加速度のパワースペクトラムや鉛直方向の加速度に差があるので、それを解析することで識別ができるし、それに加えてGPSを利用した自身の位置情報を利用することで、自分がバスの路線上にいるのか、または、それ以外の道路上にいるのかも判定して識別してもよい。これら上述したパラメータの情報に鑑みてTh11〜Th15が設定されてもよい。
ステップS71において、センサ情報取得部51は、各種センサの出力データを取得する。
ステップS72において、特定行動検出部52は、磁気量の平均≧閾値Th11であるか否かの判定を行う。
磁気量の平均≧閾値Th11である場合、ステップS72においてYESと判定されて、処理はステップS73に移行する。
一方、磁気量の平均≧閾値Th11でない場合、ステップS72においてNOと判定されて、処理はステップS74に移行する。
ステップS73において、特定行動検出部52は、ユーザの移動手段を「電車」に分類する。
ステップS74において、特定行動検出部52は、上下の加速度の平均≧閾値Th12であるか否かの判定を行う。
上下の加速度の平均≧閾値Th12である場合、ステップS74においてYESと判定されて、処理はステップS80に移行する。
一方、上下の加速度の平均≧閾値Th12でない場合、ステップS74においてNOと判定されて、処理はステップS75に移行する。
ステップS75において、特定行動検出部52は、上下の加速度の平均<閾値Th13であるか否かの判定を行う。
上下の加速度の平均<閾値Th13である場合、ステップS75においてYESと判定されて、処理はステップS79に移行する。
一方、上下の加速度の平均<閾値Th13でない場合、ステップS75においてNOと判定されて、処理はステップS76に移行する。
ステップS76において、特定行動検出部52は、加速度のパワースペクトラム最大値≧閾値Th13であるか否かの判定を行う。
加速度のパワースペクトラム最大値≧閾値Th14である場合には、ステップS76においてYESと判定されて、処理はステップS78に移行する。
一方、加速度のパワースペクトラム最大値≧閾値Th14でない場合、ステップS76においてNOと判定されて、処理はステップS77に移行する。
ステップS77において、特定行動検出部52は、ユーザの移動手段を「自動車(乗用車)」に分類する。
ステップS78において、特定行動検出部52は、ユーザの移動手段を「バス」に分類する。
ステップS79において、特定行動検出部52は、ユーザの移動手段を「静止」に分類する。
ステップS80において、特定行動検出部52は、走行速度の平均≧閾値Th15または鉛直方向の加速度≧閾値Th16であるか否かの判定を行う。
走行速度の平均≧閾値Th15または鉛直方向の加速度≧閾値Th16である場合、ステップS80においてYESと判定されて、処理はステップS82に移行する。
一方、走行速度の平均≧閾値Th15でなく鉛直方向の加速度≧閾値Th16でない場合、ステップS80においてNOと判定されて、処理はステップS81に移行する。
ステップS81において、特定行動検出部52は、ユーザの移動手段を「歩行」に分類する。
ステップS82において、特定行動検出部52は、ユーザの移動手段を「走行」に分類する。
このような処理により、ユーザの移動手段を特定行動として設定することができ、多様な行動を特定行動として設定することで、ユーザの行動解析をより適切に行うことが可能となる。
以上のように構成される行動解析装置1は、特定行動検出部52と、行動解析部53と、を備える。
特定行動検出部52は、ユーザにおける特定行動を検出する。
行動解析部53は、特定行動に対応する期間におけるユーザの関連行動を解析する。
これにより、ユーザの行動において、特定行動に対応する期間の行動として蓋然性の高い行動が行動解析結果としてより取得され易いものとなる。
したがって、ユーザの行動解析をより適切に行うことが可能となる。
また、特定行動に基づいて(特定行動を利用した上で)、この特定行動の前後の行動を予想するので、何も参照することなく行動解析する場合に比べて処理が容易となり、CPUパワーを多く利用することなく行動解析することができる。
特定行動検出部52は、特定行動を行動解析の契機となる行動として検出する。
行動解析部53は、特定行動に隣接する期間におけるユーザの関連行動を解析する。
これにより、特定行動を契機として、特定行動の前後の行動として蓋然性の高い行動が行動解析結果としてより取得され易いものとなる。
したがって、ユーザの行動解析をより適切に行うことが可能となる。
行動解析部53は、特定行動に対応する期間におけるユーザの関連行動を特定行動と対応付けて解析する。
これにより、特定行動と対応付けた関連行動の解析を行うことができるため、ユーザの行動をより具体的かつ高精度に解析することが可能となる。
特定行動検出部52は、行動の開始に対応する第1の特定行動を検出する。
行動解析部53は、第1の特定行動が検出された以後の期間におけるユーザの行動を、第1の特定行動と対応付けて解析する。
これにより、第1の特定行動の後に行われる行動をより具体的かつ高精度に解析することができる。
特定行動検出部52は、行動の終了に対応する第2の特定行動を検出する。
行動解析部53は、第2の特定行動が検出された以前の期間におけるユーザの行動を、第2の特定行動と対応付けて解析する。
これにより、第2の特定行動の前に行われる行動をより具体的かつ高精度に解析することができる。
特定行動検出部52は、行動の開始に対応する第1の特定行動と、行動の終了に対応する第2の特定行動とを検出する。
行動解析部53は、第1の特定行動が検出された時間から第2の特定行動が検出された時間までのユーザの行動を、第1の特定行動及び第2の特定行動と対応付けて解析する。
これにより、第1の特定行動と第2の特定行動との間に行われる行動をより具体的かつ高精度に解析することができる。
特定行動検出部52は、ユーザにおける複数の行動の組み合わせまたはユーザにおける単一の行動の少なくともいずれかを特定行動として検出する。
これにより、より適切な特定行動を定義することができるため、ユーザの行動解析をより適切に行うことが可能となる。
また、行動解析装置1は、関連行動記憶部72をさらに備える。
関連行動記憶部72は、特定行動と、当該特定行動と関連性の高いユーザの行動とを予め対応付けて記憶する。
行動解析部53は、特定行動検出部52によって特定行動が検出された場合に、関連行動記憶部72に記憶された当該特定行動と関連性の高いユーザの行動を参照して、ユーザの行動を解析する。
これにより、特定行動と関連性の高い行動を予め定義することができ、定義された行動を参照して、より簡単にユーザの行動を解析することが可能となる。
特定行動検出部52は、行動解析装置1に備えられた第1CPU11Aによって構成される。
行動解析部53は、行動解析装置1に備えられた第2CPU11Bによって構成される。
第1CPU11Aは、第2CPU11Bより低消費電力で動作する。
これにより、行動解析装置1の低消費電力化を図ることができる。
行動解析装置1は、履歴データ記憶部71を備える。
履歴データ記憶部71は、ユーザの行動に関連して取得されたデータの履歴を記憶する。
特定行動検出部52は、履歴データ記憶部71に記憶されたデータに基づいて、特定行動を検出する。
行動解析部53は、検出された特定行動に基づいて、履歴データ記憶部71に記憶されたデータが表す行動を解析する。
これにより、行動解析装置1において過去に取得された履歴のデータを対象として、特定行動を検出して行動解析を行うことができる。
行動解析部53は、特定行動に隣接する期間におけるユーザの行動を解析して、1つの行動結果とする。
これにより、特定行動に隣接する期間におけるユーザの行動全体が表す行動の内容を行動結果として取得することができる。
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、上述の実施形態では、特定行動と関連行動とが予め対応付けられているものとして説明したが、これに限られない。例えば、特定行動に対応する関連行動は、ユーザの行動履歴や行動解析装置1の操作履歴等から、逐次抽出することとしてもよい。
また、上述の実施形態において、測位データあるいは各種センサの出力データは、行動解析装置1が連携する他の装置から取得することとしてもよい。
また、上述の実施形態では、特定行動をユーザの行動解析するための契機(トリガ)として利用して、その特定行動に隣接する期間にユーザの行動を解析するものとしたが、特定行動が検出されている期間中にユーザの行動解析を行うようにしてもよい。
また、上述の実施形態では、行動解析処理のステップS23において、行動解析部53は、特定行動に対応する期間のユーザの行動要素及び行動の種別を特定するものとしたが、この場合、行動解析装置1において把握される種々の情報から、ユーザの行動を特定することができる。例えば、生体情報、運動情報あるいは環境情報を分析し、作業やスポーツ等の種類、強度等を特定することができる。また、測位データ、地域情報、移動軌跡、移動距離、滞在時間あるいはスケジュール等を分析し、出発地・目的地等の地域、場所、用件、目的等を判定することができる。また、電子メール、SNS(Social Networking Service)、撮像画像あるいはアプリやファイルの使用履歴等を分析し、通信相手、特定の人の顔、顔認識、シーン認識、メッセージ用件、ファイルの種類等を判定することができる。さらに、通信した無線局、WiFi局、BT(ブルートゥース(登録商標))機器、検出されたRFIDタグあるいはNFCタグ等の通信履歴を分析し、通信相手の機器やタグのIDあるいは種類、設置場所、登録した所持品等を判定することができる。
また、上述の実施形態において、特定行動あるいは行動履歴を明確に記録するために、職場(自身のデスク等)や家、あるいは、自動車等の所定対象にRFIDタグあるいはNFCタグの読み取り装置を設置しておき、ユーザがRFIDタグ等を適宜読み取らせることとしてもよい。同様に、駅の改札等でRFIDタグ等が読み取られたことを行動履歴として記録することとしてもよい。
また、上述の実施形態では、本発明が適用される行動解析装置1は、スマートフォンあるいはリスト端末等のウェアラブル機器を例として説明したが、特にこれに限定されない。
例えば、本発明は、行動解析処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。また、リスト端末以外のウェアラブル機器として、例えば、眼鏡型のウェアラブル機器に適用することも可能である。この場合、ユーザの口の動きを検出することができ、食事していることや会話していることをより正確に判定することができる。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図2の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が行動解析装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図2の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図1のリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア31は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk),Blu−ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図1のROM12や、図1の記憶部21に含まれるハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
ユーザにおける特定行動を検出する特定行動検出手段と、
前記特定行動に対応する期間における前記ユーザの関連行動を解析する行動解析手段と、
を備えることを特徴とする行動解析装置。
[付記2]
前記特定行動検出手段は、前記特定行動を行動解析の契機となる行動として検出し、
前記行動解析手段は、前記特定行動に隣接する期間における前記ユーザの関連行動を解析することを特徴とする付記1に記載の行動解析手段。
[付記3]
前記行動解析手段は、前記特定行動に対応する期間における前記ユーザの関連行動を前記特定行動と対応付けて解析することを特徴とする付記1または2に記載の行動解析装置。
[付記4]
前記特定行動検出手段は、行動の開始に対応する第1の特定行動を検出し、
前記行動解析手段は、前記第1の特定行動が検出された以後の期間における前記ユーザの行動を、前記第1の特定行動と対応付けて解析することを特徴とする付記3に記載の行動解析装置。
[付記5]
前記特定行動検出手段は、行動の終了に対応する第2の特定行動を検出し、
前記行動解析手段は、前記第2の特定行動が検出された以前の期間における前記ユーザの行動を、前記第2の特定行動と対応付けて解析することを特徴とする付記3に記載の行動解析装置。
[付記6]
前記特定行動検出手段は、行動の開始に対応する第1の特定行動と、行動の終了に対応する第2の特定行動とを検出し、
前記行動解析手段は、前記第1の特定行動が検出された時間から前記第2の特定行動が検出された時間までの前記ユーザの行動を、前記第1の特定行動及び前記第2の特定行動と対応付けて解析することを特徴とする付記3に記載の行動解析装置。
[付記7]
前記特定行動検出手段は、ユーザにおける複数の行動の組み合わせまたはユーザにおける単一の行動の少なくともいずれかを前記特定行動として検出することを特徴とする付記1から6のいずれか1つに記載の行動解析装置。
[付記8]
前記特定行動と、当該特定行動と関連性の高い前記ユーザの行動とを予め対応付けて記憶する関連行動記憶手段をさらに備え、
前記行動解析手段は、前記特定行動検出手段によって前記特定行動が検出された場合に、前記関連行動記憶手段に記憶された当該特定行動と関連性の高い前記ユーザの行動を参照して、前記ユーザの行動を解析することを特徴とする付記1から7のいずれか1つに記載の行動解析装置。
[付記9]
前記特定行動検出手段は、当該行動解析装置に備えられた第1のハードウェアによって構成され、
前記行動解析手段は、当該行動解析装置に備えられた第2のハードウェアによって構成され、
前記第1のハードウェアは、前記第2のハードウェアより低消費電力で動作することを特徴とする付記1から8のいずれか1つに記載の行動解析装置。
[付記10]
ユーザの行動に関連して取得されたデータの履歴を記憶する履歴データ記憶手段を備え、
前記特定行動検出手段は、前記履歴データ記憶手段に記憶された前記データに基づいて、前記特定行動を検出し、
前記行動解析手段は、検出された前記特定行動に基づいて、前記履歴データ記憶手段に記憶された前記データが表す行動を解析することを特徴とする付記1から9のいずれか1つに記載の行動解析装置。
[付記11]
前記行動解析手段は、前記特定行動に隣接する期間における前記ユーザの行動を解析して、1つの行動結果とすることを特徴とする付記1から10のいずれか1つに記載の行動解析装置。
[付記12]
行動解析装置で実行される行動解析方法であって、
ユーザにおける特定行動を検出する特定行動検出ステップと、
前記特定行動に対応する期間における前記ユーザの関連行動を解析する行動解析ステップと、
を含むことを特徴とする行動解析方法。
[付記13]
行動解析装置を制御するコンピュータを、
ユーザにおける特定行動を検出する特定行動検出手段、
前記特定行動に対応する期間における前記ユーザの関連行動を解析する行動解析手段、
として機能させることを特徴とするプログラム。
1・・・行動解析装置,11・・・CPU,11A・・・第1CPU,11B・・・第2CPU,12・・・ROM,13・・・RAM,14・・・バス,15・・・入出力インターフェース,16・・・GPS部,17・・・センサ部,18・・・撮像部,19・・・入力部,20・・・出力部,21・・・記憶部,22・・・通信部,23・・・ドライブ,31・・・リムーバブルメディア,51・・・センサ情報取得部,52・・・特定行動検出部,53・・・行動解析部,71・・・履歴データ記憶部,72・・・関連行動記憶部,73・・・解析結果記憶部

Claims (13)

  1. ユーザにおける特定行動を検出する特定行動検出手段と、
    前記特定行動に対応する期間における前記ユーザの関連行動を解析する行動解析手段と、
    を備えることを特徴とする行動解析装置。
  2. 前記特定行動検出手段は、前記特定行動を行動解析の契機となる行動として検出し、
    前記行動解析手段は、前記特定行動に隣接する期間における前記ユーザの関連行動を解析することを特徴とする請求項1に記載の行動解析手段。
  3. 前記行動解析手段は、前記特定行動に対応する期間における前記ユーザの関連行動を前記特定行動と対応付けて解析することを特徴とする請求項1または2に記載の行動解析装置。
  4. 前記特定行動検出手段は、行動の開始に対応する第1の特定行動を検出し、
    前記行動解析手段は、前記第1の特定行動が検出された以後の期間における前記ユーザの行動を、前記第1の特定行動と対応付けて解析することを特徴とする請求項3に記載の行動解析装置。
  5. 前記特定行動検出手段は、行動の終了に対応する第2の特定行動を検出し、
    前記行動解析手段は、前記第2の特定行動が検出された以前の期間における前記ユーザの行動を、前記第2の特定行動と対応付けて解析することを特徴とする請求項3に記載の行動解析装置。
  6. 前記特定行動検出手段は、行動の開始に対応する第1の特定行動と、行動の終了に対応する第2の特定行動とを検出し、
    前記行動解析手段は、前記第1の特定行動が検出された時間から前記第2の特定行動が検出された時間までの前記ユーザの行動を、前記第1の特定行動及び前記第2の特定行動と対応付けて解析することを特徴とする請求項3に記載の行動解析装置。
  7. 前記特定行動検出手段は、ユーザにおける複数の行動の組み合わせまたはユーザにおける単一の行動の少なくともいずれかを前記特定行動として検出することを特徴とする請求項1から6のいずれか1項に記載の行動解析装置。
  8. 前記特定行動と、当該特定行動と関連性の高い前記ユーザの行動とを予め対応付けて記憶する関連行動記憶手段をさらに備え、
    前記行動解析手段は、前記特定行動検出手段によって前記特定行動が検出された場合に、前記関連行動記憶手段に記憶された当該特定行動と関連性の高い前記ユーザの行動を参照して、前記ユーザの行動を解析することを特徴とする請求項1から7のいずれか1項に記載の行動解析装置。
  9. 前記特定行動検出手段は、当該行動解析装置に備えられた第1のハードウェアによって構成され、
    前記行動解析手段は、当該行動解析装置に備えられた第2のハードウェアによって構成され、
    前記第1のハードウェアは、前記第2のハードウェアより低消費電力で動作することを特徴とする請求項1から8のいずれか1項に記載の行動解析装置。
  10. ユーザの行動に関連して取得されたデータの履歴を記憶する履歴データ記憶手段を備え、
    前記特定行動検出手段は、前記履歴データ記憶手段に記憶された前記データに基づいて、前記特定行動を検出し、
    前記行動解析手段は、検出された前記特定行動に基づいて、前記履歴データ記憶手段に記憶された前記データが表す行動を解析することを特徴とする請求項1から9のいずれか1項に記載の行動解析装置。
  11. 前記行動解析手段は、前記特定行動に隣接する期間における前記ユーザの行動を解析して、1つの行動結果とすることを特徴とする請求項1から10のいずれか1項に記載の行動解析装置。
  12. 行動解析装置で実行される行動解析方法であって、
    ユーザにおける特定行動を検出する特定行動検出ステップと、
    前記特定行動に対応する期間における前記ユーザの関連行動を解析する行動解析ステップと、
    を含むことを特徴とする行動解析方法。
  13. 行動解析装置を制御するコンピュータを、
    ユーザにおける特定行動を検出する特定行動検出手段、
    前記特定行動に対応する期間における前記ユーザの関連行動を解析する行動解析手段、
    として機能させることを特徴とするプログラム。
JP2016060473A 2016-03-24 2016-03-24 行動解析装置、行動解析方法及びプログラム Active JP6784044B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016060473A JP6784044B2 (ja) 2016-03-24 2016-03-24 行動解析装置、行動解析方法及びプログラム
US15/450,387 US20170279907A1 (en) 2016-03-24 2017-03-06 Behavior Analysis Apparatus for Analysis of User's Behavior, Behavior Analysis Method, and Storage Medium
CN201710171951.9A CN107224290A (zh) 2016-03-24 2017-03-21 行动解析装置、行动解析方法以及计算机可读取的记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016060473A JP6784044B2 (ja) 2016-03-24 2016-03-24 行動解析装置、行動解析方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2017174212A true JP2017174212A (ja) 2017-09-28
JP2017174212A5 JP2017174212A5 (ja) 2019-04-25
JP6784044B2 JP6784044B2 (ja) 2020-11-11

Family

ID=59898358

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016060473A Active JP6784044B2 (ja) 2016-03-24 2016-03-24 行動解析装置、行動解析方法及びプログラム

Country Status (3)

Country Link
US (1) US20170279907A1 (ja)
JP (1) JP6784044B2 (ja)
CN (1) CN107224290A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019107307A (ja) * 2017-12-20 2019-07-04 カシオ計算機株式会社 行動検出装置、電子機器、行動検出システム、行動検出方法及びプログラム
CN112650743A (zh) * 2020-12-30 2021-04-13 咪咕文化科技有限公司 一种漏斗数据分析方法、系统、电子设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11574210B2 (en) * 2017-05-23 2023-02-07 Nec Corporation Behavior analysis system, behavior analysis method, and storage medium
US11223638B2 (en) * 2018-12-27 2022-01-11 Rapid7, Inc. Stable network user account classifier
CN111726849B (zh) * 2020-06-29 2022-07-08 西安易朴通讯技术有限公司 WiFi热点的类型识别方法、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010032579A1 (ja) * 2008-09-19 2010-03-25 株式会社日立製作所 行動履歴の生成方法及び行動履歴の生成システム
US20110081634A1 (en) * 2009-10-02 2011-04-07 Masatomo Kurata Behaviour Pattern Analysis System, Mobile Terminal, Behaviour Pattern Analysis Method, and Program
WO2012173027A1 (ja) * 2011-06-13 2012-12-20 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US20140207408A1 (en) * 2010-09-30 2014-07-24 Fitbit, Inc. Methods and Systems for Geo-Location Optimized Tracking and Updating for Events Having Combined Activity and Location Information
JP2015127900A (ja) * 2013-12-27 2015-07-09 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、サーバシステムおよび情報処理システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69736622T2 (de) * 1996-07-03 2007-09-13 Hitachi, Ltd. System zur Bewegungserkennung
KR100934225B1 (ko) * 2007-09-21 2009-12-29 한국전자통신연구원 일상생활 행위 인식을 위한 주체자의 행위 분류 보정 장치및 방법, 이를 이용한 일상생활 행위 인식 시스템
US9141974B2 (en) * 2008-01-16 2015-09-22 Martin Kelly Jones Systems and methods for determining mobile thing (MT) identification and/or MT motion activity using sensor data of wireless communication device
US9167991B2 (en) * 2010-09-30 2015-10-27 Fitbit, Inc. Portable monitoring devices and methods of operating same
US10216893B2 (en) * 2010-09-30 2019-02-26 Fitbit, Inc. Multimode sensor devices
WO2013128972A1 (ja) * 2012-03-02 2013-09-06 日本電気株式会社 動作判定装置、動作判定システムおよび動作判定方法
JP6035812B2 (ja) * 2012-03-28 2016-11-30 カシオ計算機株式会社 情報処理装置、情報処理方法及びプログラム
JP5935516B2 (ja) * 2012-06-01 2016-06-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9183174B2 (en) * 2013-03-15 2015-11-10 Qualcomm Incorporated Use case based reconfiguration of co-processor cores for general purpose processors
WO2015036245A1 (en) * 2013-09-11 2015-03-19 Koninklijke Philips N.V. Fall detection system and method
JPWO2016092924A1 (ja) * 2014-12-09 2017-09-14 ソニー株式会社 情報処理装置、制御方法、およびプログラム
WO2016182179A1 (en) * 2015-05-11 2016-11-17 Samsung Electronics Co., Ltd. User terminal apparatus and controlling method thereof
WO2017021944A2 (en) * 2015-08-06 2017-02-09 Avishai Abrahami Cognitive state alteration system integrating multiple feedback technologies

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010032579A1 (ja) * 2008-09-19 2010-03-25 株式会社日立製作所 行動履歴の生成方法及び行動履歴の生成システム
US20110081634A1 (en) * 2009-10-02 2011-04-07 Masatomo Kurata Behaviour Pattern Analysis System, Mobile Terminal, Behaviour Pattern Analysis Method, and Program
JP2011081431A (ja) * 2009-10-02 2011-04-21 Sony Corp 行動パターン解析システム、携帯端末、行動パターン解析方法、及びプログラム
US20140207408A1 (en) * 2010-09-30 2014-07-24 Fitbit, Inc. Methods and Systems for Geo-Location Optimized Tracking and Updating for Events Having Combined Activity and Location Information
WO2012173027A1 (ja) * 2011-06-13 2012-12-20 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
JP2015127900A (ja) * 2013-12-27 2015-07-09 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、サーバシステムおよび情報処理システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019107307A (ja) * 2017-12-20 2019-07-04 カシオ計算機株式会社 行動検出装置、電子機器、行動検出システム、行動検出方法及びプログラム
CN112650743A (zh) * 2020-12-30 2021-04-13 咪咕文化科技有限公司 一种漏斗数据分析方法、系统、电子设备及存储介质

Also Published As

Publication number Publication date
US20170279907A1 (en) 2017-09-28
JP6784044B2 (ja) 2020-11-11
CN107224290A (zh) 2017-10-03

Similar Documents

Publication Publication Date Title
JP6784044B2 (ja) 行動解析装置、行動解析方法及びプログラム
JP5166316B2 (ja) 状況認識装置及び状況認識方法
US20160026870A1 (en) Wearable apparatus and method for selectively processing image data
JP7143912B2 (ja) 人物検出システム
US10142598B2 (en) Wearable terminal device, photographing system, and photographing method
JP6742380B2 (ja) 電子装置
JPWO2016098457A1 (ja) 情報処理装置、情報処理方法およびプログラム
US10728437B2 (en) Image capture control apparatus, image capture control method, and image capture control program
US11143507B2 (en) Information processing apparatus and information processing method
CN109788246A (zh) 救援系统、救援方法及其所使用的服务器
JPWO2017047063A1 (ja) 情報処理装置、評価方法及びコンピュータプログラム
Wu et al. We hear your activities through Wi-Fi signals
JP6661902B2 (ja) 通信制御装置、通信制御方法及びプログラム
JP2016111393A (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
JP5411641B2 (ja) 画像分類装置、画像分類システム、画像分類方法、プログラム、および記録媒体
JP2015233204A (ja) 画像記録装置及び画像記録方法
US10219127B2 (en) Information processing apparatus and information processing method
EP3264742A1 (en) Imaging control device, imaging control method and imaging control system
JP7482082B2 (ja) 行動検出装置、電子機器、行動解析方法及びプログラム
JP2016163145A (ja) 電子機器、情報取得方法及びプログラム
KR101742707B1 (ko) 스마트 워치의 내장 가속도 센서와 스마트폰을 이용한 행동 인식 장치 및 방법
JP2019159726A (ja) 行動認識装置、行動認識システム、行動認識方法およびプログラム
JP6398743B2 (ja) 運動情報測定装置、運動情報測定装置の制御方法、運動情報測定装置の制御プログラム
JP2019061361A (ja) 電子機器、判定システム、判定方法及び判定プログラム
Pei et al. Cognitive phone for sensing human behavior

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190312

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190312

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200923

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201006

R150 Certificate of patent or registration of utility model

Ref document number: 6784044

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150