JP2017174212A - 行動解析装置、行動解析方法及びプログラム - Google Patents
行動解析装置、行動解析方法及びプログラム Download PDFInfo
- Publication number
- JP2017174212A JP2017174212A JP2016060473A JP2016060473A JP2017174212A JP 2017174212 A JP2017174212 A JP 2017174212A JP 2016060473 A JP2016060473 A JP 2016060473A JP 2016060473 A JP2016060473 A JP 2016060473A JP 2017174212 A JP2017174212 A JP 2017174212A
- Authority
- JP
- Japan
- Prior art keywords
- behavior
- specific
- action
- user
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009471 action Effects 0.000 title claims abstract description 305
- 238000004458 analytical method Methods 0.000 title claims abstract description 200
- 238000000034 method Methods 0.000 title description 65
- 238000001514 detection method Methods 0.000 claims abstract description 53
- 238000013500 data storage Methods 0.000 claims description 26
- 230000006399 behavior Effects 0.000 description 367
- 230000008569 process Effects 0.000 description 62
- 230000033001 locomotion Effects 0.000 description 54
- 230000001133 acceleration Effects 0.000 description 38
- 238000012545 processing Methods 0.000 description 27
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 230000003028 elevating effect Effects 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 235000021152 breakfast Nutrition 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P13/00—Indicating or recording presence, absence, or direction, of movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/535—Tracking the activity of the user
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
- G08B21/0423—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting deviation from an expected pattern of behaviour or schedule
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Geometry (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
例えば、特許文献1には、センサを装着したユーザの歩行等の動きを捉えて速度等を計算し、ユーザの運動を解析する技術が開示されている。
ユーザにおける特定行動を検出する特定行動検出手段と、
前記特定行動に対応する期間における前記ユーザの関連行動を解析する行動解析手段と、
を備えることを特徴とする。
[ハードウェア構成]
図1は、本発明の一実施形態に係る行動解析装置1のハードウェアの構成を示すブロック図である。
行動解析装置1は、例えばスマートフォンあるいはリスト端末等のウェアラブル機器として構成され、ユーザに携帯または装着された状態で使用される。
また、第1CPU11Aは、第2CPU11Bよりも低消費電力で動作可能(例えば、動作クロック周波数がより低い等)な構成となっている。第2CPU11Bの機能をFPGA(Field‐Programmable Gate Array)やASIC(Application Specific Integrated Circuit)で実現することとしてもよい。なお、本実施形態では、図1に示すように、第1CPU11Aと第2CPU11Bとを併せてCPU11としている。
センサ部17は、3軸加速度センサ、ジャイロセンサ、磁気センサ、気圧センサ及び生体センサ等の各種センサを備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部18の出力信号として出力される。
このような撮像部18の出力信号は、第1CPU11Aあるいは第2CPU11B等に適宜供給される。
出力部20は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部21は、ハードディスクあるいはDRAM(Dynamic Random Access Memory)等で構成され、各種センサの出力データや各種画像のデータを記憶する。
通信部22は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。また、通信部22は、RFID(Radio Frequency Identifier)タグあるいはNFC(Near Field Communication)タグ等の無線タグを備えている。
図2は、図1の行動解析装置1の機能的構成のうち、行動解析処理を実行するための機能的構成を示す機能ブロック図である。
行動解析処理とは、ユーザにおける特定の行動を行動解析の契機となる行動として検出し、当該特定の行動に隣接する期間(時間的な前後の期間)の行動を、当該特定の行動と対応付けて判定することにより、ユーザの行動を解析する一連の処理をいう。
また、記憶部21の一領域には、履歴データ記憶部71と、関連行動記憶部72と、解析結果記憶部73とが設定される。
関連行動記憶部72には、ユーザにおける特定の行動(以下、適宜「特定行動」と呼ぶ。)と、当該特定行動と関連する行動(以下、適宜「関連行動」と呼ぶ。)とが対応付けて記憶されている。特定行動としては、所定の関連行動の前または後、あるいは、前及び後に行われる可能性が高い行動が定義されている。
即ち、第1の特定行動は対応する関連行動の開始を示唆し、第2の特定行動は対応する関連行動の終了を示唆するものとなる。
例えば、「平日の特定の時間帯に玄関を出る」という第1の特定行動に対しては、「通勤する」という関連行動が対応付けられている。
また、例えば、「自宅から一定距離以上離れた位置で写真を所定枚数以上撮影する」という第2の特定行動に対しては、「旅行に出かける」という関連行動が対応付けられている。
さらに、デスクワークの職場において、「座る」という第1の特定行動と「立ち上がる」という第2の特定行動との組み合わせに対しては、「仕事をする(デスクワーク)」という関連行動が対応付けられている。
このように、センサの出力のみから行動を解析した場合、現在の行動自体の解析結果(例えば、「座る」あるいは「座っている」等)が取得される状況において、本実施形態の行動解析装置1では、前後の行動と対応して定義された関連行動(例えば、「食事する」等)であるか否かが解析される。
解析結果記憶部73には、行動解析処理の結果であるユーザの行動が記憶される。例えば、解析結果記憶部73には、ユーザのある1日の行動として、起床、食事(朝食)、通勤、仕事、帰宅、ジョギング、食事(夕食)、就寝といった行動が時系列に記憶される。
特定行動検出部52は、関連行動記憶部72を参照し、履歴データ記憶部71に記憶されたユーザの行動履歴のデータから、行動解析の契機となる行動として、特定行動を検出する。
図3は、ユーザの行動履歴のデータから特定行動が検出される状態を示す模式図である。なお、図3においては、加速度センサの出力データから、ユーザの特定行動として、立ち上がり動作及び座り動作が検出される状態を示している。
図3に示すように、ユーザが行動解析装置1を種々の状態で視聴している際に、ユーザが座り動作を行った場合(期間C)、あるいは、ユーザが立ち上がり動作を行った場合(期間E)には、これらの行動を特定行動として検出することができる。
具体的には、行動解析部53は、特定行動検出部52によって検出された特定行動に対応付けて関連行動記憶部72に記憶されている関連行動を取得し、履歴データ記憶部71において、その特定行動に隣接する期間の行動が関連行動と一致するか否かの判定を行う。
例えば、行動解析部53は、第1の特定行動が検出されている場合、第1の特定行動の後の期間において、第1の特定行動に対応する関連行動と一致する行動が行われているか否かの判定を行う。そして、行動解析部53は、第1の特定行動に対応する関連行動と一致する行動が行われている場合、当該期間のユーザの行動を第1の特定行動に対応する関連行動として判定し、行動の日時と対応付けて解析結果記憶部73に記憶する。
図4に示すように、センサの出力(ここでは加速度センサ)によって、座り動作及び立ち上がり動作を検出することができ、これらを第1の特定行動及び第2の特定行動とすることができる。
このように、本実施形態における行動解析部53の行動解析では、特定行動に隣接する期間の行動が、関連行動記憶部72に記憶されている特定行動の関連行動と照合されるため、限定された行動パターンのデータとの一致を判定すればよく、具体的かつ高精度な行動解析を行うことができる。
そのため、行動解析処理を行う上で、第2CPU11Bは必要に応じて起動すればよいため、行動解析装置1の低消費電力化を図ることができる。
図5は、図2の機能的構成を有する図1の行動解析装置1が実行する行動解析処理の流れを説明するフローチャートである。
行動解析処理は、ユーザによる入力部19への行動解析処理開始の操作により開始される。
ステップS12において、センサ情報取得部51は、各種センサの出力データを取得日時と対応付けて履歴データ記憶部71に記憶する。
ステップS14において、センサ情報取得部51は、取得日時と対応付けて測位データを履歴データ記憶部71に記憶する。
ステップS15において、特定行動検出部52は、履歴データ記憶部71に記憶されているユーザの行動履歴のデータを参照し、ユーザの移動距離(位置情報の差分)及び移動速度(平均値)を算出する。
所定距離以上または所定速度以上の移動を検出した場合、ステップS16においてYESと判定されて、処理はステップS17に移行する。
一方、所定距離以上または所定速度以上の移動を検出していない場合、ステップS16においてNOと判定されて、処理はステップS18に移行する。
立ち座り/移動判定処理において、立ち上がり動作、座り動作あるいは歩行や移動動作が検出された場合、ステップS19においてYESと判定されて、処理はステップS20に移行する。
一方、立ち座り/移動判定処理において、立ち上がり動作、座り動作あるいは歩行や移動動作が検出されていない場合、ステップS19においてNOと判定されて、行動解析処理は終了する。
ユーザの行動履歴のデータに、検出した特定行動に対応する関連行動が存在する場合、ステップS22においてYESと判定されて、処理はステップS25に移行する。
一方、ユーザの行動履歴のデータに、検出した特定行動に対応する関連行動が存在しない場合、ステップS22においてNOと判定されて、処理はステップS23に移行する。
ステップS23において、行動解析部53は、特定行動に対応する期間のユーザの行動要素及び行動の種別を特定する。
ステップS26の後、行動解析処理は終了する。
ステップS41において、特定行動検出部52は、上下加速度Ax(t)、前後加速度Ay(t)の時系列データを取得する。
上下加速度Ax(t)の平均>閾値Th1である場合、ステップS42においてYESと判定されて、処理はステップS43に移行する。
一方、上下加速度Ax(t)の平均>閾値Th1でない場合、ステップS42においてNOと判定されて、処理はステップS46に移行する。
|上下加速度Ax(t)−Ax(t−1)|の平均>閾値Th2である場合、ステップS43においてYESと判定されて、処理はステップS44に移行する。
|上下加速度Ax(t)−Ax(t−1)|の平均>閾値Th2でない場合、ステップS43においてNOと判定されて、処理はステップS45に移行する。
ステップS44の後、処理は運動解析処理に戻る。
ステップS45の後、処理は運動解析処理に戻る。
|上下加速度Ax(t)−Ax(t−1)|の平均>閾値Th3である場合、ステップS46においてYESと判定されて、処理はステップS48に移行する。
一方、|上下加速度Ax(t)−Ax(t−1)|の平均>閾値Th3でない場合、ステップS46においてNOと判定されて、処理はステップS47に移行する。
ステップS47の後、処理は運動解析処理に戻る。
{(前後加速度Ay(t)−Ay(t−1))2+(上下加速度Ax(t)−Ax(t−1))2}1/2の平均>閾値Th4である場合、ステップS48においてYESと判定されて、処理はステップS49に移行する。
一方、{(前後加速度Ay(t)−Ay(t−1))2+(上下加速度Ax(t)−Ax(t−1))2}1/2の平均>閾値Th4でない場合、ステップS48においてNOと判定されて、処理はステップS50に移行する。
ステップS49の後、処理は運動解析処理に戻る。
ステップS50において、特定行動検出部52は、ユーザの行動を「歩行」に分類する。
ステップS50の後、処理は運動解析処理に戻る。
そのため、ユーザの行動において、特定行動の前後の行動として蓋然性の高い行動が行動解析結果としてより取得され易いものとなる。
したがって、ユーザの行動解析をより適切に行うことが可能となる。
次に、本発明の第2実施形態について説明する。
第1実施形態においては、履歴データ記憶部71に記憶されたユーザの行動履歴のデータを対象として、行動解析処理を行うものとした。
これに対し、リアルタイムに入力されるユーザの行動履歴のデータ(センサの出力データ等)を対象として、行動解析処理を行うことが可能である。
このとき、一致すると判定された場合、その関連行動が第1の特定行動の後の行動とされる。
このとき、一致すると判定された場合、その関連行動が第2の特定行動の前の行動とされる。
このように、リアルタイムに入力されるユーザの行動履歴のデータ(センサの出力データ等)に対しても、行動解析処理を行うことが可能である。
したがって、ユーザの行動解析をより適切に行うことが可能となる。
上述の実施形態において、行動解析処理では、立ち上がり動作、座り動作、歩行あるいは移動動作を特定行動として検出するものとしたが、特定行動としては、交通手段を利用した移動等を設定することも可能である。
即ち、加速度センサ、気圧センサ及び磁気センサの出力データを統計的に分析することで、歩行、走行、階段の昇降、エレベータによる昇降、電車による移動、バスによる移動、乗用車による移動等を区別して検出可能であることから、これらを特定行動として設定することができる。
図7は、移動手段判定処理の流れを説明するフローチャートである。
移動手段判定処理は、行動解析処理のステップS18において、立ち座り/移動判定処理に代えて、あるいは、立ち座り/移動判定処理と共に実行することができる。なお、図7における閾値Th11〜Th15は、移動手段の判定のために予め設定された閾値である。即ち、例えば3軸合成の加速度でも、「走る」では、1〜1.2Gの範囲に広く分布するが、「歩く」では1.03〜1.05G付近に分布する。そして「自動車」、「バス」及び「電車」では約0.98〜1.01Gの狭い範囲に集中することが多い。よって、「歩く」、「走る」等と「自動車」、「バス」等とについて識別可能である。また、東京近郊の平常時の3軸合成した磁気量は約45[μT]程度で、「徒歩」では40〜50[μT]、「自動車」や「バス」で30[μT]の範囲で略一定であるが、「電車」では通常生じない100[μT]以上の磁気が頻繁に観測されるので、「電車」と他の移動とについては一般的に容易に識別できる。また、「自動車」と「バス」については、横方向や進行方向の加速度のパワースペクトラムや鉛直方向の加速度に差があるので、それを解析することで識別ができるし、それに加えてGPSを利用した自身の位置情報を利用することで、自分がバスの路線上にいるのか、または、それ以外の道路上にいるのかも判定して識別してもよい。これら上述したパラメータの情報に鑑みてTh11〜Th15が設定されてもよい。
ステップS72において、特定行動検出部52は、磁気量の平均≧閾値Th11であるか否かの判定を行う。
磁気量の平均≧閾値Th11である場合、ステップS72においてYESと判定されて、処理はステップS73に移行する。
一方、磁気量の平均≧閾値Th11でない場合、ステップS72においてNOと判定されて、処理はステップS74に移行する。
ステップS74において、特定行動検出部52は、上下の加速度の平均≧閾値Th12であるか否かの判定を行う。
上下の加速度の平均≧閾値Th12である場合、ステップS74においてYESと判定されて、処理はステップS80に移行する。
一方、上下の加速度の平均≧閾値Th12でない場合、ステップS74においてNOと判定されて、処理はステップS75に移行する。
上下の加速度の平均<閾値Th13である場合、ステップS75においてYESと判定されて、処理はステップS79に移行する。
一方、上下の加速度の平均<閾値Th13でない場合、ステップS75においてNOと判定されて、処理はステップS76に移行する。
加速度のパワースペクトラム最大値≧閾値Th14である場合には、ステップS76においてYESと判定されて、処理はステップS78に移行する。
一方、加速度のパワースペクトラム最大値≧閾値Th14でない場合、ステップS76においてNOと判定されて、処理はステップS77に移行する。
ステップS78において、特定行動検出部52は、ユーザの移動手段を「バス」に分類する。
ステップS79において、特定行動検出部52は、ユーザの移動手段を「静止」に分類する。
走行速度の平均≧閾値Th15または鉛直方向の加速度≧閾値Th16である場合、ステップS80においてYESと判定されて、処理はステップS82に移行する。
一方、走行速度の平均≧閾値Th15でなく鉛直方向の加速度≧閾値Th16でない場合、ステップS80においてNOと判定されて、処理はステップS81に移行する。
ステップS82において、特定行動検出部52は、ユーザの移動手段を「走行」に分類する。
このような処理により、ユーザの移動手段を特定行動として設定することができ、多様な行動を特定行動として設定することで、ユーザの行動解析をより適切に行うことが可能となる。
特定行動検出部52は、ユーザにおける特定行動を検出する。
行動解析部53は、特定行動に対応する期間におけるユーザの関連行動を解析する。
これにより、ユーザの行動において、特定行動に対応する期間の行動として蓋然性の高い行動が行動解析結果としてより取得され易いものとなる。
したがって、ユーザの行動解析をより適切に行うことが可能となる。
また、特定行動に基づいて(特定行動を利用した上で)、この特定行動の前後の行動を予想するので、何も参照することなく行動解析する場合に比べて処理が容易となり、CPUパワーを多く利用することなく行動解析することができる。
行動解析部53は、特定行動に隣接する期間におけるユーザの関連行動を解析する。
これにより、特定行動を契機として、特定行動の前後の行動として蓋然性の高い行動が行動解析結果としてより取得され易いものとなる。
したがって、ユーザの行動解析をより適切に行うことが可能となる。
これにより、特定行動と対応付けた関連行動の解析を行うことができるため、ユーザの行動をより具体的かつ高精度に解析することが可能となる。
行動解析部53は、第1の特定行動が検出された以後の期間におけるユーザの行動を、第1の特定行動と対応付けて解析する。
これにより、第1の特定行動の後に行われる行動をより具体的かつ高精度に解析することができる。
行動解析部53は、第2の特定行動が検出された以前の期間におけるユーザの行動を、第2の特定行動と対応付けて解析する。
これにより、第2の特定行動の前に行われる行動をより具体的かつ高精度に解析することができる。
行動解析部53は、第1の特定行動が検出された時間から第2の特定行動が検出された時間までのユーザの行動を、第1の特定行動及び第2の特定行動と対応付けて解析する。
これにより、第1の特定行動と第2の特定行動との間に行われる行動をより具体的かつ高精度に解析することができる。
これにより、より適切な特定行動を定義することができるため、ユーザの行動解析をより適切に行うことが可能となる。
関連行動記憶部72は、特定行動と、当該特定行動と関連性の高いユーザの行動とを予め対応付けて記憶する。
行動解析部53は、特定行動検出部52によって特定行動が検出された場合に、関連行動記憶部72に記憶された当該特定行動と関連性の高いユーザの行動を参照して、ユーザの行動を解析する。
これにより、特定行動と関連性の高い行動を予め定義することができ、定義された行動を参照して、より簡単にユーザの行動を解析することが可能となる。
行動解析部53は、行動解析装置1に備えられた第2CPU11Bによって構成される。
第1CPU11Aは、第2CPU11Bより低消費電力で動作する。
これにより、行動解析装置1の低消費電力化を図ることができる。
履歴データ記憶部71は、ユーザの行動に関連して取得されたデータの履歴を記憶する。
特定行動検出部52は、履歴データ記憶部71に記憶されたデータに基づいて、特定行動を検出する。
行動解析部53は、検出された特定行動に基づいて、履歴データ記憶部71に記憶されたデータが表す行動を解析する。
これにより、行動解析装置1において過去に取得された履歴のデータを対象として、特定行動を検出して行動解析を行うことができる。
これにより、特定行動に隣接する期間におけるユーザの行動全体が表す行動の内容を行動結果として取得することができる。
また、上述の実施形態において、測位データあるいは各種センサの出力データは、行動解析装置1が連携する他の装置から取得することとしてもよい。
例えば、本発明は、行動解析処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。また、リスト端末以外のウェアラブル機器として、例えば、眼鏡型のウェアラブル機器に適用することも可能である。この場合、ユーザの口の動きを検出することができ、食事していることや会話していることをより正確に判定することができる。
換言すると、図2の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が行動解析装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図2の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
[付記1]
ユーザにおける特定行動を検出する特定行動検出手段と、
前記特定行動に対応する期間における前記ユーザの関連行動を解析する行動解析手段と、
を備えることを特徴とする行動解析装置。
[付記2]
前記特定行動検出手段は、前記特定行動を行動解析の契機となる行動として検出し、
前記行動解析手段は、前記特定行動に隣接する期間における前記ユーザの関連行動を解析することを特徴とする付記1に記載の行動解析手段。
[付記3]
前記行動解析手段は、前記特定行動に対応する期間における前記ユーザの関連行動を前記特定行動と対応付けて解析することを特徴とする付記1または2に記載の行動解析装置。
[付記4]
前記特定行動検出手段は、行動の開始に対応する第1の特定行動を検出し、
前記行動解析手段は、前記第1の特定行動が検出された以後の期間における前記ユーザの行動を、前記第1の特定行動と対応付けて解析することを特徴とする付記3に記載の行動解析装置。
[付記5]
前記特定行動検出手段は、行動の終了に対応する第2の特定行動を検出し、
前記行動解析手段は、前記第2の特定行動が検出された以前の期間における前記ユーザの行動を、前記第2の特定行動と対応付けて解析することを特徴とする付記3に記載の行動解析装置。
[付記6]
前記特定行動検出手段は、行動の開始に対応する第1の特定行動と、行動の終了に対応する第2の特定行動とを検出し、
前記行動解析手段は、前記第1の特定行動が検出された時間から前記第2の特定行動が検出された時間までの前記ユーザの行動を、前記第1の特定行動及び前記第2の特定行動と対応付けて解析することを特徴とする付記3に記載の行動解析装置。
[付記7]
前記特定行動検出手段は、ユーザにおける複数の行動の組み合わせまたはユーザにおける単一の行動の少なくともいずれかを前記特定行動として検出することを特徴とする付記1から6のいずれか1つに記載の行動解析装置。
[付記8]
前記特定行動と、当該特定行動と関連性の高い前記ユーザの行動とを予め対応付けて記憶する関連行動記憶手段をさらに備え、
前記行動解析手段は、前記特定行動検出手段によって前記特定行動が検出された場合に、前記関連行動記憶手段に記憶された当該特定行動と関連性の高い前記ユーザの行動を参照して、前記ユーザの行動を解析することを特徴とする付記1から7のいずれか1つに記載の行動解析装置。
[付記9]
前記特定行動検出手段は、当該行動解析装置に備えられた第1のハードウェアによって構成され、
前記行動解析手段は、当該行動解析装置に備えられた第2のハードウェアによって構成され、
前記第1のハードウェアは、前記第2のハードウェアより低消費電力で動作することを特徴とする付記1から8のいずれか1つに記載の行動解析装置。
[付記10]
ユーザの行動に関連して取得されたデータの履歴を記憶する履歴データ記憶手段を備え、
前記特定行動検出手段は、前記履歴データ記憶手段に記憶された前記データに基づいて、前記特定行動を検出し、
前記行動解析手段は、検出された前記特定行動に基づいて、前記履歴データ記憶手段に記憶された前記データが表す行動を解析することを特徴とする付記1から9のいずれか1つに記載の行動解析装置。
[付記11]
前記行動解析手段は、前記特定行動に隣接する期間における前記ユーザの行動を解析して、1つの行動結果とすることを特徴とする付記1から10のいずれか1つに記載の行動解析装置。
[付記12]
行動解析装置で実行される行動解析方法であって、
ユーザにおける特定行動を検出する特定行動検出ステップと、
前記特定行動に対応する期間における前記ユーザの関連行動を解析する行動解析ステップと、
を含むことを特徴とする行動解析方法。
[付記13]
行動解析装置を制御するコンピュータを、
ユーザにおける特定行動を検出する特定行動検出手段、
前記特定行動に対応する期間における前記ユーザの関連行動を解析する行動解析手段、
として機能させることを特徴とするプログラム。
Claims (13)
- ユーザにおける特定行動を検出する特定行動検出手段と、
前記特定行動に対応する期間における前記ユーザの関連行動を解析する行動解析手段と、
を備えることを特徴とする行動解析装置。 - 前記特定行動検出手段は、前記特定行動を行動解析の契機となる行動として検出し、
前記行動解析手段は、前記特定行動に隣接する期間における前記ユーザの関連行動を解析することを特徴とする請求項1に記載の行動解析手段。 - 前記行動解析手段は、前記特定行動に対応する期間における前記ユーザの関連行動を前記特定行動と対応付けて解析することを特徴とする請求項1または2に記載の行動解析装置。
- 前記特定行動検出手段は、行動の開始に対応する第1の特定行動を検出し、
前記行動解析手段は、前記第1の特定行動が検出された以後の期間における前記ユーザの行動を、前記第1の特定行動と対応付けて解析することを特徴とする請求項3に記載の行動解析装置。 - 前記特定行動検出手段は、行動の終了に対応する第2の特定行動を検出し、
前記行動解析手段は、前記第2の特定行動が検出された以前の期間における前記ユーザの行動を、前記第2の特定行動と対応付けて解析することを特徴とする請求項3に記載の行動解析装置。 - 前記特定行動検出手段は、行動の開始に対応する第1の特定行動と、行動の終了に対応する第2の特定行動とを検出し、
前記行動解析手段は、前記第1の特定行動が検出された時間から前記第2の特定行動が検出された時間までの前記ユーザの行動を、前記第1の特定行動及び前記第2の特定行動と対応付けて解析することを特徴とする請求項3に記載の行動解析装置。 - 前記特定行動検出手段は、ユーザにおける複数の行動の組み合わせまたはユーザにおける単一の行動の少なくともいずれかを前記特定行動として検出することを特徴とする請求項1から6のいずれか1項に記載の行動解析装置。
- 前記特定行動と、当該特定行動と関連性の高い前記ユーザの行動とを予め対応付けて記憶する関連行動記憶手段をさらに備え、
前記行動解析手段は、前記特定行動検出手段によって前記特定行動が検出された場合に、前記関連行動記憶手段に記憶された当該特定行動と関連性の高い前記ユーザの行動を参照して、前記ユーザの行動を解析することを特徴とする請求項1から7のいずれか1項に記載の行動解析装置。 - 前記特定行動検出手段は、当該行動解析装置に備えられた第1のハードウェアによって構成され、
前記行動解析手段は、当該行動解析装置に備えられた第2のハードウェアによって構成され、
前記第1のハードウェアは、前記第2のハードウェアより低消費電力で動作することを特徴とする請求項1から8のいずれか1項に記載の行動解析装置。 - ユーザの行動に関連して取得されたデータの履歴を記憶する履歴データ記憶手段を備え、
前記特定行動検出手段は、前記履歴データ記憶手段に記憶された前記データに基づいて、前記特定行動を検出し、
前記行動解析手段は、検出された前記特定行動に基づいて、前記履歴データ記憶手段に記憶された前記データが表す行動を解析することを特徴とする請求項1から9のいずれか1項に記載の行動解析装置。 - 前記行動解析手段は、前記特定行動に隣接する期間における前記ユーザの行動を解析して、1つの行動結果とすることを特徴とする請求項1から10のいずれか1項に記載の行動解析装置。
- 行動解析装置で実行される行動解析方法であって、
ユーザにおける特定行動を検出する特定行動検出ステップと、
前記特定行動に対応する期間における前記ユーザの関連行動を解析する行動解析ステップと、
を含むことを特徴とする行動解析方法。 - 行動解析装置を制御するコンピュータを、
ユーザにおける特定行動を検出する特定行動検出手段、
前記特定行動に対応する期間における前記ユーザの関連行動を解析する行動解析手段、
として機能させることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016060473A JP6784044B2 (ja) | 2016-03-24 | 2016-03-24 | 行動解析装置、行動解析方法及びプログラム |
US15/450,387 US20170279907A1 (en) | 2016-03-24 | 2017-03-06 | Behavior Analysis Apparatus for Analysis of User's Behavior, Behavior Analysis Method, and Storage Medium |
CN201710171951.9A CN107224290A (zh) | 2016-03-24 | 2017-03-21 | 行动解析装置、行动解析方法以及计算机可读取的记录介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016060473A JP6784044B2 (ja) | 2016-03-24 | 2016-03-24 | 行動解析装置、行動解析方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017174212A true JP2017174212A (ja) | 2017-09-28 |
JP2017174212A5 JP2017174212A5 (ja) | 2019-04-25 |
JP6784044B2 JP6784044B2 (ja) | 2020-11-11 |
Family
ID=59898358
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016060473A Active JP6784044B2 (ja) | 2016-03-24 | 2016-03-24 | 行動解析装置、行動解析方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20170279907A1 (ja) |
JP (1) | JP6784044B2 (ja) |
CN (1) | CN107224290A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019107307A (ja) * | 2017-12-20 | 2019-07-04 | カシオ計算機株式会社 | 行動検出装置、電子機器、行動検出システム、行動検出方法及びプログラム |
CN112650743A (zh) * | 2020-12-30 | 2021-04-13 | 咪咕文化科技有限公司 | 一种漏斗数据分析方法、系统、电子设备及存储介质 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018216100A1 (ja) * | 2017-05-23 | 2018-11-29 | 日本電気株式会社 | 行動分析システム、行動分析方法及び記録媒体 |
US11223638B2 (en) * | 2018-12-27 | 2022-01-11 | Rapid7, Inc. | Stable network user account classifier |
CN111726849B (zh) * | 2020-06-29 | 2022-07-08 | 西安易朴通讯技术有限公司 | WiFi热点的类型识别方法、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010032579A1 (ja) * | 2008-09-19 | 2010-03-25 | 株式会社日立製作所 | 行動履歴の生成方法及び行動履歴の生成システム |
US20110081634A1 (en) * | 2009-10-02 | 2011-04-07 | Masatomo Kurata | Behaviour Pattern Analysis System, Mobile Terminal, Behaviour Pattern Analysis Method, and Program |
WO2012173027A1 (ja) * | 2011-06-13 | 2012-12-20 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータプログラム |
US20140207408A1 (en) * | 2010-09-30 | 2014-07-24 | Fitbit, Inc. | Methods and Systems for Geo-Location Optimized Tracking and Updating for Events Having Combined Activity and Location Information |
JP2015127900A (ja) * | 2013-12-27 | 2015-07-09 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置、サーバシステムおよび情報処理システム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69736622T2 (de) * | 1996-07-03 | 2007-09-13 | Hitachi, Ltd. | System zur Bewegungserkennung |
KR100934225B1 (ko) * | 2007-09-21 | 2009-12-29 | 한국전자통신연구원 | 일상생활 행위 인식을 위한 주체자의 행위 분류 보정 장치및 방법, 이를 이용한 일상생활 행위 인식 시스템 |
US9141974B2 (en) * | 2008-01-16 | 2015-09-22 | Martin Kelly Jones | Systems and methods for determining mobile thing (MT) identification and/or MT motion activity using sensor data of wireless communication device |
US9167991B2 (en) * | 2010-09-30 | 2015-10-27 | Fitbit, Inc. | Portable monitoring devices and methods of operating same |
US10216893B2 (en) * | 2010-09-30 | 2019-02-26 | Fitbit, Inc. | Multimode sensor devices |
WO2013128972A1 (ja) * | 2012-03-02 | 2013-09-06 | 日本電気株式会社 | 動作判定装置、動作判定システムおよび動作判定方法 |
JP6035812B2 (ja) * | 2012-03-28 | 2016-11-30 | カシオ計算機株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP5935516B2 (ja) * | 2012-06-01 | 2016-06-15 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US9183174B2 (en) * | 2013-03-15 | 2015-11-10 | Qualcomm Incorporated | Use case based reconfiguration of co-processor cores for general purpose processors |
JP6923319B2 (ja) * | 2013-09-11 | 2021-08-18 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 転倒検出システム、方法及びコンピュータプログラム |
EP3232395A4 (en) * | 2014-12-09 | 2018-07-11 | Sony Corporation | Information processing device, control method, and program |
WO2016182179A1 (en) * | 2015-05-11 | 2016-11-17 | Samsung Electronics Co., Ltd. | User terminal apparatus and controlling method thereof |
US10888270B2 (en) * | 2015-08-06 | 2021-01-12 | Avishai Abrahami | Cognitive state alteration system integrating multiple feedback technologies |
-
2016
- 2016-03-24 JP JP2016060473A patent/JP6784044B2/ja active Active
-
2017
- 2017-03-06 US US15/450,387 patent/US20170279907A1/en not_active Abandoned
- 2017-03-21 CN CN201710171951.9A patent/CN107224290A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010032579A1 (ja) * | 2008-09-19 | 2010-03-25 | 株式会社日立製作所 | 行動履歴の生成方法及び行動履歴の生成システム |
US20110081634A1 (en) * | 2009-10-02 | 2011-04-07 | Masatomo Kurata | Behaviour Pattern Analysis System, Mobile Terminal, Behaviour Pattern Analysis Method, and Program |
JP2011081431A (ja) * | 2009-10-02 | 2011-04-21 | Sony Corp | 行動パターン解析システム、携帯端末、行動パターン解析方法、及びプログラム |
US20140207408A1 (en) * | 2010-09-30 | 2014-07-24 | Fitbit, Inc. | Methods and Systems for Geo-Location Optimized Tracking and Updating for Events Having Combined Activity and Location Information |
WO2012173027A1 (ja) * | 2011-06-13 | 2012-12-20 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータプログラム |
JP2015127900A (ja) * | 2013-12-27 | 2015-07-09 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置、サーバシステムおよび情報処理システム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019107307A (ja) * | 2017-12-20 | 2019-07-04 | カシオ計算機株式会社 | 行動検出装置、電子機器、行動検出システム、行動検出方法及びプログラム |
CN112650743A (zh) * | 2020-12-30 | 2021-04-13 | 咪咕文化科技有限公司 | 一种漏斗数据分析方法、系统、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN107224290A (zh) | 2017-10-03 |
JP6784044B2 (ja) | 2020-11-11 |
US20170279907A1 (en) | 2017-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6784044B2 (ja) | 行動解析装置、行動解析方法及びプログラム | |
JP5166316B2 (ja) | 状況認識装置及び状況認識方法 | |
US20150169659A1 (en) | Method and system for generating user lifelog | |
US20160026870A1 (en) | Wearable apparatus and method for selectively processing image data | |
JP7143912B2 (ja) | 人物検出システム | |
US20150156623A1 (en) | User Activity Tracking System and Device | |
US10142598B2 (en) | Wearable terminal device, photographing system, and photographing method | |
US20180040317A1 (en) | Information processing device, information processing method, and program | |
JP2009129338A (ja) | 対人関係評価装置、対人関係評価方法、対人関係評価システム、端末装置 | |
JP6742380B2 (ja) | 電子装置 | |
JPWO2016098457A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US10728437B2 (en) | Image capture control apparatus, image capture control method, and image capture control program | |
US20190049250A1 (en) | Information processing apparatus, information processing method, and computer program | |
JPWO2017047063A1 (ja) | 情報処理装置、評価方法及びコンピュータプログラム | |
JP6661902B2 (ja) | 通信制御装置、通信制御方法及びプログラム | |
JP2016111393A (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
JP5411641B2 (ja) | 画像分類装置、画像分類システム、画像分類方法、プログラム、および記録媒体 | |
JP2015233204A (ja) | 画像記録装置及び画像記録方法 | |
US10219127B2 (en) | Information processing apparatus and information processing method | |
EP3264742A1 (en) | Imaging control device, imaging control method and imaging control system | |
JP7482082B2 (ja) | 行動検出装置、電子機器、行動解析方法及びプログラム | |
JP2016163145A (ja) | 電子機器、情報取得方法及びプログラム | |
KR101742707B1 (ko) | 스마트 워치의 내장 가속도 센서와 스마트폰을 이용한 행동 인식 장치 및 방법 | |
US20220406069A1 (en) | Processing apparatus, processing method, and non-transitory storage medium | |
JP6398743B2 (ja) | 運動情報測定装置、運動情報測定装置の制御方法、運動情報測定装置の制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190312 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190312 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200410 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200923 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201006 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6784044 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |