JP2020194218A - 正解データ作成支援システムおよび正解データ作成支援方法 - Google Patents

正解データ作成支援システムおよび正解データ作成支援方法 Download PDF

Info

Publication number
JP2020194218A
JP2020194218A JP2019097854A JP2019097854A JP2020194218A JP 2020194218 A JP2020194218 A JP 2020194218A JP 2019097854 A JP2019097854 A JP 2019097854A JP 2019097854 A JP2019097854 A JP 2019097854A JP 2020194218 A JP2020194218 A JP 2020194218A
Authority
JP
Japan
Prior art keywords
correct answer
behavior
data
sensor
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019097854A
Other languages
English (en)
Other versions
JP7152357B2 (ja
Inventor
俊輔 三幣
Shunsuke Mihei
俊輔 三幣
田中 毅
Takeshi Tanaka
毅 田中
栗山 裕之
Hiroyuki Kuriyama
裕之 栗山
和仁 杉山
Kazuhito Sugiyama
和仁 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2019097854A priority Critical patent/JP7152357B2/ja
Priority to US16/824,068 priority patent/US20200367791A1/en
Publication of JP2020194218A publication Critical patent/JP2020194218A/ja
Application granted granted Critical
Publication of JP7152357B2 publication Critical patent/JP7152357B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/681Wristwatch-type devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118Determining activity level
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123Discriminating type of movement, e.g. walking or running
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00Indicating or recording presence, absence, or direction, of movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/08Sensors provided with means for identification, e.g. barcodes or memory chips
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6823Trunk, e.g., chest, back, abdomen, hip
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6824Arm or wrist
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/18Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】人の行動を記録したセンサデータを用いて、確度の高い行動正解データの作成支援を行う。【解決手段】正解データ作成支援システムであって、センサの計測によって得られたセンサデータを入力する入力部と、センサデータの特徴に対応する符号をセンサデータに付与するための符号付与モデルと、符号が付与されたセンサデータに基づいてセンサを装着した人物の行動を推定するための行動推定モデルとを記憶する記憶部と、計測時間帯のセンサデータと、符号付与モデルと、行動推定モデルと、に基づいて、センサを装着した人物の計測時間帯の行動を推定する処理部と、推定された計測時間帯の行動と、計測時間帯のセンサデータに付与された符号と、を出力する出力部と、を有する。【選択図】図1

Description

本発明は、人の行動を記録したセンサデータを用いて行動の正解データの作成支援を行う技術に関する。
ウェアラブル端末で計測した加速度などのセンサデータを用いたユーザの行動判別に必要な正解データを得るため、センサデータ単体を用いて正解データを作成する、または作成を支援する手段が提案されている。例えば、国際公開第2010/032579号(特許文献1)では、「人の動作状態からシーンを抽出し、シーン毎に動作内容を特定し、動作内容の出現順序から行動内容を推定し、ユーザに提示する」、行動履歴の生成システムが開示されている。
国際公開第2010/032579号
特許文献1に記載のシステムによってユーザに提示される情報は、運動強度などセンサデータからルールベースで算出される特徴量と、行動内容の判別結果(歩行、安静、軽作業など)に留まっており、ユーザが正解データを入力する際の判断材料が不足している。そのため、センサデータ単体から正解データを作成する際の判断材料の大部分を記憶に依拠することとなり、正解データの確度に問題があった。
本発明は、上記問題点に鑑みてなされたものであり、人の行動を記録したセンサデータを用いて、確度の高い行動正解データの作成支援を行うことを目的とする。
上記の課題の少なくとも一つを解決するために、本発明の正解データ作成支援システムは、センサの計測によって得られたセンサデータを入力する入力部と、前記センサデータの特徴に対応する符号を前記センサデータに付与するための符号付与モデルと、前記符号が付与されたセンサデータに基づいて前記センサを装着した人物の行動を推定するための行動推定モデルとを記憶する記憶部と、計測時間帯のセンサデータと、前記符号付与モデルと、前記行動推定モデルと、に基づいて、前記センサを装着した人物の前記計測時間帯の行動を推定する処理部と、推定された前記計測時間帯の行動と、前記計測時間帯の前記センサデータに付与された前記符号と、を出力する出力部と、を有することを特徴とする。
本発明の一形態によれば、前記符号を付されたセンサデータと、前記計測時間帯の行動の推定結果とに基づいて、確度の高い行動正解データの作成支援を行うことができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明によって明らかにされる。
本発明の実施例の主要な構成を示すブロック図である。 本発明の実施例1の正解データ作成支援システムの主要な構成を示すハードウェア構成図である。 本発明の実施例1のサーバが実行する単位行動モデルの作成及び業務行動モデルの作成の典型的な処理手順を示す説明図である。 本発明の実施例1の正解データ作成支援システムを用いて正解データを作成する典型的な処理手順を示す説明図である。 本発明の実施例1の正解データ作成支援システムを用いてセンサデータから正解候補データを得る際におけるデータ形式の模式図である。 本発明の実施例1の正解データ作成支援システムを用いて、操作者からの正解付与を受け付ける入力画面の例を示す説明図である。 本発明の実施例1の正解データ作成支援システムにおいて記憶される単位行動系列データ、正解候補データ、業務行動正解データ及び学習範囲データのデータ構造の典型例を示す説明図である。 本発明の実施例1の正解データ作成支援システムにおいて保持されるユーザデータ及びモデル設定データのデータ構造の典型例を示す説明図である。 本発明の実施例2における正解データ作成支援システムの主要な構成を示すハードウェア構成図である。 本発明の実施例3における正解データ作成支援システムの主要な構成を示すハードウェア構成図である。 本発明の実施例3において正解データ作成支援システムを用いて、操作者からの正解付与を受け付ける場合の入力画面の例である。
以下、図面を参照しながら本発明の実施例について説明する。
図1は、本発明の実施例の主要な構成を示すブロック図である。
本発明の実施例の正解データ作成支援システムにおいて、入力部1001は、センサの計測によって得られたセンサデータ41を処理部1003に入力する。また、記憶部1002は、複数の既知の行動パターンにおけるセンサデータの特徴に対応付けられた符号をセンサデータ41に付す符号付与モデル43(以下、単位行動モデルとも記載する)と、符号を付されたセンサデータ47(以下、単位行動系列データとも記載する)に基づいて計測時間帯の行動を推定する行動推定モデル45(以下、業務行動モデルとも記載する)と、を記憶する。
処理部1003は、入力部1001から入力されたセンサデータ41と、記憶部1002から読み出された単位行動モデル43とに基づき、単位行動系列データ47を生成する単位行動判別31を行う。その後、処理部1003は、単位行動系列データ47と、記憶部1002から読み出された業務行動モデル45とに基づき、計測時間帯の行動49(以下、正解候補データとも記載する)を生成する業務行動判別32を行う。
出力部1004は、処理部1003によって生成された単位行動系列データ47と正解候補データ49とを出力する。表示部1005は、出力部1004によって出力された単位行動系列データ47と正解候補データ49とを表示する。
以上のシステム構成と各部の処理について、具体的なハードウェア構成を想定した以下の実施例を用いて詳細を説明する。
まず、本発明の実施例1を説明する。
図2は、本発明の実施例1の正解データ作成支援システムの主要な構成を示すハードウェア構成図である。
本実施例の正解データ作成支援システムは、ユーザが装着するセンサ1と、センサ1と通信するPC2またはスマートフォン3と、ネットワーク4を介してPC2またはスマートフォン3と通信できるサーバ5とから構成されている。センサ1は、PC2またはスマートフォン3を介して、計測したセンサデータ41をサーバ5に送信する。
サーバ5は、受信したセンサデータ41を解析し、単位行動系列データ47と、正解候補データ49とを算出する。単位行動系列データ47は、短い時間(例:6秒)のセンサデータ41を人の典型的な動作又は姿勢などの特徴的パターンに分類することで得られた行動パターン(すなわち単位行動)の時系列データである。正解候補データ49は、単位行動系列データ47を用いて本システムによって判別したい行動(業務行動)を推定した結果得られた時系列データである。
PC2またはスマートフォン3は、解析結果である単位行動系列データ47および正解候補データ49をサーバ5からダウンロードしてユーザに表示することができる。更に、PC2またはスマートフォン3は、ユーザに表示した正解候補データ49に対し、その結果が正しいか否かに加え、誤っている場合にはユーザが正しいとする業務行動の名前と時間帯を収集して業務行動正解データ44に記録することができる。
本実施例では説明の便宜上、センサ1としてリストバンド型で手首部へ装着するウェアラブルセンサを例に挙げ、センサ1から得られるセンサデータ41のみを用いて、業務行動の正解データの作成を支援する例を説明する。また下記では、得られるセンサデータ41として、互いに直交する3軸からの3種類の加速度データを計測した場合を例にとって説明する。
なお、加速度データの他に、例えば、ジャイロ、照度、音声、周囲に存在するセンサのIDなどの時系列データをセンサデータ41として用いても良い。また、例えば、センサ1の装着位置は、手首以外の部分、例えば上腕部または腰部であってもよい。さらに、センサデータ41は、PC2またはスマートフォン3と無線または有線接続のネットワーク4が確立したタイミングで自動的に、あるいはユーザの任意のタイミングで、PC2またはスマートフォン3に送信することができる。
PC2及びスマートフォン3は、センサ1、及び。インターネットなどのネットワーク4に接続されたサーバ5と通信することができる。PC2及びスマートフォン3は、センサ1から受信したセンサデータ41をサーバ5に対して送信することができ、サーバ5の正解データ入出力プログラム22を介して、サーバ5に保存されたデータの表示、操作、およびサーバ5に対しての入力を行うことができる。
サーバ5は、通信部12、CPU(Central Processing Unit)13、GPU(Graphics Processing Unit)14、メモリ11、及びデータベース15から構成されている。メモリ11には、正解データ入出力プログラム22及び解析プログラム21が格納されている。サーバ5は、PC2またはスマートフォン3が送信したセンサデータ41を解析プログラム21によって解析し、単位行動系列データ47と正解候補データ49とを算出し、データベース15に記録する。また、サーバ5は、センサデータ41から単位行動系列データ47及び正解候補データ49を算出するためのアルゴリズムまたはルールである単位行動モデル43及び業務行動モデル45を生成することもできる。
CPU13は、解析プログラム21および正解データ入出力プログラム22の処理を行うことができる。また、処理上の必要に応じてCPU13に加えてGPU14上で処理が行われても良い。以下では、単位行動判別においてCPU13及びGPU14が、業務行動判別32においてCPU13が、後述する各機能の処理を実施する場合を例として挙げる。
通信部12は、ネットワーク4を介してPC2またはスマートフォン3と接続し、データの送受信を行うことができる。センサ1から受信したセンサデータ41、及び、PC2またはスマートフォン3を介して入力された業務行動正解データ44は、データベース15に記録される。
正解データ入出力プログラム22は、データベース15に記録されたデータを、ネットワーク4を介してユーザに対して表示し、また、ユーザからの入力を受け付ける処理をCPU13に実行させるためのプログラムである。解析プログラム21は、単位行動判別プログラム31、業務行動判別プログラム32、単位行動モデル生成プログラム33、及び業務行動モデル作成プログラム34から構成される。
データベース15は、センサデータ41、単位行動モデル43、業務行動モデル45、単位行動系列データ47、正解候補データ49、単位行動対応データ42、業務行動正解データ44、モデル設定データ46、学習範囲データ48、及びユーザデータ50から構成される。
単位行動判別プログラム31は、単位行動モデル43を用いて、受信したセンサデータ41を変換し、ユーザの典型的な動作や姿勢などの特徴的パターンに関する特徴量を算出し、算出された特徴量を類似する特徴量グループ(単位行動)にグルーピングすることで得られた特徴量グループ識別子(単位行動id)を単位行動系列データ47に記録する処理をCPU13に実行させるためのプログラムである。業務行動判別プログラム32は、業務行動モデル45を用いて単位行動系列データ47を変換することでユーザの業務行動を推定し、正解候補データ49に記録する処理をCPU13に実行させるためのプログラムである。単位行動モデル生成プログラム33は、センサデータ41、学習範囲データ48、単位行動対応データ42を用いて、単位行動モデル43を作成する処理をCPU13に実行させるためのプログラムである。業務行動モデル作成プログラム34は、学習範囲データ48に定義された範囲の単位行動系列データ47と業務行動正解データ44を用いて、業務行動モデル45を生成する処理をCPU13に実行させるためのプログラムである。なお、各プログラムは、例えば、ユーザの所望のタイミングで実行することも、センサ1からのデータ入力をトリガとして実行することも可能である。
なお、図2に示した構成は、図1に示した正解データ作成支援システムを実現するためのハードウェア構成の一例である。例えば、図1の入力部1001の機能は、CPU13が、PC2又はスマートフォン3、ネットワーク4及び通信部12を介して受信したセンサ1からのセンサデータ41を、解析プログラム21の処理に入力すること、又は、一旦データベース15に格納されたセンサデータ41を読み出して解析プログラム21の処理に入力することによって実現されてもよい。また、PC2又はスマートフォン3がユーザからの情報の入力を受けた場合も、同様に、ネットワーク4及び通信部を介して、CPU13が実行する処理に入力される。すなわち、入力部1001の機能は、CPU13の機能と考えてもよいし、CPU13、通信部12及びPC2又はスマートフォン3の機能と考えてもよい。
また、処理部1003の機能は、例えば、CPU13がメモリ11に格納されたプログラム(例えば解析プログラム21等)を実行することによって実現されてもよい。また、記憶部1002は、例えばHDD又はフラッシュメモリのような記憶装置によって実現されてもよく、これが図2のデータベース15に相当する。
また、出力部1004の機能は、例えば、CPU13がメモリ11に格納されたプログラム(例えば正解データ入出力プログラム22等)を実行することによって実現されてもよい。
また、表示部1005の機能は、例えばサーバ5の表示装置(図示省略)によって実現されてもよい。あるいは、表示部1005の機能は、PC2又はスマートフォン3によって実現されてもよい。この場合、出力部1004によって出力されたデータが通信部12及びネットワーク4を介してPC2又はスマートフォン3に送信され、PC2又はスマートフォン3の表示装置(図示省略)がそれらのデータに基づく画像を表示してもよい。
図3は、本発明の実施例1のサーバ5が実行する単位行動モデルの作成S101及び業務行動モデルの作成S201の典型的な処理手順を示す説明図である。
単位行動モデルの作成処理S101(図3(a))は、センサデータの収集S102、前処理S103、単位行動モデルの学習S104、及び、単位行動idと動作名付行動データの対応付けS105から構成される。
まずセンサデータの収集S102では、サーバ5がユーザの装着したセンサ1からセンサデータ41を受信する。
次に、前処理S103が実施される。例えば、センサ1によって収集されたセンサデータ41は、装着位置及び装着方向によって有している情報が異なるため、センサ1の装着位置に応じて向きの補正が実施されてもよい。また、例えば、センサデータ41のうち動きに注目するための重力成分除去、及び、ユーザによって異なる動きの強さを補正するための正規化を導入しても良い。その後、センサデータ41は所定の時間単位(窓幅)で切り出される。
前処理S103の行われたセンサデータ41は、単位行動モデルの学習処理S104に入力される。単位行動モデルの学習S104は、教師あり学習ではなく、センサデータ41から人の典型的な動作及び姿勢などといった行動の判別に有用な特徴的パターンに関する特徴量を抽出し、かつ特徴量の類似したセンサデータ41を単位行動にグルーピングして単位行動idを付与するという教師なし学習によって行われる。
特に、単位行動モデルの学習S104は、作成された単位行動モデル43によって得られる単位行動が、人にとって解釈の容易な特徴量グループとなるよう、典型的には公知の特徴抽出演算と、公知のクラスタリング演算とを順に実行する教師なし学習を用いて行われる。例えば単位行動モデル43の一例として、人手で特徴的な動作群を定義する必要を解消して尤もらしい特徴を抽出するため、特徴抽出演算にAuto Encoderを、クラスタリング処理にK-meansを採用し、入力のセンサデータ41に対して単位行動idとしてクラスタ識別子を付すモデルを採用することができる。また、別の一例として、特徴抽出とクラスタリングとを複数回連続的に実施することでより分離の良いクラスタを得ることのできる機械学習手法を採用することもできる。
また、単位行動モデル43としては、単一の単位行動モデル43を作成するだけでなく、入力するセンサデータ41の窓幅及び単位行動判別後のクラスタ数といったハイパーパラメータの異なる複数のモデルを作成しておき、ユーザの要望に応じて単位行動系列データの生成に用いるモデルを選択可能としておくことが望ましい。
特徴抽出とクラスタリング演算によって定義される単位行動モデル43は、教師なし学習で得られる分類手法であるため、予め人手で典型的な動作及び姿勢などの基本行動を定義しておく必要はなく、抽出したい単位行動の数を指定することによって単位行動が得られる。しかし、これによって、単位行動モデル43を作成しなおすたびに各単位行動idの意味する単位行動は変化してしまう。この問題を回避し、かつ単位行動を人にとって、より解釈の容易な特徴量グループとするため、単位行動対応データ42を用いることができる。
単位行動対応データ42は、典型的には、単位行動モデル43の入力とするセンサデータ41(既知の行動パターン)を一意に定める識別子、そのセンサデータ41が該当する単位行動名でありセンサデータ41の特徴に対応付けられた行動パターン名(例:緩慢な動き)、および、センサデータに付された符号である単位行動idから構成される。単位行動対応データ42に記録されたセンサデータ41を、新たに作成した単位行動モデル43に入力した際に判別された単位行動idを単位行動対応データ42に記録することによって、単位行動モデル43を作成し直した場合であっても単位行動の意味する特徴的パターンを人が容易に理解可能な対応関係が明らかとなる。
なお、後述する業務行動モデル45の正解データ、及び、正解データ入出力プログラム22が収集した正解データを、単位行動idとセンサデータ41との対応付けに再利用しても良い。また、単位行動対応データ42を作成する代わりに、各単位行動idのクラスタに含まれるセンサデータ例に基づいて、後の処理で特徴的パターンの意味を解釈しても良い。
以上で単位行動モデルの作成処理S101が終了する(S106)。単位行動モデルの作成処理S101は、センサ1からセンサデータ41を受信したタイミングで自動的に、あるいは定期的に、あるいはユーザの任意のタイミングで実行することができる。
例えば、何らかの条件を設定しておき、その条件が満たされた場合に単位行動モデルの作成処理S101を実行して、その結果に従って単位行動モデル43を更新してもよい。条件とは、例えば、所定の量の新たなセンサデータ41が入力されたこと、又は、新たなユーザに関するセンサデータ41が入力されたことであってもよい。ここで、新たなユーザとは、新たな分野に属するユーザであってもよい。
より多くのセンサデータ41、より多くのユーザのセンサデータ41、又はより多くの分野のユーザのセンサデータ41を使用することによって、精度の高い単位行動モデル43を生成することができる。
業務行動モデルの作成処理S201(図3(b))は、正解データの作成S202及び教師あり学習モデルの学習S203から構成される。
正解データの作成処理S202は、業務行動モデル45の初回作成時と作成2回目以降とで処理が変化する。
まず、業務行動モデル45の初回作成時には、何らかの手段をもって正解データを作成する必要がある。この手段としては、目視によるユーザの行動の記録、動画像もしくは映像によって記録された行動の書き起こし、またはユーザ自身による行動の記録といった公知の手法を採用することができる。
業務行動モデル45の作成2回目以降には、本実施例1で後述する正解データ入出力プログラム22を用いて正解データを作成することができる。何らかの手段をもって作成された正解データは、典型的には対応するセンサデータ範囲と、入力する単位行動系列データ47の生成に用いた単位行動モデル43の情報、及び正解の業務行動名を一レコードとして業務行動正解データ44に記録される。
サーバ5は、業務行動モデル45の作成に用いる正解データを作成した後に、教師あり学習モデルの学習S203を実行する。業務行動モデル45の入力は、所定の時間単位(窓幅)で切り出された単位行動系列データ47と、これに対応する業務行動正解データ44である。単位行動系列データ47は数値や記号である単位行動idの時系列であるため、業務行動モデル45としては離散データや記号列を扱うことが可能な公知の教師あり学習モデルを選択する。
例えば、所定の時間単位に含まれる単位行動の頻度を用いた業務行動モデル45として、文書の解析に用いられるトピック分析の一手法である潜在的ディリクレ配分法Latent Dirichlet Allocationによって単位行動の頻度をトピック確率に変換して人の意味解釈を容易にした後に、判別性能の高いアンサンブル学習手法であるGradient Boostingを行うモデルを採用することが考えられる。また、単位行動の時系列性を用いた業務行動モデル45の例として、Long Short Term Memoryを導入したRecurrent Neural Networkを用いるモデル採用することが考えられる。
また、業務行動モデル45においても、単位行動モデル43と同様に、単一の業務行動モデル45を作成するだけでなく、入力するセンサデータ41の窓幅または単位行動判別後のクラスタ数といったハイパーパラメータの異なる複数のモデルを作成しておき、ユーザの要望に応じて正解候補データ49の生成に用いるモデルを選択可能としておくことが望ましい。
なお、前述した単位行動対応データ42に記録されたセンサデータ41を、業務行動モデル45の正解データとして利用してもよい。
以上の業務行動モデル45の作成処理は、センサ1からセンサデータ41を受信したタイミングで自動的に、あるいは定期的に、あるいはユーザの任意のタイミングで実行することができる。
なお、単位行動モデル43によって判別される単位行動は介護分野など適用先分野を問わずに比較的汎用なものであるのに対し、業務行動モデル45によって判別される業務行動は適用先分野によって判別対象となる業務行動が大きく異なる。そのため、単位行動モデル43の作成頻度は、業務行動モデル45の作成頻度に比較し、少なくなることが想定される。
図4は、本発明の実施例1の正解データ作成支援システムを用いて正解データを作成する典型的な処理手順S301を示す説明図である。
本実施例に示す正解データ作成支援システムを用いて正解データを作成する処理手順S301は、典型的にはセンサデータの収集S302、前処理S303、単位行動判別S304、業務行動判別S305、モデルパラメータの選択S306、行動判別結果の表示S307、正解データ作成範囲の設定S308、正解データの作成S309、及び業務行動モデルの更新S310から構成される。
まず、図3の説明で上述したように、センサデータの収集S302では、ユーザの装着したセンサ1の収集したセンサデータ41をサーバ5が受信してセンサデータ41として記録する。次に、前処理S303では、上述したように、例えば、向きや位置の補正、重力成分除去、正規化の処理に加え、所定の窓幅で切り出す処理が実施される。
次に、前処理の行われたセンサデータは、単位行動モデル43を用いて単位行動系列データ47に変換される(S304)。得られた単位行動系列データ47は、典型的には、時刻、この時刻に対応する単位行動id、変換に用いた単位行動モデル43の情報、及びユーザ情報を1行としたレコードとして記録される。
このとき、センサデータ41の窓幅などのハイパーパラメータが異なる複数の単位行動モデル43を用いてセンサデータ41を変換し、それぞれを単位行動系列データ47として保持しておくことが望ましい。これによって、後述する正解データ入出力プログラム22において、単位行動モデル43のハイパーパラメータが異なる単位行動系列データ47を表示する際に、再演算を行うことなく擬似リアルタイムで単位行動系列データ47を表示することが可能となる。
以下、単位行動モデル43は入力されるセンサデータ41の窓幅をハイパーパラメータとして有し、窓幅の異なる複数の単位行動モデル43から得られた単位行動系列データ47が記録されているものとして説明を行う。
次に、単位行動系列データ47は、再び所定の窓幅で切り出された後に、業務行動モデル45を用いて正解候補データ49へと変換される(S305)。得られた正解候補データ49は、典型的には、時刻、入力された単位行動系列データ47が各時刻において各判別対象業務行動名に属する確率(業務確率)、この時間に対応する業務行動、入力となる単位行動系列データ47の算出に用いた単位行動モデル43の情報、変換に用いた業務行動モデル45の情報、及びユーザ情報を一行としたレコードとして記録される。
または、単位行動系列データ47のデータ構造として、業務行動の継続時間帯と、この時間帯に対応する業務行動、入力となる単位行動系列データ47の算出に用いた単位行動モデル43の情報、変換に用いた業務行動モデル45の情報、及びユーザ情報を一行としたレコードとして記録してもよい。
単位行動系列データ47と同様に、ハイパーパラメータの異なる複数の単位行動系列データ47から得られた正解候補データ49、及び、ハイパーパラメータの異なる複数の業務行動モデル45を用いて変換された正解候補データ49を、正解候補データ49として保持しておくことが望ましい。以下では、ハイパーパラメータの異なる複数の単位行動系列データ47に対して業務行動モデル45を適用し、複数の窓幅の正解候補データ49が得られているものとして説明する。
次に、正解データ入出力プログラム22を用いたモデルパラメータの選択S306と行動判別結果の表示S307が行われる。ここでは、ユーザはPC2またはスマートフォン3を用いて、単位行動モデル43のモデルパラメータである窓幅として所望の窓幅を、例えばつまみ(図6の領域94参照)を用いて選択するモデル選択入力62を行うことができる。正解データ入出力プログラム22は、選択入力62に応じた単位行動系列データ47及び正解候補データ49を読み出し、PC2またはスマートフォン3に、後述する表示例(図6参照)のように行動判別結果を表示する。
なお、モデルパラメータの選択S306と行動判別結果の表示S307は、ユーザの所望の表示となるまで複数回繰り返すことができる。また、ここではモデルパラメータとして単位行動モデル43の窓幅を選択したが、単位行動モデル43や業務行動モデル45が窓幅とは異なるハイパーパラメータ群を有する場合、そのハイパーパラメータ群を選択させるために、単位行動モデル43と業務行動モデル45のそれぞれに対するモデル選択入力62を受け付けてもよい。最終的に使用されたハイパーパラメータ群は、ユーザデータ50に記録され、適用分野に応じ、適したハイパーパラメータの解析に利用することが可能である。
適用分野(例えば介護又は建設等)によってユーザの行動の特性が異なり、その結果、行動を判別するためのモデルに適切なパラメータの値が異なる場合があるが、上記のようにパラメータを変更しながら処理を繰り返すことによって適切なパラメータを設定し、精度の高いモデルを生成することができる。また、既に説明したように、設定される可能性がある複数のパラメータの値(例えば複数の窓幅)についてあらかじめ計算を行っておくことによって、ユーザからの入力に応じて即時に結果を表示する疑似リアルタイムでの処理が可能になり、ユーザの利便性が向上する。
次に、正解データ作成範囲の設定S308及び正解データの作成S309が行われる。正解データ入出力プログラム22が表示した行動判別結果に対し、ある開始時間と終了時間、これに対応する業務行動名から成る時間帯が正解データ作成範囲として設定60が行われる。範囲の設定60の例として、業務確率の高い順に自動的に選択した範囲を設定する例、及び、表示した行動判別結果の中からユーザが選択した範囲を設定する例などが挙げられる。
正解データ作成範囲の設定60が行われると、設定された正解データ作成範囲に含まれる単位行動系列データ47の単位行動頻度または単位行動遷移順といった統計情報と、正解データ作成範囲における業務確率などの判別結果の妥当性が表示される。これら表示された情報に対して、ユーザによって判別結果の正誤及び結果の修正の入力が行われる。単位行動には人が解釈可能な動作情報が付加されているため、ユーザは正解データ作成範囲に含まれる動作情報を基に入力を行うことができる。
上記のように、設定された正解データ作成範囲の判別結果に対するユーザからの入力が得られると、該当時間帯の業務行動が業務行動正解データ44に記録され、正解付与61が行われる。なお、正解データ作成範囲の設定S308と正解データの作成S309は、ユーザの所望の回数だけ繰り返すことができる。
最後に、得られた業務行動正解データ44、単位行動系列データ47、及び学習範囲データ48を用いて、上述した業務行動モデルの更新S310が行われる。業務行動モデルの更新S310は、必ずしも正解データの作成S309が完了するたびに実施されなくともよい。例えば、業務行動モデルの更新S310は、所定の条件を満たす量の正解データが蓄積された時点で行われてもよいし、所定の条件を満たすユーザ(例えば新たなユーザ又は新たな分野に属するユーザ)に関する正解データが蓄積された時点で行われてもよい。
以上の正解データ作成処理手順S301によって、人の行動を記録したセンサデータ41のみから、簡易に業務行動正解データ44を作成することができる。また作成された業務行動正解データ44を用いて業務行動モデル45を更新することにより、ユーザへ表示される情報の精度が向上することから、本正解データ作成支援システムを継続的に利用することによって、ユーザはより円滑に業務行動正解データ44を作成することが可能となる。
図5は、本発明の実施例1の正解データ作成支援システムを用いてセンサデータ41から正解候補データ49を得る際におけるデータ形式の模式図である。
グラフ71(図5(a))は、サーバ5がセンサ1から受信したセンサデータ41のうち、加速度データの表示例である。受信した加速度データは、ユーザ情報81及びセンサ情報82を有する時系列データであり、直交する3軸からの3種類の加速度データ83が示されている。
グラフ72(図5(b))は、加速度データ83を、単位行動モデル43を用いて単位行動系列データ47に変換し、更に、変換された単位行動系列データ47を業務行動モデル45によって変換した際に得られる正解候補データ49の表示例である。正解候補データ49は、時系列の業務確率データ84となっている。
グラフ73(図5(c))は、正解候補データ49を構成するデータのうち、グラフ72で示した業務確率データ84から正解候補データ49を算出した結果の表示例である。ある正解候補データにおける業務行動は、典型的には、各時刻における業務確率で順位付けを行った際に1位となる(すなわち業務確率が最大値をとる)業務行動88として定義される。一方、ある時間帯における業務行動を算出する際には、各時刻において算出された業務行動が継続する時間帯(例えば選択区間85)によって算出することができる。
なお、業務行動の変化点前後では複数の行動が並行してなされる場合があり、この場合、正解候補データ49の時間帯が細かく別れてしまう可能性がある。これを防ぐため、正解データ入出力プログラム22において正解データ作成範囲を設定S308した際に表示される判別結果の妥当性の算出時などには、単に最大値をとる業務行動の継続時間として正解候補データ49の区間85を定めるのでなく、例えば最大値の半値以上という同一業務行動継続閾値87を定め、同一業務行動継続閾値87以上を示す継続時間帯を正解候補データ区間86として採用しても良い。また、例えば、業務行動採否閾値を定め、業務確率が業務行動採否閾値より低い場合にはその時刻の正解候補データ49を算出しなくとも良い。
図6は、本発明の実施例1の正解データ作成支援システムを用いて、操作者からの正解付与61を受け付ける入力画面の例を示す説明図である。
本入力画面は、正解データ入出力プログラム22を用いてPC2またはスマートフォン3を介して表示される。下段の帯グラフ73は、図5(c)の行動判別結果として表示される正解候補データの時系列のグラフ73であり、区間(例えば区間85)毎に正解候補の業務行動95(例えば食事介助)が示されている。
領域94に表示された単位行動窓幅つまみは、正解候補データ49を得るのに用いた単位行動系列データ47をセンサデータ41から得る際のハイパーパラメータをユーザが変更するために操作することができる。図6には、ハイパーパラメータのうち単位行動窓幅が変更可能である例を示している。ユーザが領域94の単位行動窓幅つまみを操作することによって、単位行動窓幅を指定することができる。このように単位行動窓幅を指定することは、保持されている複数の単位行動モデルの中から、当該単位行動窓幅に対応する単位行動モデルと、それに対応する業務行動モデルを選択することに相当する。
ある範囲の単位行動窓幅の値について、対応する単位行動モデルに基づく単位行動系列データ47の計算を事前に行っておけば、その範囲内で単位行動窓幅つまみを操作した時に、対応する単位行動系列データ47を直ちに取得することができる(すなわち疑似リアルタイムに操作可能である)。また、演算に時間を要する可能性があるものの、事前に計算しておいたハイパーパラメータ外の値に設定し、設定後に改めて演算し直すことで表示してもよい。なお、単位行動モデル43及び業務行動モデル45が窓幅とは異なるハイパーパラメータ群を有する場合、その各ハイパーパラメータに関して入力画面上に表示してもよい。
下段中央部の枠は、正解データ作成範囲として設定された区間(選択区間)85を示す。この選択区間は、図1を参照して説明した計測時間帯の一例である。
領域90には、選択区間85内の単位行動系列データ47が表示されている。これは、選択区間85内の時刻ごとの単位行動id、すなわち単位行動idの時間変化を示している。
また、領域91には、選択区間85内に占める各単位行動系列データの割合が表示されている。ここでは単位行動系列データ47の割合を表示しているが、例えばヒストグラムを用いて頻度を示しても良い。領域91に表示されるように、各単位行動は単位行動id(例:0)と単位行動名(例:緩慢な動き)から構成されている。
また、領域92には、ある単位行動に分類された一以上のセンサデータ41の例が表示されている。
また、領域93には、選択区間85内の業務名に関する判別結果の妥当性が表示されている。典型的には、領域93には、業務行動モデル45の出力した業務確率が高い順に業務名の判別結果が表示される。
なお、領域90〜93は、全てが表示されてもよいし、必要に応じて任意の一つ又は複数が表示されてもよい。
また、領域96には、選択区間85の開始時刻、終了時刻、及び業務行動95が表示されている。業務行動95には、例えば選択区間85において最も確率が高い業務行動の名称(図6の例では、「C:食事介助」)が表示される。これは、選択区間85における正解候補データ49に相当する。
ユーザは、領域96を参照して、業務行動95の表示内容と、自身が選択区間85において行っていた業務行動とを照合して、両者が一致する(すなわち選択区間85の正解候補データ49が正しい)か否かを判定する。このとき、ユーザは、自身の記憶に加えて、領域90〜92に表示された選択区間85の単位行動の内訳及びそれぞれの単位行動の代表的なセンサデータ等を参照して、選択区間85の正解候補データ49が正しいか否かを判定することができる。また、ユーザは、領域93を参照して、例えば確率が高いいくつかの業務と自身の記憶とを照合することで、選択区間85の正解候補データ49が正しいか否かの判定、及び、誤っている場合の真の正解の判定を行うことができる。
ユーザは、選択区間85の正解候補データ49が正しい場合には確定を、誤っている場合には訂正を入力することができる。このような確定又は訂正の入力が、正解の業務行動の入力に相当する。この入力は、例えばユーザがPC2又はスマートフォン3を操作することによって行われるものであり、図1の入力部1001の機能の一部である。正解候補データ49が確定した場合には、その正解候補データ49が業務行動正解データ44として保持される。また、訂正が入力された場合には入力された業務行動が業務行動正解データ44として保持される。
以上のように、操作者は選択区間85内の業務行動が何であるかを入力するに際し、正解候補データ49の提示によるセンサデータ41を計測した際の記憶の想起に留まらず、選択区間85を構成する動作として、領域90及び領域91に示された、人の解釈可能な単位行動の統計情報を参照することによって、定量的な判断材料を以って正解候補データ49の正誤を入力させ、業務行動正解データ44を記憶することができる。
また、図6においては、選択区間に対して、あるハイパーパラメータの単位行動モデル43を用いて変換された単位行動系列データ47に関わる単位行動情報が提示されているが、代わりに異なるハイパーパラメータの複数の単位行動モデル43を用いて変換された複数の単位行動系列データ47に関わる複数の単位行動情報を表示しても良い。
例えば、ハイパーパラメータとして単位行動窓幅(例えば6秒)を複数通りの大きさ(例えば2秒、6秒、15秒など)に変化させた場合の単位行動情報を表示しても良い。さらに、異なるハイパーパラメータの複数の単位行動モデル43を用いて変換された複数の単位行動情報を表示するのに加え、異なるハイパーパラメータの複数の業務行動モデル45によって変換された複数の正解候補データを表示しても良い。
図7は、本発明の実施例1の正解データ作成支援システムにおいて記憶される単位行動系列データ47、正解候補データ49、業務行動正解データ44及び学習範囲データ48のデータ構造の典型例を示す説明図である。
単位行動系列データ47(図7(a))には、典型的には、ユーザID701、センサID702、時刻703、単位行動id704、及びモデル情報705の情報が一レコードに含まれる。
ユーザID701及びセンサID702は、それぞれ、各ユーザ(すなわちセンサ1を装着した人物)の識別情報、及び、当該センサ1の識別情報である。時刻703は、単位行動idの判別に使用したセンサデータの取得時刻(例えば6秒間のセンサデータから一つの単位行動idが算出される場合、その6秒間の始点の時刻など)である。単位行動id704は、算出された単位行動idであり、モデル情報705は、その単位行動idの算出に用いた単位行動モデル43の識別情報(例えばバージョン番号)である。
正解候補データ49(図7(b))には、典型的には、ユーザID711、センサID712、同一業務行動の継続開始時刻713、同一業務行動の継続終了時刻714、区間内における業務名の平均業務確率715〜716、及びモデル情報717が一レコードに含まれる。
ユーザID711及びセンサID712は、単位行動系列データ47のユーザID701及びセンサID702と同様である。同一業務行動の継続開始時刻713及び同一業務行動の継続終了時刻714は、同一業務行動が継続していると推定される時間区間の始点及び終点である。これらは、例えば、図5及び図6に示す選択区間85の始点及び終点であってもよい。また、この区間は、図5に示す正解候補データ区間86のように定められてもよい。
区間内における業務名の平均業務確率715〜716は、区間内で判別された業務行動の確率である。図7(b)には例として業務行動Aの確率715及び業務行動nの確率716を表示し、他を省略しているが、実際には業務行動B、C等、任意のn通りの業務行動の確率が記録される。モデル情報717は、それらの業務行動の判別に用いた(すなわち正解候補の生成に用いた)業務行動モデル45の識別情報(例えばバージョン番号)である。
または、正解候補データ49には、同一業務行動の継続開始時刻713、同一業務行動の継続終了時刻714、及び区間内における業務名の平均業務確率715等に代えて、業務行動判別を実施する窓幅毎の時刻と、各時刻における業務行動の業務確率とが記録されても良い。
また、本発明の実施例では特にハイパーパラメータを変更した複数の単位行動モデル43から得られた単位行動系列データ47が存在し、正解候補データ49の算出に用いる業務行動モデル45もハイパーパラメータを変えた複数モデルが存在することを想定しているため、各レコードがどのモデルによって生成されたのかを示すモデル情報が同時に記録されることが望ましい。これによって、ユーザはハイパーパラメータを変更した際の判別結果を比較することができ、ユーザが判別を希望する業務行動に適したハイパーパラメータを容易に探索することができる。
業務行動正解データ44(図7(c))には、典型的には、ユーザID721、センサID722、開始時刻723、終了時刻724、正解業務行動725、業務名付与日726、モデル情報727、及び正解候補データの修正の有無728が一レコードに含まれる。
ユーザID721及びセンサID722は、単位行動系列データ47のユーザID701及びセンサID702と同様である。開始時刻723及び終了時刻724は、正解候補データ49の同一業務行動の継続開始時刻713及び同一業務行動の継続終了時刻714と同様である。正解業務行動725は、ユーザ等によって付与された正解の業務行動を示す業務名であり、業務名付与日726は、その業務名が付与された日を示す。モデル情報727は、正解候補を算出するために使用された業務行動モデル45の識別情報(例えばバージョン番号)であり、正解候補データの修正の有無728は、その正解候補が、ユーザから付与された業務名によって修正されたかを示す。正解候補データの修正の有無728の値「未実施」は、正解候補が修正されていないこと、すなわち、正解候補(例えば最も確率が高い業務名)が正解業務行動725と一致することを示す。
なお、正解候補データの修正の有無728は、必須ではないが、業務行動モデル45の判別精度を評価する可能性を踏まえ、業務行動正解データ44に含めて記録されることが望ましい。また、本実施例ではセンサ1のユーザと業務行動正解データ44の作成者が同一となることを想定しているが、例えば業務行動正解データ44の作成者がユーザの上長となる場合など、ユーザと同一とならない場合には、業務名の付与ユーザIDを同時に記録することが望ましい。
学習範囲データ48(図7(d))には、典型的には、モデル情報731、モデル種別732、作成時刻733、学習範囲開始時刻734、及び学習範囲終了時刻735が一レコードに含まれる。モデル情報731は、生成された業務行動モデル45の識別情報(例えばバージョン番号)であり、モデル情報717等に対応する。モデル種別732は、業務行動モデル45の種別を示す。特に業務行動モデル45は、業務行動モデル45の適用先に応じて判別対象の業務が大きく変化すると想定されることから、例えば、学習範囲の設定者の所属分野(例えば介護、建設等)に応じたモデル種別が記録されることが望ましい。
作成時刻733は、業務行動モデル45が作成された時刻である。学習範囲開始時刻734及び学習範囲終了時刻735は、業務行動モデル45の作成に用いたデータの始点及び終点の時刻を示す。
図8は、本発明の実施例1の正解データ作成支援システムにおいて保持されるユーザデータ50及びモデル設定データ46のデータ構造の典型例を示す説明図である。
ユーザデータ50(図8(a))には、典型的には、ユーザID801、センサID802、計測開始日時803、最終計測日時804、及び業界情報805が一レコードに含まれる。
ユーザID801及びセンサID802は、単位行動系列データ47のユーザID701及びセンサID702と同様である。計測開始日時803及び最終計測日時804は、それぞれのユーザのセンサデータの計測の始点及び終点の日時である。業界情報805は、それぞれのユーザが所属する業界を示す情報であり、これに対応するモデル種別732が設定されることが望ましい。
ユーザデータ50は、上記の他に、収集したデータの解析方針に応じて、例えばユーザの勤続年数及び職種などを保持することも想定される。
モデル設定データ46(図8(b))には、典型的には、ユーザID811、閲覧開始時刻812、閲覧終了時刻813、及びモデルの有するハイパーパラメータ群(例えば、単位行動窓幅)が一レコードに含まれる。
ユーザID811は、単位行動系列データ47のユーザID701と同様である。閲覧開始時刻812及び閲覧終了時刻813は、業務行動モデル45の作成に用いたデータの始点及び終点の時刻を示す。単位行動粒度814は、モデルの有するハイパーパラメータ群の一例であり、単位行動窓幅(2秒、6秒又は15秒など)を示す。
本実施例では、単位行動モデル43と業務行動モデル45の有するハイパーパラメータとして単位行動窓幅のみを想定したが、その他にハイパーパラメータ(例えば単位行動モデル43に関して、クラスタ数など)を有する場合には、これらの情報の全てを格納してもよいし、情報のうちユーザが操作可能なものについてのみを格納してもよい。
以上の実施例1によれば、センサデータ41に対して単位行動(単位行動系列データ47)という人の解釈可能な符号を付すことによって、判別された人の業務行動(正解候補データ49)がどのような単位行動から構成されているかが解釈可能になるため、確度の高い正解データの作成を支援できるという効果が得られる。また、正解候補データ49の正誤を単位行動系列データ47から判断できるようになるため、センサを装着したユーザと異なるユーザであっても、正解データの作成が行えるという効果が得られる。さらに、正解候補データ49を構成する単位行動系列データ47および単位行動系列データ47の統計情報をユーザに提示することで、業務行動正解データ44を作成する際の判断材料が増大し、ユーザがより確度の高い行動正解データを作成する支援が行えるという効果が得られる。加えて、同一の業務行動や異種の業務行動に関する複数の正解候補データ49と、複数の正解候補データ49のそれぞれを構成する単位行動系列データ47を比較することによって、複数の業務行動の差異を単位行動系列データ47によって定量的に比較可能になるという効果が得られる。
次に、本発明の実施例2を説明する。以下に説明する相違点を除き、実施例2の正解データ作成支援システムの各部は、実施例1の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。
図9は、本発明の実施例2における正解データ作成支援システムの主要な構成を示すハードウェア構成図である。
本発明の実施例2においては、実施例1においてサーバ5が担っていた解析プログラムの処理の全てをPC2またはスマートフォン3上で実行する。または、実施例1においてサーバ5が担っていた解析プログラムの処理の一部をセンサ1上で実行し、残りの処理をPC2またはスマートフォン3上で実行してもよい。図9には、例として、解析プログラムの処理の全てをスマートフォン3上で実行する場合の正解データ作成支援システムの構成を示す。
以上の実施例2によれば、実施例1と同様の効果に加え、センサ1で計測したセンサデータ41をネットワーク4経由でサーバ5に送ることなく解析することができるため、応答速度に優れ、通信量を削減できるという効果が得られる。
次に、本発明の実施例3を説明する。以下に説明する相違点を除き、実施例3の正解データ作成支援システムの各部は、実施例1の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。
図10は、本発明の実施例3における正解データ作成支援システムの主要な構成を示すハードウェア構成図である。
実施例3においては、サーバ5は、正解付与61で得られた業務行動正解データ44を記録する際に、選択範囲の業務行動と、選択範囲に含まれる単位行動とを、例えば木構造又はグラフ構造など親子関係を保持できる形式で業務行動正解データ44に併せて記録する。続いて、サーバ5は、行動構造モデル作成プログラム35を実行してこの単位行動と業務行動との親子関係を公知の構造学習手法によって学習し、行動構造モデル51に保持する。
以下、親子関係をなす行動のうち親に相当する行動を上位行動、子に相当する行動を下位行動とも記載する。例えば、ある時間帯について業務行動が判別された場合、その業務行動と、その時間帯に含まれる各単位行動との間に、単位行動を下位行動、業務行動を上位行動とする親子関係が成立する。
なお、本実施例において、親子関係の一例は、単位行動を下位行動、業務行動を上位行動とする関係だけでなく、業務行動を下位行動、別の業務行動を上位行動とする親子関係も成立しうる。例えば介護の分野において、食事介助、移動介助といった下位の業務行動を含む時間帯の上位の業務行動がシフト業務であってもよい。すなわち、本実施例において、業務行動モデル45は、単位行動に基づいて業務行動を判別するモデルに加えて、下位の業務行動に基づいて上位の業務行動を判別するモデルを含む。
その後、サーバ5は、図6に示すように選択範囲の単位行動情報を提示する際に、その代わりに、または同時に、選択範囲の業務行動と選択範囲に含まれる単位行動とを、行動構造モデル51から算出された木構造またはグラフ構造など行動の親子関係が理解できる形式で提示する。
図11は、本発明の実施例3において正解データ作成支援システムを用いて、操作者からの正解付与61を受け付ける場合の入力画面の例である。
領域98は、選択範囲の業務行動に関する行動構造(すなわち行動の階層構造)を示した例である。実施例3においては、例えば選択範囲の単位行動情報を提示する際に、同時に、選択範囲の業務行動を構成する典型的な単位行動パターンを、行動構造モデル51から算出された木構造の形式で示している。
木構造の各ノードは、業務行動間に親子関係がある(言い換えると業務行動が階層構造をもつ)場合の、各階層における業務行動を示す。また、最下層のノードは単位行動idを示している。各エッジの太さは、上位行動を構成する典型的な下位行動の構成比(例えば出現頻度の比率又は出現した時間の長さの比率)を示している。また、木構造の最上位には適用分野(例えば介護、建設等)が表示される。さらに、領域98には、適用分野が異なる業務行動モデル45を採用した場合の選択範囲の業務行動についての木構造が表示されてもよい。
以上の実施例3によれば、実施例1と同様の効果に加え、それぞれの時間帯における業務行動の判別の根拠が理解できるようになるため、ユーザが確度の高い行動正解データを作成するための更なる支援が行えるという効果が得られる。
なお、本発明は上述した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスクドライブ、SSD(Solid State Drive)等の記憶装置、または、ICカード、SDカード、DVD等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。
また、図面には、実施例を説明するために必要と考えられる制御線及び情報線を示しており、必ずしも、本発明が適用された実際の製品に含まれる全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
1001 入力部
1002 記憶部
1003 処理部
1004 出力部
1005 表示部
1 センサ
2 PC
3 スマートフォン
4 ネットワーク
5 サーバ
11 メモリ
12 通信部
13 CPU
14 GPU
15 データベース
21 解析プログラム
22 正解データ入出力プログラム
31 単位行動判別プログラム
32 業務行動判別プログラム
33 単位行動モデル作成プログラム
34 業務行動モデル作成プログラム
41 センサデータ
42 単位行動対応データ
43 単位行動モデル
44 業務行動正解データ
45 業務行動モデル
46 モデル設定データ
47 単位行動系列データ
48 学習範囲データ
49 正解候補データ
50 ユーザデータ

Claims (14)

  1. センサの計測によって得られたセンサデータを入力する入力部と、
    前記センサデータの特徴に対応する符号を前記センサデータに付与するための符号付与モデルと、前記符号が付与されたセンサデータに基づいて前記センサを装着した人物の行動を推定するための行動推定モデルとを記憶する記憶部と、
    計測時間帯のセンサデータと、前記符号付与モデルと、前記行動推定モデルと、に基づいて、前記センサを装着した人物の前記計測時間帯の行動を推定する処理部と、
    推定された前記計測時間帯の行動と、前記計測時間帯の前記センサデータに付与された前記符号と、を出力する出力部と、を有することを特徴とする正解データ作成支援システム。
  2. 請求項1に記載の正解データ作成支援システムであって、
    前記推定された計測時間帯の行動と、前記計測時間帯の前記符号が付与された前記センサデータに関する情報と、を表示する表示部をさらに有することを特徴とする正解データ作成支援システム。
  3. 請求項2に記載の正解データ作成支援システムであって、
    前記入力部は、前記計測時間帯の行動の正解を入力し、
    前記記憶部は、前記計測時間帯の行動の正解を記憶することを特徴とする正解データ作成支援システム。
  4. 請求項3に記載の正解データ作成支援システムであって、
    前記記憶部は、複数の前記符号付与モデルと、複数の行動推定モデルとを記憶し、
    前記処理部は、前記複数の符号付与モデルと、前記複数の行動推定モデルと、に基づいて、前記センサを装着した人物の前記計測時間帯の行動の推定結果を複数取得し、
    前記入力部は、前記符号付与モデル及び前記行動推定モデルの選択を受け付け、
    前記表示部は、前記複数の推定結果のうち、選択された前記符号付与モデル及び前記行動推定モデルに基づく推定結果を表示することを特徴とする正解データ作成支援システム。
  5. 請求項4に記載の正解データ作成支援システムであって、
    前記複数の符号付与モデルは、それぞれ異なるパラメータに基づいて前記センサデータの特徴に対応する符号を前記センサデータに付与するための複数のモデルを含み、
    前記入力部は、前記符号付与モデル及び前記行動推定モデルの選択として、前記パラメータを入力し、
    前記表示部は、前記複数の推定結果のうち、入力された前記パラメータに対応する前記符号付与モデル及び前記符号付与モデルに対応する前記行動推定モデルに基づく推定結果を表示することを特徴とする正解データ作成支援システム。
  6. 請求項3に記載の正解データ作成支援システムであって、
    前記行動推定モデルは、前記符号が付与されたセンサデータに基づいて前記センサを装着した人物の下位の階層の行動を推定するためのモデルと、前記下位の階層の行動に基づいて前記センサを装着した人物の上位の階層の行動を推定するためのモデルと、を含み、
    前記処理部は、前記センサを装着した人物の前記計測時間帯の前記下位の階層の行動及び前記上位の階層の行動を推定し、
    前記表示部は、推定された行動の階層構造を示す情報を表示することを特徴とする正解データ作成支援システム。
  7. 請求項3に記載の正解データ作成支援システムであって、
    前記処理部は、
    前記計測時間帯のセンサデータと、前記計測時間帯の行動の正解と、に基づいて、前記行動推定モデルを生成し、
    前記記憶部に記憶された前記行動推定モデルを、生成した前記行動推定モデルによって更新することを特徴とする正解データ作成支援システム。
  8. 請求項2に記載の正解データ作成支援システムであって、
    前記表示部は、前記計測時間帯の前記符号が付与された前記センサデータに関する情報として、前記計測時間帯の前記センサデータに付与された前記符号の比率、前記計測時間帯の時刻ごとの前記センサデータに付与された前記符号、前記計測時間帯の前記符号が付与された一以上の前記センサデータ、及び、前記計測時間帯における行動の推定の妥当性の少なくともいずれかを表示することを特徴とする正解データ作成支援システム。
  9. 請求項1に記載の正解データ作成支援システムであって、
    前記センサデータは、加速度センサによって計測された加速度データであることを特徴とする正解データ作成支援システム。
  10. 請求項1に記載の正解データ作成支援システムであって、
    前記符号付与モデルは、前記センサデータを特徴量に基づいてクラスタリングし、クラスタ識別子を前記符号として付与するためのモデルであることを特徴とする正解データ作成支援システム。
  11. 請求項1に記載の正解データ作成支援システムであって、
    前記処理部は、
    所定の条件が満たされた場合に、前記センサデータに基づいて前記符号付与モデルを生成し、
    前記記憶部に記憶された前記符号付与モデルを、生成した前記符号付与モデルによって更新することを特徴とする正解データ作成支援システム。
  12. 請求項11に記載の正解データ作成支援システムであって、
    前記所定の条件とは、所定の量の新たなセンサデータが入力されたこと、又は、新たな人物に関するセンサデータが入力されたこと、の少なくともいずれかであることを特徴とする正解データ作成支援システム。
  13. 請求項1に記載の正解データ作成支援システムであって、
    前記行動推定モデルは、前記計測時間帯の前記センサデータに付与された前記符号の出現頻度に基づいて前記センサを装着した人物の行動を推定するためのモデルであることを特徴とする正解データ作成支援システム。
  14. センサの計測によって得られたセンサデータを入力する入力手順と、
    前記センサデータの特徴に対応する符号を前記センサデータに付与するための符号付与モデルと、前記符号が付与されたセンサデータに基づいて前記センサを装着した人物の行動を推定するための行動推定モデルとを記憶する記憶手順と、
    計測時間帯のセンサデータと、前記符号付与モデルと、前記行動推定モデルと、に基づいて、前記センサを装着した人物の前記計測時間帯の行動を推定する処理手順と、
    推定された前記計測時間帯の行動と、前記計測時間帯の前記センサデータに付与された前記符号と、を出力する出力手順と、を有することを特徴とする正解データ作成支援方法。
JP2019097854A 2019-05-24 2019-05-24 正解データ作成支援システムおよび正解データ作成支援方法 Active JP7152357B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019097854A JP7152357B2 (ja) 2019-05-24 2019-05-24 正解データ作成支援システムおよび正解データ作成支援方法
US16/824,068 US20200367791A1 (en) 2019-05-24 2020-03-19 Ground-Truth Data Creation Support System and Ground-Truth Data Creation Support Method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019097854A JP7152357B2 (ja) 2019-05-24 2019-05-24 正解データ作成支援システムおよび正解データ作成支援方法

Publications (2)

Publication Number Publication Date
JP2020194218A true JP2020194218A (ja) 2020-12-03
JP7152357B2 JP7152357B2 (ja) 2022-10-12

Family

ID=73457903

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019097854A Active JP7152357B2 (ja) 2019-05-24 2019-05-24 正解データ作成支援システムおよび正解データ作成支援方法

Country Status (2)

Country Link
US (1) US20200367791A1 (ja)
JP (1) JP7152357B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7419313B2 (ja) 2021-09-15 2024-01-22 Lineヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009039466A (ja) * 2007-08-13 2009-02-26 Advanced Telecommunication Research Institute International 行動識別装置、行動識別システムおよび行動識別方法
JP2010207488A (ja) * 2009-03-12 2010-09-24 Gifu Univ 行動解析装置及びプログラム
JP2010213782A (ja) * 2009-03-13 2010-09-30 Oki Networks Co Ltd 行動認識方法、装置及びプログラム
JP2011156132A (ja) * 2010-02-01 2011-08-18 Nec Corp モード識別装置、モード識別方法、およびプログラム
JP2016097228A (ja) * 2014-11-26 2016-05-30 株式会社日立システムズ 行動分類システム、行動分類装置及び行動分類方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014210210A1 (en) * 2013-06-25 2014-12-31 Lark Technologies, Inc. Method for classifying user motion
WO2014207294A1 (en) * 2013-09-13 2014-12-31 Polar Electro Oy System for monitoring physical activity
JP2018506773A (ja) * 2014-12-16 2018-03-08 ソマティクス, インコーポレイテッド ジェスチャベースの行動を監視し、それに影響を与える方法およびシステム
US20170243056A1 (en) * 2016-02-19 2017-08-24 Fitbit, Inc. Temporary suspension of inactivity alerts in activity tracking device
US20170239523A1 (en) * 2016-02-19 2017-08-24 Fitbit, Inc. Live presentation of detailed activity captured by activity tracking device
US11224782B2 (en) * 2017-06-04 2022-01-18 Apple Inc. Physical activity monitoring and motivating with an electronic device
US10926137B2 (en) * 2017-12-21 2021-02-23 Under Armour, Inc. Automatic trimming and classification of activity data
US11228810B1 (en) * 2019-04-22 2022-01-18 Matan Arazi System, method, and program product for interactively prompting user decisions

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009039466A (ja) * 2007-08-13 2009-02-26 Advanced Telecommunication Research Institute International 行動識別装置、行動識別システムおよび行動識別方法
JP2010207488A (ja) * 2009-03-12 2010-09-24 Gifu Univ 行動解析装置及びプログラム
JP2010213782A (ja) * 2009-03-13 2010-09-30 Oki Networks Co Ltd 行動認識方法、装置及びプログラム
JP2011156132A (ja) * 2010-02-01 2011-08-18 Nec Corp モード識別装置、モード識別方法、およびプログラム
JP2016097228A (ja) * 2014-11-26 2016-05-30 株式会社日立システムズ 行動分類システム、行動分類装置及び行動分類方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
村上 知子: "トピックモデルによるセンサ情報からの看護業務の推定", 一般社団法人人工知能学会 研究会 DOCMAS:データ指向構成マイニングとシミュレーション研究会 S, JPN6022039188, 18 October 2017 (2017-10-18), ISSN: 0004876708 *
村尾 和哉: "行動の順序制約を用いた加速度データのラベリング手法", 情報処理学会論文誌[ONLINE], vol. 55, no. 1, JPN6022039189, 17 January 2014 (2014-01-17), pages 519 - 530, ISSN: 0004876709 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7419313B2 (ja) 2021-09-15 2024-01-22 Lineヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Also Published As

Publication number Publication date
JP7152357B2 (ja) 2022-10-12
US20200367791A1 (en) 2020-11-26

Similar Documents

Publication Publication Date Title
US10217027B2 (en) Recognition training apparatus, recognition training method, and storage medium
WO2017216980A1 (ja) 機械学習装置
US20160026349A1 (en) Information processing device, information processing method, and computer program
JP6362521B2 (ja) 行動分類システム、行動分類装置及び行動分類方法
JP6753115B2 (ja) コンテンツ管理装置、コンテンツ管理方法及びプログラム
US9436756B2 (en) Media system for generating playlist of multimedia files
CN106537387B (zh) 检索/存储与事件相关联的图像
CN113139141A (zh) 用户标签扩展标注方法、装置、设备及存储介质
JP6567484B2 (ja) 推計モデル構築システム、推計モデル構築方法及びプログラム
CN112465231B (zh) 地区人口健康状态预测方法、设备和可读存储介质
JP2010146223A (ja) 行動抽出システム、行動抽出方法、及びサーバ
WO2019167556A1 (ja) ラベル収集装置、ラベル収集方法及びラベル収集プログラム
JP7042303B2 (ja) 拡大現実のための粒度の細かい2値化
CN111695584A (zh) 时序数据监视系统和时序数据监视方法
CN112750529A (zh) 智能医疗问诊装置、设备及介质
JP7152357B2 (ja) 正解データ作成支援システムおよび正解データ作成支援方法
CN110865721B (zh) 动作数据标记装置、方法及非暂态计算机可读取存储介质
JP2008276453A (ja) 行動識別装置および行動識別方法
CN114238764A (zh) 基于循环神经网络的课程推荐方法、装置及设备
Eldib et al. Discovering activity patterns in office environment using a network of low-resolution visual sensors
JP7131351B2 (ja) 学習方法、学習プログラムおよび学習装置
JP6160670B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
JP4308113B2 (ja) データ分析装置及びその方法、プログラム
Wilson et al. Domain Adaptation Under Behavioral and Temporal Shifts for Natural Time Series Mobile Activity Recognition
CN111291829A (zh) 一种精选图片的自动确定方法和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220929

R150 Certificate of patent or registration of utility model

Ref document number: 7152357

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150