JP2015022482A - 生活状態推定システム及び生活状態推定方法 - Google Patents

生活状態推定システム及び生活状態推定方法 Download PDF

Info

Publication number
JP2015022482A
JP2015022482A JP2013149628A JP2013149628A JP2015022482A JP 2015022482 A JP2015022482 A JP 2015022482A JP 2013149628 A JP2013149628 A JP 2013149628A JP 2013149628 A JP2013149628 A JP 2013149628A JP 2015022482 A JP2015022482 A JP 2015022482A
Authority
JP
Japan
Prior art keywords
input
unit
change
action
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013149628A
Other languages
English (en)
Other versions
JP6040114B2 (ja
Inventor
玲子 有賀
Reiko Ariga
玲子 有賀
小林 稔
Minoru Kobayashi
稔 小林
定方 徹
Toru Sadakata
徹 定方
哲也 浦
Tetsuya Ura
哲也 浦
十季 武田
Toki Takeda
十季 武田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2013149628A priority Critical patent/JP6040114B2/ja
Publication of JP2015022482A publication Critical patent/JP2015022482A/ja
Application granted granted Critical
Publication of JP6040114B2 publication Critical patent/JP6040114B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】タグ付与の負担を軽減しつつ、個々の生活環境の違いを一般化することが可能な生活状態推定システムを提供すること。
【解決手段】本発明に係る生活状態推定システムのサーバユニット2は、生活環境に関する所定の物理量を計測したセンサデータをセンシングユニット1から受信し、受信したセンサデータが変化した場合に、当該変化の要因となるユーザの行動を示す行動情報を入力ユニット3に入力させ、入力された上記行動情報を当該変化の時間情報と共に解析データ格納部204に格納する。
【選択図】図3

Description

この発明は、センサデータから生活状態を推定する生活状態推定システム及び生活状態推定方法に関するものである。
センサデータから人間の行動を推定する技術が多く提案されている。人間の行動を記録するために、人間にセンサデバイスを装着させて記録する方法と、環境にセンサデバイスを設置して記録する方法がある。例えば、人間の腕にセンサを装着して手元での作業を推定する方法(例えば特許文献1を参照)や、カメラの画像から人物の姿勢を推定する方法(例えば特許文献2を参照)などがある。これらの方法において、事前に学習を行い、タグと正解データと紐付けるものが主流であった。
特開2010−271978号公報 特開2013−020578号公報
ところが、宅内での環境データは、例えば照明の数や明るさが家庭によって異なる等、タグを一般化することができず、データの意味を理解するには、環境ごとに学習を行う必要が生じる。また、膨大な量のデータにタグを付与するのは負担が大きいという問題があった。
この発明は上記事情に着目してなされたもので、その目的とするところは、タグ付与の負担を軽減しつつ、個々の生活環境の違いを一般化することが可能な生活状態推定システム及び生活状態推定方法を提供することにある。
上記目的を達成するためにこの発明の第1の態様は、生活環境に関する所定の物理量を計測したセンサデータを受信する受信手段と、前記受信手段で受信したセンサデータが変化した場合に、前記変化の要因となるユーザの行動を示す行動情報を入力させる入力手段と、前記入力手段で入力された前記行動情報を当該変化の時間情報と共に格納する第1の格納手段とを具備する生活状態推定システムを提供する。
上記第1の態様によれば、センサデータの変化をトリガーにして、対話形式でユーザに変化の要因の入力を要求することにより、タグ付与の負担が軽減される。また、個々の生活環境が異なっていても、一般化したタグを付与することが可能となる。
この発明の第2の態様は、上記第1の態様において、前記入力手段は、前記行動情報と前記センサデータとの組み合わせが予め定められた入力回数になった場合に、それ以降の前記センサデータに対して前記行動情報が入力されたものとみなすものである。
上記第2の態様によれば、対話形式でユーザに変化の要因の入力を要求させた結果、一定回数以上同じタグが付与された場合はタグを固定することで、自動的にタグが付与され、入力の手間を省くことができる。
この発明の第3の態様は、上記第1又は第2の態様において、前記第1の格納手段に格納された前記行動情報と前記時間情報とに基づいて、前記ユーザの生活状態を示す付加情報を付与する付与手段と、前記付加情報とその生活状態の時間情報とを格納する第2の格納手段とをさらに具備するものである。
上記第3の態様によれば、行動情報と時間情報とをもとに生活状態を示す付加情報を自動で付与することが可能となる。これにより、例えば、付加情報を検索キーにして、所定の生活状態の日を簡単に検索することが可能となる。
この発明の第4の態様は、上記第3の態様において、電子的記録物をその記録日時と共に記憶する記憶手段と、前記第2の格納手段を参照して、指定された付加情報に対応する前記時間情報を受信し、前記記憶手段から当該時間情報に対応する電子的記録物を読み出す読出手段とをさらに具備するものである。
上記第4の態様によれば、上記付加情報を用いて過去の生活状態と類似する日の投稿テキストや撮影画像を提示することが可能となる。
この発明の第5の態様は、上記第1又は第2の態様において、前記受信手段は、日照時間外の照度データを受信し、前記入力手段は、前記受信手段で受信した照度データが変化し、その変化したセンサ状態が一定期間継続した場合に、前記変化の要因となるユーザの照明に関する行動情報を入力させるものである。
上記第5の態様によれば、照度データの変化をトリガーにして、対話形式でユーザに変化の要因の入力を要求することにより、タグ付与の負担が軽減される。また、照明の数や明るさが家庭によって異なっていても、一般化したタグを付与することが可能となる。
この発明の第6の態様は、上記第1又は第2の態様において、前記受信手段は、二酸化炭素濃度データを受信し、前記入力手段は、前記受信手段で受信した二酸化炭素濃度データが変化し、その変化率が一定値以上の場合に、前記変化の要因となるユーザの調理に関する行動情報を入力させるものである。
上記第6の態様によれば、二酸化炭素濃度データの変化をトリガーにして、対話形式でユーザに変化の要因の入力を要求することにより、タグ付与の負担が軽減される。また、キッチンの設備や環境などが家庭によって異なっていても、一般化したタグを付与することが可能となる。
この発明の第7の態様は、上記第1又は第2の態様において、前記受信手段は、二酸化炭素濃度データ及び湿度データを受信し、前記入力手段は、前記受信手段で受信した二酸化炭素濃度データ及び湿度データが変化し、その変化率が一定値以上の場合に、前記変化の要因となるユーザの調理に関する行動情報を入力させるものである。
上記第7の態様によれば、二酸化炭素濃度データ及び湿度データの変化をトリガーにして、対話形式でユーザに変化の要因の入力を要求することにより、タグ付与の負担が軽減される。また、キッチンの設備や環境などが家庭によって異なっていても、一般化したタグを付与することが可能となる。さらに、湿度データの変化を加味することで、調理に関する行動をより細分化することが可能になる。
すなわちこの発明によれば、タグ付与の負担を軽減しつつ、個々の生活環境の違いを一般化することが可能な生活状態推定システム及び生活状態推定方法を提供することができる。
本発明の一実施形態に係る生活状態推定システムの構成図。 実施例1で解析する照度データを示す図。 実施例1に係る生活状態推定システムの機能ブロック図。 実施例1における照度ID付与処理のフローチャート。 実施例1における入力画面を示す図。 実施例1における入力ユニットに格納されるデータベースを示す図。 実施例1の解析データ格納部に格納されるデータベースを示す図。 実施例2で解析する二酸化炭素濃度データを示す図。 実施例2に係る生活状態推定システムの機能ブロック図。 実施例2における変化率ID付与処理のフローチャート。 実施例3で解析する二酸化炭素濃度データ及び湿度データを示す図。 実施例3における変化率ID付与処理のフローチャート。
以下、図面を参照してこの発明に係る実施形態について説明する。
図1は、本発明の一実施形態に係る生活状態推定システムの構成図である。このシステムは、センシングユニット1と、サーバユニット2と、入力ユニット3と、外部記憶装置4とを備える。
センシングユニット1は、宅内の生活環境に関する所定の物理量を計測し、計測されたセンサデータをサーバユニット2に送信する。サーバユニット2は、センシングユニット1から送られてくるセンサデータを解析し、宅内のユーザの生活状態を推定する。入力ユニット3は、例えば、ユーザが携帯するスマートフォン等により構成され、サーバユニット2との間で通信可能であって、ユーザにより入力されたデータをサーバユニット2に送信することができる。
外部記憶装置4には、ソーシャルネットワークサービスへの投稿テキストや、デジタルカメラ、携帯電話で撮影された写真や動画等の電子的記録物が、タイムスタンプと併せて格納されている。入力ユニット3で撮影した画像データを外部記憶装置4に送信して記録することもできる。
以下、この生活状態推定システムの具体的な処理内容を各実施例にしたがって説明する。
(実施例1)
実施例1では、宅内で取得される照度データをもとに生活状態を推定するシステム及び方法を説明する。図2は、実施例1で解析する照度データを示したものである。図3は、実施例1に係る生活状態推定システムの機能ブロック図である。
センシングユニット1は、照度データを取得する照度センサである計測部101と、サーバユニット2との間で通信するセンシング通信部102とを有する。センシングユニット1は、計測部101にて照度データを計測し、計測した照度データをセンシング通信部102によりサーバユニット2に送信する。
サーバユニット2は、サーバ通信部201と、受信したセンサデータを格納するデータ格納部202と、照度データを解析する解析部203と、解析済みのデータを格納する解析データ格納部204と、メタタグ格納部205と、日照時間格納部206と、照度ID格納部207とを有する。日照時間格納部206には、本方法が実施される土地の日没時刻と日出時刻が予め格納される。照度ID格納部207には、照度データ処理に関する基準値が格納される。
サーバ通信部201は、日照時間格納部206を参照して、日照時間外の間はセンシングユニット1から照度データを受信し、受信したデータにタイムスタンプを付けてデータ格納部202に蓄積する。例えば、日没時刻が16:30で日出時刻が翌日6:30である場合には、16:30から翌日6:30までの照度データセットを、日付IDを付して格納する。
解析部203は、照度ID入力要求と、照度ID確認要求と、メタタグ付与とを行う。照度ID入力要求又は照度ID確認要求として、解析部203は、データ格納部202を参照し、センシングユニット1で取得された照度データが変化し、その変化したセンサ状態が一定期間継続した場合に、その変化の要因となるユーザの行動を示す行動情報を入力ユニット3でユーザに入力させ、入力された行動情報を当該変化の時間情報と共に解析データ格納部204に格納する。メタタグ付与として、解析部203は、解析データ格納部204に格納された行動情報と時間情報とをもとにユーザの生活状態を推定し、この生活状態に応じてメタタグを付与して時間情報と共にメタタグ格納部205に格納する。
入力ユニット3は、入力ユニット通信部301と、表示部302と、入力部303と、データベース304とを有する。入力ユニット通信部301は、サーバユニット2との間で通信を行う。表示部302は、データベース304を参照して、サーバユニット2からの照度ID入力要求と、照度ID確認要求とに応じた画面を表示する。入力部303は、ユーザからの入力を受け付ける。
次に、このように構成された実施例1の生活状態推定システムの動作について説明する。図4は、照度ID付与処理のフローチャートである。
[照度ID入力要求処理]
照度ID入力要求は、データ格納部202において、ある時刻tを起点としてNサンプル照度L(t)が一定であった場合に、照度ID格納部207を参照し、基準値となるL(t)が格納されていない場合に行われる。
解析部203は、データ格納部202に随時格納されるデータをモニタリングし(ステップS1c)、時刻tにおける照度L(t)と時刻t−1における照度L(t−1)が一致しない場合(ステップS1d:No)、カウンタc1を0に初期化する(ステップS1e)。照度L(t)と照度L(t−1)とが一致する場合は(ステップS1d:Yes)、カウンタc1をインクリメントする(ステップS1f)。
c1=Nとなったときに(ステップS1g:Yes)、解析部203は、照度ID格納部207を参照し(ステップS1h)、照度ID格納部207に照度L(t)が格納されていない場合(ステップS1i:No)、基準値となる照度L(t)とこれに対応するIDを照度ID格納部207に格納する(ステップS1j)。同時に、サーバ通信部201から入力ユニット3に、照度L(t)に対応する照度IDを含む照度ID入力要求信号を送信する(ステップS1k)。ここで、カウンタの閾値Nは予め決められているものとする。
図5は、実施例1の表示部302に表示される入力画面の一例である。図5(a)は、照度ID入力要求時の入力画面、図5(b)は、照度ID確認要求時の入力画面である。図6は、実施例1の入力ユニット3におけるデータベース304の例である。図7は、実施例1の解析データ格納部204に格納されるデータベースの例である。
入力ユニット3は、入力ユニット通信部301においてサーバユニット2から照度ID入力要求信号を受信すると、表示部302に入力要求メッセージの候補を表示させる。入力要求メッセージは、図5(a)に示すように、例えば、「リビングの照明を消した」「リビングの照明を点けた」「キッチンの照明を消した」「キッチンの照明を点けた」等の文章で構成されている。これらの入力要求メッセージは、図6に示すように、対応する行動IDとともに入力ユニット3にデータベース304として格納されている。
入力部303においてユーザが応答すると、入力ユニット通信部301にてサーバユニット2に照度L(t)に対応する照度IDと行動IDが送信される。応答の方法は、図5(a)のようにGUIで入力しても良いし、音声認識で入力しても良い。
サーバ通信部201において、L(t)に対応する照度IDと行動IDを受信すると(ステップS1m)、照度ID格納部207において、L(t)に対応する照度IDに、行動IDが追加される。
サーバユニット2において、解析部203は対応する照度IDの正答カウンタc2をインクリメントし(ステップS1n)、照度L(t)と、L(t)に対応する照度IDと、タイムスタンプと、行動IDを、新規解析データセットとして、解析データ格納部204に格納する(ステップS1o)。
[照度ID確認要求処理]
照度ID確認要求は、データ格納部202において照度L(t)がNサンプル連続した場合に、照度ID格納部207を参照し、L(t)が既に格納されている場合に行われる。
解析部203は、データ格納部202に随時格納されるデータをモニタリングし(ステップS1c)、時刻tにおける照度L(t)と時刻t−1における照度L(t−1)が一致しない場合(ステップS1d:No)、カウンタc1を0に初期化する(ステップS1e)。一致する場合には(ステップS1d:Yes)、カウンタc1をインクリメントする(ステップS1f)。c1=Nとなったときに(ステップS1g:Yes)、解析部203は、照度ID格納部207を参照する(ステップS1h)。
解析部203は、照度ID格納部207に照度L(t)が格納されている場合(ステップS1i:Yes)、かつ、正答カウンタc2がc2<Mである場合に(ステップS1p:No)、サーバ通信部201から入力ユニット3に、照度L(t)に対応する照度IDを含む照度ID確認要求信号を送信する(ステップS1l)。正答カウンタc2がc2=Mである場合は(ステップS1p:Yes)、確認要求信号は送信されず、照度L(t)にすでに登録されている行動IDを、固定行動IDfとして固定し、タイムスタンプを付けて解析データ格納部204に格納する(ステップS1o)。これ以降、照度L(t)と同じ照度が参照された場合は、自動的にIDfが割り振られる。ここで、カウンタの閾値NとMは予め決められているものとする。
入力ユニット3は、入力ユニット通信部301において照度ID確認要求信号を受信すると、表示部302に確認要求メッセージを表示させる。確認要求メッセージは、過去に照度ID入力要求処理が行われた際に照度IDと併せて登録されたものであり、例えば、図5(b)に示すように、「リビングの照明を消した?」等である。今回の行動が過去に登録された行動IDと一致するのであれば、ユーザは「yes」と応答する。今回の行動が過去に登録された行動IDと一致せず、ユーザが「no」と応答した場合、照度ID入力要求時と同じ画面(例えば図5(a))に遷移し、行動IDの候補を表示させ、ユーザに入力を促し、照度ID入力要求処理と同様の処理を行い、照度IDと行動IDをサーバユニット2に送信する。
入力部303においてユーザが応答すると、入力ユニット通信部301にてサーバユニット2に照度L(t)に対応する照度IDと応答信号が送信される(ステップS1m)。応答信号が「yes」である場合、正答カウンタc2をインクリメントする(ステップS1n)。応答信号が「no」である場合、L(t)に対応する照度IDと新たな行動IDが解析データ格納部204に格納される(ステップS1o)。応答の方法は、図5(b)のようにGUIで入力しても良いし、音声認識で入力しても良い。
このとき、行動IDに照明の点灯箇所の入力だけではなく、「読書をした」「TVを見た」「食事をした」等の行動を入力させてもよい。また、1日の終わりに、「今日はどんな日であったか」という入力をユーザに求めてもよい。
サーバ通信部201において、L(t)に対応する照度IDと行動IDを受信すると(ステップS1m)、照度ID格納部207において、L(t)に対応する照度IDに、新たな行動IDが追加される(ステップS1o)。既に格納されている照度L(t)に対応する行動IDをID1、後から受信された新たな行動IDをID2とすると、行動ID2が、照度L(t)に対応する照度IDと併せて既に格納されていた行動ID1と一致しない場合には、行動ID2をこの照度IDと併せて新たに格納し、行動ID2のカウンタc2を1とする。行動ID2が、既に格納されていた行動ID1と一致する場合には、新たに行動ID2を格納せず、行動ID1のカウンタc2をインクリメントする(ステップS1n)。c2=Mである場合は(ステップS1p:Yes)、照度L(t)に対する行動IDを固定行動IDfと固定し(ステップS1q)、それ以降、照度L(t)が受信されても確認要求信号は送信されずに、自動的にIDfが行動IDとして選択されて、解析データ格納部204に格納される。
なお、ある照度L(t)に対して、複数の行動IDが登録される場合もある。その場合、確認要求信号を入力ユニット3に送信する際に、カウンタc2も併せて送信し、入力ユニット3において確認要求メッセージを表示させる際に、カウンタc2の多い順に表示する。複数の行動IDのうち、いずれかひとつのカウンタc2がc2=Mとなった場合、この行動IDが照度L(t)に対する行動IDとして固定される。
[メタタグ付与処理]
サーバユニット2は、T時間ごとにメタタグ付与を行う。Tは予め決められており、例えば、24時間ごとなどである。メタタグは例えば、「のんびりしていた日」「忙しかった日」「外食した日」「泊まりで出かけていた」などである。
解析データ格納部204において、タイムスタンプと行動IDを参照し、17:00から20:00の間に「キッチンの照明を点けた」「ダイニングの照明を点けた」「リビングの照明を点けた」状態がそれぞれ30分以上ある場合、「のんびりしていた日」というメタタグをデータセットに付与し、メタタグ格納部205に該当データの日付とメタタグを格納する。20:00から24:00の間に「キッチンの照明を点けた」状態が30分以上ある場合は、「忙しかった日」とメタタグを付与する。17:00から24:00の間に「キッチンの照明を点けた」状態が10分以上ない場合は、「外食した日」とメタタグを付与する。17:00から翌朝6時までいずれの行動IDも割り振られていない場合には、「泊まりで出かけていた」とメタタグを付与する。
データ読み出しは、入力ユニット3によりユーザからデータ参照要求が発生した際に行われる。外部記憶装置4には、ソーシャルネットワークサービスへの投稿テキストや、デジタルカメラ、携帯電話で撮影された写真や動画が、タイムスタンプと併せて格納されている。
入力ユニット3において、「のんびりしていた日を振り返る」というボタンが押されると、外部記憶装置4がサーバユニット2のメタタグ格納部205を参照し、「のんびりしていた日」というメタタグが付与された日付を取得する。外部記憶装置4は、取得した日付に対応するタイムスタンプが付された電子的記録物を読み出し、表示装置5に表示する。
以上述べたように、実施例1によれば、照度データの変化をトリガーにして、対話形式でユーザに変化の要因の入力を要求することにより、タグ付与の負担が軽減される。さらに、対話形式でユーザに変化の要因の入力を要求させた結果、一定回数以上同じタグが付与された場合は、タグを固定することで、自動的にタグが付与され、入力の手間を省くことができる。また、時間とタグを用いて照度の変化に対してメタタグを自動で付与することにより、「のんびりしていた日」などのメタタグを用いて過去の夜間の生活状態が類似する日の電子記録物を提示することが可能となる。
(実施例2)
実施例2では、宅内で取得される二酸化炭素濃度データをもとに生活状態を推定するシステム及び方法を説明する。図8は、実施例2で解析する二酸化炭素濃度データを示したものである。図9は、実施例2に係る生活状態推定システムの機能ブロック図である。
センシングユニット1は、二酸化炭素濃度データを取得するセンサである計測部101と、二酸化炭素濃度データを送信するセンシング通信部102とを有する。センシングユニット1は、計測部101にて二酸化炭素濃度データを計測し、計測した二酸化炭素濃度データをセンシング通信部102にてサーバユニット2に送信する。
サーバユニット2は、サーバ通信部201と、受信したセンサデータを格納するデータ格納部202と、二酸化炭素濃度データを解析する解析部203と、解析済みのデータを格納する解析データ格納部204と、メタタグ格納部205と、変化率ID格納部208とを有する。変化率ID格納部208には、二酸化炭素濃度データ処理に関する変化率の基準値が格納される。
サーバ通信部201は、センシングユニット1から二酸化炭素濃度データを受信し、受信したデータにタイムスタンプを付し、一日ごとの二酸化炭素濃度データセットを、日付IDを付して格納する。
解析部203は、変化率ID入力要求処理と、変化率ID確認要求処理と、メタタグ付与処理とを行う。変化率ID入力要求処理又は変化率ID確認要求処理として、解析部203は、データ格納部202を参照し、センシングユニット1で取得された二酸化炭素濃度データが変化し、その変化率が一定値以上の場合に、その変化の要因となるユーザの行動を示す行動情報を入力ユニット3でユーザに入力させ、入力された行動情報を当該変化の時間情報と共に解析データ格納部204に格納する。メタタグ付与処理として、解析部203は、解析データ格納部204に格納された行動情報と時間情報とをもとにユーザの生活状態を推定し、この生活状態に応じてメタタグを付与して時間情報と共にメタタグ格納部205に格納する。
入力ユニット3は、入力ユニット通信部301と、表示部302と、入力部303と、データベース304とを有する。入力ユニット通信部301は、サーバユニット2との間で通信を行う。表示部302は、データベース304を参照して、サーバユニット2からの変化率ID入力要求と、変化率ID確認要求とに応じた画面を表示する。入力部303は、ユーザからの入力を受け付ける。
次に、このように構成された実施例2の生活状態推定システムの動作について説明する。実施例2において、変化率IDは、ある解析区間における二酸化炭素濃度変化率の代表値と、変化率が0となった点における二酸化炭素濃度の値の組に対して、付与される。図10に、変化率ID付与処理のフローチャートを示す。
[変化率ID入力要求処理]
解析部203は、データ格納部202に随時格納されるデータをモニタリングし(ステップS2c)、時刻tにおける二酸化炭素濃度変化率d(t)が0となった場合(ステップS2d:Yes)、まず、時刻t−twから時刻tまでの区間において、各サンプルにおいて二酸化炭素濃度変化率を算出する。続いて、算出された二酸化炭素濃度変化率d(t−tw)からd(t)のうち、中央値を、区間t−twからtの二酸化炭素濃度変化率の代表値d(t)とする(ステップS2e)。
変化率ID格納部208には、変化率d(t)が0となった時点での二酸化炭素濃度Vco2(t)と、二酸化炭素濃度変化率の代表値d(t)が組になって格納されている。変化率ID格納部208に既に格納されているVco2(t’)及びd(t’)と、上記Vco2(t)と代表値d(t)のユークリッド距離が、閾値Tdより大きい場合、変化率ID入力要求が行われる(ステップS2f:Yes)。このとき、変化率ID格納部208に、Vco2(t)と代表値d(t)を基準値として格納する(ステップS2g)と同時に、これらの値の組と対応する変化率IDを含む変化率ID入力要求信号を、サーバ通信部201から入力ユニット3に送信する(ステップS2h)。
入力ユニット3は、入力ユニット通信部301において変化率ID入力要求信号を受信すると、表示部302に入力要求メッセージの候補を表示させる。入力要求メッセージは、例えば、「火を使わない料理や、洗い物をした」「コンロを使った」等の文章で構成されている。これらの入力要求メッセージは、対応する行動IDとともに入力ユニット3にデータベース304として格納されている。
入力部303においてユーザが応答すると、入力ユニット通信部301にてサーバユニット2にVco2(t)とd(t)に対応する変化率IDと、入力要求メッセージに対応する行動IDが送信される。応答の方法は、GUIで入力しても良いし、音声認識で入力しても良い。このとき、行動の入力だけでなく、1日の終わりに、「今日はどんな食生活であったか」という入力をユーザに求めてもよい。
サーバ通信部201において、Vco2(t)とd(t)に対応する変化率IDと行動IDを受信すると(ステップS2j)、変化率ID格納部208において、Vco2(t)とd(t)に対応する変化率IDに、行動IDが追加される。
サーバユニット2において、解析部203は、対応する変化率IDの正答カウンタc2をインクリメントし(ステップS2k)、Vco2(t)とd(t)、及び対応する変化率IDと、タイムスタンプと、行動IDを、新規解析データセットとして、解析データ格納部204に格納する(ステップS2l)。
[変化率ID確認要求処理]
解析部203は、データ格納部202に随時格納されるデータをモニタリングし(ステップS2c)、時刻t1における二酸化炭素濃度変化率d(t)が0となった場合(ステップS2d:Yes)、変化率ID入力要求時と同様に、Vco2(t)とd(t)を求める(ステップS2e)。続いて、変化率ID格納部208に既に格納されているVco2(t’)及びd(t’)と、上記Vco2(t)と代表値d(t)のユークリッド距離(式1)が、閾値Tdより小さい場合(ステップS2f:No)、かつ、正答カウンタc2がc2<Mである場合(ステップS2m:No)、変化率ID確認要求が行われる(ステップS2i)。
正答カウンタc2がc2=Mである場合は(ステップS2m:Yes)、確認要求信号は送信されず、Vco2(t)とd(t)にすでに登録されている行動IDを、固定行動IDfとして固定し、タイムスタンプを付けて解析データ格納部204に格納する(ステップS2n)。これ以降、保存されたVco2(t’)及びd(t’)とのユークリッド距離がTdより小さくなるVco2(t)及びd(t)が参照された場合は、自動的にIDfが割り振られる。ここで、正答カウンタのMは予め決められているものとする。
Figure 2015022482
入力ユニット3は、入力ユニット通信部301において変化率ID確認要求信号を受信すると、表示部302に確認要求メッセージを表示させる。確認要求メッセージは、過去に変化率ID入力要求処理が行われた際に変化率IDと併せて登録されたものであり、例えば、「コンロを使った」等である。今回の行動が過去に登録された行動IDと一致するのであれば、ユーザは「yes」と応答する。今回の行動が過去に登録された行動IDと一致せず、ユーザが「no」と応答した場合、変化率ID入力要求時と同じ画面に遷移し、行動IDの候補を表示させ、ユーザに入力を促し、変化率ID入力要求処理と同様の処理を行い、変化率IDと行動IDをサーバユニット2に送信する。
入力部303においてユーザが応答すると、入力ユニット通信部301にてサーバユニット2にVco2(t)及びd(t)に対応する変化率IDと応答信号が送信される(ステップS2j)。応答信号が「yes」である場合、正答カウンタc2をインクリメントする(ステップS2k)。応答信号が「no」である場合、Vco2(t)及びd(t)に対応する変化率IDと新たな行動IDが解析データ格納部204に格納される(ステップS2l)。応答の方法は、GUIで入力しても良いし、音声認識で入力しても良い。
ある変化率IDに対して、複数の行動IDが登録される場合もある。その場合、確認要求信号を入力ユニット3に送信する際に、正答カウンタc2も併せて送信し、入力ユニット3において確認要求メッセージを表示させる際に、カウンタc2の多い順に表示する。複数の行動IDのうち、いずれかひとつのカウンタc2がc2=Mとなった場合、この行動IDが変化率IDに対する行動IDとして固定される。
[メタタグ付与処理]
サーバユニット2は、T時間ごとにメタタグ付与を行う。Tは予め決められており、例えば、24時間ごとなどである。メタタグは例えば、「ふつうの日」「忙しかった日」「外食または外泊した日」などである。
解析データ格納部204において、タイムスタンプと行動IDを参照し、例えば、17:00から20:00の間に「火を使わない料理や、洗い物をした」「コンロを使った」状態がある場合、「ふつうの日」というメタタグをデータセットに付与し、メタタグ格納部205に該当データの日付とメタタグを格納する。20:00から24:00の間に「火を使わない料理や、洗い物をした」「コンロを使った」状態がある場合は、「忙しかった日」とメタタグを付与する。17:00から24:00の間に「火を使わない料理や、洗い物をした」「コンロを使った」状態が一度も現れない場合は、「外食または外泊した日」とメタタグを付与する。
データ読み出しは入力ユニット3によりユーザからデータ参照要求が発生した際に行われる。外部記憶装置4には、ソーシャルネットワークサービスへの投稿テキストや、デジタルカメラ、携帯電話で撮影された写真や動画が、タイムスタンプと併せて格納されている。
入力ユニット3において、「外食した日を振り返る」というボタンが押されると、外部記憶装置4がサーバユニット2のメタタグ格納部205を参照し、「外食した日」というメタタグが付与された日付を取得する。外部記憶装置4は、取得した日付に対応するタイムスタンプが付された電子的記録物を読み出し、表示装置5に表示する。
以上述べたように、実施例2によれば、二酸化炭素濃度データの変化をトリガーにして、対話形式でユーザに変化の要因の入力を要求することにより、タグ付与の負担が軽減される。さらに、対話形式でユーザに変化の要因の入力を要求させた結果、一定回数以上同じタグが付与された場合は、タグを固定することで、自動的にタグが付与され、入力の手間を省くことができる。また、時間とタグを用いて二酸化炭素濃度の変化に対してメタタグを自動で付与することにより、「外食した日」などのメタタグを用いて過去の調理行動や食生活が類似する日の電子記録物を提示することが可能となる。
(実施例3)
実施例3では、宅内で取得される二酸化炭素濃度データ及び湿度データをもとに生活状態を推定するシステム及び方法を説明する。図11は、実施例3で解析する二酸化炭素濃度データ及び湿度データを示したものである。実施例3に係る生活状態推定システムの機能ブロックは、実施例2と同様であるため、図9を用いて説明する。
センシングユニット1は、二酸化炭素濃度データと湿度データとを取得するセンサである計測部101と、二酸化炭素濃度データと湿度データとを送信するセンシング通信部102とを有する。センシングユニット1は、計測部101にて二酸化炭素濃度と湿度とを計測し、計測したデータをセンシング通信部102にてサーバユニット2に送信する。
サーバユニット2は、サーバ通信部201と、受信したセンサデータを格納するデータ格納部202と、二酸化炭素濃度データ及び湿度データの解析を行う解析部203と、解析済みのデータを格納する解析データ格納部204と、メタタグ格納部205と、変化率ID格納部208とを有する。変化率ID格納部208には、二酸化炭素濃度データ処理に関する二酸化炭素の変化率の基準値及び湿度データ処理に関する湿度の変化率の基準値が格納される。
サーバ通信部201は、センシングユニット1から二酸化炭素濃度データ及び湿度データを受信し、タイムスタンプを付し、一日ごとの二酸化炭素濃度データ及び湿度データのデータセットを、日付IDを付して格納する。
解析部203は、変化率ID入力要求処理と、変化率ID確認要求処理と、メタタグ付与処理とを行う。変化率ID入力要求処理又は変化率ID確認要求処理として、解析部203は、データ格納部202を参照し、センシングユニット1で取得された二酸化炭素濃度データ及び湿度データが変化し、その変化率が一定値以上の場合に、その変化の要因となるユーザの行動を示す行動情報を入力ユニット3でユーザに入力させ、入力された行動情報を当該変化の時間情報と共に解析データ格納部204に格納する。メタタグ付与処理として、解析部203は、解析データ格納部204に格納された行動情報と時間情報とをもとにユーザの生活状態を推定し、この生活状態に応じてメタタグを付与して時間情報と共にメタタグ格納部205に格納する。
入力ユニット3は、入力ユニット通信部301と、表示部302と、入力部303と、データベース304とを有する。入力ユニット通信部301は、サーバユニット2との間で通信を行う。表示部302は、データベース304を参照して、サーバユニット2からの変化率ID入力要求と、変化率ID確認要求とに応じた画面を表示する。入力部303は、ユーザからの入力を受け付ける。
次に、このように構成された実施例3の生活状態推定システムの動作について説明する。実施例3において、変化率IDは、ある解析区間における二酸化炭素濃度変化率の代表値、変化率が0となった点における二酸化炭素濃度、二酸化炭素濃度の変化率が0となった点の近傍における湿度の最大値、及び湿度変化率の最大値の組に対して、付与される。図12に、変化率ID付与処理のフローチャートを示す。
[変化率ID入力要求処理]
解析部203は、データ格納部202に随時格納されるデータをモニタリングし(ステップS3c)、時刻tにおける二酸化炭素濃度変化率dc(t)が0となった場合(ステップS3d:Yes)、まず、時刻t−twから時刻tまでの区間において、各サンプルにおいて二酸化炭素濃度変化率を算出する。続いて、算出された二酸化炭素濃度変化率dc(t−tw)からdc(t)のうち、中央値を、区間t−twからtの二酸化炭素濃度変化率の代表値d(t)とする。さらに、dc(t)が0となった時刻tから近傍である時刻t−thから時刻t+thにおける湿度の最大値Vと、時刻t−thから時刻t+thにおける湿度の変化率の中央値dmh(t)を算出する(ステップS3e)。
変化率ID格納部208には、変化率dc(t)が0となった時点での二酸化炭素濃度Vco2(t)、二酸化炭素濃度変化率の代表値d(t)、近傍湿度の最大値V(t)、及び近傍湿度の変化率の中央値dmh(t)が組になって格納される。変化率ID格納部208に既に格納されているVco2(t’)、d(t’)、V(t’)、及びdmh(t’)と、上記Vco2(t)、d(t)、V(t)、及びdmh(t)のユークリッド距離(式2)が、閾値Tdより大きい場合(ステップS3f:Yes)、変化率ID入力要求が行われる。このとき、変化率ID格納部208に、Vco2(t)、d(t)、V(t)、及びdmh(t)を基準値として格納する(ステップS3g)と同時に、これらの値の組と対応する変化率IDを含む変化率ID入力要求信号を、サーバ通信部201から入力ユニット3に送信する(ステップS3h)。
Figure 2015022482
入力ユニット3は、入力ユニット通信部301において変化率ID入力要求信号を受信すると、表示部302に入力要求メッセージの候補を表示させる。入力要求メッセージは、例えば、「何かを焼いた」「何かを茹でた」「何かを煮た」等の文章で構成されている。これらの入力要求メッセージは、対応する行動IDとともに入力ユニット3にデータベース304として格納されている。
入力部303においてユーザが応答すると、入力ユニット通信部301にてサーバユニット2に上記Vco2(t)、d(t)、V(t)、及びdmh(t)の組に対応する変化率IDと、入力要求メッセージに対応する行動IDが送信される。応答の方法は、GUIで入力しても良いし、音声認識で入力しても良い。このとき、行動の入力だけでなく、1日の終わりに、「今日はどんな食生活であったか」という入力をユーザに求めてもよい。
サーバ通信部201において、上記Vco2(t)、d(t)、V(t)、及びdmh(t)の組に対応する変化率IDと行動IDを受信すると(ステップS3j)、変化率ID格納部208において、上記Vco2(t)、d(t)、V(t)、及びdmh(t)の組に対応する変化率IDに、行動IDが追加される。
サーバユニット2において、解析部203は、対応する変化率IDの正答カウンタc2をインクリメントし(ステップS3k)、上記Vco2(t)、d(t)、V(t)、dmh(t)、及び対応する変化率IDと、タイムスタンプと、行動IDを、新規解析データセットとして、解析データ格納部204に格納する(ステップS3l)。
[変化率ID確認要求処理]
解析部203は、データ格納部202に随時格納されるデータをモニタリングし(ステップS3c)、時刻t1における二酸化炭素濃度変化率d(t)が0となった場合(ステップS3d:Yes)、変化率ID入力要求時と同様に、Vco2(t)とd(t)を求める(ステップS3e)。続いて、変化率ID格納部208に既に格納されているVco2(t’)、d(t’)、V(t’)、及びdmh(t’)と、上記Vco2(t)、d(t)、V(t)、及びdmh(t)のユークリッド距離が、閾値Tdより小さい場合(ステップS3f:No)、かつ、正答カウンタc2がc2<Mである場合(ステップS3m:No)、変化率ID入力要求が行われる(ステップS3i)。
正答カウンタc2がc2=Mである場合は(ステップS3m:Yes)、確認要求信号は送信されず、上記Vco2(t)、d(t)、V(t)、dmh(t)の組にすでに登録されている行動IDを、固定行動IDfとして固定し、タイムスタンプを付けて解析データ格納部204に格納する(ステップS3n)。これ以降、保存されたVco2(t’)、d(t’)、V(t’)、及びdmh(t’)とのユークリッド距離がTdより小さくなる上記Vco2(t)、d(t)、V(t)、dmh(t)の組が参照された場合は、自動的にIDfが割り振られる。ここで、正答カウンタのMは予め決められているものとする。
入力ユニット3は、入力ユニット通信部301において変化率ID確認要求信号を受信すると、表示部302に確認要求メッセージを表示させる。確認要求メッセージは、過去に変化率ID入力要求処理が行われた際に変化率IDと併せて登録されたものであり、例えば、「何かを焼いた」等である。今回の行動が過去に登録された行動IDと一致するのであれば、ユーザは「yes」と応答する。今回の行動が過去に登録された行動IDと一致せず、ユーザが「no」と応答した場合、変化率ID入力要求時と同じ画面に遷移し、行動IDの候補を表示させ、ユーザに入力を促し、変化率ID入力要求処理と同様の処理を行い、変化率IDと行動IDをサーバユニット2に送信する。
入力部303においてユーザが応答すると、入力ユニット通信部301にてサーバユニット2にVco2(t)、d(t)、V(t)、dmh(t)の組に対応する変化率IDと応答信号が送信される(ステップS3j)。応答信号が「yes」である場合、正答カウンタc2をインクリメントする(ステップS3k)。応答信号が「no」である場合、Vco2(t)及びd(t)に対応する変化率IDと新たな行動IDが解析データ格納部204に格納される(ステップS3l)。
ある変化率IDに対して、複数の行動IDが登録される場合もある。その場合、確認要求信号を入力ユニット3に送信する際に、カウンタc2も併せて送信し、入力ユニット3において確認要求メッセージを表示させる際に、カウンタc2の多い順に表示する。複数の行動IDのうち、いずれかひとつのカウンタc2がc2=Mとなった場合、この行動IDが変化率IDに対する行動IDとして固定される。
[メタタグ付与処理]
サーバユニット2は、T時間ごとにメタタグ付与を行う。Tは予め決められており、例えば、24時間ごとなどである。メタタグは例えば、「焼き物をした日」「煮物をした日」「料理をしなかった日」などである。
解析データ格納部204において、タイムスタンプと行動IDを参照し、二酸化炭素変化率と湿度変化率の対応関係からメタタグを付与する。例えば、17:00から20:00の間に「何かを煮た」状態がある場合、「夜、煮物をした日」というメタタグをデータセットに付与し、メタタグ格納部205に該当データの日付とメタタグを格納する。17:00から24:00の間に「何かを焼いた」「何かを茹でた」「何かを煮た」状態が一度も現れない日は、「外食または外泊した日」とメタタグを付与する。
データ読み出しは入力ユニット3によりユーザからデータ参照要求が発生した際に行われる。外部記憶装置4には、ソーシャルネットワークサービスへの投稿テキストや、デジタルカメラ、携帯電話で撮影された写真や動画が、タイムスタンプと併せて格納されている。
入力ユニット3において、「煮物をした日を振り返る」というボタンが押されると、外部記憶装置4がサーバユニット2のメタタグ格納部205を参照し、「煮物をした日」というメタタグが付与された日付を取得する。外部記憶装置4は、取得した日付に対応するタイムスタンプが付された電子的記録物を、表示装置5に表示する。
以上述べたように、実施例3によれば、二酸化炭素濃度データと湿度データの変化をトリガーにして、対話形式でユーザに変化の要因の入力を要求することにより、タグ付与の負担が軽減される。さらに、対話形式でユーザに変化の要因の入力を要求させた結果、一定回数以上同じタグが付与された場合は、タグを固定することで、自動的にタグが付与され、入力の手間を省くことができる。また、時間とタグを用いて二酸化炭素濃度と湿度の変化に対してメタタグを自動で付与することにより、「煮物をした日」などのメタタグを用いて過去の調理行動や食生活が類似する日の電子記録物を提示することが可能となる。さらに、実施例2に対し、実施例3では湿度データの変化を加味することで、調理に関する行動をより細分化することが可能になる。
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
1…センシングユニット、2…サーバユニット、3…入力ユニット、4…外部記憶装置、5…表示装置、101…計測部、102…センシング通信部、201…サーバ通信部、202…データ格納部、203…解析部、204…解析データ格納部、204…メタタグ格納部、205…日照時間格納部、301…入力ユニット通信部、302…表示部、303…入力部、304…データベース、207…変化率ID格納部。

Claims (9)

  1. 生活環境に関する所定の物理量を計測したセンサデータを受信する受信手段と、
    前記受信手段で受信したセンサデータが変化した場合に、前記変化の要因となるユーザの行動を示す行動情報を入力させる入力手段と、
    前記入力手段で入力された前記行動情報を当該変化の時間情報と共に格納する第1の格納手段と
    を具備することを特徴とする生活状態推定システム。
  2. 前記入力手段は、前記行動情報と前記センサデータとの組み合わせが予め定められた入力回数になった場合に、それ以降の前記センサデータに対して前記行動情報が入力されたものとみなすことを特徴とする請求項1に記載の生活状態推定システム。
  3. 前記第1の格納手段に格納された前記行動情報と前記時間情報とに基づいて、前記ユーザの生活状態を示す付加情報を付与する付与手段と、
    前記付加情報とその生活状態の時間情報とを格納する第2の格納手段と
    をさらに具備することを特徴とする請求項1又は2に記載の生活状態推定システム。
  4. 電子的記録物をその記録日時と共に記憶する記憶手段と、
    前記第2の格納手段を参照して、指定された付加情報に対応する前記時間情報を受信し、前記記憶手段から当該時間情報に対応する電子的記録物を読み出す読出手段と
    をさらに具備することを特徴とする請求項3に記載の生活状態推定システム。
  5. 前記受信手段は、日照時間外の照度データを受信し、
    前記入力手段は、前記受信手段で受信した照度データが変化し、その変化したセンサ状態が一定期間継続した場合に、前記変化の要因となるユーザの照明に関する行動情報を入力させることを特徴とする請求項1又は2に記載の生活状態推定システム。
  6. 前記受信手段は、二酸化炭素濃度データを受信し、
    前記入力手段は、前記受信手段で受信した二酸化炭素濃度データが変化し、その変化率が一定値以上の場合に、前記変化の要因となるユーザの調理に関する行動情報を入力させることを特徴とする請求項1又は2に記載の生活状態推定システム。
  7. 前記受信手段は、二酸化炭素濃度データ及び湿度データを受信し、
    前記入力手段は、前記受信手段で受信した二酸化炭素濃度データ及び湿度データが変化し、その変化率が一定値以上の場合に、前記変化の要因となるユーザの調理に関する行動情報を入力させることを特徴とする請求項1又は2に記載の生活状態推定システム。
  8. 情報処理装置が実行する生活状態推定方法であって、
    生活環境に関する所定の物理量を計測したセンサデータを受信する受信ステップと、
    前記受信ステップで受信したセンサデータが変化した場合に、前記変化の要因となるユーザの行動を示す行動情報を入力させる入力ステップと、
    前記入力ステップで入力された前記行動情報を当該変化の時間情報と共に格納する第1の格納ステップと
    を有することを特徴とする生活状態推定方法。
  9. 前記第1の格納ステップに格納された前記行動情報と前記時間情報とに基づいて、前記ユーザの生活状態を示す付加情報を付与する付与ステップと、
    前記付加情報とその生活状態の時間情報とを格納する第2の格納ステップと
    をさらに有することを特徴とする請求項8に記載の生活状態推定方法。
JP2013149628A 2013-07-18 2013-07-18 生活状態推定システム及び生活状態推定方法 Active JP6040114B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013149628A JP6040114B2 (ja) 2013-07-18 2013-07-18 生活状態推定システム及び生活状態推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013149628A JP6040114B2 (ja) 2013-07-18 2013-07-18 生活状態推定システム及び生活状態推定方法

Publications (2)

Publication Number Publication Date
JP2015022482A true JP2015022482A (ja) 2015-02-02
JP6040114B2 JP6040114B2 (ja) 2016-12-07

Family

ID=52486884

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013149628A Active JP6040114B2 (ja) 2013-07-18 2013-07-18 生活状態推定システム及び生活状態推定方法

Country Status (1)

Country Link
JP (1) JP6040114B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016212793A (ja) * 2015-05-13 2016-12-15 ヤフー株式会社 予測装置、端末、予測方法及び予測プログラム
JP2018180802A (ja) * 2017-04-10 2018-11-15 大和ハウス工業株式会社 食生活推定システム
US11693903B2 (en) 2018-04-10 2023-07-04 Nippon Telegraph And Telephone Corporation Information processing device, information processing method, and information processing program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH087188A (ja) * 1994-06-22 1996-01-12 Tokyo Gas Co Ltd 人間活動監視補助装置
WO2004010232A1 (ja) * 2002-07-19 2004-01-29 Matsushita Electric Industrial Co., Ltd. 機器連携制御装置
JP2004145820A (ja) * 2002-10-28 2004-05-20 Nippon Telegr & Teleph Corp <Ntt> 生活動作検出方法、装置、プログラム、および該プログラムを記録した記録媒体
JP2010146221A (ja) * 2008-12-18 2010-07-01 Hitachi Ltd 行動記録入力支援システム、行動入力支援方法、及びサーバ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH087188A (ja) * 1994-06-22 1996-01-12 Tokyo Gas Co Ltd 人間活動監視補助装置
WO2004010232A1 (ja) * 2002-07-19 2004-01-29 Matsushita Electric Industrial Co., Ltd. 機器連携制御装置
JP2004145820A (ja) * 2002-10-28 2004-05-20 Nippon Telegr & Teleph Corp <Ntt> 生活動作検出方法、装置、プログラム、および該プログラムを記録した記録媒体
JP2010146221A (ja) * 2008-12-18 2010-07-01 Hitachi Ltd 行動記録入力支援システム、行動入力支援方法、及びサーバ

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016212793A (ja) * 2015-05-13 2016-12-15 ヤフー株式会社 予測装置、端末、予測方法及び予測プログラム
JP2018180802A (ja) * 2017-04-10 2018-11-15 大和ハウス工業株式会社 食生活推定システム
US11693903B2 (en) 2018-04-10 2023-07-04 Nippon Telegraph And Telephone Corporation Information processing device, information processing method, and information processing program

Also Published As

Publication number Publication date
JP6040114B2 (ja) 2016-12-07

Similar Documents

Publication Publication Date Title
US11853633B2 (en) Digital picture display system with photo clustering and automated interaction with viewer devices
US10122772B2 (en) Dynamically-created shared spaces
US10129393B2 (en) Caller identification using communication network information
US8774452B2 (en) Preferred images from captured video sequence
US10210586B2 (en) Composited posting interface for social networking system
US10162999B2 (en) Face recognition based on spatial and temporal proximity
US10467986B2 (en) Automated method of displaying personalized photos on a digital picture frame
US9986048B2 (en) Automated event tagging
US9286641B2 (en) Automatic photo capture based on social components and identity recognition
US9762956B2 (en) Image selection from captured video sequence based on social components
US10820293B2 (en) Digital picture frame with improved display of community photographs
US10853404B2 (en) Digital picture frame photograph clustering
TW201324205A (zh) 相片管理系統
JP6040114B2 (ja) 生活状態推定システム及び生活状態推定方法
US20230259546A1 (en) Method of displaying two adjacent photos on a split screen digital picture frame
TW201423454A (zh) 相片管理系統

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160719

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161107

R150 Certificate of patent or registration of utility model

Ref document number: 6040114

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150