JP2014023728A - 生活機能モニタリングシステム - Google Patents

生活機能モニタリングシステム Download PDF

Info

Publication number
JP2014023728A
JP2014023728A JP2012166457A JP2012166457A JP2014023728A JP 2014023728 A JP2014023728 A JP 2014023728A JP 2012166457 A JP2012166457 A JP 2012166457A JP 2012166457 A JP2012166457 A JP 2012166457A JP 2014023728 A JP2014023728 A JP 2014023728A
Authority
JP
Japan
Prior art keywords
moving
coordinates
calculating
monitoring system
mobile body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012166457A
Other languages
English (en)
Other versions
JP5967428B2 (ja
Inventor
Yuji Hirabayashi
裕治 平林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimizu Construction Co Ltd
Shimizu Corp
Original Assignee
Shimizu Construction Co Ltd
Shimizu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimizu Construction Co Ltd, Shimizu Corp filed Critical Shimizu Construction Co Ltd
Priority to JP2012166457A priority Critical patent/JP5967428B2/ja
Publication of JP2014023728A publication Critical patent/JP2014023728A/ja
Application granted granted Critical
Publication of JP5967428B2 publication Critical patent/JP5967428B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】モニタリング対象者の特徴点の検出が容易な生活機能モニタリングシステムを提供する。
【解決手段】光線を被写体に投射して、被写体の3次元距離データを取得する距離データ取得手段と、3次元距離データを3次元直交座標データに変換する座標変換手段と、3次元直交座標データの移動点から移動体を抽出する移動体抽出手段と、抽出された移動体の面積を算出する面積算出手段と、移動体の頂点座標と重心座標を算出する座標算出手段と、移動体の頂点座標と重心座標の時間変化に基づいて頂点座標の移動速度と重心座標の移動速度を算出する移動速度算出手段と、移動体の面積と移動体の頂点座標と重心座標とが所定範囲内であるかを判定する判定手段と、判定が真であるとき移動体を人と判断し、頂点座標の移動速度と重心座標の移動速度の平均から、移動体の移動特性を算出する移動特性算出手段と、算出された移動体の移動特性を記録する記録手段と、からなる。
【選択図】図4

Description

本発明は、日常生活において生活者の歩行状況や着席・立ち上がりなどの行動をモニタリングする生活機能モニタリングシステムに関する。
日常生活で転倒危険などの気配りが必要な高齢者や病中や病後の生活者に対しては、日常生活での行動をモニタリングして注意を促す必要がある。これらの生活者の歩行状況や着席・立ち上がりなどの行動をモニタリングするためには、対象者である生活者は、センサや発信機などの装置を常時携帯することが必要となる。
しかし、装置を常時携帯することには、以下のような問題点がある。
(1)日常生活では装置の携帯を忘れることがある、
(2)装置の携帯を生活者が拒否する可能性がある、
(3)装置を携帯しながら入浴ができないことなど、装置の携帯することにより日常生活に支障や制約がある。
そこで、センサや端末を携帯しないで日常生活の行動をモニタリングする方法として、特許文献1(特開2009−285077号公報)記載発明のように、撮影画像から特徴点を抽出することで、モニタリング対象者の行動を把握する方法がある。
特開2009−285077号公報
しかしながら、特許文献1記載の方法では、住居の形状や色、家具、什器の移動、太陽光の有無などの条件変化により、撮影画像の結果が異なり高い信頼性で画像の特徴点を検出することは難しい。また、特許文献1記載の方法には、特徴点や行動パターンが具体的に例示されていないので、目的に応じた具体的なシステムを構築することが難しい。
この発明は、上記課題を解決するものであって、請求項1に係る発明は、光線を被写体に投射して、被写体の3次元距離データを取得する距離データ取得手段と、前記距離データ取得手段で取得された前記3次元距離データを3次元直交座標データに変換する座標変換手段と、前記座標変換手段で変換された3次元直交座標データの移動点から移動体を抽出する移動体抽出手段と、前記移動体抽出手段で抽出された移動体の面積を算出する面積算出手段と、前記移動体抽出手段で抽出された移動体の頂点座標と重心座標を算出する座標算出手段と、前記座標算出手段によって算出された移動体の頂点座標と重心座標の時間変化に基づいて頂点座標の移動速度と重心座標の移動速度を算出する移動速度算出手段と、前記面積算出手段によって算出された移動体の面積と、前記座標算出手段によって算出された移動体の頂点座標と重心座標とが、所定範囲内であるかを判定する判定手段と、前記判定手段による判定が真であるとき移動体を人と判断し、前記移動速度算出手段によって算出された頂点座標の移動速度と重心座標の移動速度の平均から、移動体の移動特性を算出する移動特性算出手段と、前記移動特性算出手段で算出された移動体の移動特性を記録する記録手段と、からなることを特徴とする生活機能モニタリングシステムである。
また、請求項2に係る発明は、請求項1に記載の生活機能モニタリングシステムにおいて、前記移動特性が、移動体の歩行速度であることを特徴とする。
また、請求項3に係る発明は、請求項1又は請求項2に記載の生活機能モニタリングシステムにおいて、前記移動特性が、移動体の立ち上がり速度であることを特徴とする。
また、請求項4に係る発明は、請求項1乃至請求項3のいずれかに記載の生活機能モニタリングシステムにおいて、人に応じて、前記判定手段が基準とする所定範囲が定められることを特徴とする。
また、請求項5に係る発明は、請求項4に記載の生活機能モニタリングシステムにおいて、人の判別を行う無線タグの受信部が設けられることを特徴とする。
本発明に係る生活機能モニタリングシステムによれば、距離データ取得手段によって取得された3次元距離データによって、撮像画像に比べ、モニタリング対象者の特徴点の検出が容易となると共に、3次元距離データに基づいて算出される、移動体の頂点座標の移動速度と重心座標の移動速度の平均から、移動体の移動特性を算出することで、モニタリング対象者の行動を把握するアルゴリズムによってシステム構築が容易となる。
本発明の実施形態に係る生活機能モニタリングシステム100のシステム構成を示す図である。 本発明の実施形態に係る生活機能モニタリングシステム100の処理のフローチャートを示す図である。 本発明の実施形態に係る生活機能モニタリングシステム100で取得されるデータのイメージ図である。 本発明の実施形態に係る生活機能モニタリングシステム100の処理のサブルーチンのフローチャートを示す図である。 本発明の他の実施形態に係る生活機能モニタリングシステム100のシステム構成を示す図である。 本発明の他の実施形態に係る生活機能モニタリングシステム100におけるデータベースで記憶されるデータの構造を説明する図である。
以下、本発明の実施の形態を図面を参照しつつ説明する。図1は本発明の実施形態に係る生活機能モニタリングシステム100のシステム構成を示す図である。
図1において、3次元距離センサ60は、レーザや赤外線を被写体に投射して大量の3次元距離データ(以下「点群データ」という)を測定できるセンサであり、これを居住の壁・床・天井などに装備する。
点群データは3次元距離を表現する点が大量にあるので距離画像と呼ぶこともできる。3次元距離センサ60を設置している高さや煽り角から、点群データを3次元直交座標系に変換することによりX,Y,Z座標でデータを扱うことができるようになる。
3次元距離センサ60としては、例えば、ASUSTeK Computer製の開発者向けモーションキャプチャデバイス「Xtion PRO」を用いることができる。
また、図1において、データ処理部50としては、ハードディスク(不図示)にウインドウズ(登録商標)などのオペレーティングシステムが記憶されている汎用のパーソナルコンピューターを利用することができる。3次元距離センサ60とデータ処理部50とは、例えば、USBなどの通信規格で接続することができる。
また、前記ハードディスクには、オペレーティングシステムプログラム以外に、本発明の生活機能モニタリングシステム100をCPU(不図示)上で動作させるシステムプログラム、及びこのシステムプログラムで用いるデータなどがインストールされ保存・記憶されている。また、ハードディスクには、生活機能モニタリングシステム100によって得られたモニタリング情報を履歴として保存することができるようになっている。また、生活機能モニタリングシステム100で背景として学習される背景データなども、このハードディスクに記憶される。
生活機能モニタリングシステム100は、3次元距離センサ60のセンシング範囲の中で移動する移動体をモニタリング対象者として把握するものである。一方、図1の例では、移動体でない机やベッドなどは背景データとなる。移動体が存在しない状態での、点群データは背景データとしてデータ処理部50が学習するように構成する。
背景に移動体が、3次元距離センサ60のセンシング範囲に進入すると、背景データと計測した点群データに差が生じる。生活機能モニタリングシステム100では、この差があらかじめ設定した値を越えた場合に移動体として検出する。複数の移動体が連続して複数存在する場合に、これらを移動体として認識する。この移動体から頂点座標と重心座標を算出する。また、3次元距離センサ60で点群データを1秒間に30回取得する場合、各時間での移動体の変位から移動体の頂点座標や重心座標の移動速度を算出できる。
次ぎに、以上のように構成される生活機能モニタリングシステム100の具体的なアルゴリズムについて説明する。図2は本発明の実施形態に係る生活機能モニタリングシステム100の処理のフローチャートを示す図である。
図2において、ステップS100で、3次元距離センサ60が点群データ(距離画像)を取得すると、続いて、ステップS101では、取得された点群データを3次元座標(直交座標系)に変換する。
ステップS102においては、背景データと、上記ステップで変換された3次元直交座標データとを比較することで、移動点の抽出を行う。
ステップS103においては、移動体の面積を算出する。
ステップS10では、移動体の頂点座標・重心座標を算出する。図3は本発明の実施形態に係る生活機能モニタリングシステム100で取得されるデータのイメージ図である。移動体の頂点座標は、移動体の座標のうちZ座標が最も大きい座標である。また、重心座標は、ステップS103で求められる、移動体の面積データから重心を求めることができる。画像データから、その重心位置を算出する手法については従来周知の技術を利用することができる。
続く、ステップS105では、移動体の頂点座標・重心座標の移動速度を算出する。
ステップS106では、履歴保存ルーチンが実行される。
次ぎに、上記の履歴保存ルーチンについて説明する。図4は本発明の実施形態に係る生活機能モニタリングシステム100の処理のサブルーチンのフローチャートを示す図である。
ステップS200で履歴保存ルーチンが開始されると、続くステップS201において
は、移動体の面積が、所定の設定範囲1の範囲内であるか否かが判定される。これは、移動体の面積が人として判定するに妥当な面積範囲内にあるか否かを判定するために設けられているステップである。
移動体の面積が、例えば、400cm2から800cm2の設定範囲にある場合に移動体を人間が立っている状態での断面積の範囲にあると推定できる
ステップS201における判定が真であるときには、ステップS202に進み、|頂点座標−重心座標|の値が、所定の設定範囲2の範囲内であるか否かが判定される。これは、移動体の|頂点座標−重心座標|の値が、人として判定するに妥当な値の範囲内にあるか否かを判定するために設けられているステップである。
ステップS202における判定が真であるときには、ステップS203に進み、頂点座標の高さが、所定の設定範囲3の範囲内であるか否かが判定される。これは、移動体の頂点の高さが、人として判定するに妥当な値の範囲内にあるか否かを判定するために設けられているステップである。
移動体の頂点の高さは、例えば1.4mから1.8mの設定範囲にある場合には、立っている人間の身長に相当すると推定できる。身長の違いにより、複数の人から特定の人を識別することも可能となる。
ステップS203における判定が所定値上であったときには、ステップS204に進み、移動体は「立ち上がり」と推定し、ステップS205では、移動体の頂点座標と重心座標の移動速度の平均値を算出することで、ステップS206で、立ち上がりの速度を算出する。これを、ステップS210で、ハードディスクにログとして記録する。
特に、立ち上がり速度は、脚部筋力をモニタリングするための指標となる。良い健康状態では、一般に立ち上がり速度は早くなる。
一方、ステップS203における判定が所定値未満であったときには、ステップS207に進み、移動体は「歩行」と推定し、ステップS208では、頂点座標の水平速度と重心座標の水平速度の平均値を算出することで、ステップS209で、移動体の歩行速度を算出する。これを、ステップS210で、ハードディスクにログとして記録する。
ステップS211では、元のルーチンにリターンする。
歩行速度や立ち上がり速度は健康のバロメータとなるので、上述のように適時記録しておき、過去の速度と比較することで健康状態の変化を推定することができ、速度が著しく低下した場合には本人や関係者にアラームを出して知らせることができる。
さらに、歩行と立ち上がりや座る動作の組み合わせにより、生活者の行動パターンを認識し、普段の行動パターンを複数登録しておく。現在の行動パターンと、登録した行動パターンとを比較して、速度や移動経路が大きく異なる場合は、異常行動と推定して本人や関係者にアラームを出して知らせることができる。
本発明に係る生活機能モニタリングシステム100においては、安定的に歩行速度や立ち上がり速度、歩行やその組み合わせによる行動パターンなど、生活者の特徴となる生活行動をモニタリングして、生活者の安全を見守ると同時に、健康状態や異常状態を推定できる。
以上のような本発明に係る生活機能モニタリングシステム100によれば、3次元距離
センサ60である距離データ取得手段によって取得された3次元距離データによって、撮像画像に比べ、モニタリング対象者の特徴点の検出が容易となると共に、3次元距離データに基づいて算出される、移動体の頂点座標の移動速度と重心座標の移動速度の平均から、立ち上がりや歩行などの、移動体の移動特性を算出することで、モニタリング対象者の行動を把握するアルゴリズムによってシステム構築が容易となる。
次ぎに、本発明の他の実施形態にについて説明する。図5は本発明の他の実施形態に係る生活機能モニタリングシステム100のシステム構成を示す図である。
他の実施形態が先の実施形態と異なる第1の点は、他の実施形態では複数の設置箇所に3次元距離センサ60が設けられており、これら複数の3次元距離センサ60から得られる点群データからデータ処理部50が推定を行うものである。
このように本実施形態では、複数の3次元距離センサ60から得られる点群データが用いられるために、より確度高くモニタリング対象者の状態を把握することが可能となる。また、複数の設置箇所にわたって3次元距離センサ60が設けられることで、より広い範囲でモニタリング対象者の状態・行動を把握することが可能となる。
また、他の実施形態が先の実施形態と異なる第2の点は、他の実施形態では無線タグ受信部80が設けられており、この無線タグ受信部80がデータ処理部50と接続されている点である。また、データ処理部50には、無線タグ受信部80から得られるデータを処理するために用いられるデータベース90も接続されている。図6は本発明の他の実施形態に係る生活機能モニタリングシステム100におけるデータベース90で記憶されるデータの構造を説明する図である。
他の実施形態においては、モニタリング対象者は唯一無二の固有ID(ID1、ID2、ID3など)を発信する無線タグ70を身につけることが想定されており、さらにデータベース90にはモニタリング対象者が身につける無線タグ70に係るID情報、身につけたモニタリング対象者の氏名情報、及び、モニタリング対象者の背格好に応じた設定範囲1乃至設定範囲3に係る情報などが図6に示されるように記憶されている。
上記のような構成により、他の実施形態に係る生活機能モニタリングシステム100においては、複数のモニタリング対象者の状態・行動を記録することができるようになる。
なお、以上の各実施形態においては、高齢者や病中や病後の生活者の日常生活での行動をモニタリングする例を説明したが、本発明の生活機能モニタリングシステム100は、これに限らず、健常者の日常生活のモニタリングにも用いることができる。
さらに、病中の生活者としては、運動管理が要求される糖尿病患者に、本発明に係る生活機能モニタリングシステム100を適用することは、特に有為であるものと予想される。
50・・・データ処理部
60・・・3次元距離センサ
70・・・無線タグ
80・・・無線タグ受信部
90・・・データベース
100・・・生活機能モニタリングシステム

Claims (5)

  1. 光線を被写体に投射して、被写体の3次元距離データを取得する距離データ取得手段と、前記距離データ取得手段で取得された前記3次元距離データを3次元直交座標データに変換する座標変換手段と、
    前記座標変換手段で変換された3次元直交座標データの移動点から移動体を抽出する移動体抽出手段と、
    前記移動体抽出手段で抽出された移動体の面積を算出する面積算出手段と、
    前記移動体抽出手段で抽出された移動体の頂点座標と重心座標を算出する座標算出手段と、
    前記座標算出手段によって算出された移動体の頂点座標と重心座標の時間変化に基づいて頂点座標の移動速度と重心座標の移動速度を算出する移動速度算出手段と、
    前記面積算出手段によって算出された移動体の面積と、前記座標算出手段によって算出された移動体の頂点座標と重心座標とが、所定範囲内であるかを判定する判定手段と、
    前記判定手段による判定が真であるとき移動体を人と判断し、前記移動速度算出手段によって算出された頂点座標の移動速度と重心座標の移動速度の平均から、移動体の移動特性を算出する移動特性算出手段と、
    前記移動特性算出手段で算出された移動体の移動特性を記録する記録手段と、からなることを特徴とする生活機能モニタリングシステム。
  2. 前記移動特性が、移動体の歩行速度であることを特徴とする請求項1に記載の生活機能モニタリングシステム。
  3. 前記移動特性が、移動体の立ち上がり速度であることを特徴とする請求項1又は請求項2に記載の生活機能モニタリングシステム。
  4. 人に応じて、前記判定手段が基準とする所定範囲が定められることを特徴とする請求項1乃至請求項3のいずれかに記載の生活機能モニタリングシステム。
  5. 人の判別を行う無線タグの受信部が設けられることを特徴とする請求項4に記載の生活機能モニタリングシステム。
JP2012166457A 2012-07-27 2012-07-27 生活機能モニタリングシステム Expired - Fee Related JP5967428B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012166457A JP5967428B2 (ja) 2012-07-27 2012-07-27 生活機能モニタリングシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012166457A JP5967428B2 (ja) 2012-07-27 2012-07-27 生活機能モニタリングシステム

Publications (2)

Publication Number Publication Date
JP2014023728A true JP2014023728A (ja) 2014-02-06
JP5967428B2 JP5967428B2 (ja) 2016-08-10

Family

ID=50197967

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012166457A Expired - Fee Related JP5967428B2 (ja) 2012-07-27 2012-07-27 生活機能モニタリングシステム

Country Status (1)

Country Link
JP (1) JP5967428B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017182198A (ja) * 2016-03-28 2017-10-05 安来市 認知機能情報収集装置及び認知機能情報収集システム
WO2020208900A1 (ja) * 2019-04-09 2020-10-15 パナソニックIpマネジメント株式会社 リコメンドシステム、及び、リコメンド方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1093957A (ja) * 1996-09-12 1998-04-10 Hitachi Ltd 移動物体検出方法、装置、システム、および記憶媒体
JP2004350166A (ja) * 2003-05-23 2004-12-09 Nippon Telegr & Teleph Corp <Ntt> 状況取得装置および方法、プログラム並びに記録媒体
JP2005004787A (ja) * 2004-07-26 2005-01-06 Toshiba Corp 行動計測装置、電子的装置及び記録媒体
JP2007181517A (ja) * 2006-01-04 2007-07-19 Fuji Electric Holdings Co Ltd 状態検出装置
JP2009285077A (ja) * 2008-05-28 2009-12-10 Sanyo Electric Co Ltd 生活機能測定装置、生活機能測定プログラム及び生活機能測定システム
JP2012120647A (ja) * 2010-12-07 2012-06-28 Alpha Co 姿勢検出装置
EP2589330A1 (en) * 2010-06-30 2013-05-08 Panasonic Corporation Monitoring device, and program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1093957A (ja) * 1996-09-12 1998-04-10 Hitachi Ltd 移動物体検出方法、装置、システム、および記憶媒体
JP2004350166A (ja) * 2003-05-23 2004-12-09 Nippon Telegr & Teleph Corp <Ntt> 状況取得装置および方法、プログラム並びに記録媒体
JP2005004787A (ja) * 2004-07-26 2005-01-06 Toshiba Corp 行動計測装置、電子的装置及び記録媒体
JP2007181517A (ja) * 2006-01-04 2007-07-19 Fuji Electric Holdings Co Ltd 状態検出装置
JP2009285077A (ja) * 2008-05-28 2009-12-10 Sanyo Electric Co Ltd 生活機能測定装置、生活機能測定プログラム及び生活機能測定システム
EP2589330A1 (en) * 2010-06-30 2013-05-08 Panasonic Corporation Monitoring device, and program
JP2012120647A (ja) * 2010-12-07 2012-06-28 Alpha Co 姿勢検出装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017182198A (ja) * 2016-03-28 2017-10-05 安来市 認知機能情報収集装置及び認知機能情報収集システム
WO2020208900A1 (ja) * 2019-04-09 2020-10-15 パナソニックIpマネジメント株式会社 リコメンドシステム、及び、リコメンド方法

Also Published As

Publication number Publication date
JP5967428B2 (ja) 2016-08-10

Similar Documents

Publication Publication Date Title
Ramachandran et al. A survey on recent advances in wearable fall detection systems
Wang et al. An enhanced fall detection system for elderly person monitoring using consumer home networks
Erden et al. Sensors in assisted living: A survey of signal and image processing methods
Mastorakis et al. Fall detection system using Kinect’s infrared sensor
Bagala et al. Evaluation of accelerometer-based fall detection algorithms on real-world falls
Bai et al. Design and implementation of a fall monitor system by using a 3-axis accelerometer in a smart phone
Nam et al. Child activity recognition based on cooperative fusion model of a triaxial accelerometer and a barometric pressure sensor
KR101196296B1 (ko) 개선된 낙상 감지 알고리즘을 이용한 응급 모니터링 시스템
Muheidat et al. Context-aware, accurate, and real time fall detection system for elderly people
JP6983866B2 (ja) 転倒検出に関するデバイス、システム、及び方法
TWM537280U (zh) 分析跌倒嚴重程度的跌倒偵測系統及其穿戴式裝置
Shi et al. Fall Detection Algorithm Based on Triaxial Accelerometer and Magnetometer.
Muheidat et al. In-home floor based sensor system-smart carpet-to facilitate healthy aging in place (AIP)
Shin et al. Ubiquitous health management system with watch-type monitoring device for dementia patients
Liu et al. Local dynamic stability assessment of motion impaired elderly using electronic textile pants
Chang et al. An environmental-adaptive fall detection system on mobile device
Ibrahim et al. Bed-fall detection and prediction: a generic classification and review of bed-fall related systems
JP5967428B2 (ja) 生活機能モニタリングシステム
Amiroh et al. Intelligent System for Fall Prediction Based on Accelerometer and Gyroscope of Fatal Injury in Geriatric
KR101270004B1 (ko) 신체활동 측정 시스템, 그 측정방법, 이를 이용한 신체활동 및 응급상황 안내방법
Ren et al. Real-time energy-efficient fall detection based on SSR energy efficiency strategy
Rakhman et al. u-FASt: Ubiquitous fall detection and alert system for elderly people in smart home environment
Bocicor et al. Cyber-physical system for assisted living and home monitoring
Zhang et al. Feasibility of unobstrusive ambient sensors for fall detections in home environment
Li et al. Accurate, fast fall detection using posture and context information

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151111

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160622

R150 Certificate of patent or registration of utility model

Ref document number: 5967428

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees