JP2013171422A - 3次元水中インタラクティブ装置 - Google Patents

3次元水中インタラクティブ装置 Download PDF

Info

Publication number
JP2013171422A
JP2013171422A JP2012034751A JP2012034751A JP2013171422A JP 2013171422 A JP2013171422 A JP 2013171422A JP 2012034751 A JP2012034751 A JP 2012034751A JP 2012034751 A JP2012034751 A JP 2012034751A JP 2013171422 A JP2013171422 A JP 2013171422A
Authority
JP
Japan
Prior art keywords
information
dimensional
shielding
display
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012034751A
Other languages
English (en)
Other versions
JP6069601B2 (ja
Inventor
Kennantudawage Sanjeewa Rasis Gunawardhana
ケンナントゥダワゲ サンジーワ ラシス グナワルダナ
Masato Hirakawa
正人 平川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimane University
Original Assignee
Shimane University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimane University filed Critical Shimane University
Priority to JP2012034751A priority Critical patent/JP6069601B2/ja
Publication of JP2013171422A publication Critical patent/JP2013171422A/ja
Application granted granted Critical
Publication of JP6069601B2 publication Critical patent/JP6069601B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)

Abstract

【課題】3次元における動作感をフィードバックできる水中インターフェースを安価に提供すること。
【解決手段】 水槽101と、センサ対102と、処理装置103と、を含んだ、3次元水中インタラクティブ装置100であって、水槽101は、液晶ディスプレイ111と側面112と、を有し、センサ対102は、レーザ発光素子121と、フォトトランジスタ素子122と、を組として側面112に多数取り付けられ、処理装置103は、各センサ対102それぞれから発光の検知情報を入力する入力部131と、検知情報とセンサ対102の取付位置の情報とに基づいて、3次元の遮蔽情報を算出する遮蔽情報算出部132と、遮蔽情報に基づいて液晶ディスプレイ111にアニメーションを表示する表示制御部135と、を備える。
【選択図】図1

Description

本発明は、水中における3次元情報を取得し、水の触覚を反映した画像または動画を表示する装置に関し、病院のリハビリ施設や足湯に適用できるインターフェースないしインタラクティブ装置に関する。
コンピュータインターフェースとして、マウスに代わり、近年、スマートフォンやタブレット端末と称される高機能電子機器に採用されるタッチパネルの普及が進みつつある。タッチパネルは2次元ジェスチャ認識装置に位置づけられるが、近年、Kinect(マイクロソフト社Xbox360用のコントローラ)と呼ばれる、3次元ジェスチャ認識装置も開発されつつある。
しかしながら、従来の技術では以下の問題点があった。
Kinectを含めた3次元ジェスチャ認識装置の多くは、空中におけるジェスチャ操作、すなわち「空を切る」操作であり、リアリティに欠けるという問題点があった。
また、3次元ジェスチャ認識装置は、奥行き情報も取得するが、水槽用の素材あるいは水という物質が対象物との間に存在するような環境にあっては、正常に機能しないという問題点があった。
特開2007−156857号公報
本発明は上記に鑑みてなされたものであって、3次元における動作感をフィードバックできる水中インターフェースを安価に提供することを目的とする。
請求項1に記載の3次元水中インタラクティブ装置は、水槽と、センサ対と、処理装置と、を含んだ、装置であって、水槽が、底面を構成し上方に向けて画像を出力する平面ディスプレイと、底面周囲から上方に延伸し水を貯める側周面と、を有し、センサ対が、直進性の発光素子と、発光を検知する受光素子と、を組として側周面に多数取り付けられ、処理装置が、各センサ対それぞれから遮光の検知情報を入力する入力手段と、入力手段により入力された検知情報と、センサ対の取付位置の情報と、に基づいて、水槽中における3次元の遮蔽情報を算出する遮蔽情報算出手段と、遮蔽情報算出手段により算出された遮蔽情報に基づいて、平面ディスプレイに画像または動画を表示する制御をおこなう表示制御手段と、を備えたことを特徴とする。
すなわち、請求項1にかかる発明は、3次元における動作感をフィードバックできる水中インターフェースを安価に提供できる。
なお、側周面は、平面であっても曲面であってもよい。すなわち、水槽は、箱形でもたらい形でも特に限定されない。センサ対の取付位置の情報とは、発光素子と受光素子の配置に基づいた検出方向の情報も適宜含まれるものとする。発光素子は直進性の発光、すなわち、指向性のある発光をおこない、その方向は、対となっている受光素子に向けた発光であるのはいうまでもない。遮蔽情報とは、物体の存在情報と表現することもできる。なお、センサ対の数は特に限定されないが、手や足などの水槽への挿入、滞在、引き抜き、等が検知できる程度の数であることが好ましい。水槽の大きさも、特に限定されないが、例えば、1.0m×2.5m×0.4mとすることができる。
請求項2に記載の3次元水中インタラクティブ装置は、請求項1に記載の3次元水中インタラクティブ装置において、水槽が上方に開口した直方形であり、側周一面とこれに対向する面、および、前記側周一面の隣の面とこれに対向する面に、発光素子と受光素子とを各面網目状に取り付けたことを特徴とする。
すなわち、請求項2にかかる発明は、遮蔽情報の算出を容易化することができる。各面網目状とは、側周の四面にメッシュ状に発光素子または受光素子を配置することを意味する。このとき、検出方向は総て同一方向(面の法線方向)となる。このように整然と配置し光の遮蔽を検出することにより、物体境界の存在範囲のばらつきをなくすことも可能となる。使用の態様により、等間隔とせず、不均一な間隔としてもよい。
請求項3に記載の3次元水中インタラクティブ装置は、請求項1または2に記載の3次元水中インタラクティブ装置において、処理装置が、足の運びないし足の運動に関する画像群および/または動画群を記録した記録手段と、遮蔽情報算出手段により算出された遮蔽情報に基づいて、記録手段に記録された画像群および/または動画群から、表示すべき画像または動画を決定する決定手段と、を備え、表示制御手段が、決定手段により決定された画像または動画を表示する制御をおこなうことを特徴とする。
すなわち、請求項3にかかる発明は、水の抵抗を利用した足の運動機能の回復、向上を目的としたリハビリサービスを提供可能となる。画像群または動画群は、例えば、足の裏の配置場所や配置方向を示すものとすることができる。画像群または動画群を、ステップ1、ステップ2というように段階的に設け、例えば、ステップ1の所望の動きができたことを遮蔽情報により検出し、これを以てステップ2の動画再生の開始キーとすることもできる。これにより、利用者(患者等)の運動能力に合わせたリハビリが可能になる。このとき、適宜、運動完了までの時間を測定し、次になすべき運動を決定するようにしても良い。
請求項4に記載の3次元水中インタラクティブ装置は、請求項1、2または3に記載の3次元水中インタラクティブ装置において、平面ディスプレイに、タッチパネル機構を設けたことを特徴とする。
すなわち、請求項4にかかる発明は、3次元情報を補完し、平面ディスプレイの表示内容の多様化を図ることができる。なお、タッチパネル機構は、水の接触や揺動とは別に、手足等の接触を検知するものであれば特に限定されない。
本発明によれば、3次元における動作感をフィードバックできる水中インターフェースを安価に提供することができる。
3次元水中インタラクティブ装置(リハビリ装置)の外観構成図である。 3次元水中インタラクティブ装置の模式説明図である。 画面と足の様子とを描いた適用概念図である。
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。ここでは、本発明の3次元水中インタラクティブ装置を足の曲げ伸ばしリハビリ装置として応用した例について説明する。以降では3次元水中インタラクティブ装置をインタラクティブ装置と適宜称することとする。
図1は、3次元水中インタラクティブ装置(リハビリ装置)の外観構成図である。図2は、3次元水中インタラクティブ装置の模式説明図である。
インタラクティブ装置100は、水槽101と、センサ対102と、処理装置103と、により構成される。
水槽101は、底面を構成し上方に向けて画像を出力する液晶ディスプレイ111と平面視において外形が長方形である側面112とにより構成され、この中に適温の湯が張られている。側面112の素材はレーザ光をブロックしない範囲であれば特に限定されないが、例えば透明硬質プラスチックを採用することができる。
液晶ディスプレイ111は、タッチパネル機能を備え、ディスプレイに足等が接触しているか否かを認識可能としている。タッチパネル機能の方式は、水が張られていること自体、または、水の揺動による局所的かつ微小の圧力変化を誤検知しないのであれば、特に限定されない。なお、図1では、右足を右に動かす画像が表示された例を示している。
液晶ディスプレイ111とセンサ対102を用いることにより、インタラクティブ装置100の軽量小型化が実現され、設置性、可搬性等を確保することができる。なお、使用の態様により底面も側面112と同素材として、これに液晶ディスプレイ111を当接させるようにしても良い。
センサ対102は、レーザ発光素子121と、レーザ光を受光するフォトトランジスタ素子122とが、組になり対向する側面112に分かれて多数取り付けている。図1では、説明の便宜上、縦方向と横方向の2組のセンサ対102の発光−受光関係を示した。図2に示したように、側面112aにレーザ発光素子121をメッシュ状に配置し、対向する側面112cにフォトトランジスタ素子122を同様にメッシュ状に配置する。側面112bと側面112dも、レーザ発光素子121とフォトトランジスタ素子122をメッシュ状に配置する。
レーザ発光素子121のレーザ光の照射方向は、当該素子が取り付けられる側面112の法線方向に向けてあり、組となるフォトトランジスタ素子122が光を受光する。各センサ対102をこのように配置および配光することにより、水槽101には、仮想的な3次元グリッドが形成され、受光の有無を検知(遮光検知)することにより、何れの場所に物体が存在しているかを検知可能となる。
処理装置103は、いわゆるコンピュータであり、機能的に、入力部131と、遮蔽情報算出部132と、記録部133と、決定部134と、表示制御部135と、を備える。
入力部131は、各センサ対102それぞれから遮光の検知情報を入力する。ハードウェアとしては、各センサ対102からの受光情報を入力するコントローラと、インターフェース等が該当する。
遮蔽情報算出部132は、入力部131により入力された検知情報と、センサ対102の取付位置の情報と、に基づいて、水槽101中における3次元の遮蔽情報を算出する。物体が水槽中に存在すると、センサ対102により縦横の二方向から遮蔽情報が得られ、また、センサ対102の取付位置から深さ方向の位置が特定されるので、遮蔽に関する3次元情報を得ることができ、物体の容積等を把握できる。なお、適宜、水槽101への物体(足等)の挿入からの遮蔽情報に基づいて、物体の容積や移動を追跡して、適宜情報補完をしてもよい。これにより物体の片方が他方の陰に隠れても、その後再追跡可能に処理することもできる。
遮蔽情報算出部132は、適宜ハードディスクに専用ソフトウェアをインストールしておき、OSやRAM等と協働して処理させることができる。
記録部133は、リハビリメニュー、すなわち、足の運びないし足の運動に関するアニメーション群を記録している。具体例は後述する。多数のアニメーション群を準備することにより、利用者に適したリハビリメニューを提供できる。
記録部133は、ハードウェアとしてはハードディスク等が該当する。なお、アニメーションは、適宜液晶ディスプレイ111で再生できればよく、形式は特に限定されない。例えば、Flash、mpeg、aviなどを用いることができる。
決定部134は、遮蔽情報算出部132により算出された遮蔽情報に基づいて、記録部133に記録されたアニメーション群から、表示すべきアニメーションを決定する。遮蔽状況により足の3次元的な姿勢が把握できるので、この状況により、次に表示すべき内容を決定し、効果的なリハビリメニューを提供することができる。
表示制御部135は、決定部134により決定されたアニメーションを表示する制御をおこなう。決定部134や表示制御部135は、専用ソフトウェアにより処理できる。表示制御部135は、ハードウェアとしては液晶ディスプレイ111への出力コントローラやコネクタ等が該当する。
次に、リハビリの様子を液晶ディスプレイ111の画面遷移とともに説明する。図3は、画面と足の様子とを描いた適用概念図である。図3aは、利用者がぬるま湯を張った水槽101に足をいれ、水槽底面に足がついたときの様子を示している。タッチパネル機構により、利用者の足の大きさが詳細に分かり、また、足がどのように水槽に101に浸かっているかを把握できる。液晶ディスプレイ111には、足の輪郭が表示され、つま先の前に、「足踏みしてスタート」と表示されている。足の位置が分かっているので、患者の見やすい位置に表示できる。
利用者が足踏みすると、この動きを処理装置103と水槽101のタッチパネル機構が検出し、第一のトレーニングメニューが表れる(図3b)。ここでは、足のマークを画面に表示して、対話的に運動を促すようにしており、具体的には、「足を伸ばせる所まで延ばし、またもとに戻す」という運動をさせるようにしている。処理装置103は、足の動きと動作速度とを3次元的にモニタリングして、負荷の大小を判断し、画面表示内容を変更しても良い。例えば、足の動作速度が遅いときには「※無理をせず、自分のできる早さで!!」と表示しても良いし、足の動作速度が遅くないときには「※延ばしきって5秒止めて下さい」と表示し、静止を観測してから5→4→3→2→1と秒数表示をおこなうようにしても良い。
決定部134では、第一のトレーニングメニューの様子に基づいて、第二のトレーニングメニューを表示する(図示せず)。以下、利用者の負荷を考慮しながら、順次メニュー提示をおこなう。
本発明は、上記の通りであるので、通常の足の上げ下げと異なり、水による負荷をかけることができ、温浴効果も期待でき、かつ、画面表示によるおもしろみもあるため、利用者を飽きさせることなくリハビリ効果を高めていくことが可能となる。
以上の例は、3次元インタラクティブ装置をリハビリ装置に適用した例であるが、本発明はこれに限定されず、水が介在した新たな入力デバイスとして種々応用が可能である。例えば、温泉施設の足湯に用いることもできる。足の動きに合わせて表示内容を動的に変化させ、楽しみを提供できる。
また、足に限定されず、手であっても、他の部材であっても構わない。このほか、アニメーション群として予め用意せず、足等の動きに応じて、画像群または動画像をその都度、生成するようなソフトウェアを用いることもできる。この場合、足等の動きに対して、柔軟に対応した出力(情報提示)が実現できる。
本発明は、詳細な位置情報検知でなく、比較的粗い3次元把握をおこない、水を介して対話的なユーザインターフェースを構築できる。センサ対の個数も適宜調整できる。また、上述したセンサ対を用いることにより、可搬、軽量化が可能であるので、様々な催事に利用することも可能となる。
100 インタラクティブ装置
101 水槽
102 センサ対
103 処理装置
111 液晶ディスプレイ
112 側面
121 レーザ発光素子
122 フォトトランジスタ素子
131 入力部
132 遮蔽情報算出部
133 記録部
134 決定部
135 表示制御部

Claims (4)

  1. 水槽と、センサ対と、処理装置と、を含んだ、3次元水中インタラクティブ装置であって、
    水槽は、
    底面を構成し上方に向けて画像を出力する平面ディスプレイと、
    底面周囲から上方に延伸し水を貯める側周面と、
    を有し、
    センサ対は、
    直進性の発光素子と、発光を検知する受光素子と、
    を組として側周面に多数取り付けられ、
    処理装置は、
    各センサ対それぞれから遮光の検知情報を入力する入力手段と、
    入力手段により入力された検知情報と、センサ対の取付位置の情報と、に基づいて、水槽中における3次元の遮蔽情報を算出する遮蔽情報算出手段と、
    遮蔽情報算出手段により算出された遮蔽情報に基づいて、平面ディスプレイに画像または動画を表示する制御をおこなう表示制御手段と、
    を備えたことを特徴とする3次元水中インタラクティブ装置。
  2. 水槽は上方に開口した直方形であり、
    側周一面とこれに対向する面、および、前記側周一面の隣の面とこれに対向する面に、発光素子と受光素子とを各面網目状に取り付けたことを特徴とする請求項1に記載の3次元水中インタラクティブ装置。
  3. 処理装置は、
    足の運びないし足の運動に関する画像群および/または動画群を記録した記録手段と、
    遮蔽情報算出手段により算出された遮蔽情報に基づいて、記録手段に記録された画像群および/または動画群から、表示すべき画像または動画を決定する決定手段と、
    を備え、
    表示制御手段は、決定手段により決定された画像または動画を表示する制御をおこなうことを特徴とする請求項1または2に記載の3次元水中インタラクティブ装置。
  4. 平面ディスプレイに、タッチパネル機構を設けたことを特徴とする請求項1、2または3に記載の3次元水中インタラクティブ装置。

JP2012034751A 2012-02-21 2012-02-21 リハビリ用の3次元水中インタラクティブ装置 Expired - Fee Related JP6069601B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012034751A JP6069601B2 (ja) 2012-02-21 2012-02-21 リハビリ用の3次元水中インタラクティブ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012034751A JP6069601B2 (ja) 2012-02-21 2012-02-21 リハビリ用の3次元水中インタラクティブ装置

Publications (2)

Publication Number Publication Date
JP2013171422A true JP2013171422A (ja) 2013-09-02
JP6069601B2 JP6069601B2 (ja) 2017-02-01

Family

ID=49265311

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012034751A Expired - Fee Related JP6069601B2 (ja) 2012-02-21 2012-02-21 リハビリ用の3次元水中インタラクティブ装置

Country Status (1)

Country Link
JP (1) JP6069601B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016013832A1 (ko) * 2014-07-21 2016-01-28 주식회사 알엔디플러스 3차원 위치정보를 이용한 터치스크린 장치 및 디스플레이 장치
KR101675228B1 (ko) * 2015-06-30 2016-11-10 주식회사 알엔디플러스 3차원 터치스크린 장치, 터치스크린 장치 및 그 제어방법 그리고 디스플레이 장치
WO2024005293A1 (ko) * 2022-06-29 2024-01-04 (주) 아하 인식거리가 향상된 비터치형 센서 및 이를 포함하는 디스플레이

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6379127A (ja) * 1986-09-24 1988-04-09 Hitachi Ltd タツチセンサ検出装置
JPH02305582A (ja) * 1989-05-19 1990-12-19 Masayuki Kataoka 流水プール装置
JPH03277386A (ja) * 1990-03-27 1991-12-09 Agency Of Ind Science & Technol 流水プール形健康増進装置
JPH07184514A (ja) * 1993-12-27 1995-07-25 Toyo Sangyo Kk 実験用動物の運動量測定方法及びその装置
JPH08212005A (ja) * 1995-02-07 1996-08-20 Hitachi Ltd 3次元位置認識型タッチパネル装置
JPH0916312A (ja) * 1995-06-28 1997-01-17 Nomura Kogeisha:Kk 立体画像表示装置用入力装置
JP2001325073A (ja) * 2000-05-15 2001-11-22 Namco Ltd 操作認識システム、ゲームシステム、ゲーム処理方法、およびゲーム用プログラムを記録した記録媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6379127A (ja) * 1986-09-24 1988-04-09 Hitachi Ltd タツチセンサ検出装置
JPH02305582A (ja) * 1989-05-19 1990-12-19 Masayuki Kataoka 流水プール装置
JPH03277386A (ja) * 1990-03-27 1991-12-09 Agency Of Ind Science & Technol 流水プール形健康増進装置
JPH07184514A (ja) * 1993-12-27 1995-07-25 Toyo Sangyo Kk 実験用動物の運動量測定方法及びその装置
JPH08212005A (ja) * 1995-02-07 1996-08-20 Hitachi Ltd 3次元位置認識型タッチパネル装置
JPH0916312A (ja) * 1995-06-28 1997-01-17 Nomura Kogeisha:Kk 立体画像表示装置用入力装置
JP2001325073A (ja) * 2000-05-15 2001-11-22 Namco Ltd 操作認識システム、ゲームシステム、ゲーム処理方法、およびゲーム用プログラムを記録した記録媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016013832A1 (ko) * 2014-07-21 2016-01-28 주식회사 알엔디플러스 3차원 위치정보를 이용한 터치스크린 장치 및 디스플레이 장치
KR101615537B1 (ko) * 2014-07-21 2016-04-26 주식회사 알엔디플러스 3차원 위치정보를 이용한 터치스크린 장치
KR101675228B1 (ko) * 2015-06-30 2016-11-10 주식회사 알엔디플러스 3차원 터치스크린 장치, 터치스크린 장치 및 그 제어방법 그리고 디스플레이 장치
WO2024005293A1 (ko) * 2022-06-29 2024-01-04 (주) 아하 인식거리가 향상된 비터치형 센서 및 이를 포함하는 디스플레이

Also Published As

Publication number Publication date
JP6069601B2 (ja) 2017-02-01

Similar Documents

Publication Publication Date Title
CN108475120B (zh) 用混合现实系统的远程设备进行对象运动跟踪的方法及混合现实系统
US20200166967A1 (en) Flexible Display for a Mobile Computing Device
CN105283824B (zh) 用图像投影的虚拟交互
JP6352426B2 (ja) ヘッドマウントディスプレイを使用して拡張ディスプレイを提供するデバイス、方法、及びシステム
CN106537261B (zh) 全息键盘显示
US20190018567A1 (en) Input device for vr/ar applications
US10216356B2 (en) Information processing device, information processing method, and program
CN103261997B (zh) 用于控制显示的信息的用户输入的装置和方法
US20170150108A1 (en) Autostereoscopic Virtual Reality Platform
KR20230048152A (ko) 환경에서 객체들을 조작하기 위한 방법들
JP6478360B2 (ja) コンテンツ閲覧
US20170352188A1 (en) Support Based 3D Navigation
TW201214266A (en) Three dimensional user interface effects on a display by using properties of motion
KR101705119B1 (ko) 전자 기기에서 2차원 이미지로 3차원 화면을 구성하는 방법 및 그 전자 기기
CN109308205A (zh) 应用程序的显示适配方法、装置、设备及存储介质
US11023035B1 (en) Virtual pinboard interaction using a peripheral device in artificial reality environments
JP6629528B2 (ja) 仮想現実表示システム、仮想現実表示方法及びコンピュータプログラム
US10976804B1 (en) Pointer-based interaction with a virtual surface using a peripheral device in artificial reality environments
TW201610750A (zh) 可與3d影像互動之手勢控制系統
US10216357B2 (en) Apparatus and method for controlling the apparatus
Sing et al. Garden: A mixed reality experience combining virtual reality and 3D reconstruction
US20160104322A1 (en) Apparatus for generating a display control signal and a method thereof
Lee Research and development of haptic simulator for Dental education using Virtual reality and User motion
JP6069601B2 (ja) リハビリ用の3次元水中インタラクティブ装置
US11023036B1 (en) Virtual drawing surface interaction using a peripheral device in artificial reality environments

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160930

R150 Certificate of patent or registration of utility model

Ref document number: 6069601

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees