JP2016224302A - 視線誘導装置、視線誘導方法、および視線誘導プログラム - Google Patents

視線誘導装置、視線誘導方法、および視線誘導プログラム Download PDF

Info

Publication number
JP2016224302A
JP2016224302A JP2015111372A JP2015111372A JP2016224302A JP 2016224302 A JP2016224302 A JP 2016224302A JP 2015111372 A JP2015111372 A JP 2015111372A JP 2015111372 A JP2015111372 A JP 2015111372A JP 2016224302 A JP2016224302 A JP 2016224302A
Authority
JP
Japan
Prior art keywords
line
sight
person
guidance
gaze
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015111372A
Other languages
English (en)
Other versions
JP6382772B2 (ja
Inventor
崇裕 松元
Takahiro Matsumoto
崇裕 松元
えりか 足利
Erika Ashikaga
えりか 足利
結城 遠藤
Yuki Endo
結城 遠藤
誉宗 巻口
Takamune Makiguchi
誉宗 巻口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2015111372A priority Critical patent/JP6382772B2/ja
Publication of JP2016224302A publication Critical patent/JP2016224302A/ja
Application granted granted Critical
Publication of JP6382772B2 publication Critical patent/JP6382772B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】人が意識していない対象であっても、当該対象に人の視線を誘導する。【解決手段】人の視線を所望の誘導先に誘導する視線誘導装置1であって、前記視線の誘導の開始指示を契機に、人の視線の範囲内に移動し、前記視線の範囲内から前記誘導先に向かって移動する移動制御部12を備える。【選択図】図1

Description

本発明は、人の視線を所望の対象に誘導する技術に関する。
近年、人とのコミュニケーションを目的としたテレプレゼンスロボット(以下、ロボット)が様々な分野において研究されている。人を誘導する技術としては、非特許文献1に誘導ロボットが記載されている。
誘導ロボットは、病院やホテルなどの施設において、利用者が、目的地までの案内を必要とする場合に、誘導ロボットが利用者の前を移動し、利用者は誘導ロボットに追従して歩行することで、目的地まで辿り着くことができる。
「誘導ロボットに対する人間の追従行動」、インターネット、<URL:https://www.jstage.jst.go.jp/article/aija/75/652/75_652_1399/_pdf>
非特許文献1では、病院やホテルなど、利用者(人)が目的地までの案内を必要とする施設において、利用者を案内(誘導)するためのロボットである。すなわち、利用者は、行くべき目的地が既に存在し、また、利用者は、ロボットを目的地まで案内してくれる存在であると認識している状態から、案内がはじまるものである。
これに対し、人が意図していない対象へ人の視線を誘導したい場合、例えば、道を歩いている人に、デジタルサイネージ、お店の看板などを気付かせたい場合がある。この場合に、非特許文献1のロボットを適用すると、人は、当該ロボットが誘導を行うためのロボットであると認識していないため、人がロボットに注目する前に、ロボットの移動が開始されてしまい、誘導がうまくいかないという問題がある。
本発明は、上記課題に鑑みてなされたものであり、本発明の目的は、人が意識していない対象であっても、当該対象に人の視線を誘導することにある。
上記の課題を解決するため、本発明は、人の視線を所望の誘導先に誘導する視線誘導装置であって、前記視線の誘導の開始指示を契機に、前記人の視線の範囲内に移動し、前記視線の範囲内から前記誘導先に向かって移動する移動制御部を備える。
本発明は、人の視線を所望の誘導先に誘導する視線誘導装置が行う視線誘導方法であって、前記視線の誘導の開始指示を契機に、前記人の視線の範囲内に移動する第1の移動ステップと、前記人の視線の範囲内から、前記誘導先に向かって移動する第2の移動ステップと、を行う。
本発明は、上記視線誘導装置として、コンピュータを機能させることを特徴とする視線誘導プログラムである。
本発明によれば、人が意識していない対象であっても、当該対象に人の視線を誘導することができる。
本実施形態における視線誘導システムの構成図である。 視線誘導装置の動作を示すフローチャートである。 人の視線外にいる視線誘導装置を示す図である。 人の移動方向を説明するための説明図である。 人の視線外から視線内に移動する視線誘導装置を示す図である。 視線の範囲内で人の注意を引く動作を行う視線誘導装置を示す図である。 誘導先に向かって移動する視線誘導装置を示す図である。 端末の動作を示すフローチャートである。 視線誘導装置に対する周囲との位置関係を示す図である。 ショートカットボタンの表示例を示す図である。 ショートカットボタンの選択例を示す図である。
以下、本発明の実施形態を、図面を参照して説明する。
図1は、本実施形態における視線誘導システムの構成を示す構成図である。視線誘導システムは、視線誘導装置1と、端末(操作端末)2とを備える。視線誘導装置1は、少なくとも移動制御可能な移動装置(ロボット)であって、視線を誘導したい人(人物)の視線を、所望の対象に誘導させる装置である。
図示する視線誘導装置1は、通信部11と、移動制御部12と、動作部13と、撮像部14とを備える。
通信部11は、端末2と各種情報を送受信する。具体的には、通信部11は、端末2から、視線誘導の開始指示を受信する。また、通信部11は、撮像部14が撮像した撮像画像(カメラ映像)、および、移動制御部12が検知した情報を端末2に送信することとしてもよい。
移動制御部12は、視線誘導の開始指示を契機に、人の視線(視野)の範囲内に移動し、視線の範囲内から誘導先に向かって移動する。また、移動制御部12は、各種センサを備え、自身の位置を検知可能であるとともに、誘導したい人および誘導先の対象の位置および方向を検知可能であるものとする。また、移動制御部12は、人の視線方向、範囲を取得可能であるものとする。
動作部13は、移動制御部12が人の視線の範囲内に移動した後、視線の範囲内で、人の注意を引く動作を行う。なお、人の注意を引く動作は、例えば、音を出力する、光を発する、振動する、周期運動を行うことの少なくとも1つを含む。なお、動作部13は、音または光を出力する場合、スピーカ、ライト等の発光装置などの出力装置を備えるものとする。
撮像部14は、撮影の正面方向を持つ360度デジタルカメラを備え、誘導先の対象を含む画像(カメラ画像)などを撮像する。
視線誘導装置1には、例えば、テレプレゼンスロボット、小型飛行機やヘリコプター等の無人飛行体(ドローン)等を用いてもよい。また、上述した機能や機構を具備する移動装置であればよい。なお、視線誘導装置1と端末2との間の通信路は、無線でもよいし有線でもよい。
端末2は、視線誘導装置1と通信が可能な装置であって、例えば、スマートフォン、タブレット端末、パソコンなどの端末を用いることができる。
図示する端末2は、視線誘導装置1を遠隔操作するための端末であり、表示部21と、制御部22と、を備える。
表示部21は、タッチパネルを備え、視線誘導装置1の撮像部14が撮像した撮像画像をタッチパネルに表示する。また、撮像画像の範囲外に存在する人(誘導したい人)の位置方向と当該人までの距離を直感的に表したショートカットボタン(人の情報)を撮像画像に重畳表示する。
制御部22は、端末2を操作する操作者の指示を受け付けて、視線誘導装置1に視線誘導の開始指示を送信する。
上記説明した視線誘導装置1および端末2は、例えば、CPUと、メモリと、ハードディスク等の外部記憶装置と、入力装置と、出力装置とを備えた汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、CPUがメモリ上にロードされた所定のプログラムを実行することにより、各部の各機能が実現される。例えば、視線誘導装置1および端末2の各機能は、視線誘導装置1用のプログラムの場合は視線誘導装置1のCPUが、そして、端末2用のプログラムの場合は端末2のCPUが、それぞれ実行することにより実現される。
また、視線誘導装置1用のプログラムおよび端末2用のプログラムは、ハードディスク、フレキシブルディスク、CD−ROM、MO、DVD−ROMなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。
次に、本実施形態の視線誘導装置1の動作について説明する。
図2は、本実施形態の視線誘導装置1の動作を示すフローチャートである。
視線誘導装置1の通信部11は、操作者が操作する端末2から、視線誘導の開始指示を受信する(S11)。開始指示には、誘導したい人、および、誘導先の対象が指定されているものとする。
図3に示す例では、人3が誘導したい人であり、誘導先は対象4である。ここでは、人3の視線は、誘導先である対象4と逆の方向を向いており、人3の視線に対象4は入っていない。このような状態において、視線誘導装置1は、人3の視線(注意)を、誘導先の対象4に誘導する。
視線誘導装置1の移動制御部12は、開始指示を受信すると、人3の位置、対象4の位置を取得するとともに、人の視線方向および範囲を取得する(S12)。位置については、GPS、位置センサ、距離センサなどの各種センサを用いて取得(計測)することが考えられる。
人の視線方向および範囲については、例えば、以下の文献1に記載の技術を用いて取得することが考えられる。文献1では、人の移動方向が視線方向であると仮定し、人の視線方向・範囲を、移動方向を用いて推定する。
文献1:松元崇裕,瀬古俊一,青木良輔,宮田章裕,井原雅行,山田智広,“Shoot Tag Mapping:スマートフォンを用いた屋内位置情報サービスのためのタグ位置マップ生成手法“,信学技報, vol. 113, no. 470, MVE2013-64, pp. 13-18, 2014年3月
人の移動方向が視線方向であると仮定する場合、人の位置の取得方法は、一定時間における人の位置を計測することで、図4に示すように、ある時点tでの水平面の2次元位置をベクトルP(X,Y)、それより1つ前の位置をベクトルPt-1(Xt-1,Yt-1)とすると、人の移動方向は以下の単位ベクトルで表される。
Figure 2016224302
図3に示すように、人の視線位置の高さをMとすると(高さは、例えば日本人平均の視線の高さで近似)、人の視線方向は以下とおりである。
Figure 2016224302
また、視線範囲は3次元位置(X,Y,M) から最大視認距離r以内の人の視線方向を中心としたθ・θで表される範囲である。なお、視線範囲θ・θは、一般的な人の視線範囲を用いる。例えば、移動時の人の視線角は、水平θ:80度、垂直θ:60度である。
なお、人の視線方向および範囲については、アイトラッカー結果、または画像処理結果により顔の向きを利用することも考えられる。
そして、移動制御部12は、誘導したい人3の位置、当該人3の視線方向および範囲、および、誘導先の対象4の位置および方向を用いて、誘導先の対象4が人3の視線外にいるか否かを判別する(S13)。誘導先の対象4が、既に人3の視線の範囲内にいる場合、移動制御部12は、誘導する必要がないため、以降の誘導を行うことなく処理を終了する。
誘導先の対象4が、人3の視線外にいる場合、移動制御部12は、人3の視線の範囲内に移動する(S14)。
図5は、図1に示した人3の視線外にいる視線誘導装置1が、人3の視線の範囲内に移動する動作を示す図である。なお、視線誘導装置1の移動制御部12は、当該視線誘導装置1の位置を取得し、取得した位置から、S12で取得した人3の視線の範囲内に移動する。
そして、移動制御部12は、人3の視線の範囲内において、人3の注意を引く動作を行う(S15)。人3の注意を引く動作としては、例えば、移動制御部12は、所定の時間、音を出力する、光を出す、上下左右に振動して揺れる、周期運動(ばね運動、振り子運動、八の字運動など)の少なくとも1つを行うことが考えられる。これにより、人3は、無意識に視線誘導装置1に注目する。
図6は、視線の範囲内で、人3の注意を引く動作(図示する例では、振り子運動)を行っている視線誘導装置1を示す図である。
そして、視線誘導装置1は、人3が視線誘導装置1を見続けることで、人3の視線の範囲内に対象4が入るように移動する(S16)。
図7は、S16の視線誘導装置1の移動の一例を示す図である。図示する例では、人3を中心とし、人3と対象4の距離を半径R1とし、人3と対象4を結ぶ線を1つの辺とする所定の角度θoの扇形S1とする。そして、人3を中心とし、人3と視線誘導装置1間の距離を半径R2とする円S2と、扇形S1との交点Tを目標地点とする。
視線誘導装置1の移動制御部12は、目標地点Tに向けて、人3と視線誘導装置1との間の距離を半径R2とする円の円周上を移動して、目標地点Tに移動する。人3は、このように移動する視線誘導装置1を目で追うことで、無意識に(自然と)誘導先の対象4が視界に入ることになる。なお、人3と視線誘導装置1との間の距離R2は水平方向の距離だけを見るものとし、人と視線誘導装置1間の距離を半径R2とする円S2は、地面に水平であるものとする。
人3と視線誘導装置1との間の距離を半径R2とする円の円周上を移動することで、人3に衝突することなく、視線誘導装置1は目標地点Tに移動することができる。また、目標地点Tを、人3と対象4を結ぶ線上ではなく、当該線上から所定の角度θo離れた地点とすることで、目標地点Tにおける視線誘導装置1が、人3からみて対象4を隠さないようにすることができる。これにより、人は、誘導先の対象4に容易に気が付くことができる。なお、所定の角度θoは、例えば、視線角水平θより小さい角度とすることが考えられる。
次に、端末2が、視線誘導の開始指示を視線誘導装置1に送信する処理の一例を説明する。図8は、端末2の動作を示すフローチャートである。
なお、視線誘導装置1の撮像部14は、誘導先である対象4が撮像可能な位置にいて、対象4を含む画像を撮像し、通信部11を介して端末2に当該撮像画像を送信するものとする。また、視線誘導装置1の移動制御部12は、自身の周囲に存在する人の位置方向、自身から人までの距離を検知し、検知した情報を通信部11を介して端末2に送信するものとする。
まず、表示部21は、視線誘導装置1で検知された誘導したい人3の位置方向及び距離を取得する(S21)。例えば、視線誘導装置1に対して図9に示す位置に人3が存在する場合、撮像部14のカメラの正面方向(図の上方向)から右回りで人3までの回転角度θ、視線誘導装置1から人3までの距離Lを取得する。
次に、表示部21は、取得したデータを用いて人3の位置方向と当該人3までの距離を直感的に示したショートカットボタンを生成し、タッチパネル上の撮像画像に重畳表示する(S22)。具体的には、顔を表現したボタン画像(アイコン)を生成し、人3までの距離に応じて表示サイズを変更し、人3の位置方向に対応する場所に表示する。すなわち、表示部21は、撮像画像の範囲外に存在するショートカットボタンを実空間上の位置に対応付けて撮像画像に重畳した画像を表示する。
例えば、図9に示すように、タッチパネルの画面中央を視線誘導装置1の現在位置とみなし、上方向を基準に右回りでθ°の軸方向の画面淵に人3のショートカットボタンSBを表示する。なお、ボタン画像については、例えば、撮影された対象者の顔画像を縮小・拡大して用いてもよいし、規定の顔画像を用いてもよい。
また、表示部21は、視線誘導装置1で検知された人が複数いる場合は、複数の人のショートカットボタンを、各人の位置方向および距離を用いて、タッチパネル上の撮像画像に重畳表示する。
表示中のショートカットボタンに対してユーザによる押し下げタッチ操作が検知されると、表示部21は、押し下げられたショートカットボタンのIDを制御部22に送信する(S23)。
制御部22は、押し下げられたショートカットボタンの人3の視線を誘導先の対象4に誘導させるための視線誘導の開始指示を視線誘導装置1に送信する(S24)。
なお、図8に示す視線誘導の開始指示の送信処理は一例であって、他の方法により、視線誘導装置1は、誘導したい人3および誘導先の対象4を含む視線誘導の開始指示を端末2から受信することとしてもよい。
以上説明した本実施形態では、人の視線を、視線誘導装置1の移動により誘導する。すなわち、本実施形態では、視線誘導装置1は、向いて欲しい方向に、人の視線を向けるために、まず人の視線に入り、その後、視線を誘導するように、誘導先の対象に向かって移動する。これにより、人は、移動する視線誘導装置1を目で追うことで、無意識に(自然と)誘導先の対象が視界に入ることになる。したがって、本実施形態では、人が意識していない対象に対して、人の視線をスムーズの誘導することができる。
例えば、道を歩いている人に、デジタルサイネージ、お店の看板、スタジアムのゲートなどを気付かせたい場合に、視線誘導装置1が人の視界に入って、誘導先に向かって移動するで、人の視線・注意を、自然と誘導先に向けることができる。
また、本実施形態では、視線誘導装置1は、人の視線の範囲内に移動した後で、人の注意を引く動作を行う。これにより、人は、視線誘導装置1が誘導を行うための装置であると認識していない場合であっても、自然と視線誘導装置1に注目し、視線誘導装置1を目で追うことになる。これにより、本実施形態では、人の視線をより確実に誘導先の対象に誘導することができる。
また、本実施形態の端末2では、誘導先を含む撮像画像に、誘導したい人のショートカットボタンが表示され、操作者は当該ショートカットボタンをタッチすることで、視線誘導の開始指示が視線誘導装置1に送信される。これにより、操作者は、容易に開始指示を入力することができ、ユーザの利便性を向上することができる。
なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形および応用が可能である。
1 :視線誘導装置
11:通信部
12:移動制御部
13:動作部
14:撮像部
2 :端末
21:表示部
22:制御部
3 :誘導したい人
4 :誘導先の対象

Claims (6)

  1. 人の視線を所望の誘導先に誘導する視線誘導装置であって、
    前記視線の誘導の開始指示を契機に、前記人の視線の範囲内に移動し、前記視線の範囲内から前記誘導先に向かって移動する移動制御部を備えること
    を特徴とする視線誘導装置。
  2. 請求項1記載の視線誘導装置であって、
    前記人の視線の範囲内に移動した後、前記視線の範囲内で人の注意を引く動作を行う動作部を、さらに備えること
    を特徴とする視線誘導装置。
  3. 請求項1記載の視線誘導装置であって、
    前記人の視線の範囲内に移動後、前記視線の範囲内で、音を出力する、光を発する、振動する、周期運動を行うことの少なくとも1つを含む人の注意を引く動作を行う動作部を、さらに備えること
    を特徴とする視線誘導装置。
  4. 請求項1から請求項3のいずれか1つに記載の視線誘導装置であって、
    誘導先を含む画像を撮像する撮像部と、
    前記撮像画像を操作端末に送信する通信部を、さらに備え、
    前記通信部は、前記撮像画像の範囲外に存在する前記人の情報を実空間上の位置に対応付けて前記撮像画像に重畳した画像を表示する前記操作端末において、前記人の情報が選択されることにより送信された、前記開始指示を受信すること
    を特徴とする視線誘導装置。
  5. 人の視線を所望の誘導先に誘導する視線誘導装置が行う視線誘導方法であって、
    前記視線の誘導の開始指示を契機に、前記人の視線の範囲内に移動する第1の移動ステップと、
    前記人の視線の範囲内から、前記誘導先に向かって移動する第2の移動ステップと、を行うこと
    を特徴とする視線誘導方法。
  6. 請求項1から請求項4のいずれか1項に記載の視線誘導装置として、コンピュータを機能させることを特徴とする視線誘導プログラム。
JP2015111372A 2015-06-01 2015-06-01 視線誘導装置、視線誘導方法、および視線誘導プログラム Active JP6382772B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015111372A JP6382772B2 (ja) 2015-06-01 2015-06-01 視線誘導装置、視線誘導方法、および視線誘導プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015111372A JP6382772B2 (ja) 2015-06-01 2015-06-01 視線誘導装置、視線誘導方法、および視線誘導プログラム

Publications (2)

Publication Number Publication Date
JP2016224302A true JP2016224302A (ja) 2016-12-28
JP6382772B2 JP6382772B2 (ja) 2018-08-29

Family

ID=57747773

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015111372A Active JP6382772B2 (ja) 2015-06-01 2015-06-01 視線誘導装置、視線誘導方法、および視線誘導プログラム

Country Status (1)

Country Link
JP (1) JP6382772B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019008510A (ja) * 2017-06-23 2019-01-17 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム
JP7444531B2 (ja) 2022-05-18 2024-03-06 三菱ロジスネクスト株式会社 誘導システム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012161851A (ja) * 2011-02-03 2012-08-30 Advanced Telecommunication Research Institute International ロボットシステムおよびそれに用いる空間陣形認識装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012161851A (ja) * 2011-02-03 2012-08-30 Advanced Telecommunication Research Institute International ロボットシステムおよびそれに用いる空間陣形認識装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019008510A (ja) * 2017-06-23 2019-01-17 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム
US11000952B2 (en) 2017-06-23 2021-05-11 Casio Computer Co., Ltd. More endearing robot, method of controlling the same, and non-transitory recording medium
JP7444531B2 (ja) 2022-05-18 2024-03-06 三菱ロジスネクスト株式会社 誘導システム

Also Published As

Publication number Publication date
JP6382772B2 (ja) 2018-08-29

Similar Documents

Publication Publication Date Title
US9586682B2 (en) Unmanned aerial vehicle control apparatus and method
US10896543B2 (en) Methods and systems for augmented reality to display virtual representations of robotic device actions
Xiao et al. An assistive navigation framework for the visually impaired
JP5966510B2 (ja) 情報処理システム
US10928914B2 (en) Individually interactive multi-view display system for non-stationary viewing locations and methods therefor
JP5776201B2 (ja) 情報処理装置、情報共有方法、プログラム及び端末装置
US20160117864A1 (en) Recalibration of a flexible mixed reality device
EP4105878A1 (en) Image acquisition device and method of controlling the same
US20160283778A1 (en) Gaze assisted object recognition
WO2017204926A1 (en) Flight management and control for unmanned aerial vehicles
US10642348B2 (en) Display device and image display method
US20210217247A1 (en) Body pose message system
CN111052044B (zh) 信息处理装置、信息处理方法和程序
US11609345B2 (en) System and method to determine positioning in a virtual coordinate system
US10771707B2 (en) Information processing device and information processing method
JP2018142090A (ja) キャラクタ画像生成装置、キャラクタ画像生成方法、プログラム、記録媒体及びキャラクタ画像生成システム
US20180082119A1 (en) System and method for remotely assisted user-orientation
JP6382772B2 (ja) 視線誘導装置、視線誘導方法、および視線誘導プログラム
US20230116190A1 (en) User interactions with remote devices
JP7091880B2 (ja) 情報処理装置、移動体、遠隔制御システム、情報処理方法およびプログラム
US20120281102A1 (en) Portable terminal, activity history depiction method, and activity history depiction system
US20160379416A1 (en) Apparatus and method for controlling object movement
KR20180106178A (ko) 무인 비행체, 전자 장치 및 그에 대한 제어 방법
KR20180038326A (ko) 이동 로봇
US20240053746A1 (en) Display system, communications system, display control method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180731

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180802

R150 Certificate of patent or registration of utility model

Ref document number: 6382772

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150