JP2014168137A - 可視光通信システム - Google Patents

可視光通信システム Download PDF

Info

Publication number
JP2014168137A
JP2014168137A JP2013038934A JP2013038934A JP2014168137A JP 2014168137 A JP2014168137 A JP 2014168137A JP 2013038934 A JP2013038934 A JP 2013038934A JP 2013038934 A JP2013038934 A JP 2013038934A JP 2014168137 A JP2014168137 A JP 2014168137A
Authority
JP
Japan
Prior art keywords
unit
receiver
communication system
optical signal
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013038934A
Other languages
English (en)
Inventor
Shigeaki Yamazaki
茂章 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2013038934A priority Critical patent/JP2014168137A/ja
Publication of JP2014168137A publication Critical patent/JP2014168137A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Traffic Control Systems (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Optical Communication System (AREA)

Abstract

【課題】 向きの検出の精度が比較的に安定する可視光通信システムを提供する。
【解決手段】 使用者によって携行される受信機2は、位置を示す光信号を受信する光受信部21と、撮像を行う撮像部24と、撮像部24で撮像された画像に基いて使用者の向きを推定する向き推定部としての制御部23とを有する。向きの推定に地磁気センサや加速度センサが用いられる場合に比べ、向きの推定の精度が比較的に安定する。
【選択図】図1

Description

本発明は、可視光通信システムに関するものである。
従来から、位置情報の送受信が可能な可視光通信システムが提供されている(例えば、特許文献1参照)。
この種の可視光通信システムは、可視光を媒体とする光信号を送信する複数個の照明器具と、使用者によって携行される受信機とを備える。
上記の光信号は、送信元の照明器具の位置を示す情報を含む。
受信機は、光信号を受信すると、その光信号から得られた位置を使用者に通知する。
上記の可視光通信システムによれば、いずれかの照明器具から光信号を受信可能な領域内で、照明器具の間隔や配光角に応じた精度での測位が可能となる。
さらに、上記の受信機として、地磁気センサや加速度センサといったセンサにより向きを検出するものも考えられる。
特開2009−60181号公報
しかしながら、地磁気センサは地磁気以外の強い磁場が存在する場所(例えば、強力な電磁石装置の近く)では機能せず、加速度センサは遅い動きを正しく検出できない場合があるといったように、上記のようなセンサでは向きの検出の精度が低くなりやすかった。
本発明は、上記事由に鑑みて為されたものであり、その目的は、向きの検出の精度が比較的に安定する可視光通信システムを提供することにある。
本発明の可視光通信システムは、自身の位置を示す情報を含む光信号を送信する複数個の照明器具と、使用者によって携行される受信機とを備え、前記受信機は、前記光信号を受信する光受信部と、撮像を行う撮像部と、前記撮像部で撮像された画像に基いて前記使用者の向きを推定する向き推定部とを有することを特徴とする。
上記の可視光通信システムにおいて、前記向き推定部は、前記撮像部によって撮像された画像から特定の標識を抽出し、抽出された前記標識に基いて、前記使用者の向きを推定することが望ましい。
上記の可視光通信システムにおいて、前記受信機は、前記光受信部に受信された光信号に示された位置と前記向き推定部で推定された向きとを地図上に表示する表示部を有することが望ましい。
上記の可視光通信システムにおいて、前記受信機は、目的地の入力を受け付ける入力部と、前記入力部に入力された目的地を記憶する記憶部と、前記目的地に到達するための経路を決定する経路決定部と、前記経路決定部によって決定された経路を表示する表示部とを有することが望ましい。
本発明によれば、向きの推定に地磁気センサや加速度センサが用いられる場合に比べ、向きの推定の精度が比較的に安定する。
本発明の実施形態1の受信機を示すブロック図である。 同上の概略を示す説明図である。 (a)〜(d)はそれぞれ同上における標識の例を示す。 本発明の実施形態2の概略を示す説明図である。
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
(実施形態1)
本実施形態は、図2に示すように、光信号を送信する複数個の照明器具1(1個のみ図示)と、使用者(図示せず)によって携行される受信機2とを備える。
照明器具1が送信する光信号は、送信元の照明器具1の位置の情報を含む。複数個の照明器具1は、光信号同士が互いに干渉しない範囲内でなるべく短い間隔で配置されていることが望ましい。
照明器具1は、可視光を出力する電気的な光源(図示せず)と、上記の光信号を送信するように光源を駆動する光源駆動部(図示せず)とを備える。光源としては例えば発光ダイオードのように制御に対する応答が速い光源が望ましい。また、光源駆動部は、例えば光源として発光ダイオードのような直流光源が用いられる場合には周知の直流電源回路を用いて実現できるといったように、周知技術で実現可能である。光信号は、人の目に点滅として認識されない程度に十分に高い周波数での輝度変調により送信される。
受信機2は、図1に示すように、光信号を受信することで位置の情報を得る光受信部21と、光受信部21において得られた位置を表示する表示部22と、表示部22を制御する制御部23とを備える。
光受信部21は、光信号を入力される例えばフォトダイオードのような受光素子と、受光素子の出力に対して増幅やノイズ除去や復調といった適宜の信号処理を施すことで上記の位置の情報を含む出力(電気信号)を生成する信号処理回路とを備える。上記のような信号処理回路は周知技術で実現可能である。
つまり、いずれかの照明器具1からの光信号が光受信部21に受信されたとき、その光信号の送信元である照明器具1の位置が、受信機2の位置(すなわち使用者の位置)と推定される。このような測位方法では、いずれかの照明器具1から光信号を受信可能な領域(以下、「測位領域」と呼ぶ。)であれば、測位が可能である。
光信号は送信元の照明器具1の位置を特定できるものであればよく、光信号には必ずしも位置が直接に表現されていなくてもよい。例えば、照明器具1毎に固有のIDと該IDを有する照明器具1の位置とを相互に対応付けるテーブルが予め受信機2に記憶されている場合、光信号は送信元の照明器具1のIDを示すものであってもよい。この場合、位置の情報は、光受信部21に受信された光信号に示されたIDを上記のテーブルに照合することで得られる。
表示部22は、例えば周知の液晶パネルを用いて実現することができる。
制御部23は、例えばマイコンを用いて周知技術で実現することができる。
さらに、本実施形態の受信機2は、撮像を行う撮像部24を備える。制御部23は、撮像部24が撮像した画像に基いて使用者の向きを推定する。つまり、制御部23は向き推定部でもある。
撮像部24は、例えばCMOSイメージセンサやCCDイメージセンサといった撮像素子を用いて周知技術により実現可能である。
制御部23には、向きの推定に使用可能な画像(以下、「標識画像」と呼ぶ。)が予め記憶されており、撮像部24が撮像した画像(以下、「撮像画像」と呼ぶ。)から標識画像を抽出することで、使用者の向きを推定する。
具体的に説明すると、本実施形態の受信機2は、表示部22を上方に向けた状態での使用を想定されており、撮像部24は、受信機2において上記の状態で下方に向けられる側である、表示部22の画面の反対側(裏側)に向けられている。つまり、上記の状態では、撮像部24は床を撮像し、撮像画像における上方向が使用者の向き(前方)に一致し、撮像画像における左右方向が使用者にとっての左右方向に一致する。
また、図2に示すように、本実施形態における測位領域の床の複数箇所(1箇所のみ図示)には、一定の方角(例えば北)を示す標識3が設けられており、本実施形態における標識画像としては、上記の標識3の画像が用いられる。標識3は、塗料によって床面上に描かれていてもよいし、床に固定されたパネルに描かれていてもよい。また、標識3は、向きが特定できる図柄(つまり回転対称性を有さない図柄)であればよく、図2のような矢印に限られない。ただし、標識3は、撮像画像からの抽出(模様や汚れなどとの区別)や、向きの特定が、なるべく容易なものであることが望ましい。標識3の他の例としては、例えば図3(a)〜(d)のようなものが考えられる。
制御部23は、撮像画像から標識画像(標識3)が抽出されると、撮像画像において標識3が示す方向に基いて使用者の向きを推定する向き推定動作を行う。例えば、標識3が北を示すものであって、撮像画像において標識3が右方向を示していた場合、制御部23は、使用者の向きが西向きであると推定する。上記のような向き推定動作は、周知の画像処理技術を用いて実現可能である。
また、本実施形態の受信機2は、目的地の入力を受け付ける入力部25と、入力部25に入力された目的地を記憶する記憶部26とを備える。さらに、制御部23は、記憶部26に記憶された目的地に到達するための経路を決定する経路決定動作も行う。つまり、制御部23は経路決定部も兼ねている。
入力部25としては、例えばタッチパネルのような周知の入力装置を用いることができる。
記憶部26としては、例えば周知の不揮発性メモリを用いることができる。
制御部23が経路決定動作を行うタイミングは、例えば、入力部25において新たな目的地が入力されたときや、直前に決定された経路から外れた位置を示す光信号が光受信部21に受信されたときである。経路決定動作の際、制御部23は、予め記憶された測位領域の道のデータに基き、使用者の位置(つまり、直前に光受信部21に受信された光信号から得られた位置)から上記の目的地に到達するための最適の経路を決定する。上記のような経路決定動作は周知技術で実現可能である。
制御部23は、光受信部21に光信号が受信されると、その光信号から得られた位置の周辺の地図を、上記の位置を示すマーク41とともに表示するように、表示部22を制御する。つまり、上記のマーク41は、上記の地図上において、上記の光信号から得られた位置に表示される。
また、制御部23は、撮像画像において標識画像が抽出されている場合、向き推定動作において推定された向きを表示するように表示部22を制御する。具体的には、例えば、制御部23は、上記のマーク41を、上記の推定された向きを示す矢印とするように表示部22を制御する。または、制御部23は、上記の推定された向きに応じて地図全体が適宜回転されるように(例えば、上記の推定された向きを上向きとして地図が表示されるように)表示部22を制御してもよい。
さらに、制御部23は、入力部25に目的地が入力されていて経路決定動作が完了している場合、経路決定動作において決定された経路を表示するように表示部22を制御する。具体的には例えば、制御部23は、上記の経路となる道を他の道とは異なる色で地図上に表示するように表示部22を制御する。または、制御部23は、上記の位置を示すマーク41に代えて又はマーク41とともに、上記の経路に沿って目的地へ向かう方向を示す矢印を表示するように表示部22を制御してもよい。
上記構成によれば、向きの推定に地磁気センサや加速度センサが用いられる場合に比べ、向きの推定の精度が比較的に安定する。
なお、上記のような経路の表示が不要であれば、入力部25などの、経路決定動作のみに用いられる構成は省略してもよい。
(実施形態2)
本実施形態の基本構成は実施形態1と共通であるので、共通する部分については図示並びに説明を省略する。
本実施形態の受信機2は、表示部22の画面をほぼ垂直に立てた状態での使用を想定されている。撮像部24は受信機2において表示部22の画面の反対側(裏側)に向けられており、上記の状態で使用されていれば撮像部24は使用者の前方に向けられる。つまり、撮像部24は主に使用者の前方を撮像する。
また、本実施形態では、標識3は、例えば壁面のように、鉛直面又は鉛直に近い面に設けられる。さらに、標識3は、設けられる面が向いた方角に応じた向きとされる。例えば、南向きの面に設けられる標識3は上向きの矢印とされ、西向きの面に設けられる標識3は左向きの矢印とされ、東向きの面に設けられる標識3は右向きの矢印とされ、北向きの面に設けられる標識3は下向きの矢印とされる。
そして、制御部23は、向き推定動作において、撮像画像における標識3の向きに基づいて使用者の向きを推定する。例えば、撮像画像における標識3の向きが、南向きの面に設けられる標識3の向き(上記の例では上向き)であった場合、制御部23は、使用者が北向きであると推定する。
または、設けられる面の向きに応じて異なった図柄の標識3を用いてもよい。この場合、制御部23は向き推定動作において撮像画像における標識3の向きではなく図柄に基いて使用者の向きを推定するので、標識3は例えばn回回転対称(n≧2)のように向きを特定できない形状であってもよい。
また、本実施形態において、標識画像としては、標識3の画像に代えてまたは加えて、測位領域に固定された構造物(例えば銅像)を特定の方向から撮像した画像を用いてもよい。制御部23は、上記のように構造物を撮像した標識画像が撮像画像から抽出できた場合、使用者が上記特定の方向を向いていると推定する。
また、本実施形態の表示部22は、地図に代えて、撮像画像を表示する。制御部23は、経路決定動作において決定された経路に沿って目的地へ向かう方向を示す矢印42を撮像画像に重ねて表示するように表示部22を制御する。光受信部21に受信された光信号から得られた位置の情報と、向き推定動作において推定された向きの情報とは、それぞれ、上記の矢印42の向きの決定にのみ用いられ、表示部22に直接には表示されない。
本実施形態においても、実施形態1と同様の効果が得られる。
なお、表示部22に表示される画像は、撮像画像そのものではなく、撮像画像が加工された画像(例えば、撮像画像における道の端を示す線のみが描かれた線画)であってもよい。
また、上記の各実施形態において、光受信部21は、フォトダイオードなどの受光素子の代わりに、撮像部24により光信号を受信してもよい。この場合、光受信部21は、受光素子の出力に代えて例えば撮像画像の平均輝度値を用いる。
さらに、上記の各実施形態において、外部のサーバとの通信を行うための通信部(図示せず)を、受信機2に設けてもよい。上記のような通信部を設ければ、各種のデータ(例えば、光信号に含まれる情報がIDである場合におけるIDと位置との対応関係を示すテーブルや、標識画像や、地図のデータなど)を、受信機2が上記のサーバから得ることができる。上記のような通信部は周知技術で実現可能である。
1 照明器具
2 受信機
21 光受信部
22 表示部
23 制御部(向き推定部と経路決定部とを兼ねる)
24 撮像部
25 入力部
26 記憶部

Claims (4)

  1. 自身の位置を示す情報を含む光信号を送信する複数個の照明器具と、
    使用者によって携行される受信機とを備え、
    前記受信機は、前記光信号を受信する光受信部と、撮像を行う撮像部と、前記撮像部で撮像された画像に基いて前記使用者の向きを推定する向き推定部とを有することを特徴とする可視光通信システム。
  2. 前記向き推定部は、前記撮像部によって撮像された画像から特定の標識を抽出し、抽出された前記標識に基いて、前記使用者の向きを推定することを特徴とする請求項1記載の可視光通信システム。
  3. 前記受信機は、前記光受信部に受信された光信号に示された位置と前記向き推定部で推定された向きとを地図上に表示する表示部を有することを特徴とする請求項1又は請求項2記載の可視光通信システム。
  4. 前記受信機は、
    目的地の入力を受け付ける入力部と、
    前記入力部に入力された目的地を記憶する記憶部と、
    前記目的地に到達するための経路を決定する経路決定部と、
    前記経路決定部によって決定された経路を表示する表示部とを有することを特徴とする請求項1〜3記載の可視光通信システム。
JP2013038934A 2013-02-28 2013-02-28 可視光通信システム Pending JP2014168137A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013038934A JP2014168137A (ja) 2013-02-28 2013-02-28 可視光通信システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013038934A JP2014168137A (ja) 2013-02-28 2013-02-28 可視光通信システム

Publications (1)

Publication Number Publication Date
JP2014168137A true JP2014168137A (ja) 2014-09-11

Family

ID=51617627

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013038934A Pending JP2014168137A (ja) 2013-02-28 2013-02-28 可視光通信システム

Country Status (1)

Country Link
JP (1) JP2014168137A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3051717A1 (en) 2015-01-28 2016-08-03 Casio Computer Co., Ltd. Optical communication apparatus, wavelength band estimating apparatus, optical communication method and program
EP3051718A1 (en) 2015-01-30 2016-08-03 Casio Computer Co., Ltd. Information transmission system, symbol stream generating apparatus, symbol stream decoding apparatus, symbol stream generating program, symbol stream decoding program, symbol stream generating method and symbol stream decoding method
JP2016178614A (ja) * 2015-03-23 2016-10-06 大井電気株式会社 情報発信装置および情報取得装置
JP2017050695A (ja) * 2015-09-01 2017-03-09 パナソニックIpマネジメント株式会社 案内表示装置、案内システム及び案内方法
US9775219B2 (en) 2015-03-09 2017-09-26 Panasonic Intellectual Property Management Co., Ltd. Mobile terminal and device control system
JP2020173127A (ja) * 2019-04-09 2020-10-22 Ihi運搬機械株式会社 車両位置提示システム、これに利用する車載器、車両位置提示方法、および車両位置提示用プログラム
CN114124218A (zh) * 2021-11-22 2022-03-01 华南理工大学 一种基于地磁传感器辅助的可见光单灯定位方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318148A (ja) * 2004-04-28 2005-11-10 Shinko Electric Co Ltd 照明灯具および照明システム
JP2009025209A (ja) * 2007-07-20 2009-02-05 Panasonic Electric Works Co Ltd 位置情報システム
JP2009159044A (ja) * 2007-12-25 2009-07-16 Panasonic Electric Works Co Ltd 光伝送システム
US20090284366A1 (en) * 2008-05-14 2009-11-19 Sony Ericsson Mobile Communications Ab System and method for determining positioning information via modulated light
JP2009288173A (ja) * 2008-05-30 2009-12-10 Nippon Telegr & Teleph Corp <Ntt> 位置推定端末、位置推定方法、および位置推定プログラム
JP2010107237A (ja) * 2008-10-28 2010-05-13 Panasonic Electric Works Co Ltd ナビゲーションシステム
JP2011107740A (ja) * 2009-11-12 2011-06-02 Nomura Research Institute Ltd 標識および標識使用方法
JP2013003247A (ja) * 2011-06-14 2013-01-07 Nec Casio Mobile Communications Ltd 方位表示装置、方位表示方法およびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318148A (ja) * 2004-04-28 2005-11-10 Shinko Electric Co Ltd 照明灯具および照明システム
JP2009025209A (ja) * 2007-07-20 2009-02-05 Panasonic Electric Works Co Ltd 位置情報システム
JP2009159044A (ja) * 2007-12-25 2009-07-16 Panasonic Electric Works Co Ltd 光伝送システム
US20090284366A1 (en) * 2008-05-14 2009-11-19 Sony Ericsson Mobile Communications Ab System and method for determining positioning information via modulated light
JP2009288173A (ja) * 2008-05-30 2009-12-10 Nippon Telegr & Teleph Corp <Ntt> 位置推定端末、位置推定方法、および位置推定プログラム
JP2010107237A (ja) * 2008-10-28 2010-05-13 Panasonic Electric Works Co Ltd ナビゲーションシステム
JP2011107740A (ja) * 2009-11-12 2011-06-02 Nomura Research Institute Ltd 標識および標識使用方法
JP2013003247A (ja) * 2011-06-14 2013-01-07 Nec Casio Mobile Communications Ltd 方位表示装置、方位表示方法およびプログラム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3051717A1 (en) 2015-01-28 2016-08-03 Casio Computer Co., Ltd. Optical communication apparatus, wavelength band estimating apparatus, optical communication method and program
US9705596B2 (en) 2015-01-28 2017-07-11 Casio Computer Co., Ltd. Optical communication apparatus, wavelength band estimating apparatus, optical communication method and storage medium
EP3051718A1 (en) 2015-01-30 2016-08-03 Casio Computer Co., Ltd. Information transmission system, symbol stream generating apparatus, symbol stream decoding apparatus, symbol stream generating program, symbol stream decoding program, symbol stream generating method and symbol stream decoding method
US9979474B2 (en) 2015-01-30 2018-05-22 Casio Computer Co., Ltd. Information transmission system, symbol stream generating apparatus, symbol stream decoding apparatus, symbol stream generating method, symbol stream decoding method and storage medium
US9775219B2 (en) 2015-03-09 2017-09-26 Panasonic Intellectual Property Management Co., Ltd. Mobile terminal and device control system
JP2016178614A (ja) * 2015-03-23 2016-10-06 大井電気株式会社 情報発信装置および情報取得装置
JP2017050695A (ja) * 2015-09-01 2017-03-09 パナソニックIpマネジメント株式会社 案内表示装置、案内システム及び案内方法
JP2020173127A (ja) * 2019-04-09 2020-10-22 Ihi運搬機械株式会社 車両位置提示システム、これに利用する車載器、車両位置提示方法、および車両位置提示用プログラム
JP7401192B2 (ja) 2019-04-09 2023-12-19 Ihi運搬機械株式会社 車両位置提示システム、これに利用する車載器、車両位置提示方法、および車両位置提示用プログラム
CN114124218A (zh) * 2021-11-22 2022-03-01 华南理工大学 一种基于地磁传感器辅助的可见光单灯定位方法及系统
CN114124218B (zh) * 2021-11-22 2023-02-28 华南理工大学 一种基于地磁传感器辅助的可见光单灯定位方法及系统

Similar Documents

Publication Publication Date Title
JP2014168137A (ja) 可視光通信システム
US10529074B2 (en) Camera pose and plane estimation using active markers and a dynamic vision sensor
US10467933B2 (en) Display device and image displaying method therefor
US9906774B2 (en) Method and apparatus for obtaining 3D image
KR101558060B1 (ko) 가시광 통신 기반 실내 위치 인식 시스템, 실내 네비게이션 방법, 실내 네비게이션 시스템, 실내 네비게이션을 수행하는 서버 및 전자 기기
US10177848B1 (en) Visual light communication using starburst or haze of the light source
US20180076891A1 (en) Methods and systems for adjusting an orientation of a light sensor
KR20130124897A (ko) 증강현실 메커니즘을 가지는 전자 시스템 및 그 동작 방법
JP6434724B2 (ja) 情報通信方法
TW200934296A (en) Method and system for controlling LED with power line carrier
EP2667355A3 (en) Object detection system and method using a camera and a multiple zone temperature sensor
TWI746973B (zh) 通過光通信裝置對能夠自主移動的機器進行導引的方法
JP2017525258A (ja) 符号化光シンボルの符号化
TWI702805B (zh) 對能夠自主移動的機器進行導引的系統和方法
CN110637423A (zh) 确定用于将使能基于光的通信的照明设备的输出信号格式化的编码方案
JP6470731B2 (ja) カメラを持つリモコンからの制御フィーチャの推定
JP2013054542A (ja) 画像表示装置、画像表示システム、及びプログラム
US9825702B2 (en) OLED display apparatus and visible light communication system having the same
KR20210018246A (ko) 정보처리장치, 정보처리방법 및 정보처리시스템
JP6011173B2 (ja) 瞳孔検出装置および瞳孔検出方法
KR20140065938A (ko) 디스플레이 장치의 통신 방법 및 그 방법이 적용된 디스플레이 장치.
Huang et al. Simultaneous visible light communication and ranging using high-speed stereo cameras based on bicubic interpolation considering multi-level pulse-width modulation
Kato et al. iPvlc: pixel-level visible light communication for smart mobile devices
JP2017525172A (ja) 符号化光の検出
CN102346533A (zh) 具省电模式的电子装置及控制其进入省电模式的方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150312

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170328

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171024