JPWO2017018298A1 - 音声ナビゲーション装置および音声ナビゲーションプログラム - Google Patents
音声ナビゲーション装置および音声ナビゲーションプログラム Download PDFInfo
- Publication number
- JPWO2017018298A1 JPWO2017018298A1 JP2017530809A JP2017530809A JPWO2017018298A1 JP WO2017018298 A1 JPWO2017018298 A1 JP WO2017018298A1 JP 2017530809 A JP2017530809 A JP 2017530809A JP 2017530809 A JP2017530809 A JP 2017530809A JP WO2017018298 A1 JPWO2017018298 A1 JP WO2017018298A1
- Authority
- JP
- Japan
- Prior art keywords
- audio signal
- voice
- user
- information
- signal processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3629—Guidance using speech or audio output, e.g. text-to-speech
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo five- or more-channel type, e.g. virtual surround
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Navigation (AREA)
- Instructional Devices (AREA)
Abstract
Description
本発明の一実施形態(実施形態1)について、図を参照して以下に説明する。
図1は、本発明の実施形態1に係る音声ナビゲーション装置1の主要な構成を示すブロック図である。本実施形態に係る音声ナビゲーション装置1は、音声信号により道順を提示する音声ナビゲーション装置であり、図1に示すように、ナビゲーション情報取得部11、ユーザ位置取得部12、環境情報取得部13、主制御部14、音声信号再生部15および記憶部16を備えている。ここで、主制御部14は、音声情報生成部141、音声信号提示位置決定部142および音声信号処理部143を備えている。
ナビゲーション情報取得部11は、ユーザに提示する道順を示すナビゲーション情報を取得するように構成されている。本実施形態において、ナビゲーション情報(案内情報)は、ユーザを任意の地点から目的地まで誘導する道のりを示しており、経路および道順の情報やその各々における移動方法の情報などを含んでいる。経路および道順の情報には例えば、主要な交差点や分岐点での右折、左折の指示などが含まれる。
ユーザ位置取得部12は、ユーザの現在位置であるユーザ位置を取得するように構成されている。本実施形態では、ユーザ位置取得部12は、音声ナビゲーションシステム2の信号受信部21を介して携帯端末25からユーザ位置を取得するようになっているが、本発明はこれに限定されず、ユーザ位置取得部12は、音声ナビゲーション装置1に接続された、各種センサ等の出力や、GPS(Global Positioning System)の出力などに基づき、ユーザ位置を取得するようになっていてもよい。また、ユーザ位置取得部12は、その他にも、設置位置が既知である無線LAN(Local Area Network)やBluetooth(登録商標)等の基地局と通信することによって得た現在地をユーザ位置として取得するようになっていてもよい。
環境情報取得部13は、ユーザ位置周辺の環境情報を取得するように構成されている。本明細書において、環境情報には、少なくともユーザ位置の周囲に存在する構造物を示す情報が含まれる。本明細書において、構造物には、建造物(建築物、道路、トンネル等を含む)、設置物(看板等を含む)、地形(丘、山等)、各種ランドマーク、樹木等が含まれる。
主制御部14は、ナビゲーション情報取得部11、ユーザ位置取得部12、環境情報取得部13および記憶部16を統括して制御するとともに、これらの各部との間でデータを入出力する。主制御部14は、例えば、所定のメモリに格納されたプログラムをCPU(Central Processing Unit)が実行することによって実現される。
音声信号再生部15は、主制御部14によって音声信号処理(音響効果処理)が施された各音声信号(立体音響)を出力するように構成されている。本実施形態では、音声信号再生部15から出力された音声信号は、イヤホン24を通じてユーザに提示されるが、本発明はこれに限定されず、音声信号再生部15は、種々の音響機器に音声信号を出力するように構成され得る。
記憶部16は、主制御部14によって用いられる種々のデータを記憶するための二次記憶装置によって構成される。記憶部16は、例えば、磁気ディスク、光ディスク、フラッシュメモリなどによって構成され、より具体的な例としては、HDD(Hard Disk Drive)、SSD(Solid State Drive)、BD(Blu-Ray(登録商標)Disc)などが挙げられる。主制御部14は、必要に応じて記憶部16からデータを読み出したり、または記憶部16にデータを記録したりすることができる。
音声情報生成部141は、ナビゲーション情報取得部11から取得したナビゲーション情報を参照して、ユーザに道順を提示する音声信号を示す音声情報を生成するように構成されている。換言すれば、音声情報生成部141は、ナビゲーション情報を、ユーザに提示する音声信号を示す音声情報に変換する。例えば、音声情報生成部141は、ナビゲーション情報取得部11から取得したナビゲーション情報から、必要に応じてユーザに提示する文章(文字列データ)を構築し、当該文章を音声情報に変換するようにしてもよい。なお、音声情報生成部141は、ユーザ位置取得部12から取得したユーザ位置をさらに参照して、音声信号を生成するようになっていてもよい。
音声信号提示位置決定部142は、ナビゲーション情報取得部11から得られるナビゲーション情報およびユーザ位置取得部12から得られるユーザ位置に基づき、ナビゲーション情報が示す道順においてユーザ位置よりも先行する先行位置を、音声情報生成部141で生成される音声情報が示す音声信号の提示位置(仮想音源の位置)として決定する。
音声信号処理部143は、音声信号提示位置決定部142から得られた音声信号の提示位置(仮想音源の位置)および環境情報取得部13から得られた環境情報に基づいて、音声情報生成部141で生成された音声情報が示す音声信号に音声信号処理を施すように構成されている。
信号受信部21は、有線通信または無線通信によって、各種情報を受信する。無線通信としては、Bluetooth(登録商標)またはWi−Fi(登録商標)等の無線伝送技術を用いることができるが、これらには限定されない。なお、本実施形態では、説明の簡単のため、特に断りがない限り、信号受信部21は、Wi−Fi(登録商標)を用いた無線通信によって情報を取得するものとして説明を行う。
DAC22は、音声ナビゲーション装置1(の音声信号再生部15)からDAC22に入力されたデジタル形式の音声信号を、アナログ形式の音声信号に変換し、増幅装置23に出力するように構成されている。
以下、本実施形態に係る音声ナビゲーション装置1による音声ナビゲーション方法を説明する。本実施形態に係る音声ナビゲーション方法は、(1)ナビゲーション情報を取得するナビゲーション情報取得工程、(2)ユーザ位置を取得するユーザ位置取得工程、(3)環境情報を取得する環境情報取得工程、(4)音声情報を生成する音声情報生成工程、(5)音声信号の提示位置を決定する音声信号提示位置決定工程、(6)立体音響を生成する音声信号処理工程、および(7)立体音響を出力する音声信号出力工程を含む。なお、(1)〜(3)の実行順は自由であり、(4)は、(1)の後、または、(1)および(2)の後に実行すればよく、(5)は、(1)および(2)の後に実行すればよく、(6)は、(1)〜(5)の後に実行すればよく、(7)は、(6)の後に実行すればよい。
ナビゲーション情報取得工程では、ナビゲーション情報取得部11が、ナビゲーション情報を取得する。本実施形態では、ナビゲーション情報取得部11は、ナビゲーション情報を、例えば、信号受信部21を介して携帯端末25から取得する。
ユーザ位置取得工程では、ユーザ位置取得部12が、ユーザ位置を取得する。本実施形態では、ユーザ位置取得部12は、ユーザ位置を、例えば、信号受信部21を介して携帯端末25から取得する。
環境情報取得工程では、環境情報取得部13が、ユーザ位置周辺の環境情報を取得する。本実施形態では、環境情報取得部13は、環境情報として、例えば、図9に示すようなユーザ位置周辺のマップ情報を、例えば、信号受信部21を介して携帯端末25から取得する。
音声情報生成工程では、音声情報生成部141が、ナビゲーション情報取得部11から取得したナビゲーション情報を参照して、ユーザに道順を提示する音声信号を示す音声情報を生成する。本実施形態では、音声情報生成部141は、例えば、ナビゲーション情報に含まれる主要な交差点や分岐点での右折、左折の指示を、対応する文章(文字列データ)に変換し、さらに公知の人工音声合成技術を用いて、当該文章を音声情報に変換する。
音声信号提示位置決定工程では、音声信号提示位置決定部142は、ユーザが次に向かうべき方向を認識しやすくするため、音声ナビゲーションのための音声信号を、どの位置(方向、距離)から提示するかを決定する。すなわち、音声信号提示位置決定部142は、ナビゲーション情報が示すユーザが辿るべき道順(経路)およびユーザ位置を加味し、ユーザが進む先の分岐等の情報と、当該分岐等までの距離に基づいて選択した上記道順においてユーザ位置よりも先行する先行位置を、音声信号の提示位置として決定する。
ここで、本実施形態では、音声信号の提示位置を、ユーザの右耳と左耳との中間位置を原点とする、所定の座標系によって表す。図4は、ユーザ位置41および音声信号の提示位置42の例を示す。特に断りがない限り、この座標系は、原点から音声信号の提示位置までの距離(動径)rと、原点を基準とする音声信号の提示位置の角度(偏角)θとからなる2次元極座標系とする。すなわち音声信号の提示位置42は、距離rと角度θとの組み合わせとして(r,θ)と表される。図4に示すように、音声信号の提示位置の角度θは、原点を通り、特定の方向に延びる直線L1と、原点および音声信号の提示位置42を結ぶ直線L2とが成す角度を指す。
(Thd,θ) (r≧Thdの場合)・・・(3)
また、図3の(B)に示されるように、ユーザ位置31と、次の分岐点である分岐点32との距離がd2であり、d2と閾値αとの関係が以下の式(4)で示される場合、音声信号提示位置決定部142は、音声を次の分岐点の位置である分岐点32のさらに先の位置(先行位置)を、音声信号の提示位置として決定してもよい。
図3の(B)に示す例では、音声信号提示位置決定部142は、分岐点32に対して、さらに距離d3離れた、道順(経路)上のポイント(先行位置)34を、音声信号の提示位置として決定する。すなわち、図3の(B)に示す例では、音声信号提示位置決定部142は、ポイント34とユーザ位置31との相対的な位置関係から音声信号の提示位置を(r2,θ2)と決定する。なお、r2=√(d2*d2+d3*d3)である。また、通常、音声信号提示位置決定部142は、d3として、予め装置に設定されたパラメータDを用いるが、Dが分岐点32から次の分岐点33までの距離d4を超える場合は、d3=d4とする。すなわち、d3は以下の式(5)または(6)のように表すことができる。
d3=d4 (D<d4の場合)・・・(6)
ユーザが分岐点33に到達した後については、上記の動作を繰り返す。
音声信号処理工程では、音声信号処理部143は、音声情報生成部141から入力された各音声信号に、まず環境情報取得部13から得られた環境情報が示す環境に対応する音響効果を付加する。次に、音声信号処理部143は、当該音響効果が付加された音声信号の仮想音源を、音声信号提示位置決定部142から通知された音声信号の提示位置に設定して立体音響を生成する。以下、音声信号処理工程について図面を参照して詳細に説明する。
上記式において、rは、原点から音声信号の提示位置までの距離を示し、εは、予め設定された係数である。
音声信号再生部15は、音声信号処理部143によって生成された立体音響の左耳用信号LOUTおよび右耳用信号ROUTを、任意のフォーマットのデジタル音声信号に変換する。そして、音声信号再生部15は、変換後のデジタル音声信号を任意の音響機器に出力することによって、立体音響を再生する。
本発明の実施形態2について、図10に基づき以下に説明する。上述した実施形態1と共通する各部材には同じ符号を付し、詳細な説明を省略する。
音声ナビゲーション装置1および10の制御ブロック(特に主制御部14および102)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
本発明の態様1に係る音声ナビゲーション装置(1、10)は、音声信号により道順を提示する音声ナビゲーション装置であって、ユーザ位置を取得するユーザ位置取得部(12)と、上記ユーザ位置の周囲に存在する構造物を示す環境情報を取得する環境情報取得部(13)と、上記道順において上記ユーザ位置よりも先行する先行位置に、上記音声信号を発する仮想音源を設定した立体音響を生成する音声信号処理部(143)と、を備え、上記音声信号処理部は、上記立体音響に対し、上記環境情報に対応する音響効果を付加する。
本出願は、2015年7月27日に出願された日本国特許出願:特願2015−148102に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
11 ナビゲーション情報取得部
12 ユーザ位置取得部
13 環境情報取得部
14、102 主制御部
141 音声情報生成部
142 音声信号提示位置決定部
143 音声信号処理部
15 音声信号再生部
16 記憶部
101 音声情報取得部
2 音声ナビゲーションシステム
21 信号受信部
22 DAC
23 増幅装置
24 イヤホン
31、41、51、61、71 ユーザ位置
32、34、42、52、62、72、74 先行位置
54、64 ビルディング(構造物、建造物、遮蔽物)
73 トンネル(構造物)
75 ビルディング(建造物、構造物)
Claims (6)
- 音声信号により道順を提示する音声ナビゲーション装置であって、
ユーザ位置を取得するユーザ位置取得部と、
上記ユーザ位置の周囲に存在する構造物を示す環境情報を取得する環境情報取得部と、
上記道順において上記ユーザ位置よりも先行する先行位置に、上記音声信号を発する仮想音源を設定した立体音響を生成する音声信号処理部と、を備え、
上記音声信号処理部は、上記音声信号に対し、上記環境情報に対応する音響効果を付加することを特徴とする音声ナビゲーション装置。 - 上記音声信号処理部は、上記環境情報を参照して、上記ユーザ位置と上記先行位置との間に遮蔽物が存在するか否かを判定し、遮蔽物が存在する場合、上記音声信号の高域および低域の少なくとも一方を減衰させることを特徴とする請求項1に記載の音声ナビゲーション装置。
- 上記音声信号処理部は、上記遮蔽物の種類に応じて、減衰させる周波数領域および減衰量の少なくとも一方を変化させることを特徴とする請求項2に記載の音声ナビゲーション装置。
- 上記音声信号処理部は、上記環境情報を参照して、上記ユーザ位置の周囲に建造物が存在するか否かを判定し、建造物が存在する場合、当該建造物における上記音声信号の反射波を生成することを特徴とする請求項1〜3の何れか一項に記載の音声ナビゲーション装置。
- 上記音声信号処理部は、上記環境情報を参照して、上記ユーザ位置および上記先行位置が共に閉鎖空間内にあるか否かを判定し、共に閉鎖空間内にある場合、上記音声信号の残響を生成することを特徴とする請求項1〜4の何れか一項に記載の音声ナビゲーション装置。
- 請求項1〜5の何れか一項に記載の音声ナビゲーション装置としてコンピュータを機能させるための音声ナビゲーションプログラムであって、上記音声信号処理部としてコンピュータを機能させるための音声ナビゲーションプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015148102 | 2015-07-27 | ||
JP2015148102 | 2015-07-27 | ||
PCT/JP2016/071308 WO2017018298A1 (ja) | 2015-07-27 | 2016-07-20 | 音声ナビゲーション装置および音声ナビゲーションプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017018298A1 true JPWO2017018298A1 (ja) | 2018-05-31 |
JP6475337B2 JP6475337B2 (ja) | 2019-02-27 |
Family
ID=57885494
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017530809A Expired - Fee Related JP6475337B2 (ja) | 2015-07-27 | 2016-07-20 | 音声ナビゲーション装置および音声ナビゲーションプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20180216953A1 (ja) |
JP (1) | JP6475337B2 (ja) |
WO (1) | WO2017018298A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11185254B2 (en) * | 2017-08-21 | 2021-11-30 | Muvik Labs, Llc | Entrainment sonification techniques |
WO2019040524A1 (en) | 2017-08-21 | 2019-02-28 | Muvik Labs, Llc | METHOD AND SYSTEM FOR MUSIC COMMUNICATION |
JP6463529B1 (ja) * | 2018-03-20 | 2019-02-06 | ヤフー株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
JP7173530B2 (ja) * | 2018-07-17 | 2022-11-16 | 国立大学法人 筑波大学 | ナビゲーション装置およびナビゲーション方法 |
JP6957426B2 (ja) * | 2018-09-10 | 2021-11-02 | 株式会社東芝 | 再生装置、再生方法、及びプログラム |
JP7463796B2 (ja) | 2020-03-25 | 2024-04-09 | ヤマハ株式会社 | デバイスシステム、音質制御方法および音質制御プログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07103781A (ja) * | 1993-10-04 | 1995-04-18 | Aqueous Res:Kk | ボイスナビゲーション装置 |
JPH10236246A (ja) * | 1997-02-27 | 1998-09-08 | Sony Corp | 制御方法、ナビゲーション装置及び自動車 |
JP2002005675A (ja) * | 2000-06-16 | 2002-01-09 | Matsushita Electric Ind Co Ltd | 音響ナビゲーション装置 |
JP2002131072A (ja) * | 2000-10-27 | 2002-05-09 | Yamaha Motor Co Ltd | 位置案内システム、位置案内シミュレーションシステム及びナビゲーションシステム、並びに位置案内方法 |
WO2005090916A1 (ja) * | 2004-03-22 | 2005-09-29 | Pioneer Corporation | ナビゲーション装置、ナビゲーション方法、ナビゲーションプログラムおよびコンピュータ読み取り可能な記録媒体 |
JP2013198065A (ja) * | 2012-03-22 | 2013-09-30 | Denso Corp | 音声提示装置 |
-
2016
- 2016-07-20 JP JP2017530809A patent/JP6475337B2/ja not_active Expired - Fee Related
- 2016-07-20 WO PCT/JP2016/071308 patent/WO2017018298A1/ja active Application Filing
- 2016-07-20 US US15/747,211 patent/US20180216953A1/en not_active Abandoned
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07103781A (ja) * | 1993-10-04 | 1995-04-18 | Aqueous Res:Kk | ボイスナビゲーション装置 |
JPH10236246A (ja) * | 1997-02-27 | 1998-09-08 | Sony Corp | 制御方法、ナビゲーション装置及び自動車 |
JP2002005675A (ja) * | 2000-06-16 | 2002-01-09 | Matsushita Electric Ind Co Ltd | 音響ナビゲーション装置 |
JP2002131072A (ja) * | 2000-10-27 | 2002-05-09 | Yamaha Motor Co Ltd | 位置案内システム、位置案内シミュレーションシステム及びナビゲーションシステム、並びに位置案内方法 |
WO2005090916A1 (ja) * | 2004-03-22 | 2005-09-29 | Pioneer Corporation | ナビゲーション装置、ナビゲーション方法、ナビゲーションプログラムおよびコンピュータ読み取り可能な記録媒体 |
JP2013198065A (ja) * | 2012-03-22 | 2013-09-30 | Denso Corp | 音声提示装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2017018298A1 (ja) | 2017-02-02 |
US20180216953A1 (en) | 2018-08-02 |
JP6475337B2 (ja) | 2019-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6475337B2 (ja) | 音声ナビゲーション装置および音声ナビゲーションプログラム | |
US20230213349A1 (en) | Audio Processing Apparatus | |
CN108780454B (zh) | 音频通告优先级排序系统 | |
RU2678481C2 (ru) | Устройство обработки информации, способ обработки информации и программа | |
JP2011521511A (ja) | 拡張現実を強化した音声 | |
US20140221017A1 (en) | Geographical point of interest filtering and selecting method; and system | |
US20140270182A1 (en) | Sound For Map Display | |
JP2007133489A (ja) | 仮想空間画像表示方法、装置、仮想空間画像表示プログラム及び記録媒体 | |
JP4885336B2 (ja) | 地図表示装置 | |
US20190170533A1 (en) | Navigation by spatial placement of sound | |
TW202110197A (zh) | 調適用於呈現之音訊流 | |
US10187738B2 (en) | System and method for cognitive filtering of audio in noisy environments | |
US11982738B2 (en) | Methods and systems for determining position and orientation of a device using acoustic beacons | |
US20230164510A1 (en) | Electronic device, method and computer program | |
US10667073B1 (en) | Audio navigation to a point of interest | |
US20180048978A1 (en) | Sound signal reproduction device, sound signal reproduction method, program, and recording medium | |
CN107727107B (zh) | 用于生成声学信号以定位兴趣点的系统和方法 | |
WO2021235321A1 (ja) | 情報処理装置、情報処理方法、情報処理プログラムおよび音響処理装置 | |
US20190301887A1 (en) | Navigation device and navigation method | |
JP2020144011A (ja) | 音声情報提供システム、情報処理端末の制御方法、情報処理端末の制御プログラム、音声出力装置の制御方法、及び、音声出力装置の制御プログラム | |
US9455678B2 (en) | Location and orientation based volume control | |
JP5983421B2 (ja) | 音声処理装置、音声処理方法および音声処理プログラム | |
JP4969700B2 (ja) | 地図表示装置 | |
WO2021128287A1 (zh) | 一种数据生成方法及装置 | |
CN115655300A (zh) | 行进路线的提示方法、装置、耳机设备及计算机介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171212 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181009 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190131 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6475337 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |