JP2013054075A - 音声認識装置、音声認識方法、及び音声認識プログラム - Google Patents
音声認識装置、音声認識方法、及び音声認識プログラム Download PDFInfo
- Publication number
- JP2013054075A JP2013054075A JP2011190170A JP2011190170A JP2013054075A JP 2013054075 A JP2013054075 A JP 2013054075A JP 2011190170 A JP2011190170 A JP 2011190170A JP 2011190170 A JP2011190170 A JP 2011190170A JP 2013054075 A JP2013054075 A JP 2013054075A
- Authority
- JP
- Japan
- Prior art keywords
- voice recognition
- command
- display
- voice
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Navigation (AREA)
Abstract
【解決手段】ナビゲーション装置1は、ユーザの発話音声に基づいて音声認識コマンドを特定する音声認識コマンド特定部2cと、階層構造により階層化された音声認識コマンドの中から、音声認識コマンド特定部2cにより特定された音声認識コマンドに対応する所定の制御を実行する音声認識制御部2aとを備える。音声認識制御部2aは、階層構造に関連付けられ、ユーザに表示すべき音声コマンドとして予め定められた条件により選択された音声認識コマンドである、第1音声認識コマンドと、ユーザが使用する可能性が高いか否かを判断する所定の条件に基づいて選択された音声認識コマンドである、第2音声認識コマンドとを、ディスプレイ6に同時に表示させる。
【選択図】図1
Description
音声認識装置は、単独の装置として、あるいは、他の装置やシステムの一部として、構成することができる。以下では、音声認識装置を、車両に搭載されたナビゲーション装置の一部として構成した例について説明する。
この音声認識コマンドは、例えば、従来と同様に、階層構造(ツリー構造)により階層化されている(階層構造に関連付けられている)。この階層構造における各階層のうち、最も上位の階層を「最上位階層」、最も下位の階層を「最下位階層」、これら最上位階層と最下位階層の間の階層を「中位階層」と称する。また、最上位階層に位置付けられた音声認識コマンドを「最上位階層コマンド」、最下位階層に位置付けられた音声認識コマンドを「最下位階層コマンド」、中位階層に位置付けられた音声認識コマンドを「中位階層コマンド」と称する。
最初に、本実施の形態に係る音声認識装置をその一部とするナビゲーション装置の構成について説明する。図1は、本実施の形態に係るナビゲーション装置1を例示するブロック図である。このナビゲーション装置1は、図1に示すように、制御部2及びデータ記録部3を備えている。また、ナビゲーション装置1には、マイク4、タッチパネル5、ディスプレイ6、スピーカ7、及び現在位置検出処理部8が接続されている。
制御部2は、ナビゲーション装置1を制御する制御手段であり、具体的には、CPU、当該CPU上で解釈実行される各種のプログラム(OSなどの基本制御プログラムや、OS上で起動され特定機能を実現するアプリケーションプログラムを含む)、及びプログラムや各種のデータを格納するためのRAMの如き内部メモリを備えて構成されるコンピュータである。特に、本実施の形態に係る音声認識プログラムは、任意の記録媒体又はネットワークを介してナビゲーション装置1にインストールされることで、制御部2の各部を実質的に構成する。
データ記録部3は、ナビゲーション装置1の動作に必要なプログラム及び各種のデータを記録する記録手段であり、例えば、外部記憶装置としてのハードディスク(図示省略)の如き磁気的記録媒体を用いて構成されている。ただし、ハードディスクに代えてあるいはハードディスクと共に、フラッシュメモリの如き半導体型記憶媒体、又はDVDやブルーレイディスクの如き光学的記録媒体を含む、その他の任意の記録媒体を用いることができる。
図1に戻り、マイク4は、音声を電気信号に変換してナビゲーション装置1に出力する。このマイク4としては、公知のマイクを用いることができる。
タッチパネル5は、ユーザの指等で押圧されることにより、当該ユーザから各種手動入力を受け付けるものである。このタッチパネル5は、透明又は半透明状に形成され、ディスプレイ6の前面において当該ディスプレイ6の表示面と重畳するように設けられている。このタッチパネル5としては、例えば抵抗膜方式や静電容量方式等による操作位置検出手段を備えた公知のタッチパネルを使用することができる。
ディスプレイ6は、ナビゲーション装置1の制御に基づいて情報を表示にて出力する表示手段である。特に、ディスプレイ6は、階層構造により階層化された所定の複数の音声認識コマンドの中から、音声認識制御部2aによって選択された音声認識コマンドを表示する表示手段である。なお、このディスプレイ6の具体的な構成は任意であり、公知の液晶ディスプレイや有機ELディスプレイの如きフラットパネルディスプレイを使用することができる。
スピーカ7は、ナビゲーション装置1の制御に基づいて情報を音声にて出力する音声出力手段である。特に、スピーカ7は、音声認識コマンドをディスプレイ6に表示させた場合に、当該表示させた音声認識コマンドをユーザに認識させるための音声出力を出力する音声出力手段である。このスピーカ7から出力される音声の具体的な態様は任意であり、必要に応じて生成された合成音声や、予め録音された音声を出力することができる。
現在位置検出処理部8は、ナビゲーション装置1が搭載された車両の現在位置を検出する現在位置検出手段である。具体的には、現在位置検出処理部8は、GPS、地磁気センサ、距離センサ、又はジャイロセンサ(いずれも図示省略)の少なくとも一つを有し、現在の車両の位置(座標)及び方位等を公知の方法にて検出する。
次に、このように構成されたナビゲーション装置1によって実行される音声認識制御処理について説明する。図4は音声認識制御処理のフローチャートである(以下の各処理の説明ではステップを「S」と略記する)。この音声認識制御処理は、例えば、ナビゲーション装置1に電源が投入された後に起動される。
次に、音声認識制御部2aは、適応マッチング処理を起動する(SA2)。図5は適応マッチング処理のフローチャートである。この処理において、音声認識制御部2aは、各種情報を取得する(SB1)。この各種情報としては、図2の音声認識コマンドテーブル3bの表示アルゴリズムの充足性を判定するために必要な情報を取得する。例えば、音声認識制御部2aは、出発地、目的地、現在位置、案内開始日時、現在日時、走行道路種別、車速、ガソリン残量を取得する。このうち、出発地、目的地、現在位置、案内開始日時、現在日時、及び走行道路種別は、ユーザによってナビゲーション装置1に設定された情報から取得したり、ナビゲーション装置1によって設定された走行経路から取得したり、地図情報DB3aから取得することができる。車速は、車両に搭載された図示しない車速センサから取得することができ、ガソリン残量は、車両に搭載された図示しない燃焼タンクセンサから取得することができる。また、音声認識制御部2aは、走行経路上の交通規制情報や渋滞情報を、図示しない通信部を介して交通センターやビーコン等から受信する。また、現在の一時的な情報のみでなく、一定の時間経過を伴う情報を取得することもでき、例えば、X分間の平均速度は、上記取得した車速をX分間だけ所定間隔で取得し続け、その平均値を算定することで取得することができる。
次に、図4の音声認識制御処理に戻り、音声認識制御部2aは、ディスプレイ6に地図を表示中であるか否かを判定する(SA3)。そして、表示中である場合(SA3、Yes)、音声認識制御部2aは、地図に重畳表示コマンドを重畳表示するための地図重畳表示処理を起動する(SA4)。一方、表示中でない場合(SA3、No)、音声認識制御部2aは、音声識別コマンドを選択するためのメニュー(以下、音声識別メニュー)をディスプレイ6に表示中であるか否を判定し(SA5)、表示中である場合には(SA5、Yes)、同一画面表示コマンドを表示するための同一画面表示処理を起動し(SA6)、表示中でない場合には(SA5、No)、これら地図重畳表示処理や同一画面表示処理を起動することなく、SA7に移行する。
まず、地図重畳表示処理(SA4)について説明する。図6は、地図重畳表示処理のフローチャートである。この処理において、音声認識制御部2aは、ディスプレイ6に表示されている地図に、重畳表示コマンドを重畳表示する(SC1)。すなわち、音声認識制御部2aは、図5の適応マッチング処理のSB3で選択されSB4でソートされた適応コマンドを、重畳表示コマンドとして表示する。この重畳表示コマンドは、階層構造において最下位階層に位置付けられている音声認識コマンド(最下位階層コマンド)であることから、ユーザが直に操作内容を特定することができる音声認識コマンドを表示でき、音声認識による操作内容の指示をショートカットして迅速に行うことが可能になる。
次に、音声認識コマンド実行処理(SC6)について説明する。図8は、音声認識コマンド実行処理のフローチャートである。この処理において、音声認識制御部2aは、図6のSC5で操作有りと判定された重畳表示コマンドに対応する、所定の操作内容を実行する(SD1)。例えば、重畳表示コマンド=規制情報である場合には、通信部を介して取得した規制情報をディスプレイ6に表示する。
次に、図4の同一画面表示処理(SA6)について説明する。図9、10は、同一画面表示処理のフローチャートである。この処理において、音声認識制御部2aは、ディスプレイ6に標準コマンドを表示する(SE1)。この標準コマンドの選択は従来と同様の方法で行うことができ、最初に表示する標準コマンドとしては、階層構造により階層化された所定の音声認識コマンドの中で、最上位階層の標準コマンドを表示する。
図6の地図重畳表示処理の後、あるいは、図9、10の同一画面表示処理の後、図4の音声認識制御処理に戻り、音声認識制御部2aは、ナビゲーション装置1を電源OFFする旨の通知を、当該ナビゲーション装置1やその他の外部システム側から受信したか否かを判定する(SA7)。そして、受信していない場合には(SA7、No)、SA2に移行して適応マッチング処理(SA2)を繰り返し、受信した場合には(SA7、Yes)、音声認識制御処理を終了する。
このように本実施の形態によれば、階層構造に関連付けられ、ユーザに表示すべき音声コマンドとして予め定められた条件により選択された標準コマンドと、ユーザが使用する可能性が高いか否かを判断する所定の条件に基づいて選択された適応コマンドとを、ディスプレイ6に同時に表示させるので、従来と同様に階層を経て音声認識コマンドを使用できることに加えて、現在使用する可能性が高い音声認識コマンドを直接的に使用でき、階層化された音声認識コマンドの操作性を向上させることができる。
以上、本発明に係る実施の形態について説明したが、本発明の具体的な構成及び手段は、特許請求の範囲に記載した各発明の技術的思想の範囲内において、任意に改変及び改良することができる。以下、このような変形例について説明する。
まず、発明が解決しようとする課題や発明の効果は、上述の内容に限定されるものではなく、発明の実施環境や構成の細部に応じて異なる可能性があり、上述した課題の一部のみを解決したり、上述した効果の一部のみを奏することがある。
また、上述した各電気的構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成できる。例えば、音声認識装置を複数の装置によって分散して構成された音声認識制御システムとして車両に搭載してもよく、あるいは制御部2やデータ記録部3の全部又は一部をネットワーク上に分散配置してもよい。また例えば、音声認識装置を、携帯電話やパーソナルコンピュータに組み込んでもよい。
上記実施の形態では、ユーザが現在使用する可能性が高い音声認識コマンドとして、最下位階層コマンドを選択するものとして説明したが、最下位階層コマンドに代えて、あるいは、最下位階層コマンドに加えて、中位階層コマンドを選択するようにしてもよい。
ユーザが使用する可能性が高いか否かを判断する所定の条件としては、図2の音声認識コマンドテーブルに示した表示アルゴリズムに代えて、あるいは、表示アルゴリズムに加えて、他の任意の表示アルゴリズムを使用してもよい。
複数の音声認識コマンドの相互間の優先順位を決定するための優先順位決定条件としては、図2の音声認識コマンドテーブルに示した優先度に代えて、あるいは、優先度に加えて、他の任意の優先度を使用してもよい。例えば、ユーザが設定した優先度を使用してもよい。また、図2の例では、選択基準分類=ユーザ適応型である音声認識コマンドに対しては、ユーザID毎に優先度を設定しているが、全てのユーザに対して同一の優先度を設定してもよい。
上記実施の形態では、適応コマンドを、地図に重畳表示したり、標準コマンドと同一画面に表示する例を説明したが、他の方法で表示を行ってもよい。例えば、ディスプレイに地図が表示されている場合において、適応コマンドを表示する場合に、地図に代えて適応コマンドのみを表示したり、これら地図と適応コマンドを所定間隔で交互に表示したり、地図と適応コマンドを異なる表示領域に非重畳的に表示してもよい。また、標準コマンドと適応コマンドを表示する場合において、標準コマンドと適応コマンドを所定間隔で交互に表示してもよい。
また、各適応コマンドを個別的に表示する以外にも、例えば、「その他」という音声認識コマンドをディスプレイ6に表示し、当該音声認識コマンドが選択された場合には、その時点でディスプレイ6に表示していない他の適応コマンドをディスプレイ6に表示するようにしてもよい。
データ記録部に記録する使用状況履歴情報の内容や、使用状況履歴情報を使用した優先度の更新方法は、任意に変更することができる。例えば、階層化された音声認識コマンドを最下位階層コマンドまで選択する前に、車両が走行を開始した場合、安全のために音声認識コマンドを用いたそれ以上の操作が規制された場合、当該記載された際の状況(走行経路や、停車してから走行するまでの時間等)と当該操作が規制された際に表示していた音声認識コマンドとを特定するための使用状況履歴情報を記録しておく。そして、その後に、当該状況と同一の状況になったことが特定された場合には、過去に操作が規制された際に表示していた音声認識コマンドに対応する最下位階層コマンドを表示することで、操作が規制される前に音声認識コマンドを用いた操作を完了し易くするようにしてもよい。
2 制御部
2a 音声認識制御部
2b 音声検出部
2c 音声認識コマンド特定部
3 データ記録部
3a 地図情報DB
3b 音声認識コマンドテーブル
3c 使用状況履歴情報DB
4 マイク
5 タッチパネル
6 ディスプレイ
7 スピーカ
8 現在位置検出処理部
10 地図
11 高速略図
12 重畳表示コマンド
13 重畳表示コマンドメニュー
20 標準コマンド
21 標準コマンドメニュー
22 同一画面表示コマンド
23 同一画面表示コマンドメニュー
Claims (6)
- ユーザの発話音声を検出する音声検出手段と、
前記音声検出手段にて検出されたユーザの発話音声に基づいて音声認識コマンドを特定する音声認識コマンド特定手段と、
階層構造により階層化された音声認識コマンドの中から、前記音声認識コマンド特定手段により特定された音声認識コマンドに対応する所定の制御を実行すると共に、前記音声認識コマンドを選択して表示手段に表示させる音声認識制御手段と、を備え、
前記音声認識制御手段は、
前記階層構造に関連付けられ、ユーザに表示すべき音声コマンドとして予め定められた条件により選択された音声認識コマンドである、第1音声認識コマンドと、
ユーザが使用する可能性が高いか否かを判断する所定の条件に基づいて選択された音声認識コマンドである、第2音声認識コマンドとを、
前記表示手段に同時に表示させる、
音声認識装置。 - 前記音声認識制御手段は、前記表示手段に表示させている第1音声認識コマンドが位置付けられている階層とは異なる階層に位置付けられた音声認識コマンドの中から、第2音声認識コマンドを選択する、
請求項1に記載の音声認識装置。 - 前記音声認識制御手段は、前記表示手段に表示させている第1音声認識コマンドが位置付けられている階層の下位の階層に位置付けられた音声認識コマンドの中から、第2音声認識コマンドを選択する、
請求項2に記載の音声認識装置。 - 前記音声認識制御手段は、前記階層構造の末端に位置付けられた音声認識コマンドの中から、第2音声認識コマンドを選択する、
請求項1から3のいずれか一項に記載の音声認識装置。 - ユーザの発話音声を検出する音声検出ステップと、
前記音声検出ステップにおいて検出されたユーザの発話音声に基づいて音声認識コマンドを特定する音声認識コマンド特定ステップと、
階層構造により階層化された音声認識コマンドの中から、前記音声認識コマンド特定ステップにおいて特定された音声認識コマンドに対応する所定の制御を実行すると共に、前記音声認識コマンドを選択して表示手段に表示させる音声認識制御ステップと、を含み、
前記音声認識制御ステップにおいては、
前記階層構造に関連付けられ、ユーザに表示すべき音声コマンドとして予め定められた条件により選択された音声認識コマンドである、第1音声認識コマンドと、
ユーザが使用する可能性が高いか否かを判断する所定の条件に基づいて選択された音声認識コマンドである、第2音声認識コマンドとを、
前記表示手段に同時に表示させる、
音声認識方法。 - 請求項5に記載の方法をコンピュータに実行させる音声認識プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011190170A JP5810759B2 (ja) | 2011-08-31 | 2011-08-31 | 音声認識装置、音声認識方法、及び音声認識プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011190170A JP5810759B2 (ja) | 2011-08-31 | 2011-08-31 | 音声認識装置、音声認識方法、及び音声認識プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013054075A true JP2013054075A (ja) | 2013-03-21 |
JP5810759B2 JP5810759B2 (ja) | 2015-11-11 |
Family
ID=48131150
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011190170A Expired - Fee Related JP5810759B2 (ja) | 2011-08-31 | 2011-08-31 | 音声認識装置、音声認識方法、及び音声認識プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5810759B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015140131A (ja) * | 2014-01-30 | 2015-08-03 | 株式会社デンソーアイティーラボラトリ | 車載機器制御装置 |
CN106527421A (zh) * | 2015-09-13 | 2017-03-22 | 上海能感物联网有限公司 | 汉语文本集群遥控的能自动导航的驱动器 |
CN106527416A (zh) * | 2015-09-13 | 2017-03-22 | 上海能感物联网有限公司 | 汉语语音现场集群控制的能自动导航的驱动器 |
CN106527417A (zh) * | 2015-09-13 | 2017-03-22 | 上海能感物联网有限公司 | 汉语语音集群遥控的能自动导航的驱动器 |
JP2018531404A (ja) * | 2015-10-05 | 2018-10-25 | サバント システムズ エルエルシーSavant Systems LLC | ホームオートメーションシステムの音声制御のための履歴ベースのキーフレーズの提案 |
CN109523998A (zh) * | 2018-11-06 | 2019-03-26 | 珠海格力电器股份有限公司 | 一种语音命令精简化的显示系统及其方法与智能终端 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110486859B (zh) * | 2019-08-28 | 2020-12-22 | 广东美的制冷设备有限公司 | 一拖多空调系统及其控制方法、控制装置和可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003227729A (ja) * | 2002-02-05 | 2003-08-15 | Nissan Motor Co Ltd | ナビゲーション装置、画像表示方法及び画像表示プログラム |
JP2003241784A (ja) * | 2002-02-21 | 2003-08-29 | Nissan Motor Co Ltd | 音声入出力装置 |
JP2006251298A (ja) * | 2005-03-10 | 2006-09-21 | Nissan Motor Co Ltd | 音声入力装置および音声入力方法 |
JP2007187975A (ja) * | 2006-01-16 | 2007-07-26 | Nissan Motor Co Ltd | 音声認識装置および音声認識方法 |
JP2010223695A (ja) * | 2009-03-23 | 2010-10-07 | Pioneer Electronic Corp | ナビゲーション装置 |
-
2011
- 2011-08-31 JP JP2011190170A patent/JP5810759B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003227729A (ja) * | 2002-02-05 | 2003-08-15 | Nissan Motor Co Ltd | ナビゲーション装置、画像表示方法及び画像表示プログラム |
JP2003241784A (ja) * | 2002-02-21 | 2003-08-29 | Nissan Motor Co Ltd | 音声入出力装置 |
JP2006251298A (ja) * | 2005-03-10 | 2006-09-21 | Nissan Motor Co Ltd | 音声入力装置および音声入力方法 |
JP2007187975A (ja) * | 2006-01-16 | 2007-07-26 | Nissan Motor Co Ltd | 音声認識装置および音声認識方法 |
JP2010223695A (ja) * | 2009-03-23 | 2010-10-07 | Pioneer Electronic Corp | ナビゲーション装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015140131A (ja) * | 2014-01-30 | 2015-08-03 | 株式会社デンソーアイティーラボラトリ | 車載機器制御装置 |
CN106527421A (zh) * | 2015-09-13 | 2017-03-22 | 上海能感物联网有限公司 | 汉语文本集群遥控的能自动导航的驱动器 |
CN106527416A (zh) * | 2015-09-13 | 2017-03-22 | 上海能感物联网有限公司 | 汉语语音现场集群控制的能自动导航的驱动器 |
CN106527417A (zh) * | 2015-09-13 | 2017-03-22 | 上海能感物联网有限公司 | 汉语语音集群遥控的能自动导航的驱动器 |
JP2018531404A (ja) * | 2015-10-05 | 2018-10-25 | サバント システムズ エルエルシーSavant Systems LLC | ホームオートメーションシステムの音声制御のための履歴ベースのキーフレーズの提案 |
CN109523998A (zh) * | 2018-11-06 | 2019-03-26 | 珠海格力电器股份有限公司 | 一种语音命令精简化的显示系统及其方法与智能终端 |
Also Published As
Publication number | Publication date |
---|---|
JP5810759B2 (ja) | 2015-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5810759B2 (ja) | 音声認識装置、音声認識方法、及び音声認識プログラム | |
KR101940613B1 (ko) | 차량 네비게이션 장치 및 방법 | |
US10866107B2 (en) | Navigation system | |
US7813874B2 (en) | On-vehicle navigation system, route guide method, and computer-readable recording medium | |
JP4736982B2 (ja) | 作動制御装置、プログラム | |
US9074909B2 (en) | Navigation system, navigation method, and navigation program | |
CN101675442A (zh) | 车道确定装置、车道确定方法及使用该装置的导航设备 | |
JPWO2008075496A1 (ja) | ナビゲーション装置 | |
CN1603750A (zh) | 导航装置 | |
WO2005096183A1 (ja) | データ選択装置、方法、プログラム及び記録媒体 | |
JP4380146B2 (ja) | 地図画像表示装置及び地図画像表示プログラム | |
JP4554379B2 (ja) | ナビゲーション装置 | |
JP2007205894A (ja) | 車載用ナビゲーション装置及び検索施設表示方法 | |
JP5906615B2 (ja) | 音声認識装置、音声認識方法、及び音声認識プログラム | |
CN102538805A (zh) | 导航装置及其替代设施检索方法 | |
JP2009042129A (ja) | ナビゲーション装置及びプログラム | |
JP4842070B2 (ja) | 車載用ナビゲーション装置、検索用データの作成方法及び誘導経路の探索方法 | |
JP2010223695A (ja) | ナビゲーション装置 | |
JP2002039761A (ja) | 車載ナビゲーション装置 | |
JP2005164543A (ja) | ナビゲーション装置および周辺施設の案内方法 | |
JP2011209241A (ja) | 施設案内装置、施設案内方法及びコンピュータプログラム | |
JP4091444B2 (ja) | ナビゲーション装置 | |
JP2005077187A (ja) | 車載用ナビゲーション装置及び経路案内方法 | |
JP2006023127A (ja) | ナビゲーション装置と関心地点情報提示方法 | |
CN102097012A (zh) | 呈现替代路线的个人导航装置及导航方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140320 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150106 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150818 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150831 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5810759 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |