JP2014048477A - 音声再生装置および音声再生方法 - Google Patents

音声再生装置および音声再生方法 Download PDF

Info

Publication number
JP2014048477A
JP2014048477A JP2012191520A JP2012191520A JP2014048477A JP 2014048477 A JP2014048477 A JP 2014048477A JP 2012191520 A JP2012191520 A JP 2012191520A JP 2012191520 A JP2012191520 A JP 2012191520A JP 2014048477 A JP2014048477 A JP 2014048477A
Authority
JP
Japan
Prior art keywords
sound
audio
playback
request
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012191520A
Other languages
English (en)
Other versions
JP6151898B2 (ja
Inventor
Yasuyuki Suzuki
康之 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Alpine Automotive Technology Inc
Original Assignee
Toshiba Alpine Automotive Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Alpine Automotive Technology Inc filed Critical Toshiba Alpine Automotive Technology Inc
Priority to JP2012191520A priority Critical patent/JP6151898B2/ja
Publication of JP2014048477A publication Critical patent/JP2014048477A/ja
Application granted granted Critical
Publication of JP6151898B2 publication Critical patent/JP6151898B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】再生したい音声を容易に再生することができる音声再生装置および音声再生方法を提供する。
【解決手段】本実施形態に係る音声再生装置100は、音声の再聴取の要求を受け付ける要求受付部110と、再聴取の要求を受け付けると、その要求を受け付けた時点から音声の再生方向と逆方向に人間の音声の音声再生箇所を検索する音声再生箇所検索部120と、検索された音声再生箇所の音声に対し、人間の音声以外の音情報を除去する音場を設定する音場設定部130と、音場が設定された音声再生箇所の音声を、再生速度を変更して再生する音声再生部140と、を備える。
【選択図】 図1

Description

本発明の実施形態は、音声再生装置および音声再生方法に関する。
近年、記録装置(または記憶装置)に記録(格納)された音声を容易に再生することができる携帯型の音楽再生装置が普及している。また、このような音楽再生装置は、車両などにも載置され、車載用音楽再生装置としても広く利用されている。
ここで、音楽再生装置は、音楽を聴いている外的環境の影響を受け易い。例えば、車載用音楽再生装置では、走行中の外的ノイズや踏み切りなどの警告音により、音楽の歌詞が聞き取れないことがある。また、携帯型の音楽再生装置では、駅のホームのアナウンスや交差点での信号音などにより、音楽の歌詞が聞き取りづらくなることがある。
また、外的環境以外の要因としては、例えば、音楽再生装置の仕様により、音楽の再生速度が速すぎるために聞き取りづらかったり、音質の程度や音量などによっても聞き取れないことが生じ得る。
ここで、音楽を再生する際に、聴取者の周囲の環境の騒音レベルに基づいて、音声信号に所定の音声処理を施して、その音声処理が施された音声信号を聴取者に聴取させる音声再生装置が開示されている(特許文献1参照)。
特開2000−349893号公報
ところで、従来の音楽再生装置では、音楽や音声が聞き取れなかった場合や聞き取りづらい部分があった場合には、ユーザは、その聞き取れなった部分や聞き取りづらい部分を再聴取するために音楽再生装置に対して巻き戻しの処理と再生の処理をボタン操作で行う必要があった。
また、巻き戻しの処理や再生の処理のボタン操作によって、巻き戻しをし過ぎたり巻き戻しの時間が足らなかった場合には、ユーザは、巻き戻しの処理のボタン操作と、再生の処理のボタン操作とを何度も行う必要が生じていた。
特に、車載用音楽再生装置の場合は、ユーザが車両を運転している運転中の場合が多いため、ユーザは、音楽再生装置の表示画面を注視することができない状態が多い。また、携帯型の音楽再生装置の場合には、ユーザのポケットや鞄の中に音楽再生装置を格納している場合が多いので、ユーザは、再生中の時間が示された表示画面をすぐには注視することができないことが多い。
したがって、従来の音楽再生装置では、ユーザが音楽などを聞き取れなった場合や聞き取りづらかった部分を再聴取したい場合には、ユーザは、再聴取したい地点まで速やかに巻き戻すことができず、巻き戻しの処理のボタン操作と再生の処理のボタン操作を何度も繰り返し行う必要があった。
本実施形態に係る音声再生装置は、音声の再聴取の要求を受け付ける要求受付部と、再聴取の要求を受け付けると、その要求を受け付けた時点から音声の再生方向と逆方向に人間の音声の音声再生箇所を検索する音声再生箇所検索部と、検索された音声再生箇所の音声に対し、人間の音声以外の音情報を除去する音場を設定する音場設定部と、音場が設定された音声再生箇所の音声を、再生速度を変更して再生する音声再生部と、を備える。
本実施形態に係る音声再生装置の機能の概略構成を示した機能ブロック図。 本実施形態に係る音声再生装置の構成を示すハードウエアブロック図。 本実施形態に係る音声再生装置が、音声再生箇所の音声に対して音場を設定して再生する音場設定再生処理を示したフローチャート。 本実施形態に係る音声再生装置が、音声再生箇所に音場を設定する概念を示した概念図。
本実施形態に係る音声再生装置100は、例えば、記憶部に格納された音楽ファイルを再生する車載用音楽再生装置や、ユーザが持ち運び可能な携帯型音楽再生装置として利用することができる。
すなわち、音声再生装置100は、音楽ファイルを格納する記憶部を本体に備えており、再生可能な音楽ファイルを操作表示部に表示させるようになっている。そして、ユーザは、操作表示部に表示された音楽ファイルを選択することにより、再生、巻き戻し、早送りまたは停止をさせることができる。なお、本実施形態では、音楽ファイルに限定されるものではなく、人の声が含まれた音声ファイルであれば、例えば、インターネットラジオなどにも適用することができる。
以下、本実施形態に係る音声再生装置100について、添付図面を参照して説明する。
図1は、本実施形態に係る音声再生装置100の機能の概略構成を示した機能ブロック図である。
図1に示す音声再生装置100は、要求受付部110、音声再生箇所検索部120、音場設定部130、音声再生部140を備えて構成されている。
要求受付部110は、音声の再聴取の要求を受け付けるようになっている。すなわち、ユーザが再生中の音声を聞き逃した場合または聞き取りづらかった場合に、その音声部分を聞き直したいという要求に基づく再聴取の要求操作を受け付ける。
音声再生箇所検索部120は、再聴取の要求を受け付けると、その要求を受け付けた再生位置から音声の再生方向と逆方向に人間の音声の音声再生箇所を検索するようになっている。この場合、例えば、現在再生中の再生位置から10秒前まで遡り、再聴取の要求を受け付けたときから10秒前までの間で、人間の音声の音声再生箇所があるか否かを検索するようになっている。
音場設定部130は、検索された音声再生箇所の音声に対し、人間の音声以外の音情報を除去する音場を設定するようになっている。具体的には、音声再生箇所において、人間の音声と、それ以外の音声(例えば楽器の演奏)とに分別し、人間以外の音声を除去する音場を設定する。
この場合、人間の音声を強調するような音場をさらに設定するようにしてもよい。具体的には、検索された人間の音声の成分を分析し、高音/低音を聞き取り易い音域に補正する音場を設定したり、ゲインや位相を補正する音場を設定するようにしてもよい。また、人間の音声部分をブーストさせるように、音場を設定するようにしてもよい。このような音場の設定は、いずれかに限定されるものではなく、相互に組み合わせて設定することもできる。
音声再生部140は、音場が設定された音声再生箇所の音声を、再生速度を変更して再生するようになっている。例えば、音声再生部140は、再生速度を通常(標準)の再生速度の80%や90%の再生速度に変更して再生する。
次に、本実施形態に係る音声再生装置100の構成を示すハードウエアブロック図について説明する。
図2は、本実施形態に係る音声再生装置100の構成を示すハードウエアブロック図である。
図2に示すように、音声再生装置100は、CPU(Central Processing Unit)150、ROM(Read Only Memory)152、RAM(Random Access Memory)154、操作表示部156、記憶部158、スピーカ160、内部バス162などを備えて構成されている。
CPU150は、音声再生装置100全体の統括制御を行っており、ROM152に格納されている各種プログラムや各種データをRAM154にロードしてそのプログラムを展開することにより、各種プログラムの機能を実現することができるようになっている。
RAM154は、ワークエリア(作業用メモリ)として利用されるようになっている。ROM152は、各種プログラムや各種データを格納するようになっている。ROM152に格納されている各種プログラムには、図1の音声再生装置100に示した各機能を実現するためのプログラムが含まれる。
具体的には、音楽ファイルを再生する音楽再生プログラム、再生中の音楽を停止する再生音楽停止プログラム、再生可能な音楽ファイルを表示する音楽表示プログラムなどをはじめ、要求受付部110で示した要求受付プログラム、音声再生箇所検索部120で示した音声再生箇所検索プログラム、音場設定部130で示した音場設定プログラム、音声再生部140で示した音声再生プログラムなどがROM152に格納されている。
操作表示部156は、ユーザからの各種操作(ユーザ操作)を受け付けて、CPU150に通知する機能を有している。この操作表示部156は、例えば、車内のセンターパネルに設けられた操作ボタンや、携帯型音声再生装置の本体に設けられ、ユーザが直接操作する操作ボタンなどによって構成される。また、操作表示部156は、液晶ディスプレイなどにより、再生している音楽ファイルの再生状態を表示するようになっている。
記憶部158は、大容量不揮発の記憶装置であり、音楽ファイルや音声ファイルを保存したり、その音楽ファイルや音声ファイルに関連付けられた文字情報を保存するようになっている。なお、DVD(Digital Versatile Disk)やCD(Compact Disk)が所定の挿入口に挿入されることによって記憶部158を構成してもよく、また、ハードディスクに音楽ファイルや文字情報などを格納することにより、記憶部158を構成することもできる。
スピーカ160は、操作表示部156に表示された音楽ファイルを再生する際に使用されるスピーカである。すなわち、スピーカ160は、電気信号を物理振動に変換する部材であり、ユーザに聴取可能に再生する部材である。なお、このスピーカ160は、据え置き型のスピーカであっても、イヤホン型またはヘッドホン型のスピーカであってもよい。
内部バス162は、音声再生装置100を統括制御するCPU150に接続されるとともに、各構成要素を相互に接続するためのバスである。
このような構成により、本実施形態に係る音声再生装置100は、ROM152に格納されている各種プログラムをCPU150が実行することができ、記憶部158に記憶されている音楽ファイルを再生したり停止させることができる。また、ROM152に格納されている各種プログラムをCPU150が実行することにより、音声再生装置100は、図1に示した各種機能も実現可能になっている。
(音場設定再生処理)
次に、本実施形態に係る音声再生装置100の動作について説明する。
図3は、本実施形態に係る音声再生装置100が、音声再生箇所の音声に対して音場を設定して再生する音場設定再生処理を示したフローチャートである。図3において、Sに数字を付した符号は、フローチャートの各ステップを示している。
なお、音声再生装置100は、記憶部158に記憶された音楽ファイルを再生しているものとする。
まず、ステップS001では、ユーザの操作によって操作表示部156が操作され、要求受付部110は、音声の再聴取の要求を受け付ける。この場合、例えば、車載用の音声再生装置100であれば、周囲の騒音や道路ノイズなどにより、再生中の音楽の歌詞が聞き取りづらかった場合や聞き取れなかった場合に、ユーザは、操作表示部156に設けられた再聴取するための所定の操作ボタン(図示せず)を押下する。
ステップS003では、音声再生箇所検索部120は、再聴取の要求を受け付けると、その要求を受け付けた時点から音声の再生方向と逆方向に人間の音声の音声再生箇所を検索する。この場合、例えば、現在再生中の再生位置から10秒前まで遡り、再聴取の要求を受け付けたときから10秒前までの間で、人間の音声の音声再生箇所があるか否かを検索する。このときの状態について、図面を用いて説明する。
図4は、本実施形態に係る音声再生装置100が、音声再生箇所に音場を設定する概念を示した概念図である。
図4に示すように、音声再生装置100は、所定の音楽ファイルを、先頭から再生しており、再生時間が1:00分の時点で、再聴取の要求を示す操作ボタンが押下操作されたことを示している。
この場合、音声再生箇所検索部120は、再聴取の要求を示す操作ボタンが押下された時点から、例えば、10秒前に遡り、再聴取の要求を受け付けたときから10秒前までの間で、人間の音声の音声再生箇所があるか否かを検索する。具体的には、音声再生箇所検索部120は、音声データの音量、周波数、解像度などの解析を行い、人間の音声が密集して記憶されている位置を検索する。
図4の場合には、再生時間が0:50秒から1:00分の再生時間位置において、人間の音声が密集して記録されている位置を検索して音声が密集している密集領域を検出し、密集領域の始点(或いは始点に対してマージンを持たせた点)を、再生開始位置(図4の例では、再生開始位置は0:54秒)に設定する。
ステップS005では、音場設定部130は、検索された音声再生箇所の音声に対し、人間の音声以外の音情報を除去する音場を設定する。具体的には、音声再生箇所において、人間の音声と、それ以外の音声(例えば楽器の演奏)とに分別し、人間以外の音声を除去する音場を設定する。
この場合、人間の音声を強調するような音場をさらに設定するようにしてもよい。具体的には、検索された人間の音声の成分を分析し、高音/低音を聞き取り易い音域に補正する音場を設定したり、ゲインや位相を補正する音場を設定するようにしてもよい。また、人間の音声部分をブーストさせるように音場を設定するようにしてもよい。
ステップS007では、音声再生部140は、音場が設定された音声再生箇所の音声を、その音場が設定された再生開始位置から再生速度を変更して再生する。例えば、図4に示すように、音声再生部140は、再生速度を標準の再生速度の80%の再生速度に変更して、音場が設定された音声再生箇所の音声をスロー再生する。
ステップS009では、音声再生部140は、音声の再聴取を受け付けた操作ボタンの再生位置(再生時間)に到達したとき、再生速度を通常(標準)の再生速度に戻すとともに、設定された音場設定を解除する。例えば、図4に示すように、音声再生部140は、再生時間が1:00に到達したとき、再生速度を通常の再生速度に戻すとともに、設定されていた音場設定を解除する。
以上説明したように、本実施形態によれば、音声再生装置100は、操作表示部156において再聴取の要求を受け付けると、音声の再生方向と逆方向に人間の音声の音声再生箇所を検索し、人間の音声が密集している音声再生箇所の音声に対して、人間の音声以外の音情報を除去する音場を設定する。また、音声再生装置100は、音場を設定した音声再生箇所の再生速度を通常の再生速度からスロー再生に変更して再生する。
これにより、本実施形態に係る音声再生装置100は、音楽の歌詞が聞き取れなかった場合や聴き取りづらかった場合において、巻き戻し処理や再生する処理を容易に実現することができる。また、音声再生装置100は、検索された音声再生箇所から人間の音声のみを抽出してスロー再生を行うので、ユーザは、音声再生装置100の操作表示部156を注視することなく、音声だけを聞き直すことができる。
なお、本実施形態に係る音声再生部140は、ステップS009において再聴取の操作ボタンが押下操作された再生位置に到達した場合に、音場の設定を解除して、通常の再生速度に戻るようになっていたが、これに限定されるものではない。具体的には、音声再生部140は、音場が設定された音声再生箇所の音声を再生している最中に通常の再生速度で音声を再生する要求を受け付けたときには、再生速度を通常の再生速度に戻すとともに、設定されていた音場設定を解除して再生するようにしてもよい。
また、本実施形態に係る音声再生箇所検索部120は、音声の再聴取の要求を受け付けると、所定時間内に人間の音声の音声再生箇所を検索するようになっていたが、これに限定されるものではない。具体的には、音声再生箇所検索部120は、音声の再聴取の要求を受け付ける度に、予め設定された所定時間(例えば、10秒)を音声の再生方向と逆方向に遡り、音声の再聴取の要求を受け付けた回数分の時間内において、人間の音声の音声再生箇所を検索するようにしてもよい。
また、本実施形態に係る音声再生箇所検索部120は、音声の再聴取の要求を受け付けて、所定時間内に人間の音声の音声再生箇所を検索することができなかった場合は、例えば、さらに所定時間(例えば、10秒)を遡って検索するようにしてもよい。また、音声再生箇所検索部120は、所定時間内に人間の音声の音声再生箇所を検索することができなかった場合は、音声の再聴取の要求を受け付けた時点から最も近い音声の密集ポイントを検索し、その音声密集ポイントを人間の音声の音声再生箇所としてもよい。
また、本実施形態に係る音声再生装置100は、音楽ファイルを再生する音声再生装置であって、操作部を含む操作表示部156を備えていれば、車載用音声再生装置や携帯型音声再生装置をはじめ、音楽を再生可能な携帯電話機などにも利用することができるものである。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
また、本発明の実施形態では、フローチャートの各ステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。
100 音声再生装置
110 要求受付部
120 音声再生箇所検索部
130 音場設定部
140 音声再生部
150 CPU
152 ROM
154 RAM
156 操作表示部
158 記憶部
160 スピーカ
162 内部バス

Claims (7)

  1. 音声の再聴取の要求を受け付ける要求受付部と、
    前記再聴取の要求を受け付けると、その要求を受け付けた時点から音声の再生方向と逆方向に人間の音声の音声再生箇所を検索する音声再生箇所検索部と、
    前記検索された音声再生箇所の音声に対し、人間の音声以外の音情報を除去する音場を設定する音場設定部と、
    前記音場が設定された音声再生箇所の音声を、再生速度を変更して再生する音声再生部と、
    を備える音声再生装置。
  2. 前記音場設定部は、
    前記人間の音声以外の音情報を除去する音場を設定した後、人間の音声を強調する音場をさらに設定する
    請求項1に記載の音声再生装置。
  3. 前記音声再生部は、
    前記再生速度を通常の再生速度よりも相対的に遅くして再生する
    請求項1または2に記載の音声再生装置。
  4. 前記音声再生部は、
    前記音声の再聴取を受け付けた音声の再生位置に到達したとき、再生速度を通常の再生速度に戻し、設定された音場設定を解除する
    請求項1から3のいずれか1項に記載の音声再生装置。
  5. 前記音声再生部は、
    前記音場が設定された音声再生箇所の音声を再生している最中に通常の再生速度で音声を再生する要求を受け付けたときは、変更した再生速度を通常の再生速度に戻すとともに設定されていた音場設定を解除して再生する
    請求項1から4のいずれか1項に記載の音声再生装置。
  6. 前記音声再生箇所検索部は、
    前記音声の再聴取の要求を受け付ける度に、予め設定された所定時間を音声の再生方向と逆方向に遡り、その再聴取の要求を受け付けた回数分の時間内において、人間の音声の音声再生箇所を検索する
    請求項1から5のいずれか1項に記載の音声再生装置。
  7. 音声の再聴取の要求を受け付ける要求受付ステップと、
    前記再聴取の要求を受け付けると、その要求を受け付けた時点から音声の再生方向と逆方向に人間の音声の音声再生箇所を検索する音声再生箇所検索ステップと、
    前記検索された音声再生箇所の音声に対し、人間の音声以外の音情報を除去する音場を設定する音場設定ステップと、
    前記音場が設定された音声再生箇所の音声を、再生速度を変更して再生する音声再生ステップと、
    を含む音声再生方法。
JP2012191520A 2012-08-31 2012-08-31 音声再生装置および音声再生方法 Expired - Fee Related JP6151898B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012191520A JP6151898B2 (ja) 2012-08-31 2012-08-31 音声再生装置および音声再生方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012191520A JP6151898B2 (ja) 2012-08-31 2012-08-31 音声再生装置および音声再生方法

Publications (2)

Publication Number Publication Date
JP2014048477A true JP2014048477A (ja) 2014-03-17
JP6151898B2 JP6151898B2 (ja) 2017-06-21

Family

ID=50608211

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012191520A Expired - Fee Related JP6151898B2 (ja) 2012-08-31 2012-08-31 音声再生装置および音声再生方法

Country Status (1)

Country Link
JP (1) JP6151898B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002152635A (ja) * 2000-11-09 2002-05-24 Sharp Corp 記録再生装置
JP2007094234A (ja) * 2005-09-30 2007-04-12 Sony Corp データ記録再生装置、データ記録再生方法及びそのプログラム
WO2009025155A1 (ja) * 2007-08-21 2009-02-26 Voxmol Llc 音声再生方法、音声再生装置およびコンピュータ・プログラム
JP2010002841A (ja) * 2008-06-23 2010-01-07 Panasonic Corp コンテンツ再生装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002152635A (ja) * 2000-11-09 2002-05-24 Sharp Corp 記録再生装置
JP2007094234A (ja) * 2005-09-30 2007-04-12 Sony Corp データ記録再生装置、データ記録再生方法及びそのプログラム
WO2009025155A1 (ja) * 2007-08-21 2009-02-26 Voxmol Llc 音声再生方法、音声再生装置およびコンピュータ・プログラム
JP2010002841A (ja) * 2008-06-23 2010-01-07 Panasonic Corp コンテンツ再生装置

Also Published As

Publication number Publication date
JP6151898B2 (ja) 2017-06-21

Similar Documents

Publication Publication Date Title
JP4764711B2 (ja) 音声データ再生方法およびプログラム
CN103456330A (zh) 一种音频控制方法及装置
JP4505699B2 (ja) 情報再生装置
CN108231071A (zh) 不中断回放音频而进行语音识别
JP6151898B2 (ja) 音声再生装置および音声再生方法
KR100695209B1 (ko) 전자책의 녹음 내용을 저장하는 이동통신 단말기 및 방법
JP4922462B1 (ja) コンテンツ再生装置およびコンテンツ再生方法
JP2012098100A (ja) 誘導経路音声案内出力オーディオ制御装置
JP2007013708A (ja) 携帯型音声再生装置
JP4934990B2 (ja) 音声信号記録再生装置
JP2006208866A (ja) 再生装置
KR20100029315A (ko) 외장 메모리 재생방법 및 이를 이용한 오디오 장치
JP6445373B2 (ja) 楽曲再生装置
KR20040062317A (ko) 오디오 데이터 파일의 부가 정보 음성 안내방법
KR100777917B1 (ko) 차량용 오디오 시스템에서 선호도 정보 출력 장치 및 방법
KR100819991B1 (ko) 차량용 오디오 시스템에서 선호 리스트 생성 및 선호리스트 플레이 장치 및 방법
JP2009104199A (ja) 車載用楽曲再生装置
JP6810527B2 (ja) 再生制御装置、再生制御システム、並びに再生制御方法、プログラム及び記録媒体
JP2007311020A (ja) 再生装置、再生方法、及び車載用再生装置
JP2006139835A (ja) 録音装置、録音方法及び車載オーディオシステム
JP2022168205A (ja) 再生制御装置、再生制御システム、並びに再生制御方法、プログラム及び記録媒体
JP2007133949A (ja) 楽曲再生システム
JP2019032921A (ja) 楽曲再生装置
JP2013195887A (ja) 音響再生装置
JP2007172700A (ja) 車載用再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170526

R150 Certificate of patent or registration of utility model

Ref document number: 6151898

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees