JP2017034462A - 端末装置 - Google Patents

端末装置 Download PDF

Info

Publication number
JP2017034462A
JP2017034462A JP2015152197A JP2015152197A JP2017034462A JP 2017034462 A JP2017034462 A JP 2017034462A JP 2015152197 A JP2015152197 A JP 2015152197A JP 2015152197 A JP2015152197 A JP 2015152197A JP 2017034462 A JP2017034462 A JP 2017034462A
Authority
JP
Japan
Prior art keywords
information
terminal
related information
status
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015152197A
Other languages
English (en)
Other versions
JP6565444B2 (ja
Inventor
靖彦 南
Yasuhiko Minami
靖彦 南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2015152197A priority Critical patent/JP6565444B2/ja
Publication of JP2017034462A publication Critical patent/JP2017034462A/ja
Application granted granted Critical
Publication of JP6565444B2 publication Critical patent/JP6565444B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephone Function (AREA)

Abstract

【課題】案内音声の関連情報が提示される利用者の煩わしさを回避する。【解決手段】端末装置300は、案内音声の放音とともに送信される識別情報Dを取得する識別情報取得部361と、自装置の使用状況を示す端末状況情報Xを取得する状況情報取得部362と、案内音声に関連するとともに識別情報Dで指定される関連情報Qを提示すべき状況であるか否かを端末状況情報Xに応じて判断する端末状況判断部363と、関連情報Qを提示すべき状況であると端末状況判断部363が判断した場合に当該関連情報Qを利用者に提示する情報提示部364とを具備する。【選択図】図3

Description

本発明は、端末装置の利用者に情報を提供するための技術に関する。
端末装置の利用者に案内音声に関連する関連情報の提示を行うための各種の技術が従来から提案されている。例えば、特許文献1には、音声データと伝送データとを含む音響を送信装置から放音し、受信装置において、マイクで収音した音響の復調により伝送データを抽出する技術が開示されている。
特開2014−187686号公報
特許文献1の技術を利用して、電車やバス等の交通機関の案内音声に伝送データを含めて放音し、受信側の端末装置において、伝送データで指定される情報を利用者に提示できれば便利である。しかし、案内音声が聞こえる状況にある利用者にまで案内音声される全ての関連情報が提示されるとすれば、利用者にとって煩わしいという問題がある。以上の事情を考慮して、本発明は、案内音声の関連情報が提示される利用者の煩わしさを回避することを目的とする。
以上の課題を解決するために、本発明に係る端末装置は、案内音声の放音とともに送信される識別情報を取得する識別情報取得部と、自装置の使用状況を示す端末状況情報を取得する状況情報取得部と、案内音声に関連するとともに識別情報で指定される関連情報を提示すべき状況であるか否かを端末状況情報に応じて判断する端末状況判断部と、関連情報を提示すべき状況であると端末状況判断部が判断した場合に当該関連情報を利用者に提示する情報提示部とを具備する。以上の構成では、端末装置の使用状況を示す端末状況情報に応じて利用者に対する関連情報の提示の要否が判断され、関連情報を提示すべき状況であると判断された場合に当該関連情報が利用者に提示される。したがって、案内音声の放音毎に当該案内音声の関連情報が利用者に提示される構成と比較して利用者の煩わしさを低減することが可能である。
本発明の好適な態様において、状況情報取得部は、当該端末装置に対するイヤホンの接続の有無を使用状況として示す端末状況情報を取得し、端末状況判断部は、イヤホンが接続された状況を端末状況情報が示す場合に関連情報の提示が必要であると判断する。以上の構成では、イヤホンの接続の有無を使用状況として示す端末状況情報を利用して、端末装置にイヤホンが接続された状況において関連情報の提示が必要であると判断される。したがって、利用者がイヤホンを耳に装着して案内音声を聴取し難いと推定される状況では当該案内音声の関連情報を利用者に提示する一方、イヤホンが接続されていない場合(例えば利用者が案内音声を聴取できる可能性が高い場合)にまで案内音声の関連情報が利用者に提示される構成と比較して利用者の煩わしさを低減することが可能である。
本発明の好適な態様において、音響を含むコンテンツを再生する再生制御部を具備し、状況情報取得部は、再生制御部によるコンテンツの再生の有無を使用状況として示す端末状況情報を取得し、端末状況判断部は、コンテンツが再生されている状況を端末状況情報が示す場合に関連情報の提示が必要であると判断する。以上の構成では、音響を含むコンテンツの再生の有無を使用状況として示す端末状況情報を利用して、再生制御部がコンテンツを再生している場合に関連情報の提示が必要であると判断される。したがって、利用者がコンテンツを視聴していて案内音声を聴取し難いと推定される状況では当該案内音声の関連情報を利用者に提示する一方、コンテンツが再生されていない場合(例えば利用者が案内音声を聴取できる可能性が高い場合)にまで案内音声の関連情報が利用者に提示される構成と比較して利用者の煩わしさを低減することが可能である。
本発明の好適な態様において、状況情報取得部は、当該端末装置の周辺の雑音のレベルを使用状況として示す端末状況情報を取得し、端末状況判断部は、端末状況情報が示す雑音のレベルが閾値を上回る場合に関連情報の提示が必要であると判断する。以上の構成では、端末装置の周辺の雑音のレベルを使用状況として示す端末状況情報を利用して、当該雑音のレベルが閾値を上回る場合に関連情報の提示が必要であると判断される。したがって、雑音のレベルが大きい状況(例えば案内音声の聴取が阻害される程度の雑音が存在する状況)では当該案内音声の関連情報を利用者に提示する一方、雑音のレベルが案内音声の聴取を妨害するほどでない場合にまで案内音声の関連情報が利用者に提示される構成と比較して利用者の煩わしさを低減することが可能である。
本発明の好適な態様において、関連情報を提示すべき状況であると端末状況判断部が判断した場合に、識別情報が指定する関連情報の要求を配信装置に送信する一方、関連情報を提示すべき状況でないと端末状況判断部が判断した場合には当該要求を送信しない送信処理部と、配信装置が要求に対して送信した関連情報を受信する受信処理部とを具備し、情報提示部は、受信処理部が受信した関連情報を利用者に提示する。以上の構成では、関連情報を提示すべき状況にあるかどうかの判断結果により、関連情報の要求を配信装置に送信するかどうかが決まる。すなわち、関連情報を提示すべき状況であると判断した場合、関連情報の要求を送信する一方、関連情報を提示すべき状況でないと判断した場合には当該要求の送信は省略される。したがって、使用状況より関連情報の提示が不要と判断された場合にまで関連情報の配信要求を配信装置へ送信する構成と比較して、端末装置にかかる負荷や端末装置と配信装置との間の通信量が軽減されるという利点がある。
本発明の好適な態様において、識別情報取得部は、案内音声と識別情報の音響成分とを含む音響を収音する収音装置から供給される当該音響の音響信号の解析で当該識別情報を抽出する。以上の構成では、音響を伝送媒体とする音響通信で識別情報が案内音声とともに端末装置に提供される。すなわち、案内音声を放音するための設備が識別情報の送信に兼用される。したがって、案内音声の放音とは別個の方法で識別情報を端末装置に送信する構成と比較して、端末装置に識別情報を提供するための構成が簡素化されるという利点がある。
本発明の好適な態様において、識別情報取得部は、関連情報を提示すべき状況であると端末状況判断部が判断した場合に、音響信号の解析で識別情報を抽出し、関連情報を提示すべき状況でないと端末状況判断部が判断した場合には解析を実行しない。以上の構成では、関連情報を提示すべき状況にあるかどうかの判断結果により、音響信号の解析による識別情報の抽出を行うかどうかが決まる。すなわち、関連情報を提示すべき状況であると判断した場合には識別情報を抽出する一方、関連情報を提示すべき状況でないと判断した場合には音響信号の解析は省略される。したがって、使用状況より関連情報の提示が不要と判断された場合にまで識別情報の抽出を行う構成と比較して端末装置にかかる負荷が軽減されるという利点がある。
本発明の好適な態様において、関連情報の重要度を取得して当該重要度の高低を判断する重要度判断部を具備し、情報提示部は、重要度が低いと重要度判断部が判断した場合、関連情報を提示すべき状況であると端末状況判断部が判断したときには関連情報を利用者に提示する一方、関連情報を提示すべき状況でないと端末状況判断部が判断したときには関連情報の提示を省略し、重要度が高いと重要度判断部が判断した場合には、端末状況情報が示す使用状況に関わらず関連情報を利用者に提示する。以上の構成では、重要度が高い場合には端末状況情報が示す使用状況に関わらず関連情報が利用者に提示されるから、災害発生や緊急避難等の重要な関連情報を利用者が見落とす可能性を低減できる。他方、重要度が低い場合には使用状況情報に応じて関連情報の提示/非提示が制御されるから、案内音声の放音毎に案内音声の関連情報が利用者に提示される構成と比較して利用者の煩わしさを低減することが可能である。
本発明の第1実施形態に係る通信システムの構成図である。 放音システムの構成図である。 本発明の第1実施形態に係る端末装置の構成図である。 第1実施形態における端末装置の動作のフローチャートである。 第1実施形態の関連情報Qの表示例である。 第2実施形態の関連情報Qの表示例である。 第4実施形態における端末装置の動作のフローチャートである。 第5実施形態における端末装置の動作のフローチャートである。 変形例における端末装置の構成図である。 変形例における端末装置の動作のフローチャートである。
<第1実施形態>
図1は、第1実施形態に係る通信システム100の構成図である。通信システム100は、電車やバス等の交通機関の車輌M内に所在する利用者HAに情報を提供するためのコンピュータシステムであり、端末装置300と放音システム200と配信装置18とを具備する。端末装置300は、利用者HAに情報を提供するスマートフォンやタブレット等の可搬型の通信端末であり、移動体通信網やインターネット等を含む通信網16を介して配信装置18と通信可能である。利用者HAは、端末装置300を携帯して車輌Mに乗車する。なお、実際には車輌M内には複数の端末装置300が存在し得るが、以下の説明では任意の1個の端末装置300に着目する。
放音システム200は車輌M内に設置され、車輌M内の利用者HAに対して案内音声Gを放音する。案内音声Gは、例えば交通機関の乗降(電車の駅やバスの停留所等の停車地点の名称)や乗換,運賃,運行状況(例えば遅延の有無),災害情報、周辺の観光地等を案内する音声である。配信装置18は、通信網16に接続されたサーバであり、案内音声Gに関連する情報(以下「関連情報」という)Qを端末装置300に提供する。関連情報Qは、案内音声Gに関連する音声または画像(例えば静止画,動画,文字列等のコンテンツ)である。例えば、案内音声Gの発音内容を表現した文字列や当該発音内容の言語を他言語に翻訳した文字列または音声等の各種の情報が関連情報Qとして端末装置300に提供される。
図1に例示される通り、配信装置18は、相異なる案内音声Gに対応する複数の関連情報Qを記憶する。各関連情報Qには、当該関連情報Qに一意に付与された識別情報Dが対応付けられる。識別情報Dを指定した要求(以下「配信要求」という)Rを端末装置300から受信すると、配信装置18は、複数の関連情報Qのうち配信要求Rの識別情報Dで指定された関連情報Qを要求元の端末装置300に送信する。
図2は、放音システム200の構成図である。図2に例示される通り、放音システム200は、再生処理装置22と放音装置24とを具備する。再生処理装置22は、案内音声Gを表す音響信号SAを放音装置24に供給し、放音装置24(例えばスピーカ)は、再生処理装置22から供給される音響信号SAに応じた案内音声Gを車輌M内に放音する。
図2に例示される通り、再生処理装置22は、記憶装置224と操作装置226と制御装置228とを具備する。記憶装置224は、磁気記録媒体や半導体記録媒体等の公知の記録媒体であり、発音内容が相違する案内音声Gに対応する複数の音響信号SAを記憶する。例えば、車輌が停車する複数の地点(例えば電車の駅やバスの停留所等の停車地点)の各々について、当該地点に対する到着や当該地点での乗換、当該地点の周辺の情報を案内する案内音声Gの音響信号SAが記憶装置224に記憶される。任意の1個の音響信号SAには、案内音声Gに加えて、当該案内音声の関連情報Qの識別情報Dの音響成分が含有される。例えば、所定の周波数帯域の搬送波を識別情報Dで変調(周波数変調)した変調信号が音響信号SAには含有される。識別情報Dの音響成分の周波数帯域は、利用者が通常の環境で聴取する音声や楽音等の音響の周波数帯域(例えば可聴域内の約16kHz以下)を上回る周波数帯域(例えば18kHz以上かつ20kHz以下)の範囲内に設定される。
操作装置226は、交通機関の管理者(典型的には車輌の運転者)HBによる操作を受付ける入力機器である。例えば管理者HBは、操作装置226を適宜に操作することで、記憶装置224に記憶された複数の音響信号SA(案内音声)のうち任意の1個の音響信号SAを選択することが可能である。
制御装置228は、例えばCPU等の処理装置で構成され、放音システム200の各要素を統括的に制御する。具体的には、制御装置228は、記憶装置224に記憶された複数の音響信号SAのうち操作装置226に対する操作で管理者HBが選択した案内音声Gの音響信号SAを放音装置24に供給する。したがって、管理者HBによる指示毎に、案内音声Gと識別情報Dの音響成分とが放音装置24から放音される。車輌M内の利用者HAは、放音装置24から放音される案内音声Gを聴取することが可能である。
図3は、第1実施形態に係る端末装置300の構成図である。図3に例示される通り、端末装置300は、表示装置31と接続部32と収音装置33と通信装置34と記憶装置35と制御装置36とを具備する。
表示装置31(例えば液晶表示パネル)は、制御装置36からの指示に応じた画像を表示する。例えば表示装置31は、配信装置18から受信した関連情報Qを表示する。
接続部32は、イヤホン321が接続されるインターフェースである。具体的には、イヤホン321のプラグが挿入されるジャック(オーディオジャック)が接続部32の好例である。イヤホン321は、利用者HAの耳に装着され、制御装置36からの指示に応じて音響を放音する音響機器である。具体的には、利用者HAの外耳道に放音部が挿入される形式(インナーイヤー型,カナル型)や、利用者HAの頭部にヘッドバンドを載置したうえで放音部が耳介を被覆する方式(オーバーヘッド型(ヘッドホン))のイヤホン321が接続部32に接続され得る。利用者HAの両耳に装着されるイヤホン321が好例であるが、利用者HAの片耳のみに装着されるイヤホン321を利用することも可能である。なお、イヤホン321が無線(例えば近距離無線通信)で接続される無線通信機を接続部32として利用することも可能である。
収音装置33は、周囲の音響を収音する音響機器(マイクロホン等)である。例えば収音装置33は、放音装置24から放音された音響を収音して当該音響を表す音響信号SBを生成する。なお、音響信号SBをアナログからデジタルに変換するA/D変換器の図示は便宜的に省略した。
図3に例示される通り、通信装置34は、通信網16を介して配信装置18と通信する通信機器であり、送信処理部342と受信処理部344とを具備する。送信処理部342は、図1を参照して説明した配信要求Rを配信装置18に送信する。一方、受信処理部344は、配信要求Rに対して配信装置18から配信された関連情報Qを受信する。
記憶装置35は、磁気記録媒体や半導体記録媒体等の公知の記録媒体であり、制御装置36が実行するプログラムや制御装置36が使用する各種のデータを記憶する。例えば、端末装置300で再生されるコンテンツ(例えば音楽や動画)を記憶装置35は記憶する。
制御装置36は、例えばCPU等の処理装置で構成され、記憶装置35に記憶されたプログラムを実行することで、図3に例示される通り、利用者HAに対する関連情報Qの提示を制御する複数の要素(識別情報取得部361、状況情報取得部362、端末状況判断部363、情報提示部364、再生制御部365)として機能する。なお、制御装置36の一部の機能を専用の電子回路で実現した構成や、制御装置36の機能を複数の装置に分散した構成も採用され得る。
識別情報取得部361は、収音装置33から供給される音響信号SBを解析することで関連情報Qの識別情報Dを抽出する。具体的には、識別情報取得部361は、音響信号SBの復調(周波数復調)により識別情報Dを抽出する。以上の説明から理解される通り、第1実施形態では、案内音声Gを放音するための放音装置24が、空気振動たる音響を伝送媒体として利用した音響通信で識別情報Dを送信する送信機として利用され、端末装置300の収音装置33が、識別情報Dを受信する受信機として利用される。すなわち、放音システム200による案内音声Gの放音とともに識別情報Dが送信される。案内音声Gが放音される環境で識別情報Dが送信されるとも換言され得る。端末装置300の送信処理部342は、識別情報取得部361が取得した識別情報Dを含む配信要求Rを配信装置18に送信する。
状況情報取得部362は、端末装置300(自装置)の使用状況を示す端末状況情報Xを取得する。第1実施形態の状況情報取得部362は、接続部32に対するイヤホン321の接続の有無を使用状況として示す端末状況情報Xを取得する。端末状況情報Xの取得には公知の技術が任意に採用され得る。
再生制御部365は、記憶装置35に記憶されたコンテンツを再生させる。具体的には、コンテンツの画像を表示装置31に表示させるとともに、コンテンツの音響をイヤホン321に放音させる。
端末状況判断部363は、関連情報Qを提示すべき状況であるか否かを、状況情報取得部362が取得した端末状況情報Xに応じて判断する。接続部32にイヤホン321が接続された状況では、利用者HAの耳が塞がっている可能性が高い。つまり、利用者HAが案内音声Gを聴取できない状況であると推定される。以上の事情を考慮して、第1実施形態では、接続部32にイヤホン321が接続された状況を端末状況情報Xが示す場合に、関連情報Qを提示すべきと判断し、接続部32にイヤホン321が接続されていない状況を端末状況情報Xが示す場合(利用者HAが案内音声Gを聴取できると推定される場合)には、関連情報Qを提示する必要がないと判断する。
情報提示部364は、関連情報Qを提示すべき状況であると端末状況判断部363が判断した場合に関連情報Qを利用者HAに提示する。第1実施形態の情報提示部364は、関連情報Qを表示装置31に供給することで関連情報Qを表示させる。
図4は、第1実施形態における端末装置300の動作のフローチャートである。端末装置300に対する利用者HAからの指示(アプリケーションプログラムの起動の指示)を契機として図4の処理が開始される。収音装置33は、放音システム200の放音装置24が放音した案内音声Gを収音して音響信号SBを生成する(SA1)。制御装置36(識別情報取得部361)は、収音装置33が生成した音響信号SBを解析することで識別情報Dを抽出する(SA2)。通信装置34の送信処理部342は、識別情報Dを含む配信要求Rを配信装置18に送信する(SA3)。
端末装置300から配信要求Rを受信した配信装置18は、複数の関連情報Qのうち当該配信要求Rで指定された識別情報Dに対応する関連情報Q(すなわち案内音声Gに対応する関連情報Q)を選択して要求元の端末装置300に送信する。通信装置34の受信処理部344は、配信装置18から送信された関連情報Qを受信する(SA4)。
制御装置36(状況情報取得部362)は、接続部32に対するイヤホン321の接続の有無を使用状況とする端末状況情報Xを取得する(SA5)。そして、制御装置36(端末状況判断部363)は、配信装置18から受信した関連情報Qの提示が必要か否かを端末状況情報Xに応じて判断する(SA6)。接続部32にイヤホン321が接続された状況では、関連情報Qを提示すべきと判断し(SA6;YES)、制御装置36(情報提示部364)は、関連情報Qを表示装置31に表示させる(SA7)。例えば図5に例示される通り、接続部32に接続されたイヤホン321を使用して利用者HAが例えばコンテンツの音響を聴取している状況では、放音装置24から放音される案内音声Gの聴取は困難である。そこで、案内音声Gに対応する関連情報Qが、表示装置31の画像表示により利用者HAに提示される。図5では、「次は○○(駅名)です」という案内音声Gの放音に連動して、当該案内音声Gの関連情報Qである発音内容の文字列が表示装置31に表示された状況が例示されている。
他方、接続部32にイヤホン321が接続されていない状況(SA6;NO)では、利用者HAが案内音声Gを直接に聴取できると推定されるから、制御装置36は、関連情報Qを提示せずに図4の処理を終了する。
以上に説明した通り、第1実施形態では、端末装置300の使用状況を示す端末状況情報Xに応じて利用者HAに対する関連情報Qの提示の要否が判断され、関連情報Qの提示が必要であると判断された場合に利用者HAに関連情報Qが提示される。したがって、案内音声Gの放音毎に当該案内音声Gの関連情報Qが利用者HAに提示される構成と比較して利用者HAの煩わしさを低減することが可能である。
第1実施形態では特に、接続部32に対するイヤホン321の接続の有無を使用状況として示す端末状況情報Xを利用して、端末装置300にイヤホン321が接続された状況で関連情報Qの提示が必要であると判断される。したがって、利用者HAがイヤホン321を耳に装着して案内音声Gを聴取し難いと推定される状況では当該案内音声Gの関連情報Qを利用者HAに適切に提示する一方、イヤホン321が接続されていない場合(例えば利用者HAが案内音声Gを聴取できる可能性が高い場合)にまで案内音声Gの関連情報Qが利用者HAに提示される構成と比較して利用者の煩わしさを低減することが可能である。
<第2実施形態>
本発明の第2実施形態を説明する。以下に例示する各態様において作用や機能が第1実施形態と同様である要素については、第1実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
第1実施形態の状況情報取得部362は、接続部32に対するイヤホン321の接続の有無を使用状況として示す端末状況情報Xを取得した。第2実施形態の状況情報取得部362は、音響を含むコンテンツを再生制御部365が再生しているか否か(コンテンツの再生の有無)を端末装置300の使用状況として示す端末状況情報Xを取得する(図4のステップSA5)。端末状況情報Xの取得には公知の技術が任意に採用され得る。
第2実施形態の端末状況判断部363は、関連情報Qを提示すべき状況であるか否かを、状況情報取得部362が取得した端末状況情報Xに応じて判断する。音響を含むコンテンツが再生されている状況では、利用者HAはコンテンツを視聴しており案内音声Gを聴取し難い状況であると推定される。以上の事情を考慮して、第2実施形態の端末状況判断部363は、図4のステップSA6において、コンテンツが再生されている状況を端末状況情報Xが示す場合に、関連情報Qを提示すべきと判断し、当該コンテンツが再生されていない状況を端末状況情報Xが示す場合(利用者HAが案内音声Gを聴取できると推定される場合)には、関連情報Qを提示する必要がないと判断する。
関連情報Qを提示すべき状況であると端末状況判断部363が判断した場合に情報提示部364が当該関連情報Qを利用者HAに提示する一方、関連情報Qの提示が不要であると端末状況判断部363が判断した場合に関連情報Qの提示が省略される点は、第1実施形態と同様である。したがって、図6に例示される通り、再生制御部365がコンテンツを再生している状況(利用者HAがコンテンツを試聴していて案内音声Gを聴取し難い状況)では、案内音声Gの関連情報Qである発音内容の文字列が利用者HAに提示される。
第2実施形態においても第1実施形態と同様に、案内音声Gの放音毎に当該案内音声Gの関連情報Qが利用者HAに提示される構成と比較して利用者HAの煩わしさを低減することが可能である。また、第2実施形態では、音響を含むコンテンツの再生の有無を使用状況として示す端末状況情報Xを利用して、コンテンツが再生されている状況において関連情報Qの提示が必要であると判断される。したがって、利用者HAが当該コンテンツを視聴して案内音声Gを聴取し難いと推定される状況では当該案内音声Gの関連情報Qを利用者HAに提示する一方、当該コンテンツが再生されていない場合(例えば利用者HAが案内音声Gを聴取できる可能性が高い場合)にまで案内音声Gの関連情報Qが利用者HAに提示される構成と比較して利用者の煩わしさを低減することが可能である。なお、第2実施形態では、接続部32へのイヤホン321の接続の有無は関連情報Qの提示の要否の判断に加味されないから、イヤホン321を使用せずにコンテンツを視聴している場合に特に有効である。
<第3実施形態>
第1実施形態の状況情報取得部362は、接続部32に対するイヤホン321の接続の有無を使用状況として示す端末状況情報Xを取得した。第3実施形態の状況情報取得部362は、端末装置300の周辺の雑音のレベル(以下「雑音レベル」という)を端末装置300の使用状況として示す端末状況情報Xを取得する(図4のステップSA5)。雑音レベルは、例えば空調設備の動作音や人混みの雑踏音等の定常的な雑音の強度を意味する。状況情報取得部362は、収音装置33が生成する音響信号SBを解析することで雑音レベルを測定する。なお、雑音レベルの測定(端末状況情報Xの取得)には公知の技術が任意に採用され得る。
第3実施形態の端末状況判断部363は、関連情報Qを提示すべき状況であるか否かを、状況情報取得部362が取得した端末状況情報Xに応じて判断する。端末装置300の周囲の雑音レベルが大きい状況では、利用者HAは案内音声Gを聴取し難いと推定される。以上の事情を考慮して、第3実施形態の端末状況判断部363は、図4のステップSA6において、端末状況情報Xが示す雑音レベルが所定の閾値を上回る場合に、関連情報Qを提示すべきと判断し、端末状況情報Xが示す雑音レベルが閾値を下回る場合(利用者HAが案内音声Gを聴取できると推定される場合)には、関連情報Qを提示する必要がないと判断する。雑音レベルと対比される閾値は、案内音声Gを聴取できる雑音レベルの最大値が閾値を下回るように、例えば案内音声Gの音量等に応じて実験的または統計的に選定される。なお、案内音声Gの音量に応じて閾値を動的に制御することも可能である。
関連情報Qを提示すべき状況であると端末状況判断部363が判断した場合に情報提示部364が当該関連情報Qを利用者HAに提示する一方、関連情報Qの提示が不要であると端末状況判断部363が判断した場合に関連情報Qの提示が省略される点は、第1実施形態と同様である。したがって、雑音レベルが閾値を上回る状況(利用者HAが雑音により案内音声Gを聴取し難い状況)では、第1実施形態および第2実施形態と同様に、案内音声Gに関連する関連情報Qが利用者HAに提示される。
第3実施形態においても第1実施形態と同様に、案内音声Gの放音毎に当該案内音声Gの関連情報Qが利用者HAに提示される構成と比較して利用者HAの煩わしさを低減することが可能である。また、第3実施形態では、端末装置300の周辺の雑音レベルを使用状況として示す端末状況情報Xを利用して、当該雑音のレベルが閾値を上回る状況において関連情報Qの提示が必要であると判断される。したがって、利用者HAが当該雑音のレベルが閾値を上回り案内音声Gを聴取し難いと推定される状況では当該案内音声Gの関連情報Qを利用者HAに提示する一方、当該雑音のレベルが閾値を下回る場合(例えば利用者HAが案内音声Gを聴取できる可能性が高い場合)にまで案内音声Gの関連情報Qが利用者HAに提示される構成と比較して利用者の煩わしさを低減することが可能である。
なお、第3実施形態では、案内音声Gと識別情報Dの音響成分とを含む音響を収音するための収音装置33を雑音の収音に兼用したが、雑音の収音に専用される収音装置を図3の収音装置33とは別個に搭載することも可能である。
<第4実施形態>
第1実施形態においては、配信要求Rの送信(SA3)および関連情報Qの受信(SA4)の実行後に、制御装置36(端末状況判断部363)が関連情報Qの提示の要否を判断する(SA6)。第4実施形態においては、関連情報Qの提示の要否の判断後に(SA6)、配信要求Rの送信(SA3)および関連情報Qの受信(SA4)を実行する。
図7は、第4実施形態における端末装置300の動作のフローチャートである。処理の開始から識別情報Dの抽出まで(SA1〜SA2)は第1実施形態と同様である。制御装置36(状況情報取得部362)は、端末装置300の使用状況を示す端末状況情報Xを取得する(SA5)。制御装置36(端末状況判断部363)は、案内音声Gに対応する関連情報Qの提示が必要か否かを端末状況情報Xに応じて判断する(SA6)。端末状況情報Xが示す使用状況の内容や端末状況情報Xに応じた関連情報Qの提示の要否の判断は、第1実施形態から第3実施形態と同様である。
関連情報Qを提示すべき状況であると判断した場合(SA6;YES)、通信装置34の送信処理部342は、識別情報Dを含む配信要求Rを配信装置18に送信し(SA3)、受信処理部344は、配信要求Rに対して配信装置18から送信された関連情報Qを受信する(SA4)。そして、制御装置36(情報提示部364)は、関連情報Qを表示装置31に表示させる(SA7)。すなわち、第4実施形態においても第1実施形態と同様に、図5に例示される通り案内音声Gに関連する関連情報Qが利用者HAに提示される。
他方、関連情報Qを提示すべき状況でないと判断した場合(SA6;NO)、関連情報Qの取得は不要であるから、配信要求Rの送信(SA3)と関連情報Qの受信(SA4)と関連情報Qの提示(SA7)とは実行されずに図7の処理を終了する。
第4実施形態においても第1実施形態と同様に、案内音声Gの放音毎に当該案内音声Gの関連情報Qが利用者HAに提示される構成と比較して利用者HAの煩わしさを低減することが可能である。また、第4実施形態では、関連情報Qを提示すべき状況にあるかどうかの判断結果により、関連情報Qの配信要求Rを配信装置18に送信するかどうかが決まる。すなわち、関連情報Qを提示すべき状況であると判断した場合には配信要求Rが送信される一方、関連情報Qを提示すべき状況でないと判断した場合には配信要求Rの送信は省略される。したがって、関連情報Qの提示が不要と判断された場合にまで関連情報Qの配信要求Rを配信装置18に送信する構成と比較して、端末装置300が関連情報Qを取得するための処理負荷や端末装置300と配信装置18との間の通信量を軽減することが可能である。
<第5実施形態>
第1実施形態においては、識別情報Dの抽出(SA2)および配信要求Rの送信(SA3)の実行後に、制御装置36(端末状況判断部363)が関連情報Qの提示の要否を判断する(SA6)。第5実施形態においては、関連情報Qの提示の要否の判断後に(SA6)、識別情報Dの抽出(SA2)および配信要求Rの送信(SA3)を実行する。
図8は、第5実施形態における端末装置300の動作のフローチャートである。収音装置33が第1実施形態と同様に音響信号SBを生成すると(SA1)、制御装置36(状況情報取得部362)は、端末装置300の使用状況を示す端末状況情報Xを取得する(SA5)。制御装置36(端末状況判断部363)は、案内音声Gに対応する関連情報Qの提示が必要か否かを端末状況情報Xに応じて判断する(SA6)。端末状況情報Xが示す使用状況の内容や端末状況情報Xに応じた関連情報Qの提示の要否の判断は、第1実施形態から第3実施形態と同様である。
関連情報Qを提示すべき状況であると判断した場合(SA6;YES)、制御装置36(識別情報取得部361)は、収音装置33がステップSA1で生成した音響信号SBの解析で識別情報Dを抽出する(SA2)。そして、当該識別情報Dを含む配信要求Rの送信(SA3)と、配信要求Rに対して配信装置18から送信された関連情報Qの受信(SA4)とが順次に実行される。制御装置36(情報提示部364)は、関連情報Qを表示装置31に表示させる(SA7)。すなわち、第5実施形態においても第1実施形態と同様に、図5に例示される通り案内音声Gに関連する関連情報Qが利用者HAに提示される。
他方、関連情報Qを提示すべき状況でないと判断した場合(SA6;NO)、関連情報Qの取得は不要であるから、識別情報Dの抽出(SA2)と配信要求Rの送信(SA3)と関連情報Qの受信(SA4)と関連情報Qの提示(SA7)とは実行されずに図8の処理を終了する。
第5実施形態においても第1実施形態と同様に、案内音声Gの放音毎に当該案内音声Gの関連情報Qが利用者HAに提示される構成と比較して利用者HAの煩わしさを低減することが可能である。また、第5実施形態では、関連情報Qを提示すべき状況にあるかどうかの判断結果により、識別情報Dを抽出するかどうかが決まる。すなわち、関連情報Qを提示すべき状況であると判断した場合には識別情報Dが抽出される一方、関連情報Qを提示すべき状況でないと判断した場合には識別情報Dの抽出は省略される。したがって、関連情報Qの提示が不要と判断された場合にまで識別情報Dの抽出を行う構成と比較して、端末装置300による識別情報Dを抽出するための処理負荷を軽減することが可能である。第5実施形態では、関連情報Qの提示が不要である場合に配信要求Rの送信(SA3)および関連情報Qの取得(SA4)も省略されるから、第4実施形態と同様に、端末装置300と配信装置18との間の通信量を軽減できるという利点もある。
<変形例>
以上に例示した各態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
(1)前述の各形態では、端末装置300に対するイヤホン321の接続の有無、再生制御部365によるコンテンツの再生の有無、および端末装置300の周辺の雑音レベルをそれぞれ単独で端末装置300の使用状況とする構成を例示したが、端末装置300の使用状況は以上の例示に限定されない。例えば、端末装置300に対するイヤホン321の接続の有無と再生制御部365によるコンテンツの再生の有無とを組み合わせて使用状況とすることも可能である。端末状況判断部363は、接続部32にイヤホン321が接続され、かつ、再生制御部365がコンテンツを再生している場合に、関連情報Qを提示すべき状況であると判定する。以上の説明から理解される通り、使用状況は、単独の使用状況と複数の使用状況の組み合わせの双方を包含する。
(2)前述の各形態では、端末装置300の使用状況を示す端末状況情報Xに応じて利用者HAに対する関連情報Qの提示の要否が判断される構成を例示したが、端末状況情報Xとは別個の情報を関連情報Qの提示に加味することも可能である。
図9は、端末状況情報Xのほかに重要度Iを関連情報Qの提示に利用する端末装置300の構成図である。重要度Iは、関連情報Qの重要性ないし緊急性の指標であり、関連情報Qの作成者が当該関連情報Qの内容に応じて事前に設定する。例えば災害発生や緊急避難等の緊急事態を利用者HAに報知する関連情報Q(例えば端末装置300の使用状況に関わらず利用者HAに報知すべき情報)の重要度Iは高い数値に設定される。
図9の端末装置300の制御装置36は、前述の各形態と同様の要素に加えて重要度判断部366として機能する。重要度判断部366は、関連情報Qの重要度Iを取得して当該重要度Iの高低を判断する。具体的には、配信要求R(SA3)に対して配信装置18から端末装置300に送信される関連情報Qに重要度Iが付加され、重要度判断部366は、受信処理部344が受信した重要度Iを取得する。
図10は、図9の端末装置300の動作のフローチャートである。処理の開始から配信要求Rの送信まで(SA1〜SA3)は第1実施形態と同様である。配信装置18は、配信要求R(SA3)に対して関連情報Qと重要度Iとを端末装置300に送信する。受信処理部344は、配信装置18から送信された関連情報Qと重要度Iとを受信する(SA8)。制御装置36(重要度判断部366)は、重要度Iの高低を判断する(SA9)。制御装置36は、重要度Iが閾値を上回る場合に高いと判断し、閾値を下回る場合に低いと判断する。重要度Iと比較される閾値は、可変値(例えば利用者からの指示に応じた数値)または所定の固定値に設定される。
重要度Iが高いと判断した場合(SA9;YES)、端末状況情報Xの取得(SA5)と関連情報Qの提示の要否の判断(SA6)とは実行されずに、制御装置36(情報提示部364)は関連情報Qを利用者HAに提示する(SA7)。すなわち、重要度Iが高い場合には、端末状況情報Xが示す端末装置300の使用状況に関わらず関連情報Qが利用者HAに提示される。他方、重要度Iが低いと判断した場合(SA9;NO)は、第1実施形態と同様に、関連情報Qの提示の要否が判断され(SA6)、提示が必要である場合に関連情報Qが利用者HAに提示される(SA7)。
以上に例示した構成によれば、重要度Iが高い場合には端末状況情報Xが示す使用状況に関わらず関連情報Qが利用者HAに提示されるから、災害発生や緊急避難等の重要な関連情報Qを利用者HAが見落とす可能性を低減できる。他方、重要度Iが低い場合には使用状況情報Xに応じて関連情報Qの提示/非提示が制御されるから、前述の各形態と同様に、案内音声Gの放音毎に当該案内音声Gの関連情報Qが利用者HAに提示される構成と比較して利用者HAの煩わしさを低減することが可能である。
なお、重要度Iの高低の判断方法は任意である。例えば、重要度Iが高/低の2値である場合、重要度判断部366は、2値の何れであるかに応じて重要度Iの高低を判断する。すなわち、重要度Iと閾値との対比は必須ではない。また、以上の説明では、重要度判断部366による重要度Iの取得方法は適宜に変更される。例えば、識別情報Dとともに音響通信で放音システム200から端末装置300に重要度Iを通知することも可能である。
(3)前述の各形態では、表示装置31の画像表示により関連情報Qが利用者HAに提示される構成を例示したが、関連情報Qの提示方法は以上の例示に限定されない。例えば、端末装置300の接続部32に接続されたイヤホン321または端末装置300のスピーカを通して、関連情報Qを音響として放音することで利用者HAに提示することも可能である。また、音響を含むコンテンツを端末装置300で再生中である場合は、当該コンテンツの音量を低下させた上で、関連情報Qを音響として放音する構成も採用され得る。
(4)前述の各形態では、端末装置300に対する識別情報Dの送信に音響通信を利用したが、識別情報Dを端末装置300に送信する通信方式は以上の例示に限定されない。例えば、赤外線や電波を利用した無線通信(例えば近距離無線通信)で端末装置300に識別情報Dを送信することも可能である。ただし、識別情報Dの送信に音響通信を利用する前述の形態では、案内音声Gを放音する放音装置24が識別情報Dの送信に流用されるから、放音装置24とは別個の無線送信機を識別情報Dの送信に利用する構成と比較して通信システム100の構成が簡素化されるという利点がある。
(5)前述の各形態では、配信装置18に関連情報Qを記憶させたが、関連情報Qの記憶先は配信装置18に限定されない。例えば、端末装置300の記憶装置35に複数の関連情報Qを記憶させることも可能である。情報提示部364は、記憶装置35に記憶された複数の関連情報Qのうち識別情報取得部361が取得した識別情報Dで指定される関連情報Qを利用者HAに提示する。この場合、通信装置34と配信装置18が不要になるので、関連情報Qを取得するための構成が簡素化されるという利点がある。
(6)前述の各形態では、放音システム200の記憶装置224に事前に記憶された音響信号SAに応じた音響を放音装置24から放音したが、管理者HBが発音した案内音声Gの収音で生成された音響信号SAに識別情報Dを含有させて実時間的に放音装置24から放音することも可能である。
(7)前述の各形態では、端末装置300の記憶装置35に記憶されたコンテンツを再生制御部365が再生したが、コンテンツの再生方式は以上の例示に限定されない。例えば、コンテンツサーバからストリーミング配信されるコンテンツを再生制御部365が再生することも可能である。以上の説明から理解される通り、コンテンツを端末装置300の記憶装置35に格納することは必須ではない。
(8)前述の各形態で例示した端末装置300は、CPU(Central Processing Unit)などの汎用の演算処理装置とプログラムとの協働により好適に実現される。プログラムは、案内音声の放音とともに送信される識別情報を取得する識別情報取得部361、自装置の使用状況を示す端末状況情報を取得する状況情報取得部362、案内音声に関連するとともに識別情報で指定される関連情報を提示すべき状況であるか否かを端末状況情報に応じて判断する端末状況判断部363、および、関連情報を提示すべき状況であると端末状況判断部363が判断した場合に当該関連情報を利用者に提示する情報提示部364として、コンピュータを機能させる。以上に例示したプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性(non-transitory)の記録媒体であり、CD-ROM等の光学式記録媒体(光ディスク)が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。また、以上に例示したプログラムは、通信網16を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされ得る。
(9)本発明は、前述の各形態に係る端末装置300の動作方法(情報提示方法)としても特定され得る。具体的には、本発明の好適な態様の情報提示方法においては、コンピュータ(単体の装置のほか、相互に別体の複数の装置で構成されたコンピュータシステムも含む)が、案内音声の放音とともに送信される識別情報を取得し、自装置の使用状況を示す端末状況情報を取得し、前記案内音声に関連するとともに前記識別情報で指定される関連情報を提示すべき状況であるか否かを前記端末状況情報に応じて判断し、前記関連情報を提示すべき状況であると判断した場合に当該関連情報を利用者に提示する。
100……通信システム、200……放音システム、300……端末装置、16……通信網、18……配信装置、22……再生処理装置、224……記憶装置、226……操作装置、228……制御装置、24……放音装置、31……表示装置、32……接続部、321……イヤホン、33……収音装置、34……通信装置、342……送信処理部、344……受信処理部、35……記憶装置、36……制御装置、361……識別情報取得部、362……状況情報取得部、363……端末状況判断部、364……情報提示部、365……再生制御部、366……重要度判断部

Claims (5)

  1. 案内音声の放音とともに送信される識別情報を取得する識別情報取得部と、
    自装置の使用状況を示す端末状況情報を取得する状況情報取得部と、
    前記案内音声に関連するとともに前記識別情報で指定される関連情報を提示すべき状況であるか否かを前記端末状況情報に応じて判断する端末状況判断部と、
    前記関連情報を提示すべき状況であると前記端末状況判断部が判断した場合に当該関連情報を利用者に提示する情報提示部と
    を具備する端末装置。
  2. 前記状況情報取得部は、当該端末装置に対するイヤホンの接続の有無を前記使用状況として示す端末状況情報を取得し、
    前記端末状況判断部は、前記イヤホンが接続された状況を前記端末状況情報が示す場合に前記関連情報の提示が必要であると判断する
    請求項1の端末装置。
  3. 音響を含むコンテンツを再生する再生制御部を具備し、
    前記状況情報取得部は、前記再生制御部による前記コンテンツの再生の有無を前記使用状況として示す端末状況情報を取得し、
    前記端末状況判断部は、前記コンテンツが再生されている状況を前記端末状況情報が示す場合に前記関連情報の提示が必要であると判断する
    請求項1の端末装置。
  4. 前記状況情報取得部は、当該端末装置の周辺の雑音のレベルを前記使用状況として示す端末状況情報を取得し、
    前記端末状況判断部は、前記端末状況情報が示す前記雑音のレベルが閾値を上回る場合に前記関連情報の提示が必要であると判断する
    請求項1の端末装置。
  5. 前記識別情報取得部は、前記案内音声と前記識別情報の音響成分とを含む音響を収音する収音装置から供給される当該音響の音響信号の解析で当該識別情報を抽出する
    請求項1の端末装置。
JP2015152197A 2015-07-31 2015-07-31 端末装置およびプログラム Active JP6565444B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015152197A JP6565444B2 (ja) 2015-07-31 2015-07-31 端末装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015152197A JP6565444B2 (ja) 2015-07-31 2015-07-31 端末装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2017034462A true JP2017034462A (ja) 2017-02-09
JP6565444B2 JP6565444B2 (ja) 2019-08-28

Family

ID=57987335

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015152197A Active JP6565444B2 (ja) 2015-07-31 2015-07-31 端末装置およびプログラム

Country Status (1)

Country Link
JP (1) JP6565444B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58138096U (ja) * 1982-03-12 1983-09-17 セイコーインスツルメンツ株式会社 ラジオ内蔵電子式腕時計
JP2003174680A (ja) * 2001-12-06 2003-06-20 Matsushita Electric Ind Co Ltd 無線通信装置及び移動体通信システム
JP2009218658A (ja) * 2008-03-07 2009-09-24 Toshiba Corp 電子機器
JP2013005377A (ja) * 2011-06-21 2013-01-07 Yamaha Corp 携帯端末装置および情報提供システム
JP2014146903A (ja) * 2013-01-28 2014-08-14 Sharp Corp 携帯端末
WO2015064552A1 (ja) * 2013-10-29 2015-05-07 京セラ株式会社 電子機器および制御プログラム並びに電子機器の動作方法
JP2015106139A (ja) * 2013-12-02 2015-06-08 デジタル・アドバタイジング・コンソーシアム株式会社 広告提示装置および広告提示方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58138096U (ja) * 1982-03-12 1983-09-17 セイコーインスツルメンツ株式会社 ラジオ内蔵電子式腕時計
JP2003174680A (ja) * 2001-12-06 2003-06-20 Matsushita Electric Ind Co Ltd 無線通信装置及び移動体通信システム
JP2009218658A (ja) * 2008-03-07 2009-09-24 Toshiba Corp 電子機器
JP2013005377A (ja) * 2011-06-21 2013-01-07 Yamaha Corp 携帯端末装置および情報提供システム
JP2014146903A (ja) * 2013-01-28 2014-08-14 Sharp Corp 携帯端末
WO2015064552A1 (ja) * 2013-10-29 2015-05-07 京セラ株式会社 電子機器および制御プログラム並びに電子機器の動作方法
JP2015106139A (ja) * 2013-12-02 2015-06-08 デジタル・アドバタイジング・コンソーシアム株式会社 広告提示装置および広告提示方法

Also Published As

Publication number Publication date
JP6565444B2 (ja) 2019-08-28

Similar Documents

Publication Publication Date Title
WO2016017577A1 (ja) 端末装置、情報提供システム、情報提示方法および情報提供方法
US10542360B2 (en) Reproduction system, terminal device, method thereof, and non-transitory storage medium, for providing information
WO2016017576A1 (ja) 情報管理システムおよび情報管理方法
JP6213700B1 (ja) 端末装置、情報提供方法およびプログラム
JP2020030571A (ja) 情報処理装置、コンピュータプログラムおよび情報処理方法
JP6565444B2 (ja) 端末装置およびプログラム
US10139241B2 (en) Information provision system, information provision method, and management device
JP6114249B2 (ja) 情報送信装置および情報送信方法
JP6668634B2 (ja) 端末装置、端末装置の動作方法およびプログラム
JP6955838B2 (ja) 再生制御装置、再生制御方法およびプログラム
JP6493343B2 (ja) 情報提供システム、情報提供方法およびプログラム
JP7067597B2 (ja) 情報提供方法、情報提供装置、移動端末の動作方法、移動端末およびプログラム
JP6881477B2 (ja) 情報提供システム、情報提供方法およびプログラム
JP6766981B2 (ja) 放送システム、端末装置、放送方法、端末装置の動作方法、および、プログラム
JP6701756B2 (ja) 情報提供システム、情報提供装置、および、情報提供方法
JP6866947B2 (ja) 情報提供システム、および、情報提供方法
JP7087745B2 (ja) 端末装置、情報提供システム、端末装置の動作方法および情報提供方法
US20240015462A1 (en) Voice processing system, voice processing method, and recording medium having voice processing program recorded thereon
JP6569629B2 (ja) 情報送信装置、情報送信方法およびプログラム
JP2018125646A (ja) 情報提供方法および情報送信装置
JP6357970B2 (ja) 放音装置およびヘッドホン
JP6402589B2 (ja) 端末装置、端末装置の動作方法およびプログラム
JP2020030788A (ja) 情報処理装置、コンピュータプログラムおよび情報処理方法
KR20170047910A (ko) 적응적 멀티미디어 콘텐츠 제공 방법 및 그 장치
JP2018132634A (ja) 情報提供装置および情報提供システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190715

R151 Written notification of patent or utility model registration

Ref document number: 6565444

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151