JP2020087262A - 情報提示システム、情報提示装置、情報提示方法及びコンピュータプログラム - Google Patents

情報提示システム、情報提示装置、情報提示方法及びコンピュータプログラム Download PDF

Info

Publication number
JP2020087262A
JP2020087262A JP2018224897A JP2018224897A JP2020087262A JP 2020087262 A JP2020087262 A JP 2020087262A JP 2018224897 A JP2018224897 A JP 2018224897A JP 2018224897 A JP2018224897 A JP 2018224897A JP 2020087262 A JP2020087262 A JP 2020087262A
Authority
JP
Japan
Prior art keywords
information
voice
unit
character string
telephone number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018224897A
Other languages
English (en)
Inventor
昂平 高橋
Kohei Takahashi
昂平 高橋
諒 伊澤
Ryo Izawa
諒 伊澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Plala Inc
Original Assignee
NTT Plala Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Plala Inc filed Critical NTT Plala Inc
Priority to JP2018224897A priority Critical patent/JP2020087262A/ja
Publication of JP2020087262A publication Critical patent/JP2020087262A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】未登録の電話番号に電話をする際の動作において、ユーザーの手間を軽減すること。【解決手段】発話された音声を取得し、前記音声に応じて音声信号を生成する音声信号生成部と、前記音声信号に基づいて、前記音声を表す文字列を生成する文字列生成部と、ネットワークで接続された検索装置に対し、前記文字列を用いてウェブページを検索する指示を送り、検索結果を取得する検索部と、前記検出結果の前記ウェブページに記載された文字列に基づいて、発呼先の候補となる電話番号を決定する決定部と、を備える、情報提示システムである。【選択図】図4

Description

本発明は、情報提示システム、情報提示装置、情報提示方法及びコンピュータプログラムに関する。
近年、音声によって操作可能な装置であるスマートスピーカが普及してきている。スマートスピーカは、受け付けた音声を文字列に変換し、文字列に予め定められた言葉が含まれている場合、言葉に応じた処理を行う。このため、ユーザーは、予め定められた言葉を発話することで、ウェブ検索や、他の通話装置へ発呼などの動作をスマートスピーカに行わせることができる。
特開2002−152829号公報
しかしながら、他の通話装置に発呼するためには、対象となる電話番号と、電話番号に紐づける言葉とを事前に登録する必要があった。事前に登録されていない電話番号に発呼する際、ユーザーは、電話番号の検索に労力を要する場合があった。
上記事情に鑑み、本発明は、事前に登録されていない電話番号に発呼する際の、ユーザーの労力を軽減することを目的としている。
本発明の一態様は、発話された音声を取得し、前記音声に応じて音声信号を生成する音声信号生成部と、前記音声信号に基づいて、前記音声を表す文字列を生成する文字列生成部と、ネットワークで接続された検索装置に対し、前記文字列を用いてウェブページを検索する指示を送り、検索結果を取得する検索部と、前記検索結果が示すウェブページに記載された文字列に基づいて、発呼先の候補となる電話番号を決定する決定部と、を備える、情報提示システムである。
本発明の一態様は、上記の情報提示システムであって、前記検索結果が示す前記ウェブページが複数存在する場合、前記検索結果が示す前記ウェブページの評価要素に重み付けを行い、ユーザーが所望する電話番号を含む前記ウェブページを特定する特定部を、さらに備える。
本発明の一態様は、上記の情報提示システムであって、前記電話番号を特定するためのパラメーターとして、自装置が存在する位置を示す位置情報と、ユーザーの属性情報と、のうち少なくとも1つを取得するパラメーター取得部をさらに備え、前記特定部は、前記パラメーターに基づいて、前記検索結果が示す前記ウェブページの評価要素に重み付けを行い、ユーザーの所望する前記ウェブページを特定する。
本発明の一態様は、上記の情報提示システムであって、前記特定部で特定された前記ウェブページを構成する情報に基づいて、ユーザーに提示される所定の情報を示す提示情報を生成する提示情報生成部と、前記提示情報を表示する表示装置と、をさらに備える。
本発明の一態様は、上記の情報提示システムであって、前記提示情報生成部は、前記電話番号に発呼するか否かを前記ユーザーに確認するための情報を前記提示情報として生成し、発呼しない場合、前記提示情報生成部は、他の候補の前記電話番号に発呼するか否かを前記ユーザーに確認するための情報を前記提示情報として生成する。
本発明の一態様は、発話された音声を取得し、前記音声に応じて音声信号を生成する音声信号生成部と、前記音声信号に基づいて、前記音声を表す文字列を生成する文字列生成部と、を備える他のシステムから、前記文字列を取得し、ネットワークで接続された検索装置に対し、前記文字列を用いてウェブページを検索する指示を送り、検索結果を取得する検索部と、前記検索結果の前記ウェブページに記載された文字列に基づいて、発呼先の候補となる電話番号を決定する決定部と、を備える、情報提示装置である。
である。
本発明の一態様は、発話された音声を取得し、前記音声に応じて音声信号を生成する音声信号生成ステップと、前記音声信号に基づいて、前記音声を表す文字列を生成する文字列生成ステップと、ネットワークで接続された検索装置に対し、前記文字列を用いてウェブページを検索する指示を送り、検索結果を取得する検索ステップと、前記検索結果の前記ウェブページに記載された文字列に基づいて、発呼先の候補となる電話番号を決定する決定ステップと、を有する、情報提示方法である。
本発明の一態様は、上記の情報提示システムとしてコンピュータを機能させるためのコンピュータプログラムである。
本発明により、事前に登録されていない電話番号に電話をする場合、ユーザーの手間を軽減することが可能となる。
情報提示システム1のシステム構成を表すシステム構成図である。 音声入出力装置100の機能構成を表す機能ブロック図である。 音声解析装置200の機能構成を表す機能ブロック図である。 情報提示装置300の機能構成を表す機能ブロック図である。 電話番号テーブルの具体例を示す図である。 重みテーブルの具体例を示す図である。 着信履歴テーブルの具体例を示す図である。 呼処理を行うまでの処理の流れを示すシーケンスチャートである。 呼処理を行うまでの処理の流れを示すシーケンスチャートである。 情報提示システム1aのシステム構成を表すシステム構成図である。 情報提示装置300aの機能構成を表す機能ブロック図である。 提示情報を表示装置600に表示するまでの処理の流れを示すシーケンスチャートである。 表示装置600に表示される提示情報の具体例を表す図である。
[第1の実施形態]
図1は、情報提示システム1のシステム構成を表すシステム構成図である。情報提示システム1は、音声による指示をユーザーから受け付け、着信端末500に対して呼処理を行う。情報提示システム1は、音声入出力装置100、音声解析装置200、情報提示装置300、検索サーバー400及び着信端末500を備える。情報提示システム1は、ネットワーク900を介して互いに通信可能に接続される。ネットワーク900は、どのようなネットワークで構築されてもよい。例えば、ネットワーク900は、例えば、インターネット、WAN(Wide Area Network)、LAN(Local Area Network)、セルラー網などを含む。
音声入出力装置100は、音声の入力及び出力が可能なスマートスピーカ等の装置である。音声入出力装置100は、所定の場所に設けられる。所定の場所とは、例えば、音声入出力装置100を所有する者の宅内であってもよいし、不特定多数の人が訪れる公共の空間であってもよい。音声入出力装置100は、集音した音声から音声信号を生成して音声解析装置200に送信する。音声入出力装置100は、音声解析装置200から受け付けた音声信号又は指示された音声データを出力する。
音声解析装置200は、サーバー、パーソナルコンピュータ、スマートフォン、タブレットコンピュータ又はウェアラブルデバイス等の情報処理装置である。音声解析装置200は、音声入出力装置100によって送信された音声信号を解析する。音声解析装置200は、解析結果に基づいて、集音された音声を表す文字列を生成する。音声解析装置200は、解析結果に基づいて、話者を識別してもよい。
情報提示装置300は、サーバー、パーソナルコンピュータ、スマートフォン、タブレットコンピュータ又はウェアラブルデバイス等の情報処理装置である。情報提示装置300は、音声解析装置200によって生成された文字列に基づいて、提示情報を生成する。情報提示装置300は、音声入出力装置100と着信端末500との間で呼処理を行う。
検索サーバー400は、情報提示装置300から検索キーワード(以降「クエリ」という。)を取得し、取得したクエリに応じた情報を情報提示装置300に提供する。検索サーバー400は、取得したクエリに関連する情報を、検索エンジンを用いて検索する。検索サーバー400は、取得したクエリに関連する情報をナレッジデータサーバーなどの検索されたクエリに対応するコンテンツを有するウェブサーバーから取得する。ナレッジデータサーバーとは、ウェブページなどの検索結果に対応するコンテンツをデータベースとして記憶するサーバーである。ウェブページは、例えば、HTML(Hyper Text Markup Language)等のマークアップ言語で記述されたテキストデータや、スタイルシート、静止画像データ、動画データ、音声データなどを含むコンテンツである。例えば、検索結果は、URL及び検索順位である。ウェブページを構成する情報は、プログラムの情報、ウェブページを構成する情報(ページタイトル、施設名、住所、及び営業時間などの情報)である。検索サーバー400は、検索エンジンの検索結果と、ナレッジデータサーバーから取得した情報とを情報提示装置300に提供する。
着信端末500は、音声入出力装置100と通話を行うための情報処理装置である。着信端末500は、パーソナルコンピュータ、スマートフォン、タブレットコンピュータ又はウェアラブルデバイス等の情報処理装置である。着信端末500は、ユーザーの音声から音声信号を生成し、通話を行う他の情報処理装置に音声信号を送信する。着信端末500は、音声信号を取得し、音声信号に応じた音声を出力する。
図2は、音声入出力装置100の機能構成を表す機能ブロック図である。音声入出力装置100は、音声入出力プログラムを実行することによって通信部101、マイク102、スピーカ103及び制御部104を備える装置として機能する。
通信部101は、ネットワークインタフェースである。通信部101はネットワーク900を介して、音声解析装置200及び情報提示装置300と通信する。通信部101は、例えば無線LAN(Local Area Network)、有線LAN、Bluetooth(登録商標)又はLTE(Long Term Evolution)(登録商標)等の通信方式で通信してもよい。
マイク102は、音声を取得する装置である。マイク102は、マイク102近傍の音声を取得する。マイク102は、例えば人間によって発話された音声を集音する。マイク102は、集音装置を音声入出力装置100に接続するためのインタフェースであってもよい。この場合、マイク102は、集音装置において入力された音声信号から音声データ(例えば、集音装置に対して話しかけた音声)を生成し、音声入出力装置100に入力する。
スピーカ103は、スピーカ又はイヤホン等の音声出力装置である。スピーカ103は、音声出力装置を音声入出力装置100に接続するためのインタフェースであってもよい。この場合、スピーカ103は、音声信号(例えば、音声解析装置200から取得された音声信号)を音声出力装置に出力する。
制御部104は、音声入出力装置100の各部の動作を制御する。制御部104は、例えばCPU(Central Processing Unit)等のプロセッサ及びRAM(Random Access Memory)を備えた装置により実行される。制御部104は、プログラムを実行することによって、音声信号生成部105、音声出力部106、パラメーター取得部107、通信制御部108及び通話機能部109として機能する。
音声信号生成部105は、マイク102によって取得された音声に基づいて音声信号を生成する。音声信号生成部105は、生成された音声信号を音声解析装置200に送信する。
音声出力部106は、音声信号に基づいて、スピーカ103に音声を発音させる。音声出力部106は、音声信号を音声解析装置200から受信してもよいし、音声入出力装置100に予め記録された音声信号を取得してもよい。
パラメーター取得部107は、電話番号データベース、自装置が存在する位置を示す位置情報と、ユーザーの属性情報と、の内少なくとも1つを取得する。例えば、電話番号データベースは、予めユーザーによって登録された電話番号と電話番号に対応付けられた文字列を有するデータベースである。例えば、位置情報は、スマートスピーカが設置されている位置の情報である。例えば、属性情報は、音声入出力装置100に予め登録された電話番号、ユーザーの名前、ユーザーの性別、着信を許否した履歴などの情報を示す情報である。属性情報は、音声入出力装置100に記憶されている。
通信制御部108は、通信部101を制御する。通信制御部108は、音声入出力装置100と音声解析装置200との通信において、音声入出力装置100が音声信号を送信するか受信するかを制御する。例えば、通信制御部108は、音声入出力装置100から音声解析装置200に音声信号を送信する場合、通信部101を送信部として制御する。例えば、例えば、通信制御部108は、音声入出力装置100が音声解析装置200から音声信号を受信する場合、通信部101を受信部として制御する。
通話機能部109は、通話機能部109は、発信端末(音声入出力装置100)と、着信端末500とが通話を行うための制御を行う。例えば、通話機能部109は、ユーザーから中継用電話番号への発呼指示を受け付ける。このとき、ユーザーは、着信端末500へ発呼することを意識して発呼指示を行うが、実際には、中継用電話番号が指示されるため情報提示装置300に対する発呼指示が実行される。通話機能部109は、指定された中継用電話番号に対して発呼信号を送信する。この発呼信号には、例えば着信端末500の電話番号を示す情報が含まれてもよい。発呼信号の具体例として、INVITE信号がある。発呼信号の中継装置である情報提示装置300にて、発信端末(音声入出力装置100)と着信端末500との呼を確立させる処理が行われる。呼を確立させる処理が終了した場合、発信端末(音声入出力装置100)と着信端末500とは、通話可能に接続される。
図3は、音声解析装置200の機能構成を表す機能ブロック図である。音声解析装置200は、プログラムを実行することによって通信部201及び制御部202を備える装置として機能する。
通信部201は、ネットワークインタフェースである。通信部201はネットワーク900を介して、音声入出力装置100及び情報提示装置300と通信する。通信部201は、例えば無線LAN、有線LAN、Bluetooth又はLTE等の通信方式で通信してもよい。
制御部202は、例えばCPU等のプロセッサ及びRAMを備えた装置により実行される。制御部202は、プログラムを実行することによって、音声信号取得部203、文字列生成部204、文字列解析部205および音声信号生成部206として機能する。
音声信号取得部203は、音声入出力装置100から送信された音声信号を取得する。音声信号取得部203は、取得された音声信号を文字列生成部204に出力する。
文字列生成部204は、音声信号に基づいて文字列を生成する。具体的には、文字列生成部204は、音声信号によって表される波形の形状又は周波数成分に応じて文字列を生成する。文字列生成部204は、公知の手法を用いて文字列を生成してもよい。文字列生成部204は、生成された文字列を文字列解析部205に出力する。
文字列解析部205は、所定の処理を行うことで文字列からユーザの意図を示す意図情報を取得する。意図情報は、ユーザの意図を表す情報である。所定の処理は、例えば形態素解析又はトピック分析等の公知の自然言語処理手法が用いられてもよい。所定の処理として形態素解析が用いられる場合、意図情報は形態素である。所定の処理としてトピック分析が用いられる場合、意図情報はトピックモデルである。以下、所定の処理として形態素解析が用いられるものとして説明する。
文字列解析部205は、文字列に対して形態素解析を行うことで1つ以上の形態素を取得する。形態素解析は、文字列を形態素に分解する処理である。形態素解析には、公知のアルゴリズムが用いられてもよい。形態素は、文字列を分割することで得られる。形態素解析は、分解された形態素に対して品詞を判別する処理が含まれていてもよい。
音声信号生成部206は、音声入出力装置100で出力させたい言葉の音声信号を生成する。音声信号生成部206は、例えば、音声信号取得部203で取得された音声信号に応じて、音声入出力装置100で出力させたい言葉の音声信号を決定する。音声信号生成部206は、ネットワーク900を介して取得された音声信号を送信してもよいし、音声解析装置200に予め記録された音声信号を送信してもよい。音声信号生成部206は、通信部201を介して、音声入出力装置100に送信された音声信号は、スピーカ103で出力される。
図4は、情報提示装置300の機能構成を表す機能ブロック図である。情報提示装置300は、情報提示プログラムを実行することによって通信部301、電話番号データベース302、重み付け情報記憶部303、通話履歴記憶部304、制御部305、検索部306、特定部307、電話番号決定部308、提示情報生成部309、通話中継部310及び通話履歴管理部311を備える装置として機能する。
通信部301は、ネットワークインタフェースである。通信部301はネットワーク900を介して、音声解析装置200及び表示装置600と通信する。通信部301は、例えば無線LAN、有線LAN、Bluetooth又はLTE等の通信方式で通信してもよい。
電話番号データベース302は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。電話番号データベース302は、登録電話番号テーブルを予め記憶する。登録電話番号テーブルは、予め登録された電話番号と、電話番号に紐づけて登録された登録名とを有するテーブルである。図5は、電話番号データベースの具体例を示す図である。登録電話番号テーブルは、電話番号レコードを有する。電話番号レコードは、検索に使用する電話番号及び登録名の文字列を有する。電話番号レコードは、予め登録電話番号テーブルに記録される。
図5に示される例では、登録電話番号テーブルの最上段の電話番号レコードは、“電話番号”の値が「090−XXXX−0001」、“登録名”の値が「AAA」である。従って、登録電話番号テーブルの最上段のレコードによると、文字列解析部205で解析された文字列の形態素に「AAA」が含まれている場合、電話番号データベース302に基づいて、電話番号「090−XXXX−0001」が決定される。なお、図5に示される登録電話番号テーブルは一具体例に過ぎない。そのため、図5とは異なる態様で登録電話番号テーブルが構成されてもよい。例えば、登録電話番号テーブルは、属性情報のカラムを有してもよい。
図4に戻って、情報提示装置300の説明を続ける。重み付け情報記憶部303は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。重み付け情報記憶部303は、重みテーブルを記憶する。重みテーブルは、検索サーバー400で検索されたウェブページに重みを付与するための情報を有するテーブルである。図6は、重みテーブルの具体例を示す図である。重みテーブルは、重みレコードを有する。重みレコードは、ウェブページに重み付けを行うための評価要素に応じて、重み及び評価値の各値を有する。
図6に示される例では、重みテーブルの最上段の重みレコードは、“評価要素”の値が「検索順位」、“重み(w)”の値が「0.3」、“評価値(x)”の値が「1/順位」である。順位とは、検索されたウェブページの表示される順番である。順位は、検索されたウェブページの検索結果の順番に決定される。重みテーブルの最上段のレコードによると、評価要素「検索順位」によって特定される重みは、重み「0.3」及び評価値「1/順位」である。なお、図6に示される重みテーブルは一具体例に過ぎない。そのため、図6とは異なる態様で重みテーブルが構成されてもよい。例えば、重みテーブルは、通話の頻度のカラムを有してもよい。
図4に戻って、情報提示装置300の説明を続ける。通話履歴記憶部304は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。通話履歴記憶部304は、発着信履歴テーブルを記憶する。発着信履歴テーブルは、着信側の電話番号及び発信側の電話番号と、通話を行った時間を有するテーブルである。
図7に示される例では、発着信履歴テーブルの最上段のレコードは、“発信側電話番号”の値が「050−xxxx−1234」、“着信側電話番号”の値が「03−xxxx−1234」、“通話開始時刻”の値が「2018/MM/DD 10:00」、“通話終了時刻”の値が「2018/MM/DD 10:10」である。従って、発着信履歴テーブルの最上段のレコードによると、発信端末(音声入出力装置100)と着信端末500との通話時間を算出できる。なお、図7に示される発着信履歴テーブルは一具体例に過ぎない。そのため、図7とは異なる態様で発着信履歴テーブルが構成されてもよい。例えば、発着信履歴テーブルは、電話番号に応じたユーザーの属性情報のカラムを有していてもよい。なお、図7の例では、発着信履歴テーブルは、音声入出力装置100毎に生成されるため、発信側電話番号は全て同じ電話番号である。
図4に戻って、情報提示装置300の説明を続ける。制御部305は、情報提示装置300の各部の動作を制御する。制御部305は、例えばCPU等のプロセッサ及びRAMを備えた装置により実行される。制御部305は、プログラムを実行することによって、検索部306、特定部307、電話番号決定部308、提示情報生成部309、通話中継部310及び通話履歴管理部311として機能する。
検索部306は、文字列解析部205で解析された文字列をクエリとして、電話番号データベースの登録名にクエリが存在するか否かを検索する。検索部306は、音声入出力装置100に予め記録された電話番号データベースを取得する。検索部306は、クエリが電話番号データベースの登録名に存在する場合、検索部306は、クエリに対応付けられた電話番号を電話番号決定部308に送る。検索部306は、クエリが電話番号データベースの登録名に存在しない場合、クエリを検索サーバー400に送信する。具体例を用いて説明する。文字列解析部205で解析された文字列に「AAA」が存在する場合、検索部306は、登録電話番号テーブルのレコードに「AAA」が存在するか否かを検索する。検索部306は、解析された文字列「AAA」が登録電話番号テーブルの登録名に存在する場合、「AAA」に対応付けられた電話番号を取得する。「AAA」が電話番号データベースに存在しない場合、検索部306は、「AAA」を検索クエリとして検索サーバー400に送信する。検索部306は、検索サーバー400の検索結果を取得する。検索部306は、取得した検索結果を特定部307に送る。
特定部307は、検索部306の検索結果と、重み付け情報記憶部303と、に従ってウェブページに重み付けを行い、ユーザーの所望するウェブページを特定する。特定部307は、検索結果が示すウェブページが複数存在する場合、検索結果が示すウェブページの評価要素に重み付けを行い、ユーザーが所望する電話番号を含むウェブページを特定する。具体的には、特定部307は、重みテーブルの「評価要素」に基づいて検索結果に重み付けを行う。例えば、特定部307は、検索結果の「ウェブページの表示順」である場合、重みwを「0.3」、評価値xを「1/順位」とし、数式(1)に基づいて、評価要素「検索順位」の重みを算出する。数式(1)のE_nは電話番号の評価値を示す。数式(1)のnはウェブサイトの検索順位を示す。数式(1)のiは、評価要素に対応付けられた番号である。特定部307は、検索結果に基づいて各評価要素で重み付けを行い、ユーザーの所望するウェブページを特定する。具体的には、特定部307は、電話番号の評価値が最大になるウェブページを特定する。特定部307は、特定したウェブページの情報を電話番号決定部308に送る。
Figure 2020087262
電話番号決定部308は、特定部307で特定されたウェブページから電話番号を取得する。例えば、電話番号決定部308は、ウェブページのテキストデータから所定の文字数の数列を抽出し、ウェブページの電話番号を決定する。例えば、電話番号決定部308は、ウェブページを構成するプログラムのテキストから電話番号のタグを含む記載を抽出し、ウェブページの電話番号を決定する。電話番号決定部308は、検索部306からクエリに対応付けられた電話番号を受け取った場合、当該電話番号を着信端末500の電話番号として決定する。
提示情報生成部309は、特定部307で特定されたウェブページに基づいて、提示情報を生成する。提示情報とは、ウェブページを構成するテキストデータや、スタイルシート、静止画像データ、動画データ、音声データなどを含むコンテンツに基づいて生成されたウェブページを示す情報である。例えば提示情報生成部309は、ウェブページを構成する情報と、発着信履歴テーブルとに基づいて、施設名、ページタイトル、サムネイル画像、評価、地図画像、電話番号情報及び通話履歴を含む提示情報を生成する。提示情報生成部309は、通信部301を介して、生成した提示情報(音声データ)を音声解析装置200に送信する。
通話中継部310は、音声入出力装置100と着信端末500との通話を中継する。以下の説明では、音声入出力装置100を発信端末100として表す。例えば、通話中継部310は、発信端末100から発呼信号を受信すると、受信された発呼信号に応じて呼処理を行う。通話中継部310において実行される呼処理は、発呼信号の送信元である発信端末100と自装置との間で呼を確立するための処理である。呼処理の具体例として、受信されたINVITE信号に応じて100Trying信号、180Ringing信号及び200OK信号を送信する処理がある。呼処理が終了すると、発信端末100及び情報提示装置300の間で呼が確立される。
通話中継部310は、発信端末100との間で呼が確立されると、発信端末100に対して呼び出し中ガイダンス信号を送信する。呼び出し中ガイダンス信号は、予め情報提示装置300において記憶装置に記録されている信号である。呼び出し中ガイダンス信号は、発信端末100において再生されることによって音声が出力される。この音声は、例えば発信端末100のユーザーが相手方(着信端末500のユーザ)の応答を待っている状態であることを認識できるような音声である。例えば、呼び出し中ガイダンス信号は、“ただいま呼び出しております。しばらくお待ち下さい。”という音声を出力するための信号であってもよい。呼び出し中ガイダンス信号は、所定のタイミングまで(例えば発信端末100と着信端末500との間で呼が確立されるまで)継続して送信されてもよい。
通話中継部310は、着信端末500の電話番号を取得する。通話中継部310は、取得された着信端末500に対して送信される通知メッセージを生成する。通話中継部310は、生成された通知メッセージを、取得された着信端末500の電話番号に送信する。
着信端末500は、通話中継部310から通知メッセージを受信すると、受信された通知メッセージの内容を自装置の画面に表示する。着信端末500のユーザーは、表示された通知メッセージの内容(特に発信端末100の電話番号)に応じて、発信端末100による発呼に応じるか否か判断する。着信端末500のユーザーは、発信端末100による発呼に応じると判断した場合、通話中継部310に対して発呼することを着信端末500に指示する。着信端末500は、ユーザーの指示に応じて、中継用電話番号に対して発呼信号を送信する。この発呼信号には、例えば発信端末100の電話番号を示す情報が含まれてもよい。この発呼信号には、例えば発信端末100の識別情報(例えば電話番号)と、発信端末100との呼を接続することを示す制御情報が含まれてもよい。
通話中継部310は、着信端末500から発呼信号を受信すると、着信端末500と発信端末100との間の呼を確立するための処理(呼処理)を実行する。通話中継部310は、呼を確立する対象となる発信端末100及び着信端末500をどのような処理によって判定してもよい。例えば、着信端末500から受信された発呼信号に含まれる制御情報に基づいて判定されてもよい。通話中継部310が呼処理を実行することによって、発信端末100と着信端末500との間で呼が確立される。この後、発信端末100のユーザーと着信端末500のユーザーとは通話を行うことが可能となる。
通話履歴管理部311は、通話が行われた場合、“発信側電話番号”、“着信側電話番号”、“通話開始時刻”及び“通話終了時刻”を取得し、通話履歴テーブルに格納する。発信側電話番号は、自装置の電話番号である。着信側電話番号は、呼処理で通話が確立された着信端末500の電話番号である。通話開始時刻は、自装置と着信端末500との間で呼が確立された時刻である。通話終了時刻は、自装置と着信端末500との間の呼が終了した時刻である。
図8及び図9は、呼処理を行うまでの処理の流れを示すシーケンスチャートである。音声信号生成部105は、マイク102によって集音された音声に基づいて音声信号を生成する(ステップS101)。通信部101は、生成された音声信号を音声解析装置200に送信する(ステップS102)。
文字列生成部204は、音声信号によって表される波形の形状又は周波数成分に応じて文字列を生成する(ステップS103)。文字列解析部205は、送信された文字列に対して形態素解析を行うことで1つ以上の形態素を取得する(ステップS104)。通信部201は、文字列解析部205の解析結果を情報提示装置300に送信する(ステップS105)。
検索部306は、文字列解析部205で解析された文字列をクエリとして決定する(ステップS106)。検索部306は、音声入出力装置100に予め記録された電話番号データベースを取得する(ステップS107)。検索部306は、電話番号データベースに登録された登録名からクエリを検索する(ステップS108)。
検索部306は、クエリが電話番号データベースに存在するか否か判定する(ステップS109)。クエリが電話番号データベースに存在しない場合(ステップS109:NO)、クエリを検索サーバー400に送信する(ステップS110)。検索サーバー400は、取得したクエリに関連する情報を、検索エンジンを用いて検索する(ステップS111)。検索サーバー400は、検索エンジンの検索結果と、ナレッジデータサーバーから取得した情報とを情報提示装置300に提供する(ステップS112)。検索部306は、検索サーバー400の検索結果を取得する(ステップS113)。
特定部307は、検索部306の検索結果と、重み付け情報記憶部303と、に従ってウェブページに重み付けを行い、ユーザーの所望するウェブページを特定する(ステップS114)。電話番号決定部308は、特定部307で特定されたウェブページから電話番号を取得する(ステップS115)。
クエリが電話番号データベースに存在する場合(ステップS109:YES)、電話番号決定部308は、検索部306からクエリに対応付けられた電話番号を受け取り、着信端末500の電話番号として決定する(ステップS115)。提示情報生成部309は、特定部307で特定されたウェブページに基づいて、提示情報(音声データ)を生成する(ステップS116)。提示情報生成部309は、通信部301を介して、生成した提示情報(音声データ)を音声解析装置200に送信する(ステップS117)。
音声信号生成部206は、音声入出力装置100で出力させたい言葉の音声信号を生成する(ステップS118)。音声信号生成部206は、通信部201を介して、音声信号を音声入出力装置100に送信する(ステップS119)。音声出力部106は、音声信号に基づいて、スピーカ103に音声を発音させる(ステップS120)。ステップS120の処理を行ったあと、情報提示システム1は、ステップS101〜ステップS106までの処理を行う。その後、通話中継部310は、発信端末(音声入出力装置100)と、着信端末500とが通話を行うための制御を行う(ステップS121)。
通話中継部310がユーザーから通話指示を受け付けなかった場合(ステップS121:NO)、ステップS113の処理に移行する。通話中継部310がユーザーから通話指示を受け付けた場合(ステップS121:YES)、通話中継部310は呼処理を行う(ステップS123)。呼処理に関しては通話中継部310で既に説明したため、説明を省略する。通話履歴管理部311は、“発信側電話番号”、“着信側電話番号”、“通話開始時刻”及び“通話終了時刻”を取得し、通話履歴テーブルに格納する(ステップS124)。
本実施形態では、音声入出力装置100、音声解析装置200及び情報提示装置300は各1台の装置であるとして説明したが、複数の装置で構成されてもよい。音声解析装置200、情報提示装置300及び検索サーバー400は、クラウドコンピューティングシステムによって構成されてもよい。また、音声入出力装置100、音声解析装置200、情報提示装置300及び検索サーバー400は、それぞれの機能をすべて有する1台の装置として構成されてもよい。
[第2の実施形態]
図10は、情報提示システム1aのシステム構成を表すシステム構成図である。情報提示システム1aは、音声による指示をユーザーから受け付け、着信端末500に対して呼処理を行う。情報提示システム1aは、提示情報を表示装置600に表示する。情報提示システム1は、音声入出力装置100、音声解析装置200、情報提示装置300、検索サーバー400、着信端末500及び表示装置600を備える。情報提示システム1は、ネットワーク900を介して互いに通信可能に接続される。ネットワーク900は、どのようなネットワークで構築されてもよい。例えば、ネットワーク900は、例えば、インターネット、WAN(Wide Area Network)、LAN(Local Area Network)、セルラー網などを含む。なお、第2の実施形態では、第1の実施形態で説明した内容に関しては適宜省略する。
表示装置600は、テレビ、デジタルサイネージ、VR(Virtual Reality)ゴーグル又はディスプレイ等の表示装置である。表示装置600は、情報提示装置300によって生成された提示情報を表示する。表示装置600は、表示装置に対して行われた操作(例えば、リモコン操作、コンテンツ再生、録画等)を情報提示装置300に送信する。
図11は、情報提示装置300aの機能構成を表す機能ブロック図である。情報提示装置300aは、情報提示プログラムを実行することによって通信部301、電話番号データベース302、重み付け情報記憶部303、通話履歴記憶部304、制御部305a、検索部306、特定部307、電話番号決定部308、提示情報生成部309、通話中継部310、通話履歴管理部311及び表示制御部312を備える装置として機能する。
提示情報生成部309aは、特定部307で特定されたウェブページに基づいて、提示情報を生成する。提示情報生成部309aは、提示情報を音声データ及び表示データで生成する。提示情報生成部309aは、特定部307で特定されたウェブページに基づいて、提示情報を生成する。例えば、提示情報生成部309aは、表示装置600に表示するための表示データを提示情報として生成する。例えば、提示情報生成部309aは、音声入出力装置100で出力するための音声データを提示情報として生成してもよい。提示情報生成部309aは、生成した提示情報を表示制御部312に送信する。
表示制御部312は、通信部301を介して、生成された提示情報(表示データ)を表示装置600に送信する。具体的には、表示制御部312は、提示情報を表示装置600に送信する。表示装置600は、送信された提示情報(表示データ)を表示する。表示制御部312は、提示情報(表示データ)を表示装置600に送信した際に、音声解析装置200に対して提示情報(音声データ)を送信する。提示情報(音声データ)は、音声入出力装置100から出力される音声信号を含んでもよい。
図12は、提示情報を表示装置600に表示するまでの処理の流れを示すシーケンスチャートである。なお、図8で説明した内容に関しては適宜省略する。
情報提示システム1は、ステップS101からステップS115まで処理を行う。提示情報生成部309aは、特定部307で特定されたウェブページに基づいて、提示情報を生成する(ステップS201)。提示情報生成部309aは、提示情報を音声データ及び表示データで生成する。表示制御部312は、通信部301を介して、生成された提示情報(表示データ)を表示装置600に送信する(ステップS202)。表示装置600は、表示装置600は、送信された提示情報(表示データ)を表示する(ステップS203)。提示情報生成部309aは、通信部301を介して、生成された提示情報(音声データ)を音声解析装置200に送信する(ステップS204)。なお、ステップS118〜ステップS124までの処理に関しては、図8及び図9で説明したため説明を省略する。
図13は、表示装置600に表示される提示情報の具体例を表す図である。
表示装置600は、表示制御部312から送信された提示情報(表示データ)を表示する。例えば、表示装置600は、施設名601、ページタイトル602、サムネイル画像603、評価604、通話履歴605、地図画像606及び電話番号情報607を表示する。施設名601は、ウェブページに掲載された施設の名前である。ページタイトル602は、ウェブページのページのタイトルである。評価604は、施設の評価である。例えば、評価604は、施設が飲食店であれば、当該施設を掲載するサイトから評価を取得してもよい。サムネイル画像603は、ウェブページの表示例であってもよいし、ウェブページが有する画像データであってもよい。評価604は、ウェブページ又は施設の評価である。通話履歴605は、発着信履歴テーブルに基づいた最新の発着信履歴である。地図画像606は、施設の位置に基づいた地図の画像である。電話番号情報607は、電話番号決定部308で決定された電話番号と、当該電話番号が迷惑電話のサイトに掲載されているか否かを示す情報とを含む情報である。例えば、電話番号情報607は、電話番号が迷惑電話のサイトに掲載されていない場合、「サイト掲載なし」と表示される。例えば、電話番号情報607は、電話番号が迷惑電話のサイトに掲載されている場合、「サイト掲載あり」と表示される。
本実施形態では、音声入出力装置100、音声解析装置200及び情報提示装置300は各1台の装置であるとして説明したが、複数の装置で構成されてもよい。音声解析装置200、情報提示装置300及び検索サーバー400は、クラウドコンピューティングシステムによって構成されてもよい。また、音声入出力装置100、音声解析装置200、情報提示装置300、検索サーバー400及び表示装置600は、それぞれの機能をすべて有する1台の装置として構成されてもよい。
このように構成された情報提示システム1では、話者が音声入出力装置100に対して発話した音声に基づいて文字列生成部204は、文字列を生成する。文字列解析部205は、生成された文字列から意図情報を取得する。検索部306は、文字列解析部205で解析された文字列をクエリとして決定し、検索装置に検索命令を通知する。特定部307は、検索部306の検索結果と、重み付け情報記憶部303と、に従ってウェブページに重み付けを行い、ユーザーの所望するウェブページを特定する。電話番号決定部308は、特定部307で特定されたウェブページから電話番号を取得するこれにより、情報提示システム1は、事前に登録されていない電話番号に電話をする場合、ユーザーの手間を軽減することが可能になる。
[変形例]
情報提示装置300は、発話された音声を取得し、音声に応じて音声信号を生成する音声信号生成部と、音声信号に基づいて、音声を表す文字列を生成する文字列生成部と、を備える他のシステムから、文字列を取得してもよい。
電話番号決定部308は、特定部307で算出された評価値に基づいて、複数のウェブページから電話番号を取得してもよい。
発着信履歴は、スマートスピーカの過去の発信履歴及び過去の着信履歴であってもよいし、スマートスピーカと連携した携帯端末の過去の発信履歴及び過去の着信履歴であってもよい。
提示情報生成部309aは、提示情報(音声データ)を生成しなくてもよい。この場合、表示装置600にのみ提示情報(表示データ)を表示し、音声入出力装置100は、音声による提示情報(音声データ)の出力を行わない。
電話番号が迷惑電話のサイトに掲載されている場合、表示装置600は、ユーザーに対し音声又は点滅表示などの方法を用いて警告を行ってもよい。
上述した実施形態における音声信号取得部203、文字列生成部204、文字列解析部205、検索部306、特定部307、電話番号決定部308、提示情報生成部309、通話中継部310及び通話履歴管理部311をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
本発明は、音声を用いた通話を支援するサービスに適用可能である。
1…情報提示システム、 100…音声入出力装置、 101…通信部、 102…マイク、 103…スピーカ、 104…制御部、 105…音声信号生成部、 106…音声出力部、 107…パラメーター取得部、 108…通信制御部、 109…通話機能部、 200…音声解析装置、 201…通信部、 202…制御部、 203…音声信号取得部、 204…文字列生成部、 205…文字列解析部、 206…音声信号生成部、 300…情報提示装置、 301…通信部、 302…電話番号データベース、 303…重み付け情報記憶部、 304…通話履歴記憶部、 305…制御部、 306…検索部、 307…特定部、 308…電話番号決定部、 309…提示情報生成部、 310…通話中継部、 311…通話履歴管理部、 312…表示制御部、 400…検索サーバー、 500…着信端末、 600…表示装置、 900…ネットワーク

Claims (8)

  1. 発話された音声を取得し、前記音声に応じて音声信号を生成する音声信号生成部と、
    前記音声信号に基づいて、前記音声を表す文字列を生成する文字列生成部と、
    ネットワークで接続された検索装置に対し、前記文字列を用いてウェブページを検索する指示を送り、検索結果を取得する検索部と、
    前記検索結果が示すウェブページに記載された文字列に基づいて、発呼先の候補となる電話番号を決定する決定部と、
    を備える、情報提示システム。
  2. 前記検索結果が示す前記ウェブページが複数存在する場合、前記検索結果が示す前記ウェブページの評価要素に重み付けを行い、ユーザーが所望する電話番号を含む前記ウェブページを特定する特定部を、
    さらに備える請求項1に記載の情報提示システム。
  3. 前記電話番号を特定するためのパラメーターとして、自装置が存在する位置を示す位置情報と、ユーザーの属性情報と、のうち少なくとも1つを取得するパラメーター取得部をさらに備え、
    前記特定部は、前記パラメーターに基づいて、前記検索結果が示す前記ウェブページの評価要素に重み付けを行い、ユーザーの所望する前記ウェブページを特定する
    請求項2に記載の情報提示システム。
  4. 前記特定部で特定された前記ウェブページを構成する情報に基づいて、ユーザーに提示される所定の情報を示す提示情報を生成する提示情報生成部と、
    前記提示情報を表示する表示装置と、
    をさらに備える請求項2又は3に記載の情報提示システム。
  5. 前記提示情報生成部は、前記電話番号に発呼するか否かを前記ユーザーに確認するための情報を前記提示情報として生成し、
    発呼しない場合、前記提示情報生成部は、他の候補の前記電話番号に発呼するか否かを前記ユーザーに確認するための情報を前記提示情報として生成する
    請求項4に記載の情報提示システム。
  6. 発話された音声を取得し、前記音声に応じて音声信号を生成する音声信号生成部と、前記音声信号に基づいて、前記音声を表す文字列を生成する文字列生成部と、を備える他のシステムから、前記文字列を取得し、ネットワークで接続された検索装置に対し、前記文字列を用いてウェブページを検索する指示を送り、検索結果を取得する検索部と、
    前記検索結果の前記ウェブページに記載された文字列に基づいて、発呼先の候補となる電話番号を決定する決定部と、
    を備える、情報提示装置。
  7. 発話された音声を取得し、前記音声に応じて音声信号を生成する音声信号生成ステップと、
    前記音声信号に基づいて、前記音声を表す文字列を生成する文字列生成ステップと、
    ネットワークで接続された検索装置に対し、前記文字列を用いてウェブページを検索する指示を送り、検索結果を取得する検索ステップと、
    前記検索結果の前記ウェブページに記載された文字列に基づいて、発呼先の候補となる電話番号を決定する決定ステップと、
    を有する、情報提示方法。
  8. 請求項1から5のいずれか一項に記載の情報提示システムとしてコンピュータを機能させるためのコンピュータプログラム。
JP2018224897A 2018-11-30 2018-11-30 情報提示システム、情報提示装置、情報提示方法及びコンピュータプログラム Pending JP2020087262A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018224897A JP2020087262A (ja) 2018-11-30 2018-11-30 情報提示システム、情報提示装置、情報提示方法及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018224897A JP2020087262A (ja) 2018-11-30 2018-11-30 情報提示システム、情報提示装置、情報提示方法及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
JP2020087262A true JP2020087262A (ja) 2020-06-04

Family

ID=70910049

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018224897A Pending JP2020087262A (ja) 2018-11-30 2018-11-30 情報提示システム、情報提示装置、情報提示方法及びコンピュータプログラム

Country Status (1)

Country Link
JP (1) JP2020087262A (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004102927A (ja) * 2002-09-12 2004-04-02 Fuji Xerox Co Ltd 記憶補助装置及び方法
JP2007193391A (ja) * 2006-01-17 2007-08-02 Fujitsu Ten Ltd 施設選択装置及び施設選択方法
JP2008520047A (ja) * 2004-11-11 2008-06-12 ヤフー! インコーポレイテッド リンクされた用語を含むアクティブな要約を表示する検索システム
JP2009093387A (ja) * 2007-10-09 2009-04-30 Level Up Kk 位置検索装置および位置検索方法並びに位置検索プログラム
JP2009525548A (ja) * 2006-01-31 2009-07-09 グーグル インコーポレイテッド 強調された検索結果
JP2011004143A (ja) * 2009-06-18 2011-01-06 Ntt Docomo Inc 情報提供システム、情報提供装置、情報提供方法
JP2012123492A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 情報提供システムおよび情報提供装置
JP2013246570A (ja) * 2012-05-24 2013-12-09 Nec Corp 情報処理装置、情報処理方法及び情報処理プログラム
WO2015146017A1 (ja) * 2014-03-28 2015-10-01 パナソニックIpマネジメント株式会社 音声検索装置、音声検索方法、および表示装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004102927A (ja) * 2002-09-12 2004-04-02 Fuji Xerox Co Ltd 記憶補助装置及び方法
JP2008520047A (ja) * 2004-11-11 2008-06-12 ヤフー! インコーポレイテッド リンクされた用語を含むアクティブな要約を表示する検索システム
JP2007193391A (ja) * 2006-01-17 2007-08-02 Fujitsu Ten Ltd 施設選択装置及び施設選択方法
JP2009525548A (ja) * 2006-01-31 2009-07-09 グーグル インコーポレイテッド 強調された検索結果
JP2009093387A (ja) * 2007-10-09 2009-04-30 Level Up Kk 位置検索装置および位置検索方法並びに位置検索プログラム
JP2011004143A (ja) * 2009-06-18 2011-01-06 Ntt Docomo Inc 情報提供システム、情報提供装置、情報提供方法
JP2012123492A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 情報提供システムおよび情報提供装置
JP2013246570A (ja) * 2012-05-24 2013-12-09 Nec Corp 情報処理装置、情報処理方法及び情報処理プログラム
WO2015146017A1 (ja) * 2014-03-28 2015-10-01 パナソニックIpマネジメント株式会社 音声検索装置、音声検索方法、および表示装置

Similar Documents

Publication Publication Date Title
KR101703910B1 (ko) 검색결과들을 이용한 자동 라우팅
US8223932B2 (en) Appending content to a telephone communication
JP6438674B2 (ja) 応答システム、応答方法及びコンピュータプログラム
US9172795B1 (en) Phone call context setting
US20130094633A1 (en) Method and apparatus for enhancing an interactive voice response (ivr) system
WO2015102082A1 (ja) ユーザのデータ入力に応じて情報提供を行うための端末装置、プログラム、およびサーバ装置
US11895269B2 (en) Determination and visual display of spoken menus for calls
US20160335267A1 (en) Method and apparatus for natural language search for variables
KR20130108173A (ko) 유무선 통신 네트워크를 이용한 음성인식 질의응답 시스템 및 그 운용방법
JP2016006607A (ja) 対話型通信システム、端末装置およびプログラム
KR20240046433A (ko) 통화에 대한 추정 보류 기간 결정 및 디스플레이
JP7028179B2 (ja) 情報処理装置、情報処理方法およびコンピュータ・プログラム
WO2023090380A1 (ja) プログラム、情報処理システム及び情報処理方法
JP2020087262A (ja) 情報提示システム、情報提示装置、情報提示方法及びコンピュータプログラム
KR20160042211A (ko) 통화 내용 기반 주요 키워드 정보 및 배경 이미지 제공을 위한 단말, 서버, 방법, 기록 매체, 및 컴퓨터 프로그램
JP2015012463A (ja) 情報処理装置、特定用語通知方法、プログラム、特定用語通知システム、および端末装置
JP2020086364A (ja) 情報提示システム、情報提示装置、情報提示方法及びコンピュータプログラム
JP6460526B2 (ja) 安否確認装置と安否確認方法
WO2023090379A1 (ja) プログラム、情報処理システム及び情報処理方法
KR20140123370A (ko) 유무선 통신 네트워크를 이용한 음성인식 질의응답 시스템 및 그 운용방법
JP6434799B2 (ja) メッセージ処理装置、端末装置、及びコンピュータプログラム
JP7202155B2 (ja) 情報処理システム、情報処理装置、情報処理方法及びコンピュータプログラム
JP6054185B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2023076017A (ja) プログラム、情報処理システム及び情報処理方法
JP2023162822A (ja) 情報処理方法、情報処理システムおよびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210813

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220829

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20221006

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20221006

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20221108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230104

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230627