JP2018055689A - Display device, display method, and program - Google Patents
Display device, display method, and program Download PDFInfo
- Publication number
- JP2018055689A JP2018055689A JP2017194646A JP2017194646A JP2018055689A JP 2018055689 A JP2018055689 A JP 2018055689A JP 2017194646 A JP2017194646 A JP 2017194646A JP 2017194646 A JP2017194646 A JP 2017194646A JP 2018055689 A JP2018055689 A JP 2018055689A
- Authority
- JP
- Japan
- Prior art keywords
- display
- information
- utterance content
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000013519 translation Methods 0.000 claims description 154
- 238000004891 communication Methods 0.000 abstract description 156
- 238000010586 diagram Methods 0.000 description 32
- 238000000605 extraction Methods 0.000 description 27
- 230000006870 function Effects 0.000 description 24
- 238000012545 processing Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 21
- 235000015277 pork Nutrition 0.000 description 16
- 230000000694 effects Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 240000007643 Phytolacca americana Species 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 241000287828 Gallus gallus Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 210000002105 tongue Anatomy 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
Images
Landscapes
- Machine Translation (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明はサービス提供者向け画像及びサービス利用者向け画像の少なくとも何れかを表示する表示装置等に関する。 The present invention relates to a display device that displays at least one of an image for a service provider and an image for a service user.
経済や文化のグローバル化が進む現在、異なる言語を母語とする人同士がコミュニケーションを図る機会が増えている。そのため、このようなコミュニケーションを支援することを目的とする翻訳装置が開発されている。例えば特許文献1には、日本語を母語とするユーザ(ユーザJ)向けに日本語を表示するディスプレイと、英語を母語とするユーザ(ユーザE)向けに英語を表示するディスプレイとを備えた翻訳装置が記載されている。
As the economy and culture become more globalized, opportunities for people who speak native languages to communicate with each other are increasing. Therefore, a translation device has been developed for the purpose of supporting such communication. For example,
特許文献2には、異なる母語の利用者同士の音声によるコミュニケーションを支援する音声翻訳装置が記載されている。この音声翻訳装置は、入力された音声信号の認識結果及び当該認識結果に対応する翻訳結果を表示することに加えて、上記認識結果に関連するキーワードを検索するとともに当該キーワードの翻訳結果を表示することによってコミュニケーションを支援する。
また、特許文献3には、(1)入力された音声の認識結果である文字列と、webページに含まれている画像情報を解析することによって得られたキーワードとを比較し、(2)上記文字列と上記キーワードとが一致する場合には、上記文字列を文字画像に変換し、認識された音声に対応する映像と上記文字画像とを合成することによって新たな画像情報を生成する画像処理装置が記載されている。このようにして生成された上記新たな画像情報は、商品を販売するためのホームページやチラシとして利用することができる。
In
特許文献2に記載の音声翻訳装置を利用する場合、異なる母語の利用者同士は、入力された音声信号の認識結果(特許文献2の図5に示された表示エリアA)と、当該認識結果に対応する翻訳結果(同図に示された表示エリアB)と、キーワード(同図に示された表示エリアC)と、翻訳されたキーワード(同図に示された表示エリアD)とが表示された表示部を参照しながらコミュニケーションを図る。換言すれば、異なる言語を用いる各利用者は、表示部にそれぞれの母語で表示された情報であって、同一の内容からなる情報を参照しながらコミュニケーションを図る。
When using the speech translation device described in
上記音声翻訳装置においては、各表示エリアに表示される上記認識結果、上記翻訳結果、上記キーワード、及び上記翻訳されたキーワードは、軽重のない一様なテキストとして表示される。また、上記音声翻訳装置においては、入力された発話の認識結果が表示エリアAに表示されるため、(1)利用者が発話する言語が日本語である場合には表示エリアAに日本語の認識結果が表示され、表示エリアBに英語の翻訳結果が表示され、(2)利用者が発話する言語が英語である場合には表示エリアAに英語の認識結果が表示され、表示エリアBに日本語の翻訳結果が表示される。換言すれば、上記音声翻訳装置において、利用者の母語を用いて認識結果または翻訳結果を表示する表示エリアは、発話する利用者が代わるたびに表示エリアAから表示エリアBへ、また、表示エリアBから表示エリアAへと変更される。 In the speech translation apparatus, the recognition result, the translation result, the keyword, and the translated keyword displayed in each display area are displayed as uniform text with no weight. In the above speech translation apparatus, the recognition result of the input utterance is displayed in the display area A. (1) When the language spoken by the user is Japanese, the display area A is in Japanese. The recognition result is displayed, and the English translation result is displayed in the display area B. (2) When the language spoken by the user is English, the English recognition result is displayed in the display area A, and the display area B is displayed. Japanese translation results are displayed. In other words, in the speech translation apparatus, the display area for displaying the recognition result or the translation result using the user's native language is changed from the display area A to the display area B every time the user who speaks is changed. B is changed to display area A.
このような上記音声翻訳装置を利用する利用者同士は、軽重のない一様なテキストであって、発話する利用者が代わるたびに異なる表示エリアに表示される上記認識結果及び上記翻訳結果を絶えず注視しながらコミュニケーションを図られることを強いられる。換言すれば、上記音声翻訳装置は、上記表示部に表示された情報のうち注目すべき情報がどれであるのかが利用者にとって分かりにくく、利用者の使い勝手において改善の余地を残している。 Users who use such a speech translation apparatus are uniform texts without weight, and the recognition results and translation results that are displayed in different display areas each time a user who speaks changes. You are forced to communicate with your eyes. In other words, the speech translation apparatus is difficult for the user to understand which information should be noted among the information displayed on the display unit, and leaves room for improvement in terms of user convenience.
また、複数の利用者同士が共通する情報を参照しながらコミュニケーションを図るという状況は、異なる言語を母語とする人同士がコミュニケーションを図る場合に限定されるものではない。例えば、家電製品を販売する量販店において、ユーザ及び店員(利用者)が、量販店が用意している表示装置を参照しながら商談を進める場合においても同様の状況が生じ得る。表示装置の表示部に多くの情報が表示されることは、多くの情報をユーザと店員との間で共有できるというメリットを有する。その反面、それら多くの情報に軽重が付けられていないために、それら多くの情報のうち注目すべき情報がどれであるのかがユーザ及び店員にとって分かりにくいというデメリットを有する。すなわち、このような表示装置は、利用者の使い勝手において改善の余地を残している。 In addition, the situation in which communication is performed while referring to information shared by a plurality of users is not limited to the case where people who use different languages as mother tongues communicate with each other. For example, a similar situation may occur when a user and a store clerk (user) advance a business negotiation while referring to a display device prepared by a mass retailer at a mass retailer that sells home appliances. Displaying a lot of information on the display unit of the display device has an advantage that a lot of information can be shared between the user and the store clerk. On the other hand, since a lot of information is not attached with weight, it has a demerit that it is difficult for the user and the store clerk to know which of the lots of information is noticeable. In other words, such a display device leaves room for improvement in user convenience.
本発明は、上記の課題を鑑みてなされたものであり、その目的は、表示装置の使い勝手を向上させ利用者同士のコミュニケーションを円滑にすることができる技術を提供することである。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique capable of improving usability of a display device and facilitating communication between users.
上述した課題を解決するために、本発明の表示装置は、
サービス提供者向け画像及びサービス利用者向け画像の少なくとも何れかを表示する表示装置であって、
第1表示領域と、第2表示領域とに分割して表示可能な表示画面を有する表示部と、
発話内容を取得する取得部と、
前記発話内容を示す発話内容情報を前記第1表示領域に表示し、当該発話内容に関連した商品の画像を示す画像情報を前記第2表示領域に表示する制御を行う表示制御部と、
を備えたことを特徴とする。
In order to solve the above-described problems, the display device of the present invention includes:
A display device that displays at least one of an image for a service provider and an image for a service user,
A display unit having a display screen that can be divided into a first display area and a second display area;
An acquisition unit for acquiring utterance contents;
A display control unit that performs control to display utterance content information indicating the utterance content in the first display area and display image information indicating an image of a product related to the utterance content in the second display area;
It is provided with.
本発明の表示方法は、
サービス提供者向け画像及びサービス利用者向け画像の少なくとも何れかを表示する表示部を有する表示装置における表示方法であって、
前記表示部は、第1表示領域と、第2表示領域とに分割して表示可能な表示画面を有しており、
発話内容を取得する取得ステップと、
前記発話内容を示す発話内容情報を前記第1表示領域に表示し、当該発話内容に関連した商品の画像を示す画像情報を前記第2表示領域に表示する制御を行う表示制御ステップと、
を含むことを特徴とする。
The display method of the present invention includes:
A display method in a display device having a display unit that displays at least one of an image for a service provider and an image for a service user,
The display unit has a display screen that can be divided and displayed in a first display area and a second display area,
An acquisition step of acquiring utterance content;
A display control step for performing control to display the utterance content information indicating the utterance content in the first display area, and to display image information indicating an image of a product related to the utterance content in the second display area;
It is characterized by including.
本発明のプログラムは、
サービス提供者向け画像及びサービス利用者向け画像の少なくとも何れかを表示する表示部を有するコンピュータに、
前記表示部は、第1表示領域と、第2表示領域とに分割して表示可能な表示画面を有しており、
発話内容を取得する取得機能と、
前記発話内容を示す発話内容情報を前記第1表示領域に表示し、当該発話内容に関連した商品の画像を示す画像情報を前記第2表示領域に表示する制御を行う表示制御機能と、
を実現させることを特徴とする。
The program of the present invention
A computer having a display unit for displaying at least one of an image for a service provider and an image for a service user,
The display unit has a display screen that can be divided and displayed in a first display area and a second display area,
An acquisition function to acquire the utterance content;
A display control function for performing control to display utterance content information indicating the utterance content in the first display area, and displaying image information indicating an image of a product related to the utterance content in the second display area;
It is characterized by realizing.
本発明の一態様によれば、表示装置の使い勝手を向上させ利用者同士のコミュニケーションを円滑にすることができる。 According to one embodiment of the present invention, usability of a display device can be improved and communication between users can be facilitated.
〔実施形態1〕
以下、本発明の一実施形態について、図1〜図8を用いて詳細に説明する。以下の特定の実施形態で説明する構成以外の構成については、必要に応じて説明を省略する場合があるが、他の実施形態で説明されている場合は、その構成と同じである。また、説明の便宜上、各実施形態に示した部材と同一の機能を有する部材については、同一の符号を付し、適宜その説明を省略する。
Hereinafter, an embodiment of the present invention will be described in detail with reference to FIGS. Descriptions of configurations other than those described in the following specific embodiments may be omitted as necessary, but are the same as those configurations when described in other embodiments. For convenience of explanation, members having the same functions as those shown in each embodiment are given the same reference numerals, and the explanation thereof is omitted as appropriate.
(コミュニケーション支援システム1)
図1は、本発明の実施形態1に係るコミュニケーション支援システム1を模式的に示す図である。コミュニケーション支援システム1は、図1に示すように、サーバ100、表示装置200a、及び表示装置200bによって構成されている。
(Communication support system 1)
FIG. 1 is a diagram schematically illustrating a
コミュニケーション支援システム1は、サービス提供者及びサービス利用者がコミュニケーションを円滑にすることができるシステムである。本明細書では、サービス提供者が店員、サービス利用者が客である場合について説明するが、コミュニケーション支援システム1は、タクシー運転手と客、受付と来訪者等にも利用可能である。
The
コミュニケーション支援システム1では、クラウド上に設置されたサーバ100と、店舗に設置された表示装置200a及び表示装置200bとがそれぞれ通信可能に接続されている。本実施形態では、店員が日本語を話し、客が英語を話し、客が店頭のおでんを購入する場合を例に挙げて説明する。なお、コミュニケーション支援システム1は、店のキャッシュレジスターと連携する構成であってもよい。
In the
また、コミュニケーション支援システム1では、表示装置200a及び表示装置200bにはそれぞれ店員向けまたは客向けの設定がされている。本明細書では、表示装置200aには店員向けの設定がされており、表示装置200bには客向けの設定がされているとして説明する。なお、表示装置200a及び表示装置200bは、店員向けまたは客向けの設定がされているという点において区別される。そのため、表示装置200a及び表示装置200bは同じ機能を有し、以下において、表示装置200a及び表示装置200bを表示装置200と総称する。
In the
(サーバ100)
図2は、本発明の実施形態1におけるサーバ100の要部構成を示すブロック図である。サーバ100について、図2を用いて説明する。
(Server 100)
FIG. 2 is a block diagram illustrating a main configuration of the
サーバ100は、図2に示すように、サーバ通信部110及びサーバ制御部120を備えている。
As illustrated in FIG. 2, the
サーバ通信部110は、外部の機器と情報を送受信することができる。
The
サーバ制御部120は、サーバ100の各構成を統括的に制御するものである。サーバ制御部120の詳細について、以下に説明する。
The
(サーバ制御部120)
サーバ制御部120は、図2に示すように、音声情報取得部131、音声抽出部132、音声認識部(発話内容情報生成部)133、表示情報生成部134、翻訳部(翻訳内容情報生成部)135、及び表示情報出力部(発話内容情報出力部、翻訳内容情報出力部)136としても機能する。
(Server control unit 120)
As shown in FIG. 2, the
音声情報取得部131は、サーバ通信部110を制御し、表示装置200から出力された音声情報を取得する。
The audio
音声抽出部132は、音声情報取得部131が取得した音声情報に含まれている音声から、客または店員が発話した音声を抽出し、抽出した音声を示す抽出音声情報を出力する。
The
音声認識部133は、音声抽出部132が出力した抽出音声情報が示す音声を認識し、認識した音声内容を示す発話内容情報を出力する。
The
表示情報生成部134は、表示装置200に表示させるべき情報を含む表示情報を生成する。表示情報生成部134が生成する表示情報の詳細については、後述する。
The display
翻訳部135は、発話内容を取得し、当該発話内容を翻訳した翻訳内容を示す翻訳発話内容情報を生成して出力する。
The
表示情報出力部136は、表示情報生成部134が生成した表示情報を、サーバ通信部110を制御して表示装置200に出力する。
The display
(表示装置200)
図3は、本発明の実施形態1における表示装置200の要部構成を示すブロック図である。表示装置200について、図3を用いて説明する。
(Display device 200)
FIG. 3 is a block diagram showing a main configuration of the
表示装置200は、図3に示すように、表示装置通信部210、表示装置制御部220、表示部250、及び音声受付部260を備えている。
As shown in FIG. 3, the
表示装置通信部210は、外部の機器と情報を送受信することができる。
The display
表示装置制御部220は、表示装置200の各構成を統括的に制御するものである。表示装置制御部220の詳細については、後述する。
The display
表示部250は、表示装置制御部220から出力される画像信号が示す画像を表示する。
The
音声受付部260は、表示装置200の周辺の音声を取得し、取得した音声を示す音声情報を出力する。
The
(表示装置制御部220)
表示装置制御部220は、図3に示すように、表示情報取得部(取得部)231、表示画像生成部232、及び音声情報取得部233としても機能する。
(Display device controller 220)
As illustrated in FIG. 3, the display
表示情報取得部231は、表示装置通信部210を制御し、サーバ100から出力された表示情報を取得する。
The display
表示画像生成部232は、表示情報が示す表示画像であって、表示装置200が店員向けであるか客向けであるのかに応じた表示態様を有する表示画像を生成する。ここで、店員向けであるか客向けであるのかに応じた表示態様を有する表示画像とは、店員向けであるか客向けであるのかに応じた文字の設定によって表されるテキストを含む表示画像である。店員向けであるか客向けであるのかに応じた文字の設定の例として、文字の書体、文字の色、文字の大きさ、文字の飾り(傍点、下線、取り消し線、二重取り消し線、影付き、網掛け、背景色、上付き文字、下付き文字、中抜き、浮きだし、浮彫など)の設定が挙げられる。表示画像生成部232が表示画像を生成する処理の詳細は、後述する。
The display
音声情報取得部233は、音声受付部260を介して音声情報を取得する。
The voice
(コミュニケーション支援システム1の処理1)
図4は、本発明の実施形態1に係るコミュニケーション支援システム1において、客の発話内容の翻訳が表示されるまでの処理の流れ(コミュニケーション支援方法)を示すシークエンス図である。また、図5は、本発明の実施形態1における表示情報の構造を示す図である。また、図6は、本発明の実施形態1における表示装置200が表示する画像を示す図である。コミュニケーション支援システム1において、客の発話内容の翻訳が表示されるまでの処理の流れについて、図4〜図6を用いて説明する。
(
FIG. 4 is a sequence diagram illustrating a processing flow (communication support method) until a translation of a customer's utterance content is displayed in the
図6の(a)は、表示装置200aの初期画像を示す図であり、図6の(b)は、表示装置200bの初期画像を示す図である。図6の(a)及び図6の(b)に示すように、表示装置200aの表示部250a及び表示装置200bの表示部250bに表示される初期画像にはそれぞれ、発話を促すテキスト800a及び800bを含む画像が表示されている。
6A is a diagram illustrating an initial image of the
なお、図6の(a)及び(b)に示す初期画像を表示している期間において、表示装置200a及び表示装置200bが取得した音声の言語を判定し、後述する翻訳の処理において、当該言語に翻訳する構成であってもよい。例えば、表示装置200aが日本語の音声を取得し、表示装置200bが英語の音声を取得した場合、後述する翻訳処理(ステップS27)では、サーバ100は、表示装置200aから取得した音声に含まれる発話内容を英語に翻訳し、表示装置200bから取得した音声に含まれる発話内容を日本語に翻訳する構成であってもよい。なお、本明細書では、店員が日本語を話し、客が英語を話す場合について、説明する。
Note that, during the period in which the initial images shown in FIGS. 6A and 6B are displayed, the language of the speech acquired by the
(ステップS1)
まず、表示装置200bの音声情報取得部233bは、音声受付部260bを介して客が発話した音声を含む音声情報を取得する。例えば、客が店員におでんを購入する方法を尋ねるため、「How can I buy it?」と発話すると、音声情報取得部233bは、「How can I buy it?」を含む音声情報を取得する。
(Step S1)
First, the voice information acquisition unit 233b of the
(ステップS3)
音声情報取得部233bは、取得した上記音声情報を、表示装置通信部210bを介してサーバ100に出力する。
(Step S3)
The audio information acquisition unit 233b outputs the acquired audio information to the
(ステップS5)
サーバ100の音声情報取得部131は、サーバ通信部110を介して上記音声情報を取得する。そして、音声情報取得部131は、上記音声情報を、音声抽出部132に出力する。
(Step S5)
The voice
(ステップS7)
音声抽出部132は、取得した上記音声情報に含まれている音声から客が発話した音声を抽出する。そして、抽出した音声を示す抽出音声情報を音声認識部133に出力する。
(Step S7)
The
(ステップS9)
音声認識部133は、取得した上記抽出音声情報が示す音声を認識し、認識した発話内容を示す発話内容情報を表示情報生成部134に出力する。
(Step S9)
The
(ステップS11、発話内容情報取得工程)
表示情報生成部134は、取得した上記発話内容情報含む表示情報を生成する。ここで、表示情報生成部134が生成する表示情報について、図5の(a)を用いて説明する。図5の(a)は、発話内容を表示するための表示情報の一例を示す図である。
(Step S11, utterance content information acquisition step)
The display
図5の(a)に示すように、発話内容を表示するための表示情報を「communication」と称する。「communication」は、図5の(a)に示すように、項目「cid」、項目「type」、項目「kind」、項目「state」、及び項目「data」によって構成されている。 As shown in FIG. 5A, display information for displaying the utterance content is referred to as “communication”. As shown in FIG. 5A, “communication” is composed of an item “cid”, an item “type”, an item “kind”, an item “state”, and an item “data”.
項目「cid」には、当該「communication」を他の「communication」と識別するための識別情報が格納される。より具体的には、通し番号の数字が格納される。 The item “cid” stores identification information for identifying the “communication” from other “communication”. More specifically, a serial number is stored.
項目「type」には、後述する項目「data」に格納されている発話内容を発話した人を示す情報が格納される。より具体的には、客が発話したことを示す「customer」または店員が発話したことを示す「staff」が格納される。 In the item “type”, information indicating a person who uttered the utterance content stored in the item “data” described later is stored. More specifically, “customer” indicating that the customer speaks or “staff” indicating that the store clerk speaks is stored.
項目「kind」には、後述する項目「data」の種類を示す情報が格納される。より具体的には、発話内容を示す「speech」または発話内容の翻訳である翻訳発話内容を示す「trans」が格納される。 The item “kind” stores information indicating the type of the item “data” to be described later. More specifically, “speech” indicating the utterance content or “trans” indicating the translated utterance content which is a translation of the utterance content is stored.
項目「state」には、後述する吹き出しを新たに生成するか、または既に生成されている吹き出しを更新するか、を示す情報が格納される。より具体的には、吹き出しを新たに生成することを示す「new」または既に生成されている吹き出しを更新することを示す「update」が格納される。 The item “state” stores information indicating whether a balloon to be described later is newly generated or a balloon that has already been generated is updated. More specifically, “new” indicating that a balloon is newly generated or “update” indicating that an already generated balloon is updated is stored.
項目「data」には、発話内容または翻訳発話内容が格納される。 In the item “data”, utterance content or translation utterance content is stored.
例えば、ステップS3において、音声情報取得部233bが「How can I buy it?」を含む音声情報を取得すると、ステップS11において表示情報生成部134は、図5の(a)に示すように、項目「cid」に「1」を格納し、項目「type」に「customer」を格納し、項目「kind」に「speech」を格納し、項目「state」に「new」を格納し、項目「data」に「How can I buy it?」を格納した「communication」を生成する。そして、表示情報生成部134は、生成した上記表示情報を表示情報出力部136に出力する。
For example, when the audio information acquisition unit 233b acquires audio information including “How can I buy it?” In step S3, the display
(ステップS13、発話内容情報出力工程)
表示情報出力部136は、取得した上記表示情報を、サーバ通信部110を介して表示装置200a及び表示装置200bに出力する。
(Step S13, utterance content information output step)
The display
(ステップS15)
表示装置200bの表示情報取得部231bは、表示装置通信部210bを介して上記表示情報を取得する。そして、表示情報取得部231bは、上記表示情報を表示画像生成部232bに出力する。
(Step S15)
The display information acquisition unit 231b of the
(ステップS17)
表示画像生成部232bは、上記表示情報が示す表示画像であって、客向けに応じた表示態様を有する表示画像を生成する。より具体的には、まず、表示画像生成部232bは、取得した表示情報を参照し、項目「state」に「new」が格納されているため、項目「cid」に格納されている「1」に関連付けた吹き出しの画像を生成する。続いて、項目「type」に「customer」が格納され、項目「kind」に「speech」が格納されているため、表示画像生成部232bは、当該表示情報に含まれる発話内容は、客が発話した発話内容であると認識することができる。そのため、表示画像生成部232bは、上記吹き出しの中に、項目「data」に格納されている発話内容を示すテキスト「How can I buy it?」の文字を大きくした画像を生成する。なお、この場合の文字の大きさは、店員が発話した発話内容を示すテキスト及び客の発話内容を翻訳した翻訳発話内容を示すテキストの文字より大きいことを指している。そして、表示画像生成部232bは、生成した表示画像を表示部250bに出力する。
(Step S17)
The display image generation unit 232b generates a display image indicated by the display information and having a display mode corresponding to the customer. More specifically, first, the display image generation unit 232b refers to the acquired display information, and since “new” is stored in the item “state”, “1” stored in the item “cid”. An image of a speech balloon associated with is generated. Subsequently, since “customer” is stored in the item “type” and “speech” is stored in the item “kind”, the display image generation unit 232b determines that the utterance content included in the display information is the utterance by the customer. Can be recognized. Therefore, the display image generation unit 232b generates an image in which the text “How can I buy it?” Indicating the utterance content stored in the item “data” is enlarged in the balloon. In this case, the size of the character indicates that it is larger than the text of the text indicating the utterance content uttered by the clerk and the text indicating the translated utterance content obtained by translating the utterance content of the customer. Then, the display image generation unit 232b outputs the generated display image to the
(ステップS19)
表示部250bは、取得した上記表示画像を表示する。
(Step S19)
The
(ステップS21)
ステップS13においてサーバ100が表示情報を出力すると、表示装置200aの表示情報取得部231aは、表示装置通信部210aを介して上記表示情報を取得する。そして、表示情報取得部231aは、上記表示情報を表示画像生成部232aに出力する。
(Step S21)
When the
(ステップS23)
表示画像生成部232aは、上記表示情報が示す表示画像であって、店員向けに応じた表示態様を有する表示画像を生成する。より具体的には、まず、表示画像生成部232aは、取得した表示情報を参照し、項目「state」に「new」が格納されているため、項目「cid」に格納されている「1」に関連付けた吹き出しの画像を生成する。続いて、項目「type」に「customer」が格納され、項目「kind」に「speech」が格納されているため、表示画像生成部232aは、当該表示情報に含まれる発話内容は、客が発話した発話内容であると認識することができる。そのため、表示画像生成部232aは、上記吹き出しの中に、項目「data」に格納されている発話内容を示すテキスト「How can I buy it?」の文字を小さくした画像を生成する。なお、この場合の文字の大きさは、店員が発話した発話内容を示すテキスト及び客の発話内容を翻訳した翻訳発話内容を示すテキストの文字より小さいことを指している。そして、表示画像生成部232aは、生成した表示画像を表示部250aに出力する。
(Step S23)
The display image generation unit 232a generates a display image indicated by the display information and having a display mode corresponding to the store clerk. More specifically, first, the display image generation unit 232a refers to the acquired display information, and since “new” is stored in the item “state”, “1” stored in the item “cid”. An image of a speech balloon associated with is generated. Subsequently, since “customer” is stored in the item “type” and “speech” is stored in the item “kind”, the display image generation unit 232a determines that the utterance content included in the display information is uttered by the customer. Can be recognized. Therefore, the display image generating unit 232a generates an image in which the text “How can I buy it?” Indicating the utterance content stored in the item “data” is reduced in the balloon. In this case, the size of the character indicates that it is smaller than the text of the text indicating the utterance content uttered by the store clerk and the text indicating the translated utterance content obtained by translating the utterance content of the customer. Then, the display image generation unit 232a outputs the generated display image to the
(ステップS25)
表示部250aは、取得した上記表示画像を表示する。
(Step S25)
The
ここで、表示部250a及び表示部250bがそれぞれ表示する画像であって、客の発話内容を含む画像について、図6の(c)及び(d)を用いて説明する。図6の(c)は、店員向けの表示装置200aが表示する画像の例であり、図6の(d)は、客向けの表示装置200bが表示する画像の例である。
Here, images that are respectively displayed by the
上述したように、表示画像生成部232a及び表示画像生成部232bは、取得した表示情報を参照し、当該表示情報に含まれる発話内容は、客が発話した発話内容であると認識することができる。そのため、店員向けの表示装置200aの表示部250aは、新しく生成した吹き出し300aの中に発話内容を示すテキストの文字を小さくしたテキスト400aを含ませ、表示する。一方、客向けの表示装置200bの表示部250bは、新しく生成した吹き出し300bの中に発話内容を示すテキストの文字を大きくしたテキスト400bを含ませ、表示する。なお、表示部250a及び250bがそれぞれ、上述した図6の(c)及び(d)に示す表示画像を表示するまでの期間、例えば、(1)「音声認識処理中」のテキストを含むポップアップウィンドウを表示する、(2)音声認識処理中を示すアイコンを表示する、といった、音声認識処理を実行中であることを客または店員に提示する構成であってもよい。
As described above, the display image generation unit 232a and the display image generation unit 232b refer to the acquired display information, and can recognize that the utterance content included in the display information is the utterance content uttered by the customer. . Therefore, the
(ステップS27、発話内容出力工程)
ステップS13の処理が終わると、サーバ100の表示情報生成部134は、ステップS11において取得した発話内容情報を翻訳部135に出力する。翻訳部135は、取得した上記発話内容情報が示す発話内容の翻訳である翻訳発話内容を示す翻訳発話内容情報を生成する。そして、上記翻訳発話内容情報を表示情報生成部134に出力する。例えば、ステップS11において、表示情報生成部134が「How can I buy it?」を示す発話内容情報を取得している場合、翻訳部135は、「それはどのように購入できますか?」を示す翻訳発話内容情報を表示情報生成部134に出力する。
(Step S27, utterance content output step)
When the process of step S13 is completed, the display
(ステップS29、翻訳内容情報取得工程)
表示情報生成部134は、取得した上記翻訳発話内容情報を表示するための「communication」を生成する。より具体的には、表示情報生成部134は、項目「cid」に「1」を
格納し、項目「type」に「customer」を格納し、項目「kind」に「trans」を格納し、項
目「state」に「update」を格納し、項目「data」に「それはどのように購入できますか
?」を格納した「communication」を生成する。そして、表示情報生成部134は、生成した上記表示情報を、表示情報出力部136に出力する。
(Step S29, translation content information acquisition step)
The display
(ステップS31、翻訳内容情報出力工程)
表示情報出力部136は、取得した上記表示情報を、サーバ通信部110を介して表示装置200a及び表示装置200bに出力する。
(Step S31, translation content information output step)
The display
(ステップS33)
表示装置200bの表示情報取得部231bは、表示装置通信部210bを介して上記表示情報を取得する。そして、表示情報取得部231bは、上記表示情報を表示画像生成部232bに出力する。
(Step S33)
The display information acquisition unit 231b of the
(ステップS35)
表示画像生成部232bは、上記表示情報が示す表示画像であって、客向けに応じた表示態様を有する表示画像を生成する。より具体的には、まず、表示画像生成部232bは、取得した表示情報を参照し、項目「state」に「update」が格納されているため、項目「cid」に格納されている「1」に関連付けられた吹き出しに、当該表示情報に含まれる発話内容を示すテキストをさらに含めた画像を生成する。ここで、項目「type」に「customer」が格納され、項目「kind」に「trans」が格納されているため、表示画像生成部232bは、当該表示情報に含まれる発話内容は、客が発話した発話内容の翻訳であると認識することができる。そのため、表示画像生成部232bは、上記吹き出しの中に、項目「data」に格納されている発話内容を示すテキスト「それはどのように購入できますか?」の文字を小さくした画像を生成する。なお、この場合の文字の大きさは、客が発話した発話内容を示すテキスト及び店員の発話内容を翻訳した翻訳発話内容を示すテキストの文字より小さいことを指している。そして、表示画像生成部232bは、生成した表示画像を表示部250bに出力する。
(Step S35)
The display image generation unit 232b generates a display image indicated by the display information and having a display mode corresponding to the customer. More specifically, first, the display image generation unit 232b refers to the acquired display information, and since “update” is stored in the item “state”, “1” stored in the item “cid”. An image further including a text indicating the utterance content included in the display information is generated in a balloon associated with. Here, since “customer” is stored in the item “type” and “trans” is stored in the item “kind”, the display image generation unit 232b determines that the utterance content included in the display information is uttered by the customer. Can be recognized as a translation of the utterance content. Therefore, the display image generation unit 232b generates an image in which the text “How can it be purchased?” Indicating the utterance content stored in the item “data” is reduced in the balloon. In this case, the size of the character indicates that it is smaller than the text of the text indicating the utterance content uttered by the customer and the text indicating the translated utterance content obtained by translating the utterance content of the clerk. Then, the display image generation unit 232b outputs the generated display image to the
(ステップS37)
表示部250bは、取得した上記表示画像を表示する。
(Step S37)
The
(ステップS39)
ステップS31においてサーバ100が表示情報を出力すると、表示装置200aの表示情報取得部231aは、表示装置通信部210aを介して上記表示情報を取得する。そして、表示情報取得部231aは、上記表示情報を表示画像生成部232aに出力する。
(Step S39)
When the
(ステップS41)
表示画像生成部232aは、上記表示情報が示す表示画像であって、店員向けに応じた表示態様を有する表示画像を生成する。より具体的には、まず、表示画像生成部232aは、取得した表示画像を参照し、項目「state」に「update」が格納されているため、項目「cid」に格納されている「1」に関連付けられた吹き出しに、当該表示情報に含まれる発話内容を示すテキストをさらに含めた画像を生成する。ここで、項目「type」に「customer」が格納され、項目「kind」に「trans」が格納されているため、表示画像生成部232aは、当該表示情報に含まれる発話内容は、客が発話した発話内容の翻訳であると認識することができる。そのため、表示画像生成部232aは、上記吹き出しの中に、項目「data」に格納されている発話内容を示すテキスト「それはどのように購入できますか?」の文字を大きくした画像を生成する。なお、この場合の文字の大きさは、客が発話した発話内容を示すテキスト及び店員の発話内容を翻訳した翻訳発話内容を示すテキストの文字より大きいことを指している。そして、表示画像生成部232aは、生成した表示画像を表示部250aに出力する。
(Step S41)
The display image generation unit 232a generates a display image indicated by the display information and having a display mode corresponding to the store clerk. More specifically, first, the display image generation unit 232a refers to the acquired display image, and since “update” is stored in the item “state”, “1” stored in the item “cid” is stored. An image further including a text indicating the utterance content included in the display information is generated in a balloon associated with. Here, since “customer” is stored in the item “type” and “trans” is stored in the item “kind”, the display image generation unit 232a determines that the utterance content included in the display information is uttered by the customer. Can be recognized as a translation of the utterance content. Therefore, the display image generation unit 232a generates an image in which the text “How can it be purchased?” Indicating the utterance content stored in the item “data” is enlarged in the balloon. In this case, the size of the character indicates that it is larger than the character of the text indicating the utterance content uttered by the customer and the text indicating the translated utterance content obtained by translating the utterance content of the clerk. Then, the display image generation unit 232a outputs the generated display image to the
(ステップS43)
表示部250aは、取得した上記表示画像を表示する。
(Step S43)
The
ここで、表示部250a及び表示部250bがそれぞれ表示する画像であって、客の翻訳発話内容を含む画像について、図6の(e)及び(f)を用いて説明する。図6の(e)は、店員向けの表示装置200aが表示する画像の他の例であり、図6の(f)は、客向けの表示装置200bが表示する画像の他の例である。
Here, images that are respectively displayed by the
上述したように、表示画像生成部232a及び表示画像生成部232bは、取得した表示情報を参照し、当該表示情報に含まれる発話内容は、客が発話した発話内容の翻訳であると認識することができる。そのため、店員向けの表示装置200aの表示部250aは、既に生成していた吹き出し300aの中に翻訳発話内容を示すテキストの文字を大きくしたテキスト402aを含ませ、表示する。換言すると、表示画像生成部232aは、発話内容と当該発話内容の翻訳発話内容とがグループ化された表示画像を生成する。一方、客向けの表示装置200bの表示部250bは、既に生成していた吹き出し300bの中に翻訳発話内容を示すテキストの文字を小さくしたテキスト402bを含ませ、表示する(更新する)。
As described above, the display image generation unit 232a and the display image generation unit 232b refer to the acquired display information and recognize that the utterance content included in the display information is a translation of the utterance content uttered by the customer. Can do. Therefore, the
なお、表示部250a及び250bがそれぞれ、上述した図6の(c)及び(d)に示す表示画像を表示した後、図6の(e)及び(f)に示す表示画像を表示するまでの期間、例えば、(1)「翻訳処理中」のテキストを含むポップアップウィンドウを表示する、(2)翻訳処理中を示すアイコンを表示する、といった、翻訳処理を実行中であることを客または店員に提示する構成であってもよい。
The
(コミュニケーション支援システム1の処理2)
図7は、本発明の実施形態1に係るコミュニケーション支援システム1において、店員の発話内容の翻訳が表示されるまでの処理の流れを示すシークエンス図である。また、図8は、本発明の実施形態1における表示装置200が表示する画像を示す図である。コミュニケーション支援システム1において、店員の発話内容の翻訳が表示されるまでの処理の流れについて、図7及び図8を用いて説明する。
(
FIG. 7 is a sequence diagram showing the flow of processing until the translation of the clerk's utterance content is displayed in the
(ステップS51)
上述したステップS43において、表示装置200aの表示部250aが客の発話内容の翻訳を含む表示画像を表示すると、音声情報取得部233aは、音声受付部260aを介して店員が発話した音声を含む音声情報を取得する。例えば、店員が客におでんを購入する方法を教えるため、「おでんですか。欲しいものを注文して下さい」と発話すると、音声情報取得部233aは、「おでんですか。欲しいものを注文して下さい」を含む音声情報を取得する。
(Step S51)
In step S43 described above, when the
(ステップS53)
音声情報取得部233aは、取得した上記音声情報を、表示装置通信部210aを介してサーバ100に出力する。
(Step S53)
The audio information acquisition unit 233a outputs the acquired audio information to the
サーバ100の音声情報取得部131が音声情報を取得し、音声認識部133が発話内容を表示情報生成部134に出力する処理については、上述したステップS5〜ステップS9と同じであるため、説明は省略する。
The process in which the voice
(ステップS11)
表示情報生成部134は、取得した上記発話内容情報含む表示情報を生成する。例えば、ステップS53において、音声情報取得部233aが「おでんですか。欲しいものを注文して下さい」を含む音声情報を取得すると、表示情報生成部134は、項目「cid」に「2」を格納し、項目「type」に「staff」を格納し、項目「kind」に「speech」を格納し、項目「state」に「new」を格納し、項目「data」に「おでんですか。欲しいものを注文して下さい」を格納した「communication」を生成する。そして、表示情報生成部134は、上記表示情報を表示情報出力部136に出力する。
(Step S11)
The display
(ステップS13)
表示情報出力部136は、取得した上記表示情報を、サーバ通信部110を介して表示装置200a及び表示装置200bに出力する。
(Step S13)
The display
(ステップS15)
表示装置200bの表示情報取得部231bは、表示装置通信部210bを介して上記表示情報を取得する。そして、表示情報取得部231bは、上記表示情報を表示画像生成部232bに出力する。
(Step S15)
The display information acquisition unit 231b of the
(ステップS17)
表示画像生成部232bは、上記表示情報が示す表示画像であって、客向けに応じた表示態様を有する表示画像を生成する。より具体的には、まず、表示画像生成部232bは、取得した表示情報を参照し、項目「state」に「new」が格納されているため、項目「cid」に格納されている「2」に関連付けた吹き出しの画像を生成する。続いて、項目「type」に「staff」が格納され、項目「kind」に「speech」が格納されているため、表示画像生成部232bは、当該表示情報に含まれる発話内容は、店員が発話した発話内容であると認識することができる。そのため、表示画像生成部232bは、上記吹き出しの中に、項目「data」に格納されている発話内容を示すテキスト「おでんですか。欲しいものを注文して下さい」の文字を小さくした画像を生成する。なお、この場合の文字の大きさは、客が発話した発話内容を示すテキスト及び店員の発話内容を翻訳した翻訳発話内容を示すテキストの文字より小さいことを指している。そして、表示画像生成部232bは、生成した表示画像を表示部250bに出力する。
(Step S17)
The display image generation unit 232b generates a display image indicated by the display information and having a display mode corresponding to the customer. More specifically, first, the display image generation unit 232b refers to the acquired display information, and since “new” is stored in the item “state”, “2” stored in the item “cid”. An image of a speech balloon associated with is generated. Subsequently, since “staff” is stored in the item “type” and “speech” is stored in the item “kind”, the display image generation unit 232b determines the utterance content included in the display information by the clerk. Can be recognized. Therefore, the display image generation unit 232b generates an image in which the text “Oden? Please order what you want” indicating the utterance content stored in the item “data” is reduced in the balloon. To do. In this case, the size of the character indicates that it is smaller than the text of the text indicating the utterance content uttered by the customer and the text indicating the translated utterance content obtained by translating the utterance content of the clerk. Then, the display image generation unit 232b outputs the generated display image to the
(ステップS19)
表示部250bは、取得した上記表示画像を表示する。
(Step S19)
The
(ステップS21)
ステップS13においてサーバ100が表示情報を出力すると、表示装置200aの表示情報取得部231aは、表示装置通信部210aを介して上記表示情報を取得する。そして、表示情報取得部231aは、上記表示情報を表示画像生成部232aに出力する。
(Step S21)
When the
(ステップS23)
表示画像生成部232aは、上記表示情報が示す表示画像であって、店員向けに応じた表示態様を有する表示画像を生成する。より具体的には、まず、表示画像生成部232aは、取得した表示情報を参照し、項目「state」に「new」が格納されているため、項目「cid」に格納されている「2」に関連付けた吹き出しの画像を生成する。続いて、項目「type」に「staff」が格納され、項目「kind」に「speech」が格納されているため、表示画像生成部232aは、当該表示情報に含まれる発話内容は、店員が発話した発話内容であると認識することができる。そのため、表示画像生成部232aは、上記吹き出しの中に、項目「data」に格納されている発話内容を示すテキスト「おでんですか。欲しいものを注文して下さい」の文字を大きくした画像を生成する。なお、この場合の文字の大きさは、客が発話した発話内容を示すテキスト及び店員の発話内容を翻訳した翻訳発話内容を示すテキストの文字より大きいことを指している。そして、表示画像生成部232aは、生成した表示画像を表示部250aに出力する。
(Step S23)
The display image generation unit 232a generates a display image indicated by the display information and having a display mode corresponding to the store clerk. More specifically, first, the display image generation unit 232a refers to the acquired display information, and since “new” is stored in the item “state”, “2” stored in the item “cid”. An image of a speech balloon associated with is generated. Subsequently, since “staff” is stored in the item “type” and “speech” is stored in the item “kind”, the display image generation unit 232a determines the utterance content included in the display information by the clerk. Can be recognized. Therefore, the display image generation unit 232a generates an image in which the text “Oden? Please order what you want” indicating the utterance content stored in the item “data” is enlarged in the balloon. To do. In this case, the size of the character indicates that it is larger than the character of the text indicating the utterance content uttered by the customer and the text indicating the translated utterance content obtained by translating the utterance content of the clerk. Then, the display image generation unit 232a outputs the generated display image to the
(ステップS25)
表示部250aは、取得した上記表示画像を表示する。
(Step S25)
The
ここで、表示部250a及び表示部250bがそれぞれ表示する画像であって、店員の発話内容を含む画像について、図8の(a)及び(b)を用いて説明する。図8の(a)は、店員向けの表示装置200aが表示する画像の他の例であり、図8の(b)は、客向けの表示装置200bが表示する画像の他の例である。
Here, images that are respectively displayed by the
上述したように、表示画像生成部232a及び表示画像生成部232bは、取得した表示情報を参照し、当該表示情報に含まれる発話内容は、店員が発話した発話内容であると認識することができる。そのため、店員向けの表示装置200aの表示部250aは、新しく生成した吹き出し302aの中に発話内容を示すテキストの文字を大きくしたテキスト404aを含ませ、表示する。一方、客向けの表示装置200bの表示部250bは、新しく生成した吹き出し302bの中に発話内容を示すテキストの文字を小さくしたテキスト404bを含ませ、表示する。
As described above, the display image generation unit 232a and the display image generation unit 232b refer to the acquired display information, and can recognize that the utterance content included in the display information is the utterance content uttered by the store clerk. . Therefore, the
(ステップS27)
ステップS13の処理が終わると、サーバ100の表示情報生成部134は、ステップS11において取得した発話内容情報を翻訳部135に出力する。翻訳部135は、取得した上記発話内容情報の翻訳である翻訳内容を示す翻訳発話内容情報を生成する。そして、上記翻訳発話内容情報を表示情報生成部134に出力する。例えば、ステップS11において、表示情報生成部134が「おでんですか。欲しいものを注文して下さい」を示す発話内容情報を取得している場合、翻訳部135は、「Oden? You order what you want.」を示す翻訳発話内容情報を表示情報生成部134に出力する。
(Step S27)
When the process of step S13 is completed, the display
(ステップS29)
表示情報生成部134は、取得した上記翻訳発話内容を表示するための「communication」を生成する。より具体的には、表示情報生成部134は、項目「cid」に「2」を格納し、項目「type」に「staff」を格納し、項目「kind」に「trans」を格納し、項目「state」に「update」を格納し、項目「data」に「Oden? You order what you want.」を格納した「communication」を生成する。そして、表示情報生成部134は、上記表示情報を、表示情報出力部136に出力する。
(Step S29)
The display
(ステップS31)
表示情報出力部136は、取得した上記表示情報を、サーバ通信部110を介して表示装置200a及び表示装置200bに出力する。
(Step S31)
The display
(ステップS33)
表示装置200bの表示情報取得部231bは、表示装置通信部210bを介して上記表示情報を取得する。そして、表示情報取得部231bは、上記表示情報を表示画像生成部232bに出力する。
(Step S33)
The display information acquisition unit 231b of the
(ステップS35)
表示画像生成部232bは、上記表示情報が示す表示画像であって、客向けに応じた表示態様を有する表示画像を生成する。より具体的には、まず、表示画像生成部232bは、取得した表示情報を参照し、項目「state」に「update」が格納されているため、項目「cid」に格納されている「2」に関連付けられた吹き出しに、当該表示情報に含まれる発話内容を示すテキストをさらに含めた画像を生成する。ここで、項目「type」に「staff」が格納され、項目「kind」に「trans」が格納されているため、表示画像生成部232bは、当該表示情報に含まれる発話内容は、店員が発話した発話内容の翻訳であると認識することができる。そのため、表示画像生成部232bは、上記吹き出しの中に、項目「data」に格納されている発話内容を示すテキスト「Oden? You order what you want.」の文字を大きくした画像を生成する。なお、この場合の文字の大きさは、店員が発話した発話内容を示すテキスト及び客の発話内容を翻訳した翻訳発話内容を示すテキストの文字より大きいことを指している。そして、表示画像生成部232bは、生成した表示画像を表示部250bに出力する。
(Step S35)
The display image generation unit 232b generates a display image indicated by the display information and having a display mode corresponding to the customer. More specifically, first, the display image generation unit 232b refers to the acquired display information, and since “update” is stored in the item “state”, “2” stored in the item “cid”. An image further including a text indicating the utterance content included in the display information is generated in a balloon associated with. Here, since “staff” is stored in the item “type” and “trans” is stored in the item “kind”, the display image generation unit 232b determines that the utterance content included in the display information is uttered by the store clerk. Can be recognized as a translation of the utterance content. Therefore, the display image generation unit 232b generates an image in which the text “Oden? You order what you want.” Indicating the utterance content stored in the item “data” is enlarged in the balloon. In this case, the size of the character indicates that it is larger than the text of the text indicating the utterance content uttered by the clerk and the text indicating the translated utterance content obtained by translating the utterance content of the customer. Then, the display image generation unit 232b outputs the generated display image to the
(ステップS37)
表示部250bは、取得した上記表示画像を表示する。
(Step S37)
The
(ステップS39)
ステップS31においてサーバ100が表示情報を出力すると、表示装置200aの表示情報取得部231aは、表示装置通信部210aを介して上記表示情報を取得する。そして、表示情報取得部231aは、上記表示情報を表示画像生成部232aに出力する。
(Step S39)
When the
(ステップS41)
表示画像生成部232aは、上記表示情報が示す表示画像であって、店員向けに応じた表示態様を有する表示画像を生成する。より具体的には、まず、表示画像生成部232aは、取得した表示情報を参照し、項目「state」に「update」が格納されているため、項目「cid」に格納されている「2」に関連付けられた吹き出しに、当該表示情報に含まれる発話内容を示すテキストをさらに含めた画像を生成する。ここで、項目「type」に「staff」が格納され、項目「kind」に「trans」が格納されているため、表示画像生成部232aは、当該表示情報に含まれる発話内容は、店員が発話した発話内容の翻訳であると認識することができる。そのため、表示画像生成部232aは、上記吹き出しの中に、項目「data」に格納されている発話内容を示すテキスト「Oden? You order what you want.」の文字を小さくした画像を生成する。なお、この場合の文字の大きさは、店員が発話した発話内容を示すテキスト及び客の発話内容を翻訳した翻訳発話内容を示すテキストの文字より小さいことを指している。そして、表示画像生成部232aは、生成した表示画像を表示部250aに出力する。
(Step S41)
The display image generation unit 232a generates a display image indicated by the display information and having a display mode corresponding to the store clerk. More specifically, first, the display image generation unit 232a refers to the acquired display information, and since “update” is stored in the item “state”, “2” stored in the item “cid”. An image further including a text indicating the utterance content included in the display information is generated in a balloon associated with. Here, since “staff” is stored in the item “type” and “trans” is stored in the item “kind”, the display image generation unit 232a determines that the utterance content included in the display information is uttered by the store clerk. Can be recognized as a translation of the utterance content. Therefore, the display image generation unit 232a generates an image in which the text “Oden? You order what you want.” Indicating the utterance content stored in the item “data” is reduced in the balloon. In this case, the size of the character indicates that it is smaller than the text of the text indicating the utterance content uttered by the store clerk and the text indicating the translated utterance content obtained by translating the utterance content of the customer. Then, the display image generation unit 232a outputs the generated display image to the
(ステップS43)
表示部250aは、取得した上記表示画像を表示する。
(Step S43)
The
ここで、表示部250a及び表示部250bがそれぞれ表示する画像であって、店員の翻訳発話内容を含む画像について、図8の(c)及び(d)を用いて説明する。図8の(c)は、店員向けの表示装置200aが表示する画像の他の例であり、図8の(d)は、客向けの表示装置200bが表示する画像の他の例である。
Here, images that are respectively displayed on the
上述したように、表示画像生成部232a及び表示画像生成部232bは、取得した表示情報を参照し、当該表示情報に含まれる発話内容は、店員が発話した発話内容の翻訳であると認識することができる。そのため、店員向けの表示装置200aの表示部250aは、既に生成していた吹き出し302aの中に翻訳発話内容を示すテキストの文字を小さくしたテキスト406aを含ませ、表示する。一方、客向けの表示装置200bの表示部250bは、既に生成していた吹き出し302bの中に翻訳発話内容を示すテキストの文字を大きくしたテキスト406bを含ませ、表示する。
As described above, the display image generation unit 232a and the display image generation unit 232b refer to the acquired display information, and recognize that the utterance content included in the display information is a translation of the utterance content uttered by the store clerk. Can do. Therefore, the
このように、本実施形態に係るコミュニケーション支援システム1では、店員向け画像及び客向け画像の少なくとも何れかを表示する表示装置200は、表示すべき情報を含む表示情報(communication)を含む表示情報を取得し、表示情報の示す表示画像であって、表示装置200が店員向けであるか客向けであるのかに応じた表示態様を有する表示画像を生成し、当該表示画像を表示する。そのため、店員向けの表示装置200aは、店員が見たいテキストの文字を大きく表示し、店員が見なくてもいいテキストの文字を小さく表示する。一方、客向けの表示装置200bは、客が見たいテキストの文字を大きく表示し、客が見なくてもいいテキストの文字を小さく表示する。
As described above, in the
また、コミュニケーション支援システム1では、表示装置200a及び表示装置200bがそれぞれ表示する画像は、表示態様は異なるが情報量は同じである。そのため、店員と客とは、例えば、自らが発した発話内容が翻訳されていること、相手が自らの発した発話内容の翻訳を待っていること、などといった情報を互いに共有することができる。
In the
そのため、コミュニケーション支援システム1では、表示装置200の使い勝手を向上させ利用者同士のコミュニケーションを円滑にすることができる。
Therefore, in the
なお、本実施形態では、店員向けの表示装置200aにおいて、表示画像生成部232aは、店員の発話内容を示すテキストの文字及び客の発話内容を翻訳した翻訳発話内容を示すテキストの文字が、店員の発話内容を翻訳した翻訳発話内容を示すテキストの文字及び客の発話内容を示すテキストの文字より大きい表示画像を生成したが、この構成に限定されない。表示画像生成部232は、店員の発話内容を示すテキストの文字及び客の発話内容を翻訳した翻訳発話内容を示すテキストの文字が、店員の発話内容を翻訳した翻訳発話内容を示すテキストの文字及び客の発話内容を示すテキストの文字より目立つ表示画像を生成する構成であればよい。
In the present embodiment, in the
ここで、「店員の発話内容を示すテキストの文字及び客の発話内容を翻訳した翻訳発話内容を示すテキストの文字が、店員の発話内容を翻訳した翻訳発話内容を示すテキストの文字及び客の発話内容を示すテキストの文字より目立つ」とは、店員の発話内容を示すテキストの文字及び客の発話内容を翻訳した翻訳発話内容を示すテキストの文字が、店員の発話内容を翻訳した翻訳発話内容を示すテキストの文字及び客の発話内容を示すテキストの文字より大きい、太い、色が濃い等が挙げられる。 Here, the text characters indicating the utterance content of the clerk and the text characters indicating the translated utterance content translated from the utterance content of the customer are the text characters indicating the translated utterance content translated from the clerk utterance content and the customer utterance. `` I stand out from the text of the text indicating the contents '' means that the text of the text indicating the clerk's utterance and the text of the translated utterance translated from the utterance of the customer are translated utterances translated from the clerk's utterance For example, it is larger, thicker, darker, etc.
また、表示画像生成部232aは、店員の発話内容を示すテキストの文字及び客の発話内容を翻訳した翻訳発話内容を示すテキストの文字を大きくする、太くする、色を濃くする構成であってもよいし、店員の発話内容を翻訳した翻訳発話内容を示すテキストの文字及び客の発話内容を示すテキストの文字を小さくする、細くする、色を薄くする構成であってもよい。 Further, the display image generation unit 232a may be configured to increase, thicken, or darken the text characters indicating the clerk's utterance content and the text characters indicating the translated utterance content obtained by translating the customer's utterance content. Alternatively, the text characters indicating the translated utterance contents obtained by translating the utterance contents of the clerk and the text characters indicating the utterance contents of the customer may be made smaller, thinner, and lighter in color.
また、上記構成は客向けの表示装置200bでも同様であり、表示画像生成部232bは、客の発話内容を示すテキストの文字及び店員の発話内容を翻訳した翻訳発話内容を示すテキストの文字が、店員の発話内容を示すテキストの文字及び客の発話内容を翻訳した翻訳発話内容を示すテキストの文字より目立つ表示画像を生成する構成であれば良い。また、表示画像生成部232bは、客の発話内容を示すテキストの文字及び店員の発話内容を翻訳した翻訳発話内容を示すテキストの文字を大きくする、太くする、色を濃くする構成であってもよいし、店員の発話内容を示すテキストの文字及び客の発話内容を翻訳した翻訳発話内容を示すテキストの文字を小さくする、細くする、色を薄くする構成であってもよい。
The above configuration is the same for the customer-facing
〔実施形態2〕
本発明の他の実施形態に係るコミュニケーション支援システム2について、図9〜図13に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
[Embodiment 2]
The
(コミュニケーション支援システム2)
コミュニケーション支援システム2は、サーバ101及び表示装置201によって構成され、サーバ101及び表示装置201は、上述した実施形態におけるコミュニケーション支援システム1におけるサーバ100及び表示装置200が備えている各機能に加えて、サーバ101はキーフレーズを検索し、表示装置201は、キーフレーズを強調表示し、さらにキーフレーズに関連した図を表示する。本実施形態におけるサーバ101について、図9を用いて説明する。なお、表示装置201の構成は、実施形態1における表示装置200と同じであるため、説明を省略する。
(Communication support system 2)
The
(サーバ101)
図9は、本発明の実施形態2におけるサーバ101の要部構成を示すブロック図である。サーバ101は、図9に示すように、実施形態1におけるサーバ100が備えているサーバ制御部120に替えてサーバ制御部121を備え、キーフレーズデータベース150を更に備えている。
(Server 101)
FIG. 9 is a block diagram illustrating a main configuration of the
(サーバ制御部121)
サーバ制御部121は、サーバ101の各部を統括的に制御するものであり、図9に示すように、サーバ制御部120の機能に加えて、キーフレーズ検索部(フレーズ判定部)137としても機能する。
(Server control unit 121)
The
キーフレーズ検索部137は、後述するキーフレーズデータベース150を参照し、取得した発話内容情報及び翻訳発話内容情報の中のキーフレーズを検索する。そして、キーフレーズ検索部137は、キーフレーズを検出した場合、当該キーフレーズに関連付けられたキーフレーズ情報を、キーフレーズデータベース150から取得する。
The key
(キーフレーズデータベース150)
キーフレーズデータベース150には、キーフレーズに関する情報であるキーフレーズ情報が、キーフレーズに関連付けられたキーフレーズテーブルとして格納されている。キーフレーズデータベース150に格納されているキーフレーズテーブルについて、図10を用いて説明する。図10は、本発明の実施形態2におけるキーフレーズ情報が格納されたキーフレーズテーブルである。
(Keyphrase database 150)
The
キーフレーズテーブルは、図10に示すように、項目「ID」、項目「キーフレーズ(日本語)」、項目「キーフレーズ(英語)」、項目「置換文字列」、及び項目「画像No.」を含んでいる。 As shown in FIG. 10, the key phrase table includes an item “ID”, an item “key phrase (Japanese)”, an item “key phrase (English)”, an item “replacement character string”, and an item “image No.”. Is included.
項目「ID」には、キーフレーズを他のキーフレーズと識別するための識別情報が格納される。より具体的には、通し番号の数字が格納される。 The item “ID” stores identification information for identifying the key phrase from other key phrases. More specifically, a serial number is stored.
項目「キーフレーズ(日本語)」には、キーフレーズを日本語で表記したテキストが格納される。 The item “keyphrase (Japanese)” stores text describing the keyphrase in Japanese.
項目「キーフレーズ(英語)」には、キーフレーズを英語で表示したテキストが格納される。 The item “key phrase (English)” stores a text in which the key phrase is displayed in English.
項目「置換文字列」は、キーフレーズに置き換えられるテキストが格納される。より具体的には、キーフレーズを強調表示する指示を含むテキストが格納される。 The item “replacement character string” stores text to be replaced with a key phrase. More specifically, text including instructions for highlighting key phrases is stored.
項目「画像No.」は、キーフレーズに関連した画像の番号が格納される。 The item “image No.” stores the number of the image related to the key phrase.
(コミュニケーション支援システム2の処理)
図11は、本発明の実施形態2に係るコミュニケーション支援システム2における処理の流れを示すシークエンス図である。また、図12は、本発明の実施形態2における表示装置201が表示する表示画像を示す図である。また、図13は、本発明の実施形態2における表示装置201が表示する他の表示画像を示す図である。本発明の実施形態2に係るコミュニケーション支援システム2の処理について、図11〜図13を用いて説明する。
(Processing of communication support system 2)
FIG. 11 is a sequence diagram showing a flow of processing in the
まず、表示装置201が客または店員の発話した音声情報を取得し、発話テキスト及び翻訳テキストを表示する処理は、上述した実施形態1における処理と同じであるため、説明を省略する。 First, the process in which the display device 201 acquires voice information spoken by a customer or a store clerk and displays the spoken text and the translated text is the same as the process in the first embodiment described above, and a description thereof will be omitted.
(ステップS101)
表示情報生成部134は、発話内容を表示するための表示情報を表示情報出力部136に出力すると、当該発話内容を示す発話内容情報をキーフレーズ検索部137に出力する。キーフレーズ検索部137は、キーフレーズデータベース150に格納されているキーフレーズテーブルを参照し、取得した上記発話内容情報が示す発話内容の中のキーフレーズを検索する。
(Step S101)
When the display
(ステップS103)
キーフレーズ検索部137は、上記発話テキスト内にキーフレーズが検出されたか否かを判定する。
(Step S103)
The key
(ステップS105)
ステップS103において、「キーフレーズが検出された」と判定された場合(ステップS105:YES)、該当するキーレフレーズに関連付けられたキーフレーズ情報を、キーフレーズデータベース150から取得する。例えば、ステップS101において、キーフレーズ検索部137が「おでんですか。欲しいものを注文して下さい」を示す発話内容情報を取得した場合、図10に記載のキーフレーズテーブルを参照し、キーフレーズ「おでん」を検出する。そして、取得したキーフレーズ情報のうち、項目「置換文字列」に格納されているキーフレーズ情報を参照し、キーフレーズ「おでん」を、「<span dlink="1">おでん</span>」に置換し、置換後の発話内容情報を表示情報生成部134に出力する。また、キーフレーズ検索部137は、取得したキーフレーズ情報のうち、項目「画像No.」に格納されている「1」によって特定される画像を示す画像情報を表示情報生成部134に出力する。
(Step S105)
If it is determined in step S103 that “a key phrase has been detected” (step S105: YES), key phrase information associated with the corresponding key phrase is acquired from the
(ステップS107)
表示情報生成部134は、置換後の発話内容情報が示す発話内容を表示するための表示情報を生成する。ここで、置換後の発話テキストには、画像の格納先を含んでいるため、上述した「communication」に加えて、画像を表示するための表示情報を生成する。画像を表示するための表示情報について、図5の(b)を用いて説明する。
(Step S107)
The display
図5の(b)は、画像を表示するための表示情報の一例を示す図である。図5の(b)に示すように、画像を表示するための表示情報を「display」と称する。「display」は、図5の(b)に示すように、項目「did」及び項目「data」によって構成されている。 FIG. 5B is a diagram illustrating an example of display information for displaying an image. As shown in FIG. 5B, display information for displaying an image is referred to as “display”. As shown in (b) of FIG. 5, “display” includes an item “did” and an item “data”.
項目「did」には、当該「display」を他の「display」と識別するための識別情報が格納される。より具体的には、通し番号の数字が格納される。 The item “did” stores identification information for identifying the “display” from another “display”. More specifically, a serial number is stored.
項目「data」には、画像を示す画像情報または格納先を示す格納先情報が格納される。 The item “data” stores image information indicating an image or storage location information indicating a storage location.
例えば、表示情報生成部134が取得した画像情報が「ODEN1.png」であった場合、ステップS107において表示情報生成部134が生成する「display」には、図5の(b)に示すように、項目「did」に「1」が格納され、項目「data」に「ODEN1.png」が格納される。また、ステップS107において、表示情報生成部134は、項目「cid」に「2」を格納し、項目「type」に「staff」を格納し、項目「kind」に「speech」を格納し、項目「state」に「update」を格納し、項目「data」に「<span dlink="1">おでん</span>ですか。欲しいものを注文してください」を格納した「communication」を生成する。そして、表示情報生成部134は、生成した「display」及び「communication」を含む表示情報を、表示情報出力部136に出力する。
For example, when the image information acquired by the display
(ステップS109)
表示情報出力部136は、取得した上記表示情報を、サーバ通信部110を介して表示装置201a及び表示装置201bに出力する。
(Step S109)
The display
(ステップS111)
表示装置201bの表示情報取得部231bは、表示装置通信部210bを介して上記表示情報を取得する。そして、表示情報取得部231bは、上記表示情報を表示画像生成部232bに出力する。
(Step S111)
The display information acquisition unit 231b of the display device 201b acquires the display information via the display device communication unit 210b. Then, the display information acquisition unit 231b outputs the display information to the display image generation unit 232b.
(ステップS113)
表示画像生成部232bは、上記表示情報が示す表示画像であって、客向けに応じた表示態様を有する表示画像を生成する。より具体的には、まず、表示画像生成部232bは、取得した表示情報の「communication」を参照し、項目「state」に「update」が格納されているため、項目「cid」に格納されている「2」に関連付けられた吹き出しに、当該表示情報に含まれる発話内容を示すテキストをさらに含めた画像を生成する。ここで、項目「type」に「staff」が格納され、項目「kind」に「speech」が格納されているため、表示画像生成部232bは、当該表示情報に含まれる発話内容は、店員が発話した発話内容であると認識することができる。そのため、表示画像生成部232bは、上記吹き出しに含まれるテキストのうち、店員が発話した発話内容を示すテキスト「おでんですか。欲しいものを注文して下さい」を、当該表示情報に含まれる発話内容を示すテキスト「<span dlink="1">おでん</span>ですか。欲しいものを注文してください」に更新した上で、当該テキストの文字を小さくした画像を生成する。
(Step S113)
The display image generation unit 232b generates a display image indicated by the display information and having a display mode corresponding to the customer. More specifically, first, the display image generation unit 232b refers to “communication” of the acquired display information, and since “update” is stored in the item “state”, it is stored in the item “cid”. An image further including text indicating the utterance content included in the display information is generated in the balloon associated with “2”. Here, since “staff” is stored in the item “type” and “speech” is stored in the item “kind”, the display image generation unit 232b determines that the utterance content included in the display information is uttered by the store clerk. Can be recognized. Therefore, the display image generation unit 232b reads the text “Oden? Please order what you want” indicating the utterance content spoken by the store clerk from the text included in the balloon, and the utterance content included in the display information. After updating to the text "<span dlink =" 1 "> oden </ span>? Please order what you want", generate an image with the text of the text reduced.
さらに、表示画像生成部232bは、取得した表示情報の「display」を参照し、項目「data」に格納されている「ODEN1.png」を更に含めた表示画像を生成する。そして、表示画像生成部232bは、生成した表示画像を表示部250bに出力する。
Further, the display image generation unit 232b refers to “display” of the acquired display information, and generates a display image further including “ODEN1.png” stored in the item “data”. Then, the display image generation unit 232b outputs the generated display image to the
(ステップS115)
表示部250bは、取得した上記表示画像を表示する。
(Step S115)
The
(ステップS117)
ステップS109においてサーバ101が表示情報を出力すると、表示装置201aの表示情報取得部231aは、表示装置通信部210aを介して上記表示情報を取得する。そして、表示情報取得部231aは、上記表示情報を表示画像生成部232aに出力する。
(Step S117)
When the
(ステップS119)
表示画像生成部232aは、上記表示情報が示す表示画像であって、店員向けに応じた表示態様を有する表示画像を生成する。より具体的には、まず、表示画像生成部232aは、取得した表示情報の「communication」を参照し、項目「state」に「update」が格納されているため、項目「cid」に格納されている「2」に関連付けられた吹き出しに、当該表示情報に含まれる発話内容を示すテキストをさらに含めた画像を生成する。ここで、項目「type」に「staff」が格納され、項目「kind」に「speech」が格納されているため、表示画像生成部232aは、当該表示情報に含まれる発話内容は、店員が発話した発話内容であると認識することができる。そのため、表示画像生成部232aは、上記吹き出しに含まれるテキストのうち、店員が発話した発話内容を示す「おでんですか。欲しいものを注文して下さい」を、当該表示情報に含まれる発話内容を示すテキスト「<span dlink="1">おでん</span>ですか。欲しいものを注文してください」に更新した上で、当該テキストの文字を大きくした画像を生成する。
(Step S119)
The display image generation unit 232a generates a display image indicated by the display information and having a display mode corresponding to the store clerk. More specifically, first, the display image generation unit 232a refers to “communication” of the acquired display information, and since “update” is stored in the item “state”, it is stored in the item “cid”. An image further including text indicating the utterance content included in the display information is generated in the balloon associated with “2”. Here, since “staff” is stored in the item “type” and “speech” is stored in the item “kind”, the display image generation unit 232a determines the utterance content included in the display information by the clerk. Can be recognized. Therefore, the display image generation unit 232a displays “Oden? Please order what you want” indicating the utterance content spoken by the store clerk among the text included in the balloon, and the utterance content included in the display information. After updating to the text "<span dlink =" 1 "> oden </ span>? Please order what you want", generate an image with the text of the text enlarged.
さらに表示画像生成部232aは、取得した表示情報の「display」を参照し、項目「data」に格納されている「ODEN1.png」を更に含めた表示画像を生成する。そして、表示画像生成部232aは、生成した表示画像を表示部250aに出力する。
Further, the display image generation unit 232a refers to “display” of the acquired display information, and generates a display image further including “ODEN1.png” stored in the item “data”. Then, the display image generation unit 232a outputs the generated display image to the
(ステップS121)
表示部250aは、取得した上記表示画像を表示する。
(Step S121)
The
ここで、表示部250a及び表示部250bがそれぞれ表示する画像であって、キーフレーズ及びキーフレーズに関連した画像を含む画像について、図12の(a)及び(b)を用いて説明する。図12の(a)は、店員向けの表示装置201aが表示する画像の例であり、図12の(b)は、客向けの表示装置201bが表示する画像の例である。
Here, images that are respectively displayed by the
上述したように、表示画像生成部232a及び表示画像生成部232bは、取得した表示情報を参照し、当該表示情報に含まれるキーフレーズ及び画像を含む表示画像を生成する。そのため、店員向けの表示装置201aの表示部250aは、吹き出し302aに含まれるテキスト404aに含まれるキーフレーズ(おでん)500aを太字に更新し、おでんの画像600aを含む表示画像を表示する。また、客向けの表示装置201bの表示部250bも同様に、吹き出し302bに含まれるテキスト404bに含まれるキーフレーズ(おでん)500bを太字に更新し、おでんの画像600bを含む表示画像を表示する。なお、強調表示の例として、太字以外にも、色を変える、背景色を変えるなども挙げられる。
As described above, the display image generation unit 232a and the display image generation unit 232b refer to the acquired display information and generate a display image including a key phrase and an image included in the display information. Therefore, the
続いて、コミュニケーション支援システム2では、翻訳テキストについても、上述したステップS101〜S121と同様の処理を実行する。翻訳テキストでは、検出されるキーフレーズは「Oden」であるため、ステップS105において、キーフレーズ検索部137が「Oden」を検出すると、キーフレーズ「Oden」を「<span dlink="1">Oden</span>」に置換し、置換後の発話内容情報を表示情報生成部134に出力する。また、キーフレーズ検索部137は、取得したキーフレーズ情報のうち、項目「画像No.」に格納されている「1」によって特定される画像を示す画像情報を表示情報生成部134に出力する。
Subsequently, in the
そして、ステップS107において表示情報生成部134が生成する「display」には、項目「did」に「1」が格納され、項目「data」に「ODEN1.png」が格納される。また、ステップS107において、表示情報生成部134は、「cid」に「2」を格納し、項目「type」に「staff」を格納し、項目「kind」に「trans」を格納し、項目「state」に「update」を格納し、項目「data」に「<span dlink="1">Oden</span>? You order what you want.」を格納した「communication」を生成する。
In “display” generated by the display
続いて、表示装置201bの表示画像生成部232bは、ステップS113において、客向けに応じた表示態様を有する表示画像を生成する。より具体的には、まず、表示画像生成部232bは、取得した表示情報の「communication」を参照し、項目「state」に「update」が格納されているため、項目「cid」に格納されている「2」に関連付けられた吹き出しに、当該表示情報に含まれる発話内容を示すテキストを更に含めた画像を生成する。ここで、項目「type」に「staff」が格納され、項目「kind」に「trans」が格納されているため、表示画像生成部232bは、当該表示情報に含まれる発話内容は、店員が発話した発話内容の翻訳であると認識することができる。そのため、表示画像生成部232bは、上記吹き出しに含まれるテキストのうち、店員の翻訳発話内容を示すテキスト「Oden? You order what you want.」を、当該表示情報に含まれる発話内容を示すテキスト「<span dlink="1">Oden</span>? You order what you want.」に更新した上で、当該テキストの文字を大きくした画像を生成する。 Subsequently, in step S113, the display image generation unit 232b of the display device 201b generates a display image having a display mode corresponding to the customer. More specifically, first, the display image generation unit 232b refers to “communication” of the acquired display information, and since “update” is stored in the item “state”, it is stored in the item “cid”. An image further including text indicating the utterance content included in the display information is generated in the balloon associated with “2”. Here, since “staff” is stored in the item “type” and “trans” is stored in the item “kind”, the display image generation unit 232b determines that the utterance content included in the display information is uttered by the store clerk. Can be recognized as a translation of the utterance content. Therefore, the display image generation unit 232b uses the text “Oden? You order what you want.” Indicating the translated utterance content of the clerk among the text included in the balloon, and the text “Oden? You order what you want.” Indicating the utterance content included in the display information. <span dlink = "1"> Oden </ span>? You order what you want. "
更に、表示画像生成部232bは、取得した表示情報の「display」を参照し、項目「data」に格納されている「ODEN1.png」を更に含めた表示画像を生成する。そして、表示画像生成部232bは、生成した表示画像を表示部250bに出力する。
Further, the display image generation unit 232b refers to “display” of the acquired display information, and generates a display image further including “ODEN1.png” stored in the item “data”. Then, the display image generation unit 232b outputs the generated display image to the
また、表示装置201aの表示画像生成部232aは、ステップS119において、店員向けに応じた表示態様を有する表示画像を生成する。より具体的には、まず、表示画像生成部232aは、取得した表示情報の「communication」を参照し、項目「state」に「update」が格納されているため、項目「cid」に格納されている「2」に関連付けられた吹き出しに、当該表示情報に含まれる発話内容を示すテキストを更に含めた画像を生成する。ここで、項目「type」に「staff」が格納され、項目「kind」に「trans」が格納されているため、表示画像生成部232aは、当該表示情報に含まれる発話内容は、店員が発話した発話内容の翻訳であると認識することができる。そのため、表示画像生成部232aは、上記吹き出しに含まれるテキストのうち、店員の翻訳発話内容を示すテキスト「Oden? You order what you want.」を、当該表示情報に含まれる発話内容を示すテキスト「<span dlink="1">Oden</span>? You order what you want.」に更新した上で、当該テキストの文字を小さくした画像を生成する。 In step S119, the display image generation unit 232a of the display device 201a generates a display image having a display mode corresponding to the store clerk. More specifically, first, the display image generation unit 232a refers to “communication” of the acquired display information, and since “update” is stored in the item “state”, it is stored in the item “cid”. An image further including text indicating the utterance content included in the display information is generated in the balloon associated with “2”. Here, since “staff” is stored in the item “type” and “trans” is stored in the item “kind”, the display image generation unit 232a determines that the utterance content included in the display information is uttered by the store clerk. Can be recognized as a translation of the utterance content. Therefore, the display image generation unit 232a uses the text “Oden? You order what you want.” Indicating the translated utterance content of the clerk among the text included in the balloon, and the text “Oden? You order what you want.” Indicating the utterance content included in the display information. <span dlink = "1"> Oden </ span>? You order what you want. "
更に、表示画像生成部232aは、取得した表示情報の「display」を参照し、項目「data」に格納されている「ODEN1.png」を更に含めた表示画像を生成する。そして、表示画像生成部232aは、生成した表示画像を表示部250aに出力する。
Further, the display image generation unit 232a refers to “display” of the acquired display information, and generates a display image further including “ODEN1.png” stored in the item “data”. Then, the display image generation unit 232a outputs the generated display image to the
ここで、表示部250a及び表示部250bがそれぞれ表示する画像であって、キーフレーズ及びキーフレーズに関連した画像を含む画像について、図13の(a)及び(b)を用いて説明する。図13の(a)は、店員向けの表示装置201aが表示する画像の他の例であり、図13の(b)は、客向けの表示装置201bが表示する画像の他の例である。
Here, images that are respectively displayed by the
上述したように、表示画像生成部232a及び表示画像生成部232bは、取得した表示情報を参照し、当該表示情報に含まれるキーフレーズ及び画像を含む表示画像を生成する。そのため、店員向けの表示装置201aの表示部250aは、吹き出し302aに含まれるテキスト406aに含まれるキーフレーズ(Oden)502aを太字に更新し、おでんの画像600aを含む表示画像を表示する。また、客向けの表示装置201bの表示部250bも同様に、吹き出し302bに含まれるテキスト406bに含まれるキーフレーズ(Oden)502bを太字に更新し、おでんの画像600bを含む表示画像を表示する。
As described above, the display image generation unit 232a and the display image generation unit 232b refer to the acquired display information and generate a display image including a key phrase and an image included in the display information. Therefore, the
このように、本実施形態に係るコミュニケーション支援システム2では、サーバ101は、発話内容または翻訳内容に所定のフレーズが含まれているか否かを判定し、所定のフレーズが含まれている場合、所定のフレーズを強調表示するよう表示装置201に対して指示する。また、コミュニケーション支援システム2では、表示装置201は、所定のフレーズに関連した画像を表示する。そのため、コミュニケーション支援システム2では、例えば、所定のフレーズとして商品名を設定することにより、当該商品名を客または店員が発話すると表示装置201は商品の画像を表示するので、表示装置201の使い勝手を向上させ利用者同士のコミュニケーションを円滑にすることができる。
As described above, in the
なお、本実施形態では、「display」の「data」に画像情報が格納されている場合について説明したが、上述したように、「display」の「data」には画像の格納先を示す格納先情報が格納されていてもよい。この場合、表示画像生成部232は、当該格納先情報が示す格納先から画像を取得し、当該画像を含む表示画像を生成する。
In this embodiment, the case where image information is stored in “data” of “display” has been described. However, as described above, “data” of “display” indicates a storage location that indicates a storage location of an image. Information may be stored. In this case, the display
〔実施形態3〕
本発明の他の実施形態に係るコミュニケーション支援システム3について、図14〜図21に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
[Embodiment 3]
The
(コミュニケーション支援システム3)
コミュニケーション支援システム3はサーバ102及び表示装置202によって構成され、サーバ102及び表示装置202は、上述した実施形態におけるコミュニケーション支援システム2におけるサーバ101及び表示装置201が備えている各機能に加えて、客または店員による操作を示す操作情報を取得する。本実施形態におけるサーバ102及び表示装置202について、図14及び図15を用いて説明する。
(Communication support system 3)
The
(サーバ102)
図14は、本発明の実施形態3におけるサーバ102の要部構成を示すブロック図である。サーバ102は、図14に示すように、実施形態2におけるサーバ101が備えているサーバ制御部121及びキーフレーズデータベース150に替えて、サーバ制御部122及びキーフレーズデータベース152を備えている。
(Server 102)
FIG. 14 is a block diagram illustrating a main configuration of the
(サーバ制御部122)
サーバ制御部122は、サーバ102の各部を統括的に制御するものであり、図14に示すように、サーバ制御部121の機能に加えて、操作情報取得部138としても機能する。
(Server control unit 122)
The
操作情報取得部138は、サーバ通信部110を制御し、表示装置202から出力された操作情報を取得する。
The operation
(キーフレーズデータベース152)
キーフレーズデータベース152に格納されているキーフレーズテーブルを、図16に示す。図16は、本発明の実施形態3におけるキーフレーズ情報が格納されたキーフレーズテーブルである。
(Keyphrase database 152)
A key phrase table stored in the
キーフレーズテーブルは、図16に示すように、実施形態2におけるキーフレーズデータベース150に格納されていたキーフレーズテーブルに加えて、項目「ポークフラグ」を含んでいる。
As shown in FIG. 16, the key phrase table includes an item “poke flag” in addition to the key phrase table stored in the
項目「ポークフラグ」には、関連付けられたキーフレーズがポークと関連しているか否かを示す情報が格納される。より具体的には、関連付けられたキーフレーズがポークと関連していることを示す「1」または関連付けられたキーフレーズがポークと関連していないことを示す「0」が格納される。 The item “poke flag” stores information indicating whether or not the associated key phrase is associated with the pork. More specifically, “1” indicating that the associated key phrase is associated with the pork or “0” indicating that the associated key phrase is not associated with the pork is stored.
(表示装置202)
図15は、本発明の実施形態3における表示装置202の要部構成を示すブロック図である。表示装置202は、図15に示すように、実施形態2における表示装置200が備えている表示装置制御部220に替えて表示装置制御部222を備え、操作受付部270を更に備えている。
(Display device 202)
FIG. 15 is a block diagram illustrating a main configuration of the
操作受付部270は、ユーザの操作を受け付け、当該操作を示す操作情報を出力する。なお、操作受付部270は、表示部250と一体となったタッチパネル式表示部であってもよい。
The operation reception unit 270 receives a user operation and outputs operation information indicating the operation. The operation receiving unit 270 may be a touch panel display unit integrated with the
(表示装置制御部222)
表示装置制御部222は、表示装置202の各部を統括的に制御するものであり、図15に示すように、表示装置制御部220の機能に加えて、操作情報取得部234としても機能する。
(Display device control unit 222)
The display
操作情報取得部234は、操作受付部270から出力された操作情報を取得し、表示装置通信部210を制御し、取得した操作情報をサーバ102に出力する。
The operation
(コミュニケーション支援システム3の処理1)
図17は、本発明の実施形態3における表示装置202が表示する表示画像を示す図である。コミュニケーション支援システム3の処理の内、キーフレーズに関連したオブジェクトであって、客または店員の操作を受け付けるオブジェクトを表示する処理について、上述した図4、図7、図11を用いて説明する。
(
FIG. 17 is a diagram illustrating a display image displayed by the
まず、上述した実施形態2において、図13に示す表示画像を表示装置201が表示した後、おでんの画像に含まれる「つくね」に対して客が「What is this?」と発話し、それに対して店員が「つくねです」と発話した場合、コミュニケーション支援システム3は、上述した図4、図7に示した処理に従い、表示装置201が表示画像を表示する。
First, in the above-described second embodiment, after the display device 201 displays the display image shown in FIG. 13, the customer speaks “What is this?” To “Tsukune” included in the oden image, When the store clerk utters “Tsunene”, the
続いて、コミュニケーション支援システム3は図11に示した処理に従い、サーバ102は、ステップS101においてキーフレーズを検索する。この場合、発話内容にキーフレーズ「つくね」が含まれているため、キーフレーズ検索部137は、ステップS105において、「つくね」に関連付けられたキーフレーズ情報をキーフレーズデータベース152から取得する。そして、キーフレーズ検索部137は、キーフレーズを置換した発話内容情報と画像情報とを表示情報生成部134に出力する。更に、キーフレーズ検索部137は、ステップS105において、項目「ポークフラグ」に「1」が格納されていることを示すフラグ情報を表示情報生成部134に出力する。
Subsequently, according to the processing illustrated in FIG. 11, the
表示情報生成部134は、ステップS107において、置換後の発話内容情報が示す発話内容を表示するための表示情報を生成する。ここで、表示情報生成部134は、取得したフラグ情報を参照し、当該フラグ情報が項目「ポークフラグ」に「1」が格納されていることを示す場合、豚肉が含まれる商品は含まない画像を表示する操作を受け付けるオブジェクトを示すオブジェクト情報を含む表示情報を生成する。そして、ステップS109において、表示情報出力部136は当該表示情報を、サーバ通信部110を介して表示装置201a及び表示装置201bに出力する。
In step S107, the display
表示装置201bの表示画像生成部232bは、ステップS113において、上記表示情報が示す表示画像を生成する。ここで、上述したステップS113の処理に加えて、表示画像生成部232bは、表示情報に含まれているオブジェクト情報を参照する。なお、表示画像生成部232bは、参照したオブジェクト情報が、豚肉が含まれる商品は含まない画像を表示する操作を受け付けるオブジェクトを示す場合、追加の処理は実行しない。 In step S113, the display image generation unit 232b of the display device 201b generates a display image indicated by the display information. Here, in addition to the process of step S113 described above, the display image generation unit 232b refers to the object information included in the display information. Note that the display image generation unit 232b does not perform additional processing when the referenced object information indicates an object that receives an operation for displaying an image that does not include a product including pork.
続いて、表示装置201aの表示画像生成部232aは、ステップS119において、上記表示情報が示す表示画像を生成する。ここで、上述したステップS119の処理に加えて、表示画像生成部232aは、表示情報に含まれているオブジェクト情報を参照する。そして、表示画像生成部232aは、参照したオブジェクト情報が、豚肉が含まれる商品は含まない画像を表示する操作を受け付けるオブジェクトを示す場合、豚肉が含まれる商品は含まない画像を表示する操作を受け付けるオブジェクトを含む表示画像を生成する。 Subsequently, in step S119, the display image generation unit 232a of the display device 201a generates a display image indicated by the display information. Here, in addition to the process of step S119 described above, the display image generation unit 232a refers to the object information included in the display information. When the referenced object information indicates an object that receives an operation for displaying an image that does not include a product that includes pork, the display image generation unit 232a receives an operation that displays an image that does not include a product that includes pork. A display image including an object is generated.
ここで、表示部250a及び表示部250bがそれぞれ表示する画像であって、操作を受け付けるオブジェクトを含む画像及び操作を受け付けるオブジェクトを含まない画像について、図17の(a)を用いて説明する。図17の(a)は、店員向けの表示装置202aが表示する画像の例であり、(b)は、客向けの表示装置202bが表示する画像の例である。
Here, an image that is displayed on each of the
図17の(a)に示すように、表示部250aは、キーフレーズ(つくね)510a及びキーフレーズ(chicken meatball)512aが強調表示され、キーフレーズに関連した画像602aを含み、更に、豚肉が含まれる商品は含まない画像を表示する操作を受け付けるオブジェクトである「Porkless」ボタン604aを含む表示画像を表示する。一方、図17の(b)に示すように、表示部250bは、キーフレーズ(つくね)510b及びキーフレーズ(chicken meatball)512bが強調表示され、キーフレーズに関連した画像602bを含む画像を表示し、当該画像は操作を受け付けるオブジェクトは含まない。
As shown in FIG. 17A, the
なお、本実施形態では、客向けの表示装置202bは、参照したオブジェクト情報が、豚肉が含まれる商品は含まない画像を表示する操作を受け付けるオブジェクトを示す場合であっても、追加の処理は実行しないとしたが、上述した店員向け表示装置202aと同様、「Porkless」ボタン604bを表示する構成であってもよい。また、店員向け表示装置202aも同様に、参照したオブジェクト情報が、豚肉が含まれる商品は含まない画像を表示する操作を受け付けるオブジェクトを示す場合、追加の処理は実行しない構成であってもよい。また、図17の(a)に示すように、表示装置202aは、初期画面に戻る操作を受け付けるオブジェクトである「Top Page」ボタン605aを含む表示画像を表示してもよい。
In the present embodiment, the customer display device 202b performs additional processing even when the referenced object information indicates an object that receives an operation for displaying an image that does not include a product including pork. However, the “Parkless” button 604b may be displayed in the same manner as the store clerk display device 202a described above. Similarly, the display device 202a for the store clerk may be configured such that the additional processing is not executed when the referenced object information indicates an object that receives an operation for displaying an image that does not include a product including pork. In addition, as illustrated in FIG. 17A, the display device 202a may display a display image including a “Top Page”
また、本実施形態では、キーフレーズテーブルが「ポーク」と関連しているかを示す項目を含む場合について説明したが、この構成に限定されない。例えば、関連付けられたキーフレーズが他の素材(例えば、「野菜」など)と関連しているかを示す項目、関連付けられたキーフレーズの調理(例えば、「生もの」)の状態を示す項目、関連付けられたキーフレーズの属性を示す項目(例えば、項目「○○円以下」など)を含む構成であってもよい。 Moreover, although this embodiment demonstrated the case where the key phrase table contains the item which shows whether it is related with "pork", it is not limited to this structure. For example, an item indicating whether the associated key phrase is related to another material (eg, “vegetables”, etc.), an item indicating the state of cooking of the associated key phrase (eg, “raw”), association The configuration may include an item (for example, the item “XX yen or less” or the like) indicating the attribute of the key phrase.
(コミュニケーション支援システム3の処理2)
図18は、本発明の実施形態3に係るコミュニケーション支援システム3における処理の流れを示すシークエンス図である。また、図19は、本発明の実施形態3における表示装置202が表示する他の表示画像を示す図である。コミュニケーション支援システム3において、上述した図17の表示画像を表示した後、客または店員の操作を受け付けた場合の処理について、図18及び図19を用いて説明する。
(
FIG. 18 is a sequence diagram showing the flow of processing in the
(ステップS201)
表示装置202aの操作情報取得部234aは、操作受付部270aを介して、「Porkless」ボタン604aが押されたことを示す操作情報を取得する。
(Step S201)
The operation information acquisition unit 234a of the display device 202a acquires operation information indicating that the “Porkless”
(ステップS203)
操作情報取得部234aは、表示装置通信部210aを介して、取得した操作情報をサーバ102に出力する。
(Step S203)
The operation information acquisition unit 234a outputs the acquired operation information to the
(ステップS204)
サーバ102の操作情報取得部138は、サーバ通信部110を介して、上記操作情報を取得する。そして、操作情報取得部138は、取得した上記操作情報を、表示情報生成部134に出力する。
(Step S204)
The operation
(ステップS205)
表示情報生成部134は、取得した上記操作情報を参照し、表示情報を生成する。ここで、上記操作情報は、「Porkless」ボタン604aが押されたことを示すので、豚肉が含まれる商品は含まない画像を表示するための表示情報を生成する。より具体的には、表示情報生成部134は、項目「did」に「3」を格納し、項目「data」に豚肉が含まれる商品は含まない画像である「ODEN4.png」を格納した「display」を生成する。そして、表示情報生成部134は、生成した「display」を含む表示情報を、表示情報出力部136に出力する。
(Step S205)
The display
(ステップS207)
表示情報出力部136は、取得した上記表示情報を、サーバ通信部110を介して表示装置202a及び表示装置202bに出力する。
(Step S207)
The display
(ステップS209)
表示装置202bの表示情報取得部231bは、表示装置通信部210bを介して上記表示情報を取得する。そして、表示情報取得部231bは、上記表示情報を表示画像生成部232bに出力する。
(Step S209)
The display information acquisition unit 231b of the display device 202b acquires the display information via the display device communication unit 210b. Then, the display information acquisition unit 231b outputs the display information to the display image generation unit 232b.
(ステップS211)
表示画像生成部232bは、上記表示情報が示す表示画像であって、客向けに応じた表示態様を有する表示画像を生成する。より具体的には、表示画像生成部232bは、取得した表示情報に含まれている「display」を参照し、表示画像に含まれる画像を項目「data」に格納されている「ODEN4.png」に更新した表示画像を生成する。そして、表示画像生成部232bは、生成した表示画像を表示部250bに出力する。
(Step S211)
The display image generation unit 232b generates a display image indicated by the display information and having a display mode corresponding to the customer. More specifically, the display image generation unit 232b refers to “display” included in the acquired display information, and the image included in the display image is “ODEN4.png” stored in the item “data”. An updated display image is generated. Then, the display image generation unit 232b outputs the generated display image to the
(ステップS213)
表示部250bは、取得した上記表示画像を表示する。
(Step S213)
The
(ステップS215)
ステップS207においてサーバ102が表示情報を出力すると、表示装置202aの表示情報取得部231aは、表示装置通信部210aを介して上記表示情報を取得する。そして、表示情報取得部231aは、上記表示情報を表示画像生成部232aに出力する。
(Step S215)
When the
(ステップS217)
表示画像生成部232aは、上記表示情報が示す表示画像であって、店員向けに応じた表示態様を有する表示画像を生成する。より具体的には、表示画像生成部232aは、取得した表示情報に含まれている「display」を参照し、表示画像に含まれる画像を項目「data」に格納されている「ODEN4.png」に更新した表示画像を生成する。そして、表示画像生成部232aは、生成した表示画像を表示部250aに出力する。
(Step S217)
The display image generation unit 232a generates a display image indicated by the display information and having a display mode corresponding to the store clerk. More specifically, the display image generation unit 232a refers to “display” included in the acquired display information, and the image included in the display image is “ODEN4.png” stored in the item “data”. An updated display image is generated. Then, the display image generation unit 232a outputs the generated display image to the
(ステップS219)
表示部250aは、取得した上記表示画像を表示する。
(Step S219)
The
ここで、表示部250a及び表示部250bがそれぞれ表示する画像について、図19を用いて説明する。図19の(a)は、店員向けの表示装置202aが表示する他の表示画像の例であり、(b)は、客向けの表示装置202bが表示する他の表示画像の例である。
Here, images displayed on the
図19の(a)に示すように、表示部250aは、豚肉が含まれる商品は含まない画像で606aを含む表示画像を表示する。また、表示部250bも同様に、豚肉が含まれる商品は含まない画像で606bを含む表示画像を表示する。
As shown to (a) of FIG. 19, the
また、操作を受け付けるオブジェクトは、テキストであってもよい。テキストを、操作を受け付けるオブジェクトとした場合について、図20を用いて説明する。図20は、本発明の実施形態3における表示装置202が表示する更に他の表示画像を示す図であり、(a)は、店員向けの表示装置202aが表示する更に他の表示画像の例であり、(b)は、客向けの表示装置202bが表示する更に他の表示画像の例である。
The object that receives the operation may be text. A case where the text is an object that receives an operation will be described with reference to FIG. FIG. 20 is a diagram showing still another display image displayed by the
例えば、表示画像に含まれるテキスト「おでん」を、おでんの画像を表示する操作を受け付けるオブジェクトとした場合、表示装置202aは、図19の(a)に示す画像に含まれる「おでん」のテキスト500aまたは「Oden」のテキスト502aが押されたことを示す操作情報を取得すると、当該操作情報をサーバ102に出力する。そして、表示装置202aは、サーバ102から、項目「data」に「ODEN1.png」が格納された「display」を含む表示情報を取得する。この場合、表示装置202aは、図20の(a)に示すように、おでんの画像600aを含む表示画像を表示する。また、表示装置202bも同様に、サーバ102から、項目「data」に「ODEN1.png」が格納された「display」を含む表示情報を取得する。この場合、表示装置202bは、図20の(b)に示すように、おでんの画像600bを含む表示画像を表示する。
For example, when the text “oden” included in the display image is an object that accepts an operation to display the oden image, the display device 202a displays the text “a oden” 500a included in the image shown in FIG. Alternatively, when the operation information indicating that the “Oden”
また、表示装置202bにおいても、表示画像に含まれるテキスト「おでん」を、おでんの画像を表示する操作を受け付けるオブジェクトとした場合、図19の(b)に示す画像に含まれる「おでん」のテキスト500bまたは「Oden」のテキスト502bが押されたことを示す操作情報を取得すると、当該操作情報をサーバ102に出力する。そして、表示装置202bは、サーバ102から、項目「data」に「ODEN1.png」が格納された「display」を含む表示情報を取得する。この場合、表示装置202bは、図20の(b)に示すように、おでんの画像600bを含む表示画像を表示する。また、表示装置202aも同様に、サーバ102から、項目「data」に「ODEN1.png」が格納された「display」を含む表示情報を取得する。この場合、表示装置202aは、図20の(a)に示すように、おでんの画像600aを含む表示画像を表示する。
Also, in the display device 202b, when the text “oden” included in the display image is an object that accepts an operation for displaying an oden image, the text “oden” included in the image shown in FIG. When the operation information indicating that the
このように、本実施形態に係るコミュニケーション支援システム3では、表示装置202は、キーフレーズに関連したオブジェクトであって、客または店員の操作を受け付けるオブジェクトを含む表示画像を生成する。そのため、コミュニケーション支援システム3では、表示装置202の使い勝手を向上させることができる。また、店員向けの表示装置202a及び客向けの表示装置202bの何れかにおいて操作を受け付けた場合であっても、店員向けの表示装置202a及び客向けの表示装置202bの表示画像が更新されるので、利用者同士のコミュニケーションを円滑にすることができる。
As described above, in the
〔実施形態4〕
本発明の他の実施形態に係るコミュニケーション支援システム4について、図21に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
[Embodiment 4]
The
(コミュニケーション支援システム4)
コミュニケーション支援システム4は、サーバ103及び表示装置203によって構成される。上述した実施形態では、表示装置は2台(表示装置200a及び表示装置200bなど)で構成されていたが、コミュニケーション支援システム4では、表示装置が1台(表示装置203)である場合について説明する。なお、サーバ103は、上述したサーバ100と同様の機能を備えているため、説明は省略する。
(Communication support system 4)
The
(表示装置203)
図21は、本発明の実施形態4における表示装置203の要部構成を示すブロック図である。表示装置203は、図21に示すように、表示装置通信部210、表示装置制御部223、表示部251、及び音声受付部260を備えている。なお、表示装置通信部210及び音声受付部260は上述した機能と同様の機能を備えているため、説明は省略する。
(Display device 203)
FIG. 21 is a block diagram illustrating a main configuration of the
表示部251は、上述した表示部250の機能に加えて、店員向け画像を表示する第1の表示領域と、客向け画像を表示する第2の表示領域を備えている。そして、表示部251は、表示装置制御部223が出力する表示画像のうち、店員向けの表示画像である第1の表示画像を上記第1の表示領域に表示し、客向けの表示画像である第2の表示画像を上記第2の表示領域に表示する。
In addition to the function of the
(表示装置制御部223)
表示装置制御部223は、表示装置203の各部を統括的に制御するものであり、図21に示すように、上述した表示装置制御部220における表示画像生成部232に替えて、表示画像生成部240として機能する。
(Display device control unit 223)
The display
表示画像生成部240は、店員向けの表示態様である第1の表示態様を有する表示画像である第1の表示画像と、上記第2の表示領域に表示する表示画像であって、上記第1の表示態様とは異なる第2の表示態様を有する表示画像である第2の表示画像とを生成し、表示部251に出力する。
The display
このように、本実施形態に係るコミュニケーション支援システム4では、店員向けの表示態様である第1の表示態様を有する表示画像である第1の表示画像を、表示部251の第1の表示領域に表示し、客向けの表示態様である第2の表示態様を有する表示画像である第2の表示画像を、表示部251の第2の表示領域に表示する。そのため、上述の実施形態と同様、表示装置203の使い勝手を向上させ利用者同士のコミュニケーションを円滑にすることができる。
Thus, in the
〔実施形態5〕
本発明の他の実施形態に係るコミュニケーション支援システム5について、図22に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
[Embodiment 5]
The
(コミュニケーション支援システム5)
コミュニケーション支援システム5は、サーバ104、表示装置204、音声抽出サーバ700、音声認識サーバ720、及び翻訳サーバ740によって構成される。上述の各実施形態におけるサーバ100〜103が有する各機能が、サーバ104、音声抽出サーバ700、音声認識サーバ720、及び翻訳サーバ740にて実現されている。サーバ104、音声抽出サーバ700、音声認識サーバ720、及び翻訳サーバ740について、図22を用いて説明する。図22は、本発明の実施形態5におけるサーバの要部構成を示すブロック図である。なお、表示装置204は、上述した表示装置200〜203と同様の構成を備えるため、説明を省略する。
(Communication support system 5)
The
(サーバ104)
サーバ104は、図22に示すように、サーバ通信部110及びサーバ制御部124を備えている。
(Server 104)
As shown in FIG. 22, the
サーバ通信部110は、外部の機器と情報を送受信することができる。
The
(サーバ制御部124)
サーバ制御部124は、サーバ104の各構成を統括的に制御するものであり、図22に示すように、表示情報出力部136、音声情報取得部140、発話内容情報取得部(発話内容出力部)141、表示情報生成部(発話内容情報出力部、翻訳内容情報出力部)142、及び翻訳発話内容情報取得部(翻訳内容情報取得部)143としても機能する。
(Server control unit 124)
The
表示情報出力部136は、表示情報生成部142が生成した表示情報を、サーバ通信部110を制御して表示装置204に出力する。
The display
音声情報取得部140は、サーバ通信部110を制御して、表示装置204から出力された音声情報を取得し、当該音声情報を音声抽出サーバ700に出力する。また、音声情報取得部140は、音声抽出サーバ700から出力された抽出音声情報を取得し、音声認識サーバ720に出力する。
The audio
発話内容情報取得部141は、サーバ通信部110を制御して、音声認識サーバ720から出力された発話内容情報を取得する。また、発話内容情報取得部141は、取得した発話内容情報が示す発話内容を、翻訳サーバ740に出力する。
The utterance content
表示情報生成部142は、発話内容情報取得部141が取得した発話内容情報と、翻訳発話内容情報取得部143が取得した翻訳発話内容情報とを関連付け、当該発話内容情報及び翻訳発話内容情報の少なくとも何れかを含む表示情報を表示情報出力部136に出力する。
The display
翻訳発話内容情報取得部143は、サーバ通信部110を制御して、翻訳サーバ740から出力された翻訳内容を示す翻訳内容情報を取得する。
The translation utterance content
(音声抽出サーバ700)
音声抽出サーバ700は、図22に示すように、音声抽出サーバ通信部701及び音声抽出部702を備えている。
(Voice extraction server 700)
The
音声抽出サーバ通信部701は、外部の機器と情報を送受信することができる。
The voice extraction
音声抽出部702は、音声抽出サーバ通信部701を制御し、サーバ104から出力された音声情報に含まれている音声から、客または店員が発話した音声を抽出し、抽出した音声を示す抽出音声情報を、サーバ104に出力する。
The
(音声認識サーバ720)
音声認識サーバ720は、図22に示すように、音声認識サーバ通信部721及び音声認識部722を備えている。
(Voice recognition server 720)
As shown in FIG. 22, the
音声認識サーバ通信部721は、外部の機器と情報を送受信することができる。
The voice recognition
音声認識部722は、音声認識サーバ通信部721を制御し、サーバ104から出力された抽出音声情報が示す音声を認識し、認識した音声内容を示す発話内容情報を、サーバ104に出力する。
The
(翻訳サーバ740)
翻訳サーバ740は、図22に示すように、翻訳サーバ通信部741及び翻訳部742を備えている。
(Translation server 740)
The translation server 740 includes a translation
翻訳サーバ通信部741は、外部の機器と情報を送受信することができる。
The translation
翻訳部742は、翻訳サーバ通信部741を制御し、サーバ104から出力された発話内容を取得し、当該発話内容の翻訳内容を示す翻訳内容情報をサーバ104に出力する。
The
このように、本実施形態に係るコミュニケーション支援システム5では、上述の各実施形態におけるサーバ100〜103を、サーバ104、音声抽出サーバ700、音声認識サーバ720、翻訳サーバ740によって実現することができる。そのため、各サーバをそれぞれ適した場所(店舗内、クラウド上など)に設置することができる。
Thus, in the
例えば、音声抽出サーバ700を店舗内に設置することにより、各店舗の状況に応じた設定(例えば、ノイズのフィルタリングなど)をすることができる。そのため、音声抽出サーバ700は、店舗内に設置することが好ましい。また、音声抽出サーバ700は、店員の発話した音声を抽出する音声抽出サーバ700aと、客の発話した音声を抽出する音声抽出サーバ700bとによって構成されてもよい。
For example, setting the
また、サーバ104はクラウド上に設置することにより、各店舗での発話内容を取得し、各店舗で起こったことを共有することができる。
Further, by installing the
また、各サーバは、同じ事業者によって管理されていてもよいし、異なる事業者によって管理されていてもよい。 Each server may be managed by the same business operator or may be managed by a different business operator.
〔実施形態6〕
サーバ100〜104及び表示装置200〜204の各ブロックは、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。後者の場合、サーバ100〜104及び表示装置200〜204のそれぞれを、図23に示すようなコンピュータ(電子計算機)を用いて構成することができる。
[Embodiment 6]
Each block of the
図23は、サーバ100〜104及び表示装置200〜204として利用可能なコンピュータ910の構成を例示したブロック図である。コンピュータ910は、バス911を介して互いに接続された演算装置912と、主記憶装置913と、補助記憶装置914と、入出力インターフェース915と、通信インターフェース916とを備えている。演算装置912、主記憶装置913、及び補助記憶装置914は、それぞれ、例えばCPU、RAM(random access memory)、ハードディスクドライブであってもよい。入出力インターフェース915には、ユーザがコンピュータ910に各種情報を入力するための入力装置920、及び、コンピュータ910がユーザに各種情報を出力するための出力装置930が接続される。入力装置920及び出力装置930は、コンピュータ910に内蔵されたものであってもよいし、コンピュータ910に接続された(外付けされた)ものであってもよい。例えば、入力装置920は、キーボード、マウス、タッチセンサなどであってもよく、出力装置930は、ディスプレイ、プリンタ、スピーカなどであってもよい。また、タッチセンサとディスプレイとが一体化されたタッチパネルのような、入力装置920及び出力装置930の双方の機能を有する装置を適用してもよい。そして、通信インターフェース916は、コンピュータ910が外部の装置と通信するためのインターフェースである。
FIG. 23 is a block diagram illustrating a configuration of a
補助記憶装置914には、コンピュータ910をサーバ100〜104及び表示装置200〜204として動作させるための各種のプログラムが格納されている。そして、演算装置912は、補助記憶装置914に格納された上記プログラムを主記憶装置913上に展開して該プログラムに含まれる命令を実行することによって、コンピュータ910を、サーバ100〜104及び表示装置200〜204が備える各部として機能させる。なお、補助記憶装置914が備える、プログラム等の情報を記録する記録媒体は、コンピュータ読み取り可能な「一時的でない有形の媒体」であればよく、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などであってもよい。
The
また、上記プログラムは、コンピュータ910の外部から取得してもよく、この場合、任意の伝送媒体(通信ネットワークや放送波等)を介して取得してもよい。そして、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
The program may be acquired from the outside of the
〔変形例〕
上述の各実施形態では、コミュニケーション支援システム1〜5が翻訳を行う場合について説明したが、コミュニケーション支援システム1〜5はその構成に限定されない。
[Modification]
In each of the above-described embodiments, the case where the
例えば、商品名をキーフレーズで登録し、当該商品に関連したおすすめ商品の画像を表示装置に表示させてもよい。この場合、商品の型番、管理番号、在庫数、商品のマニュアル、取説、及び接客マニュアルなどを、店員向け表示装置にのみ表示させる構成としてもよい。また、当該商品に関連した広告、CMを客向け表示装置にのみ表示させる構成としてもよい。 For example, a product name may be registered with a key phrase, and an image of a recommended product related to the product may be displayed on the display device. In this case, the configuration may be such that the product model number, management number, inventory quantity, product manual, instruction manual, customer service manual, etc. are displayed only on the display device for the store clerk. Moreover, it is good also as a structure which displays only the advertisement and CM relevant to the said goods on a display apparatus for customers.
また、登録したキーフレーズに関連したキーフレーズをSNS(Social Network Service)上にて検索し、登録したキーフレーズに関連したキーフレーズを含むコメントやコメント数を表示する構成であってもよい。 Moreover, the structure which searches the key phrase relevant to the registered key phrase on SNS (Social Network Service), and displays the comment containing the key phrase relevant to the registered key phrase and the number of comments may be sufficient.
〔まとめ〕
本発明の態様1に係る表示装置(200〜202)は、サービス提供者向け画像及びサービス利用者向け画像の少なくとも何れかを表示する表示装置であって、表示すべき情報を含む表示情報を取得する取得部(表示情報取得部231)と、上記取得部が取得した表示情報の示す表示画像であって、当該表示装置がサービス提供者向けであるかサービス利用者向けであるのかに応じた表示態様を有する表示画像を生成する表示画像生成部(232)と、上記表示画像生成部が生成した表示画像を表示する表示部(250)と、を備えている。
[Summary]
A display device (200 to 202) according to
上記の構成によれば、表示装置の使い勝手を向上させ利用者同士のコミュニケーションを円滑にすることができる。 According to said structure, the usability of a display apparatus can be improved and communication between users can be made smooth.
本発明の態様2に係る表示装置は、上記態様1において、上記表示画像生成部は、上記表示情報の示すテキストであって、当該表示装置がサービス提供者向けであるかサービス利用者向けであるのかに応じた文字の設定によって表されるテキストを含む表示画像を生成してもよい。
In the display device according to
上記の構成によれば、サービス提供者及びサービス利用者がそれぞれ見たいテキストを見やすく表示することができる。 According to said structure, the text which a service provider and a service user each want to see can be displayed easily.
本発明の態様3に係る表示装置は、上記態様1または2において、上記表示情報は、サービス提供者またはサービス利用者が発話した内容である発話内容を示す発話内容情報を含み、上記表示画像生成部は、上記取得部が取得した発話内容情報を参照し、当該発話内容情報が示す発話内容を含む表示画像を生成してもよい。
The display device according to
上記の構成によれば、サービス提供者またはサービス利用者が発話した発話内容をサービス提供者及びサービス利用者に提示することができる。 According to said structure, the utterance content which the service provider or the service user uttered can be shown to a service provider and a service user.
本発明の態様4に係る表示装置は、上記態様3において、上記表示情報は、上記発話内容情報が示す発話内容の翻訳である翻訳発話内容を示す翻訳発話内容情報を含み、上記表示画像生成部は、上記取得部が取得した翻訳発話内容情報を参照し、当該翻訳発話内容情報が示す翻訳発話内容を更に含むよう上記表示画像を更新してもよい。
In the display device according to
上記の構成によれば、発話内容の後に、当該発話内容の翻訳をサービス提供者及びサービス利用者に提示することができる。 According to said structure, the translation of the said utterance content can be shown to a service provider and a service user after the utterance content.
本発明の態様5に係る表示装置は、上記態様4において、上記表示画像生成部は、ある発話内容と、当該ある発話内容の翻訳である翻訳発話内容とがグループ化された表示画像を生成してもよい。
In the display device according to
上記の構成によれば、対応している発話内容と翻訳内容とをサービス提供者及びサービス利用者に提示することができる。 According to said structure, the corresponding utterance content and translation content can be shown to a service provider and a service user.
本発明の態様6に係る表示装置は、上記態様4または5において、上記表示画像生成部は、当該表示装置がサービス提供者向け画像を表示する場合、サービス提供者の発話内容を示すテキストの文字及びサービス利用者の発話内容を翻訳した翻訳発話内容を示すテキストの文字を、当該サービス利用者の発話内容を示すテキストの文字及び当該サービス提供者の発話内容を翻訳した翻訳発話内容を示すテキストの文字より大きくした表示画像を生成し、当該表示装置がサービス利用者向け画像を表示する場合、サービス利用者の発話内容を示すテキストの文字及びサービス提供者の発話内容を翻訳した翻訳発話内容を示すテキストの文字を、当該サービス提供者の発話内容を示すテキストの文字及び当該サービス利用者の発話内容を翻訳した翻訳発話内容を示すテキストの文字より大きくした表示画像を生成してもよい。
The display device according to aspect 6 of the present invention is the display device according to
上記の構成によれば、サービス提供者及びサービス利用者に対して、それぞれの発言内容の文字を大きくして提示することができる。また、サービス提供者及びサービス利用者に対して、相手の発言内容の翻訳の文字を大きくして提示することができる。 According to said structure, the character of each message content can be enlarged and shown with respect to a service provider and a service user. In addition, it is possible to present the translated text of the other party's remarks to the service provider and the service user in a larger size.
本発明の態様7に係る表示装置は、上記態様1〜6の何れかにおいて、上記表示画像生成部は、上記表示画像に含まれるフレーズのうち、所定のフレーズを強調表示してもよい。
In the display device according to
上記の構成によれば、所定のフレーズを強調してサービス提供者及びサービス利用者に提示することができる。 According to said structure, a predetermined phrase can be emphasized and can be shown to a service provider and a service user.
本発明の態様8に係る表示装置は、上記態様7において、上記表示情報は、上記所定のフレーズに関連した画像を示す画像情報または当該画像の格納先を示す格納先情報を含み、上記表示画像生成部は、上記画像情報または上記格納先情報を参照し、上記所定のフレーズに関連した画像を含む表示画像を生成してもよい。
In the display device according to aspect 8 of the present invention, in the
上記の構成によれば、所定のフレーズに関連した画像をサービス提供者及びサービス利用者に提示することができる。 According to said structure, the image relevant to a predetermined phrase can be shown to a service provider and a service user.
本発明の態様9に係る表示装置は、上記態様7または8において、上記表示情報は、上記所定のフレーズに関連したオブジェクトであって、サービス利用者またはサービス提供者の操作を受け付けるオブジェクトを示すオブジェクト情報を含み、上記表示画像生成部は、上記オブジェクト情報を参照し、上記オブジェクトを含む表示画像を生成してもよい。
The display device according to
上記の構成によれば、所定のフレーズに関連する情報の表示を受け付けることができる。 According to said structure, the display of the information relevant to a predetermined phrase can be received.
本発明の態様10に係る表示装置(203)は、サービス提供者向け画像を表示する第1の表示領域と、サービス利用者向け画像を表示する第2の表示領域とを有する表示装置であって、表示すべき情報を含む表示情報を取得する取得部(表示情報取得部231)と、上記取得部が取得した表示情報の示す表示画像であって、上記第1の表示領域に表示する表示画像であって、サービス提供者向けの表示態様である第1の表示態様を有する表示画像である第1の表示画像と、上記第2の表示領域に表示する表示画像であって、上記第1の表示態様とは異なる第2の表示態様を有する表示画像である第2の表示画像とを生成する表示画像生成部(240)と、上記表示画像生成部が生成した第1の表示画像を上記第1の表示領域に表示し、上記表示画像生成部が生成した第2の表示画像を上記第2の表示領域に表示する表示部(251)と、を備えている。 A display device (203) according to an aspect 10 of the present invention is a display device having a first display area for displaying an image for a service provider and a second display area for displaying an image for a service user. An acquisition unit (display information acquisition unit 231) that acquires display information including information to be displayed, and a display image indicated by the display information acquired by the acquisition unit, the display image displayed in the first display area A first display image that is a display image having a first display mode that is a display mode for a service provider, and a display image that is displayed in the second display area, the first display image A display image generation unit (240) that generates a second display image that is a display image having a second display mode different from the display mode, and the first display image generated by the display image generation unit is the first display image. 1 in the display area Display unit for displaying the second display image shows the image generating unit has generated on the second display area and (251), and a.
上記の構成によれば、上記態様1における表示装置と同様の効果を奏する。
According to said structure, there exists an effect similar to the display apparatus in the said
本発明の態様11に係るサーバ(104)は、発話した内容である発話内容を示す発話内容情報を取得する発話内容情報取得部(141)と、上記発話内容情報取得部が取得した発話内容情報を表示装置に出力する発話内容情報出力部(表示情報生成部142、表示情報出力部136)と、上記発話内容情報が示す発話内容を出力する発話内容出力部(発話内容情報取得部141)と、上記発話内容の翻訳内容を示す翻訳内容情報を取得する翻訳内容情報取得部(翻訳発話内容情報取得部143)と、上記翻訳内容情報取得部が取得した翻訳内容情報を、上記発話内容情報と関連付けて上記表示装置に出力する翻訳内容情報出力部(表示情報生成部142、表示情報出力部136)と、を備えている。
The server (104) according to the aspect 11 of the present invention includes an utterance content information acquisition unit (141) that acquires utterance content information indicating the utterance content that is the uttered content, and the utterance content information acquired by the utterance content information acquisition unit. Utterance content information output unit (display
上記の構成によれば、上記態様1における表示装置と同様の効果を奏する。
According to said structure, there exists an effect similar to the display apparatus in the said
本発明の態様12に係るサーバ(101、102)は、上記態様11において、上記発話内容情報が示す発話内容または上記翻訳内容情報が示す翻訳内容に、所定のフレーズが含まれているか否かを判定するフレーズ判定部(キーフレーズ検索部137)と、上記フレーズ判定部が、上記発話内容に上記所定のフレーズが含まれていると判定した場合、上記発話内容情報出力部は更に、上記所定のフレーズを強調表示するよう上記表示装置に対して指示し、上記フレーズ判定部が、上記翻訳内容に上記所定のフレーズが含まれていると判定した場合、上記翻訳内容情報出力部は更に、上記所定のフレーズを強調表示するよう上記表示装置に対して指示してもよい。 In the aspect 11, the server (101, 102) according to the aspect 12 of the present invention determines whether or not a predetermined phrase is included in the utterance content indicated by the utterance content information or the translation content indicated by the translation content information. When the phrase determination unit (key phrase search unit 137) to be determined and the phrase determination unit determine that the predetermined phrase is included in the utterance content, the utterance content information output unit further includes the predetermined phrasing information output unit. When the display device is instructed to highlight a phrase and the phrase determination unit determines that the predetermined phrase is included in the translation content, the translation content information output unit further includes the predetermined content. The display device may be instructed to highlight the phrase.
上記の構成によれば、所定のフレーズを強調してサービス提供者及びサービス利用者に提示することができる。 According to said structure, a predetermined phrase can be emphasized and can be shown to a service provider and a service user.
本発明の態様13に係るサーバは(100)、上記態様11または12において、発話した音声を示す音声情報を取得する音声情報取得部(131)と、上記音声情報取得部が取得した音声情報を参照し、当該音声情報が示す内容を発話内容として認識し、上記発話内容情報を生成する発話内容情報生成部(音声認識部133)と、をさらに備え、上記発話内容情報出力部は、上記発話内容情報生成部が生成した発話内容情報を、上記表示装置に出力してもよい。 The server according to aspect 13 of the present invention is (100), and in the above aspect 11 or 12, the audio information acquisition unit (131) that acquires audio information indicating the uttered voice, and the audio information acquired by the audio information acquisition unit. A speech content information generating unit (speech recognition unit 133) that refers to and recognizes the content indicated by the speech information as speech content, and generates the speech content information, and the speech content information output unit includes the speech content information The utterance content information generated by the content information generation unit may be output to the display device.
上記の構成によれば、サーバが発話内容を認識することができる。 According to said structure, the server can recognize the content of utterance.
本発明の態様14に係るサーバは、上記態様11〜13の何れかにおいて、上記発話内容情報が示す発話内容を翻訳した翻訳内容を示す翻訳内容情報を生成する翻訳内容情報生成部(翻訳部135)をさらに備え、上記翻訳内容情報出力部は、上記翻訳内容情報生成部が生成した翻訳内容情報を、上記発話内容情報と関連付けて上記表示装置に出力してもよい。 The server according to aspect 14 of the present invention provides a translation content information generation unit (translation unit 135) that generates translation content information indicating translation content obtained by translating the utterance content indicated by the utterance content information in any of the above aspects 11 to 13. The translation content information output unit may output the translation content information generated by the translation content information generation unit to the display device in association with the utterance content information.
上記の構成によれば、サーバが発話内容を翻訳することができる。 According to said structure, a server can translate the utterance content.
本発明の態様15に係るコミュニケーション支援システム(5)は、サーバ(104)と表示装置(204)とを備えるコミュニケーション支援システムであって、上記サーバは、発話した内容である発話内容を示す発話内容情報を取得する発話内容情報取得部(141)と、上記発話内容情報取得部が取得した発話内容情報を上記表示装置に出力する発話内容情報出力部(表示情報生成部142、表示情報出力部136)と、上記発話内容情報が示す発話内容を出力する発話内容出力部(発話内容情報取得部141)と、上記発話内容の翻訳内容を示す翻訳内容情報を取得する翻訳内容情報取得部(翻訳発話内容情報取得部143)と、上記翻訳内容情報取得部が取得した翻訳内容情報を、上記発話内容情報と関連付けて上記表示装置に出力する翻訳内容情報出力部(表示情報生成部142、表示情報出力部136)と、を備え、上記表示装置は、サービス提供者向け画像及びサービス利用者向け画像の少なくとも何れかを表示する表示装置であって、上記サーバから、上記発話内容情報及び上記翻訳内容情報の少なくとも何れかを取得する取得部(表示情報取得部231)と、上記取得部が取得した上記発話内容情報が示す発話内容及び上記翻訳内容情報が示す翻訳内容の少なくとも何れかを含む表示画像であって、当該表示装置がサービス提供者向けであるかサービス利用者向けであるのかに応じた表示態様を有する表示画像を生成する表示画像生成部(232)と、上記表示画像生成部が生成した表示画像を表示する表示部(250)と、を備えている。
The communication support system (5) according to the aspect 15 of the present invention is a communication support system including a server (104) and a display device (204), and the server includes utterance contents indicating utterance contents that are uttered contents. An utterance content information acquisition unit (141) that acquires information, and an utterance content information output unit (display
上記の構成によれば、上記態様1における表示装置と同様の効果を奏する。
According to said structure, there exists an effect similar to the display apparatus in the said
本発明の態様16に係るコミュニケーション支援システム(1〜3)は、サーバ(100〜102)と表示装置(200〜202)とを備えるコミュニケーション支援システムであって、上記サーバは、発話した音声を示す音声情報を取得する音声情報取得部(231)と、上記音声情報取得部が取得した音声情報を参照し、当該音声情報が示す内容を発話内容として認識し、発話内容情報を生成する発話内容情報生成部(音声認識部133)と、上記発話内容情報生成部が生成した発話内容情報を上記表示装置に出力する発話内容情報出力部(表示情報出力部136)と、上記発話内容を翻訳した翻訳内容を示す翻訳内容情報を生成する翻訳内容情報生成部(翻訳部135)と、上記翻訳内容情報生成部が生成した翻訳内容情報を、上記発話内容情報と関連付けて上記表示装置に出力する翻訳内容情報出力部(表示情報生成部134、表示情報出力部136)と、を備え、上記表示装置は、サービス提供者向け画像及びサービス利用者向け画像の少なくとも何れかを表示する表示装置であって、上記サーバから、上記発話内容情報及び上記翻訳内容情報の少なくとも何れかを取得する取得部(表示情報取得部231)と、上記取得部が取得した上記発話内容情報が示す発話内容及び上記翻訳内容情報が示す翻訳内容の少なくとも何れかを含む表示画像であって、当該表示装置がサービス提供者向けであるかサービス利用者向けであるのかに応じた表示態様を有する表示画像を生成する表示画像生成部(232)と、上記表示画像生成部が生成した表示画像を表示する表示部(250)と、を備えている。
Communication support systems (1 to 3) according to aspect 16 of the present invention are communication support systems including servers (100 to 102) and display devices (200 to 202), wherein the servers indicate spoken voices. A speech information acquisition unit (231) that acquires speech information, and speech information acquired by referring to the speech information acquired by the speech information acquisition unit, recognizing the content indicated by the speech information as speech content, and generating speech content information A generation unit (speech recognition unit 133), an utterance content information output unit (display information output unit 136) that outputs the utterance content information generated by the utterance content information generation unit to the display device, and a translation obtained by translating the utterance content A translation content information generation unit (translation unit 135) that generates translation content information indicating content, and the translation content information generated by the translation content information generation unit are A translation content information output unit (a display
上記の構成によれば、上記態様1における表示装置と同様の効果を奏する。
According to said structure, there exists an effect similar to the display apparatus in the said
本発明の態様17に係るコミュニケーション支援方法は、発話した内容である発話内容を示す発話内容情報を取得する発話内容情報取得工程と、上記発話内容情報取得工程において取得された発話内容情報を表示装置に出力する発話内容情報出力工程と、上記発話内容情報が示す発話内容を出力する発話内容出力工程と、上記発話内容の翻訳内容を示す翻訳内容情報を取得する翻訳内容情報取得工程と、上記翻訳内容情報取得工程において取得された翻訳内容情報を、上記発話内容情報と関連付けて上記表示装置に出力する翻訳内容情報出力工程と、を含む。 A communication support method according to an aspect 17 of the present invention includes an utterance content information acquisition step of acquiring utterance content information indicating an utterance content that is an uttered content, and an utterance content information acquired in the utterance content information acquisition step. Utterance content information output step, utterance content output step for outputting utterance content indicated by the utterance content information, translation content information acquisition step for acquiring translation content information indicating the translation content of the utterance content, and the translation A translation content information output step of outputting the translation content information acquired in the content information acquisition step to the display device in association with the utterance content information.
上記の構成によれば、上記態様1における表示装置と同様の効果を奏する。
According to said structure, there exists an effect similar to the display apparatus in the said
本発明の各態様に係る表示装置及びサーバは、コンピュータによって実現してもよく、この場合には、コンピュータを上記表示装置及びサーバが備える各部(ソフトウェア要素に限る)として動作させることにより上記表示装置及びサーバをコンピュータにて実現させる表示装置及びサーバの制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。 The display device and the server according to each aspect of the present invention may be realized by a computer. In this case, the display device is operated by causing the computer to operate as each unit (limited to software elements) included in the display device and the server. In addition, a display device that implements the server on a computer, a control program for the server, and a computer-readable recording medium on which the program is recorded also fall within the scope of the present invention.
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。 The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope shown in the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. Is also included in the technical scope of the present invention. Furthermore, a new technical feature can be formed by combining the technical means disclosed in each embodiment.
本発明は、店舗において店員と客とのコミュニケーションを支援するシステムに利用することができる。 The present invention can be used in a system that supports communication between a store clerk and a customer in a store.
1、2、3、4、5 コミュニケーション支援システム
100、101、102、103、104 サーバ
110 サーバ通信部
120、121、122、124 サーバ制御部
131、140 音声情報取得部
132 音声抽出部
133 音声認識部(発話内容情報生成部)
134 表示情報生成部
135 翻訳部(翻訳内容情報生成部)
136 表示情報出力部(発話内容情報出力部、翻訳内容情報出力部)
137 キーフレーズ検索部(フレーズ判定部)
138 操作情報取得部
141 発話内容情報取得部(発話内容出力部)
142 表示情報生成部(発話内容情報出力部、翻訳内容情報出力部)
143 翻訳発話内容情報取得部(翻訳内容情報取得部)
150、152 キーフレーズデータベース
200、201、202、203、204 表示装置
210 表示装置通信部
220、222、223 表示装置制御部
231 表示情報取得部(取得部)
232、240 表示画像生成部
233 音声情報取得部
234 操作情報取得部
250、251 表示部
260 音声受付部
270、270a 操作受付部
300a、300b、302a、302b、304a、304b 吹き出し
400a、400b、402a、402b、404a、404b、406a、406b、410a、410b、412a、412b、414a、414b、416a、416b、500a、500b、502a、502b、510a、510b、512a、512b テキスト
600a、600b、602a、602b、606a、606b 画像
604a、604b、605a ボタン
700、700a、700b 音声抽出サーバ
701 音声抽出サーバ通信部
702 音声抽出部
720 音声認識サーバ
721 音声認識サーバ通信部
722 音声認識部
740 翻訳サーバ
741 翻訳サーバ通信部
742 翻訳部
800a、800b テキスト
910 コンピュータ
911 バス
912 演算装置
913 主記憶装置
914 補助記憶装置
915 入出力インターフェース
916 通信インターフェース
920 入力装置
930 出力装置
1, 2, 3, 4, 5
134 Display
136 Display information output unit (speech content information output unit, translation content information output unit)
137 Key phrase search part (phrase judgment part)
138 Operation
142 Display information generation unit (speech content information output unit, translation content information output unit)
143 Translation utterance content information acquisition unit (translation content information acquisition unit)
150, 152
232, 240 Display
Claims (9)
第1表示領域と、第2表示領域とに分割して表示可能な表示画面を有する表示部と、
発話内容を取得する取得部と、
前記発話内容を示す発話内容情報を前記第1表示領域に表示し、当該発話内容に関連した商品の画像を示す画像情報を前記第2表示領域に表示する制御を行う表示制御部と、
を備えたことを特徴とする表示装置。 A display device that displays at least one of an image for a service provider and an image for a service user,
A display unit having a display screen that can be divided into a first display area and a second display area;
An acquisition unit for acquiring utterance contents;
A display control unit that performs control to display utterance content information indicating the utterance content in the first display area and display image information indicating an image of a product related to the utterance content in the second display area;
A display device comprising:
前記表示制御部は、前記第1表示領域に当該翻訳発話内容情報を発話内容情報と併せて表示することを特徴とする請求項1又は2に記載の表示装置。 The utterance content information includes translation utterance content information indicating a translation utterance content that is a translation of the utterance content acquired by the acquisition unit,
The display device according to claim 1, wherein the display control unit displays the translated utterance content information together with the utterance content information in the first display area.
前記表示制御部は、前記第2表示領域に前記付加情報を商品画像と併せて表示することを特徴とする請求項1から3の何れか一項に記載の表示装置。 The display device further includes an information adding unit for adding additional information related to the product,
The display device according to any one of claims 1 to 3, wherein the display control unit displays the additional information together with a product image in the second display area.
前記表示制御部は、前記表示装置がサービス提供者向けであるかサービス利用者向けであるのかに応じた文字の設定によって表されるテキストを含む画像を表示することを特徴とする請求項5に記載の表示装置。 The utterance content information displayed in the first display area is a text indicated by the utterance content information,
6. The display control unit according to claim 5, wherein the display control unit displays an image including text represented by setting of characters according to whether the display device is for a service provider or a service user. The display device described.
前記表示部は、第1表示領域と、第2表示領域とに分割して表示可能な表示画面を有しており、
発話内容を取得する取得ステップと、
前記発話内容を示す発話内容情報を前記第1表示領域に表示し、当該発話内容に関連した商品の画像を示す画像情報を前記第2表示領域に表示する制御を行う表示制御ステップと、
を含むことを特徴とする表示方法。 A display method in a display device having a display unit that displays at least one of an image for a service provider and an image for a service user,
The display unit has a display screen that can be divided and displayed in a first display area and a second display area,
An acquisition step of acquiring utterance content;
A display control step for performing control to display the utterance content information indicating the utterance content in the first display area, and to display image information indicating an image of a product related to the utterance content in the second display area;
A display method comprising:
前記表示部は、第1表示領域と、第2表示領域とに分割して表示可能な表示画面を有しており、
発話内容を取得する取得機能と、
前記発話内容を示す発話内容情報を前記第1表示領域に表示し、当該発話内容に関連した商品の画像を示す画像情報を前記第2表示領域に表示する制御を行う表示制御機能と、
を実現させることを特徴とするプログラム。 A computer having a display unit for displaying at least one of an image for a service provider and an image for a service user,
The display unit has a display screen that can be divided and displayed in a first display area and a second display area,
An acquisition function to acquire the utterance content;
A display control function for performing control to display utterance content information indicating the utterance content in the first display area, and displaying image information indicating an image of a product related to the utterance content in the second display area;
A program characterized by realizing.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017194646A JP6550111B2 (en) | 2017-10-04 | 2017-10-04 | Display device, display method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017194646A JP6550111B2 (en) | 2017-10-04 | 2017-10-04 | Display device, display method and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014232154A Division JP2016095727A (en) | 2014-11-14 | 2014-11-14 | Display device, server, communication support system, communication support method, and control program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019102658A Division JP6803946B2 (en) | 2019-05-31 | 2019-05-31 | Display device, display method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018055689A true JP2018055689A (en) | 2018-04-05 |
JP6550111B2 JP6550111B2 (en) | 2019-07-24 |
Family
ID=61836846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017194646A Active JP6550111B2 (en) | 2017-10-04 | 2017-10-04 | Display device, display method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6550111B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020071764A (en) * | 2018-11-01 | 2020-05-07 | 東芝テック株式会社 | Instruction management apparatus and control program thereof |
JP2020190625A (en) * | 2019-05-22 | 2020-11-26 | 株式会社日本レカム | Automatic translation device by speech recognition, and information system |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01103774A (en) * | 1987-07-08 | 1989-04-20 | Ricoh Co Ltd | Translation display device |
JPH08278972A (en) * | 1995-04-06 | 1996-10-22 | Sony Corp | Speech input translation device |
JPH0934680A (en) * | 1995-07-07 | 1997-02-07 | Internatl Business Mach Corp <Ibm> | Display method of object |
JPH113348A (en) * | 1997-06-11 | 1999-01-06 | Sharp Corp | Advertizing device for electronic interaction |
JP2000148756A (en) * | 1998-11-12 | 2000-05-30 | Matsushita Electric Ind Co Ltd | Translation error detecting device |
JP2005509948A (en) * | 2001-11-13 | 2005-04-14 | インターナショナル・ビジネス・マシーンズ・コーポレーション | System and method for selecting an electronic document from a physical document and displaying the electronic document over the physical document |
JP2005222316A (en) * | 2004-02-05 | 2005-08-18 | Toshiba Corp | Conversation support device, conference support system, reception work support system, and program |
US20120253782A1 (en) * | 2011-03-28 | 2012-10-04 | Kabushiki Kaisha Toshiba | Foreign language service assisting apparatus, method and program |
JP2013073355A (en) * | 2011-09-27 | 2013-04-22 | Toshiba Corp | Conversation support device, method and program |
-
2017
- 2017-10-04 JP JP2017194646A patent/JP6550111B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01103774A (en) * | 1987-07-08 | 1989-04-20 | Ricoh Co Ltd | Translation display device |
JPH08278972A (en) * | 1995-04-06 | 1996-10-22 | Sony Corp | Speech input translation device |
JPH0934680A (en) * | 1995-07-07 | 1997-02-07 | Internatl Business Mach Corp <Ibm> | Display method of object |
JPH113348A (en) * | 1997-06-11 | 1999-01-06 | Sharp Corp | Advertizing device for electronic interaction |
JP2000148756A (en) * | 1998-11-12 | 2000-05-30 | Matsushita Electric Ind Co Ltd | Translation error detecting device |
JP2005509948A (en) * | 2001-11-13 | 2005-04-14 | インターナショナル・ビジネス・マシーンズ・コーポレーション | System and method for selecting an electronic document from a physical document and displaying the electronic document over the physical document |
JP2005222316A (en) * | 2004-02-05 | 2005-08-18 | Toshiba Corp | Conversation support device, conference support system, reception work support system, and program |
US20120253782A1 (en) * | 2011-03-28 | 2012-10-04 | Kabushiki Kaisha Toshiba | Foreign language service assisting apparatus, method and program |
JP2012203861A (en) * | 2011-03-28 | 2012-10-22 | Toshiba Corp | Foreign language customer service support device, foreign language customer service support and program |
JP2013073355A (en) * | 2011-09-27 | 2013-04-22 | Toshiba Corp | Conversation support device, method and program |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020071764A (en) * | 2018-11-01 | 2020-05-07 | 東芝テック株式会社 | Instruction management apparatus and control program thereof |
JP2020190625A (en) * | 2019-05-22 | 2020-11-26 | 株式会社日本レカム | Automatic translation device by speech recognition, and information system |
Also Published As
Publication number | Publication date |
---|---|
JP6550111B2 (en) | 2019-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9424838B2 (en) | Pattern processing system specific to a user group | |
JP6865653B2 (en) | Dialogue analysis system and dialogue analysis program | |
US9582808B2 (en) | Customizing a presentation based on preferences of an audience | |
CN108279931A (en) | Context pastes target prediction | |
US10216382B2 (en) | Virtual cultural attache | |
US20190362022A1 (en) | Audio file labeling process for building datasets at scale | |
JP6570226B2 (en) | Response generation apparatus, response generation method, and response generation program | |
Lopatovska et al. | User recommendations for intelligent personal assistants | |
JP2018055689A (en) | Display device, display method, and program | |
JP6066791B2 (en) | Product information providing system and product information providing program | |
KR20240073984A (en) | Distillation into target devices based on observed query patterns | |
JP2020027132A (en) | Information processing device and program | |
JP6709132B2 (en) | Voice order reception system | |
CN113901186A (en) | Telephone recording marking method, device, equipment and storage medium | |
WO2018173943A1 (en) | Data structuring device, data structuring method, and program storage medium | |
JP2011065304A (en) | Server for customer service operation, customer service system using the server and method for calculating prediction end time of customer service operation | |
JP2019174894A (en) | Workshop support system and workshop support method | |
JP6803946B2 (en) | Display device, display method and program | |
JP2015018301A (en) | Sales support terminal, program, and information processing method | |
CN105224170B (en) | The method and apparatus of service are provided based on user's order | |
JP2016095727A (en) | Display device, server, communication support system, communication support method, and control program | |
CN113806499A (en) | Telephone work training method and device, electronic equipment and storage medium | |
JP2022018724A (en) | Information processing device, information processing method, and information processing program | |
JP2018014065A (en) | Method and program for supporting cross-language conversation | |
JP2022020149A (en) | Information processing apparatus and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180724 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181211 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190201 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190305 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190531 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20190606 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190625 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190628 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6550111 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |