JP2019110451A - Information processing system, information processing method, and program - Google Patents
Information processing system, information processing method, and program Download PDFInfo
- Publication number
- JP2019110451A JP2019110451A JP2017242498A JP2017242498A JP2019110451A JP 2019110451 A JP2019110451 A JP 2019110451A JP 2017242498 A JP2017242498 A JP 2017242498A JP 2017242498 A JP2017242498 A JP 2017242498A JP 2019110451 A JP2019110451 A JP 2019110451A
- Authority
- JP
- Japan
- Prior art keywords
- party
- voice data
- mode
- output
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims description 44
- 238000003672 processing method Methods 0.000 title claims description 5
- 230000005540 biological transmission Effects 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 61
- 230000008451 emotion Effects 0.000 claims description 25
- 238000004891 communication Methods 0.000 abstract description 13
- 230000003340 mental effect Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 239000011800 void material Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Landscapes
- Telephone Function (AREA)
Abstract
Description
本発明は、情報処理システム、情報処理方法及びプログラムに関する。 The present invention relates to an information processing system, an information processing method, and a program.
特許文献1には、通話相手の感情を推定する情報処理端末が開示されている。
特許文献2には、予め登録されたキーワードの部分を判読不能にして印刷する印刷システムが開示されている。 Patent Document 2 discloses a printing system in which a portion of a keyword registered in advance is rendered unreadable and printed.
特許文献3には、文字入力された単語を蓄積音声に変換し、通話相手の携帯通信端末に出力する文字モードを備えた携帯通信端末が開示されている。当該文字モードでは、相手からの音声を文字に変換し、ディスプレイに表示してもよいことが開示されている。 Patent Document 3 discloses a portable communication terminal provided with a character mode for converting a character-inputted word into a stored voice and outputting it to a portable communication terminal of a calling party. It is disclosed that in the character mode, the voice from the other party may be converted into characters and displayed on the display.
特許文献4には、文字入力されたメッセージを音声データにエンコードし、通話相手の携帯通信端末に出力する携帯通信端末が開示されている。相手からの音声を文字に変換し、ディスプレイに表示してもよいことが開示されている。 Patent Document 4 discloses a portable communication terminal that encodes a character input message into voice data and outputs the voice data to a portable communication terminal of the other party. It is disclosed that the voice from the other party may be converted to text and displayed on the display.
電話の通話相手が例えば乱暴な言葉を使ったり、乱暴な話し方をすると、聞き手に心理的ストレスを与える場合がある。特許文献1乃至4は当該課題を記載も示唆もしていない。本願発明は、通話時の聞き手の心理的ストレスを軽減することを課題とする。
When the other party on the phone uses, for example, rough language or rough speech, the listener may be psychologically stressed.
本発明によれば、
集音し、第1の音声データを生成する音声受付手段と、
前記第1の音声データを通話相手の端末に送信する送信手段と、
通話相手の前記端末から送信された第2の音声データを取得する受信手段と、
前記通話相手の発言内容を出力する出力手段と、
を有し、
前記出力手段は、
前記通話相手の発言内容を音で出力せず、テキストで表示する第1のモード、
加工された前記第2の音声データに基づき、前記通話相手の発言内容を音で出力する第2のモード、又は、
前記通話相手の発言内容を予め登録された音で出力する第3のモード、
を有し、
前記出力手段が前記第1乃至第3のモードの中のいずれかで動作している間も、前記音声受付手段は集音して前記第1の音声データを生成し、前記送信手段は前記第1の音声データを通話相手の端末に送信する情報処理システムが提供される。
According to the invention
Voice receiving means for collecting sound and generating first voice data;
Transmitting means for transmitting the first voice data to the terminal of the other party of the call;
Receiving means for acquiring second voice data transmitted from the terminal of the other party of the call;
An output means for outputting the contents of the speech of the other party;
Have
The output means is
A first mode of displaying the contents of the other party's speech as text without outputting it as sound,
A second mode in which the speaking contents of the other party are output by sound based on the processed second voice data, or
A third mode for outputting the speech contents of the other party by a pre-registered sound,
Have
While the output means is operating in any one of the first to third modes, the voice reception means collects sound to generate the first voice data, and the transmission means An information processing system is provided which transmits voice data of 1 to a terminal of a calling party.
また、本発明によれば、
コンピュータが、
集音し、第1の音声データを生成し、
前記第1の音声データを通話相手の端末に送信し、
通話相手の前記端末から送信された第2の音声データを取得し、
前記通話相手の発言内容を音で出力せず、テキストで表示する第1のモード、加工された前記第2の音声データに基づき、前記通話相手の発言内容を音で出力する第2のモード、又は、前記通話相手の発言内容を予め登録された音で出力する第3のモード、で前記通話相手の発言内容を出力し、
前記第1乃至第3のモードの中のいずれかで前記通話相手の発言内容を出力している間も、集音して前記第1の音声データを生成し、前記第1の音声データを通話相手の端末に送信する情報処理方法が提供される。
Moreover, according to the present invention,
The computer is
Collect the sound and generate the first voice data,
Transmitting the first voice data to the other party's terminal;
Acquiring second voice data transmitted from the other party's terminal;
The first mode in which the speaking contents of the other party are not output as sound but displayed as text, and the second mode in which the speaking contents of the other party are output as sound based on the processed second voice data, Alternatively, in the third mode in which the speech contents of the other party are output with a pre-registered sound, the speech contents of the other party are output.
Also while outputting the speech contents of the other party in any of the first to third modes, the sound is collected to generate the first voice data, and the first voice data is called An information processing method is provided for transmitting to a partner's terminal.
また、本発明によれば、
集音し、第1の音声データを生成し、
前記第1の音声データを通話相手の端末に送信し、
通話相手の前記端末から送信された第2の音声データを取得し、
前記通話相手の発言内容を音で出力せず、テキストで表示する第1のモード、加工された前記第2の音声データに基づき、前記通話相手の発言内容を音で出力する第2のモード、又は、前記通話相手の発言内容を予め登録された音で出力する第3のモード、で前記通話相手の発言内容を出力し、
前記第1乃至第3のモードの中のいずれかで前記通話相手の発言内容を出力している間も、集音して前記第1の音声データを生成し、前記第1の音声データを通話相手の端末に送信する処理をコンピュータに実行させるプログラムが提供される。
Moreover, according to the present invention,
Collect the sound and generate the first voice data,
Transmitting the first voice data to the other party's terminal;
Acquiring second voice data transmitted from the other party's terminal;
The first mode in which the speaking contents of the other party are not output as sound but displayed as text, and the second mode in which the speaking contents of the other party are output as sound based on the processed second voice data, Alternatively, in the third mode in which the speech contents of the other party are output with a pre-registered sound, the speech contents of the other party are output.
Also while outputting the speech contents of the other party in any of the first to third modes, the sound is collected to generate the first voice data, and the first voice data is called A program is provided that causes a computer to execute a process of transmitting to the other party's terminal.
本発明によれば、通話時の聞き手の心理的ストレスを軽減することができる。 According to the present invention, it is possible to reduce the psychological stress of the listener during the call.
<第1の実施形態>
最初に、本実施形態の電話システム(情報処理システム)の概要を説明する。なお、本実施形態の電話システムを利用して通話しているものを「利用者」といい、通話している相手を「通話相手」という。本実施形態の電話システムは、第1乃至第3のモードの中の何れかを有する。
First Embodiment
First, an overview of the telephone system (information processing system) of the present embodiment will be described. Note that those who are in a call using the telephone system of the present embodiment are referred to as "users", and the other parties in a call are referred to as "others". The telephone system of the present embodiment has any one of the first to third modes.
第1のモードでは、通話相手の発言内容を音で出力せず、テキストで表示する。 In the first mode, the contents of the other party's speech are displayed as text without outputting sound.
第2のモードでは、通話相手の端末から送信された音声データを加工した加工後の音声データに基づき、通話相手の発言内容を音でスピーカから出力する。例えば、ボイスチェンジャーで通話相手の声等を変えて出力する。 In the second mode, based on the processed voice data obtained by processing the voice data transmitted from the other party's terminal, the contents of the other party's speech are output from the speaker as a sound. For example, the voice changer's voice etc. are changed by a voice changer and output.
第3のモードでは、通話相手の発言内容を予め登録された音でスピーカから出力する。すなわち、通話相手の声で通話相手の発言内容を出力するのでなく、他人の声やコンピュータ音等で通話相手の発言内容を出力する。 In the third mode, the content of the speech of the other party is output from the speaker with a pre-registered sound. That is, instead of outputting the contents of the other party's speech by the voice of the other party, the contents of the other party's speech are output as the voice of another person, a computer sound, or the like.
なお、本実施形態の電話システムは、第1乃至第3のモードの中のいずれかで動作している間も、マイクで利用者の声を集音して音声データを生成し、当該音声データを通話相手の端末に送信する。このため、電話システムが第1乃至第3のモードの中のいずれかで動作している間も、利用者は電話システムに向けて発言することで、自身の発言内容を通話相手に届けることができる。 The telephone system according to the present embodiment collects voice of the user with the microphone to generate voice data while operating in any of the first to third modes, and generates voice data Send to the other party's terminal. Therefore, while the telephone system is operating in any of the first to third modes, the user can deliver his / her statement to the other party by speaking to the telephone system. it can.
このような本実施形態の電話システムによれば、利用者は、通話相手の声を聞くことなく、通話相手との通話を行うことができる。このため、通話相手が乱暴な言葉を使ったり、乱暴な話し方をする者であっても、通話相手から受ける心理的ストレスを軽減できる。 According to the telephone system of this embodiment, the user can make a call with the other party without hearing the other party's voice. Therefore, it is possible to reduce the psychological stress received from the other party, even if the other party uses a rough language or speaks violently.
また、利用者は電話システムに向けて発言するという従来通りの手法で自身の発言内容を通話相手に届けることができる。このため、自然な通話を継続することができる。特許文献3及び4に記載の技術は、通話相手からの音声を文字に変換してディスプレイに表示する場合、自身の発言内容を文字入力する必要がある。この場合、通話の中で変な間ができてしまい、不自然な通話となってしまう。本実施形態の電話システムでは、当該不都合を軽減することができる。 Also, the user can deliver his / her speech contents to the other party in the conventional manner of speaking into the telephone system. Thus, natural calls can be continued. According to the techniques described in Patent Documents 3 and 4, when the voice from the other party is converted into characters and displayed on the display, it is necessary to input their own speech contents. In this case, a strange period occurs in the call, resulting in an unnatural call. In the telephone system of the present embodiment, the inconvenience can be alleviated.
次に、本実施形態の電話システムの構成を詳細に説明する。図1の機能ブロック図に示すように、電話システム1は、通話部10と処理部20とを有する。
Next, the configuration of the telephone system of the present embodiment will be described in detail. As shown in the functional block diagram of FIG. 1, the
通話部10及び処理部20は、物理的及び/又は論理的に分かれた装置に別々に設けられてもよいし、物理的及び/又は論理的に1つの装置に設けられてもよい。前者の例の場合、電話機、携帯電話、スマートフォン、パーソナルコンピュータ等の通話端末に通話部10が設けられ、通話端末と通信可能に構成されたサーバ装置(例:IPPBX(Intenet Protocol Private Branch eXchange)に処理部20が設けられてもよい。後者の例の場合、通話端末に通話部10及び処理部20が設けられてもよい。
The
最初に、処理部20の機能構成を説明する。処理部20は、通話相手の端末から送信された音声データを受信し、当該音声データに対して所定の処理を行う。そして、処理部20は、処理の結果物を通話部10に送信する。なお、テレビ電話等の場合は、処理部20は通話相手の端末から送信された画像データをさらに受信し、画像データに対して所定の処理を行い、処理の結果物を通話部10に送信してもよい。
First, the functional configuration of the
通話相手の端末は、電話機、携帯電話、スマートフォン、パーソナルコンピュータ等、通話機能を有する端末である。通話相手の端末から送信された音声データは、通話中に通話相手の端末で集音され、生成された音声データである。通話相手の端末から送信された画像データは、通話中に通話相手の端末で撮影され、生成された画像データである。 The other party's terminal is a terminal having a call function, such as a telephone, a mobile phone, a smartphone, a personal computer, and the like. The voice data transmitted from the other party's terminal is voice data collected and generated by the other party's terminal during the call. The image data transmitted from the other party's terminal is the image data generated and taken by the other party's terminal during the call.
ここで、処理部20が行う所定の処理を説明する。例えば、処理部20は、音声データに対して音声認識処理を行い、通話相手の発言内容を示すテキストデータを生成してもよい。そして、処理部20は、当該テキストデータを通話部10に送信してもよい。
Here, the predetermined process performed by the
また、処理部20は、上記テキストデータを処理し、通話相手の発言内容の中に予め登録された禁止ワードが含まれるか否かを判断してもよい。含まれる場合、処理部20は、上記テキストデータの中の禁止ワード部分を伏字にしたテキストデータを生成してもよい。そして、処理部20は、禁止ワード部分を伏字にしたテキストデータを通話部10に送信してもよい。例えば禁止ワード部分を、「暴言」、「禁止ワード」等の所定の文言に置き代えてもよいし、その他の手法で伏字にしてもよい。
Further, the
また、処理部20は、通話相手の発言内容の中に含まれる禁止ワードの数(出現回数)をカウントしてもよい。そして、処理部20は、その数を通話部10に送信してもよい。
Further, the
また、処理部20は、音声データに対して音声認識処理を行い、通話相手が予め登録された要注意人物か否かを判断してもよい。そして、処理部20は、その判断結果を通話部10に送信してもよい。なお、処理部20は、当該判断において、上記画像データを用いてもよい。
In addition, the
また、処理部20は、音声データを解析し、通話相手の感情を判断してもよい。そして、処理部20は、その判断結果を通話部10に送信してもよい。なお、処理部20は、当該判断において、上記画像データを用いてもよい。
Further, the
また、処理部20は、通話相手の感情、禁止ワードの出現回数、通話相手の声の大きさ、通話時間等に基づき、予め定められた算出方法で、通話相手の怒り度合いを算出してもよい。そして、処理部20は、算出した怒り度合いを通話部10に送信してもよい。例えば、処理部20は、通話相手の感情が「怒り」でない場合に怒り度合い「0」とし、通話相手の感情が「怒り」である場合に怒り度合い「1」以上を算出してもよい。そして、処理部20は、禁止ワードの出現回数が多い程、声の大きさが大きい程、また、通話時間が長い程、大きい怒り度合いを算出してもよい。
Further, the
また、処理部20は、ボイスチェンジャーで音声データを加工してもよい。そして、処理部20は、加工後の音声データを通話部10に送信してもよい。
Further, the
また、処理部20は、画像データを加工してもよい。そして、処理部20は、加工後の画像データを通話部10に送信してもよい。例えば、処理部20は、画像の中の通話相手の顔部分にボカシを入れたり、通話相手の顔部分を他の画像(例:アニメーション、動物の顔、他の人の顔等)に置き代える加工等を行ってもよい。
Moreover, the
また、処理部20は、通話相手の発言内容を示すテキストデータを、他の言語に翻訳してもよい(例:日本語を英語に翻訳)。
In addition, the
次に、通話部10の機能構成を説明する。図2に示すように、通話部10は、音声受付部11と、送信部12と、受信部13と、出力部14とを有する。
Next, the functional configuration of the
音声受付部11は、マイクを有する。音声受付部11は、通話中、集音し、音声データを生成する。音声受付部11が生成する音声データを、第1の音声データという。音声受付部11により、利用者の音声が集音される。
The
送信部12は、通話中、第1の音声データを通話相手の端末に送信する。なお、電話システム1はカメラを有してもよい。そして、送信部12は、通話中、当該カメラで生成された画像データ(利用者を撮影した画像データ)を通話相手の端末に送信してもよい。通話中に当該カメラで生成された画像データを、第1の画像データという。
The
なお、以下で説明する出力部14が第1乃至第3のモードの中のいずれかで動作している間も、音声受付部11は集音して第1の音声データを生成し、送信部12は第1の音声データ(さらに第1の画像データを含んでもよい)を通話相手の端末に送信する。
Note that, while the
受信部13は、通話相手の端末から送信された音声データを取得する。通話相手の端末から送信された音声データを、第2の音声データという。受信部13は、第2の音声データに加えて又は代えて、処理部20により加工された第2の音声データを取得してもよい。
The receiving
また、受信部13は、通話相手の端末から送信された画像データを取得してもよい。通話相手の端末から送信された画像データを、第2の画像データという。受信部13は、第2の画像データに加えて又は代えて、処理部20により加工された第2の画像データを取得してもよい。
Also, the receiving
電話システム1は、通話中、例えばSIP(session initiation protocol)等のプロトコルで、音声データや画像データの送受信を行うことができる。
The
出力部14は、通話相手の発言内容を、スピーカやディスプレイ等の出力装置を介して出力する。出力部14は、第1のモード、第2のモード、又は、第3のモードを有する。なお、出力部14は、これら3つのモードの中の2つ以上のモードを有してもよい。
The
第1のモードでは、出力部14は、通話相手の発言内容を音で出力せず、テキストで表示する。例えば、出力部14は、電話システム1が有する、又は、電話システム1と繋がったディスプレイに、通話相手の発言内容を示すテキストを表示する。出力部14は、処理部20により生成された通話相手の発言内容を示すテキストデータを利用して当該表示を実現することができる。
In the first mode, the
図3に、出力部14によりディスプレイに表示されたテキストの一例を示す。図では、通話相手の発言内容が発言順に一覧表示されている。
FIG. 3 shows an example of the text displayed on the display by the
なお、出力部14は、図4に示すように、通話相手の発言内容に加えて、利用者の発言内容をディスプレイに表示してもよい。処理部20が第1の音声データを音声認識し、利用者の発言内容を示すテキストデータを生成してもよい。図では、通話相手及び利用者(図の「本人」)の発言内容が発言順に一覧表示されている。
As shown in FIG. 4, the
また、出力部14は、図5に示すように、通話相手の発言内容の中の禁止ワード部分を伏字(図の「暴言」)にしてテキストで表示してもよい。出力部14は、処理部20により生成された禁止ワード部分を伏字にしたテキストデータを利用して当該表示を実現することができる。なお、所定の操作(例:伏字部分をクリック)に応じて、伏字にされた禁止ワードが表示されてもよい。
In addition, as shown in FIG. 5, the
第2のモードでは、出力部14は、ボイスチェンジャーで加工された第2の音声データに基づき、通話相手の発言内容を音でスピーカから出力する。出力部14は、処理部20によりボイスチェンジャーで加工された第2の音声データに基づき当該出力を実現してもよい。その他、出力部14がボイスチェンジャーを有してもよい。そして、出力部14がボイスチェンジャーで第2の音声データを加工し、加工した第2の音声データに基づき当該出力を実現してもよい。
In the second mode, based on the second voice data processed by the voice changer, the
第3のモードでは、出力部14は、通話相手の発言内容を予め登録された音でスピーカから出力する。出力部14は、処理部20により生成された通話相手の発言内容を示すテキストデータに記載された文言(通話相手の発言内容)を予め登録された音で出力する。
In the third mode, the
なお、出力部14は、第2のモード及び第3のモードで動作している間も、通話相手の発言内容をテキストでディスプレイに表示してもよい。この場合も、禁止ワード部分を伏字にしてもよい。
The
また、テレビ電話等、通話相手の端末から画像データが送信されてくる場合、出力部14は、第1乃至第3のモードで動作している間、画像の表示を停止してもよいし、処理部20により加工された第2の画像データ(例:通話相手の顔部分にボカシを入れたり、他の画像に置き代えた画像データ)を用いて画像表示してもよい。
When image data is transmitted from the other party's terminal, such as a videophone, the
また、出力部14は、第1乃至第3のモードの中のいずれかで動作している間、通話相手の感情を示す情報を出力してもよい。例えば、通話相手の感情を示す文字、絵、図形等をディスプレイに表示してもよい。
The
また、出力部14は、第1のモードで動作している場合、通話相手の発言が途切れたタイミングを利用者に通知してもよい。出力部14は、例えば、通話相手の発言が途切れたタイミングで所定の音をスピーカから発してもよいし、当該タイミングで所定の情報をディスプレイに表示してもよいし、当該タイミングで警告ランプを点灯させてもよいし、当該タイミングでバイブレータから振動を起こさせてもよいし、その他であってもよい。
In addition, when operating in the first mode, the
この場合、出力部14は、通話相手の発言が途切れたタイミングで、予め録音されていた利用者の相槌の音声データを通話相手の端末に送信してもよい。なお、複数種類の相槌の音声データを用意しておいてもよい。そして、直前の通話相手の発言内容に基づき、コンピュータ(AI:artificial intelligence)がどの種類の相槌の音声データを送信するか決定してもよい。
In this case, the
また、出力部14は、通話相手の発言内容を示すテキストを、通話相手の言語と異なる言語で表示してもよい。例えば、通話相手が英語で発言した場合、その発言内容を日本語でテキスト表示してもよい。
In addition, the
以上、第1乃至第3のモードの中のいずれかを有する本実施形態の電話システム1によれば、利用者は、通話相手の声を聞くことなく、通話相手との通話を行うことができる。このため、乱暴な言葉を使ったり、乱暴な話し方をしたりする通話相手から受ける心理的ストレスを軽減できる。
As described above, according to the
また、利用者は電話システムに向けて発言するという従来通りの手法で自身の発言内容を通話相手に届けることができる。このため、自然な通話を継続することができる。 Also, the user can deliver his / her speech contents to the other party in the conventional manner of speaking into the telephone system. Thus, natural calls can be continued.
また、テレビ電話の場合、電話システム1は、第1乃至第3のモードの間、通話相手の画像をそのまま表示するのでなく、画像の表示を停止したり、通話相手の顔部分にボカシを入れたり他の画像に置き代えたりすることができる。これにより、利用者の心理的ストレスを軽減できる。
In the case of a videophone call, the
また、第1乃至第3のモードの場合、通話相手の感情を把握し難くなる。処理部20による通話相手の感情の判断結果を利用者に通知することで、利用者は通話相手の感情を把握できる。結果、適切なコミュニケーションをとることができる。
Further, in the case of the first to third modes, it becomes difficult to grasp the emotion of the other party. By notifying the user of the determination result of the caller's emotion by the
また、第1のモードで動作している場合、利用者は通話相手の発言が途切れたタイミングを把握し難くなる。この場合、通話中に変な間ができたり、通話相手が発言中に利用者が発言してしまう等の好ましくない状況が発生し得る。通話相手の発言が途切れたタイミングを利用者に通知したり、予め録音しておいた相槌を出力したりすることで、このような好ましくない状況の発生を軽減できる。 In addition, when operating in the first mode, it is difficult for the user to grasp the timing at which the other party's speech is interrupted. In this case, an undesirable situation may occur such as a strange period being made during a call, or a user speaking during the speaking party. The occurrence of such an undesirable situation can be reduced by notifying the user of the timing at which the other party's speech is interrupted or outputting the pre-recorded sumo wrestling.
<第2の実施形態>
本実施形態の電話システム1は、通話相手の発言内容を通話相手の声でスピーカから出力する通常モードを有する。そして、電話システム1は、所定のタイミングで、通常モードと、特別モード(第1乃至第3のモードの中のいずれか)との切り替えを行う。以下、電話システム1の機能を詳細に説明する。
Second Embodiment
The
処理部20の機能は、第1の実施形態と同様である。
The function of the
図6に、通話部10の機能ブロック部の一例を示す。通話部10は、音声受付部11と、送信部12と、受信部13と、出力部14と、決定部15とを有する。音声受付部11、送信部12及び受信部13の機能は第1の実施形態と同様である。
FIG. 6 shows an example of a function block unit of the
出力部14は、通常モードと、特別モード(第1乃至第3のモードの中のいずれか)とを有する。通常モードでは、出力部14は、通話相手の発言内容を通話相手の声でスピーカから出力する。
The
決定部15は、出力部14のモードを決定する。そして、出力部14は、決定部15により決定されたモードで動作する。
The
[決定方法1]
決定部15は、第2の音声データから特定される通話相手の感情、声の大きさ、発言内容及び通話時間の中の少なくとも1つに基づき、出力部14のモードを決定してもよい。
[Determination method 1]
The
例えば、決定部15は、「通話相手の感情が予め定められた所定の感情(例:「怒り」)」、「通話相手の声の大きさが閾値以上」、「特定のキーワード(禁止ワード)を所定回数以上発言」、及び、「通話時間が閾値以上」の中の1つからなる条件又は複数を組み合わせた条件を満たした場合、特別モードを決定してもよい。
For example, the
[決定方法2]
決定部15は、過去の通話時に収集された収集情報に基づき、出力部14のモードを決定してもよい。
[Determination method 2]
The
図7に、過去の通話時に収集された収集情報の一例を模式的に示す。図示する収集情報は、通話相手ID(identifier)と、通話相手の属性と、通話日時と、通話特徴とが対応付けられている。 FIG. 7 schematically shows an example of collected information collected at the time of a call in the past. The collection information shown in the drawing is associated with the caller ID (identifier), the attributes of the caller, the call date and time, and the call features.
通話相手IDは、通話相手の電話番号、電話アプリに登録されたID、第2の音声データから抽出された特徴量(声紋)の中の1つ又は複数であってもよいし、その他であってもよい。処理部20が第2の音声データを解析し、当該特徴量を抽出してもよい。
The other party's ID may be one or more of the other party's telephone number, an ID registered in the telephone application, and a feature (voiceprint) extracted from the second voice data, or the other. May be The
通話相手の属性は、通話相手の性別、年齢層、訛りの特徴等が例示される。処理部20が第2の音声データを解析し、これらの属性を推定してもよい。
The attributes of the calling party are exemplified by the gender of the calling party, the age group, the characteristics of the call, and the like. The
通話特徴は、通話相手との通話の特徴であり、通話時間、出力部14が特別モードで動作したか否か、通話時間の中の特別モードで動作した時間の割合、通話相手の感情が「怒り」になったか否か、通話時間の中の通話相手の感情が「怒り」になった時間の割合、通話相手の声の大きさが閾値以上になったか否か、通話時間の中の通話相手の声の大きさが閾値以上になった時間の割合、通話相手が禁止ワードを発言したか否か、通話相手が禁止ワードを発言した回数、怒り度合い等が例示される。処理部20が第2の音声データを解析し、通話特徴を生成してもよい。
The call feature is the feature of the call with the other party, and the call duration, whether the
決定部15は、当該収集情報に基づき、出力部14のモードを決定することができる。例えば、通話相手の過去の通話特徴が以下の中の1つからなる条件又は複数を組み合わせた条件を満たす場合、決定部15は特別モードを決定してもよい。
The
「出力部14が特別モードで動作した」
「通話時間の中の特別モードで動作した時間の割合が閾値以上」
「通話相手の感情が「怒り」になった」
「通話時間の中の通話相手の感情が「怒り」になった時間の割合が閾値以上」
「通話相手の声の大きさが閾値以上になった」
「通話時間の中の通話相手の声の大きさが閾値以上になった時間の割合が閾値以上」
「通話相手が禁止ワードを発言した」
「通話相手が禁止ワードを発言した回数が閾値以上」
「通話相手の怒り度合いが閾値以上になった」
"
"Percentage of time spent in special mode in talk time is above threshold"
"The emotion of the other party became" anger ""
"Percentage of time during which the other party's emotion in the call time became" anger "is above the threshold"
"The loudness of the other party's voice has exceeded the threshold"
"The percentage of time during which the loudness of the other party's voice in the talk time is above the threshold is above the threshold"
"The other party has spoken a forbidden word"
"The number of times the other party has spoken a forbidden word is above the threshold"
"Anger degree of the other party is above the threshold"
なお、通話相手の過去の通話が複数回ある場合、複数回の通話の中の所定割合以上の通話において上記条件を満たす場合、決定部15は特別モードを決定してもよい。
Note that if there is a past call by the other party a plurality of times, the
[決定方法3]
決定部15は、通話相手の収集情報がない場合、通話相手と属性(性別、年齢層、訛りの特徴等)や状態(怒り度合い)が同一又は類似する他の通話相手の収集情報に基づき、出力部14のモードを決定してもよい。
[Decision method 3]
If there is no collection information of the other party, the
[決定方法4]
決定部15は、ユーザ入力に基づき、出力部14のモードを決定してもよい。すなわち、利用者が出力部14のモードを選択できてもよい。その他、利用者の通話を監視している監視者(例:利用者の上司)が、遠隔操作で出力部14のモードを選択できてもよい。
[Determination method 4]
The
次に、図8のフローチャートを用いて、通話部10の処理の流れの一例を説明する。ここでは、決定方法1及び4でモードを決定する例を説明する。
Next, an example of the process flow of the
通話開始直後、出力部14は、デフォルト設定されている通常モードで通話相手の発言内容を出力する(S10)。そして、決定部15は、モード変更条件を満たすか否かの判断(S11)を、通話が続いている間(S13のNo)、継続する。ここでのモード変更条件は、決定方法1で説明した特別モードを決定する条件、決定方法2及び3で説明した通話相手の収集情報又は通話相手と属性が類似する他の通話相手の収集情報に基づき特別モードを決定する条件、又は、決定方法4で説明したユーザ入力(通常モードから特別モードに変更する入力)の受付けである。
Immediately after the start of the call, the
モード変更条件を満たす場合(S11のYes)、決定部15は特別モードを決定する。そして、出力部14は、特別モードで通話相手の発言内容を出力する(S12)。その後、決定部15は、モード変更条件を満たすか否かの判断(S14)を、通話が続いている間(S15のNo)、継続する。ここでのモード変更条件は、決定方法4で説明したユーザ入力(特別モードから通常モードに変更する入力)の受付けである。
If the mode change condition is satisfied (Yes in S11), the
モード変更条件を満たす場合(S14のYes)、決定部15は通常モードを決定する。そして、出力部14は、通常モードで通話相手の発言内容を出力する(S10)。以降、同様の処理を繰り返す。
If the mode change condition is satisfied (Yes in S14), the
なお、出力部14は、通常モードの間も、通話相手の発言内容をテキストで表示してもよい。この場合、通常モードと第1のモード(特別モード)の違いは、通話相手の発言内容を音で出力するか否かとなる。
The
また、決定方法2及び3を採用する場合、決定部15は、呼出信号受信後かつ通話開始前に、通話相手の電話番号や通話相手の電話アプリのID等に基づきモードを決定してもよい。この場合、通話開始直後から、出力部14は、特別モードで通話相手の発言内容を出力することができる。
When the determination methods 2 and 3 are adopted, the
また、通話部10は、通常モードの間は通話内容を録音せず、特別モードの間は通話相手の音声を録音してもよい。
Also, the calling
その他、通話部10は、通話中、通常モードであっても特別モードであっても通話内容を録音してもよい。そして、通話中に特別モードになった場合と特別モードにならなかった場合(常時通常モード)とで、その録音データに対する処理を異ならせてもよい。例えば、通話中に特別モードになった場合、その録音データ(音声ファイル)に重要フラグを付し、特別モードにならなかった場合(常時通常モード)はその録音データ(音声ファイル)に重要フラグを付さなくてもよい。ユーザは、当該重要フラグを用いて録音データをグループ分けしたりできる。その他、重要フラグ付きの録音データは録音日からM日後に削除され、重要フラグなしの録音データは録音日からN日後に削除されてもよい(M>N)。すなわち、削除タイミングが異なってもよい。
In addition, during the call, the
第1及び第2の実施形態の電話システム1は、例えばコールセンター等で利用されてもよいし、その他のビジネスシーンで利用されてもよいし、プライベートなシーンで利用されてもよい。
The
第1のモードは、通話相手が乱暴な言葉を使ったり、乱暴な話し方をしている場合のみならず、周りがうるさくて通話相手の声が聞こえない状況下でも利用できる。このような状況下であっても、第1のモードを利用すれば、利用者は通話相手の発言内容を把握できる。なお、ディスプレイはウェアラブル端末(例:眼鏡型ウェアラブル端末)であってもよい。 The first mode can be used not only when the other party uses rough words or speaking wildly, but also when the surroundings are noisy and the other party can not hear the other party's voice. Even in such a situation, the user can grasp the contents of the other party by using the first mode. The display may be a wearable terminal (eg, a glasses-type wearable terminal).
次に、電話システム1のハードウエア構成の一例について説明する。本実施形態の電話システム1が備える各機能は、任意のコンピュータのCPU(Central Processing Unit)、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット(あらかじめ装置を出荷する段階から格納されているプログラムのほか、CD(Compact Disc)等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる)、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
Next, an example of the hardware configuration of the
図9は、本実施形態の電話システム1のハードウエア構成を例示するブロック図である。図2に示すように、電話システム1は、プロセッサ1A、メモリ2A、入出力インターフェイス3A、周辺回路4A、バス5Aを有する。周辺回路4Aには、様々なモジュールが含まれる。電話システム1は周辺回路4Aを有さなくてもよい。なお、通話部10及び処理部20が物理的及び/又は論理的に分かれた装置各々に設けられる場合、各装置がプロセッサ1A、メモリ2A、入出力インターフェイス3A、周辺回路4A、バス5Aを有する。
FIG. 9 is a block diagram illustrating the hardware configuration of the
バス5Aは、プロセッサ1A、メモリ2A、周辺回路4A及び入出力インターフェイス3Aが相互にデータを送受信するためのデータ伝送路である。プロセッサ1Aは、例えばCPU(Central Processing Unit) やGPU(Graphics Processing Unit)などの演算処理装置である。メモリ2Aは、例えばRAM(Random Access Memory)やROM(Read Only Memory)などのメモリである。入出力インターフェイス3Aは、入力装置(例:キーボード、マウス、マイク等)、外部装置、外部サーバ、外部センサー等から情報を取得するためのインターフェイスや、出力装置(例:ディスプレイ、スピーカ、プリンター、メーラ等)、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ1Aは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
The
以下、参考形態の例を付記する。
1. 集音し、第1の音声データを生成する音声受付手段と、
前記第1の音声データを通話相手の端末に送信する送信手段と、
通話相手の前記端末から送信された第2の音声データを取得する受信手段と、
前記通話相手の発言内容を出力する出力手段と、
を有し、
前記出力手段は、
前記通話相手の発言内容を音で出力せず、テキストで表示する第1のモード、
加工された前記第2の音声データに基づき、前記通話相手の発言内容を音で出力する第2のモード、又は、
前記通話相手の発言内容を予め登録された音で出力する第3のモード、
を有し、
前記出力手段が前記第1乃至第3のモードの中のいずれかで動作している間も、前記音声受付手段は集音して前記第1の音声データを生成し、前記送信手段は前記第1の音声データを通話相手の端末に送信する情報処理システム。
2. 1に記載の情報処理システムにおいて、
前記出力手段は、前記第2のモード及び前記第3のモードで動作している間も、前記通話相手の発言内容をテキストで表示する情報処理システム。
3. 1又は2に記載の情報処理システムにおいて、
前記出力手段は、前記通話相手の発言内容をテキストで表示する場合、特定のキーワードを伏字にする情報処理システム。
4. 1から3のいずれかに記載の情報処理システムにおいて、
前記出力手段は、前記通話相手の発言内容を前記通話相手の声で出力する通常モードを有し、
前記出力手段のモードを決定する決定手段をさらに有し、
前記出力手段は、前記決定手段により決定されたモードで動作する情報処理システム。
5. 4に記載の情報処理システムにおいて、
前記決定手段は、前記第2の音声データから特定される前記通話相手の感情、声の大きさ、発言内容及び通話時間の中の少なくとも1つに基づき、前記出力手段のモードを決定する情報処理システム。
6. 5に記載の情報処理システムにおいて、
前記決定手段は、
前記通話相手の感情が予め定められた所定の感情、
前記通話相手の声の大きさが閾値以上、
特定のキーワードを所定回数以上発言、及び、
通話時間が閾値以上、
の中のいずれか1つ以上を満たした場合、前記出力手段のモードとして、前記第1乃至第3のモードの中のいずれかを決定する情報処理システム。
7. 4から6のいずれかに記載の情報処理システムにおいて、
前記決定手段は、過去の通話時に収集された情報に基づき、前記出力手段のモードを決定する情報処理システム。
8. 1から7のいずれかに記載の情報処理システムにおいて、
前記出力手段は、前記第1乃至第3のモードの中のいずれかで動作している間、前記通話相手の感情を示す情報を出力する情報処理システム。
9. 1から8のいずれかに記載の情報処理システムにおいて、
前記出力手段は、前記第1のモードで動作している場合、前記通話相手の発言が途切れたタイミングを通知する情報処理システム。
10. コンピュータが、
集音し、第1の音声データを生成し、
前記第1の音声データを通話相手の端末に送信し、
通話相手の前記端末から送信された第2の音声データを取得し、
前記通話相手の発言内容を音で出力せず、テキストで表示する第1のモード、加工された前記第2の音声データに基づき、前記通話相手の発言内容を音で出力する第2のモード、又は、前記通話相手の発言内容を予め登録された音で出力する第3のモード、で前記通話相手の発言内容を出力し、
前記第1乃至第3のモードの中のいずれかで前記通話相手の発言内容を出力している間も、集音して前記第1の音声データを生成し、前記第1の音声データを通話相手の端末に送信する情報処理方法。
11. 集音し、第1の音声データを生成し、
前記第1の音声データを通話相手の端末に送信し、
通話相手の前記端末から送信された第2の音声データを取得し、
前記通話相手の発言内容を音で出力せず、テキストで表示する第1のモード、加工された前記第2の音声データに基づき、前記通話相手の発言内容を音で出力する第2のモード、又は、前記通話相手の発言内容を予め登録された音で出力する第3のモード、で前記通話相手の発言内容を出力し、
前記第1乃至第3のモードの中のいずれかで前記通話相手の発言内容を出力している間も、集音して前記第1の音声データを生成し、前記第1の音声データを通話相手の端末に送信する処理をコンピュータに実行させるプログラム。
Hereinafter, an example of a reference form is added.
1. Voice receiving means for collecting sound and generating first voice data;
Transmitting means for transmitting the first voice data to the terminal of the other party of the call;
Receiving means for acquiring second voice data transmitted from the terminal of the other party of the call;
An output means for outputting the contents of the speech of the other party;
Have
The output means is
A first mode of displaying the contents of the other party's speech as text without outputting it as sound,
A second mode in which the speaking contents of the other party are output by sound based on the processed second voice data, or
A third mode for outputting the speech contents of the other party by a pre-registered sound,
Have
While the output means is operating in any one of the first to third modes, the voice reception means collects sound to generate the first voice data, and the transmission means An information processing system for transmitting voice data of 1 to a terminal of a calling party.
2. In the information processing system described in 1,
An information processing system, wherein the output means displays the contents of the other party's speech as text while operating in the second mode and the third mode.
3. In the information processing system according to 1 or 2,
The information processing system, wherein the output means turns a specific keyword into a bold letter when displaying the contents of the speech of the other party in text.
4. In the information processing system according to any one of 1 to 3,
The output means has a normal mode for outputting the contents of the callee's speech in the voice of the callee,
The apparatus further comprises determination means for determining a mode of the output means,
The information processing system, wherein the output unit operates in a mode determined by the determination unit.
5. In the information processing system described in 4,
The information processing device determines the mode of the output device on the basis of at least one of the emotion of the other party specified by the second voice data, the size of the voice, the content of the speech, and the call time, which is determined by the second voice data. system.
6. In the information processing system described in 5,
The determining means is
A predetermined emotion in which the emotion of the other party is predetermined;
The loudness of the other party's voice is above a threshold,
Speak a specific keyword more than a certain number of times, and
Call time is above threshold,
An information processing system which determines any one of the first to third modes as a mode of the output means when any one or more of the above are satisfied.
7. In the information processing system according to any one of 4 to 6,
The information processing system, wherein the determination means determines the mode of the output means based on information collected during a past call.
8. In the information processing system according to any one of 1 to 7,
The information processing system, wherein the output means outputs information indicating an emotion of the other party while operating in any one of the first to third modes.
9. In the information processing system according to any one of 1 to 8,
The information processing system, wherein the output unit is configured to notify a timing at which an utterance of the calling party is interrupted when operating in the first mode.
10. The computer is
Collect the sound and generate the first voice data,
Transmitting the first voice data to the other party's terminal;
Acquiring second voice data transmitted from the other party's terminal;
The first mode in which the speaking contents of the other party are not output as sound but displayed as text, and the second mode in which the speaking contents of the other party are output as sound based on the processed second voice data, Alternatively, in the third mode in which the speech contents of the other party are output with a pre-registered sound, the speech contents of the other party are output.
Also while outputting the speech contents of the other party in any of the first to third modes, the sound is collected to generate the first voice data, and the first voice data is called Information processing method to transmit to the other party's terminal.
11. Collect the sound and generate the first voice data,
Transmitting the first voice data to the other party's terminal;
Acquiring second voice data transmitted from the other party's terminal;
The first mode in which the speaking contents of the other party are not output as sound but displayed as text, and the second mode in which the speaking contents of the other party are output as sound based on the processed second voice data, Alternatively, in the third mode in which the speech contents of the other party are output with a pre-registered sound, the speech contents of the other party are output.
Also while outputting the speech contents of the other party in any of the first to third modes, the sound is collected to generate the first voice data, and the first voice data is called A program that causes a computer to execute processing to send to the other party's terminal.
1A プロセッサ
2A メモリ
3A 入出力I/F
4A 周辺回路
5A バス
1 電話システム
10 通話部
11 音声受付部
12 送信部
13 受信部
14 出力部
15 決定部
20 処理部
4A
Claims (11)
前記第1の音声データを通話相手の端末に送信する送信手段と、
通話相手の前記端末から送信された第2の音声データを取得する受信手段と、
前記通話相手の発言内容を出力する出力手段と、
を有し、
前記出力手段は、
前記通話相手の発言内容を音で出力せず、テキストで表示する第1のモード、
加工された前記第2の音声データに基づき、前記通話相手の発言内容を音で出力する第2のモード、又は、
前記通話相手の発言内容を予め登録された音で出力する第3のモード、
を有し、
前記出力手段が前記第1乃至第3のモードの中のいずれかで動作している間も、前記音声受付手段は集音して前記第1の音声データを生成し、前記送信手段は前記第1の音声データを通話相手の端末に送信する情報処理システム。 Voice receiving means for collecting sound and generating first voice data;
Transmitting means for transmitting the first voice data to the terminal of the other party of the call;
Receiving means for acquiring second voice data transmitted from the terminal of the other party of the call;
An output means for outputting the contents of the speech of the other party;
Have
The output means is
A first mode of displaying the contents of the other party's speech as text without outputting it as sound,
A second mode in which the speaking contents of the other party are output by sound based on the processed second voice data, or
A third mode for outputting the speech contents of the other party by a pre-registered sound,
Have
While the output means is operating in any one of the first to third modes, the voice reception means collects sound to generate the first voice data, and the transmission means An information processing system for transmitting voice data of 1 to a terminal of a calling party.
前記出力手段は、前記第2のモード及び前記第3のモードで動作している間も、前記通話相手の発言内容をテキストで表示する情報処理システム。 In the information processing system according to claim 1,
An information processing system, wherein the output means displays the contents of the other party's speech as text while operating in the second mode and the third mode.
前記出力手段は、前記通話相手の発言内容をテキストで表示する場合、特定のキーワードを伏字にする情報処理システム。 In the information processing system according to claim 1 or 2,
The information processing system, wherein the output means turns a specific keyword into a bold letter when displaying the contents of the speech of the other party in text.
前記出力手段は、前記通話相手の発言内容を前記通話相手の声で出力する通常モードを有し、
前記出力手段のモードを決定する決定手段をさらに有し、
前記出力手段は、前記決定手段により決定されたモードで動作する情報処理システム。 The information processing system according to any one of claims 1 to 3.
The output means has a normal mode for outputting the contents of the callee's speech in the voice of the callee,
The apparatus further comprises determination means for determining a mode of the output means,
The information processing system, wherein the output unit operates in a mode determined by the determination unit.
前記決定手段は、前記第2の音声データから特定される前記通話相手の感情、声の大きさ、発言内容及び通話時間の中の少なくとも1つに基づき、前記出力手段のモードを決定する情報処理システム。 In the information processing system according to claim 4,
The information processing device determines the mode of the output device on the basis of at least one of the emotion of the other party specified by the second voice data, the size of the voice, the content of the speech, and the call time, which is determined by the second voice data. system.
前記決定手段は、
前記通話相手の感情が予め定められた所定の感情、
前記通話相手の声の大きさが閾値以上、
特定のキーワードを所定回数以上発言、及び、
通話時間が閾値以上、
の中のいずれか1つ以上を満たした場合、前記出力手段のモードとして、前記第1乃至第3のモードの中のいずれかを決定する情報処理システム。 In the information processing system according to claim 5,
The determining means is
A predetermined emotion in which the emotion of the other party is predetermined;
The loudness of the other party's voice is above a threshold,
Speak a specific keyword more than a certain number of times, and
Call time is above threshold,
An information processing system which determines any one of the first to third modes as a mode of the output means when any one or more of the above are satisfied.
前記決定手段は、過去の通話時に収集された情報に基づき、前記出力手段のモードを決定する情報処理システム。 The information processing system according to any one of claims 4 to 6.
The information processing system, wherein the determination means determines the mode of the output means based on information collected during a past call.
前記出力手段は、前記第1乃至第3のモードの中のいずれかで動作している間、前記通話相手の感情を示す情報を出力する情報処理システム。 The information processing system according to any one of claims 1 to 7.
The information processing system, wherein the output means outputs information indicating an emotion of the other party while operating in any one of the first to third modes.
前記出力手段は、前記第1のモードで動作している場合、前記通話相手の発言が途切れたタイミングを通知する情報処理システム。 The information processing system according to any one of claims 1 to 8.
The information processing system, wherein the output unit is configured to notify a timing at which an utterance of the calling party is interrupted when operating in the first mode.
集音し、第1の音声データを生成し、
前記第1の音声データを通話相手の端末に送信し、
通話相手の前記端末から送信された第2の音声データを取得し、
前記通話相手の発言内容を音で出力せず、テキストで表示する第1のモード、加工された前記第2の音声データに基づき、前記通話相手の発言内容を音で出力する第2のモード、又は、前記通話相手の発言内容を予め登録された音で出力する第3のモード、で前記通話相手の発言内容を出力し、
前記第1乃至第3のモードの中のいずれかで前記通話相手の発言内容を出力している間も、集音して前記第1の音声データを生成し、前記第1の音声データを通話相手の端末に送信する情報処理方法。 The computer is
Collect the sound and generate the first voice data,
Transmitting the first voice data to the other party's terminal;
Acquiring second voice data transmitted from the other party's terminal;
The first mode in which the speaking contents of the other party are not output as sound but displayed as text, and the second mode in which the speaking contents of the other party are output as sound based on the processed second voice data, Alternatively, in the third mode in which the speech contents of the other party are output with a pre-registered sound, the speech contents of the other party are output.
Also while outputting the speech contents of the other party in any of the first to third modes, the sound is collected to generate the first voice data, and the first voice data is called Information processing method to transmit to the other party's terminal.
前記第1の音声データを通話相手の端末に送信し、
通話相手の前記端末から送信された第2の音声データを取得し、
前記通話相手の発言内容を音で出力せず、テキストで表示する第1のモード、加工された前記第2の音声データに基づき、前記通話相手の発言内容を音で出力する第2のモード、又は、前記通話相手の発言内容を予め登録された音で出力する第3のモード、で前記通話相手の発言内容を出力し、
前記第1乃至第3のモードの中のいずれかで前記通話相手の発言内容を出力している間も、集音して前記第1の音声データを生成し、前記第1の音声データを通話相手の端末に送信する処理をコンピュータに実行させるプログラム。 Collect the sound and generate the first voice data,
Transmitting the first voice data to the other party's terminal;
Acquiring second voice data transmitted from the other party's terminal;
The first mode in which the speaking contents of the other party are not output as sound but displayed as text, and the second mode in which the speaking contents of the other party are output as sound based on the processed second voice data, Alternatively, in the third mode in which the speech contents of the other party are output with a pre-registered sound, the speech contents of the other party are output.
Also while outputting the speech contents of the other party in any of the first to third modes, the sound is collected to generate the first voice data, and the first voice data is called A program that causes a computer to execute processing to send to the other party's terminal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017242498A JP7052335B2 (en) | 2017-12-19 | 2017-12-19 | Information processing system, information processing method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017242498A JP7052335B2 (en) | 2017-12-19 | 2017-12-19 | Information processing system, information processing method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019110451A true JP2019110451A (en) | 2019-07-04 |
JP7052335B2 JP7052335B2 (en) | 2022-04-12 |
Family
ID=67180318
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017242498A Active JP7052335B2 (en) | 2017-12-19 | 2017-12-19 | Information processing system, information processing method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7052335B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10597327B2 (en) | 2012-04-27 | 2020-03-24 | United States Gypsum Company | Dimensionally stable geopolymer composition and method |
JP7164793B1 (en) | 2021-11-25 | 2022-11-02 | ソフトバンク株式会社 | Speech processing system, speech processing device and speech processing method |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0758858A (en) * | 1993-08-13 | 1995-03-03 | Sony Corp | Remote conference system |
JPH10271481A (en) * | 1997-03-27 | 1998-10-09 | Xing:Kk | Two-way broadcast system |
JP2009159558A (en) * | 2007-12-28 | 2009-07-16 | Fujitsu Fsas Inc | Operator reception monitoring and switching system |
JP2010187038A (en) * | 2009-02-10 | 2010-08-26 | Nakayo Telecommun Inc | Telephone apparatus with unpleasantness detecting function |
JP2012120120A (en) * | 2010-12-03 | 2012-06-21 | Toshiba Corp | Call center system and escalation notification method |
JP2013046088A (en) * | 2011-08-22 | 2013-03-04 | Nec Corp | Voice control system, voice controller, voice control method, and voice control program |
JP2013157666A (en) * | 2012-01-26 | 2013-08-15 | Sumitomo Mitsui Banking Corp | Telephone call answering job support system and method of the same |
-
2017
- 2017-12-19 JP JP2017242498A patent/JP7052335B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0758858A (en) * | 1993-08-13 | 1995-03-03 | Sony Corp | Remote conference system |
JPH10271481A (en) * | 1997-03-27 | 1998-10-09 | Xing:Kk | Two-way broadcast system |
JP2009159558A (en) * | 2007-12-28 | 2009-07-16 | Fujitsu Fsas Inc | Operator reception monitoring and switching system |
JP2010187038A (en) * | 2009-02-10 | 2010-08-26 | Nakayo Telecommun Inc | Telephone apparatus with unpleasantness detecting function |
JP2012120120A (en) * | 2010-12-03 | 2012-06-21 | Toshiba Corp | Call center system and escalation notification method |
JP2013046088A (en) * | 2011-08-22 | 2013-03-04 | Nec Corp | Voice control system, voice controller, voice control method, and voice control program |
JP2013157666A (en) * | 2012-01-26 | 2013-08-15 | Sumitomo Mitsui Banking Corp | Telephone call answering job support system and method of the same |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10597327B2 (en) | 2012-04-27 | 2020-03-24 | United States Gypsum Company | Dimensionally stable geopolymer composition and method |
JP7164793B1 (en) | 2021-11-25 | 2022-11-02 | ソフトバンク株式会社 | Speech processing system, speech processing device and speech processing method |
JP2023078068A (en) * | 2021-11-25 | 2023-06-06 | ソフトバンク株式会社 | Voice processing system, voice processing device and voice processing method |
JP2023077444A (en) * | 2021-11-25 | 2023-06-06 | ソフトバンク株式会社 | Voice processing system, voice processing device and voice processing method |
JP7394192B2 (en) | 2021-11-25 | 2023-12-07 | ソフトバンク株式会社 | Audio processing device, audio processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP7052335B2 (en) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9715873B2 (en) | Method for adding realism to synthetic speech | |
US10091354B1 (en) | Transcribing media files | |
CN109951743A (en) | Barrage information processing method, system and computer equipment | |
TW201926079A (en) | Bidirectional speech translation system, bidirectional speech translation method and computer program product | |
US10250846B2 (en) | Systems and methods for improved video call handling | |
US20230179984A1 (en) | Emergency session translation and transcription via audio forking and machine learning | |
JP2007049657A (en) | Automatic answering telephone apparatus | |
US10313502B2 (en) | Automatically delaying playback of a message | |
CN113194203A (en) | Communication system, answering and dialing method and communication system for hearing-impaired people | |
JP7052335B2 (en) | Information processing system, information processing method and program | |
JP7028179B2 (en) | Information processing equipment, information processing methods and computer programs | |
US20220101857A1 (en) | Personal electronic captioning based on a participant user's difficulty in understanding a speaker | |
US20220124193A1 (en) | Presentation of communications | |
CN109714248B (en) | Data processing method and device | |
WO2020051881A1 (en) | Information prompt method and related product | |
US12015730B2 (en) | Systems and methods for cellular and landline text-to-audio and audio-to-text conversion | |
US8670534B2 (en) | Initiating a telephonic connection | |
US11783837B2 (en) | Transcription generation technique selection | |
JP2007259427A (en) | Mobile terminal unit | |
JP2007041992A (en) | Conversation system, conversation method, conversation server and program | |
EP2693429A1 (en) | System and method for analyzing voice communications | |
US11632346B1 (en) | System for selective presentation of notifications | |
US11830120B2 (en) | Speech image providing method and computing device for performing the same | |
CN116456017A (en) | Voice information processing method and device, electronic equipment and readable storage medium | |
WO2013175665A1 (en) | Communication apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201106 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211004 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220314 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7052335 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |