JP2020141400A - 通話制御装置、通話制御方法、音声変換のための文字入力装置、音声変換のための文字入力方法およびプログラム - Google Patents

通話制御装置、通話制御方法、音声変換のための文字入力装置、音声変換のための文字入力方法およびプログラム Download PDF

Info

Publication number
JP2020141400A
JP2020141400A JP2020029945A JP2020029945A JP2020141400A JP 2020141400 A JP2020141400 A JP 2020141400A JP 2020029945 A JP2020029945 A JP 2020029945A JP 2020029945 A JP2020029945 A JP 2020029945A JP 2020141400 A JP2020141400 A JP 2020141400A
Authority
JP
Japan
Prior art keywords
voice
character
characters
input
call control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020029945A
Other languages
English (en)
Other versions
JP2020141400A5 (ja
Inventor
怜以 佐藤
Rei Sato
怜以 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2020141400A publication Critical patent/JP2020141400A/ja
Publication of JP2020141400A5 publication Critical patent/JP2020141400A5/ja
Pending legal-status Critical Current

Links

Abstract

【課題】 ユーザが、着信に対し声で応答できない場合でも、相手ユーザとの通話を可能にするシステムを提供できる。【解決手段】 本発明の通話制御装置10は、通話制御手段11、および入力画面表示手段12を含み、通話制御手段11は、ユーザと相手ユーザとの通話を制御し、入力画面表示手段12は、ディスプレイ14に、文字の入力と文字の背景の選択とを行うための入力画面141を表示し、前記文字の背景は、それぞれ、前記文字を音声に変換した変換音声の音声表現を変化させるための情報が紐づけられており、通話制御手段11は、前記相手ユーザに対し、前記入力された文字と前記選択された前記文字の背景とに基づき、音声情報を出力する。【選択図】図5

Description

本発明は、通話制御装置、通話制御方法、音声変換のための文字入力装置、音声変換のための文字入力方法およびプログラムに関する。
固定電話や携帯端末等の通話機能を有する端末を用いて、ユーザは、通話、すなわち、音声情報のやりとりをすることができる。一方、これらの端末において、ユーザが着信に出られない場合に、相手ユーザのメッセージを録音し、後でその内容を前記ユーザが確認することが可能な、留守番電話サービスが知られている(特許文献1)。
特開2012−60458号公報
前記留守番電話サービスによれば、ユーザが着信に出られない場合、予め定めたメッセージが流れる。しかし、予め定めたメッセージであるため、相手ユーザの種類や話題に合わせた受け答えをすることはできない。
本発明は、例えば、ユーザが、着信に対し声で応答できない場合でも、相手ユーザとの通話を可能にするシステムを提供する。
前記目的を達成するために、本発明の通話制御装置は、
通話制御手段、および入力画面表示手段を含み、
前記通話制御手段は、ユーザと相手ユーザとの通話を制御し、
前記入力画面表示手段は、ディスプレイに、文字の入力と前記文字の背景の選択とを行うための入力画面を表示し、
前記文字の背景は、それぞれ、前記文字を音声に変換した変換音声の音声表現を変化させるための情報が紐づけられており、
前記通話制御手段は、前記相手ユーザに対し、前記入力された前記文字と前記選択された前記文字の背景とに基づき、音声情報を出力する。
本発明の通話制御方法は、
通話制御工程、および入力画面表示工程を含み、
前記通話制御工程は、ユーザと相手ユーザとの通話を制御し、
前記入力画面表示工程は、ディスプレイに、文字の入力と文字の背景の選択とを行うための入力画面を表示し、
前記文字の背景は、それぞれ、前記文字を音声に変換した変換音声の音声表現を変化させるための情報が紐づけられており、
前記通話制御工程は、前記相手ユーザに対し、前記入力された前記文字と前記選択された前記文字の背景とに基づき、音声情報を出力する。
本発明のプログラムは、前記本発明の方法をコンピュータ上で実行可能であることを特徴とする。
本発明によれば、例えば、ユーザが、着信に対し声で応答できない場合でも、相手ユーザとの通話を可能にするシステムを提供できる。
図1は、本発明の実施形態1における、通話制御装置の一例の構成を示すブロック図である。 図2は、本発明の実施形態1における、通話制御装置の使用形態の一例を示す概略図である。 図3は、本発明の実施形態1における、通話制御装置のハードウエア構成の一例を示すブロック図である。 図4は、本発明の実施形態1における、通話制御方法の一例を示すフローチャートである。 図5は、本発明の実施形態1における、通話制御装置のタッチパネルに表示される画面の一例を示す概略図である。 図6は、本発明の実施形態1における、通話制御装置を用いた通話の一例を示す概略図である。 図7は、本発明の変形例における、通話制御装置の一例の構成を示すブロック図である。 図8は、本発明の変形例における、通話制御方法の一例を示すフローチャートである。 図9は、本発明の実施形態2における、通話制御装置のタッチパネルに表示される画面の一例を示す概略図である。 図10は、本発明の実施形態3における、通話制御装置の使用形態の一例を示す概略図である。 図11は、文字の背景の一例を示す概略図である。 図12は、文字の背景の一例を示す概略図である。 図13は、本発明の実施形態4における、変換音声出力システムの一例を示す概略図である。
本発明において、「ユーザ」は、通話制御装置10のユーザである。「相手ユーザ」は、前記ユーザとの通話を行うユーザである。本発明において、「通話」は、特に制限されず、例えば、電気通信による音声情報の送受信であり、アナログ回線、デジタル回線等の回線の種類は制限されない。前記通話は、例えば、電話、音声チャット等ともいう。前記通話は、3人以上が参加するものでもよい。
本発明の実施形態について、図を用いて説明する。本発明は、下記の実施形態によって何ら限定および制限されない。以下の各図において、同一部分には、同一符号を付している。各実施形態の説明は、特に言及がない限り、互いの説明を援用できる。さらに、各実施形態の構成は、特に言及がない限り、組合せ可能である。
[実施形態1]
実施形態1は、携帯端末のタッチパネルを用いて応答内容を設定し、通話を行う形態である。図1は、本実施形態の通話制御装置10の一例の構成を示すブロック図である。通話制御装置10は、通話制御手段11、入力画面表示手段12、音声変換手段13、タッチパネル14、および問合せ表示手段15を含む。なお、音声変換手段13、タッチパネル14、および問合せ表示手段15については、任意の構成であり、通話制御装置10に含まれなくてもよい。
通話制御装置10は、例えば、図2に示すように、前記相手ユーザの通話制御装置100と、通信回線網200を介して、接続可能である。通話制御装置100は、通話が可能であればよく、通話制御装置10と同じ構成でもよいし、異なっていてもよい。通信回線網200は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。通信回線網200は、例えば、インターネット回線、電話回線、LAN(Local Area Network)、WiFi(Wireless Fidelity)等があげられる。本実施形態における通話制御システムは、例えば、通話制御装置10と通話制御装置100とを含んでもよい。なお、前記ユーザおよび前記相手ユーザは、例えば、1つの通話制御装置10を使用して、通話を行うこともできる。
通話制御装置10は、例えば、前記各部を含む1つの装置でもよいし、前記各部が、有線または無線の通信回線網を介して接続可能な装置(システム)であってもよい。通話制御装置10は、例えば、システムとしてサーバーに組み込まれていてもよい。また、通話制御装置10は、例えば、本発明のプログラムがインストールされたコンピュータであってもよい。
本実施形態において、通話制御装置10は、前記ディスプレイとして、タッチパネル14を有する携帯端末である。タッチパネル14は、特に制限されず、例えば、表示と入力の2つの機能を備える表示装置である。前記携帯端末は、特に制限されず、例えば、スマートフォン、タブレット端末、ウェアラブル端末等があげられる。ただし、通話制御装置10は、通話制御手段11、および入力画面表示手段12を含めばよく、前記携帯端末には限定されない。
さらに、図3に、通話制御装置10のハードウエア構成のブロック図を例示する。通話制御装置10は、例えば、CPU(中央処理装置)101、メモリ102、タッチパネル14、バス103、通信デバイス104、記憶装置105、音声出力部107等を有する。通話制御装置10の各部は、例えば、それぞれのインターフェイス(I/F)により、バス103を介して、接続されている。
CPU101は、通話制御装置10の全体の制御を担う。通話制御装置10において、CPU101により、例えば、本発明のプログラムやその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的に、通話制御装置10は、例えば、CPU101が、通話制御手段11、入力画面表示手段12、音声変換手段13、および問合せ表示手段15として機能する。
バス103は、例えば、CPU101、メモリ102等のそれぞれの機能部間を接続する。バス103は、例えば、外部機器とも接続できる。前記外部機器は、例えば、前記ディスプレイ等があげられる。通話制御装置10は、バス103に接続された通信デバイス104により、通信回線網に接続でき、通信回線網を介して、前記外部機器と接続することもできる。
メモリ102は、例えば、メインメモリを含み、前記メインメモリは、主記憶装置ともいう。CPU101が処理を行う際には、例えば、後述する補助記憶装置に記憶されている、本発明のプログラム等の種々の動作プログラム106を、メモリ102が読み込み、CPU101は、メモリ102からデータを受け取って、プログラム106を実行する。前記メインメモリは、例えば、RAM(ランダムアクセスメモリ)である。メモリ102は、例えば、さらに、ROM(読み出し専用メモリ)を含む。
記憶装置105は、例えば、前記メインメモリ(主記憶装置)に対して、いわゆる補助記憶装置ともいう。記憶装置105は、例えば、記憶媒体と、前記記憶媒体に読み書きするドライブとを含む。前記記憶媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、HD(ハードディスク)、CD−ROM、CD−R、CD−RW、MO、DVD、フラッシュメモリー、メモリーカード等があげられ、前記ドライブは、特に制限されない。記憶装置105は、例えば、記憶媒体とドライブとが一体化されたハードディスクドライブ(HDD)も例示できる。記憶装置105には、例えば、前述のように、動作プログラム106が格納される。また、記憶装置105は、例えば、後述する、音声変換情報、音声表現変化情報、入力内容の候補、音声アナウンス等が格納されてもよい。
通話制御装置10において、メモリ102および記憶装置105は、ユーザからのアクセス情報およびログ情報、ならびに、外部データベース(図示せず)から取得した情報を記憶することも可能である。
音声出力部107は、ユーザへの音声出力を行う。音声出力部107は、例えば、内蔵スピーカーでもよいし、イヤホン等の外部音声出力装置への出力部でもよい。なお、音声出力部107は、任意の構成であり、通話制御装置10に含まれなくてもよい。この場合、通話制御装置10は、例えば、前記相手ユーザの音声情報を、外部機器に送信し、前記外部機器が、前記ユーザへの音声出力を行ってもよい。
通話制御装置10は、例えば、さらに、マイク等の音声入力部を含み、前記音声入力部が、ユーザからの音声入力を受け付けてもよい。これにより、通話制御装置10において、例えば、ユーザからの音声入力によっても、前記通話を行うことができる。
つぎに、本実施形態の通話制御方法における処理の一例を、図1のブロック図、図4のフローチャート、ならびに、図5に示す、携帯端末である通話制御装置10における表示画面の一例に基づき説明する。本実施形態の通話制御方法は、通話制御工程(A1)、入力画面表示工程(A2)、音声変換工程(A3)、音声表現変化工程(A4)、および出力工程(A5)を含み、例えば、図1の通話制御装置10を用いて、次のように実施できる。なお、本実施形態の通話制御方法は、図1の通話制御装置10の使用には限定されない。また、後述するように、前記工程(A3)および前記工程(A4)は、任意の工程であり、本実施形態の通話制御方法に含まれなくてもよい。また、本例において、前記相手ユーザから発信があった場合を例にあげて説明を行うが、前記ユーザから発信を行う場合も、同様に実施することができる。また、本例において、前記ユーザが通話制御装置10を用いて文字入力による通話を行っているが、前記通話において、前記ユーザおよび前記相手ユーザの両方が、前記文字入力による通話を行ってもよい。
まず、工程(A1)に先立って、前記ユーザおよび前記相手ユーザのいずれか一方が他方に対して発信を行う(START)。そして、前記発信による着信に、前記他方が応答することで、前記ユーザと前記相手ユーザとの通話が開始する(工程(A0))。前記通話、前記発信、および前記応答は、例えば、既知の方法により行うことができる。
前記工程(A0)において、前記相手ユーザからの着信があると、問合せ表示手段15が、タッチパネル14に、前記相手ユーザへの応答を前記文字入力により行うかを問合わせる問合せ画面を表示してもよい。
図5に、前記ユーザのスマートフォンである通話制御装置10のタッチパネル14に表示される画面の一例を示す。図5(A)は、「お母さん」である前記相手ユーザからの着信画面の一例である。図5(A)に示すように、「お母さん」からの着信に対し、問合せ表示手段15により、例えば、「応答する」、「応答しない」、「文字入力で応答する」の3つの選択肢が画面表示される。前記「文字入力で応答する」の選択肢が、前記相手ユーザへの応答を前記文字入力により行うかを問合わせる前記問合せ画面である。そして、前記ユーザが、前記「応答する」、または前記「文字入力で応答する」をタッチ等により選択すると、前記通話が開始する。一方、前記ユーザが、前記「応答しない」を選択すると、着信状態を終了することができる。この場合、例えば、留守番電話サービスへの転送や、前記相手ユーザにメッセージを送信する等を行うことができてもよい。
なお、図5(A)において、通常の音声入力による通話を行うか(前記「応答する」)、文字入力による通話を行うか(前記「文字入力で応答する」)を、別個の応答として表示している。ただし、これには制限されず、例えば、前記通話において、通常の音声入力による通話と、文字入力による通話とを、同時に行うことができてもよい。
そして、通話制御手段11により、前記ユーザと前記相手ユーザとの通話を制御する(工程(A1))。前記通話の制御は、例えば、既知の方法により行うことができる。
なお、前記通話の開始時に、例えば、通話制御手段11により、前記相手ユーザに対し、前記文字入力による応答を行う旨の音声アナウンスが送信されてもよい。前記音声アナウンスは、例えば、予め設定されたものでもよいし、前記工程(A0)における前記表示画面等において、前記ユーザが、選択肢から選択できてもよい。前記音声アナウンスは、具体的には、例えば、「ただいま電車に乗っているため、機械音声で応答させて頂きます。ご用件をお話し下さい。」等があげられる。前記音声アナウンスは、文字入力されたものには限定されず、例えば、音声入力されたものでもよく、例えば、予め、前記ユーザの声を録音したものでもよい。
前記音声アナウンスは、例えば、応答の準備中である旨の内容を含んでもよい。前記応答の準備中である旨の内容は、例えば、前記ユーザの応答の準備ができるまで、待ってもらう旨の内容でもよい。この場合、前記音声アナウンスは、具体的には、例えば、「ただいま機械音声で応答させて頂く準備をしております。ご用件をお話しにならずに、少々お待ち下さい。なお、留守番電話へのメッセージの録音をご希望される場合は、シャープを押して下さい。」等があげられる。これにより、例えば、前記ユーザがイヤホンを装着する等の準備をしている間に、前記相手ユーザが発信を終了してしまうことを防ぐことができる。また、前記音声アナウンスは、例えば、前記ユーザの応答の準備ができた旨の内容を含んでもよい。この場合、前記音声アナウンスは、具体的には、例えば、「お待たせ致しました。ご用件をお話し下さい。」等があげられる。
つぎに、入力画面表示手段12により、タッチパネル14に、文字の入力と文字の背景の選択とを行うための入力画面141を表示する(工程(A2))。前記文字の入力は、特に制限されず、既知の方法により行うことができる。前記入力画面に対して、前記文字の入力と前記文字の背景の選択とを行うことにより、前記ユーザは、前記相手ユーザへの応答内容を設定することができる。本実施形態において、入力画面表示手段12は、前記ユーザからの入力(文字の入力および文字の背景の選択)の入力受付手段を兼ねているということもできる。
図5(B)は、前記入力画面の一例である。図5(A)において、前記ユーザが、前記「文字入力で応答する」を選択すると、入力画面表示手段12により、図5(B)に示すように、タッチパネル14に、入力画面141が表示される。入力画面141は、例えば、入力文字表示部1411、キー配列1412、変換候補表示部1413、応答決定ボタン1414、応答済み内容表示部1415、背景設定ボタン1416、カラーパレット1417等を含む。
入力画面141への文字の入力は、例えば、キー配列1412の操作、および変換候補表示部1413に表示された変換候補の選択等により、行うことができる。図5(B)は、入力文字表示部1411において、前記ユーザにより「今日は、」と入力された文字が表示され、且つ、「は」の文字が仮入力の状態になっている。また、前記仮入力の文字に基づき、変換候補表示部1413に、変換候補が表示されている。そして、前記ユーザが、キー配列1412における決定ボタンを選択する、前記変換候補を選択する等を行うことにより、前記文字入力を確定することができる。
前記文字の背景は、特に制限されず、例えば、入力文字表示部1411等の、文字の入力領域(文字入力欄)でもよいし、前記文字入力欄を取り囲む領域(文字入力欄の枠等)でもよいし、入力画面141における余白等の、入力画面における、前記文字入力欄の背景領域等でもよい。図11に、文字の背景Bが前記文字入力欄の枠である場合の一例を示す。図11に示すように、前記文字の背景は、線でもよい。また、図12(A)〜(C)に、文字の背景Bが前記文字入力欄の背景領域である場合の一例を示す。前記文字の背景は、具体的には、例えば、文字の背景の色および模様、ならびに、文字の背景に含まれる画像等があげられ、動きのあるもの(時間により変化するもの)でもよい。前記文字の背景は、例えば、後述する、前記音声表現を変化させるための情報の各パラメータ値等を、色の濃さ、模様の密度、大きさ、線の太さ、模様や線のパターン、向き、面積、位置、動きの程度、およびこれらのバランス等に反映したものでもよい。図5(B)において、カラーパレット1417のパレット領域に、それぞれ異なる色や模様が表示されている。そして、前記ユーザが1つのパレット領域を選択すると、入力文字表示部1411が、前記選択された色や模様に変化する。図5(B)の例では、入力文字表示部1411の背景が、走っている人の模様を含む背景になっている。
前記文字の背景の選択は、前述のように、入力画面141に表示された所定の選択肢(カラーパレット1417)から選択できてもよいし、所定のボタン(背景設定ボタン1416)を選択することにより、選択肢や前記文字の背景に紐づける前記文字の範囲等についての設定画面等が表示され、選択することができてもよい。なお、前記文字の背景に紐づける前記文字の範囲は、特に制限されず、例えば、1回の応答における全ての文字でもよいし、一部の文字でもよい。
入力画面141において、例えば、複数の前記文字の背景を組み合わせて選択することができてもよい。この場合、前記複数の前記文字の背景は、それぞれ、足し合せて表示されてもよいし、前記文字の背景を分割してそれぞれ表示されてもよいし、グラデーション、周期的な模様等によりそれぞれ表示されてもよい。前記足し合せて表示されるとは、例えば、色の前記文字の背景に模様の前記文字の背景を重ねて表示する、複数の模様の前記文字の背景を重なり合わないようにまたは重ねて表示する、色の前記文字の背景を混色(赤色と黄色でオレンジ等)する、および画像の前記文字の背景に、色の前記文字の背景を透過等により見えるようにして重ねて表示する、等があげられる。例えば、図5(B)において、「了解!」の文字は、2種類の色の前記文字の背景が組み合わせて選択され、グラデーションにより表示されている。なお、前記複数の前記文字の背景は、既定の前記文字の背景と前記ユーザにより選択された前記文字の背景との組合せでもよい。
前記文字の背景は、前記文字を音声に変換した変換音声の音声表現を変化させるための情報(以下、音声表現変化情報ともいう。)が紐づけられている。前記音声表現変化情報については、後述する。
前記文字の背景に、前記音声表現変化情報が紐づけられていることにより、後述する工程(A4)において、前記文字の背景に紐づけられた前記音声表現変化情報に基づき、前記文字を音声に変換した変換音声の前記音声表現を変化させることができる。このため、例えば、同じ文字情報、且つ同じ音声(声)であっても、異なる音声表現の前記変換音声にすることができる。
また、前記文字の背景に、前記音声表現変化情報が紐づけられていることにより、例えば、前記音声表現変化情報を文字で表示する場合(「楽しい」等)と比較して、入力画面141に、前記音声表現変化情報を表示するための領域を別途設ける必要がないため、スペースを節約することができる。さらに、例えば、前記音声表現変化情報が、複雑なパラメータの組合せ等である場合でも、これを視覚的に表現することができる。さらに、これにより、例えば、前記文字入力による応答をより早く行うことができる。
前記文字の背景は、例えば、前記相手ユーザ毎に、予め設定されてもよい。すなわち、例えば、前記相手ユーザ毎に、前記文字の背景をデフォルト設定してもよいし、前記相手ユーザ毎に、選択肢として表示される前記文字の背景を設定してもよい。後者の場合、例えば、前記文字の背景が、グループ分けされており、入力画面141に、任意のグループに前記グループ分けされた前記文字の背景が表示され、前記表示される任意のグループが、前記相手ユーザに対応して、予め設定される。前記グループ分けは、特に制限されず、例えば、前記音声表現変化情報の種類毎(フォーマルな態度およびカジュアルな態度のグループ、音量設定のグループ(お年寄りである前記相手ユーザに対して予め音量を大きく設定する等))、ならびに、既定およびカスタム(よく使うものを予め設定する等)のグループ等があげあれる。前記グループ分けは、例えば、分類でもよいし、タグ付けでもよい。なお、前記「相手ユーザ毎」とは、前記相手ユーザの属性(「仕事関係」、「家族」、および「友人」等)毎、という意味を含む。これにより、例えば、前記文字入力による応答をより早く行うことができる。
前記文字の背景は、例えば、前記変換音声における音声毎に、予め設定されてもよい。すなわち、例えば、前記変換音声における音声毎に、前記文字の背景をデフォルト設定してもよいし、前記変換音声における音声毎に、選択肢として表示される前記文字の背景を設定してもよい。これにより、例えば、前記文字入力による応答をより早く行うことができる。
そして、前記文字の入力および前記文字の背景の選択を行った後、例えば、前記ユーザが、応答決定ボタン1414を選択すると、前記入力された文字および前記選択された前記文字の背景が、前記相手ユーザに対する応答内容として確定される。
つぎに、音声変換手段13により、前記入力された文字を音声に変換する(工程(A3))。なお、後述するように、前記工程(A3)は、含まれなくてもよい。前記工程(A3)〜前記工程(A5)は、例えば、繰り返し行うことができる。
前記入力された文字を音声に変換する方法は、特に制限されず、既知の方法により行うことができ、例えば、文字情報を音声情報に対応づける音声変換情報等を用いて、変換することができる。前記音声変換情報は、例えば、仮名、漢字、アルファベット、英単語等に、1つの音声情報をそれぞれ対応させたもの等があげられる。また、前記音声変換情報は、例えば、さらに、ひとまとまりの言い回しに、1つの音声情報を対応させたものを含んでもよい。前記ひとまとまりの言い回しは、特に制限されず、1つの文章等であり、例えば、後述する、前記入力内容の候補があげられる。
前記音声情報における音声は、例えば、既定の機械音声、前記ユーザ等の声等があげられる。前記ユーザ等の声は、前記ユーザ等の声を録音した音声でもよいし、前記ユーザ等の声のデータを基にして合成した音声でもよい。前記音声情報における音声は、例えば、前記ユーザにより、予め設定することができる。
つぎに、音声変換手段13により、前記文字の背景に紐づけられた前記音声表現変化情報に基づき、前記文字を音声に変換した変換音声の前記音声表現を変化させる(工程(A4))。前記工程(A4)を実施する順番は、前記工程(A3)の後(すなわち、まず、前記文字を、音声表現を変化させない音声情報に変換し、その後、この音声情報について、音声表現を変化させる)でもよいし、前記工程(A3)と同時に実施(すなわち、前記文字について、直接、音声表現を変化させた音声情報に変換する)してもよい。前者の場合、音声情報への変換を行う音声変換手段13Aと、音声表現を変化させる音声変換手段13Bとは、それぞれ異なる手段でもよく、また、それぞれ異なる装置に含まれる手段であってもよい。なお、前記入力された文字に、前記文字の背景が紐づけられていない場合、前記工程(A4)における処理を行わず、工程(A5)に進むことができる。また、後述するように、前記工程(A4)は、含まれなくてもよい。
前記音声表現とは、例えば、声色、話し方のくせ(発音のくせ、方言等)、イントネーション、アクセント、強調、非強調(曖昧な言い方にする等)、環境音の追加等があげられる。前記声色は、特に制限されず、例えば、音声に含まれる、感情・態度・様子等を示す要素であり、例えば、喜び、怒り、楽しさ、驚き、悲しみ、かしこまっている、急いでいる、眠い等があげられる。前記イントネーションは、特に制限されず、例えば、抑揚、語尾の変化があげられる。
前記音声表現の変化は、具体的には、例えば、オレンジ色の背景であれば楽しそうな声色にし、黄色と黒の縞模様の背景であれば切羽詰まった声色にし、涙の模様を含む背景であれば悲しそうな声色にすることができる。ただし、これらには制限されない。
前記音声表現を変化させる方法は、特に制限されず、既知の方法により行うことができ、例えば、特開2016−102860号公報を参照できる。前記音声表現変化情報は、特に制限されず、例えば、音量、間の取り方、読み上げの速さ、声の高さ、声の太さ(例えば、倍音成分が含まれる程度等)、左右の出力バランス等の、前記音声表現に対応する各パラメータ値を変化させる情報である。
前記音声表現変化情報は、例えば、システム管理者や前記ユーザ等の入力により任意に設定してもよいし、機械学習により生成したものを用いてもよい。後者の場合、前記機械学習は、例えば、所定の前記文字の背景と所定の文字列(文章等)とを対応させたデータセットについて、前記所定の前記文字の背景を付した場合と付していない場合とにおける、実際に読み上げた音声データを取得し、前記取得した音声データの前記各パラメータ値を分析することにより、前記所定の文字の背景に対応する、前記各パラメータ値の変化量等を得ることができる。
前記音声表現変化情報は、例えば、通話制御装置10の記憶装置105等の記憶部に記憶されてもよいし、外部装置等から取得してもよい。
入力画面141において、例えば、前述のように、複数の前記文字の背景を組み合わせて選択することができる。この場合、前記工程(A4)は、例えば、いずれかの前記文字の背景に紐づけられた前記音声表現変化情報に基づき、前記変換音声の前記音声表現を変化させた後、さらに、他の前記文字の背景に紐づけられた前記音声表現変化情報に基づき、前記変換音声の前記音声表現を変化させてもよいし、前記複数の文字の背景に紐づけられた前記音声表現変化情報を足し合わせた情報を生成し、前記足し合せた情報に基づき、前記変換音声の前記音声表現を変化させてもよい。また、この場合、いずれかの前記音声表現変化情報が、他の前記音声表現変化情報による変化量を調節するものでもよい。また、この場合、入力画面141における、前記複数の前記文字の背景が表示される割合等が、これらに紐づけられた前記音声表現変化情報による前記音声表現を変化させる変化量等に対応してもよい。例えば、既定の前記文字の背景と前記ユーザにより選択された色の前記文字の背景とが50%ずつのグラデーションで表示される場合、前記ユーザにより選択された色の前記文字の背景に紐づけられた前記音声表現変化情報に基づく前記音声表現の変化量は、単色のみで表示された場合と比較して、50%にすることができる。これらにより、例えば、前記ユーザは、複数の前記文字の背景を組み合わせて、前記音声表現をカスタマイズすることができる。
本実施形態において、例えば、さらに、前記文字の背景以外の情報に、前記音声表現変化情報が紐づけられてもよい。例えば、図5(B)において、「了解!」の応答における「!」の記号文字を検出した場合、これに応じて、前記変換音声の音量のパラメータ値を上げる等を行ってもよい。また、例えば、前記文字のフォント(字体、色、サイズ等)に、前記音声表現変化情報が紐づけられていてもよい。
そして、通話制御手段11により、前記相手ユーザに対し、前記入力された前記文字と前記設定された前記文字の背景とに基づき、音声情報を出力する(工程(A5))。
なお、本実施形態において、前記音声情報の出力が、(i)前記文字の背景に紐づけられた前記音声表現変化情報に基づき前記音声表現を変化させた前記変換音声の出力である場合について、説明する。ただし、これには制限されず、後述するように、前記音声情報の出力は、(ii)前記音声表現を変化させていない前記変換音声と前記文字の背景との出力、および(iii)前記入力された文字と前記文字の背景との出力でもよい。
すなわち、本実施形態において、前記音声情報の出力は、前記工程(A4)において前記音声表現を変化させた前記変換音声を、出力する。前記変換音声の出力は、特に制限されず、既知の手段により信号化された音声情報の送信を行えばよく、例えば、通常の通話における音声の出力と同様にして行うことができる。
図5(B)は、これまでに、前記相手ユーザに対し、「いま電車に乗っています」、「了解!」という前記文字入力に応じて設定された前記応答内容を、前記音声情報として出力したことを示す。
そして、通話制御手段11は、例えば、前記ユーザまたは前記相手ユーザからの前記通話の終了を示す入力を受付けると、前記通話を終了する(END)。
つぎに、本実施形態の通話制御装置10を用いた通話について、具体例をあげて説明する。図6は、前記ユーザが、電車に乗りながら、前記相手ユーザと通話を行っている様子を示している。図6において、前記ユーザは、電車に乗っていることから、前記相手ユーザの音声をイヤホンにより聞くことはできるが、声を出すことを控えなければならないため、通話制御装置10を用いて、前記文字入力により、通話を行っている。また、前記相手ユーザが、固定電話を使用していることから、メッセージの送信ができないため、通話を行っている。図6において、前記相手ユーザの通話制御装置100には、前記ユーザからの音声情報が、機械音声として出力される。このため、前記ユーザからの音声情報を、カタカナで示している。ただし、「リョウカイ!」の音声情報については、前記文字の背景に紐づけられた前記音声表現変化情報に基づき、前記変換音声の前記音声表現を変化させた音声情報が出力されている。
以上のように、本実施形態の通話制御装置10によれば、例えば、前記ユーザが、着信に対し声で応答できない場合でも、前記相手ユーザとの通話を可能にすることができる。これにより、例えば、前記ユーザが、前記相手ユーザに対して、伝えたい内容を伝えることができる。
(変形例1)
つぎに、実施形態1の変形例について説明する。本変形例の通話制御装置10は、音声変換手段13を含まない。また、本変形例の通話制御方法は、前記工程(A3)および前記工程(A4)を含まず、前記工程(A5)における前記音声情報の出力が、(iii)前記入力された文字と前記文字の背景との出力である。これらの点以外は、前記実施形態1と同様である。なお、前記「文字の背景」の出力とは、例えば、前記文字の背景を符号化したデータの出力、および、前記文字の背景に紐づけられた、前記音声表現変化情報等の出力を含む。
本変形例の通話制御方法における処理の一例を、図7のブロック図、および図8のフローチャートに基づき説明する。本変形例の通話制御装置10は、通話制御手段11、入力画面表示手段12、およびタッチパネル14を含む。また、本変形例の通話制御方法は、通話制御工程(A1)、入力画面表示工程(A2)、および出力工程(A5)を含む。
まず、前記工程(A0)〜工程(A2)を、実施形態1と同様にして行う。
そして、前記工程(A5)において、前記音声情報の出力として、前記入力された文字と前記文字の背景とを紐づけて出力する。具体的には、例えば、前記工程(A5)において、通話制御装置10は、前記入力された文字と前記文字の背景とを、外部機器に送信する。前記外部機器は、音声変換手段13を含み、例えば、CPUを含むコンピュータである。前記外部機器は、例えば、通話を制御するサーバー等でもよいし、前記相手ユーザの通話制御装置100でもよい。そして、前記外部機器において、前記入力された文字を音声に変換し、さらに、前記文字の背景に紐づけられた、前記音声表現変化情報に基づき、前記変換音声の音声表現を変化させる。前記音声表現変化情報は、通話制御装置10から出力されたものでもよいし、前記外部機器の記憶装置等に記憶されたものでもよいし、前記外部機器の外部から取得したものでもよい。そして、前記外部機器は、前記音声表現を変化させた前記変換音声を、前記相手ユーザに出力する。前記外部機器による前記変換音声の出力は、例えば、前述の、通話制御手段11による前記変換音声の出力と同様にして行うことができる。
(変形例2)
つぎに、実施形態1のさらなる変形例について説明する。本変形例の通話制御方法は、前記工程(A4)を含まず、前記工程(A5)における前記音声情報の出力が、(ii)前記音声表現を変化させていない前記変換音声と前記文字の背景との出力である。この点以外は、前記実施形態1と同様である。
本変形例において、まず、前記工程(A0)〜工程(A2)を、実施形態1と同様にして行う。さらに、前記工程(A3)において、実施形態1と同様にして、前記入力された文字を音声に変換する。
そして、前記工程(A5)において、前記音声情報の出力として、前記音声表現を変化させていない前記変換音声と前記文字の背景とを紐づけて出力する。具体的には、例えば、前記工程(A5)において、通話制御装置10は、前記音声表現を変化させていない前記変換音声と前記文字の背景とを、外部機器に送信する。前記外部機器は、音声変換手段13等の、前記変換音声の前記音声表現を変化させる手段を含む。前記外部機器は、例えば、通話を制御するサーバー等でもよいし、前記相手ユーザの通話制御装置100でもよい。そして、前記外部機器において、前記文字の背景に紐づけられた、前記音声表現変化情報に基づき、前記変換音声の音声表現を変化させる。そして、前記外部機器は、前記音声表現を変化させた前記変換音声を、前記相手ユーザに出力する。
[実施形態2]
つぎに、実施形態2について説明する。本実施形態の通話制御方法は、前記工程(A2)において、入力画面表示手段12により、さらに、入力画面141に、入力内容の候補が表示される点以外は、前記実施形態1と同様である。前記入力内容の候補は、例えば、前記入力内容のテンプレートということもできる。前記入力内容の候補は、文字情報のみでもよいし、前記文字の背景を含んでもよい。
前記入力内容の候補の表示方法は、例えば、一覧表示でもよいし、前記入力内容の項目毎に分類して表示されてもよいし、前記ユーザによる文字入力に応じて表示されてもよい。前記入力内容の候補は、例えば、入力画面表示手段12により、前記通話を分析し、前記分析結果に応じて表示されてもよい。例えば、前記通話の時間帯を分析し、朝であれば、「おはよう」等の、前記時間帯に応じたあいさつを表示する、前記相手ユーザの発言を分析し、語尾の言葉やイントネーション等から疑問文であると判断されれば、「はい」「いいえ」等の、前記相手ユーザへの返答を表示する等があげられる。
前記入力内容の候補は、例えば、グループ分けされていてもよい。前記グループ分けは、特に制限されず、例えば、丁寧語およびくだけた言葉のグループ、言語毎(日本語、英語等)のグループ、ならびに、既定およびカスタムのグループ等があげられる。そして、入力画面表示手段12は、任意のグループに前記グループ分けされた前記入力内容の候補を表示してもよい。前記任意のグループは、例えば、予め設定しておく、発信時や着信時に選択する等により、決定できる。前者の場合、例えば、前記相手ユーザ毎に、予め設定してもよい。具体的には、例えば、前記相手ユーザが、仕事関係の相手であれば、予め、前記入力内容の候補として、丁寧語のグループが表示されるように設定しておき、前記相手ユーザが、家族や友人であれば、予め、前記入力内容の候補として、くだけた言葉のグループが表示されるように設定しておくことができる。これにより、例えば、使用しない前記入力内容の候補が表示されないため、前記文字入力による応答をより早く行うことができる。
図9に、本実施形態における、前記ユーザのスマートフォンである通話制御装置10のタッチパネル14に表示される画面の一例を示す。図9(A)において、入力画面141に、テンプレート呼び出しボタン1418が表示されている。
前記ユーザが、テンプレート呼び出しボタン1418を選択すると、例えば、図9(B)に示すように、入力画面141に、前記入力内容の候補が、前記入力内容の項目毎に分類して表示される。そして、例えば、前記ユーザが、「時間」→「あと( )くらいです。」の順に選択すると、入力画面141は、図9(A)の状態に戻り、且つ、入力文字表示部1411に、「あと( )くらいです。」と文字入力される。ここで、前記文字入力における、「( )」の部分は、未確定部分である。前記未確定部分は、前記ユーザによる入力に応じて、確定することができる。前記ユーザによる入力は、選択肢の選択でもよいし、文字入力でもよい。前記入力内容の項目において、図中、「カスタム」は、例えば、前記ユーザが、予め、所望の前記入力内容の候補が表示されるように、設定しておくことができる。
また、図9(B)の状態で、前記ユーザが、候補検索部1419に文字を入力すると、図9(C)に示すように、入力画面141に、前記文字入力に応じて、前記入力内容の候補が表示される。図9(C)の例では、前記ユーザが、候補検索部1419に「おは」との文字入力を行ったことに応じて、前記文字入力された「おは」の文字から始まる、「おはようございます」、および「おはよう」が、前記入力内容の候補として表示されている。
さらに、図9(C)の例では、前記入力内容の候補は、前記文字の背景の情報を含む。すなわち、前記入力内容の候補として、「おはようございます」、および「おはよう」の文字が、前記文字の背景と組み合わせて表示されている。そして、前記ユーザが、これらのいずれかを選択すると、入力文字表示部1411に、前記文字と、前記文字の背景とが表示される。
なお、図9の例では、前記ユーザが、テンプレート呼び出しボタン1418を選択すると、前記入力内容の候補が表示される一例を示したが、これには制限されず、例えば、図9(A)の状態から、テンプレート呼び出しボタン1418の選択等を行わなくても、入力画面141に、前記入力内容の候補が表示されてもよい。この場合、例えば、前記ユーザが、入力文字表示部1411に「おは」との文字入力を行ったことに応じて、入力画面141に、「おはようございます」等の、前記入力内容の候補が表示されてもよい。
つぎに、前記工程(A5)において、通話制御手段11により、前記相手ユーザに対し、前記入力された前記文字と前記設定された前記文字の背景とに基づき、音声情報を出力する。
本実施形態の通話制御装置10によれば、実施形態1の効果に加えて、例えば、より少ない入力操作で、所望の応答内容を設定することができる。
[実施形態3]
つぎに、実施形態3について説明する。本実施形態の通話制御装置30は、前記ユーザのパソコン(PC、Personal Computer)であり、通話制御装置30に、ディスプレイ300が接続されている。これらの点以外は、前記実施形態1および2と同様である。なお、通話制御装置30は、前記パソコンには限定されない。
図10は、本実施形態の通話制御装置30の使用形態の一例を示す概略図である。図10において、本実施形態の通話制御装置30の一例の構成を示すブロック図についても示している。通話制御装置30は、通話制御手段31、入力画面表示手段32、および音声変換手段33を含む。そして、通話制御装置30は、ディスプレイ300と、有線または無線の通信回線網200を介して接続されている。
本実施形態の通話制御装置30によっても、前記ユーザは、ディスプレイ300に表示された前記入力画面に対し、キーボード(図示せず)入力等により、文字の入力と前記文字の背景の選択とを行い、前記相手ユーザとの通話を行うことができる。
[実施形態4]
本実施形態は、音声変換のための文字入力装置、および、音声表現を変化させた変換音声を出力する音声出力装置、ならびに、前記文字入力装置および前記音声出力装置を含む変換音声出力システムに関する。
本実施形態の音声変換のための文字入力装置40は、図13に示すように、入力画面表示手段42、および出力手段44を含み、入力画面表示手段42は、ディスプレイ44に、文字の入力と前記文字の背景の選択とを行うための入力画面を表示する。前記文字の背景は、それぞれ、前記文字を音声に変換した変換音声の音声表現を変化させるための情報が紐づけられており、前記出力手段は、前記入力された前記文字と前記選択された前記文字の背景とに基づき、音声情報を出力する。
入力画面表示手段42、前記文字の背景、前記音声表現変化情報は、それぞれ、前記実施形態と同様である。文字入力装置40は、例えば、コンピュータである。出力手段44は、例えば、CPUである。文字入力装置40は、例えば、ディスプレイを含んでもよいし、図13に示すように、通信回線網200を介して、ディスプレイ44と接続されてもよい。また、前記文字入力装置は、例えば、記憶装置を含み、前記音声表現変化情報等の各種データを記憶してもよいし、通信回線網200を介して、外部の記憶装置と接続されてもよい。
前記出力手段による前記音声情報の出力は、例えば、下記(i)〜(iii)からなる群から選択される少なくとも1つとすることができる。
(i)前記文字の背景に紐づけられた前記音声表現を変化させるための情報に基づき前記音声表現を変化させた前記変換音声の出力
(ii)前記音声表現を変化させていない前記変換音声と前記文字の背景との出力
(iii)前記入力された文字と前記文字の背景との出力
前記変換音声の出力は、例えば、前述の、通話制御手段11による前記変換音声の出力と同様にして行うことができる。また、前記音声情報の出力は、例えば、ファイルへの出力でもよい。これにより、前記ユーザが、文字を音声に変換した変換音声の音声表現を変化させたデータを、保存することができる。前記音声情報の出力は、例えば、SNS等のサーバーへのアップロードでもよい。これにより、前記ユーザが、文字を音声に変換した変換音声の音声表現を変化させたデータを、前記SNS等の他のユーザに取得させることができる。
本実施形態の音声変換のための文字入力方法は、入力画面表示工程、および出力工程を含み、前記入力画面表示工程は、ディスプレイに、文字の入力と前記文字の背景の選択とを行うための入力画面を表示し、前記文字の背景は、それぞれ、前記音声表現変化情報が紐づけられており、前記出力工程は、前記入力された前記文字と前記選択された前記文字の背景とに基づき、音声情報を出力する。前記文字入力方法は、例えば、前記文字入力装置を用いて、実施できる。
本実施形態の音声変換のための文字入力装置、および音声変換のための文字入力方法によれば、ユーザが、文字を音声に変換した変換音声の音声表現を変化させ、これを音声情報として出力させることができる。
本実施形態の音声表現を変化させた変換音声を出力する音声出力装置50は、図13に示すように、音声変換手段53、および音声出力手段56を含む。音声変換手段53は、前記実施形態と同様である。音声出力手段56は、音声変換手段53により前記音声表現を変化させた前記変換音声を出力する。音声出力手段56は、例えば、スピーカー等である。なお、音声出力装置50は、音声出力装置50Aおよび50Bを含み、それぞれ、音声変換手段53および音声出力手段56を含み、これらが、通信回線網200を介して接続されていてもよい。
本実施形態の変換音声出力システム60は、図13に示すように、文字入力装置40および音声出力装置50を含む。そして、変換音声出力システム60において、文字入力装置40により出力(送信)された前記音声情報を、音声出力装置50受信し、音声出力装置50の音声出力手段56により、前記音声表現を変化させた前記変換音声を出力する。
変換音声出力システム60は、例えば、前述の、通話制御のためのシステムである。ただし、これには制限されず、変換音声出力システム60は、変換音声を出力する様々なシステムとすることができ、具体的には、例えば、翻訳システム(翻訳装置)でもよい。後者の場合、変換音声出力システム60は、例えば、文字入力装置40等において、さらに、入力された文字を翻訳する翻訳手段(CPU等)を含んでもよい。この場合、入力される文字と、出力される前記音声情報とは、例えば、異なる言語になる。変換音声出力システム60は、文字入力装置40および音声出力装置50の前記各部を含む1つの装置でもよいし、前記各部が、有線または無線の通信回線網を介して接続可能な装置(システム)であってもよい。
[実施形態5]
本実施形態のプログラムは、前述の通話制御方法および文字入力方法を、コンピュータ上で実行可能なプログラムである。本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、ハードディスク(HD)、光ディスク等があげられる。
以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載しうるが、以下には限定されない。
(付記1)
通話制御手段、および入力画面表示手段を含み、
前記通話制御手段は、ユーザと相手ユーザとの通話を制御し、
前記入力画面表示手段は、ディスプレイに、文字の入力と前記文字の背景の選択とを行うための入力画面を表示し、
前記文字の背景は、それぞれ、前記文字を音声に変換した変換音声の音声表現を変化させるための情報が紐づけられており、
前記通話制御手段は、前記相手ユーザに対し、前記入力された前記文字と前記選択された前記文字の背景とに基づき、音声情報を出力する、
通話制御装置。
(付記2)
前記音声情報の出力が、下記(i)〜(iii)からなる群から選択される少なくとも1つである、付記1記載の通話制御装置。
(i)前記文字の背景に紐づけられた前記音声表現を変化させるための情報に基づき、前記音声表現を変化させた前記変換音声の出力
(ii)前記音声表現を変化させていない前記変換音声と前記文字の背景との出力
(iii)前記入力された文字と前記文字の背景との出力
(付記3)
前記入力画面において、複数の前記文字の背景を組み合わせて選択することができる、付記1または2記載の通話制御装置。
(付記4)
前記文字の背景が、前記変換音声における音声、および前記相手ユーザの少なくとも一方に対応して、予め設定される、付記1から3のいずれかに記載の通話制御装置。
(付記5)
前記文字の背景が、グループ分けされており、
前記入力画面表示手段は、前記入力画面に、任意のグループに前記グループ分けされた、前記文字の背景を表示し、
前記任意のグループが、前記変換音声における音声、および前記相手ユーザの少なくとも一方に対応して、予め設定される、付記4記載の通話制御装置。
(付記6)
前記入力画面表示手段は、さらに、前記入力画面に、入力内容の候補を表示し、
前記入力内容の候補が、文字と、前記文字の背景とを含む、付記1から5のいずれかに記載の通話制御装置。
(付記7)
さらに、音声変換手段を含み、
前記音声変換手段は、前記入力された文字を音声に変換する、付記1から6のいずれかに記載の通話制御装置。
(付記8)
さらに、問合せ表示手段を含み、
前記問合せ表示手段は、前記相手ユーザからの着信があると、前記ディスプレイに、前記相手ユーザへの応答を前記文字入力により行うかを問合わせる問合せ画面を表示する、付記1から7のいずれかに記載の通話制御装置。
(付記9)
前記通話制御手段は、前記通話の開始時に、前記相手ユーザに対し、前記文字入力による応答を行う旨の音声アナウンスを送信する、付記1から8のいずれかに記載の通話制御装置。
(付記10)
前記音声アナウンスが、応答の準備中である旨の内容を含む、付記9記載の通話制御装置。
(付記11)
前記ディスプレイを含む携帯端末である、付記1から10のいずれかに記載の文字入力装置。
(付記12)
通話制御工程、および入力画面表示工程を含み、
前記通話制御工程は、ユーザと相手ユーザとの通話を制御し、
前記入力画面表示工程は、ディスプレイに、文字の入力と文字の背景の選択とを行うための入力画面を表示し、
前記文字の背景は、それぞれ、前記文字を音声に変換した変換音声の音声表現を変化させるための情報が紐づけられており、
前記通話制御工程は、前記相手ユーザに対し、前記入力された前記文字と前記選択された前記文字の背景とに基づき、音声情報を出力する、
通話制御方法。
(付記13)
前記音声情報の出力が、下記(i)〜(iii)からなる群から選択される少なくとも1つである、付記12記載の通話制御方法。
(i)前記文字の背景に紐づけられた前記音声表現を変化させるための情報に基づき前記音声表現を変化させた前記変換音声の出力
(ii)前記音声表現を変化させていない前記変換音声と前記文字の背景との出力
(iii)前記入力された文字と前記文字の背景との出力
(付記14)
前記入力画面において、複数の前記文字の背景を組み合わせて選択することができる、付記12または13記載の通話制御方法。
(付記15)
前記文字の背景が、前記変換音声における音声、および前記相手ユーザの少なくとも一方に対応して、予め設定される、付記12から14のいずれかに記載の通話制御方法。
(付記16)
前記文字の背景が、グループ分けされており、
前記入力画面表示工程は、前記入力画面に、任意のグループに前記グループ分けされた、前記文字の背景を表示し、
前記任意のグループが、前記変換音声における音声、および前記相手ユーザの少なくとも一方に対応して、予め設定される、付記15記載の通話制御方法。
(付記17)
前記入力画面表示工程は、さらに、前記入力画面に、入力内容の候補を表示し、
前記入力内容の候補が、文字と、前記文字の背景とを含む、付記12から16のいずれかに記載の通話制御方法。
(付記18)
さらに、音声変換工程を含み、
前記音声変換工程は、前記入力された文字を音声に変換する、付記12から17のいずれかに記載の通話制御方法。
(付記19)
さらに、問合せ表示工程を含み、
前記問合せ表示工程は、前記相手ユーザからの着信があると、前記ディスプレイに、前記相手ユーザへの応答を前記文字入力により行うかを問合わせる問合せ画面を表示する、付記12から18のいずれかに記載の通話制御方法。
(付記20)
前記通話制御工程は、前記通話の開始時に、前記相手ユーザに対し、前記文字入力による応答を行う旨の音声アナウンスを送信する、付記12から19のいずれかに記載の通話制御方法。
(付記21)
前記音声アナウンスが、応答の準備中である旨の内容を含む、付記20記載の通話制御方法。
(付記22)
前記ディスプレイを含む携帯端末を用いて行われる、付記12から21のいずれかに記載の通話制御方法。
(付記23)
入力画面表示手段、および出力手段を含み、
前記入力画面表示手段は、ディスプレイに、文字の入力と前記文字の背景の選択とを行うための入力画面を表示し、
前記文字の背景は、それぞれ、前記文字を音声に変換した変換音声の音声表現を変化させるための情報が紐づけられており、
前記出力手段は、前記入力された前記文字と前記選択された前記文字の背景とに基づき、音声情報を出力する、
音声変換のための文字入力装置。
(付記24)
前記音声情報の出力が、下記(i)〜(iii)からなる群から選択される少なくとも1つである、付記23記載の文字入力装置。
(i)前記文字の背景に紐づけられた前記音声表現を変化させるための情報に基づき、前記音声表現を変化させた前記変換音声の出力
(ii)前記音声表現を変化させていない前記変換音声と前記文字の背景との出力
(iii)前記入力された文字と前記文字の背景との出力
(付記25)
前記入力画面において、複数の前記文字の背景を組み合わせて選択することができる、付記23または24記載の文字入力装置。
(付記26)
前記文字の背景が、前記変換音声における音声に対応して、予め設定される、付記23から25のいずれかに記載の文字入力装置。
(付記27)
前記文字の背景が、グループ分けされており、
前記入力画面表示手段は、前記入力画面に、任意のグループに前記グループ分けされた、前記文字の背景を表示し、
前記任意のグループが、前記変換音声における音声に対応して、予め設定される、付記26記載の文字入力装置。
(付記28)
前記入力画面表示手段は、さらに、前記入力画面に、入力内容の候補を表示し、
前記入力内容の候補が、文字と、前記文字の背景とを含む、付記23から27のいずれかに記載の文字入力装置。
(付記29)
さらに、音声変換手段を含み、
前記音声変換手段は、前記入力された文字を音声に変換する、付記23から28のいずれかに記載の文字入力装置。
(付記30)
前記ディスプレイを含む携帯端末である、付記23から29のいずれかに記載の文字入力装置。
(付記31)
入力画面表示工程、および出力工程を含み、
前記入力画面表示工程は、ディスプレイに、文字の入力と前記文字の背景の選択とを行うための入力画面を表示し、
前記文字の背景は、それぞれ、前記文字を音声に変換した変換音声の音声表現を変化させるための情報が紐づけられており、
前記出力工程は、前記入力された前記文字と前記選択された前記文字の背景とに基づき、音声情報を出力する、
音声変換のための文字入力方法。
(付記32)
前記音声情報の出力が、下記(i)〜(iii)からなる群から選択される少なくとも1つである、付記31記載の文字入力方法。
(i)前記文字の背景に紐づけられた前記音声表現を変化させるための情報に基づき前記音声表現を変化させた前記変換音声の出力
(ii)前記音声表現を変化させていない前記変換音声と前記文字の背景との出力
(iii)前記入力された文字と前記文字の背景との出力
(付記33)
前記入力画面において、複数の前記文字の背景を組み合わせて選択することができる、付記31または32記載の文字入力方法。
(付記34)
前記文字の背景が、前記変換音声における音声に対応して、予め設定される、付記31から33のいずれかに記載の文字入力方法。
(付記35)
前記文字の背景が、グループ分けされており、
前記入力画面表示工程は、前記入力画面に、任意のグループに前記グループ分けされた、前記文字の背景を表示し、
前記任意のグループが、前記変換音声における音声に対応して、予め設定される、付記34記載の文字入力方法。
(付記36)
前記入力画面表示工程は、さらに、前記入力画面に、入力内容の候補を表示し、
前記入力内容の候補が、文字と、前記文字の背景とを含む、付記31から35のいずれかに記載の文字入力方法。
(付記37)
さらに、音声変換工程を含み、
前記音声変換工程は、前記入力された文字を音声に変換する、付記31から36のいずれかに記載の文字入力方法。
(付記38)
前記ディスプレイを含む携帯端末を用いて行われる、付記31から37のいずれかに記載の文字入力方法。
(付記39)
付記12から22、または付記31から38のいずれかに記載の方法をコンピュータ上で実行可能である、プログラム。
(付記40)
付記39記載のプログラムを記録している、コンピュータ読み取り可能な記録媒体。
本発明によれば、例えば、ユーザが、着信に対し声で応答できない場合でも、相手ユーザとの通話を可能にするシステムを提供できる。
10、30 通話制御装置
11、31 通話制御手段
12、32 入力画面表示手段
13、33 音声変換手段
14 タッチパネル
15 問合せ表示手段

Claims (9)

  1. 通話制御手段、および入力画面表示手段を含み、
    前記通話制御手段は、ユーザと相手ユーザとの通話を制御し、
    前記入力画面表示手段は、ディスプレイに、文字の入力と前記文字の背景の選択とを行うための入力画面を表示し、
    前記文字の背景は、それぞれ、前記文字を音声に変換した変換音声の音声表現を変化させるための情報が紐づけられており、
    前記通話制御手段は、前記相手ユーザに対し、前記入力された前記文字と前記選択された前記文字の背景とに基づき、音声情報を出力する、
    通話制御装置。
  2. 前記入力画面において、複数の前記文字の背景を組み合わせて選択することができる、請求項1記載の通話制御装置。
  3. 前記文字の背景が、グループ分けされており、
    前記入力画面表示手段は、前記入力画面に、任意のグループに前記グループ分けされた、前記文字の背景を表示し、
    前記任意のグループが、前記変換音声における音声、および前記相手ユーザの少なくとも一方に対応して、予め設定される、請求項1または2記載の通話制御装置。
  4. 前記入力画面表示手段は、さらに、前記入力画面に、入力内容の候補を表示し、
    前記入力内容の候補が、文字と、前記文字の背景とを含む、請求項1から3のいずれか一項に記載の通話制御装置。
  5. 前記ディスプレイを含む携帯端末である、請求項1から4のいずれか一項に記載の文字入力装置。
  6. 通話制御工程、および入力画面表示工程を含み、
    前記通話制御工程は、ユーザと相手ユーザとの通話を制御し、
    前記入力画面表示工程は、ディスプレイに、文字の入力と文字の背景の選択とを行うための入力画面を表示し、
    前記文字の背景は、それぞれ、前記文字を音声に変換した変換音声の音声表現を変化させるための情報が紐づけられており、
    前記通話制御工程は、前記相手ユーザに対し、前記入力された前記文字と前記選択された前記文字の背景とに基づき、音声情報を出力する、
    通話制御方法。
  7. 入力画面表示手段、および出力手段を含み、
    前記入力画面表示手段は、ディスプレイに、文字の入力と前記文字の背景の選択とを行うための入力画面を表示し、
    前記文字の背景は、それぞれ、前記文字を音声に変換した変換音声の音声表現を変化させるための情報が紐づけられており、
    前記出力手段は、前記入力された前記文字と前記選択された前記文字の背景とに基づき、音声情報を出力する、
    音声変換のための文字入力装置。
  8. 入力画面表示工程、および出力工程を含み、
    前記入力画面表示工程は、ディスプレイに、文字の入力と前記文字の背景の選択とを行うための入力画面を表示し、
    前記文字の背景は、それぞれ、前記文字を音声に変換した変換音声の音声表現を変化させるための情報が紐づけられており、
    前記出力工程は、前記入力された前記文字と前記選択された前記文字の背景とに基づき、音声情報を出力する、
    音声変換のための文字入力方法。
  9. 請求項6、または請求項8に記載の方法をコンピュータ上で実行可能である、プログラム。

JP2020029945A 2019-02-26 2020-02-26 通話制御装置、通話制御方法、音声変換のための文字入力装置、音声変換のための文字入力方法およびプログラム Pending JP2020141400A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019032202 2019-02-26
JP2019032202 2019-02-26

Publications (2)

Publication Number Publication Date
JP2020141400A true JP2020141400A (ja) 2020-09-03
JP2020141400A5 JP2020141400A5 (ja) 2020-10-15

Family

ID=72265307

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020029945A Pending JP2020141400A (ja) 2019-02-26 2020-02-26 通話制御装置、通話制御方法、音声変換のための文字入力装置、音声変換のための文字入力方法およびプログラム

Country Status (1)

Country Link
JP (1) JP2020141400A (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006185426A (ja) * 2004-12-02 2006-07-13 Nec Corp Htmlメール生成システム、通信装置、htmlメール生成方法、及び記録媒体
JP2009044679A (ja) * 2007-08-10 2009-02-26 Sharp Corp 無声通話機能付携帯通信端末、及び無声通話機能付携帯通信端末の制御方法
JP2010277588A (ja) * 2009-05-28 2010-12-09 Samsung Electronics Co Ltd アニメーションスクリプト生成装置、アニメーション出力装置、受信端末装置、送信端末装置、携帯用端末装置及び方法
JP2011043939A (ja) * 2009-08-20 2011-03-03 Nec Corp 通信機器および通信システムおよび通信方法およびプログラム
JP2013206135A (ja) * 2012-03-28 2013-10-07 Denso Corp メッセージ装飾入力システム
JP2016053865A (ja) * 2014-09-04 2016-04-14 株式会社コロプラ 感情テキスト表示プログラム、方法およびシステム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006185426A (ja) * 2004-12-02 2006-07-13 Nec Corp Htmlメール生成システム、通信装置、htmlメール生成方法、及び記録媒体
JP2009044679A (ja) * 2007-08-10 2009-02-26 Sharp Corp 無声通話機能付携帯通信端末、及び無声通話機能付携帯通信端末の制御方法
JP2010277588A (ja) * 2009-05-28 2010-12-09 Samsung Electronics Co Ltd アニメーションスクリプト生成装置、アニメーション出力装置、受信端末装置、送信端末装置、携帯用端末装置及び方法
JP2011043939A (ja) * 2009-08-20 2011-03-03 Nec Corp 通信機器および通信システムおよび通信方法およびプログラム
JP2013206135A (ja) * 2012-03-28 2013-10-07 Denso Corp メッセージ装飾入力システム
JP2016053865A (ja) * 2014-09-04 2016-04-14 株式会社コロプラ 感情テキスト表示プログラム、方法およびシステム

Similar Documents

Publication Publication Date Title
US20220230374A1 (en) User interface for generating expressive content
KR101181785B1 (ko) 미디어 처리 서버 장치 및 미디어 처리 방법
JP2021144228A (ja) ユーザプログラマブル自動アシスタント
Shafie et al. SMS language and college writing: The languages of the college texters
KR20090085376A (ko) 문자 메시지의 음성 합성을 이용한 서비스 방법 및 장치
JP2004198872A (ja) 端末装置およびサーバ
US11144713B2 (en) Communication device generating a response message simulating a response by a target user
WO2016203805A1 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
KR20060125333A (ko) 단문 메시지를 멀티미디어 메시지로 변환 및 전송하는방법과 이를 수행하는 문자 이미지 변환서버
US20150326708A1 (en) System for wireless network messaging using emoticons
JP4072900B2 (ja) 端末装置
JP4787634B2 (ja) 音楽フォント出力装置、フォントデータベース及び言語入力フロントエンドプロセッサ
US20120215521A1 (en) Software Application Method to Translate an Incoming Message, an Outgoing Message, or an User Input Text
JP2022025665A (ja) 要約文作成装置、要約文作成方法及びプログラム
JP4200874B2 (ja) 感性情報推定方法および文字アニメーション作成方法、これらの方法を用いたプログラム、記憶媒体、感性情報推定装置、文字アニメーション作成装置
CN109714248B (zh) 一种数据处理方法及装置
JP2018181018A (ja) 会話提供装置、会話提供方法及びプログラム
JP2020141400A (ja) 通話制御装置、通話制御方法、音声変換のための文字入力装置、音声変換のための文字入力方法およびプログラム
JP2004015478A (ja) 音声通信端末装置
KR100627853B1 (ko) 단문 메시지를 멀티미디어 메시지로 변환하고 전송하는방법 및 문자 이미지 변환서버
JP4586063B2 (ja) 端末装置
JP2016091195A (ja) 情報送受信プログラム及びシステム
Tonra Social Media Poetics: The Technological Forms of Alt Lit Poetry
JP7462995B1 (ja) 情報処理システム、情報処理方法及びプログラム
JP2020119043A (ja) 音声翻訳システムおよび音声翻訳方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200804

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200804

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200804

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201013

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210215

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211019