JP2017111339A - Voice reproduction device, voice reproduction method, and program - Google Patents
Voice reproduction device, voice reproduction method, and program Download PDFInfo
- Publication number
- JP2017111339A JP2017111339A JP2015246371A JP2015246371A JP2017111339A JP 2017111339 A JP2017111339 A JP 2017111339A JP 2015246371 A JP2015246371 A JP 2015246371A JP 2015246371 A JP2015246371 A JP 2015246371A JP 2017111339 A JP2017111339 A JP 2017111339A
- Authority
- JP
- Japan
- Prior art keywords
- character string
- reproduction
- voice
- sound
- answering machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
本開示は、音声再生装置、音声再生方法及びプログラムに関する。 The present disclosure relates to an audio reproduction device, an audio reproduction method, and a program.
留守番電話のメッセージである音声の認識結果を文字列として表示する技術が存在する(特許文献1〜3参照)。このような技術によると、留守番電話のメッセージを目視により確認することができる。 There is a technique for displaying a voice recognition result, which is an answering machine message, as a character string (see Patent Documents 1 to 3). According to such a technique, the message of the answering machine can be visually confirmed.
留守番電話のメッセージを目視により確認できたとしても、例えば日付や時間、場所などといった重要な部分については音声を再生させて音声認識に誤りがないかどうかが確認できることが望ましい。 Even if the message of the answering machine can be confirmed by visual observation, it is desirable that, for example, important parts such as date, time, and location can be reproduced to confirm whether or not there is an error in voice recognition.
また正確に音声認識ができておらず表示されている文字列からは意味する内容が不明である部分についても音声を再生させてその意味する内容を確認できることが望ましい。 It is also desirable to be able to confirm the meaning of the sound by reproducing the sound even in a portion where the speech recognition is not correctly performed and the meaning of the meaning is unknown from the displayed character string.
例えば上述した場面などにおいては、音声の認識結果である文字列のうちの所望の部分に対応付けられる音声をピンポイントで確認できれば便利であるが、特許文献1〜3に記載の技術ではこのようなことはできなかった。 For example, in the above-described scenes and the like, it is convenient if the voice associated with the desired portion of the character string that is the voice recognition result can be confirmed pinpointed. I couldn't do anything.
上記実情に鑑みて、本開示では、音声の認識結果である文字列のうちの所望の部分に対応付けられる音声をピンポイントで確認できる音声再生装置、音声再生方法及びプログラムを提案する。 In view of the above situation, the present disclosure proposes an audio reproduction device, an audio reproduction method, and a program that can pinpoint the voice associated with a desired portion of a character string that is a speech recognition result.
上記課題を解決するために、本開示に係る音声再生装置は、音声の認識結果である文字列を表示させる表示制御部と、前記文字列に含まれる1又は複数の文字の指定に応じて、当該1又は複数の文字の前記文字列における位置に対応付けられる再生位置から前記音声を再生させる音声再生部と、を含む。 In order to solve the above problem, an audio reproduction device according to the present disclosure includes a display control unit that displays a character string that is a speech recognition result, and one or more characters included in the character string, An audio reproduction unit that reproduces the audio from a reproduction position associated with the position of the one or more characters in the character string.
本開示の一態様では、前記音声再生部は、前記文字列をそれぞれ1又は複数の文字から構成される複数の部分文字列に分割した場合における先頭からn番目の部分文字列が指定される際には、前記音声の再生時間を前記部分文字列の数で複数の部分時間に分割した場合における先頭から前記n番目の部分時間に属する再生位置、又は、当該再生位置の所定時間前に相当する再生位置から前記音声を再生させる。 In one aspect of the present disclosure, the sound reproducing unit may specify the nth partial character string from the beginning when the character string is divided into a plurality of partial character strings each including one or more characters. Corresponds to the playback position belonging to the nth partial time from the beginning or the predetermined time before the playback position when the playback time of the voice is divided into a plurality of partial times by the number of the partial character strings. The sound is reproduced from the reproduction position.
この態様では、前記複数の部分時間のそれぞれは、前記音声の再生時間を等時間間隔で分割したものであってもよい。 In this aspect, each of the plurality of partial times may be obtained by dividing the audio playback time at equal time intervals.
また、前記n番目の部分時間に属する再生位置は、前記n番目の部分時間の先頭の再生位置であってもよい。 The playback position belonging to the nth partial time may be the start playback position of the nth partial time.
また、本開示の一態様では、前記表示制御部は、前記音声が再生されている部分に対応付けられる文字を強調表示させる。 Moreover, in one aspect of the present disclosure, the display control unit highlights a character associated with a portion where the sound is reproduced.
また、本開示に係る音声再生方法は、音声の認識結果である文字列を表示させるステップと、前記文字列に含まれる1又は複数の文字の指定に応じて、当該1又は複数の文字の前記文字列における位置に対応付けられる再生位置から前記音声を再生させるステップと、を含む。 In addition, the audio reproduction method according to the present disclosure includes a step of displaying a character string that is a speech recognition result, and the designation of the one or more characters included in the character string according to the designation of the one or more characters. Reproducing the sound from a reproduction position associated with a position in a character string.
また、本開示に係るプログラムは、音声の認識結果である文字列を表示させる手順、前記文字列に含まれる1又は複数の文字の指定に応じて、当該1又は複数の文字の前記文字列における位置に対応付けられる再生位置から前記音声を再生させる手順、をコンピュータに実行させる。 In addition, the program according to the present disclosure may be configured to display a character string that is a speech recognition result, in accordance with designation of one or more characters included in the character string, in the character string of the one or more characters. Causing the computer to execute a procedure of reproducing the sound from a reproduction position associated with the position.
以下、本発明の一実施形態について、図面を参照しながら説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
図1は、本開示で提案する留守番電話システム1の全体構成の一例を示す図である。図1に示すように、本開示で提案する留守番電話システム1には、留守番電話処理サーバ10、音声認識サーバ12、及び、複数の携帯電話端末14が含まれている。留守番電話処理サーバ10及び携帯電話端末14は電話通信網16及びインターネット18に接続されている。そのため留守番電話処理サーバ10と携帯電話端末14との間、携帯電話端末14同士の間は互いに電話通信網16やインターネット18を介して通信可能となっている。また音声認識サーバ12は、インターネット18に接続されている。そのため音声認識サーバ12は、留守番電話処理サーバ10等とインターネット18を介して互いに通信可能となっている。
FIG. 1 is a diagram illustrating an example of the overall configuration of an answering machine system 1 proposed in the present disclosure. As shown in FIG. 1, the answering machine system 1 proposed in the present disclosure includes an answering
留守番電話処理サーバ10は、例えば留守番電話サービス等のサービスを提供するサーバコンピュータである。
The answering
音声認識サーバ12は、例えば音声を受け付けて、当該音声に対しての音声認識結果である文字列等のテキストを生成するサービスを提供するサーバコンピュータである。音声認識サーバ12は、本実施形態では例えば、留守番電話処理サーバ10が録音した留守番電話のメッセージの音声を受け付ける。そして音声認識サーバ12は、当該音声に対して音声認識処理を実行することで、当該音声の音声認識結果である文字列を含むテキストデータを生成する。そして音声認識サーバ12は、生成されたテキストデータを留守番電話処理サーバ10に送信する。
The
携帯電話端末14は、例えばスマートフォンなどの端末である。図1に示すように、本実施形態に係る携帯電話端末14には、例えば、制御部14a、記憶部14b、通信部14c、タッチパネル14d、音声入出力部14e、が含まれる。
The
制御部14aは、例えば携帯電話端末14にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。
The
記憶部14bは、例えばROMやRAM等の記憶素子などである。記憶部14bには、制御部14aによって実行されるプログラムなどが記憶される。
The
通信部14cは、例えば電話通信網16を介した音声通信やデータ通信を行うための携帯電話通信ユニットや、インターネット18を介したデータ通信を行うための無線LANモジュールなどの通信インタフェースである。
The
タッチパネル14dは、例えばタッチセンサ、及び、液晶ディスプレイや有機ELディスプレイ等のディスプレイを含んで構成されており、制御部14aが生成する映像などを表示させる。またユーザはタッチパネル14dを操作することで、制御部14aに対する操作入力を行えるようになっている。制御部14aは、タッチパネル14dに対する操作入力に応じて各種の処理を実行する。
The touch panel 14d includes, for example, a touch sensor and a display such as a liquid crystal display or an organic EL display, and displays an image generated by the
音声入出力部14eは、例えばヘッドホンやスピーカ等の音声出力デバイスを含んでおり、通信部14cが受信する音声データが表す音声などを出力する。また音声入出力部14eは、マイク等の音声入力デバイスを含んでおり、例えば受け付ける音声を、通信部14cを介して他の携帯電話端末14に送信する。
The audio input / output unit 14e includes an audio output device such as a headphone or a speaker, for example, and outputs audio or the like represented by audio data received by the
本実施形態に係る携帯電話端末14は、本実施形態に係る留守番電話プログラムをインストールすることで、録音された留守番電話のメッセージである音声の認識結果を文字列としてタッチパネル14dに表示させることができるようになっている。
By installing the answering machine program according to the present embodiment, the
ここで、本実施形態に係る留守番電話プログラムを利用可能にするための手続の流れの一例を、図2に示すフロー図を参照しながら説明する。 Here, an example of the flow of procedures for making the answering machine program according to the present embodiment available will be described with reference to the flowchart shown in FIG.
まず携帯電話端末14のユーザは、携帯電話端末14の販売店等において、本実施形態に係る留守番電話プログラムの入手先となるURLとシリアル番号を入手する(S101)。
First, the user of the
そして、ユーザは携帯電話端末14からS101に示す手続で入手したURLにアクセスして、本実施形態に係る留守番電話プログラムをダウンロードし、当該留守番電話プログラムを携帯電話端末14にインストールする(S102)。
Then, the user accesses the URL obtained in the procedure shown in S101 from the
そしてユーザは、タッチパネル14dを介して、S101に示す手続で入手したシリアル番号を入力する(S103)。すると、タッチパネル14dに、無応答時転送の転送先として設定すべき電話番号が表示される(S104)。 Then, the user inputs the serial number obtained in the procedure shown in S101 via the touch panel 14d (S103). Then, the telephone number to be set as the transfer destination for the non-response transfer is displayed on the touch panel 14d (S104).
そしてユーザが携帯電話端末14を操作して、S104に示す手続で表示された電話番号を無応答時転送の転送先として設定すると(S105)、ユーザは、本実施形態に係る留守番電話プログラムを利用可能となる。
Then, when the user operates the
例えば、あるユーザが、本実施形態に係る留守番電話プログラムが利用可能なユーザの携帯電話端末14の電話番号に宛てて電話をかけたとする。以下、電話をかけたユーザを発信ユーザ、発信ユーザが電話をかけた相手のユーザを着信ユーザと呼ぶこととする。
For example, it is assumed that a user calls a telephone number of the user's
ここで着信ユーザの携帯電話端末14が無応答である場合は、上記S105に示す手続で設定された電話番号に宛てた電話としてこの電話が留守番電話処理サーバ10に転送される。なお本実施形態ではシリアル番号と転送先の電話番号とが1対1で対応付けられているので、留守番電話処理サーバ10は、転送先として設定されている電話番号に基づいて、どの電話番号に宛てた電話が転送されたのかを特定できるようになっている。
If the incoming user's
以下、転送電話を受け付けた留守番電話処理サーバ10により実行される処理の流れの一例を、図3に示すフロー図を参照しながら説明する。
Hereinafter, an example of the flow of processing executed by the answering
留守番電話処理サーバ10は、発信ユーザの携帯電話端末14からの転送電話の着信を受け付けると(S201)、発信ユーザの携帯電話端末14に自動応答メッセージを発信する(S202)。この自動応答メッセージは発信ユーザの携帯電話端末14の音声入出力部14eから音声出力される。
When the answering
そして留守番電話処理サーバ10は、S201に示す処理で受け付けた着信に基づいて、発信ユーザが利用している携帯電話端末14の電話番号を特定する(S203)。
The answering
その後、発信ユーザが留守番電話のメッセージを携帯電話端末14の音声入出力部14eを介して音声入力すると、当該メッセージの音声は留守番電話処理サーバ10に送信される。そして留守番電話処理サーバ10は、当該留守番電話のメッセージの音声を録音する(S204)。
Thereafter, when the calling user inputs a voice mail message via the voice input / output unit 14 e of the
すると留守番電話処理サーバ10は、S204に示す処理で録音された音声のデータを音声認識サーバ12に送信する(S205)。音声認識サーバ12は、当該音声のデータを受信すると、当該音声に対して音声認識処理を実行する。そして音声認識サーバ12は、当該音声の音声認識の結果である文字列を含むテキストデータを留守番電話処理サーバ10に送信する。そして留守番電話処理サーバ10は当該テキストデータを受信する(S206)。
Then, the answering
そして留守番電話処理サーバ10は、S206に示す処理で受信したテキストデータやS204に示す処理で録音された音声のデータを含む留守番電話データを着信ユーザの携帯電話端末14に送信する(S207)。なお本実施形態では当該留守番電話データには、上述のテキストデータや音声のデータの他に、例えば、着信/録音通知、発信ユーザの電話番号、当該音声の録音時刻、及び、当該音声の再生時間、のそれぞれを示すデータが含まれることとする。そして本処理例に示す処理は終了される。
The answering
なお例えば音声認識の結果、録音された音声が無音であることが判明した場合には、S207に示す処理で、留守番電話処理サーバ10は、S204に示す処理で録音されたメッセージの音声のデータを送信しなくてもよい。このようにすれば、送信されるデータのデータ量を低減できることとなる。またこの場合に、録音された音声が無音であったことを示すメッセージを送信するようにしてもよい。そして携帯電話端末14が当該メッセージを表示するようにしてもよい。
Note that, for example, if the recorded voice is found to be silent as a result of voice recognition, the answering
また留守番電話処理サーバ10は、送信されるデータのデータ量を削減するために、無音の部分が除去(トリミング)された音声のデータを着信ユーザの携帯電話端末14に送信するようにしてもよい。
In addition, the answering
S207に示す処理で送信された留守番電話データを受信した着信ユーザの携帯電話端末14は、当該留守番電話データを記憶する。そして着信ユーザの携帯電話端末14は、着信及び録音があったことを着信ユーザに通知する。
The
そして着信ユーザが本実施形態に係る留守番電話プログラムを起動する処理を実行すると、図4に例示するメッセージ一覧画面20がタッチパネル14dに表示される。
When the incoming user executes processing for starting the answering machine program according to the present embodiment, a
メッセージ一覧画面20には、受信した留守番電話データに含まれるテキストデータを表すテキスト画像I1が、受信した時刻の順に時系列で並んで配置されている。またメッセージ一覧画面20には、テキスト画像I1に対応付けて、発信ユーザ氏名画像I2、写真画像I3、再生アイコン画像I4、再生時間画像I5、及び、録音時刻画像I6が配置されている。
On the
発信ユーザ氏名画像I2は例えば発信ユーザの氏名を表す画像である。写真画像I3は例えば発信ユーザの写真の画像である。本実施形態では例えば、着信ユーザの携帯電話端末14にインストールされている連絡先情報アプリケーションにおいて、受信した留守番電話データに示されている発信ユーザの電話番号に関連付けられて管理されている氏名及び写真が特定される。そして本実施形態では、特定された氏名を表す画像が発信ユーザ氏名画像I2としてメッセージ一覧画面20に配置され、特定された写真の画像が写真画像I3としてメッセージ一覧画面20に配置される。
The calling user name image I2 is an image representing the name of the calling user, for example. The photograph image I3 is, for example, a photograph image of the calling user. In the present embodiment, for example, in the contact information application installed in the
再生アイコン画像I4は、音声の再生を指示するためのアイコン画像である。また再生時間画像I5は、受信した留守番電話データに示されている再生時間を表す画像である。また録音時刻画像I6は、受信した留守番電話データに示されている録音時刻を表す画像である。 The reproduction icon image I4 is an icon image for instructing audio reproduction. The reproduction time image I5 is an image representing the reproduction time indicated in the received answering machine data. The recording time image I6 is an image representing the recording time indicated in the received answering machine data.
ここで着信ユーザが、例えば再生アイコン画像I4に対するタップ操作などといった、再生アイコン画像I4を選択する操作を行うと、図5Aに例示する音声再生画面22がタッチパネル14dに表示される。
Here, when the incoming user performs an operation of selecting the reproduction icon image I4, such as a tap operation on the reproduction icon image I4, for example, an
図5Aに示す音声再生画面22には、選択された再生アイコン画像I4に対応付けられるテキスト画像I1が配置されている。また本実施形態では、音声再生画面22が表示されると、当該音声再生画面22に配置されているテキスト画像I1に対応付けられる留守番電話のメッセージの音声の再生が開始されるようになっている。
On the
また音声再生画面22には、当該音声の再生時間を表す再生時間画像I5及び再生位置を表す再生位置画像I7が配置されている。また音声再生画面22には、シークバー画像I8及び各種の操作画像I9が配置されている。着信ユーザはシークバー画像I8を操作することで、音声の再生位置を変えることができるようになっている。また着信ユーザは操作画像I9を操作することで音声の早送り、巻き戻し、停止、再生、2倍速等の操作を行うことができるようになっている。
On the
また本実施形態では、メッセージの音声の再生中には、テキスト画像I1が表す文字列のうち、再生位置に対応付けられる文字が強調表示される。図5Aでは、強調表示されている文字が、カーソルCで囲まれる文字として表現されている。 In the present embodiment, during the reproduction of the voice of the message, the character associated with the reproduction position is highlighted in the character string represented by the text image I1. In FIG. 5A, the highlighted character is expressed as a character surrounded by the cursor C.
なお再生中の音節や音素に対応付けられる文字が強調表示される必要はない。例えば単純に、テキスト画像I1が表す文字列に含まれる文字の数で再生時間を割った時間毎に強調表示される文字が変わるようにしてもよい。具体的には例えば、再生時間をT1秒、テキスト画像I1が表す文字列に含まれる文字の数をN1とした際に、先頭からn1番目の文字は、((n1−1)×T1/N1)秒から(n1×T1/N1)秒までの再生位置である場合に強調表示されるようにしてもよい。 Note that characters associated with the syllable or phoneme being played back need not be highlighted. For example, the highlighted character may be changed every time the reproduction time is divided by the number of characters included in the character string represented by the text image I1. Specifically, for example, when the reproduction time is T1 seconds and the number of characters included in the character string represented by the text image I1 is N1, the n1st character from the top is ((n1-1) × T1 / N1). ) It may be highlighted when the playback position is from the second to (n1 × T1 / N1) seconds.
ここで図5Bに示すように、例えば発信ユーザが虎ノ門支社へ訪問する時刻を表す文字(例えば先頭から60番目の文字である「8」)を指定する操作を着信ユーザが行ったとする。すると図5Cに示すように、テキスト画像I1が表す文字列における指定された文字の位置に応じたものに再生位置が変更される。そして変更後の再生位置からメッセージの音声が再生される。 Here, as shown in FIG. 5B, for example, it is assumed that the receiving user performs an operation of designating a character (for example, “8” which is the 60th character from the top) indicating the time when the calling user visits the Toranomon branch office. Then, as shown in FIG. 5C, the reproduction position is changed according to the position of the designated character in the character string represented by the text image I1. Then, the voice of the message is reproduced from the reproduction position after the change.
例えば、再生時間をT1秒、テキスト画像I1が表す文字列に含まれる文字の数をN1とした際に、先頭からn1番目の文字が指定されたとする。この場合は本実施形態では例えば、(((n1−1)×T1/N1)−Δ)秒の再生位置からメッセージの音声が再生される。なおΔは所定のオフセット値であり、ここでは例えば2秒であるとする。図5Cの例では、N1=132、T1=24秒、n1=60であるので、(((60−1)×24/132)−2)=8.72秒の再生位置から音声が再生されることとなる。このように本実施形態では、指定された文字に対応付けられる再生位置の所定時間前からメッセージの音声が再生されることとなる。 For example, when the reproduction time is T1 seconds and the number of characters included in the character string represented by the text image I1 is N1, it is assumed that the n1st character from the beginning is designated. In this case, in this embodiment, for example, the voice of the message is reproduced from the reproduction position of (((n1-1) × T1 / N1) −Δ) seconds. Note that Δ is a predetermined offset value, for example, 2 seconds here. In the example of FIG. 5C, since N1 = 132, T1 = 24 seconds, and n1 = 60, the sound is reproduced from the reproduction position of (((60-1) × 24/132) -2) = 8.72 seconds. The Rukoto. As described above, in the present embodiment, the voice of the message is reproduced from a predetermined time before the reproduction position associated with the designated character.
なお上記Δの値は0であっても構わない。この場合は、指定された文字に対応付けられる再生位置からメッセージの音声が再生されることとなる。例えばN1=132、T1=24秒、n1=60である場合は、((60−1)×24/132)=10.72秒の再生位置から再生されることとなる。また文字の指定に応じてメッセージの音声が再生される再生位置から所定時間の部分(例えば5秒)が繰り返し再生されるようにしてもよい。 The value of Δ may be 0. In this case, the voice of the message is reproduced from the reproduction position associated with the designated character. For example, when N1 = 132, T1 = 24 seconds, and n1 = 60, playback is started from the playback position of ((60-1) × 24/132) = 10.72 seconds. Further, a portion of a predetermined time (for example, 5 seconds) may be repeatedly reproduced from the reproduction position where the voice of the message is reproduced according to the designation of the character.
図6Aは、テキスト画像I1の別の一例が配置された音声再生画面22の一例を示す図である。音声認識の精度が悪い場合には、図6Aに示すように、テキスト画像I1が表す文字列からは意味する内容が不明である部分が存在することがある。ここで意味する内容が不明である部分(図6Aにおいては例えば先頭から59番目の文字である「社」)を指定する操作を着信ユーザが行ったとする。するとこの場合についても図6Bに示すように、テキスト画像I1が表す文字列における指定された文字の位置に応じたものに再生位置が変更されて、変更後の再生位置からメッセージの音声が再生される。図6Bの例では、N1=117、T1=24秒、n1=59であるので、(((59−1)×24/117)−2)=9.89秒の再生位置から音声が再生されることとなる。なおテキスト画像I1が表す文字列のうちの、音声認識の精度が悪い部分について、強調表示されるようにしてもよい。例えば音声認識の精度が悪い部分については他の文字とは異なる色で表示されるようにしてもよい。
FIG. 6A is a diagram illustrating an example of the
本実施形態によれば、着信ユーザはテキスト画像I1を目視することで、発信ユーザによって録音された留守番電話のメッセージの内容を知ることができる。その上本実施形態では、テキスト画像I1が表す文字列に含まれる文字を指定することで、当該文字に対応付けられる再生位置から音声が再生されるようになっている。 According to the present embodiment, the receiving user can know the content of the answering machine message recorded by the calling user by viewing the text image I1. In addition, in the present embodiment, by specifying a character included in the character string represented by the text image I1, sound is reproduced from a reproduction position associated with the character.
例えば再生時間をT1秒、テキスト画像I1が表す文字列に含まれる文字の数をN1とした際に、先頭からn1番目の文字が指定されたとすると、当該文字を表す音節又は音素は、((n1−1)×T1/N1)秒の再生位置で再生される可能性が高い。このことを踏まえ本実施形態では、先頭からn番目の文字が指定された場合に、余裕を持って当該音節又は音素を聞き取ることができる(((n1−1)×T1/N1)−Δ)秒の再生位置から音声が再生されるようになっている。なお上述したように、当該文字を表す音節又は音素が再生される可能性の高い((n1−1)×T1/N1)秒の再生位置から音声が再生されても構わない。このようにして本実施形態では、日付や時間、場所などといった重要な部分や、意味する内容が不明である部分などといった、表示されているテキスト画像I1が表す文字列のうちのユーザが確認したい部分の音声をピンポイントで確認できることとなる。 For example, if the playback time is T1 seconds and the number of characters included in the character string represented by the text image I1 is N1, and the n1st character from the beginning is specified, the syllable or phoneme representing the character is (( There is a high possibility of playback at a playback position of (n1-1) × T1 / N1) seconds. Based on this, in the present embodiment, when the nth character from the head is specified, the syllable or phoneme can be heard with a margin (((n1-1) × T1 / N1) −Δ). Audio is played from the second playback position. As described above, the sound may be reproduced from the reproduction position of ((n1-1) × T1 / N1) seconds where the syllable or phoneme representing the character is highly likely to be reproduced. In this way, in the present embodiment, the user wants to check the character string represented by the displayed text image I1, such as an important part such as date, time, place, or a part whose meaning is unknown. The voice of the part can be confirmed pinpoint.
また本実施形態では、上述したような単純な方法で再生位置の特定が可能であるため、メッセージの音声を構成する音節や音素の再生位置と当該音節や音素が表す文字とを対応付けて管理する必要がない。そのためメッセージの音声を構成する音節や音素の再生位置と当該音節や音素が表す文字との対応関係を示すデータが留守番電話処理サーバ10から携帯電話端末14に送信される必要がない。そのため当該データに相当する通信量だけ節約されることとなる。
In this embodiment, since the playback position can be specified by the simple method as described above, the playback position of the syllable or phoneme constituting the voice of the message is associated with the character represented by the syllable or phoneme. There is no need to do. For this reason, it is not necessary for the answering
以下、文字の指定に応じたピンポイントでの音声の再生を中心に、本実施形態に係る携帯電話端末14の機能並びに本実施形態に係る携帯電話端末14で実行される処理についてさらに説明する。なお本実施形態に係る携帯電話端末14は、指定された文字に対応付けられる音声を再生する音声再生装置としての役割を担うこととなる。
Hereinafter, the function of the
図7は、本実施形態に係る携帯電話端末14で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る携帯電話端末14で、図7に示す機能のすべてが実装される必要はなく、また、図7に示す機能以外の機能が実装されていても構わない。
FIG. 7 is a functional block diagram showing an example of functions implemented in the
図7に示すように、本実施形態に係る携帯電話端末14は、機能的には例えば、留守番電話データ受信部30、留守番電話データ記憶部32、表示制御部34、指定受付部36、再生位置決定部38、音声再生部40、を含んでいる。留守番電話データ受信部30は、通信部14cを主として実装される。留守番電話データ記憶部32は、記憶部14bを主として実装される。表示制御部34、指定受付部36は、制御部14a及びタッチパネル14dを主として実装される。再生位置決定部38は、制御部14aを主として実装される。音声再生部40は、制御部14a及び音声入出力部14eを主として実装される。
As shown in FIG. 7, the
以上の機能は、コンピュータである携帯電話端末14にインストールされた、以上の機能に対応する指令を含むプログラム(上述の本実施形態に係る留守番電話プログラム)を制御部14aで実行することにより実装される。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して携帯電話端末14に供給される。
The above functions are implemented by executing, in the
留守番電話データ受信部30は、本実施形態では例えば、図3に示すS207に示す処理で留守番電話処理サーバ10が送信する留守番電話データを受信する。
In this embodiment, for example, the answering machine data receiving unit 30 receives the answering machine data transmitted by the answering
留守番電話データ記憶部32は、本実施形態では例えば、留守番電話データ受信部30が受信した留守番電話データを記憶する。
In the present embodiment, the answering machine
表示制御部34は、本実施形態では例えば、音声の認識結果である文字列が配置された、図4に示すメッセージ一覧画面20や図5A〜図5C、図6A、及び、図6Bに示す音声再生画面22をタッチパネル14dに表示させる。また上述したように、表示制御部34が、音声が再生されている部分に対応付けられる文字を強調表示させてもよい。
In the present embodiment, for example, the
指定受付部36は、本実施形態では例えば、音声の認識結果である文字列に含まれる1又は複数の文字の指定を受け付ける。指定受付部36は、本実施形態では例えば、タッチパネル14dに対するタップ操作が行われた際には、タップされた位置に配置されている文字又はタップされた位置からの距離が最も短い位置に配置されている文字を、指定された文字として受け付ける。
In the present embodiment, for example, the
なお指定受付部36が、テキスト画像I1が表すテキスト画像I1が表す文字列を分割した複数の部分文字列のうちのいずれかの指定を受け付けてもよい。ここで部分文字列とは、テキスト画像I1が表す文字列を、例えば、文単位、語単位、行単位、所定数の文字単位、などといった所定の単位で分割したものを指すこととする。本実施形態では部分文字列のそれぞれは1又は複数の文字から構成されていることとする。例えばテキスト画像I1が表す文字列が1文字単位で複数の部分文字列に分割された場合は、複数の部分文字列のそれぞれには1の文字が含まれることとなる。なお複数の部分文字列のそれぞれに含まれる文字の数は同じであっても異なっていてもよい。
Note that the
再生位置決定部38は、本実施形態では例えば、音声の認識結果である文字列に含まれる1又は複数の文字の指定に応じて、当該1又は複数の文字の当該文字列における位置に対応付けられる再生位置を、音声を再生させる再生位置として決定する。
In the present embodiment, for example, the reproduction
ここで例えば、指定受付部36が先頭からn番目の部分文字列の指定を受け付けたとする。この場合、再生位置決定部38は、再生時間を部分文字列の数で複数の部分時間に分割した場合における先頭からn番目の部分時間に属する再生位置を、音声を再生させる再生位置として決定してもよい。あるいはこの場合に、再生位置決定部38が、先頭からn番目の部分時間に属する再生位置の所定時間前(例えば2秒前)に相当する再生位置を、音声を再生させる再生位置として決定してもよい。なおここで先頭からn番目の部分時間に属する再生位置は、例えば先頭からn番目の部分時間の先頭の再生位置であってもよい。また上記複数の部分時間のそれぞれは、再生時間を等時間間隔で分割したものであってもよい。
Here, for example, it is assumed that the
例えば再生時間をT2秒、部分文字列の数をN2とした際に、先頭からn2番目の部分文字列が指定されたとする。この場合には例えば(((n2−1)×T2/N2)−Δ)秒の再生位置が、音声を再生させる再生位置として決定されてもよい。例えば図6Aに示すようにテキスト画像I1が表す文字列が8行であり、部分文字列は、当該文字列を行単位で分割したものとする。この場合はT2=24秒、N2=8となる。ここで例えば3行目の部分文字列が指定された場合に、(((3−1)×24/8)−2)=4秒の再生位置が、音声を再生させる生成位置として決定されてもよい。 For example, when the playback time is T2 seconds and the number of partial character strings is N2, it is assumed that the n2th partial character string from the beginning is designated. In this case, for example, a reproduction position of (((n2-1) × T2 / N2) −Δ) seconds may be determined as a reproduction position for reproducing sound. For example, as shown in FIG. 6A, the character string represented by the text image I1 is 8 lines, and the partial character string is obtained by dividing the character string in line units. In this case, T2 = 24 seconds and N2 = 8. Here, for example, when a partial character string on the third line is designated, a reproduction position of (((3-1) × 24/8) -2) = 4 seconds is determined as a generation position for reproducing sound. Also good.
音声再生部40は、本実施形態では例えば、音声の認識結果である文字列に含まれる1又は複数の文字の指定に応じて、当該1又は複数の文字の当該文字列における位置に対応付けられる再生位置から当該音声を再生させる。音声再生部40は、本実施形態では例えば、再生位置決定部38が音声を再生させる再生位置として決定する再生位置から音声を再生させる。また音声再生部40は、文字の指定に応じてメッセージの音声が再生される再生位置から所定時間の部分(例えば5秒)を繰り返し再生するようにしてもよい。また、音声再生部40は、始点と終点の文字の指定に応じて始点に対応付けられる再生位置から終点に対応付けられる再生位置までを繰り返し再生するようにしてもよい。
In the present embodiment, for example, in accordance with the designation of one or more characters included in the character string that is the speech recognition result, the
また本実施形態では、再生位置決定部38が音声を再生させる再生位置として決定する再生位置に応じて、表示制御部34は、音声再生画面22の表示内容を更新する。
In the present embodiment, the
以下、指定受付部36が部分文字列の指定を受け付けた際に本実施形態に係る携帯電話端末14において行われる処理の流れの一例を、図8に示すフロー図を参照しながら説明する。
Hereinafter, an example of the flow of processing performed in the
指定受付部36が部分文字列の指定を受け付けると、まず、再生位置決定部38が、当該部分文字列を特定する(S301)。そして再生位置決定部38が、S301に示す処理で特定された部分文字列に基づいて、上述のようにして音声を再生させる再生位置を決定する(S302)。そして表示制御部34が、S302に示す処理で決定された再生位置に基づいて表示内容を更新し、音声再生部40が、S302に示す処理で決定された再生位置から音声を再生して(S303)、本処理例に示す処理は終了される。
When the
なお、本発明は上述の実施形態に限定されるものではない。 In addition, this invention is not limited to the above-mentioned embodiment.
例えば、留守番電話データに、メッセージの音声を構成する音節や音素の再生位置と当該音節や音素が表す文字との対応関係を示すデータが含まれていてもよい。そして再生位置決定部38が、指定された部分文字列に対応付けられる音節や音素の再生位置、又は、当該再生位置の所定時間前から音声を再生させてもよい。
For example, the answering machine data may include data indicating the correspondence between the reproduction positions of the syllables and phonemes constituting the voice of the message and the characters represented by the syllables and phonemes. Then, the playback
また例えば本発明の適用範囲は携帯電話端末14に限定されない。本発明を例えばパーソナルコンピュータ等のコンピュータ一般に適用してもよい。
For example, the application range of the present invention is not limited to the
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。 The specific character strings and numerical values described above and the specific character strings and numerical values in the drawings are examples, and are not limited to these character strings and numerical values.
1 留守番電話システム、10 留守番電話処理サーバ、12 音声認識サーバ、14 携帯電話端末、14a 制御部、14b 記憶部、14c 通信部、14d タッチパネル、14e 音声入出力部、16 電話通信網、18 インターネット、20 メッセージ一覧画面、22 音声再生画面、30 留守番電話データ受信部、32 留守番電話データ記憶部、34 表示制御部、36 指定受付部、38 再生位置決定部、40 音声再生部。 DESCRIPTION OF SYMBOLS 1 Answering machine system, 10 Answering machine processing server, 12 Voice recognition server, 14 Mobile phone terminal, 14a Control part, 14b Storage part, 14c Communication part, 14d Touch panel, 14e Voice input / output part, 16 Telephone communication network, 18 Internet, 20 message list screen, 22 voice playback screen, 30 answering machine data receiving unit, 32 answering machine data storage unit, 34 display control unit, 36 designation receiving unit, 38 playback position determining unit, 40 voice playback unit.
Claims (7)
前記文字列に含まれる1又は複数の文字の指定に応じて、当該1又は複数の文字の前記文字列における位置に対応付けられる再生位置から前記音声を再生させる音声再生部と、
を含むことを特徴とする音声再生装置。 A display control unit for displaying a character string that is a speech recognition result;
An audio reproduction unit that reproduces the audio from a reproduction position associated with a position of the one or more characters in the character string in accordance with designation of one or more characters included in the character string;
A sound reproducing device comprising:
ことを特徴とする請求項1に記載の音声再生装置。 When the nth partial character string from the top in the case where the character string is divided into a plurality of partial character strings each composed of one or a plurality of characters, the sound reproduction unit reproduces the sound When the time is divided into a plurality of partial times by the number of partial character strings, the sound is reproduced from a reproduction position belonging to the nth partial time from the beginning or a reproduction position corresponding to a predetermined time before the reproduction position. Let
The sound reproducing apparatus according to claim 1, wherein
ことを特徴とする請求項2に記載の音声再生装置。 Each of the plurality of partial times is obtained by dividing the reproduction time of the sound at equal time intervals.
The sound reproducing apparatus according to claim 2, wherein
ことを特徴とする請求項2又は3に記載の音声再生装置。 The playback position belonging to the nth partial time is the first playback position of the nth partial time.
The audio reproducing apparatus according to claim 2 or 3, wherein
ことを特徴とする請求項1から4のいずれか一項に記載の音声再生装置。 The display control unit highlights a character associated with a portion where the sound is reproduced,
The sound reproducing device according to any one of claims 1 to 4, wherein
前記文字列に含まれる1又は複数の文字の指定に応じて、当該1又は複数の文字の前記文字列における位置に対応付けられる再生位置から前記音声を再生させるステップと、
を含むことを特徴とする音声再生方法。 Displaying a character string that is a speech recognition result;
Reproducing the sound from a reproduction position associated with a position of the one or more characters in the character string in accordance with designation of one or more characters included in the character string;
An audio reproduction method comprising:
前記文字列に含まれる1又は複数の文字の指定に応じて、当該1又は複数の文字の前記文字列における位置に対応付けられる再生位置から前記音声を再生させる手順、
をコンピュータに実行させることを特徴とするプログラム。 The procedure to display the character string that is the speech recognition result,
A procedure for reproducing the sound from a reproduction position associated with a position of the one or more characters in the character string in accordance with designation of one or more characters included in the character string;
A program that causes a computer to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015246371A JP6721981B2 (en) | 2015-12-17 | 2015-12-17 | Audio reproducing device, audio reproducing method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015246371A JP6721981B2 (en) | 2015-12-17 | 2015-12-17 | Audio reproducing device, audio reproducing method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017111339A true JP2017111339A (en) | 2017-06-22 |
JP6721981B2 JP6721981B2 (en) | 2020-07-15 |
Family
ID=59080726
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015246371A Active JP6721981B2 (en) | 2015-12-17 | 2015-12-17 | Audio reproducing device, audio reproducing method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6721981B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113066491A (en) * | 2021-03-18 | 2021-07-02 | 海信视像科技股份有限公司 | Display device and voice interaction method |
WO2024095383A1 (en) * | 2022-11-02 | 2024-05-10 | 日本電信電話株式会社 | Voice recognition result display device, method, and program |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1063471A (en) * | 1996-04-25 | 1998-03-06 | Internatl Business Mach Corp <Ibm> | Accessory for recording and reproduction system for sound, and voice mail system |
JP2004529381A (en) * | 2001-03-29 | 2004-09-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Character editing during synchronized playback of recognized speech |
JP2008097232A (en) * | 2006-10-10 | 2008-04-24 | Toshibumi Okuhara | Voice information retrieval program, recording medium thereof, voice information retrieval system, and method for retrieving voice information |
JP2010262413A (en) * | 2009-04-30 | 2010-11-18 | Nippon Hoso Kyokai <Nhk> | Voice information extraction device |
JP2014235263A (en) * | 2013-05-31 | 2014-12-15 | ヤマハ株式会社 | Speech recognition device and program |
-
2015
- 2015-12-17 JP JP2015246371A patent/JP6721981B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1063471A (en) * | 1996-04-25 | 1998-03-06 | Internatl Business Mach Corp <Ibm> | Accessory for recording and reproduction system for sound, and voice mail system |
JP2004529381A (en) * | 2001-03-29 | 2004-09-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Character editing during synchronized playback of recognized speech |
JP2008097232A (en) * | 2006-10-10 | 2008-04-24 | Toshibumi Okuhara | Voice information retrieval program, recording medium thereof, voice information retrieval system, and method for retrieving voice information |
JP2010262413A (en) * | 2009-04-30 | 2010-11-18 | Nippon Hoso Kyokai <Nhk> | Voice information extraction device |
JP2014235263A (en) * | 2013-05-31 | 2014-12-15 | ヤマハ株式会社 | Speech recognition device and program |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113066491A (en) * | 2021-03-18 | 2021-07-02 | 海信视像科技股份有限公司 | Display device and voice interaction method |
WO2024095383A1 (en) * | 2022-11-02 | 2024-05-10 | 日本電信電話株式会社 | Voice recognition result display device, method, and program |
WO2024095535A1 (en) * | 2022-11-02 | 2024-05-10 | 日本電信電話株式会社 | Speech recognition result display device, method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP6721981B2 (en) | 2020-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11527243B1 (en) | Signal processing based on audio context | |
US10827065B2 (en) | Systems and methods for providing integrated computerized personal assistant services in telephony communications | |
US8406390B1 (en) | Pausing a live teleconference call | |
KR20140022824A (en) | Audio-interactive message exchange | |
JP2014153715A (en) | Portable terminal with voice talk function and voice talk method thereof | |
KR20140142476A (en) | Method for processing data and an electronis device thereof | |
JP2012503364A (en) | Predetermined response method and apparatus for wireless device | |
CN110943908A (en) | Voice message sending method, electronic device and medium | |
JP6721981B2 (en) | Audio reproducing device, audio reproducing method and program | |
WO2014077182A1 (en) | Mobile information terminal, shadow speech management method, and computer program | |
JP2011253389A (en) | Terminal and reply information creation program for pseudo conversation | |
KR20070037267A (en) | Mobile terminal for identifying a caller | |
CN102045462B (en) | Method and apparatus for unified interface for heterogeneous session management | |
US20110269432A1 (en) | Local voicemail for mobile devices | |
US7991391B2 (en) | Pre-recorded voice responses for portable telecommunication devices | |
JP2007306191A (en) | Voice response mobile phone and voice response method in mobile phone | |
JP2006191436A (en) | Cellular phone unit | |
JP2009290468A (en) | Speech recording device and method | |
JP2009044679A (en) | Portable communication terminal with silent speech function, and control method of portable communication terminal with silent speech function | |
JP2006222603A (en) | Interactive voice response | |
JP2017033376A (en) | Information processing device, information processing method, and control program | |
US8054948B1 (en) | Audio experience for a communications device user | |
JP3225996U (en) | Information processing equipment | |
JP4294502B2 (en) | Telephone terminal and image generation method | |
WO2016033869A1 (en) | Ring-back tone implementation method and apparatus, and computer readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181203 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191011 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200619 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6721981 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |