JP2005284192A - Device, method and program to output text voice - Google Patents

Device, method and program to output text voice Download PDF

Info

Publication number
JP2005284192A
JP2005284192A JP2004101479A JP2004101479A JP2005284192A JP 2005284192 A JP2005284192 A JP 2005284192A JP 2004101479 A JP2004101479 A JP 2004101479A JP 2004101479 A JP2004101479 A JP 2004101479A JP 2005284192 A JP2005284192 A JP 2005284192A
Authority
JP
Japan
Prior art keywords
emoticon
character
meaning
reading
text data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004101479A
Other languages
Japanese (ja)
Other versions
JP4523312B2 (en
Inventor
Masabumi Yakura
正文 矢倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2004101479A priority Critical patent/JP4523312B2/en
Publication of JP2005284192A publication Critical patent/JP2005284192A/en
Application granted granted Critical
Publication of JP4523312B2 publication Critical patent/JP4523312B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a device, its method and its program for text voice outputting by recognizing a face character from a sentence that includes various face characters and replacing the meaning of the expression of the face character with an appropriate word. <P>SOLUTION: The text voice output method and its program are provided with: a face character extraction part 13 which extracts a face character from inputted text data; a face character meaning/strength judgement part 14 which judges the meaning (feeling or the like) based on the face character and its strength (strength and weakness); a reading induction part 15 which induces the reading of the face character; and a face character reading induction part 11 which at least has a reading replacement part 16 that replaces the face character part of the inputted text data with the reading corresponding to the face character and outputs the text data. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、電子メール等のテキストデータから音声を出力するテキスト音声出力のための装置、方法、及びプログラムに関する。   The present invention relates to an apparatus, method, and program for outputting text voice from text data such as electronic mail.

近年、インターネットが急速に普及したことによって電子メールや電子掲示板、チャット等の様々なコミュニケーション手段が用いられるようになってきている。
電子メール等に使用されるテキスト文章には、通常の文章を表すための文字列の他に、様々な文字列を組み合わせることによって人の感情等を表す顔文字も頻繁に使用され、文章を書いた人の意図を読み手に理解してもらう1つの手段に用いられている。
In recent years, with the rapid spread of the Internet, various communication means such as electronic mail, electronic bulletin boards, and chats have come to be used.
In text sentences used for e-mails, in addition to character strings used to represent ordinary sentences, emoticons that express human emotions are often used by combining various character strings. It is used as a means for readers to understand the intent of the reader.

また、従来からある技術を用いて、電子メール等のテキスト文章を音声に出力するサービス等も提供され始めている。例えば、電子メール等のテキスト文章から顔文字を認識し、文章中の顔文字部分をその顔文字が表現する文字列に変換して音声出力するものである。   In addition, a service for outputting a text sentence such as an e-mail to a voice by using a conventional technique has started to be provided. For example, an emoticon is recognized from a text sentence such as an e-mail, and the emoticon part in the sentence is converted into a character string represented by the emoticon and output as voice.

特許文献1には、あらかじめ用意された絵文字と絵文字に対応する読み(文字列)の表にしたがって、文章中の絵文字を文字列に置き換え、さらに合成音声に変換する方法について開示されている。また、特許文献2には、顔文字に使用される特徴記号を抽出し、その出現回数に応じて顔文字に読みを付与する方法について開示されている。
特開平11−305987号公報 特開2002−268665号公報
Patent Document 1 discloses a method of replacing pictograms in a sentence with character strings according to a prepared pictogram and a table of readings (character strings) corresponding to the pictograms, and further converting them into synthesized speech. Patent Document 2 discloses a method of extracting feature symbols used for emoticons and adding readings to the emoticons according to the number of appearances.
JP-A-11-305987 JP 2002-268665 A

しかし、顔文字は不特定多数の人によって自由に作成されるので、単語と異なり確定した語彙集等はなく、また常に新しいものが作成されるので、顔文字とその読みとの関係をあらかじめ知ることが難しい。   However, since emoticons are freely created by an unspecified number of people, there is no fixed vocabulary collection unlike words, and new ones are always created, so know the relationship between emoticons and their readings in advance It is difficult.

そのため、テキスト文章に含まれる顔文字を認識することが難しく、また、顔文字が表現する意味を適切な文字列に変換することが難しいという問題があった。
本発明は、上述した問題に鑑みてなされたものであり、その解決しようとする課題は、様々な文字の組み合わせパターンからなる顔文字の含まれる文章から顔文字を認識することを可能とし、顔文字が表現する意味を適切な言葉に置き換えることが可能なテキスト音声出力のための装置、方法、及びプログラムを提供することである。
Therefore, there are problems that it is difficult to recognize emoticons included in the text sentence, and it is difficult to convert the meanings represented by the emoticons into appropriate character strings.
The present invention has been made in view of the above-described problems, and a problem to be solved by the present invention is that it is possible to recognize an emoticon from a sentence including emoticons composed of various character combination patterns. An object is to provide an apparatus, method, and program for text sound output capable of replacing meanings represented by characters with appropriate words.

請求項1に記載の発明は、文字列の組み合わせからなる顔文字を含むテキストデータを音声として出力する処理をコンピュータに実行させるためのプログラムであって、前記顔文字を構成する部品文字と該部品文字の前記顔文字に対する位置とを関連づけた顔文字部品辞書に基づいて、入力されたテキストデータから顔文字を抽出する顔文字抽出ステップと、該顔文字抽出ステップで抽出された顔文字に対応する読みを導出する読み導出ステップと、前記入力されたテキストデータにおける前記顔文字抽出ステップで抽出された顔文字を、前記読み導出ステップで導出された読みに置換する読み置換ステップと、該読み置換ステップにて得られた置換後のテキストデータを音声に変換して出力する音声出力ステップと、を有することを特徴とするテキスト音声出力プログラムである。   The invention according to claim 1 is a program for causing a computer to execute a process of outputting text data including a face character composed of a combination of character strings as a sound, the component character constituting the face character and the component Based on the emoticon component dictionary that associates the position of the character with respect to the emoticon, the emoticon extraction step for extracting the emoticon from the input text data, and the emoticon extracted in the emoticon extraction step A reading derivation step for deriving a reading; a reading substitution step for replacing the emoticon extracted in the emoticon extraction step in the input text data with a reading derived in the reading derivation step; and the reading substitution step A voice output step of converting the converted text data obtained in step 1 into voice and outputting the voice. That is a text-to-speech output program.

請求項1に記載の発明によると、前記顔文字部品辞書を参照して、前記顔文字を構成する部品文字に対応する位置を判別することによって、様々な部品文字によって表されている顔文字輪郭を特定することが可能となる効果を奏する。   According to the first aspect of the present invention, by referring to the emoticon component dictionary and determining positions corresponding to the component characters constituting the emoticon, emoticon contours represented by various component characters There is an effect that can be specified.

請求項2に記載の発明は、文字列の組み合わせからなる顔文字を含むテキストデータを音声として出力する処理をコンピュータに実行させるためのプログラムであって、入力されたテキストデータから顔文字を抽出する顔文字抽出ステップと、該顔文字抽出ステップによって抽出した前記顔文字の部品文字と該部品文字が表す意味とを関連づけた顔部品意味辞書に基づいて前記部品文字に対する意味を決定し、前記部品文字と該部品文字が表す意味の強度とを関連づけた顔部品強度辞書に基づいて前記部品文字の意味に対する強度を決定し、前記部品文字が表す意味と前記顔文字が表す意味とを関連づけた顔文字意味決定辞書に基づいて前記部品文字に対する意味から前記顔文字の意味を決定する顔文字意味強度判定ステップと、該顔文字意味強度判定ステップによって決定された前記顔文字に対する意味と該意味の強度とに応じた感情を文字で表現する読み導出ステップと、前記入力されたテキストデータにおける前記顔文字抽出ステップで抽出された顔文字を、前記読み導出ステップで導出された読みに置換する読み置換ステップと、該読み置換ステップにて得られた置換後のテキストデータを音声に変換して出力する音声出力ステップと、を有することを特徴とするテキスト音声出力プログラムである。   The invention according to claim 2 is a program for causing a computer to execute a process of outputting text data including a face character composed of a combination of character strings as speech, and extracts the face character from the input text data. Determining a meaning for the component character based on an emoticon extraction step and a face component semantic dictionary that associates the component character of the emoticon extracted by the emoticon extraction step with the meaning represented by the component character; Is determined based on a facial part strength dictionary in which the meaning of the part character is associated with the meaning of the part character, and the face character is associated with the meaning represented by the part character and the meaning represented by the face character. An emoticon meaning strength determining step for determining the meaning of the emoticon from the meanings of the component characters based on a meaning determination dictionary; A reading derivation step for expressing the meaning of the emoticon determined by the strength determination step and an emotion corresponding to the strength of the meaning in characters, and the emoticon extracted in the emoticon extraction step in the input text data Is replaced with a reading derived in the reading derivation step, and a voice output step for converting the converted text data obtained in the reading substitution step into speech and outputting it This is a featured text audio output program.

請求項2に記載の発明によると、前記顔部品意味辞書に基づいて判別された部品文字が表す意味から、顔文字意味決定辞書に基づいて総合的に顔文字が表す意味を判別することによって、様々な部品文字によって構成された顔文字に対する適切な表現を判別することが可能となる。   According to the invention of claim 2, from the meaning represented by the part character determined based on the face part semantic dictionary, by determining the meaning represented by the emoticon comprehensively based on the emoticon meaning determination dictionary, Appropriate expressions for emoticons composed of various component characters can be determined.

さらに、前記顔文字意味決定辞書に基づいて判別された顔文字の意味と、前記顔部品強度辞書に基づいて判別された前記部品文字が表す意味の強度とから、前記顔文字の表すより適切な感情を判別することが可能となる。   Furthermore, it is more appropriate to represent the emoticon from the meaning of the emoticon determined based on the emoticon meaning determination dictionary and the strength of the meaning represented by the component character determined based on the face component strength dictionary. It becomes possible to discriminate emotions.

請求項3に記載の発明は、前記顔文字部品辞書は、少なくとも前記顔文字の目を表す部品文字を有し、前記顔文字抽出ステップでは前記目を表す部品文字に基づいて顔文字の輪郭を特定することを特徴とする請求項1に記載のテキスト音声出力プログラムである。   According to a third aspect of the present invention, the emoticon component dictionary has at least a component character representing the eyes of the emoticon, and in the emoticon extraction step, the outline of the emoticon is defined based on the component characters representing the eye. 2. The text voice output program according to claim 1, wherein the program is specified.

請求項3に記載の発明によると、前記顔文字部品辞書における前記部品文字には、顔文字を構成する目の部分を表す文字を使用することによって、請求項1に記載の発明と同様の効果を奏する。   According to the invention described in claim 3, the same effect as that of the invention described in claim 1 can be obtained by using a character representing an eye part constituting the emoticon for the component character in the emoticon component dictionary. Play.

請求項4に記載の発明は、文字列の組み合わせからなる顔文字を含むテキストデータを音声として出力する処理をコンピュータに実行させるための方法であって、前記顔文字を構成する部品文字と該部品文字の前記顔文字に対する位置とを関連づけた顔文字部品辞書に基づいて、入力されたテキストデータから顔文字を抽出する顔文字抽出ステップと、該顔文字抽出ステップで抽出された顔文字に対応する読みを導出する読み導出ステップと、前記入力されたテキストデータにおける前記顔文字抽出ステップで抽出された顔文字を、前記読み導出ステップで導出された読みに置換する読み置換ステップと、該読み置換ステップにて得られた置換後のテキストデータを音声に変換して出力する音声出力ステップと、を有することを特徴とするテキスト音声出力方法である。   The invention according to claim 4 is a method for causing a computer to execute a process of outputting text data including a face character composed of a combination of character strings as a sound, and the part character constituting the face character and the part Based on the emoticon component dictionary that associates the position of the character with respect to the emoticon, the emoticon extraction step for extracting the emoticon from the input text data, and the emoticon extracted in the emoticon extraction step A reading derivation step for deriving a reading; a reading substitution step for replacing the emoticon extracted in the emoticon extraction step in the input text data with a reading derived in the reading derivation step; and the reading substitution step A speech output step of converting the converted text data obtained in step 1 into speech and outputting the speech. It is a strike voice output method.

請求項5に記載の発明は、文字列の組み合わせからなる顔文字を含むテキストデータを音声として出力する処理をコンピュータに実行させるための方法であって、入力されたテキストデータから顔文字を抽出する顔文字抽出ステップと、該顔文字抽出ステップによって抽出した前記顔文字の部品文字と該部品文字が表す意味とを関連づけた顔部品意味辞書に基づいて前記部品文字に対する意味を決定し、前記部品文字と該部品文字が表す意味の強度とを関連づけた顔部品強度辞書に基づいて前記部品文字の意味に対する強度を決定し、前記部品文字が表す意味と前記顔文字が表す意味とを関連づけた顔文字意味決定辞書に基づいて、前記部品文字に対する意味から前記顔文字の意味を決定する顔文字意味強度判定ステップと、該顔文字意味強度判定ステップによって決定された前記顔文字に対する意味と該意味の強度とに応じた感情を文字で表現する読み導出ステップと、前記入力されたテキストデータにおける前記顔文字抽出ステップで抽出された顔文字を、前記読み導出ステップで導出された読みに置換する読み置換ステップと、該読み置換ステップにて得られた置換後のテキストデータを音声に変換して出力する音声出力ステップと、を有することを特徴とするテキスト音声出力方法である。

以上に記載した請求項4に記載の発明によっても請求項1と同様に、前記顔文字部品辞書を参照して、前記顔文字を構成する部品文字に対応する位置を判別することによって、様々な部品文字によって表されている顔文字輪郭を特定することが可能となる効果を奏する。また、請求項5に記載の発明によると請求項2に記載の発明と同様に、前記顔部品意味辞書に基づいて判別された部品文字が表す意味から、顔文字意味決定辞書に基づいて総合的に顔文字が表す意味を判別することによって、様々な部品文字によって構成された顔文字に対する適切な表現を判別することが可能となり、さらに、前記顔文字意味決定辞書に基づいて判別された顔文字の意味と、前記顔部品強度辞書に基づいて判別された前記部品文字が表す意味の強度とから、前記顔文字の表すより適切な感情を判別することが可能となる効果を奏する。
The invention according to claim 5 is a method for causing a computer to execute processing for outputting text data including a face character composed of a combination of character strings as speech, and extracting the face character from the input text data. Determining a meaning for the component character based on an emoticon extraction step and a face component semantic dictionary that associates the component character of the emoticon extracted by the emoticon extraction step with the meaning represented by the component character; Is determined based on a facial part strength dictionary in which the meaning of the part character is associated with the meaning of the part character, and the face character is associated with the meaning represented by the part character and the meaning represented by the face character. An emoticon meaning strength determining step for determining the meaning of the emoticon from the meanings of the component characters based on the meaning determination dictionary; The reading derivation step of expressing the emotion according to the meaning of the emoticon determined by the determination step and the strength of the meaning in characters, and the emoticon extracted in the emoticon extraction step in the input text data A replacement step for replacing the reading derived in the reading derivation step; and a speech output step for converting the converted text data obtained in the replacement step into speech and outputting the speech. Is a text voice output method.

According to the invention described in claim 4 described above, as in the case of claim 1, by referring to the emoticon component dictionary and determining the positions corresponding to the component characters constituting the emoticon, There is an effect that it is possible to specify the emoticon outline represented by the part character. Further, according to the invention described in claim 5, as in the invention described in claim 2, from the meaning represented by the part character determined based on the face part semantic dictionary, based on the emoticon meaning determination dictionary, By determining the meaning represented by the emoticon, it is possible to determine an appropriate expression for the emoticon composed of various component characters, and further, the emoticon determined based on the emoticon meaning determination dictionary And the strength of the meaning represented by the component character determined based on the facial component strength dictionary, it is possible to determine a more appropriate emotion represented by the facial character.

以上のように、本発明によると、様々な文字の組み合わせパターンからなる顔文字の含まれる文章から顔文字を認識することを可能とし、顔文字が表現する意味を適切な言葉に置き換えることが可能なテキスト音声出力のための装置、方法、及びプログラムを提供することが可能となる。   As described above, according to the present invention, emoticons can be recognized from sentences containing emoticons composed of various character combination patterns, and the meaning represented by the emoticons can be replaced with appropriate words. It is possible to provide an apparatus, a method, and a program for outputting text audio.

以下、本発明の実施形態について図1から図12に基づいて説明する。
図1は、本実施例に係る情報処理装置の構成例を示す図である。
同図は、周辺機器や各種ソフトウェアを実行する他に本実施例に係るテキスト音声出力を実現するためのプログラムを実行するCPU1と、プログラムを実行するために使用される揮発性のメモリ2(例えばRAM)と、外部からのデータ入力手段である入力装置3(例えばキーボードやマウス)と、データ等を表示するための出力装置4と、情報処理装置が動作するために必要なプログラムやデータの他に本実施例に係るプログラムを記録するための外部記録装置5と、メモリ2や外部記録装置5のデータを可搬記録媒体7(例えばフロッピイディスクやMOディスク、CD−RやDVD−Rなど)に出力したり可搬記録媒体7からプログラムやデータ等を読み出すための媒体駆動装置6と、ネットワーク9に接続するためのネットワーク接続装置8とを有し、これらの装置がバス10に接続されて相互にデータの受け渡しが行える構成となっている。
Hereinafter, embodiments of the present invention will be described with reference to FIGS.
FIG. 1 is a diagram illustrating a configuration example of the information processing apparatus according to the present embodiment.
The figure shows a CPU 1 that executes a program for realizing text audio output according to the present embodiment in addition to executing peripheral devices and various software, and a volatile memory 2 used for executing the program (for example, RAM), an input device 3 (for example, a keyboard or a mouse) that is an external data input means, an output device 4 for displaying data, and the like, programs and data necessary for the information processing device to operate The external recording device 5 for recording the program according to the present embodiment and the portable recording medium 7 (for example, floppy disk, MO disk, CD-R, DVD-R, etc.) ) And a network drive device 6 for reading programs and data from the portable recording medium 7 and a network for connecting to the network 9 And a connection device 8, these devices has a structure that allows the transfer of data to each other are connected to a bus 10.

図2は、本実施例に係るテキスト音声出力装置の構成例を示す図である。
同図(a)に示すテキスト音声出力装置は、入力されたテキストデータについて顔文字の読みを導出する顔文字読み導出部11と、顔文字読み導出部11から出力されたデータに基づいて音声を合成して出力する音声合成部12とから成る。
FIG. 2 is a diagram illustrating a configuration example of the text audio output device according to the present embodiment.
The text voice output device shown in FIG. 2A is a face character reading deriving unit 11 for deriving emoticon readings for the input text data, and a voice based on the data output from the emoticon reading deriving unit 11. It comprises a speech synthesizer 12 that synthesizes and outputs.

ここで、音声合成部12におけるテキストデータを音声に変換する処理は、一般的に知られた手法によって行なうことができる。例えば、「ディジタル音声処理(古井貞煕著、東海大学出版会、1985)等に開示されている手法によって実現可能である。   Here, the process of converting the text data into speech in the speech synthesizer 12 can be performed by a generally known method. For example, it can be realized by a technique disclosed in “Digital Voice Processing (Sadahiro Furui, Tokai University Press, 1985)”.

同図(b)は、同図(a)に示した顔文字読み導出部11のより詳細な構成例を示している。
同図(b)に示す顔文字読み導出部11は、入力されたテキストデータから顔文字を抽出する顔文字抽出部13と、顔文字抽出部13によって抽出された顔文字に基づく意味(感情等)、及びその強度(強弱)について判定する顔文字意味/強度判定部14と、顔文字意味/強度判定部14の判定結果に基づいてその顔文字の読みを導出する読み導出部15と、入力されたテキストデータの顔文字部を、その顔文字に応じた読みに置換してテキストデータを出力する読み置換部16とを少なくとも有する。
FIG. 6B shows a more detailed configuration example of the emoticon reading deriving unit 11 shown in FIG.
The emoticon reading deriving unit 11 shown in FIG. 11B extracts an emoticon from the input text data, and the meaning (emotion etc.) based on the emoticon extracted by the emoticon extraction unit 13. ) And the emoticon meaning / intensity determining unit 14 for determining the strength (strength), the reading deriving unit 15 for deriving the reading of the emoticon based on the determination result of the emoticon meaning / intensity determining unit 14, and the input It includes at least a reading replacement unit 16 that outputs the text data by replacing the emoticon part of the text data that has been read with a reading corresponding to the emoticon.

顔文字抽出部13は、顔文字部品表17に基づいて入力されたテキストデータの顔文字を特定し、特定した顔文字の文字列(顔文字列)を抽出する。顔文字列が抽出されると、顔文字意味/強度判定部14は、顔部品意味表、口文字強度表、顔文字意味決定表18に基づいて、抽出された顔文字列の意味(感情等)、及びその強度(強弱)について判定を行なう。   The emoticon extraction unit 13 identifies an emoticon of the text data input based on the emoticon parts table 17, and extracts a character string (emoticon character string) of the identified emoticon. When the emoticon character string is extracted, the emoticon character meaning / intensity determination unit 14 determines the meaning (emotion, etc.) of the extracted emoticon character string based on the face part meaning table, the spoken character strength table, and the emoticon character determination table 18. ) And its strength (strength).

すなわち、顔部品意味表に基づいて顔文字が表す意味(感情等)を特定し、口文字強度表に基づいて顔文字が表す意味の強度(強弱)を特定し、顔部品意味表に基づく判定結果と口文字強度表に基づく判定結果とから顔文字意味決定表に基づいて顔文字の意味及び強度を総合的に判断する。   In other words, the meaning (emotion, etc.) represented by the emoticon is specified based on the face part semantic table, the strength (strongness) of the meaning represented by the emoticon is identified based on the verbal character intensity table, and the determination is based on the facial part semantic table. From the result and the determination result based on the spoken character strength table, the meaning and strength of the emoticon are comprehensively determined based on the emoticon meaning determination table.

読み導出部15は、顔文字が表す意味及び強度に応じた読みを、読み上げ表19に基づいて決定する。そして、読み置換部16において、入力されたテキストデータの顔文字部は、その顔文字に応じた読み(文字列)に置換されて音声合成部12に出力されることとなる。   The reading deriving unit 15 determines a reading according to the meaning and intensity represented by the emoticon based on the reading table 19. In the reading replacement unit 16, the emoticon part of the input text data is replaced with a reading (character string) corresponding to the emoticon and output to the speech synthesis unit 12.

以上の説明において、同図(a)に示した顔文字読み導出部11及び音声合成部12は、図1に示した情報処理装置によって実現可能であるが、1つの情報処理装置上に構成されるものに限定されない。すなわち、顔文字読み導出部11と音声合成部12とはネットワーク等を介して接続される構成であってもよい。同様に、同図(b)に示した顔文字抽出部13、顔文字意味/強度判定部14、読み導出部15、及び読み置換部16においても図1に示した1つの情報処理装置上に構成されるものに限定されない。顔文字抽出部13と顔文字意味/強度判定部14と読み導出部15と読み置換部16とが互いにネットワーク等の通信回線で接続された構成(例えばクライアント・サーバモデル等)によっても実現可能である。   In the above description, the emoticon reading deriving unit 11 and the speech synthesizing unit 12 shown in FIG. 1A can be realized by the information processing apparatus shown in FIG. 1, but are configured on one information processing apparatus. It is not limited to a thing. That is, the emoticon reading deriving unit 11 and the speech synthesizing unit 12 may be connected via a network or the like. Similarly, the emoticon extraction unit 13, the emoticon meaning / intensity determination unit 14, the reading derivation unit 15, and the reading replacement unit 16 shown in FIG. It is not limited to what is comprised. The emoticon extracting unit 13, the emoticon meaning / intensity determining unit 14, the reading deriving unit 15, and the reading replacing unit 16 can also be realized by a configuration (for example, a client / server model) connected to each other via a communication line such as a network. is there.

本実施例に係るテキスト音声出力装置の各部の処理を説明する前に、テキストデータが入力されてから音声として出力されるまでのデータの流れについて簡単に説明する。
図3は、本実施例に係るテキスト音声変換装置とデータの流れを示す図である。
Before explaining the processing of each part of the text-to-speech output device according to the present embodiment, the flow of data from the input of text data to the output as speech will be briefly described.
FIG. 3 is a diagram illustrating the text-to-speech converter according to the present embodiment and the data flow.

テキスト入力部20に入力されるテキストデータは、電子メール等に記載されている文章である。この文章中には用件等を伝達するために使用している通常の文書(文字列)と、様々な文字列の組み合わせからなる顔文字と含まれている。このテキストデータは、テキスト入力部20に入力されると顔文字を抽出する処理を行なう顔文字抽出部13と、顔文字を読みに置換する処理を行なう読み置換部16とに送られる。   The text data input to the text input unit 20 is a sentence described in an e-mail or the like. This sentence includes a normal document (character string) used for transmitting a message and the like, and an emoticon composed of a combination of various character strings. When this text data is input to the text input unit 20, it is sent to an emoticon extraction unit 13 that performs processing to extract emoticons and a reading replacement unit 16 that performs processing to replace emoticons with readings.

顔文字抽出部13に入力されたテキストデータからは、顔文字についての情報(後述の個別顔文字バッファ21及び結合顔文字バッファ22)が作成され、顔文字意味/強度判定部14に送られる。顔文字意味/強度判定部14では、顔文字情報に応じた意味(感情等)とその強度(強弱)が判定され、判定結果が顔文字情報に付加されて読み導出部15に送られる。さらに、読み導出部15に入力された顔文字情報は、顔文字意味/強度判定部14で判定された情報を元に読みが導出され、その導出された結果が付加される。   From text data input to the emoticon extraction unit 13, information about the emoticon (an individual emoticon buffer 21 and a combined emoticon buffer 22 described later) is created and sent to the emoticon meaning / intensity determination unit 14. The emoticon meaning / intensity determination unit 14 determines the meaning (emotion etc.) according to the emoticon information and its strength (strength), and the determination result is added to the emoticon information and sent to the reading derivation unit 15. Further, the emoticon information input to the reading deriving unit 15 is derived based on the information determined by the emoticon meaning / intensity determining unit 14 and the derived result is added.

読み置換部16において、テキスト入力部20に入力されたテキストデータに含まれる顔文字は、読み導出部15から出力された顔文字情報に基づいて読みに変換されて音声合成部12に出力されることとなる。   In the reading substitution unit 16, emoticons included in the text data input to the text input unit 20 are converted into readings based on the emoticon information output from the reading derivation unit 15 and output to the speech synthesis unit 12. It will be.

図4は、本実施例に係る顔文字抽出部13、顔文字意味/強度判定部14、及び読み導出部15において使用する表の一例を示している。
同図(a)は、顔文字部品表の一例を示している。顔文字抽出部13においてテキストデータから顔文字を抽出するために使用される。同図は、顔文字に使用される「左目」、「右目」、「顔の左側」、「顔の右側」、「顔の両側」の各部品に対応する文字を表にしたものである。例えば、同表にある「^」が顔文字を構成する文字列にある場合には、「左目」又は「右目」の部品と判断する。同様に「(」が顔文字を構成する文字列にある場合には、「顔の左側」の部品と判断する。
FIG. 4 shows an example of a table used in the emoticon extraction unit 13, the emoticon meaning / intensity determination unit 14, and the reading derivation unit 15 according to the present embodiment.
FIG. 2A shows an example of the emoticon parts table. The emoticon extraction unit 13 is used to extract an emoticon from text data. This figure is a table showing characters corresponding to each component of “left eye”, “right eye”, “left side of face”, “right side of face”, and “both sides of face” used for emoticons. For example, if “^” in the table is in the character string constituting the emoticon, it is determined to be a “left eye” or “right eye” part. Similarly, if “(” is in the character string constituting the emoticon, it is determined to be the “left side of the face” part.

同図(b)は、顔部品意味表の一例を示している。顔文字意味/強度判定部14において顔文字抽出部13から抽出された顔文字から顔文字の意味(感情等)を判断するために使用される。同図は、「喜び目」、「喜び口」、「怒り目」、「怒り口」、「悲しみ目」を表す文字を表にしたものである。例えば、同表にある「^」が顔文字を構成する文字列に含まれている場合には、その顔文字は喜びの意味(感情等)を表していると判断する。同様に、「;」が顔文字を構成する文字列に含まれている場合には、その顔文字は悲しみの意味(感情等)を表していると判断する。   FIG. 4B shows an example of the face part meaning table. The emoticon meaning / intensity determination unit 14 is used to determine the meaning (emotion etc.) of the emoticon from the emoticon extracted from the emoticon extraction unit 13. In the figure, characters representing “joy eyes”, “joy mouth”, “anger eyes”, “anger mouth”, and “sad eyes” are tabulated. For example, if “^” in the table is included in a character string constituting the emoticon, it is determined that the emoticon represents the meaning of joy (such as emotion). Similarly, if “;” is included in the character string constituting the emoticon, it is determined that the emoticon represents the meaning of sadness (emotion etc.).

同図(c)は、口文字強度表の一例を示している。顔文字意味/強度判定部14において顔文字抽出部13から抽出された顔文字から顔文字の意味(感情等)の強度(強弱)を判断するために使用される。顔文字の意味の強度を「大」、「中」、「小」の3段階に分け、各意味の強度を表す口文字を表にしたものである。例えば、同表にある「O」は大きな口を表しているので意味の強度が「大」であると判断する。また、同様に、「.」は閉じている口を表しているので意味の強度が「小」であると判断する。   FIG. 2C shows an example of a spoken letter strength table. The emoticon meaning / intensity determination unit 14 is used to determine the intensity (strength) of the meaning (emotion etc.) of the emoticon from the emoticon extracted from the emoticon extraction unit 13. The strength of emoticon meanings is divided into three levels, “large”, “medium”, and “small”, and the dialects representing the strength of each meaning are tabulated. For example, since “O” in the table represents a large mouth, it is determined that the strength of meaning is “large”. Similarly, since “.” Represents a closed mouth, the strength of meaning is determined to be “small”.

同図(d)は、顔文字意味決定表の一例を示している。顔文字意味/強度判定部14において、同図(b)の判断結果から顔文字の意味(感情等)を決定するために使用される。同図は、顔文字を構成する「目」及び「口」の文字が表す感情と、それに対応する「意味」とを表にしたものである。例えば、顔文字「^▽^」は、同図(b)から「喜び口」を表す文字と、「喜び目」を表す文字列とから構成されていることがわかるので、この顔文字の意味は「喜び」と判断する。また、顔文字「`▽´」は、同図(b)から「怒り目」を表す文字と、「喜び口」を表す文字とで構成されているが、この場合には口文字が表す意味を優先させて顔文字の意味は「喜び」と判断する。   FIG. 4D shows an example of the emoticon meaning determination table. The emoticon meaning / intensity determination unit 14 is used to determine the meaning (emotion, etc.) of the emoticon from the determination result of FIG. This figure is a table showing emotions represented by characters of “eyes” and “mouth” constituting emoticons and “meaning” corresponding thereto. For example, since the emoticon “^ ▽ ^” can be seen from FIG. 5B, it is composed of a character representing “joyful mouth” and a character string representing “joyful eyes”. Judges “joy”. The emoticon “` ▽ ′” is composed of a character representing “angry eyes” and a character representing “joyful mouth” from FIG. The emoticon's meaning is determined to be “joy”.

ここで、同図(d)に示した顔文字意味決定表はあらかじめ作成したものを使用してもよいし、顔部品の意味に対して重み付けをするなどして数値的に意味を決定するようにしても良い。例えば、顔文字「`▽´」の場合では、同図(b)から「怒り目」を表す文字の場合は3、「喜び口」を表す文字の場合は5とすると「喜び口」の方が重みが大なので、口文字が表す意味を優先させて顔文字の意味は「喜び」と判断するようにしてもよい。   Here, the emoticon meaning determination table shown in FIG. 6D may be prepared in advance, or the meaning is determined numerically by weighting the meaning of the facial part. Anyway. For example, in the case of the emoticon “` ▽ ′”, “3” for the character representing “angry eyes” and “5” for the character representing “joyful mouth”. Since the weight is large, the meaning represented by the spoken character may be given priority and the meaning of the emoticon may be determined as “joy”.

同図(e)は、読み上げ表の一例を示している。読み導出部15において、同図(c)及び同図(d)の結果から顔文字に対応する読みを決定するために使用される。同表は、同図(c)の判断結果である顔文字の意味の「強度」と、同図(d)の判定結果である「意味」と、によって決まる「読み」を表にしたものである。例えば、顔文字「^▽^」の場合には、同図(c)から意味の強度が「大」と判断され、同図(d)から意味が「喜び」と判断されるので、読みは「わーい」となる。   FIG. 4E shows an example of a reading table. The reading derivation unit 15 is used to determine the reading corresponding to the emoticon from the results shown in FIGS. The table is a table of “reading” determined by the “strength” of the meaning of the emoticon as the determination result of FIG. 10C and the “meaning” of the determination result of FIG. is there. For example, in the case of the emoticon “^ ▽ ^”, the strength of the meaning is determined as “large” from FIG. 10C, and the meaning is determined as “joy” from FIG. “Wow”.

なお、図4(a)から(e)に示した表の要素(例えば同図(a)における「左目」に対応する文字)は、説明を簡単にするために要素数を小さくしたものであって同図に示した要素に限定されない。また、同図(c)及び(e)に示した本実施例に係る強度は3段階としたが、これに限定されない。例えば、5段階であってもよい。さらに、同図(d)に示した意味(例えば、平静や喜び、怒り等)についても同図に示した言葉に限定するものではなく、必要に応じて適切な意味を与えればよい。同図(e)の意味に対応する読み(例えば、意味が喜び、強度が大の場合の読み「わーい」等)についても、同図に示した表現に限定されるものではなく、必要に応じて適切な表現を与えればよい。   It should be noted that the elements in the table shown in FIGS. 4A to 4E (for example, the characters corresponding to “left eye” in FIG. 4A) have a reduced number of elements in order to simplify the explanation. However, the present invention is not limited to the elements shown in FIG. Moreover, although the intensity | strength which concerns on a present Example shown to the same figure (c) and (e) was made into three steps, it is not limited to this. For example, there may be five stages. Furthermore, the meaning (for example, calmness, joy, anger, etc.) shown in FIG. 6D is not limited to the words shown in the figure, and an appropriate meaning may be given as necessary. The reading corresponding to the meaning of FIG. 8E (for example, reading “Wai” when the meaning is joyful and the intensity is high) is not limited to the expression shown in FIG. And give appropriate expressions.

図5は、図2に示した本実施例に係る顔文字読み導出部11における処理についての概要を示すフローチャートである。
顔文字読み導出部11にテキストデータが入力されて顔文字読み導出処理が開始されると(ステップS501)、CPUは顔文字抽出部13においてテキストデータに含まれる各顔文字を顔文字部品表に基づいて抽出し、例えばメモリ2上に領域を確保された個別顔文字バッファ21(図6(a)を参照)に所定の情報とともに格納する。
FIG. 5 is a flowchart showing an outline of processing in the emoticon reading deriving unit 11 according to the present embodiment shown in FIG.
When text data is input to the emoticon reading deriving unit 11 and the emoticon reading deriving process is started (step S501), the CPU converts each emoticon included in the text data into the emoticon parts table in the emoticon extracting unit 13. Based on the extracted information, for example, it is stored together with predetermined information in the individual emoticon buffer 21 (see FIG. 6A) whose area is secured on the memory 2.

テキストデータに含まれる顔文字が全て抽出されると、ステップS503において、CPUは個別顔文字バッファ21に格納されている顔文字のうちテキストデータ内では連続して記載されていた顔文字を判別して結合し、所定の情報と共にメモリ2に領域が確保されている結合顔文字バッファ22(図6(b)を参照)に格納する。   When all the emoticons included in the text data are extracted, in step S503, the CPU discriminates the emoticons continuously described in the text data among the emoticons stored in the individual emoticon buffer 21. Are stored together with predetermined information in a combined emoticon buffer 22 (see FIG. 6B) whose area is secured in the memory 2.

顔文字意味/強度判定部14において、CPUは個別顔文字バッファ21に格納されている顔文字について、顔部品意味表、口文字強度表、及び顔文字意味決定表に基づいて意味及び強度を決定し、その結果を個別顔文字バッファ21に追加する(ステップS504)。   In the emoticon meaning / intensity determination unit 14, the CPU determines the meaning and strength of the emoticons stored in the individual emoticon buffer 21 based on the face component meaning table, the vocabulary strength table, and the emoticon meaning determination table. Then, the result is added to the individual emoticon buffer 21 (step S504).

読み導出部15において、CPUは個別顔文字バッファ21を参照して各顔文字の意味及び強度を読出し、読み上げ表に基づいて読みを決定し、その結果を個別顔文字バッファ21に格納する(ステップS505)。   In the reading derivation unit 15, the CPU reads the meaning and strength of each emoticon with reference to the individual emoticon buffer 21, determines the reading based on the reading table, and stores the result in the individual emoticon buffer 21 (step) S505).

読み置換部16において、CPUは個別顔文字バッファ21から各顔文字に応じた読みを読み出してテキストデータの顔文字部分と置き換えて出力テキストを作成する(ステップS507)。   In the reading replacement unit 16, the CPU reads the reading corresponding to each emoticon from the individual emoticon buffer 21, replaces it with the emoticon portion of the text data, and creates output text (step S507).

図6は、本実施例に係る顔文字読み導出部11における顔文字読み導出処理で使用する個別顔文字バッファ及び結合顔文字バッファの構成例を示す図である。
同図(a)は、個別顔文字バッファ21の構成例を示す図である。同図に示す個別顔文字バッファ21は、テキストデータに含まれる顔文字に付す顔文字番号と、顔文字を構成する顔文字列と、顔文字がテキストデータの何文字目から記載されているかを示す開始文字位置と、顔文字がテキストデータの何文字目で終了するかを示す終了文字位置と、顔文字の意味と、顔文字の強度と、顔文字に応じた読みとによって構成されている。
FIG. 6 is a diagram illustrating a configuration example of the individual emoticon buffer and the combined emoticon buffer used in the emoticon reading derivation process in the emoticon reading derivation unit 11 according to the present embodiment.
FIG. 4A is a diagram showing a configuration example of the individual emoticon buffer 21. The individual emoticon buffer 21 shown in the figure shows the emoticon number assigned to the emoticon included in the text data, the emoticon character string that constitutes the emoticon, and from what character in the text data the emoticon is written. It consists of the start character position to indicate, the end character position that indicates how many characters in the text data will end, the meaning of the emoticon, the strength of the emoticon, and the reading according to the emoticon .

同図(b)は、結合顔文字バッファ22の構成例を示す図である。同図に示す結合顔文字バッファ22は、テキストデータに含まれる顔文字番号と、個別顔文字バッファ21に格納されている顔文字を結合して作成した結合顔文字と、結合顔文字が個別顔文字バッファ21における顔文字の何番目から結合を開始したものかを示す開始顔文字番号と、結合顔文字が個別顔文字バッファ21における顔文字の何番目までを結合したものかを示す終了顔文字番号と、結合顔文字の読みとによって構成されている。   FIG. 2B is a diagram showing a configuration example of the combined emoticon buffer 22. The combined emoticon buffer 22 shown in the figure includes an emoticon number included in the text data, a combined emoticon created by combining the emoticons stored in the individual emoticon buffer 21, and the combined emoticon is an individual face. A starting emoticon number indicating the number at which the emoticon is started from the character buffer 21 and an end emoticon indicating the number of the emoticon at which the combined emoticon is combined in the individual emoticon buffer 21 It consists of a number and a combined emoticon reading.

顔文字抽出部13における処理は、(1)顔文字の両目の位置を特定する両目位置特定処理と、(2)顔文字領域の境界を特定する境界特定処理と、(3)個別の顔文字を特定した後に隣接した顔文字を結合する結合処理との3つの処理で構成される。   The processing in the emoticon extraction unit 13 includes: (1) a binocular position specifying process that specifies the positions of both eyes of the emoticon; (2) a boundary specifying process that specifies the boundary of the emoticon area; and (3) individual emoticons. 3 is composed of three processes, namely, a combination process for combining adjacent emoticons after specifying.

上記(1)から(3)の処理をそれぞれ図7から図9のフローチャートに示し、各図に基づいて顔文字抽出部13での処理について説明する。
図7は、本実施例に係る顔文字抽出部13での顔文字導出処理において、両目位置特定処理を示すフローチャートである。
The processes of (1) to (3) are shown in the flowcharts of FIGS. 7 to 9, respectively, and the process in the emoticon extraction unit 13 will be described based on each figure.
FIG. 7 is a flowchart showing the binocular position specifying process in the emoticon derivation process in the emoticon extraction unit 13 according to the present embodiment.

顔文字抽出部13にテキストデータが入力されると、CPUは両目位置特定処理を開始し(ステップS701)、本実施例に係る処理に必要な変数(例えば走査ポインタ用の変数p、右又は左目候補文字用の変数Eye、非記号カウント用の変数notSignCntなど)のための領域をメモリ2上に確保する。   When text data is input to the emoticon extraction unit 13, the CPU starts the binocular position specifying process (step S701), and variables necessary for the process according to the present embodiment (for example, the variable p for the scan pointer, the right or left eye) An area for a candidate character variable Eye and a non-symbol count variable notSignCnt is secured on the memory 2.

両目位置特定処理が開始されると、CPUは入力されたテキストデータの左端(テキストデータが格納されているメモリの先頭アドレス)に走査ポインタpをセットする(ステップS702)。   When the eye position specifying process is started, the CPU sets the scanning pointer p at the left end of the input text data (the start address of the memory storing the text data) (step S702).

次に、CPUは右目又は左目の候補文字を格納するEyeをnull文字で初期化し(ステップS703)、さらに非記号をカウントするための変数notSignCntを数値0で初期化する(ステップS704)。   Next, the CPU initializes Eye that stores the right-eye or left-eye candidate character with a null character (step S703), and further initializes a variable notSignCnt for counting non-symbols with a numerical value 0 (step S704).

ステップS702からS704での初期化処理が終了すると、CPUは走査ポインタpがテキストデータの末尾であるかをチェックし(ステップS705)、走査ポインタpがテキストデータの末尾である場合には処理を終了する(ステップS706)。   When the initialization processing in steps S702 to S704 is completed, the CPU checks whether or not the scanning pointer p is the end of the text data (step S705), and ends the processing if the scanning pointer p is the end of the text data. (Step S706).

ステップS705において、CPUが走査ポインタpはテキストデータの末尾でないと判断すると、ステップS707に処理を移行し、走査ポインタpの示す文字が右目を表す文字であるかを判別する処理を行なう。   In step S705, if the CPU determines that the scanning pointer p is not the end of the text data, the process proceeds to step S707, and processing is performed to determine whether the character indicated by the scanning pointer p is a character representing the right eye.

ステップS707において、CPUは、メモリ2上にあらかじめ展開された、図4(a)に示した顔文字部品表の「右目」に対応する文字について順次参照して変数Eyeにコピーし、走査ポインタpが示す文字と比較する処理を行なう。走査ポインタpの示す文字が、顔文字部品表の「右目」に対応する文字と一致しない場合には、ステップS708に処理を移行して走査ポインタpをインクリメントし、走査ポインタpが示す文字列の次の文字列が格納されているアドレスを指し示すようにする。   In step S707, the CPU sequentially refers to the characters corresponding to the “right eye” in the emoticon parts table shown in FIG. A process of comparing with the character indicated by is performed. If the character indicated by the scan pointer p does not match the character corresponding to the “right eye” in the emoticon parts table, the process proceeds to step S708 to increment the scan pointer p, and the character string indicated by the scan pointer p. Point to the address where the next string is stored.

以上に説明したステップS705からステップS708を繰り返すことによってテキストデータに含まれた顔文字を構成する右目の文字を特定する。
ステップS707において、テキストデータに含まれた顔文字を構成する右目の文字が特定されると、CPUは現在の走査ポインタpを一時記憶用の変数psにコピーし(ステップS709)、右又は左目候補文字用変数Eyeをnull文字によって再度初期化し、走査ポインタpをインクリメントして次の文字が格納されているアドレスを指し示すようにする(ステップS711)。
By repeating step S705 to step S708 described above, the right eye character constituting the emoticon included in the text data is specified.
In step S707, when the right eye character constituting the emoticon included in the text data is specified, the CPU copies the current scanning pointer p to the temporary storage variable ps (step S709), and the right or left eye candidate. The character variable Eye is initialized again with null characters, and the scan pointer p is incremented to point to the address where the next character is stored (step S711).

ステップS711の処理を行なった後に、CPUは走査ポインタpがテキストデータの末尾を示しているかをチェックする(ステップS712)。走査ポインタpがテキストデータの末尾を示している場合には処理を終了する(ステップS713)。   After performing the process of step S711, the CPU checks whether the scan pointer p indicates the end of the text data (step S712). If the scan pointer p indicates the end of the text data, the process ends (step S713).

ステップS712において、走査ポインタpがテキストデータの末尾を示していない場合には処理が続行され、CPUはステップS714に処理を移行する。そして、図4(a)に示した顔文字部品表の「左目」に対応する文字について順次参照して変数Eyeにコピーし、走査ポインタpが示すアドレスに格納されている文字と比較する処理を行なう。ここで、走査ポインタpが示す文字が左目である場合には、CPUはステップS715に処理を移行し、現在の走査ポインタpを一時記憶用変数peにコピーする。   If it is determined in step S712 that the scan pointer p does not indicate the end of the text data, the process is continued, and the CPU proceeds to step S714. Then, the character corresponding to the “left eye” in the emoticon parts table shown in FIG. 4A is sequentially referred to and copied to the variable Eye, and compared with the character stored at the address indicated by the scanning pointer p. Do. If the character indicated by the scan pointer p is the left eye, the CPU proceeds to step S715 to copy the current scan pointer p to the temporary storage variable pe.

以上の処理によって、顔文字の両目の位置が特定され、各目の位置は各一時記憶用変数ps及び変数peに格納されたことになる。CPUは、S716に処理を移行し、顔文字の境界を特定する処理(図8を参照)を行なうこととなる。   Through the above processing, the positions of both eyes of the emoticon are specified, and the positions of the eyes are stored in the temporary storage variables ps and pe. The CPU shifts the process to S716 and performs a process of specifying the emoticon boundaries (see FIG. 8).

ステップS714において、走査ポインタpが示す文字が左目でない場合には、CPUはステップS717に処理を移行し、走査ポインタpが示す文字と記号とを比較する。ここで、記号とは、顔文字を構成するために必要な文字であって、一部のかな、カタカナ、漢字、例えばかな文字の「へ」などは除いた、かな、カタカナ、漢字等以外の記号を表す文字のことである。例えば、顔文字に使用される「(」や「^」などである。したがって、図4(a)から(c)に示した表に使用されている文字と走査ポインタpとを順次比較し、一致するものがなければ走査ポインタpが示す文字は記号でないと判断することができる。あるいは、記号用のデータを別途用意しておいて順次走査ポインタpが示す文字と比較してもよい。   In step S714, if the character indicated by the scan pointer p is not the left eye, the CPU proceeds to step S717 to compare the character indicated by the scan pointer p with the symbol. Here, the symbol is a character necessary for composing an emoticon, except for some kana, katakana and kanji characters, such as kana, kana, kanji, etc. A character that represents a symbol. For example, “(” and “^” used for emoticons, etc. Therefore, the characters used in the tables shown in FIGS. If there is no match, it can be determined that the character indicated by the scan pointer p is not a symbol, or data for the symbol may be prepared separately and sequentially compared with the character indicated by the scan pointer p.

ステップS717において、CPUは走査ポインタpが示す文字が記号であると判断するとステップS711に処理を移行する。そして、以上に説明したステップS711からステップS717を繰り返すことによって顔文字の左目を特定する。   In step S717, if the CPU determines that the character indicated by the scanning pointer p is a symbol, the process proceeds to step S711. Then, the left eye of the emoticon is specified by repeating steps S711 to S717 described above.

さらに、ステップS717において、CPUは走査ポインタpが示す文字が記号でないと判断すると、ステップS718に処理を移行して非記号をカウントするための変数notSignCntをインクリメントする処理を行ない、変数notSignCntがL以上かを判別する(ステップS719)。   Further, in step S717, when the CPU determines that the character indicated by the scan pointer p is not a symbol, the process proceeds to step S718 to perform a process of incrementing the variable notSignCnt for counting the non-symbol, and the variable notSignCnt is L or more. Is discriminated (step S719).

ここで、上述のLは、顔文字を構成する両目の間に存在可能な記号以外の文字数を示している。したがって、CPUは変数notSignCntがL以上である場合には、変数psが示す位置の文字は右目ではないと判断して、処理をステップS720に移行する。ステップS720において、CPUは変数psが示す位置の次の文字のアドレスを走査ポインタpに代入し、処理をステップS703に移行する。したがって、CPUは再度顔文字の右目を特定する処理から開始することとなる。   Here, L described above indicates the number of characters other than symbols that can exist between the eyes constituting the emoticon. Therefore, when the variable notSignCnt is equal to or greater than L, the CPU determines that the character at the position indicated by the variable ps is not a right eye, and proceeds to step S720. In step S720, the CPU substitutes the address of the next character at the position indicated by the variable ps into the scanning pointer p, and the process proceeds to step S703. Therefore, the CPU starts from the process of specifying the right eye of the emoticon again.

ステップS719において、変数notSignCntがL以上でない場合には、CPUは処理をステップS711に移行し、以上に説明したステップS711からステップS717を繰り返すことによって顔文字の左目を特定する。   If the variable notSignCnt is not greater than or equal to L in step S719, the CPU moves the process to step S711 and identifies the left eye of the emoticon by repeating steps S711 to S717 described above.

以上に説明した図4(a)には、連想記憶配列(ハッシュ)を使用してもよい。この場合には、ステップS707で特定した右目を表す文字を連想記憶配列の「キー」として、右目を表す文字に対応する左目を表す文字を連想記憶配列の「値」とすればよい。したがって、図7に示したフローチャートのステップS710において、CPUがメモリ2上に展開された連想記憶配列から、ステップS707で特定した右目を表す文字に対応する左目を表す文字を取り出し、変数Eyeに代入し、ステップS714において走査ポインタpが示す文字と変数Eyeに格納されている文字とを比較することとなる。   In FIG. 4A described above, an associative memory array (hash) may be used. In this case, the character representing the right eye identified in step S707 may be used as the “key” of the associative memory array, and the character representing the left eye corresponding to the character representing the right eye may be used as the “value” of the associative memory array. Therefore, in step S710 of the flowchart shown in FIG. 7, the CPU extracts the character representing the left eye corresponding to the character representing the right eye identified in step S707 from the associative memory array developed on the memory 2, and assigns it to the variable Eye. In step S714, the character indicated by the scanning pointer p is compared with the character stored in the variable Eye.

図7に示した目位置特定処理によって、顔文字抽出部13に入力されたテキストデータに含まれる顔文字の目の位置が特定され、左目及び右目を表す文字の位置(アドレス)はそれぞれメモリ2上に確保された変数ps及び変数peに格納される。そして、図8に示す顔文字境界特定処理が開始されることとなる。   Through the eye position specifying process shown in FIG. 7, the position of the face of the face character included in the text data input to the face character extracting unit 13 is specified, and the position (address) of the character representing the left eye and the right eye is stored in the memory 2. It is stored in the variable ps and the variable pe secured above. Then, the emoticon boundary specifying process shown in FIG. 8 is started.

図8は、本実施例に係る顔文字抽出部13での顔文字導出処理において、顔文字の境界を特定する処理を示すフローチャートである。
顔文字境界特定処理が開始されると(ステップS801)、CPUは、顔文字の右目の位置(アドレス)が格納されているメモリ2上の変数psを参照し、走査ポインタpにコピーする(ステップS802)。
FIG. 8 is a flowchart showing the process of specifying the boundary of the emoticon in the emoticon derivation process in the emoticon extraction unit 13 according to the present embodiment.
When the emoticon boundary specifying process is started (step S801), the CPU refers to the variable ps on the memory 2 in which the position (address) of the right eye of the emoticon is stored, and copies it to the scanning pointer p (step). S802).

そして、変数pが示す文字が入力テキストの左端(入力テキストの先頭アドレス)かをチェックし(ステップS803)、入力テキストの左端である場合には、変数pが示す文字が顔文字の右側の輪郭と判断し、処理をステップS807に移行する。   Then, it is checked whether the character indicated by the variable p is the left end of the input text (the start address of the input text) (step S803). If the character indicated by the variable p is the left end of the input text, the character indicated by the variable p is the right outline of the emoticon. And the process proceeds to step S807.

ステップS803において、変数pが示す文字が入力テキストの左端でない場合には、CPUは処理をステップS804に移行して、現在走査ポインタpが示している文字より1文字だけ入力テキストの先頭側の文字の位置(アドレス)を走査ポインタpに格納する(走査ポインタpを1文字戻す)処理を行なう。   In step S803, if the character indicated by the variable p is not the left end of the input text, the CPU moves the process to step S804, where only the first character of the input text from the character indicated by the current scan pointer p is displayed. Is stored in the scanning pointer p (returning the scanning pointer p by one character).

そして、CPUは、図4(a)に示した顔文字部品表の「顔の右側」に対応する文字を順次参照し、走査ポインタpが示す文字と比較する処理を行なう(ステップS805)。走査ポインタpが示す文字が、同表に示した「顔の右側」に対応する文字と一致した場合には、CPUは走査ポインタpが示す文字を顔文字の右側であると判断し、ステップS803の処理に移行してさらに右側に顔文字を構成する文字がないかをチェックする。   Then, the CPU sequentially refers to the characters corresponding to the “right side of the face” in the emoticon parts table shown in FIG. 4A and performs processing for comparison with the character indicated by the scanning pointer p (step S805). If the character indicated by the scan pointer p matches the character corresponding to the “right side of the face” shown in the table, the CPU determines that the character indicated by the scan pointer p is the right side of the face character, and step S803. The process proceeds to the above process, and it is further checked whether there is a character constituting the emoticon on the right side.

以上のステップS803からS805の処理を繰り返すことによって、顔文字を構成する最も右側の文字(顔文字の右側の境界文字)を特定することとなる。
ステップS805において、CPUは走査ポインタpが示す文字が顔文字の右側部分でないと判断すると、ステップS806に処理を移行し、現在走査ポインタpが示している文字より1文字だけ入力テキストの後尾側の文字の位置(アドレス)を走査ポインタpに格納する(走査ポインタpを1文字進める)処理を行なう。
By repeating the processes in steps S803 to S805 described above, the rightmost character (boundary character on the right side of the emoticon) constituting the emoticon is specified.
In step S805, if the CPU determines that the character indicated by the scanning pointer p is not the right part of the emoticon, the process proceeds to step S806, where only one character is added to the tail side of the input text from the character indicated by the current scanning pointer p. The character position (address) is stored in the scanning pointer p (the scanning pointer p is advanced by one character).

ステップS807において、CPUは、顔文字の右側境界文字の位置情報(アドレス)が格納されている走査ポインタpの値を一時記憶用変数psに退避する。そして、顔文字の左目の位置(アドレス)が格納されているメモリ2上の変数peを参照し、走査ポインタpにコピーする(ステップS808)。   In step S807, the CPU saves the value of the scan pointer p, in which the position information (address) of the right boundary character of the emoticon is stored, in the temporary storage variable ps. Then, the variable pe on the memory 2 storing the position (address) of the left eye of the emoticon is referred to and copied to the scanning pointer p (step S808).

そして、変数pが示す文字が入力テキストの末尾(入力テキストの最後尾のアドレス)かをチェックし(ステップS809)、入力テキストの末尾である場合には、変数pが示す文字が顔文字の左側の輪郭と判断し、処理をステップS813に移行する。   Then, it is checked whether the character indicated by the variable p is the end of the input text (the last address of the input text) (step S809). If the character is indicated at the end of the input text, the character indicated by the variable p is the left side of the emoticon. And the process proceeds to step S813.

ステップS809において、変数pが示す文字が入力テキストの末尾でない場合には、CPUは処理をステップS810に移行して、現在走査ポインタpが示している文字より1文字だけ入力テキストの末尾の文字の位置(アドレス)を走査ポインタpに格納する(走査ポインタpを1文字進める)処理を行なう。   In step S809, if the character indicated by the variable p is not the end of the input text, the CPU proceeds to step S810, where only one character from the character indicated by the current scan pointer p is present at the end of the input text. The position (address) is stored in the scanning pointer p (the scanning pointer p is advanced by one character).

そして、CPUは、図4(a)に示した顔文字部品表の「顔の左側」に対応する文字を順次参照し、走査ポインタpが示す文字と比較する処理を行なう(ステップS811)。
走査ポインタpが示す文字が、同表に示した「顔の左側」に対応する文字と一致した場合には、CPUは走査ポインタpが示す文字を顔文字の左側であると判断し、ステップS809の処理に移行してさらに左側に顔文字を構成する文字がないかをチェックする。
Then, the CPU sequentially refers to the characters corresponding to “left side of the face” in the emoticon parts table shown in FIG. 4A and performs processing for comparison with the character indicated by the scanning pointer p (step S811).
If the character indicated by the scan pointer p matches the character corresponding to “left side of the face” shown in the table, the CPU determines that the character indicated by the scan pointer p is the left side of the face character, and step S809. The process proceeds to the above process, and it is further checked whether there is a character constituting the emoticon on the left side.

以上のステップS809からS811の処理を繰り返すことによって、顔文字を構成する最も左側の文字(顔文字の左側の境界文字)を特定することとなる。
ステップS811において、CPUは走査ポインタpが示す文字が顔文字の左側部分でないと判断すると、ステップS812に処理を移行し、現在走査ポインタpが示している文字より1文字だけ入力テキストの先頭側の文字の位置(アドレス)を走査ポインタpに格納する(走査ポインタpを1文字戻す)処理を行なう。
By repeating the processes in steps S809 to S811, the leftmost character (the boundary character on the left side of the emoticon) constituting the emoticon is specified.
In step S811, when the CPU determines that the character indicated by the scanning pointer p is not the left portion of the emoticon, the process proceeds to step S812, where only one character from the character indicated by the current scanning pointer p is on the leading side of the input text. Processing for storing the character position (address) in the scanning pointer p (returning the scanning pointer p by one character) is performed.

ステップS813において、CPUは、顔文字の左側境界文字の位置情報(アドレス)が格納されている走査ポインタpの値を一時記憶用変数peに退避して、顔文字境界特定の処理が終了する(ステップS814)。   In step S813, the CPU saves the value of the scan pointer p in which the position information (address) of the left boundary character of the emoticon is stored in the temporary storage variable pe, and the emoticon boundary specifying process ends ( Step S814).

以上に説明した両目位置特定処理(図7)及び顔文字境界特定処理(図8)を、顔文字読み導出部11に入力されたテキストデータの最後まで行なうことによって、テキストデータに含まれる個別の顔文字が全て抽出されることとなる。   By performing the binocular position specifying process (FIG. 7) and the emoticon boundary specifying process (FIG. 8) described above up to the end of the text data input to the emoticon reading deriving unit 11, the individual data included in the text data is processed. All emoticons will be extracted.

なお、図7及び図8に示した処理によって抽出された顔文字の右側境界文字の位置情報(図8に示す変数ps:開始文字位置)及び左側境界文字の位置情報(図8に示す変数pe:終了文字位置)は、図6(a)に示した個別顔文字バッファ21の開始文字位置及び終了文字位置にそれぞれ格納される。また、抽出された顔文字は、図6(a)に示した個別顔文字バッファ21の顔文字列の領域に格納される。   Note that the right boundary character position information (variable ps shown in FIG. 8: start character position shown in FIG. 8) and the left boundary character position information (variable pe shown in FIG. 8) extracted by the processing shown in FIGS. : End character position) is stored in the start character position and the end character position of the individual emoticon buffer 21 shown in FIG. The extracted emoticons are stored in the emoticon string area of the individual emoticon buffer 21 shown in FIG.

以上に説明した処理によって、入力されたテキストデータに含まれる顔文字に関する情報が図6(a)に示した個別顔文字バッファ21に格納される。そして、顔文字バッファ21の格納されている情報に基づいて、隣接した顔文字を結合する処理(顔文字結合処理)が行なわれる。   Through the processing described above, information related to emoticons included in the input text data is stored in the individual emoticon buffer 21 shown in FIG. Then, based on the information stored in the emoticon buffer 21, processing for combining adjacent emoticons (emoticon combining processing) is performed.

図9は、本実施例に係る顔文字抽出部13での顔文字導出処理において、隣接した顔文字を結合する処理を示すフローチャートである。
CPUは、顔文字結合処理に必要な変数領域(例えば、顔文字数nfm、注目顔文字番号i、結合顔文字開始位置psj等)をメモリ上に確保した後、顔文字結合処理を開始し(ステップS901)、メモリ2上に展開されている個別顔文字バッファ21の顔文字番号の領域を参照して、顔文字の総数(顔文字数)を保持する変数nfmに顔文字の総数をコピーする(ステップS902)。
FIG. 9 is a flowchart showing a process of combining adjacent emoticons in the emoticon derivation process in the emoticon extraction unit 13 according to the present embodiment.
The CPU secures the variable areas (for example, the number of emoticons nfm, the target emoticon number i, the combined emoticon start position psj, etc.) necessary for the emoticon combination processing, and then starts the emoticon combination processing (step S901) Referring to the emoticon number area of the individual emoticon buffer 21 developed on the memory 2, the total number of emoticons is copied to a variable nfm that holds the total number of emoticons (number of emoticons) (step S901). S902).

ステップS903において、CPUは変数nfmと定数1とを比較し、変数nfmが1以上でない場合には顔文字が存在しないと判断して処理を終了する(ステップS904)。   In step S903, the CPU compares the variable nfm with the constant 1, and if the variable nfm is not 1 or more, the CPU determines that there is no emoticon and ends the process (step S904).

ステップS903において、変数nfmが1以上であると場合には、CPUはステップS905に処理を移行する。ステップS905において、CPUは、図6(a)に示した個別顔文字バッファ21における顔文字番号のうち、現在処理対象の顔文字番号(注目顔文字番号)を示す変数iを1に初期化する。   In step S903, when the variable nfm is 1 or more, the CPU proceeds to step S905. In step S <b> 905, the CPU initializes a variable i indicating the emoticon number (target emoticon number) to be processed among the emoticon numbers in the individual emoticon buffer 21 shown in FIG. .

ここで、以下の説明では、図6(a)に示した個別顔文字バッファ21におけるi番目(顔文字番号がi)の顔文字の開始文字位置を表す変数をps[i]、終了文字位置を表す変数をpe[i]と表し、同図(b)に示した結合顔文字バッファ22におけるj番目(顔文字番号がj)の顔文字開始文字位置を示す変数をpss[j]、終了文字位置を示す変数をpee[j]として説明を行なう。   Here, in the following description, a variable representing the start character position of the i-th (face character number i) in the individual emoticon buffer 21 shown in FIG. Is represented as pe [i], pss [j] is a variable indicating the jth (emoticon number is j) emoticon start character position in the combined emoticon buffer 22 shown in FIG. The description will be made assuming that the variable indicating the character position is pee [j].

ステップS906において、CPUは、結合対象の顔文字の開始位置を示す変数psjを変数pss[j]にセットする。
そして、変数iと変数nfmとを比較し、変数iが変数nfmより小くない場合には、個別顔文字バッファ21に格納されている全ての顔文字について処理を終了したと判断し、ステップS910に処理を移行する。
In step S906, the CPU sets a variable psj indicating the start position of the emoticon to be combined in a variable pss [j].
Then, the variable i is compared with the variable nfm. If the variable i is not smaller than the variable nfm, it is determined that the processing has been completed for all the emoticons stored in the individual emoticon buffer 21, and step S910 is performed. The process is transferred to.

ステップS907において、変数iが変数nfmより小さい場合には、CPUの処理はステップS908に移行し、個別顔文字バッファ21に格納されている顔文字と顔文字との距離を比較する。すなわち、i番目の顔文字の終了位置を示す変数pe[i]とi+1番目の顔文字の開始位置を示す変数ps[i+1]との差の値と、結合する顔文字間の距離を示す変数Dの値とを比較する。   If the variable i is smaller than the variable nfm in step S907, the CPU proceeds to step S908 to compare the distance between the emoticon and the emoticon stored in the individual emoticon buffer 21. That is, a variable indicating the difference between the variable pe [i] indicating the end position of the i-th emoticon and the variable ps [i + 1] indicating the start position of the i + 1-th emoticon and the distance between the emoticons to be combined. Compare with the value of D.

CPUは、変数pe[i]と変数ps[i+1]との差が、変数Dより大きい場合には、隣り合ったi番目の顔文字とi+1番目の顔文字とは独立した顔文字と判断し、結合する顔文字の終了位置(結合顔文字終了位置)を示す変数pejに変数pe[i]の値をコピーして、処理をステップS910に移行する。   When the difference between the variable pe [i] and the variable ps [i + 1] is larger than the variable D, the CPU determines that the adjacent i-th emoticon and the i + 1-th emoticon are independent emoticons. Then, the value of the variable pe [i] is copied to the variable pej indicating the end position of the emoticon to be combined (combined emoticon end position), and the process proceeds to step S910.

ステップS908において、CPUは、変数pe[i]と変数ps[i+1]との差が変数D以下の場合には、隣り合ったi番目の顔文字とi+1番目の顔文字とが1つの顔文字であると判断し、処理をステップS909に移行する。   In step S908, when the difference between the variable pe [i] and the variable ps [i + 1] is equal to or less than the variable D, the CPU determines that the i-th emoticon and the i + 1-th emoticon adjacent to each other are one emoticon. And the process proceeds to step S909.

ステップS909において、CPUは、変数iをインクリメントして処理をステップS907に移行する。
以上に説明したように、ステップS907からS909の処理を繰り返すことによって、1つの顔文字として結合する顔文字の範囲を検索することとなる。
In step S909, the CPU increments the variable i, and the process proceeds to step S907.
As described above, the range of emoticons to be combined as one emoticon is searched by repeating the processing of steps S907 to S909.

ステップS910において、CPUは変数pee[j]に結合顔文字終了位置pejをコピーし、処理を終了する(ステップS911)。
以上に説明した顔文字結合処理が、個別顔文字バッファ21に格納された全ての顔文字情報について行なわれる。
In step S910, the CPU copies the combined emoticon end position pej to the variable pee [j], and ends the process (step S911).
The emoticon combining process described above is performed for all emoticon information stored in the individual emoticon buffer 21.

以上に説明したように、顔文字抽出部13では顔文字の目を表す文字に基づいて顔文字の位置を特定した後に、顔文字の輪郭を識別することによって、様々な文字の組み合わせパターンからなる顔文字が含まれる文章であっても、顔文字を認識することが可能となる。   As described above, the emoticon extraction unit 13 is composed of various character combination patterns by identifying the outline of the emoticon after identifying the position of the emoticon based on the character representing the eyes of the emoticon. Even if the text contains emoticons, the emoticons can be recognized.

図7から図9に示した顔文字抽出部13による処理によって、入力されたテキストデータから顔文字が抽出されると、CPUは、顔文字意味/強度判定処理を開始する。
図10は、本実施例に係る顔文字意味/強度判定処理を示すフローチャートである。
When the emoticon is extracted from the input text data by the process by the emoticon extraction unit 13 shown in FIGS. 7 to 9, the CPU starts the emoticon meaning / intensity determination process.
FIG. 10 is a flowchart showing emoticon meaning / intensity determination processing according to the present embodiment.

顔文字意味/強度判定処理を開始すると(ステップS1001)、CPUは初期化処理を開始する。
ステップS1002において、CPUは、図6(a)に示した個別顔文字バッファ21を参照し、顔文字列が格納されているアドレスを走査ポインタpにセットする(顔文字の右端に走査ポインタpをセットする)。
When the emoticon meaning / intensity determination process is started (step S1001), the CPU starts an initialization process.
In step S1002, the CPU refers to the individual emoticon buffer 21 shown in FIG. 6A and sets the address where the emoticon string is stored in the scanning pointer p (the scanning pointer p is set at the right end of the emoticon). set).

さらに、ステップS1003〜S1004において、CPUは、顔文字を構成する目が表す意味(図4(b)に示した意味)を格納する変数である目意味フラグfEyeをno_eyeにセットし(ステップS1003)、口が表す意味(図4(b)に示した意味)を格納する変数である口意味フラグfMouthをno_mouthにセットする(ステップS1004)。   Further, in steps S1003 to S1004, the CPU sets an eye meaning flag fEye, which is a variable for storing the meaning (meaning shown in FIG. 4B) represented by the eyes constituting the emoticon, to no_eye (step S1003). The mouth meaning flag fMouth, which is a variable for storing the meaning represented by the mouth (meaning shown in FIG. 4B), is set to no_mouth (step S1004).

さらに、ステップS1005において、顔文字が構成する口が表す意味の強度(図4(c)に示した強度)を格納するための変数である口意味強度フラグfStrengthをno_strengthにセットし、顔文字の意味(図4(d)に示した意味)を格納するための変数である顔文字意味フラグfMeanをno_meanにセットする。   Furthermore, in step S1005, the meaning strength flag fStrength, which is a variable for storing the strength of the meaning represented by the mouth that the emoticon constitutes (the strength shown in FIG. 4C), is set to no_strength. An emoticon meaning flag fMean, which is a variable for storing the meaning (meaning shown in FIG. 4D), is set to no_mean.

ここで、上述のno_eye、no_mouth、no_strength、no_meanは、該当するデータが存在しないことを示すための値又は文字列である。したがって、例えば、−1やnull文字等を使用すればよい。   Here, the above-mentioned no_eye, no_mouth, no_strength, and no_mean are values or character strings for indicating that the corresponding data does not exist. Therefore, for example, -1 or null characters may be used.

以上に説明したステップS1002からS1006の処理によって初期化処理が終了すると、CPUはステップS1007に処理を移行する。
ステップS1007において、CPUは、走査ポインタpが示す文字が顔文字の末尾であるかをチェックし、走査ポインタpが示す文字が顔文字の末尾である場合にはステップS1015に処理を移行する。
When the initialization process is completed by the processes in steps S1002 to S1006 described above, the CPU shifts the process to step S1007.
In step S1007, the CPU checks whether or not the character indicated by the scan pointer p is the end of the emoticon. If the character indicated by the scan pointer p is the end of the emoticon, the process proceeds to step S1015.

また、走査ポインタpが示す文字が顔文字の末尾でない場合には、CPUはステップS1008に処理を移行する。ステップS1008において、CPUは、図4(b)に示した顔部品意味表の目文字を順次参照し、走査ポインタpが示す文字と比較する。そして、走査ポインタpが示す文字と顔部品意味表の目文字とが一致した場合には、CPUはステップS1009に処理を移行し、該当する意味を顔部品意味表から参照し、目意味フラグfEyeにセットする。   If the character indicated by the scan pointer p is not the end of the emoticon, the CPU moves the process to step S1008. In step S1008, the CPU sequentially refers to the eye characters in the facial part meaning table shown in FIG. 4B and compares them with the characters indicated by the scanning pointer p. If the character indicated by the scan pointer p matches the eye character in the face part meaning table, the CPU proceeds to step S1009, refers to the corresponding meaning from the face part meaning table, and sets the eye meaning flag fEye. Set to.

同様に、ステップS1010において、CPUは、図4(b)に示した顔部品意味表の口文字を順次参照し、走査ポインタpが示す文字と比較する。そして、走査ポインタpが示す文字と顔部品意味表の口文字とが一致した場合には、CPUはステップS1011に処理を移行し、該当する意味を顔部品意味表から参照し、口意味フラグfMouthにセットする。   Similarly, in step S1010, the CPU sequentially refers to the spoken characters in the face part meaning table shown in FIG. 4B and compares it with the character indicated by the scanning pointer p. If the character indicated by the scanning pointer p matches the spoken word in the face part meaning table, the CPU proceeds to step S1011 to refer to the corresponding meaning from the face part meaning table and sets the mouth meaning flag fMouth. Set to.

また、ステップS1012において、CPUは、図4(c)に示した口文字強度表の口文字を順次参照し、走査ポインタpが示す文字と比較する。そして、走査ポインタpが示す文字と口文字強度表の口文字とが一致した場合には、CPUはステップS1013に処理を移行し、該当する強度を口文字強度表から参照し、口文字強度フラグfStrengthにセットする。   In step S1012, the CPU sequentially refers to the characters in the character combination table shown in FIG. 4C and compares them with the character indicated by the scan pointer p. If the character indicated by the scanning pointer p matches the character in the syllabary strength table, the CPU proceeds to step S1013 to refer to the corresponding strength from the syllabary strength table, Set to fStrength.

ステップS1008、S1010及びS1012のいずれの条件にも該当しない場合、又は、ステップS1009、S1011及びS1013のいずれかの処理が実施されると、CPUはステップS1014に処理を移行し、走査ポインタpを1文字分進め(顔文字を構成する次の文字が格納されているアドレスをセットし)、ステップS1007に処理を移行する。   If none of the conditions in steps S1008, S1010, and S1012 is met, or if any of steps S1009, S1011, and S1013 is performed, the CPU proceeds to step S1014 and sets the scan pointer p to 1. The character advances (sets the address where the next character constituting the emoticon is stored), and the process proceeds to step S1007.

以上に説明したステップS1007からステップS1004を繰り返すことによって、顔文字の意味及び強度を示す変数(目意味フラグfEye、口意味フラグfMouth、及び口意味強度フラグfStrength)が決定され、ステップS1015に処理が移行する。   By repeating steps S1007 to S1004 described above, variables (eye meaning flag fEye, mouth meaning flag fMouth, and mouth meaning strength flag fStrength) indicating the meaning and strength of the emoticon are determined, and the process proceeds to step S1015. Transition.

ステップS1015において、CPUは、図4(d)に示した顔文字意味決定表を参照し、変数fEye及び変数fMouthが示す意味に対応する顔文字の意味を取りだし、顔文字意味フラグfMeanにセットして処理を終了する(ステップS1016、ステップS1017)。   In step S1015, the CPU refers to the emoticon meaning determination table shown in FIG. 4D, extracts the meaning of the emoticon corresponding to the meaning indicated by the variable fEye and the variable fMouth, and sets the emoticon meaning flag fMean. Then, the process ends (steps S1016 and S1017).

以上に説明した処理によって、顔文字を顔文字が表す意味(感情等)に応じた適切な言葉で表現することが可能となる。
以上に説明した顔文字意味/強度判定部14の処理によって、各顔文字の意味及び強度が確定すると、読み導出部15によって各顔文字に応じた読みが決定される。
By the processing described above, it is possible to express the emoticon with an appropriate word according to the meaning (emotion or the like) represented by the emoticon.
When the meaning and strength of each emoticon are determined by the processing of the emoticon meaning / intensity determining unit 14 described above, the reading corresponding to each emoticon is determined by the reading deriving unit 15.

図11は、本実施例に係る読み導出部15における読み導出処理を示すフローチャートである。
読み導出処理が開始されると(ステップS1101)、CPUはステップS1102からS1106に示すループ処理によって、個別顔文字バッファ21に格納されているそれぞれの顔文字に応じた読みを決定する。
FIG. 11 is a flowchart illustrating the reading derivation process in the reading derivation unit 15 according to the present embodiment.
When the reading derivation process is started (step S1101), the CPU determines a reading corresponding to each emoticon stored in the individual emoticon buffer 21 by a loop process shown in steps S1102 to S1106.

ステップS1103において、CPUは、個別顔文字バッファ21を参照し、意味及び強度を読み出す。そして、図4(e)に示した読み上げ表を参照し、個別顔文字バッファ21から読み出した意味及び強度に対応する読み上げ文字列を得て、変数yomiに格納する(ステップS1104)。さらに、CPUは図6(a)に示した個別顔文字バッファ21の読みを格納する領域に変数yomiに格納した読み上げ文字列を格納する(ステップS1105)。   In step S1103, the CPU reads the meaning and strength with reference to the individual emoticon buffer 21. Then, referring to the reading table shown in FIG. 4E, a reading character string corresponding to the meaning and intensity read from the individual emoticon buffer 21 is obtained and stored in the variable yomi (step S1104). Further, the CPU stores the read character string stored in the variable yomi in the area for storing the reading of the individual emoticon buffer 21 shown in FIG. 6A (step S1105).

以上に説明したステップS1103からステップS1105の処理を、個別顔文字バッファ21に格納されている全ての顔文字に対して行なう。
以上の処理によって、個別顔文字バッファ21に格納されているそれぞれの顔文字に応じた読みが決定されると、CPUはステップS1108からS1112に示すフープ処理によって、結合顔文字バッファ22に格納されているそれぞれの顔文字に応じた読みを決定(結合)する。
The processing from step S1103 to step S1105 described above is performed for all emoticons stored in the individual emoticon buffer 21.
When the reading according to each emoticon stored in the individual emoticon buffer 21 is determined by the above processing, the CPU stores the reading in the combined emoticon buffer 22 by the hoop processing shown in steps S1108 to S1112. Determine (combine) the readings corresponding to each emoticon.

ステップS1107において、CPUは結合顔文字バッファ22に格納された顔文字に対応する読みを格納する変数である読み上げ文yomiageをnull文字で初期化する。   In step S <b> 1107, the CPU initializes a reading sentence yomage, which is a variable for storing a reading corresponding to the emoticon stored in the combined emoticon buffer 22, with null characters.

ステップS1109において、CPUは、結合顔文字バッファ22に格納されている開始顔文字番号及び終了顔文字番号を参照し、個別顔文字バッファ21に格納されている該当する顔文字の読みを、該当する開始顔文字番号から終了顔文字番号まで順次参照し(ステップS1110)、変数yomiageに追加(結合)していく(ステップS1111)。   In step S1109, the CPU refers to the start emoticon number and the end emoticon number stored in the combined emoticon buffer 22, and reads the corresponding emoticon stored in the individual emoticon buffer 21. Reference is made sequentially from the start emoticon number to the end emoticon number (step S1110), and it is added (combined) to the variable yomage (step S1111).

CPUは、以上に説明したステップS1109からステップS1111の処理を、結合顔文字バッファ22に格納された全ての結合顔文字に対して行なうことによって、結合顔文字バッファ22に格納されている結合顔文字に応じた読みを確定することとなる。   The CPU performs the processing from step S1109 to step S1111 described above for all the combined emoticons stored in the combined emoticon buffer 22, thereby combining the emoticons stored in the combined emoticon buffer 22. The reading according to is decided.

以上に説明したように、テキストデータに近接して記載された複数の顔文字(互いに関連した複数の顔文字)がある場合には、それら複数の顔文字を1つの顔文字として認識することが可能となり、さらに、その顔文字が表現する意味を適切な言葉に置き換えることが可能となる。   As described above, when there are a plurality of emoticons described in the vicinity of the text data (a plurality of emoticons related to each other), the plurality of emoticons can be recognized as one emoticon. Furthermore, the meaning expressed by the emoticon can be replaced with an appropriate word.

図12は、図6に示した個別顔文字バッファ21及び結合顔文字バッファ22に対して図10に示した顔文字意味/強度判定処理及び図11に示した読み導出処理を行なった後の個別顔文字バッファ21及び結合顔文字バッファ22を示している。   12 shows the individual emoticons after the emoticon meaning / intensity determination process shown in FIG. 10 and the reading derivation process shown in FIG. 11 are performed on the individual emoticon buffer 21 and the combined emoticon buffer 22 shown in FIG. An emoticon buffer 21 and a combined emoticon buffer 22 are shown.

例えば、顔文字抽出部13にテキストデータ「(*^^)人( ̄− ̄)人(^^*)楽しいな〜。」が入力されると、CPUは、図7から9に示した顔文字抽出処理によって、メモリ2上に展開されている個別顔文字バッファ21の各領域に顔文字番号、顔文字列(例えば、「(*^^)」等)、開始文字位置、及び終了文字位置を格納し、結合顔文字バッファ22の各領域に顔文字番号、結合顔文字(例えば、「(*^^)人( ̄− ̄)人(^^*)」)、開始顔文字番号、及び終了顔文字番号を格納する。   For example, when the text data “(* ^^) person ( ̄- ̄) person (^^ *) is fun” is input to the emoticon extraction unit 13, the CPU displays the faces shown in FIGS. By the character extraction process, each area of the individual emoticon buffer 21 developed on the memory 2 has an emoticon number, an emoticon string (for example, “(* ^^)”), a start character position, and an end character position. Are stored in each area of the combined emoticon buffer 22, emoticon numbers, combined emoticons (eg, “(* ^^) people ( ̄− ̄) people (^^ *)”), start emoticon numbers, and Stores the end emoticon number.

次に、CPUは、顔文字意味/強度判定部14において図10に示した顔文字意味/強度判定処理を行ない、個別顔文字バッファ21に格納されているそのぞれの顔文字に応じた意味(例えば、「喜」等)及び強度(例えば、「小」等))を格納する。   Next, the CPU performs the emoticon meaning / intensity determination process shown in FIG. 10 in the emoticon meaning / intensity determination unit 14, and the meaning corresponding to each emoticon stored in the individual emoticon buffer 21. (For example, “joy”, etc.) and intensity (for example, “small”, etc.)) are stored.

さらに、CPUは、読み導出部15において、図11に示した読み導出処理を行ない、まず個別顔文字バッファ21に格納されているそれぞれの顔文字に応じた読み(例えば、「うふふ」等)を格納し、個別顔文字バッファ21に基づいて結合顔文字バッファ22に格納されているそれぞれの結合顔文字に対する読み(例えば、「うふふ、うふふ、うふふ」等)を格納する。   Further, the CPU performs the reading derivation process shown in FIG. 11 in the reading derivation unit 15, and first reads a reading (for example, “Ufufu”) corresponding to each emoticon stored in the individual emoticon buffer 21. Based on the individual emoticon buffer 21, a reading (for example, “Ufufu, Ufufu, Ufufu”, etc.) for each combined emoticon stored in the combined emoticon buffer 22 is stored.

(付記1) 文字列の組み合わせからなる顔文字を含むテキストデータを音声として出力する処理をコンピュータに実行させるためのプログラムであって、
前記顔文字を構成する部品文字と該部品文字の前記顔文字に対する位置とを関連づけた顔文字部品辞書に基づいて、入力されたテキストデータから顔文字を抽出する顔文字抽出ステップと、
該顔文字抽出ステップで抽出された顔文字に対応する読みを導出する読み導出ステップと、
前記入力されたテキストデータにおける前記顔文字抽出ステップで抽出された顔文字を、前記読み導出ステップで導出された読みに置換する読み置換ステップと、
該読み置換ステップにて得られた置換後のテキストデータを音声に変換して出力する音声出力ステップと、
を有することを特徴とするテキスト音声出力プログラム。
(Supplementary note 1) A program for causing a computer to execute processing for outputting text data including a face character composed of a combination of character strings as speech,
An emoticon extracting step for extracting an emoticon from input text data based on an emoticon component dictionary that associates a component character constituting the emoticon and a position of the component character with respect to the emoticon;
A reading derivation step for deriving a reading corresponding to the emoticon extracted in the emoticon extraction step;
A reading replacement step of replacing the emoticon extracted in the emoticon extraction step in the input text data with a reading derived in the reading derivation step;
A voice output step of converting the text data after replacement obtained in the reading substitution step into voice and outputting the voice;
A text voice output program characterized by comprising:

(付記2) 文字列の組み合わせからなる顔文字を含むテキストデータを音声として出力する処理をコンピュータに実行させるためのプログラムであって、
入力されたテキストデータから顔文字を抽出する顔文字抽出ステップと、
該顔文字抽出ステップによって抽出した前記顔文字の部品文字と該部品文字が表す意味とを関連づけた顔部品意味辞書に基づいて前記部品文字に対する意味を決定し、前記部品文字と該部品文字が表す意味の強度とを関連づけた顔部品強度辞書に基づいて前記部品文字の意味に対する強度を決定し、前記部品文字が表す意味と前記顔文字が表す意味とを関連づけた顔文字意味決定辞書に基づいて前記部品文字に対する意味から前記顔文字の意味を決定する顔文字意味強度判定ステップと、
該顔文字意味強度判定ステップによって決定された前記顔文字に対する意味と該意味の強度とに応じた感情を文字で表現する読み導出ステップと、
前記入力されたテキストデータにおける前記顔文字抽出ステップで抽出された顔文字を、前記読み導出ステップで導出された読みに置換する読み置換ステップと、
該読み置換ステップにて得られた置換後のテキストデータを音声に変換して出力する音声出力ステップと、
を有することを特徴とするテキスト音声出力プログラム。
(Supplementary Note 2) A program for causing a computer to execute processing for outputting text data including a face character composed of a combination of character strings as speech,
An emoticon extraction step for extracting emoticons from the input text data;
The meaning of the part character is determined based on a face part semantic dictionary in which the part character of the face character extracted in the emoticon extraction step is associated with the meaning represented by the part character, and the part character and the part character represent Based on a facial part strength dictionary that correlates the meaning strength, the strength for the meaning of the part character is determined, and based on the emoticon meaning determination dictionary that associates the meaning represented by the part character and the meaning represented by the emoticon Emoticon meaning strength determination step for determining the meaning of the emoticon from the meaning for the component character;
A reading derivation step for expressing the emotion corresponding to the meaning of the emoticon determined by the emoticon meaning strength determination step and the strength of the meaning in characters;
A reading replacement step of replacing the emoticon extracted in the emoticon extraction step in the input text data with a reading derived in the reading derivation step;
A voice output step of converting the text data after replacement obtained in the reading substitution step into voice and outputting the voice;
A text voice output program characterized by comprising:

(付記3) 前記顔文字部品辞書は、少なくとも前記顔文字の目を表す部品文字を有し、前記顔文字抽出ステップでは前記目を表す部品文字に基づいて顔文字の輪郭を特定することを特徴とする付記1に記載のテキスト音声出力プログラム。   (Supplementary Note 3) The emoticon component dictionary includes at least a component character representing the eyes of the emoticon, and the emoticon extraction step specifies an outline of the emoticon based on the component characters representing the eye. The text sound output program according to appendix 1.

(付記4) 前記顔部品強度辞書は、少なくとも前記顔文字の口を表す部品文字を有し、前記強度は、口を表す部品文字と該部品文字が表す意味の強度とを関連づけた顔部品強度辞書に基づいて特定することを特徴とする付記2に記載のテキスト音声出力プログラム。   (Supplementary Note 4) The facial part strength dictionary includes at least a part character representing the mouth of the emoticon, and the strength is a facial part strength in which the part character representing the mouth and the strength of the meaning represented by the part character are associated with each other. The text sound output program according to appendix 2, characterized in that the program is specified based on a dictionary.

(付記5) 文字列の組み合わせからなる顔文字を含むテキストデータを音声として出力する処理をコンピュータに実行させるための方法であって、
前記顔文字を構成する部品文字と該部品文字の前記顔文字に対する位置とを関連づけた顔文字部品辞書に基づいて、入力されたテキストデータから顔文字を抽出する顔文字抽出ステップと、
該顔文字抽出ステップで抽出された顔文字に対応する読みを導出する読み導出ステップと、
前記入力されたテキストデータにおける前記顔文字抽出ステップで抽出された顔文字を、前記読み導出ステップで導出された読みに置換する読み置換ステップと、
該読み置換ステップにて得られた置換後のテキストデータを音声に変換して出力する音声出力ステップと、
を有することを特徴とするテキスト音声出力方法。
(Supplementary Note 5) A method for causing a computer to execute a process of outputting text data including a face character composed of a combination of character strings as speech,
An emoticon extracting step for extracting an emoticon from input text data based on an emoticon component dictionary that associates a component character constituting the emoticon and a position of the component character with respect to the emoticon;
A reading derivation step for deriving a reading corresponding to the emoticon extracted in the emoticon extraction step;
A reading replacement step of replacing the emoticon extracted in the emoticon extraction step in the input text data with a reading derived in the reading derivation step;
A voice output step of converting the text data after replacement obtained in the reading substitution step into voice and outputting the voice;
A text voice output method comprising:

(付記6) 文字列の組み合わせからなる顔文字を含むテキストデータを音声として出力する処理をコンピュータに実行させるための方法であって、
入力されたテキストデータから顔文字を抽出する顔文字抽出ステップと、
該顔文字抽出ステップによって抽出した前記顔文字の部品文字と該部品文字が表す意味とを関連づけた顔部品意味辞書に基づいて前記部品文字に対する意味を決定し、前記部品文字と該部品文字が表す意味の強度とを関連づけた顔部品強度辞書に基づいて前記部品文字の意味に対する強度を決定し、前記部品文字が表す意味と前記顔文字が表す意味とを関連づけた顔文字意味決定辞書に基づいて、前記部品文字に対する意味から前記顔文字の意味を決定する顔文字意味強度判定ステップと、
該顔文字意味強度判定ステップによって決定された前記顔文字に対する意味と該意味の強度とに応じた感情を文字で表現する読み導出ステップと、
前記入力されたテキストデータにおける前記顔文字抽出ステップで抽出された顔文字を、前記読み導出ステップで導出された読みに置換する読み置換ステップと、
該読み置換ステップにて得られた置換後のテキストデータを音声に変換して出力する音声出力ステップと、
を有することを特徴とするテキスト音声出力方法。
(Supplementary note 6) A method for causing a computer to execute processing for outputting text data including a face character composed of a combination of character strings as speech,
An emoticon extraction step for extracting emoticons from the input text data;
The meaning of the part character is determined based on a face part semantic dictionary in which the part character of the face character extracted in the emoticon extraction step is associated with the meaning represented by the part character, and the part character and the part character represent Based on a facial part strength dictionary that correlates the meaning strength, the strength for the meaning of the part character is determined, and based on the emoticon meaning determination dictionary that associates the meaning represented by the part character and the meaning represented by the emoticon , Emoticon meaning strength determining step for determining the meaning of the emoticon from the meaning for the component character;
A reading derivation step for expressing the emotion corresponding to the meaning of the emoticon determined by the emoticon meaning strength determination step and the strength of the meaning in characters;
A reading replacement step of replacing the emoticon extracted in the emoticon extraction step in the input text data with a reading derived in the reading derivation step;
A voice output step of converting the text data after replacement obtained in the reading substitution step into voice and outputting the voice;
A text voice output method comprising:

(付記7) 文字列の組み合わせからなる顔文字を含むテキストデータを音声として出力する処理をコンピュータに実行させるためのプログラムを格納したコンピュータ読取り可能な記憶媒体であって、
前記顔文字を構成する部品文字と該部品文字の前記顔文字に対する位置とを関連づけた顔文字部品辞書に基づいて、入力されたテキストデータから顔文字を抽出する顔文字抽出ステップと、
該顔文字抽出ステップで抽出された顔文字に対応する読みを導出する読み導出ステップと、前記入力されたテキストデータにおける前記顔文字抽出ステップで抽出された顔文字を、前記読み導出ステップで導出された読みに置換する読み置換ステップと、
該読み置換ステップにて得られた置換後のテキストデータを音声に変換して出力する音声出力ステップと、
を有することを特徴とするテキスト音声出力プログラムを格納したコンピュータに読取り可能な記録媒体。
(Supplementary note 7) A computer-readable storage medium storing a program for causing a computer to execute processing for outputting text data including a face character composed of a combination of character strings as speech,
An emoticon extracting step for extracting an emoticon from input text data based on an emoticon component dictionary that associates a component character constituting the emoticon and a position of the component character with respect to the emoticon;
A reading derivation step for deriving a reading corresponding to the emoticon extracted in the emoticon extraction step, and an emoticon extracted in the emoticon extraction step in the input text data is derived in the reading derivation step. A reading replacement step to replace the reading with
A voice output step of converting the text data after replacement obtained in the reading substitution step into voice and outputting the voice;
A computer-readable recording medium storing a text voice output program.

(付記8) 文字列の組み合わせからなる顔文字を含むテキストデータを音声として出力する処理をコンピュータに実行させるためのプログラムを格納したコンピュータ読取り可能な記憶媒体であって、
入力されたテキストデータから顔文字を抽出する顔文字抽出ステップと、
該顔文字抽出ステップによって抽出した前記顔文字の部品文字と該部品文字が表す意味とを関連づけた顔部品意味辞書に基づいて前記部品文字に対する意味を決定し、前記部品文字と該部品文字が表す意味の強度とを関連づけた顔部品強度辞書に基づいて前記部品文字の意味に対する強度を決定し、前記部品文字が表す意味と前記顔文字が表す意味とを関連づけた顔文字意味決定辞書に基づいて、前記部品文字に対する意味から前記顔文字の意味を決定する顔文字意味強度判定ステップと、
該顔文字意味強度判定ステップによって決定された前記顔文字に対する意味と該意味の強度とに応じた感情を文字で表現する読み導出ステップと、
前記入力されたテキストデータにおける前記顔文字抽出ステップで抽出された顔文字を、前記読み導出ステップで導出された読みに置換する読み置換ステップと、
該読み置換ステップにて得られた置換後のテキストデータを音声に変換して出力する音声出力ステップと、
を有することを特徴とするテキスト音声出力プログラムを格納したコンピュータに読取り可能な記録媒体。
(Supplementary note 8) A computer-readable storage medium storing a program for causing a computer to execute processing for outputting text data including a face character composed of a combination of character strings as speech,
An emoticon extraction step for extracting emoticons from the input text data;
The meaning of the part character is determined based on a face part semantic dictionary in which the part character of the face character extracted in the emoticon extraction step is associated with the meaning represented by the part character, and the part character and the part character represent Based on a facial part strength dictionary that correlates the meaning strength, the strength for the meaning of the part character is determined, and based on the emoticon meaning determination dictionary that associates the meaning represented by the part character and the meaning represented by the emoticon , Emoticon meaning strength determining step for determining the meaning of the emoticon from the meaning for the component character;
A reading derivation step for expressing the emotion corresponding to the meaning of the emoticon determined by the emoticon meaning strength determination step and the strength of the meaning in characters;
A reading replacement step of replacing the emoticon extracted in the emoticon extraction step in the input text data with a reading derived in the reading derivation step;
A voice output step of converting the text data after replacement obtained in the reading substitution step into voice and outputting the voice;
A computer-readable recording medium storing a text voice output program.

(付記9) 文字列の組み合わせからなる顔文字を含むテキストデータを音声として出力するテキスト音声出力装置において、
前記顔文字を構成する部品文字と該部品文字の前記顔文字に対する位置とを関連づけた顔文字部品辞書と、
該顔文字部品辞書に基づいて、入力されたテキストデータから顔文字を抽出する顔文字抽出部と、
該顔文字抽出部で抽出された顔文字に対応する読みを導出する読み導出部と、
前記入力されたテキストデータにおける前記顔文字抽出部で抽出された顔文字を、前記読み導出部で導出された読みに置換する読み置換部と、
該読み置換部にて得られた置換後のテキストデータを音声に変換して出力する音声出力部と、
を有することを特徴とするテキスト音声出力のための装置。
(Additional remark 9) In the text audio | voice output apparatus which outputs the text data containing the emoticon which consists of a combination of a character string as an audio | voice,
An emoticon component dictionary associating a component character constituting the emoticon and a position of the component character with respect to the emoticon;
Based on the emoticon part dictionary, an emoticon extracting unit for extracting emoticons from the input text data;
A reading derivation unit for deriving a reading corresponding to the emoticon extracted by the emoticon extraction unit;
A reading replacement unit that replaces the emoticon extracted by the emoticon extraction unit in the input text data with a reading derived by the reading deriving unit;
A voice output unit that converts the text data after replacement obtained in the reading substitution unit into voice and outputs the voice;
A device for text-to-speech output, comprising:

(付記10) 文字列の組み合わせからなる顔文字を含むテキストデータを音声として出力するテキスト音声出力装置において、
入力されたテキストデータから顔文字を抽出する顔文字抽出部と、
該顔文字抽出部によって抽出した前記顔文字の部品文字と該部品文字が表す意味とを関連づけた顔部品意味辞書と、
前記部品文字と該部品文字が表す意味の強度とを関連づけた顔部品強度辞書と、
前記部品文字が表す意味と前記顔文字が表す意味とを関連づけた顔文字意味決定辞書と、
前記顔部品意味辞書に基づいて前記部品文字に対する意味を決定し、前記顔部品強度辞書に基づいて前記部品文字の意味に対する強度を決定し、前記顔文字意味決定辞書に基づいて前記部品文字に対する意味から前記顔文字の意味を決定する顔文字意味強度判定部と、
該顔文字意味強度判定部によって決定された前記顔文字に対する意味と該意味の強度とに応じた感情を文字で表現する読み導出部と、
前記入力されたテキストデータにおける前記顔文字抽出部で抽出された顔文字を、前記読み導出部で導出された読みに置換する読み置換部と、
該読み置換部にて得られた置換後のテキストデータを音声に変換して出力する音声出力部と、
を有することを特徴とするテキスト音声出力のための装置。
(Additional remark 10) In the text audio | voice output apparatus which outputs the text data containing the emoticon which consists of a combination of a character string as an audio | voice,
An emoticon extraction unit that extracts emoticons from the input text data;
A face part meaning dictionary that associates the part characters of the face character extracted by the face character extraction unit with the meanings represented by the part characters;
A face part strength dictionary associating the part characters with the strength of the meaning represented by the part characters;
An emoticon meaning determination dictionary associating the meanings represented by the component characters with the meanings represented by the emoticons;
The meaning for the component character is determined based on the face component meaning dictionary, the strength for the meaning of the component character is determined based on the face component strength dictionary, and the meaning for the component character is determined based on the emoticon meaning determination dictionary. An emoticon meaning strength determination unit for determining the meaning of the emoticon from:
A reading derivation unit that expresses the emotion according to the meaning of the emoticon determined by the emoticon meaning strength determination unit and the strength of the meaning in characters;
A reading replacement unit that replaces the emoticon extracted by the emoticon extraction unit in the input text data with a reading derived by the reading deriving unit;
A voice output unit that converts the text data after replacement obtained in the reading substitution unit into voice and outputs the voice;
A device for text-to-speech output, comprising:

本実施例に係る情報処理装置の構成例を示す図である。It is a figure which shows the structural example of the information processing apparatus which concerns on a present Example. 本実施例に係るテキスト音声出力装置の構成例を示す図である。It is a figure which shows the structural example of the text audio | voice output apparatus which concerns on a present Example. 本実施例に係るテキスト音声変換装置とデータの流れを示す図である。It is a figure which shows the text audio | voice conversion apparatus and data flow which concern on a present Example. 本実施例に係る顔文字抽出部、顔文字意味/強度判定部、及び読み導出部において使用する表の一例を示す図である。It is a figure which shows an example of the table | surface used in the emoticon extraction part which concerns on a present Example, an emoticon meaning / intensity determination part, and a reading derivation | leading-out part. 本実施例に係る顔文字読み導出部における処理についての概要を示すフローチャートである。It is a flowchart which shows the outline | summary about the process in the emoticon reading derivation | leading-out part which concerns on a present Example. 本実施例に係る顔文字読み導出処理で使用する個別顔文字バッファ及び結合顔文字バッファの構成例を示す図である。It is a figure which shows the structural example of the individual emoticon buffer used by the emoticon reading derivation | leading-out process which concerns on a present Example, and a combination emoticon buffer. 本実施例に係る顔文字導出処理の両目位置特定処理を示すフローチャートである。It is a flowchart which shows the binocular position specific process of the emoticon derivation process based on a present Example. 本実施例に係る顔文字導出処理の顔文字の境界を特定する処理を示すフローチャートである。It is a flowchart which shows the process which specifies the boundary of the emoticon of the emoticon derivation process which concerns on a present Example. 本実施例に係る顔文字導出処理の隣接した顔文字を結合するする処理を示すフローチャートである。It is a flowchart which shows the process which couple | bonds the adjacent emoticon of the emoticon derivation process based on a present Example. 本実施例に係る顔文字意味/強度判定処理を示すフローチャートである。It is a flowchart which shows the emoticon meaning / intensity determination process which concerns on a present Example. 本実施例に係る読み導出処理を示すフローチャートである。It is a flowchart which shows the reading derivation process based on a present Example. 本実施例に係る顔文字意味/強度判定処理及び読み導出処理を行なった後の個別顔文字バッファ及び結合顔文字バッファを示す図である。It is a figure which shows the individual emoticon buffer and combined emoticon buffer after performing the emoticon meaning / intensity determination process and reading derivation process based on a present Example.

符号の説明Explanation of symbols

1 CPU
2 メモリ
3 入力装置
4 出力装置
5 外部記憶装置
6 媒体駆動装置
7 可搬記憶媒体
8 ネットワーク接続装置
9 ネットワーク
10 バス
11 顔文字読み導出部
12 音声合成部
13 顔文字抽出部
14 顔文字意味/強度判定部
15 読み導出部
16 読み置換部
17 顔文字部品表
18 顔部品意味表、口文字強度表、顔文字意味決定表
19 読み上げ表
20 テキスト入力部
21 個別顔文字バッファ
22 結合顔文字バッファ
1 CPU
2 Memory 3 Input Device 4 Output Device 5 External Storage Device 6 Medium Drive Device 7 Portable Storage Medium 8 Network Connection Device 9 Network 10 Bus 11 Emoticon Reading Deriving Unit 12 Speech Synthesizer 13 Emoticon Extracting Unit 14 Emoticon Meaning / Intensity Determination unit 15 Reading derivation unit 16 Reading replacement unit 17 Emoticon parts table 18 Facial parts meaning table, vocabulary strength table, emoticon meaning determination table 19 Reading table 20 Text input unit 21 Individual emoticon buffer 22 Combined emoticon buffer

Claims (5)

文字列の組み合わせからなる顔文字を含むテキストデータを音声として出力する処理をコンピュータに実行させるためのプログラムであって、
前記顔文字を構成する部品文字と該部品文字の前記顔文字に対する位置とを関連づけた顔文字部品辞書に基づいて、入力されたテキストデータから顔文字を抽出する顔文字抽出ステップと、
該顔文字抽出ステップで抽出された顔文字に対応する読みを導出する読み導出ステップと、
前記入力されたテキストデータにおける前記顔文字抽出ステップで抽出された顔文字を、前記読み導出ステップで導出された読みに置換する読み置換ステップと、
該読み置換ステップにて得られた置換後のテキストデータを音声に変換して出力する音声出力ステップと、
を有することを特徴とするテキスト音声出力プログラム。
A program for causing a computer to execute a process of outputting text data including a face character composed of a combination of character strings as speech,
An emoticon extracting step for extracting an emoticon from input text data based on an emoticon component dictionary that associates a component character constituting the emoticon and a position of the component character with respect to the emoticon;
A reading derivation step for deriving a reading corresponding to the emoticon extracted in the emoticon extraction step;
A reading replacement step of replacing the emoticon extracted in the emoticon extraction step in the input text data with a reading derived in the reading derivation step;
A voice output step of converting the text data after replacement obtained in the reading substitution step into voice and outputting the voice;
A text voice output program characterized by comprising:
文字列の組み合わせからなる顔文字を含むテキストデータを音声として出力する処理をコンピュータに実行させるためのプログラムであって、
入力されたテキストデータから顔文字を抽出する顔文字抽出ステップと、
該顔文字抽出ステップによって抽出した前記顔文字の部品文字と該部品文字が表す意味とを関連づけた顔部品意味辞書に基づいて前記部品文字に対する意味を決定し、前記部品文字と該部品文字が表す意味の強度とを関連づけた顔部品強度辞書に基づいて前記部品文字の意味に対する強度を決定し、前記部品文字が表す意味と前記顔文字が表す意味とを関連づけた顔文字意味決定辞書に基づいて前記部品文字に対する意味から前記顔文字の意味を決定する顔文字意味強度判定ステップと、
該顔文字意味強度判定ステップによって決定された前記顔文字に対する意味と該意味の強度とに応じた感情を文字で表現する読み導出ステップと、
前記入力されたテキストデータにおける前記顔文字抽出ステップで抽出された顔文字を、前記読み導出ステップで導出された読みに置換する読み置換ステップと、
該読み置換ステップにて得られた置換後のテキストデータを音声に変換して出力する音声出力ステップと、
を有することを特徴とするテキスト音声出力プログラム。
A program for causing a computer to execute a process of outputting text data including a face character composed of a combination of character strings as speech,
An emoticon extraction step for extracting emoticons from the input text data;
The meaning of the part character is determined based on a face part semantic dictionary in which the part character of the face character extracted in the emoticon extraction step is associated with the meaning represented by the part character, and the part character and the part character represent Based on a facial part strength dictionary that correlates the meaning strength, the strength for the meaning of the part character is determined, and based on the emoticon meaning determination dictionary that associates the meaning represented by the part character and the meaning represented by the emoticon Emoticon meaning strength determination step for determining the meaning of the emoticon from the meaning for the component character;
A reading derivation step for expressing the emotion corresponding to the meaning of the emoticon determined by the emoticon meaning strength determination step and the strength of the meaning in characters;
A reading replacement step of replacing the emoticon extracted in the emoticon extraction step in the input text data with a reading derived in the reading derivation step;
A voice output step of converting the text data after replacement obtained in the reading substitution step into voice and outputting the voice;
A text voice output program characterized by comprising:
前記顔文字部品辞書は、少なくとも前記顔文字の目を表す部品文字を有し、前記顔文字抽出ステップでは前記目を表す部品文字に基づいて顔文字の輪郭を特定することを特徴とする請求項1に記載のテキスト音声出力プログラム。   The emoticon component dictionary includes at least a component character representing an eye of the emoticon, and the emoticon extraction step specifies an outline of the emoticon based on the component character representing the eye. The text voice output program according to 1. 文字列の組み合わせからなる顔文字を含むテキストデータを音声として出力する処理をコンピュータに実行させるための方法であって、
前記顔文字を構成する部品文字と該部品文字の前記顔文字に対する位置とを関連づけた顔文字部品辞書に基づいて、入力されたテキストデータから顔文字を抽出する顔文字抽出ステップと、
該顔文字抽出ステップで抽出された顔文字に対応する読みを導出する読み導出ステップと、
前記入力されたテキストデータにおける前記顔文字抽出ステップで抽出された顔文字を、前記読み導出ステップで導出された読みに置換する読み置換ステップと、
該読み置換ステップにて得られた置換後のテキストデータを音声に変換して出力する音声出力ステップと、
を有することを特徴とするテキスト音声出力方法。
A method for causing a computer to execute a process of outputting text data including an emoticon consisting of a combination of character strings as speech,
An emoticon extracting step for extracting an emoticon from input text data based on an emoticon component dictionary that associates a component character constituting the emoticon and a position of the component character with respect to the emoticon;
A reading derivation step for deriving a reading corresponding to the emoticon extracted in the emoticon extraction step;
A reading replacement step of replacing the emoticon extracted in the emoticon extraction step in the input text data with a reading derived in the reading derivation step;
A voice output step of converting the text data after replacement obtained in the reading substitution step into voice and outputting the voice;
A text voice output method comprising:
文字列の組み合わせからなる顔文字を含むテキストデータを音声として出力する処理をコンピュータに実行させるための方法であって、
入力されたテキストデータから顔文字を抽出する顔文字抽出ステップと、
該顔文字抽出ステップによって抽出した前記顔文字の部品文字と該部品文字が表す意味とを関連づけた顔部品意味辞書に基づいて前記部品文字に対する意味を決定し、前記部品文字と該部品文字が表す意味の強度とを関連づけた顔部品強度辞書に基づいて前記部品文字の意味に対する強度を決定し、前記部品文字が表す意味と前記顔文字が表す意味とを関連づけた顔文字意味決定辞書に基づいて、前記部品文字に対する意味から前記顔文字の意味を決定する顔文字意味強度判定ステップと、
該顔文字意味強度判定ステップによって決定された前記顔文字に対する意味と該意味の強度とに応じた感情を文字で表現する読み導出ステップと、
前記入力されたテキストデータにおける前記顔文字抽出ステップで抽出された顔文字を、前記読み導出ステップで導出された読みに置換する読み置換ステップと、
該読み置換ステップにて得られた置換後のテキストデータを音声に変換して出力する音声出力ステップと、
を有することを特徴とするテキスト音声出力方法。
A method for causing a computer to execute a process of outputting text data including an emoticon consisting of a combination of character strings as speech,
An emoticon extraction step for extracting emoticons from the input text data;
The meaning of the part character is determined based on a face part semantic dictionary in which the part character of the face character extracted in the emoticon extraction step is associated with the meaning represented by the part character, and the part character and the part character represent Based on a facial part strength dictionary that correlates the meaning strength, the strength for the meaning of the part character is determined, and based on the emoticon meaning determination dictionary that associates the meaning represented by the part character and the meaning represented by the emoticon , Emoticon meaning strength determining step for determining the meaning of the emoticon from the meaning for the component character;
A reading derivation step for expressing the emotion corresponding to the meaning of the emoticon determined by the emoticon meaning strength determination step and the strength of the meaning in characters;
A reading replacement step of replacing the emoticon extracted in the emoticon extraction step in the input text data with a reading derived in the reading derivation step;
An audio output step of converting the converted text data obtained in the reading and replacing step into an audio and outputting the audio;
A text voice output method comprising:
JP2004101479A 2004-03-30 2004-03-30 Apparatus, method, and program for outputting text voice Expired - Fee Related JP4523312B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004101479A JP4523312B2 (en) 2004-03-30 2004-03-30 Apparatus, method, and program for outputting text voice

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004101479A JP4523312B2 (en) 2004-03-30 2004-03-30 Apparatus, method, and program for outputting text voice

Publications (2)

Publication Number Publication Date
JP2005284192A true JP2005284192A (en) 2005-10-13
JP4523312B2 JP4523312B2 (en) 2010-08-11

Family

ID=35182596

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004101479A Expired - Fee Related JP4523312B2 (en) 2004-03-30 2004-03-30 Apparatus, method, and program for outputting text voice

Country Status (1)

Country Link
JP (1) JP4523312B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008114453A1 (en) * 2007-03-20 2008-09-25 Fujitsu Limited Voice synthesizing device, voice synthesizing system, language processing device, voice synthesizing method and computer program
JP2010102371A (en) * 2008-10-21 2010-05-06 Nippon Telegr & Teleph Corp <Ntt> Emoticon detecting device, emoticon detection method, program and recording medium
JP2010102564A (en) * 2008-10-24 2010-05-06 Nippon Telegr & Teleph Corp <Ntt> Emotion specifying device, emotion specification method, program, and recording medium
JP2012084022A (en) * 2010-10-13 2012-04-26 Fujitsu Ltd Face mark reading information estimation device, face mark reading information estimation method and face mark reading information estimation program, and information terminal

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09231394A (en) * 1996-02-27 1997-09-05 Casio Comput Co Ltd Object image forming device
JPH11305987A (en) * 1998-04-27 1999-11-05 Matsushita Electric Ind Co Ltd Text voice converting device
JP2001337688A (en) * 2000-05-26 2001-12-07 Canon Inc Voice synthesizer, voice systhesizing method and its storage medium
JP2002268665A (en) * 2001-03-13 2002-09-20 Oki Electric Ind Co Ltd Text voice synthesizer

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09231394A (en) * 1996-02-27 1997-09-05 Casio Comput Co Ltd Object image forming device
JPH11305987A (en) * 1998-04-27 1999-11-05 Matsushita Electric Ind Co Ltd Text voice converting device
JP2001337688A (en) * 2000-05-26 2001-12-07 Canon Inc Voice synthesizer, voice systhesizing method and its storage medium
JP2002268665A (en) * 2001-03-13 2002-09-20 Oki Electric Ind Co Ltd Text voice synthesizer

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008114453A1 (en) * 2007-03-20 2008-09-25 Fujitsu Limited Voice synthesizing device, voice synthesizing system, language processing device, voice synthesizing method and computer program
US7987093B2 (en) 2007-03-20 2011-07-26 Fujitsu Limited Speech synthesizing device, speech synthesizing system, language processing device, speech synthesizing method and recording medium
JP2010102371A (en) * 2008-10-21 2010-05-06 Nippon Telegr & Teleph Corp <Ntt> Emoticon detecting device, emoticon detection method, program and recording medium
JP2010102564A (en) * 2008-10-24 2010-05-06 Nippon Telegr & Teleph Corp <Ntt> Emotion specifying device, emotion specification method, program, and recording medium
JP2012084022A (en) * 2010-10-13 2012-04-26 Fujitsu Ltd Face mark reading information estimation device, face mark reading information estimation method and face mark reading information estimation program, and information terminal

Also Published As

Publication number Publication date
JP4523312B2 (en) 2010-08-11

Similar Documents

Publication Publication Date Title
JP7142333B2 (en) Multilingual Text-to-Speech Synthesis Method
CN108447486B (en) Voice translation method and device
Taylor Text-to-speech synthesis
KR102582291B1 (en) Emotion information-based voice synthesis method and device
CN110264991A (en) Training method, phoneme synthesizing method, device, equipment and the storage medium of speech synthesis model
CN106486121B (en) Voice optimization method and device applied to intelligent robot
KR101160193B1 (en) Affect and Voice Compounding Apparatus and Method therefor
Pennell et al. Normalization of text messages for text-to-speech
JP4930584B2 (en) Speech synthesis apparatus, speech synthesis system, language processing apparatus, speech synthesis method, and computer program
US20230055233A1 (en) Method of Training Voice Recognition Model and Voice Recognition Device Trained by Using Same Method
JP2009139677A (en) Voice processor and program therefor
CN112463942A (en) Text processing method and device, electronic equipment and computer readable storage medium
KR101929509B1 (en) Device and method for composing morpheme
López-Ludeña et al. LSESpeak: A spoken language generator for Deaf people
JP4523312B2 (en) Apparatus, method, and program for outputting text voice
JP4200874B2 (en) KANSEI information estimation method and character animation creation method, program using these methods, storage medium, sensitivity information estimation device, and character animation creation device
JP4839291B2 (en) Speech recognition apparatus and computer program
JP5611270B2 (en) Word dividing device and word dividing method
Keh et al. Pancetta: Phoneme aware neural completion to elicit tongue twisters automatically
JP2008293098A (en) Answer score information generation device and interactive processor
Akmuradov et al. A novel algorithm for dividing Uzbek language words into syllables for concatenative text-to-speech synthesizer
JP6619932B2 (en) Morphological analyzer and program
JP6289950B2 (en) Reading apparatus, reading method and program
CN112992116A (en) Automatic generation method and system of video content
KR101777141B1 (en) Apparatus and method for inputting chinese and foreign languages based on hun min jeong eum using korean input keyboard

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060509

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100525

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100527

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130604

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130604

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees