JP2017058472A - Editing support device, editing support method and program - Google Patents
Editing support device, editing support method and program Download PDFInfo
- Publication number
- JP2017058472A JP2017058472A JP2015182111A JP2015182111A JP2017058472A JP 2017058472 A JP2017058472 A JP 2017058472A JP 2015182111 A JP2015182111 A JP 2015182111A JP 2015182111 A JP2015182111 A JP 2015182111A JP 2017058472 A JP2017058472 A JP 2017058472A
- Authority
- JP
- Japan
- Prior art keywords
- character string
- reading information
- edited
- reading
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Machine Translation (AREA)
Abstract
Description
本発明の実施形態は編集支援装置、編集支援方法及びプログラムに関する。 Embodiments described herein relate generally to an editing support apparatus, an editing support method, and a program.
近年、音声合成技術は、音質及び話者性等の向上に伴い、多くの場で利用されるようになった。音声合成技術は、例えば公共施設及び公共交通機関等のナレーション、並びに、エンタメ及びシステムとの対話インターフェース等で利用されている。さらに、電子書籍等の読み上げ音声を、音声合成技術を利用して自動化する等の試みも行われてきている。一般に、書籍には新語、未知語及び固有名詞等の独特の言い回し、表現及び表記等が含まれている。読み上げ音声を合成する音声合成システムでは、任意の自然文(漢字仮名混じり文)の読み及びアクセント等を機械的に常に正しく推定することは困難である。そのため、音声合成システムが機械的に正しい読み上げ音声を作成できない部分を、人手で修正する方法がよく用いられる。例えば、読み誤り及びアクセント誤り等が生じる個所に、人手であらかじめ、正しい読み及びアクセント等を指定しておく方法が利用されている。 In recent years, speech synthesis technology has been used in many places with improvements in sound quality and speaker characteristics. The speech synthesis technology is used in, for example, narrations of public facilities and public transportation, and interactive interfaces with entertainment and systems. In addition, attempts have been made to automate read-out speech of electronic books and the like using speech synthesis technology. In general, books contain unique phrases such as new words, unknown words and proper nouns, expressions and notations. In a speech synthesis system that synthesizes read-out speech, it is difficult to mechanically always correctly estimate the reading and accent of an arbitrary natural sentence (a kanji-kana mixed sentence). For this reason, a method of manually correcting a portion where the speech synthesis system cannot create a mechanically correct read-out speech is often used. For example, a method is used in which correct readings, accents, and the like are designated in advance by hand at locations where reading errors and accent errors occur.
しかしながら読み上げ音声の編集作業を行うユーザが、直感的に読み及びアクセント等を指定することが困難な場合があった。 However, there are cases in which it is difficult for a user who performs a reading voice editing operation to specify reading and accents intuitively.
実施形態の編集支援装置は、記憶部と、解析部と、提示部と、記憶制御部と、を備える。記憶部は、文字列と、前記文字列の読み及びアクセント型を含む読み上げ情報と、を記憶する。解析部は、編集対象の前記文字列を解析することにより、前記編集対象の文字列のモーラ数を取得する。提示部は、前記編集対象の文字列のモーラ数と同じモーラ数を有する文字列の前記読み上げ情報を複数、提示する第1の提示形式により、前記編集対象の文字列の前記読み上げ情報の候補を提示する。記憶制御部は、複数の前記読み上げ情報の候補から選択された前記読み上げ情報が示すアクセント型と同じアクセント型と、前記編集対象の文字列の読みと、を含む前記読み上げ情報、及び、前記編集対象の文字列を関連付けて前記記憶部に記憶する。 The editing support apparatus according to the embodiment includes a storage unit, an analysis unit, a presentation unit, and a storage control unit. The storage unit stores a character string and reading information including a reading of the character string and an accent type. The analysis unit analyzes the character string to be edited to obtain the number of mora of the character string to be edited. The presenting unit selects candidates for the reading information of the character string to be edited in a first presentation format for presenting a plurality of the reading information of the character string having the same number of mora as the number of mora of the character string to be edited. Present. The storage control unit includes the reading information including the same accent type as the accent type indicated by the reading information selected from the plurality of reading information candidates, and reading the character string to be edited, and the editing target. Are stored in the storage unit in association with each other.
以下に添付図面を参照して、編集支援装置、編集支援方法及びプログラムの実施形態を詳細に説明する。 Hereinafter, embodiments of an editing support apparatus, an editing support method, and a program will be described in detail with reference to the accompanying drawings.
図1は実施形態の編集支援装置100の機能構成の例を示す図である。実施形態の編集支援装置100は、入力部1、解析部2、生成部3、検索部4、提示部5、記憶制御部6、音声合成部7、音声出力部8及び記憶部101を備える。
FIG. 1 is a diagram illustrating an example of a functional configuration of an
入力部1は、読み上げ情報の編集対象の文字列(表層表現)を示す入力を、編集作業者(ユーザ)による文字列の指定(選択)操作等により受け付ける。読み上げ情報は、文字列の読み上げの仕方を示す情報を含む。読み上げ情報は、例えば文字列の読み、及び、文字列を発音する際のアクセントを示す情報を含む。なお編集対象の文字列は、ユーザにより編集対象に指定された任意の文字列であり、単語、複合語及び文等の言語的な意味を持つ単位に限られない。読み上げ情報の編集対象の文字列は、例えばユーザにより、読み又はアクセントが不適切であると判断された文字列である。入力部1は、編集対象の文字列を示す入力を受け付けると、編集対象の文字列を示す情報を解析部2に入力する。
The
解析部2は、入力部1から編集対象の文字列を示す情報を受け付けると、当該編集対象の文字列を解析する。
When receiving the information indicating the character string to be edited from the
具体的には、解析部2は、はじめに、読み上げ情報の編集対象の文字列の読みを少なくとも1つ推定し、読み上げ情報の編集対象の文字列の読みを示す推定読み情報を、後述の提示部5に入力する。提示部5は、解析部2から推定読み情報を受け付けると、後述のGUI(図7参照)を介して、編集対象の文字列の読みを確定する入力を受け付ける。
Specifically, the
読み上げ情報の編集対象の文字列の読みが確定されると、解析部2は、文字種の判定と形態素解析とを適用することにより、編集対象の文字列の区切りを決定する。文字列の区切りは、例えば連続する同種の文字列の境界、または、形態素単位の境界等である。解析部2は、文字列の区切りにより文字列を分割する。解析部2は、分割された文字列毎に、モーラ数を算出するとともに、アクセント推定処理により最も妥当なアクセントを暫定的に決定する。なおアクセント推定処理は、従来から知られているアクセント推定処理を利用することができる。
When the reading of the character string to be edited in the reading information is confirmed, the
解析部2は、編集対象の文字列を含む文書に、明示的な種別(ジャンル)がある場合、編集対象の文字列の解析結果に当該種別(ジャンル)を更に含める。種別(ジャンル)は、例えば小説及びエンタメ等である。エンタメは、例えばアニメ及びゲーム等を示す。
When the document including the character string to be edited has an explicit type (genre), the
解析部2は、編集対象の文字列の解析結果を示す解析結果情報を生成部3に入力する。
The
生成部3は、解析部2から解析結果情報を受け付けると、当該解析結果情報に基づいて編集対象の文字列の読み上げ情報の候補を生成する。具体的には、生成部3は、解析結果情報に基づく検索条件を示す情報を検索部4に入力する。次に検索部4は、生成部3から検索条件を示す情報を受け付けると、当該検索条件を使用して、記憶部101に記憶された事例DBから読み上げ情報の候補を取得する。そして検索部4は読み上げ情報の候補を含む検索結果情報を生成部3に返却する。なお検索結果情報に含まれる読み上げ情報の候補の数が膨大になる場合もあり得るので、検索部4は事例DBから取得する読み上げ情報の候補の件数を限定する等の絞り込みを行ってもよい。
When receiving the analysis result information from the
図2は実施形態の記憶部101に記憶される事例DBの例を示す図である。実施形態の事例DBは、ID、文字列(表層表現)、品詞、読み・アクセント(中間言語)、モーラ数、アクセント型、種別(ジャンル)及び登録数を有する。IDは事例DBのレコードを識別する識別情報である。文字列(表層表現)は、1以上の文字及び記号等である。品詞は、形態素解析により得られた文字列の分類、及び、構造(複合語である等)を示す。読み・アクセント(中間言語)は、文字列の読み方、及び、当該文字列を発音する際のアクセントの位置を示す。中間言語は、文字列を音声合成する際の読み及びアクセント等の読み上げ制御方法を記述する言語である。
FIG. 2 is a diagram illustrating an example of a case DB stored in the
モーラ数は、文字列を発音する際の分節単位の数を示す。アクセント型は、文字列を発音する際のアクセントの位置を示す。種別(ジャンル)は、文字列の取得元の文書の種別である。登録数は、ある文字列(表層表現)について、品詞、読み・アクセント(中間言語)、モーラ数、アクセント型及び種別(ジャンル)の組み合わせが一致する登録の件数を示す。すなわち登録数は、過去の編集作業で登録(利用)された回数を示す。 The number of mora indicates the number of segment units when a character string is pronounced. The accent type indicates the position of the accent when the character string is pronounced. The type (genre) is the type of the document from which the character string is acquired. The number of registrations indicates the number of registrations for which a combination of part of speech, reading / accent (intermediate language), number of mora, accent type, and type (genre) matches for a certain character string (surface expression). That is, the number of registrations indicates the number of times of registration (use) in past editing work.
例えばIDが3000のレコードは、文字列(表層表現)が「タイコパス」であり、品詞が名詞であり、読み・アクセント(中間言語)が「タイコパ’ス」である場合を示す。ここで「’」はアクセントの位置を示す中間言語の記号である。後述の提示部5は、「タイコパ’ス」のように表記された中間言語を使用して、読み上げ情報の候補を提示する。
For example, a record with an ID of 3000 shows a case where the character string (surface expression) is “Tycopath”, the part of speech is a noun, and the reading / accent (intermediate language) is “Tycopass”. Here, “′” is an intermediate language symbol indicating the position of the accent. The
またIDが3000のレコードは、モーラ数が5であり、アクセント型が4型であり、種別(ジャンル)がエンタメである場合を示す。またIDが3000のレコードは、登録数が18である場合を示す。ここで登録数の18は、文字列(表層表現)が「タイコパス」について、品詞が名詞であり、読み・アクセント(中間言語)が「タイコパ’ス」であり、モーラ数が5であり、アクセント型が4型であり、種別(ジャンル)がエンタメである組み合わせが設定されている件数を示す。
A record with an ID of 3000 shows a case where the number of mora is 5, the accent type is 4, and the type (genre) is entertainment. A record with
図2の事例DBに示されるように、同一の文字列(表層表現)であっても、種別(ジャンル)によって登録内容が異なる場合がある。 As shown in the case DB of FIG. 2, the registered content may differ depending on the type (genre) even for the same character string (surface expression).
以下、編集対象の文字列(表層表現)の例を挙げながら、読み上げ情報の候補の検索処理について具体的に説明する。 Hereinafter, a search process for candidates for reading information will be specifically described with reference to an example of a character string to be edited (surface expression).
<文字列の区切りに着目する場合>
図3は実施形態の読み上げ情報の候補の検索例(複合語の場合)を示す図である。図3の例は、読み上げ情報の編集対象の文字列が「音声合成」の場合を示す。「音声合成」は、「音声」及び「合成」の複合語である。解析部2は、「音声合成」の文字列の区切りを、形態素の境界に基づいて「|音声|合成|」に決定する。解析部2は、「音声」を解析することにより、モーラ数が4であり、アクセント型が1型であり、品詞が名詞であることを示す解析結果情報を取得する。また解析部2は、「合成」を解析することにより、モーラ数が4であり、アクセント型が0型であり、品詞がサ変名詞であることを示す解析結果情報を取得する。検索部4は、「音声」及び「合成」の解析結果情報に基づく検索条件によって、「音声合成」と同じ属性パターン(「4モーラ1型:名詞」と「4モーラ0型:サ変名詞」との組み合わせ)を有する複合語を取得する。検索部4は、「音声合成」と同じ属性パターンを有する複合語として、例えば「音楽解析」、「音声認識」及び「鉱物合成」等の複合語を取得する。
<When focusing on string delimiters>
FIG. 3 is a diagram illustrating a search example (in the case of a compound word) of candidates for reading information according to the embodiment. The example of FIG. 3 shows a case where the character string to be edited in the reading information is “speech synthesis”. “Speech synthesis” is a compound word of “speech” and “synthesis”. The
<固有表現の種別に着目する場合>
図4は実施形態の読み上げ情報の候補の検索例(同種の固有表現の場合)を示す図である。図4の例は、読み上げ情報の編集対象の文字列が「マグナコトラ」の場合を示す。「マグナコトラ」は固有表現の例である。解析部2は、「マグナコトラ」の文字列の区切りを、形態素の境界に基づいて「|マグナコトラ|」に決定する。解析部2は、「マグナコトラ」を解析することにより、モーラ数が6であり、アクセント型が0型であり、品詞が名詞であり、取得元の文書の種別(ジャンル)がアニメ・ゲームであることを示す解析結果情報を取得する。検索部4は、「マグナコトラ」の解析結果情報に基づく検索条件によって、「マグナコトラ」と同じ属性パターン(「6モーラ」と「アニメ・ゲーム」と「固有表現」の組み合わせ)を有する文字列を取得する。検索部4は、「マグナコトラ」と同じ属性パターンを有する文字列として、例えば「バルマニオン」、「モドカモギカ」及び「ララノアゾラ」等の固有表現を取得する。
<When focusing on the types of specific expressions>
FIG. 4 is a diagram illustrating a search example of candidates for reading information according to the embodiment (in the case of the same kind of specific expression). The example of FIG. 4 shows a case where the character string to be edited in the reading information is “Magnacotra”. “Magnacotra” is an example of a proper expression. The
図4の例のように、実施形態の編集支援装置100は、編集対象の文字列を含む文書が、明示的な分野及び専門の区別等を示す種別(ジャンル)を有する場合、同じ種別(ジャンル)の文書に含まれる文字列のうち、特徴的な固有表現を、編集対象の文字列の読み上げ情報の候補として枚挙することができる。
As in the example of FIG. 4, the
<類似度に着目する場合>
類似度に着目する場合、検索部4は、読み上げ情報の編集対象の文字列と、類似度が高い文字列の読み上げ情報を検索する。なお類似度の具体的な与え方は任意でよい。
<When focusing on similarity>
When paying attention to the degree of similarity, the
類似度は、例えば所定の文字及び記号(長音、促音、撥音及び拗音等)に重みが付けられた文字列距離でもよい。重みが付けられた文字列距離は、例えば長音、促音、撥音及び拗音が一致する場合の距離を0、長音、促音、撥音及び拗音以外の文字及び記号が一致する場合の距離を1、文字及び記号が一致しない場合を2とする。この場合、例えば「まっさん」と「おっさん」の類似度は、2+0+1+0=3となる。また例えば「まっさん」と「まーさる」の類似度は、1+2+1+2=6となる。重みが付けられた文字列距離により、「おっさん」と「まーさる」は、どちらも編集対象の文字列「まっさん」と2文字が一致しているが、促音及び撥音が一致している「おっさん」の類似度が「まーさる」の類似度よりも高くなる。検索部4は、編集対象の文字列との類似度が閾値以下の文字列を含む情報を生成部3に入力する。
The similarity may be, for example, a character string distance in which weights are given to predetermined characters and symbols (long sound, prompting sound, repelling sound, roaring sound, etc.). The weighted character string distance is, for example, 0 when the long sound, prompt sound, repelling sound, and stuttering match, 1 when the character and symbol other than the long sound, sounding sound, repelling sound, and stuttering match, If the symbols do not match, 2 is assumed. In this case, for example, the similarity between “Masan” and “Osan” is 2 + 0 + 1 + 0 = 3. For example, the degree of similarity between “Masan” and “Masaru” is 1 + 2 + 1 + 2 = 6. Depending on the weighted character string distance, “Osan” and “Masaru” both match the character string “Masan” to be edited, but the sound and sound repellent match. The similarity of “Osan” is higher than the similarity of “Masaru”. The
なお検索部4は、文字列距離の閾値判定を行わずに文字列同士の類似度を判定してもよい。例えば編集対象の文字列に所定の文字及び記号(長音、促音、撥音及び拗音等)が含まれている場合は、検索部4が、編集対象の文字列との類似度が高い文字列として、所定の文字及び記号の位置が、編集対象の文字列に含まれる所定の文字及び記号の位置と一致している文字列を検索してもよい。
The
図5Aは実施形態の読み上げ情報の候補の検索例(長音を含む場合)を示す図である。図5Aの例は、読み上げ情報の編集対象の文字列が長音「−」を含む「アナーキスト」の場合を示す。解析部2は、「アナーキスト」の文字列の区切りを、形態素の境界に基づいて「|アナーキスト|」に決定する。解析部2は、「アナーキスト」を解析することにより、モーラ数が5であり、アクセント型が0型であり、品詞が名詞であることを示す解析結果情報を取得する。検索部4は、「アナーキスト」の解析結果情報に基づく検索条件によって、「アナーキスト」と同じ属性パターン(「5モーラ」と「3文字目が長音」との組み合わせ)を有する文字列を取得する。検索部4は、「アナーキスト」と同じ属性パターンを有する文字列として、例えば「サニーラトル」及び「アミーリアス」等の文字列を取得する。
FIG. 5A is a diagram illustrating a search example (when a long sound is included) of reading-out information candidates according to the embodiment. The example of FIG. 5A shows a case where the character string to be edited in the reading information is an “anarchist” including a long sound “−”. The
図5Bは実施形態の読み上げ情報の候補の検索例(促音及び撥音を含む場合)を示す図である。図5Bの例は、読み上げ情報の編集対象の文字列が促音「っ」及び撥音「ん」を含む「まっさん」の場合を示す。解析部2は、「まっさん」の文字列の区切りを、形態素の境界に基づいて「|まっさん|」に決定する。解析部2は、「まっさん」を解析することにより、モーラ数が3であり、アクセント型が0型であり、品詞が名詞であることを示す解析結果情報を取得する。検索部4は、「まっさん」の解析結果情報に基づく検索条件によって、「まっさん」と同じ属性パターン(「3モーラ」と「2文字目が促音」と「4文字目が撥音」の組み合わせ)を有する文字列を取得する。検索部4は、「まっさん」と同じ属性パターンを有する文字列として、例えば「おっさん」、「はっさん」及び「よっさん」等の文字列を取得する。
FIG. 5B is a diagram illustrating a search example of candidates for reading information according to the embodiment (in the case of including a prompt sound and a sound repellent). The example of FIG. 5B shows a case where the character string to be edited in the reading information is “masan” including the prompt sound “tsu” and the sound repellent “n”. The
<固有表現の一般性に着目する場合>
図6は実施形態の読み上げ情報の候補の検索例(一般的な語でない場合)を示す図である。図6の例は、読み上げ情報の編集対象の文字列が「嵯峨螺鈿(さがらでん)」の場合を示す。解析部2は、「嵯峨螺鈿」の文字列の区切りを、形態素の境界に基づいて「|嵯峨螺鈿|」に決定する。解析部2は、「嵯峨螺鈿」を解析することにより、モーラ数が5であり、アクセント型が0型であり、品詞が一般的でない名詞であることを示す解析結果情報を取得する。検索部4は、「嵯峨螺鈿」の解析結果情報に基づく検索条件によって、「嵯峨螺鈿」と同じ5モーラであり、かつ、一般的な名詞の属性を有する文字列を、代替語として取得する。検索部4は、「嵯峨螺鈿」の代替語として、例えば「あいうえお」、「あくせんと(アクセント)」、「あかいいし(赤い石)」及び「あかえぼし(赤烏帽子)」等の文字列を取得する。
<When focusing on the generality of specific expressions>
FIG. 6 is a diagram illustrating a search example (when not a general word) of reading information candidates according to the embodiment. The example of FIG. 6 shows a case where the character string to be edited in the reading information is “Saraden”. The
図1に戻り、生成部3は、検索部4から検索結果情報を受け付けると、当該検索結果情報を提示部5に入力する。なお生成部3は、1つの編集対象の文字列に対して、複数の観点から読み上げ情報の候補を検索できる場合、複数の検索結果情報を提示部5に入力する。例えば解析部2が、上述の「嵯峨螺鈿」が、「嵯峨」及び「螺鈿」の複合語である可能性があるとも解析した場合、検索部3は、文字列の区切りに着目した検索結果情報も取得する。また「螺鈿」は、伝統工芸に用いられる装飾技法なので、「嵯峨螺鈿」の取得元の文書の種別が「伝統工芸」等により明示されていれば、検索部3は固有表現の種別に着目した検索結果情報も取得する。また更に、検索部3は、「嵯峨螺鈿」との類似度の高さに着目した検索結果情報も取得することもできる。
Returning to FIG. 1, upon receiving the search result information from the
次に提示部5について説明する。提示部5は、解析部2から上述の推定読み情報を受け付けると、読み上げ情報の編集対象の文字列の読みを少なくとも1つ提示する。提示部5は、読み上げ情報の編集対象の文字列の読みの候補が複数ある場合、例えばドロップダウンリスト等により複数の読みを提示する。また入力部1が、読み「たいこぱす」の表記の右側にあるボタン206の押下を示す入力を受け付けると、音声合成部7により音声合成が行われ、音声出力部8から音声合成された音声が出力される。また提示部5は、解析部2により推定された読み上げ情報の編集対象の文字列の読みの候補に適切なものがない場合、読み上げ情報の編集対象の文字列の読みの入力を受け付ける。
Next, the
また提示部5は、読み上げ情報の編集対象の文字列の読みが確定ボタン207により確定された後、生成部3から1以上の検索結果情報を受け付け、当該検索結果情報に含まれる読み上げ情報の候補を提示する。
The
図7は実施形態の読み上げ情報の候補を提示するGUI(Graphical User Interface)の例を示す図である。図7の例は、読み上げ情報の編集対象の文字列が「タイコパス」の場合を示す。「タイコパス」を含む文書201が表示されている状態で、入力部1により「タイコパス」が選択されると、「タイコパス」の読み「たいこぱす」が確定された後、GUI202、GUI203及びGUI204のいずれか1つを介して、「タイコパス」の読み上げ情報の候補が提示される。はじめに表示されるGUIは、編集支援装置100の初期設定等に応じて決定される。またGUI202、GUI203及びGUI203の切り替えは、例えばマウスによるカーソル移動及び選択、並びに、液晶タッチパネルのタップ等の操作により切り替えることができる。
FIG. 7 is a diagram illustrating an example of a GUI (Graphical User Interface) that presents candidates for reading information according to the embodiment. The example of FIG. 7 shows a case where the character string to be edited in the reading information is “Tycopath”. When “Tychopath” is selected by the
GUI202は第1の提示形式により、編集対象の文字列の読み上げ情報の候補を提示する。第1の提示形式は、編集対象の文字列のモーラ数と同じモーラ数を有する文字列の読み上げ情報を複数、提示する提示形式である。第1の提示形式では、上述の図3〜図6で得られた検索結果を利用して読み上げ情報の候補が提示される。
The
記号205は、アクセントの位置を示すアクセント記号である。なおアクセントの位置を示す方法は任意でよい。アクセントの位置は、例えば文字列の上下等に付与されたライン、文字位置の高低、及び、文字サイズの大小等により明示してもよい。
A
図7の例は、「タイコパス」とモーラ数が同じ5モーラの文字列のうち、アクセント型が3型の「ラフレシレ」、アクセント型が1型の「さいきゆき」、アクセント型が4型の「メンチカツ」、アクセント型が2型の「サカシオン」、及び、アクセント型が0型の「フシギソウ」が提示される場合を示す。 In the example of FIG. 7, among the 5 mora character strings having the same number of mora as “Tycopath”, the accent type is “Rafresile”, the accent type is “1”, “Yuki Saiki”, and the accent type is “4”. A case is shown in which “Mentikatsu”, “Sakashion” with an accent type of 2, and “Fushigiso” with an accent type of 0 are presented.
なお、検索部4により異なる検索条件により取得された複数の検索結果情報が得られている場合、一度に提示される読み上げ情報の候補の提示方法は任意でよい。例えば提示部5は、各検索結果情報から代表例を取得することにより、異なる検索条件により得られた読み上げ情報の候補を混在させて提示してもよいし、別々のカテゴリ(GUI202a、GUI202b、GUI202c、・・・)として検索条件毎に読み上げ情報の候補を提示してもよい。
In addition, when the
入力部1が、例えば「ラフレシレ」の表記の右側にあるボタン206の押下を示す入力を受け付けると、音声合成部7によりアクセント型が3型の「ラフレシレ」の音声合成が行われ、音声出力部8から音声合成された音声が出力される。ボタン206の押下を示す入力は、例えば「ラフレシレ」が選択されている状態でスペースキーの押下、及び、カーソルキーによるボタン206の押し下げ等である。ユーザはアクセントの視覚的な情報だけでなく、他の文字列の読み上げ情報の音声を参考にすることができるので、簡単な操作で、感覚的にアクセント型の正否を判定することができる。
For example, when the
GUI203は第2の提示形式により、編集対象の文字列の読み上げ情報の候補を提示する。第2の提示形式は、編集対象の文字列の読み上げ情報の履歴に基づく読み上げ情報の候補を提示する。具体的には、提示部5は、過去に記憶部101の事例DBに記憶された編集対象の文字列の読み上げ情報を、検索部4を介して取得し、登録数が多い順に提示する。図7の例では、アクセント型が4型の「タイコパス」の登録数が18件であり、アクセント型が3型の「タイコパス」が4件であり、アクセント型が1型の「タイコパス」の登録数が2件である場合を示す。
The
GUI204は第3の提示形式により、編集対象の文字列の読み上げ情報の候補を提示する。第3の提示形式は、編集対象の文字列が取り得る全てのアクセント型を示す複数の読み上げ情報を提示する。図7の例は、アクセント型が1型の「タイコパス」、アクセント型が2型の「タイコパス」、アクセント型が3型の「タイコパス」、アクセント型が4型の「タイコパス」、及び、アクセント型が0型の「タイコパス」が提示される場合を示す。なお提示部5は、登録数が最も多いアクセント型の「タイコパス」の文字種及び色等を変更することにより、他のアクセント型の「タイコパス」との区別が容易になるような視覚的装飾をしてもよい。
The
図1に戻り、記憶制御部6は、複数の読み上げ情報の候補から読み上げ情報が選択された場合、当該読み上げ情報が示すアクセント型と同じアクセント型と、編集対象の文字列の読みと、を含む読み上げ情報、及び、編集対象の文字列を関連付けて記憶部101の事例DBに記憶する。このとき記憶制御部6は、読み・アクセント(中間言語)、モーラ数、アクセント型及び種別(ジャンル)の組み合わせが、過去に記憶されている既存の組み合わせと一致する場合、新規にレコードを作成せずに、登録数をインクリメントする。記憶制御部6は、読み・アクセント(中間言語)、モーラ数、アクセント型及び種別(ジャンル)の組み合わせが、過去に記憶されている既存の組み合わせと一致しない場合、新規にレコードを作成し、当該レコードの登録数を1に設定する。
Returning to FIG. 1, when the reading information is selected from a plurality of reading information candidates, the
音声合成部7は、GUI202〜204を介して、読み上げ情報の候補の音声の出力を示す入力を受け付けた場合、当該読み上げ情報に基づく音声合成を行う。音声出力部8は、音声合成部7により合成された音声を出力する。読み上げ情報を人手で修正する従来の方法では、読み及びアクセント等を指定する専用の記法の習得が必要である。また複合語及びフレーズ等に対しては、アクセント句の分割及び結合に関する知識も必要である。実施形態の編集支援装置100では、音声合成部7及び音声出力部8を備えることにより、専用の記法等を習得していないユーザであっても、音声を聞きながら、読み上げ情報の編集作業を行うことができる。
When the speech synthesizer 7 receives an input indicating the output of the speech of a candidate for reading information via the
次に実施形態の編集支援方法の例について説明する。 Next, an example of the editing support method of the embodiment will be described.
図8は実施形態の編集支援方法の例を示すフローチャートである。はじめに、入力部1が、読み上げ情報(読み及びアクセント)の編集対象の文字列(表層表現)の選択を示す入力を受け付ける(ステップS1)。次に、提示部5が、解析部2により推定された編集対象の文字列の読みの候補を提示する(ステップS2)。提示部5は、読みの候補が複数ある場合、ドロップダウンリスト等により複数の読みの候補を提示する。
FIG. 8 is a flowchart illustrating an example of the editing support method according to the embodiment. First, the
次に、提示部5が、読みの候補の音声を出力するボタン206の押下を示す入力を受け付けたか否かを判定する(ステップS3)。読みの候補の音声を出力するボタン206の押下を示す入力を受け付けた場合(ステップS3、Yes)、音声出力部8が、音声合成部7により合成された音声を出力する(ステップS4)。読みの候補の音声を出力するボタン206の押下を示す入力を受け付けなかった場合(ステップS3、No)、処理はステップS5に進む。
Next, it is determined whether or not the
次に、提示部5が、読みの候補を確定するボタン207の押下を示す入力を受け付けたか否かを判定する(ステップS5)。読みの候補を確定するボタン207の押下を示す入力を受け付けた場合(ステップS5、Yes)、解析部2が、読み上げ情報の編集対象の文字列を解析する(ステップS6)。読みの候補を確定するボタン207の押下を示す入力を受け付けなかった場合(ステップS5、No)、処理はステップS2に戻る。
Next, it is determined whether or not the
次に、生成部3が、解析部2により得られた解析結果情報に基づいて、編集対象の文字列の読み上げ情報の候補を生成する(ステップS7)。次に、提示部5が、上述のGUI202〜204(図7参照)のうち、初期設定等により定められたGUIにより、読み上げ情報の候補を提示する(ステップS8)。
Next, based on the analysis result information obtained by the
次に、提示部5が、読み上げ情報の候補の音声を出力するボタン206の押下を示す入力を受け付けたか否かを判定する(ステップS9)。読み上げ情報の候補の音声を出力するボタン206の押下を示す入力を受け付けた場合(ステップS9、Yes)、音声出力部8が、音声合成部7により合成された音声を出力する(ステップS10)。読み上げ情報の候補の音声を出力するボタン206の押下を示す入力を受け付けなかった場合(ステップS9、No)、処理はステップS11に進む。
Next, it is determined whether or not the
次に、提示部5が、複数の読み上げ情報の候補から、読み上げ情報を1つ選択する操作を受け付けたか否かにより、アクセントの確定が行われたか否かを判定する(ステップS11)。
Next, the
アクセントの確定が行われなかった場合(ステップS11、No)、提示部5が、読み上げ情報の候補を提示するGUIの切り替えを示す入力を受け付けたか否かを判定する(ステップS12)。GUIの切り替えを示す入力を受け付けなかった場合(ステップS12、No)、処理はステップS8に戻る。GUIの切り替えを示す入力を受け付けた場合(ステップS12、Yes)、提示部5が、ユーザに提示する読み上げ情報の候補を、別の検索条件により取得された読み上げ情報の候補に切り替え(ステップS13)、処理はステップS8に戻る。
When the confirmation of the accent has not been performed (No at Step S11), the
アクセントの確定が行われた場合(ステップS11、Yes)、記憶制御部6が、ステップS11で複数の読み上げ情報の候補から選択された読み上げ情報が示すアクセント型と同じアクセント型と、ステップS5で確定された編集対象の文字列の読みと、を含む読み上げ情報、及び、ステップS1で選択された編集対象の文字列を関連付けて記憶部101の事例DBに記憶する(ステップS14)。
When the accent is confirmed (Yes in step S11), the
最後に実施形態の編集支援装置100のハードウェア構成の例について説明する。
Finally, an example of a hardware configuration of the
図9は実施形態の編集支援装置100のハードウェア構成の例を示す図である。実施形態の編集支援装置100は、制御装置301、主記憶装置302、補助記憶装置303、表示装置304、入力装置305、通信装置306及びスピーカー307を備える。制御装置301、主記憶装置302、補助記憶装置303、表示装置304、入力装置305、通信装置306及びスピーカー307は、バス310を介して接続されている。
FIG. 9 is a diagram illustrating an example of a hardware configuration of the
制御装置301は補助記憶装置303から主記憶装置302に読み出されたプログラムを実行する。主記憶装置302はROM及びRAM等のメモリである。補助記憶装置303はメモリカード及びSSD(Solid State Drive)等である。
The
表示装置304は情報を表示する。表示装置304は、例えば液晶ディスプレイである。入力装置305は、情報の入力を受け付ける。入力装置305は、例えばキーボード及びマウス等である。なお表示装置304及び入力装置305は、表示機能と入力機能とを兼ねる液晶タッチパネル等でもよい。通信装置306は他の装置と通信する。スピーカー307は音声を出力する。
The
実施形態の編集支援装置100で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、メモリカード、CD−R及びDVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータ・プログラム・プロダクトとして提供される。
A program executed by the
また実施形態の編集支援装置100で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また実施形態の編集支援装置100が実行するプログラムを、ダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。
In addition, the program executed by the
また実施形態の編集支援装置100で実行されるプログラムを、ROM等に予め組み込んで提供するように構成してもよい。
Further, the program executed by the
実施形態の編集支援装置100で実行されるプログラムは、上述の実施形態の編集支援装置100の機能構成のうち、プログラムにより実現可能な機能を含むモジュール構成となっている。
The program executed by the
プログラムにより実現される機能は、制御装置301が補助記憶装置303等の記憶媒体からプログラムを読み出して実行することにより、プログラムにより実現される機能が主記憶装置302にロードされる。すなわちプログラムにより実現される機能は、主記憶装置302上に生成される。
Functions realized by the program are loaded into the
なお実施形態の編集支援装置100の機能の一部又は全部を、IC(Integrated Circuit)等のハードウェアにより実現してもよい。
Note that part or all of the functions of the
以上説明したように、実施形態の編集支援装置100では、ユーザは、編集対象の文字列の読み上げ情報(読み及びアクセント型)を確定する際に、当該文字列に関連する他の文字列の読み上げ情報の候補を横断的に切り替え、必要に応じて実際に音声を聞くことができる。また確定された読み上げ情報を記憶部101に蓄積することができる。これによりユーザは、ユーザのスキルに応じて、所望の音声を示す読上げ情報をより簡単に得ることができる。
As described above, in the
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
1 入力部
2 解析部
3 生成部
4 検索部
5 提示部
6 記憶制御部
7 音声合成部
8 音声出力部
100 編集支援装置
101 記憶部
301 制御装置
302 主記憶装置
303 補助記憶装置
304 表示装置
305 入力装置
306 通信装置
307 スピーカー
310 バス
DESCRIPTION OF
Claims (15)
編集対象の文字列を解析することにより、前記編集対象の文字列のモーラ数を取得する解析部と、
前記編集対象の文字列のモーラ数と同じモーラ数を有する文字列の前記読み上げ情報を複数、提示する第1の提示形式により、前記編集対象の文字列の前記読み上げ情報の候補を提示する提示部と、
複数の前記読み上げ情報の候補から選択された前記読み上げ情報が示すアクセント型と同じアクセント型と、前記編集対象の文字列の読みと、を含む前記読み上げ情報、及び、前記編集対象の文字列を関連付けて前記記憶部に記憶する記憶制御部と、
を備える編集支援装置。 A storage unit for storing a character string and reading information including a reading and an accent type of the character string;
An analysis unit that obtains the number of mora of the edit target character string by analyzing the edit target character string;
A presentation unit for presenting candidates for the reading information of the character string to be edited in a first presentation format for presenting a plurality of the reading information of the character string having the same number of mora as the number of mora of the character string to be edited When,
Associating the reading information including the same accent type as the accent type indicated by the reading information selected from a plurality of reading information candidates and the reading of the character string to be edited, and the character string to be edited A storage control unit for storing in the storage unit;
An editing support apparatus comprising:
音声合成された音声を出力する音声出力部と、
を更に備える請求項1に記載の編集支援装置。 A speech synthesizer that performs speech synthesis based on the reading information selected from the reading information candidates;
A voice output unit that outputs the synthesized voice;
The editing support apparatus according to claim 1, further comprising:
請求項1に記載の編集支援装置。 The candidates for the plurality of reading information include reading information of a plurality of character strings having the same number of mora as the character string to be edited and having different accent types.
The editing support apparatus according to claim 1.
前記提示部は、前記編集対象の文字列の前記読み上げ情報の候補として、前記編集対象の文字列と同じモーラ数を有し、かつ、前記編集対象の文字列との類似度が閾値以下の文字列を提示する、
請求項1に記載の編集支援装置。 A search unit for searching for a character string having the same number of mora as the edit target character string and having a similarity to the edit target character string equal to or less than a threshold;
The presenting unit has the same number of mora as the editing target character string as a candidate for the reading information of the editing target character string, and has a similarity with the editing target character string equal to or less than a threshold value. Present columns,
The editing support apparatus according to claim 1.
請求項4に記載の編集支援装置。 The similarity is weighted such that the position of a predetermined character and symbol matches the position of the predetermined character and symbol included in the character string to be edited. ing,
The editing support apparatus according to claim 4.
請求項5に記載の編集支援装置。 The predetermined characters and symbols include at least one of a long sound, a prompt sound, a repelling sound, and a roaring sound.
The editing support apparatus according to claim 5.
前記解析部は、前記編集対象の文字列の区切り位置を更に取得し、
前記複数の読み上げ情報の候補は、前記編集対象の文字列と同じモーラ数を有し、かつ、編集対象の文字列の区切り位置と同じ区切り位置を有する読み上げ情報を含む、
請求項1に記載の編集支援装置。 The storage unit further stores the character string break position in association with each other,
The analysis unit further obtains a break position of the character string to be edited,
The plurality of read-out information candidates include read-out information having the same number of mora as the edit target character string and having the same delimiter position as the edit target character string delimiter,
The editing support apparatus according to claim 1.
前記解析部は、前記編集対象の文字列の取得元の文書の種別を更に取得し、
前記提示部は、前記編集対象の文字列の前記読み上げ情報の候補として、前記編集対象の文字列の取得元の文書の種別と同じ種別の文字列のうち、前記編集対象の文字列のモーラ数と同じモーラ数を有する文字列の前記読み上げ情報を複数、提示する、
請求項1に記載の編集支援装置。 The storage unit further stores the type of document from which the character string is acquired in association with each other,
The analysis unit further acquires the type of document from which the character string to be edited is acquired,
The presenting unit, as a candidate for the reading information of the character string to be edited, includes the number of mora of the character string to be edited among the character strings of the same type as the type of the document from which the character string to be edited is acquired. Presenting a plurality of the reading information of the character string having the same number of mora as
The editing support apparatus according to claim 1.
請求項1に記載の編集支援装置。 The presenting unit further includes a second presentation format that presents candidates for the reading information based on the reading information history of the character string to be edited, and when the second presentation format is selected, Presenting the read-out information of the character string to be edited stored in the storage unit in descending order;
The editing support apparatus according to claim 1.
請求項1に記載の編集支援装置。 The presenting unit further includes a third presenting format that presents a plurality of the reading information indicating all accent types that can be taken by the character string to be edited, and when the third presenting format is selected, Presenting a plurality of the reading information indicating all accent types that can be taken by the character string to be edited as candidates,
The editing support apparatus according to claim 1.
請求項1に記載の編集支援装置。 The presentation unit includes a second presentation format of the reading information based on a reading information history of the character string to be edited, and a plurality of reading information indicating all accent types that the character string to be edited can take. A third presentation format, and by simultaneously applying two or more presentation formats of the first presentation format, the second presentation format, and the third presentation format, the editing Present candidate reading information for the target string,
The editing support apparatus according to claim 1.
請求項1に記載の編集支援装置。 The presenting unit selects candidates for the reading information having the same accent type as the accent type included in the reading information having the largest number among the reading information of the character string to be edited previously stored in the storage unit. To emphasize,
The editing support apparatus according to claim 1.
請求項1に記載の編集支援装置。 The presenting unit switches and presents the read-out information candidates searched by the different search conditions from the storage unit according to a user operation.
The editing support apparatus according to claim 1.
編集支援装置が、編集対象の文字列を解析することにより、前記編集対象の文字列のモーラ数を取得するステップと、
編集支援装置が、前記編集対象の文字列のモーラ数と同じモーラ数を有する文字列の前記読み上げ情報を複数、提示する第1の提示形式により、前記編集対象の文字列の前記読み上げ情報の候補を提示するステップと、
編集支援装置が、複数の前記読み上げ情報の候補から選択された前記読み上げ情報が示すアクセント型と同じアクセント型と、前記編集対象の文字列の読みと、を含む前記読み上げ情報、及び、前記編集対象の文字列を関連付けて前記記憶部に記憶するステップと、
を含む編集支援方法。 An editing support method of an editing support apparatus comprising a storage unit for storing a character string and reading information including a reading of the character string and an accent type,
The editing support device analyzing the character string to be edited to obtain the number of mora of the character string to be edited;
In the first presentation format in which the editing support apparatus presents a plurality of the reading information of the character string having the same number of mora as the number of mora of the character string to be edited, the candidate of the reading information of the character string to be edited Presenting steps,
The editing support apparatus includes the reading information including the same accent type as the accent type indicated by the reading information selected from the plurality of reading information candidates, and reading the character string to be edited, and the editing target. And storing the character string in the storage unit in association with each other,
Editing support method including
編集対象の文字列を解析することにより、前記編集対象の文字列のモーラ数を取得する解析部と、
前記編集対象の文字列のモーラ数と同じモーラ数を有する文字列の前記読み上げ情報を複数、提示する第1の提示形式により、前記編集対象の文字列の前記読み上げ情報の候補を提示する提示部と、
複数の前記読み上げ情報の候補から選択された前記読み上げ情報が示すアクセント型と同じアクセント型と、前記編集対象の文字列の読みと、を含む前記読み上げ情報、及び、前記編集対象の文字列を関連付けて前記記憶部に記憶する記憶制御部、
として機能させるためのプログラム。 A computer comprising a storage unit for storing a character string and reading information including a reading of the character string and an accent type,
An analysis unit that obtains the number of mora of the edit target character string by analyzing the edit target character string;
A presentation unit for presenting candidates for the reading information of the character string to be edited in a first presentation format for presenting a plurality of the reading information of the character string having the same number of mora as the number of mora of the character string to be edited When,
Associating the reading information including the same accent type as the accent type indicated by the reading information selected from a plurality of reading information candidates and the reading of the character string to be edited, and the character string to be edited A storage control unit for storing in the storage unit,
Program to function as.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015182111A JP6567372B2 (en) | 2015-09-15 | 2015-09-15 | Editing support apparatus, editing support method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015182111A JP6567372B2 (en) | 2015-09-15 | 2015-09-15 | Editing support apparatus, editing support method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017058472A true JP2017058472A (en) | 2017-03-23 |
JP6567372B2 JP6567372B2 (en) | 2019-08-28 |
Family
ID=58390113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015182111A Active JP6567372B2 (en) | 2015-09-15 | 2015-09-15 | Editing support apparatus, editing support method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6567372B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1185192A (en) * | 1997-09-12 | 1999-03-30 | Matsushita Electric Ind Co Ltd | Speech synthesis method and apparatus therefor |
JP2001034283A (en) * | 1999-07-23 | 2001-02-09 | Konami Co Ltd | Voice synthesizing method, voice synthesizer and computer readable medium recorded with voice synthesis program |
JP2004151324A (en) * | 2002-10-30 | 2004-05-27 | Nippon Hoso Kyokai <Nhk> | Voice synthesis database correction method, voice synthesis database correction device, and voice synthesis database correction program |
JP2006030326A (en) * | 2004-07-13 | 2006-02-02 | Hitachi Ltd | Speech synthesizer |
-
2015
- 2015-09-15 JP JP2015182111A patent/JP6567372B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1185192A (en) * | 1997-09-12 | 1999-03-30 | Matsushita Electric Ind Co Ltd | Speech synthesis method and apparatus therefor |
JP2001034283A (en) * | 1999-07-23 | 2001-02-09 | Konami Co Ltd | Voice synthesizing method, voice synthesizer and computer readable medium recorded with voice synthesis program |
JP2004151324A (en) * | 2002-10-30 | 2004-05-27 | Nippon Hoso Kyokai <Nhk> | Voice synthesis database correction method, voice synthesis database correction device, and voice synthesis database correction program |
JP2006030326A (en) * | 2004-07-13 | 2006-02-02 | Hitachi Ltd | Speech synthesizer |
Also Published As
Publication number | Publication date |
---|---|
JP6567372B2 (en) | 2019-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8355919B2 (en) | Systems and methods for text normalization for text to speech synthesis | |
US8396714B2 (en) | Systems and methods for concatenation of words in text to speech synthesis | |
US8583418B2 (en) | Systems and methods of detecting language and natural language strings for text to speech synthesis | |
US8352272B2 (en) | Systems and methods for text to speech synthesis | |
US8352268B2 (en) | Systems and methods for selective rate of speech and speech preferences for text to speech synthesis | |
US8712776B2 (en) | Systems and methods for selective text to speech synthesis | |
US20100082327A1 (en) | Systems and methods for mapping phonemes for text to speech synthesis | |
US20100082328A1 (en) | Systems and methods for speech preprocessing in text to speech synthesis | |
KR101265263B1 (en) | Method and system for name matching using phonetic sign and computer readable medium recording the method | |
US20170206800A1 (en) | Electronic Reading Device | |
TW200900967A (en) | Multi-mode input method editor | |
JP6678545B2 (en) | Correction system, correction method and program | |
KR20170057623A (en) | An apparatus for the linguistically disabled to synthesize the pronunciation and the script of words of a plural of designated languages | |
JP7117629B2 (en) | translation device | |
JP5642037B2 (en) | SEARCH DEVICE, SEARCH METHOD, AND PROGRAM | |
JP2008186376A (en) | Voice output device and voice output program | |
JP6567372B2 (en) | Editing support apparatus, editing support method, and program | |
JP5533377B2 (en) | Speech synthesis apparatus, speech synthesis program, and speech synthesis method | |
JP6304396B2 (en) | Presentation support method, presentation support program, and presentation support apparatus | |
JP4622861B2 (en) | Voice input system, voice input method, and voice input program | |
JP2004171174A (en) | Device and program for reading text aloud, and recording medium | |
JP2007171275A (en) | Language processor and language processing method | |
KR20090054616A (en) | Search method of a voice terminal using guide word | |
JP2006047866A (en) | Electronic dictionary device and control method thereof | |
JP2005173731A (en) | Contents condensation device, method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20151102 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180131 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190108 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190508 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190731 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6567372 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |