JP2020052779A - 学習データ作成装置並びに分類モデル学習装置及びカテゴリ付与装置 - Google Patents
学習データ作成装置並びに分類モデル学習装置及びカテゴリ付与装置 Download PDFInfo
- Publication number
- JP2020052779A JP2020052779A JP2018182028A JP2018182028A JP2020052779A JP 2020052779 A JP2020052779 A JP 2020052779A JP 2018182028 A JP2018182028 A JP 2018182028A JP 2018182028 A JP2018182028 A JP 2018182028A JP 2020052779 A JP2020052779 A JP 2020052779A
- Authority
- JP
- Japan
- Prior art keywords
- noun
- category
- unit
- learning data
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
(手順1)固有名詞を抽出(人手あるいは、コーパスを用いた自動抽出)する。
(手順2)手順1で抽出された固有名詞に対して、カテゴリ体系に基づく人手によるカテゴリ付与し、学習データを作成する。
(手順3)手順2のデータを用いて機械学習による固有名詞自動分類器を構築する。
図示する通り、ユーザ等が学習データの取得対象として指定する名詞Wは検索部1及び仮付与部2へと入力される。検索部1では、所与のテキストコーパスを参照して、当該指定された名詞Wが含まれている用例EX(W,i)を検索して取得し、当該取得した用例EX(W,i)を合成部3、評価部5及び出力部6へと出力する。なお、当該参照するテキストコーパスは、少なくともプレーンテキストとしての情報を有するデータベースであればよいが、その他の各種の属性等の情報(例えば品詞の情報など)がさらに付与されたデータベースであってもよい。
仮付与部2では、ユーザ指定の名詞Wに関して、インデクスj=1,2,3,…でそれぞれ指定される所定の複数のカテゴリC(W,j)を仮のものとして付与して、当該仮付与されたカテゴリC(W,j)を合成部3へと出力する。ここで、当該仮に付与される複数のカテゴリC(W,j)の中から、後述する出力部6において学習データとして名詞Wを含む用例EX(W,i)における名詞Wのカテゴリが決定されることから、仮付与部2では「仮」付与するものである。すなわち、仮付与部2で仮付与する各カテゴリは、最終的に出力される学習データにおけるカテゴリの候補となるものである。
合成部3では、検索部1より得たテキストコーパス内の用例EX(W,i)を、クラスベースの言語モデルを用いることにより、仮付与部2より得た仮のカテゴリC(W,j)のそれぞれのもとにおいて音声合成することで、各カテゴリC(W,j)における合成音声SP(W,i,j)を得て、当該合成音声SP(W,i,j)を音声データとして評価部4へと出力する。ここで、合成部3におけるクラスベースの音声合成には任意の既存手法を用いてよく、例えば、前掲の非特許文献3や4などの手法を用いることができる。例えば非特許文献3では、テキスト解析処理によって読み韻律情報を得たうえで、読み韻律情報に対して音声合成処理を行うことで合成音声を得ている。ここで、テキスト解析処理は、形態素解析、読み付与、アクセント付与、音調結合型付与によって構成され、音声合成処理は、韻律パラメータ生成、音素辺選択、音素辺接続によって構成される。
[URL]http://research.nii.ac.jp/src/ATR503.html
認識部4では、合成部3から音声データとして得た各カテゴリC(W,j)における合成音声SP(W,i,j)に対して音声認識処理を行い、認識結果としての各カテゴリC(W,j)における認識テキストT(W,i,j)を評価部5へと出力する。認識部4における音声認識処理には任意の既存手法を用いてよく、クラスベースではない音声認識の手法を用いてもよいし、前掲の非特許文献5のようなクラスベースの音声認識の手法を用いるようにしてもよい。
T(1,1,1):「ヒルトン札幌ホテルに泊まっています。」
T(1,1,2):「ヒルトンサッポロホテルに泊まっています。」
T(1,1,3):「ヒルトン札幌ホテルに止まっています。」
評価部5では、認識部4から得た認識結果としての各カテゴリC(W,j)における認識テキストT(W,i,j)を、検索部1から得たこれに対応する元のテキスト用例EX(W,i)を正解の認識結果として利用することによって評価し、その評価値として得られた各カテゴリC(W,j)におけるスコアSC(W,j)を出力部6へと出力する。
SC(W,j)=SWER
SWER=(Sh+Dh+Ih)/r
ここで、rとhはそれぞれ正解(すなわち元の用例EX(W,i))と合成音声の認識テキストT(W,i,j)とに含まれる単語数を表し、Sh,Dh,Ihは正解EX(W,i)と認識テキストT(W,i,j)とを比較した際の誤った単語数をそれぞれ、置換した単語数、削除した単語数、挿入した単語数として表すものである。
出力部6は、評価部5より得たカテゴリC(W,j)毎のスコアSC(W,i,j)を最大にするもののカテゴリのインデクスj=j_maxを求めることにより、ユーザ指定された名詞Wと、対応する当該スコア最大値を与えるカテゴリC(W,j_max)と、対応する用例EX (W,i)と、を紐づけて、学習データ作成装置10からの最終的な結果としての学習データW,C(W,j_max),EX(W,i)を出力する。なお、最大スコアを与えるカテゴリのインデクスj=j_maxは式で書けば以下の通りである。
学習部7は、図示する通り、学習データ作成装置10の作成した学習データW,C(W,j_max),EX(W,i)を読み込んで学習することにより、分類モデルを構築して付与部9へと出力する。なお、ここで、学習部7で読み込む学習データはインデクスWで区別される複数の名詞Wにつきそれぞれ、検索部1でヒットしたインデクスiでそれぞれ区別される複数の用例EX(W,i)と、当該用例のインデクスi毎に(前述の数1より明らかなようにj_max=jmax(i)の形で)1つが対応しているカテゴリC(W,j_max(i))と、が紐づけられることで、一般に大量のデータとして与えられているものである。
用例取得部8は、ユーザ指定される名詞X(ここでは、図1の学習データ作成装置10におけるユーザ指定の名詞Wと区別してインデクスXとしている。)に対し、学習データ作成装置10が参照したテキストコーパスと同種の外部のデータベース等を検索し、当該名詞を含みインデクスkで互いに区別される用例EX(X,k)を取得し、付与部9へと当該用例EX(X,k)を出力する。
付与部9では、非特許文献1,2,7等でなされているのと同様に、学習部7で構築された分類モデルを用例取得部8から得た用例EX(X,k)(及びここで指定されている固有名詞X)に適用することで、当該用例EX(X,k)における名詞XのカテゴリC(X,k)を自動付与し、カテゴリ付与装置30からの最終的な結果として出力する。
Claims (7)
- 指定される名詞を含む用例から学習データを作成する学習データ作成装置であって、
前記名詞に複数のカテゴリをそれぞれ仮付与する仮付与部と、
前記名詞への各カテゴリ仮付与のもとでそれぞれ、クラスベースの言語モデルによって前記用例を音声合成した合成音声を得る合成部と、
前記名詞への各カテゴリ仮付与のもとでの各合成音声に対して音声認識を行い、認識テキストを得る認識部と、
前記名詞への各カテゴリ仮付与のもとでの各認識テキストを、前記用例を正解として評価する評価部と、
前記名詞と、前記評価した結果が最良となる認識テキストに仮付与されていたカテゴリと、前記用例と、を紐づけた学習データを得る出力部と、を備えることを特徴とする学習データ作成装置。 - 前記合成部では、音声データとトランスクリプトとを対応付けた音声コーパスを参照して合成音声を得ており、
前記用例に含まれる単語のうち少なくとも1つが前記音声コーパスのトランスクリプトに含まれていることを特徴とする請求項1に記載の学習データ作成装置。 - 指定される名詞を含む用例から学習データを作成する学習データ作成装置であって、
前記名詞に複数のカテゴリをそれぞれ仮付与する仮付与部と、
前記名詞への各カテゴリ仮付与のもとでそれぞれ、クラスベースの言語モデルによって前記用例を音声合成して予め得られている各合成音声に対して音声認識を行い、認識テキストを得る認識部と、
前記名詞への各カテゴリ仮付与のもとでの各認識テキストを、前記用例を正解として評価する評価部と、
前記名詞と、前記評価した結果が最良となる認識テキストに仮付与されていたカテゴリと、前記用例と、を紐づけた学習データを得る出力部と、を備えることを特徴とする学習データ作成装置。 - 前記評価部では、前記各認識テキストと、前記用例との一致度に基づいて前記評価することを特徴とする請求項1ないし3のいずれかに記載の学習データ作成装置。
- 前記評価部では、単語誤り率に基づいて前記評価することを特徴とする請求項1ないし4のいずれかに記載の学習データ作成装置。
- 請求項1ないし5のいずれかに記載の学習データ作成装置と、学習部と、を備える分類モデル学習装置であって、
前記学習部は、前記学習データ作成装置が得た学習データを用いた学習を行うことにより、名詞が含まれる用例を入力として、当該用例における当該名詞のカテゴリを出力する分類モデルを構築することを特徴とする分類モデル学習装置。 - 請求項6に記載の分類モデル学習装置と、付与部と、を備えるカテゴリ付与装置であって、
前記付与部は、前記分類モデル学習装置が構築した分類モデルを用いることにより、入力された名詞が含まれる用例に対して、当該用例における当該名詞のカテゴリを出力することを特徴とするカテゴリ付与装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018182028A JP6934848B2 (ja) | 2018-09-27 | 2018-09-27 | 学習データ作成装置並びに分類モデル学習装置及びカテゴリ付与装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018182028A JP6934848B2 (ja) | 2018-09-27 | 2018-09-27 | 学習データ作成装置並びに分類モデル学習装置及びカテゴリ付与装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020052779A true JP2020052779A (ja) | 2020-04-02 |
JP6934848B2 JP6934848B2 (ja) | 2021-09-15 |
Family
ID=69997282
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018182028A Active JP6934848B2 (ja) | 2018-09-27 | 2018-09-27 | 学習データ作成装置並びに分類モデル学習装置及びカテゴリ付与装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6934848B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210128255A (ko) * | 2020-04-16 | 2021-10-26 | 주식회사 카카오엔터프라이즈 | 음소의 특성에 관한 통계적 분석에 기초하여 자동적으로 음성 합성 데이터를 평가하는 방법 및 장치 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003186494A (ja) * | 2001-12-17 | 2003-07-04 | Sony Corp | 音声認識装置および方法、記録媒体、並びにプログラム |
JP2006259620A (ja) * | 2005-03-18 | 2006-09-28 | Univ Waseda | 音声合成装置 |
US20070168193A1 (en) * | 2006-01-17 | 2007-07-19 | International Business Machines Corporation | Autonomous system and method for creating readable scripts for concatenative text-to-speech synthesis (TTS) corpora |
JP2008191477A (ja) * | 2007-02-06 | 2008-08-21 | Nippon Telegr & Teleph Corp <Ntt> | ハイブリッド型音声合成方法、及びその装置とそのプログラムと、その記憶媒体 |
JP2010128774A (ja) * | 2008-11-27 | 2010-06-10 | Nippon Telegr & Teleph Corp <Ntt> | 固有表現抽出装置、その方法およびプログラム |
JP2016186768A (ja) * | 2015-03-27 | 2016-10-27 | 日本放送協会 | 候補キーワード評価装置及び候補キーワード評価プログラム |
-
2018
- 2018-09-27 JP JP2018182028A patent/JP6934848B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003186494A (ja) * | 2001-12-17 | 2003-07-04 | Sony Corp | 音声認識装置および方法、記録媒体、並びにプログラム |
JP2006259620A (ja) * | 2005-03-18 | 2006-09-28 | Univ Waseda | 音声合成装置 |
US20070168193A1 (en) * | 2006-01-17 | 2007-07-19 | International Business Machines Corporation | Autonomous system and method for creating readable scripts for concatenative text-to-speech synthesis (TTS) corpora |
JP2008191477A (ja) * | 2007-02-06 | 2008-08-21 | Nippon Telegr & Teleph Corp <Ntt> | ハイブリッド型音声合成方法、及びその装置とそのプログラムと、その記憶媒体 |
JP2010128774A (ja) * | 2008-11-27 | 2010-06-10 | Nippon Telegr & Teleph Corp <Ntt> | 固有表現抽出装置、その方法およびプログラム |
JP2016186768A (ja) * | 2015-03-27 | 2016-10-27 | 日本放送協会 | 候補キーワード評価装置及び候補キーワード評価プログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210128255A (ko) * | 2020-04-16 | 2021-10-26 | 주식회사 카카오엔터프라이즈 | 음소의 특성에 관한 통계적 분석에 기초하여 자동적으로 음성 합성 데이터를 평가하는 방법 및 장치 |
KR102386635B1 (ko) | 2020-04-16 | 2022-04-14 | 주식회사 카카오엔터프라이즈 | 음소의 특성에 관한 통계적 분석에 기초하여 자동적으로 음성 합성 데이터를 평가하는 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
JP6934848B2 (ja) | 2021-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109408526B (zh) | Sql语句生成方法、装置、计算机设备及存储介质 | |
KR101309042B1 (ko) | 다중 도메인 음성 대화 장치 및 이를 이용한 다중 도메인 음성 대화 방법 | |
US8401847B2 (en) | Speech recognition system and program therefor | |
US20110184723A1 (en) | Phonetic suggestion engine | |
JP2011018330A (ja) | 統計的な方法を用いて漢字を自国語の発音列に変換するシステムおよび方法 | |
CN111611349A (zh) | 语音查询方法、装置、计算机设备及存储介质 | |
CN109508441B (zh) | 通过自然语言实现数据统计分析的方法、装置及电子设备 | |
KR20160029587A (ko) | 단위 또는 약어의 풀네임 음성출력 방법 및 장치 | |
JP2012083543A (ja) | 言語モデル生成装置、その方法及びそのプログラム | |
CN111506673A (zh) | 一种病案的分类码确定方法和装置 | |
US20220012437A1 (en) | Translating method using visually represented elements, and device therefor | |
Sangeetha et al. | Speech translation system for english to dravidian languages | |
van Esch et al. | Future directions in technological support for language documentation | |
Schweitzer et al. | German radio interviews: The GRAIN release of the SFB732 Silver Standard Collection | |
JP2019032704A (ja) | 表データ構造化システムおよび表データ構造化方法 | |
KR101709693B1 (ko) | 크라우드 소싱을 이용한 웹툰 언어 자동 번역 방법 | |
CN117010907A (zh) | 一种基于语音和图像识别的多模态客户服务方法及系统 | |
Hkiri et al. | Constructing a Lexicon of Arabic-English Named Entity using SMT and Semantic Linked Data. | |
JP2006338261A (ja) | 翻訳装置、翻訳方法及び翻訳プログラム | |
JP6934848B2 (ja) | 学習データ作成装置並びに分類モデル学習装置及びカテゴリ付与装置 | |
RU2546064C1 (ru) | Распределенная система и способ языкового перевода | |
KR102204395B1 (ko) | 개체명 인식을 이용한 음성인식 띄어쓰기 보정 방법 및 시스템 | |
CN111125363A (zh) | 用于医疗文本数据标注的方法、装置、设备及存储介质 | |
JP2023093349A (ja) | 情報処理装置及び情報処理方法 | |
JP2019204415A (ja) | 言い回し文生成方法、言い回し文装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200806 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210804 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210824 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6934848 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |