JP2007323475A - 自然言語における多義解消装置及びコンピュータプログラム - Google Patents
自然言語における多義解消装置及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2007323475A JP2007323475A JP2006154497A JP2006154497A JP2007323475A JP 2007323475 A JP2007323475 A JP 2007323475A JP 2006154497 A JP2006154497 A JP 2006154497A JP 2006154497 A JP2006154497 A JP 2006154497A JP 2007323475 A JP2007323475 A JP 2007323475A
- Authority
- JP
- Japan
- Prior art keywords
- word
- candidate
- semantic
- meaning
- document
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Machine Translation (AREA)
Abstract
【解決手段】多義解消装置50は、入力文中のある単語Wと、その単語に対応する意味候補集合中の意味候補Rkとの組合せ(W,Rk)の各々について、インターネット52から、それら語が共起する文書の集合を収集する検索部100と、収集された文書の集合を学習データとして用い、単語Wと、単語Wの文書中の文脈を表す特徴量ベクトルとが与えられると、単語Wの当該文脈中での意味として最適な意味候補を意味候補集合中から選択する決定木82を自動的に作成する決定木作成部80と、入力文において、単語Wの文脈から得た特徴量ベクトルを用い、単語Wの意味として最適なものを、意味候補Rkの集合の中から決定木82を用いて選択する分類用特徴ベクトル作成部84及び分類実行部86とを含む。
【選択図】 図2
Description
梅村祥之、清水司、「音声合成システムのための同形異音語の読み分け」、豊田中央研究所R&Dレビュー、2000年、第35巻第1号、67頁〜74頁
[構成]
図1に、本発明の第1の実施の形態に係る音声合成システム30のブロック図を示す。図1を参照して、音声合成システム30は、音声合成の対象となる日本語の入力文を記憶するための入力文記憶部40と、入力文記憶部40から所定長を順次取出して記憶するための入力文バッファ42と、日本語の単語と、その仮名表記とを対応付けて記憶した複数の辞書からなる辞書群46と、入力文バッファ42に含まれる文を形態素解析して、漢字を含む単語があれば辞書群46を参照して仮名表記を検索し、仮名表記等の情報が付された形態素列を出力するための仮名変換部44とを含む。
図1〜図6を参照して、上記した音声合成システム30は以下のように動作する。図1に示す入力文記憶部40には、音声合成の対象となる日本語の文が予め記憶される。そのうちの所定長部分が読出され、入力文バッファ42に記憶される。
上記した第1の実施の形態に係る音声合成システム30は、既に述べたようにコンピュータハードウエア及び当該コンピュータハードウエア上で実行されるコンピュータソフトウエアにより実現される。図7に音声合成システム30を実現するための一般的なコンピュータシステム250の外観を示し、図8にこのコンピュータシステム250の内部構成をブロック図形式で示す。
図9に、本発明の第2の実施の形態に係る、複数の定義を有する英語のアクロニムに対し、適切な定義を与える多義アクロニム解消システム330の構成をブロック図形式で示す。この多義アクロニム解消システム330は、アクロニムの近傍に、そのアクロニムの定義を与えている文書が多いこと、アクロニムの近傍に存在する単語は、その文書の分野によって何らかの傾向を持っていることを利用して、実施の形態1における同形異音語の解消と同じ原理によって、アクロニムに適切な定義を与えるものである。
図10に、第3の実施の形態に係る日本語−英語の自動翻訳システム430のブロック図を示す。図10を参照して、この自動翻訳システム430は、日本語の入力文を記憶するための日本文記憶部440と、日本文記憶部440に記憶された日本文の所定量を記憶するための入力文バッファ442と、日本語から英語への1又は複数の辞書からなる辞書群446と、自動翻訳の前処理として、入力文バッファ442に記憶された日本文を形態素解析し、各単語について辞書群446を参照して英語の訳語を割当て、出力するための訳語決定部444と、このように前処理された訳語付日本文を記憶するための訳語付日本文記憶部454と、訳語付日本文記憶部454に記憶された訳語付日本文を、その訳語を使用しながら英語に翻訳する自動翻訳装置456とを含む。
上記した実施の形態では、適切な仮名表記、アクロニムの定義、及び訳語を決定するために、決定木を用いた。しかし本発明は決定木を用いるものには限定されず、インターネットから収集した学習データによって、対象となる単語又は単語列がおかれた文脈(環境)によって、目的物として複数のうちからどれを選択するかを機械学習により学習できるものであれば、どのような分類方法でも用いることができる。例えば、ナイーブベイズ、決定リスト、k−最近隣法、オンラインアルゴリズム、最大エントロピー法、サポートベクトルマシン、ブースティングなどを利用できる。
40,340 入力文記憶部
42,342,442 入力文バッファ
44 仮名変換部
46,346,446 辞書群
48 音声データベース
50 同形異音語解消処理部
52 インターネット
54 仮名表記入力文記憶部
56 音声合成部
58 スピーカ
80 決定木作成部
82 決定木
84 分類用特徴ベクトル作成部
86 分類実行部
100 検索部
102 検索結果記憶部
104 ソート及び選択部
106 学習データ記憶部
108 学習用特徴ベクトル作成部
110 特徴ベクトル記憶部
112 決定木学習部
344 アクロニム解釈部
350 多義アクロニム解消処理部
354 アクロニム定義付入力文記憶部
440 日本文記憶部
444 訳語決定部
450 多義訳語解消処理部
454 訳語付日本文記憶部
456 自動翻訳装置
Claims (8)
- 自然言語文からなる入力文において、ある単語と、前記入力文において前記ある単語が置かれた文脈と、前記ある単語の意味を表す可能性のある複数の意味候補を含む意味候補の集合とが与えられると、当該意味候補の集合の中から、前記文脈において前記ある単語の意味として最も適切なものを選択する、自然言語における多義解消装置であって、
前記ある単語と、前記意味候補集合中の意味候補との組合せの各々について、所定のコーパスから、当該組合せを構成する語が共起する文書の集合を収集するための文書収集手段と、
前記文書収集手段によって前記組合せの各々について収集された前記文書の集合を学習データとして用い、前記ある単語と、その単語の文書中の文脈とが与えられると、前記ある単語の当該文脈中での意味として最適な意味候補を前記意味候補集合中から選択する分類器を自動的に作成するための分類器作成手段と、
前記入力文において、前記ある単語が置かれた文脈に基づいて、前記ある単語の意味として最適なものを、前記意味候補の集合の中から前記分類器を用いて選択するための分類実行手段とを含む、自然言語における多義解消装置。 - 前記分類器作成手段は、
前記文書収集手段によって前記組合せの各々について収集された前記文書の集合のうち、集合に含まれる文書の数が多いものを所定の基準に従って選択し、それら文書の集合に対応する意味候補のみを前記意味候補の集合の要素として選択する処理を行なうための意味候補選択手段と、
前記意味候補選択手段により選択された文書集合を学習データとして用い、前記ある単語と、その単語の文書中の文脈とが与えられると、前記ある単語の当該文脈中での意味として最適な意味候補を、前記意味候補集合中から選択する分類器を機械学習により自動的に作成するための機械学習手段とを含む、請求項1に記載の自然言語における多義解消装置。 - 前記機械学習手段は、
前記文書集合選択手段により選択された文書集合に含まれる文書の各々に対し、当該文書中における前記ある単語の位置の前後の所定範囲に存在する単語列から、当該文書中における前記ある単語の文脈の特徴量を表す、所定の構成の学習用の特徴量ベクトルを算出するための特徴量ベクトル算出手段と、
前記文書集合選択手段により選択された文書集合に含まれる文書の各々に対して前記特徴量ベクトル算出手段により算出された学習用の特徴量ベクトルと、当該文書の検索時に使用された意味候補とを組にして学習用データを作成し、当該学習用データを用いた機械学習により、前記学習用の特徴量ベクトルと同じ構成の分類用の特徴量ベクトルが与えられると、当該分類用の特徴量ベクトルに対応する文脈中における前記ある単語の意味として最適なものを、前記意味候補集合中から選択する所定の分類器を自動的に作成するための手段とを含む、請求項2に記載の自然言語における多義解消装置。 - 前記意味候補選択手段は、前記文書収集手段によって前記組合せの各々について収集された前記文書の集合のうち、集合に含まれる文書の数が多い所定の個数の集合を選択し、それら文書の集合に対応する意味候補のみを前記意味候補として選択する処理を行なうための手段を含む、請求項2又は請求項3に記載の、自然言語における多義解消装置。
- 前記意味候補選択手段は、前記文書収集手段によって前記組合せの各々について収集された前記文書の集合のうち、集合に含まれる文書の数が予め定められるしきい値より大きな集合を選択し、それら文書の集合に対応する意味候補のみを前記意味候補として選択する処理を行なうための手段を含む、請求項2又は請求項3に記載の、自然言語における多義解消装置。
- 前記文書収集手段は、前記ある単語と、前記意味候補集合中の意味候補との組合せの各々について、インターネット上に存在するウェブページからなる仮想的コーパスから、当該組合せを構成する語が共起するウェブページの集合を検索し収集するための検索手段を含む、請求項1〜請求項5のいずれかに記載の自然言語における多義解消装置。
- 前記収集するための手段は、前記ある単語と、前記意味候補集合中の意味候補との組合せの各々について、インターネット上に存在するウェブページからなる仮想的コーパスから、当該組合せを構成する語が共起するウェブページの集合を検索し、所定の定数を上限とした要素数の集合として収集するための手段を含む、請求項6に記載の自然言語における多義解消装置。
- コンピュータにより実行されると、当該コンピュータを、請求項1〜請求項7のいずれかに記載の自然言語における多義解消装置として機能させる、コンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006154497A JP5146979B2 (ja) | 2006-06-02 | 2006-06-02 | 自然言語における多義解消装置及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006154497A JP5146979B2 (ja) | 2006-06-02 | 2006-06-02 | 自然言語における多義解消装置及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007323475A true JP2007323475A (ja) | 2007-12-13 |
JP5146979B2 JP5146979B2 (ja) | 2013-02-20 |
Family
ID=38856213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006154497A Expired - Fee Related JP5146979B2 (ja) | 2006-06-02 | 2006-06-02 | 自然言語における多義解消装置及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5146979B2 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012095971A1 (ja) * | 2011-01-13 | 2012-07-19 | 三菱電機株式会社 | 分類ルール生成装置、分類ルール生成方法、分類ルール生成プログラム及び記録媒体 |
WO2013132614A1 (ja) * | 2012-03-07 | 2013-09-12 | 三菱電機株式会社 | 語義推定装置、方法及びプログラム |
JP5533853B2 (ja) * | 2009-03-31 | 2014-06-25 | 日本電気株式会社 | 読み方判断装置、方法、プログラム、及び音声合成装置 |
JP2015122104A (ja) * | 2011-09-30 | 2015-07-02 | アップル インコーポレイテッド | バーチャルアシスタントのコマンド処理を容易にするためのコンテクスト情報の使用 |
JP2016194822A (ja) * | 2015-03-31 | 2016-11-17 | 株式会社エクシング | サーバシステム及びそのプログラム、並びにエラーチェック方法 |
JP2018025874A (ja) * | 2016-08-08 | 2018-02-15 | 富士ゼロックス株式会社 | テキスト解析装置及びプログラム |
JP2018041297A (ja) * | 2016-09-08 | 2018-03-15 | ヤフー株式会社 | 生成装置、生成方法、及び生成プログラム |
KR20190094078A (ko) * | 2018-01-17 | 2019-08-12 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 모호한 엔티티 단어에 기반한 텍스트 처리 방법과 장치 |
WO2019230065A1 (ja) * | 2018-05-31 | 2019-12-05 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム |
JP2020052819A (ja) * | 2018-09-27 | 2020-04-02 | 大日本印刷株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN111026844A (zh) * | 2019-12-04 | 2020-04-17 | 河北数云堂智能科技有限公司 | 一种识别数字串读法的方法及装置 |
JP6976482B1 (ja) * | 2020-09-02 | 2021-12-08 | 三菱電機株式会社 | 情報処理装置、生成方法、及び生成プログラム |
-
2006
- 2006-06-02 JP JP2006154497A patent/JP5146979B2/ja not_active Expired - Fee Related
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5533853B2 (ja) * | 2009-03-31 | 2014-06-25 | 日本電気株式会社 | 読み方判断装置、方法、プログラム、及び音声合成装置 |
WO2012095971A1 (ja) * | 2011-01-13 | 2012-07-19 | 三菱電機株式会社 | 分類ルール生成装置、分類ルール生成方法、分類ルール生成プログラム及び記録媒体 |
JP5460887B2 (ja) * | 2011-01-13 | 2014-04-02 | 三菱電機株式会社 | 分類ルール生成装置及び分類ルール生成プログラム |
US9323839B2 (en) | 2011-01-13 | 2016-04-26 | Mitsubishi Electric Corporation | Classification rule generation device, classification rule generation method, classification rule generation program, and recording medium |
JP2015122104A (ja) * | 2011-09-30 | 2015-07-02 | アップル インコーポレイテッド | バーチャルアシスタントのコマンド処理を容易にするためのコンテクスト情報の使用 |
WO2013132614A1 (ja) * | 2012-03-07 | 2013-09-12 | 三菱電機株式会社 | 語義推定装置、方法及びプログラム |
CN104160392A (zh) * | 2012-03-07 | 2014-11-19 | 三菱电机株式会社 | 语义推测装置、方法以及程序 |
JP5734503B2 (ja) * | 2012-03-07 | 2015-06-17 | 三菱電機株式会社 | 語義推定装置、方法及びプログラム |
JP2016194822A (ja) * | 2015-03-31 | 2016-11-17 | 株式会社エクシング | サーバシステム及びそのプログラム、並びにエラーチェック方法 |
JP2018025874A (ja) * | 2016-08-08 | 2018-02-15 | 富士ゼロックス株式会社 | テキスト解析装置及びプログラム |
JP2018041297A (ja) * | 2016-09-08 | 2018-03-15 | ヤフー株式会社 | 生成装置、生成方法、及び生成プログラム |
KR20190094078A (ko) * | 2018-01-17 | 2019-08-12 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 모호한 엔티티 단어에 기반한 텍스트 처리 방법과 장치 |
KR102117160B1 (ko) | 2018-01-17 | 2020-06-01 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 모호한 엔티티 단어에 기반한 텍스트 처리 방법과 장치 |
WO2019230065A1 (ja) * | 2018-05-31 | 2019-12-05 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム |
JP2020052819A (ja) * | 2018-09-27 | 2020-04-02 | 大日本印刷株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP7115187B2 (ja) | 2018-09-27 | 2022-08-09 | 大日本印刷株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN111026844A (zh) * | 2019-12-04 | 2020-04-17 | 河北数云堂智能科技有限公司 | 一种识别数字串读法的方法及装置 |
CN111026844B (zh) * | 2019-12-04 | 2023-08-01 | 河北数云堂智能科技有限公司 | 一种识别数字串读法的方法及装置 |
JP6976482B1 (ja) * | 2020-09-02 | 2021-12-08 | 三菱電機株式会社 | 情報処理装置、生成方法、及び生成プログラム |
WO2022049668A1 (ja) * | 2020-09-02 | 2022-03-10 | 三菱電機株式会社 | 情報処理装置、生成方法、及び生成プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5146979B2 (ja) | 2013-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5146979B2 (ja) | 自然言語における多義解消装置及びコンピュータプログラム | |
JP3429184B2 (ja) | テキスト構造解析装置および抄録装置、並びにプログラム記録媒体 | |
US20050021323A1 (en) | Method and apparatus for identifying translations | |
KR101136007B1 (ko) | 문서 감성 분석 시스템 및 그 방법 | |
JP2004005600A (ja) | データベースに格納された文書をインデックス付け及び検索する方法及びシステム | |
Hiemstra et al. | Disambiguation strategies for cross-language information retrieval | |
JP2005520251A (ja) | 名前付きエンティティの翻訳 | |
JP2004133880A (ja) | インデックス付き文書のデータベースとで使用される音声認識器のための動的語彙を構成する方法 | |
WO2008023470A1 (fr) | Procédé de recherche de phrase, moteur de recherche de phrase, programme informatique, support d'enregistrement et stockage de document | |
JP2011118689A (ja) | 検索方法及びシステム | |
KR100481598B1 (ko) | 복합 형태소 분석 장치 및 방법 | |
Hasegawa-Johnson et al. | Grapheme-to-phoneme transduction for cross-language ASR | |
JPH08137898A (ja) | 文書検索装置 | |
Xiong et al. | HANSpeller: a unified framework for Chinese spelling correction | |
JP3198932B2 (ja) | 文書検索装置 | |
Smadja et al. | Translating collocations for use in bilingual lexicons | |
Etxeberria et al. | Weighted finite-state transducers for normalization of historical texts | |
Tang et al. | Automated Cross-lingual Link Discovery in Wikipedia. | |
JP4361299B2 (ja) | 評価表現抽出装置、プログラム、及び記憶媒体 | |
JP3471253B2 (ja) | 文書分類方法、文書分類装置、および文書分類プログラムを記録した記録媒体 | |
JPH117447A (ja) | 話題抽出方法及びこれに用いる話題抽出モデルとその作成方法、話題抽出プログラム記録媒体 | |
KR20050064574A (ko) | 영한 자동번역에서 의미 벡터와 한국어 국소 문맥 정보를사용한 대역어 선택시스템 및 방법 | |
Raza et al. | Saraiki Language Word Prediction And Spell Correction Framework | |
Polshchykova et al. | Synonymy in the terminology of computational linguistics | |
JP3326646B2 (ja) | 機械翻訳システム用辞書・ルール学習装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120807 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121001 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121030 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121121 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5146979 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151207 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |