JP2010027020A - 単語アライメント装置及び単語アライメントプログラム - Google Patents
単語アライメント装置及び単語アライメントプログラム Download PDFInfo
- Publication number
- JP2010027020A JP2010027020A JP2008238736A JP2008238736A JP2010027020A JP 2010027020 A JP2010027020 A JP 2010027020A JP 2008238736 A JP2008238736 A JP 2008238736A JP 2008238736 A JP2008238736 A JP 2008238736A JP 2010027020 A JP2010027020 A JP 2010027020A
- Authority
- JP
- Japan
- Prior art keywords
- language
- word
- words
- alignment
- translation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Machine Translation (AREA)
Abstract
【解決手段】 単語アライメント装置200は、単語とその対訳、単語とその解説訳語を記憶する単語対訳辞書208と、例文とその対訳である例文対訳ペアを入力する入力部202と、入力された例文対訳ペアを形態素解析する形態素解析部204と、形態素解析により抽出された例文対訳ペアの単語を単語対訳辞書に基づきアライメントする辞書ベースアライメント部210と、辞書ベースアライメント部210でアライメントされていない単語についてのアライメントを行う単語表記ベースアライメント部214、多対多アライメント部218、2部グラフベースアライメント部220、および単語間のアライメント結果を出力する出力部222とを含んで構成される。
【選択図】 図7
Description
1)図4に示す単語対訳辞書112に正確な訳語が存在しないとき、単語の解説訳文を用いて訳語とする場合がある。図6(a)は、中国語の単語についての正確な日本語訳がないため、日本語の解説訳文を対訳としている。図6(b)は、その反対に、日本語の単語についての正確な中国語訳がないため、中国語の解説訳文を対訳としている。このような単語対訳辞書112を用いると、図4に示す類似度計算部114における辞書類似度SimDを用いたアライメント方法のカバー率に悪い影響を与えてしまう。
さらに本発明は、1対多、多対1、多対多の単語アライメント機能を備えた単語アライメント装置および単語アライメントプログラムを提供することを目的とする。
さらに本発明は、単語アライメント技術を利用した単語アライメント例文対訳辞書や単語対訳辞書を生成し、これらの辞書を利用した翻訳装置、翻訳支援システムを提供することを目的とする。
本実施の形態の単語アライメント装置の特徴は、次のようになる。
1)単語対訳辞書が単語の解説訳文を訳語に用いたとしても、辞書類似度SimDを用いた単語アライメントを可能にする。
2)単語切り分け装置(例えば形態素解析装置)で得られた単語が単語対訳辞書に存在しなくても、辞書類似度SimDを用いた単語アライメントを可能にする。
3)多対多の単語アライメントを可能にする。
S=CS<->JSは、一つの対訳例文ペアを表す。ここで、CSは第1言語の例文、JSはCSの第2言語の訳文である。CS=<C1,C2,…,Cm>、JS=<J1,J2…,Jn>。ここで、ChとJkは、単語である。
1) 1-n連続型:Ch が、Jh,Jh+1,Jh+2,...のn個の連続している単語とアライメントする。
2) m-1連続型:Ch,Ch+1,Ch+2,・・・のm個の連続している単語が、Jyとアライメントする。
3) m-n連続型: Ch,Ch+1,Ch+2,・・・のm個の連続している単語が、Jh,Jh+1,Jh+2,...のn個の連続している単語とアライメントする。
4) 1-n非連続型:Ch が、Jh,Jx,Jy,...のn個の非連続している単語とアライメントする。
5) m-1非連続型:Ch,Cs,Ct,・・・のm個の非連続している単語が、Jyとアライメントする。
6) m-n非連続型: Ch,Cs,Ct,・・・のm個の非連続している単語が、Jh,Jx,Jy,...のn個の非連続している単語とアライメントする。
2)DBA2アルゴリズム:アライメントされていない単語Chに対して,単語対訳辞書208にあるChのすべての訳語の集合をDict(Ch)={Jh1,Jh2, …,Jhx}とする。もし、次の条件1と条件2を満たすJSの部分文字列<Jk,Jk+1,…,Jk+y>が存在するなら、単語ChとJSの部分文字列<Jk,Jk+1,…,Jk+y>にアライメントさせる。
ケース1:単語ChがJkにアライメントし、かつ、Jk+1がまたアライメントされていないとき、もし、(POS(Jk),POS(Jk+1)) ∈ CPPSならば、ChをJk+1にアライメントさせる。
ケース2:単語ChがJkにアライメントし、かつ、Jk-1がまたアライメントされていないとき、もし、(POS(Jk-1),POS(Jk)) ∈ CPPSならば、ChをJk-1にアライメントさせる。図11(a)、(b)は、ケース1とケース2を例示している。
ケース1:ChがJkにアライメントし、かつ、Ch+1がまたアライメントされていないとき、もし、(POS(Ch),POS(Ch+1)) ∈ CPPSならば、Ch+1をJkにアライメントさせる。
ケース2:ChがJkにアライメントし、かつ、Ch-1がまたアライメントされていないとき、もし、(POS(Ch-1),POS(Ch)) ∈ CPPSならば、Ch-1をJkにアライメントさせる。図12(a)、(b)は、ケース1とケース2を例示している。
1)Chが多対多アライメント辞書MMADicにあること、
2)Chの対応している訳語集合がJk,Js,…,JSの単語であること、
3)訳語集合Jk,Js,…,がまたアライメントされていないこと、
を満たす場合は、単語ChがJk,Js,…,にアライメントされる。
1)Jkが多対多アライメント辞書MMADicにあること、
2)Jkの対応している訳語集合がCh,Cs,…,がCSの単語であること、
3)訳語集合Ch,Cs,…,がまたアライメントされていないこと、
を満たす場合は,単語Ch,Cs,…,がJkにアライメントされる。
ここで、2つのアライメント候補をT1とT2とし、それらの支持度をx,y(但し、x > y)とする。すなわち、SV(P<->T1)=x, SV(P<->T2)=yとする。
もし、 x >= θ1 であり、かつ x-y > θ2 のならば、T1をアライメント結果として出力する。
もし、 x >= θ1 でり、かつ x / y > θ3 ならば、T1をアライメント結果として出力する。
但し、θ1、θ2、 θ3は、非負の実数である。
ここでのアライメントは、すべてのアライメントされていないCSの単語集合とJSの単語集合を用いて、重み2部グラフを作成し、図4、図5に示すような2部グラフベースアライメント部を用いてアライメントを行う。
14:翻訳メモリ装置 16:例文パターンベース翻訳装置
18:単語直訳翻訳装置 20:目的言語テキスト出力部
22:翻訳不適切文自動回収部 24:学習装置
26a:単語対訳辞書 26b:例文対訳辞書
26c:例文パターン対訳辞書 200:単語アライメント装置
202:入力部 204:形態素解析部
206:前処理部 208:単語対訳辞書
210:辞書ベースアライメント部 212:中国語簡繁文字変換部
214:単語表記ベースアライメント部 216:記憶部
218:多対多アライメント部 220:BGMベースアライメント部
222:出力部
700:入力装置 702:表示装置
704:主記憶装置 706:記憶装置
708:中央処理装置(CPU) 710:バス
Claims (18)
- 第1言語の例文と当該例文の対訳である第2言語の例文のそれぞれに含まれる単語間のアライメントを行う単語アライメント装置であって、
第1言語の単語とその対訳である第2言語の単語、第1言語の単語についての第2言語の訳語、および第2言語の単語についての第1言語の訳語の対応関係を記憶する単語対訳辞書と、
第1言語の例文と当該例文の対訳である第2言語の例文を入力する入力手段と、
前記入力された第1言語および第2言語の例文から第1言語および第2言語の単語をそれぞれ抽出する単語抽出手段と、
前記抽出された第1言語の単語と前記抽出された第2言語の単語の対応関係が前記単語対訳辞書に含まれているとき、前記抽出された第1言語の単語を前記抽出された第2言語の単語にアライメントする第1のアライメント手段と、
前記第1のアライメント手段によりアライメントされていない第1言語の単語について、当該第1言語の単語と第2言語の訳語の対応関係が前記単語対訳辞書に含まれているとき、第1言語の単語を、第2言語の訳語と共通している前記抽出された第2言語の複数の単語にアライメントする第2のアライメント手段と、
を有する単語アライメント装置。 - 単語アライメント装置はさらに、第2のアライメント手段によりアライメントされていない第1言語の単語について、当該第1言語の単語を分割し、分割された単語と第2言語の訳語の対応関係が前記単語対訳辞書に含まれているとき、分割された単語を、第2言語の訳語と共通している前記抽出された第2言語の複数の単語にアライメントする第3のアライメント手段を有する、請求項1に記載の単語アライメント装置。
- 単語アライメント装置はさらに、第3のアライメント手段によりアライメントされていない第1言語の単語について、当該第1言語の単語と前記抽出された第2言語の単語の表記が一致するとき、当該第1言語の単語を前記抽出された第2言語の単語にアライメントする第4のアライメント手段を有する、請求項2に記載の単語アライメント装置。
- 前記表記の一致は、第1言語の単語と第2言語の単語のそれぞれの漢字の一致である、請求項3に記載の単語アライメント装置。
- 第1および第4のアライメント手段は、第1言語の1つの単語から第2言語の複数の連続した単語、あるいは第2言語の1つの単語から第1言語の複数の連続した単語へのアライメントを行う、請求項1ないし4いずれか1つに記載の単語アライメント装置。
- 第1言語の例文と当該例文の対訳である第2言語の例文のそれぞれに含まれる単語間のアライメントを行う単語アライメント装置であって、
第1言語の単語と第2言語間の単語について予めアライメントが付与された情報を用いて、連続している2つの単語の品詞の接続関係を示す品詞接続表を記憶する記憶手段と、
第1言語の例文と当該例文の対訳である第2言語の例文を入力する入力手段と、
前記入力された第1言語および第2言語の例文から第1言語および第2言語の単語をそれぞれ抽出する単語抽出手段と、
前記抽出された第1言語の単語が前記抽出された第2言語の連続する複数の単語の一部にアライメントし、かつ、残りの単語がアライメントされていないとき、当該連続する複数の単語が前記品詞接続表に含まれる場合には、前記抽出された第1言語の単語を第2言語の連続する複数の単語にアライメントするアライメント手段と、を有する単語アライメント装置。 - 前記アライメント手段は、前記抽出された連続する複数の単語の一部が前記抽出された第2言語の単語にアライメントし、かつ残りの単語がアライメントされていないとき、前記連続する複数の単語が前記品詞接続表に含まれる場合には、前記抽出された連続する第1言語の単語を第2言語の単語にアライメントする、請求項6に記載の単語アライメント装置。
- 前記品詞接続表は、単語アライメントが付与されたコーパスを用い、コーパスに含まれる全ての連続している2つの単語の数とコーパスの中でアライメントされている連続している2つの単語の数の割合から一定の出現頻度を有する品詞の接続を規定する、請求項6または7に記載の単語アライメント装置。
- 第1言語の例文と当該例文の対訳である第2言語の例文のそれぞれに含まれる単語間のアライメントを行う単語アライメント装置であって、
第1言語の例文と当該例文の対訳である第2言語の例文を入力する入力手段と、
前記入力された第1言語および第2言語の例文から第1言語および第2言語の単語をそれぞれ抽出する単語抽出手段と、
第1言語の1の単語とその訳語である第2言語の非連続の複数の単語との対応関係を記憶するアライメント辞書と、
前記抽出された第1言語の単語が前記アライメント辞書に含まれており、かつ当該第1言語の単語の対訳である第2言語の非連続の複数の単語が第2言語の例文に含まれているとき、前記抽出された第1言語の単語を第2言語の前記非連続の複数の単語にアライメントする、単語アライメント装置。 - 第1言語の例文と当該例文の対訳である第2言語の例文のそれぞれに含まれる単語間のアライメントを行う単語アライメント装置であって、
第1言語の例文と当該例文の対訳である第2言語の例文を入力する入力手段と、
前記入力された第1言語および第2言語の例文から第1言語および第2言語の単語をそれぞれ抽出する単語抽出手段と、
第1言語の例文とその対訳である第2言語の訳文を記憶した例文対訳辞書から、前記抽出された第1言語の連続している複数の単語を含む例文とその対訳の組を選択し、選択された例文対訳組相互間の共通部分の組を抽出し、前記連続している複数の単語に対する前記抽出した共通部分の支持度を算出し、算出された支持度に基づき前記連続している複数の単語を第2言語の共通部分である複数の単語にアライメントするアライメント手段と、
を有する単語アライメント装置。 - 前記支持度の算出は、各組の共通部分が、前記連続している複数の単語に対して所定の一致度合にある場合に、第2言語の対応訳文の共通部分をアライメント候補として選出する手段と、前記選出されたアライメント候補の出現回数をその支持度を表すものとして計数する手段とを含む、請求項10に記載の単語アライメント装置。
- 最も出現回数が多いアライメント候補の該出現回数が第1の閾値を超える場合、または、該出現回数が第1の閾値以下、かつ該出現回数と次に出現回数の多い訳文候補の該出現回数との差が第2の閾値を超える場合、または、該出現回数が第1の閾値以下、かつ該出現回数と次に出現回数の多い訳文候補の該出現回数との比が第3の閾値を超える場合の何れかの場合に、該最も出現回数が多いアライメント候補を、前記連続している複数の単語のアライメントとする、請求項11に記載の単語アライメント装置。
- 請求項1ないし12いずれか1つに記載の単語アライメント装置と、第1言語の例文とその対訳である第2言語の例文を格納する例文対訳辞書と、前記例文対訳辞書を参照し、入力された第1言語の例文の第2言語の訳語を生成する訳文生成手段とを有し、前記訳文生成手段は、前記単語アライメント装置によるアライメント結果を利用して訳文を生成する、例文ベース翻訳装置。
- 第1言語の例文と当該例文の対訳である第2言語の例文のそれぞれに含まれる単語間のアライメントを行う単語アライメント装置が実行する単語アライメントプログラムであって、
第1言語の例文と当該例文の対訳である第2言語の例文を入力するステップと、
入力された第1言語および第2言語の例文から第1言語および第2言語の単語をそれぞれ抽出するステップと、
前記抽出された第1言語の単語と前記抽出された第2言語の単語の対応関係が単語対訳辞書に含まれているとき、前記抽出された第1言語の単語を前記抽出された第2言語の単語にアライメントする第1のアライメントステップと、
第1のアライメントステップによりアライメントされていない第1言語の単語について、当該第1言語の単語と第2言語の訳語の対応関係が単語対訳辞書に含まれているとき、第1言語の単語を、第2言語の訳語と共通している前記抽出された第2言語の複数の単語にアライメントする第2のアライメントするステップと、
第2のアライメントステップによりアライメントされていない第1言語の単語について、当該第1言語の単語を分割し、分割された単語と第2言語の訳語の対応関係が単語対訳辞書に含まれているとき、分割された単語を、第2言語の訳語と共通している前記抽出された第2言語の複数の単語にアライメントする第3のアライメントステップと、
を有する単語アライメントプログラム。 - 単語アライメントプログラムはさらに、第3のアライメントステップによりアライメントされていない第1言語の単語について、当該第1言語の単語と前記抽出された第2言語の単語の表記が一致するとき、当該第1言語の単語を前記抽出された第2言語の単語にアライメントする第4のアライメントステップを有する、請求項14に記載の単語アライメントプログラム。
- 第1言語の例文と当該例文の対訳である第2言語の例文のそれぞれに含まれる単語間のアライメントを行う単語アライメント装置が実行する単語アライメントプログラムであって、
第1言語の例文と当該例文の対訳である第2言語の例文を入力するステップと、
前記入力された第1言語および第2言語の例文から第1言語および第2言語の単語をそれぞれ抽出するステップと、
前記抽出された第1言語の単語が前記抽出された第2言語の連続する複数の単語の一部にアライメントし、かつ、残りの単語がアライメントされていないとき、当該連続する複数の単語が予め用意された連続している2つの単語の品詞の接続関係を示す品詞接続表に含まれる場合には、前記抽出された第1言語の単語を第2言語の連続する複数の単語にアライメントするステップと、
を有する単語アライメントプログラム。 - 単語アライメントプログラムはさらに、前記抽出された第1言語の単語が、第1言語の1の単語とその訳語である第2言語の非連続の複数の単語との対応関係を記憶するアライメント辞書に含まれており、かつ当該第1言語の単語の対訳である第2言語の非連続の複数の単語が第2言語の例文に含まれているとき、前記抽出された第1言語の単語を第2言語の前記非連続の複数の単語にアライメントするステップを有する、請求項16に記載の単語アライメントプログラム。
- 単語アライメントプログラムはさらに、
例文対訳辞書から、前記抽出された第1言語の連続している複数の単語を含む例文とその対訳の組を選択するステップと、
選択された例文対訳組相互間の共通部分の組を抽出するステップと、
前記連続している複数の単語に対する前記抽出した共通部分の支持度を算出するステップと、
算出された支持度に基づき前記連続している複数の単語を第2言語の共通部分である複数の単語にアライメントするステップと、
を有する請求項16または17に記載の単語アライメントプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200810133966A CN101630313A (zh) | 2008-07-18 | 2008-07-18 | 单词对齐装置、例句对译词典及单词对齐方法 |
CN200810133966.7 | 2008-07-18 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010027020A true JP2010027020A (ja) | 2010-02-04 |
JP5439776B2 JP5439776B2 (ja) | 2014-03-12 |
Family
ID=41575423
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008238736A Expired - Fee Related JP5439776B2 (ja) | 2008-07-18 | 2008-09-17 | 単語アライメント装置及び単語アライメントプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5439776B2 (ja) |
CN (1) | CN101630313A (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108733657B (zh) * | 2017-04-17 | 2022-10-28 | 北京搜狗科技发展有限公司 | 神经机器翻译中注意力参数的修正方法、装置及电子设备 |
CN109685059B (zh) * | 2018-11-06 | 2024-06-28 | 平安科技(深圳)有限公司 | 文字图像标注方法、装置及计算机可读存储介质 |
CN114742078A (zh) * | 2022-04-18 | 2022-07-12 | 新译信息科技(北京)有限公司 | 对照展示方法、终端设备及计算机可读存储介质 |
CN116436987B (zh) * | 2023-06-12 | 2023-08-22 | 深圳舜昌自动化控制技术有限公司 | 一种IO-Link主站数据报文传输处理方法和系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007072841A (ja) * | 2005-09-08 | 2007-03-22 | Nippon Telegr & Teleph Corp <Ntt> | 単語抽出方法、データベース構築方法、データベース構築装置、データベース構築プログラムおよび記録媒体 |
JP2007199793A (ja) * | 2006-01-23 | 2007-08-09 | Fuji Xerox Co Ltd | 単語アライメント例文対訳辞書学習装置と訳語抽出装置 |
-
2008
- 2008-07-18 CN CN200810133966A patent/CN101630313A/zh active Pending
- 2008-09-17 JP JP2008238736A patent/JP5439776B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007072841A (ja) * | 2005-09-08 | 2007-03-22 | Nippon Telegr & Teleph Corp <Ntt> | 単語抽出方法、データベース構築方法、データベース構築装置、データベース構築プログラムおよび記録媒体 |
JP2007199793A (ja) * | 2006-01-23 | 2007-08-09 | Fuji Xerox Co Ltd | 単語アライメント例文対訳辞書学習装置と訳語抽出装置 |
Non-Patent Citations (2)
Title |
---|
CSNG200501097003; 張 玉潔 外2名: '英語を介した日中対訳辞書の自動構築' 自然言語処理 第12巻第2号, 20050331, p.63-85, 言語処理学会 * |
JPN6012035727; 張 玉潔 外2名: '英語を介した日中対訳辞書の自動構築' 自然言語処理 第12巻第2号, 20050331, p.63-85, 言語処理学会 * |
Also Published As
Publication number | Publication date |
---|---|
JP5439776B2 (ja) | 2014-03-12 |
CN101630313A (zh) | 2010-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4961755B2 (ja) | 単語アライメント装置、単語アライメント方法、単語アライメントプログラム | |
US9176936B2 (en) | Transliteration pair matching | |
CN106844368B (zh) | 用于人机对话的方法、神经网络系统和用户设备 | |
CN105068997B (zh) | 平行语料的构建方法及装置 | |
JP2014078132A (ja) | 機械翻訳装置、方法およびプログラム | |
JP5915326B2 (ja) | 機械翻訳装置、機械翻訳方法及び機械翻訳プログラム | |
JP2009140499A (ja) | 二言語コーパスに基づくターゲット言語の語形変化モデルトレーニング方法及び装置、tlwi方法及び装置、ソース言語のテキストをターゲット言語に翻訳する翻訳方法及びシステム | |
CN103189860A (zh) | 组合句法转换模型与词汇转换模型的机器翻译装置和机器翻译方法 | |
JP5439776B2 (ja) | 単語アライメント装置及び単語アライメントプログラム | |
Li et al. | Dimsim: An accurate chinese phonetic similarity algorithm based on learned high dimensional encoding | |
Cathcart et al. | In search of isoglosses: continuous and discrete language embeddings in Slavic historical phonology | |
JP2009289219A (ja) | 翻訳メモリ翻訳装置および翻訳プログラム | |
JP5194920B2 (ja) | 例文集合ベース翻訳装置、方法およびプログラム、並びに翻訳装置を含んで構成された句翻訳装置 | |
JP5298834B2 (ja) | 例文マッチング翻訳装置、およびプログラム、並びに翻訳装置を含んで構成された句翻訳装置 | |
Malik et al. | Urdu to English machine translation using bilingual evaluation understudy | |
JP5428199B2 (ja) | 対訳文抽出装置及び対訳文抽出方法 | |
Jäger et al. | Statistical and computational elaborations of the classical comparative method | |
JP5302784B2 (ja) | 機械翻訳方法、及びシステム | |
JP4881399B2 (ja) | 対訳情報作成装置、機械翻訳装置及びプログラム | |
JP5544518B2 (ja) | 機械翻訳装置、機械翻訳方法、およびそのプログラム | |
Huang et al. | Input method for human translators: a novel approach to integrate machine translation effectively and imperceptibly | |
JP2006024114A (ja) | 機械翻訳装置および機械翻訳コンピュータプログラム | |
JP5207016B2 (ja) | 機械翻訳評価装置及び方法 | |
Hossain et al. | Inclusive bidirectional conversion system between Chittagonian and standard Bangla | |
JP6221339B2 (ja) | 翻訳装置及び翻訳方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120710 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130402 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130528 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131202 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5439776 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |