JP2001013862A - 最適テンプレートパターン決定方法,決定装置,最適テンプレートパターンを用いた評価方法,評価装置および記録媒体 - Google Patents

最適テンプレートパターン決定方法,決定装置,最適テンプレートパターンを用いた評価方法,評価装置および記録媒体

Info

Publication number
JP2001013862A
JP2001013862A JP11182347A JP18234799A JP2001013862A JP 2001013862 A JP2001013862 A JP 2001013862A JP 11182347 A JP11182347 A JP 11182347A JP 18234799 A JP18234799 A JP 18234799A JP 2001013862 A JP2001013862 A JP 2001013862A
Authority
JP
Japan
Prior art keywords
template pattern
template
input sentence
pattern
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11182347A
Other languages
English (en)
Other versions
JP3669869B2 (ja
Inventor
Naoyuki Tokuda
尚之 徳田
Hiroyuki Sasai
紘幸 笹井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SAN FUREA KK
Original Assignee
SAN FUREA KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAN FUREA KK filed Critical SAN FUREA KK
Priority to JP18234799A priority Critical patent/JP3669869B2/ja
Priority to US09/597,269 priority patent/US6598019B1/en
Publication of JP2001013862A publication Critical patent/JP2001013862A/ja
Application granted granted Critical
Publication of JP3669869B2 publication Critical patent/JP3669869B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

(57)【要約】 【課題】 入力文を模範解答用のテンプレートパターン
を用いて添削するような場合に、添削精度を向上させる
ことができるようにする。 【解決手段】 模範解答用の複数のテンプレートパター
ンを用意する。各テンプレートパターンを、専門家の知
識を利用して、単語・句構造の複数のテンプレートパタ
ーンに分解し、かつ各単語には、その重要度に応じたポ
イント数のポイントを付けておく。そしてこれらを読込
み(S1,S2)、その後入力文を読込むとともに、そ
の解析を行なう(S3,S4)。その後、入力文と各テ
ンプレートパターンとを比較し、一致する単語の合計の
ポイント数を演算する(S5,S6)。そして、合計の
ポイント数が最も高いテンプレートパターンを最適テン
プレートパターンとして選択し、これを用いて入力文を
添削する(S7〜S9)。この方法により、重要単語を
より多く含むテンプレートパターンが、最適テンプレー
トパターンとして選択される可能性が高くなる。その結
果、添削精度を向上させることができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、例えば翻訳文を添
削したり評価する際に使用される最適テンプレートパタ
ーン決定方法,決定装置,最適テンプレートパターンを
用いた評価方法,評価装置および記録媒体に係り、特に
重要度が他の単語よりも高い重要単語に基づいて最適テ
ンプレートパターンを決定し、この最適テンプレートパ
ターンに基づき入力文を評価することができる最適テン
プレートパターン決定方法,決定装置,最適テンプレー
トパターンを用いた評価方法,評価装置および記録媒体
に関する。
【0002】
【従来の技術】一般に、技術翻訳者養成講座において
は、受講生が例題に対する解答文を本部に送付し、本部
では送付されてきた解答文を添削して受講生に送り返
し、受講生はその添削内容を見て自己のレベルを確認す
る方法が採られている。
【0003】ところで従来、解答文の添削は、多数送ら
れてくる解答文を複数の添削者に振分け、各添削者が人
力により行う方法が採られているが、人力による添削に
は多大な時間を要するとともに、一定レベル以上の実力
を有する添削者を確保することが必ずしも容易でなく、
添削者によって添削内容にバラツキが生じるという問題
がある。
【0004】そこで本発明者等は先に、特開平9−32
5673号公報に示すように、専門家が人力で行なうの
と同程度の結果が得られる翻訳文添削支援装置を提案し
た。
【0005】
【発明が解決しようとする課題】本発明者等が先に提案
した翻訳文添削支援装置は、模範解答に対応するテンプ
レートパターンを複数種類用意しておき、解答文がどの
テンプレートパターンと一致するかを判断した後、解答
文を当該テンプレートパターンと同様のテンプレートパ
ターンに分解し、各テンプレート毎に解答文と模範解答
との異同を判断して添削結果を得るものであり、技術翻
訳者養成講座のように、解答文の翻訳レベルにバラツキ
が少ない場合には、極めて精度の高い添削結果を得るこ
とができる。
【0006】ところが、例えば一般の語学学校のよう
に、解答文の翻訳レベルのバラツキが極めて大きい場合
には、そのすべてのケースを想定して、模範解答に対応
するテンプレートパターンを多数用意しておくことは不
可能である。このため、解答文が予め用意された模範解
答のテンプレートパターンと一致しない場合が多発する
ことになる。
【0007】従来このような場合には、解答文と各テン
プレートパターンとを比較した際に、一致する単語の合
計数が最も多いテンプレートパターンを、最適テンプレ
ートパターンとして選択するようにしているが、一致す
る単語の数が多いという理由だけで模範解答のテンプレ
ートパターンを選択すると、解答者が解答文で意図した
テンプレートパターンと必ずしも一致せず、ために精度
の高い添削や、入力文の正しい評価が期待できないとい
う問題がある。
【0008】このような問題は翻訳の場合に限らず、例
えばインターネットを利用した情報検索システムにおい
て、入力文に基づき所定の情報を検索する等の場合にも
同様に生じる。
【0009】本発明は、かかる現況に鑑みなされたもの
で、入力者が意図した入力文のテンプレートパターンと
同一のテンプレートパターンを、模範解答用のテンプレ
ートパターンとして確実に選択することができる最適テ
ンプレートパターン決定方法,決定装置および記録媒体
を提供することを目的とする。
【0010】本発明の他の目的は、このようにして選択
された最適テンプレートパターンに基づき、入力文を正
しく評価することができる最適テンプレートパターンを
用いた評価方法,評価装置および記録媒体を提供するこ
とを目的とする。
【0011】
【課題を解決するための手段】前記目的を達成するため
本発明は、任意数のテンプレートに分解された模範解答
用の複数のテンプレートパターンを予め用意しておき、
これら各テンプレートパターンと入力文とを比較し、入
力文に最も適したテンプレートパターンを最適テンプレ
ートパターンとして決定する最適テンプレートパターン
決定方法において、前記各テンプレートパターンで用い
られるすべての単語に、その重要度に応じたポイント数
のポイントを付与し、前記入力文と各テンプレートパタ
ーンとを比較し、一致するすべての単語の合計ポイント
数が最も高くなるテンプレートパターンを、最適テンプ
レートパターンとして決定するようにしたことを特徴と
する。そして、各単語に、その重要度に応じたポイント
数のポイントを付与し、一致する単語の合計ポイント数
により、最適テンプレートパターンを決定するようにし
ているので、入力者が意図した入力文のテンプレートパ
ターンと同一のテンプレートパターンを、模範解答用の
テンプレートパターンとして確実に選択,決定すること
が可能となる。
【0012】本発明はまた、任意数のテンプレートに分
解された模範解答用の複数のテンプレートパターンを予
め用意しておき、これら各テンプレートパターンと入力
文とを比較し、入力文に最も適したテンプレートパター
ンを最適テンプレートパターンとして決定し、次いでこ
の最適テンプレートパターンに基づき入力文を評価する
最適テンプレートパターンを用いた評価方法において、
前記テンプレートパターンで用いられるすべての単語
に、その重要度に応じたポイント数のポイントを付与
し、前記入力文と各テンプレートパターンとを比較し、
一致するすべての単語の合計ポイント数が最も高くなる
テンプレートパターンを最適テンプレートパターンとし
て決定し、次いで入力文中の一致単語数を入力文の総単
語数で除した値と、入力文中の一致単語ポイント数を最
適テンプレートパターンの総ポイント数で除した値とを
用い、これら両値の積に基づき入力文を評価することを
特徴とする。そしてこれにより、文法を正しく理解して
いるか否か、あるいは重要単語を知っているか否か等を
勘案して、入力文を正しく評価することが可能となる。
【0013】本発明はまた、任意数のテンプレートに分
解された模範解答用の複数のテンプレートパターンを予
め用意しておき、これら各テンプレートパターンと入力
文とを比較し、入力文に最も適したテンプレートパター
ンを最適テンプレートパターンとして決定する最適テン
プレートパターン決定装置において、前記各テンプレー
トパターンを記憶するテンプレートパターン記憶手段
と;前記入力文を記憶する入力文記憶手段と;前記各テ
ンプレートパターンで用いられるすべて単語に対し、そ
の重要度に応じたポイント数で付与されたポイントを、
単語と関連付けて記憶する単語ポイント数記憶手段と;
入力文と各テンプレートパターンとを比較し、各テンプ
レートパターンにおいて入力文と一致する単語を検索す
る一致単語検索手段と;各テンプレートパターンにおけ
る一致単語の合計ポイント数を演算するポイント数演算
手段と;合計ポイント数が最も高いテンプレートパター
ンを最適テンプレートパターンとして選択する最適テン
プレートパターン選択手段と;を設けるようにしたこと
を特徴とする。そして、ポイント数演算手段において、
一致単語の合計ポイント数を演算し、その結果に基づき
最適テンプレートパターンを選択するようにしているの
で、重要単語をより多く含むテンプレートパターンが、
最適テンプレートパターンとして選択される可能性が高
くなり、入力者が意図した入力文のテンプレートパター
ンと同一のテンプレートパターンを、模範解答用のテン
プレートパターンとして確実に選択,決定することが可
能となる。
【0014】本発明はまた、任意数のテンプレートパタ
ーンに分解された模範解答用の複数のテンプレートパタ
ーンを予め用意しておき、これら各テンプレートパター
ンと入力文とを比較し、入力文に最も適したテンプレー
トパターンを最適テンプレートパターンとして決定し、
次いでこの最適テンプレートパターンを用いて入力文を
評価する最適テンプレートパターンを用いた評価装置に
おいて、前記各テンプレートパターンを記憶するテンプ
レートパターン記憶手段と;前記入力文を記憶する入力
文記憶手段と;前記各テンプレートパターンで用いられ
るすべて単語に対し、その重要度に応じたポイント数で
付与されたポイントを、単語と関連付けて記憶する単語
ポイント数記憶手段と;入力文と各テンプレートパター
ンとを比較し、各テンプレートパターンにおいて入力文
と一致する単語を検索する一致単語検索手段と;各テン
プレートパターンにおける一致単語の合計ポイント数を
演算するポイント数演算手段と;合計ポイント数が最も
高いテンプレートパターンを最適テンプレートパターン
として選択する最適テンプレートパターン選択手段と;
最適テンプレートパターンの総ポイント数を演算する最
適テンプレートパターン総ポイント数演算手段と;入力
文の一致単語数を演算する一致単語数演算手段と;入力
文の一致単語数を入力文の総単語数で除した値と、入力
文中の一致単語ポイント数を最適テンプレートパターン
の総ポイント数で除した値とを用い、これら両値の積に
基づき入力文を評価する入力文評価手段と;を設けるよ
うにしたことを特徴とする。そしてこれにより、入力者
が意図した入力文のテンプレートパターンと同一のテン
プレートパターンを用いて入力文を評価することが可能
となり、高い信頼性を得ることが可能となる。
【0015】本発明はまた、任意数のテンプレートに分
解された模範解答用の複数のテンプレートパターンを、
メモリ領域に記憶させる処理;入力文をメモリ領域に記
憶させる処理;前記各テンプレートパターンで用いられ
る単語に対し、その重要度に応じたポイント数で付与さ
れたポイントを、単語と関連付けてメモリ領域に記憶さ
せる処理;前記入力文と各テンプレートパターンとを比
較し、一致するすべての単語の合計ポイント数が最も高
くなるテンプレートパターンを、最適テンプレートパタ
ーンとして選択する処理;をコンピュータに実行させる
ようにしたことを特徴とする。そして前記各処理によ
り、ポイント数の高い重要単語をより多く含むテンプレ
ートパターンが、最適テンプレートパターンとして選択
される可能性が高くなり、入力者が意図した入力文のテ
ンプレートパターンと同一のテンプレートパターンを、
模範解答用のテンプレートパターンとして選択,決定す
ることが可能となる。
【0016】本発明はさらに、任意数のテンプレートに
分解された模範解答用の複数のテンプレートパターン
を、メモリ領域に記憶させる処理;入力文をメモリ領域
に記憶させる処理;前記各テンプレートパターンで用い
られる単語に対し、その重要度に応じたポイント数で付
与されたポイントを、単語と関連付けてメモリ領域に記
憶させる処理;前記入力文と各テンプレートパターンと
を比較し、一致するすべての単語の合計ポイント数が最
も高くなるテンプレートパターンを、最適テンプレート
パターンとして選択する処理;入力文の一致単語数を入
力文の総単語数で除した値と、入力文中の一致単語ポイ
ント数を最適テンプレートパターンの総ポイント数で除
した値とを用い、これら両値の積に基づき入力文を評価
する処理;をコンピュータに実行させるようにしたこと
を特徴とする。そして、前記各処理により、入力文を正
しく評価することが可能となる。
【0017】
【発明の実施の形態】以下、本発明を図面を参照して説
明する。図1は、本発明の実施の一形態に係る最適テン
プレートパターンの決定および入力文の評価を行なう装
置を示すもので、この装置は、任意数のテンプレートパ
ターンに分解された模範解答用の複数のテンプレートパ
ターンを記憶するテンプレートパターン記憶手段1、入
力文を記憶する入力記憶手段2、および単語ポイント数
記憶手段3を備えており、単語ポイント数記憶手段3
は、前記各テンプレートパターンで用いられるすべての
単語に対し、その重要度に応じたポイント数で予め付与
されているポイントを、単語と関連付けて記憶するよう
になっている。
【0018】前記入力文記憶手段2に記憶されている入
力文データは、図1に示すように、テンプレートパター
ン記憶手段1に記憶されている各テンプレートパターン
のデータとともに、一致単語検索手段4に入力されるよ
うになっており、この一致単語検索手段4においては、
入力文と各テンプレートパターンとを比較し、各テンプ
レートパターンにおいて入力文と一致する単語がそれぞ
れ検索され、その後ポイント数演算手段5において、各
テンプレートパターンにおける一致単語の合計ポイント
数が演算されるようになっている。そして、最適テンプ
レートパターン選択手段6においては、合計ポイント数
が最も高いテンプレートパターンを、最適テンプレート
パターンとして選択,決定するようになっている。
【0019】この最適テンプレートパターン選択手段6
で選択された最適テンプレートパターンは、最適テンプ
レートパターン総ポイント数演算手段7において、その
総ポイント数が演算されるようになっており、また入力
文は、一致単語数演算手段8において、最適テンプレー
トパターンとの一致単語数が演算されるようになってい
る。そして、入力文評価手段9においては、入力文の一
致単語数を入力文の総単語数で除した値と、入力文中の
一致単語ポイント数を最適テンプレートパターンの総ポ
イント数で除した値とを用い、これら両値の積に基づき
入力文の評価が行なわれるようになっている。
【0020】図2は、前記装置における最適テンプレー
トパターンの決定方法を示す流れ図であり、以下これに
ついて説明する。
【0021】まずステップS1において、入力文に対応
する模範解答用の複数のテンプレートパターンを予め用
意しておき、これら各テンプレートパターンを読込む。
【0022】例えば例題が、『日本には美しい公園が沢
山ある。』であるとすると、入力文に対応する模範解答
用のテンプレートパターンとしては、例えば表1に示す
ように、5つのテンプレートT1,T2,T3,T4,
T5に分解された三種類のテンプレートパターンA,
B,Cが用意される。
【0023】
【表1】
【0024】なおここで、各テンプレートパターンA,
B,Cにおけるテンプレート分解方法は、過去の添削例
を参考にして、添削作業で翻訳文(模範解答)の核にな
る要素が何であるかを、専門家の添削知識を用いて吟味
し、その単位をテンプレートと呼ぶ文章要素に分解する
ことにより行なわれる。
【0025】次いでステップS2において、前記各テン
プレートパターンで用いられるすべての単語に対し、そ
の重要度に応じたポイント数のポイントを付与する。
【0026】表1はその一例を示すもので、『dott
ed』および『nationwide』以外の各単語に
は、ポイント数「1」のポイントが付与され、一方『d
otted』および『nationwide』には、他
の単語の3倍のポイント数「3」のポイントが付与され
ている。すなわち、『dotted』および『nati
onwide』は、他の単語の3倍の重要度を有する重
要単語として設定されている。
【0027】ここで重要単語は、例えば教師が学生の翻
訳文(入力文)を添削するような場合に、教師側が是非
学生に覚えて貰いたいと考えている文型を強調する等の
場合に設定されるのもので、この場合教師は、授業にお
いて前記文型を用いて翻訳するよう、学生を指導するで
あろうし、学生も前記文型を用いて例題を翻訳するよう
努力することが予想される。そして、学生が前記文型を
用いて翻訳してきた場合には、その添削も、前記文型に
添ったテンプレートパターンを用いて評価してやること
が、翻訳文(入力文)を教師に提出した学生の意図に添
った評価となることは明らかである。
【0028】そこで、本発明はおいては、後に詳述する
ように、学生が前記文型を用いて翻訳してきた場合に
は、前記文型に添ったテンプレートパターンが、最適テ
ンプレートパターンとして選択されるようにしている。
【0029】なお、前記重要単語のポイント数の倍率は
3倍に限られるものではなく、その倍率は自由に設定す
ることができ、またポイント数が2倍の単語,ポイント
数が3倍の単語,ポイント数が4倍の単語のように、ポ
イント数の倍率を複数段階に分けて設定することもでき
る。
【0030】このようにして、単語ポイント数の読込み
が完了したならば、図2のステップS3において、入力
文の読込みを行なう。この入力文は、前記例では、学生
が教師に提出した翻訳文である。そして、この入力文の
読込みの後、ステップS4において、入力文の解析を行
なう。
【0031】なお、この入力文の解析としては、例えば
前記例のような和文英訳の場合であれば、前述の特開平
9−325673号公報に示されているように、基本的
用法が正しく履行されているか否かを調べるためのキー
パターンによるキーパターンチェック、入力文のすべて
の単語に対し内蔵する辞書を用いて行なわれる品詞分
類、および構文解析プログラムによる構文解析が順次行
なわれることになる。
【0032】次いでステップS5において、入力文中の
各単語が、各テンプレートパターン中のどの単語と一致
するかを検索するとともに、ステップS6において、一
致した単語の合計のポイント数を各テンプレートパター
ン毎に演算する。そしてステップS7において、合計の
ポイント数が最も高くなるテンプレートパターンを、最
適テンプレートパターンとして選択,決定する。
【0033】例えば、前記例題に対する学生の翻訳文
(入力文)が、『Japan has dotted
beautiful parksall over n
ationwide.』であるとすると、表1に示す各
テンプレートパターンA,B,Cの一致単語ポイント数
は、表2のようになる。
【0034】
【表2】
【0035】表2からも明らかなように、テンプレート
パターンAの一致単語ポイント数は「6」、テンプレー
トパターンBの一致単語ポイント数は「8」、テンプレ
ートパターンCの一致単語ポイント数は「9」であるの
で、最適テンプレートパターンとしては、テンプレート
パターンCが選択されることになる。
【0036】なお、各テンプレートパターンA,B,C
の一致単語数は、表2に示すように、テンプレートパタ
ーンA,Bが「6」、テンプレートパターンCが「5」
である。そして従来は、最適なテンプレートパターンを
選択する際に、一致単語数が最も多いテンプレートパタ
ーンを選択するようにしているので、従来の方法では、
テンプレートパターンAあるいはテンプレートパターン
Bが最適テンプレートパターンとして選択されてしまう
ことになる。
【0037】前記学生の翻訳文は、『dotted』と
『nationwide』とを用いて、例題を翻訳しよ
うと努力していることは明らかであるので、テンプレー
トパターンCを用いて学生の翻訳文を添削してやること
が、学生の意図する翻訳文の内容に対する正しい添削結
果となることは明らかである。
【0038】一方、前記例題に対する学生の翻訳文(入
力文)が『Japan is dotted with
beautifulparks country.』
であるとすると、表1に示す各テンプレートパターン
A,B,Cの一致単語ポイント数は、表3のようにな
る。
【0039】
【表3】
【0040】表3からも明らかなように、テンプレート
パターンAの一致単語ポイント数は「4」、テンプレー
トパターンBの一致単語ポイント数は「9」、テンプレ
ートパターンCの一致単語ポイント数「8」であるの
で、この場合の最適テンプレートパターンとしては、テ
ンプレートパターンBが選択されることになる。
【0041】なお、各テンプレートパターンA,B,C
の一致単語数は、表3に示すように、テンプレートパタ
ーンAが「4」、テンプレートパターンBが「7」、テ
ンプレートパターンCが「6」であるので、一致単語数
が最も多いテンプレートパターンを最適テンプレートパ
ターンとして選択する従来の方法の場合でも、結果は同
一となる。
【0042】このようにして、最適テンプレートパター
ンが選択されたならば、図2のステップS8において、
入力文を最適テンプレートパターンと同様のテンプレー
トに分解する。表4はその例を示し、各テンプレートt
1,t2,t3,t4,t5が、テンプレートパターン
B,Cの各テンプレートT1,T2,T3,T4,T5
にそれぞれ対応している。
【0043】
【表4】
【0044】このようにして、入力文のテンプレートパ
ターン分解が完了したならば、ステップS9において、
入力文の添削を行なう。この添削方法は、前述の特開平
9−325673号公報に示されている添削方法と同一
である。
【0045】しかして、各テンプレートパターンA,
B,Cで用いられるすべての単語に対し、その重要度に
応じたポイント数のポイントを付与し、入力文と各テン
プレートパターンA,B,Cとを比較し、一致するすべ
ての単語の合計ポイント数が最も高くなるテンプレート
パターンB,Cを、最適テンプレートパターンとして選
択するようにしているので、入力文が意図している内容
に添った添削内容となり、極めて精度の高い添削結果を
得ることができる。
【0046】図3は、前記装置における最適テンプレー
トパターンを用いた入力文の評価方法を示す流れ図であ
り、以下これについて説明する。
【0047】まずステップS11において、最適テンプ
レートパターンを読込むとともに、ステップS12にお
いて、入力文を読込む。
【0048】次いで、ステップS13において、読込ん
だ入力文中の一致単語数(A)を演算する。具体的に
は、前記表2で説明した一番目の入力文の場合には、
「(A)=5」が読込まれ、また表3で説明した二番目
の入力文の場合には、「(A)=7」が読込まれる。
【0049】次いで、ステップS14において、入力文
の総単語数(B)を演算する。具体的には、表2で説明
した一番目の入力文の場合には、「(B)=8」が読込
まれ、また表3で説明した二番目の入力文の場合には、
「(B)=10」が読込まれる。
【0050】次いで、ステップS15において、入力文
中の一致単語ポイント数(C)を演算する。具体的に
は、表2で説明した一番目の入力文の場合には、
「(C)=9」が読込まれ、また表3で説明した入力文
の場合には、「(C)=9」が読込まれる。
【0051】次いで、ステップS16において、最適テ
ンプレートパターンの総ポイント数(D)を演算する。
具体的には、前記表1に示すテンプレートパターンCが
最適テンプレートパターンとして選択された場合(一番
目の入力文の場合)には、「(D)=11」が読込ま
れ、またテンプレートパターンBが最適テンプレートパ
ターンとして選択された場合(二番目の入力文の場合)
には、「(D)=12」が読込まれる。
【0052】次いで、ステップS17において、入力文
中の一致単語数(A)を入力文の総単語数(B)で除す
計算がなされ、その計算結果(X)が求められるととも
に、ステップS18において、入力文中の一致単語ポイ
ント数(C)を最適テンプレートパターンの総ポイント
数(D)で除す計算がなされ、その計算結果(Y)が求
められる。そして最後に、ステップS19において、前
記両計算結果(X),(Y)を用いて入力文の評価が点
数の形式で求められる。以下の数1,数2および数3
は、前記各ステップS17,S18,S19における計
算内容をそれぞれ示すものである。
【0053】
【数1】
【0054】
【数2】
【0055】
【数3】
【0056】ここで、前記数1は、入力者(学生)が例
題をどの程度推測して翻訳したのかを測定する尺度であ
り、この尺度を用いることにより、当て推量が多い場合
には、評価点を下げることができるとともに、単語は知
っているが文法を理解していない場合には、評価点を下
げることができるようになっている。
【0057】また、前記数2は、入力者(学生)が間違
って使った単語の数を評価点に反映させるための尺度で
あり、この尺度を用いることにより、語彙が少ない場合
には、評価点を下げることができるとともに、簡単な単
語しか知らないで重要な単語を用いない場合には、評価
点を下げることができるようになっている。
【0058】すなわち、本発明に係る入力文の評価方法
は、入力者(学生)の語彙の豊富さ、文法知識の豊富
さ、および重要な文法,単語に関する知識の豊富さに重
点を置いた評価法である。
【0059】この入力文の評価方法を具体的に説明する
と、前記表1に示すテンプレートパターンCが最適テン
プレートパターンとして選択された場合(一番目の入力
文の場合)には、以下の数4に示すように、評価点は5
1.1点となり、一方前記表1に示すテンプレートパタ
ーンBが最適テンプレートパターンとして選択された場
合(二番目の入力文の場合)には、以下の数5に示すよ
うに、評価点は52.5点となる。
【0060】
【数4】
【0061】
【数5】
【0062】両者を比較すると、一番目の入力文は、重
要単語である『nationwide』を用いているに
も拘らず、この重要単語を用いていない二番目の入力文
よりも評価点が低くなっている。
【0063】これは、一番目の入力文は、『dotte
d』に関して『with』がないとともに、『is』を
『has』と誤って用い、かつ『nationwid
e』に関して不要な『all over』を用いている
からである。
【0064】しかして、この入力文の評価方法を用いる
ことにより、入力者(学生)の翻訳能力を正確に評価す
ることができ、学生は得られた評価点から、自己の弱点
を容易に知ることができる。
【0065】なお、前記実施の一形態においては、和文
英訳の添削を例に採って説明したが、英文和訳の場合
や、他の言語間の翻訳の場合にも同様に適用でき、また
前述のように、インターネット等を利用した情報検索シ
ステムにおいて、入力文に基づき所定の情報を検索する
ような場合に、自然言語文章からなる複合情報を持つテ
ンプレートパターンを検索キーとして使用することによ
り、同様に適用することができる。
【0066】
【発明の効果】以上説明したように本発明は、任意数の
テンプレートに分解された模範解答用の複数のテンプレ
ートパターンを予め用意しておき、これら各テンプレー
トパターンと入力文とを比較し、入力文に最も適したテ
ンプレートパターンを最適テンプレートパターンとして
決定する最適テンプレートパターン決定方法において、
前記各テンプレートパターンで用いられるすべての単語
に、その重要度に応じたポイント数のポイントを付与
し、前記入力文と各テンプレートパターンとを比較し、
一致するすべての単語の合計ポイント数が最も高くなる
テンプレートパターンを、最適テンプレートパターンと
して決定するようにしているので、入力者が意図した入
力文のテンプレートパターンと同一のテンプレートパタ
ーンを、模範解答用のテンプレートパターンとしてとし
て確実に選択,決定することができる。
【0067】本発明はまた、任意数のテンプレートに分
解された模範解答用の複数のテンプレートパターンを予
め用意しておき、これら各テンプレートパターンと入力
文とを比較し、入力文に最も適したテンプレートパター
ンを最適テンプレートパターンとして決定し、次いでこ
の最適テンプレートパターンに基づき入力文を評価する
最適テンプレートパターンを用いた評価方法において、
前記テンプレートパターンで用いられるすべての単語
に、その重要度に応じたポイント数のポイントを付与
し、前記入力文と各テンプレートパターンとを比較し、
一致するすべての単語の合計ポイント数が最も高くなる
テンプレートパターンを最適テンプレートパターンとし
て決定し、次いで入力文中の一致単語数を入力文の総単
語数で除した値と、入力文中の一致単語ポイント数を最
適テンプレートパターンの総ポイント数で除した値とを
用い、これら両値の積に基づき入力文を評価するように
しているので、文法を正しく理解しているか否か、ある
いは重要単語を知っているか否か等を勘案して、入力文
を正しく評価することができる。
【0068】本発明はまた、任意数のテンプレートに分
解された模範解答用の複数のテンプレートパターンを予
め用意しておき、これら各テンプレートパターンと入力
文とを比較し、入力文に最も適したテンプレートパター
ンを最適テンプレートパターンとして決定する最適テン
プレートパターン決定装置において、前記各テンプレー
トパターンを記憶するテンプレートパターン記憶手段
と;前記入力文を記憶する入力文記憶手段と;前記各テ
ンプレートパターンで用いられるすべて単語に対し、そ
の重要度に応じたポイント数で付与されたポイントを、
単語と関連付けて記憶する単語ポイント数記憶手段と;
入力文と各テンプレートパターンとを比較し、各テンプ
レートパターンにおいて入力文と一致する単語を検索す
る一致単語検索手段と;各テンプレートパターンにおけ
る一致単語の合計ポイント数を演算するポイント数演算
手段と;合計ポイント数が最も高いテンプレートパター
ンを最適テンプレートパターンとして選択する最適テン
プレートパターン選択手段と;を設け、ポイント数演算
手段において、一致単語の合計ポイント数を演算し、そ
の結果に基づき最適テンプレートパターンを選択するよ
うにしているので、重要単語をより多く含むテンプレー
トパターンが、最適テンプレートパターンとして選択さ
れる可能性が高くなり、入力者が意図した入力文のテン
プレートパターンと同一のテンプレートパターンを、模
範解答用のテンプレートパターンとして確実に選択,決
定することができる。
【0069】本発明はまた、任意数のテンプレートパタ
ーンに分解された模範解答用の複数のテンプレートパタ
ーンを予め用意しておき、これら各テンプレートパター
ンと入力文とを比較し、入力文に最も適したテンプレー
トパターンを最適テンプレートパターンとして決定し、
次いでこの最適テンプレートパターンを用いて入力文を
評価する最適テンプレートパターンを用いた評価装置に
おいて、前記各テンプレートパターンを記憶するテンプ
レートパターン記憶手段と;前記入力文を記憶する入力
文記憶手段と;前記各テンプレートパターンで用いられ
るすべて単語に対し、その重要度に応じたポイント数で
付与されたポイントを、単語と関連付けて記憶する単語
ポイント数記憶手段と;入力文と各テンプレートパター
ンとを比較し、各テンプレートパターンにおいて入力文
と一致する単語を検索する一致単語検索手段と;各テン
プレートパターンにおける一致単語の合計ポイント数を
演算するポイント数演算手段と;合計ポイント数が最も
高いテンプレートパターンを最適テンプレートパターン
として選択する最適テンプレートパターン選択手段と;
最適テンプレートパターンの総ポイント数を演算する最
適テンプレートパターン総ポイント数演算手段と;入力
文の一致単語数を演算する一致単語数演算手段と;入力
文の一致単語数を入力文の総単語数で除した値と、入力
文中の一致単語ポイント数を最適テンプレートパターン
の総ポイント数で除した値とを用い、これら両値の積に
基づき入力文を評価する入力文評価手段と;を設けるよ
うにしているので、入力者が意図した入力文のテンプレ
ートパターンと同一のテンプレートパターンを用いて入
力文を評価することができ、高い信頼性を得ることがで
きる。
【0070】本発明はまた、任意数のテンプレートに分
解された模範解答用の複数のテンプレートパターンを、
メモリ領域に記憶させる処理;入力文をメモリ領域に記
憶させる処理;前記各テンプレートパターンで用いられ
る単語に対し、その重要度に応じたポイント数で付与さ
れたポイントを、単語と関連付けてメモリ領域に記憶さ
せる処理;前記入力文と各テンプレートパターンとを比
較し、一致するすべての単語の合計ポイント数が最も高
くなるテンプレートパターンを、最適テンプレートパタ
ーンとして選択する処理;をコンピュータに実行させる
ようにしているので、ポイント数の高い重要単語をより
多く含むテンプレートパターンが、最適テンプレートパ
ターンとして選択される可能性が高くなり、入力者が意
図した入力文のテンプレートパターンと同一のテンプレ
ートパターンを、模範解答用のテンプレートパターンと
して選択,決定することができる。
【0071】本発明はさらに、任意数のテンプレートに
分解された模範解答用の複数のテンプレートパターン
を、メモリ領域に記憶させる処理;入力文をメモリ領域
に記憶させる処理;前記各テンプレートパターンで用い
られる単語に対し、その重要度に応じたポイント数で付
与されたポイントを、単語と関連付けてメモリ領域に記
憶させる処理;前記入力文と各テンプレートパターンと
を比較し、一致するすべての単語の合計ポイント数が最
も高くなるテンプレートパターンを、最適テンプレート
パターンとして選択する処理;入力文の一致単語数を入
力文の総単語数で除した値と、入力文中の一致単語ポイ
ント数を最適テンプレートパターンの総ポイント数で除
した値とを用い、これら両値の積に基づき入力文を評価
する処理;をコンピュータに実行させるようにしている
ので、入力文を正しく評価することができる。
【図面の簡単な説明】
【図1】本発明の実施の一形態に係る最適テンプレート
パターンの決定および入力文の評価を行なう装置を示す
全体構成図である。
【図2】図1の装置による最適テンプレートパターン決
定方法を示す流れ図である。
【図3】図1の装置による入力文の評価方法を示す流れ
図である。
【符号の説明】
1 テンプレートパターン記憶手段 2 入力記憶手段 3 単語ポイント数記憶手段 4 一致単語検索手段 5 ポイント数演算手段 6 最適テンプレートパターン選択手段 7 最適テンプレートパターン総ポイント数演算手段 8 一致単語数演算手段 9 入力文評価手段

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 任意数のテンプレートに分解された模範
    解答用の複数のテンプレートパターンを予め用意してお
    き、これら各テンプレートパターンと入力文とを比較
    し、入力文に最も適したテンプレートパターンを最適テ
    ンプレートパターンとして決定する最適テンプレートパ
    ターン決定方法において、前記各テンプレートパターン
    で用いられるすべての単語に、その重要度に応じたポイ
    ント数のポイントを付与し、前記入力文と各テンプレー
    トパターンとを比較し、一致するすべての単語の合計ポ
    イント数が最も高くなるテンプレートパターンを、最適
    テンプレートパターンとして決定することを特徴とする
    最適テンプレートパターン決定方法。
  2. 【請求項2】 任意数のテンプレートに分解された模範
    解答用の複数のテンプレートパターンを予め用意してお
    き、これら各テンプレートパターンと入力文とを比較
    し、入力文に最も適したテンプレートパターンを最適テ
    ンプレートパターンとして決定し、次いでこの最適テン
    プレートパターンに基づき入力文を評価する最適テンプ
    レートパターンを用いた評価方法において、前記各テン
    プレートパターンで用いられるすべての単語に、その重
    要度に応じたポイント数のポイントを付与し、前記入力
    文と各テンプレートパターンとを比較し、一致するすべ
    ての単語の合計ポイント数が最も高くなるテンプレート
    パターンを最適テンプレートパターンとして決定し、次
    いで入力文中の一致単語数を入力文の総単語数で除した
    値と、入力文中の一致単語ポイント数を最適テンプレー
    トパターンの総ポイント数で除した値とを用い、これら
    両値の積に基づき入力文を評価することを特徴とする最
    適テンプレートパターンを用いた評価方法。
  3. 【請求項3】 任意数のテンプレートパターンに分解さ
    れた模範解答用の複数のテンプレートパターンを予め用
    意しておき、これら各テンプレートパターンと入力文と
    を比較し、入力文に最も適したテンプレートパターンを
    最適テンプレートパターンとして決定する最適テンプレ
    ートパターン決定装置において、前記各テンプレートパ
    ターンを記憶するテンプレートパターン記憶手段と;前
    記入力文を記憶する入力文記憶手段と;前記各テンプレ
    ートパターンで用いられるすべて単語に対し、その重要
    度に応じたポイント数で付与されたポイントを、単語と
    関連付けて記憶する単語ポイント数記憶手段と;入力文
    と各テンプレートパターンとを比較し、各テンプレート
    パターンにおいて入力文と一致する単語を検索する一致
    単語検索手段と;各テンプレートパターンにおける一致
    単語の合計ポイント数を演算するポイント数演算手段
    と;合計ポイント数が最も高いテンプレートパターンを
    最適テンプレートパターンとして選択する最適テンプレ
    ートパターン選択手段と;を具備することを特徴とする
    最適テンプレートパターン決定装置。
  4. 【請求項4】 任意数のテンプレートパターンに分解さ
    れた模範解答用の複数のテンプレートパターンを予め用
    意しておき、これら各テンプレートパターンと入力文と
    を比較し、入力文に最も適したテンプレートパターンを
    最適テンプレートパターンとして決定し、次いでこの最
    適テンプレートパターンを用いて入力文を評価する最適
    テンプレートパターンを用いた評価装置において、前記
    各テンプレートパターンを記憶するテンプレートパター
    ン記憶手段と;前記入力文を記憶する入力文記憶手段
    と;前記各テンプレートパターンで用いられるすべて単
    語に対し、その重要度に応じたポイント数で付与された
    ポイントを、単語と関連付けて記憶する単語ポイント数
    記憶手段と;入力文と各テンプレートパターンとを比較
    し、各テンプレートパターンにおいて入力文と一致する
    単語を検索する一致単語検索手段と;各テンプレートパ
    ターンにおける一致単語の合計ポイント数を演算するポ
    イント数演算手段と;合計ポイント数が最も高いテンプ
    レートパターンを最適テンプレートパターンとして選択
    する最適テンプレートパターン選択手段と;最適テンプ
    レートパターンの総ポイント数を演算する最適テンプレ
    ートパターン総ポイント数演算手段と;入力文の一致単
    語数を演算する一致単語数演算手段と;入力文の一致単
    語数を入力文の総単語数で除した値と、入力文中の一致
    単語ポイント数を最適テンプレートパターンの総ポイン
    ト数で除した値とを用い、これら両値の積に基づき入力
    文を評価する入力文評価手段と;を具備することを特徴
    とする最適テンプレートパターンを用いた評価装置。
  5. 【請求項5】 任意数のテンプレートに分解された模範
    解答用の複数のテンプレートパターンを、メモリ領域に
    記憶させる処理;入力文をメモリ領域に記憶させる処
    理;前記各テンプレートパターンで用いられる単語に対
    し、その重要度に応じたポイント数で付与されたポイン
    トを、単語と関連付けてメモリ領域に記憶させる処理;
    前記入力文と各テンプレートパターンとを比較し、一致
    するすべての単語の合計ポイント数が最も高くなるテン
    プレートパターンを、最適テンプレートパターンとして
    選択する処理;をコンピュータに実行させるためのプロ
    グラムを記録したコンピュータ読取り可能な記録媒体。
  6. 【請求項6】 任意数のテンプレートに分解された模範
    解答用の複数のテンプレートパターンを、メモリ領域に
    記憶させる処理;入力文をメモリ領域に記憶させる処
    理;前記各テンプレートパターンで用いられる単語に対
    し、その重要度に応じたポイント数で付与されたポイン
    トを、単語と関連付けてメモリ領域に記憶させる処理;
    前記入力文と各テンプレートパターンとを比較し、一致
    するすべての単語の合計ポイント数が最も高くなるテン
    プレートパターンを、最適テンプレートパターンとして
    選択する処理;入力文の一致単語数を入力文の総単語数
    で除した値と、入力文中の一致単語ポイント数を最適テ
    ンプレートパターンの総ポイント数で除した値とを用
    い、これら両値の積に基づき入力文を評価する処理;を
    コンピュータに実行させるためのプログラムを記録した
    コンピュータ読取り可能な記録媒体。
JP18234799A 1999-06-28 1999-06-28 最適テンプレートパターンを用いた評価方法、評価装置および記録媒体 Expired - Fee Related JP3669869B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP18234799A JP3669869B2 (ja) 1999-06-28 1999-06-28 最適テンプレートパターンを用いた評価方法、評価装置および記録媒体
US09/597,269 US6598019B1 (en) 1999-06-28 2000-06-20 Evaluation method, apparatus, and recording medium using optimum template pattern determination method, apparatus and optimum template pattern

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP18234799A JP3669869B2 (ja) 1999-06-28 1999-06-28 最適テンプレートパターンを用いた評価方法、評価装置および記録媒体
US09/597,269 US6598019B1 (en) 1999-06-28 2000-06-20 Evaluation method, apparatus, and recording medium using optimum template pattern determination method, apparatus and optimum template pattern

Publications (2)

Publication Number Publication Date
JP2001013862A true JP2001013862A (ja) 2001-01-19
JP3669869B2 JP3669869B2 (ja) 2005-07-13

Family

ID=28676611

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18234799A Expired - Fee Related JP3669869B2 (ja) 1999-06-28 1999-06-28 最適テンプレートパターンを用いた評価方法、評価装置および記録媒体

Country Status (2)

Country Link
US (1) US6598019B1 (ja)
JP (1) JP3669869B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005057524A1 (ja) * 2003-11-28 2005-06-23 Kotobanomori Inc. 作文小論文の評価採点装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3520022B2 (ja) * 2000-01-14 2004-04-19 株式会社国際電気通信基礎技術研究所 外国語学習装置、外国語学習方法および媒体
US6988063B2 (en) * 2002-02-12 2006-01-17 Sunflare Co., Ltd. System and method for accurate grammar analysis using a part-of-speech tagged (POST) parser and learners' model
US7013262B2 (en) * 2002-02-12 2006-03-14 Sunflare Co., Ltd System and method for accurate grammar analysis using a learners' model and part-of-speech tagged (POST) parser
US8868670B2 (en) * 2004-04-27 2014-10-21 Avaya Inc. Method and apparatus for summarizing one or more text messages using indicative summaries
US8392193B2 (en) * 2004-06-01 2013-03-05 Verizon Business Global Llc Systems and methods for performing speech recognition using constraint based processing
US7873149B2 (en) 2004-06-01 2011-01-18 Verizon Business Global Llc Systems and methods for gathering information

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4507750A (en) * 1982-05-13 1985-03-26 Texas Instruments Incorporated Electronic apparatus from a host language
JPH03116273A (ja) * 1989-09-29 1991-05-17 Fujitsu Ltd 対訳文テンプレート対を用いた機械翻訳システム
US6278967B1 (en) * 1992-08-31 2001-08-21 Logovista Corporation Automated system for generating natural language translations that are domain-specific, grammar rule-based, and/or based on part-of-speech analysis
JP2887660B2 (ja) * 1996-06-05 1999-04-26 株式会社サン・フレア 翻訳文添削支援装置
US5905972A (en) * 1996-09-30 1999-05-18 Microsoft Corporation Prosodic databases holding fundamental frequency templates for use in speech synthesis
GB9806085D0 (en) * 1998-03-23 1998-05-20 Xerox Corp Text summarisation using light syntactic parsing
JP3822990B2 (ja) * 1999-01-07 2006-09-20 株式会社日立製作所 翻訳装置、記録媒体
JP4802370B2 (ja) * 2001-01-30 2011-10-26 ソニー株式会社 通信制御装置および方法、記録媒体、並びにプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005057524A1 (ja) * 2003-11-28 2005-06-23 Kotobanomori Inc. 作文小論文の評価採点装置
JPWO2005057524A1 (ja) * 2003-11-28 2007-12-13 株式会社言葉の森 作文小論文の評価採点装置
JP4584148B2 (ja) * 2003-11-28 2010-11-17 株式会社言葉の森 作文小論文の評価採点装置

Also Published As

Publication number Publication date
JP3669869B2 (ja) 2005-07-13
US6598019B1 (en) 2003-07-22

Similar Documents

Publication Publication Date Title
Black et al. Statistically-driven computer grammars of English: The IBM/Lancaster approach
Meara et al. Tools for researching vocabulary
CN109817046B (zh) 一种基于家教设备的学习辅助方法及家教设备
US8774705B2 (en) Learning support system and learning support method
Pedler Computer correction of real-word spelling errors in dyslexic text
CN110705302B (zh) 命名实体的识别方法、电子设备及计算机存储介质
CN109766538B (zh) 一种文本纠错方法、装置、电子设备以及存储介质
US20120141959A1 (en) Crowd-sourcing the performance of tasks through online education
KR20130128716A (ko) 어학 학습 시스템 및 학습 방법
JP2005518020A (ja) 品詞タグ付き(post)パーサーおよび学習者モデルを使用した正確な文法分析のためのシステムおよび方法
JP2005519312A (ja) 学習者モデルおよび品詞タグ付き(post)パーサーを使用した正確な文法分析のためのシステムおよび方法
KR102100951B1 (ko) 기계 독해를 위한 질의응답 데이터 생성 시스템
CN109522397B (zh) 信息处理方法及装置
US11989524B2 (en) Knowledge-grounded dialogue system and method for language learning
JP3669870B2 (ja) 最適テンプレートパターン探索方法,探索装置および記録媒体
US20030195740A1 (en) Translation evaluation using optimum template pattern determination method
JP2001013862A (ja) 最適テンプレートパターン決定方法,決定装置,最適テンプレートパターンを用いた評価方法,評価装置および記録媒体
US20030130836A1 (en) Evaluation system of vocabulary knowledge level and the method thereof
JP2003022264A (ja) 言語変換処理統一システム
JP2887660B2 (ja) 翻訳文添削支援装置
Zhang Language generation and speech synthesis in dialogues for language learning
Lu et al. Automated assessment of language
KR101747924B1 (ko) 한국어 철자 검사 방법 및 이를 실행하는 장치
JP2005134691A (ja) ネットワークを経由した教育システムの自動採点装置
JP2600081B2 (ja) 自然言語対話装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040323

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050412

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080422

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090422

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090422

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100422

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100422

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110422

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120422

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120422

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130422

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140422

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees