JP2022054636A - Speaking test automatic grading system - Google Patents
Speaking test automatic grading system Download PDFInfo
- Publication number
- JP2022054636A JP2022054636A JP2020161776A JP2020161776A JP2022054636A JP 2022054636 A JP2022054636 A JP 2022054636A JP 2020161776 A JP2020161776 A JP 2020161776A JP 2020161776 A JP2020161776 A JP 2020161776A JP 2022054636 A JP2022054636 A JP 2022054636A
- Authority
- JP
- Japan
- Prior art keywords
- scoring
- automatic
- test
- result
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 145
- 238000013500 data storage Methods 0.000 claims abstract description 24
- 238000011156 evaluation Methods 0.000 claims description 78
- 238000012545 processing Methods 0.000 claims description 54
- 238000003058 natural language processing Methods 0.000 claims description 22
- 230000004044 response Effects 0.000 claims description 14
- 238000000034 method Methods 0.000 claims description 13
- 238000013077 scoring method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 8
- 230000003993 interaction Effects 0.000 description 6
- 230000001427 coherent effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
特許法第30条第2項適用申請有り 令和2年6月17日に出願人が、発明者が発明したスピーキングテスト自動採点システムを「https://www.rarejob.co.jp/news/service/2020/0617/8865/」、「https://www.rarejob.co.jp/wp-content/uploads/2020/06/20200617_レアジョブPROGOS開発_final5.pdf」、「https://info.progos.ai/」及び「https://info.progos.ai/about.html」のアドレスのウェブサイトで公開されている株式会社レアジョブのウェブサイトにて公開した。There is an application for application of
本発明は、スピーキングテスト自動採点システムに関し、特に、英語力を測定するためのスピーキングテストを自動で採点するスピーキングテスト自動採点システムに関するものである。 The present invention relates to an automatic speaking test scoring system, and more particularly to an automatic speaking test scoring system for automatically scoring a speaking test for measuring English proficiency.
近年、オンライン英会話等、英会話の学習者と講師とがインターネット(登録商標)等のネットワークを介して遠隔にてレッスンを行う形態が増加している。それに伴い、学習者の英語力や学習効果を測定するためのテストについても遠隔にて行い、テストの結果を速やかに得るための仕組みが求められている。 In recent years, there has been an increasing number of forms in which English conversation learners and instructors, such as online English conversation, take lessons remotely via a network such as the Internet (registered trademark). Along with this, there is a need for a mechanism for remotely performing tests to measure learners' English proficiency and learning effects and promptly obtaining test results.
特に、会話力を測定するためのスピーキングテストは、回答を選択肢の中から選択する選択式のテストや回答を文字で記入又は入力する筆記式のテストと異なり、音声による回答者の自由な発話を採点する必要がある。 In particular, the speaking test for measuring conversational ability is different from the selective test in which the answer is selected from the options and the written test in which the answer is entered or entered in characters, and the respondent's free speech by voice is used. Need to be scored.
これに対し、従来の自動採点システムは、選択式や一問一答式の設問に対する回答を採点するためのものが多く、音声による自由な発話を採点するのに適したものではなかった。 On the other hand, many conventional automatic scoring systems are for scoring answers to multiple-choice or one-question-and-answer questions, and are not suitable for scoring free speech by voice.
回答者の発話を採点の対象とするものとして、特許文献1では、音声認識システムを用いて外国語スピーキング能力を訓練し、評価する方法において、「音声認識技術を用いてユーザが話した内容を文字に変換して外国語発声内容を自動で評価する過程において、音声認識技術の誤りを補うために、発声したユーザが、発声内容をキーボードなどの入力装置を用いて文字で入力するようにし、入力された文字データと録音された音声データとを比較してユーザの外国語能力を評価して、正確な評価結果をユーザに提供する」ことを開示している。 As the subject of scoring the speech of the respondent, in Patent Document 1, in the method of training and evaluating the foreign language speaking ability by using the voice recognition system, "the content spoken by the user using the voice recognition technology is described. In the process of converting to characters and automatically evaluating the content of foreign language utterances, in order to make up for errors in voice recognition technology, the uttered user is made to input the utterance contents in characters using an input device such as a keyboard. The input character data and the recorded voice data are compared to evaluate the user's foreign language ability, and an accurate evaluation result is provided to the user. "
しかしながら、特許文献1では、ユーザが自ら発声内容をキーボード等で文字として入力し直す必要があるため、ユーザの手間がかかり自然な会話の流れを中断してしまうという問題があった。また、長い発話の場合、ユーザが自らの発声内容を忠実に再現することが難しいという問題があった。 However, in Patent Document 1, since it is necessary for the user to re-input the utterance content as characters by himself / herself, there is a problem that the user takes time and effort and interrupts the natural flow of conversation. Further, in the case of a long utterance, there is a problem that it is difficult for the user to faithfully reproduce the content of his / her utterance.
また、特許文献2では、音声認識の精度を利用して、手本となる音声データに基づき発音された発音データから語学会話力を算出するサーバシステムにおいて、ユーザが予め定められた手本となる音声データを聞き取り、聞いたとおりに発音した発音データをサーバシステムに送信し、発音の精度を測ることを開示している。 Further, in Patent Document 2, the user serves as a predetermined model in a server system that calculates language conversation ability from pronunciation data pronounced based on voice data as a model by utilizing the accuracy of voice recognition. It discloses that it listens to voice data, sends pronunciation data that is pronounced exactly as it is heard, to the server system, and measures the accuracy of pronunciation.
しかしながら、特許文献2は、純粋に発音の精度を測るものであり、発音だけでなく、様々な項目について多面的に評価を行い、総合的なスピーキング力を測定することはできないという問題があった。 However, Patent Document 2 purely measures the accuracy of pronunciation, and has a problem that not only pronunciation but also various items can be evaluated from various aspects and comprehensive speaking ability cannot be measured. ..
そこで、本発明は、上記課題を解決し、発音だけでなく、語彙や表現の幅、文法・語法の正確さ、流暢さ、会話の流れのコントロール、話の組み立て方や言語選択の一貫性、意図する内容に即したイントネーションや抑揚等、総合的なスピーキング力を測定することが可能なスピーキングテスト自動採点システムを提供するものである。 Therefore, the present invention solves the above-mentioned problems, and not only pronunciation but also vocabulary and expression width, grammar / word usage accuracy, fluency, conversation flow control, story composition method and language selection consistency. It provides a speaking test automatic scoring system that can measure comprehensive speaking ability such as intonation and intonation according to the intended content.
上記課題を解決するため、本発明では、スピーキングテストの回答者の発話を分析し、スピーキング力を測定するスピーキングテスト自動採点システムを提供する。 In order to solve the above problems, the present invention provides a speaking test automatic scoring system that analyzes the utterances of the respondents of the speaking test and measures the speaking ability.
本発明のある態様によるスピーキングテスト自動採点システムは、ユーザ端末からテスト回答としての音声データを受け付けるテストサービスサーバと、テストサービスサーバから音声データ及び採点要求を受け取り、音声データに対して自動採点を行う自動採点サーバと、自動採点に必要なデータを記憶する採点用データ記憶部と、自動採点の採点結果を記憶する採点結果記憶部とを備え、自動採点サーバは、採点用データ記憶部に対して採点用データの書き込み及び読み出しを行い、採点用データを用いて音声データに対する自動採点を行い、自動採点サーバは、自動採点の採点結果を前記テストサービスサーバに送信し、テストサービスサーバは、採点結果を前記採点結果記憶部に記憶するとともに、ユーザ端末に前記採点結果を送信する。 The speaking test automatic scoring system according to a certain aspect of the present invention receives voice data and a scoring request from a test service server that receives voice data as a test answer from a user terminal, and automatically scores the voice data. It is equipped with an automatic scoring server, a scoring data storage unit that stores data required for automatic scoring, and a scoring result storage unit that stores the scoring results of automatic scoring. The scoring data is written and read, the voice data is automatically graded using the scoring data, the automatic scoring server sends the scoring result of the automatic scoring to the test service server, and the test service server performs the scoring result. Is stored in the scoring result storage unit, and the scoring result is transmitted to the user terminal.
本発明のある態様によるスピーキングテスト自動採点システムにおいては、自動採点サーバは、音声認識部を備え、音声認識部は、テストサービスサーバから音声入力を受け付け、入力された音声を認識し、音声認識結果を前記採点用データ記憶部に記憶することを特徴とする。 In the speaking test automatic scoring system according to a certain aspect of the present invention, the automatic scoring server includes a voice recognition unit, and the voice recognition unit receives voice input from the test service server, recognizes the input voice, and results in voice recognition. Is stored in the scoring data storage unit.
本発明のある態様によるスピーキングテスト自動採点システムにおいて、自動採点サーバは、自然言語処理部を備え、自然言語処理部は、音声認識部から音声認識結果を受信し、受信した音声認識結果に対して自然言語処理を行い、自然言語処理結果を採点用データ記憶部に送信することを特徴とする。 In the speaking test automatic scoring system according to a certain aspect of the present invention, the automatic scoring server includes a natural language processing unit, and the natural language processing unit receives a voice recognition result from the voice recognition unit and receives the voice recognition result. It is characterized by performing natural language processing and transmitting the natural language processing result to a scoring data storage unit.
本発明のある態様によるスピーキングテスト自動採点システムにおいて、自動採点サーバは、採点用データ処理部を備え、採点用データ処理部は、テストサービスサーバから採点処理の要求を受け取ると、採点用データに対して、予め定められた複数の項目のそれぞれに応じた処理を行うことを特徴とする。 In the speaking test automatic scoring system according to an aspect of the present invention, the automatic scoring server includes a scoring data processing unit, and the scoring data processing unit receives a scoring processing request from the test service server and receives a scoring data. Therefore, it is characterized in that processing is performed according to each of a plurality of predetermined items.
本発明のある態様によるスピーキングテスト自動採点システムにおいて、自動採点サーバは、項目評価採点部を備え、項目評価採点部は、予め定められた複数の項目のそれぞれについて自動採点を行う。 In the speaking test automatic scoring system according to a certain aspect of the present invention, the automatic scoring server includes an item evaluation scoring unit, and the item evaluation scoring unit automatically scores each of a plurality of predetermined items.
本発明のある態様によるスピーキングテスト自動採点システムにおいて、自動採点サーバは、全体評価採点部を備え、全体評価採点部は、項目評価採点部で自動採点した複数の項目のそれぞれについての採点結果に基づいて、全体評価を採点する。 In the speaking test automatic scoring system according to a certain aspect of the present invention, the automatic scoring server is provided with an overall evaluation scoring unit, and the overall evaluation scoring unit is based on the scoring results for each of a plurality of items automatically graded by the item evaluation scoring unit. And score the overall evaluation.
本発明のある態様によるスピーキングテスト自動採点システムにおいて、自動採点サーバは、採点結果処理部を備え、採点結果処理部は、採点結果をテストサービスサーバに送信することを特徴とする。 In the speaking test automatic scoring system according to an aspect of the present invention, the automatic scoring server includes a scoring result processing unit, and the scoring result processing unit transmits the scoring result to the test service server.
本発明のある態様によるスピーキングテスト自動採点システムにおいて、テストサービスサーバは、テスト回答受付部を備え、テスト回答受付部は、ユーザ端末からテスト回答としての音声データを受け付けると、自動採点サーバに音声データを送信するとともに、採点処理の要求を送信することを特徴とする。 In the speaking test automatic scoring system according to a certain aspect of the present invention, the test service server includes a test answer receiving unit, and when the test answer receiving unit receives voice data as a test answer from a user terminal, the voice data is stored in the automatic scoring server. Is transmitted, and a request for scoring processing is transmitted.
本発明のある態様によるスピーキングテスト自動採点システムにおいて、テストサービスサーバは、採点結果処理部を備え、採点結果処理部は、自動採点サーバから採点結果を受信し、採点結果を採点結果記憶部に記憶することを特徴とする。 In the speaking test automatic scoring system according to a certain aspect of the present invention, the test service server includes a scoring result processing unit, and the scoring result processing unit receives the scoring result from the automatic scoring server and stores the scoring result in the scoring result storage unit. It is characterized by doing.
本発明のある態様によるスピーキングテスト自動採点システムを用いた自動採点方法において、スピーキングテスト自動採点システムは、ユーザ端末からテスト回答としての音声データを受け付けるテストサービスサーバと、テストサービスサーバから音声データ及び採点要求を受け取り、音声データに対して自動採点を行う自動採点サーバと、自動採点に必要なデータを記憶する採点用データ記憶部と、自動採点の採点結果を記憶する採点結果記憶部とを備え、自動採点サーバが、前記採点用データ記憶部に採点用データを書き込み及び読み出しを行うステップと、自動採点サーバが、採点用データを用いて音声データに対する自動採点を行うステップと、自動採点サーバが、自動採点の採点結果をテストサービスサーバに送信するステップと、テストサービスサーバが、採点結果を採点結果記憶部に記憶するとともに、ユーザ端末に前記採点結果を送信するステップとを備える。 In the automatic scoring method using the speaking test automatic scoring system according to a certain aspect of the present invention, the speaking test automatic scoring system includes a test service server that receives voice data as a test answer from a user terminal, and voice data and scoring from a test service server. It is equipped with an automatic scoring server that receives requests and automatically grades voice data, a scoring data storage unit that stores data required for automatic scoring, and a scoring result storage unit that stores the scoring results of automatic scoring. The automatic scoring server has a step of writing and reading scoring data to the scoring data storage unit, the automatic scoring server has a step of automatically scoring voice data using the scoring data, and the automatic scoring server has an automatic scoring server. The test service server includes a step of transmitting the scoring result of the automatic scoring to the test service server, and a step of storing the scoring result in the scoring result storage unit and transmitting the scoring result to the user terminal.
本発明のある態様によるスピーキングテスト自動採点システムに、上記方法の各ステップを実行させることを特徴とするプログラムを提供するようにしてもよい。 An automated speaking test scoring system according to an aspect of the present invention may be provided with a program comprising performing each step of the above method.
本発明において、「CEFR」とは、ヨーロッパ言語共通参照枠のことを指す。CEFR(ヨーロッパ言語共通参照枠)は、世界共通・言語共通の語学力の枠組みであり、ヨーロッパで、外国語学習者の習得状況・言語運用能力を示す共通の基準として設けられたものである。 In the present invention, "CEFR" refers to the Common European Framework of Reference for Languages. The CEFR (Common European Framework of Reference for Languages) is a framework for language proficiency common to the world and languages, and is established as a common standard in Europe to show the acquisition status and linguistic performance of foreign language learners.
本発明において、「表現の幅」とは、そのユーザが使用可能な文法、構文、語彙及びフレーズの量を指す。本発明において、「正確さ」とは、そのユーザがどの程度、正しく文法・語法を用いることができるかを指す。本発明において、「流暢さ」とは、そのユーザがどの程度、スムーズに英語を発話できるかを指す。本発明において、「やりとり」とは、会話を始めたり、終わらせたり、維持したり、意図する方向にどの程度、意思表示ができるかを指す。本発明において、「一貫性」とは、筋道の通った話し方の順序や言語選択ができるかを指す。本発明において、「音韻」とは、どの程度、正しく、相手に誤解を与えずに、発音、イントネーション、抑揚を表現できるかを指す。 In the present invention, the "width of expression" refers to the amount of grammar, syntax, vocabulary and phrases available to the user. In the present invention, "accuracy" refers to the extent to which the user can use the grammar / wording correctly. In the present invention, "fluency" refers to how smoothly the user can speak English. In the present invention, "interaction" refers to the extent to which a conversation can be started, ended, maintained, and expressed in an intended direction. In the present invention, "consistency" refers to whether or not a coherent order of speaking and language selection can be made. In the present invention, "phonology" refers to the degree to which pronunciation, intonation, and intonation can be expressed correctly and without misunderstanding the other party.
本発明によれば、発音だけでなく、語彙や表現の幅、文法・語法の正確さ、流暢さ、会話の流れのコントロール、話の組み立て方や言語選択の一貫性、意図する内容に即したイントネーションや抑揚等、総合的なスピーキング力を測定することができるという効果を奏する。 According to the present invention, not only pronunciation but also vocabulary and expression width, grammar / word usage accuracy, fluency, conversation flow control, story composition method and language selection consistency, and intended content are met. It has the effect of being able to measure overall speaking ability such as intonation and intonation.
また、本発明によれば、複数の機械学習モデルを同時に用いることにより、ユーザの英語力を多角的に判定することができる。
本発明の他の目的、特徴および利点は添付図面に関する以下の本発明の実施例の記載から明らかになるであろう。
Further, according to the present invention, the English ability of the user can be determined from various angles by using a plurality of machine learning models at the same time.
Other objects, features and advantages of the invention will become apparent from the following embodiments of the invention with respect to the accompanying drawings.
図1は、本発明によるスピーキングテスト自動採点システムの全体を示す図である。本発明によるスピーキングテスト自動採点システム1は、ユーザ端末2からテスト回答としての音声データを受け付けるテストサービスサーバ10と、テストサービスサーバ10から音声データ及び採点要求を受け取り、音声データに対して自動採点を行う自動採点サーバ20と、自動採点に必要なデータを記憶する採点用データ記憶部30と、自動採点の採点結果を記憶する採点結果記憶部40とを備え、自動採点サーバ20は、採点用データ記憶部30に対して採点用データの書き込み及び読み出しを行い、採点用データを用いて音声データに対する自動採点を行い、自動採点サーバ20は、自動採点の採点結果を前記テストサービスサーバ10に送信し、テストサービスサーバ10は、採点結果を前記採点結果記憶部40に記憶するとともに、ユーザ端末2に前記採点結果を送信する。
FIG. 1 is a diagram showing the entire speaking test automatic scoring system according to the present invention. The speaking test automatic scoring system 1 according to the present invention receives voice data and scoring requests from the
図2は、本発明によるテストサービスサーバの構成例を示す図である。
テストサービスサーバ10は、インターネット(登録商標)等のネットワークを介して、ユーザ端末2と通信を行い、ユーザ端末2に対して、テストサービスを提供する。テストサービスサーバ10は、ユーザ端末2からテスト回答としての音声データを受け取り、採点結果をユーザ端末2に返す。テストサービスサーバ10は、テスト回答受付部11と採点結果通知部12を備える。
FIG. 2 is a diagram showing a configuration example of a test service server according to the present invention.
The
テストサービスサーバ10のテスト回答受付部11は、ユーザ端末2からテスト回答としての音声データを受け付けると、自動採点サーバ20に音声データを送信するとともに、採点処理の要求を送信する。
When the test
テストサービスサーバ10の採点結果通知部12は、自動採点サーバ20から採点結果を受信し、採点結果を採点結果記憶部40に記憶する。
The scoring
図3は、本発明による自動採点サーバの構成例を示す図である。
自動採点サーバ20は、テストサービスサーバ10からテスト回答としての音声データを受け取り、採点結果をテストサービスサーバ10に返す。自動採点サーバ20は、音声認識部21、自然言語処理部22、採点用データ処理部23、項目評価採点部24、全体評価採点部25、及び採点結果処理部26を備える。
FIG. 3 is a diagram showing a configuration example of an automatic scoring server according to the present invention.
The
自動採点サーバ20の音声認識部21は、テストサービスサーバ10から音声入力を受け付け、入力された音声を認識し、音声認識結果を前記採点用データ記憶部に記憶する。音声認識は、音声認識APIによって行われる。音声認識APIは、音声認識用の外部AIPであってもよい。認識された音声データは、テキストデータに変換される。
The
自動採点サーバ20の自然言語処理部22は、音声認識部21から音声認識結果を受信し、受信した音声認識結果に対して自然言語処理を行い、自然言語処理結果を採点用データ記憶部30に送信する。自然言語処理の例として、トークナイズ(Tokenize)、Lemma化、依存関係解析、品詞解析等を行うようにしてもよい。自然言語処理部22は、外部の自然言語処理用サーバを使用して前処理としての特徴量生成を行うようにしてもよい。
The natural
自動採点サーバ20の採点用データ処理部23は、テストサービスサーバ10から採点処理の要求を受け取ると、採点用データに対して、予め定められた複数の項目のそれぞれに応じた処理を行う。処理の内容は、各項目によって異なる。例えば、回答開始の速度や、回答の長さ、回答の終わり時間等を採点用データから抽出、算出又は集計するようにしてもよい。また、採点用データから単語数を集計してもよく、採点用データからユニークな特徴の数を算出又は集計するようにしてもよい。また、採点用データから文章を特徴付ける指標、例えば、WPMやギロー指数等を抽出又は算出してもよい。また、音声データをテキストデータに変換したものから、所定の辞書を用いて単語やフレーズの出現頻度をカウントするようにしてもよい。また、本発明により学習したモデル又は外部の学習済みモデルに対して、音声データから変換されたテキストデータを入力して獲得した埋め込み表現を用いて、類似度や距離を算出してもよい。なお、これらの処理は一例であり、採点用データに対して、他の必要な前処理をするようにしてもよい。
Upon receiving the scoring processing request from the
自動採点サーバ20の項目評価採点部24は、予め定められた複数の項目のそれぞれについて自動採点を行う。項目評価採点部24は、採点処理の要求を受け付けると、各スキルに応じて追加で必要な特徴量生成を実行し、それらを結合して1つのベクトルを作成する。そのベクトルを、項目評価採点部24に配置した学習済みモデルに対して渡し、学習済みモデルが出力する推定結果を取得する。項目評価採点部24は学習済みモデルが出力した推定結果と、学習済みモデル、及び確信度(即ち、予測確率)を返す。項目評価採点部24に入力されるデータの例は、音声のバイナリデータ、音声データから変換されたテキストデータ、自然言語処理済のデータ等である。また、項目評価採点部24から出力されるデータの例は、推定された英語レベル、使用したモデルの名称、確信度等である。
The item
自動採点サーバ20の全体評価採点部25は、項目評価採点部24で自動採点した複数の項目のそれぞれについての採点結果に基づいて、全体評価を採点する。全体評価採点部25に入力されるデータは、項目評価採点部24での複数の項目についての採点結果、即ち、推定結果であり、全体評価採点部25から出力されるデータは、推定された英語レベル、使用したモデルの名称、確信度等である。
The overall
自動採点サーバ20の採点結果処理部26は、採点結果をテストサービスサーバ10に送信する。
The scoring
図4は、本発明におけるテストサービスサーバと自動採点サーバとの間の処理の概要を示す図である。
以下、処理の流れに沿って各部の処理を説明する。まず、テストサービスサーバ10のテスト回答受付部11が、テスト回答としての音声データをユーザ端末2から受け付け、その音声データを採点結果記憶部40に記憶するとともに、音声データを自動採点サーバ20の音声認識部21に送信する。テスト回答受付部11は更に、自動採点サーバ20の採点用データ処理部23に採点処理の要求を送信する。
FIG. 4 is a diagram showing an outline of processing between the test service server and the automatic scoring server in the present invention.
Hereinafter, the processing of each part will be described along with the processing flow. First, the test
自動採点サーバ20の音声認識部21は、テスト回答受付部11から送信された音声データを受信し、音声認識結果を採点用データ記憶部30に記憶するとともに、音声認識結果を自然言語処理部22に送信する。音声認識部21から音声認識結果を受信した自然言語処理部22は、音声認識結果に対して自然言語処理を行い、自然言語処理の結果を採点用データ記憶部30に記憶する。
The
テスト回答受付部11から採点処理の要求を受信した採点用データ処理部23は、採点用データに対して、予め定められた複数の項目のそれぞれに応じた処理を行い、処理の結果を採点用データ記憶部30に記憶する。また、採点用データ処理部23は、項目評価採点部24に項目採点の要求を送信する。採点用データ処理部23から項目採点の要求を受信した項目評価採点部24は、予め定められた複数の項目のそれぞれについて自動採点を行い、自動採点の結果を採点結果処理部26に送信する。項目評価採点部24から複数の項目についての自動採点の結果を受信した採点結果処理部26は、自動採点の結果を採点用データ記憶部30に記憶する。
The scoring
また、項目評価採点部24は、全体評価採点部25に全体採点の要求を送信する。項目評価採点部24から全体採点の要求を受信した全体評価採点部25は、項目評価採点部24で自動採点した複数の項目のそれぞれについての採点結果に基づいて、全体評価を採点し、全体評価の採点結果を採点結果処理部26に送信する。全体評価採点部25から全体評価の採点結果を受信した採点結果処理部26は、全体評価の採点結果を採点用データ記憶部30に記憶する。
Further, the item
採点結果処理部26は、項目評価採点部24から受信した複数の項目についての自動採点結果と、全体評価採点部25から受信した全体評価の採点結果をテストサービスサーバ10の採点結果通知部12に送信する。採点結果処理部26は、採点結果処理部26から受信した複数の項目についての自動採点結果と全体評価の採点結果を採点結果記憶部40に記憶するとともに、ユーザ端末2に送信する。
The scoring
図5は、本発明による自動採点サーバの採点処理の概要を示す図である。
本発明においてはスキルモデルを用いた自動採点が行われる。本発明においてスキルモデルとは、英語力又は英会話力のうち、特に発話の質を測定するための項目に関するモデルである。一例として、本発明では、CEFR(ヨーロッパ言語共通参照枠)が定義する6つの項目についてのスキルモデルを作成する。CEFRが定義する6つの項目とは、「表現の幅」(Range)、「正確さ」(Accuracy)、「流暢さ」(Fluency)、「やりとり」(Interaction)、「一貫性」(Coherence)、及び「音韻」(Phonology)である。
FIG. 5 is a diagram showing an outline of the scoring process of the automatic scoring server according to the present invention.
In the present invention, automatic scoring using a skill model is performed. In the present invention, the skill model is a model relating to an item for measuring the quality of utterance, among English proficiency or English conversation ability. As an example, the present invention creates a skill model for six items defined by the CEFR (Common European Framework of Reference for Languages). The six items defined by the CEFR are "range", "accuracy", "fluency", "interaction", "coherence", and And "phonology".
ここで、本発明において、「表現の幅」とは、そのユーザが使用可能な文法、構文、語彙及びフレーズの量を指す。また、「正確さ」とは、そのユーザがどの程度、正しく文法・語法を用いることができるかを指す。また、「流暢さ」とは、そのユーザがどの程度、スムーズに英語を発話できるかを指す。また、「やりとり」とは、会話を始めたり、終わらせたり、維持したり、意図する方向にどの程度、意思表示ができるかを指す。また、「一貫性」とは、筋道の通った話し方の順序や言語選択ができるかを指す。また、「音韻」とは、どの程度、正しく、相手に誤解を与えずに、発音、イントネーション、抑揚を表現できるかを指す。 Here, in the present invention, the "width of expression" refers to the amount of grammar, syntax, vocabulary and phrases that can be used by the user. In addition, "accuracy" refers to the extent to which the user can use grammar and wording correctly. In addition, "fluency" refers to how smoothly the user can speak English. In addition, "interaction" refers to the extent to which a conversation can be started, ended, maintained, and expressed in the intended direction. In addition, "consistency" refers to the ability to make a coherent order of speaking and language selection. In addition, "phonology" refers to the degree to which pronunciation, intonation, and intonation can be expressed correctly and without misunderstanding the other party.
本発明において、項目評価採点部24で採点が行われる項目の1つである「表現の幅」に関するスキルモデルは、そのユーザが使用可能な文法、構文、語彙及びフレーズの量を測定するスキルモデルである。
In the present invention, the skill model relating to "width of expression", which is one of the items scored by the item
本発明において、項目評価採点部24で採点が行われる項目の1つである「正確さ」に関するスキルモデルは、そのユーザがどの程度、正しく文法・語法を用いることができるかを測定するスキルモデルである。
In the present invention, the skill model related to "accuracy", which is one of the items scored by the item
本発明において、項目評価採点部24で採点が行われる項目の1つである「流暢さ」に関するスキルモデルは、そのユーザがどの程度、スムーズに英語を発話できるかを測定するスキルモデルである。
In the present invention, the skill model relating to "fluency", which is one of the items to be scored by the item
本発明において、項目評価採点部24で採点が行われる項目の1つである「やりとり」に関するスキルモデルは、会話を始めたり、終わらせたり、維持したり、意図する方向にどの程度、意思表示ができるかを測定するスキルモデルである。
In the present invention, the skill model related to "interaction", which is one of the items to be scored by the item
本発明において、項目評価採点部24で採点が行われる項目の1つである「一貫性」に関するスキルモデルは、筋道の通った話し方の順序や言語選択ができるかを測定するスキルモデルである。
In the present invention, the skill model regarding "consistency", which is one of the items to be scored by the item
本発明において、項目評価採点部24で採点が行われる項目の1つである「音韻」に関するスキルモデルは、どの程度、正しく、相手に誤解を与えずに、発音、イントネーション、抑揚を表現できるかを測定するスキルモデルである。
In the present invention, to what extent can the skill model related to "phonology", which is one of the items scored by the item
項目評価採点部24では、これらの複数の項目のそれぞれについて、学習済みスキルモデルを作成する。項目評価採点部24は、作成した各項目に関する学習済みスキルモデルを用いて、各項目について自動採点を行い、採点結果を採点結果処理部26に返す。
The item
全体評価採点部25では、項目評価採点部24における複数の項目についての学習済のスキルモデルを入力として利用し、全体評価に関する学習済みスキルモデルを作成する。即ち、全体評価採点部25は、項目評価採点部24における複数の項目についての学習済のスキルモデルを統合して、全体評価に関する学習済みスキルモデルを作成する。全体評価採点部25は、作成した全体評価に関する学習済みスキルモデルを用いて、全体評価の採点を行い、採点結果を採点結果処理部26に返す。
The overall
採点結果処理部26は、処理プログラムにより、項目評価採点部24から送信された各項目に関する採点結果と、全体評価採点部25から送信された全体評価に関する採点結果をテストサービスサーバ10へ送信する。
The scoring
図6は、本発明によるスピーキングテスト自動採点システム全体の処理の流れを示す図である。
本発明によるスピーキングテスト自動採点システムを用いた自動採点方法では、自動採点サーバ20が、採点用データ記憶部30に採点用データの書き込み及び読み出しを行うステップと、自動採点サーバ20が、採点用データを用いて音声データに対する自動採点を行うステップと、自動採点サーバ20が、自動採点の採点結果をテストサービスサーバ10に送信するステップと、テストサービスサーバ10が、採点結果を採点結果記憶部40に記憶するとともに、ユーザ端末2に採点結果を送信するステップとを備える。
FIG. 6 is a diagram showing a processing flow of the entire speaking test automatic scoring system according to the present invention.
In the automatic scoring method using the speaking test automatic scoring system according to the present invention, the
本発明によるスピーキングテスト自動採点システムを用いた自動採点方法は、本発明の
スピーキングテスト自動採点システムに、本発明の自動採点方法の各ステップを実行させるプログラムにより実現される。プログラムは、サーバ内に記憶され、サーバ内で実行されるか、記録媒体に記憶されるようにしてもよい。
The automatic scoring method using the speaking test automatic scoring system according to the present invention is realized by a program that causes the speaking test automatic scoring system of the present invention to execute each step of the automatic scoring method of the present invention. The program may be stored in the server and executed in the server or stored in a recording medium.
具体的には、図6においてステップS1では、テストサービスサーバ10によりスピーキングテストが開始される。ステップS2では、ユーザがスピーキングテストに回答し、回答がテストサービスサーバ10のテスト回答受付部11に送信される。ステップS3では、テスト回答受付部11が回答としての音声データを採点結果記憶部40に記憶する。ステップS4では、テスト回答受付部11から送信された音声データに対して、自動採点サーバ20の音声認識部21が音声認識を行う。ステップS5では、音声認識部21から送信された認識結果に対して、自然言語処理部22が自然言語処理を行う。ステップS6では、用意されたテスト問題の全問についてテストの回答を受け付けたか否かが判定され、全問についてテストの回答を受け付けるまでステップS2からステップS5までの処理が繰り返される。ステップS7では、テスト回答受付部11から自動採点の要求を受け付け、自動採点の要求の受付に応答して自動採点サーバ20の採点用データ処理部23が項目評価採点部24に各項目についての自動採点を要求する。ステップS8では、項目評価採点部24が各項目についての自動採点を行う。ステップS9では、全体評価採点部25が全体評価の採点を行う。ステップS10では、採点結果処理部26が、項目評価採点部24及び全体評価採点部25から受信した採点結果をテストサービスサーバ10の採点結果通知部12へ送信し、採点結果通知部12がユーザ端末2に対して採点結果を送信する。
Specifically, in step S1 in FIG. 6, the speaking test is started by the
図7は、本発明によるテストサービス画面の一例を示す図である。
テストサービスサーバ10の採点結果通知部12は、ユーザ端末2に対して採点結果を送信する際、図7に示すようなテストサービス画面に採点結果を表示してもよい。好ましくは、総合評価として、全体評価の採点結果に対応するCEFR準拠のレベルが表示される。また、全体評価の採点結果に対応するCEFR準拠のレベルに相当する語学学習のサービス提供業者が独自に定めたレベル又は他の基準によるレベルを表示するようにしてもよい。また、指標別評価として、項目評価採点部24で採点された各項目に関する採点結果に対応するCEFR準拠のレベルが表示される。また、各項目に関する採点結果に対応するCEFR準拠のレベルに相当する語学学習のサービス提供業者が独自に定めたレベル又は他の基準によるレベルを表示するようにしてもよい。
FIG. 7 is a diagram showing an example of a test service screen according to the present invention.
When the scoring
テストサービス画面には、文章による評価の説明やユーザに対するフィードバックを表示するようにしてもよい。また、ユーザに対するフィードバックとして、レベルアップへの学習アドバイスを表示するようにしてもよい。また、テストサービス画面は図7の例に限られず、グラフやチャート、図表を用いて採点結果を表示するようにしてもよい。 The test service screen may display a textual explanation of the evaluation and feedback to the user. In addition, as feedback to the user, learning advice for leveling up may be displayed. Further, the test service screen is not limited to the example of FIG. 7, and the scoring result may be displayed by using a graph, a chart, or a chart.
なお、図7に示すテストサービス画面は一例であり、表示される項目やレイアウトは図7の例に限られず、任意のものであってよい。図7では、例として、複数のスキルモデルに関する項目のうち、「表現の幅」と「正確さ」に関する採点結果が表示されているが、好ましくは「表現の幅」、「正確さ」、「流暢さ」、「やりとり」、「一貫性」及び「音韻」の6つの項目の全てについて採点結果が表示される。また、表示する項目は、「表現の幅」、「正確さ」、「流暢さ」、「やりとり」、「一貫性」及び「音韻」のうちの任意の1つ又は任意の複数の組み合わせであってもよい。
上記記載は実施例についてなされたが、本発明はそれに限らず、本発明の精神と添付の請求の範囲の範囲内で種々の変更および修正をすることができることは当業者に明らかである。
The test service screen shown in FIG. 7 is an example, and the displayed items and layout are not limited to the example shown in FIG. 7, and may be arbitrary. In FIG. 7, as an example, among the items related to a plurality of skill models, the scoring results regarding "width of expression" and "accuracy" are displayed, but "width of expression", "accuracy", and "accuracy" are preferable. The scoring results are displayed for all six items of "fluency", "interaction", "consistency" and "phonology". In addition, the item to be displayed is any one or any combination of "width of expression", "accuracy", "fluency", "interaction", "consistency" and "phonology". You may.
Although the above description has been made for Examples, it will be apparent to those skilled in the art that the present invention is not limited thereto and various modifications and modifications can be made within the scope of the spirit of the present invention and the appended claims.
1 スピーキングテスト自動採点システム
2 ユーザ端末
10 テストサービスサーバ
11 テスト回答受付部
12 採点結果通知部
21 音声認識部
22 自然言語処理部
23 採点用データ処理部
24 項目評価採点部
25 全体評価採点部
26 採点結果処理部
20 自動採点サーバ
30 採点用データ記憶部
40 採点結果記憶部
1 Speaking test automatic scoring system 2
Claims (11)
ユーザ端末からテスト回答としての音声データを受け付けるテストサービスサーバと、
前記テストサービスサーバから前記音声データ及び採点要求を受け取り、前記音声データに対して自動採点を行う自動採点サーバと、
前記自動採点に必要なデータを記憶する採点用データ記憶部と、
前記自動採点の採点結果を記憶する採点結果記憶部と
を備え、
前記自動採点サーバは、前記採点用データ記憶部に対して採点用データの書き込み及び読み出しを行い、前記採点用データを用いて前記音声データに対する自動採点を行い、
前記自動採点サーバは、前記自動採点の採点結果を前記テストサービスサーバに送信し、
前記テストサービスサーバは、前記採点結果を前記採点結果記憶部に記憶するとともに、前記ユーザ端末に前記採点結果を送信することを特徴とする、スピーキングテスト自動採点システム。 Speaking test automatic scoring system
A test service server that accepts voice data as test answers from user terminals,
An automatic scoring server that receives the voice data and a scoring request from the test service server and automatically scores the voice data.
A scoring data storage unit that stores the data required for automatic scoring, and
A scoring result storage unit for storing the scoring result of the automatic scoring is provided.
The automatic scoring server writes and reads scoring data to the scoring data storage unit, and automatically grades the voice data using the scoring data.
The automatic scoring server transmits the scoring result of the automatic scoring to the test service server.
The test service server is a speaking test automatic scoring system, characterized in that the scoring result is stored in the scoring result storage unit and the scoring result is transmitted to the user terminal.
前記音声認識部は、前記テストサービスサーバから音声入力を受け付け、入力された音声を認識し、音声認識結果を前記採点用データ記憶部に記憶することを特徴とする、請求項1に記載のスピーキングテスト自動採点システム。 The automatic scoring server includes a voice recognition unit.
The speaking according to claim 1, wherein the voice recognition unit receives voice input from the test service server, recognizes the input voice, and stores the voice recognition result in the scoring data storage unit. Automatic test scoring system.
前記自然言語処理部は、前記音声認識部から前記音声認識結果を受信し、受信した前記音声認識結果に対して自然言語処理を行い、自然言語処理結果を前記採点用データ記憶部に送信することを特徴とする、請求項2に記載のスピーキングテスト自動採点システム。 The automatic scoring server is provided with a natural language processing unit.
The natural language processing unit receives the voice recognition result from the voice recognition unit, performs natural language processing on the received voice recognition result, and transmits the natural language processing result to the scoring data storage unit. 2. The speaking test automatic scoring system according to claim 2.
前記採点用データ処理部は、前記テストサービスサーバから採点処理の要求を受け取ると、前記採点用データに対して、予め定められた複数の項目のそれぞれに応じた処理を行うことを特徴とする、請求項1~3のいずれか一項に記載のスピーキングテスト自動採点システム。 The automatic scoring server includes a scoring data processing unit.
When the scoring data processing unit receives a scoring processing request from the test service server, the scoring data processing unit performs processing according to each of a plurality of predetermined items on the scoring data. The speaking test automatic scoring system according to any one of claims 1 to 3.
前記自動採点サーバが、前記採点用データ記憶部に採点用データの書き込み及び読み出しを行うステップと、
前記自動採点サーバが、前記採点用データを用いて前記音声データに対する自動採点を行うステップと、
前記自動採点サーバが、前記自動採点の採点結果を前記テストサービスサーバに送信するステップと、
前記テストサービスサーバが、前記採点結果を前記採点結果記憶部に記憶するとともに、前記ユーザ端末に前記採点結果を送信するステップと、
を備えることを特徴とする、自動採点方法。 It is an automatic scoring method using a speaking test automatic scoring system, and the speaking test automatic scoring system includes a test service server that receives voice data as a test answer from a user terminal, and the voice data and a scoring request from the test service server. An automatic scoring server that receives and automatically scores the voice data, a scoring data storage unit that stores data necessary for the automatic scoring, and a scoring result storage unit that stores the scoring results of the automatic scoring. Prepare,
A step in which the automatic scoring server writes and reads scoring data in the scoring data storage unit, and
A step in which the automatic scoring server automatically scores the voice data using the scoring data.
A step in which the automatic scoring server transmits the scoring result of the automatic scoring to the test service server, and
A step in which the test service server stores the scoring result in the scoring result storage unit and transmits the scoring result to the user terminal.
An automatic scoring method characterized by being equipped with.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020161776A JP2022054636A (en) | 2020-09-28 | 2020-09-28 | Speaking test automatic grading system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020161776A JP2022054636A (en) | 2020-09-28 | 2020-09-28 | Speaking test automatic grading system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022054636A true JP2022054636A (en) | 2022-04-07 |
Family
ID=80997869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020161776A Pending JP2022054636A (en) | 2020-09-28 | 2020-09-28 | Speaking test automatic grading system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022054636A (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018045062A (en) * | 2016-09-14 | 2018-03-22 | Kddi株式会社 | Program, device and method automatically grading from dictation voice of learner |
JP2019159318A (en) * | 2018-02-27 | 2019-09-19 | 株式会社レアジョブ | Voice analysis feedback system |
-
2020
- 2020-09-28 JP JP2020161776A patent/JP2022054636A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018045062A (en) * | 2016-09-14 | 2018-03-22 | Kddi株式会社 | Program, device and method automatically grading from dictation voice of learner |
JP2019159318A (en) * | 2018-02-27 | 2019-09-19 | 株式会社レアジョブ | Voice analysis feedback system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102302137B1 (en) | Apparatus for studying foreign language and method for providing foreign language study service by using the same | |
Ashwell et al. | How Accurately Can the Google Web Speech API Recognize and Transcribe Japanese L2 English Learners' Oral Production?. | |
US9449522B2 (en) | Systems and methods for evaluating difficulty of spoken text | |
JP2009503563A (en) | Assessment of spoken language proficiency by computer | |
Anderson et al. | Recognition of elderly speech and voice-driven document retrieval | |
Handley et al. | Establishing a methodology for benchmarking speech synthesis for computer-assisted language learning (CALL) | |
CN103594087A (en) | Method and system for improving oral evaluation performance | |
CN108431883A (en) | Langue leaning system and language learning programs | |
KR20160008949A (en) | Apparatus and method for foreign language learning based on spoken dialogue | |
CN109584906A (en) | Spoken language pronunciation evaluating method, device, equipment and storage equipment | |
US9361908B2 (en) | Computer-implemented systems and methods for scoring concatenated speech responses | |
CN113205729A (en) | Foreign student-oriented speech evaluation method, device and system | |
Evanini et al. | Overview of automated speech scoring | |
CN109697975B (en) | Voice evaluation method and device | |
JP2006510043A (en) | System and method for dynamic analysis of temporal characteristics of speech | |
CN118173118A (en) | Spoken question-answer scoring method, device, equipment, storage medium and program product | |
Shufang | Design of an automatic english pronunciation error correction system based on radio magnetic pronunciation recording devices | |
CN111341346A (en) | Language expression capability evaluation method and system for fusion depth language generation model | |
CN114241835B (en) | Student spoken language quality evaluation method and device | |
Díez et al. | A corpus-based study of Spanish L2 mispronunciations by Japanese speakers | |
JP2022054636A (en) | Speaking test automatic grading system | |
CN114339303A (en) | Interactive evaluation method and device, computer equipment and storage medium | |
CN111968434A (en) | Method and storage medium for on-line paperless language training and evaluation | |
KR101004940B1 (en) | Method for evaluating spoken ability through computer-lead speech recognition | |
Proença et al. | Teaching American English pronunciation using a TTS service. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201105 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20201022 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211019 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220818 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220830 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230301 |