JP2022054636A - Speaking test automatic grading system - Google Patents

Speaking test automatic grading system Download PDF

Info

Publication number
JP2022054636A
JP2022054636A JP2020161776A JP2020161776A JP2022054636A JP 2022054636 A JP2022054636 A JP 2022054636A JP 2020161776 A JP2020161776 A JP 2020161776A JP 2020161776 A JP2020161776 A JP 2020161776A JP 2022054636 A JP2022054636 A JP 2022054636A
Authority
JP
Japan
Prior art keywords
scoring
automatic
test
result
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020161776A
Other languages
Japanese (ja)
Inventor
隼汰 山本
Hayata Yamamoto
晃弘 向
Akihiro Mukai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rarejob Inc
Original Assignee
Rarejob Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rarejob Inc filed Critical Rarejob Inc
Priority to JP2020161776A priority Critical patent/JP2022054636A/en
Publication of JP2022054636A publication Critical patent/JP2022054636A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

To provide a speaking test automatic grading system that automatically grades a speaking test for measuring an English ability.SOLUTION: The speaking test automatic grading system according to the present invention includes: a test service server for receiving voice data as an answer to a test from a user terminal; an automatic grading server for receiving the voice data and a request to grade from the test service server and automatically grading the voice data; a grading data storage unit for storing data necessary for automatic grading; and a grading result storage unit for storing the result of automatic grading. The automatic grading server writes the grading data to the grading data storage unit or reads the grading data from the grading data storage unit. The automatic grading server sends the result of automatic grading to the test service server, and the test service server sends the result of grading to the user terminal while stores the result of grading into the grading result storage unit.SELECTED DRAWING: Figure 1

Description

特許法第30条第2項適用申請有り 令和2年6月17日に出願人が、発明者が発明したスピーキングテスト自動採点システムを「https://www.rarejob.co.jp/news/service/2020/0617/8865/」、「https://www.rarejob.co.jp/wp-content/uploads/2020/06/20200617_レアジョブPROGOS開発_final5.pdf」、「https://info.progos.ai/」及び「https://info.progos.ai/about.html」のアドレスのウェブサイトで公開されている株式会社レアジョブのウェブサイトにて公開した。There is an application for application of Article 30, Paragraph 2 of the Patent Act. service / 2020/0617/8865 / "," https: //www.rejob.co.jp/wp-patent/uploads/2020/06/202020617_RareJob PROGOS development_final5.pdf "," html: //info. .Ai / ”and“ https: //info.progos.ai/abouut.html ”are published on the website of RareJob Co., Ltd., which is published on the website.

本発明は、スピーキングテスト自動採点システムに関し、特に、英語力を測定するためのスピーキングテストを自動で採点するスピーキングテスト自動採点システムに関するものである。 The present invention relates to an automatic speaking test scoring system, and more particularly to an automatic speaking test scoring system for automatically scoring a speaking test for measuring English proficiency.

近年、オンライン英会話等、英会話の学習者と講師とがインターネット(登録商標)等のネットワークを介して遠隔にてレッスンを行う形態が増加している。それに伴い、学習者の英語力や学習効果を測定するためのテストについても遠隔にて行い、テストの結果を速やかに得るための仕組みが求められている。 In recent years, there has been an increasing number of forms in which English conversation learners and instructors, such as online English conversation, take lessons remotely via a network such as the Internet (registered trademark). Along with this, there is a need for a mechanism for remotely performing tests to measure learners' English proficiency and learning effects and promptly obtaining test results.

特に、会話力を測定するためのスピーキングテストは、回答を選択肢の中から選択する選択式のテストや回答を文字で記入又は入力する筆記式のテストと異なり、音声による回答者の自由な発話を採点する必要がある。 In particular, the speaking test for measuring conversational ability is different from the selective test in which the answer is selected from the options and the written test in which the answer is entered or entered in characters, and the respondent's free speech by voice is used. Need to be scored.

これに対し、従来の自動採点システムは、選択式や一問一答式の設問に対する回答を採点するためのものが多く、音声による自由な発話を採点するのに適したものではなかった。 On the other hand, many conventional automatic scoring systems are for scoring answers to multiple-choice or one-question-and-answer questions, and are not suitable for scoring free speech by voice.

回答者の発話を採点の対象とするものとして、特許文献1では、音声認識システムを用いて外国語スピーキング能力を訓練し、評価する方法において、「音声認識技術を用いてユーザが話した内容を文字に変換して外国語発声内容を自動で評価する過程において、音声認識技術の誤りを補うために、発声したユーザが、発声内容をキーボードなどの入力装置を用いて文字で入力するようにし、入力された文字データと録音された音声データとを比較してユーザの外国語能力を評価して、正確な評価結果をユーザに提供する」ことを開示している。 As the subject of scoring the speech of the respondent, in Patent Document 1, in the method of training and evaluating the foreign language speaking ability by using the voice recognition system, "the content spoken by the user using the voice recognition technology is described. In the process of converting to characters and automatically evaluating the content of foreign language utterances, in order to make up for errors in voice recognition technology, the uttered user is made to input the utterance contents in characters using an input device such as a keyboard. The input character data and the recorded voice data are compared to evaluate the user's foreign language ability, and an accurate evaluation result is provided to the user. "

しかしながら、特許文献1では、ユーザが自ら発声内容をキーボード等で文字として入力し直す必要があるため、ユーザの手間がかかり自然な会話の流れを中断してしまうという問題があった。また、長い発話の場合、ユーザが自らの発声内容を忠実に再現することが難しいという問題があった。 However, in Patent Document 1, since it is necessary for the user to re-input the utterance content as characters by himself / herself, there is a problem that the user takes time and effort and interrupts the natural flow of conversation. Further, in the case of a long utterance, there is a problem that it is difficult for the user to faithfully reproduce the content of his / her utterance.

また、特許文献2では、音声認識の精度を利用して、手本となる音声データに基づき発音された発音データから語学会話力を算出するサーバシステムにおいて、ユーザが予め定められた手本となる音声データを聞き取り、聞いたとおりに発音した発音データをサーバシステムに送信し、発音の精度を測ることを開示している。 Further, in Patent Document 2, the user serves as a predetermined model in a server system that calculates language conversation ability from pronunciation data pronounced based on voice data as a model by utilizing the accuracy of voice recognition. It discloses that it listens to voice data, sends pronunciation data that is pronounced exactly as it is heard, to the server system, and measures the accuracy of pronunciation.

しかしながら、特許文献2は、純粋に発音の精度を測るものであり、発音だけでなく、様々な項目について多面的に評価を行い、総合的なスピーキング力を測定することはできないという問題があった。 However, Patent Document 2 purely measures the accuracy of pronunciation, and has a problem that not only pronunciation but also various items can be evaluated from various aspects and comprehensive speaking ability cannot be measured. ..

特開2015-011348号公報Japanese Unexamined Patent Publication No. 2015-011348 特開2006-208644号公報Japanese Unexamined Patent Publication No. 2006-208644

そこで、本発明は、上記課題を解決し、発音だけでなく、語彙や表現の幅、文法・語法の正確さ、流暢さ、会話の流れのコントロール、話の組み立て方や言語選択の一貫性、意図する内容に即したイントネーションや抑揚等、総合的なスピーキング力を測定することが可能なスピーキングテスト自動採点システムを提供するものである。 Therefore, the present invention solves the above-mentioned problems, and not only pronunciation but also vocabulary and expression width, grammar / word usage accuracy, fluency, conversation flow control, story composition method and language selection consistency. It provides a speaking test automatic scoring system that can measure comprehensive speaking ability such as intonation and intonation according to the intended content.

上記課題を解決するため、本発明では、スピーキングテストの回答者の発話を分析し、スピーキング力を測定するスピーキングテスト自動採点システムを提供する。 In order to solve the above problems, the present invention provides a speaking test automatic scoring system that analyzes the utterances of the respondents of the speaking test and measures the speaking ability.

本発明のある態様によるスピーキングテスト自動採点システムは、ユーザ端末からテスト回答としての音声データを受け付けるテストサービスサーバと、テストサービスサーバから音声データ及び採点要求を受け取り、音声データに対して自動採点を行う自動採点サーバと、自動採点に必要なデータを記憶する採点用データ記憶部と、自動採点の採点結果を記憶する採点結果記憶部とを備え、自動採点サーバは、採点用データ記憶部に対して採点用データの書き込み及び読み出しを行い、採点用データを用いて音声データに対する自動採点を行い、自動採点サーバは、自動採点の採点結果を前記テストサービスサーバに送信し、テストサービスサーバは、採点結果を前記採点結果記憶部に記憶するとともに、ユーザ端末に前記採点結果を送信する。 The speaking test automatic scoring system according to a certain aspect of the present invention receives voice data and a scoring request from a test service server that receives voice data as a test answer from a user terminal, and automatically scores the voice data. It is equipped with an automatic scoring server, a scoring data storage unit that stores data required for automatic scoring, and a scoring result storage unit that stores the scoring results of automatic scoring. The scoring data is written and read, the voice data is automatically graded using the scoring data, the automatic scoring server sends the scoring result of the automatic scoring to the test service server, and the test service server performs the scoring result. Is stored in the scoring result storage unit, and the scoring result is transmitted to the user terminal.

本発明のある態様によるスピーキングテスト自動採点システムにおいては、自動採点サーバは、音声認識部を備え、音声認識部は、テストサービスサーバから音声入力を受け付け、入力された音声を認識し、音声認識結果を前記採点用データ記憶部に記憶することを特徴とする。 In the speaking test automatic scoring system according to a certain aspect of the present invention, the automatic scoring server includes a voice recognition unit, and the voice recognition unit receives voice input from the test service server, recognizes the input voice, and results in voice recognition. Is stored in the scoring data storage unit.

本発明のある態様によるスピーキングテスト自動採点システムにおいて、自動採点サーバは、自然言語処理部を備え、自然言語処理部は、音声認識部から音声認識結果を受信し、受信した音声認識結果に対して自然言語処理を行い、自然言語処理結果を採点用データ記憶部に送信することを特徴とする。 In the speaking test automatic scoring system according to a certain aspect of the present invention, the automatic scoring server includes a natural language processing unit, and the natural language processing unit receives a voice recognition result from the voice recognition unit and receives the voice recognition result. It is characterized by performing natural language processing and transmitting the natural language processing result to a scoring data storage unit.

本発明のある態様によるスピーキングテスト自動採点システムにおいて、自動採点サーバは、採点用データ処理部を備え、採点用データ処理部は、テストサービスサーバから採点処理の要求を受け取ると、採点用データに対して、予め定められた複数の項目のそれぞれに応じた処理を行うことを特徴とする。 In the speaking test automatic scoring system according to an aspect of the present invention, the automatic scoring server includes a scoring data processing unit, and the scoring data processing unit receives a scoring processing request from the test service server and receives a scoring data. Therefore, it is characterized in that processing is performed according to each of a plurality of predetermined items.

本発明のある態様によるスピーキングテスト自動採点システムにおいて、自動採点サーバは、項目評価採点部を備え、項目評価採点部は、予め定められた複数の項目のそれぞれについて自動採点を行う。 In the speaking test automatic scoring system according to a certain aspect of the present invention, the automatic scoring server includes an item evaluation scoring unit, and the item evaluation scoring unit automatically scores each of a plurality of predetermined items.

本発明のある態様によるスピーキングテスト自動採点システムにおいて、自動採点サーバは、全体評価採点部を備え、全体評価採点部は、項目評価採点部で自動採点した複数の項目のそれぞれについての採点結果に基づいて、全体評価を採点する。 In the speaking test automatic scoring system according to a certain aspect of the present invention, the automatic scoring server is provided with an overall evaluation scoring unit, and the overall evaluation scoring unit is based on the scoring results for each of a plurality of items automatically graded by the item evaluation scoring unit. And score the overall evaluation.

本発明のある態様によるスピーキングテスト自動採点システムにおいて、自動採点サーバは、採点結果処理部を備え、採点結果処理部は、採点結果をテストサービスサーバに送信することを特徴とする。 In the speaking test automatic scoring system according to an aspect of the present invention, the automatic scoring server includes a scoring result processing unit, and the scoring result processing unit transmits the scoring result to the test service server.

本発明のある態様によるスピーキングテスト自動採点システムにおいて、テストサービスサーバは、テスト回答受付部を備え、テスト回答受付部は、ユーザ端末からテスト回答としての音声データを受け付けると、自動採点サーバに音声データを送信するとともに、採点処理の要求を送信することを特徴とする。 In the speaking test automatic scoring system according to a certain aspect of the present invention, the test service server includes a test answer receiving unit, and when the test answer receiving unit receives voice data as a test answer from a user terminal, the voice data is stored in the automatic scoring server. Is transmitted, and a request for scoring processing is transmitted.

本発明のある態様によるスピーキングテスト自動採点システムにおいて、テストサービスサーバは、採点結果処理部を備え、採点結果処理部は、自動採点サーバから採点結果を受信し、採点結果を採点結果記憶部に記憶することを特徴とする。 In the speaking test automatic scoring system according to a certain aspect of the present invention, the test service server includes a scoring result processing unit, and the scoring result processing unit receives the scoring result from the automatic scoring server and stores the scoring result in the scoring result storage unit. It is characterized by doing.

本発明のある態様によるスピーキングテスト自動採点システムを用いた自動採点方法において、スピーキングテスト自動採点システムは、ユーザ端末からテスト回答としての音声データを受け付けるテストサービスサーバと、テストサービスサーバから音声データ及び採点要求を受け取り、音声データに対して自動採点を行う自動採点サーバと、自動採点に必要なデータを記憶する採点用データ記憶部と、自動採点の採点結果を記憶する採点結果記憶部とを備え、自動採点サーバが、前記採点用データ記憶部に採点用データを書き込み及び読み出しを行うステップと、自動採点サーバが、採点用データを用いて音声データに対する自動採点を行うステップと、自動採点サーバが、自動採点の採点結果をテストサービスサーバに送信するステップと、テストサービスサーバが、採点結果を採点結果記憶部に記憶するとともに、ユーザ端末に前記採点結果を送信するステップとを備える。 In the automatic scoring method using the speaking test automatic scoring system according to a certain aspect of the present invention, the speaking test automatic scoring system includes a test service server that receives voice data as a test answer from a user terminal, and voice data and scoring from a test service server. It is equipped with an automatic scoring server that receives requests and automatically grades voice data, a scoring data storage unit that stores data required for automatic scoring, and a scoring result storage unit that stores the scoring results of automatic scoring. The automatic scoring server has a step of writing and reading scoring data to the scoring data storage unit, the automatic scoring server has a step of automatically scoring voice data using the scoring data, and the automatic scoring server has an automatic scoring server. The test service server includes a step of transmitting the scoring result of the automatic scoring to the test service server, and a step of storing the scoring result in the scoring result storage unit and transmitting the scoring result to the user terminal.

本発明のある態様によるスピーキングテスト自動採点システムに、上記方法の各ステップを実行させることを特徴とするプログラムを提供するようにしてもよい。 An automated speaking test scoring system according to an aspect of the present invention may be provided with a program comprising performing each step of the above method.

本発明において、「CEFR」とは、ヨーロッパ言語共通参照枠のことを指す。CEFR(ヨーロッパ言語共通参照枠)は、世界共通・言語共通の語学力の枠組みであり、ヨーロッパで、外国語学習者の習得状況・言語運用能力を示す共通の基準として設けられたものである。 In the present invention, "CEFR" refers to the Common European Framework of Reference for Languages. The CEFR (Common European Framework of Reference for Languages) is a framework for language proficiency common to the world and languages, and is established as a common standard in Europe to show the acquisition status and linguistic performance of foreign language learners.

本発明において、「表現の幅」とは、そのユーザが使用可能な文法、構文、語彙及びフレーズの量を指す。本発明において、「正確さ」とは、そのユーザがどの程度、正しく文法・語法を用いることができるかを指す。本発明において、「流暢さ」とは、そのユーザがどの程度、スムーズに英語を発話できるかを指す。本発明において、「やりとり」とは、会話を始めたり、終わらせたり、維持したり、意図する方向にどの程度、意思表示ができるかを指す。本発明において、「一貫性」とは、筋道の通った話し方の順序や言語選択ができるかを指す。本発明において、「音韻」とは、どの程度、正しく、相手に誤解を与えずに、発音、イントネーション、抑揚を表現できるかを指す。 In the present invention, the "width of expression" refers to the amount of grammar, syntax, vocabulary and phrases available to the user. In the present invention, "accuracy" refers to the extent to which the user can use the grammar / wording correctly. In the present invention, "fluency" refers to how smoothly the user can speak English. In the present invention, "interaction" refers to the extent to which a conversation can be started, ended, maintained, and expressed in an intended direction. In the present invention, "consistency" refers to whether or not a coherent order of speaking and language selection can be made. In the present invention, "phonology" refers to the degree to which pronunciation, intonation, and intonation can be expressed correctly and without misunderstanding the other party.

本発明によれば、発音だけでなく、語彙や表現の幅、文法・語法の正確さ、流暢さ、会話の流れのコントロール、話の組み立て方や言語選択の一貫性、意図する内容に即したイントネーションや抑揚等、総合的なスピーキング力を測定することができるという効果を奏する。 According to the present invention, not only pronunciation but also vocabulary and expression width, grammar / word usage accuracy, fluency, conversation flow control, story composition method and language selection consistency, and intended content are met. It has the effect of being able to measure overall speaking ability such as intonation and intonation.

また、本発明によれば、複数の機械学習モデルを同時に用いることにより、ユーザの英語力を多角的に判定することができる。
本発明の他の目的、特徴および利点は添付図面に関する以下の本発明の実施例の記載から明らかになるであろう。
Further, according to the present invention, the English ability of the user can be determined from various angles by using a plurality of machine learning models at the same time.
Other objects, features and advantages of the invention will become apparent from the following embodiments of the invention with respect to the accompanying drawings.

図1は、本発明によるスピーキングテスト自動採点システムの全体を示す図である。FIG. 1 is a diagram showing the entire speaking test automatic scoring system according to the present invention. 図2は、本発明によるテストサービスサーバの構成例を示す図である。FIG. 2 is a diagram showing a configuration example of a test service server according to the present invention. 図3は、本発明による自動採点サーバの構成例を示す図である。FIG. 3 is a diagram showing a configuration example of an automatic scoring server according to the present invention. 図4は、本発明によるテストサービスサーバと自動採点サーバとの間の処理の概要を示す図である。FIG. 4 is a diagram showing an outline of processing between the test service server and the automatic scoring server according to the present invention. 図5は、本発明による自動採点サーバの採点処理の概要を示す図である。FIG. 5 is a diagram showing an outline of the scoring process of the automatic scoring server according to the present invention. 図6は、本発明によるスピーキングテスト自動採点システム全体の処理の流れを示す図である。FIG. 6 is a diagram showing a processing flow of the entire speaking test automatic scoring system according to the present invention. 図7は、本発明によるテストサービス画面の一例を示す図である。FIG. 7 is a diagram showing an example of a test service screen according to the present invention.

図1は、本発明によるスピーキングテスト自動採点システムの全体を示す図である。本発明によるスピーキングテスト自動採点システム1は、ユーザ端末2からテスト回答としての音声データを受け付けるテストサービスサーバ10と、テストサービスサーバ10から音声データ及び採点要求を受け取り、音声データに対して自動採点を行う自動採点サーバ20と、自動採点に必要なデータを記憶する採点用データ記憶部30と、自動採点の採点結果を記憶する採点結果記憶部40とを備え、自動採点サーバ20は、採点用データ記憶部30に対して採点用データの書き込み及び読み出しを行い、採点用データを用いて音声データに対する自動採点を行い、自動採点サーバ20は、自動採点の採点結果を前記テストサービスサーバ10に送信し、テストサービスサーバ10は、採点結果を前記採点結果記憶部40に記憶するとともに、ユーザ端末2に前記採点結果を送信する。 FIG. 1 is a diagram showing the entire speaking test automatic scoring system according to the present invention. The speaking test automatic scoring system 1 according to the present invention receives voice data and scoring requests from the test service server 10 that receives voice data as a test answer from the user terminal 2 and the test service server 10, and automatically scores the voice data. The automatic scoring server 20 includes an automatic scoring server 20, a scoring data storage unit 30 that stores data necessary for automatic scoring, and a scoring result storage unit 40 that stores the scoring results of automatic scoring. The storage unit 30 writes and reads the scoring data, automatically grades the voice data using the scoring data, and the automatic scoring server 20 transmits the scoring result of the automatic scoring to the test service server 10. The test service server 10 stores the scoring result in the scoring result storage unit 40, and transmits the scoring result to the user terminal 2.

図2は、本発明によるテストサービスサーバの構成例を示す図である。
テストサービスサーバ10は、インターネット(登録商標)等のネットワークを介して、ユーザ端末2と通信を行い、ユーザ端末2に対して、テストサービスを提供する。テストサービスサーバ10は、ユーザ端末2からテスト回答としての音声データを受け取り、採点結果をユーザ端末2に返す。テストサービスサーバ10は、テスト回答受付部11と採点結果通知部12を備える。
FIG. 2 is a diagram showing a configuration example of a test service server according to the present invention.
The test service server 10 communicates with the user terminal 2 via a network such as the Internet (registered trademark), and provides a test service to the user terminal 2. The test service server 10 receives voice data as a test answer from the user terminal 2 and returns the scoring result to the user terminal 2. The test service server 10 includes a test response receiving unit 11 and a scoring result notification unit 12.

テストサービスサーバ10のテスト回答受付部11は、ユーザ端末2からテスト回答としての音声データを受け付けると、自動採点サーバ20に音声データを送信するとともに、採点処理の要求を送信する。 When the test response receiving unit 11 of the test service server 10 receives the voice data as the test answer from the user terminal 2, the test response receiving unit 11 transmits the voice data to the automatic scoring server 20 and also transmits a request for scoring processing.

テストサービスサーバ10の採点結果通知部12は、自動採点サーバ20から採点結果を受信し、採点結果を採点結果記憶部40に記憶する。 The scoring result notification unit 12 of the test service server 10 receives the scoring result from the automatic scoring server 20, and stores the scoring result in the scoring result storage unit 40.

図3は、本発明による自動採点サーバの構成例を示す図である。
自動採点サーバ20は、テストサービスサーバ10からテスト回答としての音声データを受け取り、採点結果をテストサービスサーバ10に返す。自動採点サーバ20は、音声認識部21、自然言語処理部22、採点用データ処理部23、項目評価採点部24、全体評価採点部25、及び採点結果処理部26を備える。
FIG. 3 is a diagram showing a configuration example of an automatic scoring server according to the present invention.
The automatic scoring server 20 receives voice data as a test answer from the test service server 10 and returns the scoring result to the test service server 10. The automatic scoring server 20 includes a voice recognition unit 21, a natural language processing unit 22, a scoring data processing unit 23, an item evaluation scoring unit 24, an overall evaluation scoring unit 25, and a scoring result processing unit 26.

自動採点サーバ20の音声認識部21は、テストサービスサーバ10から音声入力を受け付け、入力された音声を認識し、音声認識結果を前記採点用データ記憶部に記憶する。音声認識は、音声認識APIによって行われる。音声認識APIは、音声認識用の外部AIPであってもよい。認識された音声データは、テキストデータに変換される。 The voice recognition unit 21 of the automatic scoring server 20 receives voice input from the test service server 10, recognizes the input voice, and stores the voice recognition result in the scoring data storage unit. Voice recognition is performed by the voice recognition API. The voice recognition API may be an external AIP for voice recognition. The recognized voice data is converted into text data.

自動採点サーバ20の自然言語処理部22は、音声認識部21から音声認識結果を受信し、受信した音声認識結果に対して自然言語処理を行い、自然言語処理結果を採点用データ記憶部30に送信する。自然言語処理の例として、トークナイズ(Tokenize)、Lemma化、依存関係解析、品詞解析等を行うようにしてもよい。自然言語処理部22は、外部の自然言語処理用サーバを使用して前処理としての特徴量生成を行うようにしてもよい。 The natural language processing unit 22 of the automatic scoring server 20 receives the voice recognition result from the voice recognition unit 21, performs natural language processing on the received voice recognition result, and stores the natural language processing result in the scoring data storage unit 30. Send. As an example of natural language processing, tokenization, Lemmaization, dependency analysis, part-of-speech analysis, and the like may be performed. The natural language processing unit 22 may use an external natural language processing server to generate features as preprocessing.

自動採点サーバ20の採点用データ処理部23は、テストサービスサーバ10から採点処理の要求を受け取ると、採点用データに対して、予め定められた複数の項目のそれぞれに応じた処理を行う。処理の内容は、各項目によって異なる。例えば、回答開始の速度や、回答の長さ、回答の終わり時間等を採点用データから抽出、算出又は集計するようにしてもよい。また、採点用データから単語数を集計してもよく、採点用データからユニークな特徴の数を算出又は集計するようにしてもよい。また、採点用データから文章を特徴付ける指標、例えば、WPMやギロー指数等を抽出又は算出してもよい。また、音声データをテキストデータに変換したものから、所定の辞書を用いて単語やフレーズの出現頻度をカウントするようにしてもよい。また、本発明により学習したモデル又は外部の学習済みモデルに対して、音声データから変換されたテキストデータを入力して獲得した埋め込み表現を用いて、類似度や距離を算出してもよい。なお、これらの処理は一例であり、採点用データに対して、他の必要な前処理をするようにしてもよい。 Upon receiving the scoring processing request from the test service server 10, the scoring data processing unit 23 of the automatic scoring server 20 processes the scoring data according to each of a plurality of predetermined items. The content of processing differs depending on each item. For example, the speed at which the answer starts, the length of the answer, the end time of the answer, and the like may be extracted, calculated, or aggregated from the scoring data. Further, the number of words may be totaled from the scoring data, or the number of unique features may be calculated or totaled from the scoring data. Further, an index that characterizes the sentence, such as WPM or Gillow index, may be extracted or calculated from the scoring data. Further, the frequency of appearance of words and phrases may be counted by using a predetermined dictionary from the voice data converted into text data. Further, the similarity and the distance may be calculated by using the embedded expression obtained by inputting the text data converted from the voice data to the model learned by the present invention or the externally learned model. It should be noted that these processes are examples, and other necessary pre-processes may be performed on the scoring data.

自動採点サーバ20の項目評価採点部24は、予め定められた複数の項目のそれぞれについて自動採点を行う。項目評価採点部24は、採点処理の要求を受け付けると、各スキルに応じて追加で必要な特徴量生成を実行し、それらを結合して1つのベクトルを作成する。そのベクトルを、項目評価採点部24に配置した学習済みモデルに対して渡し、学習済みモデルが出力する推定結果を取得する。項目評価採点部24は学習済みモデルが出力した推定結果と、学習済みモデル、及び確信度(即ち、予測確率)を返す。項目評価採点部24に入力されるデータの例は、音声のバイナリデータ、音声データから変換されたテキストデータ、自然言語処理済のデータ等である。また、項目評価採点部24から出力されるデータの例は、推定された英語レベル、使用したモデルの名称、確信度等である。 The item evaluation scoring unit 24 of the automatic scoring server 20 automatically scores each of a plurality of predetermined items. When the item evaluation scoring unit 24 receives the request for scoring processing, it executes additional required feature quantity generation according to each skill, and combines them to create one vector. The vector is passed to the trained model arranged in the item evaluation scoring unit 24, and the estimation result output by the trained model is acquired. The item evaluation scoring unit 24 returns the estimation result output by the trained model, the trained model, and the certainty (that is, the prediction probability). Examples of the data input to the item evaluation scoring unit 24 are binary data of voice, text data converted from voice data, data processed in natural language, and the like. Examples of data output from the item evaluation scoring unit 24 are the estimated English level, the name of the model used, the degree of certainty, and the like.

自動採点サーバ20の全体評価採点部25は、項目評価採点部24で自動採点した複数の項目のそれぞれについての採点結果に基づいて、全体評価を採点する。全体評価採点部25に入力されるデータは、項目評価採点部24での複数の項目についての採点結果、即ち、推定結果であり、全体評価採点部25から出力されるデータは、推定された英語レベル、使用したモデルの名称、確信度等である。 The overall evaluation scoring unit 25 of the automatic scoring server 20 grades the overall evaluation based on the scoring results for each of the plurality of items automatically graded by the item evaluation scoring unit 24. The data input to the overall evaluation scoring unit 25 is the scoring result for a plurality of items in the item evaluation scoring unit 24, that is, the estimation result, and the data output from the overall evaluation scoring unit 25 is the estimated English. Level, name of model used, certainty, etc.

自動採点サーバ20の採点結果処理部26は、採点結果をテストサービスサーバ10に送信する。 The scoring result processing unit 26 of the automatic scoring server 20 transmits the scoring result to the test service server 10.

図4は、本発明におけるテストサービスサーバと自動採点サーバとの間の処理の概要を示す図である。
以下、処理の流れに沿って各部の処理を説明する。まず、テストサービスサーバ10のテスト回答受付部11が、テスト回答としての音声データをユーザ端末2から受け付け、その音声データを採点結果記憶部40に記憶するとともに、音声データを自動採点サーバ20の音声認識部21に送信する。テスト回答受付部11は更に、自動採点サーバ20の採点用データ処理部23に採点処理の要求を送信する。
FIG. 4 is a diagram showing an outline of processing between the test service server and the automatic scoring server in the present invention.
Hereinafter, the processing of each part will be described along with the processing flow. First, the test response receiving unit 11 of the test service server 10 receives voice data as a test answer from the user terminal 2, stores the voice data in the scoring result storage unit 40, and stores the voice data in the voice of the automatic scoring server 20. It is transmitted to the recognition unit 21. The test response receiving unit 11 further transmits a scoring processing request to the scoring data processing unit 23 of the automatic scoring server 20.

自動採点サーバ20の音声認識部21は、テスト回答受付部11から送信された音声データを受信し、音声認識結果を採点用データ記憶部30に記憶するとともに、音声認識結果を自然言語処理部22に送信する。音声認識部21から音声認識結果を受信した自然言語処理部22は、音声認識結果に対して自然言語処理を行い、自然言語処理の結果を採点用データ記憶部30に記憶する。 The voice recognition unit 21 of the automatic scoring server 20 receives the voice data transmitted from the test answer reception unit 11, stores the voice recognition result in the scoring data storage unit 30, and stores the voice recognition result in the natural language processing unit 22. Send to. The natural language processing unit 22 that has received the voice recognition result from the voice recognition unit 21 performs natural language processing on the voice recognition result, and stores the result of the natural language processing in the scoring data storage unit 30.

テスト回答受付部11から採点処理の要求を受信した採点用データ処理部23は、採点用データに対して、予め定められた複数の項目のそれぞれに応じた処理を行い、処理の結果を採点用データ記憶部30に記憶する。また、採点用データ処理部23は、項目評価採点部24に項目採点の要求を送信する。採点用データ処理部23から項目採点の要求を受信した項目評価採点部24は、予め定められた複数の項目のそれぞれについて自動採点を行い、自動採点の結果を採点結果処理部26に送信する。項目評価採点部24から複数の項目についての自動採点の結果を受信した採点結果処理部26は、自動採点の結果を採点用データ記憶部30に記憶する。 The scoring data processing unit 23, which has received the scoring processing request from the test response receiving unit 11, processes the scoring data according to each of a plurality of predetermined items, and the processing result is used for scoring. It is stored in the data storage unit 30. Further, the scoring data processing unit 23 transmits a request for item scoring to the item evaluation scoring unit 24. Upon receiving the item scoring request from the scoring data processing unit 23, the item evaluation scoring unit 24 automatically scores each of the plurality of predetermined items, and transmits the result of the automatic scoring to the scoring result processing unit 26. The scoring result processing unit 26, which has received the automatic scoring results for a plurality of items from the item evaluation scoring unit 24, stores the automatic scoring results in the scoring data storage unit 30.

また、項目評価採点部24は、全体評価採点部25に全体採点の要求を送信する。項目評価採点部24から全体採点の要求を受信した全体評価採点部25は、項目評価採点部24で自動採点した複数の項目のそれぞれについての採点結果に基づいて、全体評価を採点し、全体評価の採点結果を採点結果処理部26に送信する。全体評価採点部25から全体評価の採点結果を受信した採点結果処理部26は、全体評価の採点結果を採点用データ記憶部30に記憶する。 Further, the item evaluation scoring unit 24 transmits a request for overall scoring to the overall evaluation scoring unit 25. Upon receiving the request for overall scoring from the item evaluation scoring unit 24, the overall evaluation scoring unit 25 grades the overall evaluation based on the scoring results for each of the plurality of items automatically graded by the item evaluation scoring unit 24, and overall evaluation. The scoring result of is transmitted to the scoring result processing unit 26. The scoring result processing unit 26, which has received the scoring result of the overall evaluation from the overall evaluation scoring unit 25, stores the scoring result of the overall evaluation in the scoring data storage unit 30.

採点結果処理部26は、項目評価採点部24から受信した複数の項目についての自動採点結果と、全体評価採点部25から受信した全体評価の採点結果をテストサービスサーバ10の採点結果通知部12に送信する。採点結果処理部26は、採点結果処理部26から受信した複数の項目についての自動採点結果と全体評価の採点結果を採点結果記憶部40に記憶するとともに、ユーザ端末2に送信する。 The scoring result processing unit 26 sends the automatic scoring results for a plurality of items received from the item evaluation scoring unit 24 and the scoring results of the overall evaluation received from the overall evaluation scoring unit 25 to the scoring result notification unit 12 of the test service server 10. Send. The scoring result processing unit 26 stores the automatic scoring results for a plurality of items received from the scoring result processing unit 26 and the scoring results of the overall evaluation in the scoring result storage unit 40, and transmits them to the user terminal 2.

図5は、本発明による自動採点サーバの採点処理の概要を示す図である。
本発明においてはスキルモデルを用いた自動採点が行われる。本発明においてスキルモデルとは、英語力又は英会話力のうち、特に発話の質を測定するための項目に関するモデルである。一例として、本発明では、CEFR(ヨーロッパ言語共通参照枠)が定義する6つの項目についてのスキルモデルを作成する。CEFRが定義する6つの項目とは、「表現の幅」(Range)、「正確さ」(Accuracy)、「流暢さ」(Fluency)、「やりとり」(Interaction)、「一貫性」(Coherence)、及び「音韻」(Phonology)である。
FIG. 5 is a diagram showing an outline of the scoring process of the automatic scoring server according to the present invention.
In the present invention, automatic scoring using a skill model is performed. In the present invention, the skill model is a model relating to an item for measuring the quality of utterance, among English proficiency or English conversation ability. As an example, the present invention creates a skill model for six items defined by the CEFR (Common European Framework of Reference for Languages). The six items defined by the CEFR are "range", "accuracy", "fluency", "interaction", "coherence", and And "phonology".

ここで、本発明において、「表現の幅」とは、そのユーザが使用可能な文法、構文、語彙及びフレーズの量を指す。また、「正確さ」とは、そのユーザがどの程度、正しく文法・語法を用いることができるかを指す。また、「流暢さ」とは、そのユーザがどの程度、スムーズに英語を発話できるかを指す。また、「やりとり」とは、会話を始めたり、終わらせたり、維持したり、意図する方向にどの程度、意思表示ができるかを指す。また、「一貫性」とは、筋道の通った話し方の順序や言語選択ができるかを指す。また、「音韻」とは、どの程度、正しく、相手に誤解を与えずに、発音、イントネーション、抑揚を表現できるかを指す。 Here, in the present invention, the "width of expression" refers to the amount of grammar, syntax, vocabulary and phrases that can be used by the user. In addition, "accuracy" refers to the extent to which the user can use grammar and wording correctly. In addition, "fluency" refers to how smoothly the user can speak English. In addition, "interaction" refers to the extent to which a conversation can be started, ended, maintained, and expressed in the intended direction. In addition, "consistency" refers to the ability to make a coherent order of speaking and language selection. In addition, "phonology" refers to the degree to which pronunciation, intonation, and intonation can be expressed correctly and without misunderstanding the other party.

本発明において、項目評価採点部24で採点が行われる項目の1つである「表現の幅」に関するスキルモデルは、そのユーザが使用可能な文法、構文、語彙及びフレーズの量を測定するスキルモデルである。 In the present invention, the skill model relating to "width of expression", which is one of the items scored by the item evaluation scoring unit 24, is a skill model that measures the amount of grammar, syntax, vocabulary, and phrases that can be used by the user. Is.

本発明において、項目評価採点部24で採点が行われる項目の1つである「正確さ」に関するスキルモデルは、そのユーザがどの程度、正しく文法・語法を用いることができるかを測定するスキルモデルである。 In the present invention, the skill model related to "accuracy", which is one of the items scored by the item evaluation scoring unit 24, is a skill model that measures how well the user can use the grammar / wording. Is.

本発明において、項目評価採点部24で採点が行われる項目の1つである「流暢さ」に関するスキルモデルは、そのユーザがどの程度、スムーズに英語を発話できるかを測定するスキルモデルである。 In the present invention, the skill model relating to "fluency", which is one of the items to be scored by the item evaluation scoring unit 24, is a skill model for measuring how smoothly the user can speak English.

本発明において、項目評価採点部24で採点が行われる項目の1つである「やりとり」に関するスキルモデルは、会話を始めたり、終わらせたり、維持したり、意図する方向にどの程度、意思表示ができるかを測定するスキルモデルである。 In the present invention, the skill model related to "interaction", which is one of the items to be scored by the item evaluation scoring unit 24, starts, ends, maintains, and indicates the degree of intention in the intended direction. It is a skill model that measures whether or not you can do it.

本発明において、項目評価採点部24で採点が行われる項目の1つである「一貫性」に関するスキルモデルは、筋道の通った話し方の順序や言語選択ができるかを測定するスキルモデルである。 In the present invention, the skill model regarding "consistency", which is one of the items to be scored by the item evaluation scoring unit 24, is a skill model for measuring whether or not a coherent order of speaking and language selection can be performed.

本発明において、項目評価採点部24で採点が行われる項目の1つである「音韻」に関するスキルモデルは、どの程度、正しく、相手に誤解を与えずに、発音、イントネーション、抑揚を表現できるかを測定するスキルモデルである。 In the present invention, to what extent can the skill model related to "phonology", which is one of the items scored by the item evaluation scoring unit 24, be able to express pronunciation, intonation, and intonation without misunderstanding the other party? It is a skill model to measure.

項目評価採点部24では、これらの複数の項目のそれぞれについて、学習済みスキルモデルを作成する。項目評価採点部24は、作成した各項目に関する学習済みスキルモデルを用いて、各項目について自動採点を行い、採点結果を採点結果処理部26に返す。 The item evaluation scoring unit 24 creates a learned skill model for each of these plurality of items. The item evaluation scoring unit 24 automatically scores each item using the learned skill model for each created item, and returns the scoring result to the scoring result processing unit 26.

全体評価採点部25では、項目評価採点部24における複数の項目についての学習済のスキルモデルを入力として利用し、全体評価に関する学習済みスキルモデルを作成する。即ち、全体評価採点部25は、項目評価採点部24における複数の項目についての学習済のスキルモデルを統合して、全体評価に関する学習済みスキルモデルを作成する。全体評価採点部25は、作成した全体評価に関する学習済みスキルモデルを用いて、全体評価の採点を行い、採点結果を採点結果処理部26に返す。 The overall evaluation scoring unit 25 uses the learned skill models for a plurality of items in the item evaluation scoring unit 24 as inputs, and creates a learned skill model for the overall evaluation. That is, the overall evaluation scoring unit 25 integrates the learned skill models for a plurality of items in the item evaluation scoring unit 24 to create a learned skill model for the overall evaluation. The overall evaluation scoring unit 25 grades the overall evaluation using the created skill model for the overall evaluation, and returns the scoring result to the scoring result processing unit 26.

採点結果処理部26は、処理プログラムにより、項目評価採点部24から送信された各項目に関する採点結果と、全体評価採点部25から送信された全体評価に関する採点結果をテストサービスサーバ10へ送信する。 The scoring result processing unit 26 transmits to the test service server 10 the scoring result for each item transmitted from the item evaluation scoring unit 24 and the scoring result for the overall evaluation transmitted from the overall evaluation scoring unit 25 by the processing program.

図6は、本発明によるスピーキングテスト自動採点システム全体の処理の流れを示す図である。
本発明によるスピーキングテスト自動採点システムを用いた自動採点方法では、自動採点サーバ20が、採点用データ記憶部30に採点用データの書き込み及び読み出しを行うステップと、自動採点サーバ20が、採点用データを用いて音声データに対する自動採点を行うステップと、自動採点サーバ20が、自動採点の採点結果をテストサービスサーバ10に送信するステップと、テストサービスサーバ10が、採点結果を採点結果記憶部40に記憶するとともに、ユーザ端末2に採点結果を送信するステップとを備える。
FIG. 6 is a diagram showing a processing flow of the entire speaking test automatic scoring system according to the present invention.
In the automatic scoring method using the speaking test automatic scoring system according to the present invention, the automatic scoring server 20 has a step of writing and reading scoring data to the scoring data storage unit 30, and the automatic scoring server 20 has scoring data. The step of automatically scoring the voice data using It is provided with a step of storing and transmitting the scoring result to the user terminal 2.

本発明によるスピーキングテスト自動採点システムを用いた自動採点方法は、本発明の
スピーキングテスト自動採点システムに、本発明の自動採点方法の各ステップを実行させるプログラムにより実現される。プログラムは、サーバ内に記憶され、サーバ内で実行されるか、記録媒体に記憶されるようにしてもよい。
The automatic scoring method using the speaking test automatic scoring system according to the present invention is realized by a program that causes the speaking test automatic scoring system of the present invention to execute each step of the automatic scoring method of the present invention. The program may be stored in the server and executed in the server or stored in a recording medium.

具体的には、図6においてステップS1では、テストサービスサーバ10によりスピーキングテストが開始される。ステップS2では、ユーザがスピーキングテストに回答し、回答がテストサービスサーバ10のテスト回答受付部11に送信される。ステップS3では、テスト回答受付部11が回答としての音声データを採点結果記憶部40に記憶する。ステップS4では、テスト回答受付部11から送信された音声データに対して、自動採点サーバ20の音声認識部21が音声認識を行う。ステップS5では、音声認識部21から送信された認識結果に対して、自然言語処理部22が自然言語処理を行う。ステップS6では、用意されたテスト問題の全問についてテストの回答を受け付けたか否かが判定され、全問についてテストの回答を受け付けるまでステップS2からステップS5までの処理が繰り返される。ステップS7では、テスト回答受付部11から自動採点の要求を受け付け、自動採点の要求の受付に応答して自動採点サーバ20の採点用データ処理部23が項目評価採点部24に各項目についての自動採点を要求する。ステップS8では、項目評価採点部24が各項目についての自動採点を行う。ステップS9では、全体評価採点部25が全体評価の採点を行う。ステップS10では、採点結果処理部26が、項目評価採点部24及び全体評価採点部25から受信した採点結果をテストサービスサーバ10の採点結果通知部12へ送信し、採点結果通知部12がユーザ端末2に対して採点結果を送信する。 Specifically, in step S1 in FIG. 6, the speaking test is started by the test service server 10. In step S2, the user answers the speaking test, and the answer is transmitted to the test answer receiving unit 11 of the test service server 10. In step S3, the test answer receiving unit 11 stores the voice data as an answer in the scoring result storage unit 40. In step S4, the voice recognition unit 21 of the automatic scoring server 20 performs voice recognition on the voice data transmitted from the test response reception unit 11. In step S5, the natural language processing unit 22 performs natural language processing on the recognition result transmitted from the voice recognition unit 21. In step S6, it is determined whether or not the test answers have been accepted for all the prepared test questions, and the processes from step S2 to step S5 are repeated until the test answers are accepted for all the questions. In step S7, an automatic scoring request is received from the test response reception unit 11, and in response to the reception of the automatic scoring request, the scoring data processing unit 23 of the automatic scoring server 20 automatically informs the item evaluation scoring unit 24 about each item. Request a score. In step S8, the item evaluation scoring unit 24 automatically scores each item. In step S9, the overall evaluation scoring unit 25 scores the overall evaluation. In step S10, the scoring result processing unit 26 transmits the scoring results received from the item evaluation scoring unit 24 and the overall evaluation scoring unit 25 to the scoring result notification unit 12 of the test service server 10, and the scoring result notification unit 12 is the user terminal. The scoring result is sent to 2.

図7は、本発明によるテストサービス画面の一例を示す図である。
テストサービスサーバ10の採点結果通知部12は、ユーザ端末2に対して採点結果を送信する際、図7に示すようなテストサービス画面に採点結果を表示してもよい。好ましくは、総合評価として、全体評価の採点結果に対応するCEFR準拠のレベルが表示される。また、全体評価の採点結果に対応するCEFR準拠のレベルに相当する語学学習のサービス提供業者が独自に定めたレベル又は他の基準によるレベルを表示するようにしてもよい。また、指標別評価として、項目評価採点部24で採点された各項目に関する採点結果に対応するCEFR準拠のレベルが表示される。また、各項目に関する採点結果に対応するCEFR準拠のレベルに相当する語学学習のサービス提供業者が独自に定めたレベル又は他の基準によるレベルを表示するようにしてもよい。
FIG. 7 is a diagram showing an example of a test service screen according to the present invention.
When the scoring result notification unit 12 of the test service server 10 transmits the scoring result to the user terminal 2, the scoring result may be displayed on the test service screen as shown in FIG. Preferably, as a comprehensive evaluation, the CEFR compliant level corresponding to the scoring result of the overall evaluation is displayed. In addition, the level determined independently by the language learning service provider corresponding to the CEFR compliant level corresponding to the scoring result of the overall evaluation or the level according to other criteria may be displayed. Further, as the evaluation by index, the CEFR compliant level corresponding to the scoring result for each item scored by the item evaluation scoring unit 24 is displayed. In addition, the level determined independently by the language learning service provider corresponding to the CEFR compliant level corresponding to the scoring result for each item or the level according to other standards may be displayed.

テストサービス画面には、文章による評価の説明やユーザに対するフィードバックを表示するようにしてもよい。また、ユーザに対するフィードバックとして、レベルアップへの学習アドバイスを表示するようにしてもよい。また、テストサービス画面は図7の例に限られず、グラフやチャート、図表を用いて採点結果を表示するようにしてもよい。 The test service screen may display a textual explanation of the evaluation and feedback to the user. In addition, as feedback to the user, learning advice for leveling up may be displayed. Further, the test service screen is not limited to the example of FIG. 7, and the scoring result may be displayed by using a graph, a chart, or a chart.

なお、図7に示すテストサービス画面は一例であり、表示される項目やレイアウトは図7の例に限られず、任意のものであってよい。図7では、例として、複数のスキルモデルに関する項目のうち、「表現の幅」と「正確さ」に関する採点結果が表示されているが、好ましくは「表現の幅」、「正確さ」、「流暢さ」、「やりとり」、「一貫性」及び「音韻」の6つの項目の全てについて採点結果が表示される。また、表示する項目は、「表現の幅」、「正確さ」、「流暢さ」、「やりとり」、「一貫性」及び「音韻」のうちの任意の1つ又は任意の複数の組み合わせであってもよい。
上記記載は実施例についてなされたが、本発明はそれに限らず、本発明の精神と添付の請求の範囲の範囲内で種々の変更および修正をすることができることは当業者に明らかである。
The test service screen shown in FIG. 7 is an example, and the displayed items and layout are not limited to the example shown in FIG. 7, and may be arbitrary. In FIG. 7, as an example, among the items related to a plurality of skill models, the scoring results regarding "width of expression" and "accuracy" are displayed, but "width of expression", "accuracy", and "accuracy" are preferable. The scoring results are displayed for all six items of "fluency", "interaction", "consistency" and "phonology". In addition, the item to be displayed is any one or any combination of "width of expression", "accuracy", "fluency", "interaction", "consistency" and "phonology". You may.
Although the above description has been made for Examples, it will be apparent to those skilled in the art that the present invention is not limited thereto and various modifications and modifications can be made within the scope of the spirit of the present invention and the appended claims.

1 スピーキングテスト自動採点システム
2 ユーザ端末
10 テストサービスサーバ
11 テスト回答受付部
12 採点結果通知部
21 音声認識部
22 自然言語処理部
23 採点用データ処理部
24 項目評価採点部
25 全体評価採点部
26 採点結果処理部
20 自動採点サーバ
30 採点用データ記憶部
40 採点結果記憶部
1 Speaking test automatic scoring system 2 User terminal 10 Test service server 11 Test response reception unit 12 Scoring result notification unit 21 Speech recognition unit 22 Natural language processing unit 23 Scoring data processing unit 24 Item evaluation scoring unit 25 Overall evaluation scoring unit 26 Scoring Result processing unit 20 Automatic scoring server 30 Scoring data storage unit 40 Scoring result storage unit

Claims (11)

スピーキングテスト自動採点システムであって、
ユーザ端末からテスト回答としての音声データを受け付けるテストサービスサーバと、
前記テストサービスサーバから前記音声データ及び採点要求を受け取り、前記音声データに対して自動採点を行う自動採点サーバと、
前記自動採点に必要なデータを記憶する採点用データ記憶部と、
前記自動採点の採点結果を記憶する採点結果記憶部と
を備え、
前記自動採点サーバは、前記採点用データ記憶部に対して採点用データの書き込み及び読み出しを行い、前記採点用データを用いて前記音声データに対する自動採点を行い、
前記自動採点サーバは、前記自動採点の採点結果を前記テストサービスサーバに送信し、
前記テストサービスサーバは、前記採点結果を前記採点結果記憶部に記憶するとともに、前記ユーザ端末に前記採点結果を送信することを特徴とする、スピーキングテスト自動採点システム。
Speaking test automatic scoring system
A test service server that accepts voice data as test answers from user terminals,
An automatic scoring server that receives the voice data and a scoring request from the test service server and automatically scores the voice data.
A scoring data storage unit that stores the data required for automatic scoring, and
A scoring result storage unit for storing the scoring result of the automatic scoring is provided.
The automatic scoring server writes and reads scoring data to the scoring data storage unit, and automatically grades the voice data using the scoring data.
The automatic scoring server transmits the scoring result of the automatic scoring to the test service server.
The test service server is a speaking test automatic scoring system, characterized in that the scoring result is stored in the scoring result storage unit and the scoring result is transmitted to the user terminal.
前記自動採点サーバは、音声認識部を備え、
前記音声認識部は、前記テストサービスサーバから音声入力を受け付け、入力された音声を認識し、音声認識結果を前記採点用データ記憶部に記憶することを特徴とする、請求項1に記載のスピーキングテスト自動採点システム。
The automatic scoring server includes a voice recognition unit.
The speaking according to claim 1, wherein the voice recognition unit receives voice input from the test service server, recognizes the input voice, and stores the voice recognition result in the scoring data storage unit. Automatic test scoring system.
前記自動採点サーバは、自然言語処理部を備え、
前記自然言語処理部は、前記音声認識部から前記音声認識結果を受信し、受信した前記音声認識結果に対して自然言語処理を行い、自然言語処理結果を前記採点用データ記憶部に送信することを特徴とする、請求項2に記載のスピーキングテスト自動採点システム。
The automatic scoring server is provided with a natural language processing unit.
The natural language processing unit receives the voice recognition result from the voice recognition unit, performs natural language processing on the received voice recognition result, and transmits the natural language processing result to the scoring data storage unit. 2. The speaking test automatic scoring system according to claim 2.
前記自動採点サーバは、採点用データ処理部を備え、
前記採点用データ処理部は、前記テストサービスサーバから採点処理の要求を受け取ると、前記採点用データに対して、予め定められた複数の項目のそれぞれに応じた処理を行うことを特徴とする、請求項1~3のいずれか一項に記載のスピーキングテスト自動採点システム。
The automatic scoring server includes a scoring data processing unit.
When the scoring data processing unit receives a scoring processing request from the test service server, the scoring data processing unit performs processing according to each of a plurality of predetermined items on the scoring data. The speaking test automatic scoring system according to any one of claims 1 to 3.
前記自動採点サーバは、項目評価採点部を備え、前記項目評価採点部は、予め定められた複数の項目のそれぞれについて自動採点を行うことを特徴とする、請求項1~4のいずれか一項に記載のスピーキングテスト自動採点システム。 The automatic scoring server is provided with an item evaluation scoring unit, and the item evaluation scoring unit automatically scores each of a plurality of predetermined items, according to any one of claims 1 to 4. Speaking test automatic scoring system described in. 前記自動採点サーバは、全体評価採点部を備え、前記全体評価採点部は、前記項目評価採点部で自動採点した前記複数の項目のそれぞれについての採点結果に基づいて、全体評価を採点することを特徴とする、請求項5のいずれか一項に記載のスピーキングテスト自動採点システム。 The automatic scoring server includes an overall evaluation scoring unit, and the overall evaluation scoring unit grades the overall evaluation based on the scoring results for each of the plurality of items automatically graded by the item evaluation scoring unit. The speaking test automatic scoring system according to any one of claims 5, which is characterized by this. 前記自動採点サーバは、採点結果処理部を備え、前記採点結果処理部は、採点結果を前記テストサービスサーバに送信することを特徴とする、請求項1~6のいずれか一項に記載のスピーキングテスト自動採点システム。 The speaking according to any one of claims 1 to 6, wherein the automatic scoring server includes a scoring result processing unit, and the scoring result processing unit transmits the scoring result to the test service server. Automatic test scoring system. 前記テストサービスサーバは、テスト回答受付部を備え、前記テスト回答受付部は、前記ユーザ端末から前記テスト回答としての前記音声データを受け付けると、前記自動採点サーバに前記音声データを送信するとともに、採点処理の要求を送信することを特徴とする、請求項1~7のいずれか一項に記載のスピーキングテスト自動採点システム。 The test service server includes a test response reception unit, and when the test response reception unit receives the voice data as the test response from the user terminal, the test response server transmits the voice data to the automatic scoring server and scores the voice data. The speaking test automatic scoring system according to any one of claims 1 to 7, wherein a processing request is transmitted. 前記テストサービスサーバは、採点結果処理部を備え、前記採点結果処理部は、前記自動採点サーバから採点結果を受信し、前記採点結果を前記採点結果記憶部に記憶することを特徴とする、請求項1~8のいずれか一項に記載のスピーキングテスト自動採点システム。 The test service server includes a scoring result processing unit, and the scoring result processing unit receives a scoring result from the automatic scoring server and stores the scoring result in the scoring result storage unit. The speaking test automatic scoring system according to any one of Items 1 to 8. スピーキングテスト自動採点システムを用いた自動採点方法であって、前記スピーキングテスト自動採点システムは、ユーザ端末からテスト回答としての音声データを受け付けるテストサービスサーバと、前記テストサービスサーバから前記音声データ及び採点要求を受け取り、前記音声データに対して自動採点を行う自動採点サーバと、前記自動採点に必要なデータを記憶する採点用データ記憶部と、前記自動採点の採点結果を記憶する採点結果記憶部とを備え、
前記自動採点サーバが、前記採点用データ記憶部に採点用データの書き込み及び読み出しを行うステップと、
前記自動採点サーバが、前記採点用データを用いて前記音声データに対する自動採点を行うステップと、
前記自動採点サーバが、前記自動採点の採点結果を前記テストサービスサーバに送信するステップと、
前記テストサービスサーバが、前記採点結果を前記採点結果記憶部に記憶するとともに、前記ユーザ端末に前記採点結果を送信するステップと、
を備えることを特徴とする、自動採点方法。
It is an automatic scoring method using a speaking test automatic scoring system, and the speaking test automatic scoring system includes a test service server that receives voice data as a test answer from a user terminal, and the voice data and a scoring request from the test service server. An automatic scoring server that receives and automatically scores the voice data, a scoring data storage unit that stores data necessary for the automatic scoring, and a scoring result storage unit that stores the scoring results of the automatic scoring. Prepare,
A step in which the automatic scoring server writes and reads scoring data in the scoring data storage unit, and
A step in which the automatic scoring server automatically scores the voice data using the scoring data.
A step in which the automatic scoring server transmits the scoring result of the automatic scoring to the test service server, and
A step in which the test service server stores the scoring result in the scoring result storage unit and transmits the scoring result to the user terminal.
An automatic scoring method characterized by being equipped with.
請求項1~9のいずれか一項に記載のスピーキングテスト自動採点システムに、請求項10に記載の方法の各ステップを実行させることを特徴とするプログラム。 A program according to any one of claims 1 to 9, wherein the automatic scoring system for a speaking test is made to execute each step of the method according to claim 10.
JP2020161776A 2020-09-28 2020-09-28 Speaking test automatic grading system Pending JP2022054636A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020161776A JP2022054636A (en) 2020-09-28 2020-09-28 Speaking test automatic grading system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020161776A JP2022054636A (en) 2020-09-28 2020-09-28 Speaking test automatic grading system

Publications (1)

Publication Number Publication Date
JP2022054636A true JP2022054636A (en) 2022-04-07

Family

ID=80997869

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020161776A Pending JP2022054636A (en) 2020-09-28 2020-09-28 Speaking test automatic grading system

Country Status (1)

Country Link
JP (1) JP2022054636A (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018045062A (en) * 2016-09-14 2018-03-22 Kddi株式会社 Program, device and method automatically grading from dictation voice of learner
JP2019159318A (en) * 2018-02-27 2019-09-19 株式会社レアジョブ Voice analysis feedback system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018045062A (en) * 2016-09-14 2018-03-22 Kddi株式会社 Program, device and method automatically grading from dictation voice of learner
JP2019159318A (en) * 2018-02-27 2019-09-19 株式会社レアジョブ Voice analysis feedback system

Similar Documents

Publication Publication Date Title
KR102302137B1 (en) Apparatus for studying foreign language and method for providing foreign language study service by using the same
Ashwell et al. How Accurately Can the Google Web Speech API Recognize and Transcribe Japanese L2 English Learners' Oral Production?.
US9449522B2 (en) Systems and methods for evaluating difficulty of spoken text
JP2009503563A (en) Assessment of spoken language proficiency by computer
Anderson et al. Recognition of elderly speech and voice-driven document retrieval
Handley et al. Establishing a methodology for benchmarking speech synthesis for computer-assisted language learning (CALL)
CN103594087A (en) Method and system for improving oral evaluation performance
CN108431883A (en) Langue leaning system and language learning programs
KR20160008949A (en) Apparatus and method for foreign language learning based on spoken dialogue
CN109584906A (en) Spoken language pronunciation evaluating method, device, equipment and storage equipment
US9361908B2 (en) Computer-implemented systems and methods for scoring concatenated speech responses
CN113205729A (en) Foreign student-oriented speech evaluation method, device and system
Evanini et al. Overview of automated speech scoring
CN109697975B (en) Voice evaluation method and device
JP2006510043A (en) System and method for dynamic analysis of temporal characteristics of speech
CN118173118A (en) Spoken question-answer scoring method, device, equipment, storage medium and program product
Shufang Design of an automatic english pronunciation error correction system based on radio magnetic pronunciation recording devices
CN111341346A (en) Language expression capability evaluation method and system for fusion depth language generation model
CN114241835B (en) Student spoken language quality evaluation method and device
Díez et al. A corpus-based study of Spanish L2 mispronunciations by Japanese speakers
JP2022054636A (en) Speaking test automatic grading system
CN114339303A (en) Interactive evaluation method and device, computer equipment and storage medium
CN111968434A (en) Method and storage medium for on-line paperless language training and evaluation
KR101004940B1 (en) Method for evaluating spoken ability through computer-lead speech recognition
Proença et al. Teaching American English pronunciation using a TTS service.

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201105

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20201022

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230301