JP2020071312A - Method and system for evaluating linguistic ability - Google Patents

Method and system for evaluating linguistic ability Download PDF

Info

Publication number
JP2020071312A
JP2020071312A JP2018204124A JP2018204124A JP2020071312A JP 2020071312 A JP2020071312 A JP 2020071312A JP 2018204124 A JP2018204124 A JP 2018204124A JP 2018204124 A JP2018204124 A JP 2018204124A JP 2020071312 A JP2020071312 A JP 2020071312A
Authority
JP
Japan
Prior art keywords
user
language
information
evaluation
evaluation method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018204124A
Other languages
Japanese (ja)
Inventor
祥吾 岡田
Shogo Okada
祥吾 岡田
峻太郎 山碕
Shuntaro Yamazaki
峻太郎 山碕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Progrit Inc
Original Assignee
Progrit Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Progrit Inc filed Critical Progrit Inc
Priority to JP2018204124A priority Critical patent/JP2020071312A/en
Priority to PCT/JP2019/042488 priority patent/WO2020090857A1/en
Publication of JP2020071312A publication Critical patent/JP2020071312A/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/06Foreign languages
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition

Abstract

To provide an evaluation method for accurately grasping a level of current linguistic ability of a user so as to provide the user with an optimum learning method.SOLUTION: The invention relates to a method of evaluating linguistic ability of a user in a predetermined language. The method comprises: a first step of presenting the user with speech in the predetermined language and acquiring information regarding content of the speech from the user; and a second step of presenting the user with information and acquiring information uttered by the user regarding the information in the predetermined language.SELECTED DRAWING: Figure 3

Description

本発明は、語学力評価方法及び語学力評価システムに関する。   The present invention relates to a language ability evaluation method and a language ability evaluation system.

近年、企業活動や学習活動においてグローバル化が進み、これに伴って、様々な外国語習得サービスが提供されている。このようなサービスの例として、例えば、コンピュータを用いた言語学習システムや、オンラインによる英会話などが存在している。   In recent years, globalization has progressed in corporate activities and learning activities, and along with this, various foreign language acquisition services have been provided. Examples of such services include, for example, a language learning system using a computer and online English conversation.

特開2001−331092号公報JP 2001-331092 A 特開2008−299074号公報JP, 2008-299074, A

しかしながら、様々な学習方法が利用可能であったとしても、必ずしも適切な学習方法がユーザに提供されているとは言えない。なぜならば、個々のユーザの語学力評価が適切にされていなければ最適な学習方法の選定ができないからである。   However, even if various learning methods are available, it cannot be said that an appropriate learning method is provided to the user. This is because the optimal learning method cannot be selected unless the language ability of each user is properly evaluated.

本発明は、最適な学習方法を提供するために、現在のユーザの語学力の状態を正確に把握する評価方法を提供することを目的とする。   SUMMARY OF THE INVENTION It is an object of the present invention to provide an evaluation method for accurately grasping the current state of language ability of a user in order to provide an optimal learning method.

本発明によれば、
所定の言語に関するユーザの語学力評価方法であって、
前記ユーザに対して当該所定の言語による音声を提示し、当該ユーザから当該音声の内容に関する情報を取得する第1ステップと、
前記ユーザに対して情報を提示し、当該情報に関して前記所定の言語によって前記ユーザから発話された情報を取得する第2ステップと、を含む、
語学力評価方法が得られる。
According to the invention,
A method for evaluating a user's language ability in a predetermined language,
A first step of presenting a voice in the predetermined language to the user and acquiring information regarding the content of the voice from the user;
A second step of presenting information to the user and acquiring information spoken by the user in the predetermined language with respect to the information;
You can obtain a language ability evaluation method.

本発明によれば、現状の学習者の語学力の状態を正確に把握する評価方法を提供することができる。   According to the present invention, it is possible to provide an evaluation method for accurately grasping the current state of the learner's language ability.

本発明の実施の形態によるシステムの構造を概念的に示す図である。It is a figure which shows notionally the structure of the system by embodiment of this invention. 図1の管理サーバの構造を示す図である。It is a figure which shows the structure of the management server of FIG. 本発明による理論を示す図である。FIG. 3 is a diagram showing a theory according to the present invention. 本発明による評価のための情報のやり取りを示す図である。It is a figure which shows the exchange of the information for the evaluation by this invention. 本実施の形態による評価方法で利用されるテストの概要とその目的を示す表である。3 is a table showing an outline of tests used in the evaluation method according to the present embodiment and the purpose thereof. 本実施の形態による評価方法の評価対象となる能力と、当該能力の向上のためのトレーニング例を示す他の表である。9 is another table showing the ability to be evaluated by the evaluation method according to the present embodiment and a training example for improving the ability. 図6に示されるトレーニングを行うためのプログラム又はサービスの提供を行うための構造概念図である。FIG. 7 is a structural conceptual diagram for providing a program or service for performing the training shown in FIG. 6.

以下、本発明の一実施態様について、図面を参照しながら説明する。
[項目1]
所定の言語に関するユーザの語学力評価方法であって、
前記ユーザに対して当該所定の言語による音声を提示し、当該ユーザから当該音声の内容に関する情報を取得する第1ステップと、
前記ユーザに対して情報を提示し、当該情報に関して前記所定の言語によって前記ユーザから発話された情報を取得する第2ステップと、を含む、
語学力評価方法。
[項目2]
項目1に記載の語学評価方法であって、
前記第1ステップは、更に
音声の内容の少なくとも一部を前記所定の言語により取得するステップを有している、
語学力評価方法
[項目3]
項目1又は項目2に記載の語学力評価方法であって、
前記第1ステップは、更に
前記音声の内容に関する情報を前記ユーザの第1言語により取得するステップを有している、
語学力評価方法。
[項目4]
項目1乃至項目3のいずれかに記載の語学力評価方法であって、
前記第2ステップは、更に、
所定時間内における、前記発話された情報の量と、当該発話された情報の質とを取得するステップを含む、
語学力評価方法。
[項目5]
項目1乃至項目4のいずれかに記載の語学力評価方法であって、
前記第2ステップは、更に、
所定時間内において、前記所定の言語による前記ユーザの発話の数を単位時間に換算した値及び当該発話の内容を取得するステップを含む、
語学力評価方法。
[項目6]
項目1乃至項目5のいずれかに記載の語学力評価方法であって、
前記ユーザの少なくとも文法、単語又は例文に関する知識を取得するステップを更に含む、
語学力評価方法。
[項目7]
所定の言語に関するユーザの語学力を評価する装置を備えた語学力評価システムであって、
前記装置は、前記ユーザに対して前記所定の言語による音声を提示し、当該ユーザから当該音声の内容に関する情報を取得する第1ステップと、
前記ユーザに対して情報を提示し、当該所定の情報に関して前記所定の言語によって前記ユーザから発話された情報を取得する第2ステップと、を含む、
語学力評価システム。
An embodiment of the present invention will be described below with reference to the drawings.
[Item 1]
A method for evaluating a user's language ability in a predetermined language,
A first step of presenting a voice in the predetermined language to the user and acquiring information regarding the content of the voice from the user;
A second step of presenting information to the user and acquiring information spoken by the user in the predetermined language with respect to the information;
Language ability evaluation method.
[Item 2]
The language evaluation method described in item 1,
The first step further includes the step of acquiring at least a part of the content of the voice in the predetermined language.
Language ability evaluation method [Item 3]
The language ability evaluation method according to item 1 or 2,
The first step further includes a step of acquiring information regarding the content of the voice in a first language of the user,
Language ability evaluation method.
[Item 4]
The language ability evaluation method according to any one of Items 1 to 3,
The second step further comprises
Acquiring a quantity of said spoken information and a quality of said spoken information within a predetermined time period,
Language ability evaluation method.
[Item 5]
The language ability evaluation method according to any one of Items 1 to 4,
The second step further comprises
A step of acquiring a value obtained by converting the number of utterances of the user in the predetermined language into a unit time and a content of the utterance within a predetermined time,
Language ability evaluation method.
[Item 6]
The language ability evaluation method according to any one of Items 1 to 5,
Further comprising acquiring knowledge of at least the grammar, words or example sentences of the user,
Language ability evaluation method.
[Item 7]
A language ability evaluation system comprising a device for evaluating a user's language ability in a predetermined language,
The apparatus presents a voice in the predetermined language to the user, and obtains information about the content of the voice from the user, a first step,
A second step of presenting information to the user and acquiring information spoken by the user in the predetermined language with respect to the predetermined information.
Language ability evaluation system.

<概要>
本発明は、学習者(以下「ユーザ」という)の語学力を正確に把握するための語学力評価方法である。以下の説明においては、評価装置(端末)を利用して語学力を評価する方法を語学力評価システムによって実現する例を説明する。また、以下の説明においては、第1言語を日本語とするユーザが、外国語としての「英語」を学習する例として説明する。
<Outline>
The present invention is a language ability evaluation method for accurately grasping the language ability of a learner (hereinafter referred to as “user”). In the following description, an example in which a method for evaluating language ability using an evaluation device (terminal) is realized by a language ability evaluation system will be described. Also, in the following description, an example will be described in which a user whose first language is Japanese learns "English" as a foreign language.

なお、本発明による方法は、例えば、学習コンサルタントのように、ユーザと端末等との間に入り、ユーザの学習を支援する者が介在していてもよい。この場合、装置等の操作は、ユーザが行うこととしてもよいし、コンサルタントが行うこととしてもよい。   In addition, the method according to the present invention may be intervened by a person, such as a learning consultant, who is interposed between the user and the terminal or the like to assist the learning of the user. In this case, the operation of the device or the like may be performed by a user or a consultant.

<構成>
図1に示されるように、本実施の形態による語学力評価方法が実装される語学力評価システム(以下、単に「システム」という)は、次のような構成を備える。システムは、管理サーバ1と、ユーザ端末2と、管理サーバ1に接続されるデータベース3と、管理サーバ1及びユーザ端末2を通信可能に接続するネットワーク4とを備えている。なお、本構成は一例であり、ある構成が他の構成を兼ね備えていたり、他の構成が含まれていてもよい。
<Structure>
As shown in FIG. 1, a language ability evaluation system (hereinafter, simply referred to as “system”) in which the language ability evaluation method according to the present embodiment is implemented has the following configuration. The system includes a management server 1, a user terminal 2, a database 3 connected to the management server 1, and a network 4 communicatively connecting the management server 1 and the user terminal 2. It should be noted that this configuration is an example, and one configuration may have another configuration or may include another configuration.

<管理サーバ>
図2に示されるように、管理サーバ1は、データベース((図示せず)と接続されシステムの一部を構成する。管理サーバ1は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。
<Management server>
2, the management server 1 is connected to a database ((not shown) and forms a part of the system. The management server 1 may be a general-purpose computer such as a workstation or a personal computer. Alternatively, it may be logically realized by cloud computing.

管理サーバ1は、少なくとも、制御部10、メモリ11、ストレージ12、送受信部13、入出力部14等を備え、これらはバス15を通じて相互に電気的に接続される。   The management server 1 includes at least a control unit 10, a memory 11, a storage 12, a transmission / reception unit 13, an input / output unit 14, and the like, which are electrically connected to each other via a bus 15.

制御部10は、管理サーバ1全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えば制御部10はCPU(Central Processing Unit)であり、ストレージ12に格納されメモリ11に展開されたプログラム等を実行して各情報処理を実施する。   The control unit 10 is an arithmetic device that controls the overall operation of the management server 1, controls the transmission and reception of data between the respective elements, and executes information processing necessary for execution of applications and authentication processing. For example, the control unit 10 is a CPU (Central Processing Unit) and executes a program or the like stored in the storage 12 and expanded in the memory 11 to perform each information processing.

メモリ11は、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやHDD(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ11は、プロセッサ10のワークエリア等として使用され、また、管理サーバ1の起動時に実行されるBIOS(Basic Input/Output System)、及び各種設定情報等を格納する。   The memory 11 includes a main memory configured by a volatile storage device such as a DRAM (Dynamic Random Access Memory) and an auxiliary storage configured by a non-volatile storage device such as a flash memory or a HDD (Hard Disc Drive). .. The memory 11 is used as a work area or the like of the processor 10, and also stores a BIOS (Basic Input / Output System) executed when the management server 1 is activated, various setting information, and the like.

ストレージ12は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベース(図示せず)がストレージ12に構築されていてもよい。   The storage 12 stores various programs such as application programs. A database (not shown) that stores data used for each process may be built in the storage 12.

送受信部13は、管理サーバ1をネットワークに接続する。なお、送受信部13は、Bluetooth(登録商標)やWi−Fi(登録商標)などの近距離通信インターフェースを備えていてもよい。   The transmission / reception unit 13 connects the management server 1 to the network. The transmitter / receiver 13 may include a short-range communication interface such as Bluetooth (registered trademark) or Wi-Fi (registered trademark).

入出力部14は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。   The input / output unit 14 is an information input device such as a keyboard and a mouse, and an output device such as a display.

バス15は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。   The bus 15 is commonly connected to each of the above elements and transmits, for example, an address signal, a data signal, and various control signals.

<ユーザ端末2>
本実施の形態によるユーザ端末2は、主にスマートフォンやタブレット端末などが考えられるがパーソナルコンピュータなどを利用することとしてもよいし。ユーザ端末2もまた、図2と同様に、制御部、メモリ、ストレージ、送受信部、入出力部等を備え、これらはバス15を通じて相互に電気的に接続される(図示せず)。
<User terminal 2>
As the user terminal 2 according to the present embodiment, a smartphone, a tablet terminal or the like is mainly considered, but a personal computer or the like may be used. Similarly to FIG. 2, the user terminal 2 also includes a control unit, a memory, a storage, a transmission / reception unit, an input / output unit, etc., which are electrically connected to each other via a bus 15 (not shown).

<本発明の理論>
図3を参照して、本発明による語学評価の理論(以下、「英会話の5ステップ」と呼ぶ)を説明する。図示されるように、語学の習得にあたって「リスニング」と「スピーキング」とでは、全く異なる能力(学習方法)であることに留意しなければならない。なお、この対比は「リーディング」と「ライティング」との関係にも共通している。
<Theory of the Present Invention>
The theory of language evaluation according to the present invention (hereinafter referred to as "5 steps of English conversation") will be described with reference to FIG. As shown in the figure, it is necessary to keep in mind that "listening" and "speaking" are completely different abilities (learning methods) in learning a language. This comparison is also common to the relationship between "reading" and "writing."

ユーザが英語を聞いた際、耳から入った音が知覚され(音声知覚)、ユーザの(脳内の)知識データベースから音声中の単語データ(その音がどの英単語に該当するのか)が特定される。次いで、当該英単語や文がどんな意味を有しているのかを理解するため(意味理解)、再度知識データベースから単語の意味や文法の意味・働きを特定し、最終的に、耳から入った音声がどのような意味を有しているのかを理解する。即ち、リスニングは、音声知覚と意味理解という大きく2つの要素がこの順で構成しているものである。   When a user listens to English, the sound coming from the ear is perceived (speech perception), and the word data in the voice (which English word the sound corresponds to) is identified from the user's knowledge database (in the brain). To be done. Then, in order to understand what meaning the English word or sentence has (meaning understanding), the meaning of the word and the meaning and function of the grammar were specified again from the knowledge database, and finally the ear entered. Understand what the voice means. In other words, listening is composed of two major elements in this order: speech perception and meaning understanding.

一方、ユーザが何かを話す場合、ユーザの頭の中では、発言する内容に関する概念が生じ(概念化)、次いで、その概念を文章として相手に伝えるために、知識データベースから単語データ、文法データ、例文データ等を特定する(文章化)。伝えたい文章が整ったら、発音することによって相手に意思表示する(音声化)。   On the other hand, when the user speaks something, a concept about what is said occurs in the user's mind (conceptualization), and then, in order to convey the concept to the other party as a sentence, word data, grammar data, Identify example sentence data etc. (text conversion). When the sentence you want to convey is ready, pronounce it to indicate the intention to the other person (speech).

<評価の方法>
語学力の評価は、上述した各段階において課題となっている部分を特定するところから始める。
<Method of evaluation>
The assessment of language skills begins with identifying the problem areas at each of the above stages.

より具体的には、図4に示されるように、評価者(管理サーバ)とユーザ(ユーザ端末)とでは次のようなやりとりが行われる。以下、ステップSQ102〜ステップSQ108は英会話の5ステップのうち、リスニング能力を評価するためのものであり、ステップSQ112〜ステップSQ118はスピーキング能力を評価するためのものである。   More specifically, as shown in FIG. 4, the following exchanges are performed between the evaluator (management server) and the user (user terminal). Hereinafter, steps SQ102 to SQ108 are for evaluating the listening ability among the five steps of English conversation, and steps SQ112 to SQ118 are for evaluating the speaking ability.

リスニング能力の評価を説明する。リスニング評価は、第1リスニング評価と第2リスニング評価とを含む。   Explain the evaluation of listening ability. The listening evaluation includes a first listening evaluation and a second listening evaluation.

第1リスニング評価ステップとして、図示されるように、まず、英語の音声データをユーザに対して提示する(SQ102)。なお、音声の内容は、例えば、スピーチのように一方向性のものであってもよいし、会話のような双方向性のものでもどちらでもよい。また、動画と共に提示するものであってもよい。提示の方法は、例えば、ユーザ端末のスピーカーやイヤホン等を介して行うこととしてもよいし、他の音声出力装置と連携して行うこととしてもよい。即ち、音声がユーザの聴覚を介して知覚される方法であればどのような方法であってもよい。   As the first listening evaluation step, as shown in the figure, first, English voice data is presented to the user (SQ102). The voice content may be unidirectional such as speech, or bidirectional such as conversation. Further, it may be presented together with the moving image. The presentation method may be performed, for example, through a speaker or earphone of the user terminal, or may be performed in cooperation with another audio output device. That is, any method may be used as long as the sound is perceived through the user's hearing.

次に、ユーザからは当該音声データの少なくとも一部に関し、当該音声中に用いられていた単語を回答させる(ディクテーション)。例えば、音声データの内容をテキストとして表示し、その一部を空欄にした情報をユーザに提示して、空欄に該当する単語を回答してもらうこととしてもよい。回答は、記述により行わせることが一般的だが、口頭で回答させたり、選択肢から選択させたりすることとしてもよい。   Next, the user causes the word used in the voice to be answered with respect to at least a part of the voice data (dictation). For example, the content of the voice data may be displayed as a text, a part of the blank data may be presented to the user, and the word corresponding to the blank space may be answered. The answer is usually written, but it is also possible to give a verbal answer or select from options.

第1リスニング評価によって、ユーザのリスニング能力のうち音声知覚に関する能力が評価可能となる(図3参照)。即ち、本評価は、音声データ内に含まれる単語を聞き取れているか、という点が評価対象となっており、その単語の意味を理解しているかという点まで問うものではないからである。   The first listening evaluation makes it possible to evaluate, of the listening abilities of the user, the ability relating to voice perception (see FIG. 3). That is, in this evaluation, whether or not the word included in the voice data is audible is an evaluation target, and it does not matter whether or not the meaning of the word is understood.

続いて、第2リスニング評価として、評価者は、更に別の英語の音声データをユーザに対して提示する(ステップSQ106)。当該音声データはステップSQ102で用いたものとは別のものであることが好ましい。   Subsequently, as the second listening evaluation, the evaluator presents yet another English voice data to the user (step SQ106). The voice data is preferably different from that used in step SQ102.

次に、例えば、ユーザから当該音声に関してユーザが理解した内容に関する情報を取得する(SQ108)。具体的には、音声から聞き取った内容の要約や、内容に関する質問への回答のようなものを取得してもよい。取得の方法は、例えば、ユーザ端末から文章により入力してもらうこととしてもよいし、声に出して回答した情報を送信してもらうこととしてもよい。なお、ユーザから取得する情報は要約や質問への回答等に限られず、当該音声の内容に基づいて理解がされた内容がわかる情報であればどのようなものであってもよい。   Next, for example, the information regarding the content that the user understands about the voice is acquired from the user (SQ108). Specifically, a summary of the content heard from the voice or an answer to a question regarding the content may be acquired. The method of acquisition may be, for example, input from a user terminal in text, or may be transmitted by aloud information. The information acquired from the user is not limited to the summary, the answer to the question, and the like, and may be any information as long as the information can be understood based on the content of the voice.

第2リスニング評価によって、ユーザの英語のリスニングに対する全体的な能力が分析可能となる。   The second listening assessment allows the user's overall ability to listen to English to be analyzed.

リスニング評価は、以上説明したリスニング評価のための第1リスニング評価及び第2リスニング評価によって終了する。上述したように第1リスニング評価の結果によってユーザの音声知覚を評価し、第2リスニング評価の結果によってユーザのリスニング能力全体(音声知覚+意味理解)を評価する。従って、これらの評価を比較することにより、当該ユーザが音声知覚と意味理解のどちらの(又は両方の)能力が足りていないのか把握することができる。また、これらの評価を通じて、ユーザの知識データベースの量と質についても総合的に評価を行うことができる。   The listening evaluation ends with the first listening evaluation and the second listening evaluation for the listening evaluation described above. As described above, the user's speech perception is evaluated by the result of the first listening evaluation, and the user's entire listening ability (speech perception + semantic understanding) is evaluated by the result of the second listening evaluation. Therefore, by comparing these evaluations, it is possible to grasp which of the voice perception and the meaning understanding (or both) is insufficient for the user. Through these evaluations, it is possible to comprehensively evaluate the quantity and quality of the user's knowledge database.

次に、スピーキングの評価の方法を説明する。スピーキング評価は、第1スピーキング評価と第2スピーキング評価とを含む。   Next, a method of evaluating speaking will be described. The speaking evaluation includes a first speaking evaluation and a second speaking evaluation.

第1スピーキング評価として、評価者は、ユーザに対して日本語(第1言語)で短い文章等を提示し(SQ112)、ユーザにその場で英作文をして口頭で回答してもらう(SQ114)。回答の評価方法としては、所定時間内に回答できた文章の数(量)と、文法上正しいものか(質)及び提示した日本語の意味を捉えた回答になっているかを分析する。   As the first speaking evaluation, the evaluator presents a short sentence or the like in Japanese (first language) to the user (SQ112), and asks the user to make an English composition on the spot and give an oral response (SQ114). ). As an evaluation method of the answer, the number of sentences that can be answered within a predetermined time (quantity), whether the answer is grammatically correct (quality) and the meaning of the presented Japanese is analyzed.

第1スピーキング評価によれば、ユーザの文章化能力(図3参照)が分析可能となる。   According to the first speaking evaluation, the writing ability of the user (see FIG. 3) can be analyzed.

続いて、第2スピーキング評価として、評価者は、ユーザに対して所定のテーマ(トピック、質問等、ユーザに対する「問い」として機能する情報)を提示する(SQ116)。テーマの提示の方法は、口頭で伝えることとしてもよいし、テキスト等の文章で伝えることとしてもよい。   Subsequently, as the second speaking evaluation, the evaluator presents the user with a predetermined theme (topic, question, etc., information that functions as a "question" for the user) (SQ116). The method of presenting the theme may be oral, or text such as text.

次にユーザに対して当該テーマに関する発話をさせ、その情報を取得する(SQ118)。ユーザに発話させる内容としては、テーマに対する自由なコメントや、質問に対する回答であったり、あるトピックに対するユーザの意見・考えを回答させるようなものであってもよい。   Next, the user is made to speak about the theme and the information is acquired (SQ118). The content to be uttered by the user may be a free comment on the theme, an answer to a question, or an answer to the user's opinion / thought on a certain topic.

第2スピーキング評価によれば、ユーザの英語のスピーキングに対する全体的な(図3参照)能力が分析可能となる。   The second speaking assessment allows the user's overall (see FIG. 3) ability to speak English to be analyzed.

スピーキング評価は、以上説明したスピーキング評価のための第1スピーキング評価及び第2スピーキング評価によって終了する。上述したように第1スピーキング評価の結果によってユーザの文章化能力を評価し、第2スピーキング評価の結果によってユーザのスピーキング能力全体(概念化+文章化+音声化)を評価する。従って、これらの評価を比較することにより、当該ユーザが概念化、文章化、音声化のいずれの(又はその組み合わせ若しくは全ての)能力が足りていないのか把握することができる。また、これらの評価を通じて、ユーザの知識データベースの量と質についても総合的に評価を行うことができる。   The speaking evaluation ends with the first speaking evaluation and the second speaking evaluation for the speaking evaluation described above. As described above, the writing ability of the user is evaluated based on the result of the first speaking evaluation, and the entire speaking ability (conceptualization + texting + speeching) of the user is evaluated based on the result of the second speaking evaluation. Therefore, by comparing these evaluations, it is possible to grasp which of the conceptualization, the textification, and the phonization (or the combination thereof or all) is insufficient for the user. Through these evaluations, it is possible to comprehensively evaluate the quantity and quality of the user's knowledge database.

<評価テスト>
以上説明した評価のための具体的なテストの例について、図5を参照して説明する。なお、図示されるテストは一例であり、一部のテストの省略や、テスト同士の組み合わせ及び統合、他のテストの追加・補充等が行われてもよく、図に開示される「目的」の欄に関してユーザの能力を評価・分析し得るものであれば、どのようなものであってもよい。
<Evaluation test>
An example of a specific test for evaluation described above will be described with reference to FIG. The tests shown in the figure are examples, and some tests may be omitted, tests may be combined and integrated, and other tests may be added or supplemented. Any item may be used as long as it can evaluate and analyze the user's ability with respect to the column.

図示されるように、本実施の形態においては7つのテストが存在する。即ち、音声知覚テスト、リスニングテスト、文章化テスト、スピーキングテスト、知識データベーステスト(文法)、知識データベーステスト(単語)、知識データベーステスト(例文)の7つである。以下、各テストの概要と当該テストの目的について説明する。   As shown, there are seven tests in this embodiment. That is, there are seven types of speech perception test, listening test, writing test, speaking test, knowledge database test (grammar), knowledge database test (word), and knowledge database test (example sentence). The outline of each test and the purpose of the test will be described below.

音声知覚テストは、英語のスクリプトを提供し、当該スクリプトの音声を提示する。聞き取りながらスクリプトの空欄を埋めて回答し、当該回答の内容を評価する。テストの目的はリスニングの音声知覚能力の測定である。   The voice perception test provides an English script and presents the voice of the script. While listening, fill in the blanks in the script and answer, and evaluate the contents of the answer. The purpose of the test is to measure the speech perception ability of listening.

リスニングテストは、一定時間の英語音声を提示したあと、どういう内容だったのか日本語で回答(要約の回答、内容に関する質問への回答等)を行う。内容に関する理解度を定量的及び定性的に評価する。当該テストの目的は、リスニングにおける音声知覚及び意味理解の能力の測定である。   For the listening test, after presenting English voice for a certain period of time, answer what is the content in Japanese (answer of summary, answer to question about contents, etc.). Quantitatively and qualitatively evaluate the understanding level of the content. The purpose of the test is to measure the ability of speech perception and semantic comprehension in listening.

文章化テストは、日本語の音声を提示し、当該音声を口頭で英訳する。英訳の数と質を評価する。当該テストの目的は、スピーキングにおける文章化能力の測定である。   The writing test presents a Japanese voice and verbally translates the voice into English. Evaluate the number and quality of English translations. The purpose of the test is to measure writing ability in speaking.

スピーキングテストは、指定したテーマについて一定時間(例えば、1分間)英語でスピーキングを行う。1分間に何文英作文できたか(SPM:Sentences per Minute)及び当該英作文の内容を評価する。当該テストの目的はスピーキング全体の能力の測定である。   In the speaking test, a specified theme is spoken in English for a certain time (for example, 1 minute). Evaluate the number of sentences written in one minute (SPM: Sentences per Minute) and the contents of the sentence. The purpose of the test is to measure overall speaking ability.

知識データベーステスト(文法)は、日本文を英訳し、英訳の数と質を評価する。当該テストの目的は、知識データ量の測定である。当該テストの方法としては、英語の並び替え、空欄補充、自由英作文等、文法の知識を評価することのできるテストであればどのようなものであってもよい。   The knowledge database test (grammar) translates Japanese sentences into English and evaluates the number and quality of English translations. The purpose of this test is to measure the amount of knowledge data. The test method may be any test as long as it can evaluate grammar knowledge, such as English rearrangement, blank filling, free English composition, and the like.

知識データベーステスト(単語)は、英語と日本語の単語の変換に関するテストを行い、正答数を評価する。当該テストの方法としては、該当する単語を選択させたり、単語を入力させたりするなど、単語に関する知識を問うことのできるテストであればどのようなものであってもよい。   The knowledge database test (word) tests the conversion of English and Japanese words and evaluates the number of correct answers. The test method may be any test as long as the knowledge about the word can be asked, such as selecting the corresponding word or inputting the word.

知識データベーステスト(例文)は、英語の例文(フレーズ等)に関するテストを行い、正答数を評価する。例文に関する空欄補充、自由英作文等英語の例文に関する知識を評価することのできるテストであればどのようなものであってもいい。   The knowledge database test (example sentence) tests the English example sentence (phrase, etc.) and evaluates the number of correct answers. Any test can be used as long as it can evaluate the knowledge about English example sentences, such as blank filling for example sentences and free English composition.

以上の評価は、あくまで一例であり、その目的を達成できる限り内容は適宜変更することができる。また、いずれのテストについても、当該テストを通じて知識データベースの単語データ、文法データ、例文データの量を測定することが可能である。   The above evaluation is merely an example, and the contents can be appropriately changed as long as the purpose can be achieved. In addition, it is possible to measure the amount of word data, grammar data, and example sentence data in the knowledge database through each of the tests.

また、テストの評価は、例えば、スコアテーブルに基づく定量化、又は定性的な内容を含む評価とすることができる。この際、回答例として予め用意された情報との比較によるスコアリング、テスト結果をコンサルタントに評価させた結果の取得等、様々な評価手段が考えられる。   The evaluation of the test can be, for example, a quantification based on a score table or an evaluation including qualitative contents. At this time, as an example of an answer, various evaluation means such as scoring by comparison with information prepared in advance and acquisition of a result of having a consultant evaluate the test result can be considered.

このように、英会話の5ステップに応じて、ユーザの語学力の現状を適切に評価することによって、ユーザの課題に応じた適切な学習方法を提案・提供することができる。   In this way, by appropriately evaluating the current state of the user's language ability in accordance with the five steps of English conversation, it is possible to propose and provide an appropriate learning method according to the task of the user.

<トレーニング方法>
図6を参照して、上述したテストの結果に基づいて、ユーザに提案可能なトレーニングの内容を説明する。図示されるトレーニングメニューは、英会話の5ステップ及び知識データベースの各項目に対して提案可能であるが、各ステップ・項目とトレーニングメニューの内容は必ずしも一対一の対応とは限られず、例えば、あるステップ・項目に対するトレーニングメニューが複数あってもよいし、あるトレーニングメニューが複数のステップ・項目に対応していてもよい。
<Training method>
With reference to FIG. 6, the content of training that can be proposed to the user will be described based on the results of the above-described test. The training menu shown in the figure can be proposed for 5 steps of English conversation and each item of the knowledge database, but the contents of each step / item and the training menu are not necessarily one-to-one correspondence, for example, a certain step. -There may be multiple training menus for an item, or a certain training menu may correspond to multiple steps and items.

リスニングの音声知覚の向上のためのトレーニングは、シャドーイング、ディクテーション、多聴、オーバーラッピング、リピーティングなどが存在する。   Training for improving the speech perception of listening includes shadowing, dictation, polyphony, overlapping, and repeating.

意味理解の向上のためのトレーニングは、多読、多聴、音読、スラッシュリーディングなどが存在する。   Trainings for improving the meaning comprehension include extensive reading, extensive listening, reading aloud, and slash reading.

概念化の向上のためのトレーニングは、英会話、英作文、英語日記、独り言トレーニングなどが存在する。   Training for improving conceptualization includes English conversation, English composition, English diary, and soliloquy training.

文章化の向上のためのトレーニングは、英会話、英作文、英語日記、独り言トレーニング、口頭英作文、高速応答トレーニングなどである。   Training for improving writing is English conversation, English composition, English diary, soliloquy training, oral English composition, fast response training, etc.

音声化の向上のためのトレーニングは、発音のメカニズム理解、発音矯正などが存在する。   Training for improving vocalization includes understanding of the pronunciation mechanism and correction of pronunciation.

知識データベース(単語)強化のためのトレーニングは、単語の暗記・聞き取り・発音・書き出し・暗唱などが存在する。   Training for strengthening the knowledge database (words) includes memorization, listening, pronunciation, writing, and recitation of words.

知識データベース(文法)強化のためのトレーニングは、文法ルールの理解・暗記・演習などが存在する。   Training for strengthening the knowledge database (grammar) includes understanding of grammar rules, memorization, and exercises.

知識データベース(例文)強化のためのトレーニングは、例文の暗記・聞き取り・発音・書き出し・暗唱などが存在する。   Training for strengthening the knowledge database (example sentences) includes memorization, listening, pronunciation, writing, and recitation of example sentences.

以上のトレーニングプログラムは、上述した評価の結果によって、適宜選択・組み合わせられてユーザに提供される。例えば、図7に示されるように、管理サーバ1から、各種プログラム(シャドーイングプログラム、多読・多聴プログラム、英会話プログラム、英作文プログラム、発音矯正プログラム、単語暗記プログラム、文法演習プログラム、例文暗記プログラムなど)としてユーザ端末2に提供され、ユーザ端末2において実行されることしてもよい。また、ユーザ端末2と外部サービス(シャドーイングサービス、多読・多聴サービス、英会話サービス、英作文サービス、発音矯正サービス、単語暗記サービス、文法演習サービス、例文暗記サービスなど)との連携により提供されることとしてもよい。   The above training programs are appropriately selected and combined according to the result of the evaluation described above, and provided to the user. For example, as shown in FIG. 7, from the management server 1, various programs (shadowing program, extensive reading / listening program, English conversation program, English composition program, pronunciation correction program, word memorization program, grammar exercise program, example sentence memorization program) Etc.) to the user terminal 2, and may be executed in the user terminal 2. In addition, the user terminal 2 is provided in cooperation with external services (shadowing service, extensive reading / listening service, English conversation service, English composition service, pronunciation correction service, word memorization service, grammar practice service, example sentence memorization service, etc.). It may be that.

1 管理サーバ
2 ユーザ端末
3 データベース
1 Management Server 2 User Terminal 3 Database

Claims (7)

所定の言語に関するユーザの語学力評価方法であって、
前記ユーザに対して当該所定の言語による音声を提示し、当該ユーザから当該音声の内容に関する情報を取得する第1ステップと、
前記ユーザに対して情報を提示し、当該情報に関して前記所定の言語によって前記ユーザから発話された情報を取得する第2ステップと、を含む、
語学力評価方法。
A method for evaluating a user's language ability in a predetermined language,
A first step of presenting a voice in the predetermined language to the user and acquiring information regarding the content of the voice from the user;
A second step of presenting information to the user and acquiring information spoken by the user in the predetermined language with respect to the information;
Language ability evaluation method.
請求項1に記載の語学評価方法であって、
前記第1ステップは、更に
音声の内容の少なくとも一部を前記所定の言語により取得するステップを有している、
語学力評価方法
The language evaluation method according to claim 1, wherein
The first step further includes the step of acquiring at least a part of the content of the voice in the predetermined language.
Language ability evaluation method
請求項1又は請求項2に記載の語学力評価方法であって、
前記第1ステップは、更に
前記音声の内容に関する情報を前記ユーザの第1言語により取得するステップを有している、
語学力評価方法。
The language ability evaluation method according to claim 1 or 2,
The first step further includes a step of acquiring information regarding the content of the voice in a first language of the user,
Language ability evaluation method.
請求項1乃至請求項3のいずれかに記載の語学力評価方法であって、
前記第2ステップは、更に、
所定時間内における、前記発話された情報の量と、当該発話された情報の質とを取得するステップを含む、
語学力評価方法。
The language ability evaluation method according to any one of claims 1 to 3,
The second step further comprises
Acquiring a quantity of said spoken information and a quality of said spoken information within a predetermined time period,
Language ability evaluation method.
請求項1乃至請求項4のいずれかに記載の語学力評価方法であって、
前記第2ステップは、更に、
所定時間内において、前記所定の言語による前記ユーザの発話の数を単位時間に換算した値及び当該発話の内容を取得するステップを含む、
語学力評価方法。
The language ability evaluation method according to any one of claims 1 to 4,
The second step further comprises
A step of acquiring a value obtained by converting the number of utterances of the user in the predetermined language into a unit time and a content of the utterance within a predetermined time,
Language ability evaluation method.
請求項1乃至請求項5のいずれかに記載の語学力評価方法であって、
前記ユーザの少なくとも文法、単語又は例文に関する知識を取得するステップを更に含む、
語学力評価方法。
The language ability evaluation method according to any one of claims 1 to 5,
Further comprising acquiring knowledge of at least the grammar, words or example sentences of the user,
Language ability evaluation method.
所定の言語に関するユーザの語学力を評価する装置を備えた語学力評価システムであって、
前記装置は、前記ユーザに対して前記所定の言語による音声を提示し、当該ユーザから当該音声の内容に関する情報を取得する第1ステップと、
前記ユーザに対して情報を提示し、当該所定の情報に関して前記所定の言語によって前記ユーザから発話された情報を取得する第2ステップと、を含む、
語学力評価システム。

A language ability evaluation system comprising a device for evaluating a user's language ability in a predetermined language,
The apparatus presents a voice in the predetermined language to the user, and obtains information about the content of the voice from the user, a first step,
A second step of presenting information to the user and acquiring information spoken by the user in the predetermined language with respect to the predetermined information.
Language ability evaluation system.

JP2018204124A 2018-10-30 2018-10-30 Method and system for evaluating linguistic ability Pending JP2020071312A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018204124A JP2020071312A (en) 2018-10-30 2018-10-30 Method and system for evaluating linguistic ability
PCT/JP2019/042488 WO2020090857A1 (en) 2018-10-30 2019-10-30 Method and system for evaluating linguistic ability

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018204124A JP2020071312A (en) 2018-10-30 2018-10-30 Method and system for evaluating linguistic ability

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019236942A Division JP2020071489A (en) 2019-12-26 2019-12-26 Method and system for evaluating linguistic ability

Publications (1)

Publication Number Publication Date
JP2020071312A true JP2020071312A (en) 2020-05-07

Family

ID=70463231

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018204124A Pending JP2020071312A (en) 2018-10-30 2018-10-30 Method and system for evaluating linguistic ability

Country Status (2)

Country Link
JP (1) JP2020071312A (en)
WO (1) WO2020090857A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001331092A (en) * 2000-05-22 2001-11-30 Sousei Denshi:Kk Language learning system
JP2008299074A (en) * 2007-05-31 2008-12-11 Ampere:Kk Language learning system
JP2014038264A (en) * 2012-08-20 2014-02-27 Seiko Epson Corp Language learning device
JP2015200890A (en) * 2014-04-08 2015-11-12 ▲懐▼澤企業有限公司 Distance education method and distance education providing server device
JP2017054038A (en) * 2015-09-10 2017-03-16 カシオ計算機株式会社 Learning support apparatus and program for learning support apparatus

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070048697A1 (en) * 2005-05-27 2007-03-01 Du Ping Robert Interactive language learning techniques
US20180061416A1 (en) * 2016-08-31 2018-03-01 International Business Machines Corporation Automated language learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001331092A (en) * 2000-05-22 2001-11-30 Sousei Denshi:Kk Language learning system
JP2008299074A (en) * 2007-05-31 2008-12-11 Ampere:Kk Language learning system
JP2014038264A (en) * 2012-08-20 2014-02-27 Seiko Epson Corp Language learning device
JP2015200890A (en) * 2014-04-08 2015-11-12 ▲懐▼澤企業有限公司 Distance education method and distance education providing server device
JP2017054038A (en) * 2015-09-10 2017-03-16 カシオ計算機株式会社 Learning support apparatus and program for learning support apparatus

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
喜田 慶文: "日本人学生の英語音声認識・意味理解の方法に関する一考察 −リスニングストラテジー使用の観点から−", 観光学研究 [ONLINE], vol. 第8号, JPN6020005317, March 2009 (2009-03-01), pages 61 - 80, ISSN: 0004212145 *
山内 優佳: "英語リスニング不安とリスニングの下位技能の関係 −リスニング不安の概念の細分化によるリスニング指導へ", 第26回「英検」研究助成 報告, vol. 初版, JPN6020005319, 30 November 2014 (2014-11-30), pages 50 - 67, ISSN: 0004212146 *
松浦 伸和: "英語科における「思考・判断・表現」の評価に関する研究", [ONLINE], JPN7019001636, 14 September 2015 (2015-09-14), ISSN: 0004212144 *
準1級二次試験(口頭試問)[ONLINE], JPN6020005321, 1 March 2015 (2015-03-01), ISSN: 0004212147 *

Also Published As

Publication number Publication date
WO2020090857A1 (en) 2020-05-07

Similar Documents

Publication Publication Date Title
Moussalli et al. Intelligent personal assistants: can they understand and be understood by accented L2 learners?
US9786199B2 (en) System and method for assisting language learning
US7407384B2 (en) System, method and device for language education through a voice portal server
Mroz Seeing how people hear you: French learners experiencing intelligibility through automatic speech recognition
US8033831B2 (en) System and method for programmatically evaluating and aiding a person learning a new language
WO2005099414A2 (en) Comprehensive spoken language learning system
US8221126B2 (en) System and method for performing programmatic language learning tests and evaluations
Wallace Using Google web speech as a springboard for identifying personal pronunciation problems
McCrocklin Learners’ feedback regarding ASR-based dictation practice for pronunciation learning
KR101845304B1 (en) Language learning system
Guskaroska ASR-dictation on smartphones for vowel pronunciation practice
Strik ASR-based systems for language learning and therapy
KR20200081707A (en) A apparatus of learning feedback and making express for speaking trainee
JP6166831B1 (en) Word learning support device, word learning support program, and word learning support method
Ureta et al. At home with Alexa: a tale of two conversational agents
Uchihara et al. Frequency of exposure influences accentedness and comprehensibility in learners’ pronunciation of second language words
WO2020090857A1 (en) Method and system for evaluating linguistic ability
JP2020071489A (en) Method and system for evaluating linguistic ability
Anggoro Assessing Thai Nursing College Students’ Speaking Ability Through The Perspectives of Their Indonesian Counterparts
JP6656529B2 (en) Foreign language conversation training system
Orellana et al. Online Presentations with" PowerPoint Present Live" Real-Time Automated Captions and Subtitles: Perceptions of Faculty and Administrators.
Ross et al. Speaking with your computer: A new way to practice and analyze conversation
US20080293021A1 (en) Foreign Language Voice Evaluating Method and System
Cucchiarini et al. Practice and feedback in L2 speaking: an evaluation of the DISCO CALL system
May et al. Bottom-Up, Top-Down, and Interactive Processing in Listening Comprehension

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190116

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190116

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190124

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190729

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191226

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20191226

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200115

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200116

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200214

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200220

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200625

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20201105

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20210107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210305

C141 Inquiry by the administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C141

Effective date: 20210603

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210708

C54 Written response to inquiry

Free format text: JAPANESE INTERMEDIATE CODE: C54

Effective date: 20210730

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220106

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220331

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220609

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220609