JP2020201727A - Quality control method - Google Patents
Quality control method Download PDFInfo
- Publication number
- JP2020201727A JP2020201727A JP2019108386A JP2019108386A JP2020201727A JP 2020201727 A JP2020201727 A JP 2020201727A JP 2019108386 A JP2019108386 A JP 2019108386A JP 2019108386 A JP2019108386 A JP 2019108386A JP 2020201727 A JP2020201727 A JP 2020201727A
- Authority
- JP
- Japan
- Prior art keywords
- data
- inference
- model
- teacher
- teacher model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、データセットの拡張方法に適用される品質管理方法に関する。 The present invention relates to quality control methods applied to dataset expansion methods.
現在、深層学習は、物体認識、音声認識をはじめとした様々な分野で活用されている。深層学習は、その学習に用いるデータセット（教師データ、訓練データ等ともいう）が増えれば増えるほど精度が向上する。非特許文献１では、テスト誤差は、データセットのサイズのべき乗に比例すると推測している。 Currently, deep learning is used in various fields such as object recognition and voice recognition. The accuracy of deep learning improves as the number of data sets (also called teacher data, training data, etc.) used for the learning increases. Non-Patent Document 1 estimates that the test error is proportional to the power of the dataset size.
学習に用いるデータセットとしては、入力値とその入力値の正解ラベル（真値）のセットが用いられる。入力値を入力したときの推論結果と正解ラベルとの誤差に基づいて、逆誤差伝播法という方法によってニューラルネットワークモデルの学習が行われる。したがって、データセットのサイズを増やすためには、正解ラベルを持ったラベル有り入力値を増やす必要がある。 As the data set used for learning, a set of an input value and a correct label (true value) of the input value is used. The neural network model is trained by a method called the inverse error propagation method based on the error between the inference result and the correct label when the input value is input. Therefore, in order to increase the size of the dataset, it is necessary to increase the labeled input value with the correct label.
しかし、大量のラベル有り入力値を準備することは容易ではない。なぜなら、正解ラベルは、人が入力値を確認してその正解ラベルを付さなければならないからである。 However, it is not easy to prepare a large number of labeled input values. This is because the correct answer label requires a person to confirm the input value and attach the correct answer label.
最近では、知識継承によってモデルを学習する方法が知られている（非特許文献２）。これは、精度の高い推論を行える深くて大きいモデル（教師モデルともいう）によって入力値に対するラベルを推論し、その推論結果を入力値に対するラベルの準真値とし、ラベルと準真値を用いて新しいモデル（生徒モデルともいう）を学習する方法である。これは、「知識の蒸留」と呼ばれる方法であり、通常は、新たに生成されるモデルは、教師モデルに対して小さくて軽量なモデルである。 Recently, a method of learning a model by knowledge inheritance is known (Non-Patent Document 2). This infers the label for the input value by a deep and large model (also called a teacher model) that can perform highly accurate inference, makes the inference result the quasi-true value of the label for the input value, and uses the label and the quasi-true value. It is a method of learning a new model (also called a student model). This is a method called "distillation of knowledge", and the newly generated model is usually smaller and lighter than the teacher model.
上記したような知識継承を行うことによって、データセットを継続的に拡張することができるが、ここで問題となるのが品質管理である。学習したモデルによる推論において、不具合が起きた場合に原因を特定し、不具合に対処しなければならないが、この際に、不具合の原因を一定の論理性をもって特定できることが望ましい。 By inheriting the knowledge as described above, the data set can be continuously expanded, but the problem here is quality control. In inference based on the learned model, when a defect occurs, the cause must be identified and the defect must be dealt with. At this time, it is desirable to be able to identify the cause of the defect with a certain logic.
本発明は、上記背景に鑑み、学習モデルに不具合が発生した場合に、その原因を解析し、データセットの拡張に適用される品質管理方法を提供することを目的とする。 In view of the above background, an object of the present invention is to provide a quality control method applied to the expansion of a data set by analyzing the cause when a defect occurs in the learning model.
本発明の品質管理方法は、正解ラベルが既知のラベル有り入力値を教師データとして用いた学習によって教師モデルを生成するステップと、前記教師モデルに真値が不明なラベル無し入力値を入力して推論を行うステップと、前記推論によって求めた値を前記ラベル無し入力値に対応するラベルの準真値とし、前記ラベル無し入力値と前記準真値の組合せを教師データとして用いた学習によって、前記教師モデルよりも規模の小さい学習モデルを生成するステップとを備えるデータセットの拡張方法に適用される品質管理方法であって、前記学習モデルを用いた推論に失敗したとき、推論を失敗した不具合データ標本を前記教師モデルに与えて推論をするステップと、前記教師モデルによって推論した結果が正解か否かを判定するステップと、前記判定の結果が正解である場合に、前記学習モデルに推論失敗の原因があると判定するステップとを備える。 In the quality control method of the present invention, a step of generating a teacher model by learning using a labeled input value with a known correct label as teacher data and an unlabeled input value whose true value is unknown are input to the teacher model. By the step of performing the inference, the value obtained by the inference is set as the quasi-true value of the label corresponding to the unlabeled input value, and the combination of the unlabeled input value and the quasi-true value is used as teacher data. It is a quality control method applied to a method of expanding a data set including a step of generating a learning model smaller than a teacher model, and when inference using the learning model fails, defect data in which inference fails. A step of giving a sample to the teacher model and making an inference, a step of determining whether or not the result inferred by the teacher model is correct, and a step of inferring failure in the learning model when the result of the determination is correct. It includes a step of determining that there is a cause.
このように学習モデルを用いた推論に失敗したとき、推論を失敗した不具合データ標本に対して、教師モデルが正解できるか否かを判定し、教師モデルが正解できる場合には、学習モデル自体が推論失敗の原因であると特定する。学習モデル側の原因としては、例えば、学習モデルを実現するハードウェア（ＬＳＩ等）の能力不足等が考えられる。 When the inference using the learning model fails in this way, it is judged whether or not the teacher model can answer correctly for the defective data sample that failed the inference, and if the teacher model can answer correctly, the learning model itself Identify the cause of inference failure. As a cause on the learning model side, for example, insufficient ability of hardware (LSI or the like) for realizing the learning model can be considered.
本発明の品質管理方法は、前記教師モデルによる推論結果が不正解と判定された場合に、前記教師モデルを生成する際に前記教師モデルの検証に用いたテストデータの中から、前記不具合データ標本と所定の類似度を有する類似データを検索するステップと、前記類似データを前記教師モデルに与えて推論をするステップと、前記教師モデルによって推論した結果が正解か否かを判定するステップと、前記判定の結果が正解である場合に、推論失敗の原因が、前記教師モデルを生成するのに用いたラベル有り入力値のデータにあると判定するステップとを備える。 In the quality control method of the present invention, when the inference result by the teacher model is determined to be an incorrect answer, the defect data sample is selected from the test data used for verification of the teacher model when the teacher model is generated. A step of searching for similar data having a predetermined degree of similarity, a step of giving the similar data to the teacher model and making an inference, a step of determining whether or not the result inferred by the teacher model is correct, and the above. When the result of the determination is correct, the step of determining that the cause of the inference failure lies in the data of the labeled input value used to generate the teacher model is provided.
このように不具合データ標本に類似するテストデータに対して、教師モデルが正解できるか否かを判定し、教師モデルが正解できる場合には、教師モデルの学習に用いた学習データに過学習を起こしている可能性があり、教師モデルを生成するのに用いたラベル有り入力値のデータが原因であると特定する。 In this way, it is determined whether or not the teacher model can answer correctly for the test data similar to the defect data sample, and if the teacher model can answer correctly, the training data used for training the teacher model is overfitted. Identify that the cause is the labeled input value data used to generate the teacher model.
本発明の品質管理方法は、前記類似データを検索するステップにて検索された類似データのデータ数が所定の基準に達しない場合には、推論失敗の原因が、前記教師モデルを生成するのに用いたラベル有り入力値のデータにあると判定するステップを備えてもよい。 In the quality control method of the present invention, when the number of similar data searched in the step of searching for similar data does not reach a predetermined criterion, the cause of the inference failure is to generate the teacher model. It may include a step of determining that it is in the data of the input value with a label used.
このように不具合データ標本に類似するものとして検索された類似データのデータ数が所定の基準に達しない場合には、不具合データ標本に類似するデータ数が不足していると可能性があり、教師モデルを生成するのに用いたラベル有り入力値のデータが原因であると特定する。 If the number of similar data searched as similar to the defect data sample does not reach the predetermined standard, it is possible that the number of data similar to the defect data sample is insufficient, and the teacher Identify the cause as the labeled input value data used to generate the model.
本発明によれば、学習モデルでの推論に失敗した場合に、その原因が学習モデル側にあるのか教師モデル側にあるかの原因を特定することができる。 According to the present invention, when the inference in the learning model fails, it is possible to identify the cause of whether the cause is on the learning model side or the teacher model side.
本発明の実施の形態のデータセットの拡張方法に適用される品質管理方法について説明する。最初に、データセットの拡張方法および拡張されたデータセットを用いて学習モデルを生成する方法について説明する。続いて、学習モデルにおいて推論失敗が起きたときに、原因を特定し、学習モデルの品質を管理する方法について説明する。 The quality control method applied to the data set extension method of the embodiment of the present invention will be described. First, a method of extending the data set and a method of generating a learning model using the extended data set will be described. Next, a method of identifying the cause and controlling the quality of the learning model when an inference failure occurs in the learning model will be described.
図１（ａ）は、教師モデルアンサンブルの生成について説明するための図である。教師モデルアンサンブルは、複数のモデル（学習器）を融合させて１つの教師モデルを構成する手法である。本実施の形態では、教師モデルアンサンブルを例としているが、教師モデルがアンサンブルであることは必須ではない。 FIG. 1A is a diagram for explaining the generation of a teacher model ensemble. The teacher model ensemble is a method of fusing a plurality of models (learners) to form one teacher model. In this embodiment, the teacher model ensemble is taken as an example, but it is not essential that the teacher model is an ensemble.
教師モデルアンサンブルを学習するための教師データは、正解ラベルが既知のラベル有り入力値である。ラベル有り入力値は、訓練用のデータと検証用のテストデータに分けられる。訓練用のデータは、教師モデルアンサンブルの学習を行うために用いられる。検証用のテストデータは、学習中の教師モデルアンサンブルの推論の精度を検証し、適当なEPOCH数で学習を停止するために用いられる。 The teacher data for learning the teacher model ensemble is a labeled input value with a known correct label. Labeled input values are divided into training data and verification test data. The training data is used to train the teacher model ensemble. The test data for verification is used to verify the accuracy of the inference of the teacher model ensemble during training and to stop learning at an appropriate number of EPOCH.
図１（ｂ）は、教師モデルアンサンブルを用いたデータセットの拡張を説明するための図である。教師モデルアンサンブルに真値が不明なラベル無し入力値を入力して推論を行い、推論によって求めた値をラベル無し入力値に対応するラベルの準真値とする。ラベル無し入力値は、ラベル有り入力値よりも遥かに大量に存在するので、この方法により、大量のラベル無し入力値と準真値の組み合わせを求めることができる。なお、このようにして求めたラベル無し入力値に対する準真値を人が確認をしたうえでラベル付けし、ラベル有り入力値としてもよい。 FIG. 1B is a diagram for explaining the expansion of the data set using the teacher model ensemble. An unlabeled input value whose true value is unknown is input to the teacher model ensemble to perform inference, and the value obtained by inference is set as the quasi-true value of the label corresponding to the unlabeled input value. Since there are far more unlabeled input values than labeled input values, this method allows a large number of combinations of unlabeled input values and quasi-true values to be obtained. It should be noted that the quasi-true value with respect to the unlabeled input value thus obtained may be labeled after being confirmed by a person to be a labeled input value.
図２は、教師モデルで求めたラベル無し入力値の準真値を用いた学習モデル（生徒モデル）の生成について説明するための図である。ラベル無し入力値とそれに対する準真値の組み合わせを教師データとして、教師モデルアンサンブルよりも規模の小さい学習モデルを生成する。この際に、教師モデルアンサンブルを生成するのに用いたラベル有り入力値も教師データとして用いてもよい。 FIG. 2 is a diagram for explaining the generation of a learning model (student model) using the quasi-true values of the unlabeled input values obtained by the teacher model. A learning model smaller than the teacher model ensemble is generated by using the combination of the unlabeled input value and the quasi-true value for it as the teacher data. At this time, the labeled input value used to generate the teacher model ensemble may also be used as the teacher data.
図３は、学習モデルにおいて推論失敗が起きたときに、原因を特定し、学習モデルの品質を管理する方法について説明するための図である。学習モデルを用いた推論に失敗したときに、推論を失敗した不具合データ標本を教師モデルアンサンブルに与えて推論を行い（Ｓ１０）、教師モデルアンサンブルによって推論した結果が正解か否かを判定する（Ｓ１１）。この判定の結果、教師モデルアンサンブルが正解できた場合には（Ｓ１１でＹＥＳ）、推論失敗の原因が学習モデルにあると判定する（Ｓ１６）。 FIG. 3 is a diagram for explaining a method of identifying the cause and controlling the quality of the learning model when an inference failure occurs in the learning model. When the inference using the learning model fails, the defect data sample that failed the inference is given to the teacher model ensemble to perform the inference (S10), and it is determined whether or not the result inferred by the teacher model ensemble is correct (S11). ). As a result of this determination, if the teacher model ensemble can be answered correctly (YES in S11), it is determined that the cause of the inference failure lies in the learning model (S16).
教師データアンサンブルが不具合データ標本を推論した結果、推論失敗であった場合（Ｓ１１でＮＯ）、教師モデルアンサンブルを生成した教師データの検証用データの中から、不具合データ標本に類似する類似データを検索する（Ｓ１２）。類似データの検索の方法としては、様々な手法を用いることができる。単純には、入力値に関連つけられたメタデータ（対象物、状況等）を参照し、メタデータが一致する入力値を類似と判断することができる。また、画像の意味的距離を規定し、不具合データ標本に対して所定の意味的距離を有する画像を類似画像として検索してもよいし、あるいは、意味的距離が近い方から所定数の類似画像を検索してもよい。 If the inference fails as a result of inferring the defect data sample by the teacher data ensemble (NO in S11), search for similar data similar to the defect data sample from the verification data of the teacher data that generated the teacher model ensemble. (S12). Various methods can be used as a method for searching similar data. Simply, by referring to the metadata (object, situation, etc.) associated with the input value, it is possible to determine that the input values with which the metadata match are similar. Further, the semantic distance of the image may be defined, and an image having a predetermined semantic distance with respect to the defect data sample may be searched as a similar image, or a predetermined number of similar images may be searched from the one having the closest semantic distance. You may search for.
検索された類似データのデータ数が所定の閾値以上に達しない場合には（Ｓ１３でＮＯ）、不具合データ標本に類似するデータ数が不足していると判定する（Ｓ１７）。つまり、不具合データ標本に類似するデータについて十分な学習を行えていないので、教師モデルアンサンブルにおいて不具合データ標本を正しく推論することができず、ひいては学習モデルでも推論を失敗したと判断できる。なお、本実施の形態では、類似データ数の判定に、所定の閾値を用いたが、類似データ数が十分かどうかは他の基準で判断してもよい。例えば、訓練データの全数に対して所定の割合（％）以上、存在するか否かを判定することとしてもよい。 When the number of searched similar data does not reach a predetermined threshold value or more (NO in S13), it is determined that the number of data similar to the defective data sample is insufficient (S17). In other words, since sufficient learning has not been performed for data similar to the defect data sample, it can be determined that the defect data sample cannot be inferred correctly in the teacher model ensemble, and that the inference has failed even in the learning model. In the present embodiment, a predetermined threshold value is used for determining the number of similar data, but whether or not the number of similar data is sufficient may be determined by another criterion. For example, it may be determined whether or not the training data exists at a predetermined ratio (%) or more with respect to the total number of training data.
類似データ数が所定の閾値以上である場合には（Ｓ１３でＹＥＳ）、類似データを教師モデルアンサンブルに適用して推論を行う（Ｓ１４）。この結果、教師モデルアンサンブルが類似データに対して正解できたか否かを判定する（Ｓ１５）。複数の類似データについて、正解できたか否かを判断する方法としては、例えば、所定の閾値（例えば７０％）より高い正解率を得られたときに正解できたと判断してもよいし、全テストデータの正解率と比較し、全体の正解率より高い正解率が得られたときに正解できたと判断してもよい。 When the number of similar data is equal to or greater than a predetermined threshold value (YES in S13), the similar data is applied to the teacher model ensemble to perform inference (S14). As a result, it is determined whether or not the teacher model ensemble can answer the similar data correctly (S15). As a method of determining whether or not the correct answer was obtained for a plurality of similar data, for example, it may be determined that the correct answer was obtained when a correct answer rate higher than a predetermined threshold value (for example, 70%) was obtained, or all tests. It may be judged that the correct answer was obtained when the correct answer rate higher than the overall correct answer rate was obtained by comparing with the correct answer rate of the data.
判定の結果、教師モデルアンサンブルが、不具合データ標本の類似データについて正解できた場合には（Ｓ１５でＹＥＳ）、教師モデルの過学習であると判定する（Ｓ１８）。つまり、不具合データ標本とその類似データに対する過学習が進んで、汎化性能が低下している。 As a result of the determination, if the teacher model ensemble can correctly answer the similar data of the defect data sample (YES in S15), it is determined that the teacher model is overfitting (S18). That is, overfitting of the defective data sample and its similar data has progressed, and the generalization performance has deteriorated.
判定の結果、教師モデルアンサンブルが、不具合データ標本の類似データについて正解できなかった場合には（Ｓ１５でＮＯ）、教師データ以外の部分、例えば、入力用のハードウェア等に原因があると判定する（Ｓ１９）。入力用のハードウェアとは、例えば、カメラの解像度や画角等である。 As a result of the judgment, if the teacher model ensemble cannot answer correctly about the similar data of the defect data sample (NO in S15), it is judged that the cause is a part other than the teacher data, for example, the hardware for input. (S19). The input hardware is, for example, the resolution and angle of view of the camera.
なお、本実施の形態において、教師モデルアンサンブルが類似データを正解できたか否かの判定結果に基づいて原因を出力する構成としたが、類似データを推論したときの正解率を出力することとしてもよい。これにより、類似データに対する正解率を見て、原因の所在を推定することができる。 In the present embodiment, the cause is output based on the determination result of whether or not the teacher model ensemble was able to correctly answer the similar data, but the correct answer rate when the similar data is inferred is also output. Good. This makes it possible to estimate the location of the cause by looking at the correct answer rate for similar data.
データセットを継続的に拡張して生成した学習モデルに適用される品質管理方法として有用である。 It is useful as a quality control method applied to a learning model generated by continuously expanding the data set.
Claims (3)
前記教師モデルに真値が不明なラベル無し入力値を入力して推論を行うステップと、
前記推論によって求めた値を前記ラベル無し入力値に対応するラベルの準真値とし、前記ラベル無し入力値と前記準真値の組合せを教師データとして用いた学習によって、前記教師モデルよりも規模の小さい学習モデルを生成するステップと、
を備えるデータセットの拡張方法に適用される品質管理方法であって、
前記学習モデルを用いた推論に失敗したとき、推論を失敗した不具合データ標本を前記教師モデルに与えて推論をするステップと、
前記教師モデルによって推論した結果が正解か否かを判定するステップと、
前記判定の結果が正解である場合に、前記学習モデルに推論失敗の原因があると判定するステップと、
を備える品質管理方法。 A step to generate a teacher model by learning using a labeled input value with a known correct label as teacher data, and
The step of inputting an unlabeled input value whose true value is unknown into the teacher model and performing inference,
By learning using the value obtained by the inference as the quasi-true value of the label corresponding to the unlabeled input value and using the combination of the unlabeled input value and the quasi-true value as teacher data, the scale is larger than that of the teacher model. Steps to generate a small learning model and
A quality control method applied to the data set extension method that comprises
When the inference using the learning model fails, the step of giving the failure data sample that failed the inference to the teacher model and making the inference,
The step of determining whether or not the result inferred by the teacher model is correct,
When the result of the determination is correct, the step of determining that the learning model has the cause of the inference failure, and
Quality control method with.
前記類似データを前記教師モデルに与えて推論をするステップと、
前記教師モデルによって推論した結果が正解か否かを判定するステップと、
前記判定の結果が正解である場合に、推論失敗の原因が、前記教師モデルを生成するのに用いたラベル有り入力値のデータにあると判定するステップと、
を備える請求項１に記載の品質管理方法。 When the inference result by the teacher model is determined to be incorrect, the test data used for verification of the teacher model when generating the teacher model is similar to the defect data sample having a predetermined degree of similarity. Steps to retrieve data and
The step of giving the similar data to the teacher model and making an inference,
The step of determining whether or not the result inferred by the teacher model is correct,
When the result of the determination is correct, the step of determining that the cause of the inference failure is the data of the labeled input value used to generate the teacher model, and
The quality control method according to claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019108386A JP7161974B2 (en) | 2019-06-11 | 2019-06-11 | Quality control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019108386A JP7161974B2 (en) | 2019-06-11 | 2019-06-11 | Quality control method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020201727A true JP2020201727A (en) | 2020-12-17 |
| JP7161974B2 JP7161974B2 (en) | 2022-10-27 |
Family
ID=73743441
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019108386A Active JP7161974B2 (en) | 2019-06-11 | 2019-06-11 | Quality control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7161974B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022180749A1 (en) * | 2021-02-25 | 2022-09-01 | 日本電気株式会社 | Analysis device, analysis method, and non-transitory computer-readable medium having program stored thereon |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017531255A (en) * | 2014-09-12 | 2017-10-19 | マイクロソフト コーポレーションＭｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ | Student DNN learning by output distribution |
| JP2018190131A (en) * | 2017-05-01 | 2018-11-29 | 日本電信電話株式会社 | Specification device, analysis system, identification method and identification program |
| JP2019082847A (en) * | 2017-10-30 | 2019-05-30 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | Data estimation device, date estimation method, and program |
-
2019
- 2019-06-11 JP JP2019108386A patent/JP7161974B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017531255A (en) * | 2014-09-12 | 2017-10-19 | マイクロソフト コーポレーションＭｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ | Student DNN learning by output distribution |
| JP2018190131A (en) * | 2017-05-01 | 2018-11-29 | 日本電信電話株式会社 | Specification device, analysis system, identification method and identification program |
| JP2019082847A (en) * | 2017-10-30 | 2019-05-30 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | Data estimation device, date estimation method, and program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022180749A1 (en) * | 2021-02-25 | 2022-09-01 | 日本電気株式会社 | Analysis device, analysis method, and non-transitory computer-readable medium having program stored thereon |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7161974B2 (en) | 2022-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11120801B2 (en) | Generating dialogue responses utilizing an independent context-dependent additive recurrent neural network | |
| US20230093469A1 (en) | Regularizing machine learning models | |
| US11093813B2 (en) | Answer to question neural networks | |
| US11030414B2 (en) | System and methods for performing NLP related tasks using contextualized word representations | |
| US11081105B2 (en) | Model learning device, method and recording medium for learning neural network model | |
| EP2991003B1 (en) | Method and apparatus for classification | |
| US8204738B2 (en) | Removing bias from features containing overlapping embedded grammars in a natural language understanding system | |
| US11003993B1 (en) | Training recurrent neural networks to generate sequences | |
| WO2022159729A1 (en) | Machine learning for video analysis and feedback | |
| US20220269939A1 (en) | Graph-based labeling rule augmentation for weakly supervised training of machine-learning-based named entity recognition | |
| Grover et al. | Multi-modal automated speech scoring using attention fusion | |
| JP2020201727A (en) | Quality control method | |
| JP6983729B2 (en) | Extractor, evaluation device, extraction method and extraction program | |
| Sallu et al. | Learning in Higher Education Based on Artificial Intelligence (AI) with Case Based Reasoning (CBR) | |
| KR20220042103A (en) | Method and Apparatus for Providing Hybrid Intelligent Customer Consultation | |
| KR101837576B1 (en) | Apparatus and method for providing foreign language learning service, recording medium for performing the method | |
| Agarwal et al. | Contextual Derivation of Stable BKT Parameters for Analysing Content Efficacy. | |
| CN112905763B (en) | Session system development method, device, computer equipment and storage medium | |
| CN116010563A (en) | Multi-round dialogue data analysis method, electronic equipment and storage medium | |
| JP7013329B2 (en) | Learning equipment, learning methods and learning programs | |
| US20170154281A1 (en) | Switching Leader-Endorser for Classifier Decision Combination | |
| WO2020022328A1 (en) | Sentence generation device, model learning device, sentence generation method, model learning method, and program | |
| Orozko et al. | Online learning of stochastic bi-automaton to model dialogues | |
| KR20160054126A (en) | Apparatus and method for providing foreign language learning service, recording medium for performing the method | |
| JP7013331B2 (en) | Extractor, extraction method and extraction program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210922 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220830 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220913 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221004 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221017 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7161974 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |