JP2021119397A - データを分析する方法、装置、及びコンピュータプログラム - Google Patents

Abstract

【課題】ユーザ分析のために必要なサンプルデータを効率よく抽出する方法を提供する。【解決手段】複数の問題に対するユーザの回答データを収集し、データ分析フレームワークに適用して問題及び／又はユーザのモデリングベクトルを計算し、診断用問題セット構成のための候補問題を少なくとも１つ以上抽出し、候補問題に対する回答データが存在するユーザ及びユーザの回答データが存在する他の問題を確認し、候補問題に対するユーザの回答データのみデータ分析フレームワークに適用して仮想ユーザモデリングベクトルを計算し、仮想ユーザモデリングベクトルを適用して他の問題の仮想正答率を計算し、仮想正答率とユーザの他の問題の実際の回答データを比較し、比較した結果をユーザの数によって平均化して候補問題の予測率を計算する。【選択図】図１

Description

本発明はデータを分析し、ユーザオーダーメード型コンテンツを提供する方法に関し、より詳しくは、本発明は新規ユーザ分析に最適化された診断用問題セットを抽出し、マシンランニングフレームワークが適用されたデータセットをラべリングする方法及び装置に関する。

今まで教育コンテンツは一般的にパッケージにて提供されてきた。例えば、紙に記録される問題集は巻当たり最小７００問題が収録されており、オンラインまたはオフライン講義やはり１−２時間単位で最小一ヶ月間勉強する量を括って一度に販売される。

しかしながら、教育を受ける学生の立場では個別的に脆弱な単元と脆弱な問題類型が全て相異するので、パッケージ形態よりはオーダーメード型コンテンツに対するニーズが存在する。自身の脆弱な単元の脆弱な問題類型のみを選んで学習することが問題集の７百問題全体を解くことより遥かに効率のよいためである。

しかしながら、被教育者である学生自ら自身の脆弱点を把握することは非常に難しい。延いては、学院、出版社など、従来の教育業界でも主観的経験と直観に依存して学生及び問題を分析するので、個別学生に最適化された問題を提供することは容易でない。

このように、従来の教育環境では被教育者が最も効率よく学習結果を出すことができるオーダーメード型コンテンツを提供することが容易でなく、学生はパッケージ形態の教育コンテンツに対して成就感と興味を直ぐに失うようになるという問題が発生する。

本発明は前記のような問題を解決することを目的とする。より具体的に、本発明は、ユーザ分析のために必要なサンプルデータを効率よく抽出する方法を提供することを目的とする。延いては、本発明は非指導学習（unsupervised learning）または自律学習基盤のマシンランニングフレームワークを適用して分析したデータを解析するためのラべリング方法を提供することを目的とする。

本発明の実施形態に従うデータ分析フレームワークの新規ユーザに対する診断用問題セットを構成する方法は、複数の問題を含む問題データベースを構成し、前記問題に対するユーザの解き結果データを収集し、前記解き結果データを前記データ分析フレームワークに適用して前記問題及び／又はユーザのモデリングベクトルを計算するａステップ；前記問題データベースで前記診断用問題セットの構成のための候補問題を少なくとも１つ以上抽出するｂステップ；前記候補問題に対する解き結果データが存在するユーザ及び前記ユーザの解き結果データが存在する他の問題を確認するｃステップ；前記候補問題に対する前記ユーザの解き結果データのみを前記データ分析フレームワークに適用して仮想ユーザモデリングベクトルを計算するｄステップ；前記仮想ユーザモデリングベクトルを適用して前記他の問題の仮想正答率を計算するｅステップ；前記仮想正答率と前記ユーザの前記他の問題の実際解き結果データを比較し、比較した結果を前記ユーザの数によって平均化して前記候補問題の予測率を計算するｆステップを含むことを特徴とする。

延いては、本発明の実施形態に従うデータ分析フレームワークを通じての分析結果を解析する方法は、複数の問題を含む問題データベースを構成し、前記問題に対するユーザの解き結果データを収集し、前記解き結果データを前記データ分析フレームワークに適用して前記問題及び／又はユーザに対するクラスタを少なくとも１つ以上形成するａステップ；前記クラスタから少なくとも１つ以上の第１データをランダムに抽出し、前記第１データを解析するための第１ラベルを選定するｂステップ；前記クラスタに含まれたデータのうち、前記第１データとしきい値以内の類似度を有するデータに前記第１ラベルを与えるｃステップ；前記第１データとしきい値以外の類似度を有するデータのうち、少なくとも１つ以上の第２データをランダムに抽出し、前記第２データを解析するための第２ラベルを選定するｄステップ；前記クラスタに含まれたデータのうち、前記第２データとしきい値以内の類似度を有するデータに前記第２ラベルを与えるｅステップ；前記第１ラベル及び前記第２ラベルを用いて前記クラスタを解析するｆステップを含むことを特徴とする。

本発明によれば、新しく流入したユーザ分析のために必要な最適化された診断用問題セットを構成することができる効果がある。

延いては、本発明の実施形態によれば、機械学習フレームワークを適用して分析された結果を効率よく解析することができる効果がある。

図１は、本発明の実施形態に従うデータ分析フレームワークで新規ユーザに対する診断用問題セットを構成する方法を説明するためのフローチャートである。 図２は、本発明の実施形態に従う自律学習（unsupervised learning）基盤のデータ分析フレームワークで分析結果を解析する方法を説明するためのフローチャートである。

本発明は以下に記載される実施形態の説明内容に限定されるのではなく、本発明の技術的要旨を逸脱しない範囲内で多様な変形が加えられることは自明である。そして、実施形態を説明するに当たって、本発明が属する技術分野に広く知られており、本発明の技術的要旨と直接的に関連のない技術内容に対しては説明を省略する。

一方、添付の図面で同一な構成要素は同一な符号で表現される。そして、添付図面において一部の構成要素は誇張、省略、または概略的に図示されることもできる。これは本発明の要旨と関連のない不必要な説明を省略することによって本発明の要旨を明確に説明するためである。

最近、ＩＴデバイスの普及が拡大されるにつれて、ユーザ分析のためのデータ収集が容易になっている。ユーザデータが十分に収集できれば、ユーザの分析がより精密になり、該当ユーザに最も適合した形態のコンテンツを提供することができる。

このような流れと共に、特に教育業界でユーザオーダーメード型教育コンテンツ提供に対するニーズが高い。

簡単な例えば、あるユーザが英語科目で“動詞の時制”に対する理解度が劣る場合、“動詞の時制”に対する概念を含んでいる問題を推薦できれば学習効率はより高まるはずである。ところで、このようにユーザオーダーメード型教育コンテンツを提供するためには、各々のコンテンツ及びユーザ個々人に対する精密な分析が必要である。

従来にはコンテンツとユーザを分析するために該当科目の概念を専門家が手作業により定義し、該当科目に対する各問題がどんな概念を含んでいるのか専門家が個別的に判断してタギングする方式に従った。以後、各ユーザが特定概念に対してタギングされた問題を解いてみた結果情報に基づいて学習者の実力を分析するものである。

しかしながら、このような方法はタグ情報が人の主観に依存するという問題点があった。人の主観が介入されず、数学的に生成されたタグ情報が数学的に問題に与えられるものではないので、結果データに対する信頼度が高くならないという問題があった。

したがって、本発明の実施形態に従うデータ分析サーバは学習データ分析にマシンランニングフレームワークを適用してデータ処理過程の人の介入を排除することができる。

これによれば、ユーザの問題解き結果ログを収集し、ユーザと問題とから構成された多次元空間を構成し、ユーザが問題に正答したか誤答したかを基準に前記多次元空間に値を与えて、各々のユーザ及び問題に対するベクトルを計算する方式によりユーザ及び／又は問題をモデリングすることができる。

延いては、前記ユーザベクトル及び／又は問題ベクトルを用いて全体ユーザで特定ユーザの位置、特定ユーザと類似のグループにクラスタリングできる他のユーザ、他のユーザと該当ユーザの類似度、全体問題で特定問題の位置、前記問題と類似のグループにクラスタリングできる他の問題、他の問題と該当問題の類似度などを数学的に計算することができる。延いては、少なくとも１つ以上の属性を基準にユーザ及び問題をクラスタリングすることができる。

この際、本発明で前記ユーザベクトル、前記問題ベクトルがどんな属性、またはフィーチャーを含んでいるかは限定的に解釈されるべきではないことに留意しなければならない。

例えば、本発明の実施形態によれば、前記ユーザベクトルは前記ユーザが任意の概念に対して理解している程度、即ち概念の理解度を含むことができる。延いては、前記問題ベクトルは前記問題がどんな概念で構成されているのか、即ち概念構成度を含むことができる。

ところで、マシンランニングを適用して学習データを分析すると、幾つか解決しなければならないという問題が存在する。

第１は、新たなユーザや問題が追加される場合の処理に対するものである。

新規流入したユーザや問題の場合、該当ユーザや問題に対するデータが蓄積される前には分析結果が提供できない。したがって、初期データ、即ちデータ分析フレームワークで初期分析結果を任意の信頼度で導出するために要求される学習結果データを効率よく収集する必要がある。

より具体的に、新しく流入したユーザを分析するためには該当ユーザの問題解き結果データがある程度蓄積されなければならないが、信頼性ある分析結果を提供するための診断問題セットを構成するという問題が解決されなければならない。

問題解き結果データがある程度蓄積されていないユーザには信頼度ある分析結果が提供できないので、ユーザは診断用問題を解かなければならず、診断用問題は多いほどより精密な分析が可能である。しかしながら、ユーザの立場ではより速く学習効率を高めることができるオーダーメード型問題が提供されることを希望するはずである。

したがって、ユーザ分析結果の信頼度が任意の範囲以上確保できる最小限の問題で診断用問題を構成する必要がある。

本発明は、前記のような問題を解決するためのものである。

本発明の実施形態をよれば、新しく流入したユーザを分析するための診断用問題を効率よく抽出することができる。より具体的に、データ分析システムの問題データベースの解き結果データが１つも存在しない新規ユーザの初期ベクトル値を任意の信頼度で計算するために新規ユーザが解くべき問題セットを効率よく抽出することができる。

これによれば、ユーザ診断のための問題セットが効率よく構成できるので、ユーザが該当システムで多くの問題を解いてみなくても信頼性ある分析結果を提供することができる効果がある。

一方、マシンランニングを適用して学習データを分析する場合、マシンランニングを適用して分析された結果値を人が理解することができる方式で解析するためのラべリングの問題が発生することがある。

人の介入無しで、即ち別途のラべリング過程無しでマシンランニングフレームワークを適用して学習結果データをモデリングすれば、モデリングされた結果が如何なるフィーチャーを含んでいるかが確認できないという問題が発生する。延いては、ユーザまたは問題を分類した場合、分類基準が確認されないので、分析結果を人が理解することができるように事後的に解析しなければならないという問題が発生する。

例えば、特定ユーザが第１分類、第２分類、第３分類の属性を有すると分析された場合、第１分類は動名詞の理解度が低く、第２分類は時制の理解度が高く、第３分類はトーイックパート１の征服率が中間であるという属性を有するものとして分類基準を人が理解することができるように解析できなければ、該当ユーザの学習水準及び脆弱点を説明することができない。

しかしながら、一名非指導学習方式のマシンランニングフレームワークを適用してデータを分析すると、結果値が出た場合でもデータの如何なる属性によって分類されたものかを確認し難い。

本発明は前記のような問題を解決するためのものである。

本発明の実施形態をよれば、非指導学習基盤のマシンランニングで分析された結果を人が知ることができる状態で解析するために事後的にラべリングする方法を提供することができる。

これによれば、機械学習過程で人の主観を排除することができるので、純粋にデータ基盤にモデリングした結果を抽出することができ、機械学習と区分してラベルが指定できるので、機械学習された結果を効率よく解析することができるという効果がある。

図１は、本発明の実施形態に従ってユーザ診断用問題セットを抽出する方法を説明するためのフローチャートである。

ステップ１１０及びステップ１１５は、データ分析システムで新規ユーザ診断用問題セットを抽出するための前提となるステップである。

本発明の実施形態によれば、ステップ１１０で全体問題と全体ユーザに対して解き結果データが収集できる。

より具体的に、データ分析サーバは問題データベースを構成し、前記問題データベースに属する全体問題に対する全体ユーザの解き結果データを収集することができる。

例えばデータ分析サーバは、出回っている各種の問題に対するデータベースを構築し、ユーザが該当問題を解いた結果を収集する方式により解き結果データを収集することができる。前記問題データベースは聞き取り評価問題を含み、テキスト、イメージ、オーディオ、及び／又は動映像形態でありうる。

この際、データ分析サーバは収集された問題解き結果データをユーザ、問題、結果に対するリスト形態に構成することができる。例えばＹ（ｕ、ｉ）はユーザｕが問題ｉを解いた結果を意味し、正答の場合は１、誤答の場合は０の値が与えられる。

延いては、本発明の実施形態に従うデータ分析サーバはユーザと問題とから構成された多次元空間を構成し、ユーザが問題に正答したか誤答したかを基準に前記多次元空間に値を与えて、各々のユーザ及び問題に対するベクトルを計算することができる（ステップ１１５）。この際、前記ユーザベクトルと問題ベクトルが含むフィーチャーは特定されず、例えば、本発明の実施形態に従って図３に対する説明で後述する方法によって解析できる。

以後、データ分析サーバは前記ユーザベクトルと前記問題ベクトルを用いて任意のユーザが任意の問題に正答する確率、即ち正答率を推定することができる（ステップ１２０）。

この際、前記ユーザベクトルと前記問題ベクトルに多様なアルゴリズムを適用して前記正答率を計算することができ、本発明を解釈するに当たって正答率を計算するためのアルゴリズムは限定されない。

例えば、データ分析サーバは前記ユーザのベクトル値及び前記問題のベクトル値に正答率推定のためにパラメータを設定したシグモイド関数を適用してユーザの該当問題に対する正答率を計算することができる。

更に他の例に、データ分析サーバは前記ユーザのベクトル値及び前記問題のベクトル値を用いて特定ユーザの特定問題に対する理解度を推定し、前記理解度を用いて特定ユーザが特定問題に正答する確率を推定することができる。

例えば、ユーザベクトルの最初の行の値が［０、０、１、０．５、１］の場合、これは第１ユーザが１、２番目の概念は全く理解できず、３番目及び５番目の概念は完全に理解し、そして４番目の概念は半分ぐらい理解したと解析することができる。

延いては、問題ベクトルの最初の行の値が［０、０．２、０．５、０．３、０］という時、これは第１問題が１番概念は全く含んでおらず、２番概念が２０％位含み、３番概念が５０％位含み、４番概念が３０％位含まれたと解析できる。

この際、第１ユーザの第１問題の理解度を推定すれば、０×０＋０×０．２＋１×０．５＋０．５×０．５＋１×０＝０．７５と計算できる。即ち、第１ユーザは第１問題を７５パーセント理解すると推定できる。

しかしながら、ユーザの特定問題に対する理解度と特定問題に正答する確率は同一であるということができない。前記の例において、第１ユーザが第１問題を７５パーセント理解すれば、第１問題を実際に解いた時、正答である確率はある程度であるか。

このために、心理学、人智科学、教育学などで使われる方法論を導入して理解度と正答率の関係を推定することができる。例えば、Reckase及びMcKinelyが考案したＭ２ＰＬ（multidimensional two-parameter logistic）潜在的特性理論（Latent Trait Model）などを考慮して理解度と正答率を推定することができる。

しかしながら、本発明は合理的な方式により理解度と正答率の関係を推定することができる従来技術を適用してユーザの問題に対する正答率を計算できれば足り、本発明は理解度と正答率の関係を推定する方法論に限定的に解釈されるべきではないことに留意しなければならない。

以後、データ分析サーバは新規ユーザに対する診断用問題セットを構成するために問題データベースから少なくとも１つ以上の候補問題を任意に抽出することができる（ステップ１２０）。

以後、データ分析サーバは候補問題に対する解き結果データが存在するユーザを確認し、前記ユーザが前記候補問題のみ解いたと仮定し、該当ユーザに対する仮想ベクトル値を計算することができる。前記仮想ベクトル値は、例えば候補問題の解き結果データのみ存在するユーザの問題データベースの各々の問題が正答される確率で計算することができる（ステップ１３０、１４０）。前記仮想ベクトル値はステップ１１０に対する説明で前述した方式は勿論、合理的な従来技術に従って計算できる。

例えば、問題データベースで第１問題が診断候補問題として抽出された場合、前記第１問題を解いたユーザが全体ユーザのうち、ユーザ１、ユーザ２、ユーザ３であり、前記第１問題に対し、ユーザ１は正答、ユーザ２は正答、ユーザ３は誤答である場合、データ分析サーバは（ユーザ、問題、ｖａｌ）の入力値を（１、１、１）、（２、１、１）（３、１、０）と確認し、（１、１、１）、（２、１、１）（３、１、０）の入力値のみ存在すると仮定し、ユーザ１、２、３が他の問題に正答する確率を計算することができる。

これは、前記ユーザを新規ユーザと仮定し、新規ユーザが前記候補問題のみ解いた時、即ち、新規ユーザに対するデータが前記候補問題に対する解き結果のみ存在する時、同一な分析フレームワークで他の問題に対する正答予測率が実際の結果とどれくらい一致するかを確認するためのものである。

言い換えると、該当問題を通じて推定した他の問題に対する正答確率が他の問題を実際に解いた結果と整合する方向に診断問題を抽出するためのものである。

したがって、データ分析サーバは候補問題を解いたユーザが実際に解いた他の問題を確認し、前記仮想ベクトル値を適用して前記他の問題の正答率を計算し、計算された正答率と実際の分析結果を比較することができる（ステップ１６０、１７０）。

先の例において、ユーザ１が実際に第１問題、第３問題、第５問題を解いており、第１問題に正答し（１、１、１）、第３問題に誤答し（１、３、０）、第５問題に正答した（１、５、１）場合を仮定することができる。この際、（１、１、１）の入力値だけで計算した仮想ユーザｕの第３問題、第５問題に対する正答率、即ち仮想ベクトル値を適用して計算した第３問題、第５問題に対する正答率が０．４、０．６であれば、実際の解き結果との差は第３問題に対して０．６、第５問題に対して０．４と計算されるはずである。

以後、ステップ１８０で、データ分析サーバは候補問題を通じて推定した他の問題の正答率と実際値との差を平均化することができる。より具体的に、データ分析サーバは候補問題に対する解き結果データがある他のユーザ全体に対して、前記他のユーザが実際解いた問題に対する前記の差を平均化することができる。本明細書で、これは診断問題候補の平均比較値と称することができる。

先の例において、ユーザ１が実際解いた問題が第１、第３、第５問題であり、ユーザ２が実際解いた問題が第１、第２問題であり、ユーザ３が実際解いた問題が第４、第５問題である場合、入力値を（１、１、１）のみ存在すると仮定して、第３、第５問題が正答される確率とユーザ１が実際に第３、第５問題を解いた結果値の差、入力値を（２、１、１）のみ存在すると仮定して、第２問題が正答される確率とユーザ２が実際に第２問題を解いた結果値の差、入力値を（３、１、０）のみ存在すると仮定して第４、第５問題が正答される確率とユーザ３が実際に第４、第５問題を解いた結果値の差を本発明の実施形態に従うデータ分析サーバは計算することができる。

以後、データ分析サーバは候補問題である第１問題に対して前記結果値の差を問題２、３、４、５の各々に対して平均化するはずである。

データ分析サーバはこのような方式により問題データベースに存在する各々の問題を診断問題候補に設定して該当候補問題の平均比較値を計算し、前記平均比較値を用いて診断用問題を構成することができる（ステップ１９０）。

例えば、データ分析サーバは問題データベースの全ての問題を１つずつ診断問題候補に設定し、各々の平均比較値を計算して平均比較値が少ない順に診断問題候補を整列し、上位に整列された診断問題候補から任意のセットを抽出する方式により診断問題セットを生成することができる。

更に他の例に、データ分析サーバは問題データベースで予め設定された個数でランダムに抽出された複数の問題を診断問題候補セットに設定し、各セットを構成する各々の診断問題候補の平均比較値を計算して前記診断問題候補セットの代表平均比較値を計算し、前記代表平均比較値が予め設定された範囲以内である診断問題候補セットを最終的に診断問題セットに決定することができる。

図２は、本発明の実施形態に従って機械学習フレームワークを適用してデータを分析した結果を解析する方法を説明するためのフローチャートである。

ステップ３１０で、データ分析サーバはユーザの問題解き結果データに機械学習フレームワークを適用してユーザ及び／又は問題をモデリングすることができる。

例えば、本発明の実施形態に従うデータ分析サーバは、いわゆる非指導学習（Unsupervised Learning）基盤の機械学習フレームワークを基盤に、問題またはユーザに対する別途のラべリング無しで問題のユーザの解き結果だけでモデリングベクトルを生成することができる。

延いては、データ分析サーバは収集されたユーザの問題解き結果データをデータの間の距離基盤または確率分布を基盤に類似度を計算し、前記類似度がしきい値以内であるユーザ及び／又は問題を分類することができる。

更に他の例に、本発明の実施形態に従うデータ分析サーバは収集されたユーザの問題解き結果データに基づいて全体ユーザ及び全体問題に各々に対するベクトルを生成し、少なくとも１つ以上の属性を基準にユーザまたは問題を分類することができる。

ところで、この際、マシンランニングフレームワークを適用して生成したユーザベクトル、問題ベクトルは、別途のラベルが付けられておらず、前記ベクトルが如何なる属性を含んでいるのか、またはユーザと問題を如何なる属性によって分類したものかを解析し難いという問題がある。

したがって、本発明の実施形態に従うデータ分析フレームワークは、マシンランニングを通じてのデータ分析結果を事後的にラべリングして解析する方法を提案しようとする。本発明の実施形態に従うラべリングはマシンランニング過程で適用されるものでなく、マシンランニングが終了した後、即ち、マシンランニングを通じて分析された結果を解析するために与えられるものであることに留意しなければならない。

本発明の実施形態に従うデータ分析フレームワークはモデリングベクトルで表現された問題またはユーザデータにおいて、ランダムに少なくとも１つの問題またはユーザを抽出し、抽出された問題またはユーザを解析するための少なくとも１つのラベルを任意に与えて（ステップ２２０）、前記ラベルを該当問題またはユーザにインデクシングすることができる（ステップ２３０）。

前記ラベルは、例えば特定科目に対する概念または主題をツリー形式で構成したメタデータのインデクシング情報でありうる。前記概念または主題は専門家により与えられるが、本発明はこれに限定されない。

図２に別途に図示されたものではないが、データ分析サーバはラベル生成のために該当科目の学習要素及び／又は主題をツリー構造で羅列して最小学習要素に対するメタデータセットを生成し、前記最小学習要素を分析に適合したグループ単位で分類することができる。

例えば、特定科目Ａの第１主題をＡ１−Ａ２−Ａ３−Ａ４−Ａ５．．．に分類し、第１主題Ａ１の細部主題を第２主題にしてＡ１１−Ａ１２−Ａ１３−Ａ１４−Ａ１５．．．に分類し、第２主題Ａ１１の細部主題を第３主題にしてＡ１１１−Ａ１１２−Ａ１１３−Ａ１１４−Ａ１１５．．．に分類し、第３主題Ａ１１１の細部主題を第４主題にして同一な方法により分類する場合、該当科目の主題はツリー構造で羅列できる。

このようなツリー構造の最小学習要素はユーザ及び／又は問題の分析に適合した単位である分析グループ別に管理できる。ユーザ及び／又は問題を解析するためのラベルを学習要素の最小単位で設定することより分析に適合した所定のグループ単位で設定することがより適切であるためである。

例えば、英語科目の学習要素をツリー構造で分類した最小単位を｛動詞−時制、動詞−時制−過去完了進行、動詞−時制−現在完了進行、動詞−時制−未来完了進行、動詞−時制−過去完了、動詞−時制−現在完了、動詞−時制−未来完了、動詞−時制−過去進行、動詞−時制−現在進行、動詞−時制−未来進行、動詞−時制−過去、動詞−時制−現在、動詞−時制−未来｝で構成した場合、学習要素の最小単位である＜動詞−時制＞、＜動詞−時制−過去完了進行＞、＜動詞−時制−現在完了進行＞、＜動詞−時制−未来完了進行＞の各々に対してユーザの脆弱点を分析すれば、過度に細分化されて有意味な分析結果を導出し難い。

学習は特定分類下で総合的、全体的に進行されるので、過去完了進行を知らない学生が現在完了進行を理解するということができないためである。したがって、本発明の実施形態によれば、学習要素の最小単位は分析に適合した単位である分析グループ別に管理されることができ、前記分析グループに対する情報が抽出された問題を説明するためのラベルに活用できる。

例えば、データ分析サーバはクラスタから任意に少なくとも１つ以上の問題を抽出し、前記問題の出題意図を説明することができるというラベルを抽出された問題に与えることができる。

以後、データ分析サーバは１次抽出された問題に与えられた第１ラベルを基準に全体問題データを分類することができる（ステップ２３０）。

例えば、最初に抽出された第１問題に第１ラベルが指定された場合、データ分析サーバは前記１問題との類似度を基準にしきい値以内の問題としきい値以外の問題を区分することができる。

延いては、データ分析サーバは前記第１問題との類似度がしきい値以内の問題に前記第１ラベルを与えることができる。

以後、データ分析サーバは前記第１問題との類似度がしきい値以外の問題のうち、ランダムに少なくとも１つの問題を抽出し（ステップ２４０）、２次抽出された問題を解析するための第２ラベルを選定し、２次抽出された問題及び前記２次抽出された問題と類似度がしきい値以内の他の問題に前記第２ラベルを与えることができる（ステップ２５０）。

この場合、１次抽出された問題と類似の問題には第１ラベル、２次抽出された問題と類似の問題には第２ラベルが与えられて、１次抽出された問題は勿論、２次抽出された問題と類似の問題には第１ラベルと第２ラベルが与えられる。

このような方式により問題にラベル付与を反復すれば、全体問題を分類することができる（ステップ２６０）。

例えば、特定問題が＜動詞−時制＞に対する第１ラベル、＜動詞の形式＞に対する第２ラベル、＜能動態と受動態＞に対する第３ラベルが与えられ、その割合が各々７５％、５％、２０％の場合、該当問題は第１ラベル及び第３ラベルを用いて解析できる。

例えば、該当問題は＜動詞−時制＞を出題意図とし、＜能動態と受動態＞に対する誤答例を含むと解析できる。

延いては、同一な第１ラベル、第２ラベル、第３ラベルがユーザに与えられた場合、該当ユーザは＜動詞−時制＞及び＜能動態と受動態＞に対する理解度が各々７５％、２０％と推定されるものとして解析できる。

本明細書と図面に掲示された本発明の実施形態は本発明の技術内容を容易に説明し、本発明の理解を助けるために特定例を提示したものであり、本発明の範囲を限定しようとするのではない。ここに掲示された実施形態の他にも本発明の技術的思想に基づいた他の変形例が実施可能であるということは本発明が属する技術分野で通常の知識を有する者に自明である。

（付記）
（付記１）
データ分析フレームワークの新規ユーザに対する診断用問題セットを構成する方法において、
複数の問題を含む問題データベースを構成し、前記問題に対するユーザの解き結果データを収集し、前記解き結果データを前記データ分析フレームワークに適用して前記問題及び／又はユーザのモデリングベクトルを計算するａステップ；
前記問題データベースで前記診断用問題セットの構成のための候補問題を少なくとも１つ以上抽出するｂステップ；
前記候補問題に対する解き結果データが存在するユーザ及び前記ユーザの解き結果データが存在する他の問題を確認するｃステップ；
前記候補問題に対する前記ユーザの解き結果データのみを前記データ分析フレームワークに適用して仮想ユーザモデリングベクトルを計算するｄステップ；
前記仮想ユーザモデリングベクトルを適用して前記他の問題の仮想正答率を計算するｅステップ；及び
前記仮想正答率と前記ユーザの前記他の問題の実際解き結果データを比較し、比較した結果を前記ユーザの数によって平均化して前記候補問題の予測率を計算するｆステップ
を含むことを特徴とする、方法。

（付記２）
前記予測率がしきい値以内である候補問題を前記診断用問題セットとして構成するステップを含むことを特徴とする、付記１に記載の方法。

（付記３）
自律学習（unsupervised learning）基盤のデータ分析フレームワークを通じての分析結果を解析する方法において、
複数の問題を含む問題データベースを構成し、前記問題に対するユーザの解き結果データを収集し、前記解き結果データを前記データ分析フレームワークに適用して前記問題及び／又はユーザに対するクラスタを少なくとも１つ以上形成するａステップ；
前記クラスタから少なくとも１つ以上の第１データをランダムに抽出し、前記第１データを解析するための第１ラベルを選定するｂステップ；
前記クラスタに含まれたデータのうち、前記第１データとしきい値以内の類似度を有するデータに前記第１ラベルを与えるｃステップ；
前記第１データとしきい値以外の類似度を有するデータのうち、少なくとも１つ以上の第２データをランダムに抽出し、前記第２データを解析するための第２ラベルを選定するｄステップ；
前記クラスタに含まれたデータのうち、前記第２データとしきい値以内の類似度を有するデータに前記第２ラベルを与えるｅステップ；及び
前記第１ラベル及び前記第２ラベルを用いて前記クラスタを解析するｆステップ
を含むことを特徴とする、方法。

（付記４）
特定科目の学習要素をツリー構造で羅列して前記科目の学習要素に対するメタデータセットを生成するステップ；
前記学習要素を分析グループ単位で分類して前記メタデータのインデクシング情報を生成するステップ；及び
前記メタデータのインデクシング情報を前記第１ラベル及び前記第２ラベルに活用するステップ
を含むことを特徴とする、付記３に記載の方法。

Claims (1)

1. データ分析フレームワークの新規ユーザに対する診断用問題セットを構成する方法において、
   複数の問題を含む問題データベースを構成し、前記問題に対するユーザの解き結果データを収集し、前記解き結果データを前記データ分析フレームワークに適用して前記問題及び／又はユーザのモデリングベクトルを計算するａステップ；
   前記問題データベースで前記診断用問題セットの構成のための候補問題を少なくとも１つ以上抽出するｂステップ；
   前記候補問題に対する解き結果データが存在するユーザ及び前記ユーザの解き結果データが存在する他の問題を確認するｃステップ；
   前記候補問題に対する前記ユーザの解き結果データのみを前記データ分析フレームワークに適用して仮想ユーザモデリングベクトルを計算するｄステップ；
   前記仮想ユーザモデリングベクトルを適用して前記他の問題の仮想正答率を計算するｅステップ；及び
   前記仮想正答率と前記ユーザの前記他の問題の実際解き結果データを比較し、比較した結果を前記ユーザの数によって平均化して前記候補問題の予測率を計算するｆステップ
   を含むことを特徴とする、方法。

Images