BR112021007166A2 - método de análise de um usuário em um servidor de serviço - Google Patents

Abstract

A presente invenção diz respeito a um método pelo qual um servidor de serviço fornece conteúdo de aprendizagem personalizado para o usuário, o método compreendendo: uma etapa (a) de construção de um banco de dados de questões incluindo uma ou mais questões de múltipla escolha contendo um ou mais exemplos sobre um assunto específico, fornecendo as questões a dispositivos de usuário e coletando, a partir dos dispositivos de usuários, dados de seleção de exemplos de usuário sobre as questões; uma etapa (b) de estimativa de probabilidades de respostas certas para as questões para cada um dos usuários usando dados de seleção de exemplos de cada um dos usuários; e uma etapa de cálculo, para cada questão, de taxas de alteração de probabilidade de respostas certas para todas as questões, incluídas no banco de dados de questões, dos usuários, supondo que certos usuários tenham selecionado exemplos respectivos para certas questões e dispondo as questões incluídas no banco de dados de questões em ordem descendente das taxas de alteração de modo a recomendar o mesmo aos usuários.

Description

MÉTODO DE ANÁLISE DE UM USUÁRIO EM UM SERVIDOR DE

SERVIÇO [Campo Técnico]

[0001] A presente invenção se refere a um método de fornecer conteúdo personalizado para o usuário com base em dados. Mais especificamente, a presente invenção se refere a um método de estimar eficiência de aprendizagem de um usuário em um problema, aplicando dados de resultados de resolução de problemas coletados a uma estrutura de aprendizagem de máquina para recomendar conteúdo educacional com base na mesma. [Fundamentos da Invenção]

[0002] Conteúdo educacional tem sido geralmente fornecido em um pacote até agora. Por exemplo, um livro de exercícios impresso contém pelo menos 700 problemas por livro e aulas online ou offline também são vendidas por vez, com um mínimo de um mês de estudo de uma a duas horas.

[0003] No entanto, para os alunos que estão sendo educados, há uma necessidade de conteúdo personalizado em vez de pacotes, porque tanto as unidades vulneráveis individuais quanto os tipos de problemas vulneráveis são diferentes. Para obter a aprendizagem mais eficiente em um tempo limitado, aprender selecionando o problema mais eficiente é muito mais eficiente do que resolver todos os 700 problemas no livro de exercícios.

[0004] No entanto, é muito difícil para os alunos que são trainees sendo educados escolherem problemas que sejam apropriados para eles próprios. Adicionalmente, na indústria de educação convencional, tal como em academias ou editoras, não é fácil fornecer problemas otimizados para alunos individuais, porque os alunos e os problemas são analisados com base na experiência subjetiva e na intuição dos mesmos.

[0005] Desse modo, no ambiente de educação convencional, não é fácil para os trainees fornecerem conteúdo personalizado que possa produzir os resultados de aprendizagem mais eficientes e os alunos perdem rapidamente o senso de realização e o interesse no conteúdo educacional que é uniformemente fornecido. [Sumário da Invenção] [Problema Técnico]

[0006] Um objetivo da presente invenção é resolver os problemas acima mencionados. Mais especificamente, a presente invenção fornece um método de analisar usuários e/ou problemas com base em grandes quantidades de dados de resultados de resolução de problemas e de cálculo da eficiência de aprendizagem específica do problema de cada usuário com base neles para recomendar conteúdo de aprendizagem de acordo com a eficiência de aprendizagem. [Solução do Problema]

[0007] Em conformidade com um aspecto da presente invenção, é fornecido um método de fornecer conteúdo de aprendizagem personalizado para o usuário em um servidor de serviço, que inclui a) para um assunto específico, configurar um banco de dados de problemas incluindo pelo menos um problema de múltipla escolha cada, incluindo pelo menos um exemplo, fornecer o problema aos dispositivos de usuário e coletar dados de seleção de exemplo de usuários para o problema a partir dos dispositivos do usuário, b) estimar uma probabilidade de resposta certa para o problema para cada um dos usuários usando os dados de seleção de exemplo de cada um dos usuários e, supondo que qualquer usuário selecione um exemplo de qualquer problema, calcular, para cada problema, uma taxa de alteração das probabilidades de resposta certa para todos os problemas contidos no banco de dados de problemas para o usuário e classificar os problemas contidos no banco de dados de problemas na ordem da alta taxa de alteração para recomendá-los ao usuário.

[Efeitos Vantajosos da Invenção]

[0008] Em conformidade com modalidades exemplares da presente invenção, é possível fornecer conteúdo de aprendizagem otimizado para um usuário com base nos resultados da análise de usuário e/ou problema e, assim, maximizar o efeito de aprendizagem do usuário. [Breve Descrição dos Desenhos]

[0009] FIG. 1 é um fluxograma ilustrando um processo de recomendação de conteúdo personalizado para o usuário de acordo com uma modalidade da presente invenção.

[0010] FIG. 2 é um fluxograma ilustrando um processo de cálculo da eficiência de aprendizagem específica do problema do usuário de acordo com uma modalidade da presente invenção.

[0011] FIG. 3 é um fluxograma ilustrando um processo de cálculo da eficiência de aprendizagem específica do problema do usuário de acordo com outra modalidade da presente invenção. [Descrição das Modalidades]

[0012] É evidente que a presente invenção não está limitada à descrição das modalidades divulgadas abaixo e várias modificações podem ser feitas sem se afastar do escopo técnico da presente invenção. Ao descrever as modalidades, as descrições técnicas que são bem conhecidas na técnica à qual a presente invenção pertence e não estão diretamente relacionadas à matéria da presente invenção serão omitidas.

[0013] Nos desenhos, números de referência semelhantes são usados para indicar os mesmos componentes ou componentes semelhantes. Além disso, alguns componentes podem ser exagerados, omitidos ou ilustrados esquematicamente nos desenhos que acompanham. Isso é para esclarecer a matéria da presente invenção, omitindo explicações desnecessárias e irrelevantes para isso.

[0014] Com a disseminação de dispositivos de TI nos últimos anos, a coleta de dados para análise de usuário se tornou mais fácil. Se os dados do usuário podem ser suficientemente coletados, é possível analisar um usuário com mais precisão e fornecer o conteúdo mais adequado para o usuário.

[0015] Com essa tendência, há uma grande necessidade de fornecer conteúdo educacional personalizado para o usuário, especialmente na indústria de educação.

[0016] Como um exemplo simples, quando um usuário tem uma compreensão pobre do "tempo verbal" na matéria de inglês, a eficiência de aprendizagem do usuário será adicionalmente aumentada se um problema envolvendo o conceito de "tempo verbal" puder ser recomendado. No entanto, a fim de fornecer tal conteúdo educacional personalizado para o usuário, é necessário analisar precisamente os conteúdos e usuários individuais.

[0017] Convencionalmente, a fim de analisar conteúdos e usuários, um especialista define manualmente os conceitos de um assunto relevante e determina individualmente quais conceitos cada problema do assunto tem para marcar o mesmo. Então, com base no resultado da resolução dos problemas marcados para um conceito específico por cada usuário, a habilidade do usuário (aprendiz) é analisada.

[0018] Ao longo da resolução de um problema por um usuário, um examinador pode ter uma ou duas intenções, mas pode haver dúzias de razões pelas quais o usuário erra o problema. Por exemplo, pode-se supor que um tipo de problema seja o "passado do subjuntivo" e a intenção do examinador seja: "você pode distinguir entre o pretérito dos verbos auxiliares e o subjuntivo?"

[0019] Nesse caso, a razão pela qual o usuário erra o problema pode ser que "o usuário não consegue distinguir entre o pretérito dos verbos auxiliares e o subjuntivo" como o examinador pretende, mas pode ser porque o usuário não conhece uma palavra específica escrita. Nesse caso, o método mais eficiente para o usuário será aprender a palavra.

[0020] No entanto, não é possível para o especialista analisar o usuário considerando todos os casos. Portanto, é geralmente determinado que o usuário precisa aprender conceitos como "subjuntivo passado", "pretérito de verbos auxiliares" e "subjuntivo" de acordo com a etiqueta de tipo de problema e a etiqueta pretendida pelo examinador e os problemas relacionados a isso serão recomendados.

[0021] Desse modo, o método de análise de usuário com base na informação de etiqueta predefinida pelo especialista é problemático, na medida que a informação de etiqueta depende da subjetividade humana e não abrange vários casos de comportamento humano. Uma vez que a informação de etiqueta gerada matematicamente sem a intervenção da subjetividade humana não é matematicamente atribuída a um problema, os dados resultantes não têm alta confiabilidade.

[0022] Por conseguinte, um servidor de análise de dados de acordo com uma modalidade da presente invenção deve aplicar uma estrutura de aprendizagem de máquina à análise de dados de aprendizagem para excluir a intervenção humana em um processo de processamento de dados.

[0023] De acordo com isso, é possível analisar um usuário e um problema com base no relatório de resultados de resolução de problemas do usuário sem definir o conceito de um assunto relevante com antecedência (isto é, sem gerar informações de etiqueta sobre o conceito incluído no problema). Por exemplo, o servidor de análise de dados pode coletar relatórios de resultados de resolução de problemas de usuário, construir um espaço multidimensional consistindo em usuários e problemas e atribuir um valor ao espaço multidimensional com base no fato de os usuários acertarem ou errarem os problemas, dessa forma modelando o usuário e/ou os problemas calculando um vetor para cada usuário e problema.

[0024] Nesse caso, o modelo de usuário pode incluir informações sobre as características de cada usuário para todos os problemas e o modelo de problema pode incluir informações sobre as características de cada problema para todos os usuários. Adicionalmente, o modelo de problema pode ser representado como um construto do conceito de construir o assunto de um problema específico e o modelo de usuário pode ser representado como uma compreensão do conceito de construir o assunto de um usuário específico.

[0025] Adicionalmente, de acordo com uma modalidade da presente invenção, é possível calcular uma probabilidade de que qualquer usuário selecione um exemplo certo para qualquer problema, a saber, a probabilidade de resposta certa para cada problema de um usuário, usando o modelo de problema e o modelo de usuário. Nesse caso, deve ser notado que quais atributos ou características o vetor de usuário e o vetor de problema incluem não pode ser interpretado de uma maneira limitada na presente invenção.

[0026] Por exemplo, de acordo com uma modalidade da presente invenção, o vetor de usuário pode incluir um grau em que o usuário compreende um conceito arbitrário, ou seja, uma compreensão do conceito. Adicionalmente, o vetor do problema pode incluir se o problema é composto de certos conceitos, ou seja, um construto conceitual.

[0027] Adicionalmente, de acordo com uma modalidade da presente invenção, a eficiência de aprendizagem pode ser calculada para cada um dos problemas incluídos na base de dados de problemas para um usuário específico, de modo que os problemas possam ser recomendados ao usuário na ordem de alta eficiência de aprendizagem.

[0028] Por exemplo, de acordo com uma primeira modalidade da presente invenção, pode ser suposto que um problema com uma baixa probabilidade de resposta certa seja alto em eficiência de aprendizagem. De acordo com isso, uma vez que um usuário específico já compreende,

um problema a ser acertado é excluído e apenas os problemas que serão errados serão selecionados e recomendados. De acordo com a modalidade acima, o usuário pode primeiro aprender o problema que com certeza será errado.

[0029] De acordo com uma segunda modalidade da presente invenção, quando um usuário acerta um determinado problema, pode ser suposto que um problema tendo uma alta taxa de aumento na probabilidade de resposta certa para o usuário de todos os problemas previstos por um modelo recém-aprendido incluindo um problema relevante seja alto na eficiência de aprendizagem. De acordo com isso, um problema será recomendado ao usuário para resolver melhor todo o banco de dados de problemas. De acordo com isso, o usuário primeiro aprenderá o problema que pode aumentar a probabilidade de resposta certa para todos os problemas.

[0030] Adicionalmente, de acordo com uma terceira modalidade da presente invenção, pode ser suposto que um problema que pode aumentar a pontuação de teste real de um usuário é alto em eficiência de aprendizagem. De acordo com isso, ao estimar uma pontuação de teste real de um problema que é externo ao banco de dados de problemas do mesmo assunto para cada usuário e um problema que pode aumentar a pontuação de teste real será recomendado. De acordo com isso, o usuário primeiro aprenderá o problema que pode aumentar a pontuação de teste real.

[0031] A FIG. 1 é um fluxograma ilustrando um processo de recomendação de conteúdo personalizado para o usuário de acordo com uma modalidade da presente invenção.

[0032] As etapas 110 e 130 são etapas de coleta de dados de aprendizagem em um sistema de análise de dados de acordo com uma modalidade da presente invenção e modelagem de problemas e usuários.

[0033] Na etapa 110, um servidor de análise de dados pode criar um banco de dados de problemas e um banco de dados de usuário.

[0034] Por exemplo, o servidor de análise de dados pode criar um banco de dados de problemas coletando vários problemas no mercado. Os problemas podem incluir problemas de teste auditivo e podem estar na forma de texto, imagens, áudio e/ou vídeo. Além disso, o servidor de análise de dados pode criar um banco de dados de usuário, incluindo informações de identificação de usuário.

[0035] Na etapa 120, o servidor de análise de dados pode fornecer o banco de dados de problemas para um dispositivo de usuário e coletar dados de resultados obtidos com a solução de um problema relevante por um usuário.

[0036] Nesse caso, o servidor de análise de dados pode listar os dados de resultados de solução de problemas coletados sobre usuários, problemas e resultados. Por exemplo, Y (u, i) pode se referir ao resultado de que um usuário u resolve um problema i e um valor de 1 pode ser dado para a resposta certa e um valor de 0 pode ser dado para a resposta errada.

[0037] Adicionalmente, o servidor de análise de dados de acordo com a modalidade da presente invenção pode construir um espaço multidimensional consistindo em usuários e problemas e atribuir um valor ao espaço multidimensional com base em se os usuários acertam ou erram os problemas, dessa forma calculando um vetor para cada usuário e problema. Nesse caso, deve ser interpretado que as características incluídas no vetor de usuário e no vetor de problema não são especificadas (etapa 130).

[0038] Por exemplo, o servidor de análise de dados de acordo com a modalidade da presente invenção pode estimar a compreensão conceitual de um usuário L e um construto conceitual de um problema R a partir de Y sem definir o conceito separadamente se Y for suficiente em tamanho. Nesse caso, de acordo com a modalidade da presente invenção, cada elemento de L pode ter um valor entre 0 e 1 e a soma de elementos de cada linha de R pode ser 1.

[0039] Por exemplo, se o valor da primeira linha de L for [0, 0, 1, 0,5, 1], será interpretado que um primeiro usuário não compreende em nada o primeiro e o segundo conceitos, compreende totalmente o terceiro e o quinto conceitos e compreende um quarto conceito pela metade.

[0040] Por exemplo, se o valor da primeira linha de R for [0, 0,2, 0,5, 0,3, 0], será interpretado que um primeiro problema inclui cerca de 20% do segundo conceito, cerca de 50% do terceiro conceito e cerca de 30% do quarto conceito.

[0041] Enquanto isso, o sistema de análise de dados de acordo com a modalidade da presente invenção pode conectar matematicamente correlações entre usuários e problemas por meio de uma matriz de coeficiente baixo se L e R forem estimados com confiabilidade suficiente.

[0042] Por exemplo, supondo que o número de conceitos desconhecidos constituindo um assunto relevante seja r quando o número total de usuários a serem analisados for n e o número total de problemas a serem analisados for m, um servidor de serviço pode definir a matriz de compreensão conceitual de um usuário L como uma matriz n por r e definir a matriz de construto conceitual de um problema R como uma matriz m por r. Nesse caso, quando L está conectado à matriz transposta RT de R, as correlações entre usuários e problemas podem ser analisadas sem definir um conceito ou o número de conceitos separadamente.

[0043] Quando aplicada, no exemplo acima em que o valor da primeira linha de L é [0, 0, 1, 0,5, 1] e o valor da primeira linha de R é [0, 0,2, 0,5, 0,3, 0], a compreensão do primeiro usuário do primeiro problema X(1,1) pode ser calculada por X(1,1) = 0,5 - 0,5 * 0,3 = 0,65. Ou seja, pode- se estimar que o primeiro usuário compreende 65% do primeiro problema.

[0044] No entanto, a compreensão de um problema específico e a probabilidade de acerto de um problema específico pelo usuário podem não ser a mesma uma que a outra. No exemplo acima, se o primeiro usuário compreende 65% do primeiro problema, qual é a probabilidade de que o primeiro problema esteja certo quando for resolvido de fato?

[0045] Para esse fim, a presente invenção introduz a metodologia de teoria de resposta ao item usada na psicologia, ciências cognitivas, pedagogia ou semelhantes. A teoria de resposta ao item é uma teoria de teste usada para medir as características do sujeito, por exemplo, capacidade cognitiva, capacidade física, habilidade, conhecimento, atitude, traços de personalidade ou dificuldade do item de avaliação, usando respostas aos itens de avaliação.

[0046] Como um resultado do experimento usando dados suficientemente numerosos aplicando a teoria acima a eles, é analisado que um problema compreendendo X e uma probabilidade de acerto de problema P não são lineares. Experimentar com o problema compreendendo X e a probabilidade de acerto de problema P usando dados suficientemente numerosos pode resultar em um gráfico bidimensional. Calculando a função que pode explicar isso usando um método matemático convencional, uma função Φ para estimar a probabilidade de acerto de problema do usuário P pode ser derivada conforme indicado na Equação 1 abaixo. Em outras palavras, a probabilidade de acerto de problema P pode ser calculada aplicando o problema compreendendo X à função Φ. [Equação 1]

[0047] No exemplo acima, em que a compreensão do primeiro usuário do primeiro problema é de 65%, a probabilidade de que o primeiro usuário acerte o primeiro problema é calculada por P(1,1) = Φ (X (1,1)) = 0,8632 para ser 86%. Ou seja, no caso em que o primeiro usuário não compreende em nada o segundo e o quarto conceitos e compreende totalmente o terceiro conceito e o primeiro problema é composto de 20% do segundo conceito, 50% do terceiro conceito e 30% do quarto conceito, de acordo com a Equação acima, pode ser estimado que a probabilidade de o primeiro problema estar certo quando o usuário o resolver é de 86%.

[0048] Enquanto isso, o método ilustrado abaixo pode ser seguido para estimar a compreensão conceitual do usuário L e o construto conceitual do problema R. Esse é um método de estimar uma compreensão conceitual Li de um usuário i e um construto conceitual Rj de um problema j, com base em um algoritmo de gradiente estocástico, que é meramente a título de exemplo e a presente invenção não está limitada a ele.

[0049] O sistema de análise de dados de acordo com a modalidade da presente invenção pode atribuir valores iniciais da compreensão conceitual Li do usuário i e o construto conceitual Rj do problema j como quaisquer valores. Por exemplo, o sistema de análise de dados pode atribuir um valor inicial de qualquer compreensão conceitual Li do usuário i e um valor inicial de qualquer construto conceitual Rj do problema j, como quaisquer valores entre 0 e 1.

[0050] Adicionalmente, os dados de resultados de resolução de problemas podem ser listados definindo val de modo que a resposta certa seja 1 e a resposta errada seja 0 para cada usuário i e cada problema j. Por exemplo, o conjunto de dados de resultados de resolução de problemas específicos do usuário pode ser convertido em um conjunto de listas de modo que a resposta certa seja (i, j, 1) e a resposta errada seja (i, j, 0) quando o usuário i resolve o problema j.

[0051] Então, o sistema de análise de dados pode carregar aleatoriamente os dados da lista de resultados de resolução de problemas, um por um. Mais especificamente, o sistema de análise de dados pode calcular um valor temporário tmp da probabilidade P(i, j) de que um usuário específico i acerte um problema específico j aplicando a compreensão conceitual Li do usuário i e o construto conceitual Rj do problema j naquele momento.

[0052] Isso é para atualizar L e R usando a diferença entre a probabilidade P(i, j) calculada aplicando a compreensão conceitual Li do usuário i e o construto conceitual Rj do problema j naquele momento, ou seja, a probabilidade de que um usuário específico i acerte um problema específico j e val (1 se certo e 0 se errado) que é o valor de resultado obtido resolvendo de fato o problema j pelo usuário i.

[0053] Se os dados selecionados forem (i, j, val), o sistema de análise de dados pode calcular o seguinte valor temporário tmp da probabilidade P(i, j) de que o usuário i acerte o problema j usando Li (a compreensão conceitual do usuário i) e Rj (o construto conceitual do problema j) naquele momento: .

[0054] Por exemplo, se os dados selecionados forem (1, 1, 0), isso significa que o primeiro usuário resolveu o problema e errou. No entanto, se o resultado calculado usando L1 e R1 naquele momento for que a probabilidade de que o primeiro problema esteja certo quando o primeiro usuário o resolver seja de 86%, a saber, P = 0,86, é necessário atualizar L1 e R1 refletindo os dados (1, 1, 0) dos mesmos.

[0055] Para esse fim, o sistema de análise de dados de acordo com a modalidade da presente invenção pode calcular um gradiente aproximado grad para os dados selecionados (i, j, val) usando a diferença entre o valor temporário tmp da probabilidade de que o usuário i acerte o problema j e val, que são dados obtidos resolvendo de fato o problema j pelo usuário i. Isso pode ser calculado usando a Equação 2 abaixo. [Equação 2]

[0056] Adicionalmente, é possível atualizar a compreensão conceitual Li do usuário i e o construto conceitual Rj do problema j de acordo com a seguinte Equação 3, refletindo o número de problemas resolvidos pelo usuário ui e o número de problemas resolvidos vj em conjunto com grad. [Equação 3]

[0057] Nesse caso, "mu" é um parâmetro que determina o desempenho da Equação e pode ser selecionado pelo experimento de acordo com o estado da técnica e a "etapa" pode ser selecionada pelo experimento de acordo com o estado da técnica como um parâmetro para a velocidade em que a Equação recebe novos dados.

[0058] De acordo com a modalidade da presente invenção, quando esse processo é repetido para todos os dados e todos os tipos de dados são refletidos, L e R podem ser estimados com confiança misturando aleatoriamente a lista de novo e repetindo suficientemente o processo.

[0059] No entanto, em uma estrutura de análise de dados de acordo com a modalidade da presente invenção, a razão pela qual usuários e problemas são representados como um vetor de modelagem é para prever com precisão se um usuário específico acertará ou errará um problema específico.

[0060] A taxa de resposta certa do usuário para um problema pode ser estimada coletando e analisando o resultado de resposta certa/errada do usuário conforme descrito acima, mas também pode ser estimada usando uma probabilidade de seleção de exemplo.

[0061] Por exemplo, se a probabilidade de seleção de exemplo de um primeiro usuário para um problema específico for (0,1, 0,2, 0, 0,7),

pode ser previsto que o usuário selecionará um exemplo 4 com uma alta probabilidade e se a resposta certa para o problema for o exemplo 4, a probabilidade de que o primeiro usuário acerte o problema pode ser prevista como sendo alta.

[0062] Enquanto isso, a dificuldade do problema pode ser estimada coletando e analisando os resultados de respostas certas/erradas de todos os usuários, mas também pode ser estimada usando uma probabilidade de seleção de exemplo.

[0063] Por exemplo, se a probabilidade de seleção de exemplo de usuários para um problema específico de quatro opções for (0,5, 0,1, 0,3, 0,6), a probabilidade de que os usuários selecionem um exemplo 1 no segundo problema é semelhante à probabilidade de que os usuários selecionem um exemplo 4 no segundo problema. Portanto, o segundo problema pode ser classificado como tendo uma alta dificuldade.

[0064] Para esse fim, o servidor de análise de dados pode coletar todos os problemas e resolver dados de resultados para todos os usuários, incluindo os elementos de exemplo selecionados pelos usuários.

[0065] Mais especificamente, o servidor de análise de dados pode coletar relatórios de resultados de resolução coletando resultados de seleção de exemplo para saber se um usuário seleciona um determinado exemplo em um problema relevante entre todos os problemas incluídos no banco de dados de problemas e pode adicionalmente coletar o resultado de resposta certa/errada do problema. Nesse caso, o servidor de análise de dados pode listar usuários, problemas e exemplos selecionados a partir de problemas relevantes por usuários relevantes.

[0066] Então, o servidor de análise de dados pode estender um problema para unidades de exemplo para desempenhar o processamento de análise de dados.

[0067] Por exemplo, se o problema i for um problema de quatro opções, o problema i pode se estender a quatro variáveis de (i, 1) (i, 2) (i, 3)

(i, 4) e um valor pode ser atribuído se cada usuário selecionar cada exemplo de problema.

[0068] Por exemplo, E(i, j) se refere a um exemplo j de um problema i, e Y'(u, E) se refere a se um usuário u seleciona o exemplo j do problema i, nesse caso, de acordo com a modalidade da presente invenção, um valor de 1 se selecionado e um valor de 0 se não selecionado podem ser atribuídos.

[0069] Adicionalmente, o servidor de análise de dados pode construir um espaço multidimensional usando usuários e exemplos de problemas como variáveis e atribuir um valor ao espaço multidimensional com base em se os usuários selecionam os exemplos de problemas, dessa forma calculando um vetor para cada usuário e exemplo de problema.

[0070] Então, o servidor de análise de dados pode estimar uma probabilidade de que qualquer usuário selecione qualquer exemplo de problema, isto é, uma seletividade, usando o vetor de usuário e o vetor de exemplo de problema.

[0071] Nesse caso, a seletividade pode ser estimada aplicando vários algoritmos ao vetor de usuário e ao vetor de exemplo de problema e o algoritmo para calcular a seletividade não está limitado na interpretação da presente invenção.

[0072] Por exemplo, de acordo com a modalidade da presente invenção, a seletividade de exemplo de problema do usuário pode ser estimada aplicando uma função sigmoide tal como a Equação 4 abaixo (x é um vetor de exemplo de problema e Ɵ é um vetor de usuário). [Equação 4]

[0073] Adicionalmente, o servidor de análise de dados de acordo com a modalidade da presente invenção pode estimar uma taxa de resposta certa para um problema usando a seletividade de exemplo de um usuário.

[0074] No entanto, por exemplo, se a probabilidade de seleção de exemplo do usuário específico para um problema específico de quatro opções for (0,5, 0,1, 0,3, 0,6) e o exemplo certo for 1, importa qual é a probabilidade de que o usuário acerte o problema. Ou seja, é possível considerar um método de estimar a taxa de resposta certa para o problema usando uma pluralidade de seletividades de exemplo para o problema.

[0075] De acordo com a modalidade da presente invenção, a fim de simplesmente restaurar a seletividade de exemplo para a taxa de resposta certa para um problema, um método de comparação de uma seletividade de exemplo certo para uma seletividade de exemplo inteiro pode ser considerado.

[0076] Nesse caso, no exemplo anterior, a taxa de resposta certa do usuário para o problema será calculada como 0,5/(0,5 + 0,1 + 0,3 + 0,6). No entanto, quando um usuário resolve um problema, o usuário não compreende o problema dividindo-o em unidades de exemplo, mas o compreende como uma unidade de problema, incluindo a configuração do exemplo inteiro e a intenção do problema. Portanto, a seletividade de exemplo e a taxa de resposta certa podem não estar simplesmente conectadas uma à outra.

[0077] Por conseguinte, de acordo com a modalidade da presente invenção, é possível estimar a taxa de resposta certa para o problema a partir da seletividade de exemplo calculando a média de toda a seletividade de exemplo do problema e aplicando a seletividade média de exemplo certo à seletividade de todo o exemplo.

[0078] No exemplo anterior, se a probabilidade de seleção de exemplo for (0,5, 0,1, 0,3, 0,6), a média de todo o exemplo pode fazer com que cada seletividade de exemplo seja alterada para (0,33, 0,07, 0,20, 0,41) na escala. Se o exemplo certo for 1, a seletividade média de exemplo 1 é 0,33, de modo que a taxa de resposta certa do usuário para o problema pode ser estimada em 33%.

[0079] Adicionalmente, o servidor de serviço de acordo com a modalidade da presente invenção pode estimar a taxa de resposta certa para o problema usando a probabilidade de seleção de exemplo de problema do usuário, dessa forma estimando a compreensão do usuário de um conceito específico.

[0080] Adicionalmente, o servidor de análise de dados pode calcular a eficiência de aprendizagem de um usuário relevante em um problema específico com base no modelo de problema e no modelo de usuário (etapa 140).

[0081] Conforme descrito acima, o servidor de análise de dados de acordo com a modalidade da presente invenção pode calcular uma probabilidade de que cada usuário selecione uma unidade de exemplo de um problema e uma probabilidade de que o usuário acerte uma unidade de problema usando o modelo da unidade de exemplo do problema e o modelo de usuário.

[0082] De acordo com a primeira modalidade da presente invenção, pode-se supor que um problema com uma baixa probabilidade de resposta certa é alto em eficiência de aprendizagem. De acordo com isso, o servidor de serviço determinará que um usuário já entende um problema com alta probabilidade de resposta certa para excluir um problema a ser acertado pelo usuário e para selecionar e recomendar apenas problemas a serem errados pelo usuário.

[0083] Mais especificamente, o servidor de serviço pode excluir um problema que um usuário já resolveu no conjunto de banco de dados de problemas e pode classificar os problemas restantes na ordem de uma taxa baixa de resposta certa para um usuário específico para listar problemas recomendados e fornecê-los para o usuário (etapa 150).

[0084] Por exemplo, se o valor da primeira linha da taxa de acerto de problemas do usuário P for [0,3, 0,4, 0,1, 0,9, 0,7], a probabilidade de que o usuário 1 acerte os problemas 1, 2, 3, 4 e 5 será interpretada como sendo 30%, 40%, 10%, 90% e 70%, respectivamente. O servidor de serviço pode fornecer ao usuário uma lista de recomendação de problemas priorizada na ordem de problemas 3, 1, 2, 5 e 4. Nesse caso, se o usuário 1 já resolveu o problema 5, o servidor de serviço pode preparar uma lista de recomendação de problemas, exceto pelo problema 5.

[0085] De acordo com a modalidade acima, o servidor de serviço pode classificar os problemas incluídos no banco de dados de problemas na ordem de probabilidade certa de usuário baixa e recomendá- los ao usuário. O usuário aprenderá primeiro o problema que com certeza errará.

[0086] Enquanto isso, o servidor de análise de dados pode recomendar conteúdo personalizado para o usuário usando pelo menos um dentre um vetor de usuário, um vetor de exemplo de problema, uma seletividade de exemplo, uma taxa de resposta certa para um problema, uma compreensão conceitual de usuário e um construto conceitual de um problema (etapa 150).

[0087] Por exemplo, o servidor de serviço pode recomendar um curso avançado sobre um conceito específico para um usuário tendo uma baixa compreensão do conceito. Como outro exemplo, o servidor de serviço pode recomendar um problema configurado para incluir uma pluralidade de conceitos para um usuário tendo uma baixa taxa de resposta certa para o problema, incluindo toda a pluralidade de conceitos.

[0088] Enquanto isso, de acordo com uma segunda modalidade da presente invenção, pode ser suposto que, quando um usuário acerta um determinado problema, um problema com uma alta taxa de alteração da probabilidade de que o usuário acerte todos os problemas é alto em eficiência de aprendizagem. De acordo com isso, ao usuário será recomendado um problema permitindo resolver melhor todo o banco de dados de problemas e primeiro aprenderá um problema que pode aumentar a probabilidade de resposta certa para todo o problema.

[0089] O processo de cálculo da eficiência de aprendizagem específica do problema do usuário de acordo com a segunda modalidade será descrito mais tarde com referência à FIG. 2. A FIG. 2 é um fluxograma ilustrando o processo de cálculo da eficiência de aprendizagem específica de problema de usuário de acordo com a modalidade da presente invenção.

[0090] Quando os dados de resultados de resolução de um usuário são coletados em adição, os dados coletados serão refletidos para atualizar uma probabilidade de que o usuário acerte cada problema em qualquer ponto no tempo e uma probabilidade de seleção de cada exemplo de qualquer problema. Em vista desse ponto, supondo que o usuário selecione um exemplo certo de qualquer problema incluído no banco de dados de problemas para um problema específico, a probabilidade de que o usuário acerte outros problemas será ligeiramente alterada (etapas 210 a 230).

[0091] Então, o servidor de serviço pode supor que o usuário seleciona um exemplo certo de cada um dos problemas incluídos em todo o banco de dados de problemas, calcula um valor aumentado da probabilidade de resposta certa para cada um dos outros problemas e calcula o total dos valores de alteração da probabilidade certa ou a média dos valores de alteração da probabilidade certa como eficiência de aprendizagem no problema (etapa 240).

[0092] Mais especificamente, o servidor de análise de dados de acordo com a modalidade da presente invenção pode ser aplicado, para a probabilidade de que um usuário específico selecione um determinado exemplo de qualquer problema, a média dos valores de alteração da taxa de resposta certa para outro problema quando o usuário seleciona o exemplo para calcular a eficiência de aprendizagem no problema.

[0093] Por exemplo, pode ser considerado que as seletividades do usuário A do primeiro, segundo, terceiro e quarto exemplos de problema específico a são a1, a2, a3 e a4, respectivamente.

[0094] Nesse caso, supondo que o usuário A selecione o primeiro exemplo desse problema, o modelo do usuário A e o modelo de todos os problemas serão alterados um pouco com a aplicação de um primeiro evento de seleção de exemplo de um usuário A e a taxa de resposta certa para cada problema será alterada ligeiramente dependendo do modelo alterado.

[0095] Por conseguinte, o servidor de análise de dados pode aplicar um evento virtual à primeira seleção de exemplo do usuário A para calcular uma média dos valores de alteração da taxa de resposta certa para todos os problemas AVC_a1.

[0096] Da mesma forma, o servidor de análise de dados pode calcular AVC_a2 supondo que o usuário A selecione um segundo exemplo, calcular AVC_a3 supondo que o usuário A selecione um terceiro exemplo e calcular AVC_a4 supondo que o usuário A selecione um quarto exemplo.

[0097] Então, o servidor de análise de dados pode calcular a eficiência de aprendizagem de um usuário A no problema a E (A, a) por meio da seguinte Equação. [Equação 5]

[0098] Adicionalmente, o servidor de análise de dados pode calcular E(A) para todo o problema e usar E(A) como eficiência de aprendizagem do problema.

[0099] Então, o servidor de serviço pode classificar todos os problemas na ordem de eficiência de aprendizagem. Ou seja, quando o usuário aprende e acerta o problema, a probabilidade de resposta certa para todos os outros problemas é alterada, nesse caso, se o valor de alteração da probabilidade certa for alto, o usuário pode resolver melhor todo o banco de dados de problemas para determinar que a eficiência de aprendizagem é alta, dessa forma recomendando ao usuário (etapa 250).

[00100] Enquanto isso, de acordo com uma terceira modalidade da presente invenção, pode ser suposto que um problema que pode aumentar a pontuação real de teste de um usuário será alto em eficiência de aprendizagem. De acordo com isso, estimando uma pontuação de teste real de um problema que é externa ao banco de dados de problemas do mesmo assunto para cada usuário, e um problema que pode aumentar a pontuação de teste real será recomendado. De acordo com isso, o usuário primeiro aprenderá o problema que pode aumentar a pontuação de teste real.

[00101] O processo de cálculo da eficiência de aprendizagem específica do problema de usuário de acordo com a terceira modalidade será descrito mais tarde com referência à FIG. 3. A FIG. 3 é um fluxograma ilustrando o processo de cálculo da eficiência de aprendizagem específica do problema que pode aumentar a pontuação de teste real de acordo com a terceira modalidade da presente invenção.

[00102] De acordo com a modalidade acima, o processo para estimar a pontuação de teste real usando o modelo de problema e o modelo de usuário é necessariamente requerido. Como se estima a pontuação de teste real no problema que é externo ao banco de dados de problemas?

[00103] Convencionalmente, a pontuação esperada do sujeito em um teste específico era geralmente estimada com base no conhecimento do especialista. Por exemplo, no caso do teste de capacidade escolástica da faculdade, o teste simulado é configurado similarmente ao teste de capacidade escolástica da faculdade real de acordo com o conhecimento do especialista e a pontuação de teste de capacidade escolástica da faculdade é prevista com base no resultado de realização do teste simulado pelos alunos.

[00104] No entanto, uma vez que esse método frequentemente depende de experiências subjetivas e intuições de especialistas, o caso em que é muito diferente do resultado do teste real não é incomum. Uma vez que os especialistas elaboram o teste simulado com base em sua própria experiência e intuição, o teste simulado pode não prever com precisão as habilidades dos alunos nem prever com precisão as pontuações do teste real.

[00105] Adicionalmente, a prática de realização do teste simulado pelos examinandos não é um estudo eficiente. Uma vez que o teste simulado é configurado com base na semelhança entre o teste real e o tipo de problema, o teste simulado é irrelevante para as habilidades dos examinandos. Ou seja, o teste simulado visa a estimar as pontuações do teste para identificar a própria posição do examinando entre todos os alunos e não é um teste elaborado para a aprendizagem do examinando. Ademais, o teste simulado tampouco será uma boa maneira de melhorar a eficiência de aprendizagem.

[00106] De acordo com a modalidade da presente invenção para resolver esse problema, usando dados de pontuação de teste real de um grupo de usuários no qual os dados de pontuação de teste real existem, problemas que são externos ao banco de dados de problemas podem ser recomendados, estimam a pontuação de teste real e são requeridos para aumentar o valor da estimativa de pontuação de teste real.

[00107] Mais especificamente, de acordo com a modalidade da presente invenção, usando os dados de pontuação de teste real do grupo de usuários (etapa 320), uma função de modelagem que representa a relação entre a média das probabilidades de resposta certa para todos os problemas incluídos no banco de dados de problemas do grupo de usuários e a pontuação de teste real pode ser calculada para cada usuário. Ou seja, é possível calcular uma função de modelagem para converter a média das probabilidades de resposta certa para todos os problemas na pontuação real usando os dados de pontuação de teste real (um método mais específico de cálculo da função de modelagem será descrito mais tarde).

[00108] Quando a função de modelagem é calculada, a média das probabilidades de resposta certa para todas as questões incluídas no banco de dados de problemas de um usuário que não pertence ao grupo de usuários, ou seja, de um usuário que não tenha dados de pontuação de teste real, pode ser convertida em uma pontuação de teste real (etapa 330).

[00109] Mais especificamente, para outros usuários sem dados de pontuação de teste externo, quando um modelo de usuário é calculado com confiabilidade suficiente na etapa 310, o modelo de usuário pode ser usado para prever as probabilidades de resposta certa para os problemas incluídos no banco de dados de problemas. Além disso, aplicando a probabilidade certa prevista à função de modelagem, pode converter a probabilidade certa em uma pontuação de teste externo.

[00110] Então, supondo que qualquer usuário selecione qualquer exemplo de qualquer problema (etapa 340), o modelo de usuário e o modelo de problema serão ligeiramente alterados com a aplicação de um evento de seleção de exemplo do usuário, a taxa de resposta certa para cada problema será alterada ligeiramente dependendo do modelo alterado e o valor previsto da pontuação de teste real convertida aplicando a função de modelagem também será alterado (etapa 350).

[00111] Ou seja, o servidor de serviço pode supor que um usuário relevante seleciona um exemplo de cada um dos problemas incluídos em todo o banco de dados de problemas, calcula os valores de alteração da previsão de pontuação de teste real e calcula o total dos valores de alteração da previsão de pontuação de teste real ou a média dos valores de alteração como eficiência de aprendizagem no problema relevante.

[00112] Enquanto isso, de acordo com outra modalidade da presente invenção, usando dados de pontuação de teste real de um grupo de usuários, ou seja, o grupo de usuários em que os dados de pontuação de teste real existem (etapa 320), um conjunto de problemas de teste simulado pode ser configurado a partir do banco de dados de problemas de modo que a pontuação estimada do grupo de usuários seja semelhante aos dados de pontuação de teste real (um método mais específico de construir o conjunto de problemas de teste simulado será descrito mais tarde).

[00113] O conjunto de problemas de teste simulado é caracterizado na medida que é configurado com base na pontuação estimada ser semelhante à pontuação de teste real, ao contrário do teste simulado convencional configurado pelo especialista com o mesmo tipo de problema do teste real.

[00114] Quando o conjunto de problemas de teste simulado é configurado, a pontuação estimada para o conjunto de problemas de teste simulado pode ser calculada usando um modelo de usuário de um usuário que não pertença ao grupo de usuários (etapa 330). Uma vez que o conjunto de problemas de teste simulado é configurado de modo que a pontuação estimada seja semelhante à pontuação de teste real, a pontuação estimada para o conjunto de problemas de teste simulado de usuários que não têm os dados de pontuação de teste real pode ser substituída pelo valor previsto da pontuação de teste real.

[00115] Então, supondo que qualquer usuário selecione qualquer exemplo de qualquer problema (etapa 340), o modelo de usuário e o modelo de problema serão ligeiramente alterados com a aplicação de um evento de seleção de exemplo do usuário, a taxa de resposta certa para cada problema será alterada ligeiramente dependendo do modelo alterado e a pontuação estimada para o conjunto de problemas de teste simulado também será alterada (etapa 350).

[00116] Ou seja, o servidor de serviço pode supor que um usuário relevante seleciona um exemplo de cada um dos problemas incluídos em todo o banco de dados de problemas, calcula valores de alteração de previsão de pontuação de teste real (isto é, pontuação estimada para o conjunto de problemas de teste simulado) e calcula o total dos valores de alteração da previsão de pontuação de teste real ou a média dos valores de alteração como eficiência de aprendizagem no problema relevante.

[00117] Então, o servidor de serviço pode classificar o banco de dados de problemas na ordem de uma alta taxa de aumento no valor de predição de pontuação de teste real e recomendá-lo ao usuário (etapa 360).

[00118] Enquanto isso, o processo de cálculo da função de modelagem que representa a relação entre a probabilidade de resposta certa para cada um dos problemas incluídos no banco de dados de problemas e a pontuação de teste externo é a seguinte.

[00119] Conforme descrito acima, o servidor de análise de dados pode verificar um grupo de usuários, no qual existem dados de pontuação de teste externo entre todos os usuários. Isso é para configurar um conjunto de problemas com alta eficiência de previsão de pontuação de teste externo, usando a relação entre os dados de pontuação de teste externo do grupo de usuários e a probabilidade certa obtida a partir de cada modelo de usuário e do modelo de exemplo de problema.

[00120] Adicionalmente, o servidor de análise de dados de acordo com a modalidade da presente invenção pode dividir uma porção do grupo de usuários em grupos de teste para verificar o desempenho do conjunto de problemas, ou seja, para verificar se o conjunto de problemas tem alta eficiência preditiva da pontuação de teste externo ou para verificar o desempenho da função de modelagem que converte a pontuação do conjunto de problemas em uma pontuação de teste externo.

[00121] Por exemplo, se os usuários com dados de teste externo entre todos os usuários pertencentes ao banco de dados são {A, B, C, D, E, F, G, H}, o servidor de análise de dados pode classificar {A, B, C, D, E} em um conjunto de treinamento e classificar {F, G, H} em um conjunto de teste.

[00122] Mais especificamente, o servidor de análise de dados pode dividir o grupo de usuários com dados de pontuação de teste externo em quaisquer dois grupos, dos quais um é agrupado em um conjunto de treinamento que fornece a estrutura de análise de dados com dados para configurar o conjunto de problemas e a função de modelagem de transformação de pontuação de teste e o outro é agrupado em um conjunto de testes que fornece dados para verificar o desempenho do conjunto de problemas e função de modelagem.

[00123] Em outras palavras, entre o grupo de usuários no qual os dados de pontuação de teste externo existem, os dados dos usuários pertencentes ao conjunto de treinamento podem ser usados para configurar o conjunto de problemas e a função de modelagem de transformação de pontuação de teste, e os dados dos usuários pertencentes ao conjunto de testes pode ser usado para verificar o desempenho do conjunto de problemas e da função de modelagem.

[00124] Então, o servidor de análise de dados pode configurar um conjunto de problemas com alta eficiência de predição de pontuação de teste externo a partir do banco de dados de problemas usando os dados de pontuação de teste externo do grupo de usuários e o vetor de modelagem de usuário.

[00125] Particularmente, o conjunto de problemas definido de acordo com a modalidade da presente invenção é caracterizado na medida que não é configurado com base na semelhança com o teste externo como o teste simulado convencional, mas é configurado com base em a eficiência preditiva da pontuação de teste externo ser alta de modo que o número de problemas e/ou tipos de problemas não precisem ser submetidos ao teste externo.

[00126] Mais especificamente, para cada problema incluído no banco de dados do problema, o servidor de análise de dados pode representar a relação entre a probabilidade certa calculada usando o vetor de modelagem do grupo de usuários com dados de pontuação de teste externo e os dados de pontuação externa do grupo de usuários em um plano multidimensional.

[00127] Por exemplo, se os problemas incluídos no banco de dados de problemas são 100, o servidor de análise de dados pode gerar um plano multidimensional gerando 100 eixos x como o número de problemas e configurando o eixo y como uma pontuação de teste externo.

[00128] Por exemplo, se cinco usuários pertencentes ao conjunto de treinamento, entre os usuários com dados de pontuação de teste externo, são A, B, C, D e E, o servidor de análise de dados pode calcular uma probabilidade de resposta certa para o primeiro problema usando o vetor de modelagem calculado com antecedência para o usuário A, defini-lo para o valor x de um primeiro eixo x x1, e definir a pontuação de teste externo do usuário A para um valor y para determinar as coordenadas do primeiro plano do usuário A.

[00129] O servidor de análise de dados pode determinar as coordenadas do primeiro plano do usuário B para o usuário E da mesma maneira para representar a relação com a pontuação de teste externo do primeiro problema x1 no plano x1 do espaço multidimensional.

[00130] Adicionalmente, o servidor de análise de dados pode formar planos para os problemas dois a 100 da mesma maneira e determinar as coordenadas (x, y) dos usuários A a E para cada plano de problema para representar a relação com as pontuações de teste externo dos problemas dois a 100 no espaço multidimensional.

[00131] Nesse caso, a probabilidade certa estimada e os resultados de teste externo para os problemas individuais do grupo de usuários serão substancialmente representados no plano bidimensional e o servidor de análise de dados de acordo com a modalidade da presente invenção pode alterá-los para uma função de modelagem que represente matematicamente a relação entre os valores representados no plano bidimensional.

[00132] Por exemplo, o servidor de análise de dados de acordo com a modalidade da presente invenção pode calcular uma função de modelagem f1(x1) que representa matematicamente a relação entre as pontuações do teste externo dos usuários A, B, C, D e E pertencentes ao conjunto de treinamento e uma probabilidade de resposta certa para um primeiro problema calculado usando vetores de modelagem de usuário dos usuários A, B, C, D e E.

[00133] Adicionalmente, as funções de modelagem f1(x2) a f1(x100) podem ser obtidas processando dados para os problemas dois a 100 da mesma maneira. Nesse caso, f1(x1) a f1(x100) devem ser determinadas de acordo com os mesmos critérios.

[00134] Ou seja, a forma da função de modelagem calculada para configurar o conjunto de problemas é apropriadamente determinada para ser a mesma forma para todo o problema pertencente ao banco de dados. Por exemplo, se a função de modelagem f1(x1) do primeiro problema é representada como uma função unidimensional na forma de ax + b, será apropriado que as funções de modelagem f1(x2) a f1(x100) dos problemas dois a 100 também sejam representadas na forma de uma função unidimensional.

[00135] Isso é porque o conjunto de problemas é composto por problemas que são altamente eficientes na previsão de pontuação de teste externo entre problemas pertencentes ao banco de dados do problema e, portanto, os critérios de comparação devem ser idênticos.

[00136] Adicionalmente, a função de modelagem de acordo com a modalidade da presente invenção não é limitada na forma se o mesmo critério for aplicado a todo o problema. Ou seja, a função de modelagem é suficiente se for estabelecida de uma forma otimizada para representar os dados do conjunto de treinamento e pode ser calculada de acordo com vários algoritmos aplicados na técnica relacionada.

[00137] Se a função de modelagem para cada problema for determinada como sendo a mesma para todo o problema, o servidor de análise de dados de acordo com a modalidade da presente invenção pode configurar um conjunto de problemas com alta eficiência de previsão de pontuação de teste externo usando a função de modelagem do problema relevante e o desvio da pontuação de teste externo do usuário pertencente ao conjunto de testes.

[00138] Por exemplo, o servidor de análise de dados pode calcular a média do valor obtido aplicando a probabilidade de resposta certa ao primeiro problema x1 calculado usando os vetores de modelagem de usuário dos usuários F, G e H pertencentes ao conjunto de testes para a função de modelagem f(x1) do primeiro problema e o valor de diferença entre as pontuações do teste externo dos usuários F, G e H e pode determinar que a eficiência de predição da pontuação de teste externo é alta se o valor médio e for pequeno.

[00139] A equação para obter o valor médio e é a seguinte e e pode se referir a uma eficiência de estimativa de pontuação de teste externo do conjunto de problemas. Mais especificamente, quanto menor o valor de e, mais alta a eficiência de estimativa de pontuação de teste externo do conjunto de problemas pode ser interpretada. [Equação 6]

[00140] Então, o servidor de análise de dados pode calcular e2 a e100 de acordo com os mesmos critérios e pode determinar que o problema tendo o menor e tem a mais alta eficiência de previsão de pontuação de teste externo.

[00141] Por exemplo, se e4 para o quarto problema for menor que e1, e2, e3, e5 a e100, pode ser determinado que o quarto problema tem a mais alta eficiência de previsão de pontuação de teste externo. Portanto, o servidor de análise de dados pode incluir inicialmente o quarto problema no conjunto de problemas.

[00142] Então, o servidor de análise de dados pode extrair um problema com alta eficiência de previsão do teste externo entre o primeiro, segundo, terceiro e quinto até o 100º problema, com a premissa de que é analisado em conjunto com o quarto problema.

[00143] Para esse fim, o servidor de análise de dados de acordo com a modalidade da presente invenção pode fixar um plano para o quarto problema e formar planos para os primeiro, segundo, terceiro e quinto ao 100º problemas restantes para calcular de novo as funções de modelagem f(x4 , x1), f(x4, x2), f(x4, x3), f(x4, x5) a f(x4, x100) que representam matematicamente a relação entre as pontuações dos testes externos dos usuários A, B, C, D, e E pertencentes ao conjunto de treinamento e uma probabilidade de resposta certa para os primeiro, segundo, terceiro e quinto até o 100º problemas, calculada usando os vetores de modelagem de usuário A, B, C, D e E (segunda função de modelagem).

[00144] O valor da segunda função de modelagem pode ser interpretado como um valor de estimativa de pontuação de teste externo para o quarto problema e o problema relevante.

[00145] Nesse caso, as funções de modelagem bidimensional acima f(x4, x1), f(x4, x2), f(x4, x3), f(x4, x5) a f(x4, x100) devem ser determinadas de acordo com os mesmos critérios que os da configuração da função de modelagem com apenas o quarto problema.

[00146] Ou seja, por exemplo, a função de modelagem f(x4, x1) do primeiro problema fornecida com o quarto problema está na forma de cx4 + dx1 + e e deve ser representado como uma função bidimensional que aumenta apenas a dimensão adicionando uma variável de x1 enquanto segue o padrão do modelo linear como na forma de ax4 + b de f(x4) existente. As funções de modelagem f2(x4, x2), f2 (x4, x3), f2(x4, x5) a f2(x4, x100) para os segundo, terceiro, quinto ao 100º problemas fornecidos com o quarto problema também são do mesmo modelo linear como a f(x4) existente e serão representadas apropriadamente na forma de uma função bidimensional à qual cada problema x é adicionado como uma variável.

[00147] Na premissa de que o quarto problema está incluído no conjunto de problemas, se a função de modelagem bidimensional para o problema restante for determinada, o servidor de análise de dados de acordo com a modalidade da presente invenção pode configurar um conjunto de problemas com alta eficiência de previsão de pontuação de teste externo usando as funções bidimensionais dos problemas relevantes e o desvio da pontuação de teste externo do usuário pertencente ao conjunto de teste.

[00148] Por exemplo, o servidor de análise de dados pode calcular a média dos valores obtidos aplicando as probabilidades de resposta certa ao primeiro problema x1 e ao quarto problema x4 calculado usando os vetores de modelagem de usuário dos usuários F, G e H pertencentes ao conjunto de testes para a função de modelagem bidimensional f(x4, x1) (isso será interpretado como os valores de estimativa de pontuação de teste externo dos quarto e primeiro problemas) e o valor da diferença entre as pontuações de teste externo dos usuários F, G e H e pode determinar que a eficiência de predição de pontuação de teste externo é alta se o valor médio for pequeno. Isso é representado pela Equação abaixo. [Equação 7]

[00149] Então, o servidor de análise de dados pode calcular e4,2 a e4,100 de acordo com os mesmos critérios e pode determinar que o problema tendo o menor e tem a mais alta eficiência de predição de pontuação de teste externo.

[00150] Por exemplo, se e4,1 para o primeiro problema for menor do que e4,2, e4,3, e4,5 a e4,100, pode ser determinado que o primeiro problema tem a mais alta eficiência de previsão de pontuação de teste externo, uma vez que é fornecido com o quarto problema. Portanto, o servidor de análise de dados pode incluir o primeiro problema no conjunto de problemas.

[00151] Então, o servidor de análise de dados pode extrair um problema com alta eficiência de previsão de teste externo dentre o segundo, terceiro e quinto até o 100º problema, com a premissa de que é analisado em conjunto com o primeiro e o quarto problemas, de acordo com a mesma lógica do método acima mencionado.

[00152] Por outro lado, quando o conjunto de problemas é composto de problemas tendo um e mínimo pelo método acima, o ponto de conclusão da configuração do conjunto de problemas pode ser problemático. Quanto maior for o número de problemas incluídos no conjunto de problemas, mais alta a precisão da estimativa. No entanto, o uso de recursos requeridos para calcular a função de modelagem para cada problema e calcular a prioridade pode ser aumentado para configurar o conjunto de problemas. Portanto, é eficiente configurar um conjunto de problemas com o número de problemas otimizados para estimativa de pontuação de teste externo.

[00153] De acordo com a modalidade da presente invenção, é possível calcular a média do valor obtido aplicando a probabilidade de resposta certa a um conjunto de problemas calculado usando os vetores de modelagem dos usuários pertencentes ao conjunto de testes para a função de modelagem do conjunto de problemas e o valor da diferença entre as pontuações do teste externo dos usuários pertencentes ao conjunto de testes, isto é, e e para determinar se deve ou não terminar a configuração do conjunto de problemas de acordo com a tendência de alteração de e de acordo com a atualização do conjunto de problemas.

[00154] O servidor de análise de dados de acordo com a modalidade da presente invenção pode determinar se deve ou não terminar a atualização do conjunto de problemas verificando a tendência de atualização de e do conjunto de problemas. Mais especificamente, pode haver duas considerações principais ao terminar a atualização do conjunto de problemas.

[00155] A primeira é quando o conjunto de problemas naquele momento é suficiente para estimar as pontuações dos testes externos dos usuários no grupo de teste. Ou seja, a estimativa de pontuação de teste externo pode ser suficientemente desempenhada com apenas um conjunto de problemas específico. Isso pode ser determinado verificando se e do conjunto de problemas naquele momento é menor ou igual a um limite.

[00156] O segundo é quando a eficiência da estimativa de pontuação de teste externo não aumenta mais, mesmo que outro problema seja adicionado ao conjunto de problemas. Ou seja, não há efeito em adicionar um problema e é esperado que não haja nenhuma alteração na eficiência da estimativa de pontuação de teste externo, mesmo que um problema seja adicionado. Isso pode ser determinado verificando se a eficiência da estimativa do conjunto de problemas de atualização, isto é, e, permanece inalterada e permanece dentro de qualquer faixa, apesar da atualização do conjunto de problemas.

[00157] Em suma, o servidor de análise de dados de acordo com a modalidade da presente invenção pode configurar o conjunto de problemas verificando a eficiência de estimativa de pontuação de teste externo do conjunto de problemas, ou seja, a tendência de alteração de e, ao desempenhar a atualização do conjunto de problemas e terminar a atualização do conjunto de problemas quando a eficiência de estimativa do conjunto de problemas em um ponto específico no tempo cai abaixo de um limite predefinido ou quando a eficiência de estimativa é mantida dentro de qualquer faixa.

[00158] Enquanto isso, a função de modelagem de acordo com a modalidade da presente invenção pode ser determinada de acordo com vários algoritmos na premissa de que é a mesma forma para os problemas incluídos no conjunto de problemas. No entanto, para resolver um problema técnico, pode ser necessário selecionar a função mais eficiente para estimar a pontuação de teste externo dentre uma pluralidade de funções de modelagem geradas aplicando vários algoritmos.

[00159] De acordo com a modalidade da presente invenção, a eficiência da função de modelagem pode ser calculada usando e, isto é, a eficiência de predição de pontuação de teste externo do conjunto de problemas.

[00160] Por exemplo, uma primeira função de modelagem f1 pode ser extraída de acordo com um primeiro critério usando os dados do usuário pertencentes ao conjunto de treinamento {A, B, C, D, E} e um conjunto de problemas {terceiro problema x3, quarto problema x4, quinto problema x5} configurado aplicando a primeira função de modelagem pode ser considerado.

[00161] Adicionalmente, uma segunda função de modelagem f2 pode ser extraída de acordo com um segundo critério usando os dados pertencentes ao mesmo conjunto de treinamento {A, B, C, D, E} e um conjunto de problemas {primeiro problema x1, terceiro problema x3, quinto problema x5} configurado aplicando a segunda função de modelagem pode ser considerado.

[00162] No exemplo acima, o servidor de análise de dados de acordo com a modalidade da presente invenção pode calcular e, isto é, a eficiência da eficiência de predição de pontuação de teste externo de cada conjunto de problemas e cada função de modelagem usando os dados do conjunto de testes {F, G, H} e selecionar uma função de modelagem com um valor menor de e.

[00163] Mais especificamente, o servidor de análise de dados pode primeiro calcular a média do valor obtido aplicando a probabilidade de resposta certa ao primeiro conjunto de problemas {terceiro problema x3, quarto problema x4, quinto problema x5} para a primeira função de modelagem f1 usando os vetores de modelagem de usuário dos usuários F, G e H pertencentes ao conjunto de testes e o valor da diferença entre as pontuações dos testes externos dos usuários F, G e H, ou seja, e1 para a primeira função de modelagem.

[00164] Então, o servidor de análise de dados pode calcular a média do valor obtido aplicando a probabilidade de resposta certa ao segundo problema {primeiro problema x1, terceiro problema x3, quinto problema x5} para a segunda função de modelagem f2 usando os vetores de modelagem de usuário dos usuários F, G e H pertencentes ao conjunto de testes e o valor da diferença entre as pontuações de testes externos dos usuários F, G e H, ou seja, e2 para a segunda função de modelagem.

[00165] Então, o servidor de análise de dados pode selecionar uma função de modelagem e um conjunto de problemas tendo um valor menor de e e desempenhar o procedimento subsequente de estimar a pontuação de teste externo do usuário.

[00166] Enquanto isso, o processo de configuração de um conjunto de testes simulados para que a pontuação estimada do usuário seja semelhante aos dados de pontuação de teste real apresentados sem usar o banco de dados de problemas é o seguinte.

[00167] De acordo com a modalidade da presente invenção, o teste simulado pode ser configurado da seguinte maneira.

[00168] O primeiro método é configurar um conjunto de problemas de forma que a pontuação média do teste simulado para todos os usuários esteja dentro de qualquer faixa, usando a taxa certa média de todos os usuários para cada problema do banco de dados.

[00169] Por exemplo, ao se referir às estatísticas do teste de proficiência de idioma, se a pontuação média de todos os examinandos para um teste relevante for de 67 a 69, o servidor de análise de dados pode configurar um conjunto de problemas para que a pontuação média do teste simulado esteja dentro da faixa de 67 a 69.

[00170] Nesse caso, o conjunto de problemas do teste simulado pode ser configurado levando-se em consideração a distribuição dos tipos de problemas no teste relevante. Por exemplo, ao se referir às estatísticas do teste de proficiência de idioma, se o teste real tiver cerca de 20% de um primeiro tipo, cerca de 30% de um segundo tipo, cerca de 40% de um terceiro tipo e cerca de 10% de um quarto tipo, o teste simulado também pode ser configurado de modo que a distribuição dos tipos de problemas seja semelhante ao teste real.

[00171] Para esse fim, de acordo com a modalidade da presente invenção, a informação de índice pode ser adicionada à base de dados de problemas gerando rótulos para tipos de problemas com antecedência.

[00172] Por exemplo, o servidor de análise de dados pode gerar informação de índice predefinindo rótulos para problemas que podem ser classificados em qualquer tipo, aprendendo as características do modelo de problema que seguem o tipo de problema relevante para problemas aglomerados e atribuindo os rótulos aos tipos de problema ao grupo de problemas aglomerados.

[00173] Como outro exemplo, o servidor de análise de dados também pode gerar informação de índice aglomerando problemas usando os vetores de modelagem dos problemas sem rótulos predefinidos para tipos de problemas e interpretando o significado do grupo de problemas aglomerados para atribuir os rótulos para os tipos de problemas.

[00174] De acordo com a modalidade da presente invenção, o segundo método é configurar um teste simulado usando a informação de pontuação real de quaisquer usuários para um teste relevante.

[00175] Por exemplo, no exemplo anterior do teste de proficiência de idioma, se as pontuações reais dos usuários A, B e C que fizeram o teste relevante forem 60, 70 e 80, respectivamente, um conjunto de problemas de um teste simulado pode ser configurado de modo que as pontuações estimadas do teste simulado calculadas aplicando as taxas certas pré-calculadas dos usuários A, B e C sejam 60, 70 e 80, respectivamente.

[00176] De acordo com a modalidade acima, na qual o conjunto de problemas é configurado de modo que a pontuação estimada do teste simulado seja próxima à pontuação real, a semelhança entre o teste simulado e o teste real pode ser calculada matematicamente usando a informação de pontuação do usuário que fez o teste real. Portanto, é possível aumentar a confiabilidade do teste simulado, ou seja, a confiabilidade de que a pontuação de teste simulado está próxima da pontuação de teste real.

[00177] Nesse caso, de acordo com a modalidade da presente invenção, é possível configurar um conjunto de problemas de um teste simulado aplicando a informação de distribuição do tipo de problema do teste relevante ou aplicando outra informação que é analisada estatisticamente.

[00178] Enquanto isso, o servidor de análise de dados pode ajustar a distribuição de notas para problemas ao longo da configuração de um conjunto de problemas de teste simulado. Isso é porque as informações de pontuação separadas não são atribuídas aos problemas pertencentes ao banco de dados de problemas, mas pontos diferentes são atribuídos a cada um dos problemas do teste real.

[00179] Em geral, um teste real é configurado de modo que um ponto alto seja atribuído a um problema difícil e um ponto baixo seja atribuído a um problema fácil. Nessa análise, o problema real é pontuado em consideração à taxa média de resposta certa ao problema, o número de conceitos configurando o problema, o comprimento na impressão do problema e semelhantes e um ponto pré-especificado pode ser atribuído de acordo com o tipo de problema.

[00180] Portanto, o servidor de análise de dados de acordo com a modalidade da presente invenção pode atribuir um ponto a cada um dos problemas constituintes do conjunto de problemas do teste simulado, refletindo pelo menos um da taxa média de resposta certa para o problema, o número de conceitos configurando o problema, o comprimento na impressão do problema e as informações de tipo de problema.

[00181] Para esse fim, o servidor de análise de dados pode listar os elementos de aprendizagem e/ou assuntos do assunto relevante em uma estrutura de árvore para gerar um rótulo para o conceito do problema e gerar um conjunto de metadados para os elementos mínimos de aprendizagem e pode classificar os elementos mínimos de aprendizagem em unidades de grupo adequadas para análise para gerar informação de índice sobre o conceito constituindo o problema.

[00182] Particularmente, de acordo com a modalidade da presente invenção, um ponto pode ser atribuído a cada um dos problemas constituindo o conjunto de problemas de modo que as pontuações reais dos usuários que de fato fizerem o teste sejam próximas às pontuações estimadas para o conjunto de problemas de teste simulado dos usuários.

[00183] Quando um conjunto de problemas de teste simulado com alta similaridade com o teste real é configurado, o servidor de análise de dados de acordo com a modalidade da presente invenção pode estimar a pontuação prevista do usuário para cada teste simulado. Partindo da premissa de que o teste real é semelhante ao teste simulado, a pontuação de teste simulado é estimada como a pontuação de teste real.

[00184] Particularmente, a modalidade da presente invenção é caracterizada na medida que o usuário pode estimar a pontuação de teste simulado com alta confiabilidade, sem resolver diretamente o teste simulado.

[00185] O teste simulado de acordo com a modalidade da presente invenção é composto pelos problemas incluídos na base de dados de problemas e a taxa de resposta certa do usuário para cada um dos problemas pertencentes à base de dados é calculada com antecedência conforme descrito acima. Assim, é possível estimar a pontuação de predição de teste simulado do usuário usando a taxa de respostas certas do usuário individual para todos os problemas constituindo o teste simulado.

[00186] Nesse caso, de acordo com a modalidade da presente invenção, é possível configurar uma pluralidade de conjuntos de problemas de teste simulado para estimar qualquer pontuação de teste e fazer a média das pontuações estimadas de usuários específicos para uma pluralidade de testes simulados para estimar as pontuações previstas dos usuários para o teste real.

[00187] As modalidades divulgadas no relatório descritivo e nos desenhos são apenas ilustrativas da presente invenção com o propósito de facilitar a explicação e a compreensão da presente invenção e não se destinam a limitar o escopo da presente invenção. Será evidente para os versados na técnica que outras modificações com base na ideia técnica da presente invenção são possíveis além das modalidades divulgadas neste documento.

Claims (5)

REIVINDICAÇÕES

1. Método de análise de um usuário em um servidor de serviço, caracterizado pelo fato de que compreende: a) para um sujeito específico, configurar um banco de dados de problemas compreendendo pelo menos um dos problemas de múltipla escolha, cada um compreendendo pelo menos um exemplo, fornecer o problema para dispositivos de usuário e coletar dados de seleção de exemplo de usuários para o problema a partir dos dispositivos de usuário; b) estimar uma probabilidade de resposta certa para o problema para cada um dos usuários usando os dados de seleção de exemplo de cada um dos usuários; c) para o assunto, verificar um primeiro grupo de usuários no qual existem dados de pontuação de teste externo sem usar o banco de dados de problemas e configurar um conjunto de problemas de teste simulado a partir do banco de dados de problemas para prever uma pontuação de teste externo de um segundo grupo de usuários em que os dados de pontuação de teste externo não existem, em que o conjunto de problemas de teste simulado é configurado de modo que uma pontuação estimada do primeiro grupo de usuários calculada usando a probabilidade de resposta certa seja semelhante aos dados de pontuação de teste externo do primeiro grupo de usuários; e d) estimar uma pontuação prevista do conjunto de problemas de teste simulado do segundo grupo de usuários usando a probabilidade de resposta certa sem fornecer o conjunto de problemas de teste simulado ao segundo grupo de usuários e estimar a pontuação prevista do conjunto de problemas de teste simulado como uma pontuação prevista para um teste externo.

2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende, após a d) estimativa de uma pontuação prevista, supondo que qualquer usuário selecione qualquer exemplo de qualquer problema contido no banco de dados de problemas, calcular, para cada problema, uma taxa de aumento na pontuação prevista para o teste externo estimada para o usuário e classificar os problemas contidos no banco de dados de problemas na ordem da alta taxa de aumento para recomendá-los ao usuário.

3. Método, de acordo com a reivindicação 2, caracterizado pelo fato de que a d) estimativa de uma pontuação prevista compreende: calcular uma função de modelagem que representa uma relação entre uma probabilidade de resposta certa para cada um dos problemas contidos no banco de dados do primeiro grupo de usuários e a pontuação de teste externo, usando os dados de pontuação de teste externo do primeiro grupo de usuários; e converter uma probabilidade de resposta certa para cada um dos problemas contidos no banco de dados de problemas do segundo grupo de usuários, que não pertence ao primeiro grupo de usuários, em uma pontuação de teste externo, usando a função de modelagem.

4. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a c) verificação de um primeiro grupo de usuários compreende configurar o conjunto de problemas de teste simulado de modo que uma pontuação média do conjunto de problemas de teste simulado para todos os usuários caia dentro de uma faixa predefinida, usando uma taxa média de resposta certa para cada um dos problemas constituintes do conjunto de problemas de teste de simulação para todos os usuários.

5. Método, de acordo com a reivindicação 2, caracterizado pelo fato de que a c) verificação de um primeiro grupo de usuários compreende configurar o conjunto de problemas de teste simulado para seguir informações de distribuição de tipo de problema de um conjunto de problemas de teste externo pré-calculado.