BR102018008297A2

BR102018008297A2 - Sistema de determinação de interesse, método de determinação de interesse e meio de armazenamento

Info

Publication number: BR102018008297A2
Application number: BR102018008297-3A
Authority: BR
Inventors: Michimasa Inaba; Yuya Nawate; Tomoya Takatani
Original assignee: Toyota Jidosha Kabushiki Kaisha
Priority date: 2017-05-01
Filing date: 2018-04-25
Publication date: 2019-03-12
Also published as: JP2018190136A; US20180315440A1; EP3399470A1; KR20180121831A; CN108804526A; KR102057184B1; RU2692427C1; JP6794921B2; CN108804526B; US11024326B2

Abstract

a presente invenção refere-se a um sistema de determinação de interesse (1) que inclui uma unidade de aquisição de dados configurada para adquirir um primeiro grupo de dados indicando um recurso de cada palavra contido na informação de diálogo do usuário; uma primeira unidade de aprendizagem (9) configurada para aprender a utilizar um primeiro valor de entrada e saída, o primeiro valor de entrada sendo definido a um grupo de dados que associa o primeiro grupo de dados com um segundo grupo de dados indicando um recurso de uma palavra predeterminada, o primeiro valor de saída sendo definido para informação indicando se há interesse de um usuário; e uma unidade de determinação (6) configurada para, quando um grupo de dados que associa um terceiro grupo de dados indicando um recurso de uma palavra a ser determinada com o primeiro grupo de dados foi inserido na primeira unidade de aprendizagem (9), determinar se há interesse de um usuário na palavra a ser determinada, com base em um valor de saída emitido da primeira unidade de aprendizagem (9).

Description

Relatório Descritivo da Patente de Invenção para SISTEMA DE DETERMINAÇÃO DE INTERESSE, MÉTODO DE DETERMINAÇÃO DE INTERESSE E MEIO DE ARMAZENAMENTO. ANTECEDENTES DA INVENÇÃO

1. Campo da Invenção [0001] A invenção se refere a um sistema de determinação de interesse, método de determinação de interesse e meio de armazenamento que determinam se há um interesse de um usuário.

2. Descrição da Técnica Relacionada [0002] É conhecido um sistema que determina se há um interesse de um usuário utilizando vetores cada um expressando um recurso de uma palavra que aparece em um diálogo do usuário (ver, por exemplo, a Publicação do Pedido de Patente Japonês Não Examinado No. 2017027168 (JP 2017-027168 A)).

SUMÁRIO DA INVENÇÃO [0003] O sistema determina se há um interesse de um usuário utilizando palavras que aparecem em uma diálogo do usuário. Por esta razão, é difícil determinar se há um interesse de um usuário em uma palavra que não aparece no diálogo do usuário.

[0004] A invenção fornece um sistema de determinação de interesse, método de determinação de interesse e meio de armazenamento que são capazes de determinar se há um interesse de um usuário em uma palavra que não aparece em uma diálogo do usuário.

[0005] Um primeiro aspecto da invenção fornece um sistema de determinação de interesse. O sistema de determinação de interesse inclui uma unidade de aquisição de dados, uma primeira unidade de aprendizagem e uma unidade de determinação. A unidade de aquisição de dados é configurada para adquirir um primeiro grupo de dados indicando um recurso de cada palavra contido na informação de diálogo de um

Petição 870180033392, de 25/04/2018, pág. 95/131

2/30 usuário. A primeira unidade de aprendizagem é configurada para aprender a utilizar um primeiro valor de entrada e um primeiro valor de saída. O primeiro valor de entrada é definido em um grupo de dados que associa o primeiro grupo de dados adquirido pela unidade de aquisição de dados com um segundo grupo de dados indicando um recurso de uma palavra predeterminada. O primeiro valor de saída é definido para informação indicando se há um interesse do usuário. A unidade de determinação é configurada para, quando um grupo de dados que associa um terceiro grupo de dados indicando um recurso de uma palavra a ser determinada com o primeiro grupo de dados adquirido pela unidade de aquisição de dados foi inserido na primeira unidade de aprendizagem, determinar se há o interesse do usuário na palavra a ser determinada, com base em um valor de saída emitido da primeira unidade de aprendizagem. Neste aspecto, o primeiro grupo de dados que é adquirido pela unidade de aquisição de dados pode ser a primeira informação do vetor que é expressa como informação quantificada e vetorizada do recurso de cada palavra contido na informação de diálogo do usuário. A primeira unidade de aprendizagem pode ser configurada para aprender a utilizar o primeiro valor de entrada e o primeiro valor de saída. O primeiro valor de entrada pode ser definido para a informação de vetor que associa a primeira informação do vetor adquirido pela unidade de aquisição de dados com a segunda informação de vetor como o segundo grupo de dados indicando o recurso da palavra predeterminada definida antecipadamente. O primeiro valor de saída pode ser definido para a informação indicando se há o interesse do usuário. A unidade de determinação pode ser configurada para, quando a informação de vetor que associa a terceira informação de vetor indicando o recurso da palavra a ser determinada com a primeira informação do vetor adquirido pela unidade de aquisição de dados foi inserida na primeira unidade de aprendiza

Petição 870180033392, de 25/04/2018, pág. 96/131

3/30 gem, determinar se há o interesse do usuário na palavra a ser determinada, com base em um valor de saída emitido da primeira unidade de aprendizagem. Neste aspecto, o primeiro grupo de dados que é adquirido pela unidade de aquisição de dados pode ser um modelo de gosto que expressa o recurso de cada palavra contido na informação de diálogo do usuário como um modelo indicando um gosto do usuário. Neste aspecto, a unidade de aquisição de dados pode incluir uma unidade de conversão de vetor de palavra e uma unidade de geração de vetor de sentença. A unidade de conversão de vetor de palavra pode ser configurada para converter uma palavra de estimativa de interesse, uma palavra de contexto precedente e uma palavra de contexto seguinte dentro da informação de diálogo do usuário em vetores das palavras. A palavra de estimativa de interesse pode ser uma palavra na qual o usuário está interessado. A palavra de contexto precedente pode ser uma palavra um número predeterminado de palavras antes da palavra de estimativa de interesse. A palavra de contexto seguinte pode ser uma palavra um número predeterminado de palavras atrás da palavra de estimativa de interesse. A unidade de geração de vetor de sentença pode ser configurada para converter o vetor da palavra de contexto precedente, convertida pela unidade de conversão de vetor de palavra, em um vetor de contexto precedente usando uma segunda unidade de aprendizagem e converter o vetor da palavra de contexto seguinte, convertida pela unidade de conversão de vetor de palavra, em um vetor de contexto seguinte usando a segunda unidade de aprendizagem. O vetor de contexto precedente e o vetor de contexto seguinte podem cada um indicar um recurso de uma sentença. A unidade de geração de vetor de sentença pode ser configurada para gerar um vetor conectado obtido por conexão do vetor de contexto precedente convertido e do vetor de contexto seguinte convertido em vetor da palavra de estimativa de interesse. Neste aspecto, a unidade de geração de vetor de sentença pode

Petição 870180033392, de 25/04/2018, pág. 97/131

4/30 ser configurada para gerar o vetor conectado para cada uma das peças de informação de diálogo nas quais o usuário está interessado e a unidade de aquisição de dados pode, ainda, incluir uma unidade de geração de modelo de gosto configurada para calcular uma média dos vetores conectados gerados pela unidade de geração de vetor de sentença como informação de vetor do usuário no modelo de gosto. Neste aspecto, o sistema de determinação de interesse pode incluir, ainda, uma terceira unidade de aprendizagem configurada para ser otimizada utilizando um segundo valor de entrada e um segundo valor de saída. O segundo valor de entrada pode ser definido ao vetor conectado que é gerado pela unidade de geração de vetor de sentença. O segundo valor de saída pode ser definido para a informação indicando se há o interesse do usuário. Neste aspecto, a primeira unidade de aprendizagem, a segunda unidade de aprendizagem e a terceira unidade de aprendizagem podem ser otimizadas ao mesmo tempo. Neste aspecto, a primeira unidade de aprendizagem, a segunda unidade de aprendizagem e a terceira unidade de aprendizagem podem ser uma rede neural. Um segundo aspecto da invenção fornece um método de determinação de interesse. O método de determinação de interesse inclui: adquirir um primeiro grupo de dados indicando um recurso de cada palavra contida na informação de diálogo de um usuário; fazer com que uma primeira unidade de aprendizagem aprenda a utilizar um primeiro valor de entrada e um primeiro valor de saída, o primeiro valor de entrada sendo definido a um grupo de dados que associa o primeiro grupo de dados com um segundo grupo de dados indicando um recurso de uma palavra predeterminada, o primeiro valor de saída sendo definido para a informação indicando se há um interesse do usuário; e, quando um grupo de dados que associa um terceiro grupo de dados indicando um recurso de uma palavra a ser determinada com o primeiro grupo de dados foi

Petição 870180033392, de 25/04/2018, pág. 98/131

5/30 inserido à primeira unidade de aprendizagem, determinando se há o interesse do usuário na palavra a ser determinada, com base em um valor de saída emitido da primeira unidade de aprendizagem. Um terceiro aspecto da invenção fornece um meio de armazenamento legível por computador que armazena um programa de computador que faz com que um computador execute as instruções para: adquirir um primeiro grupo de dados indicando um recurso de cada palavra contida na informação de diálogo de um usuário; fazer com que uma primeira unidade de aprendizagem para aprender a utilizar um primeiro valor de entrada e um primeiro valor de saída, o primeiro valor de entrada sendo definido a um grupo de dados que associa o primeiro grupo de dados com um segundo grupo de dados indicando um recurso de uma palavra predeterminada, o primeiro valor de saída sendo definido para a informação indicando se há um interesse do usuário; e, quando um grupo de dados que associa um terceiro grupo de dados indicando um recurso de uma palavra a ser determinada com o primeiro grupo de dados foi inserido à primeira unidade de aprendizagem, determinando se há o interesse do usuário na palavra a ser determinada, com base em um valor de saída emitido da primeira unidade de aprendizagem.

[0006] De acordo com os aspectos da invenção, é possível fornecer o sistema de determinação de interesse, método de determinação de interesse e meio de armazenamento que são capazes de alta e precisamente determinar se há um interesse de um usuário também em uma palavra que não parede em uma diálogo do usuário.

BREVE DESCRIÇÃO DOS DESENHOS [0007] Os recursos, vantagens e significados técnico e industrial de modalidades exemplares da invenção serão descritos abaixo com referência aos desenhos anexos, na qual numerais iguais denotam elementos semelhantes:

Petição 870180033392, de 25/04/2018, pág. 99/131

6/30 a figura 1 é um diagrama em blocos que mostra a configuração esquemática do sistema de um sistema de determinação de interesse de acordo com uma modalidade da invenção;

a figura 2 é uma vista que mostra um exemplo para gerar um vetor de sentença de um registro de diálogo;

a figura 3 é uma vista para mostrar as estruturas das primeira e segunda redes neurais;

a figura 4 é uma vista para mostrar um método para otimizar cada uma dentre as primeira e segunda redes neurais;

a figura 5 é uma vista que mostra um exemplo de um processo para gerar um modelo de gosto;

a figura 6 é uma vista que mostra a estrutura de uma terceira rede neural;

a figura 7 é uma vista para mostrar um método para otimizar a terceira rede neural;

a figura 8 é uma vista para mostrar um método para determinar se há um interesse de um usuário em uma palavra a ser determinada;

a figura 9 é um fluxograma esquemático que mostra o fluxo de um método de determinação de interesse de acordo com uma modalidade da invenção;

a figura 10 é uma tabela que mostra um exemplo de informação estatística de dados usados;

a figura 11 é uma tabela que mostra resultados de teste;

a figura 12 é uma vista parcialmente extraída da primeira metade de uma diálogo usada em um teste;

a figura 13 é uma tabela que mostra parte dos resultados da estimativa de um interesse potencial com o uso de um modelo unido; e a figura 14 é uma tabela que mostra parte dos resultados da estimativa com o uso de um SVM.

Petição 870180033392, de 25/04/2018, pág. 100/131

7/30

DESCRIÇÃO DETALHADA DAS MODALIDADES [0008] A seguir, modalidades da invenção serão descritas com referência aos desenhos anexos. Um sistema de determinação de interesse de acordo com uma modalidade da invenção é capaz de determinar com grande precisão um interesse de um usuário em uma palavra potencial na qual o usuário possa expressar interesse mesmo quando a palavra não apareceu no registro de diálogo de um usuário (informação de diálogo) ainda (adiante, palavra potencial de interesse).

[0009] Por exemplo, se um interesse de um usuário foi determinado utilizando palavras que aparecem em um diálogo do usuário. Por exemplo, foi difícil determinar se há um interesse de um usuário em uma palavra que não aparece no diálogo do usuário.

[00010] Em contrapartida, o sistema de determinação de interesse de acordo com a presente modalidade adquire um modelo de gosto que é a informação de vetor indicando um recurso de cada palavra contido na informação de diálogo do usuário e que indica um gosto do usuário. O sistema de determinação de interesse faz com que um dispositivo de aprendizagem (uma terceira rede neural 9 (descrita posteriormente)) aprenda a utilizar um valor de entrada e um valor de saída enquanto o valor de entrada é definido para a informação de vetor, que associa a informação de vetor do modelo de gosto adquirido com informação de vetor indicando um recurso de uma palavra predeterminada definida antecipadamente e o valor de saída é definido para a informação indicando se há um interesse do usuário. Quando o vetor que associa a informação de vetor indicando um recurso de uma palavra a ser determinada e a informação de vetor do modelo de gosto foi inserida ao dispositivo de aprendizagem, o sistema de determinação de interesse determina se há um interesse do usuário na palavra a ser determinada, com base em um valor de saída emitido do dispositivo de aprendizagem. Aprendizagem significa otimizar uma rede neural.

Petição 870180033392, de 25/04/2018, pág. 101/131

8/30 [00011] No sistema de determinação de interesse de acordo com a presente modalidade, conforme descrito acima, o dispositivo de aprendizagem (meios de aprendizagem) é causado para aprender a utilizar a informação de vetor que associa um modelo de gosto que compila de forma abrangente um gosto do usuário com uma palavra predeterminada selecionada que não apareceu na informação de diálogo ainda. Portanto, não apenas um gosto com base em palavras que aparecem na informação de diálogo e em que o usuário expressa interesse, mas também um gosto com base em uma palavra predeterminada, incluindo uma palavra que não aparece na informação de diálogo e em que o usuário expressa interesse, é incorporado no dispositivo de aprendizagem. Isto é, quando é determinado se há um interesse do usuário em uma palavra a ser determinada com o uso do dispositivo de aprendizagem, é possível determinar altamente de forma precisa se há um interesse do usuário não apenas em uma palavra que aparece em um diálogo do usuário, mas também uma palavra que não aparece no diálogo. [00012] Na presente modalidade, conforme descrito acima, a palavra predeterminada definida antecipadamente e a palavra a ser determinada pode ser a mesma ou pode ser diferente. O sistema de determinação de interesse 1 de acordo com a presente modalidade é capaz de precisamente determinar se há um interesse de um usuário mesmo no último caso diferente.

[00013] Na determinação como uma palavra, como um substantivo, que não aparece em um registro de diálogo, é concebível que um interesse de um usuário em um assunto no registro de diálogo é a chave para a determinação. Na presente modalidade, inicialmente, é determinado se um usuário está interessado em cada palavra em um registro de diálogo, conforme será descrito posteriormente. É presumível que um usuário está interessado em uma palavra depende significantemente de um contexto antes da palavra e um contexto atrás da palavra.

Petição 870180033392, de 25/04/2018, pág. 102/131

9/30

Portanto, na presente modalidade, é determinado se um usuário está interessado em uma palavra em consideração de um contexto antes da palavra e um contexto atrás da palavra.

[00014] A figura 1 é um diagrama em blocos que mostra a configuração esquemática do sistema do sistema de determinação de interesse de acordo com a modalidade da invenção. O sistema de determinação de interesse 1 de acordo com a presente modalidade inclui uma unidade de análise morfológica 2, uma unidade de conversão de vetor de palavra 3, uma unidade de geração de vetor de sentença 4, uma unidade de geração de modelo de gosto 5, uma unidade de determinação de interesse 6 e primeira a terceira redes neurais 7, 8, 9. A unidade de análise morfológica 2 realiza a análise morfológica. A unidade de conversão de vetor de palavra 3 converte uma palavra em um vetor. A unidade de geração de vetor de sentença 4 gera um vetor de sentença. A unidade de geração de modelo de gosto 5 gera um modelo de gosto. A unidade de determinação de interesse 6 determina se há um interesse de um usuário. A primeira a terceira redes neurais 7, 8, 9 servem como um dispositivo de aprendizagem.

[00015] O sistema de determinação de interesse 1 tem uma configuração de hardware principalmente incluindo um microcomputador. O microcomputador inclui, por exemplo, uma unidade de processamento central (CPU), uma memória, uma unidade de interface (l/F) e similar. A CPU executa o processamento aritmético, ou similar. A memória inclui uma memória somente leitura (ROM) e uma memória de acesso aleatório (RAM). Programas de operação e similar, que são executados pela CPU sendo armazenados na ROM ou na RAM. Os sinais de entrada e saída da unidade de interface de ou para dispositivos externos. A CPU, a memória e a unidade de interface são conectadas entre si por barramento de dados, ou similar.

Petição 870180033392, de 25/04/2018, pág. 103/131

10/30 [00016] A unidade de análise morfológica 2 realiza a análise morfológica em um registro de diálogo (informação de texto de uma diálogo). Um registro de diálogo é armazenado, por exemplo, na memória. Um registro de diálogo pode ser configurado para ser inserido na unidade de análise morfológica 2 por um dispositivo de entrada, ou similar, conforme necessário. A unidade de análise morfológica 2 divide um registro de diálogo em morfemas (palavras) e gera uma cadeia de palavras, isto é, um agregado de palavras. A unidade de análise morfológica 2 realiza a análise morfológica utilizando, por exemplo, MeCab (sistema de análise morfológica no idioma japonês).

[00017] A unidade de conversão de vetor de palavra 3 converte significados de palavras sem números convertendo uma cadeia de palavras em vetores de palavra indicando um significado da cadeia de palavras. A unidade de conversão de vetor de palavra 3 converte uma cadeia de palavras, gerada pela unidade de análise morfológica 2, em uma sequência do vetor de palavra. A unidade de conversão de vetor de palavra 3 converte uma cadeia de palavras, gerada pela unidade de análise morfológica 2, em uma sequência do vetor de palavra tridimensional x = (x1, x2, .... , x_t, xk) utilizando, por exemplo, Word2Vec[Mikolov13] (técnica de quantificação que expressa uma palavra por vetorização da palavra). Uma palavra de estimativa de interesse x_t é, por exemplo, uma palavra na qual um usuário é estimado ser interessado e é definido na memória, ou similar, antecipadamente.

[00018] A unidade de geração de vetor de sentença 4 coleta um significado de uma sentença de uma sequência do vetor de palavra convertendo a sequência do vetor de palavra em um vetor de sentença indicando um recurso da sentença. A unidade de geração de vetor de sentença 4 converte uma sequência do vetor de palavra, convertida pela unidade de conversão de vetor de palavra 3, em uma sequência do vetor de sentença.

Petição 870180033392, de 25/04/2018, pág. 104/131

11/30 [00019] Um método de conversão de uma sequência do vetor de palavra em uma sequência do vetor de sentença será descrito em detalhes utilizando um exemplo específico. É presumível que as palavras ao redor de uma palavra de estimativa de interesse x_t são úteis para estimar um interesse de um usuário. Por esta razão, a unidade de geração de vetor de sentença 4 usa vetores de J palavras antes e atrás da palavra de estimativa de interesse x_t como um contexto.

[00020] Isto é, a unidade de geração de vetor de sentença 4 converte uma sequência do vetor x^f = (xt-i, xt-1+1, ... , xt-i) de palavras antes da palavra de estimativa de interesse xt e uma sequência do vetor x^s = (xt+i, xt+2, ... , xt+ι) de palavras atrás da palavra de estimativa de interesse x_tutilizando a primeira rede neural 7.

[00021] A primeira rede neural 7 é um exemplo específico de uma segunda unidade de aprendizagem. A primeira rede neural 7 é, por exemplo, uma rede neural recorrente (RNN). A RNN tem uma memória a longo prazo (LSTM) em uma camada intermediária. Em vez da primeira rede neural 7, outro dispositivo de aprendizagem, como uma máquina de vetor de suporte (SVM), pode ser usado. Conforme será mostrado nos resultados de teste posteriormente, usar a RNN primeira rede neural 7 é desejável por causa da alta precisão de determinação.

[00022] No momento de uma entrada à primeira rede neural 7, <EOS> que significa que a extremidade terminal de cada sequência do vetor de palavra é inserida. Este <EOS> também é um vetor. O elemento unidimensional ao elemento d-dimensional do vetor são zero e um elemento (d+1 )-dimensional do vetor é 1. As sequências do vetor de palavra são sequencialmente inseridas na primeira rede neural 7 e uma saída da primeira rede neural 7 no momento quando o vetor <EOS> foi inserido é um vetor de sentença.

[00023] A unidade de geração de vetor de sentença 4 converte a sequência do vetor de palavra x^f em uma sequência do vetor de sentença

Petição 870180033392, de 25/04/2018, pág. 105/131

12/30 v/ com o uso da primeira rede neural 7 e converte a sequência do vetor de palavra x^s em uma sequência do vetor de sentença v,^s com o uso da primeira rede neural 7. Por exemplo, conforme mostrado na figura 2, a unidade de geração de vetor de sentença 4 gera um vetor de sentença com base em um registro de diálogo que NERU MAE SNS WO Ml MASU. O registro de diálogo NERU MAE SNS WO Ml MASU é escrito na pronunciação em japonês usando o alfabeto para explicação. O registro de diálogo NERU MAE SNS WO Ml MASU significa que Eu verifico o SNS antes de ir para a cama. No registro de diálogo, uma palavra de estimativa de interesse neste registro de diálogo é SNS. Embora as palavras na figura 2 sejam escritas na pronunciação em japonês, as palavras são, de fato, vetores convertidos com o uso da palavra2vec, ou similar.

[00024] Primeiramente, a unidade de geração de vetor de sentença 4 inseriu a sequência do vetor de palavra x^f (NERU, MAE, <EOS>) na primeira rede neural 7 em uma base de palavra por palavra do começo da sentença e define um vetor de contexto precedente v^f em uma saída da primeira rede neural 7 no momento quando <EOS> foi inserido. Semelhantemente, a unidade de geração de vetor de sentença 4 gera um vetor de contexto seguinte v,^s com base na sequência do vetor de palavra x^s (WO, Ml, MASU, <EOS>). A unidade de geração de vetor de sentença 4 não inserida na palavra de estimativa de interesse (SNS) na primeira rede neural 7 e diretamente utiliza o vetor de palavra como a palavra de estimativa de interesse x_t.

[00025] Subsequentemente, a unidade de geração de vetor de sentença 4 gera um vetor conectado v_sent = [v^f; xt; v^s], O vetor conectado Vsent é obtido pela conexão do vetor de contexto precedente v^f, um vetor da palavra de estimativa de interesse xt e o vetor de contexto seguinte v^s. O ponto e vírgula representa uma combinação de vetores. O mesmo

Petição 870180033392, de 25/04/2018, pág. 106/131

13/30 se aplica a seguinte descrição. A unidade de geração de vetor de sentença 4 determina se há um interesse do usuário na palavra de estimativa de interesse x_t utilizando o vetor conectado v_sent. A unidade de geração de vetor de sentença 4 entra no vetor conectado v_sent à segunda rede neural 8.

[00026] A segunda rede neural 8 é um exemplo específico de uma terceira unidade de aprendizagem. A segunda rede neural 8 é uma distribuição de probabilidade bidimensional. A segunda rede neural 8 emitiu uma probabilidade de interesse ; sim que o usuário está interessado na palavra de estimativa de interesse x_t e uma probabilidade de interesse ; não que o usuário não está interessado na palavra de estimativa de interesse x_t. A segunda rede neural 8 pode ser configurada para emitir apenas uma probabilidade de interesse ; sim.

[00027] Em vez da segunda rede neural 8, outro dispositivo de aprendizagem, como uma máquina de vetor de suporte (SVM), pode ser usado. Conforme mostrado pelos resultados de teste posteriormente, usando a segunda rede neural de camada completamente conectada 8 é mais desejável por causa da precisão de alta determinação.

[00028] A figura 3 é uma vista para mostrar as estruturas das primeira e segunda redes neurais 7, 8. Conforme mostrado na figura 3, a unidade de análise morfológica 2 realiza análise morfológica em um registro de diálogo e emite uma palavra de estimativa de interesse (palavra a ser determinada), palavras de contexto precedentes antes da palavra a ser determinada (Palavra 1, ... , Palavra N, EOS) e palavras de contexto seguintes atrás da palavra a ser determinada (Palavra 1,..., Palavra N, EOS) à unidade de conversão de vetor de palavra 3. A unidade de conversão de vetor de palavra 3 converte as palavras de contexto precedentes, a palavra de estimativa de interesse e as palavras de contexto seguintes, emitidas da unidade de análise morfológica 2, para sequências do vetor de palavra e emite a sequência dos vetores de palavra

Petição 870180033392, de 25/04/2018, pág. 107/131

14/30 convertida à unidade de geração de vetor de sentença 4.

[00029] A unidade de geração de vetor de sentença 4 insere a sequência dos vetores de palavra das palavras de contexto precedentes e a sequências do vetor de palavra da palavras de contexto seguintes, emitida da unidade de conversão de vetor de palavra 3, à primeira rede neural 7. A primeira rede neural 7 emite um vetor de contexto precedente e um vetor de contexto seguinte em resposta à entrada. A unidade de geração de vetor de sentença 4 gera um vetor conectado v_sent por conexão do vetor de contexto precedente e do vetor de contexto seguinte, que são emitidos da primeira rede neural 7, ao vetor da palavra de estimativa de interesse com o uso de um conector do vetor e insere o vetor conectado gerado v_sent à segunda rede neural 8.

[00030] A segunda rede neural 8 é configurada como, por exemplo, uma camada completamente conectada (Res-Net com oito camadas). A segunda rede neural 8 emite uma probabilidade de classe bidimensional interesse ; sim e uma probabilidade de classe bidimensional interesse; não em resposta à entrada.

[00031] A unidade de geração de vetor de sentença 4 otimiza as primeira e segunda redes neurais 7, 8 utilizando dados para aprendizagem, armazenados, por exemplo, na memória, ou similar.

[00032] A figura 4 é uma vista para mostrar um método para otimizar as primeira e segunda redes neurais. Dados para aprendizagem são, por exemplo, dados nos quais um registro de diálogo (n) está associado com uma etiqueta de interesse (n) que indica um interesse do usuário no registro de diálogo (n) (n = 1, ... , N). No caso da classe interesse ; sim, a etiqueta de interesse (n) é definida como 1 (etiqueta de interesse (n) = 1). No caso da classe interesse ; não, a etiqueta de interesse (n) é definida como 0 (etiqueta de interesse (n) = 0).

[00033] Conforme mostrado na figura 4, o processo descrito acima é

Petição 870180033392, de 25/04/2018, pág. 108/131

15/30 repetido em todos os registros de diálogo (n) (n = 1, , N) e ainda repetido em um número de época. Assim, as primeira e segunda redes neurais 7, 8 são otimizadas. Neste momento, a unidade de geração de vetor de sentença 4 otimiza as primeira e segunda redes neurais 7, 8, de modo que um desvio entre a probabilidade da classe interesse ; sim e a probabilidade da classe interesse; não, que são emitidas da segunda rede neural 8 para cada registro de diálogo (n) e a etiqueta de interesse (n) associada com o registro de diálogo (n) é minimizada.

[00034] A unidade de geração de vetor de sentença 4 determina se há um interesse do usuário na palavra de estimativa de interesse x_t com base na segunda rede neural otimizada 8. O vetor conectado v_sent, no qual a unidade de geração de vetor de sentença 4 determinou neste momento que o usuário está interessado, pode ser referido como a chave para estimar um interesse potencial, que é uma finalidade principal. Portanto, quando a unidade de geração de vetor de sentença 4 determinou que o usuário está interessado, a unidade de geração de vetor de sentença 4 salva o vetor conectado v_sent na memória, ou similar. Conforme será descrito posteriormente, o sistema de determinação de interesse 1 de acordo com a presente modalidade gera um modelo de gosto com base no vetor conectado v_sent salvo na memória e então determina se há um interesse do usuário em uma palavra a ser determinada, com base no modelo de gosto.

[00035] A unidade de geração de modelo de gosto 5 gera um modelo de gosto que expressa um gosto do usuário. Assim, é possível compilar a informação da palavra na qual o usuário está interessado. Isto é, o modelo de gosto é a informação na qual um gosto do usuário é abrangentemente compilado. Portanto, utilizar o modelo de gosto que altamente reflete de forma precisa um gosto do usuário, é possível para determinar altamente de forma precisa se há um interesse do usuário, conforme será descrito posteriormente.

Petição 870180033392, de 25/04/2018, pág. 109/131

16/30 [00036] A seguir, um método para gerar um modelo de gosto será descrito em detalhes. Um modelo de gosto é a informação na qual peças de informação de vetor indicando recursos de palavras contidas em um registro de diálogo de cada usuário são classificadas em uma base de usuário por usuário. A unidade de geração de modelo de gosto 5 gera um modelo de gosto com base no vetor conectado v_sent gerado pela unidade de geração de vetor de sentença 4.

[00037] A unidade de geração de modelo de gosto 5 calcula, por exemplo, uma média de vetores conectados v_sent de cada usuário como um modelo de gosto com base nos vetores conectados v_sent salvos na memória. Dessa forma, calculando uma média de vetores conectados Vsent, é possível gerar um modelo de gosto que ainda expressa alta e precisamente um gosto de um usuário. Utilizando o modelo de gosto, é possível ainda determinar alta e precisamente se há um interesse do usuário em uma palavra a ser determinada, conforme será descrito posteriormente.

[00038] A unidade de geração de modelo de gosto 5 calcula uma média de vetores conectados v_sent de cada usuário como um modelo de gosto; entretanto, um modelo de gosto não está limitado a uma média de vetores conectados v_sent de cada usuário. Por exemplo, a unidade de geração de modelo de gosto 5 pode calcular um valor agregado obtido adicionando os vetores conectados v_sent salvos na memória, como um modelo de gosto. Além disso, a unidade de geração de modelo de gosto 5 pode ponderar cada um dos vetores conectados v_sent salvos na memória e, então, calcular um valor agregado como um modelo de gosto. Desde que um gosto de um usuário seja ainda alta e precisamente incorporado em um modelo de gosto, qualquer método de cálculo pode ser aplicado.

[00039] A figura 5 é uma vista que mostra um exemplo de um processo para gerar um modelo de gosto. Por exemplo, conforme mostrado

Petição 870180033392, de 25/04/2018, pág. 110/131

17/30 na figura 5, a unidade de análise morfológica 2 realiza análise morfológica em um registro de diálogo (1) para um registro de diálogo (Ni) que são dados para aprendizagem (etiqueta de interesse = 1 (é determinado que há um interesse)) e emite palavras de contexto precedentes, uma palavra de estimativa de interesse e palavras de contexto seguintes à unidade de conversão de vetor de palavra 3. A unidade de conversão de vetor de palavra 3 converte as palavras de contexto precedentes, a palavra de estimativa de interesse e as palavras de contexto seguintes, emitidas da unidade de análise morfológica 2, à sequência de vetores de palavra e emite a sequências do vetor de palavra convertida à unidade de geração de vetor de sentença 4.

[00040] A unidade de geração de vetor de sentença 4 insere as sequências do vetor de palavra das palavras de contexto precedentes e palavras de contexto seguintes, emitidas da unidade de conversão de vetor de palavra 3, para a primeira rede neural otimizada 7. A primeira rede neural otimizada 7 emite um vetor de contexto precedente e um vetor de contexto seguinte em resposta à entrada. A unidade de geração de vetor de sentença 4 conecta o vetor de contexto precedente e o vetor de contexto seguinte, que são emitidos da primeira rede neural otimizada 7, ao vetor da palavra de estimativa de interesse com o uso do conector do vetor e gera um vetor conectado v_sent.

[00041 ] Conforme descrito acima, o conector do vetor da unidade de geração de vetor de sentença 4 gera um vetor conectado v_sent para cada um do registro de diálogo (1) ao registro de diálogo (Ni) e emite os vetores conectados Vsent[00042] A unidade de geração de modelo de gosto 5 gera um modelo de gosto calculando uma média do vetor conectado v_sent do registro de diálogo (1) ao vetor conectado v_sent do registro de diálogo (Ni), emitidos do conector do vetor. Um modelo de gosto pode ser armazenado na

Petição 870180033392, de 25/04/2018, pág. 111/131

18/30 memória, ou similar, antecipadamente. Neste caso, a unidade de determinação de interesse 6 pode ser configurada para carregar o modelo de gosto armazenado na memória conforme necessário.

[00043] A unidade de determinação de interesse 6 determina se há um interesse de um usuário em uma palavra não contida nos registros de diálogo determinando se há um interesse do usuário em uma palavra selecionada a ser determinada. A unidade de determinação de interesse 6 é um exemplo específico de uma unidade de determinação. A unidade de determinação de interesse 6 determina se há um interesse de um usuário em uma palavra selecionada utilizando a terceira rede neural 9 com base em um modelo de gosto gerado pela unidade de geração de modelo de gosto 5. A terceira rede neural 9 é um exemplo específico de uma primeira unidade de aprendizagem.

[00044] A figura 6 é uma vista que mostra a estrutura da terceira rede neural. A terceira rede neural 9, bem como, por exemplo, a segunda rede neural 8, é configurada como uma camada completamente conectada (Res-Net com oito camadas).

[00045] Em vez da terceira rede neural 9, outro dispositivo de aprendizagem, como uma máquina de vetor de suporte (SVM), pode ser usado. Conforme mostrado pelos resultados de teste posteriormente, usando a camada completamente conectada, a terceira rede neural 9 é a mais desejável por causa da precisão de alta determinação.

[00046] A unidade de conversão de vetor de palavra 3 converte uma palavra em uma sequência do vetor de palavra e emite a sequência do vetor de palavra convertida na unidade de geração de vetor de sentença

4. O conector do vetor da unidade de geração de vetor de sentença 4 gera um vetor conectado obtido por conexão da sequência do vetor de palavra, emitido da unidade de conversão de vetor de palavra 3, em uma média dos vetores conectados v_sent, que é, o modelo de gosto, emitido da unidade de geração de modelo de gosto 5. O conector do vetor

Petição 870180033392, de 25/04/2018, pág. 112/131

19/30 da unidade de geração de vetor de sentença 4 insere o vetor conectado à terceira rede neural 9. A razão pela qual a média dos vetores conectados Vsent, isto é, o modelo de gosto, é conectada à sequência do vetor de palavra da palavra significa transmitir o gosto do modelo de gosto à palavra. O gosto do modelo de gosto é incorporado na palavra por esta conexão.

[00047] Por exemplo, uma média dos vetores conectados v_sent para um usuário uj (j = 0, 1, ...) é denotada por a_Uj. Uma sequência do vetor de palavra de uma palavra selecionada é denotada por w_uj = (wi^uj, W2^uj, ... , wn^uj). O conector do vetor gera um vetor conectado [auj; Wi^uj] obtido por conexão da média a_Uj dos vetores conectados v_sent à sequência do vetor de palavra w_uj. O conector do vetor insere o vetor conectado [a_uj; Wi^uj] à terceira rede neural 9. A terceira rede neural 9 emite uma probabilidade da classe bidimensional interesse ; sim e uma probabilidade da classe bidimensional interesse ; não em resposta à entrada. A terceira rede neural 9 pode ser configurada para emitir apenas uma probabilidade de interesse ; sim em resposta à entrada.

[00048] A unidade de determinação de interesse 6 otimiza a terceira rede neural 9 configurada conforme descrito acima. A unidade de determinação de interesse 6 otimiza a terceira rede neural 9 utilizando dados para aprendizagem, armazenados, por exemplo, na memória, ou similar.

[00049] A figura 7 é uma vista para mostrar um método para otimizar a terceira rede neural. Dados para aprendizagem, que são usados para otimizar a terceira rede neural 9, são, por exemplo, dados nos quais uma palavra predeterminada (m) está associada com uma etiqueta de interesse (m) indicando um interesse de um usuário na palavra predeterminada (m) (m = 1,..., Μ). A palavra predeterminada é, por exemplo, qualquer palavra incluindo uma palavra que não aparece em um registro de diálogo do usuário.

Petição 870180033392, de 25/04/2018, pág. 113/131

20/30 [00050] No caso da classe interesse ; sim, a etiqueta de interesse (m) é definida para 1 (etiqueta de interesse (m) = 1). No caso da classe interesse ; não, a etiqueta de interesse (m) é definida como 0 (etiqueta de interesse (m) = 0). Os dados para aprendizagem são armazenados, por exemplo, na memória, ou similar, antecipadamente.

[00051] Conforme mostrado na figura 7, o processo descrito acima é repetido em todas as palavras predeterminadas (m) (m = 1, ... , M) e ainda repetido em um número de época. Assim, a terceira rede neural 9 é otimizada. Neste momento, a unidade de determinação de interesse 6 otimiza a terceira rede neural 9, de modo que um desvio entre cada uma dentre a probabilidade da classe interesse ; sim e a probabilidade da classe interesse ; não, que são emitidas da terceira rede neural 9 para cada palavra predeterminada (m) e a etiqueta de interesse (m) associada com a palavra predeterminada (m) é minimizada.

[00052] A unidade de determinação de interesse 6 determina se há um interesse de um usuário em uma palavra a ser determinada, com base no modelo de gosto gerado pela unidade de geração de modelo de gosto 5, com o uso da terceira rede neural otimizada 9.

[00053] A razão pela qual uma média dos vetores conectados v_sent, isto é, o modelo de gosto, é conectada à sequência do vetor de palavra da palavra predeterminada significa transmitir o gosto do modelo de gosto à palavra predeterminada. O gosto do modelo de gosto está incorporado na palavra predeterminada por esta conexão. Visto que a palavra predeterminada é qualquer palavra incluindo uma palavra que não aparece no registro de diálogo, é possível incorporar o gosto do usuário também na palavra que não aparece no registro de diálogo. Dessa forma, pela otimização da terceira rede neural 9 usando os dados gerados para aprendizagem e, então, usando a terceira rede neural otimizada 9, é possível determinar alta e precisamente se há um interesse do usuário não apenas em uma palavra que aparece em um diálogo do

Petição 870180033392, de 25/04/2018, pág. 114/131

21/30 usuário, mas também em uma palavra que não aparece no diálogo. [00054] A figura 8 é uma vista para mostrar um método para determinar se há um interesse de um usuário em uma palavra a ser determinada. A unidade de conversão de vetor de palavra 3 converte uma palavra a ser determinada em uma sequência do vetor de palavra e emite a sequência do vetor de palavra convertida na unidade de geração de vetor de sentença 4. O conector do vetor da unidade de geração de vetor de sentença 4 gera um vetor conectado [a_Uj; Wi^uj], O vetor conectado [aUj ; Wi^uj] é obtido por conexão de uma sequência do vetor de palavra wUj, emitida da unidade de conversão de vetor de palavra 3, em uma média a_Uj dos vetores conectados v_sent, isto é, o modelo de gosto, emitido da unidade de geração de modelo de gosto 5.

[00055] A unidade de geração de vetor de sentença 4 insere o vetor conectado gerado [a_Uj; Wi^uj] à terceira rede neural 9. A terceira rede neural 9 emite uma probabilidade da classe bidimensional interesse ; sim e uma probabilidade da classe bidimensional interesse ; não em resposta à entrada. A entrada da terceira rede neural 9 é uma distribuição de probabilidade bidimensional como se houvesse um interesse, como no caso onde um interesse em uma palavra contida em um registro de diálogo é estimado. A unidade de determinação de interesse 6 é capaz de determinar se há um interesse potencial em uma palavra a ser determinada, com base na probabilidade da classe interesse ; sim e na probabilidade da classe interesse ; não, que são emitidas da terceira rede neural 9.

[00056] Na presente modalidade, da primeira a terceira rede neural 7, 8, 9 podem não ser independentes entre si e podem ser conectadas entre si. Isto é, uma entrada da terceira rede neural 9 pode variar com uma entrada das primeira e segunda redes neurais 7, 8.

[00057] Além disso, a fim de fazer com que estas primeira a terceira redes neurais 7, 8, 9 aprendam eficientemente, por exemplo, a soma de

Petição 870180033392, de 25/04/2018, pág. 115/131

22/30 um desvio de uma resposta correta no momento da otimização da segunda rede neural 8 e um desvio de uma resposta correta no momento da otimização da terceira rede neural 9 é definido como uma função de perda. Dessa forma, pela otimização da primeira a terceira rede neural 7, 8, 9 usando a função de perda ao mesmo tempo, é possível extrair um vetor de sentença adequado de um registro de diálogo e também determinar precisamente se há um interesse em uma palavra potencial de interesse.

[00058] Depois, o fluxo de um método de determinação de interesse que é executado pelo sistema de determinação de interesse 1 de acordo com a presente modalidade será descrito. A figura 9 é um fluxograma esquemático que mostra o fluxo do método de determinação de interesse de acordo com a presente modalidade.

[00059] As primeira e segunda rede neural 7, 8 são otimizadas com base em registros de diálogo de um usuário (etapa S101).

[00060] A unidade de geração de modelo de gosto 5 gera um modelo de gosto calculando uma média dos vetores conectados v_sent obtidos por conexão dos vetores de sentença que são emitidos da primeira rede neural otimizada 7 (etapa S102).

[00061] A terceira rede neural 9 aprende a utilizar um vetor conectado obtido por conexão da média dos vetores conectados, isto é, o modelo de gosto, a um vetor de uma palavra predeterminada definida antecipadamente e é otimizada (etapa S103).

[00062] Como a terceira rede neural otimizada 9 recebe o vetor obtido por conexão do vetor da palavra a ser determinada à média dos vetores conectados, isto é, o modelo de gosto, a terceira rede neural otimizada 9 emite uma probabilidade da classe interesse ; sim e uma probabilidade da classe interesse ; não (etapa S104).

[00063] A unidade de determinação de interesse 6 determina se há um interesse do usuário na palavra a ser determinada, com base na

Petição 870180033392, de 25/04/2018, pág. 116/131

23/30 probabilidade da classe interesse ; sim e na probabilidade da classe interesse ; não, que são emitidas da terceira rede neural otimizada 9 (etapa S105).

[00064] Um teste de avaliação de desempenho foi realizado utilizando dados do diálogo de dois usuários no sistema de determinação de interesse 1 de acordo com a presente modalidade. Os resultados de teste serão descritos abaixo.

[00065] Um rótulo que significa se há um interesse de um usuário é atribuído a todos os substantivos nos dados do diálogo. No teste de avaliação de desempenho, os dados do diálogo são processados da seguinte maneira. Cada parte dos dados do diálogo é dividida em duas partes iguais pelo número de discursos contidos em cada diálogo. A primeira metade de cada parte dos dados do diálogo é definida como um registro de diálogo a ser fornecido ao sistema de determinação de interesse 1. Um substantivo na segunda metade de cada parte dos dados do diálogo é definido como um substantivo para estimar um interesse potencial (os dados do diálogo da segunda metade não são fornecidos ao sistema de determinação de interesse 1). O sistema de determinação de interesse 1 de acordo com a presente modalidade é avaliado como segue. O substantivo para estimar um interesse potencial é dado a cada usuário do ponto de vista de que o substantivo está contido em qual fala do usuário nos dados da segunda metade do diálogo, e é determinado se um usuário que fez um discurso incluindo o substantivo expressa interesse no substantivo.

[00066] Os dados do diálogo usados no teste serão descritos em detalhes. Quanto aos dados de diálogo, os sujeitos de teste foram recrutados através de um serviço de fornecimento em nuvem e 100 partes de dados, cada uma incluindo uma caixa de diálogo de uma hora, foram coletadas. Para aprendizagem e avaliação, uma anotação sobre se um anotador está interessado foi atribuída a todos os substantivos contidos

Petição 870180033392, de 25/04/2018, pág. 117/131

24/30 nos dados de diálogo coletados. Os substantivos foram automaticamente extraídos pela unidade de análise morfológica 2. Cada anotador recebeu os dados do diálogo e os substantivos usados no diálogo, e atribuiu qualquer um dos dois rótulos, isto é, interessado ou indeterminado ou desinteressado, para cada substantivo. Um critério para atribuição foi uma resposta presumida do anotador que falou palavras incluindo um substantivo destinado a anotação no momento em que o anotador foi questionado, ou seja, Você está interessado em () (o substantivo pretendido é inserido)? ou Você está interessado em um assunto sobre () (o substantivo pretendido é inserido)?. Quando o significado da frase não fazia sentido em japonês no momento em que um substantivo era inserido entre parênteses da pergunta, o rótulo indeterminado ou desinteressado era atribuído. Com base nos critérios acima, os dez anotadores recrutados anotaram individualmente, e um rótulo correto foi determinado com base na regra da maioria. Quando o número de rótulos interessados e o número de rótulos indeterminados ou desinteressados são iguais entre si (cada um é cinco), o rótulo indeterminado ou desinteressado foi atribuído. A figura 10 é uma vista que mostra um exemplo de informação estatística dos dados utilizados. Fleiss'Kappa que indica o grau de coincidência de anotação entre os anotadores foi de 0,50 e indicou uma coincidência de grau médio.

[00067] Em seguida, as configurações do teste serão descritas em detalhes. O Word2Vec foi definido de modo que o tamanho de uma janela é cinco, uma frequência de aparência mínima é 10 e o número de dimensões de um vetor é 1000 e, em seguida, o aprendizado foi executado usando dados de cerca de 100 GB. Precedendo cinco palavras antes de um substantivo de estimativa de interesse e seguindo cinco palavras atrás do substantivo de estimativa de interesse foram usadas codificando em um vetor de contexto (J = 5). Uma camada de entrada de RNN (primeira rede neural 7) que executa a codificação em um vetor

Petição 870180033392, de 25/04/2018, pág. 118/131

25/30 de contexto tinha 1001 dimensões. Uma camada de entrada da segunda rede neural 8 para estimar um interesse em um substantivo contido em um diálogo tinha 3000 dimensões. Uma camada de entrada da terceira rede neural 9 para estimar um potencial interesse tinha 4000 dimensões. Cada uma das outras camadas intermediárias tinha 1000 dimensões. Um dropout foi aplicado a todas as camadas intermediárias e uma taxa de dropout foi definida para 30%. Um número de época de aprendizagem foi definido como 30 e a avaliação foi feita com base na precisão de determinar interessado, um fator de recordação e uma medida F na validação cruzada de dez vezes.

[00068] Em seguida, uma técnica de comparação será descrita em detalhes. Para avaliar a técnica de acordo com a presente modalidade, um modelo unido que atualiza duas redes neurais ao mesmo tempo, um modelo separado que separa a terceira rede neural 9 para estimar um potencial interesse, um modelo superficial no qual o número de camadas de cada uma das primeira a terceira redes neurais 7, 8, 9 é definida como uma, e um modelo profundo no qual todos são definidos para ResNet de oito camadas foram preparados. No modelo separado, as primeira e segunda redes neurais 7, 8 para codificação em um vetor de contexto foram separadas da terceira rede neural 9, e as funções de perda também foram separadas. A fim de separar a terceira rede neural 9, uma saída (vetor de contexto) da primeira rede neural 7 não foi usada para estimar um interesse potencial, e um vetor de palavras médio foi usado em vez de um vetor de sentenças médio. Como no caso do modelo unido, o resultado da segunda rede neural 8 foi usado para selecionar vetores de palavras a serem calculados. O teste foi realizado em quatro configurações, ou seja, um modelo raso separado, um modelo profundo separado, um modelo unido superficial e um modelo profundo unido. Esses modelos são combinações dos modelos descritos acima. Testes usando as duas técnicas a seguir foram realizados como uma

Petição 870180033392, de 25/04/2018, pág. 119/131

26/30 técnica de linha de base.

Linha de base 1 [00069] Um interesse potencial é estimado com base em uma similaridade com um substantivo em um registro de diálogo como uma linha de base de similaridade de palavras. Nessa técnica, todos os substantivos contidos em um registro de diálogo são convertidos em vetores de palavras pelo Word2Vec, e se interessado ou indeterminado ou desinteressado é determinado com base em uma semelhança de cosseno entre uma média dos vetores de palavras e um vetor de uma estimativa de interesse potencial substantivo. A avaliação é feita ao alterar um limiar de semelhança de 0,0 a 1,0 em 0,1 etapas, e um resultado na medida máxima de F é definido como o resultado dessa técnica.

Linha de base 2: SVM [00070] Uma determinação usando um SVM é realizada como outra linha de base. Nesta técnica, um vetor obtido por conexão de um vetor médio usado em uma similaridade de palavra da Linha de base 1 a um vetor de um substantivo de estimativa de potencial interesse é definido para um vetor de entrada e se houver um interesse potencial é classificado em duas classes com a SVM.

[00071] Em seguida, os resultados do teste serão descritos em detalhes. A figura 11 é uma tabela que mostra os resultados do teste. Como mostrado na figura 11, a medida F do modelo profundo unido é a mais alta e, subsequentemente, a medida F diminui em ordem do modelo raso unido, do modelo raso separado e do modelo profundo separado. Esta técnica exibiu um desempenho mais excelente do que a similaridade da palavra ou a SVM na técnica de linha de base acima descrita. [00072] Na técnica que usa uma semelhança de palavra, é presumível que, como todos os substantivos contidos em um registro de diálogo foram usados, muitas palavras, independentemente de haver interesse,

Petição 870180033392, de 25/04/2018, pág. 120/131

27/30 foram usadas no cálculo de um vetor de palavras médio, portanto o desempenho foi baixo.

[00073] A razão pela qual o método de determinação de interesse baseado em redes neurais foi mais excelente do que a técnica baseada em SVM é presumivelmente que os quatro modelos baseados em redes neurais utilizam informações de contexto de um discurso com o uso de RNN; considerando que o modelo SVM realiza estimativa, concentrando-se em apenas substantivos em um discurso.

[00074] Quando os modelos baseados em redes neurais são comparados entre si, o modelo raso unido ou o modelo profundo unido exibe um resultado de estimativa mais excelente do que o modelo raso separado ou o modelo profundo separado.

[00075] Resulta dos resultados que o método de determinação de interesse de acordo com a presente modalidade, no qual dois desvios acumulados são unidos e um modelo inteiro é levado a aprender, foi efetivo. Ao focar em uma diferença entre o modelo raso e o modelo profundo, o modelo raso exibe uma medida F maior e um resultado melhor do que o modelo profundo no modelo separado. Por outro lado, no modelo unido, o modelo profundo exibe uma medida F ligeiramente maior e um resultado melhor do que o modelo raso. Particularmente, o modelo profundo unido exibe o melhor resultado entre todas as técnicas. Sugeriu-se, a partir desses resultados, que a combinação de uma rede neural com um grande número de camadas com o modelo unido era efetiva.

[00076] A figura 12 é uma vista parcialmente extraída da primeira metade de um diálogo usado no teste. A figura 13 mostra parte dos resultados de uma determinação como um interesse potencial, realizado com o modelo unido nos substantivos de estimativa de interesse potencial extraídos da segunda metade do diálogo. A figura 14 mostra parte dos resultados de uma determinação com a SVM. Na figura 13 e na figura 14, a marca de círculo denota interessado e a marca cruzada

Petição 870180033392, de 25/04/2018, pág. 121/131

28/30 denota indeterminado ou desinteressado.

[00077] É claro a partir de um exemplo de diálogo que o Usuário 1 e o Usuário 2 estão interessados em álcool. Por esse motivo, é presumível que o Usuário 1 e o Usuário 2 tenham um certo interesse em mordidelas para álcool. Parece que as redes neuronais de acordo com a presente modalidade e a SVM foram capazes de realizar a determinação de interesse adequada em queijo, comida defumada e presunto cru. As redes neurais de acordo com a presente modalidade foram capazes de determinar adequadamente que o Usuário 1 estava interessado em coisas relacionadas à música, como instrumento musical e guitarra e o Usuário 2 não estava tão interessado em coisas relacionadas à música. Por outro lado, parece que a SVM não conseguiu realizar uma determinação em uma base de um falante por falante e determinou que o Usuário 1 e o Usuário 2 estavam interessados nas palavras queijo, instrumento musical e guitarra, palavras comuns entre os usuários. A partir dos resultados acima, verificou-se que as redes neuronais de acordo com a presente modalidade foram capazes de determinar corretamente um interesse potencial em uma base de usuário por usuário.

[00078] No sistema de determinação de interesse de acordo com a presente modalidade, a terceira rede neural 9 aprende a utilizar um valor de entrada e um valor de saída enquanto o valor de entrada é definido para a informação de vetor que associa a informação de vetor de um modelo de gosto indicando um gosto de um usuário com um vetor de uma palavra predeterminada definida antecipadamente e o valor de saída é definido para informação indicando se há um interesse do usuário. Informação de vetor que associa informação de vetor indicando um recurso de uma palavra a ser determinada com a informação de vetor do modelo de gosto é inserido à terceira rede neural 9. A unidade de determinação de interesse 6 determina se há um interesse do usuário na palavra a ser determinada, com base em um valor de saída emitido da

Petição 870180033392, de 25/04/2018, pág. 122/131

29/30 terceira rede neural 9.

[00079] Assim, a terceira rede neural 9 é causada para aprender a utilizar a informação de vetor que associa o modelo de gosto, no qual um gosto do usuário foi compilado de forma abrangente, com uma palavra selecionada predeterminada que não apareceu na informação de diálogo. Portanto, não apenas um gosto com base na palavra que aparece na informação de diálogo e na qual o usuário expressa interesse, mas também um gosto com base em uma palavra predeterminada incluindo uma palavra que não aparece na informação de diálogo e na qual o usuário expressa interesse é incorporado na terceira rede neural

9. Isto é, pela determinação se há um interesse de um usuário em uma palavra a ser determinada com o uso de uma terceira rede neural 9, é possível determinar alta e precisamente se há um interesse do usuário não apenas em uma palavra que aparece em um diálogo do usuário, mas também uma palavra que não aparece no diálogo.

[00080] A invenção não está limitada às modalidades acima descritas. As modalidades acima descritas podem ser modificadas conforme necessário sem se afastarem do escopo da invenção. Por exemplo, nas modalidades acima descritas, os componentes (a unidade de análise morfológica 2, a unidade de conversão de vetor de palavra 3, a unidade geradora de vetores de frases 4, a unidade geradora de modelo de gosto 5, a unidade de determinação de interesse 6 e a primeira a terceira rede neural 7, 8, 9) incluídas no sistema de determinação de interesse 1 e os dados para aprendizagem, mostrados na figura 4, e semelhantes, podem ser fornecidos não apenas no caso em que estes estão contidos em um sistema, a CPU ou similares, mas também no caso em que uma CPU ou um PC é fornecido para cada uma ou qualquer combinação deles, ou podem ser conectados uns aos outros através de uma linha de comunicação.

[00081] A invenção é aplicável que o processo mostrado na figura 9

Petição 870180033392, de 25/04/2018, pág. 123/131

30/30 é implementado, por exemplo, fazendo com que a CPU execute um programa de computador.

[00082] O programa pode ser armazenado em vários tipos de meio não transitório legível por computador e fornecido a um computador. O meio não transitório legível por computador inclui vários tipos de meios de armazenamento tangíveis. Exemplos do meio não transitório legível por computador incluem um meio de gravação magnético (por exemplo, um disco flexível, uma fita magnética ou uma unidade de disco rígido), um meio magneto-óptico (por exemplo, um disco magneto-óptico), uma somente leitura do CD (ROM), um CD-R, um CD-R/W e uma memória semicondutora (por exemplo, uma ROM de máscara, uma ROM programável (PROM), uma PROM apagável (EPROM), uma ROM flash ou memória de acesso aleatório (RAM)).

[00083] O programa pode ser fornecido a um computador através de vários tipos de mídia transitória legível por computador. Exemplos do meio transitório legível por computador incluem um sinal elétrico, um sinal óptico e uma onda eletromagnética. O meio transitório legível por computador é capaz de fornecer o programa a um computador através de um caminho de comunicação com fio, como um fio elétrico e uma fibra óptica, ou um caminho de comunicação sem fio.

Claims

REIVINDICAÇÕES

1. Sistema de determinação de interesse (1) caracterizado pelo fato de que compreende:

uma unidade de aquisição de dados configurada para adquirir um primeiro grupo de dados que indicam um recurso de cada palavra contida na informação de diálogo de um usuário;

uma primeira unidade de aprendizagem (9) configurada para aprender a utilizar um primeiro valor de entrada e um primeiro valor de saída, o primeiro valor de entrada sendo definido a um grupo de dados que associa o primeiro grupo de dados adquirido pela unidade de aquisição de dados com um segundo grupo de dados indicando um recurso de uma palavra predeterminada, o primeiro valor de saída sendo definido para informação indicando se há um interesse do usuário; e uma unidade de determinação (6) configurada para, quando um grupo de dados que se associa a um terceiro grupo de dados indicando um recurso de uma palavra a ser determinada com o primeiro grupo de dados adquirido pela unidade de aquisição de dados foi inserido à primeira unidade de aprendizagem (9), determinar se há o interesse do usuário na palavra a ser determinada, com base em um valor de saída emitido da primeira unidade de aprendizagem (9).
2. Sistema de determinação de interesse (1), de acordo com a reivindicação 1, caracterizado pelo fato de que:

o primeiro grupo de dados que é adquirido pela unidade de aquisição de dados é a primeira informação do vetor que é expressa como informação quantificada e vetorizada do recurso de cada palavra contida na informação de diálogo do usuário;

a primeira unidade de aprendizagem (9) é configurada para aprender a utilizar o primeiro valor de entrada e o primeiro valor de saída, o primeiro valor de entrada é definido para a informação de vetor que se associa a primeira informação do vetor adquirido pela unidade

Petição 870180033392, de 25/04/2018, pág. 125/131

2/5 de aquisição de dados com a segunda informação de vetor como o segundo grupo de dados indicando o recurso da palavra predeterminada definida antecipadamente, o primeiro valor de saída é definido para a informação indicando se há o interesse do usuário; e a unidade de determinação (6) é configurada para, quando a informação de vetor que associa a terceira informação de vetor indicando o recurso da palavra a ser determinada com a primeira informação do vetor adquirido pela unidade de aquisição de dados foi inserida à primeira unidade de aprendizagem (9), determinar se há a interesse do usuário na palavra a ser determinada, com base em um valor de saída emitido da primeira unidade de aprendizagem (9).
3. Sistema de determinação de interesse (1), de acordo com a reivindicação 2, caracterizado pelo fato de que o primeiro grupo de dados que é adquirido pela unidade de aquisição de dados é um modelo de gosto que expressa o recurso de cada palavra contida na informação de diálogo do usuário como um modelo indicando um gosto do usuário.
4. Sistema de determinação de interesse (1), de acordo com a reivindicação 3, caracterizado pelo fato de que a unidade de aquisição de dados inclui:

uma unidade de conversão de vetor de palavra (3) configurada para converter uma palavra de estimativa de interesse, uma palavra de contexto precedente e uma palavra de contexto seguinte dentro da informação de diálogo do usuário em vetores das palavras, a palavra de estimativa de interesse sendo uma palavra na qual o usuário está interessado, a palavra de contexto precedente sendo uma palavra um número predeterminado de palavras antes da palavra de estimativa de interesse, da palavra de contexto seguinte sendo uma palavra um número predeterminado de palavras atrás da palavra de estimativa de interesse; e

Petição 870180033392, de 25/04/2018, pág. 126/131

3/5 uma unidade de geração de vetor de sentença (4) configurada para converter o vetor da palavra de contexto precedente, convertida pela unidade de conversão de vetor de palavra (3), a um vetor de contexto precedente usando uma segunda unidade de aprendizagem (7) e converter o vetor da palavra de contexto seguinte, convertido pela unidade de conversão de vetor de palavra (3), em um vetor de contexto seguinte usando a segunda unidade de aprendizagem (7), o vetor de contexto precedente e o vetor de contexto seguinte indicando um recurso de uma sentença, a unidade de geração de vetor de sentença (4) sendo configurada para gerar um vetor conectado obtido pela conexão do vetor de contexto precedente convertido e o vetor de contexto seguinte convertido ao vetor da palavra de estimativa de interesse.
5. Sistema de determinação de interesse (1), de acordo com a reivindicação 4, caracterizado pelo fato de que:

a unidade de geração de vetor de sentença (4) é configurada para gerar o vetor conectado para cada uma das peças de informação de diálogo na qual o usuário está interessado; e a unidade de aquisição de dados inclui, ainda, uma unidade de geração de modelo de gosto (5) configurada para calcular uma média dos vetores conectados gerados pela unidade de geração de vetor de sentença (4) como a informação de vetor do usuário no modelo de gosto.
6. Sistema de determinação de interesse (1), de acordo com a reivindicação 4 ou 5, caracterizado pelo fato de que compreende ainda uma terceira unidade de aprendizagem (8) configurada para ser otimizada utilizando um segundo valor de entrada e um segundo valor de saída, o segundo valor de entrada sendo definido ao vetor conectado que é gerado pela unidade de geração de vetor de sentença (4), o segundo valor de saída sendo definido para informação indicando se há o interesse do usuário.

Petição 870180033392, de 25/04/2018, pág. 127/131

4/5
7. Sistema de determinação de interesse (1), de acordo com a reivindicação 6, caracterizado pelo fato de que a primeira unidade de aprendizagem (9), a segunda unidade de aprendizagem (7) e a terceira unidade de aprendizagem (8) são configuradas para serem otimizadas ao mesmo tempo.
8. Sistema de determinação de interesse (1), de acordo com a reivindicação 6 ou 7, caracterizado pelo fato de que a primeira unidade de aprendizagem (9), a segunda unidade de aprendizagem (7) e a terceira unidade de aprendizagem (8) são uma rede neural.
9. Método de determinação de interesse, caracterizado pelo fato de que compreende:

adquirir um primeiro grupo de dados indicando um recurso de cada palavra contido na informação de diálogo de um usuário;

fazer com que uma primeira unidade de aprendizagem (9) aprenda utilizando um primeiro valor de entrada e um primeiro valor de saída, o primeiro valor de entrada sendo definido a um grupo de dados que associa o primeiro grupo de dados com um segundo grupo de dados indicando um recurso de uma palavra predeterminada, o primeiro valor de saída sendo definido para a informação indicando se há um interesse do usuário; e quando um grupo de dados que associa um terceiro grupo de dados indicando um recurso de uma palavra a ser determinada com o primeiro grupo de dados foi inserido à primeira unidade de aprendizagem (9), determinar se há o interesse do usuário na palavra a ser determinada, com base em um valor de saída emitido da primeira unidade de aprendizagem (9).
10. Meio de armazenamento legível por computador, caracterizado pelo fato de que compreende:

uma unidade de armazenamento configurada para armaze

Petição 870180033392, de 25/04/2018, pág. 128/131

5/5 nar um programa de computador, em que, quando o programa de computador for executado, o programa de computador faz com que um computador execute instruções para:

i) adquirir um primeiro grupo de dados indicando um recurso de cada palavra contido na informação de diálogo de um usuário;

ii) fazer com que uma primeira unidade de aprendizagem (9) aprenda utilizando um primeiro valor de entrada e um primeiro valor de saída, o primeiro valor de entrada sendo definido para um grupo de dados que associa o primeiro grupo de dados com um segundo grupo de dados indicando um recurso de uma palavra predeterminada, o primeiro valor de saída sendo definido para a informação indicando se há um interesse do usuário; e iii) quando um grupo de dados que associa um terceiro grupo de dados indicando um recurso de uma palavra a ser determinada com o primeiro grupo de dados foi inserido à primeira unidade de aprendizagem (9), determinar se há o interesse do usuário na palavra a ser determinada, com base em um valor de saída emitido da primeira unidade de aprendizagem (9).