BR102018008580A2

BR102018008580A2 - método de treinamento de rede neural com ajuste de retropropagação resiliente utilizando redes neurais evolutivas

Info

Publication number: BR102018008580A2
Application number: BR102018008580-8A
Authority: BR
Inventors: Monteiro Passos Graciliano
Original assignee: Monteiro Passos Graciliano
Priority date: 2018-04-27
Filing date: 2018-04-27
Publication date: 2019-11-12

Abstract

método de treinamento de rede neural com ajuste de retropropagação resiliente utilizando redes neurais evolutivas. a presente invenção refere-se a uma técnica de treinamento de redes neurais artificiais de forma a adaptar as configurações internas do algoritmo de retropropagação resiliente a medida que o treinamento evolui, utilizando os conceitos de algoritmos genéticos e redes neurais evolutivas. desta forma, cria-se a possibilidade de uma sintonia (tunning) mais adequada e mais rápida para o dado a ser aprendido ao invés de uma sintonia estática e universal para qualquer dado.

Description

“MÉTODO DE TREINAMENTO DE REDE NEURAL COM AJUSTE DE RETROPROPAGAÇÃO RESILIENTE UTILIZANDO REDES NEURAIS EVOLUTIVAS”

CAMPO DA INVENÇÃO [001] A presente invenção compreende um método para otimizar e melhorar o desempenho do algoritmo de retropropagação resiliente (RPROP - resiliente backpropagation) com o auxílio de redes neurais evolutivas para a sintonia ou ajuste (tunning - configurações internas do algoritmo) melhor para cada tipo de dado a ser treinado.

FUNDAMENTOS DA INVENÇÃO [002] Como sabido por aqueles técnicos no assunto, as redes neurais artificiais dependem de um algoritmo de treinamento para que possam ser utilizadas.

[003] É bastante difundido o algoritmo de treinamento de redes neurais chamado de RPROP, retropropagação resiliente ou “resilient backpropagation” no termo em inglês largamente utilizado. De modo simplificado, o algoritmo de retropropagação utiliza passos de programação e retropropagação em cada etapa de treinamento. No passo de programação, um sinal de entrada é propagado pela rede até produzir uma resposta na camada de saída. A resposta de saída é comparada com uma resposta alvo (target), indicado o erro. No passo de retropropagação, o erro é retropropagado da camada de saída até a camada de entrada, sendo que os parâmetros do algoritmo vão sendo modificado conforme o erro é propagado.

[004] O algoritmo RPROP tem como uma de suas principais estratégias o ajuste dos passos dados a cada etapa de treinamento: o algoritmo utiliza ajustes que vão aumentando ou diminuindo a medida que o alvo (target) de treinamento é aproximado.

[005] A taxa de aumento e de diminuição dos ajustes feitos a cada passo é fixa ou aleatória dentro de uma faixa fixa. Assim, é utilizada uma sintonia (tunning) universal para qualquer tipo de dado a ser treinado.

Petição 870180034467, de 27/04/2018, pág. 6/13

2/5 [006] Assim, permanece no estado da técnica a necessidade por um método de treinamento mais rápido, onde o ajuste (tunning) leve em conta e seja melhor adaptado ao tipo de dado a ser treinado. Nesse sentido, ressalta-se que um processo de treinamento otimizado reduz consideravelmente o custo computacional associado, tornando a aplicação desse tipo de técnica comercialmente interessante.

OBJETIVOS DA INVENÇÂO [007] É um dos objetivos da presente invenção proporcionar um método de treinamento de redes neurais que seja capaz de otimizar e melhorar o desempenho do algoritmo de retropropagação, utilizando redes neurais evolutivas.

[008] É mais um dos objetivos da presente invenção proporcionar um método que seja capaz de otimizar e melhorar o desempenho do algoritmo de retropropagação ao oferecer o melhor ajuste (tunning) para cada tipo de dado a ser treinado.

[009] É ainda outro dos objetivos da presente invenção proporcionar um método que seja capaz de reduzir o tempo de treinamento e o custo computacional associados ao treinamento de redes neurais artificiais com o algoritmo RPROP.

[0010] É ainda outro dos objetivos da presente invenção proporcionar um método que seja capaz de adaptar o algoritmo RPROP à medida que o treinamento da rede neural é feito, permitindo que o algoritmo tome decisões e ajuste de forma mais adequada ao dado sendo treinado, assim atingindo treinamentos de forma mais rápida.

BREVE DESCRIÇÃO DA INVENÇÃO [0011] A invenção contempla um método de treinamento de redes neurais que visa otimizar o desempenho do algoritmo de retropropagação resiliente (RPROP - resiliente backpropagation) com o auxílio de redes neurais evolutivas para a sintonia ou ajuste (tunning - configurações internas do algoritmo) melhor para cada tipo de dado a ser treinado.

[0012] Assim, o conceito de redes neurais evolutivas é utilizado para

Petição 870180034467, de 27/04/2018, pág. 7/13

3/5 permitir uma adaptação das taxas e faixas de ajustes para o dado que está sendo treinado no momento, aumentando a chance de um treinamento mais rápido e o uso de uma sintonia mais adequada aos dados.

DESCRIÇÃO DETALHADA DA INVENÇÃO [0013] A presente invenção contempla um método de treinamento que visa otimizar o desempenho do algoritmo de retropropagação resiliente (RPROP - resiliente backpropagation) com o auxílio de redes neurais evolutivas para a sintonia ou ajuste (tunning - configurações internas do algoritmo) melhor para cada tipo de dado a ser treinado.

[0014] A computação evolutiva é baseada em algoritmos inspirados na evolução, e na genética, de modo que os princípios evolutivos - seleção natural, mutação, recombinação, etc. - são aplicados para encontrar soluções ótimas para problemas computacionais reais.

[0015] Assim, o método de acordo com a presente invenção compreende as seguintes etapas:

[0016] a) definir uma codificação (CODING) que representa os parâmetros de sintonia utilizados pelo algoritmo de retropropagação resiliente; sendo que cada instância de codificação (CODING) possui uma rede neural utilizando o algoritmo de retropropagação (RPROP) de acordo com a codificação (CODING);

[0017] b) definir a forma de variação da codificação (CODING);

[0018] c) definir o alvo de treinamento (TARGET) para o conjunto de dados utilizado no treinamento;

[0019] d) criar N variações de codificação (CODING), de modo a compor instância iniciais do algoritmo de retropropagação (EVO-RPROP); cada instância correspondendo ao algoritmo de retropropagação (RPROP) configurado de acordo com a variação de codificação (CODING) associada; N compreendendo um número inteiro finito;

[0020] e) executar um número X de etapas de treinamento em cada algoritmo de retropropagação (EVO-RPROP); X sendo um número inteiro finito;

Petição 870180034467, de 27/04/2018, pág. 8/13

4/5 [0021] f) gerar novas instâncias de algoritmo de retropropagação (EVO-RPROP) que derivam das codificações (CODINGS) utilizadas nas etapas anteriores, sendo que os algoritmos de retropropagação (EVORPROP) que possuem melhor treinamento terão maior probabilidade de gerar novas codificações (CODINGS);

[0022] Essas novas instâncias geradas possuem novas codificações (CODINGS) e cópias de seus respectivos algoritmos de retropropagação (RPROP) no ponto atual de treinamento, mas agora utilizando a nova codificação (CODING) para configuração interna, sendo que as novas codificações são derivadas das codificações selecionadas (SEEDCODINGS). As melhores instâncias são as mais próximas do alvo de treinamento (TARGET).

[0023] g) executar um número X de etapas de treinamento em cada algoritmo de retropropagação (EVO-RPROP); X sendo um número inteiro finito;

[0024] h) conferir se o alvo de treinamento foi atingido em alguma instância do algoritmo de retropropagação (EVO-RPROP);

[0025] i) se o alvo de treinamento foi atingido em alguma instância, concluir o treinamento; mas se o alvo de treinamento não foi atingido em alguma instância, continuar o treinamento;

[0026] j) se o treinamento continuar, remover um número Y de instâncias do algoritmo de retropropagação (EVO-RPROP), sendo que as instâncias com pior desempenho no treinamento têm maior probabilidade de serem removidas;

[0027] Nesse sentido, as instâncias de pior desempenho são aquelas mais distantes do alvo de treinamento (TARGET). O número Y é um número inteiro finito, menor que o número atual de instâncias (EVORPROP), derivado de uma taxa T sobre este número atual de instâncias (EVO-RPROP). A taxa T pode ser qualquer taxa determinada por quem aplica a solução.

[0028] k) retornar à etapa “f” até que o alvo de treinamento seja

Petição 870180034467, de 27/04/2018, pág. 9/13

5/5 atingido na etapa “i”.

[0029] Na concretização preferida da presente invenção, a variação da codificação (CODING) da etapa b) é feita aleatoriamente sobre uma codificação de origem (SEED-CODING). Cada variação nova consistindo em uma nova codificação não idêntica, mas similar a codificação de origem, devido a alteração aleatória, mas não total, sobre a codificação de origem (SEED-CODING). A codificação de origem é qualquer codificação (CODING) pré-existente selecionada para gerar novas variações.

Claims

REIVINDICAÇÕES

1. Método de treinamento de rede neural com ajuste de retropropagação resiliente utilizando redes neurais evolutivas, caracterizado pelo fato de que compreende:

a) definir uma codificação que representa os parâmetros de sintonia utilizados pelo algoritmo de retropropagação resiliente; sendo que cada instância de codificação possui uma rede neural utilizando o algoritmo de retropropagação de acordo com a codificação;

b) definir a forma de variação da codificação;

c) definir o alvo de treinamento (TARGET) para o conjunto de dados utilizado no treinamento;

d) criar N variações de codificação, de modo a compor instância iniciais do algoritmo de retropropagação, cada instância correspondendo ao algoritmo de retropropagação de acordo a variação de codificação criada; onde N é um número inteiro finito;

e) executar um número X de etapas de treinamento em cada algoritmo de retropropagação; onde X é um número inteiro finito;

f) gerar novas instâncias de algoritmo de retropropagação, as quais que derivam das codificações utilizadas nas etapas anteriores, sendo que os algoritmos de retropropagação que possuem melhor treinamento terão maior probabilidade de gerar novas codificações (CODINGS);

g) executar um número X de etapas de treinamento em cada algoritmo de retropropagação das novas instâncias de algoritmo de retropropagação; onde X é um número inteiro finito;

h) conferir se o alvo de treinamento foi atingido em alguma instância do algoritmo de retropropagação;

i) se o alvo de treinamento foi atingido em alguma instância, concluir o treinamento; mas se o alvo de treinamento não foi atingido em alguma instância, continuar o treinamento;

j) se o treinamento continuar, remover um número Y de instâncias do algoritmo de retropropagação, sendo que as instâncias com pior desempenho no treinamento têm maior probabilidade de serem removidas; onde Y é um

Petição 870180034467, de 27/04/2018, pág. 11/13
2/2 número inteiro finito menor que o número atual de instâncias do algoritmo de retropropagação

k) retornar à etapa “f” até que o alvo de treinamento seja atingido na etapa

2. Método de treinamento, de acordo com a reivindicação 1, caracterizado pelo fato de que a variação da codificação (CODING) da etapa b) é feita aleatoriamente sobre uma codificação de origem.
3. Método de treinamento, de acordo com a reivindicação 1 ou 2, caracterizado pelo fato de que Y é um número derivado de uma taxa sobre o número atual de instâncias do algoritmo de retropropagação.