DK3251059T3 - Batch-normaliseringslag - Google Patents

Claims (15)

1. BATCH-NORM ALISERINGSLAG E Neuralt netværkssystem (100), der er implementeret af én eller flere computere, hvilket neuralt netværkssystem omfatter: et batch-normaliseringslag (108) mellem et første neuralt netværkslag (104) og et andet neuralt netværkslag (112), hvor det første neurale netværkslag genererer første lag-output med en flerhed af komponenter, og hvor batch-normaliseringslaget er konfigureret til, under træning af det neurale netværkssystem på en batch af træningseksempler, at: modtage et tilsvarende første lag-output for hvert træningseksempel i batchen; beregne en flerhed af normaliseringsstatistikker for batchet ud fra de første lag-outputs; normalisere hver komponent af hvert første lag-output ved anvendelse af normaliseringsstatistikkerne til at generere et tilsvarende normaliseret lag-output for hvert træningseksempel i batchen; generere et tilsvarende batch-normaliseringslag-output for hvert af træningseksempleme ud fra de normaliserede lag-outputs; og tilvejebringe batch-normaliseringslag-outputtet som et input til det andet neurale netværkslag; hvor flerheden af komponenter af det første lag-output er indekseret efter dimension, og hvor beregning af en flerhed af normaliseringsstatistikker for de første lag-outputs omfatter: beregning, for hver af dimensionerne, af en middelværdi for komponenterne af de første lagoutputs i dimensionen; og beregning, for hver af dimensionerne, af en standardafvigelse for komponenterne af de første lagoutputs i dimensionen.
2. 2. Neuralt netværkssystem ifølge krav 1, hvor normalisering af hver komponent af hvert lag-output omfatter: normalisering af komponenten ved anvendelse af den beregnede middelværdi og beregnede standardafvigelse for den dimension, der svarer til komponenten.
3. 3. Neuralt netværkssystem ifølge krav 1 eller 2, hvor batch-normaliseringslaget bevarer et tilsvarende sæt af parametre for hver dimension, og hvor generering af det tilsvarende batch-normaliseringslag-output for hvert af træningseksempleme ud fra de normaliserede lag-outputs omfatter: transformering, for hver dimension, af komponenten af det normaliserede lag-output for træningseksemplet i dimensionen i overensstemmelse med aktuelle værdier af et sæt af parametre for dimensionen.
4. 4. Neuralt netværkssystem ifølge krav 3, hvor batch-normaliseringslaget er konfigureret til, efter at det neurale netværkssystem er blevet trænet til at bestemme trænede værdier af parametrene for hver af dimensionerne, at: modtage et nyt første lag-output genereret af det første neurale netværkslag for et nyt neuralt netværks-input; normalisere hver komponent af det nye første lag-output ved anvendelse af forudberegnede middel- og standardafvigelsesstatistikker for dimensionerne for at generere et nyt normaliseret lag-output; generere et nyt batch-normaliseringslag-output ved transformering, for hver dimension, af komponenten af det nye normaliserede lag-output for træningseksemplet i dimensionen i overensstemmelse med trænede værdier af sættet af parametre for dimensionen; og tilvejebringe batch-normaliseringslag-outputtet som et nyt lag-input til det andet neurale netværkslag.
5. 5. Neuralt netværkssystem ifølge krav 4, hvor de forudberegnede middel- og standardafvigelsesstatistikker for dimensionerne er beregnet ud fra de første lag-outputs genereret af det første neurale netværkslag under træning af det neurale netværkssystem eller er beregnet ud fra nye første lag-outputs genereret af det første neurale netværkslag, efter at det neurale netværk er blevet trænet.
6. 6. Neuralt netværkssystem implementeret af én eller flere computere, hvilket neuralt netværkssystem omfatter: et batch-normaliseringslag mellem et første neuralt netværkslag og et andet neuralt netværkslag, hvor det første neurale netværkslag genererer første lag-outputs med en flerhed af komponenter, og hvor batch-normaliseringslaget er konfigureret til, under træning af det neurale netværkssystem på en batch af træningseksempler, at: modtage et tilsvarende første lag-output for hvert træningseksempel i batchen; beregne en flerhed af normaliseringsstatistikker for batchet fra de første lag-outputs; normalisere hver komponent af hvert første lag-output ved anvendelse af normaliseringsstatistikkerne for at generere et tilsvarende normaliseret lag-output for hvert træningseksempel i batchen; generere et tilsvarende batch-normaliseringslag-output for hvert af træningseksempleme ud fra de normaliserede lag-outputs; og tilvejebringe batch-normaliseringslag-outputtet som et input til det andet neurale netværkslag; hvor det første neurale netværkslag er et konvolutionslag, hvor flerheden af komponenter af det første lag-output er indekseret efter karakteristikindeks og rumligt lokalitetsindeks, og hvor beregning af en flerhed af normaliseringsstatistikker for de første lag-outputs omfatter, for hvert af karakteristikindekserne: beregning af en middelværdi for komponenterne af de første lag-outputs, der svarer til karakteristikindekset; og beregning af en varians for komponenterne af de første lag-outputs, der svarer til karakteristikindekset.
7. 7. Neuralt netværkssystem ifølge krav 6, hvor normalisering af hver komponent af hvert lag-output omfatter: normalisering af komponenten ved anvendelse af middelværdien og variansen for det karakteristikindeks, der svarer til komponenten.
8. 8. Neuralt netværkssystem ifølge krav 6 eller 7, hvor generering af det tilsvarende batch-normaliseringslag-output for hvert af træningseksemplerne fra de normaliserede lag-outputs omfatter: transformering af hver komponent af det normaliserede lag-output i overensstemmelse med aktuelle værdier af et sæt af parametre for det karakteristikindeks, der svarer til komponenten.
9. 9. Neuralt netværkssystem ifølge krav 8, hvor batch-normaliseringslaget er konfigureret til, efter at det neurale netværk er blevet trænet til at bestemme trænede værdier af parametrene for hver af dimensionerne, at: modtage et nyt første lag-input genereret fra et nyt neuralt netværks-input; normalisere hver komponent af det nye første lag-output ved anvendelse af forberegnede middel-og standardafvigelsesstatistikker for karakteristikindekseme til at generere et nyt normaliseret lag-output; generere et nyt batch-normaliseringslag-output ved transformering af hver komponent af det normaliserede lag-output i overensstemmelse med trænede værdier af sættet af parametre for det karakteristikindeks, der svarer til komponenten; og tilvejebringe det nye batch-normaliseringslag-output som et nyt lag-input til det andet neurale netværkslag.
10. 10. Neuralt netværkssystem ifølge krav 6, hvor flerheden af komponenter af det første lag-output er indekseret efter karakteristikindeks og rumligt lokalitetsindeks, og hvor beregning af en flerhed af normaliseringsstatistikker for de første lag-outputs endvidere omfatter: beregning, for hver kombination af karakteristikindeks og rumligt lokalitetsindeks, af en middelværdi for komponenterne af de første lag-outputs med karakteristikindekset og rumligt lokalitetsindeks; beregning, for hvert karakteristikindeks, af et gennemsnit af middelværdierne for kombinationerna, der indbefatter karakteristikindekset; beregning, for hver kombination af karakteristikindeks og rumligt lokalitetsindeks, af en varians for komponenterne af de første lag-outputs med karakteristikindekset og rumligt lokalitetsindeks; og beregning, for hvert karakteristikindeks, af et gennemsnit af varianseme for kombinationerna, der indbefatter karakteristikindekset.
11. 11. Neuralt netværkssystem ifølge krav 6, hvor normalisering af hver komponent af hvert lag-output omfatter: normalisering af komponenten ved anvendelse af gennemsnittet af middelværdierne og gennemsnittet af varianserne for det karakteristikindeks, der svarer til komponenten.
12. 12. Neuralt netværkssystem ifølge et hvilket som helst af kravene 1-11, hvor det første neurale netværkslag genererer de første lag-outputs ved modificering af de første lag-inputs i overensstemmelse med aktuelle værdier af et sæt af parametre for det første neurale netværkslag og hvor det andet neurale netværkslag genererer andet lag-outputs ved anvendelse af en ikke-lineær operation til batch-normaliseringslag-outputs; eller hvor det første neurale netværkslag genererer de første lag-outputs ved modificering af første lag-inputs i overensstemmelse med aktuelle værdier af et sæt af parametre for det første neurale netværkslag for at generere modificerede første lag-inputs og derefter anvendelse af en ikke-lineær operation til de modificerede første lag-inputs.
13. 13. Neuralt netværkssystem ifølge et hvilket som helst af kravene 1-12, hvor, under træningen af det neurale netværk, det neurale netværkssystem er konfigureret til at tilbagepropagere normaliseringsstatistikkerne som en del af justering af værdier af det neurale netværks parametre.
14. 14. Fremgangsmåde til behandling af data ved anvendelse af det neurale netværkssystem ifølge et hvilket som helst af kravene 1-13, hvor fremgangsmåden omfatter udførelse af handlinger med et batch-normaliseringslag mellem et første neuralt netværkslag og et andet neuralt netværkslag, hvor det første neurale netværkslag genererer første lag-output med en flerhed af komponenter, hvor fremgangsmåden omfatter anvendelse af batch-normaliseringslaget til, under træning af det neurale netværkssystem på en batch af træningseksempler, at: modtage et tilsvarende første lag-output for hvert træningseksempel i batchen; beregne en flerhed af normaliseringsstatistikker for batchet fra de første lag-outputs; normalisere hver komponent af hvert første lag-output ved anvendelse af normaliseringsstatistikkerne til at generere et tilsvarende normaliseret lag-output for hvert træningseksempel i batchen; generere et tilsvarende batch-normaliseringslag-output for hvert af træningseksempleme ud fra de normaliserede lag-outputs; og tilvejebringe batch-normaliseringslag-outputtet som et input til det andet neurale netværkslag; hvor flerheden af komponenter af det første lag-output er indekseret efter i) dimension eller ii) hvor det første neurale netværkslag er et konvolutionslag og hvor flerheden af komponenter af det første lag-output er indekseret efter karakteristikindeks og rumligt lokalitetsindeks, og hvor beregning af en flerhed af normaliseringsstatistikker for de første lag-outputs endvidere omfatter, for (i): beregning, for hver af dimensionerne, af en middelværdi for komponenterne af de første lagoutputs i dimensionen; og beregning, for hver af dimensionerne, af en standardafvigelse for komponenterne af de første lagoutputs i dimensionen; og for (ii): beregning, for hvert af karakteristikindekseme, af en middelværdi for komponenterne af de første lag-outputs, der svarer til karakteristikindekset; og beregning, for hvert af karakteristikindekserne, af en varians for komponenterne af de første lagoutputs der svarer til karakteristikindekset.
15. 15. Et eller flere ikke-transitoriske computerlagringsmedier, der er kodet med et computerprogram, hvilket computerprogram omfatter instruktioner, der, når de udføres af én eller flere computere, bevirker, at den ene eller flere computere implementerer fremgangsmåden ifølge krav 14.