<Desc/Clms Page number 1>
PATROONHERKENNING MET BEHULP VAN CONTEXTUELE CORRELATIE
De onderhavige uitvinding verschaft een werkwijze voor het met een minimaal verlies van relevante informatie reduceren van de hoeveelheden gegevens in een gegevensverzameling, waaruit een patroon van gegevens herkend moet worden.
Een gegevensverzameling kan een reeks elementen bevatten, zoals pixels of beeldpunten in een beeld, waarvan elk element een aantal waarden, hier informatiewaarden of codes genoemd, kan aannemen. Het belang van herkenning van patronen in gegevensverzamelingen is groot. Indien de gegevensverzameling bijvoorbeeld beeldpunten bevat van een getypte of handgeschreven tekst, kunnen door patroonherkenning de afzonderlijke letters van die tekst herkend worden. Zelfs bij aanwezigheid van ruis in het te herkennen beeld is het vaak nog mogelijk de originele patronen te herkennen.
Indien de gegevensverzameling bijvoorbeeld een medische foto is, kunnen door patroon-herkenning celafwijkingen of celwoekeringen in een vroegtijdig stadium herkend worden.
Volgens de huidige stand der techniek zijn diverse werkwijzen bekend voor het herkennen van patronen in gegevensverzamelingen. Zo zijn er statistische werkwijzen die echter de structurele informatie in de verbindingen in complexe patronen niet goed kunnen behandelen. Ook zijn er bijvoorbeeld beschrijvende werkwijzen, waarbij getracht wordt de eigenschappen van de te herkennen patronen te definiëren. Deze werkwijzen stuit op problemen wanneer de te herkennen patronen complex zijn. Tevens kan voor het herkennen van patronen gebruik gemaakt worden van neurale netwerken. Het gebruik van neurale netwerken voor het herkennen van patronen in grote gegevensverzamelingen stuit echter op beperkingen
<Desc/Clms Page number 2>
van de capaciteit van de huidige computers, waarmee de neurale netwerken worden doorgerekend.
De werkwijze volgens de onderhavige uitvinding extraheert relevante informatie uit de gegevensverzameling, gebaseerd op de interne informatie-inhoud die geschat is uit de statistische eigenschappen die aanwezig zijn in een leerverzameling van al gekende (a priori) patronen die tijdens een trainingfase aan de inrichting van de uitvinding worden aangeboden. Niet relevante of overbodige informatie wordt volgens de onderhavige werkwijze buiten beschouwing gelaten.
Hierdoor wordt de omvang van de gegevensverzameling gereduceerd, waarbij een minimaal verlies van relevante informatie plaatsvindt.
De onderhavige uitvinding betreft een werkwijze en inrichting voor het voor patroonherkenning reduceren van de hoeveelheid digitale informatie in een gegevensverzameling. De werkwijze omvat de volgende stappen : - het tijdens een trainingfase bepalen van bij ten minste een bekend patroon behorende, digitale a priori informatiewaarden. Deze a priori informatiewaarden vormen een leerverzameling, die in een latere stap gebruikt wordt bij de herkenning van patronen.
- het bepalen van bij een te herkennen patroon behorende digitale informatiewaarden van eerste elementen. De eerste elementen kunnen bijvoorbeeld pixels van een beeld zijn, in welk beeld een patroon herkend moet worden. Digitale informatiewaarden zijn dan bijvoorbeeld de grijstintwaarden of kleurwaarden van de pixels.
- het groeperen van twee of meer eerste elementen ; - het combineren van gegroepeerde eerste elementen in tweede elementen, waarbij het aantal digitale informatiewaarden voor elk tweede element ten minste verdubbeld wordt ; - het voor elk tweede element op basis van patrooninformatie uit de leerverzameling, die gevormd is in de trainingfase, samenvoegen van minimaal twee
<Desc/Clms Page number 3>
digitale informatiewaarden tot in een gereduceerd tweede element met een gereduceerd aantal informatiewaarden.
De patrooninformatie wordt berekend aan de hand van een statistische schatting van de waarschijnlijkheid dat de digitale informatiewaarde behoort bij een bepaald patroon. Deze statistische schatting wordt berekend uit de gegevens van de leerverzameling.
De in de laatste stap genoemde samenvoeging van informatiewaarden geschiedt op een zodanige wijze, dat zo weinig mogelijk patrooninformatie verloren gaat. Aan de hand van de a priori bekende mogelijke patronen kan de beste schatting van de waarschijnlijkheid berekend worden dat een combinatie van een bepaalde informatiewaarde en een bepaald patroon optreedt. Aan de hand van de berekende schatting van de waarschijnlijkheid van alle mogelijke combinaties van informatiewaarden en patronen is een beslissingscriterium opgesteld, waarmee de combinatie van patroon en informatiewaarde kan worden bepaald, welke bij samenvoeging een minimaal verlies van patrooninformatie oplevert.
In het onderstaande zal de onderhavige uitvinding aan de hand van een voorkeursuitvoeringsvorm worden beschreven. De uitvoeringsvorm wordt geillustreerd in figuren, waarin : - figuur 1 een schematisch overzicht van de inrichting volgens de onderhavige uitvinding is ; - figuur 2 een deel van een beeld van een te herkennen patroon is weergegeven ; - figuur 3 lijsten zijn weergegeven van het aantal keren dat een combinatie van patroon en beeldpuntwaarde optreedt ; - figuur 4 schematisch het samenvoegen van beeldpunten weergeeft ; - figuur 5 de omzetting van de codering van de informatiewaarde na combinatie illustreert ; - figuur 6 een grafiek bevat, welke het verloop van de totale informatie als functie van de combineer-en samenvoegstappen weergeeft.
<Desc/Clms Page number 4>
In fig. 1 is een inrichting volgens de onderhavige uitvinding weergeven. De inrichting omvat ondermeer : - computer 1 waarmee de in het onderstaande te verklaren werkwijzen volgens de onderhavige uitvinding kunnen worden uitgevoerd ; - invoerterminal 2 voor het in de computer invoeren van digitale informatiewaarden ; de invoer kan geschieden met behulp van een toetsenbord. In het algemeen is de invoer echter afkomstig van een extern elektronische inrichting zoals beeldpunten, een videocamera, scanner en dergelijk.
- verbindingen 3 tussen de computer, de invoerterminal 2 en de uitvoerterminal 4 voor het mogelijk maken van gegevensoverdracht hiertussen.
- uitvoerterminal 4 voor het uitvoeren van de resultaten van de werkwijze volgens de onderhavige uitvinding.
In fig. 2 is een voorbeeld gegeven van een beeld dat bestaat uit negen beeldpunten, die een waarde "1" (= zwart) of een waarde "0" (= wit) kunnen aannemen.
Voor de eenvoud wordt hier uitgegaan van een zwart-wit beeld, dus zonder grijswaarden of kleuren. In de figuur zijn drie beeldpunten aangeduid met respectievelijk R, S en T. Stel dat er twee patronen, te weten "/" en "\" door het systeem te herkennen zijn. Allereerst wordt dan in de zogeheten trainingsfase of voorbereidingsfase de waarde van alle beeldpunten bepaald, zowel wanneer de
EMI4.1
beeldpunten het patroon"/", alsmede wanneer de beeldpunten resultaten van de trainingsfase vormen de leerverzameling, waarin per beeldpunt een lijst wordt samengesteld die alle combinaties van patronen a en waarden i van beeldpunten bevat.
In fig. 3 zijn voor de drie beeldpunten R, S en T deze lijsten weergegeven. Aan de hand van de lijsten wordt de frequentie bepaald waarmee de combinaties van
<Desc/Clms Page number 5>
beeldpuntwaarden en te herkennen patronen in het betreffende beeldpunt van de leerverzameling voorkomen.
In het voorbeeld bezit elk patroon dezelfde combinatie van beeldpuntwaarden. Dit is in het algemeen echter niet het geval. Bij de herkenning van letter bijvoorbeeld is het zeer goed mogelijk dat een bepaalde letter meerdere uitvoeringen heeft, aangezien letters op verschillende wijzen gerepresenteerd kunnen worden.
Hierdoor is het mogelijk dat bij hetzelfde patroon ("letter") verschillende combinaties van beeldpuntwaarden optreden. Alhoewel een letter meerdere representaties kan hebben, is er echter wel een grote mate van onderlinge overeenkomst aanwezig.
Uit de in fig. 3 weergegeven lijsten kan bepaald worden hoe vaak een combinatie van een bepaald patroon en een beeldpuntwaarde optreedt. Het aantal keren dat een dergelijke combinatie optreedt, wordt aangeduid met'InRlcl, waarin R de aanduiding van het betreffende beeldpunt is, i de aanduiding van de digitale beeldpuntwaarde is en a de aanduiding van het betreffende patroon is.
In tabel 1 zijn voor beeldpunten R, S en T de overeenkomstige waarden voor n weergegeven.
EMI5.1
<tb>
<tb> element <SEP> R <SEP> element <SEP> S <SEP> element <SEP> T
<tb> n0/ <SEP> 2 <SEP> 2 <SEP> 0
<tb> n1/ <SEP> 0 <SEP> 0 <SEP> 2
<tb> n0\ <SEP> 0 <SEP> 2 <SEP> 2
<tb> n0/ <SEP> 2 <SEP> 0 <SEP> 0
<tb>
Tabel 1 Aantal keren dat een combinatie van patroon en beeldpuntwaarde optreedt Vervolgens wordt voor alle beeldpunten en alle mogelijke beeldpuntwaarden de waarschijnlijkheid p berekend dat deze bij een bepaald patroon optreden.
<Desc/Clms Page number 6>
De waarschijnlijkheid wordt berekend met behulp van de zogeheten Laplace Samplesize Corrector :
EMI6.1
Pict = P"F n,, +l i -E7 j
EMI6.2
In tabel 2 zijn voor de drie beeldpunten R, S en T met de bovenstaande uitdrukking de waarschijnlijkheden per beeldpuntwaarde en patroon weergegeven.
De kansen voor de overige beeldpunten kunnen op analoge wijze berekend worden.
EMI6.3
<tb>
<tb> beeldpunt <SEP> R <SEP> beeldpunt <SEP> S <SEP> beeldpunt <SEP> T
<tb> Pol <SEP> 3/8 <SEP> 3/8 <SEP> 1/8
<tb> Pli <SEP> 1/8 <SEP> 1/8 <SEP> 3/8
<tb> PO\ <SEP> 1/8 <SEP> 3/8 <SEP> 3/8
<tb> POl <SEP> 3/8 <SEP> 1/8 <SEP> 1/8 <SEP>
<tb>
Tabel 2 Waarschijnlijkheden per beeldpuntwaarde en patroon voor beeldpunten R, S en T.
De beeldpunten worden vervolgens gegroepeerd in groepen van twee beeldpunten. Aangezien de correlatie tussen naburige beeldpunten in het algemeen groter is dan tussen ver uit elkaar gelegen beeldpunten, worden bij voorkeur naburige beeldpunten gegroepeerd. Een gegroepeerd paar van beeldpunten wordt vervolgens gecombineerd tot een nieuw beeldpunt. Hierdoor wordt het totaal aantal beeldpunten gehalveerd. De hoeveelheid mogelijke beeldpuntwaarden wordt echter verdubbeld.
Hierdoor gaat geen informatie verloren. De groepering van beeldpunten kan overigens op een aantal verschillende manieren plaatsvinden : bijvoorbeeld eerst tussen op een horizontale lijn gelegen beeldpunten en vervolgens tussen op een verticale lijn gelegen beeldpunten. In het
<Desc/Clms Page number 7>
voorbeeld zijn op een horizontale lijn gelegen beeldpunten R en S gecombineerd.
In fig. 4 is het proces van het combineren van beeldpunten weergegeven. In die figuur duiden genummerde rechthoeken de beeldpunten aan. Bij elke stap van de ene laag naar de andere laag (dat wil zeggen na elke combinatie) halveert het aantal beeldpunten, totdat in dit geval na vier keer samenvoegen slechts een beeldpunt overblijft.
Voor de mogelijke combinatie van beeldpunten kan een nieuwe codering worden gebruikt. In fig. 5 is voor de verschillende combinaties van beeldpunten R en S een nieuwe codering gegeven. Het resultaat van het samenvoegen van twee beeldpunten R en S is derhalve in dit geval een enkel beeldpunt V met beeldpuntwaarde 0, 1, 2 of 3. De waarschijnlijkheid p dat het beeldpunt R de beeldpuntwaarden i heeft, beeldpunt S de beeldpuntwaarde j heeft en het patroon gelijk is aan a kan iteratief
EMI7.1
worden bepaald of is te benaderen door de uitdrukking
EMI7.2
R ''"D-P,
EMI7.3
Hiermee en met de informatie uit fig. 3 kunnen de waarschijnlijkheden voor elke combinatie van nieuwe beeldpuntwaarden en patronen bepaald worden.
In tabel 3 is het resultaat hiervan weergegeven.
EMI7.4
<tb>
<tb> patroon"/" <SEP> patroon"\"
<tb> P0/ <SEP> 9/32 <SEP> P0\ <SEP> 3/32
<tb> Pli <SEP> 3/32 <SEP> Pl\ <SEP> 1/32
<tb> P21 <SEP> 3/32 <SEP> P2\ <SEP> 9/32 <SEP>
<tb> P31 <SEP> 1/32 <SEP> P3\ <SEP> 3/32
<tb>
Tabel 2 Waarschijnlijkheden per beeldpuntwaarde en patroon voor beeldpunt V
<Desc/Clms Page number 8>
De bovenstaande procedure kan herhaald worden, waarbij telkens het aantal beeldpunten wordt gehalveerd, terwijl het aantal beeldpuntwaarden wordt verdubbeld.
Aangezien het aantal mogelijke beeldpuntwaarden exponentieel toeneemt met het aantal opeenvolgende combinaties van paren van beeldpunten, kan het nodig zijn dit aantal te verminderen. Dit kan tot stand worden gebracht door het samenvoegen van beeldpuntwaarden tot een nieuwe beeldpuntwaarde, hetgeen ook wel "snoeien" wordt genoemd. Hierdoor kunnen de originele beeldpuntwaarden niet meer onderscheiden worden en is het onvermijdelijk dat de informatie, die vervat is in de beeldpuntwaarden, verloren gaat. Het aantal beeldpuntwaarden is echter wel afgenomen. Teneinde het informatieverlies door het samenvoegen van beeldpuntwaarden te minimaliseren, is een criterium ontwikkeld om te beslissen welke beeldpuntwaarden bij voorkeur samengevoegd moeten worden.
Aangezien het doel van de onderhavige voorkeursuitvoeringsvorm van de uitvinding het herkennen van patronen is, dient het verlies van informatie over de patronen door het samenvoegen van de beeldpuntwaarden minimaal te zijn. Patrooninformatie kan als volgt beschreven worden :
EMI8.1
-E S pi < ln ( Ppa ) 1 EE"' i cg, p,, ln (P,
EMI8.2
Het verlies van patrooninformatie door het samenvoegen van informatiewaarden i en i'bedraagt derhalve
EMI8.3
,--% a '.
(I P., a Pi/a Pi +pi,
EMI8.4
Voor alle combinaties van beeldpuntwaarden i en i'voor een bepaald beeldpunt wordt dit informatieverlies
<Desc/Clms Page number 9>
bepaald. In tabel 4 is met betrekking tot het bovenstaande voorbeeld voor alle combinaties van beeldpuntwaarden van beeldpunt V het informatieverlies bepaald.
EMI9.1
<tb>
<tb>
Combinatie <SEP> Informatieverlies
<tb> 0 <SEP> en <SEP> 1 <SEP> 1,6653 <SEP> 10-16
<tb> 0 <SEP> en <SEP> 2-0, <SEP> 09811 <SEP>
<tb> 0 <SEP> en <SEP> 3-0, <SEP> 004961 <SEP>
<tb> 1 <SEP> en <SEP> 2-0, <SEP> 049619 <SEP>
<tb> 1 <SEP> en <SEP> 3-0, <SEP> 032703 <SEP>
<tb> 2 <SEP> en <SEP> 3 <SEP> 1, <SEP> 6653 <SEP> 10-16 <SEP>
<tb>
Tabel 4 Informatieverlies voor alle mogelijke combinaties van beeldpuntwaarden De beeldpuntwaarden van de combinaties van informatiewaarden met het kleinste informatieverlies worden gekozen om samengevoegd te worden. In dit geval levert de combinatie van 0 en 1 of de combinatie van 2 en 3 het kleinste informatie-verlies op. Bij de keuze van de combinatie 0 en 1 wordt derhalve elke 0 een 1 of elke 1 een 0. Bij de keuze van de combinatie 2 en 3 wordt derhalve elke 2 een 3 of elke 3 een 2.
Door het samenvoegen van beeldpuntwaarden i en i'wordt de waarschijnlijkheid van het samengevoegde
EMI9.2
beeldpunt p. = p + p l+,
Er moet in een codelijst of codeboek bijgehouden worden welke beeldpuntwaarden samengevoegd zijn, teneinde de informatie over het samenvoegen in een later stadium bij het herkennen van beelden te kunnen gebruiken. De werkwijze van het samenvoegen van beeldpuntwaarden dient in het algemeen voor alle
EMI9.3
beeldpunten afzonderlijk te worden, uiv
<Desc/Clms Page number 10>
bovenstaande berekeningen dienen derhalve voor elk beeldpunt uitgevoerd worden, waarbij de resultaten per beeldpunt in een codeboek worden opgeslagen.
Indien het aantal beeldpuntwaarden na het samenvoegen nog steeds te groot is, kan de werkwijze herhaald worden totdat het aantal beeldpuntwaarden voldoende gereduceerd is. Daarna kan het proces van combineren van beeldpunten en eventueel samenvoegen van beeldpuntwaarden opnieuw aanvangen.
De werkwijzen van combineren van beeldpunten en samenvoegen van beeldpuntwaarden kan net zo lang herhaald worden totdat alle beeldpunten gecombineerd zijn en het aantal beeldpuntwaarden tot een acceptabel niveau is teruggebracht.
In figuur 6 is een grafiek opgenomen, waarin de totale patrooninformatie van een beeld is uitgezet tegen de stappen van het combineren van beeldpunten (aangeduid met C) en het samenvoegen oftewel snoeien (aangeduid met S) van beeldpuntwaarden. Bij elke stap van combineren van beeldpunten neemt de patrooninformatie toe wegens de sterke correlatie tussen de beeldpunten van de te herkennen beelden. Bij elke stap van het samenvoegen of snoeien van beeldpuntwaarden gaat (een kleine hoeveelheid patrooninformatie verloren). Na het combineren en samenvoegen zo vaak uitgevoerd te hebben dat het hele beeld behandeld is, convergeert de waarde van de patrooninformatie naar een waarde dichtbij nul, doordat de herkenning nagenoeg perfect is. De uiterlijke waarde van de patrooninformatie (dat wil zeggen het verschil met een waarde van nul) is de herkenningsfout.
Deze waarde is een cumulatie van alle informatieverliezen wegens het samenvoegen van beeldpuntwaarden en wegens een intrinsieke ambigu teit door de beperkte statistische eigenschappen van de leerverzameling.
Het combineren van beeldpunten en samenvoegen van beeldpuntwaarden van de hier beschreven voorkeursuitvoeringsvorm kan bijvoorbeeld net zo lang herhaald worden totdat een voor neurale netwerken
<Desc/Clms Page number 11>
geschikte invoer ontstaat. Het herkennen van de patronen wordt dan door het neurale netwerk overgenomen. De reden dat neurale netwerken niet direct toegepast worden op beeldpunten (dus zonder bewerking volgens de boven beschreven werkwijze) is, dat het aantal knooppunten van het neurale netwerk veel te groot zou worden om gezien de huidige computertechnologie op snelle wijze een patroon te kunnen herkennen.
Ook kan door het combineren van beeldpunten en samenvoegen van beeldpuntwaarde direct een patroon in een beeld herkend worden. In de beschreven voorkeursuitvoeringsvorm van de werkwijze en inrichting wordt in elke laag alleen gekeken naar correlaties tussen naburige dichtbij gelegen elementen, correlaties met verafgelegen elementen vindt naderhand plaats in diepere" lagen. De gegevensreductie volgens de werkwijze vormt een gelaagde structuur, waarbij afhankelijk van de omgeving (context) elementen worden samengevoegd, oftewel de patroonherkenning wordt met behulp van contextuele correlatie tot stand gebracht.