DK172429B1 - Fremgangsmåde ved oplæring af et billedanalysesystem til brug ved analyse af et emne, samt anvendelse af fremgangsmåden - Google Patents

Description

i DK 172429 B1

Opfindelsen angår en fremgangsmåde ved oplæring af et billedanalysesystem til brug ved analyse af et emne, hvor emnet sammenlignes med et referenceemne, og omfattende trinnene: 5 a. der optages et videobillede af referenceemnet, som er repræsenteret ved et antal pixelpositioner, hvor hver pixels har sin egen identifikation 10 b. dele af videobilledet opdeles i et antal delområder, der repræsenterer et antal brugerdefinerede klasser, idet hver klasse dannes ved at brugeren udvælger et antal pixels i referencebilledet.

15 c. der oprettes en brugerdefineret klassetabel hvor hver klasse i tabellen tildeles en række arbitrært valgte identifikationer, d. der oprettes en særlig nul-klasse i tabellen, som in-20 deholder pixelidentifikationer der af brugeren ikke er tildelt nogen klasse.

Fra EP offentliggørelsesskrift nr. 574 831 kendes en fremgangsmåde, hvor der optages et videobillede af et em-25 ne, og på en videoskærm afgrænses billedområder af videobilledet. Hver af disse områder tildeles en bestemt klasse. Når klasserne er fastlagt, indledes en iterativ proces, hvor hele videobilledet kortlægges ved hjælp af de valgte klasser. Med andre ord vil de områder af videobil-30 ledet, som ikke er udvalgt til en bestemt klasse, blive tildelt en klasse, som er afhængig af hvilken farveværdi den i videobilledet aktuelle pixel har. Ved den fra ovennævnte EP publikation kendte metode, er procestiden ret lang, hvilket skyldes at der for hver klasse/komponent i 35 hver farverumsposition dvs. pixelposition skal beregnes værdien af et hermitepolynom med 64 koefficienter. Dette 2 DK 172429 B1 giver yderligere en begrænsning i opløsningsevnen, da 64 koefficienter svarer til at en pixels farveværdi i RGB-farvekoordinater kun kan omfatte opløsninger på 4 x 4 x 4, hvilket kan være utilstrækkeligt til at klassificere 5 farvemæssigt komplicerede mønstre, såsom ternede tekstiler.

Desuden kendes fra US patentskrift nr. 5 253 302 et billedanalysesystem til klassificering af planter. I dette 10 kendte system dannes der farveklasser, hvor det tilstræbes at hver klasse indeholder repræsentanter for variationer inden for samme farve og så få repræsentanter af andre farver som muligt. I publikationen er der ikke beskrevet nogen måde at håndtere overlap mellem klasser, da 15 hver farveklasse skabes i et rum for sig. Dette indebærer blandt andet at pixels, som skal klassificeres, og som ligger i et gab mellem to foruddefinerede klasser og måske farvemæssigt knytter sig tæt til en eller begge klasser, ikke vil blive henført til nogen af disse klasser, 20 men til baggrundsklassen. Endvidere kan teknikken ifølge US publikationen ikke naturligt generaliseres til samtidigt at arbejde med mere end to klasser, hvilket skyldes at tærskelsætning (thresholding) kun virker mellem to klasser (klasse og ikke klasse = baggrund). Denne kendte 25 teknik vil derfor næppe være særlig anvendelig, hvor der skal analyseres mere komplicerede farvesammensætninger.

Det er nu opfindelsens formål at anvise en fremgangsmåde af den i indledningen til krav 1 angivne art, hvor pro-30 cestiden er betydelig nedsat, og hvor komplicerede mønstre kan analyseres.

Opfindelsens formål tilgodeses ved, at: 3 DK 172429 B1 e. der oprettes en særlig konfliktklasse, som indeholder de pixelidentifikationer, der af brugeren er tildelt mere end en klasse.

5 På denne måde opnås, at oplæringen af billedeanalysesy-stemet kan ske med lav procestid, samtidigt med at der løbende kan holdes øje med om klasserne i klassetabellen er valgt hensigtsmæssigt. Desuden kan hver klasse opbygges fleksibelt idet identifikationerne eksempelvis kan 10 være en stort set vilkårlig kombination af farver.

Ved som angivet i krav 2, at alle pixels der tilhører nul-klassen eller konflikt-klassen tilordnes den klasse der har en pixelidentifikation, som ligger nærmest den 15 pågældende pixels identifikation bliver hele billedfladen tildelt pixelværdier, som kan henføres til en af de valgte klasser, således at hele billedet nu er transformeret til et billede, der er sammensat af de til de valgte klasser optrædende symbolske farveværdier.

20 I denne forbindelse bemærkes at udtrykket "som ligger nærmest" skal tolkes på baggrund af den valgte pixeliden-tifikation. Hvis denne identifikation eksempelvis er udtrykt som et parametersæt i form af en vektor kan udtryk-25 ket "som ligger nærmest" tolkes som den nærmeste vek torafstand.

Ved som angivet i krav 3, at tilordningen sker i flere trin, hvor hvert trin omfatter behandling af pixelidenti-30 fikationer der grænser op til pixelidentifikationer, der allerede er tildelt en klasse, opnås den fordel, at det "oplærte" systems farvesammensætning, får farveskiftområ-der, der svarer til det oprindelige billede, men nu med mere markante detaljer. Oplæringen af systemet foregår 35 således ved at udgangsbilledet tilføres en vækst, idet alle pixels i billedet får tildelt en identifikation.

4 DK 172429 B1

Til brug ved anvendelse af systemet til egentlig analyse, dvs. brug af systemet efter oplæringen er det en fordel hvis der ved oplæringen anvendes flere referencebilleder, 5 idet der herud kan blive tilvejebragt et billede som er repræsentativt for et gennemsnit af emner der skal analyseres .

Af hensyn til billedeanalysesystemets fleksibilitet ved 10 oplæringen er det som angivet i krav 6 en fordel at en brugervalgt klasse kan undertrykkes, hvilket kan være ønskeligt, hvis den valgte klasse har fået tildelt for mange farveinformationer.

15 Øvrige hensigtsmæssige udførelsesformer for opfindelsen, fremgår i øvrigt af de resterende uselvstændige krav.

Opfindelsen angår også en anvendelse af fremgangsmåden.

20 Denne anvendelse er nærmere angivet i krav 9. Anvendelsen har først og fremmest den fordel at detaljer ved komplekse billeder nu kan afsløres på en særdeles brugervenlig måde.

25 Opfindelsen skal nu forklares under henvisning til et på tegningen vist udførelseseksempel, der illustrerer opfindelsens principper, idet fig. 1 viser en analyseopstilling til brug ved fremgangs-30 måden ifølge opfindelsen, og fig. 2 viser et brugerdisplay til brug ved oplæring af systemet ifølge opfindelsen, 35 fig. 3 viser brugerdisplayet efter at et billede er blevet klasseopdelt, 5 DK 172429 B1 fig. 4 viser brugerdisplayet ifølge fig. 3 efter et yderligere oplæringstrin af billedanalysesystemet, 5 fig. 5 et blokdiagram over et procestrin ved oplæringen af billedanalysesystemet ifølge fig. 3 og fig. 6A-6I viser skematisk flere trin ved oplæringen af billedanalysesystemet ifølge fig. 4.

10 På fig. 1 er med et betegnet et emne 1 med en vis kompleksitet, 2 betegner et kamera der kan optage et billede af objektet 1 som sendes til en såkaldt videograbber 3, der yderligere er forbundet til en processor 4. Processo-15 ren 4 har et keyboard 5 og en mus 6, som det er velkendt i forbindelse med billedanalysesystemer. Endvidere er der til processoren 4 tilsluttet et display 7, som viser et videobillede 8 af emnet 1.

20 På fig. 2 ses et generelt et display, som eksempelvis kan være en skærm til en PC, der er indrettet til at modtage instruktioner for brugeren til brug ved udøvelse af opfindelsens principper. Med 9 er betegnes et billede, her vist som et prøvebillede fra DR-TV, som ønskes anvendt 25 som referencebillede, ved oplæringen af billedanalysesystemet. Med 8 betegnes en første klasse i, hvis identifikation ved 10 er vist som baggrund. Neden under positionen 8, kan yderligere vælges en position hvor der er valgt farven grøn. Hver af disse farver, svarer til en 30 klasse, som af brugeren kan vælges arbitrært, idet brugeren, har mulighed for at skifte farve i den pågældende klasse. Som det yderligere ses på displayet ifølge fig. 2 er med 12 vist et symbolfelt "show error", som er indrettet til, at vise hvorledes de valgte klasser, vil trans-35 formere billedet 9. Med 13 er betegnet et funktionfelt, som ved hjælp af en mus kan aktiveres, hvilket vil sætte 6 DK 172429 B1 oplæringens næste trin i gang, som det bliver forklaret nedenfor. Endeligt betegner 14 en funktionsfelt, hvor alle klasser på en gang kan resettes, såfremt brugeren ikke har fået inddelt sine klasser hensigtsmæssigt. Med 15 be-5 tegnet et funktionsfelt, som er indrettet til at fjerne en eller flere af de tidligere valgte klasser. Systemet ifølge fig. 2, virker på følgende måde:

Brugeren vælger områder på billedet 9, som afgrænses ved 10 hjælp af en linie eller en polygon. Alle de pixel som linien eller polygonen omslutter, tildeles herefter en klasse, f.eks nr. 1, og til den tilhørende klasse vælges en farve, der eksempelvis kan være baggrunden 10. Der sker nu dette, at alle pixels identifikationer, som er 15 omfattet af stregen eller polygonen, vil blive tildelt klassen 1. Det bemærkes i denne forbindelse, at der ved identifikationer skal forstås et sæt af en eller flere talværdier, der beskriver egenskaber ved den pågældende pixel. Derefter oprettes i ny klasse idet der på ny teg-20 nes en streg eller polygon. I dette tilfælde ville der ligeledes blive oprettet en klasse med en række pixels, men pixels dér tidligere har været optaget i klasse 1, vil nu blive fjernet fra dels den nye klasse men også fra den gamle klasse, og overført til en såkaldt konflikt-25 klasse. Proceduren fortsættes med et passende antal klasser, som på det viste display ifølge fig. 2, kan være op til 9, hvilket dog ikke skal betragtes som en begræsning.

Når alle klasserne er valgt, aktiveres funktionstasten 12, og der vil da fremkomme et billede som eksempelvis 30 vist på fig. 3. På fig. 3 er der vist valg af fire klasser, nemlig en første klasse hvor grå, hvid, sort, lys grøn, magenta og andre farver har fået tildelt en første klasse der er betegnet hvid, medens den næste klasse har fået nuancerne rød, blå plus nogle andre farver. Denne 35 klasse har fået farven mørk grå. Endelig er farverne grøn, gul plus nogle andre farver blevet tildelt klassen 7 DK 172429 B1 lysgrå, medens at ukendte farver, dvs. farver der ikke findes i nogen klasse har fået tildelt nuancen sort. Ved aktivering af tasten 12 på fig. 2 fås et billede der ser ud som på fig. 3. Det ses nu at der er sket en vis for-5 vrængning af billedet, idet kun pixels der er indeholdt i de på fig. 3 markerede klasser, er medtaget på billedet.

På fig. 4 er vist et næste trin af oplæringsprocessen af billedanalysesystemet ifølge opfindelsen. Til forståelse 10 af fig. 4, er det hensigtsmæssigt at se på figurerne 6A-61. Figurerne 6A-6B, viser således første trin ved oplæring af billedsystemet ifølge opfindelsen, nærmere bestemt procestrinnene der fremkommer i forbindelse med det der er vist på fig. 2 og 3. På fig. 6A startes som ud-15 gangspunkt med en blank skærm, og på fig. 6B er vist valget af to klasser hvor klasse 1 har fået betegnelsen 22 mens klasse 2 har fået betegnelsen 23. Disse klasser er eksempelvis fremkommet ved markering på skærmen af en streg eller en polygon. Som det yderligere ses på fig. 6B 20 er der ved 24 betegnet 1/2, hvilket skyldes at den polygon eller streg man har valgt, har ramt en pixelværdi der tilhører begge klasser. Dette er på fig. 6C fjernet, således at de to klasser entydigt er defineret på skærmbilledet. Bemærk, at der er en del områder, som ikke har 25 kunnet tildeles nogen klasse, hvilket skyldes at de indeholder pixelidentifikationer, som ikke er indeholdt i nogen af de to klasser.

For at komme frem til resultatet på fig. 4 sker der nu 30 følgende, som vist på fig. 6D-6E. Som det ses på fig. 6D, er positioner for pixels der ligger i nærheden af klasse 2, fyldt ud med pixelidentifikationer, der netop svarer til klasse 2. På tilsvarende måde er pixelidentifikationer der omkranses af pixelidentifikationer på fig. 6C der 35 har klassen 1, fået tildelt klassen 1. På fig. 6E er processen yderligere fortsat, og som det ses på de efterføl- DK 172429 Bl 8 gende figurer, bliver hele billedfeltet opfyldt med pi-xelværdier, som enten kan henføres til klasse 1 eller klasse 2. Dette kan udtrykkes således, at når klasserne er valgt, vælger man at lade billedet "vokse", i trin, 5 hvorefter alle pixels i hele billedet får tildelt en pi-xelidentifikation. Bemærk at denne måde at opdele billedet på, indebærer at tidskrævende beregninger undgås.

Det bemærkes, at fig. 6A-6I, viser oplæringen af billed-10 analysesystemet ifølge opfindelsen stærkt forenklet. Således er der naturligvis intet til hinder for, at der kan anvendes flere klasser, og at de viste trin på fig. 6D-6I foregår i flere dimensioner.

15 Fig. 5 viser et blokdiagram af en rutine, ved opdeling af et referencebillede, til brug ved oplæring af billedanalysesystemet ifølge opfindelsen, i det første trin. Som det ses vises første referencebillede, hvorefter markeringsfeltet 12 på fig. 2 aktiveres, hvilket fører til 20 visning af et uvokset billede, eksempelvis som vist på fig. 3. Hvis det nu viser sig at billedet, bliver alt for unuanceret, eller ikke indeholder den ønskede information, kan der eventuelt oprettes en ny klasse som vist ved tilbagekoblingssløjfen. Alternativt kan der slettes en 25 klasse, hvilket eventuelt kan være nødvendigt, hvis den valgte klasse indeholder for mange pixelsidentifikatio-ner.

Et system som ovenfor beskrevet, har utroligt mange an-30 vendelsesmuligheder, idet det er fleksibelt, både hvad angår analyse af meget komplicerede mønstre og meget enkle mønstre.

Eksempelvis kan systemet anvendes i forbindelse med ana-35 lyse af menneskelige eller animalske vævsceller, eller 9 DK 172429 B1 tekstilstoffer, ja endog til analyse af kødudskæringer på f.eks. kødkvæg.

Især oplæringsproceduren, er yderst fleksibel, da parame-5 trene kan ændres inden for en meget kort tidsramme.

Selv om opfindelsen er beskrevet i forbindelse med oplæring af et billedanalysesystem er der intet til hinder for, at opfindelsens principper kan anvendes i andre for-10 bindeiser.

Eksempelvis kan principperne generaliseres som følger.

Et antal objekter N har hver især egenskaber karakterise-15 ret ved en identifikation i form af parametersæt X\, X2...Xn =X n. Et antal objekter y, hvor y<N, hvor hvert objekt y har identifikationen X n tildeles nu samme identifikation X ni, der betegnes klasse 1. Tilsvarende udtages et andet antal objekter Z, hvor Z<N og disse objekter 20 tildeles identif ikationen X n,2 der betegnes klasse 2. Processen fortsættes indtil et passende antal klasser er dannet. Herefter lokaliseres alle objekter i N som ikke er tildelt en klasse eller som har fået tildelt mere end én klasse. Disse objekter får nu tildelt en klasse, hvis 25 identifikation ligger nærmest det pågældende objekts aktuelle identifikation, hvilket f.eks. kan gøres ved at bruge vektorafstanden mellem de enkelte objekters parametersæt og klassernes identifikation. På denne måde bliver der tilvejebragt et system som generelt er anvendeligt i 30 forbindelse med automatisk klassificering af objekter.

Claims (9)

10 DK 172429 B1 Patentkrav :

1. Fremgangsmåde ved oplæring af et billedanalysesystem 5 til brug ved analyse af et emne, hvor emnet sammenlignes med et referenceemne, og omfattende trinnene: a. der optages et videobillede af referenceemnet, som er repræsenteret ved et antal pixelpositioner, hvor hver 10 pixels har sin egen identifikation b. dele af videobilledet opdeles i et antal delområder, der repræsenterer et antal brugerdefinerede klasser, idet hver klasse dannes ved at brugeren udvælger et 15 antal pixels i referencebilledet, c. der oprettes en brugerdefineret klassetabel hvor hver klasse i tabellen tildeles en række arbitrært valgte identifikationer, 20 d. der oprettes en særlig nul-klasse i tabellen, som indeholder pixelidentifikationer der af brugeren ikke er tildelt nogen klasse, 25 kendetegnet ved, e. at der oprettes en særlig konfliktklasse, som indeholder indeholder de pixelidentifikationer, der af brugeren er tildelt mere end en klasse. 30

2. Fremgangsmåde ifølge krav 1, kendetegnet ved, at alle pixels der tilhører nul-klassen eller konflikt-klassen tilordnes den klasse der har en pixeliden- tifikation, som ligger nærmest den pågældende pixels 35 identifikation. II DK 172429 B1

3. Fremgangsmåde ifølge krav 2, kendetegnet ved, at tilordningen sker i flere trin, idet hvert trin omfatter behandling af pixelidentifikationer der grænser op til pixelidentifikationer der allerede er tildelt en klas- 5 se.

4. Fremgangsmåde ifølge krav 1-3, kendetegnet ved, at den brugerbetjente klassetabel dannes ved at der på videobilledet, f.eks. med en "mus" markeres en streg, 10 polygon eller lignende.

5. Fremgangsmåde ifølge krav 1-4, kendetegnet ved, at der ved oplæringen anvendes flere referencebilleder . 15

6. Fremgangsmåde ifølge krav 1-5, kendetegnet ved, at en brugervalgt klasse kan undertrykkes.

7. Fremgangsmåde ifølge krav 1-6, kendetegnet 20 ved, at de enkelte pixels identifikationer udtrykkes i et N-dimensionelt rum.

8. Fremgangsmåde ifølge krav 1-7, kendetegnet ved, at de enkelte pixels identifikationer udtrykkes i RGB- 25 koordinater, eller i HSI-koordinater.

9. Anvendelse af fremgangsmåden ifølge krav 1-8 til analyse af et emne, hvor emnet analyseres ved at hver pixelposition i billedet der repræsenterer emnet med en given identifika- 30 tion tildeles det klassesymbol der netop indeholder den efter oplæringen gældende identifikation.