DE19754909A1

DE19754909A1 - Verfahren und Vorrichtung zur Erfassung und Bearbeitung von Abbildungen biologischen Gewebes

Info

Publication number: DE19754909A1
Application number: DE19754909A
Authority: DE
Inventors: Wolfram H Dr Bunk; Rene Pompl; Dominik Dr Dersch; Wilhelm Prof Dr Med Stolz; Alexander Dr Horsch; Wolfgang Prof Dr Abmayr; Roman Dr Schiffner; Michael Dr Landthaler; Alexander Dr Glaesl
Original assignee: Max Planck Gesellschaft zur Foerderung der Wissenschaften eV
Current assignee: Max Planck Gesellschaft zur Foerderung der Wissenschaften eV
Priority date: 1997-12-10
Filing date: 1997-12-10
Publication date: 1999-06-24
Anticipated expiration: 2017-12-11
Also published as: EP1038267A1; DE19754909C2; WO1999030278A1; AU2159999A

Description

Die Erfindung betrifft Verfahren zur Erfassung und Bearbeitung von Abbildungen biologischen Gewebes, insbesondere zur Ver arbeitung von Gewebebildern, z. B. dermatoskopischen Bildern, um Gewebemerkmale zu erkennen oder Gewebeveränderungen zu identifizieren und/oder zu bewerten. Die Erfindung betrifft auch Vorrichtungen zur Implementierung derartiger Verfahren.

Es ist allgemein bekannt, digitale Bildverarbeitungstechniken im Bereich der Erfassung und Bewertung von Abbildungen biologischer Gewebe einzusetzen. Dabei erfolgt üblicherweise nach einer digitalen Bildaufnahme eine Speicherung des Aufnahme bildes und dessen Vorverarbeitung zur Bildbereinigung und Trennung eines interessierenden Bildausschnittes. Anschließend erfolgt eine Bildanalyse zur Ermittlung bestimmter Bildparameter. Die Nachteile dieser Vorgehensweise wird im folgenden am Beispiel allgemein bekannter herkömmlicher Systeme zur Verarbeitung dermatoskopischer Bilder zur frühzeitigen Erkennung bösartiger Pigmentveränderungen der Haut erläutert.

In herkömmlichen Systemen zur Melanomerfassung werden zur Bild aufnahme gewöhnlich Videokameras mit automatischer Helligkeits- und Farbeinstellung verwendet. Dadurch erfolgt die Bildaufnahme in Abhängigkeit von der Färbung oder Pigmentierung eines zu untersuchenden Hautabschnittes unter jeweils verschiedenen Aufnahmebedingungen, so daß anschließend ein Vergleich von Helligkeits- oder Farbmerkmalen mit Referenzbildern unzuverlässig oder ausgeschlossen ist. Ein weiterer Nachteil besteht darin, daß bei der herkömmlichen Bildaufnahme gewöhnlich übliche Licht quellen aus der Medizintechnik eingesetzt werden. Diese Licht quellen (z. B. Kombinationen aus Halogenlampen mit Lichtleitern) unterliegen je nach den Betriebsbedingungen lang- und kurz fristigen Schwankungen der Helligkeit und der Farbtemperatur. Dies ist wiederum nachteilig für die Vergleichbarkeit der aufgenommenen Hautabbildungen.

Weitere Nachteile ergeben sich aus der bisher üblichen Bildvorverarbeitung. Gewöhnlich werden die digitalen Aufnahme bilder im Erfassungssystem gespeichert, um anschließend je nach den Untersuchungsanforderungen einer Vorverarbeitung unterzogen zu werden. Diese umfaßt beispielsweise eine Bild bereinigung zur Entfernung von Bildstörungen in Form von Haaren oder Blasen in einer Immersionsflüssigkeit, eine geometrische Abgrenzung zum Beispiel einer abgebildeten Hautläsion vom umgebenden Areal oder eine Falschfarbendarstellung zur Anzeige von Läsionsbereichen, die sich durch besondere Färbungen aus zeichnen. Durch die nicht reproduzierbare Aufnahmebedingung ist aber eine weitergehende Vorverarbeitung zur Bereitstellung von Bildparametern, die bei einem sich anschließenden Untersuchungs verfahren eine Aussage über die Dignität der Hautläsion zulassen, bislang nicht oder mit einer für praktische Anwendungen nur unzureichenden Zuverlässigkeit möglich. Generell ist die Zahl und Zuverlässigkeit der erzielbaren Aussagen beschränkt und meist nicht mit Erfahrungswerten vergleichbar.

Schließlich erlauben es die herkömmlichen Bildverarbeitungs verfahren wegen der fehlenden Vergleichbarkeit von Abbildungen, die zu verschiedenen Zeitpunkten aufgenommen wurden, nicht, die zeitliche Entwicklung von Hautveränderungen anhand der Ver änderung charakteristischer Bildparameter zu erfassen.

Die genannten Probleme treten nicht nur bei der Erfassung von Hautläsionen zur Früherkennung maligner Melanome auf, sondern generell bei der Beobachtung von oberflächlichem oder innerem biologischen Gewebe wie beispielsweise bei der Verlaufskontrolle bei einer Wundheilung, bei kosmetischen oder pharmazeutischen Tests oder bei endoskopischen Untersuchungen. Bei all diesen und ähnlichen Techniken zur Erfassung und Bearbeitung von Abbildungen biologischen Gewebes besteht ein großer Bedarf nach einer verbesserten Bildverarbeitungstechnik.

Aus DE-OS 43 17 746 ist ein Verfahren zur Raumfilterung einer Punkteverteilung bekannt, die eine von Störungen überlagerte Struktur darstellt und deren Punkte durch n Koordinatenwerte eines n-dimensionalen Raumes definiert sind. Bei dem Verfahren, das auf der sogenannten Skalierungsindexmethode (im folgenden: SIM) basiert, werden für jeden Punkt die Funktion, die die Abhängigkeit der Anzahl der Punkte in einer Umgebung des betreffenden Punktes vom Durchmesser der Umgebung darstellt, sowie ein Skalierungskoeffizient, der gleich dem Exponenten (a) einer einfachen Potenzfunktion ist, welche die genannte Funktion möglichst gut annähert, ermittelt. Ein Vergleich der Skalierungs koeffizienten der zu untersuchenden Struktur und einer äqui valenten n-dimensionalen stochastischen Punkteverteilung liefert die Untermenge der Punkte der zu untersuchenden Struktur, die die von Störungen befreite Struktur repräsentieren. Hiermit werden alle Einzelheiten von SIM, die aus DE-OS 43 17 746 bekannt sind und die Anwendung des Raumfilterverfahrens auf die Untersuchung beliebiger Punkteverteilungen in n-dimensionalen Räumen be treffen, ausdrücklich in die Offenbarung der vorliegenden Patentanmeldung einbezogen.

In der bisher nicht veröffentlichten deutschen Patentanmeldung 196 33 693 wird eine als Skalierungsvektormethode (im folgenden SVM) bezeichnete Erweiterung von SIM beschrieben. SVM ist ein Verfahren zur Erfassung von Targetmustern in einer Textur, mit der ein Systemzustand als Verteilung von Punkten in n-dimen sionalem Raum darstellbar ist. Im Unterschied zur isotropen SIM werden bei SVM anisotrope Skalierungsindizes bestimmt, die charakteristisch für die Abhängigkeit der Projektion der Punkt dichte auf eine bestimmte Koordinate vom Abstand zu einem betrachteten Punkt ist. SVM enthält ebenfalls einen Vergleich der Verteilung der anisotropen Skalierungsindizes mit vorbestimmten Vergleichsverteilungen. Hiermit wird auch der gesamte Offen barungsgehalt der DE 196 33 693 ausdrücklich in die vorliegende Patentanmeldung einbezogen.

Die Aufgabe der Erfindung ist es, verbesserte Bildaufnahme- und Verarbeitungsverfahren zur Abbildung biologischen Gewebes anzu geben, die sich durch eine hohe Reproduzierbarkeit auszeichnen, die eine Standardisierung ermöglichen und mit denen der An wendungsbereich der genannten herkömmlichen Techniken erweitert wird. Die Aufgabe der Erfindung ist es ferner, Vorrichtungen zur Implementierung derartiger verbesserter Bildverarbeitungs verfahren anzugeben.

Die Aufgaben der Erfindung werden mit Verfahren bzw. Vor richtungen mit den Merkmalen entsprechend den Patentansprüchen 1, 2 und 20 gelöst. Vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den abhängigen Ansprüchen.

Die Lösung der genannten Aufgabe basiert auf der Idee, bei einem Verfahren zur Bilderfassung und -bearbeitung je nach den konkreten Anforderungen an das Verarbeitungsergebnis bei einzelnen oder allen Schritten der Bildaufnahme, Bildvorver arbeitung und Bildanalyse die Erfassung digitaler Bilder und/oder charakteristischer Bildparameter der digitalen Bilder unter normierten, eine zeit- und geräteunabhängige Vergleichbarkeit gewährleistenden Bedingungen durchzuführen. Hierzu werden eine Reihe von Korrekturen der Bildaufnahmebedingungen sowie Normierungen, Transformationen und/oder Projektionen der auf genommenen Bilder in Punkträume durchgeführt, in denen Para meteranalysen in normier- und reproduzierbarer Weise durchführbar sind. Es wird unterstrichen, daß die erfindungsgemäßen Maßnahmen zur Verbesserung der Aufnahme einerseits und der Bildverarbeitung (Bildvorverarbeitung- und Bildanalyse) andererseits je nach den Anforderungen einer konkreten Anwendung einzeln oder gemeinsam bereitgestellt werden können. Auch wenn bei der unten im einzelnen erläuterten Anwendung der Erfindung bei der Erfassung und Bearbeitung von dermatoskopischen Bildern die Korrektur schritte bei der Bildaufnahme besonders vorteilhaft mit den Normierungs- und Transformationsschritten bei der Bildver arbeitung zusammenwirken, so ist es bei anderen, ebenfalls weiter unten genannten Anwendungen auch möglich, entweder eine erfindungsgemäße Verbesserung der Bildaufnahme oder eine erfindungsgemäße Verbesserung der Bildverarbeitung vorzusehen.

Ein besonderer Vorteil der Erfindung ergibt sich aus der neuartigen Bildverarbeitung, insbesondere aus der Maskenbe arbeitung, die reproduzierbare und mit praktischen Erfahrungs werten aus der nicht-automatischen Gewebeerkennung kompatible Ergebnisse liefert.

Weitere Vorteile der Erfindung und Einzelheiten erfindungsgemäßer Verfahrensweisen und Vorrichtungen werden im folgenden unter Bezug auf die beigefügten Zeichnungen beschrieben. Es zeigen:

Fig. 1 ein Flußdiagramm zur Illustration der erfindungsgemäßen Bildaufnahmeverfahren;

Fig. 2 eine Übersichtsdarstellung zur Illustration der erfindungsgemäßen Bildverarbeitung;

Fig. 3 Histogrammdarstellungen (N(a)-Spektren) zur Anwendung der Skalierungsindexmethode bei der Bildbereinigung;

Fig. 4 eine schematische Darstellung einer Artefaktmaske;

Fig. 5 Histogrammdarstellungen zur iterativen Histogrammanalyse in einem Farbunterraum zur Trennung von Läsion und Hauthintergrund;

Fig. 6 eine schematische Darstellung einer Randmaske;

Fig. 7 Übersichtsdarstellungen zur Vorgehensweise bei der Ermittlung von Bildparametern, die für Randeigenschaften eines untersuchten Gewebeabschnittes charakteristisch sind;

Fig. 8a, 8b Schematische Randdarstellungen zur Illustration der Analyse der Bildparameter, die für Randeigenschaften charakteristisch sind;

Fig. 9 Übersichtsdarstellungen zur Vorgehensweise bei der Ermittlung von Bildparametern, die für Farbeigen schaften eines untersuchten Gewebeabschnittes charakteristisch sind;

Fig. 10 Übersichtsdarstellungen zur Vorgehensweise bei der Ermittlung von Bildparametern, die für Struktureigen schaften eines untersuchten Gewebeabschnittes charakteristisch sind; und

Fig. 11 Übersichtsdarstellungen zur Vorgehensweise bei der Ermittlung von Bildparametern, die für Symmetrie eigenschaften eines untersuchten Gewebeabschnittes charakteristisch sind.

Die Erfindung wird im folgenden am Beispiel der Aufnahme (a) und Verarbeitung (b) digitaler dermatoskopischer Bilder der Haut beschrieben.

(a) Bildaufnahme

Die Bildaufnahme umfaßt die Verfahrensschritte, die zur Lieferung eines helligkeits- und farbkompensierten Digitalbildes oder Aufnahmebildes (z. B. RGB-Bild) durchgeführt werden, das Ausgangspunkt der unten beschriebenen Bildverarbeitung ist. Die Bildaufnahme umfaßt insbesondere Abgleichsmessungen zur Ermitt lung von Helligkeits- und Farbkorrekturgrößen, die Erfassung der Aufnahme von Bildern eines zu untersuchenden Gegenstandes und Korrekturschritte zur dynamischen Korrektur des erfaßten Roh bildes auf der Grundlage der Helligkeits- und Farbkorrektur größen. Die Abgleichsmessungen sind jeweils einmal für eine bestimmte Meßkonfiguration erforderlich, die sich durch unver änderte Kamerabedingungen, Beleuchtungsbedingungen und einen konstanten Abbildungsmaßstab auszeichnet. Einzelheiten der Bild aufnahme sind schematisch in Fig. 1 dargestellt.

Die Abgleichsmessungen 10 umfassen nach einer Abschaltung aller vorhandenen automatischen Kameraeinstellungen (wie z. B. eine automatische Verstärkungssteuerung, AGC, eine automatische Weißwertbestimmung, Shutter, Fokusautomatik usw.) eine Schwarz bildaufnahme 11, eine Weißbildaufnahme 12, eine Farbreferenz aufnahme 13 und die Korrekturgrößenermittlung 14. Vor den genannten Schritten der Abgleichsmessungen 10 erfolgt zunächst eine Signalanpassung der Schwarz- und Weiß-Pegel an das ver wendete Videosystem. Bei eingeschalteter Beleuchtung und fokussiertem Bild wird während der Erfassung eines Weißbildes die Blende oder eine entsprechende Shutter-Einrichtung so weit geöffnet, daß der Kanalpegel voll ausgelastet wird. Alle Beleuchtungs-, Fokussierungs-Blenden und Verstärkungsein stellungen des Aufnahmesystems werden als Konfigurationsdatei gespeichert. Diese Signalanpassung wird immer dann wiederholt, wenn sich eine der Einstellungen durch betriebsbedingte Veränderungen oder durch Instabilitäten ändert.

Zur Schwarzbildaufnahme 11 wird das Kameraobjektiv vollständig abgedunkelt und eine Signalpegeleinstellung für den Schwarzwert vorgenommen. Die Signalpegeleinstellung erfolgt derart, daß die Grauwertverteilungen in den drei Farbkanälen einander gleich sind und unterhalb vorbestimmter Grenzen liegen. Erfolgt die Bild aufnahme beispielsweise mit einem digitalen Videosystem mit einer Signalauflösung über 256 Pegelstufen, so kann die vorbestimmte Grenze innerhalb der unteren Stufen 0 bis 15 gewählt werden. Die mit den ermittelten Signalpegeleinstellungen aufgenommenen Schwarzbilder S(x, y) der Farbkanäle dienen als Schwarzreferenz bilder.

Bei der Weißbildaufnahme 12 wird entsprechend ein weißes oder graues Referenzbild aufgenommen und die Blende und/oder die Kameraverstärkung so eingestellt, daß wiederum die Signalpegel in den drei Farbkanälen einander gleichen und oberhalb einer vorbestimmten Weißgrenze liegen. Die Weißgrenze kann entsprechend dem obigen Beispiel im Bereich der oberen Signalpegelstufen 200 bis 255 liegen. Die mit den ermittelten Blenden- und/oder Verstärkungswerten aufgenommenen Weißbilder der Farbkanäle dienen als Weißreferenzbild W(x, y). Die Weißbildaufnahme 12 wird für jede Vergrößerungseinstellung durchgeführt, bei der später die eigentliche Bilderfassung erfolgt.

Anschließend werden aus den Schwarz- und Weißbildern jeweils entsprechend ein mittlerer Schwarzwert S_m und ein mittlerer Weißwert S_m (jeweils ein mittlerer Weißwert für jede Ver größerungseinstellung) ermittelt. Aus den Schwarz- und Weiß bildern wird eine sogenannte Shading-Matrix gebildet, die bei den späteren Korrekturschritten 20 zur Shading-Korrektur vorgesehen ist.

Die Farbreferenzaufnahme 13 ist vorgesehen, um kameraspezifische Farbfehler der aufgenommenen Rohbilder korrigieren zu können. Die Farbreferenzaufnahme 13 ist somit nicht zwingend erforderlich, falls bei einer angestrebten Anwendung eine Vergleichbarkeit der mit verschiedenen Kameras aufgenommenen Bilder nicht von Interesse ist. Die Farbreferenzaufnahme 13 erfolgt derart, daß zunächst Farbreferenzen als Sollwerte nach einer Referenzkarte mit vorbestimmten, bekannten Farbwerten erfaßt werden. Die Erfassung erfolgt beispielsweise durch eine Abspeicherung der Sollwerte im Kamerasystem. Anschließend wird die Referenzkarte der tatsächlich verwendeten Kamera aufgenommen. Die dabei erhaltenen Farbwerte dienen als Ist-Werte, deren Abweichung von den Soll-Werten ermittelt wird. Der Soll-Ist-Vergleich erfolgt mit einer oder mehreren an sich bekannten Regressionsmethoden (z. B. auf Grundlage der Fehlerquadratsrechnung) oder mittels neuronaler Netze. Das Ergebnis der Berechnung ist eine 3.3-Korrekturmatrix K (k₁₁, k₁₂, k₁₃, k₂₁, . . ., k₃₃), mit der ein aufgenommenes RGB-Bild in ein korrigiertes R'G'B'-Bild gemäß

(R', G', B') = K (R, G, B)

umgewandelt wird.

Die Referenzkarte, auf deren Grundlage die Farbreferenzaufnahme 13 erfolgt, kann eine an sich bekannte, standardmäßige Referenz karte sein. Es ist jedoch ersatzweise auch möglich, die Farb referenzkarte anwendungsspezifisch in das Aufnahmesystem zu integrieren. So ist es beispielsweise möglich, bei den dermato logischen Untersuchungen, bei denen der zu untersuchende Haut bereich an einer transparenten Platte anliegt, durch die die Bildaufnahme erfolgt, Farbreferenzmarkierungen auf der Platte anzubringen. Dies ist besonders vorteilhaft, da die Farbreferenz aufnahme 13 unter genau denselben Bedingungen durchgeführt werden kann, wie die eigentliche Bilderfassung 20.

Die Korrekturgrößenermittlung 14 (s. Fig. 1) umfaßt die Ermittlung der Shading-Matrix und der Farbkorrekturmatrix K in einem für die weitere Bearbeitung geeigneten Datenformat.

Die Bilderfassung 20 umfaßt alle Schritte der Aufnahme eines digitalen Videobildes des zu untersuchenden Objekts. Im Falle von Gewebeuntersuchungen wird eine Ein-Chip- oder Drei-Chip-CCD-Kamera mit einem geeigneten Aufsatzadapter auf das Gewebe gesetzt, wie es beispielsweise von W. Stolz et al. in "Journal of the American Academy of Dermatology" (Band 35, Seite 202, 1996) beschrieben ist. Das Kamerasystem soll unter Remotekontrolle betrieben werden, um alle Einstellungen mit einem Computer gesteuert vornehmen zu können. Nach der Bilderfassung 20 wird das aufgenommene Rohbild den Korrekturschritten 30 zur Bereit stellung des Aufnahmebildes unterzogen, das Gegenstand der Bild verarbeitung ist.

Die Korrekturschritte 30 umfassen eine Shadingkorrektur oder Untergrundkompensation 31 und ggf. eine Farbkorrektur 32. Die Shadingkorrektur 31 umfaßt eine additive Korrektur, die bevorzugt eingesetzt wird, falls Beleuchtungsinhomogenitäten überwiegen, oder eine multiplikative Korrektur, die bevorzugt eingesetzt wird, falls Inhomogenitäten der Sensorik überwiegen. Die Untergrundkompensation zur Ermittlung des additiv (B_A) bzw. multiplikativ (B_N) korrigierten Bildes aus dem Rohbild (B) erfolgt gemäß:

B_A(x, y) = B(x, y)-W(x, y) + W_m-S_m (additiv)

B_M(x) = B(x, y) W_m/W(x, y)-S_m (multiplikativ)

Das korrigierte Bild B_A bzw. B_M wird entsprechend der oben angegebenen Farbkorrekturform mit der Korrekturmatrix K multipliziert (Farbkorrektur 32).

Das nach der erfindungsgemäßen Shading- und Farbkorrektur vorliegende Aufnahmebild besitzt den Vorteil, daß die Pixelwerte (Helligkeit, Farben) unabhängig von spezifischen Eigenschaften des Kamerasystems und der Aufnahmebedingungen sind, so daß die Vergleichbarkeit des Aufnahmebildes mit zeitlich und örtlich unabhängig aufgenommenen Aufnahmebildern gewährleistet ist und das Aufnahmebild eine reproduzierbare, normierte Eingangsgröße für die sich anschließende Bildverarbeitung darstellt. Durch die Verwendung von CCD-Kameras mit Remotesteuerung werden alle Einstellungen unter Computerkontrolle durchgeführt und re gistriert. Abweichungen von den Sollwerteinstellungen werden damit erkannt.

(b) Bildverarbeitung

Die Bildverarbeitung liefert Bildmerkmale, die Ausgangspunkt für eine sich anschließende Identifikation und Bewertung von Hautveränderungen bezüglich ihrer Dignität und Entwicklung sind.

Die erfindungsgemäße Bildverarbeitung umfaßt gemäß Fig. 2 nach der Aufnahme eines Digitalbildes oder Aufnahmebildes, die unter Bezug auf die Fig. 1 beschrieben worden ist, eine Bildvorverarbeitung 100 und eine bewertungsrelevante Bildver arbeitung (Bildanalyse) 200. Weitere Verarbeitungsschritte schließen sich mit der Visualisierung 300 und Klassifizierung 400 an. Die Bildvorverarbeitung 100 ist allgemein darauf gerichtet, Auszüge von merkmalsspezifischen Regionen ("region of interest") des Digitalbildes (sogenannte "Masken") zu erstellen, die dazu vorgesehen sind, Eingangsgrößen für lineare oder nicht lineare Methoden der Bildverarbeitung zu bilden, die im Rahmen der sich anschließenden Bildanalyse 200 durchgeführt werden. Die erforderlichen Maskentypen richten sich je nach den zu analysierenden Merkmalen und den vorgesehenen linearen oder nichtlinearen Bildverarbeitungsmethoden wie z. B. der Skalierungs indexmethode, der Bestimmung der fraktalen Dimension von Bild strukturen, der Ermittlung generalisierter oder lokaler Entropiemaße, der Anwendung statistischer Verfahren oder dergleichen. Die Masken liegen in binärer Form vor. Bei der dargestellten Ausführungsform umfassen die im Ergebnis der Bild vorverarbeitung 100 gelieferten Masken eine Artefaktmaske zur Markierung von Störungen im Aufnahmebild des untersuchten biologischen Gewebes, eine Objektmaske zur binären Markierung eines bestimmten Gewebeabschnittes innerhalb des Aufnahmebildes, eine Konturmaske, die den eindimensionalen oder linienhaften Grenzverlauf der Objektmaske repräsentiert, eine Randmaske zur zweidimensionalen Darstellung des Randbereiches des untersuchten Gewebeabschnittes und ein auf prototypische Farben (sogenannte "Farbsymbole") reduziertes Farbbild mit einer quantisierten Farbdarstellung des Aufnahmebildes. Weitere Ergebnisse der Bild vorverarbeitung 100 sind der Größennormierungsfaktor f (auch Skalierungsfaktor) und Farbtransformationen des Aufnahmebildes.

Es ist ein besonderes Merkmal der Erfindung, daß eine Zerlegung der Bildbewertung in elementare voneinander unabhängige Klassen von Bildcharakteristika, namentlich von Geometrie-, Farb- und Struktureigenschaften, erfolgt. Die Masken und übrigen Normierungs- oder Transformationsgrößen werden für die spätere Bildanalyse gespeichert. Ein besonderer Vorteil dieser Vorgehens weise besteht darin, daß durch die Maskenbildung und Normierung (Größe, Farbe) jedem Aufnahmebild ein abgeleitetes Bild zuge ordnet wird, mit dem dann die Bildanalyse für alle Aufnahme- und Referenzbilder unter vergleichbaren, normierten Bedingungen erfolgt.

(b1) Bildvorverarbeitung

Die Bildvorverarbeitung 100 enthält gemäß Fig. 2 eine Bild bereinigung 101. Die Bildbereinigung 101 ist dazu vorgesehen, gewebefremde Bildelemente aus dem Aufnahmebild zu entfernen. Derartige Störungen (oder: Artefakte) durch gewebefremde Elemente werden beispielsweise durch Haare, Lichtreflexe bei der Bild aufnahme, Blasen in einer Immersionsflüssigkeit, sonstige gewebefremde Partikel oder dergleichen gebildet. Nach der Bild bereinigung 101, die im einzelnen weiter unten beschrieben wird, erfolgt die Segmentierung 102 des Aufnahmebildes. Die Segmen tierung 102 ist darauf gerichtet, einen bestimmten, interes sierenden Gewebeabschnitt (Bildausschnitt) vom übrigen Gewebe zu trennen. Bei der Erkennung von Pigmentveränderungen ist die Segmentierung beispielsweise darauf gerichtet, die Punkte (Pixel) des digitalen Aufnahmebildes zu ermitteln und zur Weiterver arbeitung bereit zustellen, die zur Hautveränderung gehören, und die übrigen Punkte, die die umgebende Hautoberfläche abbilden, aus dem Aufnahmebild zu trennen. Im Ergebnis der Segmentierung 102, die im einzelnen weiter unten beschrieben wird, werden die Objektmaske, nach einer Konturberechnung 103 die Konturmaske, nach einer Normierung 104 der Größennormierungsfaktor f und nach einer Randbestimmung 105 die Randmaske ermittelt.

Die Farbbearbeitung 106, 107 erfolgt vor der Bildbereinigung 101 und Segmentierung 102 oder parallel zu diesen Schritten und umfaßt eine Farbquantisierung 106 sowie eine Farbtransformation 107. Die Farbtransformation ist nicht notwendig Teil der Bild vorverarbeitung 100, sondern kann vielmehr auch im Rahmen der Bildanalyse durchgeführt werden.

Die Bildvorverarbeitung 100 kann weitere Schritte beinhalten, die anwendungsabhängig oder zielorientiert realisierte Maßnahmen zur normierten Darstellung des Aufnahmebildes umfassen. So können beispielsweise zusätzlich geometrische Transformationen vor gesehen sein, mit denen aufnahmebedingte Verzerrungen beseitigt werden. So ist bei der Verarbeitung von Bildern innerer Gewebe (z. B. Augenuntersuchungen, endoskopische Untersuchungen) ein Entzerrungsschritt vorgesehen, bei dem ein gewölbter Gewebe bereich unter Berücksichtigung der Wölbungseigenschaften und optischen Aufnahmeparameter auf eine zweidimensionale Ebene projiziert wird.

Im folgenden werden Einzelheiten der Schritte der Bildvorver arbeitung 100 erläutert. Es werden die Verarbeitungsschritte genannt, ohne daß auf Details der an sich bekannten Bild bearbeitungstechniken eingegangen wird.

Zur Bildbereinigung 101 wird zunächst das Aufnahmebild in ein Grauwertbild umgewandelt, das dann entsprechend einer der folgenden Verfahrensweisen weiterbearbeitet wird.

Gemäß einer ersten Alternative erfolgt eine Bearbeitung des Grauwertbildes mit einem an sich bekannten Liniendetektor (Algorithmus zur Verbindung von Grauwertgradienten-Maxima) der Informationen über die Lagerichtung und Breite von Linien im Aufnahmebild liefert. Anschließend werden sehr kurze und in der Richtungsinformation stark variierende Linien (sogenannte Phantome) durch Vergleich der ermittelten Linien mit vorbe stimmten Grenzwerten erfaßt und von der weiteren Bildbereinigung ausgeschlossen. Abschließend werden Lücken zwischen Linien fragmenten geschlossen und das ermittelte Linienbild als Artefaktmaske gespeichert. Gemäß einer zweiten Alternative erfolgt nach einer Kontrasterhöhung des Grauwertbildes eine Anwendung der oben erwähnten Skalierungsindexmethode (SIM). Bei der Kontrasterhöhung werden helle Bereiche einer erhöhten Helligkeit und dunkle Bereiche einer weiter erniedrigten Helligkeit durch Multiplikation mit der Sigmoid-Funktion unter Bezug auf einen mittleren Grauwert zugeordnet.

Anschließend werden die neun Grauwerte der 3.3-Umgebung jedes Bildpunktes (Pixel) zusammen mit den zwei Ortskoordinaten des Bildpunktes zu einem 11-dimensionalen Raum vereint. In diesem Merkmalsraum werden die Skalierungsindizes mittels SIM bestimmt, aus dem Spektrum der Indizes das liniencharakteri sierende Band extrahiert und die dazu gehörenden Pixel in einem Digitalbild markiert.

Ein Beispiel einer Spektrendarstellung nach der SIM ist in Fig. 3 abgebildet. Es ist erkennbar, daß eine große Häufung für Skalierungsindices besteht, die größer als drei sind (rechtes Maximum). Die Pixel mit Skalierungsindizes im Bereich zwischen 1 und 2 sind von dieser Häufung deutlich getrennt und werden den Linienstrukturen zugeordnet.

Anschließend wird das mit der SIM ermittelte Digitalbild der Linienstrukturen einer standardmäßigen Erosion unterzogen. Das erodierte Digitalbild der Linienstrukturen wird mittels einer UND-Operation mit einem binarisierten Grauwertbild des Aufnahme bildes addiert, woraus sich die Artefaktmaske ergibt. Das binarisierte Grauwertbild wird erzeugt, indem das Aufnahmebild einem binären Medianfilter unterzogen wird, der ein Pixel in Abhängigkeit davon auf Schwarz oder Weiß setzt, ob sein Grauwert unter oder über dem Median der Umgebungspixel liegt.

Die Artefaktmaske kann schließlich noch einer Phantombereinigung unterzogen werden. Mit einem sogenannten Scrabbling werden besonders kleine Linienstrukturen aus der Artefaktmaske entfernt.

Das erläuterte Bildbereinigungsverfahren kann auch aufandere Bildstörungen angewendet werden, deren Skalierungsindizes sich deutlich von denen des Gewebebildes unterscheiden, so daß durch einfache Spektrenbetrachtung die entsprechenden Pixel aus dem Aufnahmebild erfaßt werden können.

Fig. 4 zeigt ein Beispiel einer Artefaktmaske für ein Hautbild, bei dem Haare um die zu untersuchende Läsion (mittlerer Bildteil) angeordnet sind.

Die erfindungsgemäße Bildbereinigung 101 ist besonders vorteil haft, da Bildstörungen mit hoher Geschwindigkeit, Selektivität und Vollständigkeit erfaßt werden. Ferner wird mit der Artefakt maske eine exakte Positionsbestimmung der Bildstörungen geliefert.

Die Segmentierung 102 (s. Fig. 2) dient der Trennung der abge bildeten Läsion vom unversehrten Hauthintergrund. Hierzu erfolgt zunächst eine Transformation des Aufnahmebildes aus dem RGB-Raum (Bildaufnahme) in einen geeigneten anderen Farbraum (z. B. über eine Hauptachsentransformation) . Der Zielfarbraum wird so aus gewählt, daß nach der Farbtransformation eine Projektion (Reduktion) des transformierten Bildes auf eine Farbebene erfolgen kann, in der die Segmentierung durch eine Schwellwert trennung besonders effektiv und zuverlässig durchgeführt werden kann. Im Falle der Erfassung von Pigmentveränderungen der Haut wird das transformierte Bild vorzugsweise auf eine Blauebene reduziert.

Anschließend wird das von Artefakt-Elementen (hier zum Beispiel: Blauwerte) bereinigte Histogramm des farbtransformierten Bildes erstellt und durch iterative Histogrammanalyse ein Farb-Schwell wert ermittelt, der den zu segmentierenden Bildausschnitt (die Läsion) vom Bildhintergrund (unversehrte Haut) trennt. Das Histogramm ist eine Häufigkeitsverteilung der Blauwerte, die in bestimmte Bezugsintervalle fallen. Bei der iterativen Histo grammanalyse erfolgt gemäß Fig. 5 zunächst eine Darstellung mit relativ breiten Bezugsintervallen (Fig. 5a). Bei diesem Histogramm wird das Bezugsintervall mit der minimalen Blau werthäufigkeit ermittelt. Bei den anschließend gebildeten Histogrammen mit schrittweise kleineren Bezugsintervallen wird das Minimum mit der minimalen Häufigkeit jeweils innerhalb des Bezugsintervalls gesucht, das beim jeweils vorhergehenden Histogramm den Minimalwert repräsentierte (Fig. 5b-5d). So zeigt das Histogramm gemäß Fig. 5d mit feiner Bezugsintervall breite ein erstes Maximum bei niedrigen Blauwerten (ent sprechend: niedrige Helligkeiten), das dem dunklen Läsions bereich entspricht, und ein zweites Maximum bei höheren Blauwerten (höhere Helligkeiten), das der umgebenden Haut entspricht.

Die Histogrammanalyse kann beim Auftreten einer Mehrzahl von Objekten mit einer Bestimmung der Objektanzahl und der Auswahl des im Bildmittelpunkt am nächsten gelegenen Objekts kombiniert werden.

Die Objektmaske (s. Fig. 2) wird ermittelt, indem alle Punkte des transformierten Bildes mit einem Blauwert, der kleiner oder gleich dem ermittelten Schwellwert ist, zusammengefaßt und einem Bereichswachstumsverfahren unterzogen werden. Dies bedeutet, daß in der Nachbarschaft der ermittelten Bildpunkte entsprechend einem vorbestimmten Homogenitätskriterium innerhalb von Toleranzgrenzen zusätzlich Bildpunkte angelagert werden. Ein weiterer Nachbearbeitungsschritt kann die Schließung von Lücken und eine Glättung der äußeren Begrenzung der ermittelten Bildpunkte umfassen. Das Ergebnis des nach dem Bereichswachstum (ggf. mit Nachbearbeitung) erhaltenen Digitalbildes ist die Objektmaske gemäß Fig. 2.

Die erfindungsgemäße iterative Histogrammanalyse ist besonders vorteilhaft, da mit einer einfachen Grundannahme (dunkles Objekt (Läsion), helle Umgebung (Haut)) zuverlässig eine reproduzierbare Segmentierungsgrenze als Minimum zwischen hellen und dunklen Bereichen ermittelt wird, wobei durch die Realisierung mit einer iterativen Histogrammerzeugung mit steigender Auflösung die Bestimmung der Segmentierungsgrenze (Schwellwert) am Ort lokaler Minima vermieden wird. Ein weiterer Vorteil besteht darin, daß die Schwellwerttrennung nach diesem Algorithmus vollständig automatisierbar und mit hoher Geschwindigkeit durchführbar ist.

Aus der Objektmaske wird bei der Konturberechnung 103 (s. Fig. 2) durch eine einfache Bestimmung der Randpixel der linienhafte Rand (Segmentierungsgrenze, Konturmaske) bestimmt.

Neben der geometrischen Lage der Konturmaske wird erfindungs gemäß auch eine Randmaske ermittelt, aus der charakteristische Eigenschaften der Randbreite und Homogenität bei einer nach folgenden Bildanalyse ableitbar sind. Die Randbestimmung 105 (s. Fig. 2) zur Ermittlung der Randmaske umfaßt einen ersten Schritt der Randdefinition und einen zweiten Schritt der Randskalierung. Beide Schritte werden unter der generellen Normierbarkeitsanforderung zur Herstellung der Vergleichbarkeit mit Referenzbildern durchgeführt.

Die Randdefinition erfolgt auf der Grundlage der oben genannten Histogrammanalyse, indem um den ermittelten Schwellwert (Segmentierungsgrenze) herum ein Randintervall definiert wird und alle Bildpunkte ermittelt werden, deren Blauwerte in dieses Randintervall fallen. Alternativ ist es möglich, ein Hautähnlichkeitsmaß für jeden Bildpunkt der ermittelten Läsion zu berechnen, die Läsionsbildpunkte darauf hin nach ihrer Hautähnlichkeit zu sortieren und einen bestimm ten Anteil der hautähnlichsten Punkte als Läsionsrand zu definieren. Das Hautähnlichkeitsmaß ist wiederum durch den Farbwert (z. B. Blauwert) gegeben. Der Anteil der als Rand definierten Bildpunkte kann beispielsweise 10% der hautähn lichsten Pixel umfassen, wobei jedoch dieser Wert je nach der Anwendung und den Ergebnissen der Bildverarbeitung optimiert werden kann.

Anschließend kann der ermittelte Randbereich zur Erzielung der Randmaske einer Größennormierung unterzogen werden, indem das durch die Randdefinition bestimmte binäre Berandungsbild mit dem Größennormierungsfaktor f skaliert wird. Der Größen normierungsfaktor f ergibt sich aus dem Normierungsschritt 104 (s. Fig. 2), bei dem die Objektmaske der Läsion in Bezug auf eine bestimmte, für Referenzzwecke einheitliche Fläche (mit einer bestimmten Bildpunktzahl), skaliert wird.

Ein Beispiel einer Randmaske aus einem erfindungsgemäß verarbeiteten Bild einer Pigmentveränderung ist in Fig. 6 dargestellt. Es zeigt sich, daß durch die Ermittlung der Randmaske ein zweidimensionales Gebilde entsteht, das neben der rein geometrischen Position des Läsionsrandes zusätzliche Informationen über dessen Ausdehnung und Struktur enthält, worauf im einzelnen weiter unten eingegangen wird.

Beim Normierungsschritt 104 (s. Fig. 2) erfolgt eine Größen skalierung im Ortsraum der Objektmaske. Der Normierungs faktor f wird durch (A_ref/A_a)^½ bestimmt, wobei A_ref eine Objektreferenzfläche und A_a die Fläche des aktuellen Objektes bezeichnen.

Die Farbquantisierung 106 (s. Fig. 2) ist darauf gerichtet, aus dem Aufnahmebild ein in Bezug auf prototypische Farben quantisiertes Bild (Farbsymbol) zu erzeugen, aus dem Farbmerk male ableitbar sind, die in reproduzierbarer Weise mit entsprechenden Farbmerkmalen von Referenzbildern vergleichbar sind. Die Bildung des Farbsymbols stellt eine Codierung dar und umfaßt die Projektion des farbigen Aufnahmebildes auf einen Satz prototypischer Farben. Die prototypischen Farben ergeben sich aus einer gesonderten anwendungsspezifischen Definition von Farbclustern in einem geeigneten Farbraum. Die Farbcluster bilden einen partitionierten Merkmalsraum und werden durch Anwendung einer hierarchischen Fuzzy-Clustering- Methode aus einem Trainingssatz einer Vielzahl aufgenommener Farbbilder ermittelt. Als geeigneter Farbraum wird ein solcher Farbraum ausgewählt, der für die spätere Ableitung von Farb merkmalen in Bezug auf die Auswertungsgenauigkeit besonders gute klasseneinheitliche Ergebnisse liefert. So hat sich für die Verarbeitung von Hautbildern zum Beispiel der sogenannte YUV-Farbraum als geeignet erwiesen, bei dem zwei Achsen durch Farbdifferenzen und eine Achse durch ein Helligkeitsmaß gebildet werden. Es kann vorgesehen sein, das Aufnahmebild vor der Farbquantisierung 106 zunächst in den gewählten Farbraum zu transformieren, um eine bessere Farbdifferenzierung zu erzielen. Die Farbpalette des Aufnahmebildes wird mit der Methode der Vektorquantisierung vorzugsweise auf rd. 10 bis 30 prototypische Farbcluster reduziert. Die Projektion auf die Cluster erfolgt, indem für jeden Bildpunkt der euklidische Abstand zu sämtlichen Clustern bestimmt, der minimale Abstand zu einem nächsten Cluster ermittelt und der jeweilige Bild punkt diesem nächsten Cluster zugeordnet wird (sogenanntes "next neighbour matching").

Die Vorteile der beschriebenen Bildvorverarbeitungsschritte bestehen in der Verbesserung der inter- und intraindividuellen Vergleichbarkeit der Bilddaten, der erhöhten Stabilität sich anschließender diagnostischer Verfahren gegenüber Hauttyp schwankungen oder jahreszeitlichen Hauttönungs-Schwankungen durch die Farbquantisierung und die Möglichkeit der Verlaufs kontrolle von Hautveränderungen.

Zusätzlich zu den in Fig. 2 dargestellten Schritten der Bildvorverarbeitung 100 kann erfindungsgemäß vorgesehen sein, daß die Maskenbearbeitung in Abhängigkeit von Korrektur größen erfolgt, die aus der Bildanalyse 200 der Visualisierung 300 und/oder der Klassifizierung 400 abgeleitet sind.

(b2) Bildanalyse

Im folgenden werden Einzelheiten der Bildanalyse oder bewertungsrelevanten Bildverarbeitung 200 erläutert, die darauf gerichtet ist, aus den ermittelten Masken, Trans formationen und Größennormierungen mit Methoden der linearen oder nichtlinearen Bildverarbeitung, wie z. B. der SIM und statistischen Methoden reproduzierbare und vergleichbare Bildparameter des betrachteten Bildausschnittes (maskierter Gewebeabschnitt) abzuleiten. Im folgenden wird beispielhaft auf die A-, B-, C- und D-Parameter Bezug genommen, die nach einer dermatoskopischen Beurteilungsregel (ABCD-Regel) benannt sind und die Symmetrie (A), den sogenannten Border- Bereich (B, auch Randbereich), die Color-Merkmale (C, auch Farbmerk male) und die strukturellen Differenzierungen (D) einer untersuchten Läsion bezeichnen. Die Bezeichnung dient lediglich der Illustration. Im Unterschied zu den herkömmlich als Diagnoseergebnis ermittelten Parametern der ABCD-Regel sind die im folgenden beschriebenen A-, B-, C-, und D-Kompo nenten der erfindungsgemäß ermittelten Bildparameter keine Diagnoseendergebnisse. Es ist möglich, bei anderen Anwendungen der Erfindung als der beispielhaft angegebenen Melanomunter suchung nur einzelne der im folgenden beschriebenen Parameter oder weitere, aus diesen abgeleitete Bildparameter bei der Bildanalyse 200 zu ermitteln. Zu jeder der genannten Komponenten können globale Komponenten (Index in den Figuren: G), die sich auf Bildparameter der gesamten Läsion beziehen, und lokale Komponenten (Index in den Figuren: L) abgeleitet werden, die sich auflokale Bildeigenschaften der untersuchten Läsion beziehen.

i) B-Komponente (Border-Merkmal)

Die Ermittlung der B-Komponente(n) (Schritt 220 Fig. 2) zur Bewertung des Läsionsüberganges oder -randes wird im folgenden unter Bezug auf Fig. 7 beschrieben. Fig. 7 zeigt schematisch Einzelheiten der Border-Bestimmung 220 auf der Grundlage der Merkmale der Randmaske, der Konturmaske und des Größennormierungsfaktor f. Die Border-Bestimmung 220 umfaßt eine Randpunkteklassifikation 221, bei der die Bildpunkte der Randmaske in Abhängigkeit vom jeweiligen Skalierungsindex klassifiziert und verschiedenen Untermasken zugeordnet werden, eine Homogenitätsbestimmung 222, bei der aus der räumlichen Anordnung der Randmaske ein Parameter der Berandungshomogenität abgeleitet wird, eine Randprofilbestimmung 223, bei der Merk male der Abruptheit des Läsionsüberganges abgeleitet werden, eine Erfassung der Randrichtungsstetigkeit 224 mittels Varianz merkmalen der Randmaske und eine Erfassung der Konturrauhig keit 225 mittels der fraktalen Dimension der Konturmaske.

Die Randpunkteklassifikation 221 ist darauf gerichtet, Läsionen mit einem flächig ausgedehnten Randbereich, wie dies für Melanome typisch ist, von Läsionen mit einem scharf begrenzten Randbereich zu trennen. Das Ergebnis der Randpunkte klassifikation 221 wird wie folgt visuell dargestellt oder durch einen Parameter B1 repräsentiert. Zunächst wird für jeden Punkt der Randmaske der Skalierungsindex berechnet. Anschließend wird die Zahl der Pixel, deren Skalierungsindex oberhalb einer vorbestimmten Grenze liegt, und die Zahl der übrigen Pixel bestimmt. Die Grenze kann beispielsweise mit dem Skalierungsindex a₀ = 1 gegeben werden. Zur visuellen Darstellung werden die Bildpunkte jeweils unter bzw. oberhalb der Grenze Submasken zugeordnet, die dann zur weiteren Beurteilung auf einem Anzeigemittel visualisiert werden. Die Fig. 8A und 8B zeigen jeweils entsprechend Randmasken von Läsionen und die zugehörigen Submasken bei einem Grenzwert a₀ = 1. Im Fall von Fig. 8A umfassen die Submasken, die jeweils die Bildpunkte mit a ≦ 1 bzw. a < 1 repräsentieren, nahezu gleichgroße Areale, wohin gegen im Fall von Fig. 8B die Submaske mit a < 1 wesentlich ausgeprägter ist. Dies bedeutet, daß die in Fig. 8B darge stellte Läsion eine größere Anzahl von Bildpunkten im Rand bereich aufweist, die einen relativ großen Skalierungsindex besitzen. Dies bedeutet eine flächige Ausbildung des Rand bereiches, so daß die Läsion gemäß Fig. 8B einem malignen Melanom zugeordnet werden kann. Der Randbereich gemäß Fig. 8A ist hingegen schärfer begrenzt, so daß die Läsion nicht einem malignen Melanom, sondern einer benignen Pigmentveränderung zugeordnet wird.

Das visualisierte Ergebnis kann auch mit dem B1-Parameter gemäß:

B1 = n_a<1/N_Rand (1)

dargestellt werden, wobei n_a<1 die Zahl der Bildpunkte mit einem Skalierungsindex a < 1 und N_Rand die Gesamtzahl der Bildpunkte der Randmaske repräsentieren.

Zur Homogenitätsbestimmung 222 (s. Fig. 7) wird ein Maß B2 zur Erfassung der Schwankungen der Umrandungsdicke entlang des Läsionsumfanges ermittelt. Der Parameter B2 ergibt sich gemäß Gleichung (2) aus dem Parameter B1 gemäß Gleichung (1) und einer Vielzahl lokaler Parameter b1_i:

B2 = (1/n).Σ_i(B1-b1_i)² (2)

Die lokalen Parameter b1_i ergeben sich, indem die Randmaske mit einem Gitter überzogen und für alle n Gitterfenster, die eine Mindestzahl von Bildpunkten enthalten, der lokale Parameter b1_i analog zu Gleichung (1) berechnet wird. Die Gittergröße und die Mindestbildpunktzahl werden in Abhängigkeit von der Läsionsgröße geeignet gewählt. Der Parameter für die Berandungshomogenität B2 wächst, falls entlang des Rand umfanges große Schwankungen des Parameters b1 in Bezug auf den globalen Parameter B1 auftreten. Somit bedeutet ein größerer Parameter B2 eine größere Berandungsinhomogenität.

Die Randprofilbestimmung 223 dient der weiteren Charakteri sierung der Abruptheit des Läsionsüberganges. Für jeden Bild punkt der Randmaske wird eine lokale Umgebung (Fenster) definiert und die Ausrichtung des Randes in dieser lokalen Umgebung ermittelt. Die Ausrichtung ergibt sich aus einer linearen Regression der Nachbarpunkte innerhalb des Fensters. Der Randwinkel der Regressionsgerade in Bezug auf die Horizon tale wird ermittelt und die Bildpunktmenge im betrachteten Fenster um diesen Randwinkel in die Horizontale gerichtet. Dies ist beispielhaft in Fig. 6 illustriert. Anschließend werden die Anisotropieskalierungsindizes a_y ⁱ in y-Richtung mittels der Skalierungsvektormethode (SVM), wie sie in DE 196 33 693 beschrieben ist, bestimmt. Der für die Rand breite oder -dicke charakteristische Bildparameter B3 ergibt sich gemäß Gleichung (3)

B3 = n(a_y < 0.3)/N_Rand (3)

n(a_y < 0.3) bezeichnet die Zahl der Bildpunkte mit einem anisotropen Skalierungsindex a_y < 0.3. Je nach Anwendungsfall kann statt des Grenzwertes 0.3 auch ein anderer geeigneter Grenzwert gewählt werden. Die Größe n bezieht sich auf den Gesamtrand. Die Berechnung des Parameters B3 stellt einen wesentlichen Vorteil gegenüber herkömmlichen Verfahren zur Beurteilung der Berandungsdicke dar, die in der Regel mit einer Randglättung verbunden sind, da bei den herkömmlichen Verfahren eine Zerklüftung der Rampenkante unberücksichtigt bleibt und somit Information verloren geht.

Es ist ersatzweise auch möglich, die Drehung der lokalen Umgebung jeweils um den Randwinkel wegzulassen und die Bild punktmenge der ungedrehten Umgebung der anisotropen SVM zu unterziehen, wobei dann in die Bestimmung eines modifizierten B3' Parameters die Skalierungsindices in x- und y-Richtung eingehen.

Für die Erfassung der Randrichtungsstetigkeit 224 (s. Fig. 7) können eine oder mehrere der folgenden Alternativmöglichkeiten I, II und III realisiert werden.

Entsprechend der ersten Alternativmöglichkeit I wird wie bei der Randprofilbestimmung 223 zunächst für jeden Bildpunkt der Randmaske ein Randwinkel entsprechend seiner lokalen Umgebung berechnet. Jedem Bildpunkt wird der jeweilige Randwinkelwert zugeordnet. Anschließend werden die Skalierungsindizes a_i des Winkelwertbildes entsprechend der isotropen SIM berechnet, wie sie aus DE 43 17 746 bekannt ist. Der B-Parameter B4 ergibt sich dann analog zu Gleichung (3), wobei hier jeweils die Skalierungsindices des Winkelwertbildes berücksichtigt werden.

Die Verteilung der lokalen Winkelvarianzen wird bei II und III durch deren statistische Momente (Mittelwert, Varianz etc.) und/oder durch ein Entropiemaß quantifiziert und durch den Parameter B4 ausgedrückt. Gemäß der alternativen Möglichkeit II wird, wie oben erläutert, der Randwinkel für jeden Bildpunkt in seiner lokalen Umgebung (Fenster) berechnet. Für die Gesamt zahl der Punkte wird die Varianz der Randwinkel in einem Fenster ("sliding window"), zentriert an dem betrachteten Punkt, berechnet. Der Parameter B4 ergibt sich dann als Entropie der normierten Häufigkeitsverteilung der Winkel varianzen für alle Bildpunkte der Randmaske. Der Parameter B4 (die Entropie) ist hierbei ein Maß für die Besetzung der Intervalle des Histogramms der Winkelvarianzen und wächst mit der Breite der Winkelverteilungen.

Letzteres wird bei der Realisierung der Alternative III dahingehend modifiziert, daß für jeden Bildpunkt Randwinkel für zwei unterschiedlich große lokale Umgebungen und die Winkeldifferenz der Randwinkel berechnet werden. Der Parameter B4 ergibt sich in diesem Fall als Entropie der normierten Häufigkeitsverteilung der Winkeidifferenzen für alle Bildpunkte der Randmaske. Je zerklüfteter die Randmaske ist, desto stärker unterscheiden sich die zu einem Bildpunkt gehörigen Winkel, so daß der Parameter B4 wiederum ein statistisches Maß für die Berandungsregelmäßigkeit ist.

Die Rauhigkeitsbestimmung 225 (s. Fig. 7) bezieht sich nicht auf die Randmaske, sondern die Konturmaske (eindimensionaler Rand der Objektmaske (s. Fig. 2)). Der Parameter B5 ergibt sich aus der Ermittlung der fraktalen Dimension (im folgenden: FD) der Konturmaske. Hierzu kann zunächst das Bild der Konturmaske unter Berücksichtigung des Normierungsfaktors f einer Größen normierung unterzogen. Die FD der Kontur wird nach dem Verfahren von Flook berechnet, wie es im einzelnen in von A.G. Flook in "Powder Technology" (Bd. 21, 1978, S. 295 ff.) beschrieben wird (vgl. auch E. Claridge et al, "Shape analysis for classification of malignant melanoma", J. Biomed. Eng. 1992, Vol. 14, S. 229). Die FD ist ein Maß für die Komplexität des Konturverlaufs: Wird der Kurvenverlauf der Konturmaske durch ein Polygon angenähert, so ist die Anzahl der erforder lichen Schritte abhängig von der jeweiligen Schrittweite. Die FD ist ein Maß für diese Abhängigkeit. Je nach den Parametern bei der Methode von Flook kann eine texturelle und/oder eine strukturelle FD ermittelt werden. Die texturelle FD beschreibt feine Unregelmäßigkeiten der Kontur, während die strukturelle FD größere Schwankungen erfaßt.

Ersatzweise ist es möglich, die Rauhigkeit der Konturmaske wiederum mit der SIM oder SVM zu ermitteln.

Im unteren Teil von Fig. 7 ist erkennbar, wie die Parameter B1-B5 zur Klassifizierung 400 weitergegeben werden, bei der ein Diagnosealgorithmus abgewickelt werden kann. Ferner werden die Parameter B1-B4 gemeinsam mit der Randmaske visualisiert, so daß ein Bediener des Bildverarbeitungssystems ggf. manuell Randbedingungen und Parameter der statistischen Bearbeitung wie Gitter oder Fenstergrößen oder Skalierungsgrenzwerte verändern kann.

ii) C-Komponenten (Farbinhalte und Farbverteilungen der segmentierten Läsion)

Der Schritt der Farbbeurteilung 230 (s. Fig. 2) ist im einzelnen in Fig. 9 dargestellt. Die Farbbeurteilung 230 umfaßt eine Farbvielfaltsbestimmung 231 und eine Farbver teilungsbestimmung 232. Die Farbvielfaltsbestimmung 231 ist darauf gerichtet, das Vorhandensein und die Häufigkeits verteilung der bei der Farbquantisierung 106 (s. Fig. 2) definierten prototypischen Farben in der Läsion zu ermitteln. Die Farbverteilungsbestimmung 232 hingegen ist auf die Ermittlung der geometrischen Anordnung der prototypischen Farben in der Läsion gerichtet.

Der Parameter C1 ergibt sich aus der Farbvielfaltsbestimmung 231 durch eine Bestimmung der statistischen Gewichte p_i der M prototypischen Farben gemäß Gleichung (4) und der daraus abgeleiteten Farbcodierungsentropie gemäß Gleichung (5). Das statistische Gewicht p_i des Farbclusters i entspricht dem Verhältnis der Anzahl der Pixel n_i des Farbclusters i zur Gesamtzahl N der Läsionspixel (N entspricht der Menge der Bildpunkte der Objektmaske).

p_i = n_i/N (4)

Das Maß C1 für die Farbvielfalt der Pigmentveränderung ergibt sich aus der Farbcodierungsentropie gemäß:

C1 = (-1/ln(M)).Σ_ip_iln(p_i) (5).

C1 ist somit ein Maß für die Häufigkeitsverteilung, mit der die einzelnen Cluster besetzt sind.

Für die Farbverteilungsbestimmung 232 wird zunächst als globales Merkmal die Farbcodierungsentropie C1 entsprechend Gleichung (5) berechnet. Dann wird die untersuchte Läsion mit einem regelmäßigen Gitter überzogen, wobei die Gittergröße in Abhängigkeit von der Läsionsgröße gewählt wird. Für alle n Gitterfenster, die zumindest zu einem Drittel mit Läsionspixeln (Bildpunkte der Objektmaske) gefüllt sind, wird die jeweilige lokale Farbcodierungsentropie c_i analog zu Gleichung (5) berechnet. Der Parameter C2 ergibt sich dann als Farb codierungsvarianz aus Gleichung (6)

C2 = (1/n).Σ_i(C1-c_i)² (6).

Im unteren Teil von Fig. 9 ist wiederum dargestellt, daß die Parameter C1 und C2 zur Visualisierung 300 und Klassifizierung 400 (s. Fig. 2) geleitet werden.

iii) D-Komponenten (Erfassung von Strukturelementen in der Läsion)

Die Bildanalyse 200 umfaßt eine Strukturbeschreibung 240 (s. Fig. 2), deren Einzelheiten in Fig. 10 dargestellt sind. Die Strukturbeschreibung 240 enthält Strukturerkennungs verfahren 241, 242 und eine Positionsbestimmung 243, bei der die räumliche Anordnung der bei der Strukturerkennung ermit telten Strukturen erfaßt wird. Die Strukturerkennungsverfahren 241, 242 stellen alternative Bildbearbeitungen dar, die einzeln oder gemeinsam realisiert sein können.

Das erste Strukturerkennungsverfahren 241 beinhaltet zunächst eine Farbtransformation 107, sofern diese nicht bereits im Rahmen der Bildvorverarbeitung (s. Fig. 2) erfolgt ist. Mit der Farbtransformation wird das Aufnahmebild in einen ge eigneten Farbraum transformiert, der eine Projektion auf eine Farbebene erlaubt, in der die zu erfassenden Strukturen einen besonders hohen Kontrast besitzen. So erfolgt beispielsweise bei der Melanomuntersuchung eine Projektion des Aufnahmebildes (ggf. in bereinigter Form) auf die Rotebene zur Erkennung punktartiger Strukturen oder auf eine Grauwert-Helligkeits ebene zur Erkennung netzartiger Strukturen. Für sämtliche Bildpunkte des transformierten Bildes werden die Skalierungs indices a und für die Gesamtpunktmenge das Häufigkeitsspektrum N (a) ermittelt. Unter Ausnutzung der strukturordnenden Eigen schaften des N(a)-Spektrums werden die zu bestimmten Strukturen gehörigen Bildpunkte identifiziert und quantitativ erfaßt.

Bei dem zweiten Strukturerkennungsverfahren 242 erfolgt die Strukturerkennung mit herkömmlichen Methoden der Bildbe arbeitung. Zur Punkterkennung wird das Aufnahmebild beispiels weise in die Rotebene transformiert und einer Kontrasterhöhung und einer selektiven Glättung unterzogen. Die selektive Glättung bedeutet, daß eine Mittelwertsberechnung der Rotwerte stattfindet, in die jedoch nur Bildpunkte einbezogen werden, die einen Rotwert innerhalb eines bestimmten Intervalls um den Mittelwert besitzen. Anschließend werden Rotwert-Dichten (allgemein: Grauwert-Dichten) ermittelt, binarisiert und einer Phantombereinigung unterzogen. Im Falle der Erfassung netz artiger Strukturen erfolgt eine Umwandlung des Farbbildes in ein Grauwertbild, eine Kontrasterhöhung, eine Liniendetektion und eine sich anschließende Phantombereinigung.

Im Ergebnis der Strukturerkennungsverfahren 241 oder 242 lassen sich bestimmte Bildpunkte innerhalb der Läsion Struktur elementen wie Punkten, Netzstrukturen oder Schollen zuordnen. Die Unterscheidung zwischen Punkten und Schollen erfolgt durch die Ermittlung der Anzahl von Bildpunkten, die zu der jeweiligen Struktur gehören.

Die D-Komponenten D1 und D2, die bei den Strukturerkennungs verfahren 241, 242 ermittelt werden, können beispielsweise jeweils entsprechend den Flächenteil der jeweiligen Struktur klasse (Punkt, Netz, oder Scholle) an der Gesamtläsionsfläche und die Anzahl der Strukturen in den verschiedenen Struktur klassen umfassen. Zusätzlich kann bei Punkten oder Schollen eine Berechnung der Kompaktheit c in Abhängigkeit von einem Längenmaß (z. B. Maximalausdehnung) der Struktur und der Fläche der Struktur erfolgen.

Schließlich werden die ermittelten Strukturen bei der Positionsbestimmung 243 einer statistischen Bewertung unterzogen. So wird die lokale Verteilung der Strukturelemente mit einem skalenabhängigen Entropiemaß beschrieben, das den Parameter D3 ergibt.

iv) A-Komponenten (Symmetrieeigenschaften der Läsion)

Die Einzelheiten der Symmetriebewertung 210 innerhalb der Bildanalyse 200 (s. Fig. 2) werden im einzelnen unter Bezug auf Fig. 11 beschrieben. Die Symmetriebewertungen 211-215 beziehen sich jeweils auf die geometrischen Eigenschaften der Kontur, der Berandung, der Objektmaske, der Farbverteilung und der Strukturverteilung. Dies bedeutet, daß einzelne Analyseschritte aus den Analyseverfahren 220, 230 und 240, wie sie oben beschrieben wurden, bei der Symmetriebestimmung 210 identisch oder in abgewandelter Form übernommen werden. Dies bedeutet, daß alle Quantitäten aus der übrigen Bild analyse verwendet werden.

Die Kontursymmetriebestimmung 211 ergibt als Parameter einen Winkel Φ gegenüber einer Bezugsachse (z. B. die Horizontale), der der Neigung der Symmetrieachse der äußeren Kontur der Läsion in Bezug auf die Bezugsachse entspricht. Hierzu wird die Konturmaske in einer Vielzahl von Schritten jeweils in zwei gleichgroße Segmente unterteilt und die fraktalen Dimensionen FD₁, FD₂ der Segmente wie oben beschrieben berechnet. Zu jedem Segment wird ein Zwischenparameter B_i gemäß Gleichung (7) berechnet.

B_i = (min(FD₁, FD₂))/(max(FD₁, FD₂)) (7)

Zwischen zwei Segmentaufteilungen der Konturmaske wird diese jeweils um einen Winkelschritt gedreht. Der Drehwinkel, der unter der Menge der Zwischenparameter B_i einem Minimalwert entspricht, liefert die Neigung der Achse maximaler Asymmetrie gegenüber der Bezugsachse bezüglich der FD_1,2.

Die Berandungssymmetriebestimmung 212 und die Maskensymmetrie bestimmung 213 werden auf der Grundlage von Symmetrieeigen schaften der lokalen Parameter aus dem Verfahrensschritt 220 abgeleitet. Die Farbsymmetriebestimmung 214 umfaßt eine Farb raumtransformation des Aufnahmebildes, die Bestimmung von Symmetrieachsen des transformierten Bildes und die Ableitung von Farbparametern der Bildpunkte in Bezug auf die Symmetrie achsen.

Die Farbsymmetrie wird aus der mittleren Farbdifferenz achsensymmetrischer Bildpunkte bezüglich der Objektsymmetrie achse berechnet.

Die Textursymmetriebestimmung 215 erfolgt wiederum aufgrund von lokalen Merkmalen, die beim Verfahrensschritt 240 der Bildanalyse ermittelt wurden.

Die erläuterten Verfahrensschritte der Bildanalyse 200 sind besonders vorteilhaft, da alle Vorgänge vollständig automati sierbar sind, eine hohe Genauigkeit und Reproduzierbarkeit besitzen und gut an sich anschließende diagnostische Verfahren angepaßt werden können. Die Parametererfassungen sind ferner objektiviert und normiert und können mit hoher Geschwindigkeit durchgeführt werden.

Die Visualisierung 300 (s. Fig. 1) ist bei allen Phasen der Bildvorverarbeitung 100 und der Bildanalyse 200 vorgesehen. Bei der Bildvorverarbeitung ist die Visualisierung 300 eine Falschfarbendarstellung, eine Artefaktmarkierung, eine Objektmarkierung, eine Randmarkierung (jeweils im Overlay- Verfahren) und bei der Bildanalyse 200 die Markierung von Randelementen, die Darstellung der Farbvielfalt und Farb homogenität mit Falschfarbendarstellungen entsprechend der Zugehörigkeit zu den prototypischen Farbclustern, die Sichtbar machung von Strukturelementen (Overlay-Verfahren) und Symmetriemerkmalen (z. B. der Symmetrieachsen). Diese Visualisierung hat den Vorteil, daß durch den Bediener der Bildverarbeitungsanordnung Parameter der statistischen Bearbeitungsverfahren manuell optimiert werden können und die Bildverarbeitung transparent und nachvollziehbar gemacht wird.

Die oben erläuterten Schritte der Bildvorverarbeitung, Bildanalyse, Visualisierung und Klassifizierung sind nicht auf die beispielhaft angegebene Verarbeitung von Hautbildern beschränkt, sondern allgemein bei der Untersuchung von Gewebebildern (z. B. Wundheilbilder zur Untersuchung von kosmetischen Wirkstoffen, Bilder von Gewebespuren bei krimina listischen Anwendungen und dergl.) anwendbar. Die Erfindung ist ferner nicht auf optisch aufgenommene Gewebebilder beschränkt, sondern allgemein bei allen Ergebnissen bild gebender Verfahren mit komplex strukturierten Abbildungen vorteilhaft anwendbar.

Gegenstand der Erfindung ist auch eine Vorrichtung zur Implementierung des oben beschriebenen Verfahrens, die im einzelnen eine Aufnahme- und Beleuchtungseinrichtung, eine Kameraeinrichtung, Speichereinrichtungen, Datenverarbeitungs einrichtungen und eine Anzeigeeinrichtung umfaßt.

Die Vorteile der Erfindung ergeben sich aus der Bereitstellung einer qualitativ hochwertigen und standardisierten Bild erfassung. Es ist insbesondere eine quantitative Erfassung von Bildparametern möglich, die den Bildparametern eines visuell bewertenden Experten entsprechen und an dessen Seh- und Inter pretationsgewohnheiten angelehnt sind. Die Bildinformations inhalte werden in elementare, reproduzierbare Kategorien zerlegt, wobei eine hohe intra- und interindividuelle Vergleichbarkeit gegeben ist. Die beschriebenen Schritte der Bildaufnahme und Bildverarbeitung werden erstmalig bei der Beurteilung biologischen Gewebes angewendet.

Claims

1. Verfahren zur Erfassung und Bearbeitung von Abbildungen biologischen Gewebes, wobei nach einer Bildaufnahme zur Erzeugung eines digitalen Aufnahmebildes das Aufnahmebild einer Bildvorverarbeitung mit einer Bildbereinigung und einer Segmentierung eines zu untersuchenden Gewebeabschnittes und einer Bildanalyse zur Ermittlung vorbestimmter Bildparameter unterzogen wird, dadurch gekennzeichnet, daß bei der Bildaufnahme ein aufgenommenes, digitalisiertes Bild zur Erzeugung des Aufnahmebildes Korrekturschritten (30) unterzogen wird, die eine Shading- und/oder Farb-Korrektur auf der Grundlage von Helligkeits- und/oder Farbkorrekturgrößen umfaßt, die aus Abgleichsmessungen (10) ermittelt werden.

2. Verfahren zur Erfassung und Bearbeitung von Abbildungen biologischen Gewebes, wobei nach einer Bildaufnahme zur Erzeugung eines digitalen Aufnahmebildes das Aufnahmebild einer Bildvorverarbeitung mit einer Bildbereinigung und einer Segmentierung eines zu untersuchenden Gewebeabschnittes und einer Bildanalyse zur Ermittlung vorbestimmter Bildparameter unterzogen wird, dadurch gekennzeichnet, daß bei der Bildvorverarbeitung binäre Masken erzeugt werden, die eine Objektmaske, die den Gewebeabschnitt darstellt, eine Artefaktmaske, die Störungen im Aufnahmebild darstellt, und zur Randdarstellung eine linienhafte Konturmaske, die die Grenze der Objektmaske darstellt, und/oder eine flächige Randmaske umfassen, die einen Randbereich des Gewebeab schnittes darstellt, und bei der Bildanalyse mit Hilfe der Masken die Bildparameter des Gewebeabschnitts ermittelt werden, die für die Randbreite, die Randregelmäßigkeit und/oder das Auftreten von Texturen charakteristisch sind.

3. Verfahren gemäß Anspruch 2, bei dem bei der Bildaufnahme ein aufgenommenes, digitalisiertes Bild zur Erzeugung des Aufnahmebildes Korrekturschritten (30) unterzogen wird, die eine Shading- und/oder Farb-Korrektur auf der Grundlage von Helligkeits- und/oder Farbkorrekturgrößen umfaßt, die aus Abgleichsmessungen (10) ermittelt werden.

4. Verfahren gemäß Anspruch 1 oder 3, bei dem die Abgleichs messung (10) eine Schwarzbildaufnahme (11), eine Weißbild aufnahme (12), eine Farbreferenzaufnahme (13) und eine Korrekturgrößenermittlung (14) mit Berechnung einer Shading- Matrix umfaßt.

5. Verfahren gemäß Anspruch 4, bei dem die Abgleichsmessung jeweils einmal vor Aufnahme einer Vielzahl von Bildern unter konstanten Aufnahmebedingungen erfolgt.

6. Verfahren gemäß Anspruch 4 oder 5, bei dem die Farbreferenz aufnahme (13) die Erfassung einer Referenzfarbkarte umfaßt, die im Bereich des Gewebeabschnittes angeordnet ist.

7. Verfahren gemäß einem der Ansprüche 1 bis 6, bei dem bei der Bildvorverarbeitung eine Farbquantisierung (106) zur Erzeugung eines in Bezug auf prototypische Farben reduzierten Farbbildes (Farbsymbol) des Aufnahmebildes erfolgt und bei dem bei der Bildanalyse aus dem Farbsymbol Bildparameter des Gewebeabschnittes ermittelt werden, die für die Farbvielfalt und Farbverteilung des Aufnahmebildes charakteristisch sind.

8. Verfahren gemäß Anspruch 7, bei dem die Farbquantisierung eine Projektion der Farben des Aufnahmebildes auf die prototypischen Farben umfaßt.

9. Verfahren gemäß Anspruch 8, bei dem der Satz von prototypischen Farben aus einer Vielzahl von Referenzbildern ermittelt wird, deren Farbwerte den Farbwerten des untersuchten Gewebeabschnittes äquivalent sind.

10. Verfahren gemäß einem der Ansprüche 2 bis 9, bei dem bei der Bildanalyse aus der Artefaktmaske, der Objektmaske, der Konturmaske, der Randmaske und dem Farbsymbol Bildparameter des Gewebeabschnittes ermittelt werden, die für die Symmetrie des Gewebeabschnittes charakteristisch sind.

11. Verfahren gemäß einem der Ansprüche 2 bis 10, bei dem eine Farbtransformation (107) des Aufnahmebildes zur Erzeugung eines farbtransformierten Bildes erfolgt, aus dem bei der Bildanalyse Bildparameter des Gewebeabschnittes ermittelt werden, die für das Auftreten von Texturen charakteristisch sind.

12. Verfahren gemäß einem der Ansprüche 2 bis 11, bei dem zur Erzeugung der Artefaktmaske ein Grauwertbild des Aufnahmebildes erzeugt und mit einem Liniendetektorverfahren und/oder einem Skalierungsindexverfahren bearbeitet wird.

13. Verfahren gemäß einem der Ansprüche 2 bis 12, bei dem zur Erzeugung der Objektmaske das Aufnahmebild einer Schwellwert trennung durch iterative Histogrammanalyse unterzogen wird, um den Gewebeabschnitt von einem Hintergrund zu trennen.

14. Verfahren gemäß Anspruch 13, bei dem zur Erzeugung der Konturmaske die Randpunkte der Objektmaske erfaßt werden.

15. Verfahren gemäß Anspruch 13, bei dem zur Erzeugung der Randmaske die Objektmaske einer Schwellwerttrennung durch Histogrammanalyse unterzogen wird.

16. Verfahren gemäß einem der Ansprüche 1 bis 15, bei dem ein Größennormierungsfaktor (f) des Gewebeabschnittes ermittelt wird.

17. Verfahren gemäß einem der Ansprüche 1 bis 16, bei dem zur Bestimmung von Bildparametern, die für den Rand und seine Komplexität charakteristisch sind, eine Randpunkteklassifikation (221), eine Homogenitätsbestimmung (222), eine Randprofil bestimmung (223), eine Erfassung der Randrichtungsstetigkeit (224) und/oder eine Erfassung der Konturrauhigkeit (225) durchgeführt werden.

18. Verfahren gemäß einem der Ansprüche 2 bis 17, bei dem zur Ermittlung von Bildparametern, die für das Auftreten von Texturen im Gewebeabschnitt charakteristisch sind, Struktur erkennungsverfahren (241, 242) und/oder eine Strukturver teilungsbestimmung (243) durchgeführt werden.

19. Verfahren gemäß einem der Ansprüche 2 bis 18, bei dem zur Ermittlung von Bildparametern, die für die Symmetrie des Gewebeabschnittes charakteristisch sind, Symmetriebewertungs verfahren (211-215) durchgeführt werden, die sich auf die geometrischen Eigenschaften der Kontur, der Berandung, der Objektmaske, der Farbverteilung und/oder der Strukturverteilung beziehen.

20. Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem der zu untersuchende Gewebeabschnitt eine Hautpigment veränderung ist.

21. Vorrichtung zur Implementierung eines Verfahrens gemäß einem der Ansprüche 1 bis 20, die umfaßt:

- eine Aufnahme- und Beleuchtungseinrichtung,
- eine Kameraeinrichtung,
- Speichereinrichtungen,
- Recheneinrichtungen und
- Anzeigeeinrichtungen.