DE69712923T2

DE69712923T2 - Verfahrung zur automatischen detektion von objekten mit definierter grösse in einem bild

Info

Publication number: DE69712923T2
Application number: DE69712923T
Authority: DE
Inventors: Lance Miller
Original assignee: Agfa Gevaert NV; PARTICLE PHYSICS AND ASTRONOMY
Current assignee: Particle Physics And Astronomy Research Co Gb; Agfa HealthCare NV
Priority date: 1996-06-06
Filing date: 1997-06-03
Publication date: 2002-11-14
Anticipated expiration: 2017-06-04
Also published as: DE69712923D1; WO1997046971A1; EP0978099A1; EP0978099B1; WO1997046971A8; JP3977871B2; US6393157B1; JP2001509923A; GB9611831D0

Description

1. Erfindungsgebiet

Die Erfindung liegt auf dem Gebiet der Bildverarbeitung, die an digitalen Bildern durchgeführt wird, insbesondere an medizinischen Bildern, wie etwa mammographischen Bildern.
Die Erfindung betrifft insbesondere die automatische Erfassung von Objekten oder Strukturen, die in einem komplexen oder unübersichtlichen digitalen Bild, wie etwa einem digitalisierten medizinischen Bild, zum Beispiel einem zur Erfassung von Brustkrebs verwendeten digitalen Mammogramm oder einem Mammogramm auf Filmbasis (das digitalisiert worden ist, damit es sich zur Analyse eignet) physische Signifikanz aufweisen. Im Fall der Mammographie sind die zu erfassenden Objekte radiologische Verschattungen, bei denen Radiologen möglicherweise den Verdacht haben könnten, daß sie abnorm sind. Die Objekte könnten allgemeiner gesagt jede verdächtige radiologische Verschattung (z. B. in Röntgenaufnahmen des Brustkorbs) oder ein diskretes Merkmal in einer anderen Form digitaler Abbildung sein (z. B. ein relevantes Objekt in einer Schalluntersuchung).
Die Erfindung weist, wie oben abgegeben, einen großen Bereich möglicher Anwendung auf. Die Erfindung ist innerhalb des spezifischen Kontextes der Brustabbildung vorgenommen worden, insbesondere als Teil eines Versuches, ein System zu konstruieren, das verdächtige Merkmale innerhalb eines Brustbilds automatisch erfassen und einen Radiologen auf das Vorliegen dieser Merkmale aufmerksam machen kann. Radiologen sind an einer Reihe verschiedener abnormer Merkmale interessiert: die vorliegende Erfindung betrifft die Erfassung spezifisch von radiologischen Verschattungen, zu denen radiologische Kategorien wie etwa schlecht definierte Massen und sternförmige oder stachelförmige Massen oder Läsionen gehören können.
Eine derartige Erfindung wirkt dadurch, daß sie eine Darstellung einer Szene oder eines Bilds erlangt, das von einem Computersystem bearbeitet und transformiert werden kann. Die Erfindung umfaßt somit einen Bilderfassungsteil, einen Berechnungsteil und einen Ausgabeteil, der entweder Ergebnisse der Computerbearbeitung darstellt oder diese Ergebnisse an ein weiteres Computersystem zur weiteren Analyse weitergibt. Die in dem Computerteilsystem angewendeten Verfahren sind für den Erfolg des Gesamtsystems besonders kritisch.
Die folgende Beschreibung betrifft die Computerbearbeitungen.

2. Beschreibung des Stands der Technik

Für die Zwecke der vorliegenden Beschreibung wird hier ein Bild als eine Darstellung einer physischen Szene definiert, in der das Bild durch irgendeine Abbildungstechnologie erzeugt worden ist: zu Beispielen für Abbildungstechnologie könnten Fernseh- oder CCD- Kameras oder Röntgen-, Schall- oder Ultraschallabbildungseinrichtungen zählen. Das Anfangsmedium, auf dem ein Bild aufgezeichnet wird, könnte eine elektronische Halbleitereinrichtung, ein photographischer Film oder irgendeine andere Einrichtung wie etwa ein photostimulierbarer Leuchtstoff sein. Das aufgezeichnete Bild könnte dann durch eine Kombination aus elektronischen (im Fall eines CCD- Signals) oder mechanisch/optischen Mitteln (im Fall der Digitalisierung eines photographischen Films oder der Digitalisierung der Daten aus einem photostimulierbaren Leuchtstoff) in eine digitale Form umgewandelt werden. Ein Bild könnte eine (z. B. akustische Signale), zwei (z. B. Röntgenbilder) oder mehr (z. B. Kernspinresonanzbilder) Dimensionen aufweisen.
Das zu bewältigende allgemeine Problem besteht darin, ein derartiges Bild so zu analysieren, daß die Helligkeitsfluktuationen in dem Bild, die aus dem Vorliegen diskreter physischer Strukturen in der Orginalszene resultieren, identifiziert werden oder deren Identifizierung unterstützt wird. Wenn ein Bild nur eine gleichförmige Hintergrundhelligkeit mit einer einzigen, durch ein Objekt verursachten lokalisierten Helligkeitsfluktuation umfaßt, oder wenn ein Bild Helligkeitsfluktuationen enthält, die auf mehr als ein diskretes Objekt zurückzuführen sind, die aber auf dem Bild große Abstände zueinander aufweisen, dann ist dies relativ leicht. Das Ziel der vorliegenden Erfindung besteht darin, die Analyse komplexerer Bilder zu unterstützen, bei denen die Helligkeitsfluktuationen aufgrund des relevanten Objekts einem Hintergrund von variabler Helligkeit überlagert sind oder mehrere Objekte entweder physisch nahe beieinanderliegen oder sich sogar überlappen. Bei Bildern, die zweidimensionale Projektionen einer dreidimensionalen Szene sind, ist letzteres Problem besonders akut, wie etwa bei Röntgenbildern, und in der nachfolgenden Erörterung wird im allgemeinen auf letztere bezug genommen. Diese Art von Bild soll als "unübersichtlich" bezeichnet werden.
Ein typisches Beispiel für ein unübersichtliches Bild und eines, auf das die vorliegende Erfindung speziell abzielte, sind mammographische Bilder, bei denen die normale Struktur in einer Brust einen komplexen Hintergrund von Strukturen erzeugt, die eine stark variable Röntgenverschattung, Größe und Form aufweisen und sich häufig überlappen und überschneiden.
Ein leistungsfähiger Ansatz, der hilft, diese verschiedenen Strukturen voneinander zu trennen, ist als Mehrfachauflösungs- oder Mehrskalenanalyse bekannt geworden. Das Ziel besteht darin, Strukturen in einem Bild in Größenbereiche aufzuteilen. Dadurch können Strukturen in dem relevanten Größenbereich verstärkt oder individuell identifiziert werden. Dies ist ein aktives Forschungsgebiet, und zur Durchführung einer Mehrskalenanalyse sind eine Reihe von Techniken vorgeschlagen und verwendet worden.

Mehrfachauflösungsanalyse und Mehrfachauflösungspyramiden:

Das üblicherweise auf die Mehrfachauflösungsanalyse angewendete Prinzip besteht darin, ein Bild mit einer gewählten Funktion zu glätten oder zu falten. Falls die Glättungsfunktion ein Tiefpaßfilter ist, dann wirkt sich dies dadurch aus, daß hochfrequente Fourier-Anteile unterdrückt oder eliminiert werden. Es kann ein Satz von Mehrfachauflösungsbildern konstruiert werden, indem das Bild mit einer Reihe derartiger Funktionen geglättet wird, deren Größe zwischen jedem Schritt um einen bestimmten Faktor (üblicherweise einen Faktor 2) zunimmmt. Die Differenzen zwischen aufeinanderfolgenden Schritten oder Auflösungsniveaus enthalten Informationen über Strukturen, deren Größe etwa in dem Bereich zwischen den Größen der Filter liegt, mit denen das Differenzbild erstellt wurde. Es ist allgemein zu erwarten, daß niedriger aufgelöste Daten durch eine gröbere Abtastrate dargestellt werden können, wobei in diesem Fall eine Mehrfachauflösungspyramide konstruiert worden wäre (z. B. Burt P. J. & Adelson E. H., 1983, IEEE Transactions on Communications, 31, 532-540).

Wavelet-Analyse:

Ein verbesserter Ansatz zum Erzeugen einer Mehrfachauflösungsanalyse oder -pyramide ist als Wavelet-Analyse bekannt geworden (Mallat S. G., 1989a, IEEE Transactions on Pattern Analysis and Machine Intelligence, 11, 674-693 & Mallat S. G., 1989b, Transactions of the American Mathematical Society, 315, 6-87, Daubechies I., 1992, "Ten Lectures on Wavelets", CBMS-NSF Regional Conference Series in Applied Mathematics, Society for Industrial & Applied Mathematics, Philadelphia, Pennsylvania, USA, Chui C. K., 1992 (Hrsg.), "Wavelet Analysis and its Applications", Band I & II, Academic Press), bei der die Glättungsfunktionen, die jedes Auflösungsniveau verbinden, sorgfältig ausgewählt werden, um für die Anwendung optimale Ergebnisse zu erzielen. Falls die Glättungsfunktion so gewählt wird, daß sie einem Skalierungsgesetz gehorcht
ø(x) = 2 hnø(2x - n)
dann kann eine Mehrfachauflösungspyramide derart konstruiert werden, daß bei der Konstruktion der Pyramide keine Informationen verlorengehen. Die Differenzbilder zwischen aufeinanderfolgenden Auflösungsniveaus können selbst als ein Satz von Abtastpunkten codiert werden, die mit einem Satz von Basisfunktionen gefaltet werden müssen, die Translate einer als Wavelet bekannten Funktion sind. Die Gesamtzahl der Abtastpunkte in der resultierenden Pyramide ist möglicherweise nicht größer als die Anzahl der Abtastpunkte in dem Vorlagenbild - ein nützliches Merkmal, wenn Datenvolumina berücksichtigt werden müssen - und der Prozeß kann beginnend mit der Mehrfachauflösungspyramide invertiert werden, um präzise die Originaldaten wiederherzustellen.
Nachdem die Wavelet-Koeffizienten für ein Bild erzeugt worden sind, können sie zum Herstellen eines verlustbehafteten komprimierten Bilds in Datenkompressionsanwendungen oder zum Analysieren der Strukturen in einem Bild durch Messen der Amplitude der Wavelet- Koeffizienten bei besonders relevanten Auflösungsniveaus verwendet werden.
Zu Beispielen in der Mammographie zählen die Erfassung von Mikroverkalkungen (z. B. Clarke L. P., Kallergi M., Qian W., Li H.-D., Clark R. A. & Silbiger M. L., 1994, Cancer Letters, 77, 173-181 - Laine A. F., Schuler S., Fan J. & Huda, 1994, IEEE Translation on Medical Imaging, 13, 725-740) oder die Bereitstellung eines Verfahrens zur Texturanalyse, das einen Teil eines Verfahrens zum Erfassen abnormer Massen bildet (z. B. Wei D., Chan H.-P., Helvie M. A., Sahiner B., Petrick N., Adler D. D. & Goodsitt M. M., 1995, Medical Physics, 22, 1501-1513).

Nachteile der Wavelet-Analyse:

Der vorausgegangene Ansatz, der Wavelets verwendet, ist nicht perfekt, und zwar teilweise deshalb, weil die Wavelet-Analyse Objekte unterschiedlicher Größen nicht perfekt trennt. Es ist üblicherweise nicht möglich, Basen von Wavelets und Skalierfunktionen zu wählen, die beide orthonormal sind und deren Skalierfunktion eine präzise Darstellung der Struktur realer Objekte in einem Bild ist: Dies ist darauf zurückzuführen, daß orthonormale Basisfunktionen negative Komponenten aufweisen müssen, die oftmals unphysisch sind, und sie können nicht symmetrisch sein und einen kompakten Träger aufweisen (z. B. Daubechies I., 1992, "Ten Lectures on Wavelets", CBMS-NSF Regional Conference Series in Applied · Mathematics, Society for Industrial & Applied Mathematics, Philadelphia, Pennsylvania, USA). Falls die Objekt in einem zu analysierenden Bild willkürliche Intensitätsprofile und willkürliche zweidimensionale Formen aufweisen, dann ist es nicht möglich, Basisfunktionen zu wählen, die Wavelet-Koeffizienten nur auf dem relevanten Auflösungsniveau erzeugen. Es können angemessenere Skalierfunktionen gewählt werden (z. B. B-Spline-Skalierfunktionen), falls die Orthonormalitätseinschränkung zu einer Biorthogonalitätseinschränkung gelockert wird, doch selbst dann entsprechen die Skalierfunktionen realen physischen Objekten nicht sehr gut. Weiterhin kann ein Niedrigauflösungsniveau in der Mehrfachauflösungspyramide nicht die Informationen über die hochaufgelöste Positionierung eines Objekts enthalten, weshalb zum Codieren dieser Informationen kleinskalige Wavelet-Koeffizienten benötigt werden.
Noch kritischer: Wenn die Wavelet-Analyse zum Analysieren der Skaliergrößenstruktur von Bildern verwendet wird, ist das summierte Signal in Wavelet-Koeffizienten, das durch ein beliebiges Objekt auf jedem beliebigen Niveau erzeugt wird, immer Null, da die Wavelet- Koeffizienten durch ein Hochpaßfilter erzeugt werden: obwohl mit Wavelets ein Gebiet, das ein Objekt einer bestimmten Größe enthält, örtlich verstärkt werden kann, können sie somit nicht dazu verwendet werden, dieses Objekt vollständig aus dem Bild zu entfernen, ohne daß die Wavelet-Koeffizienten verwendet werden, die alle Auflösungsniveaus abdecken. Dem Wavelet (und im Fall einer biorthogonalen Analyse seinem Dual) fehlen die unabdingbaren niederfrequenten Anteile, die erforderlich sind, um eine korrekte Skalengrößetrennung von Objekten zu erzielen: die Wavelet-Analyse kann keine Darstellung eines individuellen Objekts erzeugen, wie es erscheinen würde, wäre es für sich alleine betrachtet worden anstatt in dem komplexen Bild, in dem es tatsächlich auftrat.

Median- und morphologische Filterung:

Es sind andere Mittel zur Analyse der Skalengrößeinformationen vorgeschlagen worden, wobei Filter verwendet wurden, die räumlich nichtlinear sind. Dazu zählen Median- und Rankfilter (z. B. Clarke L. P., Kallergi M., Qian W., Li H.-D., Clark R. A. & Silbiger M. L., 1994, Cancer Letters, 77, 173-181) und mathematische Morphologie (z. B. Serra J., "Image Analysis by Mathematical Morphology", Academic Press, 1982). Bei einer Dimension können derartige Filter konstruiert werden, die einige nützliche Eigenschaften aufweisen, doch ist wiederum die vollständige Rekonstruktion von Objekten unter Verwendung eines eingeschränkten Teils einer Skalengrößenanalyse unmöglich, und bei zwei oder mehr Dimensionen gehen sogar die kantenbewahrenden Eigenschaften, die die Medianfilterung attraktiv machen, verloren.
Bei allen der obigen Analysen besteht das Problem darin, daß keine von ihnen versucht, die Amplitude und Phase der niederfrequenten Fourier-Anteile zu schätzen, die einem Objekt zugeordnet sind. Dies zu tun, ist ein umgekehrtes Problem, das keine eindeutige Lösung besitzt, und das Ziel der neuen Arbeit besteht darin, ein optimales Verfahren zum Schätzen der Amplituden und Phasen der Fourier-Anteile zu finden, so daß eine vollständige Rekonstruktion individueller Objekte vorgenommen werden kann.

Aufgaben der Erfindung

Eine Aufgabe der vorliegenden Erfindung besteht in der Bereitstellung eines Verfahrens zum automatischen Erfassen von Objekten oder Strukturen, die in einem komplexen oder unübersichtlichen digitalen Bild von physischer Bedeutung sind.
Eine weitere Aufgabe besteht in der Bereitstellung eines derartigen Verfahrens, das sich besonders für die automatische Erfassung derartiger Objekte oder Strukturen in einem digitalisierten medizinischen Bild, zum Beispiel einem digitalen Mammogramm, eignet.
Eine besondere Aufgabe der vorliegenden Erfindung besteht darin, ein optimales Verfahren zum Schätzen der Amplituden und Phasen der Fourier-Anteile zu finden, die einem Objekt zugeordnet sind, so daß eine vollständige Rekonstruktion individueller Objekte vorgenommen werden kann.
Noch weitere Aufgaben gehen aus der folgenden Beschreibung hervor.

Darstellung der Erfindung

Die obigen Aufgaben werden durch ein Verfahren zum automatischen Erfassen von Objekten in einem Vorlagenbild gemäß Anspruch 1 gelöst.
Eine alternative Ausführungsform ist in Anspruch 2 dargelegt.
Obwohl die einem Objekt zugeordneten niederfrequenten Fourier- Anteile bei der Analyse als unbekannt angesehen werden, wird die Einschränkung auferlegt, daß das neue Bild, das erzeugt wird, überall positiv sein und auch überall eine geringere Intensität als das Vorlagenbild aufweisen muß. Die Analyse wird dadurch verbessert.
Aus der Differenz zwischen dem Vorlagenbild und dem letzten Versuchsbild, das Objekte enthält, die kleiner sind als die spezifische Größe, auf die man sich konzentriert, wird ein neues Bild erzeugt. Das neue Bild enthält dann Objekte, die größer sind als die Größe, auf die man sich konzentriert.
Das Verfahren nach Anspruch 1 erzeugt zunächst ein Bild, das kleine Objekte enthält, während das Verfahren von Anspruch 3 ein Bild erzeugt, das die verbleibenden großen Objekte enthält. Die Einschränkung von Anspruch 1 gilt auch für das Bild mit großen Objekten, um die Analyse zu verbessern.
Die Darstellungen der individuellen Objekte in diesen Bildern sind gute Näherungen daran, wie die Objekte ausgesehen haben würden, wären sie getrennt betrachtet worden, anstatt in einem unübersichtlichen Bild.
Das obige Verfahren kann zusätzlich zu seiner Anwendung auf das Vorlagenbild auch auf die Bilder angewendet werden, die durch das erfindungsgemäße Verfahren erzeugt werden (also auf die neuen Bilder), wobei eine andere Größe ausgewählt wird.
Auf diese Weise wird ein Satz von Bildern hergestellt, die jeweils Objekte verschiedener Größen enthalten. Mit einem derartigen Satz von Bildern kann eine Mehrfachauflösungs- oder Mehrskalenpyramide von Bildern erzeugt werden.
Wie oben beschrieben worden ist, beschäftigt sich die vorliegende Erfindung mit dem Problem, wie die Amplitude und Phase der niederfrequenten Fourier-Anteile geschätzt werden sollen, die einem Objekt zugeordnet sind, so daß eine Rekonstruktion des Objekts vorgenommen werden kann. Die Schätzung der Phase und der Amplitude ist ein umgekehrtes Problem, das keine eindeutige Lösung besitzt. Zum Lösen dieses umgekehrten Problems gibt es eine Reihe möglicher Verfahren. Ein Verfahren ist unten ausführlicher umrissen.
Es wird folgendes Prinzip verwendet:
1. Es wird angenommen, daß die Fourier-Anteile, deren Raumfrequenz größer ist als eine spezifizierte Grenzfrequenz, Objekten unterhalb einer entsprechenden kritischen Größe zugeordnet sind,
2. daß diese Objekte aber unbekannte Fourier-Anteile bei Frequenzen aufweisen, die geringer sind als die Grenzfrequenz, nur muß die Summe aller Fourier-Anteile gleich den eingegebenen Daten sein, und
3. Versuchen, die Amplituden und Phasen dieser unbekannten Anteile innerhalb der obigen Einschränkung zu schätzen.
4. Niederfrequente Fourier-Anteile, die nicht höherfrequenten Anteilen zugeordnet werden können, müssen zu größeren Objekten in dem Bild gehören. Die aus den hochfrequenten Anteilen rekonstruierten Objekte umfassen zusammen mit ihren geschätzten niederfrequenten Anteilen sowohl Kleine Skalengrößenobjekte und etwaige "scharfe" Merkmale, wie etwa scharfe Kanten, die einem größeren Objekt zugeordnet sein sollten.
Es stellt sich heraus, daß die auf diese Weise rekonstruierten Objekte extrem naturgetreue Wiedergaben sowohl der eingegebenen Testdaten als auch der menschlichen visuellen Wahrnehmung von Objekten in unübersichtlichen Bildern sind.
Die Tatsache, daß scharfe Kanten in diskrete Objekte aufgebrochen werden, stellt bei den meisten Bildern, bei denen derartige scharfe Kanten nicht üblich sind, gewöhnlich kein Problem dar. Diese Tatsache gilt auch für die (oben erörterten) Wavelet- und räumlich nichtlinearen Analysen im Stand der Technik.
Das Schätzen der unbekannten Anteile ist ein umgekehrtes Problem, das durch Maximieren einer mathematischen Funktion gelöst werden kann, die eine Anforderung, daß die rekonstruierten Daten dem Eingangssignal entsprechen, und eine Anforderung daß die rekonstruierten Daten eine bestimmte Kostenfunktion minimieren (auch als eine Regularisierungseinschränkung bekannt ist), kombiniert. Beispiele derartiger umgekehrter Verfahren werden angegeben von Press W. H., Teukolsky S. A., Vetterling W. T. & Flannery B. P., 1992, "Numerical Recipes in C", 2. Auflage, Cambridge University Press.
Die besondere Regularisierungseinschränkung, die hier verwendet wird, dient dazu, die Bildkreuzentropie relativ zu einem vorherigen Modell zu minimieren (Shore J. E. & Johnson R. W., 1980, IEEE Transactions on Information Theory, 26, 26-37, und Johnson R. W. & Shore J. E., 1983, IEEE Transactions on Information Theory, 29, 942- 943). Die Minimierung der Kreuzentropie hat die Vorteile, daß sie (a) nichtlinear ist, was erforderlich ist, um die unbekannten Fourier-Anteile zu rekonstruieren, und daß sie (b) erzwingt, daß die rekonstruierten Objekte positiv sind (falls das vorherige Modell positiv ist); somit wird eine Objektpositivität erzwungen (die oftmals physisch korrekt ist), ohne daß (im Gegensatz zu der Wavelet-Analyse) der Objektform oder dem Intensitätsprofil eines Objekts irgendwelche Einschränkungen auferlegt werden.
Das Interesse gilt allgemein Objekten in einem unübersichtlichen Bild über einen Bereich von Skalengrößen hinweg, weshalb in der Beschreibung unten ein Mehrskalen-/Mehrfachauflösungsverfahren enthalten ist. Gegebenenfalls könnte jedoch nur eine einzelne Skalengröße analysiert werden.

Implementierung des neuen Verfahrens

1. Erhalten eines digitalen Bilds und dafür sorgen, daß dies in ein Computerhardware- und Softwaresystem eingegeben wird.
2. Unter Einsatz des Computersystems Durchführen einer etwaigen geeigneten Normalisierung oder Skalierung der Intensitätswerte, die (optional) erforderlich sein kann. Im Fall von Röntgenbildern steht die gemessene Größe zu der integrierten Röntgenabsorption entlang der Blicklinie in Beziehung. Somit steht die Helligkeit auf einem Röntgenfilm zu der Tiefe eines Objekts an diesem Ort in nichtlinearer Beziehung; allgemein sollte man auf die gemessenen Intensitätswerte eine Kalibrierungsbeziehung anwenden, um sie in ein Maß für die optische Tiefe an jedem Ort in dem Bild umzuwandeln. Wenn der Logarithmus der Helligkeitswerte genommen wird, ist dies oftmals eine gute Näherung an diesen Kalibrierungsprozeß.
3. Reduzieren aller Pixelintensitätswerte um eine Konstante, so daß ein etwaiger Hintergrundpegel auf dem Bild einen Wert von Null aufweist; dies hilft, störende Reststrukturen in dem Hintergrundgebiet oder in seiner Nähe zu unterdrücken.
4. Ausführen der Kreuzentropieminimierung, die ein iterativer Prozeß ist. Bei dieser Anwendung könnte ein beliebiges der Verfahren zur maximalen Entropiemaximierung oder Kreuzentropieminimierung verwendet werden. Dasjenige, das zur Implementierung verwendet wurde, basiert auf dem Verfahren von Cornwell T. J. & Evans K. F., 1985, Astronomy & Astropphysics, 143, 77-83.
Die folgenden Schritte werden implementiert.
4.1 Erzeugen eines Bilds in dem Computerspeicher, das einem vorherigen Modell entspricht, dessen Wert überall klein ist (etwa 0,1 Prozent des eingegebenen Bilds) und das nirgendwo weder das Signal in den eingegebenen Daten übersteigt noch unter einen Signalpegel von Null abfällt.
4.2 Erzeugen eines "Versuchsbilds" in dem Computerspeicher, das anfänglich das gleiche ist, wie das vorherige Modell.
4.3 Spezifizieren einer Fourier-Grenzfrequenz, die der relevanten Skalengröße entspricht. Es stellt sich oftmals heraus, daß eine Wahl, bei der die Fourier-Grenzwellenlänge gleich dem Durchmesser der zu rekonstruierenden Objekte ist, eine nützliche Wahl darstellt.
4.4 Verwendung eines Schnellen Fourier-Transformationsalgorithmus (z. B. Press W. H., Teukolsky S. A., Vetterling W. T. & Flannery B. P., 1992, "Numerical Recipes in C", 2. Auflage, Cambridge University Press) zur Hochpaßfilterung dieser Daten, wobei alle Fourier-Amplituden unter der Grenzfrequenz auf Null gesetzt werden.
Verwendung des gleichen Algorithmus zur Hochpaßfilterung des Versuchsbilds.
Übernehmen der Differenz zwischen diesen beiden Ausgaben in den Computerspeicher.
Alternativ können das eingegebene und das Versuchsbild zuerst differenziert und dann hochpaßgefiltert werden.
4.5 Für jedes Pixel in dem Versuchsbild: Berechnen einer verbesserten Schätzung des Pixelwerts gemäß der Vorschrift von Cornwell T. J. & Evans K. F., 1985, Astronomy & Astrophysics, 143, 77-83. Die Berechnung des verbesserten Werts weist zwei konkurrierende Terme auf: einen Term, der zu erzwingen versucht, daß das hochpaßgefilterte letzte Versuchsbild die gleichen Pixelwerte wie das Vorlagenbild aufweist, wenn dies mit dem gleichen Filter hochpaßgefiltert wird, und einen Term, der eine Minimierung der Kreuzentropie des letzten Versuchsbilds bezüglich des vorausgegangenen Bildmodells zu erzwingen versucht.
Die beiden Anteile werden mit Hilfe eines Lagrangeschen Multiplikators kombiniert, bei dem es sich um eine Variable handelt, die bei jeder Iteration in dem Cömputerspeicher gesetzt werden kann. Weitere Einzelheiten dieses Verfahrens sind unten aufgeführt.
4.6 Bewirken, daß der Computer die Schritte 4.4 und 4.5 solange iteriert, bis ein Stoppkriterium erreicht ist. Das Stoppkriterium basiert normalerweise auf einem Maß für das Restsignal in dem Hochpaßdifferenzbild. Bei jedem Iterationsschritt wird der Wert des Lagrangeschen Multiplikators so modifiziert, daß ein Kompromiß zwischen kleinen Resten in dem Hochpaßdifferenzbild, einem niedrigen Wert für die letzte Kreuzentropie und einer finiten Berechnungszeit gefunden wird. Eine Reihe von Verfahren kann verwendet werden, um dies zu erreichen, doch hängt die beste Wahl von den Einzelheiten der Anwendung ab (aber nicht von den Einzelheiten der individuellen Bilder innerhalb dieser Anwendung). Das verwendete vorausgegangene Modell kann außerdem während des Iterationsprozesses periodisch aktualisiert werden, wenn die Augenscheinlichkeit für das Vorliegen statistisch signifikanter Objekte ansteigt.
4.7 Am Ende des Iterationszyklus enthält das letzte Versuchsbild eine Rekonstruktion der kleinen Objekte in dem eingegebenen Bild. Es kann an ein Computerdateisystem oder direkt an ein Sichtdisplaymedium ausgegeben oder zur nachfolgenden Analyse an ein weiteres Computersystem weitergeleitet werden. Die Differenz zwischen diesem Bild und dem eingegebenen Bild enthält die Rekonstruktion großskaliger Objekte; dieses Bild kann ebenfalls auf die gleiche Weise behandelt werden.
4.8 Da das großskalige Objekte enthaltende Bild keine signifikanten hochfrequenten Anteile enthält, kann es mit einer geringeren Auflösung abgetastet werden. Das niedriger aufgelöste Bild kann dann selbst bei Schritt 4.1 in den Minimumkreuzentropiealgorithmus zurückgegeben werden, um eine Mehrskalen-/Mehrfachauflösungsanalyse herzustellen.
5. Jedes der Mehrskalen-/Mehrfachauflösungsausgabebilder kann dann entsprechend für die Anwendung analysiert werden. Im Fall einer Erfassung bösartiger Verschattungen auf Röntgenbildern beispielsweise können in einem der Bilder diskrete Objekte erfaßt werden, dessen Eigenschaften analysiert werden, wie beispielsweise seine Form oder seine Textur oder seine Beziehung zu anderen physiologischen Strukturen, und es kann eine Entscheidung hinsichtlich der Wahrscheinlichkeit getroffen werden, daß dieses Objekt von klinischem Interesse ist. Die Entscheidung kann von einem menschlichen Beobachter (wie etwa einem einen Computerschirm oder eine andere Form angezeigter Ausgabe betrachtenden Radiologen) oder durch ein weiteres Computersystem getroffen werden.
Es folgen weitere Einzelheiten der Berechnung einer verbesserten Schätzung des Pixelwerts für jedes Pixel in dem Versuchsbild gemäß der Vorschrift von Cornwell T. J. & Evans K. F., 1985, Astronomy & Astrophysics, 143, 77-83. Auf diesen Punkt wurde oben unter Punkt 4.5 Bezug genommen.
Für jedes Pixel in dem Versuchsbild wird ein verbesserter Pixelwert berechnet, der ein Gleichgewicht darstellt zwischen den Anforderungen, daß das letzte Versuchsbild die gleichen hochfrequenten Anteile wie das eingegebene Vorlagenbild enthalten sollte, und der Anforderung, daß die Kreuzentropie des Versuchsbilds mimimiert sein sollte (oder daß alternativ die Entropie des Versuchsbilds maximiert sein sollte).
Der bei jedem Schritt gewählte Pixelwert ist eine ungefähre Lösung der Gleichung
S + λΔχ² = 0
wobei S die Bildentropie
S = - pjlogpj
oder die Bildkreuzentropie für einen Satz von Pixelwerten pj und einen Satz von Werten eines vorausgegangenen Modells
S = pjlog(pj/mj)
mj und χ² ein Maß für die Übereinstimmung zwischen den hochfrequenten Anteilen des Vorlagenbilds und des Versuchsbilds bei jedem Schritt ist:
χ² = (Δ )²
wobei
Δ
die Differenz bei diesen hochfrequenten Anteilen für das j-te Pixel ist und in allen Fällen über alle Pixel in einem Bild summiert wird. λ ist ein unbestimmter Lagrangescher Multiplikator, der in dem Zyklus von Iterationen als ein variabler Parameter behandelt und mit dem sowohl die Geschwindigkeit als auch die Genauigkeit der Konvergenz gegen die Lösung gesteuert werden kann.
Die Gleichung besitzt keine präzise Lösung, weshalb es in der Literatur eine Reihe verschiedener Verfahren zu ihrer Lösung gibt: das bei der vorliegenden Ausführungsform verwendete Verfahren basiert auf dem Vorschlag von Cornwell & Evans, was bei dem vorliegenden Problem zu der Berechnung der folgenden Korrektur Xj für jeden der j Pixelwerte führt:
und zwar mit der zusätzlichen Einschränkung, daß nach Anwendung des Korrekturvektors kein Pixelwert pj kleiner als Null sein sollte.
Bei dem Prozeß der automatischen Identifizierung bösartiger Massen in einem Mammogramm gibt es die folgenden vier Stufen:
1. das oben beschriebene Verfahren, das auf einer maximalen Entropieverarbeitung oder einer Kreuzentropieminimierung basiert,
2. die Erfassung in Frage kommender bösartiger Verschattungen,
3. die Klassifizierung dieser Verschattungen als entweder normal oder bösartig,
4. die Erzeugung von Ausgabeinformationen für diejenigen Massen, die als bösartig klassifiziert werden, zur Verwendung als Aufforderung durch den Radiologen.
Stufe 1 kann für sich alleine verwendet werden, wenn ein Radiologe einfach die Bilder betrachten möchte. Wenn man jedoch Anomalien automatisch erfassen und klassifizieren möchte, müssen die Schritte 2 und 3 ausgeführt werden.
Ein Beispiel für ein deartiges Verfahren zum automatischen Durchführen der Schritte 2 und 3 wird unten beschrieben.
Der Erfassungsprozeß funktioniert wie folgt:
1. Bei einer der Skalengrößen wird das die kleinen Objekte enthaltende Bild in den Computerspeicher geladen.
2. Pixel in dem Bild werden, mit den hellsten zuerst, nach ihrem Intensitätswert geordnet.
3. In Frage kommende Verschattungen werden identifiziert, indem die Liste geordneter Pixel einzeln durchgearbeitet wird.
Falls ein Pixel von keinen anderen Pixeln mit einem höheren Intensitätswert berührt wird, dann wird dieses Pixel als das erste in einem neuen Gebiet identifiziert.
Wenn ein Pixel nicht isoliert ist, sondern sich statt dessen heraustellt, daß es ein existierendes Gebiet berührt (d. h., daß es ein oder mehrere benachbarte Pixel gibt, deren Intensität größer ist als die des aktuellen Pixels), dann wird kein neues Gebiet erzeugt, sondern das Pixel statt dessen zu dem existierenden Gebiet hinzugefügt.
Falls ein Pixel zwei verschiedene existierende Gebiete berührt, dann werden diese beiden Gebiete vorbehaltlich eines unten beschriebenen Stoppkriteriums zu einem vereinigt.
Jedes Gebiet wächst, bis eines von drei Stoppkriterien erreicht ist: (a) die Hinzufügung eines neuen Pixels bewirkt die Vereinigung zweier oder mehrerer Gebiete, die bereits größer sind als eine spezifizierte Größe; oder (b) die Hinzufügung eines neuen Pixels bewirkt eine Abnahme der mittleren Helligkeit der Pixel in dem Gebiet, wobei die Helligkeit jedes Pixels über dem aktuellen Wert der Pixelintensität gemessen wird; oder (c) die Intensität eines Pixels ist so gering wie eine spezifizierte Grenze.
Das Aufrufen der Kriterien (a) oder (b) bewirkt, daß ein individuelles Gebiet mit dem Wachsen aufhört.
Das Aufrufen der Bedingung (c) bewirkt, daß alle Gebiete mit dem Wachsen aufhören, und dieser Teil des Prozesses endet.
Am Ende dieses Prozesses werden Gebiete zurückgewiesen, wenn sie entweder (a) kleiner als eine spezifizierte Mindestgröße oder (b) größer als eine spezifizierte Maximalgröße sind oder (c) sie an einer Stelle auf dem Bild gefunden werden, die nicht innerhalb des relevanten Brustbereichs liegt.
Die verbleibenden Gebiete werden dann als die Pixel in dem Bild identifizierend angesehen, die einer in Frage kommenden Verschattung entsprechen.
Bei dieser Stufe entspricht in der Tat die große Mehrheit der in Frage kommenden Verschattungen realen Strukturen in der Brust, doch sind die meisten von ihnen normale Drüsenstrukturen.
Eine weitere Klassifizierungsstufe (3) wird benötigt, um jede einzelne dahingehend zu klassifizieren, daß sie mit größter Wahrscheinlichkeit entweder bösartig oder normal ist.
Mehr als eine Skalengröße kann unabhängig verwendet werden, um für alle Größen bösartiger Verschattung eine empfindliche Erfassung zu erzielen. Der nützliche Bereich, über den hinweg das Verfahren arbeitet, schließt radiologische Größen von 6 mm bis 3 cm ein. Die geringen Größen können für Radiologen die wichtigsten sein, da die Prognose für den Patienten wesentlich besser ist, wenn der Krebs früh entdeckt werden kann, wenn er klein, und noch nicht signifikant in anderes Gewebe eingedrungen ist.
Die Klassifizierungsstufe ist unabdingbar, um Radiologen auf das Vorliegen potentieller bösartiger Verschattungen aufmerksam zu machen, ohne daß eine große Zahl normaler Strukturen identifiziert wird.
Zum Identifizieren bösartiger Verschattungen in Brustbildern sind in der Vergangenheit bereits Klassifizierungsverfahren verwendet worden (z. B. Wei et al. Med Phys. 22, September 1995, Seiten 1501-1512).
Hinsichtlich der Klassifizierung sind die folgenden beiden Punkte wichtig: (1) welche Informationen ein Klassifizierungsverfahren erhalten sollte und (2) welches Klassifizierungsverfahren verwendet werden sollte.
Es könnte hier so gut wie jedes unterscheidende Verfahren angewendet werden, einschließlich neuraler Netze.
Bei dieser Ausführungsform ist ein Verfahren verwendet worden, das die statistischen Verteilungen bösartiger und normaler Strukturen innerhalb eines Parameterraums von neun Dimensionen parametrisiert.
Ein Klassifizierungsverfahren erhält die folgenden Informationen:
1. Größe einer in Frage kommenden Verschattung.
2. Länge der Hauptachse einer an die Pixeldaten für diese Verschattung angepaßten Ellipse.
3. Länge der Nebenachse dieser Ellipse.
4. Gesamthelligkeit aller Pixel in der Verschattung, gemessen über dem Helligkeitsschwellwert, bei dem dieses Gebiet in der Erfassungsstufe zu wachsen aufhörte.
5. Örtlichet Hintergrundpegel um die Verschattung herum.
6. Gesamthelligkeit innerhalb des von der identifizierten Verschattung in anderen Bildern belegten Bereichs: insbesondere in dem Vorlagenbild und in anderen Maximumsentropiebildern, die kleinere und größere Objekte enthalten.
7. Abstand jeder Verschattung von der nächsten anderen identifizierten Verschattung.
Daher verwendet das gegenwärtige Klassifizierungsverfahren Informationen über die Form einer Verschattung und die Textur einer Verschattung (aus den Mehrskalendaten) und bestimmte (unvollständige) Informationen über den Isolationsgrad einer Verschattung. Andere Maße der Form, Textur und Isolation könnten aufgenommen werden, insbesondere Texturmaße, die für Strahlungsmuster empfindlich sind, wie sie etwa in sternförmigen Läsionen zu finden sind. Es könnten auch weitere Informationen aufgenommen werden, wie etwa Informationen über die statistischen Eigenschaften einer Brust insgesamt, ausführlichere Positionsinformationen über den Ort einer Verschattung und Informationen aus anderen Mammogrammen, wie etwa früheren Untersuchungen, aus denen das Wachstum einer Verschattung identifiziert werden könnte.
Bei einer spezifischen Ausführungsform ist das Vorlagenbild ein medizinisches Bild, wie etwa ein in einem photostimulierbaren Leuchtstoffschirm gespeichertes Röntgenbild (z. B. ein Mammogramm).
Die digitale Signaldarstellung wird dadurch erhalten, daß der belichtete Schirm mit stimulierender Strahlung belichtet wird, wie etwa Licht mit einer Wellenlänge, die auf den verwendeten photostimulierbaren Leuchtstoff abgestimmt ist.
Der Leuchtstoff emittiert bei Stimulierung Licht, das dann von einem Erfassungssystem wie etwa einem Elektronenvervielfacher erfaßt wird, der das emittierte Licht in ein elektrisches Signal umwandelt. Das elektrische Signal wird dann verstärkt und digitalisiert.

Claims

1. Verfahren zum automatischen Erfassen von Objekten in einem Vorlagenbild, wobei die Objekte eine Größe aufweisen, die unter einer vordefinierten Maximalgröße liegen, mit den folgenden Schritten:

I) Erhalten eines digitalen Bilds und Eingeben des Bilds in einen Computer

II) Berechnen einer Fourier-Transformation des Bildes, um Fourier- Anteile zu erzeugen;

III) Definieren einer Fourier-Grenzwellenlänge, die gleich der vordefinierten Maximalgröße ist;

IV) Durchführen eines iterativen Prozesses der Kreuzentropieminimierung oder Entropiemaximierung, um die Fourier-Anteile der Objekte zu schätzen; wobei der Kreuzentropieminimierungsprozeß oder

Entropiemaximierungsprozeß die folgenden Verfahrensschritte beinhaltet:

V) Herstellen eines vorherigen Modellbilds, das dadurch gekennzeichnet ist, daß es Pixel aufweist, deren Werte im Vergleich zu den Werten der Pixel des Vorlagenbilds klein und größer oder gleich Null sind;

VI) Erzeugen eines Versuchsbilds, das anfänglich gleich dem vorherigen Modellbild gesetzt wird;

VII) Hochpaßfilterung des Vorlagenbilds, um ein hochpaßgefiltertes Vorlagenbild zu erzeugen, wobei die Amplituden aller Fourier- Anteile, deren Wellenlängen länger sind als die Grenzwellenlänge, auf Null gesetzt werden;

VIII) Anwenden der gleichen Hochpaßfilterung auf das Versuchsbild, um ein hochpaßgefiltertes Versuchsbild zu erzeugen;

IX) Berechnen der Differenz zwischen entsprechenden Pixelwerten des hochpaßgefilterten Versuchsbilds und des hochpaßgefilterten Vorlagenbilds, um ein hochpaßgefiltertes Differenzbild zu erzeugen;

X) für jedes Pixel in dem Vorlagenbild: Berechnen eines verbesserten Pixelwerts, der ein Gleichgewicht zwischen der Anforderung, daß das letzte Versuchsbild die gleichen hochfrequenten Anteile wie das eingegebene Vorlagenbild enthalten sollte, und der Anforderung, daß die Kreuzentropie des Versuchsbilds bezüglich des vorherigen Modellbilds minimiert oder alternativ die Entropie des Versuchsbilds maximiert ist, darstellt;

XI) Wiederholen der Schritte VII bis X, bis ein Stoppkriterium erreicht ist, wobei das Stoppkriterium auf einem Maß des Restsignals in dem hochpaßgefilterten Differenzbild basiert:

XII) am Ende der Iteration: Ausgeben des letzten Versuchsbilds, das eine Rekonstruktion der kleinen Objekte in dem Vorlagenbild enthält.

2. Verfahren zum automatischen Erfassen von Objekten in einem Vorlagenbild, wobei die Objekte eine Größe aufweisen, die unter einer vordefinierten Maximalgröße liegen, mit den folgenden Schritten:

I) Erhalten eines digitalen Bilds und Eingeben des Bilds in einen Computer;

Entropiemaximierungsprozeß die folgenden Verfahrensschritte beinhaltet:

VII) Berechnen der Differenz zwischen Pixelwerten des Vorlagenbilds und des Versuchsbilds, um ein Differenzbild zu erzeugen;

VIII) Hochpaßfilterung des Differenzbildes, um ein hochpaßgefiltertes Differenzbild zu erzeugen, wodurch die Amplituden aller Fourier-Anteile, deren Wellenlängen länger sind als die Grenzwellenlänge, auf Null gesetzt werden;

IX) für jedes Pixel in dem Versuchsbild: Berechnen eines verbesserten Pixelwerts, der ein Gleichgewicht zwischen der Anforderung, daß das Versuchsbild die gleichen hochfrequenten Anteile wie das Vorlagenbild enthalten sollte, und der Anforderung, daß die Kreuzentropie des Versuchsbilds bezüglich des vorherigen Modellbilds minimiert oder die Entropie des Versuchsbilds maximiert ist, darstellt;

X) Wiederholen der Schritte VIII bis IX, bis ein Stoppkriterium erreicht ist, wobei das Stoppkriterium auf einem Maß des Restsignals in dem hochpaßgefilterten Differenzbild basiert;

XI) am Ende der Iteration: Ausgeben des letzten Versuchsbilds, das eine Rekonstruktion der kleinen Objekte in dem Vorlagenbild enthält.

3. Verfahren nach Anspruch 1 oder 2, wobei aus der Differenz des Vorlagenbilds und des letzten Versuchsbilds ein neues Bild hergestellt und das neue Bild dem Verfahren von Anspruch 1 oder 2 unterzogen wird, wobei das neue Bild das Vorlagenbild ersetzt.

4. Verfahren nach Anspruch 1 oder 2, wobei das Bild normiert oder skaliert wird, bevor es einer Kreuzentropieminimierung oder einer Maximumsentropiemaximierung unterzogen wird.

5. Verfahren nach Anspruch 1 oder 2, wobei ein Pixelwert des vorherigen Modellbilds gleich etwa 0,1% eines entsprechenden Pixelwerts des Vorlagenbilds ist.

6. Verfahren nach Anspruch 1 oder 2, wobei die relevante Skalengröße einer Fourier-Grenzwellenlänge entspricht, die gleich dem Durchmesser von zu erfassenden Objekten ist.

7. Verfahren nach Anspruch 1 oder 2, wobei das Bild ein Mammogramm ist und die Objekte Verschattungen in dem Bild sind.

8. Verfahren nach Anspruch 1 oder 2, wobei das Bild in einem photostimulierbaren Leuchtstoffschirm gespeichert worden ist und wobei die digitale Bilddarstellung erhalten wird, indem der Schirm mit stimulierender Strahlung abgetastet, das bei der Stimulierung emittierte Licht erfaßt und das erfaßte Licht in eine digitale Signaldarstellung umgewandelt wird.