DE19726226A1

DE19726226A1 - Verfahren zum automatisierten Erkennen von Strukturen in Schnitten durch biologische Zellen oder biologisches Gewebe

Info

Publication number: DE19726226A1
Application number: DE19726226A
Authority: DE
Inventors: Jan Dr Vorbrueggen; Thomas Prof Dr Martinetz; Christoph Malsburg; Wolfgang Dr Konen
Original assignee: Zentrum fur Neuroinformatik 44801 Bochum De GmbH; ZENTRUM fur NEUROINFORMATIK G
Current assignee: Idemia Identity and Security Germany AG
Priority date: 1997-06-22
Filing date: 1997-06-22
Publication date: 1998-12-24
Anticipated expiration: 2017-06-23
Also published as: DE19726226C2

Description

Gebiet der Erfindung

Die Erfindung betrifft ein Verfahren zum Erkennen wenigstens einer oder mehrerer Strukturen in einem Schnitt durch biologi sches Material, insbesondere als Hilfsmittel zum Einsatz in der medizinischen Diagnostik, d. h. zum Erkennen einer oder mehrerer Strukturen in beispielsweise einem anatomischen Schnitt durch menschliche oder tierische Zellen bzw. durch menschliches oder tierisches Gewebe oder in einem Schnitt durch pflanzliche Zellen bzw. durch pflanzliches Gewebe.

Gemäß der vorliegenden Erfindung ist der Begriff "Struktur in einem Schnitt" als einzelnes Merkmal in einem Schnitt und der Begriff "mehrere Strukturen in einem Schnitt" als Ansammlung mehrerer solcher Merkmale zu verstehen, wobei durch den letz teren Begriff auch die Gesamtheit aller Strukturen in einem Schnitt, also der Schnitt in seiner Gesamtheit, verstanden wird.

Weiterhin wird vorliegend der Begriff "Erkennen" in seiner allgemeinsten Form gebraucht. Insbesondere werden somit durch den Begriff "Erkennen" die Identifikation einer Struktur in einem Schnitt durch Vergleich der Struktur mit einer beliebi gen Anzahl von bekannten Referenzstrukturen bzw. die Identifi kation eines Schnitt s durch Vergleich mit einer beliebigen An zahl von bekannten Referenzschnitten, die Klassifizierung ei ner Struktur in einem Schnitt entsprechend bestimmter Struk tur-Klassen bzw. die Klassifizierung eines Schnitts entspre chend bestimmter Schnitt-Klassen, sowie die Auswertung eines Schnitts, also das Auffinden bestimmter Strukturen und/oder die Bestimmung geometrischer Parameter (beispielsweise der Größe, der Lage und/oder der Orientierung) bestimmter Struktu ren in einem Schnitt, umfaßt.

Stand der Technik

Entsprechend dem Stand der Technik wird eine Struktur in einem Schnitt durch biologisches Material manuell erkannt, d. h., daß die Person den Schnitt, in dem die Struktur enthalten ist, vi suell erfaßt und schließlich mit einzelnen Referenzstrukturen bzw. mit Referenzschnitten vergleicht.

Die zum Vergleich verwendeten Referenzstrukturen bzw. Refe renzschnitte können, wenn sie in Form von Abbildungen in einem Buch oder in einer elektronischen Datenbank vorliegen, hierbei ebenfalls visuell erfaßt werden.

Alternativ kann die Person, wenn ihr aufgrund ihrer Erfahrung im Umgang mit den in Frage stehenden Schnitten eine hinrei chende Anzahl von Referenzstrukturen bzw. Referenzschnitten bekannt ist, den Schnitt auch mit diesen bekannten Referenz strukturen bzw. Referenzschnitten vergleichen.

Ein großer Nachteil dieses Verfahrens ist es jedoch, daß der Vergleich einer Struktur bzw. eines Schnitts mit einer Refe renzstruktur bzw. einem Referenzschnitt in der Regel nicht nach objektiven Kriterien durchgeführt wird. Vielmehr wird sich jede Person, die einen derartigen Vergleich durchführen soll, im Laufe der Zeit subjektive Kriterien für die Ähnlich keit einer Struktur mit einer Referenzstruktur definieren.

Die Kriterien, die somit jeweils verwendet werden, hängen sehr stark von der Erfahrung der Person im Umgang mit den in Frage stehenden Schnitten ab. Insbesondere kommt es deshalb bei un erfahrenen Personen vor, daß sie beim Vergleich schlechte oder falsche Kriterien verwenden, so daß falsche Ergebnisse die Folge sind.

Somit sind richtige bzw. sichere Ergebnisse nur zu erwarten, wenn die Person, die den Vergleich durchführt, eine sehr große Erfahrung im Umgang mit den in Frage stehenden Schnitten hat.

Als unmittelbare Folge hieraus ergibt sich, daß, insbesondere in Gebieten, in denen das Erkennen von Strukturen in den Schnitten schwerwiegende Entscheidungen nach sich ziehen kann, wenn also beispielsweise basierend auf dem Ergebnis des Erken nungsprozesses eine medizinische Diagnose erstellt werden soll, die Vergleiche nur von hochqualifiziertem Personal durchgeführt werden können oder zumindest von hochqualifizier tem Personal überwacht werden müssen, was zu sehr hohen Kosten bei der Durchführung des Verfahrens führt.

Angesichts des vorangegangenen liegt der Erfindung die Aufgabe zugrunde, ein Verfahren zu schaffen, in dem die oben beschrie benen Nachteile vermieden werden, also ein Verfahren geschaf fen wird, in dem objektive Kriterien zum Vergleich jeder zu erkennenden Struktur mit entsprechenden Referenzenstrukturen angewendet werden können, so daß das Verfahren auch von Hilf spersonen durchgeführt werden kann.

In diesem Zusammenhang wurde von den Erfindern der vorliegen den Erfindung erkannt, daß die oben beschriebenen Nachteile durch eine Automatisierung des Verfahrens gemäß dem Stand der Technik vermieden werden können.

Verfahren zum automatisierten Erkennen von Strukturen in Schnitten durch biologische Zellen oder biologisches Gewebe sind allerdings nicht bekannt. Auch sind in den die Erfindung betreffenden Gebieten, nämlich der Medizin und Biologie im weitesten Sinn, keine automatisierten Verfahren bekannt, mit denen ein beliebiges Schnittbild mit Referenzschnittbildern verglichen wird, um in dem Schnittbild bekannte Strukturen, die aus den Referenzbildern bekannt sind, zu identifizieren.

Lediglich aus einem Gebiet, das weder mit dem Gebiet der Medi zin noch mit dem Gebiet der Biologie Berührungspunkte auf weist, nämlich aus dem Gebiet der Gesichtserkennung, ist ein Verfahren bekannt, bei dem der Vergleich zwischen dem mit ei ner Videokamera aufgenommenen Bild eines dreidimensionalen Kopfes und mehreren in einer Datenbank in gespeicherten Bil dern dreidimensionaler Köpfe durch einen flexiblen Abbildungs mechanismus realisiert wird, wobei die bestmögliche Abbildung durch ein Optimierungsverfahren bestimmt wird (siehe Lades et al., IEEE Transactions on Computers, 42, 300-311).

Ein Nachteil dieses Verfahrens, der einem Einsatz dieses Ver fahrens bei der Erkennung von Strukturen in biologischem Mate rial entgegensteht, ist es, daß das Verfahren nicht zur Bear beitung großer Datenmengen geeignet scheint. So konnten Lades et al. zwar ein Bild eines Kopfes aus einer Datenbank, die aus Bildern von 87 Personen bestand, erkennen; bei der Behandlung des der Erfindung zugrunde liegenden Problems ist allerdings mit wesentlich größeren Datenbanken zu rechnen, um beispiels weise zu Ergebnissen zu kommen, aufgrund derer eine gute Dia gnose erstellt werden kann.

Im Gegensatz zur vorliegenden Problemstellung, entsprechend der Strukturen in zweidimensionalen Schnitten durch biologi sches Material erkannt werden sollen, ist das Verfahren von Lades et al. für Bilder von Gesichtern, also für perspektivi sche Abbildungen von dreidimensionalen Objekten, entwickelt worden. Somit ist das Verfahren von Lades et al. auch in die ser Hinsicht nicht optimal für den vorliegenden Einsatzzweck.

Darüber hinaus konnte das Verfahren von Lades et al. nur mit einer speziellen Hardware-Konfiguration, nämlich mit Transpu tern, d. h. mit mehreren in vorbestimmter Weise miteinander verschalteten Mikroprozessoren, realisiert werden, so daß ein Einsatz in bereits vorhandenen, meist sehr teuren Vorrichtun gen zum Aufnehmen von Schnitten durch biologisches Gewebe, wie beispielsweise Kernspintomographie-, Computertomographie- oder Ultraschalltomographieeinrichtungen, die lediglich mit einem herkömmlichen Computer ausgestattet sind, nicht in Frage kommt.

Angesichts dieser Nachteile, die das Verfahren von Lades et al. für einen Einsatz zum Erkennen von Strukturen in biologi schen Schnitten mit sich bringt, erscheint es zur Lösung der vorliegenden Aufgabe nicht geeignet.

Beschreibung der Erfindung

Diese obengenannte Aufgabe, nämlich ein Verfahren zu schaffen, in dem objektive Kriterien zum Vergleich jeder zu erkennenden Struktur mit entsprechenden Referenzenstrukturen angewendet werden können, so daß das Verfahren auch von Hilfspersonen durchgeführt werden kann, wird gelöst durch ein Verfahren zum automatisierten Erkennen einer oder mehrerer Strukturen in ei nem Schnitt durch biologisches Material, insbesondere zum Ein satz in der medizinischen Diagnostik, welches die folgenden vier Schritte umfaßt:

1. Zurverfügungstellen von Referenzgraphen aus digitalisier ten Bilddaten entsprechender Referenzschnittbilder, wobei je der Referenzgraph eine netzartige Struktur, die jeweils da durch definiert wird, daß bestimmten Bilddaten Knoten, die durch Links in vorbestimmter Weise miteinander verbunden sind, zugewiesen werden, und Jets umfaßt, wobei jedem Knoten ein Jet zugeordnet ist und wobei der einem bestimmten Knoten zugeord nete Jet durch Faltungen einer Klasse von Filterfunktionen mit verschiedenen Größen und Orientierungen mit den Bilddaten des entsprechenden Referenzschnitts an dem bestimmten Knoten er mittelt wird.
2. Erstellen des Bildes des Schnitts, der jede zu erkennende Struktur umfaßt, derart daß die Bilddaten in digitalisierter Form vorliegen.
3. Ermitteln eines optimalen Schnittgraphen für jeden Refe renzgraphen, wobei der optimale Schnittgraph für einen be stimmten Referenzgraphen die optimale Anpassung an diesen dar stellt. Der optimale Schnittgraph wird hierbei ermittelt durch Projizieren der netzartigen Struktur des bestimmten Referenz graphen in das Bild des Schnitts, wodurch die Struktur des Schnittgraphen definiert wird, und durch Ermitteln von Jets des Schnittgraphen an den durch seine Struktur definierten Knoten durch Faltungen der Klasse von Filterfunktionen mit den Größen und den Orientierungen, die zur Ermittlung der Jets des bestimmten Referenzgraphen verwendet worden sind, mit den Bilddaten des Schnitts, wobei die Projektion der netzartigen Struktur des bestimmten Referenzgraphen, so lange variiert wird, bis eine Graphenvergleichsfunktion, welche die Jets des Schnittgraphen mit den entsprechenden Jets des bestimmten Re ferenzgraphen vergleicht, optimal wird.
4. Zuordnung jeder Struktur zu dem Referenzschnittbild, wel ches dem Referenzgraphen entspricht, für den die Graphenver gleichsfunktion in Bezug auf den für ihn ermittelten optimalen Schnittgraphen optimal ist.

Durch die Automatisierung des Verfahrens in der oben bezeich neten Art und Weise lassen sich zum Vergleich jeder zu erken nenden Struktur mit entsprechenden Referenzenstrukturen objek tive Kriterien anwenden. Demnach ist es nicht mehr erforder lich, daß bei der Durchführung des Verfahrens hochqualifizier tes Personal anwesend ist. Vielmehr kann das Verfahren auch von Hilfspersonen durchgeführt werden.

Somit lassen sich die Kosten, die bei der Durchführung des Verfahrens entstehen, stark verringern.

Ein weiterer Vorteil des erfindungsgemäßen Verfahrens ist es, daß das Erkennen der Strukturen in den Schnitten die zum Er kennen einer Struktur erforderliche Zeit erheblich verringert.

Zum einen macht dies das erfindungsgemäße Verfahren wesentlich effizienter als das bisher bekannte Verfahren, so daß eine Diagnose wesentlich schneller gestellt werden kann. Dies er möglicht insbesondere in Notfällen eine wesentliche schnellere Versorgung der untersuchten Person.

Zum anderen können durch die Automatisierung wesentlich größe re Datenmengen bewältigt werden. Beispielsweise können so in bildgebenden Verfahren, in denen eine Struktur durch Strahlung angeregt wird, in Bezug auf das Abklingverhalten der Struktur zeitaufgelöste Schnitte erstellt und bearbeitet werden, und so kann zusätzliche Information über die Struktur gewonnen wer den. Im Fall von NMR-Verfahren kann demnach aus dem Abkling verhalten der angeregten Atomkerne der beobachteten Struktur zusätzliche Informationen über die Struktur gewonnen werden.

Unter dem Begriff "biologischem Material" werden im Zusammen hang mit der vorliegenden Erfindung insbesondere menschliches, tierisches oder pflanzliches Gewebe oder menschliche, tieri sche oder pflanzliche Zellen verstanden. Das Verfahren ist al lerdings nicht hierauf beschränkt. Vielmehr können auch Struk turen in Schnitten durch mikrobiologische Organismen und der gleichen mit dem Verfahren erkannt werden.

Weiterhin ist für die vorliegende Erfindung der Prozeß, mit dem die Schnitte, in denen die wenigstens eine Struktur er kannt werden soll, erstellt werden, nicht von Bedeutung.

Insbesondere kann das erfindungsgemäße Verfahren somit auf Schnitte angewendet werden, die durch bildgebende Verfahren in der Medizin erstellt werden, wie beispielsweise Kernspintomo graphie (NMR), Computertomographie (CT), Ultraschall, Positro nenemissionstomographie (PET), Digitale Subtraktionsangiogra phie (DSA), Ultraschall-Verfahren, Thermographie-Verfahren oder Szintigraphie-Verfahren. Es können außerdem Schnitte, wie sie zur Mikroskopie mit den in diesem Gebiet üblichen Verfah ren hergestellt werden, als Ausgangsmaterial für das erfin dungsgemäße Verfahren dienen.

Entsprechend einer bevorzugten Ausgestaltung des Verfahrens sind weiterhin die Referenzgraphen, welche netzartige Struktu ren aufweisen, die topologisch identisch sind, d. h. sich nur durch die Längen einander entsprechender Links unterscheiden, und deren einander entsprechende Jets durch Faltungen dersel ben Klasse von Filterfunktionen mit denselben Größen und Ori entierungen mit den Bilddaten des entsprechenden Referenz schnitts ermittelt worden sind, zu einem Referenzbündelgraphen zusammengefaßt, wobei der Referenzbündelgraph eine netzartige Struktur, die durch Knoten, welche den Knoten der Referenzgra phen entsprechen, und durch Links, die durch Mittelung der entsprechenden Links der Referenzgraphen ermittelt werden, de finiert wird, und Bündeljets umfaßt, wobei jeder Bündeljet aus Subjets zusammengesetzt wird, die den Jets an den jeweiligen Knoten der in dem Referenzbündelgraphen zusammengefaßten Refe renzgraphen entsprechen. Weiterhin wird ein optimaler Schnitt graph für jeden Referenzbündelgraphen ermittelt wird, wobei der optimale Schnittgraph für einen bestimmten Referenzbündel graphen die optimale Anpassung an diesen darstellt. Der opti male Schnittgraph wird hierbei ermittelt durch Projizieren der netzartigen Struktur des bestimmten Referenzbündelgraphen in das Bild des Schnitts, wodurch die Struktur des Schnittgraphen definiert wird, und Ermitteln von Jets des Schnittgraphen an den durch seine Struktur definierten Knoten durch Faltungen der Klasse von Filterfunktionen mit den Größen und den Orien tierungen, die zur Ermittlung der Jets der dem bestimmten Re ferenzbündelgraphen zugrunde liegenden Referenzgraphen verwen det worden sind, mit den Bilddaten des Schnitts, wobei die Projektion der netzartigen Struktur des bestimmten Refe renzbündelgraphen, so lange variiert wird, bis eine Graphen vergleichsfunktion, welche die Jets des Schnittgraphen mit den entsprechenden Bündeljets des bestimmten Referenzbündelgraphen vergleicht, optimal wird, wobei jeder Jet des Schnittgraphen mit den Subjets in dem entsprechenden Bündeljet des bestimmten Referenzbündelgraphen verglichen wird. Schließlich wird in dieser bevorzugten Ausgestaltung jede Struktur dem Referenz schnittbild zugeordnet, das dem Referenzgraphen bzw. dem Refe renzgraphen aus dem Referenzbündelgraphen entspricht, für den die Graphenvergleichsfunktion in Bezug auf den für ihn ermit telten optimalen Schnittgraphen optimal ist.

Diese bevorzugte Ausgestaltung ermöglicht es, bei gleicher An zahl von Referenzschnitten die Menge der für den Vergleich zur Verfügung stehenden Strukturen zu erhöhen.

Entsprechend einer weiteren bevorzugten Ausgestaltung werden alle erstellten Referenzgraphen zu einem oder zu mehreren Refe renzbündelgraphen zusammengefaßt werden.

Diese bevorzugte Ausgestaltung erlaubt es, bei gleicher Anzahl von Referenzschnitten die Menge der für den Vergleich zur Ver fügung stehenden Strukturen noch weiter zu erhöhen.

Obwohl das erfindungsgemäße Verfahren hauptsächlich dazu vor gesehen ist, Bilder von Schnitten und Referenzschnitten zu vergleichen, die mit demselben bildgebenden Verfahren erstellt worden sind, können in einer bevorzugten Ausgestaltung der Er findung auch Schnitte mit Referenzschnitten verglichen werden, die mit verschiedenen bildgebenden Verfahren erstellt worden sind. In diesem Fall ist der Begriff "Referenz" dahingehend zu verstehen, daß eines der bildgebenden Verfahren als Referenz fungiert.

Mit dieser Ausgestaltung ist es beispielsweise möglich eine Registrierung, also eine Identifikation korrespondierender Punkte, in einander entsprechenden Schnitten von derselben Person, beispielsweise zur Untersuchung der Aktivität von Ge hirnbereichen, die mittels funktioneller NMR und mittels CT- Verfahren hergestellt worden sind, durchzuführen. Da mit den CT-Verfahren eine höhere Auflösung erzielt werden kann als mit den Verfahren der funktionellen NMR, kann die Auflösung eines Schnitts, der mittels funktioneller NMR-Verfahren erstellt worden ist, durch Verwendung der Registrierung der in Frage kommenden Bereiche in den entsprechenden CTGs erhöht werden.

Durch solche Registrierungsverfahren lassen sich somit die Vorteile verschiedener bildgebender Verfahren kombinieren.

Gemäß einer weiteren bevorzugten Ausgestaltung des Verfahrens wird als netzartige Struktur für die Referenzgraphen ein re gelmäßiges Gitter verwendet, dessen Knoten und Links recht winklige Maschen bilden.

Alternativ kann als netzartige Struktur für die Referenzgra phen auch ein unregelmäßiges Gitter verwendet wird, dessen Knoten und Links an die zu erkennende Struktur angepaßt sind. Vorteilhafterweise können dann die Knoten charakteristischen Punkten, sogenannten Landmarken, der zu erkennenden Struktur zugeordnet werden.

In dieser Ausgestaltung werden die Jets somit an den charakte ristischen Punkten der zu erkennenden Struktur ermittelt. Da durch werden in erster Linie die charakteristischen Punkte der Referenzstrukturen bei dem Vergleich berücksichtigt, wodurch die Signifikanz mit der eine Struktur erkannt wird, erhöht werden kann.

Für das Erkennen von Strukturen in Schnitten durch biologi sches Material haben sich Gabor-Filterfunktionen sowie Mallat- Filterfunktionen als besonders geeignet erwiesen.

Vorteilhafterweise umfaßt die Projektion der netzartigen Struktur des bestimmten Referenzgraphen eine Zentrierung des Referenzgraphen in dem Bild des Schnitts.

Es hat sich weiterhin als vorteilhaft erwiesen, daß die Pro jektion der netzartigen Struktur des bestimmten Referenzgra phen eine Verschiebung des zentrierten Referenzgraphen umfaßt. Hierdurch kann das Erkennen der Struktur beschleunigt werden.

Insbesondere kann die Projektion der netzartigen Struktur des Referenzgraphen auch eine Skalierung des zentrierten Referenz graphen umfassen. Hierdurch können insbesondere dann gute Er gebnisse erzielt werden, wenn die betreffenden Referenzschnit te und der Schnitt, in dem die Struktur erkannt werden soll, verschiedene Größe haben.

Die Verschiebung und die Skalierung des zentrierten Referenz graphen können hierbei simultan durchgeführt werden, wodurch das Erkennen der Struktur beschleunigt werden kann.

Darüber hinaus kann die Projektion der netzartigen Struktur auch lokale Verzerrungen des zentrierten Referenzgraphen um fassen. Diese Ausgestaltung eignet sich insbesondere, wenn Strukturen erkannt werden sollen, dessen Formen nicht fest de finiert sind, wie dies beispielsweise bei Tumoren der Fall ist. Eine derartige lokale Verzerrung kann zweckmäßigerweise durch eine lokale Verschiebung eines entsprechenden Knoten des zentrierten Referenzgraphen bewirkt werden.

Entsprechend einer weiteren vorteilhaften Ausgestaltung wird eine Graphenvergleichsfunktion verwendet, die einen Anteil um faßt, der die metrische Ähnlichkeit des Schnittgraphen mit dem entsprechenden Referenzgraphen bzw. dem entsprechenden Refe renzbündelgraphen berücksichtigt. Zweckmäßigerweise kann hier bei eine Graphenvergleichsfunktion verwendet werden, durch die eine Gewichtung zwischen der Ähnlichkeit der einander entspre chenden Jets und der metrische Ähnlichkeit ausgeführt wird.

Gemäß einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens wird nach dem Erkennen jeder Struktur ein Schritt zur Ermittlung der Signifikanz des Erkennung vorgesehen.

Hierzu kann ein Schätzer verwendet wird, der sowohl die opti male Graphenvergleichsfunktion als auch die nicht optimalen Graphenvergleichsfunktionen berücksichtigt, wie beispielsweise der Abstand der Werte der nicht optimalen Vergleichsfunktionen von dem Wert der optimalen Vergleichsfunktion.

Gemäß einer weiteren vorteilhaften Ausgestaltung kann weiter hin jede Struktur den Referenzschnittbildern zugeordnet wer den, die den Referenzgraphen bzw. den Referenzgraphen aus den Referenzbündelgraphen entsprechen, für die die Werte der Gra phenvergleichsfunktionen in einem vorbestimmten Bereich lie gen.

Ein Vorteil dieser Ausbildung ist es, daß der Person, die den das Schnittbild beurteilen muß, beispielsweise der Arzt, der eine medizinische Diagnose erstellen soll, zusätzliche Infor mation an die Hand gegeben wird.

Weitere bevorzugte Ausgestaltungen ergeben sich aus den Un teransprüchen sowie aus der Beschreibung bevorzugter Ausfüh rungsformen des erfindungsgemäßen Verfahrens, die im folgenden unter Bezugnahme auf die Zeichnung beschrieben werden.

In der Zeichnung zeigen:

Fig. 1 einen Schnitt durch ein menschliches Gehirn der mit einem NMR-Verfahren aufgenommen worden ist;

Fig. 2 eine schematische Darstellung zur Ermittlung eines Graphen aus einem Schnittbild gemäß einer Ausfüh rungsform der Erfindung;

Fig. 3 ein Referenzschnittbild mit 5×7-Gitter gemäß der in Fig. 2 gezeigten Ausführungsform der Erfindung;

Fig. 4 eine schematische Darstellung zum Vergleich eines Re ferenzschnittbildes mit einem aufgenommenen Schnitt bild gemäß der in Fig. 2 gezeigten Ausführungsform der Erfindung;

Fig. 5 eine Darstellung zur Ermittlung eines Graphen aus ei nem Schnittbild gemäß einer weiteren Ausführungsform der Erfindung;

Fig. 6 ein Referenzschnittbild mit objektangepaßtem Gitter gemäß einer weiteren Ausführungsform der Erfindung;

Fig. 7 eine schematische Darstellung zum Vergleich eines Re ferenzschnittbildes mit einem aufgenommenen Schnitt bild gemäß der in Fig. 6 gezeigten Ausführungsform der Erfindung;

Fig. 8 eine schematische Darstellung zur Erläuterung einer weiteren Ausführungsform der Erfindung.

Im folgenden werden die verschiedenen Ausführungsformen der Erfindung anhand von NMR-Schnittbildern durch ein mensch liches Gehirn beschrieben. Hierbei ist die Beschreibung mit tels NMR-Schnittbildern allerdings nicht als Einschränkung zu verstehen, sondern nur als ein Beispiel eines Schnitts durch biologisches Material.

Wie bereits oben erwähnt, läßt sich das vorliegende Verfah ren analog auf andere bildgebende Verfahren, beispielsweise die aus der Medizin bekannten CT-Verfahren, PET-Verfahren, DSA-Verfahren, Ultraschall-Verfahren, Thermographie- Verfahren oder Szintigraphie-Verfahren anwenden.

Darüber hinaus können mit dem vorliegenden Verfahren selbst verständlich auch Schnittbilder durch andere Teile des menschlichen Körpers, durch tierisches oder pflanzliches Ge webe bzw. menschliche, tierische oder pflanzliche Zellen durchgeführt werden.

In Fig. 1 ist als Beispiel ein NMR-Schnitt, der durch ein menschliches Gehirn in horizontaler Richtung knapp über Höhe der Augen aufgenommen worden ist, dargestellt.

In der linken Bildhälfte ist hierbei das Original und in der rechten Bildhälfte ein Negativ dieses Originals gezeigt. Die Negativform wurde in dieser Figur sowie in den folgenden Fi guren zur deutlicheren Darstellung gewählt.

In dem in Fig. 1 gezeigten Schnittbild sind mehrere Struktu ren, wie beispielsweise die Schädelkalotte 1, der Balken (corpus callosum) 2a und 2b, der Spalt 3a und 3b, der III. Ventrikel 4, das Vorderhorn des linken und rechten Seiten ventrikels 5a bzw. 5b und das Hinterhorn des linken und rechten Seitenventrikels 6a bzw. 6b zu sehen. Diese bei spielhaft genannten Strukturen können durch das erfindungs gemäße Verfahren in automatisierter Weise erkannt werden.

Im folgenden wird unter Bezugnahme auf die Fig. 2, 3 und 4 eine erste Ausführungsform der vorliegenden Erfindung be schrieben.

In Fig. 2 ist hierzu eine schematische Darstellung gegeben, anhand der erklärt wird, wie man aus der Abbildung eines Schnitts 20 eine Darstellung in Graphenform 30 erhält, die, wie insbesondere im Zusammenhang mit Fig. 4 noch erläutert wird, mit anderen Graphen verglichen werden kann.

Zur Durchführung des erfindungsgemäßen Verfahrens muß das Ausgangsschnittbild 20 in digitalisierter Form vorliegen. Die digitalisierte Form kann hierbei entweder aus dem ver wendeten Verfahren direkt resultieren, wie beispielsweise im Fall von NMR- oder CT-Verfahren, oder muß durch Konvertie rung eines analogen Bildes, wie beispielsweise einer her kömmlichen Fotografie eines Schnittbildern, digitalisiert werden.

Ein digitalisiertes Bild liegt typischerweise in der Form eines Pixelfeldes einer vorbestimmten Größe vor. Jedem Pixel ist hierbei eine horizontale und eine vertikale Position zugeordnet. Deshalb wird im folgenden unter dem Pixel das Pixel verstanden, dem die Position zugeordnet worden ist. Weiterhin ist jedem Pixel ein Graustufenwert, typischerweise in dem Bereich 0-256 zugewiesen.

Um nun aus dem Ausgangsschnittbild 20 einen Graph zu erhal ten, werden, wie die im folgenden noch im Detail beschrieben werden, aus dem Schnittbild 20 an vorbestimmten Pixeln soge nannte Merkmale, die ihrerseits zu sogenannten Jets zusam mengefaßt werden, extrahiert.

Diese vorbestimmten Pixel werden dadurch erhalten, daß ein Gitter 21, das allgemein durch seine Knotenpunkte 22a, 22b und seine Links 23, d. h. die Verbindungen zwischen bestimm ten Knotenpunkten, beschrieben wird, in das Schnittbild 20 projiziert wird und die Pixel, die der Projektion der Kno tenpunkte entsprechen, bestimmt werden. Gemäß der ersten Ausführungsform wird, wie in Fig. 2 zu sehen ist, ein regu läres 5×7-Gitter mit regelmäßigen Abständen verwendet.

Nachdem durch das Gitter bestimmte Pixel festgelegt sind, wird die Extraktion der Merkmale in diesen Pixeln wie folgt durchgeführt.

Ein Merkmal 28a, . . ., 28h ist als das Ergebnis einer Faltung des Bildes an einem vorbestimmten Pixel mit einer gegebenen Filterfunktion definiert.

Gemäß der ersten Ausführungsform werden hierbei sogenannte komplexe Gabor-Filter als Filterfunktionen verwendet. Diese Filter lassen sich durch folgende Formel darstellen:

Die durch Gleichung (1) dargestellten Gabor-Filter haben die Form einer durch einen Wellenvektor _j beschriebenen ebenen Welle, die durch eine Gauß-Funktion mit einer Breite σ/k beschränkt ist, wobei σ=2π. Durch Wahl des Wellenvektors _j kann die Größe und die Orientierung der Filterfunktion be stimmt werden.

Darüber hinaus erfüllen die Filterfunktionen die Bedingung:

In Fig. 2 sind mit 24a und 24b zwei derartige verschiedene Filterfunktionen dargestellt. Der Wert 0 ist hierbei durch ein mittleres Grau dargestellt; positive Werte sind heller und negative Werte sind dunkler. Die in Fig. 2 dargestellte Filterfunktion 24a hat hierbei eine niedrige Frequenz bzw. einen kleinen Wellenvektor _j mit einer Orientierung von un gefähr 60 Grad gegenüber der Vertikalen. Die Filterfunktion 24b hat eine größere Frequenz bzw. einen größeren Wellenvek tor _j mit einer Orientierung von ungefähr 135 Grad gegen über der Vertikalen.

Für einen vorgegebenen Wellenvektor _j, d. h. durch Wahl der Größe und der Orientierung der Filterfunktion, läßt sich so mit das Merkmal J_j() an einem vorbestimmten Pixel berech nen durch:

I() bezeichnet hierin die Intensität, d. h. die Graustufen, der Schnittabbildung.

In Abhängigkeit von dem Wellenvektor _j können nun für jedes Pixel verschiedene Merkmale J_j() berechnet werden, die in einem Jet für das Pixel zusammengefaßt werden.

In Fig. 2 sind die Ergebnisse der Faltungen des Schnittbil des 20 mit den Filterfunktionen 24a bzw. 24b für alle Pixel gezeigt. Wählt man für J_j() die Form J_j()=a_j()exp(iΦ_j()), sind in den Bildern, die mit 25a bzw. 25b bezeichnet sind, die Imaginärteile der Faltung und in den Bildern, die mit 26a bzw. 26b bezeichnet sind, die Amplituden a_j() der Fal tung dargestellt.

Stellt man den Wellenvektor _j dar durch:

wobei ν der Größenindex µ und der Orientierungsindex der Filterfunktion sind, werden entsprechend der ersten Ausfüh rungsform die Merkmale für die Indizes µ∈{0, . . .,7} und ν∈{0, . . .,4} in einem Jet zusammengefaßt.

Insgesamt umfaßt der Jet für das Pixel somit n=40 Merkma le.

In Fig. 2 ist ein Teil dieser Merkmale schematisch in einem Jet 27 dargestellt. Hierbei sind die Merkmale 28a, 28b, 28c und 28d durch eine Filterfunktionen mit konstanter Größe und, wie durch die Schraffur dargestellt, mit unterschiedli cher Orientierung erhalten worden. Gleiches gilt für die Merkmale 28e, 28f, 28g und 28h. Im Vergleich zu den Merkma len 28a, 28b, 28c und 28d wurden die Merkmale 28e, 28f, 28g und 28h mit einer kleineren Filterfunktion erhalten.

Führt man die Extraktion der Merkmale an allen Gitterpunkten durch, erhält man schließlich den in Fig. 2 mit dem Bezugs zeichen 30 bezeichneten Graphen, der die Struktur des Git ters 21 widerspiegelt und die Jets an den Punkten, die den Gitterpunkten entsprechen, aufweist.

Neben den oben beschriebenen Gabor-Filterfunktionen lassen sich auch beliebige andere Filterfunktionen einsetzen. Als ein weiteres Beispiel einer Filterfunktionsklasse werden entsprechend einer Ausführungsform der Erfindung sogenannte Mallat-Filter verwendet werden.

Die Faltung des Bildes mit diesen Mallat-Filtern läßt sich durch folgende Formel darstellen:

wobei * die Faltungsoperation bezeichnet, h und ν für hori zontal und vertikal stehen und s_i(s_i=s_o2ⁱ,i∈N) die Breite ei ner Gauß-Funktion darstellt, deren Ableitungen als Filter funktionen verwendet werden.

Im folgenden wird unter Bezugnahme auf Fig. 3 und 4 be schrieben, wie ein Referenzschnittbild mit einem Schnitt bild, das beispielsweise von einem zu untersuchenden Patien ten aufgenommen worden ist, verglichen wird. Im folgenden wird das aufgenommene Schnittbild als Vergleichsschnittbild bezeichnet.

In Fig. 3 ist ein Referenzschnitt 20 gezeigt, in den ein re guläres 5×7-Gitter 21 mit regelmäßigen Abständen projiziert ist. Aus diesem Bild werden an den Knotenpunkten 22 des Git ters nach dem oben beschriebenen Verfahren Merkmale extra hiert, die in den Jets, die den jeweiligen Gitterpunkten entsprechen, zusammengefaßt werden.

Die Jets werden ihrerseits mit der Gitterstruktur, also den Koordinaten der Knotenpunkte und den Verbindungsvektoren zwischen den Knoten in einem Referenzgraphen G zusammenge faßt.

Im nächsten Schritt projiziert man das Gitter des Referenz schnitts (Referenzgitter) in das Vergleichsschnittbild und berechnet die diesem Gitter entsprechenden Jets für das Ver gleichsschnittbild. Hierbei sind dieselben Filterfunktionen, d. h. dieselbe Klasse von Filterfunktionen, dieselben Größe und dieselben Orientierungen, mit denen der Referenzgraph erstellt worden ist, zu verwenden. Die derart berechneten Jets bilden zusammen mit der Struktur des projizierten Git ters schließlich den Vergleichsgraphen G'.

Zur Projektion des Referenzgitters in das Vergleichsschnitt bild lassen sich in Abhängigkeit von den zu erwartenden Un terschieden zwischen Referenzschnitten und Vergleichsschnit ten verschiedene Abbildungen einsetzen.

Die einfachste Projektion, nämlich eine Zentrierung des Re ferenzgitters in der Vergleichsschnittabbildung, eignet sich beispielsweise, wenn Referenzabbildung und Vergleichsabbil dung dieselbe Größe und Position in bezug auf das Bildzen trum haben und unter demselben Winkel aufgenommen worden sind.

Zu dieser einfachen Projektion können wahlweise die folgen den Projektionen ausgeführt werden.

Eine Verschiebung des Referenzgitter in seiner Gesamtheit: Diese Abbildung eignet sich, wenn die Positionen von Refe renzabbildung und Vergleichsabbildung in bezug auf das Bild zentrum unterschiedlich sind.

Eine Skalierung des Referenzgitters:
Diese Abbildung kann vorgesehen werden, wenn die Größen von Referenzabbildung und Vergleichsabbildung unterschiedlich sind.

Eine lokale Verzerrung des Referenzgitters:
Bei dieser Abbildung werden jeweils einzelne Gitterpunkte gegenüber ihrer Position im Referenzgitter verschoben. Diese Abbildung eignet sich insbesondere, wenn zu erwarten ist, daß die Vergleichsabbildung gegenüber der Referenzabbildung lokale Verzerrungen aufweist.

Selbstverständlich sind auch beliebige Kombinationen der oben beschriebenen Projektionen möglich.

Neben den oben beschriebenen Projektionen lassen sich, falls Referenzabbildung und Vergleichsabbildung dies erforderlich machen, auch weitere Projektionen, wie beispielsweise Dre hungen und dergleichen einsetzen.

In Fig. 4 sind die Projektionen gezeigt, die gemäß der er sten Ausführungsform der Erfindung verwendet werden. In der linken Abbildung ist noch einmal die Referenzschnittabbil dung 20 mit dem Referenzgitter 21 zu sehen.

In der mittleren Abbildung ist mit dem Bezugszeichen 40 ein Vergleichsschnitt dargestellt. Weiterhin zeigt die mittlere Abbildung die Projektion 41 des Referenzgitters in den Ver gleichsschnitt. Wie aus Fig. 4 ersichtlich, wurde als Pro jektionsabbildung eine Zentrierung mit zusätzlicher Skalie rung verwendet.

In der rechten Abbildung von Fig. 4 ist eine weitere Projek tion 42 des Referenzgitters in die Vergleichsschnittabbil dung gezeigt. Hier wurde als Projektion neben Zentrierung und Skalierung außerdem eine lokale Verzerrung verwendet.

Die Bewertung der Ähnlichkeit beider Graphen, wird mittels einer Graphenvergleichsfunktion durchgeführt, die folgende allgemeine Form aufweist:

S = S_Jet + λS_Metrik (6).

S_Jet bezeichnet hierbei eine geeignete Funktion, welche die Ähnlichkeit der Jets an korrespondierenden Punkten der bei den Graphen bewertet, und S_Metrik bezeichnet eine geeignete Funktion, welche die Ähnlichkeit der Metrik der beiden Git ter miteinander vergleicht. S_Metrik hängt stark von der verwen deten Projektion ab.

λ (λ≧0) bezeichnet die Gewichtung der beiden Vergleichs funktion zueinander. λ kann auch gleich Null gesetzt werden; dies bedeutet, daß die Ähnlichkeit der Metrik der Graphen nicht berücksichtigt wird. Dieser Wert bietet sich insbeson dere an, wenn lediglich Zentrierung oder Verschiebung als Projektion gewählt werden, oder anders ausgedrückt, wenn die Topologie von Referenzgraph und Vergleichsgraph identisch sind.

Gemäß der ersten Ausführungsform der Erfindung wird zur Be wertung der Ähnlichkeit zweier korrespondierender Jets J und J' des Referenzgraphen G bzw. des Vergleichsgraphen G', ei ne Funktion verwendet, die von den Amplituden a_j und a_j' der beiden abhängt und die folgende Form hat:

Die vorliegende Erfindung ist allerdings nicht auf diese Vergleichsfunktion beschränkt, es kann beispielsweise auch eine phasenempfindliche Vergleichsfunktion eingesetzt wer den, beispielsweise mit folgender Form:

wobei _j der Wellenvektor der entsprechenden Gabor-Filter ist und ein geschätzter Verschiebungsvektor ist, der schnelle Phasenverschiebungen kompensiert. wird dadurch bestimmt, daß S_Φ in seiner Taylorentwicklung innerhalb eines kleinen Quadrats, daß in =0 zentriert ist, maximiert wird. Der Term ._j mit dem geschätzten Verschiebungsvektor kompensiert schließlich schnelle Phasenverschiebungen auf grund kleiner Variationen in den Positionen und ' der zwei Jets, die miteinander verglichen werden.

Aus den Vergleichsfunktionen für die einzelnen Jets wird schließlich eine Graphenvergleichsfunktion für alle Jets ge bildet. Hierzu kann beispielsweise der Mittelwert aller Ver gleichsfunktionen für alle N Jets gebildet werden:

Als Funktion zum Vergleichen der Metrik der beiden Graphen können beispielsweise die Beträge der Differenzvektoren zweier einander entsprechender Links, d. h. der Verbindungen zweier einander entsprechender Knoten, aufsummiert werden; für Graphen mit E Links, die mit Δ_e bzw. Δ_e' bezeichnet werden, ergibt sich somit eine Metrikvergleichsfunktion:

Welche der Vergleichsfunktionen im Detail verwendet und ins besondere welcher Faktor für λ gewählt wird, hängt im we sentlichen von der Struktur der Referenzgraphen und der Ver gleichsgraphen, also letztendlich von der Struktur der Ver gleichsschnittbilder und der Referenzschnittbilder, ab.

Die Auswahl der geeigneten Vergleichsfunktion für eine gege bene Struktur der Vergleichsschnittbilder und der Referenz schnittbilder kann hierbei durch Vergleichsversuche mit den Vergleichsschnittbilder und den Referenzschnittbilder ermit telt werden und liegt somit im Bereich des durchschnittli chen Könnens eines Fachmanns.

Mit Hilfe der Graphenvergleichsfunktion (5) kann nun der Vergleichsgraph an den Referenzgraphen optimal angepaßt wer den. Hierzu wird die Projektion des Referenzgitters in die Vergleichsabbildung solange variiert, bis die Graphenver gleichsfunktion einen optimalen Wert (im Fall der oben be schriebenen Vergleichsfunktionen ist dies ein Minimum) an nimmt.

Die rechte Abbildung in Fig. 4 stellt eine solche optimale Anpassung der Referenzabbildung 20 an die Vergleichsabbil dung 40 dar. Hierzu wurde in einem ersten Schritt eine Zen trierung und Skalierung des Referenzgitters in die Ver gleichsabbildung projiziert. Durch Variation der Skalierung wurde das Minimum der Graphenvergleichsfunktion ermittelt. Das Ergebnis dieser ersten Variation ist in Fig. 4 im mitt leren Bild gezeigt.

In einem zweiten Schritt wurden, ausgehend von der optimalen Skalierung in der mittleren Abbildung, schließlich einzelne Knoten, wiederum unter Minimierung der Graphenvergleichs funktion, lokal verschoben. Das Ergebnis dieser zweiten Va riation ist in der rechten Abbildung in Fig. 4 dargestellt.

Obwohl gemäß der oben beschriebenen Ausführungsform zwei Schnitte in ihrer Gesamtheit miteinander verglichen wurden, ist es gemäß einer weiteren Ausführungsform möglich einzelne Strukturen in einem Vergleichsschnitt zu erkennen. Hierzu wird entsprechend ein Referenzgraph für die zu erkennende Struktur, beispielsweise für eine der Strukturen, die in Fig. 1 dargestellt sind, ermittelt.

Unter Verwendung von insbesondere der Skalierungsabbildung kann das Referenzgitter dieser Struktur dann in den Ver gleichschnitt projiziert werden. Unter Durchführung des oben beschriebenen Verfahrens kann so schließlich die optimale Anpassung ermittelt werden.

Mit dem Vergleichsschnitt lassen sich selbstverständlich auch mehrere Referenzschnitte vergleichen.

Diese Referenzschnitte können in Form einer Datenbank vor liegen. In diesem Fall müssen dann allerdings bei jedem Ver gleich die Referenzgraphen erneut berechnet werden.

Zweckmäßiger ist es deshalb, die Datenbank gleich in Form einer Referenzgraph-Datenbank vorzusehen, in denen die Refe renzgitter mit ihren entsprechenden Jets gespeichert sind und lediglich abgerufen werden müssen. Allerdings ist eine solche Referenzgraph-Datenbank nicht so flexibel wie eine Referenzschnitt-Datenbank, da diese für jede Änderung bei der Berechnung der Jets neu kompiliert werden muß.

Zum Vergleich des Vergleichsschnitts mit einer beliebigen Anzahl von Referenzschnitten ermittelt man für den Ver gleichsschnitt mit dem oben beschriebenen Verfahren die op timale Anpassung an jeden Referenzschnitt und die Graphen vergleichsfunktion für diese optimale Anpassung.

Aufgrund eines Vergleichs der Graphenvergleichsfunktionen, die jeweils den besten Anpassungen der Referenzschnitte an den Vergleichschnitt entsprechen, kann der Referenzschnitt ermittelt werden, der die größte Ähnlichkeit mit dem Ver gleichsschnitt aufweist.

Darüber hinaus kann durch Auswertung der Graphenvergleichs funktionen aller Referenzschnitte ein Maß der Signifikanz der Ähnlichkeit ermittelt werden. Hierzu lassen sich, ent sprechend dem erforderlichen Grad an Ähnlichkeit, verschie dene Definitionen für eine signifikante Erkennung verwenden.

Beispielsweise können aus allen Graphenvergleichsfunktionen für die nicht optimalen Referenzgraphen der Mittelwert S und die Varianz σ_s gebildet werden. Eine signifikante Ähn lichkeit könnte dann angenommen werden, wenn

oder

erfüllt ist, wobei s ein fest gewählter Parameter ist und S₂ der zweitkleinste Wert aller Graphenvergleichsfunktionen ist.

Es können mit dem oben beschriebenen Verfahren, beispiels weise für eine medizinische Diagnose, auch mehrere Referenz schnitt ausgewählt werden, die in einem vorgegebenen Ähn lichkeitsbereich liegen.

Bei dieser Ausführungsform wird der Person, die den das Schnittbild beurteilen muß, beispielsweise der Arzt, der eine medizinische Diagnose erstellen soll, zusätzliche Information an die Hand gegeben.

Unter Bezugnahme auf die Fig. 5, 6 und 7, wird nun eine wei tere Ausführungsform der Erfindung beschrieben. Diese Aus führungsform unterscheidet sich von den bisher beschriebenen Ausführungsformen lediglich durch die Auswahl der Punkte an denen die Jets berechnet werden, also durch die Gitterstruk tur der Referenzschnitte.

Um Wiederholungen zu vermeiden, wird deshalb in bezug auf die Gemeinsamkeiten beider Ausführungsformen auf die Be schreibung der bisherigen Ausführungsformen verwiesen; im folgenden wird deshalb lediglich das unterschiedliche Gitter diskutiert.

Wie in Fig. 5 schematisch angedeutet ist, wird in dieser Ausführungsform zur Ermittlung des Graphen 60 ein unregelmä ßiges, objektangepaßtes Gitter 50 verwendet.

Ein ähnliches, objektangepaßtes Gitter, das dieser Ausfüh rungsform zugrunde liegt, ist in Fig. 6 in vergrößerter Dar stellung gezeigt. Wie aus dieser Figur ersichtlich, werden bei einem objektangepaßten Fall die Gitterpunkte so gelegt, daß sie mit charakteristischen Merkmalen des Referenz schnitts zusammenfallen.

Beispielsweise werden um den III. Ventrikel 52 drei Knoten punkte 51a, 51b und 51c des Gitters 50 gelegt, die durch drei Links 53a, 53b und 53c miteinander verbunden sind.

In Fig. 7 ist, analog zu Fig. 4, die Anpassung eines Refe renzgraphen mit einem objektangepaßten Gitter an den Ver gleichsgraphen dargestellt. In der linken Abbildung in Fig. 7 ist der Referenzschnitt 20 mit dem objektangepaßten Gitter 50 gezeigt. In der mittleren Abbildung ist das Ergebnis der optimalen Zentrierung und Skalierung 60 des Referenzgitters in dem Vergleichschnitt 40 dargestellt. In der rechten Ab bildung wurde schließlich, ausgehend von der mittleren Ab bildung das zentrierte und skalierte Gitter lokal verzerrt 70.

In Fig. 8 ist eine weitere Ausführungsform der vorliegenden Erfindung dargestellt.

Diese Ausführungsform unterscheidet sich von den bisher be schriebenen Ausführungsformen durch den Aufbau der Referenz graphen, die mit dem Vergleichsgraphen verglichen werden.

Während in den bisher beschriebenen Ausführungsformen ein Referenzgraph aus einer einzelnen Schnittabbildung erstellt wird, resultiert gemäß dieser Ausführungsform ein Referenz bündelgraph aus mehreren Schnittabbildungen.

Hierzu werden aus M Schnittabbildungen M Modellgraphen er stellt, die in einem sogenannten Referenzbündelgraph zusam mengefaßt werden.

Alle M Modellgraphen haben qualitativ dieselbe Struktur, d. h. sie haben jeweils N Knoten, die durch ein vorbestimm tes Gitter miteinander verbunden sind. Hierbei ist es aller dings zulässig, daß die Längen zweier einander entsprechen der Links unterschiedlich sind. Es ist demnach lediglich to pologische Identität der Modellgraphen gefordert. Die Struk tur des Gitters kann eine reguläre oder irreguläre Form auf weisen.

Insbesondere können demnach die in den zuvor diskutierten Ausführungsformen eingesetzten Gitter, also ein reguläres n×m-Gitter oder ein irreguläres objektangepaßtes Gitter, verwendet werden.

Neben den Längen zweier entsprechender Links unterscheiden sich außerdem die einander entsprechenden Jets der M Mo dellgraphen.

Die M Modellgraphen werden schließlich, wie im folgenden erläutert, zu einem Bündelgraphen zusammengefaßt.

Zuerst werden die mittleren Entfernungsvektoren Δ_ij zwischen den Knoten i und j in dem Bündelgraphen ermittelt durch:

wobei Δ m|ij der Entfernungsvektor zwischen den Knoten i und j in dem Modellgraphen m ist.

Diese Entfernungsvektoren bestimmen nun die Struktur des Bündelgraphen, die zum Vergleich schließlich im folgenden in den Vergleichschnitt projiziert wird.

Den Knoten des Bündelgraphen werden außerdem noch die Jets der M Modellgraphen zugewiesen. Demnach umfaßt ein Jet des Bündelgraphen die M einander entsprechenden Jets der M Mo dellgraphen. Demnach ist ein Jet des Referenzbündelgraphen aus Subjets, die jeweils den Jets der Modellgraphen entspre chen, aufgebaut.

Die derart erhaltenen Struktur ist in Fig. 8 schematisch dargestellt. Mit G_l,. . .,G_M sind hierin die M Modellgraphen bezeichnet, die zu dem Bündelgraphen 80, der aus einem Ver gleichsschnitt 75 resultiert, zusammengefaßt sind.

Zum Vergleich des derart erhaltenen Bündelgraphen G^M 80 mit einem Vergleichsgraphen G 85 wird gemäß dieser Ausführungs form eine Bündelgraphenvergleichsfunktion verwendet, die folgende Form aufweist:

wobei S(J n|m, J_n) nach Gleichung (7) oder (8) berechnet wird.

In Worten ausgedrückt, werden bei dem Vergleich des Bündel graphen G^M mit einem Vergleichsgraphen G also die Jets mit der maximalen Ähnlichkeit aus dem Bündelgraphen ausgewählt.

In Fig. 8 ist diese Tatsache dadurch dargestellt, daß Pfei le, die von dem entsprechenden Knoten des Vergleichsgraphen G ausgehen, an verschiedenen Modellgraphen enden.

Neben der oben angegebenen Bündelgraphenvergleichsfunktion lassen sich auch andere geeignete Vergleichsfunktionen ein setzen.

Wie bei einem Vergleich mit einem einzelnen Referenzgraphen, wird auch im Fall eines Bündelgraphen dieser zuerst in die Abbildung des Vergleichsgraphen projiziert, und anschließend wird die optimale Projektion durch Auswertung der Bündelgra phenvergleichsfunktion bestimmt.

Da ein Bündelgraph wie ein einzelner Graph behandelt werden kann, ist es auch möglich, mehrere Referenzbündelgraphen, einen Referenzbündelgraphen und einen oder mehrere Referenz graphen in einer Datenbank, mit der Vergleichsgraphen ver glichen werden sollen, zusammenzufassen.

Neben der Möglichkeit die Ergebnisse der erfindungsgemäßen Verfahren, also beispielsweise der Identifizierung einer ge rade aufgenommenen Struktur, als Hilfsmittel bei einer Dia gnose in der Medizin einzusetzen, kann das erfindungsgemäße Verfahren darüber hinaus zur Steuerung von Vorrichtungen eingesetzt werden, mit denen derartige Schnittbilder aufge nommen werden.

Gemäß einer weiteren Ausführungsform der vorliegenden Erfin dung kann die Vorrichtung so gesteuert werden, daß der im Detail zu untersuchende Bereich automatisch ermittelt wird.

Bisher war es erforderlich die zu untersuchende Person in bezug auf die Vorrichtung mittels eines Lichtvisiers zu po sitionieren. Im nächsten Schritt wurden anhand von drei or thogonalen Pilotschnitten der zu untersuchende Bereich ein gestellt. Nach dieser Einstellung war allerdings immer noch eine Korrektur des so gefundenen Bereichs erforderlich.

Durch das vorliegende Verfahren können die Bereiche, in de nen die Untersuchung durchgeführt werden soll, durch Refe renzschnittbilder angegeben werden. Die Steuerung der Vor richtung kann dabei so ausgebildet werden, daß der zu unter suchende Bereich automatisch durch Vergleich der jeweiligen Aufnahme mit den Referenzschnittbildern gefunden wird.

Entsprechend einer weiteren Ausführungsform kann das erfin dungsgemäße Verfahren auch zum automatischen Aufzeichnungs abbruch in einer Vorrichtung, mit der Schnittserien, bei spielsweise durch den menschlichen Körper, gemacht werden, eingesetzt werden.

Hierzu wird nach jeder Aufnahme der Schnittserie ein Ver gleich mit einem Referenzbild, welches das Ende der Schnittserie charakterisiert, durchgeführt. Wenn eine aus reichende Ähnlichkeit des gerade aufgenommenen Schnittbilds mit diesem Referenzbild festgestellt wird, ist die Schnitts erie beendet und der Vorrichtung wird das Ende der Aufzeich nung mitgeteilt.

Claims

1. Ein Verfahren zum automatisierten Erkennen einer oder meh rerer Strukturen in einem Schnitt durch biologisches Mate rial, insbesondere zum Einsatz in der medizinischen Dia gnostik, umfassend die Schritte:
Zurverfügungstellen von Referenzgraphen, die aus digitali sierten Bilddaten entsprechender Referenzschnittbilder re sultieren, wobei jeder Referenzgraph umfaßt:
eine netzartige Struktur, die jeweils dadurch definiert wird, daß bestimmten Bilddaten Knoten, die durch Links in vorbestimmter Weise miteinander verbunden sind, zu gewiesen werden, und
Jets, wobei jedem Knoten ein Jet zugeordnet ist und wo bei der einem bestimmten Knoten zugeordnete Jet durch Faltungen einer Klasse von Filterfunktionen mit ver schiedenen Größen und Orientierungen mit den Bilddaten des entsprechenden Referenzschnitts an dem bestimmten Knoten ermittelt wird;
Erstellen des Bildes des Schnitts, der jede zu erkennende Struktur umfaßt, derart daß die Bilddaten in digitalisier ter Form vorliegen;
Ermitteln eines optimalen Schnittgraphen für jeden Refe renzgraphen, wobei der optimale Schnittgraph für einen be stimmten Referenzgraphen die optimale Anpassung an diesen darstellt und ermittelt wird durch:
Projizieren der netzartigen Struktur des bestimmten Re ferenzgraphen in das Bild des Schnitts, wodurch die Struktur des Schnittgraphen definiert wird, und Ermit teln von Jets des Schnittgraphen an den durch seine Struktur definierten Knoten durch Faltungen der Klasse von Filterfunktionen mit den Größen und den Orientierun gen, die zur Ermittlung der Jets des bestimmten Refe renzgraphen verwendet worden sind, mit den Bilddaten des Schnitts, wobei
die Projektion der netzartigen Struktur des bestimmten Referenzgraphen, so lange variiert wird, bis eine Gra phenvergleichsfunktion, welche die Jets des Schnittgra phen mit den entsprechenden Jets des bestimmten Refe renzgraphen vergleicht, optimal wird;
Zuordnung jeder Struktur zu dem Referenzschnittbild, wel ches dem Referenzgraphen entspricht, für den die Graphen vergleichsfunktion in Bezug auf den für ihn ermittelten optimalen Schnittgraphen optimal ist.

2. Das Verfahren in Anspruch 1, in welchem weiterhin
die Referenzgraphen, welche netzartige Strukturen aufwei sen, die topologisch identisch sind und deren einander entsprechende Jets durch Faltungen derselben Klasse von Filterfunktionen mit denselben Größen und Orientierungen mit den Bilddaten des entsprechenden Referenzschnitts er mittelt worden sind, zu einem Referenzbündelgraphen zusam mengefaßt sind, wobei der Referenzbündelgraph umfaßt:
eine netzartige Struktur, die durch Knoten, welche den Knoten der Referenzgraphen entsprechen, und durch Links, die durch Mittelung der entsprechenden Links der Refe renzgraphen ermittelt werden, definiert wird, und
Bündeljets, wobei jeder Bündeljet aus Subjets zusammen gesetzt wird, die den Jets an den jeweiligen Knoten der in dem Referenzbündelgraphen zusammengefaßten Referenz graphen entsprechen;
und
ein optimaler Schnittgraph für jeden Referenzbündelgraphen ermittelt wird, wobei der optimale Schnittgraph für einen bestimmten Referenzbündelgraphen die optimale Anpassung an diesen darstellt und ermittelt wird durch:
Projizieren der netzartigen Struktur des bestimmten Re ferenzbündelgraphen in das Bild des Schnitts, wodurch die Struktur des Schnittgraphen definiert wird, und Er mitteln von Jets des Schnittgraphen an den durch seine Struktur definierten Knoten durch Faltungen der Klasse von Filterfunktionen mit den Größen und den Orientierun gen, die zur Ermittlung der Jets der dem bestimmten Re ferenzbündelgraphen zugrunde liegenden Referenzgraphen verwendet worden sind, mit den Bilddaten des Schnitts, wobei
die Projektion der netzartigen Struktur des bestimmten Referenzbündelgraphen, so lange variiert wird, bis eine Graphenvergleichsfunktion, welche die Jets des Schnitt graphen mit den entsprechenden Bündeljets des bestimmten Referenzbündelgraphen vergleicht, optimal wird, wobei jeder Jet des Schnittgraphen mit den Subjets in dem ent sprechenden Bündeljet des bestimmten Referenzbündelgra phen verglichen wird;
und in welchem schließlich jede Struktur dem Referenzschnittbild zugeordnet wird, das dem Referenzgraphen bzw. dem Referenzgraphen aus dem Refe renzbündelgraphen entspricht, für den die Graphenver gleichsfunktion in Bezug auf den für ihn ermittelten opti malen Schnittgraphen optimal ist.

3. Das Verfahren nach Anspruch 2, in welchem alle zur Verfü gung gestellten Referenzgraphen zu einem oder zu mehreren Referenzbündelgraphen zusammengefaßt sind.

4. Das Verfahren nach einem der vorangegangenen Ansprüche, in welchem der Schritt des Zurverfügungstellens der Referenz graphen bzw. der Referenzbündelgraphen das Erstellen der Referenzgraphen bzw. der Referenzbündelgraphen aus den di gitalisierten Bilddaten entsprechender Referenzschnittbil der umfaßt.

5. Das Verfahren nach einem der Ansprüche 1 bis 3, in welchem der Schritt des Zurverfügungstellens der Referenzgraphen bzw. der Referenzbündelgraphen das Abrufen der Referenz graphen bzw. der. Referenzbündelgraphen aus einer Datenbank umfaßt.

6. Das Verfahren nach einem der vorangegangenen Ansprüche, in welchem das biologische Material menschliches, tierisches oder pflanzliches Gewebe oder menschliche, tierische oder pflanzliche Zellen umfaßt.

7. Das Verfahren nach einem der vorangegangenen Ansprüche, in welchem die Bilder der Referenzschnitte und des Schnitts, der jede zu erkennende Struktur umfaßt, mit demselben bildgebenden Verfahren erstellt werden.

8. Das Verfahren nach einem der Ansprüche 1-6, in welchem die Bilder der Referenzschnitte und des Schnitts, der jede zu erkennende Struktur umfaßt, mit unterschiedlichen bildge benden Verfahren erstellt werden.

9. Das Verfahren nach einem der Ansprüche 7 oder 8, in wel chem das bildgebenden Verfahren ein bildgebendes Verfahren der Medizin umfaßt.

10. Das Verfahren nach Anspruch 9, in welchem das bildgebende Verfahren der Medizin NMR-Verfahren, CT-Verfahren, PET- Verfahren, DSA-Verfahren, Ultraschall-Verfahren, Thermo graphie-Verfahren oder Szintigraphie-Verfahren umfaßt.

11. Das Verfahren nach einem der vorangegangenen Ansprüche, in welchem als netzartige Struktur des Referenzgraphen ein regelmäßiges Gitter verwendet wird, dessen Knoten und Links rechtwinklige Maschen bilden.

12. Das Verfahren nach einem der Ansprüche 1-10, in welchem als netzartige Struktur des Referenzgraphen ein unregelmäßiges Gitter verwendet wird, dessen Knoten und Links an die zu erkennende Struktur angepaßt sind.

13. Das Verfahren nach Anspruch 12, in welchem die Knoten charakteristischen Punkten, sogenannten Landmarken, der zu erkennenden Struktur zugeordnet werden.

14. Das Verfahren nach einem der vorangegangenen Ansprüche, in welchem als Klasse der Filterfunktionen Gabor- Filterfunktionen verwendet werden.

15. Das Verfahren nach einem der Ansprüche 1-13, in welchem als Klasse der Filterfunktionen Mallat-Filterfunktionen verwendet werden.

16. Das Verfahren nach einem der vorangegangenen Ansprüche, in welchem die Projektion der netzartigen Struktur des be stimmten Referenzgraphen bzw. des bestimmten Referenzbün delgraphen eine Zentrierung des Referenzgraphen bzw. des bestimmten Referenzbündelgraphen in dem Bild des Schnitts umfaßt.

17. Das Verfahren nach Anspruch 16, in welchem die Projektion der netzartigen Struktur des bestimmten Referenzgraphen bzw. des bestimmten Referenzbündelgraphen eine Verschie bung des zentrierten Referenzgraphen bzw. des zentrierten Referenzbündelgraphen umfaßt.

18. Das Verfahren nach Anspruch 16 oder 17, in welchem die Projektion der netzartigen Struktur des bestimmten Refe renzgraphen bzw. des bestimmten Referenzbündelgraphen eine Skalierung des zentrierten Referenzgraphen bzw. des zen trierten Referenzbündelgraphen umfaßt.

19. Das Verfahren nach Anspruch 18 in Verbindung mit Anspruch 17, in welchem die Verschiebung und die Skalierung des zentrierten Referenzgraphen bzw. des zentrierten Referenz bündelgraphen simultan durchgeführt werden.

20. Das Verfahren nach einem der Ansprüche 16-19, in welchem die Projektion der netzartigen Struktur lokale Verzerrun gen des zentrierten Referenzgraphen umfaßt.

21. Das Verfahren nach Anspruch 20, in welchem eine lokale Verzerrung durch lokale Verschiebung eines entsprechenden Knoten des zentrierten Referenzgraphen bewirkt wird.

22. Das Verfahren nach einem der vorangegangenen Ansprüche, in welchem eine Graphenvergleichsfunktion verwendet wird, die einen Anteil umfaßt, der die metrische Ähnlichkeit des Schnittgraphen mit dem entsprechenden Referenzgraphen bzw. dem entsprechenden Referenzbündelgraphen berücksichtigt.

23. Das Verfahren nach Anspruch 22, in welchem eine Graphen vergleichsfunktion verwendet wird, durch die eine Gewich tung zwischen der Ähnlichkeit der einander entsprechenden Jets bzw. Subjets und der metrischen Ähnlichkeit ausge führt wird.

24. Das Verfahren nach einem der vorangegangenen Ansprüche, in welchem nach dem Erkennen jeder Struktur ein Schritt zur Ermittlung der Signifikanz des Erkennung vorgesehen ist.

25. Das Verfahren nach Anspruch 24, in welchem zur Ermittlung der Signifikanz ein Schätzer verwendet wird, der sowohl die optimale Graphenvergleichsfunktion als auch die nicht optimalen Graphenvergleichsfunktionen berücksichtigt.

26. Des Verfahren nach Anspruch 24, in welchem der Abstand der Werte der nicht optimalen Vergleichsfunktionen von dem Wert der optimalen Vergleichsfunktion als Schätzer verwen det wird.

27. Das Verfahren nach einem der vorangegangenen Ansprüche, in welchem weiterhin jede Struktur den Referenzschnittbildern zugeordnet werden, die den Referenzgraphen bzw. den Refe renzgraphen aus den Referenzbündelgraphen entsprechen, für die die Werte der Graphenvergleichsfunktionen in einem vorbestimmten Bereich liegen.