DE602004009960T2

DE602004009960T2 - System und verfahren zum erkennen und vergleichen anatomischer strukturen unter verwendung von erscheinungsbild und form

Info

Publication number: DE602004009960T2
Application number: DE602004009960T
Authority: DE
Inventors: Xiang Sean Plainsboro ZHOU; Bogdan Highland Park GEORGESCU; Dorin Princeton Junction COMANICIU; R. Bharat Berwyn RAO; Alok Bryn Mawr GUPTA
Original assignee: Siemens Medical Solutions USA Inc
Current assignee: Siemens Medical Solutions USA Inc
Priority date: 2003-11-19
Filing date: 2004-11-19
Publication date: 2008-09-11
Anticipated expiration: 2024-11-20
Also published as: JP2011031052A; WO2005052860A3; US20090226081A1; EP1685536B1; CA2546440A1; JP2011031053A; JP5276072B2; AU2004294137A1; AU2004294137B2; US7747054B2; US7536044B2; US20050147303A1; US20090226040A1; US7965869B2; EP1801755A2; JP5279783B2; JP4633736B2; EP1801756A3; EP1685536A2; EP1801755A3

Description

Gebiet der Erfindung
Die vorliegende Erfindung betrifft ein System und ein Verfahren zum Detektieren und Identifizieren (Matching) von Objekten unter Verwendung von Aussehen und Form, und insbesondere ein System und Verfahren zum Detektieren und Identifizieren anatomischer Strukturen unter Anwendung von Offline-Training, Online-Detektion sowie Identifikation von Aussehen und Form.
Hintergrund der Erfindung
Es ist allgemein üblich, dass bei medizinischen Untersuchungen medizinische Bildgebungssysteme (z. B. Ultraschall-Bildgebungssysteme) für die Erkennung und Diagnose von Abnormalitäten verwendet werden, die mit anatomischen Strukturen (z. B. Organen wie etwa dem Herz) zusammenhängen. In vielen Fällen werden die Bilder von einem medizinischen Fachmann (z. B. einem Arzt oder Medizintechniker) ausgewertet, welcher geschult ist, Merkmale in den Bildern zu erkennen, welche auf eine mit der anatomischen Struktur zusammenhängende Abnormalität oder eine gesunde anatomische Struktur hinweisen könnten.
Dank der Fortschritte in der Computertechnik können die meisten Computer leicht große Mengen an Daten verarbeiten und umfangreiche Berechnungen ausführen, welche die Qualität der erhaltenen Bilder verbessern können. Ferner kann Bildverarbeitung als ein Werkzeug angewendet werden, um bei der Analyse der Bilder zu helfen. Eine effiziente Detektion von anatomischen Strukturen oder Objekten, die von Interesse sind, in einem Bild ist ein wichtiges Werkzeug bei der weiteren Analyse dieser Struktur. In vielen Fällen weisen Abnormalitäten der Form einer anatomischen Struktur oder Änderungen einer solchen Form in Abhängigkeit von der Zeit (z. B. ein schlagendes Herz oder eine atmende Lunge) auf einen Tumor oder verschiedene Krankheiten hin (z. B. Dilatation oder Ischämie des Herzmuskels).
Dieser Typ von Bildverarbeitung kann auch für andere Anwendungen benutzt werden, wie etwa die Erkennung von Gesichtern von Personen in einem Bild. Aufgrund der Variablen, die mit verschiedenen Gesichtsmerkmalen verknüpft sind (z. B. Haarfarbe und -länge, Augenfarbe, Gesichtsform usw.), ist die Gesichtserkennung keine triviale Aufgabe. Eine Gesichtserkennung kann bei vielfältigen Anwendungen benutzt werden, wie etwa Benutzererkennung, Überwachungs- und Sicherheitsanwendungen.
Es wurden verschiedene Typen von Vorgehensweisen angewendet, um interessierende Objekte (z. B. anatomische Strukturen oder Gesichter) zu erkennen. Komponentenbasierte Objektdetektoren (Augendetektor, Munddetektor usw.) können starke Änderungen von Pose und Beleuchtung bewältigen und sind robuster unter Okklusionen und heteroskedastischem Rauschen. Zum Beispiel ist bei der echokardiographischen Analyse das lokale Aussehen derselben anatomischen Struktur (z. B. des Septums) bei allen Patienten ähnlich, während sich die Konfiguration oder Form des Herzens dramatisch unterscheiden kann, zum Beispiel aufgrund von Betrachtungswinkeln oder Krankheitsbedingungen. Ebenso sind bei der Gesichtserkennung allgemeine räumliche Beziehungen zwischen Gesichtsmerkmalen ziemlich konsistent (z. B. die allgemeine Lage der Augen zu Nase und Mund), während die Konfiguration und Form der verschiedenen Gesichtsmerkmale (z. B. Form der Augen, Ausdruck des Mundes und relative Abstände zwischen ihnen) erheblich variieren können.
Um Schwankungen des lokalen Aussehens zu erfassen, stützen sich viele Lösungen auf eine Gaußsche Annahme. Unlängst wurde diese Annahme durch die Verwendung von nichtlinearen Lernmaschinen wie etwa Stützvektormaschinen (SVM) oder Boosting (Verstärkung) abgeschwächt. Einige der erfolgreichsten Echtzeit-Objekterkennungsverfahren beruhen auf einer verstärkten Kaskade (Boosted Cascade) von einfachen Merkmalen. Durch Kombinieren der Antwort einer ausgewählten Anzahl von einfachen Klassifikatoren mittels Boosting (Verstärkung) ist der resultierende starke Klassifikator in der Lage, hohe Detektionsraten zu erreichen, und ist in der Lage, Bilder in Echtzeit zu verarbeiten. Die existierenden Verfahren lösen jedoch nicht das Detektionsproblem bei Vorhandensein von verdeckenden Objekten. Die fehlerbehaftete Antwort eines einfachen oder schwachen Klassifikators infolge von Okklusion (Verdeckung) beeinflusst dann das Ergebnis der Detektion negativ.
Bei den meisten Anwendungen der visuellen Verfolgung sind die Messdaten unsicher und manchmal nicht vorhanden; Bilder werden mit Rauschen und Verzerrung aufgenommen, während Okklusionen einen Teil des interessierenden Objekts unbeobachtbar machen können. Die Unsicherheit kann global gleichförmig sein; bei den meisten realen Szenarien ist sie jedoch von heteroskedastischer Natur, d. h. sowohl anisotrop als auch inhomogen. Ein gutes Beispiel ist das Echokardiogramm (Ultraschall-Herzdaten). Ultraschall ist anfällig für Reflexionsartefakte, z. B. Spiegelreflexionen wie etwa diejenigen, welche von Membranen stammen. Aufgrund der einzigen "Blickrichtung" erzeugt die lotrechte Fläche einer Spiegelstruktur starke Echos, dagegen können geneigte oder "außerhalb der Achse" liegende Flächen schwache Echos erzeugen, oder überhaupt keine Echos (akustischer "Aussetzer"). Bei einem Echokardiogramm kann der Aussetzer an dem Bereich des Herzens auftreten, wo die Gewebeoberfläche parallel zu dem Ultraschallstrahl ist.
Aufgrund ihrer Verfügbarkeit, relativ niedrigen Kosten und Nichtinvasivität ist die Verwendung von Ultraschallbildern des Herzens zur Beurteilung von Herzfunktionen weit verbreitet. Insbesondere ist die Analyse der Ventrikelbewegung eine effiziente Methode, um den Grad von Ischämie und Infarzierung zu beurteilen. Eine Segmentierung oder Detektion der Herzinnenwand (Endokardium) ist der erste Schritt in Richtung einer Quantifizierung von Elastizität und Kontraktilität des linken Ventrikels. Zu den Beispielen einiger existierender Verfahren gehören pixelbasierte Segmentierungs-/Clustering-Methoden (z. B. Color Kinesis), Varianten des optischen Flusses, verformbare Modelle (Deformable Templates) und Markowsche stochastische Prozesse/Felder, sowie aktive Konturen/Snakes. Einige Verfahren werden im 2-dimensionalen, 3-dimensionalen oder 4-dimensionalen (3D + Zeit) Raum angewendet.
Jedoch wird bei den meisten existierenden Segmentierungs- oder Detektionsverfahren nicht versucht, genaue regionale Bewegungen der Herzinnenwand zu gewinnen, und in den meisten Fällen werden Bewegungskomponenten entlang der Wand ignoriert. Diese vereinfachte Behandlung wird auch von Konturverfolgern angewendet, welche nur entlang der Normalen der aktuellen Kontur suchen. Dies ist nicht für eine Erkennung von regionalen Abnormalitäten der Wand geeignet, da die regionale Bewegung eines abnormen linken Ventrikels wahrscheinlich nicht entlang der Normalen der Kontur erfolgt, ganz abgesehen davon, dass eine globale Bewegung, wie etwa eine Translation oder Rotation (infolge der Handbewegung des Ultraschallprüfers oder der Atembewegung des Patienten), ebenfalls eine nicht entlang der Normalen erfolgende Bewegung auf der Kontur verursacht. Es ist wünschenswert, die globale Form einer Herzinnenwand ebenso wie ihre lokale Bewegung zu verfolgen, für die Detektion von regionalen Wandbewegungs-Abnormalitäten. Diese Informationen können für die weitere Diagnose von Ischämie und Infarzierung verwendet werden. Es besteht Bedarf an einem Detektionssystem, welches anatomische Strukturen unter Verwendung von Aussehen und Form identifiziert.
In ihrer Arbeit "Rapid object detection using a boosted cascade of simple features", PROCEEDINGS 2001 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION. CVPR 2001. KAUAI, HAWAII, 8.–14. DEZ. 2001, PROCEEDINGS OF THE IEEE COMPUTER CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, LOS ALAMITOS, CA, IEEE COMP. SOC, US, Bd. 1 von 2, 8. Dezember 2001 (08.12.2001), Seiten 511–518, XP010583787 ISBN: 0-7695-1272-0", beschreiben VIOLA P. ET AL. eine Prozedur der Objekterkennung, die auf dem Wert von einfachen Merkmalen beruht, welche die Differenz zwischen den Summen der Pixel innerhalb zweier rechteckiger Bereiche sind. Die Arbeit von Viola et al. beschäftigt sich nicht direkt mit Bildintensitäten; vielmehr wird eine Anzahl von Merkmalen berechnet, die Haar-Basisfunktionen ähnlich sind. Um diese Merkmale zu berechnen, wird eine "integrale Bilddarstellung" eingeführt. Dies ermöglicht die Berechnung der Merkmale in konstanter Zeit.
Zusammenfassung der Erfindung
Die Erfindung betrifft ein Verfahren zum Detektieren eines Objekts in einem Bild, welches ungültige Datenbereiche enthält. Es wird eine Datenmaske für das Bild bestimmt, um anzugeben, welche Pixel in dem Bild gültig sind. Die Datenmaske wird als eine Integralmaske dargestellt, in welcher jedes Pixel einen Wert hat, der einer Gesamtzahl von gültigen Pixeln in dem Bild oberhalb des Pixels und links von ihm entspricht. Ein rechteckiges Merkmal wird auf das Bild angewendet, welches mindestens einen positiven Bereich und einen negativen Bereich hat. Unter Verwendung der Integralmaske wird eine Bestimmung der Anzahl der Pixel in dem rechteckigen Merkmal vorgenommen, welche gültig sind. Ein mittlerer Intensitätswert für einen Bereich, welcher ungültige Pixel enthält, wird näherungsweise bestimmt. Ein Merkmalswert für das rechteckige Merkmal wird durch Berechnen einer gewichteten Differenz zwischen einer Summe von Intensitätswerten in den positiven und negativen Bereichen des rechteckigen Merkmals bestimmt. Der Merkmalswert wird verwendet, um zu bestimmen, ob ein Objekt detektiert worden ist.
Kurzbeschreibung der Zeichnungen
Im Folgenden werden bevorzugte Ausführungsformen der vorliegenden Erfindung ausführlicher beschrieben, wobei gleiche Bezugszeichen gleiche Elemente bezeichnen und wobei auf die beigefügten Zeichnungen Bezug genommen wird:
1 zeigt eine beispielhafte Architektur eines Echokardiographiesystems, welches ein Verfahren zum Detektieren und Verfolgen der Form einer Herzinnenwand eines linken Ventrikels gemäß der vorliegenden Erfindung anwendet;
2 zeigt ein typisches echokardiographisches Bild eines Herzens;
3a–3d zeigen Beispiele von rechteckigen Merkmalen, die für schwache Klassifikatoren repräsentativ sind, gemäß der vorliegenden Erfindung;
4 zeigt ein Verfahren zur Verwendung eines Integralbildes, um eine Summe von Intensitäten für ein gegebenes Fenster zu bestimmen, gemäß der vorliegenden Erfindung;
5 zeigt ein rechteckiges Merkmal in einem Integralbild, welches teilweise verdeckt wird, gemäß der vorliegenden Erfindung;
6 zeigt eine Okklusionsmaske für das Integralbild von 5 gemäß der vorliegenden Erfindung;
7a und 7b zeigen die Beziehung von H_i-1 und H_i-1 ^* gemäß der vorliegenden Erfindung;
8 zeigt eine schematische Darstellung einer verstärkten Kaskade mit Speichermethode gemäß der vorliegenden Erfindung;
9 zeigt ein System für die Detektion der endokardialen Grenze des linken Ventrikels gemäß der vorliegenden Erfindung;
10 zeigt ein System zum Detektieren eines Tumors in einem dreidimensionalen Datenvolumen gemäß der vorliegenden Erfindung;
11 zeigt eine invariante Mannigfaltigkeit für die Formanpassung gemäß der vorliegenden Erfindung;
12a und 12b zeigen eine Formanpassung gemäß der vorliegenden Erfindung; und
13 zeigt die Unsicherheits-Fortpflanzung während der Formdetektion und -verfolgung gemäß der vorliegenden Erfindung.
Ausführliche Beschreibung
Die vorliegende Erfindung betrifft ein Verfahren zum Detektieren und Identifizieren von anatomischen Strukturen. Ein Beispiel, wofür ein solches Verfahren angewendet werden könnte, ist das Detektieren von regionalen Abnormalitäten der Wandbewegung im Herzen durch Detektion und Segmentierung der endokardialen oder epikardialen Grenzen des Ventrikels mittels Maschinenlernen, oder Klassifizierung, und durch Identifizieren ähnlicher Fälle aus annotierten Datenbanken. Für Fachleute dürfte klar sein, dass die vorliegende Erfindung auch bei anderen Anwendungen verwendet werden kann, bei denen Formerkennung und Identifizieren von Formen nützlich sind, wie etwa, jedoch nicht ausschließlich, beim Erkennen von Personenmerkmalen wie etwa Gesichtsmerkmalen oder anderen Körpermerkmalen. Die vorliegende Erfindung kann auch bei einer 2-dimensionalen, 3-dimensionalen oder 4-dimensionalen (3D + Zeit) Datenanalyse angewendet werden, wie bei der medizinischen Analyse anatomischer Strukturen wie etwa von Herz, Lunge oder Tumoren, welche sich im Laufe der Zeit verändern können.
Für die Zwecke der Beschreibung der vorliegenden Erfindung wird ein Beispiel beschrieben, welches das Detektieren (Erkennen) der Herzinnenwand des linken Ventrikels eines menschlichen Herzens betrifft. 1 zeigt eine beispielhafte Architektur eines Echokardiographiesystems, welches ein Verfahren zum Detektieren einer Herzinnenwand eines linken Ventrikels unter Verwendung von Form und Aussehen gemäß der vorliegenden Erfindung anwendet. Ein medizinischer Sensor 102 wie etwa ein Ultraschall-Messwandler wird verwendet, um eine Untersuchung an einem Patienten durchzuführen. Der Sensor 102 wird verwendet, um medizinische Messwerte zu erhalten, die mit einer bestimmten medizinischen Untersuchung konsistent sind. Zum Beispiel kann bei einem Patienten, bei dem Herzprobleme auftreten, ein Echokardiogramm durchgeführt werden, um zu helfen, die konkrete Herzerkrankung zu diagnostizieren. Ein Ultraschallsystem liefert zwei-, drei- und vier-(3D + Zeit)dimensionale Bilder des Herzens aus unterschiedlichen Perspektiven.
Die mittels des Sensors 102 erhaltenen Informationen werden zu einem Prozessor 104 übermittelt, welcher eine Workstation oder ein Personalcomputer sein kann. Der Prozessor 104 wandelt die Sensordaten in ein Bild um, welches zu einer Anzeigevorrichtung 108 übertragen wird. Die Anzeigevorrichtung 108 kann auch andere graphische Informationen oder Tabellen von Informationen übermitteln, welche das Bild betreffen. Gemäß der vorliegenden Erfindung werden dem Prozessor 104 außerdem Daten zur Verfügung gestellt, welche eine Anfangskontur der Herzinnenwand repräsentieren. Die Daten können manuell durch einen Benutzer wie etwa einen Arzt oder Ultraschallprüfer zur Verfügung gestellt werden, oder automatisch durch den Prozessor 104. Die Kontur umfasst eine Reihe von einzelnen Punkten, deren Bewegung von dem Prozessor 104 verfolgt wird und auf der Anzeigevorrichtung 108 angezeigt wird.
Zusätzlich zu Daten von dem medizinischen Sensor 102 kann der Prozessor 104 auch andere Dateneingaben empfangen. Zum Beispiel kann der Prozessor Daten aus einer Datenbank 106 empfangen, die mit dem Prozessor 104 gekoppelt ist. Solche Daten können Unterraum-Modelle beinhalten, welche potentielle Konturformen für die Herzinnenwand repräsentieren. Diese Unterraum-Modelle können Bilder von linken Ventrikeln sein, welche für eine Vielzahl von Patienten repräsentativ sind, oder es können mittels Computer generierte Modelle von Konturformen sein, die auf statistischen Informationen beruhen. Der Prozessor 104 verfolgt die einzelnen Punkte der Konturform unter Verwendung bekannter Vorgehensweisen, wie etwa Bayessches Kernel-Matching oder auf dem optischen Fluss beruhende Verfahren. Eine Fehlerakkumulation während des Verfolgens wird verhindert, indem ein adaptives Multi-Template-Matching-System (Mehrfach-Muster-Identifizierungssystem) verwendet wird. Die Unsicherheit der Verfolgung wird in jedem Punkt in Form einer Kovarianzmatrix dargestellt, welche anschließend vollständig durch eine Unterraumform-Nebenbedingung unter Verwendung einer nichtorthogonalen Projektion ausgewertet wird.
2 zeigt ein typisches echokardiographisches Bild eines Herzens. Der Teil der Herzinnenwand des linken Ventrikels, welcher einen akustischer "Aussetzer" aufweist, ist durch die als Volllinie dargestellte Ellipse 208 gekennzeichnet. Schätzungen der lokalen Wandbewegung sind durch die gepunkteten Ellipsen 202, 204 dargestellt. Aufgrund des akustischen "Aussetzers" befindet sich die Herzinnenwand nicht immer am stärksten Rand in dem Bild. Ein charakteristisches Merkmal des echokardiographischen Bildes ist die Fächerform des Bildes, die durch gepunktete Linien 210, 212 bezeichnet ist. Der Bereich außerhalb des Fächers enthält keine Nutzdaten.
Viele Detektionsverfahren verwenden das Boosting (Verstärkung) schwacher Klassifikatoren oder Merkmale, um ein Objekt in einem Bild zu detektieren. Durch Kombinieren der Antwort einer ausgewählten Anzahl schwacher Klassifikatoren durch Boosting ist ein resultierender starker Klassifikator in der Lage, hohe Detektionsraten zu erreichen. Die bekannten Verfahren lösen jedoch nicht das Problem des Detektierens eines Objekts bei Vorhandensein von anderen, verdeckenden Objekten (z. B. der Daten außerhalb des Fächers). Die fehlerbehaftete Antwort eines schwachen Klassifikators infolge von Okklusion (Verdeckung) beeinflusst die Detektion eines Objekts negativ.
Gemäß einem Aspekt der vorliegenden Erfindung wird nun ein Verfahren zur Beseitigung des Einflusses bekannter Okklusionen während der Objekterkennung beschrieben. Zum Beispiel kann ein echokardiographisches Bild auf eine solche Weise verarbeitet werden, dass die Bilddaten außerhalb des Fächers (d. h. die nicht nützlichen oder ungültigen Daten) nicht berücksichtigt werden. Anders ausgedrückt, die außerhalb des Fächers befindlichen Daten werden als eine Okklusion behandelt.
Einfache Merkmale, die mit dem Bild eines Objekts verknüpft sind, werden als schwache Klassifikatoren identifiziert. Beispiele solcher Merkmale sind die rechteckigen Merkmale, die in 3a–3d dargestellt sind. Der Wert jedes rechteckigen Merkmals ist die Differenz zwischen den Summen der Pixelintensitäten in den weißen (auch als positiv bezeichneten) Bereichen und den grauen (auch als negativ bezeichneten) Bereichen jedes Rechtecks. Bei dem in 3a dargestellten rechteckigen Merkmal ist der negative Bereich 302, und der positive Bereich ist 304. Bei dem in 3b dargestellten rechteckigen Merkmal ist der negative Bereich 308, und der positive Bereich ist 306. Bei dem in 3c dargestellten rechteckigen Merkmal sind die negativen Bereiche 312 und 314, und die positiven Bereiche sind 310 und 316. Bei dem in 3d dargestellten rechteckigen Merkmal ist der negative Bereich 320, und die positiven Bereiche sind 318 und 322.
Rechteckige Merkmale liefern eine übervollständige Basis für einen Grundbereich. Wenn zum Beispiel das Rechteck eine Größe von 24×24 Pixeln hat, beträgt die Anzahl der Merkmale 180.000. Einer der Vorteile rechteckiger Merkmale ist die Rechengeschwindigkeit. Durch Verwendung einer unter der Bezeichnung Integralbild (Integral Image, II) bekannten Zwischendarstellung, die in 4 dargestellt ist, kann ein Merkmalswert mit einer kleinen festen Anzahl von Operationen berechnet werden.
Das II für ein Eingabebild (z. B. ein echokardiographisches Bild eines linken Ventrikels) wird vor der Berechnung rechteckiger Merkmale im Voraus berechnet. Für jedes Pixel (x, y) in dem II wird ein Intensitätswert bestimmt. Diese Intensitätswerte werden in der Datenbank 106 (1) gespeichert. Nachdem das II für das Eingabebild berechnet worden ist, vereinfachen sich alle weiteren Berechnungen erheblich. Für jedes Pixel an einer Position (x₀, y₀) in dem Eingabebild kann ein Intensitätswert berechnet werden, indem die Summe der Intensitäten aller Pixel bestimmt wird, welche sich oberhalb und links von der Position (x₀, y₀) befinden. Anders ausgedrückt, es kann eine Teilmenge des II bei II (x₀, y₀) wie folgt bestimmt werden:
wobei I(x, y) die Intensität des Pixels an der Position (x, y) ist.
3 zeigt, wie die Berechnung des Intensitätswertes für das II bei dem rechteckigen Merkmal R_f erfolgt. Es wird ein II an der Position 408 berechnet, welches gleich der Fläche innerhalb der Volllinie 410 ist. Ein anderer Weg, um das II an der Position 408 zu definieren, ist die Summe der Intensitätswerte für die Rechtecke (A + B + C + R_f). Um die Summe für R_f zu erhalten, müssen zusätzliche Berechnungen ausgeführt werden. Das II für die Position 406 liefert die Summe für die durch die Linie 412 definierte Fläche, welche gleich der Summe der Intensitätswerte für die Rechtecke (A + C) ist. Durch Subtrahieren des II für die Position 406 von dem II für die Position 408 ergibt sich das II' für die Rechtecke (B + R_f). Anschließend wird das II für die Position 404 berechnet, welches die Summe für die durch (A + B) definierte Fläche liefert. Durch Subtrahieren des II für die Position 404 von II' erhält man das II'' für die Rechtecke (–A + R_f). Schließlich wird das II für die Position 402 zu II'' addiert, was die Summe für R_f liefert.
Jedoch liefern in dem Falle, wenn Pixel in R_f Okklusionen aufweisen, die Intensitätswerte für diese Pixel ungültige Werte, welche letzten Endes zu einer falschen Schätzung für das rechteckige Merkmal führen. 5 zeigt ein Beispiel eines Integralbildes 502, welches eine Okklusion 504 enthält. Ein rechteckiges Merkmal 506 ist an einer Stelle angeordnet, welche einen Teil der Okklusion 504 enthält.
Gemäß der vorliegenden Erfindung wird eine Okklusionsmaske verwendet, um den Beitrag der in dem rechteckigen Merkmal enthaltenen Pixel zu eliminieren, welche verdeckt sind. Ein Beispiel einer Okklusionsmaske für das II von 5 ist in 6 dargestellt. Die Okklusionsmaske kann verwendet werden, wenn Bilder in gesteuerten Umgebungen aufgenommen werden, oder sie kann aus den Daten abgeleitet werden. Zum Beispiel ist bei Überwachungsanwendungen der statische Hintergrund bekannt (z. B. die Position von Türen, Wänden, Möbeln usw.). Die Wahrscheinlichkeit, dass Objekte im Hintergrund Okklusionen verursachen, kann bestimmt und verwendet werden, um die Okklusionsmaske zu erzeugen. Ein anderes Beispiel ist ein Ultraschallbild. In einem Ultraschallbild ist die Position des Fächers entweder durch die Ultraschallmaschine gegeben, oder sie kann berechnet werden; zum Beispiel kann eine Analyse von zeitlichen Änderungen statische ungültige Bereiche liefern. Nachdem der Fächer identifiziert worden ist, kann eine Okklusionsmaske erzeugt werden, um das Vorhandensein des Fächers in II Berechnungen wirksam auszuschließen oder zu annullieren.
Indem der Intensitätswert für verdeckte oder aus anderen Gründen ungültige Pixel auf null gesetzt wird, wird die Summe der Intensitätswerte für das Rechteck nicht mehr durch falsche Werte beeinflusst. Da jedoch nun Daten "fehlen", ist die Summe unausgewogen. Wenn keine fehlenden Werte vorhanden sind, ist die Rechtecksumme proportional zum mittleren Intensitätswert für das Rechteck. Daher wird, um die fehlenden Werte zu kompensieren, der Mittelwert approximiert, indem die Anzahl der Pixel verwendet wird, die gültige Intensitätswerte haben, wenn die Okklusion vorhanden ist. Die Anzahl gültiger Pixel kann ermittelt werden, indem zuerst eine äquivalente Abbildung oder Okklusionsmaske berechnet wird.
Die Okklusionsmaske M beinhaltet Boolesche Werte, wobei gültigen Pixeln ein Wert 1 zugewiesen ist und ungültigen oder verdeckten Pixeln ein Wert 0 zugewiesen ist. Eine Integralmaske kann unter Verwendung der Anzahl gültiger Pixel oberhalb und links von der aktuellen Position (x₀, y₀) wie folgt berechnet werden:
In ähnlicher Weise wie das II von Gleichung (1) kann die Anzahl gültiger Pixel in einem Rechteck aus der Integralmaske mittels derselben Anzahl von Operationen wie oben beschrieben berechnet werden.
Der äquivalente Merkmalswert für das rechteckige Merkmal 506 wird als eine gewichtete Differenz zwischen der Summe der Intensitäten in dem positiven und negativen Bildbereich berechnet. Wenn R₊ den Bereich bezeichnet, wo die Pixelintensitäten mit einem positiven Wert beitragen, und R_– den Bereich bezeichnet, wo die Pixelintensitäten mit einem negativen Wert beitragen, beträgt der Merkmalswert f:
wobei n_–, n₊ die Anzahl gültiger Pixel für den negativen bzw. positiven Bereich bezeichnet, die jeweils N Pixel enthalten. Wenn sowohl n_– als auch n₊ von null verschieden sind, wird der endgültige Merkmalswert mittels N/(n_–n₊) normiert. Durch Verwendung der Okklusionsmaske zum Berechnen des Integralbildes für das rechteckige Merkmal werden genauere Ergebnisse erhalten, welche eine bessere Objekterkennung zur Folge haben.
Aufgrund der großen Anzahl von Merkmalen oder Komponenten, welche für die Detektion von Objekten berechnet werden müssen, insbesondere im Falle von komplizierten Objekten wie etwa Gesichtern oder anatomischen Strukturen, werden Tools verwendet, um den erforderlichen Rechenaufwand zu reduzieren, wobei nach wie vor genaue Ergebnisse erhalten werden. Ein solches Tool, welches gewöhnlich verwendet wird, ist Boosting (Verstärkung). Im Allgemeinen identifiziert Boosting eine Vielzahl von schwachen Klassifikatoren oder Merkmalen. Für jeden schwachen Klassifikator kann ein Wert berechnet werden, welcher dann mit einem vorgegebenen Schwellwert verglichen wird. Wenn der Wert für den schwachen Klassifikator über dem Schwellwert liegt, wird der Klassifikator beibehalten. Wenn der Wert für den schwachen Klassifikator unter dem Schwellwert liegt, wird der Klassifikator zurückgewiesen. Durch Bilden einer gewichteten Summe aller Werte für die schwachen Klassifikatoren, welche den Schwellwert überschritten haben, kann ein starker Klassifikator resultieren, welcher bei der Objekterkennung verwendet werden kann.
Eine Variante des Boosting ist eine verstärkte Kaskade (Boosted Cascade). Bei dieser Methode werden Klassifikatoren priorisiert. Ein erster Klassifikator wird für ein Fenster berechnet, und wenn er den Schwellwert nicht erreicht, wird das Fenster in eine andere Position bewegt. Nur diejenigen Positionen werden festgehalten, in welchen die Klassifikatoren, welche berechnet werden, den Schwellwert überschreiten. Der Schwellwert wird normalerweise auf einen mäßig hohen Wert gesetzt, um einen großzügigen Fehlerbereich zuzulassen. Durch die Verringerung der Anzahl der Positionen, an denen Berechnungen ausgeführt werden, ist das Verfahren effizient. Bei diesen Verfahren werden jedoch die Ausgänge vorhergehender Klassifikatoren verworfen. Das Training für die nächste Stufe beginnt mit gleichmäßiger Gewichtung auf der neuen Menge von Beispielen.
Gemäß der vorliegenden Erfindung werden die Werte für jeden berechneten Klassifikator aufbewahrt und bei der Berechnung zukünftiger Klassifikatoren verwendet, um die Klassifikator-Berechnungen auf späteren Stufen zu stärken. Ein intermediärer starker Klassifikator H_i-1 wird direkt aus der vorhergehenden Stufe der Kaskade verwendet, indem ein neuer Schwellwert T_i ^* und die zugehörige Parität p_i ^* über der neuen Trainingsmenge für die aktuelle Stufe eingestellt werden, wie in den 7a und 7b dargestellt. Die Trainingsbeispiele werden dann vor dem Training auf der Basis der Rohmerkmale mittels der Fehler eines neuen Klassifikators H_i-1 ^* gewichtet. Der starke Klassifikator für die aktuelle Stufe ist eine gewichtete Summe von H_i-1 ^* und den ausgewählten Einzelmerkmal-Klassifikatoren. Während der Detektion wird der Klassifikator-Ausgang von der vorhergehenden Stufe, anstatt verworfen zu werden, unter Verwendung des Schwellwertes T_i ^* und der zugehörigen Parität p_i ^* klassiert und entsprechend seinen Fehlern gewichtet, und zu der gewichteten Summe von Ausgängen von den schwachen Einzelmerkmal-Klassifikatoren der aktuellen Stufe addiert.
Ein allgemeiner Trainingsalgorithmus "verstärkte Kaskade mit Speicher" (Boosted Cascade with Memory, BCM) kann wie folgt beschrieben werden:

• Der Anfangs-Kaskaden-Klassifikator im Speicher: H₀ ^* = NULL; mit Fehler ε = ∞.
• P = Menge von positiven Beispielen, N = Menge von negativen Beispielen;
• i = 0; Durchlaufe Schleife durch die Stufen i der Kaskade: i++; Verwende P und N, um einen Klassifikator H_i mit H_i-1 ^* und einer gewissen Anzahl von zusätzlichen Merkmalen unter Verwendung von AdaBoost zu trainieren, so dass die geforderte Rate der falsch positiven Erkennung (False positive detection rate) und die Rate der falsch negativen Erkennung (False negative detection rate) erfüllt sind; Rekonstruiere die Trainingsmenge, P➔ P* und N➔ N*, unter Verwendung der falsch positiven von H_i als die negativen Beispiele, und korrigiere die positive Menge, falls erforderlich; Trainiere H_i erneut: Modifiziere H_i (z. B. durch Auswählen eines optimalen Schwellwerts T_i ^* und einer Parität p_i ^*), um seinen Klassifikationsfehler auf den neuen Trainingsdaten P* und N* zu minimieren. Lege das resultierende H_i ^* und seine Ausgänge im Speicher ab.

In dem obigen Algorithmus wird angenommen, dass, wenn H_i-1 ^* verwendet wird, es das erste sein wird. H_i-1 ^* kann auch in der Mitte anderer schwacher Einzelmerkmal-Klassifikatoren verwendet werden. Alles, was geändert werden muss, ist, dass der neue Schwellwert und die neue Parität während des Trainings der aktuellen Stufe gelernt werden, anstatt am Ende der vorhergehenden Stufe.
Die Ermittlung von H_i kann unter Verwendung entweder der aktuellen Trainingsmenge oder einer vollständig repräsentativen Validierungsmenge erfolgen. Im ersteren Falle wird nur H_i verwendet, und das Ziel besteht darin, den Leistungszielwert der aktuellen Stufe (beispielsweise 95% pro Stufe) zu erreichen; während im letzteren Falle der Gesamt-Kaskaden-Klassifikator verwendet werden sollte und das Ziel das zusammengesetzte Leistungsziel bis einschließlich zur aktuellen Stufe i ist (beispielsweise 0,951).
Ein weiteres Beispiel eines Algorithmus der verstärkten Kaskade mit Speicher (Boosted Cascade with Memory) ist nachfolgend angegeben.

• Benutzer wählt Werte für f, die maximale zulässige Falsch-Positiv-Rate pro Schicht, und d, die minimale zulässige Detektionsrate pro Schicht.
• Der Benutzer wählt den Zielwert der Gesamt-Falsch-Positiv-Rate F_Ziel
• P = Menge der positiven Beispiele, N = Menge der negativen Beispiele
• F₀ = 1.0; D₀ = 1.0; i = 0;
• Der Anfangs-Kaskaden-Klassifikator im Speicher: H₀ ^* = NULL; Solange F_i > F_Ziel i++ n_i = 0; F_i = F_i-1 solange F_i > f × F_i-1
• n_i++
• Verwende P und N, um einen Klassifikator H_i mit H_i-1 ^* und n_i zusätzlichen Merkmalen unter Verwendung von AdaBoost zu trainieren (Wenn i > 1, ist H_i-1 ^* bereits trainiert worden, wobei die Ergebnisse im Speicher gespeichert wurden; falls es stärker ist als die Merkmale, wähle H_i-1 ^* als einen schwachen Klassifikator für Stufe i. Verwende die Fehler von H_i-1 ^*, um die Gewichte an den Trainingsbeispielen zu aktualisieren, für die Auswahl verbleibender schwacher Klassifikatoren auf der Basis der Merkmale.)
• Ermittle aktuellen kaskadierten Klassifikator H_i auf Validierungsmenge, um F_i und D_i zu bestimmen
• Verkleinere Schwellwert (T_i) für den i-ten Klassifikator H_i, bis der aktuelle kaskadierte Klassifikator eine Detektionsrate von mindestens d × D_i-1 hat (dies beeinflusst auch F_i) N = ∅ Falls F_i > F_Ziel dann ermittle den aktuellen kaskadierten Detektor H_i auf der Menge von Nicht-Gesichtsbildern und füge eventuelle falsche Detektionen in die Menge N ein. Trainiere H_i erneut: Wähle einen zweiten optimalen Schwellwert T_i ^* und eine Parität p_i ^* für H_i, um seinen Klassifikationsfehler auf den neuen Trainingsdaten P und N zu minimieren; lege das resultierende H_i ^* und seine Ausgänge im Speicher ab.

Im BCM-System verwendet der Detektionsprozess die folgenden intermediären starken Klassifikatoren für jede Stufe der Kaskade:

Stufe 1 – H₁: α₁ h₁ + α₂ h₂ + ... α_n1 h_n1
Stufe 2 – H₂: α_H1 p₁ ^* (H₁ – T₁ ^*) + (α_n1+1 h_n1+1 + α_n1+2 h_n1+2 + ... α_n1+n2 h_n1+n2) ...

Da H_i bereits in der vorhergehenden Stufe ermittelt worden ist, ist die hinzugefügte Berechnung nur eine Subtraktion und eine Multiplikation für jede zusätzliche Stufe, welche das aktuelle Testmuster durchläuft, wie in 8 dargestellt. Für jeden zusätzlichen Klassifikator, welcher betrachtet wird, werden die zu den zuvor berechneten Klassifikatoren gehörigen Werte berücksichtigt und mit dem Wert für den zusätzlichen Wert integriert. Der resultierende Wert wird dann mit einem Schwellwert verglichen. Das Endergebnis ist ein Wert, welcher eine genauere Angabe der Objekterkennung liefert.
Nachdem ein Objekt potentiell detektiert worden ist, können weitere Verarbeitungstechniken angewendet werden, um zusätzliche Informationen über das Bild zu erhalten. Gemäß einem anderen Aspekt der vorliegenden Erfindung kann die gemeinsame Verwendung von Aussehen und Form auf der Basis einer Menge von Trainingsbildern angewendet werden, um Objektformen oder anatomische Strukturen in Testbildern zu identifizieren und zu detektieren. Das Aussehen wird für die Lokalisierung des Objekts oder der Struktur in dem Testbild verwendet. Danach wird eine Identifizierungsmethode angewendet, um ähnliche Fälle aus positiven Trainings-Datenmengen zu finden und die Form- oder Strukturdetails für den detektierten Kandidaten zur Verfügung zu stellen. Die Detektion, Lokalisierung und Identifizierung kann auf eine hierarchische Art und Weise erfolgen, um genauere Ergebnisse zu erzielen. Die Identifizierungsmethode benutzt Merkmale, die während des Detektionsprozesses gelernt wurden, um Rechenzeit einzusparen und die Leistungsfähigkeit der Identifizierung zu erhöhen.
Gemäß der vorliegenden Erfindung umfasst ein allgemeines System zur Detektion eines Objekts oder einer anatomischen Struktur und zur Formwiederherstellung (Shape Recovery) drei Stufen: eine Offline-Trainingsstufe, eine Online-Detektionsstufe sowie eine Identifikationsstufe.
In der Offline-Trainingsstufe werden positive Trainingsbeispiele als eine Trainings-Datenmenge gespeichert. Zum Beispiel würde im Falle von Echokardiographie die Trainingsmenge Bilder des linken Ventrikels des menschlichen Herzens umfassen. Die Trainingsmenge würde eine umfassende Menge von Beispielen von verschieden geformten linken Ventrikeln enthalten, ebenso wie Beispiele von abnormalen Ventrikeln. Vorzugsweise sind die Bilder in der Trainingsmenge unter optimalen Bedingungen dargestellt (z. B. das linke Ventrikel ist in dem Bild zentriert; das Bild ist normiert, um die Effekte von Größe und Drehung zu eliminieren, usw.). Während der Trainingsstufe werden beide Boosting-Algorithmen auf die Bilder angewendet. Die von diesen Anwendungen erhaltenen Daten werden zusammen mit den Trainingsdaten gespeichert und können Merkmalsvektoren enthalten, die schwache Klassifikator-Ausgänge anzeigen.
Alle positiven Trainingsbeispiele werden verarbeitet, um invariante Eigenschaften aufrechtzuerhalten. Zum Beispiel sind Gesamttranslation, Rotation und Maßstab invariante Transformationen für ein linkes Ventrikel eines menschlichen Herzens. Die Ausrichtung positiver Daten beeinflusst direkt die Konstruktion des Detektors, das heißt, jede Ausrichtungsachse muss während der Detektion gedehnt (expandiert) werden. Anders ausgedrückt, wenn zum Beispiel Drehungen in den Trainingsdaten annulliert sind, muss der Detektor während der Rotation mehrere Drehungen suchen. Bei abgeglichenen Trainingsdaten gibt ein Lernalgorithmus ausgewählte Merkmale und die entsprechende Entscheidungsfunktion für positive/negative Klassifizierung aus. Gemäß der vorliegenden Erfindung können sämtliche Trainingsdaten transformiert werden (z. B. Skalierung und Drehung), um transformierte Detektoren zu trainieren.
Sämtliche Merkmale für die Trainingsdaten, einschließlich der transformierten Trainingsdaten, werden in der Datenbank 106 gespeichert (1). Außerdem werden Merkmalsvektoren für jedes positive Datenbild berechnet, welche schwache Klassifikator-Ausgänge und ihre zugehörigen Gewichte enthalten. Jeder schwache Klassifikator repräsentiert eine mit dem Objekt verknüpfte Komponente. Die Merkmalsvektoren für die positiven Daten können später mit Merkmalsvektoren verglichen werden, die für das Testbild berechnet wurden, um positive Daten identifizieren zu helfen, welche ähnliche charakteristische Eigenschaften haben. Positionspunkte, welche Punkten entlang der Kontur des Objekts für jedes positive Datenbild entsprechen, werden ebenfalls gespeichert und in der Formidentifikationsstufe verwendet.
In der Online-Detektionsstufe wird ein Abtastschema für das Bild oder Datenvolumen angewendet, durch Translation, Drehen und/oder Skalieren eines Fensters oder Würfels innerhalb des zu prüfenden Bildes oder Datenvolumens, um als Kandidaten in Frage kommende Daten-Patches zu liefern. Für jeden Kandidaten werden Position, Maßstab und/oder Drehung des Objekts entweder während oder nach dem gesamten Abtastprozess erreicht. In manchen Fällen ist das Anwenden mehrerer transformierter Detektoren schneller als das Transformieren des Kandidaten. Ein auf Boosting beruhender Detektor kann verwendet werden, um die Position des Objekts oder Kandidaten in dem Bild anzugeben.
In der Formidentifikationsstufe werden diejenigen Kandidaten, welche Objekte ("Gewinner-Kandidaten") zu enthalten scheinen, identifiziert. Auf diese Kandidaten wird ein Ähnlichkeits-Identifikationsalgorithmus angewendet, um aus entsprechenden Trainings-Datensätzen nächste Nachbarn abzurufen und ihre zugehörige Form auf die Kandidaten anzuwenden. Zur Formidentifizierung wird ein Merkmalsvektor verwendet, welcher auf den schwachen Klassifikator-Ausgängen h_i und ihren zugehörigen Gewichten α_i beruht. Die Identifizierung (Matching) erfolgt unter Verwendung einer Abstandsmetrik in dem folgenden Raum: {α₁ h₁, α₂ h₂, ..., α_k h_k}, wobei K die Anzahl schwacher Klassifikatormerkmale ist. Es kann auch ein anderer Merkmalsraum verwendet werden. Der Formidentifizierungs-Algorithmus sucht nach einem "Gegenstück"-Merkmalsvektor, welcher mit einem oder mehreren der Bilder in den Trainingsdaten verknüpft ist. Nachdem eine Übereinstimmung erhalten worden ist, können die Daten von dem zugehörigen identifizierten Bild in der Trainingsmenge verwendet werden, um Einzelheiten im Hinblick auf die Form und Struktur des Objekts zur Verfügung zu stellen.
Es wird nun ein Beispiel unter Verwendung von zweidimensionalen (2D) Daten beschrieben. Für Fachleute ist klar, dass mittels der vorliegenden Erfindung auch dreidimensionale (3D) Daten und vierdimensionale (3D + Zeit) Daten verarbeitet werden können. 9 zeigt ein beispielhaftes System zur Detektion der endokardialen Grenze des linken Ventrikels (LV) auf der Basis des Lernens und Identifizierens unter Verwendung eines annotierten Datensatzes von LV-Frames, mit den ursprünglichen Bildern und aufgespürten endokardialen Grenzen.
Dieses System erstellt zuerst eine Datenbank von miteinander abgeglichenen (in Bezug auf Translation, Maßstab und Rotation) LV Patches, deren Grenzen annotiert sind, in Form von zum Beispiel einer geordneten Menge von Orientierungs- oder Steuerungspunkten. Ein Detektionsalgorithmus wird unter Verwendung dieser Menge von Beispielen und anderer negativer Patches entwickelt und trainiert. Zum Beispiel kann ein auf Boosting beruhender Algorithmus zur Auswahl von Merkmalen und Konstruktion von Klassifikatoren verwendet werden. Für sämtliche Beispiele werden Merkmalsvektoren berechnet.
Dieses System verwendet dann einen "gelernten" Detektionsalgorithmus für die Lokalisierung des LV. Der (die) detektierten Kandidat(en) ist (sind) ein lokales Patch (lokale Patches), der (die) ein LV mit seiner richtigen Größe und Drehung enthält (enthalten). (Die Größe und Drehung werden bestimmt, indem das Bild bei mehreren möglichen Maßstäben und Drehungen abgetastet wird.)
Schließlich werden Merkmalsvektoren aus dem detektierten Kandidaten extrahiert und mit der Datenbank verglichen, um einen oder mehrere nächste Nachbarn zu finden. Ihre Konturen werden dann kombiniert, zum Beispiel unter Verwendung einer gewichteten Summe, wobei die Gewichte umgekehrt proportional zu ihren Matching-Abständen von dem detektierten Patch sind, um die Konturen für das detektierte Kandidaten-Patch zu bilden. Ein möglicher Merkmalstyp wären die Bildintensitäten innerhalb des Patches, mit oder ohne Unterabtastung. Zu weiteren Faktoren gehören die schwachen Klassifikator-Ausgänge, mit oder ohne Gewichtungsfaktoren. Man kann auch Hauptkomponentenanalyse anwenden, um eine Teilmenge solcher Merkmale auszuwählen.
10 zeigt ein Beispiel der Tumordetektion in einem dreidimensionalen Datenvolumen. Das Verfahren ist dem oben beschriebenen ähnlich, mit dem Unterschied, dass 3D Nachbarschaften, 3D Merkmale und 3D Abtastung verwendet werden, um eine Übereinstimmung zu detektieren.
Nachdem ein Objekt detektiert und in Form und Aussehen identifiziert worden ist, kann dann die Form des Objekts über die Zeit verfolgt werden. Eine solche Verfolgung ist in der Echokardiographie wegen der rhythmischen Bewegung des Herzmuskels wichtig. Die Messunsicherheit spielt während der Formverfolgung eine wichtige Rolle. Gemäß der vorliegenden Erfindung werden einzeln trainierte Komponentendetektoren auf ein Bild angewendet, um relativ stabile lokale Erscheinungsbilder auszuwerten, während globale Formmodelle verwendet werden, um den Prozess der Fusion (Verschmelzung) von Komponenten einzuschränken. Im Folgenden wird ein vereinheitlichtes System zur optimalen Fusion von Unsicherheiten aus lokaler Detektion, Bewegungsdynamik und Unterraum-Formmodellierung während der automatischen Formdetektion und -verfolgung beschrieben. Verstärkte Komponenten-Detektoren werden für die Lokalisierung der Grenze des linken Ventrikels in Echokardiographie-Sequenzen verwendet.
Wenn die Detektion einer Kandidaten-Vorform gegeben ist, die mit N(x, C_x) bezeichnet ist, eine mehrdimensionale Gaußsche Verteilung mit Mittelwert x und Kovarianz C_x, besteht der erste Schritt darin, unter den Stichproben-Vorformen x⁰ diejenige zu finden, für welche die Wahrscheinlichkeit maximal ist, dass sie zusammen von N(x, C_x), dem Formmodell N(m, C_m) und der vorhergesagten Form N(x_–, C_x–) aus dem vorhergehenden Schritt erzeugt wird, bei einer optimalen invarianten Transformation. Eine äquivalente Formulierung ist, x^* zu finden, so dass die Summe der Mahalanobis-Distanzen in dem Vorformen-Raum und dem Raum der transformierten Formen minimiert wird, d. h.
d2 = (xo' – m)TCm –1(xo – m) + (xo – x)TCx –1 (xo – x) + (xo – x–)TCx– –1(xo – x–), (5)wobei x^o' = T(x^o) und T die invariante Transformation ist.
Bei mehreren Kandidaten-Vorformen wird zum Entscheidungszeitpunkt diejenige genommen, welche die höchste Wahrscheinlichkeit erzeugt, wobei auch der Wahrscheinlichkeitswert in der Detektions-Abbildung berücksichtigt wird. Die Gleichung (5) erfordert die gleichzeitige Optimierung über die Position und die Transformation und hat keine in geschlossener Form darstellbare Lösung, nicht einmal für einfache Transformationen wie etwa die Ähnlichkeitstransformation, welche nur Translation, Drehung und Skalierung gestattet. Das globale Optimum kann numerisch durch Iterationen gesucht werden, doch die Berechnung kann zu aufwendig sein.
Die Schwierigkeit wird dadurch verursacht, dass die Mannigfaltigkeit (d. h. die Form), die von einer beliebigen Vorform durch alle möglichen Transformationen aufgespannt wird, nicht den Form-Unterraum im Allgemeinen schneidet, insbesondere wenn die Dimension des Unterraums relativ klein ist. Bei der vorliegenden Erfindung hat der Form-Unterraum Dimensionen von 6 bis 12, während der vollständige Euklidische Raum Dimensionen ≥ 34 hat. 11 zeigt eine invariante Mannigfaltigkeit für die Formanpassung, welche diesen Zusammenhang konzeptuell aufzeigt, wobei die dick gezeichnete Kurve 1102 die von einem Vorform-Vektor X aufgespannte Mannigfaltigkeit darstellt und die geneigte Achse 1104 und eine eindimensionale Gaußsche Verteilung 1106 das Unterraum-Modell darstellen. Im Allgemeinen wird die Mannigfaltigkeit nicht den Formmodell-Unterraum (d. h. die geneigte Achse 1104, die das Zentroid M des Modells enthält) schneiden. Die Prädiktion (Vorhersage) ist hier weggelassen, bzw. man kann X als das Ergebnis der Fusion der Detektion und der Prädiktion betrachten. Die vorliegende Erfindung ist auf ein zwei Schritte umfassendes Optimierungsschema als die Gesamtlösung ausgerichtet, mit in geschlossener Form darstellbaren Lösungen für beide Schritte. Dieses Schema kann unter Bezugnahme auf 11 leicht erläutert werden: Der erste Schritt besteht darin, von X zu X^* zu gehen, oder anders ausgedrückt, die optimale Transformation von X zu M zu finden, unter Verwendung von Informationen in C_x. Der zweite Schritt besteht darin, von X^* zu X^M zu gehen, unter Verwendung zusätzlicher Informationen aus C^M. Der erste Schritt wird als der Anpassungsschritt (Alignment-Schritt) bezeichnet, und der zweite Schritt wird als der Einschränkungsschritt (Constraining-Schritt) bezeichnet.
Das Ziel des Anpassungsschrittes ist es, Komponenten-Unsicherheiten während der Transformation der Vorform und ihre Kovarianzmatrix zu dem Modell hin zu berücksichtigen. Zuerst wird d² wie folgt minimiert: d2 = (m – x')TC'x –1(m – x) (6)wobei x' = T(x) und C^' _x = T(C_x). Um die Bezeichnungen zu vereinfachen, wird angenommen, dass die Prädiktion N(x_–, C_x–) in N(x, C_x) "eingeschmolzen" worden ist.
Wenn T die Ähnlichkeitstransformation ist, haben wir: x' = Rx + t, (7)wobei t der Translationsvektor mit zwei freien Parametern ist und R eine Blockdiagonalmatrix ist, wobei jeder Block die folgende Form hat:
Mittels einfacher algebraischer Umformungen können wird Gleichung (6) wie folgt umschreiben: d2 = (R–1(m – t) – x)TCx –1(R–1(m – 1) – x) = (T–1(m) – x)TCx –1(T–1(m) – x) (9)
Durch Ableiten nach den vier freien Parametern in R und t kann eine in geschlossener Form darstellbare Lösung erhalten werden. 12a und 12b zeigen eine Formanpassung mit und ohne Berücksichtigung von Unsicherheiten in Punktlokationen. 12a zeigt eine Formanpassung ohne Berücksichtigung von Unsicherheiten bei der Lokalisierung. 12b zeigt eine Formanpassung mit heteroskedastischen Unsicherheiten. Die Ellipsen 1202–1212 stellen die Kovarianz an Punktlokationen dar, welche Informationen in einer Blockdiagonalen C_x repräsentieren. Die Intuition besagt, den Punkten mit höherer Konfidenz stärker zu vertrauen.
Nachdem die Vorform an das Modell angepasst worden ist, wird eine Bestimmung durchgeführt hinsichtlich der maximalen Wahrscheinlichkeit (Maximum Likelihood), mit der die Form durch die zwei konkurrierenden Informationsquellen erzeugt wird, nämlich die angepasste Detektion/Prädiktion oder das (Unterraum-) Modell. Bei einem Modell mit vollständigem Raum steht die Formulierung unmittelbar mit der Fusion von Informationen mit Gaußschen Quellen im Zusammenhang, oder BLUE (Best Linear Unbiased Estimator, beste lineare erwartungstreue Schätzfunktion).
Wenn zwei mit Rauschen behaftete Messungen derselben n-dimensionalen Variablen x gegeben sind, die jeweils durch eine mehrdimensionale Gaußsche Verteilung, N(x₁, C₁) und N(x₂, C₂), charakterisiert sind, ist die Maximum-Likelihood-Schätzung von x der Punkt mit der minimalen Summe der korrigierten Mahalanobis-Distanzen, D₂(x, x₂, C₂). Ohne Beschränkung der Allgemeinheit wird angenommen, dass C2 singulär ist. Mit der singulären Wertezerlegung von C₂ = UΛU^T, mit U = [u₁, u₂, ..., u_n], wobei die u_i orthonormal sind, und λ = diag{λ₁, λ₂, ..., λp, 0, ..., 0), erhält man für die Mahalanobis-Distanz zu x₂ Folgendes:
Wenn λ_i gegen 0 strebt, geht D₂(x, x₂, C₂) gegen unendlich, außer wenn U^T ₀x = 0, wobei U₀ = [u_p+1, u_p+2, ..., u_n] Hier wird ohne Beschränkung der Allgemeinheit angenommen, dass der Unterraum durch den Ursprung des ursprünglichen Raumes verläuft. Da x₂ in dem Unterraum liegt, ist U₀ ^Tx₂ = 0.
Da U₀ ^Tx = 0, nimmt d² nun folgende Form an: d2 = (Upy x1)TC1 –1(Upy – x1) + (Upy – x2)TC+2 (Upy – x2) (11)wobei y ein 1 × p Vektor ist.
Ableiten nach y liefert die Fusions-Schätzfunktion für den Unterraum: y* = Cy*UTp (C1 –1x1 + C+2 x2), (12) Cy* = [UTp (C1 –1 + C+2 )Up]–1, (13) mit äquivalenten Ausdrücken im ursprünglichen Raum: x* = Upy* = Cx*(C1 –1x1 + C+2 x2) (14) Cx* = UpCy*UTp (15)
Es lässt sich zeigen, dass C_x* und C_y* die entsprechenden Kovarianzmatrizen für x^* und y^* sind.
Stattdessen können die Gleichungen (12) und (13) wie folgt geschrieben werden: y* = (UTp C1 –1Up + Λp –1)–1(UTp C1 –1x1 + Λp –1y2 (16)
Hierbei sind y₂ die transformierten Koordinaten von x₂ in dem von U_p aufgespannten Unterraum, und Λ_p = diag{λi, λ2, ..., λ_p}. Gleichung (16) kann als die BLUE Fusion in dem Unterraum von zwei Gaußschen Verteilungen betrachtet werden, eine ist N(y₂, Λ_p) und die andere ist der Schnitt von N (x₁, C₁) in dem Unterraum, N ((U^T _pC₁ ^–1U_p)^–1U^T _pC₁ ^–1x₁, (U^T _pC₁ ^–1U_p)^–1).
Die obige Unterraum-Fusion liefert eine allgemeine Formulierung für die (Unterraum-)Modell-Einschränkung, wobei die Formmessung (mit heteroskedastischer Unsicherheit) und das Hauptkomponentenanalyse-(Principal Component Analysis, PCA)Formmodell als die zwei Informationsquellen behandelt werden. Im Folgenden wird eine dritte Quelle hinzugefügt, welche die dynamische Prädiktion aus der Verfolgung repräsentiert. Die entscheidenden Vorteile, die aus einer Verfolgung erzielt werden, zusätzlich zur Detektion, sind die zusätzlichen Informationen aus der Dynamik des Systems, welche die Prädiktion bestimmt, und die Fusion von Informationen über die Zeit. Ausgehend von der obigen Analyse hat die Lösung von Gleichung (4) die folgende Form:
Diese Lösung vereinigt Informationen von Detektion, Formmodell und dynamischer Prädiktion in einem vereinheitlichten System. Wenn die vorhergesagte Form auch auf einen Unterraum begrenzt ist, kann die oben beschriebene Unterraum BLUE Formulierung auf eine verschachtelte Weise innerhalb der Transformation T angewendet werden. Die Prädiktion N(x., Cx.) enthält Informationen aus der Dynamik des Systems. Diese Informationen werden verwendet, um globale Bewegungstrends wie etwa Ausdehnung und Kontraktion sowie langsame Translation und Drehung zu codieren. N(x., Cx.) kann unter Anwendung eines herkömmlichen Verfahrens wie etwa des Prädiktionsfilters in einem Kalman-Ansatz erhalten werden:
wobei die Gleichung der Systemdynamik lautet x– = Sx+,prev + q, (20)und Q die Kovarianz von q ist und "prev" Informationen aus dem vorhergehenden Zeitschritt bezeichnet.
13 zeigt eine Prinzipskizze der Analyseschritte, wobei sich die Unsicherheit der Erkennung durch alle Schritte fortpflanzt. An jedem Rahmen werden mehrere Detektions-Kandidaten beurteilt, indem ihre Wahrscheinlichkeit im Kontext sowohl des Formmodells als auch der Prädiktion aus dem vorhergehenden Rahmen auf der Basis der Systemdynamik verglichen wird. Ellipsen wie etwa 1302–1316 veranschaulichen die Unsicherheiten der Lokalisierung. Unsicherheiten werden mit der Form während der Anpassung transformiert und mit dem Modell und den vorhergesagten vorherigen Informationen während der Schätzung der Wahrscheinlichkeit und Verfolgung verschmolzen.
Obwohl Ausführungsformen für ein Verfahren zum Detektieren und Identifizieren anatomischer Strukturen unter Verwendung von Aussehen und Form beschrieben wurden, ist anzumerken, dass von Fachleuten in Anbetracht der obigen Lehren Modifikationen und Änderungen vorgenommen werden können. Es versteht sich daher, dass an den beschriebenen speziellen Ausführungsformen der Erfindung Änderungen vorgenommen werden können, welche im Schutzbereich der Erfindung enthalten sind, der durch die beigefügten Ansprüche definiert ist.

Claims

Verfahren zum Detektieren eines Objekts in einem Bild, welches ungültige Datenbereiche enthält, wobei das Verfahren die folgenden Schritte umfasst: Bestimmen einer Datenmaske für das Bild, um anzugeben, welche Pixel in dem Bild gültig sind; Darstellen der Datenmaske als eine Integralmaske, in welcher jedes Pixel einen Wert hat, der einer Gesamtzahl von gültigen Pixeln in dem Bild oberhalb des Pixels und links von ihm entspricht; Anwenden eines rechteckigen Merkmals auf das Bild, wobei das rechteckige Merkmal mindestens einen positiven Bereich und einen negativen Bereich aufweist; Bestimmen der Anzahl der Pixel in dem rechteckigen Merkmal, welche gültig sind, unter Verwendung der Integralmaske; näherungsweises Bestimmen eines mittleren Intensitätswerts für einen Bereich, welcher ungültige Pixel enthält; Bestimmen eines Merkmalswertes für das rechteckige Merkmal durch Berechnen einer gewichteten Differenz zwischen einer Summe von Intensitätswerten in den positiven und negativen Bereichen des rechteckigen Merkmals; und Verwenden des Merkmalswertes, um zu bestimmen, ob ein Objekt detektiert worden ist.
Verfahren nach Anspruch 1, wobei die besagte Datenmaske denjenigen Pixeln, welche ungültig sind, einen Wert von null zuordnet.
Verfahren nach Anspruch 2, wobei die besagte Datenmaske denjenigen Pixeln, welche gültig sind, einen Wert von 1 zuordnet.
Verfahren nach Anspruch 1, wobei der Intensitätswert ein Grauskalenwert für ein Pixel ist.
Verfahren nach Anspruch 1, wobei das Bild ein Ultraschallbild ist.
Verfahren nach Anspruch 5, wobei das Objekt ein linkes Ventrikel ist.
Verfahren nach Anspruch 1, wobei das Objekt ein Gesicht ist.
Verfahren nach Anspruch 1, wobei der ungültige Datenbereich eine Okklusion ist, welche das Objekt teilweise verdeckt.