-
Die Erfindung betrifft die medizinische diagnostische Ultraschallbildgebung. Insbesondere werden Ansichten gewünschter Ebenen aus echokardiographischen Daten, die ein Volumen darstellen, extrahiert.
-
Dreidimensionale (3D) Ultraschallbildgebungssysteme werden für die 3D Echokardiografie verwendet. Die 3D Echokardiografie ermöglicht die Untersuchung von Morphologie und Pathologie. Forschungsstudien haben gezeigt, dass die 3D Analyse eine genauere Information liefert über die Pathophysiologie des Herzens, als die herkömmliche Analyse von zweidimensionalen (2D) Ansichten, und speziell hilfreich ist für Volumen und eine EF (Ejection Fraction) Berechnung (Auswurftraktions-Berechnung). Die Interpretation und die quantitative Analyse der 3D Volumendaten ist jedoch komplexer und zeitaufwändiger als bei der herkömmlichen zweidimensionalen (2D) Echokardiografie. Die Detektion von anatomischen Strukturen in 3D Volumendaten kann eine bessere Analyse erlauben, jedoch aufgrund der Komplexität weniger für die Diagnose verwendet werden.
-
Standardansichten werden verwendet, um Herzstrukturen zu visualisieren, und sind der Ausgangspunkt vieler echokardiographischer Untersuchungen. Beispielsweise werden alle vier Kammern, also das linke und rechte Ventrikel und das linke und rechte Atrium in einer A4C (Apical Four Chamber = Apikal-Vier-Kammer)-Ansicht präsentiert. In der A3C(Apical Three Chamber = Apikal-Drei-Kammer)-Ansicht sind das linke Ventrikel, das linke Atrium und die Aorta vorhanden. In einem 3D Volumen können derartige Ansichten rekonstruiert werden als multiplanare neu formatierte/rekonstruierte (MPR = Multi Planar Reformatted/Reconstruction) Ebenen. Das Finden von standardmäßigen 2D Ebenen in einem 3D Volumen kann die Konsistenz zwischen Benutzern verbessern und kann verwendet werden, um die Erfassungsparameter für eine bessere Bildqualität einzustellen.
-
Obwohl 3D echokardiographische Volumen sehr viel bessere Information über ein Herz liefern, als 2D echokardiographische Bilder, kann sich ein Herz an unterschiedlichen Positionen mit sich ändernden Orientierungen innerhalb dieses Volumens befinden. Es ist für die Benutzer zeitaufwändig durch 3D Volumen zu navigieren, um die Zielstruktur zu suchen. Ein Haupthindernis für die Verwendung der 3D Echokardiographie in der quantitativen Analyse der Herzfunktion in der routinemäßigen klinischen Praxis ist das Fehlen von genauen und robusten Detektionsverfahren, die notwendig sind, um die Analyse automatisch durchzuführen. Zusätzlich zu der Fähigkeit des Ultraschalloperators können andere Faktoren, wie die Transducerauswahl, die Instrumenteinstellungen, der Patientenkomfort und die Positionierung, die Konfiguration des Scans (Abtastung) und das Atemmuster des Patienten die Qualität der Ultraschallbilder oder Qualität der Daten zur Analyse beeinträchtigen. Dies führt zu starken Abweichungen und inkonsistenten Bildqualitäten, was die automatische Detektionsaufgabe noch sehr viel schwerer gestaltet.
-
Im Folgenden werden bevorzugte Ausführungsbeispiele für Verfahren, computerlesbare Medien und Systeme zum Detektieren einer Ebene aus dreidimensionalen echokardiographischen Daten beschrieben. Die Position der Ebene innerhalb des Volumens wird definiert durch eine Translation, Orientierung (Rotation) und/oder Skalierung. Mögliche Positionen für eine gewünschte Ansicht werden detektiert und andere mögliche Positionen werden aussortiert. Die Klassifikation der möglichen Positionen erfolgt sequentiell durch Translation, dann durch Orientierung und dann durch Skalierung. Der sequentielle Prozess kann die Berechnungen einschränken, die erforderlich sind, um die Ebenenposition für eine gewünschte Ansicht zu identifizieren. Zur Klassifikation werden Merkmale berechnet aus Daten, die eine Ebene innerhalb des Volumens darstellen. Diese planaren oder anderen Merkmale werden verwendet durch maschinengelernte Klassifizierer, um die Position von einer oder von mehreren gewünschten Ansichten zu detektieren.
-
Gemäß einem Aspekt wird ein Verfahren geschaffen zum Detektieren einer Ebene aus dreidimensionalen echokardiographischen Daten. Eine Sequenz von maschinentrainierten Klassifizierern wird auf dreidimensionale echokardiographische Daten angewendet. Ein erster der Klassifizierer dient zur Translation der Ebene innerhalb eines Volumens, das durch die dreidimensionalen echokardiographischen Daten dargestellt wird. Ein Zweiter der Klassifizierer dient zur Rotation der Ebene innerhalb des Volumens. Ein Dritter der Klassifizierer dient zur Skalierung der Ebene innerhalb des Volumens. Eine Position der Ebene wird detektiert als Funktion der Ausgabe des ersten, zweiten und dritten Klassifizierers. Ein Bild wird erzeugt als Funktion der Position der Ebene.
-
Gemäß einem zweiten Aspekt speichert ein computerlesbares Speichermedium Daten, die Anweisungen darstellen, die durch einen programmierten Prozessor ausführbar sind zum Detektieren von Standardansichtsebenen in einem Volumen, das durch dreidimensionale echokardiographische Daten dargestellt wird. Das Speichermedium enthält Anweisungen zum Berechnen von Merkmalen für jede von einer Mehrzahl von möglichen Ebenenpositionen innerhalb des Volumens, wobei mindestens eines der Merkmale nur aus Daten berechnet wird, die die mögliche Ebenenposition innerhalb des Volumens darstellen, zum Detektieren der Standardansichtsebenen mit entsprechenden Klassifizierern als Funktion der Merkmale, und zum Erzeugen von Bildern aus den Daten für die Standardansichtsebenen.
-
Gemäß einem dritten Aspekt wird ein System geschaffen zum Detektieren von Ebenenpositionen für Standardebenen einer multiplanaren Rekonstruktion eines Herzvolumens. Ein Speicher ist betreibbar zum Speichern von Ultraschalldaten, die das Herzvolumen darstellen. Ein Prozessor ist betreibbar zum Berechnen von ersten planaren Merkmalen für jede von einer Mehrzahl von umgesetzten (translatierten) Ebenenpositionen, Hypothesen, die den translatierten Ebenenpositionen entsprechen, auszusortieren mit einem Translationsklassifizierer und als Funktion der ersten planaren Merkmale, erste verbleibende Hypothesen zu behalten, um zweite planare Merkmale für jede von einer Mehrzahl von gedrehten Ebenenpositionen, die zu den ersten verbleibenden Hypothesen gehören, zu berechnen, Hypothesen auszuschließen, die den gedrehten Ebenenpositionen entsprechen, mit einem Orientierungsklassifizierer und als Funktion der zweiten planaren Merkmale, zweite verbleibende Hypothesen zu behalten, um dritte planare Merkmale für jede von einer Mehrzahl von skalierten Ebenen, die zu den zweiten verbleibenden Hypothesen gehören, zu berechnen, Hypothesen, die den skalierten Ebenen entsprechen, mit einem Skalierungsklassifizierer und als Funktion der dritten planaren Merkmale auszuschließen, mindestens eine dritte verbleibende Hypothese zu behalten und die Ebenenposition von einer der Standardebenen als Funktion der mindestens einen dritten verbleibenden Hypothese zu bestimmen. Eine Anzeige ist betreibbar zum Anzeigen eines Bildes von einer der Standardebenen als Funktion der Ebenenposition.
-
Die vorliegende Erfindung wird durch die folgenden Ansprüche definiert, und nichts in diesem Abschnitt soll als eine Einschränkung dieser Ansprüche angesehen werden. Weitere Aspekte und Vorteile der Erfindung werden im Folgenden in Verbindung mit den bevorzugten Ausführungsbeispielen diskutiert und können später unabhängig oder in Kombination beansprucht werden.
-
Die Komponenten und die Figuren sind nicht notwendigerweise maßstabsgetreu, sondern heben stattdessen die Prinzipien der Erfindung hervor. Darüber hinaus werden in den Figuren gleiche Bezugszeichen für entsprechende Teile in unterschiedlichen Ansichten verwendet.
-
1 zeigt ein Blockdiagramm gemäß einem Ausführungsbeispiel eines medizinischen Ultraschallbildgebungssystems;
-
2 zeigt ein Flussdiagramm gemäß Ausführungsbeispielen eines Verfahrens zur Detektion einer Ebene aus dreidimensionalen echokardiographischen Daten;
-
3 zeigt eine graphische Darstellung einer Volumenregion, eines Objekts und zugehöriger Ebenen einer multiplanaren Rekonstruktion gemäß einem Ausführungsbeispiel.
-
4 zeigt ein Beispiel von medizinischen Bildern von echokardiographischen Standardansichten und stellt die relativen Ebenenpositionen für die Ansichten dar.
-
Ein automatisiertes überwachtes Lernverfahren detektiert standardmäßige oder andere multiplanare reformatierte Ebenen (MPR = Multiplanar Reformated Planes) aus einem 3D echokardiographischen Volumen, um eine schnelle, genaue und konsistente MPR Detektion zu schaffen. Beispielsweise detektiert ein Computer sechs Haupt- oder Standard MPR-Ebenen:
A4C-Apikal Vierkammernebene; A2C-Apikal Zweikammernebene; A3C-Apikal Dreikammerebene; SAXB-Ebene (Short Axis Basal-Ebene); SAXM-Ebene (Short Axis Middle-Ebene); und SAXA-Ebene (Short Axis Apex-Ebene). Die automatische Detektion erlaubt die Automatisierung des klinischen Arbeitsablaufs und erleichtert nachfolgende Verarbeitungsaufgaben, die beispielsweise die Endokardialwandbewegungsanalyse.
-
1 zeigt ein medizinisches diagnostisches Bildgebungssystem 10 zum Detektieren einer Ebenenposition einer gewünschten Ansicht. Die Ebenendetektion kann eine multiplanare Rekonstruktion aus Ultraschallvolumendaten liefern. Das System 10 ist ein medizinisches diagnostisches Ultraschallbildgebungssystem, kann aber ein Computer, eine Arbeitsstation, eine Datenbank, ein Server oder ein anderes System sein.
-
Das System 10 enthält einen Prozessor 12, einen Speicher 14, eine Anzeige 16 und einen Transducer 18. Weitere, andere oder weniger Komponenten können vorgesehen werden. Beispielsweise enthält das System 10 einen Strahlformer, einen Empfangsstrahlformer, einen B-Modus Detektor, einen Doppler-Detektor, einen Harmonische-Antwort-Detektor, einen Kontrastmittel-Detektor, einen Scankonverter, ein Filter, Kombinationen davon, oder andere jetzt bekannte oder später entwickelte medizinische diagnostische Ultraschallsystemkomponenten. Gemäß einem anderen Beispiel wird der Transducer 18 nicht vorgesehen, wenn beispielsweise das System 10 eine Arbeitsstation für eine offline oder spätere Detektion von einer oder von mehreren gewünschten 2D Ansichten innerhalb eines Volumens ist.
-
Der Transducer 18 ist eine piezoelektrische oder kapazitive Vorrichtung, die betreibbar ist zum Umwandeln zwischen akustischer und elektrischer Energie. Der Transducer 18 ist eine Anordnung (Array) von Elementen, beispielsweise ein mehrdimensionales oder zweidimensionales Array. Alternativ ist der Transducer 18 ein Wobbler zum mechanischen Abtasten in einer Dimension und zum elektrischen Abtasten in einer anderen Dimension.
-
Das System 10 verwendet den Transducer 18 zum Abtasten eines Volumens. Die elektrische und/oder mechanische Steuerung erlaubt eine Übertragung und einen Empfang entlang unterschiedlicher Abtastzeilen in dem Volumen. Irgendein Scanmuster (Abtastmuster) kann verwendet werden. Gemäß einem Ausführungsbeispiel ist der Sendestrahl breit genug zum Empfang entlang einer Mehrzahl von Abtastzeilen. Gemäß einem anderen Ausführungsbeispiel wird eine Ebene, die eine Sendewellenform sammelt oder divergiert, geschaffen zum Empfang entlang einer Mehrzahl von, einer großen Anzahl von oder entlang aller Abtastzeilen.
-
Die Ultraschalldaten, die ein Volumen darstellen, werden in Antwort auf das Abtasten geliefert. Die Ultraschalldaten sind strahlgeformt, detektiert und/oder scanumgewandelt (abtastumgewandelt). Die Ultraschalldaten können irgendein Format haben, beispielsweise Polarkoordinaten, kartesische Koordinaten, ein dreidimensionales Gitter, zweidimensionale Ebenen in kartesischen Koordinaten mit Polarkoordinaten, die zwischen Ebenen beabstandet sind, oder ein anderes Format.
-
Der Speicher 14 ist ein Puffer, ein Cachespeicher, RAM, ein entfernbares Medium, eine Festplatte, magnetisch, optisch, eine Datenbank oder ein anderer jetzt bekannter oder später entwickelter Speicher. Der Speicher 14 ist eine einzelne Vorrichtung oder eine Gruppe von zwei oder mehreren Vorrichtungen. Der Speicher 14 ist innerhalb des Systems 10 gezeigt, kann jedoch außerhalb oder entfernt von anderen Komponenten des Systems 10 sein.
-
Der Speicher 14 speichert Ultraschalldaten, beispielsweise Ultraschalldaten, die ein Herzvolumen darstellen. Das Herzvolumen ist ein Volumen, das mindestens einen Bereich des Herzens aufweist. Der Speicher 14 speichert den Fluss (beispielsweise die Geschwindigkeit, Energie oder beides) und/oder B-Modus Ultraschalldaten. Alternativ werden die medizinischen Bilddaten an den Prozessor 12 von einer anderen Vorrichtung übertragen. Die medizinischen Bilddaten sind ein dreidimensionaler Datensatz, oder eine Sequenz derartiger Sätze. Die Daten repräsentieren eine dreidimensionale Region. Irgendein Format kann verwendet werden, beispielsweise Voxel, die in ein dreidimensionales Gitter interpoliert werden, oder Daten, die parallele oder nicht parallele Ebenen darstellen.
-
Für die Echtzeitbildgebung umgehen die Ultraschalldaten den Speicher 14, werden vorübergehend in dem Speicher 14 gespeichert oder aus dem Speicher 14 geladen. Die Echtzeitbildgebung kann eine Verzögerung von Bruchteilsekunden, oder einigen Sekunden erlauben zwischen der Erfassung von Daten und der Bildgebung. Beispielsweise wird die Echtzeitbildgebung geschaffen, indem die Bilder im Wesentlichen gleichzeitig mit der Erfassung der Bilder durch Scannen erzeugt werden. Während einem Scannen zum Erfassen eines nächsten oder nachfolgenden Satzes von Daten werden Bilder aus einem vorherigen Datensatz erzeugt. Die Bildgebung erfolgt während der gleichen Bildgebungssitzung, die verwendet wird, um die Daten zu erfassen. Die Verzögerung zwischen dem Erfassen und dem Bildgeben kann für einen Echtzeitbetrieb variieren, beispielsweise eine größere Verzögerung für ein anfängliches Lokalisieren von Ebenen mit multiplanarer Rekonstruktion und weniger Verzögerung für eine nachfolgende Bildgebung. In alternativen Ausführungsbeispielen werden Ultraschalldaten von einer vorherigen Bildgebungssitzung in dem Speicher 14 gespeichert und zur Erzeugung der multiplanaren Rekonstruktion ohne gleichzeitige Erfassung verwendet.
-
Der Speicher 14 ist zusätzlich oder alternativ ein computerlesbares Speichermedium mit Verarbeitungsbefehlen. Der Speicher 14 speichert Daten, die Befehle darstellen, die durch den programmierten Prozessor 12 ausführbar sind, zum Detektieren von Standardansichtsebenen in einem Volumen, das durch dreidimensionale echokardiographische Daten und/oder eine multiplanare Rekonstruktion aus Ultraschallvolumendaten dargestellt wird. Die Befehle zum Implementieren der Prozesse, Verfahren und/oder Techniken, die hier diskutiert werden, werden auf computerlesbaren Speichermedien oder Speichern bereitgestellt, beispielsweise einem Cachespeicher, Puffer, RAM, entfernbaren Medien, einer Festplatte oder anderen computerlesbaren Speichermedien. Computerlesbare Speichermedien umfassen auch verschiedene Typen von flüchtigen und nicht flüchtigen Speichermedien. Die Funktionen, Schritte oder Aufgaben, die in den Figuren verdeutlicht oder hier beschrieben werden, werden in Antwort auf einen oder auf mehrere Sätze von Befehlen, die in oder auf computerlesbaren Speichermedien bereitgestellt werden, ausgeführt. Die Funktionen, Schritte oder Aufgaben sind unabhängig von dem bestimmten Typ von Befehlssatz, Speichermedien, Prozessor- oder Verarbeitungsstrategie und können durchgeführt werden mittels Software, Hardware, integrierte Schaltungen, Firmware, Mikrocodes und dergleichen, alleine oder in Kombination arbeiten. Ähnlich können Verarbeitungsstrategien ein Multiprozessing, Multitasking, ein paralleles Verarbeiten und dergleichen umfassen. Gemäß einem Ausführungsbeispiel sind die Befehle auf einer entfernbaren Speichervorrichtung gespeichert für ein Lesen durch ein lokales System oder Fernsystem. Gemäß anderen Ausführungsbeispielen sind die Befehle an einem entfernten Ort gespeichert für eine Übertragung über ein Computernetzwerk oder über Telefonleitungen. Gemäß noch anderen Ausführungsbeispielen werden die Befehle innerhalb eines gegebenen Computers, einer CPU, GPU oder eines Systems gespeichert.
-
Der Prozessor 12 ist ein allgemeiner Prozessor, ein digitaler Signalprozessor, ein dreidimensionaler Datenprozessor, eine Grafikverarbeitungseinheit, ein ASIC (Application Specific Integrated Circuit), ein FPGA (Field Programmable Gate Array), eine digitale Schaltung, eine analoge Schaltung, Kombinationen davon oder andere jetzt bekannte oder später entwickelte Vorrichtung zum Verarbeiten von medizinischen Bilddaten. Der Prozessor 12 ist eine einzelne Vorrichtung, eine Mehrzahl von Vorrichtungen oder ein Netzwerk. Mehr als eine Vorrichtung kann ein paralleles oder sequentielles Unterteilen des Arbeitens verwendet werden. Unterschiedliche Vorrichtungen, die den Prozessor 12 bilden, können unterschiedliche Funktionen durchführen, die beispielsweise eine Abtaststeuerung und ein Bildgenerator, die separat arbeiten. Gemäß einem Ausführungsbeispiel ist der Prozessor 12 ein Steuerungsprozessor oder ein anderer Prozessor eines medizinischen diagnostischen Bildgebungssystems, wie beispielsweise ein medizinischer diagnostischer Ultraschallbildgebungssystemprozessor. Der Prozessor 12 arbeitet gemäß den gespeicherten Befehlen, um verschiedene Schritte, wie hier beschrieben, durchzuführen, beispielsweise zum Gewinnen von Daten, Detektieren von Standardansichten und/oder Steuern der Bildgebung.
-
Gemäß einem Ausführungsbeispiel empfängt der Prozessor 12 erfasste Ultraschalldaten während oder nach einem Scannen und bestimmt Orte von einer oder von mehreren Ebenen relativ zu dem Volumen, das durch die Daten dargestellt wird. Der Prozessor 12 betreibt oder steuert andere Komponenten, um die hier beschriebenen Verfahren auszuführen.
-
Der Prozessor 12 führt ein maschinelles Lernen und/oder Anwenden eines maschinengelernten Algorithmus durch. Der Prozessor 12 berechnet Merkmale für eine sequentielle Klassifikation. Der Detektionsalgorithmus, der durch den Prozessor 12 implementiert wird, durchsucht mehrere Hypothesen, um eine mit hohen Wahrscheinlichkeiten zu identifizieren. Mehrere Hypothesen werden zwischen Algorithmusstufen behalten. Jede Stufe, wie beispielsweise eine Translationsstufe, eine Orientierungsstufe und eine Skalierungsstufe, entfernt alle falschen Hypothesen, die von irgendeiner der früheren Stufen verblieben sind. Die korrekten oder verbleibenden Hypothesen pflanzen sich bis zur Endstufe fort. Nur eine Hypothese wird als das Enddetektionsergebnis ausgewählt, oder eine Ebenenposition wird von der Information detektiert für eine Kombination der Hypothesen (beispielsweise der Mittelwert der verbleibenden Hypothesen nach der Endstufe).
-
Die gleichen oder unterschiedlichen Merkmale werden verwendet für die Klassifikation in jeder Stufe. In der Translationsstufe werden beispielsweise Merkmale für jede von einer Mehrzahl von translatierten Ebenenpositionen berechnet. Unter Verwendung eines maschinentrainierten Translationsklassifizierers werden die Merkmale verwendet, um Hypothesen auszusortieren, die den translatierten Ebenenpositionen entsprechen, wobei ein Nebensatz von verbleibenden Hypothesen übrig bleibt.
-
Die Merkmale sind dreidimensionale Merkmale 3D Daten, die eine Ebene umschließen, also ein Untervolumen, werden verwendet, um die Merkmale zu berechnen. Alternativ können Volumendaten in eine Ebene interpoliert werden, und die resultierenden Daten, die die Ebene darstellen, werden ohne andere Daten verwendet, um das Merkmal zu berechnen.
-
Irgendwelche Merkmale können verwendet werden. Unterschiedliche Typen von Merkmalen können verwendet werden für den gleichen Klassifizierer, oder alle Merkmale können von eifern gleichen Typ für einen gegebenen Klassifizierer sein. Gemäß einem Ausführungsbeispiel werden Haar-Wavelet ähnliche Merkmale berechnet. Die Haar-Wavelet ähnlichen Merkmale stellen die Differenz zwischen unterschiedlichen Bereichen einer Region dar. Irgendeine Anzahl von Merkmalen kann verwendet werden, beispielsweise Zehn, Hunderte oder Tausende. Der Maschinenlernprozess kann betrieben werden, um einen gewünschten Nebensatz oder Satz von Merkmalen, der für eine gegebene Klassifikationsaufgabe zu verwenden ist, zu bestimmen.
-
Merkmalswerte werden für jede Hypothese berechnet. Zur Translationsklassifikation werden die Merkmale für jede der möglichen translatierten Ebenenpositionen berechnet. Die gleichen Merkmale, beispielsweise die gleichen Haar-Funktionen werden berechnet für jede der möglichen translatierten Ebenenpositionen. Der Translationsklassifizierer gibt eine Wahrscheinlichkeit einer gegebenen möglichen Ebenenposition, die korrekt ist, aus, oder eine gewünschte Ansicht, die auf den Merkmalswerten basiert. Wenn die Wahrscheinlichkeit über einem Schwellenwert liegt, wird die zugehörige Hypothese behalten. Wenn die Wahrscheinlichkeit unterhalb eines Schwellenwerts liegt, wird die zugehörige Hypothese aussortiert und aus dem Pool von Hypothesen verworfen.
-
Durch Aussondern von einer oder von mehreren Hypothesen kann die Anzahl an möglichen Ebenenpositionen, die zu einer Rotation gehören, begrenzt werden. Beispielsweise erlaubt das Aussondern von einer Hypothese und das Übriglassen von zwei Hypothesen dem Orientierungsklassifizierer Merkmale für unterschiedliche Rotationen relativ zu zwei unterschiedlichen Translationen anstatt zu drei unterschiedlichen Translationen zu berechnen.
-
Der Prozessor 12 berechnet die gleichen oder unterschiedliche planare und/oder andere Merkmale für jede von einer Mehrzahl von gedrehten (rotierten) Planarpositionen, die zu den verbleibenden Hypothesen gehören. Hypothesen, die zu den gedrehten Ebenenpositionen gehören, werden mit einem Orientierungsklassifizierer und als Funktion der planaren oder anderen Merkmale ausgesondert. Nach der Anwendung des Orientierungsklassifizierers verbleibt ein weiterer Nebensatz von Hypothesen. Die verbleibenden Hypothesen sind für ausreichende Translationen, die mindestens eine ausreichende Rotation aufweisen.
-
Der Prozessor 12 berechnet die gleichen oder unterschiedliche planare und/oder andere Merkmale für jede von einer Mehrzahl von skalierten Ebenen, die zu den Hypothesen gehören, die nach der Translation und einem Orientierungstest verbleiben. Ein Skalierungsklassifizierer sondert Hypothesen aus, die den skalierten Ebenen entsprechen, als eine Funktion der Merkmale. Nach einem Aussortieren von keiner, von einer oder von mehreren Hypothesen, bleibt ein verbleibender Satz von Hypothesen für die zu detektierende Ebene.
-
Gemäß einem Ausführungsbeispiel sind die Merkmalstypen, die für die Orientierungs- und Skalierungsklassifizierer verwendet werden, Gradientenmerkmale. Beispielsweise werden die „steuerbaren” Merkmale verwendet, die beschrieben werden von Zheng und anderen in „Fast Automatic Heart Chamber Segmentation from 3D CT Data Using Marginal Space Learning and Steerable Features”, Proc. Int'l Conf. On Computer Vision, Seiten 1–8, 2007. Andere Merkmalstypen können alternativ oder zusätzlich verwendet werden. Die Merkmale sind volumetrisch.
-
Irgendein Klassifizierer kann angewendet werden, beispielsweise ein modellbasierter Klassifizierer oder ein gelernter Klassifizierer (beispielsweise ein Klassifizierer, der auf einem Maschinen lernen basiert). Für gelernte Klassifizierer können binäre oder Multi-Klassen Klassifizierer verwendet werden, beispielsweise ein Bayesian-Klassifizierer oder ein neuronaler Netzwerkklassifizierer. Gemäß einem Ausführungsbeispiel wird ein binärer Boosting (Verstärkungs)-Klassifizierer verwendet mit einer Baum- und Kaskadenstruktur. Der Klassifizierer weist Anweisungen, eine Matrix, einen gelernten Code oder andere Software und/oder Hardware auf, um zwischen Information in einem medizinischen Bild zu unterscheiden. Der Translations-, Orientierungs-, und Klassifizierungsklassifizierer können vom gleichen oder von einem unterschiedlichen Typ von Klassifizierer sein.
-
Gemäß einem Ausführungsbeispiel sind der Translationsklassifizierer, der Orientierungsklassifizierer und der Skalierungsklassifizierer ein maschinentrainierter wahrscheinlichkeitstheoretischer Boostingbaum. Jeder Klassifizierer ist als Baumstruktur konstruiert. Gemäß einem alternativen Ausführungsbeispiel wird eine nicht sequentielle Verarbeitung bereitgestellt, beispielweise eine unabhängige Klassifikation für die Translation, Orientierung und Skalierung, oder beispielsweise ein einzelner Klassifizierer zum Klassifizieren basierend auf allen möglichen Positionen, der Skalierung enthält.
-
Der maschinentrainierte wahrscheinlichkeitstheoretische Boosting-Tree (Verstärkungsbaum) wird für eine der Standardebenen trainiert. Der Prozessor 12 ist betreibbar zum Implementieren unterschiedlicher maschinentrainierter wahrscheinlichkeitstheoretischer Boosting-Tree Klassifizierer für unterschiedliche Standardebenen.
-
Der Prozessor 12 bestimmt die Ebenenposition von einer der Standardebenen oder anderen Ebenen als Funktion der verbleibenden Hypothesen. Die detektierte Ansicht ist eine allgemeine oder standardmäßige Ansicht, beispielsweise A4C (Apical Four Chamber), A2C (Apical Two Chamber, links parasternal, oder sub-coastal), aber andere Ansichten können erkannt werden. Die Ausgabe des Klassifizierers, beispielsweise der wahrscheinlichkeitstheoretische Boosting-Tree wird verwendet, um die Ebenenposition zu bestimmen. Die Ebenenposition, die zu einer größten Wahrscheinlichkeit gehört, wird ausgewählt. Gemäß einem anderen Ausführungsbeispiel werden mehr als eine Ebenenposition, die als Hypothesen verbleiben, ausgewählt und kombiniert. Beispielsweise werden eine durchschnittliche Translation, Orientierung und Skalierung der verbleibenden Hypothesen berechnet. Der Durchschnitt ist die Ebenenposition für die gewünschte Ansicht.
-
Die Anzeige 16 ist eine CRT-, LCD-, Plasma-, Projektor-, Drucker- oder andere Ausgabevorrichtung zum Zeigen eines Bilds. Die Anzeige 16 zeigt ein Bild der detektierten Ebene, beispielsweise ein Bild der detektierten Standardebene (beispielsweise A4C). Die Daten, die das Volumen darstellen, werden verwendet, um das Bild zu erzeugen. Daten von dem Volumendatensatz benachbart zu oder von der detektierten Ebene gekreuzt, werden verwendet, um eine Cut-Ebene (Schnittebene) zu oder ein multiplanares Rekonstruktionsbild zu erzeugen.
-
2 zeigt ein Verfahren zu der Detektion einer Ebene, beispielsweise einer standardmäßigen multiplanaren Rekonstruktionsebene, aus dreidimensionalen echokardiographischen Daten. Das Verfahren wird implementiert durch ein medizinisches diagnostisches Bildgebungssystem, eine Betrachtungsstation, eine Arbeitsstation, einen Computer, eine PACS Station, einen Server, Kombinationen davon oder eine andere Vorrichtung zum Bildverarbeiten von medizinischen Ultraschalldaten. Beispielsweise implementiert das System oder implementieren computerlesbare Medien, wie in 1 gezeigt, das Verfahren, aber andere Systeme können verwendet werden.
-
Das Verfahren wird in der gezeigten Reihenfolge oder in einer anderen Reihefolge implementiert. Weitere, andere oder weniger Schritte können verwendet werden. Beispielsweise können die Schritte 34 und/oder 38 optional sein. Als ein anderes Beispiel wird keine sequentielle Klassifikation vorgesehen, so dass eine sequentielle oder sogar separate Durchführung der Schritte 24, 26 und 28 nicht vorgesehen wird.
-
Die Schritte werden in Echtzeit, beispielsweise während des Abtastens durchgeführt. Der Benutzer kann die Bilder von Schritt 38 ansehen, während eines Abtastens zum Erfassen von anderen Datensätzen, die das Volumen darstellen. Die Bilder können zu vorherigen Ausführungen der Schritte 22–38 in der gleichen Bildgebungssitzung gehören, jedoch zu unterschiedlichen Volumendaten. Beispielsweise werden die Schritte 22–38 für eine Anfangsabtastung (Anfangsscan) und für nachfolgende Abtastungen (Scans) durchgeführt während der gleichen Bildgebungssitzung. Multiplanare Rekonstruktionsbilder können in. Sekunden, beispielsweise zwei oder weniger Sekunden bereitgestellt werden.
-
Ein oder mehrere Sätze von Daten werden gewonnen. Die Ultraschalldaten entsprechen einem Datensatz, der auf ein reguläres 3D Gitter interpoliert wird, angezeigten Bildern (beispielsweise detektierte und abtastumgewandelte Ultraschalldaten), strahlgeformten Daten, detektierten Daten und/oder abtastumgewandelten Daten. Die Ultraschalldaten repräsentieren ein Volumen oder eine 3D Region eines Patienten. Die Region enthält Gewebe, Fluid oder andere Strukturen. Unterschiedliche Strukturen oder Typen von Strukturen reagieren unterschiedlich auf Schallenergie. Beispielsweise bewegt sich das Herzmuskelgewebe langsamer im Vergleich zu Fluid. Die temporare Reaktion kann unterschiedliche Geschwindigkeits- oder Flussdaten zur Folge haben. Die Form einer Struktur oder ein räumlicher Aspekt können in B-Modus Daten widergespiegelt werden. Ein oder mehrere Objekte, beispielsweise das Herz, ein Organ, ein Gefäß, eine Fluidkammer, ein Gerinsel, eine Läsion, ein Muskel und/oder ein Gewebe sind innerhalb der Volumenregion. Die Daten repräsentieren die Region.
-
In Schritt 22 wird eine Sequenz von maschinengelernten Klassifizierern gelernt und/oder auf dreidimensionale echokardiographische Daten angewendet. Jede gewünschte Ebene, beispielsweise die Standard-MPR-Ebenen werden betrachtet, nicht nur in einem abstrakten 2D Bereich (2D Domain), sondern in einem 3D Volumensample. Eine Ebenendetektion schätzt die Positionsparameter (also die Position) für jede gewünschte Ebene. Die Positionsparameter eines 3D Gitterkörpers können neun Komponenten enthalten: drei Translationen (x; y; z), drei Orientierungen (beispielsweise Euler-Winkel w. r. t. für jede Achse) und drei Skalierungen (eine für jede Achse). Ein oder mehrere der Parameter können nicht verwendet werden, beispielsweise nicht Bereitstellen einer Skalierung oder nur das Bereitstellen einer Skalierung entlang einer Achse.
-
Das Suchen in einem 3D Hochauflösungsvolumen ist für Online-Anwendungen oder eine schnelle Bestimmung hinderlich. Beispielsweise hat ein Volumen aus 100 × 100 × 100 Voxel 106 Hypothesen zur Translation. Wenn Orientierung und Skalierung kombiniert werden, erweitert sich ein kombinatorischer Hypothesensuchraum dramatisch. Ein begrenzter Satz von Hypothesen kann verwendet werden basierend auf irgendeinem gewünschten Kriterium, beispielsweise erwarteten relativen Positionen von unterschiedlichen Ebenen. Durch Trainieren einer Serie von Detektoren, die Ebenenparameter oder Positionsparameter schätzen, mit einer Anzahl von sequentiellen Stufen, kann die Anzahl an Berechnungen reduziert werden. Die Stufen werden in der Komplexitätsreihenfolge angewendet, wenn die Parameterfreiheitsgeraden zunehmen (beispielsweise Translation, dann Orientierung, und dann Skalierung), aber andere Reihenfolgen können verwendet werden. Beispielsweise kann eine Skalierung nur entlang zweier Achsen, die eine Translation und Orientierung geben, eingestellt werden. Gemäß anderen Ausführungsbeispielen wird ein anderes Lernen mit oder ohne hierarchisches Suchen verwendet.
-
Irgendein Klassifizierer oder mehrere Klassifizierer können verwendet werden. Der Klassifizierer kann ein Modell oder ein Detektor sein, indem Bildgebungsverarbeitungs-, Filter- oder andere Techniken verwendet werden. Eine einzelne Klasse oder ein binärer Klassifizierer, eine Sammlung von unterschiedlichen Klassifizierern, Kaskadenklassifizierer, hierarchische Klassifizierer, Multi-Klassen-Klassifizierer, ein modellbasierter Klassifizierer, ein Klassifizierer, der auf einem Maschinenlernen basiert, oder Kombinationen davon können verwendet werden. Multi-Klassen-Klassifizierer umfassen CART, K-nächste Nachbarn, neuronale Netzwerke (beispielsweise Mehrschichtwahrnehmung), Mischmodelle oder andere. Ein wahrscheinlichkeitstheoretischer Boosting-Tree kann verwendet werden. Ein ECOC (Error-correcting Output code = Fehlerkorrekturausgabecode) kann verwendet werden.
-
Der Klassifizierer wird unter Verwendung eines Computers durch einen Trainingsdatensatz trainiert. Gemäß einem Ausführungsbeispiel ist der Klassifizierer ein auf Wissen basiertes wahrscheinlichkeitstheoretisches Modell, beispielsweise ein Margin-Space-Lernen unter Verwendung einer hierarchischen Suche. Eine Datenbank bekannter Fälle wird für das Maschinenlernen gesammelt, wodurch eine Datenbank getriebener wissensbasierter Ansatz geschaffen wird. Zum Trainieren von Daten wird eine dreidimensionale Kontextinformation aufbewahrt die den Detektionsprozess lenkt. Das Wissen wird in große annotierte Datenspeicher eingebettet, wo Experten manuell die Standard-MPR-Ebenen angeben. Die bekannten Fälle werden räumlich ausgerichtet oder registriert, beispielsweise durch Ausrichten des Koordinatensystems zu der identifizierten A4C Ansicht. Die Detektoren werden auf eine große Anzahl von annotierten 3D echokardiographische Volumina trainiert.
-
Für eine optionale Pyramidendatenstruktur werden die Trainingssätze ausgewählt für die Detektoren bei unterschiedlichen Niveaus in Abhängigkeit von der Komplexität der Detektionsaufgabe. Bei grobem Niveau sind die negativen Ebenenpositionen weit weg von den positiven Ebenenpositionen, und zufällig über begründeten Ebenenkonfigurationen abgetastet, während eine relativ große Lücke (beispielsweise irgendein emperisch bestimmter Abstand) von dem Positiven aufrechterhalten bleibt. Bei dem feinen Niveau werden die Negativen nur innerhalb einer emperisch bestimmten Nachbarschaft von Positiven gemäß der Suchstrategie ausgewählt, während der Abstand (Spalt) dazwischen reduziert wird, verglichen mit dem groben Niveau.
-
Die 3 und 4 zeigen Beispiele von Volumina mit Ebenen 44. Der gelernte Algorithmus verwendet das gelernte Modell, um nach Zielen (MPR Ebenen) in dem hypothetischen Raum zu suchen. Der Klassifizierer lernt verschiedene Merkmalssektoren zur Unterscheidung zwischen einer gewünschten Ebene und Ebenen, die nicht detektieren werden. Gemäß alternativen Ausführungsbeispielen wird der Klassifizierer manuell programmiert.
-
Für lernbasierte Ansätze wird dem Klassifizierer beigebracht basierend auf Merkmalen zu unterscheiden. Beispielsweise kombiniert der Wahrscheinlichkeitsmodellalgorithmus selektiv Merkmale in einen Zusammenschluss von schwachen Lernern basierend auf Haar-ähnlichen lokalen Rechteckfiltern, deren schnelle Berechnungseigenschaften ermöglich werden durch die Verwendung eines Integralbilds. Merkmale, die für die MPRs relevant sind, werden extrahiert und in einen Maschinenalgorithmus eingelernt basierend auf der Annotierung durch einen Experten, wodurch ein wahrscheinlichkeitstheoretisches Modell für die MPRs gebildet wird. Ein großer Pool von Merkmalen kann extrahiert werden. Das Training bestimmt die bestimmensten Merkmale für eine gegebene Klassifikation und verwerfen die nicht bestimmenden Merkmale.
-
Volumetrische oder planare Merkmale können verwendet werden mit den 3D Echokardiographiedaten. Gemäß einem Ausführungsbeispiel werden planare Merkmale bereitgestellt. Die Merkmale werden aus den Daten, die eine Ebene darstellen, berechnet. Die gleichen Merkmale werden für jede mögliche Position einer gegebenen Ebene berechnet. Unterschiedliche Kombinationen von Merkmalen können verwendet werden zur Detektion unterschiedlicher Ebenen und/oder Ebenenparameter. Beispielsweise verwenden unterschiedliche sequentielle Klassifikationsstufen unterschiedliche Parameter, die aus den 3D Volumendaten berechnet worden sind. Jeder Klassifizierer wählt einen Satz von unterscheidenden Merkmalen, die verwendet werden, um das positive Ziel von Negativen zu unterscheiden. Die Merkmale werden aus einem großen Merkmalspool ausgewählt. Der große Pool wird bestimmt durch einen Programmierer und kann systematisch bestimmte Merkmale enthalten.
-
Für die Klassifizierer bei der Translationsstufe werden Haar-Wavelet ähnliche Merkmale verwendet, jedoch können andere Merkmale vorgesehen werden. Die Haar-Wavelet ähnlichen Merkmale werden effizient unter Verwendung von integralbildbasierten Techniken berechnet. Für Klassifizierer bei der Rotations- und Skalierungsstufe werden Gradientmerkmale oder steuerbare Merkmale verwendet, jedoch können andere Merkmale verwendet werden. Steuerbare Merkmale bilden ein flexibles Rahmennetzwerk, bei dem wenige Punkte von einem Volumen unter einem speziellen Muster (beispielsweise ein reguläres Gitter) abgetastet werden. Ein Paar lokale Merkmale werden aus jedem Abtastpunkt extrahiert, beispielsweise die Voxelintensität oder ein Gradient. Um die steuerbaren Merkmale unter spezifizierten Orientierungen zu prüfen, wird das Abtastmuster gesteuert, und keine rechenintensive übermäßige Volumenrotation ist notwendig. Die Berechnung der steuerbaren Merkmale erfordert keine Volumenrotation und Neuskalierung, was beides rechenaufwendig ist.
-
Eine Baumstruktur kann gelernt werden und sowohl ein wirkungsvolles Training als auch eine Anwendung bereitstellen. In der Mitte des Verstärkens (Boosting) eines Multi-Klassen-Klassifizieres, ist eine Klasse (oder mehrere Klassen) vollständig getrennt von den Verbleibenden, und ein weiteres Verstärken (Boosting) ergibt keine zusätzliche Verbesserung bezüglich der Klassifikationsgenauigkeit. Für ein effektives Training wird eine Baumstruktur trainiert. Um aus dieser Tatsache einen Vorteil zu erhalten wird eine Baumstruktur trainiert durch Konzentrieren auf die verbleibenden Klassen, um die Lerneffizienz zu verbessern. Wahrscheinlichkeiten in der Vergangenheit oder bekannte Verteilungen können berechnet werden, beispielsweise indem vorherige Wahrscheinlichkeiten korreliert werden miteinander.
-
Um die Hintergrundklassen mit vielen Beispielen zu bearbeiten, kann eine Kaskadentrainingsprozedur verwendet werden. Eine Kaskade von verstärkten starken Binär-Klassen-Klassifizierern kann die Folge sein. Die Kaskade von Klassifizierern liefert einen einheitlichen Algorithmus, der in der Lage ist mehrere Objekte zu detektieren und zu klassifizieren, während die Hintergrundklassen zurückgewiesen werden. Die Kaskadenstruktur entspricht einem degenerierten Entscheidungsbaum. Ein derartiges Szenario stellt eine nicht ausgeglichene Natur von Datensamples dar. Die Hintergrundklasse hat voluminöse Samples, da alle Datenpunkte, die nicht zu den Objektklassen gehören, zu der Hintergrundklasse gehören. Alternativ werden die Klassifizierer sequentiell ohne Kaskade trainiert.
-
Ein wahrscheinlichkeitstheoretischer Boosting-Tree (PBT = probabilistic boosting tree), der die Klassifikation, Erkennung und das Cluster in eine Behandlung vereinheitlicht, kann verwendet werden. Die Translations-, Orientierungs- und Skalierungsklassifizierer werden beispielsweise als ein wahrscheinlichkeitstheoretischer Boosting-Tree trainiert. Der Klassifizierer ist eine baumbasierte Struktur mit der die späteren Wahrscheinlichkeiten des Vorhandenseins der Ebene, die von Interesse ist, mit gegebenen Daten berechnet wird. Jeder Ebenen-Detektor liefert nicht nur eine binäre Entscheidung für ein gegebenes Sample, sondern auch einen zuverlässigen Wert, der zu der Entscheidung gehört. Die Knoten in dem Baum werden konstruiert durch eine Kombination von einfachen Klassifizierern unter Verwendung von Boosting-Techniken, wie beispielsweise offenbart in Tu „Probabilistic Boosting-Tree: Learning Discriminative Models for Classification, Recognition, and Clustering,” Proc. Int'l Conf. on Computer Vision, Seiten 1589–1596, 2005.
-
Irgendeine wahrscheinlichkeitstheoretische Baumstruktur kann verwendet werden. Gemäß einem Ausführungsbeispiel ist die in Schritt 26 angewendete Translationsstufe ein binärer Baum unter Verwendung von Haar-Wavelet Merkmalen. Drei Niveaus werden bereitgestellt, wobei jeder Knoten 20 schwache Klassifizierer enthält. Jeder Klassifizierer basiert auf einem Merkmal. Die Orientierungsstufe, die im Schritt 28 angewendet wird, ist ein binärer Baum, der Gradientenmerkmale und steuerbare Merkmale verwendet. Sechs Niveaus werden vorgesehen, wo jeder Knoten 40 schwache Klassifizierer aufweist. Die in Schritt 30 angewendete Skalierungsstufe ist ein Binärbaum, der Gradientenmerkmale und steuerbare Merkmale verwendet. Sieben Niveaus werden vorgesehen, wo jeder Knoten vier neue schwache Klassifizierer aufweist. Die wahrscheinlichkeitstheoretische Boosting-Tree Endwahrscheinlichkeit wird berechnet, als eine gewichtete Summe aller Wahrscheinlichkeiten von den Blattknoten, die ein gegebenes Sample durchkreuzt hat. Weitere, unterschiedliche Merkmale, Klassifizierer, Niveaus, Typen von Merkmalen, eine Kombination von Wahrscheinlichkeiten oder Typen von Bäumen können verwendet werden. Beispielsweise wird der Skalierungsklassifizierer nicht vorgesehen oder angewendet.
-
Um den Klassifizierer anzuwenden werden in Schritt 32 Merkmale berechnet. Die Merkmale werden für jede der möglichen Ebenenpositionen berechnet. Andere Merkmale können berechnet werden, unabhängig von der möglichen Ebenenposition, beispielsweise wo ein Merkmal für ein Untervolumen bestimmend sein kann in Kombination mit planaren Merkmalen für eine mögliche Ebenenposition.
-
Für jede mögliche Ebenenpositionen werden die Merkmale für eine gegebene Klassifikation berechnet. Für die Translationsstufe beziehen sich die möglichen Ebenenpositionen auf unterschiedliche Positionen, die entlang dreier Achsen translatiert worden sind. Beispielsweise werden Haar-Merkmale berechnet zum Klassifizieren, ob eine gegebene translationsmögliche Ebenenposition die gewünschte Ebene sein kann. Für die Rotationsstufe betreffen die möglichen Ebenenpositionen die Rotation um die drei Achsen bei verbleibenden Translationspositionen. Für die Skalierungsstufe betreffen die möglichen Ebenenpositionen die unterschiedlichen Größenregionen bei verbleibenden Rotations- und Translationspositionen. Unterschiedliche Merkmale können für unterschiedliche Stufen berechnet werden. Unterschiedliche Merkmale können für unterschiedliche Ansichten, die detektiert werden, berechnet werden.
-
Die Merkmale werden für echokardiographische Daten, die das Volumen darstellen, berechnet. Gemäß einem Ausführungsbeispiel werden die Merkmale aus den Daten bei unterschiedlichen Auflösungen berechnet. Eine Volumenpyramide wird bereitgestellt, so dass der Datensatz auf unterschiedliche Auflösungen nach unten abgetastet werden kann. Ein Satz von Daten hat eine genaue Auflösung, wie beispielsweise die Abtastauflösung, und ein anderer Satz von Daten hat eine grobe Auflösung, beispielsweise den fein aufgelösten Datensatz um 1/4 in jeder Dimension reduziert (also um den Faktor 4 nach unten abgetastet). Die Sätze stellen das gleiche Objekt im gleichen Volumen dar. Irgendeine Anzahl (ein, zwei oder mehr) von Sätzen kann verwendet werden. Merkmale werden von einem groben Satz und dann einem genauen Satz der Volumenpyramide berechnet. Das Maschinenlernen kann die Bestimmungsmerkmale bestimmen. Für jedes Bestimmungsmerkmal wird ein Datensatz von einer entsprechenden Auflösung bereitgestellt.
-
Die Sätze haben irgendein Format, beispielsweise kartesische oder Polarkoordinaten. Gemäß einem Ausführungsbeispiel werden die Ultraschalldaten in einem akustischen (beispielsweise polar) Koordinatenformat erfasst, und der kartesische Raum oder Anzeigenraum wird in Echtzeit mit nur sichtbaren Oberflächen oder ausgewählten Ebenen besetzt. Gemäß einem anderen Ausführungsbeispiel, unter Verwendung eines Scannkonverters, Prozessors oder einer grafischen Verarbeitungseinheit, wird eine Umwandlung in Echtzeit von dem akustischen Raum in den kartesischen Raum oder Anzeigenraum bereitgestellt. Die Ultraschalldaten werden in dem kartesischen Raum (beispielsweise 3D Gitter) verarbeitet, um die multiplanare Rekonstruktion zu orientieren.
-
In Schritt 34 wird mindestens eines der Merkmale normalisiert. Aufgrund der inkonsistenten Bildgebungsbedingungen von Ultraschall in Echtzeitanwendungen, können die Merkmale jedes Samples normalisiert werden. Eine Normalisierungsfunktion kann verwendet werden, beispielsweise eine Normalisierung durch Mittelwertbildung einer Datenbank von Beispielen für eine gegebene Ebenenposition. In einem Ausführungsbeispiel werden die Merkmale normalisiert durch die Daten, die für die Berechnung des Merkmals verwendet werden. Beispielsweise wird ein Haar-Merkmal berechnet aus Daten, die eine gesamte Ebene darstellen. Die Daten der Ebene oder der Region werden gemittelt. Der Mittelwert wird von dem Haar-Funktionswert subtrahiert und das Ergebnis wird geteilt durch die Standardabweichung der Daten von der Ebene oder der Region. Andere oder keine Normalisierung können verwendet werden. Beispielsweise werden die steuerbaren Merkmale oder Gradientenmerkmale für die Orientierungs- oder Skalierungsstufe nicht normalisiert.
-
In Schritt 36, wird eine Position einer Ebene detektiert. Die Position, die zu der gewünschten Ansicht gehört, wird detektiert. Beispielsweise werden eine oder mehrere Standardansichtsebenen detektiert als Funktion der Ausgabe der Klassifizierer. Die Merkmale werden verwendet, um die wahrscheinlichste Position der Ebene für die Ansicht zu bestimmen. Die Ebenen-Detektoren sind die Unterscheidungsklassifizierer, die auf das 3D Echokardiographievolumen trainiert worden sind. Der Ebenendetektor bestimmt, ob ein gegebenes Nebenvolumensample (Daten für eine mögliche Ebenenposition) positiv oder negativ ist. Die positiven oder negativen Samples entsprechen korrekten und nicht korrekten Ebenenparametern (Positionen).
-
Für die sequentielle Detektion zur Begrenzung der Komplexität und zur Verbesserung der Effizienz, wird eine Ebenenposition für eine Ansicht detektiert durch sequentielle Translation-, Orientierung- und Skalierungsdetektion. Der Klassifizierer verwirft mögliche Ebenenpositionen durch sequentielles Berechnen der Merkmale für translatierte mögliche Ebenenpositionen, für gedrehte mögliche Ebenenpositionen und für skalierte mögliche Ebenenpositionen. Jede Stufe entfernt mögliche Ebenenpositionen aus einer Hypothesenliste.
-
Zuerst werden Merkmale für unterschiedliche mögliche Ebenenpositionen berechnet. Die unterschiedlichen möglichen Ebenenpositionen entsprechen der Translation entlang unterschiedlicher Achsen. Irgendeine Schrittgröße oder Suchstrategie kann verwendet werden, beispielsweise ein grobes Suchen mit einem genauen Suchen an Orten, die als wahrscheinlich bei der groben Suche identifiziert wurden. Der Detektor liefert eine Wahrscheinlichkeit für jede mögliche Position. Die möglichen Positionen, die zu einer ausreichenden Wahrscheinlichkeit gehören, werden in dem Hypothesenpool beibehalten. Eine ausreichende Wahrscheinlichkeit wird durch einen Schwellenwert bestimmt, indem die größten X (wobei X eines oder mehr ist) Wahrscheinlichkeiten ausgewählt werden, oder durch einen anderen Test.
-
Für den Orientierungsdetektor sind die Orte der zu drehenden Ebenen die möglichen Ebenenpositionen, die nach der Anwendung des Translationsklassifiziers verbleiben. Für jede ausreichende Translationsposition werden unterschiedliche Rotationen getestet. Irgendeine Winkelschrittgröße und/oder Suchstrategie können verwendet werden. Der Orientierungsdetektor identifiziert ausreichende Ebenenpositionen, die zu unterschiedlichen Rotationen gehören. Wenn keine Rotationsposition für eine gegebene Translationsposition ausreichend ist, wird die Translationsposition aus dem Hypothesenpool genommen.
-
Der Skalierungsdetektor wendete unterschiedliche Skalierungsdetektoren für die möglichen Ebenenpositionen an, die nach der Translations- und Orientierungsdetektion verbleiben. Irgendeine Schrittgröße und/oder Suchstrategie können für das Skalieren verwendet werden. Wenn kein Skalieren für eine gegebene Ebenenposition ausreichend ist, wird die Ebenenposition aus dem Hypothesenpool herausgenommen. Die verbleibenden Ebenenpositionen und entsprechenden Skalierungen sind gemäß dem Translations-, Orientierungs- und Skalierungsklassifizierer ausreichend.
-
Die detektierte Ansicht ist die mögliche Ebenenposition mit der größten Wahrscheinlichkeit, die durch den Skalierungsklassifizierer ausgegeben wird. Alternativ ist die detektierte Ansicht die mögliche Ebenenposition mit der größten durchschnittlichen Wahrscheinlichkeit für den Translations-, Orientierungs- und Skalierungsdetektor. Gemäß anderen Ausführungsbeispielen wird eine durchschnittliche Position der verbleibenden ausreichenden möglichen Ebenenpositionen bestimmt. Die durchschnittliche Position ist die detektierte Ansicht. Andere Begrenzungen können verwendet werden, beispielsweise ein Mitteln der Position der obersten Y wahrscheinlichsten Ebenenpositionen.
-
Eine oder mehrere Ebenen werden detektiert. Beispielsweise werden die Positionen der Ebenen für standardmäßige Echokardiographieansichten bestimmt. Eine A2C Ansicht, eine A4C Ansicht, eine A3C Ansicht, eine Parasternal-Langachsenansicht und/oder eine Parasternal-Kurzachsenansicht werden bestimmt. Beispielsweise zeigen die 3 und 4 eine Volumenregion 40 mit einem Objekt 42 zumindest teilweise innerhalb der Region 40. Das Objekt 42 kann irgendeine Orientierung innerhalb der Volumenregion 40 haben. Die Position der Ebenen 44 relativ zu dem Volumen wird zur multiplanaren Rekonstruktion bestimmt. Andere standardmäßige oder standardmäßige Ansichten können bestimmt werden. Standardansichten können ein Standard der medizinischen Gemeinschaft oder ein Standard einer Institution sein. Vorbestimmte Ansichten enthalten nicht standardmäßige Ansichten, beispielsweise eine vordefinierte Ansicht für ein klinisches Testen.
-
Unterschiedliche Klassifizierer werden maschinentrainiert für die unterschiedlichen Standardansichten. Irgendeine Kombination von Klassifizierern kann verwendet werden. Jeder Klassifizierer wird angewendet, um die entsprechende Ebenenposition unabhängig von der Ausgabe der anderen Klassifizierer zu bestimmen. Alternativ wird die Ausgabe von einem Klassifizierer zur Detektion von einer anderen Ebene verwendet. Gemäß einem Ausführungsbeispiel, um zwei oder mehrere (beispielsweise sechs standardmäßige) Ebenen zu detektieren, wird eine grobe-zu-fein Strategie angewendet durch eine multiskalare Hierarchie. Eine Position einer A4C Ansicht wird detektiert mit einem nach unten abgetasteten Satz von Daten (beispielsweise 1/4 Auflösung). Da die MPR Zielebenen anatomische Unregelmäßigkeiten zueinander aufweisen und bezüglich des LV (linken Ventrikels), wird eine Anfangsposition der möglichen Ebenenpositionen für andere Ansichten basierend auf der A4C Ebenenposition gesetzt. Ein A4C Detektor wird angelernt und angewendet bei einem groben Niveau in einem Volumen mit niedriger Auflösung. Andere Ansichten können für die ursprüngliche Position oder Basisposition detektiert werden.
-
Die Ebenenposition für die A4C Ansicht wird verwendet, um die Suchregion für eine feine oder grobe Ebenenpararneterschätzung zu begrenzen. Eine Anfangsposition einer anderen der standardmäßigen Ansichtsebenen wird als Funktion der Position der A4C Ansicht bestimmt. Die Anfangsebenenparameter (Position, Orientierung und Skalierung) für andere Ansichten (beispielsweise A2C, A3C, SAXB, SAXM und SAXA) bezüglich der A4C Ansicht, basieren auf empirischen Statistiken. Beispielsweise wird die durchschnittliche relative Position von dem Trainingsdatensatz verwendet. Die Anfangsposition setzt die Suchregion. Die möglichen Ebenenpositionen können bezüglich der Translation, Rotation und/oder Skalierung relativ zu der Anfangsposition begrenzt sein.
-
Die anderen standardmäßigen Ansichtsebenen werden detektiert unter Verwendung der Volumendaten und des Suchraums, der durch die Anfangsposition begrenzt ist. Da die Anfangsposition den Suchraum begrenzt, können Daten mit größerer Auflösung verwendet werden. Bei größeren Auflösungen wird ein Ebenendetektor für eine genauere Parameterschätzung, der für jede Ebene trainiert ist, angewendet, um den besten Kandidaten nur in einer engen Nachbarschaft um die Anfangsdetektionsergebnisse herum zu suchen. Ein anderer oder der gleiche A4C Detektor kann für den feinen Datensatz angewendet werden, um die A4C Position zu verfeinern.
-
In Schritt 38 wird ein Bild erzeugt als Funktion der detektierten Ebenenposition. Bilder werden für jede der bestimmten Ansichten erzeugt. Daten, die der Position der Ebene entsprechen, werden aus dem Volumen extrahiert. Die Daten werden verwendet, um ein Bild für die Ansicht zu erzeugen. Beispielsweise werden multiplanare Rekonstruktionsbilder aus den Ultraschalldaten erzeugt. Die Ebenen definieren die Daten, die für die Bildgebung zu verwenden sind. Daten, die zu Orten gehören, die jede Ebene kreuzen oder benachbart zu jeder Ebene sind, werden verwendet um ein zweidimensionales Bild zu erzeugen. Daten können interpoliert werden, um eine räumliche Ausrichtung zu der Ebene bereitzustellen, oder eine Auswahl des nächsten Nachbars kann verwendet werden. Die resultierenden Bilder werden erzeugt als Funktion der Orientierung der multiplanaren Rekonstruktion und liefern die gewünschten Ansichten. Die Bilder repräsentieren unterschiedliche Ebenen 44 durch die Volumenregion 40 hindurch.
-
Gemäß einem Ausführungsbeispiel werden spezifische Ansichten erzeugt. Alle oder ein Nebensatz der spezifischen Ansichten werden erzeugt. Wo Ebenen identifiziert werden, die den Ansichten entsprechen, können die Ansichten bereitgestellt werden. Beispielsweise werden alle verfügbaren standardmäßigen oder vorbestimmten Ansichten in Ultraschalldaten, die eine Region darstellen, bereitgestellt. Die Bilder für jede Ansicht können markiert sein (beispielsweise A4C) und/oder annotiert (beispielsweise hervorgehobene Klappe). Weniger als alle verfügbaren Ansichten können bereitgestellt werden, beispielsweise ein Anzeigen von nicht mehr als drei Ansichten und mit einer Prioritätsliste von Ansichten.
-
Gemäß einem Ausführungsbeispiel werden 326 echokardiographische Volumensequenzen gesammelt. Für jede Sequenz wird ein (ED) End-Diastol-Rahmen (ein 3D Volumen) extrahiert und in eine Experimentierdatenbank gegeben. Insgesamt gibt es 326 3D echokardiographische Volumina in der Datenbank. Für jedes Volumen werden sechs Standardebenen (A4C, A2C, A3C, SAXB, SAXM und SAXA) manuell durch Klinikexperten annotiert und as Grundwahrheit zur Evaluierung verwendet.
-
Um die Differenz zwischen zwei Ebenen zu messen, werden zwei Masse verwendet, also Winkel und Distanz. Der Winkel zwischen zwei Ebenen wird definiert als der Winkel zwischen zwei Ebenennormalen. Die Distanz zwischen zwei Ebenen wird als Distanz von einem Ankerpunkt auf eine Ebene zu der anderen Ebene gemessen, wobei der Ankerpunkt das LV Zentrum ist (für A4C, A3C A2C und SAXM) oder der Kreuzungspunkt ist zwischen der LV Langachse und MPR (für SAXB und SAXA). Basierend auf den Grundwahrheitsannotierungen wird die LV Langachse berechnet als der Durchschnitt der zwei Kreuzungspunkte von A4C-A2C und A4C-A3C und das LV Zentrum berechnet als der Kreuzungspunkt zwischen der LV Langachse und SAXM.
-
Ein 4-faches Kreuzvalidierungsschema wird zur Evaluierung verwendet. Der gesamte Datensatz von 326 Volumina wird zufällig in vier Viertel partitioniert. Für jedes Experiment wurden drei Viertel (244 Volumina) kombiniert für ein Training und das verbleibende eine Viertel (82 Volumina) wurde verwendet als ungesehene Daten für ein Testen.
-
Insgesamt gab es vier Experimente, so dass jedes Volumen einmal zum Testen verwendet wurde. Die MPR Automatikeffizienz wurde summiert basierend auf allen 4 Fällen und in der folgenden Tabelle 1 bereitgestellt. MPRs in 3D Echokardiographiedaten präsentieren Ungenauigkeiten aufgrund der Datenqualität, was zu Schwierigkeiten für eine genaue Identifikation führt.
-
Eine vorläufige Intra-Benutzer-Variabilitätsanalyse ergibt einen durchschnittlichen Winkelfehler von ungefähr 8,2 Grad und einen durchschnittlichen Distanzfehler von ungefähr 3,2 mm. (a) Gesamtperformance
| | durchschnittlicher Winkelfehler | durchschnittlicher Distanzfehler |
| Mittelwert | 11,3 | 3,7 |
| Standardabweichung | 8,0 | 2,1 |
| Median | 9,3 | 3,3 |
(b) Performance-Einbruch (Apikal-Ebenen)
| | A4C | A2C | A3C |
| | Winkel | Distanz | Winkel | Distanz | Winkel | Distanz |
| Mittelwert | 13,2 | 3,5 | 15,2 | 2,9 | 14,5 | 3,4 |
| Standardabweichung | 12,5 | 3,4 | 13,0 | 2,8 | 13,2 | 3,9 |
| Median | 10,4 | 2,7 | 11,6 | 2,2 | 10,9 | 2,3 |
(c) Performance-Einbruch (Kurzachs-Ebenen)
| | SAXB | SAXM | SAXA |
| | Winkel | Distanz | Winkel | Distanz | Winkel | Distanz. |
| Mittelwert | 8,2 | 3,6 | 8,2 | 4,3 | 8,2 | 4,5 |
| Standardabweichung | 6,2 | 3,1 | 6,2 | 3,5 | 6,2 | 3,5 |
| Median | 6,8 | 2,9 | 6,8 | 3,7 | 6,9 | 3,7 |
-
Dieses automatisierte System kann signifikant die Belastung zum Suchen anatomischer Strukturen für menschliche Echogradiografieuntersucher über eine große Vielzahl von unterschiedlichen Volumina hinweg reduzieren. Mit den detektierten standardmäßigen MPRs kann eine gute quantitative Analyse automatisch durchgeführt werden, beispielsweise eine ventrikuläre Auswurffraktionsanalyse (EF Analyse).
-
Gemäß einem anderen Ausführungsbeispiel werden die Ankerpunkt-basierten Verfahren und System bereitgestellt für eine automatische Ebenendetektion aus 3D Echokardiographiedaten.
-
Eine genaue und robuste Detektion von anatomischen Strukturen kann eine automatische quantitative Analyse der Herzfunktion in der klinischen Routinepraxis von 3D Echokardiographie erlauben. Standardebenen sind der Startpunkt vieler klinischer Untersuchungen. In dem ankerpunkt-basierten Ansatz werden standardmäßige multiplanare reformierterte/Rekonstruktions(MPR) Ebenen detektiert aus einem 3D Echokardiographievolumen, mit einer Ebenenorientierung, die von den Ankerpunkten abgeleitet werden, ohne einem Suchen in dem Großorientierungsraum.
-
Da drei nicht kollineare Punkte ausreichend sind, um eine Ebene in einem dreidimensionalen Raum zu bestimmen, anstatt einem Suchen des Orientierungsraums, werden detektierte Ankerpunkte verwendet, um die Orientierung der Zielebene. Die gleiche Strategie kann verwendet werden, um die Skalierung der anatomischen Strukturen, die von Interesse sind, zu schätzen.
-
Eine Ebene wird dargestellt als ein Punkt (p) auf der Ebene und als die Normale der Ebene (n).
-
Bei drei gegebenen detektierten Ankerpunkten (p1, p2 und p3) auf einer Ebene, können die Ebenenparameter (p, n) wie folgt berechnet werden: n = (p3 – p1)×(p2 – p1), p = (p1 + p2 + p3)/3, (oder irgendein Punkt auf der Ebene) wobei x das Kreuzprodukt angibt.
-
Ankerpunkte werden aus den 3D Volumina detektiert unter Verwendung eines datenbankbetriebenen, wissensbasierten Ansatzes. Das Wissen wird gelernt durch große Volumendatentrainingsspeicher, in denen klinische Experten zuverlässig die standardmäßigen MPR Ebenen annotieren durch wissensbasierte Ansätze, zusammen mit Ankerpunkten, die anatomischen Bedeutungen haben. MPR Ebenen teilen gemeinsame Merkmale. Für drei Apikal-MPR-Hauptebenen (also A4C, A2C und A3C) annotieren Klinikexperten insgesamt sieben Ankerpunkte, nämlich Apex, Basalinferoseptalpunkt, Basalanterolateralpunkt, Basalinferiorpunkt, Basalanteriorpunkt, Basalinferolateralpunkt und Basalanteroseptalpunkt. Beispielsweise kann die A4C Ebene bestimmt werden durch Apex, den Basalinferoseptalpunkt und den Basaanterolateralpunkt. Obwohl drei nicht kollineare Ankerpunkte eine minimale Voraussetzung sind, um eine Ebene zu bestimmen, können mehr Ankerpunkte zusammen mit einem Ebeneneinpassalgorithmus und/oder Ankerpunktauswahlschemen angewendet werden, um die Störungsrobustheit gegenüber Rauschen und Sonderfällen zu verbessern.
-
Ein Model/Detektor wird für jeden Ankerpunkt angelernt. Der Ankerpunkt-Detektor wird trainiert auf einen großen Satz von registrierten 3D Echokardiographievolumina, die verwendet werden, um zu bestimmen, ob ein gegebenes Sub-Volumensample positiv oder negativ ist. Positive Sample sind das Sub-Volumen, das an den Zielankerpunkten zentriert ist, während Negative ausgewählt werden durch Extrahieren von Sub-Volumina, die von den positiven Sampeln mit einer vordefinierten Toleranz in dem Transaktionsraum beabstandet sind.
-
Ein wahrscheinlichkeitstheoretischer Boosting-Tree (PBT) oder ein andere Algorithmus wird verwendet, um jeden Ankerpunkt-Detektor zu konstruieren. Unterschiedliche Algorithmen können verwendet werden für unterschiedliche Ankerpunkte. Gemäß einem Beispiel ist der Klassifizierer eine baumbasierte Struktur, mit der vorherige Wahrscheinlichkeiten des Vorhandenseins des Ankerpunkts aus gegebenen Daten berechnet werden können. Jeder Ankerpunkt-Detektor liefert nicht nur eine binäre Entscheidung für ein gegebenes Sample, sondern auch einen zuverlässigen Wert, der zu der Entscheidung gehört. Die Knoten in dem Baum werden konstruiert durch nicht lineare Kombination von einfachen Klassifizierern unter Verwendung von Boosting-Techniken.
-
Jeder Ankerpunkt-Detektor wählt einen Satz von unterscheidenden Merkmalen, die verwendet werden, um den Ziel-Ankerpunkt von Negativen aus einem großen Merkmalspool zu unterscheidenden Haar-Wavelet ähnliche Merkmale, die einen übervollständigen Merkmalspool bilden und unter Verwendung von integralen bildbasierten Techniken effizient berechnet werden können, werden verwendet, aber andere Merkmale können verwendet werden. Aufgrund der inkonsistenten Bildgebungsbedingungen von Ultrasschall in wirklichen Anwendungen, können die Merkmale innerhalb jedes Samples normalisiert werden, beispielsweise durch Subtrahieren des Mittelwerts und Teilen durch die Standardabweichung.
-
Ein Onlinedetektionsalgorithmus veranlasst die Modelle die Ankerpunkte zu detektieren und verwendet die detektierten Ankerpunkte, um die MPR Zielebenen herzuleiten. Für jeden Ankerpunkt müssen nur die Translationsparameter geschätzt werden, um die MPR Ebenen herzuleiten, was dramatisch den Parametersuchraum (keine Orientierung) reduziert.
