DE10255525B4 - Automatisierte Lungenknotensegmentierung mittels dynamischer Programmierung und auf EM basierender Klassifizierung - Google Patents

Automatisierte Lungenknotensegmentierung mittels dynamischer Programmierung und auf EM basierender Klassifizierung Download PDF

Info

Publication number
DE10255525B4
DE10255525B4 DE10255525A DE10255525A DE10255525B4 DE 10255525 B4 DE10255525 B4 DE 10255525B4 DE 10255525 A DE10255525 A DE 10255525A DE 10255525 A DE10255525 A DE 10255525A DE 10255525 B4 DE10255525 B4 DE 10255525B4
Authority
DE
Germany
Prior art keywords
boundary
node
discontinuities
model
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE10255525A
Other languages
English (en)
Other versions
DE10255525A1 (de
Inventor
Ravi Bansal
Ning Champaign Xu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Corp
Original Assignee
Siemens Corporate Research Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Corporate Research Inc filed Critical Siemens Corporate Research Inc
Publication of DE10255525A1 publication Critical patent/DE10255525A1/de
Application granted granted Critical
Publication of DE10255525B4 publication Critical patent/DE10255525B4/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/143Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • G06T2207/30064Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

Verfahren zum automatischen Segmentieren von Lungenknoten in einem dreidimensionalen (3-D) Computertomografie(CT)-Volumsdatensatz, umfassend die Schritte:
das Empfangen einer Eingabe, welche einem von einem Benutzer gewählten Punkt nahe einer Grenze eines Knotens entspricht;
das Konstruieren eines Modells des Knotens von dem von einem Benutzer gewählten Punkt aus, wobei das Modell ein verformbarer Kreis ist, welcher einen Satz Parameter β aufweist, die eine Gestalt des Knotens darstellen;
dadurch gekennzeichnet, dass weitere Verfahrensschritte
das Schätzen kontinuierlicher Teile der Grenze und von Diskontinuitäten der Grenze, bis der Satz Parameter β konvergiert, durch Verwendung von dynamischer Programmierung und Erwartungsmaximierung (EM); und
das Segmentieren des Knotens ausgehend von Schätzungen der kontinuierlichen Teile der Grenze und der Diskontinuitäten der Grenze
sind.

Description

  • HINTERGRUND DER ERFINDUNG Technisches Gebiet
  • Die vorliegende Erfindung betrifft im Allgemeinen die medizinische Bildgebung und im Besonderen ein Verfahren zum automatischen Segmentieren von Lungenknoten mittels dynamischer Programmierung und Erwartungsmaximierungs(EM)-Klassifizierung.
  • Die Sterblichkeit infolge von Lungenkrebs ist landesweit die Hauptursache für Tod durch Krebs. Eine der Hauptursachen für eine derart hohe Sterblichkeitsrate ist die Tatsache, daß es überaus schwierig ist, bösartige Lungenknoten zu erkennen. Für gewöhnlich ist es zu jenem Zeitpunkt, zu dem Knoten erkannt werden, zu spät, die Knoten sind für eine wirksame Heilung zu groß oder zu weit fortgeschritten. Demnach besteht ein Bedarf an Lungenscreening mit der Aufgabe der Früherkennung des bösartigen Lungenknotens in einem Stadium, in dem dieser wirksam behandelt werden kann. Lange griff man auf herkömmliche Bruströntgen(CXR)-Aufnahmen zurück. CXR werden von Carreira et al. in "Computer-aided Lung Nodule Detection in Chest Radiography", Lecture notes in Computer Science, Image Analysis Applications and Computer Graphics, 1024, S. 331–38, 1995; und von Braum van Ginneken in "Computer-aided Diagnosis in Chest Radiography", Dissertation, Universität Utrecht, 1970, beschrieben. Allerdings sind CXR von beschränktem Nutzen, da mittels CXR nur große Lungenknoten erkannt werden können. Mit den Fortschritten in der Röntgenstrahl-Computertomografie(CT)-Technik gibt es ein Potential für das Screening von Knoten, welche bösartig sein können. Mittels Dünnschnitt-Mehrschicht-Schraubenlinien-CT-Scans (hCT) ist es nun möglich, Knoten mit einem Durchmesser von nur 3 mm zu erkennen. Die Verwendung von hCT-Scans wird von Aberle et al. in "Model-based Segmentation Architecture for Lung Nodule Detection in CT", Radiology, 217(P), 2000; und von Aberle et al. in "Computer-aided Method for Lung Micronodule Detection in CT", Radiology, 217(P), 2000, beschrieben. Die Verwendung eines Hochauflösungs-CT(HRCT)-Bilddatensatzes ermöglicht die Durchführung quantitativer Messungen, beispielsweise von Größe, Gestalt und Dichte, für jeden Knoten. Allerdings führt jeder Schraubenlinien-CT-Scan eines Patienten zu einem Volumen, welches aus 500 bis 600 Schichten mit 512 × 512 Voxel je Schicht besteht. Somit können die Vorteile, die durch Hochauflösungs-CT gegenüber CXR gewonnen werden, ohne die Hilfe effizienter Bildanalyse- und -interpretationsverfahren rasch wieder verloren gehen. Die computergestützte Knotenerkennung hat bereits die Art, auf welche das Lungenkrebsscreening durchgeführt wird, durch Bereitstellen besserer Visualisierungs-, Erkennungs- und Charakterisierungsmöglichkeiten von Lungenknoten verwandelt. Die computergestützte Knotenerkennung wird von Aberle et al. in "Computer-aided Method for Lung Micronodule Detection in CT", Radiology, 217(P), 2000; von Kostis et al. in "Computer-aided Diagnosis of Small Pulmonary Nodules", Seminars in Ultrasound, CT, and MRI, 21(2), S. 116–28, 200; von Fan et al. in "Automatic Detection of Cellular Necrosis in Epithelial Cell Cultures", SPIE Medical Imaging, Feb. 2001; und von Jacobson et al. in "Evaluation of Segmentation Using Lung Nodule Phantom CT images", SPIE Medical Imaging, Feb. 2001, beschrieben.
  • Physikalische Eigenschaften der Knoten wie Wachstumsrate, Verkalkungsmuster und Art von Begrenzungen sind bei der Untersuchung der solitären Lungenknoten von großer Wichtigkeit. Jeder Lungenknoten wächst im Lauf der Zeit dem Volumen nach. Allerdings wachsen die bösartigen Knoten mit einer exponentiellen Rate, welche für gewöhnlich als Verdoppelungszeit eines Tumors zum Ausdruck gebracht wird. Bösartige Knoten weisen eine Verdoppelungszeit zwischen 25 und 450 Tagen auf, wohingegen die gutartigen Knoten stabil sind und eine Verdoppelungszeit von mehr als 500 Tagen aufweisen. Neben der Wachstumsrate der Knoten ist das Verkalkungsmuster ein bedeutendes Indiz dafür, ob der Knoten gut- oder bösartig ist. Knoten, die zentral oder diffus verkalkt sind, sind für gewöhnlich gutartig.
  • Ehe die Knoten charakterisiert werden können, ist es erforderlich, sie im Volumen des 3-D-CT-Bilddatensatzes, welcher erfaßt wird, zu erkennen. Die händische Erkennung von Lungenknoten, welche bei der Verwendung von CXR möglich war, ist nicht mehr möglich. Es ist notwendig, über automatisierte Werkzeuge zu verfügen, welche imstande sind, einen Arzt dabei zu unterstützen, die Knoten rasch zu erkennen. Eine Reihe automatisierter Lungenknotensysteme wurden bereits vorgeschlagen, wie von Cabello et al. in "Computeraided Diagnosis: A Neural Network Based Approach to Lung Nodule Detection", IEEE Transactions on Medical Image, 17(6), S. 872–80, 1998; von Hara et al. in "Nodule Detection on Chest Helical CT Scans by Using a Genetic Algorithm", Proceedings of the 1997 IASTED International Conference on Intelligent Information, 1997; von Aberle et al. in "Computer-aided Method for Lung Micronodule Detection in CT", Radiology, 217(P), 2000; von Fan et al. in "Automatic Detection of Cellular Necrosis in Epithelial Cell Cultures", SPIE Medical Imaging, Feb. 2001; von Cox et al. in "Experiments in Lung Cancer Nodule Detection Using Texture Analysis and Neural Network Classifiers", auf citeseer.nj.nec.com/cox92experiments.html, 1992; von Gonzalez et al. in "Application of Computer-performed Holographic Recognition to Lung Nodule Detection and Evaluation in Thoracic CT Scans", European Congress of Radiology (ECR), 2000; von Kanazawa et al. in "Computer-aided Diagnosis of Pulmonary Nodules Bases on Helical CT Images, Comput. Med. Imaging Graph., 22, S. 157–67, 1998; und von Armato et al. in „Three-dimensional Approach to Lung Nodule Detection in Helical CT", SPIE Medical Imaging, 3661, S. 553–59, 1999, beschrieben wird. Insbesondere sind in diesem Zusammenhang "Active Contour"-Verfahren unter Verwendung von dynamischer Programmierung (vgl. G.A. Giraldi et al., „Improving the original Dual-T-Snakes model", 2001 Proceedings of XIV. Brazilian Symposium on Computer Graphics and Image Processing, 15.–18. Okt. 2001; S. 346–353) und Erwartungsmaximierung (W.M. Wells III et al., „Adaptive Segmentation of MRI data", IEEE Transactions on Medical Imaging, Vol. 15 No. 4, Aug. 1996, S. 429–442) bekannt. Während es sich bei der automatisierten Erkennung der Lungenknoten um eine äußerst wichtige Aufgabe handelt, stellt das Segmentieren der Knoten, nachdem sie erkannt wurden, eine gleichermaßen herausfordernde Aufgabe dar. Die Schwierigkeit der Aufgabe ist durch die Tatsache begründet, dass einige der Knoten an der Brustwand oder an den Lungengefäßen anliegen können. Eine genaue und einheitliche Segmentierung des Lungenknotens in im Verlauf der Zeit erfassten CT-Volumsdatensätzen ist erforderlich, um die Wachstumsrate der Knoten zu untersuchen und somit vorherzusagen, ob der Knoten bös- oder gutartig ist.
  • Demzufolge wäre es erstrebenswert und höchst vorteilhaft, über ein Verfahren zum automatischen Segmentieren von Lungenknoten zu verfügen, welches imstande ist, nicht nur solitäre Knoten, sondern auch an Lungenwänden und Gefäßen befestigte Knoten einheitlich und solide zu segmentieren.
  • KURZDARSTELLUNG DER ERFINDUNG
  • Die oben angeführten Probleme wie auch andere verwandte Probleme des Standes der Technik werden durch die vorliegende Erfindung, ein Verfahren zum automatischen Segmentieren von Lungenknoten mittels dynamischer Programmierung und Erwartungsmaximierungs(EM)-Klassifizierung, das Diskontinuitäten der Grenzkurve berücksichtigt, gelöst.
  • Gemäß einem Aspekt der vorliegenden Erfindung wird ein Verfahren zum automatischen Segmentieren von Lungenknoten in einem dreidimensionalen (3-D) Computertomografie(CT)-Volumsdatensatz bereitgestellt. Eine Eingabe wird empfangen, welche einem von einem Benutzer gewählten Punkt nahe einer Grenze eines Knotens entspricht. Ein Modell des Knotens wird von dem vom Benutzer gewählten Punkt aus konstruiert, wobei das Modell ein verformbarer Kreis ist, welcher einen Satz Parameter β aufweist, die eine Form des Knotens darstellen. Kontinuierliche Teile der Grenze und Diskontinuitäten der Grenze werden unter Verwendung dynamischer Programmierung und Erwartungsmaximierung (EM) geschätzt, bis der Satz Parameter β konvergiert. Der Knoten wird ausgehend von Schätzungen der kontinuierlichen Teile der Grenze und der Diskontinuitäten der Grenze segmentiert.
  • Gemäß einem anderen Aspekt der vorliegenden Erfindung ist der Satz Parameter β = [O, s]T, wobei O eine Position des Modells, s eine Skale des Modells und T eine Transponierung eines Vektors, welcher der Position O und der Skale s des Modells entspricht, ist.
  • Gemäß noch einem weiteren Aspekt der vorliegenden Erfindung umfaßt das Verfahren weiterhin den Schritt des Darstellens der Grenze als eine Summe B, wobei B = (UiBci)U(UiBdj), wobei Bci kontinuierliche Teile der Grenze darstellt und Bdj Diskontinuitäten der Grenze darstellt.
  • Gemäß noch einem weiteren Aspekt der vorliegenden Erfindung umfaßt der Schritt des Schätzens die folgenden Schritte. Die kontinuierlichen Teile Bci der Grenze werden ausgehend von einer Maximum-a-posteriori(MAP)-Schätzung gemäß einer Gleichung Bci = arg maxBci P(BciζI, β) geschätzt, wobei I eine Schicht vom 3-D-CT-Volumsdatensatz ist. Eine MAP-Dichte wird als P(BciζI, β) = 1/z exp (Eβ(Bci)) geschätzt, wobei Eβ(Bci) eine Summe aus internen Gestalts- und externen Bildenergien und z eine Normierungskonstante ist. Die Summe aus internen Gestalts- und externen Bildenergien Eβ(Bci) wird mittels eines zeitverzögerten diskreten dynamischen Programmierverfahrens minimiert. Die kontinuierlichen Teile Bci der Grenze werden verbunden, um eine Schätzung der Diskontinuitäten Bdi der Grenze zu erhalten. Der Satz Parameter β wird auf der Grundlage eines Kreisanpassungsverfahrens, das auf die kontinuierlichen Teile Bci und die Diskontinuitäten Bdj der Grenze angewandt wird, aktualisiert.
  • Gemäß einem weiteren Aspekt der vorliegenden Erfindung umfaßt der Schritt des Konstruierens den Schritt des Erhöhens eines Radius des verformbaren Kreises, bis der Radius Hochgradientenpunkte im 3-D-CT-Volumsdatensatz berührt.
  • Gemäß noch einem weiteren Aspekt der vorliegenden Erfindung umfaßt das Verfahren weiterhin den Schritt des Vorverarbeitens einer Interessensregion, welche den vom Benutzer gewählten Punkt umgibt, mittels eines auf Erwartungsmaximierung (EM) basierenden Verfahrens, um dadurch eine Verkalkung zu klassifizieren und aus der Interessensregion zu entfernen.
  • Gemäß einem zusätzlichen Aspekt der vorliegenden Erfindung entfernt der Schritt des Vorverarbeitens die Hochgradientenpunkte, welche aus der Verkalkung des Knotens resultieren.
  • Diese und andere Aspekte, Merkmale und Vorteile der vorliegenden Erfindung gehen deutlich aus der folgenden ausführlichen Beschreibung bevorzugter Ausführungsformen hervor, welche in Zusammenschau mit den beiliegenden Zeichnungen zu lesen ist.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • 1 ist ein Blockdiagramm eines Computerverarbeitungssystems 100, auf welches die vorliegende Erfindung gemäß einer veranschaulichenden Ausführungsform davon angewandt werden kann;
  • 2 ist ein Flußdiagramm, welches ein Verfahren zum Segmentieren von Lungenknoten aus Computertomografie(CT)-Volumsschichten gemäß einer veranschaulichenden Ausführungsform der vorliegenden Erfindung veranschaulicht;
  • 3 ist ein Flußdiagramm, welches ein Verfahren zum Segmentieren von Lungenknoten aus Computertomografie(CT)-Volumsschichten gemäß einer anderen veranschaulichenden Ausführungsform der vorliegenden Erfindung veranschaulicht;
  • 4 ist eine Abfolge von Bildern, welche Resultate veranschaulichen, die durch die vorliegende Erfindung erhalten wurden, wobei eine Interessensregion nicht mittels des EM-Algorithmus vorverarbeitet wurde, gemäß einer veranschaulichenden Ausführungsform der vorliegenden Erfindung; und
  • 5 ist eine Abfolge von Bildern, welche Resultate veranschaulichen, die durch die vorliegende Erfindung erhalten wurden, wobei eine Interessensregion mittels des EM-Algorithmus vorverarbeitet wurde, gemäß einer veranschaulichenden Ausführungsform der vorliegenden Erfindung.
  • AUSFÜHRLICHE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
  • Die vorliegende Erfindung betrifft ein Verfahren zum automatischen Segmentieren von Lungenknoten mittels dynamischer Programmierung und Erwartungsmaximierungs(EM)-Klassifizierung.
  • Es versteht sich, daß die vorliegende Erfindung in verschiedenen Formen von Hardware, Software, Firmware, Spezialprozessoren oder einer Kombination daraus implementiert werden kann. Vorzugsweise wird die vorliegende Erfindung als Kombination aus Hardware und Software implementiert. Überdies wird die Software vorzugsweise als Anwendungsprogramm implementiert, welches faßbar auf einer Programmspeichervorrichtung ausgeführt ist. Das Anwendungsprogramm kann in eine Maschine, welche jedwede geeignete Architektur umfaßt, hochgeladen und von dieser ausgeführt werden. Vorzugsweise ist die Maschine auf einer Rechnerplattform implementiert, welche Hardware, beispielsweise eine oder mehrere Zentraleinheiten ("CPU"), einen Direktzugriffsspeicher ("RAM") und (eine) Eingangs/Ausgangs-("I/O")-Schnittstelle(n), aufweist. Die Rechnerplattform umfaßt auch ein Betriebssystem und einen Mikrobefehlscode. Die verschiedenen in diesem Dokument beschriebenen Vorgänge und Funktionen können entweder ein Teil des Mikrobefehlscodes oder ein Teil des Anwendungsprogramms (oder eine Kombination daraus) sein, welcher über das Betriebssystem ausgeführt wird. Darüber hinaus können verschiedene andere Peripherieeinheiten an die Rechnerplattform angeschlossen sein, beispielsweise eine zusätzliche Datenspeichervorrichtung und eine Druckvorrichtung.
  • Weiterhin versteht es sich, daß sich, da einige der konstituierenden Systemkomponenten und Verfahrensschritte, die in den beiliegenden Figuren abgebildet sind, vorzugsweise in Software ausgeführt sind, die tatsächlichen Verbindungen zwischen den Systemkomponenten (oder den Verfahrensschritten) je nach der Art, in der die vorliegende Erfindung programmiert ist, unterscheiden können. In Anbetracht der in diesem Dokument enthaltenen Lehren sind Durchschnittsfachleute in der Lage, diese und ähnliche Implementierungen oder Konfigurationen der vorliegenden Erfindung in Erfindung zu ziehen.
  • 1 ist ein Blockdiagramm eines Computerverarbeitungssystems 100, auf welches die vorliegende Erfindung gemäß einer veranschaulichenden Ausführungsform davon angewandt werden kann. Das Computerverarbeitungssystem 100 umfaßt zumindest einen Prozessor (CPU) 102, welcher über einen Systembus 104 wirkend mit anderen Komponenten gekoppelt ist. Ein Nur-Lese-Speicher (ROM) 106, ein Direktzugriffsspeicher (RAM) 108, ein Bildschirmadapter 110, ein I/O-Adapter 112 und ein Benutzerschnittstellenadapter 114 sind ebenfalls wirkend an den Systembus 104 gekoppelt.
  • Eine Bildschirmeinheit 116 ist über den Bildschirmadapter 110 wirkend an den Systembus 104 gekoppelt. Eine Plattenspeichereinheit (beispielsweise eine magnetische oder optische Plattenspeichereinheit) 118 ist über den I/O-Adapter 112 wirkend an den Systembus 104 gekoppelt.
  • Eine Maus 120 und eine Tastatur 122 sind über den Benutzerschnittstellenadapter 114 wirkend an den Systembus 104 gekoppelt. Die Maus 120 und die Tastatur 122 können verwendet werden, um Informationen in das Computerverarbeitungssystem 100 einzugeben bzw. daraus auszugeben.
  • Die vorliegende Erfindung sieht ein solides und automatisiertes Verfahren zum Segmentieren von Lungenknoten in einem dreidimensionalen (3-D) Computertomografie(CT)-Volumsdatensatz vor. Knoten werden Schicht für Schicht heraussegmentiert. Das heißt, daß wir zunächst jede CT-Schicht getrennt verarbeiten, um zweidimensionale(2-D)-Konturen eines Knotens zu extrahieren, welche dann aneinander gestapelt werden können, um die gesamte 3-D-Oberfläche zu erhalten. Die extrahierten 2-D-Konturen sind optimal, da wir uns eines Optimierungsalgorithmus auf der Basis dynamischer Programmierung bedienen. Um jede 2-D-Kontur zu extrahieren, bedienen wir uns einer Einschränkung auf Gestaltbasis; das heißt, wir konstruieren zunächst von einem vom Benutzer (z.B. Arzt) angegebenen Punkt auf der Knotengrenze aus einen Kreis. Dieser Ausgangskreis liefert uns eine grobe Initialisierung des Knotens, von wo aus unser auf dynamischer Programmierung basierender Algorithmus die optimale Kontur schätzt. Da ein Knoten verkalkt sein kann, vorverarbeiten wir eine kleine Interessensregion rund um den vom Arzt gewählten Punkt auf der Knotengrenze mittels des auf Erwartungsmaximierung (EM) basierenden Algorithmus, um die Verkalkung zu klassifizieren und zu entfernen. Vorteilhafterweise kann die vorliegende Erfindung dazu verwendet werden, nicht nur solitäre Knoten sondern auch Knoten, die an Lungenwänden und Gefäßen befestigt sind, einheitlich und solide zu segmentieren.
  • 2 ist ein Flußdiagramm, welches ein Verfahren zum Segmentieren von Lungenknoten aus Computertomografie(CT)-Volumsschichten gemäß einer veranschaulichenden Ausführungsform der vorliegenden Erfindung veranschaulicht.
  • Eine Eingabe wird empfangen, welche einem vom Benutzer ausgewählten Punkt nahe einer Grenze eines Knotens entspricht (Schritt 210). Eine Interessensregion, welche den vom Benutzer gewählten Punkt umgibt, wird mittels Erwartungsmaximierung (EM) vorverarbeitet, um Verkalkung zu klassifizieren und zu entfernen (Schritt 220). Ein verformbares, kreisrundes Modell des Knotens wird von dem vom Benutzer gewählten Punkt aus konstruiert (Schritt 230). Das Modell weist einen Satz Parameter β auf, welche eine Gestalt des Knotens darstellen.
  • Schätzungen der kontinuierlichen Teile und der Diskontinuitäten der Grenze werden erhalten und dann aktualisiert, bis der Satz Parameter β konvergiert, durch Verwendung dynamischer Programmierung und Erwartungsmaximierung (Schritt 240). Der Knoten wird auf der Grundlage von Schätzungen der kontinuierlichen Teile und der Diskontinuitäten der Grenze segmentiert (Schritt 250).
  • 3 ist ein Flußdiagramm, welches ein Verfahren zum Segmentieren von Lungenknoten aus Computertomografie(CT)-Volumsschichten gemäß einer anderen veranschaulichenden Ausführungsform der vorliegenden Erfindung veranschaulicht.
  • Eine Eingabe wird empfangen, welche einem von einem Benutzer ausgewählten Punkt nahe einer Grenze eines Knotens entspricht (Schritt 310). Eine Interessensregion, welche den vom Benutzer gewählten Punkt umgibt, wird mittels Erwartungsmaximierung (EM) vorverarbeitet, um Verkalkung zu klassifizieren und zu entfernen (Schritt 315). Ein Modell des Knotens wird von dem vom Benutzer gewählten Punkt aus konstruiert, um einen Satz Parameter β zu initialisieren, welche die Gestalt des Knotens darstellen (Schritt 320). Insbesondere wird der Knoten als verformbarer Kreis in 2-D-Schichten modelliert. Das Modell berücksichtigt die Gestalt des Knotens, die Position des Knotens sowie Kontinuitäten und Diskontinuitäten in den Grenzen des Knotens. Gehen wir davon aus, daß β = [O, s]T, wobei O die Position des Modells, s die Skale des Modells und T die Transponierung eines Vektors, welcher der Position O und der Skale s des Modells entspricht, ist.
  • Da der Knoten an einer Lungenwand oder an Blutgefäßen befestigt sein kann, liegen in den Knotengrenzen zahlreiche Diskontinuitäten vor. Eine Realisierung B einer Grenze des Knotens wird durch eine Summe B = (UiBci)U(UiBdj) dargestellt, wobei Bci den kontinuierlichen Teil der Grenze und Bdj die Diskontinuitäten der Grenze darstellt (Schritt 330).
  • Sowohl die Kontinuitäten Bci als auch die Diskontinuitäten Bci werden durch Verwendung einer iterativen Schleife geschätzt (Schritt 340). Die Schleife umfaßt die Schritte 340a bis 340f.
  • Durch Verwendung dieses β wird die Grenze des Knotens gemäß einem Kriterium, das auf den Bilddaten des 3-D-CT-Volumsdatensatzes beruht, in einen kontinuierlichen Teil Bci und einen diskontinuierlichen Teil Bci geteilt (Schritt 340a).
  • Für jeden kontinuierlichen Teil Bci wird eine Maximum-a-posteriori(MAP)-Schätzung gemäß der Gleichung Bci = arg maxBci P(BciζI, β) verwendet, wobei I die Schicht vom CT-Volumsdatensatz ist (Schritt 340b). Eine MAP-Dichte wird als P(BciζI, β) = 1/z exp (Eβ(Bci)) geschätzt, wobei Eβ(Bci) die Summe aus internen Gestalts- und externen Bildenergien und z eine Normierungskonstante ist (welche auch als "Partitionsfunktion" bezeichnet wird) (Schritt 340c). Die Summe aus den internen Gestalts- und externen Bildenergien Eβ(Bci) wird durch Verwendung eines zeitverzögerten diskreten dynamischen Programmierverfahrens minimiert (Schritt 340d).
  • Die geschätzten Bci werden dann verbunden, um eine Schätzung für Bdj zu erhalten (Schritt 340e). Diese geschätzten Bci und Bdj werden dann verwendet, um β anhand eines Kreisanpassungsverfahrens zu aktualisieren (Schritt 340f). Die Schritte 340a bis 340f werden wiederholt, bis β konvergiert (Schritt 350). Nach dem Konvergieren wird die Schleife beendet.
  • Eine Beschreibung des Vorverarbeitens mittels eines auf EM basierenden Verfahrens wird nunmehr gemäß einer veranschaulichenden Ausführungsform der vorliegenden Erfindung bereitgestellt. Dieser Vorverarbeitungsschritt wird bei den Schritten 220 und 315 der Verfahren aus 2 bzw. 3 angewandt. Da der zunächst erstellte Kreis als eine Initialisierung der Knotengrenze verwendet wird, ist dieser Schritt ausschlaggebend. Der Radius des Kreises wird vergrößert, bis er auf Hochgradientenpunkte in diesem Bild trifft. Auf Grund der Verkalkung der Knoten werden im Knoten selbst Hochgradientenpunkte vorliegen, welche zu einer fehlerhaften Initialisierung führen. Um dieses Problem zu überwinden, vorverarbeiten wir eine Interessensregion rund um den ausgewählten Punkt unter Verwendung des Erwartungsmaximierungs(EM)-Algorithmus, um jedwede Verkalkung im Knoten zu entfernen. Der EM-Algorithmus wird von Dempster et al. in "Maximum Likelihood from Incomplete Data via EM Algorithm", J. Royal Statistical Soc., Ser. B, 39:1-38, 1977, beschrieben.
  • Eine Beschreibung von Testergebnissen der vorliegenden Erfindung wird nun gemäß einem veranschaulichenden Beispiel davon bereitgestellt. 4 ist eine Abfolge von Bildern, welche Ergebnisse darstellen, die von der vorliegenden Erfindung in einem Fall erhalten wurden, in dem eine Interessensregion nicht mittels des EM-Algorithmus vorverarbeitet wurde, gemäß einer veranschaulichenden Ausführungsform der vorliegenden Erfindung. Der vom Benutzer ausgewählte Punkt 410, der Ausgangskreis 420 und die geschätzte Knotengrenze 430 werden dargestellt. Diese Ergebnisse zeigen, daß die vorliegende Erfindung in der Lage ist, an Gefäßen befestigte Knoten zu segmentieren. Wenn allerdings ein Knoten verkalkt ist, kann die vorliegende Erfindung weniger als optimale Ergebnisse liefern. Demzufolge ist ein Vorverarbeiten der Interessensregion für das Erzielen geeigneter Ergebnisse durch die vorliegende Erfindung von Bedeutung.
  • 5 ist eine Abfolge von Bildern, welche Ergebnisse darstellen, die von der vorliegenden Erfindung in einem Fall erhalten wurden, in dem eine Interessensregion mittels des EM-Algorithmus vorverarbeitet wurde, gemäß einer veranschaulichenden Ausführungsform der vorliegenden Erfindung. Die obere Reihe von Bildern in 5 zeigt, daß die vorliegende Erfindung verwendet werden kann, um die an der Lungenwand befestigten Knoten zu segmentieren. Die geschätzte Knotengrenze 510 wird dargestellt. Beachten Sie, daß der Knoten sauber aus der Wand herausgeschnitten wurde. Die untere Reihe in 5 zeigt, daß die vorliegende Erfindung verwendet werden kann, um auch isolierte Knoten zu segmentieren.
  • Insgesamt stellt die vorliegende Erfindung einen automatisierten Lungenknotensegmentierungsalgorithmus bereit, wobei die Segmentierung des Knotens auf einer schichtweisen Basis von dem vom Arzt gewählten Ausgangspunkt aus durchgeführt wird. Die vorliegende Erfindung kann verwendet werden, um eine Vielfalt von Knoten, und zwar an einer Lungenwand befestigte Knoten, isolierte Knoten und an Gefäßen befestigte Knoten, zu segmentieren. Für jede Schicht benötigt der automatisierte Algorithmus, nach Vorverarbeitung mittels EM, lediglich ungefähr 1 Sekunde, um die optimale Kontur zu berechnen. Sobald die 2-D-Konturen eines Knotens aus dem CT-Volumsdatensatz heraussegmentiert wurden, kann der Oberflächenanpassungsalgorithmus verwendet werden, um eine Oberfläche anzupassen. Der Oberflächenanpassungsalgorithmus wird von Bernhard Geiger in "Three-Dimensional Modelling of Human Organs and ist Application to Diagnosis and Surgical Planning", Dissertation, INRIA, Nummer 2105, Frankreich, 1993, beschrieben. Selbstverständlich ist die vorliegenden Erfindung nicht auf den vorangehenden Oberflächenanpassungsalgorithmus beschränkt, und demzufolge können andere Oberflächenanpassungsalgorithmen verwendet werden, ohne vom Gedanken und Umfang der vorliegenden Erfindung abzuweichen.

Claims (8)

  1. Verfahren zum automatischen Segmentieren von Lungenknoten in einem dreidimensionalen (3-D) Computertomografie(CT)-Volumsdatensatz, umfassend die Schritte: das Empfangen einer Eingabe, welche einem von einem Benutzer gewählten Punkt nahe einer Grenze eines Knotens entspricht; das Konstruieren eines Modells des Knotens von dem von einem Benutzer gewählten Punkt aus, wobei das Modell ein verformbarer Kreis ist, welcher einen Satz Parameter β aufweist, die eine Gestalt des Knotens darstellen; dadurch gekennzeichnet, dass weitere Verfahrensschritte das Schätzen kontinuierlicher Teile der Grenze und von Diskontinuitäten der Grenze, bis der Satz Parameter β konvergiert, durch Verwendung von dynamischer Programmierung und Erwartungsmaximierung (EM); und das Segmentieren des Knotens ausgehend von Schätzungen der kontinuierlichen Teile der Grenze und der Diskontinuitäten der Grenze sind.
  2. Verfahren nach Anspruch 1, wobei der Satz Parameter β = [O, s]T, wobei O eine Position des Modells, s eine Skale des Modells und T eine Transponierung eines Vektors, wel cher der Position O und der Skale s des Modells entspricht, ist.
  3. Verfahren nach Anspruch 2, weiterhin umfassend den Schritt des Darstellens der Grenze als eine Summe B, wobei B = (UiBci)U(UiBdj), wobei Bci kontinuierliche Teile der Grenze und Bdj Diskontinuitäten der Grenze darstellt.
  4. Verfahren nach Anspruch 3, wobei der Schritt des Schätzens die folgenden Schritte umfasst: das Schätzen der kontinuierlichen Teile Bci der Grenze auf der Grundlage einer Maximum-a-posteriori(MAP)-Schätzung gemäß einer Gleichung Bci = arg maxBci P(BciζI, β), wobei I eine Schicht vom 3-D-CT-Volumsdatensatz ist; das Schätzen einer MAP-Dichte als P(BciζI, β) = 1/z exp (Eβ(Bci)), wobei Eβ(Bci) eine Summe aus internen Gestaltungs- und externen Bildenergien und z eine Normierungskonstante ist; das Minimieren der Summe aus internen Gestalts- und externen Bildenergien Eβ(Bci) mittels eines zeitverzögerten diskreten dynamischen Programmierverfahrens; das Verbinden der kontinuierlichen Teile Bci der Grenze, um eine Schätzung der Diskontinuitäten Bdj der Grenze zu erhalten; und das Aktualisieren des Satzes Parameter β auf der Grundlage eines Kreisanpassurgsverfahrens, welches auf die kontinu ierlichen Teile Bci und die Diskontinuitäten Bdj der Grenze angewandt wird.
  5. Verfahren nach Anspruch 1, wobei der Schritt des Konstruierens den Schritt des Vergrößerns eines Radius des verformbaren Kreises umfasst, bis der Radius Hochgradientenpunkte im 3-D-CT-Volumsdatensatz berührt.
  6. Verfahren nach Anspruch 5, weiterhin umfassend den Schritt des Vorverarbeitens einer Interessensregion, welche den von einem Benutzer gewählten Punkt umgibt, durch Verwendung eines auf Erwartungsmaximierung (EM) basierenden Verfahrens, um eine Verkalkung der Interessensregion zu klassifizieren und daraus zu entfernen.
  7. Verfahren nach Anspruch 6, wobei der Schritt des Vorverarbeitens die Hochgradientenpunkte, welche sich aus der Ver kalkung des Knotens ergeben, entfernt.
  8. Maschinenlesbare Programmspeichervorrichtung, welche faßbar ein Programm mit Anweisungen enthält, die durch die Maschine ausführbar sind, um Verfahrensschritte zum auto matischen Segmentieren von Lungenknoten in einem dreidimensionalen (3-D) Computertomografie(CT)-Volumsdatensatz gemäß eines Verfahrens nach einem der Ansprüche 1–7 durchzuführen.
DE10255525A 2001-11-29 2002-11-27 Automatisierte Lungenknotensegmentierung mittels dynamischer Programmierung und auf EM basierender Klassifizierung Expired - Fee Related DE10255525B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/998,768 US6882743B2 (en) 2001-11-29 2001-11-29 Automated lung nodule segmentation using dynamic programming and EM based classification
US09/998768 2001-11-29

Publications (2)

Publication Number Publication Date
DE10255525A1 DE10255525A1 (de) 2003-07-17
DE10255525B4 true DE10255525B4 (de) 2006-11-09

Family

ID=25545541

Family Applications (1)

Application Number Title Priority Date Filing Date
DE10255525A Expired - Fee Related DE10255525B4 (de) 2001-11-29 2002-11-27 Automatisierte Lungenknotensegmentierung mittels dynamischer Programmierung und auf EM basierender Klassifizierung

Country Status (2)

Country Link
US (1) US6882743B2 (de)
DE (1) DE10255525B4 (de)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7978887B2 (en) 2003-06-17 2011-07-12 Brown University Methods and apparatus for identifying subject matter in view data
JP5242052B2 (ja) * 2003-06-17 2013-07-24 ブラウン ユニバーシティ 投影データ中の構造体のモデル・ベース検出のための方法および装置
US7391893B2 (en) * 2003-06-27 2008-06-24 Siemens Medical Solutions Usa, Inc. System and method for the detection of shapes in images
WO2005055137A2 (en) * 2003-11-26 2005-06-16 Viatronix Incorporated Vessel segmentation using vesselness and edgeness
US20050110791A1 (en) * 2003-11-26 2005-05-26 Prabhu Krishnamoorthy Systems and methods for segmenting and displaying tubular vessels in volumetric imaging data
GB2414357A (en) * 2004-05-18 2005-11-23 Medicsight Plc Nodule boundary detection
GB2414295B (en) * 2004-05-20 2009-05-20 Medicsight Plc Nodule detection
US7627173B2 (en) * 2004-08-02 2009-12-01 Siemens Medical Solutions Usa, Inc. GGN segmentation in pulmonary images for accuracy and consistency
US7590271B2 (en) * 2004-10-28 2009-09-15 Siemens Medical Solutions Usa, Inc. System and method for automatic detection and localization of 3D bumps in medical images
JP2008541824A (ja) * 2005-05-23 2008-11-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 器官モデルの配置のための自動化された器官リンク付け
KR100948047B1 (ko) * 2006-06-29 2010-03-19 주식회사 메디슨 초음파 영상을 형성하는 초음파 시스템 및 방법
JP4493679B2 (ja) * 2007-03-29 2010-06-30 富士フイルム株式会社 対象領域抽出方法および装置ならびにプログラム
US20090060332A1 (en) * 2007-08-27 2009-03-05 Riverain Medical Group, Llc Object segmentation using dynamic programming
US7978191B2 (en) * 2007-09-24 2011-07-12 Dolphin Imaging Systems, Llc System and method for locating anatomies of interest in a 3D volume
US8165369B2 (en) * 2007-10-03 2012-04-24 Siemens Medical Solutions Usa, Inc. System and method for robust segmentation of pulmonary nodules of various densities
WO2009064715A1 (en) * 2007-11-14 2009-05-22 Auckland Uniservices Limited Method for multi-scale meshing of branching biological structures
US20090204338A1 (en) * 2008-02-13 2009-08-13 Nordic Bioscience A/S Method of deriving a quantitative measure of the instability of calcific deposits of a blood vessel
JP5301197B2 (ja) * 2008-04-11 2013-09-25 富士フイルム株式会社 断面画像表示装置および方法ならびにプログラム
US20110135181A1 (en) * 2008-08-26 2011-06-09 Jiayong Yan polynomial fitting based segmentation algorithm for pulmonary nodule in chest radiograph
US8218869B2 (en) * 2009-03-29 2012-07-10 Mitsubishi Electric Research Laboratories, Inc. Image segmentation using spatial random walks
US8824756B2 (en) * 2009-06-30 2014-09-02 University Of Utah Research Foundation Image reconstruction incorporating organ motion
JP5980490B2 (ja) * 2011-10-18 2016-08-31 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
US9158791B2 (en) 2012-03-08 2015-10-13 New Jersey Institute Of Technology Image retrieval and authentication using enhanced expectation maximization (EEM)
CN103345740B (zh) * 2013-06-13 2016-04-13 沈阳航空航天大学 基于多投影图像配准的肺结节检测方法
RU2656761C1 (ru) * 2017-02-09 2018-06-06 Общество С Ограниченной Ответственностью "Сибнейро" Способ и система сегментации изображений очагов легких
CN107665736B (zh) * 2017-09-30 2021-05-25 百度在线网络技术(北京)有限公司 用于生成信息的方法和装置
CN108537783B (zh) * 2018-04-02 2021-11-09 福建师范大学福清分校 一种基于em算法与贪心策略的红细胞序列样本分割方法
TWI783219B (zh) * 2020-04-01 2022-11-11 緯創資通股份有限公司 醫學影像辨識方法及醫學影像辨識裝置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141437A (en) * 1995-11-22 2000-10-31 Arch Development Corporation CAD method, computer and storage medium for automated detection of lung nodules in digital chest images
TW514513B (en) * 1996-02-06 2002-12-21 Deus Technologies Inc Method for the detection of lung nodule in radiological images using digital image processing and artificial neural network
US5987094A (en) * 1996-10-30 1999-11-16 University Of South Florida Computer-assisted method and apparatus for the detection of lung nodules
US6078680A (en) * 1997-07-25 2000-06-20 Arch Development Corporation Method, apparatus, and storage medium for detection of nodules in biological tissue using wavelet snakes to characterize features in radiographic images
US6766043B2 (en) * 2001-11-23 2004-07-20 R2 Technology, Inc. Pleural nodule detection from CT thoracic images

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GIRALDI, G.A.; STRAUSS, E.; OLIVEIRA, A.A.F.: "Improving the original Dual-T-Snakes model": Computer Graphics and Image Processing. 2001 Pro- ceedings of XIV Brazilian Symposium on, 15-18 Oct. 2001, pp.:346-353
GIRALDI, G.A.; STRAUSS, E.; OLIVEIRA, A.A.F.: "Improving the original Dual-T-Snakes model": Computer Graphics and Image Processing. 2001 Pro- ceedings of XIV Brazilian Symposium on, 15-18 Oct.2001, pp.:346-353 *
JOLESZ, F.A.: "Adaptive segmentation of MRI data": Medical Imaging, IEEE Transactions on: Volume 15, Issue 4, Aug. 1996, pp.:429-442
WELLS, W.M., III; GRIMSON, W.E.L.; KIKINIS, R.
WELLS, W.M., III; GRIMSON, W.E.L.; KIKINIS, R.; JOLESZ, F.A.: "Adaptive segmentation of MRI data":Medical Imaging, IEEE Transactions on: Volume 15, Issue 4, Aug. 1996, pp.:429-442 *

Also Published As

Publication number Publication date
US6882743B2 (en) 2005-04-19
US20030099391A1 (en) 2003-05-29
DE10255525A1 (de) 2003-07-17

Similar Documents

Publication Publication Date Title
DE10255525B4 (de) Automatisierte Lungenknotensegmentierung mittels dynamischer Programmierung und auf EM basierender Klassifizierung
US11961226B2 (en) Medical image recognition method, model training method, and computer device
DE69801562T2 (de) Selbst segmentierung/konturgewinnungsverfahren zur verwendung bei planung einer bestrahlungstherapiebehandlung
DE112019000708T5 (de) System zur segmentierung anatomischer strukturen bei der herz-cta unter verwendung vollständiger convolutional neural networks
DE112005000927B4 (de) Verfahren zur Netz-zu-Bild-Registrierung unter Anwendung von Raycasting
DE112004000381B4 (de) Verfahren zur Bereitstellung einer automatischen 3D-Läsionssegmentierung und von Läsionsmessungen
DE102005036412B4 (de) Verbesserte GGN-Segmentierung in Lungenaufnahmen für Genauigkeit und Konsistenz
US7058210B2 (en) Method and system for lung disease detection
DE69805209T2 (de) System und methode zur automatischen wegplanung
EP1191476B1 (de) Vorrichtung und Verfahren zur Berechnung einer zwei Abbildungen verbindenden Transformation
DE112005002190T5 (de) Volumetrische Tumorsegmentierung mithilfe eines gemeinsamen Raum-Intensitäts-Likelihood-Verhältnistest
DE102007046582A1 (de) System und Verfahren zum Segmentieren von Kammern eines Herzens in einem dreidimensionalen Bild
DE112020004049T5 (de) Krankheitserkennung aus spärlich kommentierten volumetrischen medizinischen bildern unter verwendung eines faltenden langen kurzzeitgedächtnisses
DE102006034358A1 (de) System und Verfahren zur Segmentierung der Koronararterie von Herz-CT-Volumen
DE102006017113A1 (de) Verfahren und Vorrichtung zum Detektieren von Gefäßgrenzen
DE10296836T5 (de) System zur Modellierung statischer und dynamischer dreidimensioner anatomischer Strukturen durch 3D-Modelle
DE102016107220B4 (de) Verfahren und System zur automatischen Abschätzung von Schermodul und Viskosität aus Scherwellen-Bildgebung
DE102006002914A1 (de) Mehrdimensionale Segmentierung basierend auf adaptiven begrenzenden Kasten- und Ellipsoid-Modellen
DE102004030084B4 (de) Computerimplementiertes Verfahren zur Segmentation von Lungenknoten
DE102006049193A1 (de) System und Verfahren zum Verfolgen von Rippenhinterteilen in Brust CT Volumina
DE102006017114A1 (de) Verfeinerte Segmentierung von Knoten für die computerunterstützte Diagnose
Ng et al. Medical image segmentation using watershed segmentation with texture-based region merging
DE112019004300T5 (de) Ähnlichkeitsbestimmungsvorrichtung, ähnlichkeitsbestimmungsverfahren und ähnlichkeitsbestimmungsprogramm
DE102005048524A1 (de) Verfahren und System zur Erkennung anatomischer Formen in einem CAD-System
EP3989172A1 (de) Verfahren zur erzeugung einer computerbasierten visualisierung von medizinischen 3d-bilddaten

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8320 Willingness to grant licences declared (paragraph 23)
8364 No opposition during term of opposition
8327 Change in the person/name/address of the patent owner

Owner name: SIEMENS CORP. (N. D. GES. D. STAATES DELAWARE), US

R081 Change of applicant/patentee

Owner name: SIEMENS CORP. (N. D. GES. D. STAATES DELAWARE), US

Free format text: FORMER OWNER: SIEMENS CORPORATE RESEARCH, INC., PRINCETON, N.J., US

Effective date: 20110214

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee