DE102011002927A1 - Verfahren und Recheneinheit zur "Probalistic Boosting-Tree"-basierten Läsionssegmentierung in medizinischen Bilddatensätzen - Google Patents

Verfahren und Recheneinheit zur "Probalistic Boosting-Tree"-basierten Läsionssegmentierung in medizinischen Bilddatensätzen Download PDF

Info

Publication number
DE102011002927A1
DE102011002927A1 DE102011002927A DE102011002927A DE102011002927A1 DE 102011002927 A1 DE102011002927 A1 DE 102011002927A1 DE 102011002927 A DE102011002927 A DE 102011002927A DE 102011002927 A DE102011002927 A DE 102011002927A DE 102011002927 A1 DE102011002927 A1 DE 102011002927A1
Authority
DE
Germany
Prior art keywords
classifiers
pbt
image data
training
classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102011002927A
Other languages
English (en)
Inventor
Arne Militzer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Friedrich Alexander Univeritaet Erlangen Nuernberg FAU
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Friedrich Alexander Univeritaet Erlangen Nuernberg FAU, Siemens AG filed Critical Friedrich Alexander Univeritaet Erlangen Nuernberg FAU
Priority to DE102011002927A priority Critical patent/DE102011002927A1/de
Publication of DE102011002927A1 publication Critical patent/DE102011002927A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/12—Devices for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Abstract

Die Erfindung betrifft ein Verfahren und eine Recheneinheit (C10, N10) zur PBT-basierten (PBT = Probabilistic Boosting Tree) Läsionssegmentierung in medizinischen, insbesondere tomographischen, Bilddatensätzen mit einer Vielzahl von Bildpunkten, bei dem zunächst mit einem Lernverfahren (T1–T3) die für den PBT nötigen Gesamtklassifikatoren (H(xi)) als gewichtete Kombination von ausgewählten Basisklassifikatoren (B) bestimmt werden und eine PBT-basierten Läsionserkennung (E1–E3) auf die Bildpunkte eines zu beurteilenden Bilddatensatzes unter Verwendung der zuvor durch Training ermittelten Gesamtklassifikatoren (H(xi)) ausgeführt wird, wobei erfindungsgemäß zur Auswahl der Basisklassifikatoren (B) zur Berechnung der Gesamtklassifikatoren (H(xi)) im PBT beim AdaBoost-Training sowohl ein Fehler (h)) bei der Zuordnung der Bildpunkte durch den Gesamtklassifikator (H(xi)) als Läsion als auch ein Kostenfaktor für die Anzahl der Berechnungen minimiert wird.

Description

  • Die Erfindung betrifft ein Verfahren und eine Recheneinheit zur PBT-basierten (PBT = Probabilistic Boosting Tree) Läsionssegmentierung in medizinischen Bilddatensätzen, bei dem zunächst ein Lernverfahren auf der Basis von AdaBoost-Training zur automatischen Erkennung von Läsionen durchgeführt wird, indem aus einer Anzahl von Basisklassifikatoren (= schwache beziehungsweise schlechte Lerner = ht(x)) ein Gesamtklassifikator
    Figure 00010001
    durch gewichtete Kombination der Basisklassifikatoren bestimmt wird, anschließend eine PBT-basierte Läsionserkennung auf mindestens einem Bilddatensatz unter Verwendung der zuvor durch Training ermittelten Klassifikatoren ausgeführt wird und erkannte Läsionen ausgegeben werden.
  • Es ist allgemein bekannt, zur Diagnose und Verlaufskontrolle von Lebertumoren, sowie zur Planung entsprechender Interventionen, gegebenenfalls kontrastierte, CT-Bilder der Leber zu verwenden. Für eine quantitative Analyse wird dabei eine Segmentierung der fraglichen Läsionen, also die punktweise Unterteilung des Bildes in Läsionen und Hintergrund, vorgenommen. Um medizinisches Personal bei dieser sehr zeitraubenden Arbeit zu unterstützen, wurde in der Druckschrift Militzer et. al., „Automatic Detection and Segmentation of Focal Liver Lesions in Contrast Enhanced CT Images", Poster: 20th International Conference on Pattern Recognition, ICPR 2010, Istanbul, 25.08.2010, ein System entwickelt, das für jeden Punkt in der Leber anhand einer Reihe von Merkmalen des Punktes eine Tumorwahrscheinlichkeit berechnet. Für die Berechnung dieser Wahrscheinlichkeit, also die Klassifikation, wird dort das maschinelle Lernverfahren des PBTs (= Probabilistic Boosting Tree) gemäß der Druckschrift US 2007/0053563 A1 verwendet, wobei der PBT vor dem klinischen Einsatz mit handsegmentierten Daten trainiert werden muss.
  • Dieses Vorgehen gewährleistet eine gute Klassifikationsleistung in dieser schwierigen Anwendung, ist aber zugleich sehr rechenintensiv, da für jeden einzelnen Punkt ein ganzer Baum von Klassifikatoren ausgewertet werden muss. Da für die Verarbeitung einer Leberaufnahme einige Hunderttausend bis wenige Millionen Punkte klassifiziert werden müssen, wirkt sich dies auf die benötigte Rechenleistung stark aus.
  • Es ist daher Aufgabe der Erfindung, ein Verfahren zur PBT-basierten Läsionssegmentierung in medizinischen Bilddatensätzen zu finden, welches weniger rechenintensiv ist und trotzdem die gleiche oder zumindest annähernd gleiche Erkennungssicherheit bietet.
  • Diese Aufgabe wird durch die Merkmale der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand untergeordneter Ansprüche.
  • Der PBT ist ein baumförmiger Klassifikator, in dessen Verzweigungspunkten, auch Knoten genannt, wiederum mit AdaBoost (= Adaptive Boosting) trainierte Klassifikatoren zum Einsatz kommen, wobei jeder AdaBoost-Klassifikator eine Reihe von Basisklassifikatoren oder schwache Lerner verwendet, die häufig als schwellwert-basierte Lerner ausgebildet sind, und diese durch entscheidungsoptimierte Gewichtung zu einem Gesamtklassifikator kombiniert. Eine einfache Darstellung des AdaBoost-Verfahrens ist in der Druckschrift von Freund et. al., "A Short Introduction to Boosting", Japanese Society for Artificial Intelligence, Vol. 14, No. 5. (1999), pp. 771–780, dargestellt.
  • Eine Effizienzsteigerung bei der Klassifikation beeinflusst stark die Bearbeitungszeit, was für die Attraktivität des Systems für den Einsatz in der klinischen Routine wesentlich ist.
  • Eine solche Effizienzsteigerung konnte dadurch erzielt werden, dass die Tiefe des PBTs während der Lernphase durch ein verschärftes Abbruchkriterium für das Training stärker beschränkt und damit die Zahl der AdaBoost-Klassifikatoren verringert wird. Allerdings bedeutet diese Tiefenbeschränkung einen starken Eingriff in die Struktur des Klassifikators, der die Lernleistung entscheidend beeinflussen kann. Eine solche Restriktion widerspricht dem hierarchischen Konzept des PBT, da er einem flachen Klassifikator angenähert wird und dadurch sein Vorteil in komplexen Merkmalsräumen gegenüber anderen Verfahren verloren geht.
  • Der Erfinder hat nun erkannt, dass eine bessere Möglichkeit Rechenleistung einzusparen dadurch gegeben ist, wenn im Kern des Lernverfahrens, dem AdaBoost-Training, ein nachfolgend genauer beschriebener zusätzlicher Kostenfaktor eingeführt wird, der dafür sorgt, dass die ermittelten Gesamtklassifikatoren bei gleicher Leistung „billigere” Merkmale verwenden und so die Gesamtkosten des Baumes reduzieren. Im Sinne der Erfindung können Kosten beispielsweise mit Rechenzeit gleich gesetzt werden, grundsätzlich können jedoch Kosten auch für Speicherbedarf, Robustheit oder auch reale Kosten, die bei der Datenbeschaffung anfallen, gesetzt werden.
  • Der PBT ist ein hierarchischer Klassifikator für Zwei-Klassen-Probleme. Während eines Trainings wird der PBT von der Wurzel ausgehend rekursiv aufgebaut, wobei für jeden Knoten k mit dem AdaBoost-Verfahren ein Klassifikator trainiert wird. Dieser wird anschließend benutzt, um die zum Training verwendeten Punkte zu klassifizieren und so in eine positive und eine negative Teilmenge zu trennen, mit denen der positive und der negative Unterbaum von k trainiert werden. Ein Unterbaum wird dabei nicht mehr weiter ausgebaut, wenn eine vorgegebene Maximaltiefe erreicht ist oder die Trainingspunkte hinreichend gut getrennt werden können.
  • AdaBoost versucht, eine Reihe nacheinander trainierter Basisklassifikatoren ht („schwache Lerner”) zu finden und zu einem guten Klassifikator, dem Gesamtklassifikator,
    Figure 00040001
    zu kombinieren.
  • In der folgenden Darstellung wird davon ausgegangen, dass ein solcher schwacher Lerner lediglich eine Schwellwertfunktion für ein einzelnes Merkmal der zu klassifizierenden Punkte darstellt, obwohl die beschriebenen Verfahren genauso für andere schwache Lerner, wie beispielsweise Entscheidungsbäume, Histogrammklassifikatoren, Support Vektor Maschinen (= SVM) anwendbar sind. Hierbei sei bemerkt, dass SVM eigentlich keine schwachen sondern starke Lerner sind, aber das Boosting-Prinzip auf jeden Klassifikator anwendbar ist und auch benutzt werden kann, um SVM zu verbessern.
  • Das Training eines Basisklassifikators besteht bei schwellwertbasierten schwachen Lernern darin, eine für die zum Training verwendeten Punkte optimale Kombination aus einem der zur Verfügung stehenden Merkmale und einem Schwellwert zu finden. AdaBoost bestimmt so im Training eine Teilmenge der zur Verfügung stehenden Merkmale, die anschließend für die Klassifikation verwendet werden. Es wird also eine Merkmalsselektion ausgeführt.
  • Wird der PBT auf einen neuen Punkt angewendet, werden ausgehend von der Wurzel die AdaBoost-Klassifikatoren (= durch das AdaBoost-Verfahren ermittelte Gesamtklassifikatoren) der einzelnen Knoten auf den Punkt angewendet. Ist im Laufe der Prüfung ein AdaBoost-Klassifikator sehr sicher, zu welcher Klasse ein Punkt gehört, wird an diesem Knoten im PBT der Unterbaum der jeweils anderen Klasse nicht mehr ausgewertet. Die so berechneten Einzelergebnisse der AdaBoost-Klassifikatoren und damit der Knoten des PBTs werden anschließend hierarchisch zu einem Gesamtergebnis kombiniert.
  • Erfindungsgemäß ist die Berechnung der Merkmale für die Anwendung der Basisklassifikatoren (schwache Lerner) der Angriffspunkt für die hier vorgestellte Optimierung, da diese die für die Auswertung benötigte Zeit dominant bestimmt. Die Auswertungszeit für die Klassifikation eines neuen Punktes im PBT kann also verringert werden, indem bevorzugt einfach zu berechnende, also kostengünstige Merkmale verwendet werden. Gleichzeitig soll jedoch nicht ganz auf komplexere Merkmale verzichtet werden, da diese die Punkte oft zuverlässiger klassifizieren. Um diese gegenläufigen Ziele zu vereinen, wird die Merkmalsselektion im AdaBoost-Training erfindungsgemäß wie folgt verändert.
  • Im ursprünglichen AdaBoost-Verfahren basiert das Kriterium für die Wahl des optimalen Basisklassifikators ht allein auf dem Fehler, den er auf den Bilddaten erzeugt, mit denen trainiert wird. Dieser Fehler wird bezüglich einer Verteilung Dt berechnet, die beim Training in jeder Iteration angepasst wird. Beispielhaft wird diesbezüglich auf die bereits oben zitierte Druckschrift von Freund et. al., "A Short Introduction to Boosting", Japanese Society for Artificial Intelligence, Vol. 14, No. 5. (1999), pp. 771–780, verwiesen.
  • Erfindungsgemäß wird nun in das dort beschriebene Lernverfahren ein neuer Faktor c eingeführt, der jedem Basisklassifikator bestimmte Kosten zuweist, so dass neben dem Fehler gleichzeitig auch die Kosten optimiert werden. Das neue Optimierungskriterium lautet damit
    Figure 00050001
  • Hierbei wägt der Faktor λ den Einfluss der beiden Kriterien Fehler vs. Kosten gegeneinander ab und wird im Lauf des PBT-Trainings von 0.5 auf Wurzelebene bis 0 auf Blattebene linear verringert, so dass in tieferen Ebenen des Baumes vermehrt komplexere Merkmale verwendet werden können.
  • Dieses erfindungsgemäße Optimierungskriterium hat zur Folge, dass nicht mehr unbedingt derjenige Basisklassifikator mit dem geringsten Fehler ausgewählt wird.
  • Da die Theorie des Boosting jedoch nur fordert, dass ein Trainingsfehler unter 0.5 erzielt werden muss, hat diese Einschränkung auf die Leistung des resultierenden AdaBoost-Klassifikators keinen Einfluss, es müssen lediglich unter Umständen etwas mehr Basisklassifikatoren trainiert werden. Gleichzeitig werden jedoch die Auswertungskosten des PBTs als Summe der Kosten aller ausgewerteten Basisklassifikatoren als Nebenbedingung mitoptimiert.
  • Die Kostenfunktion für die Basisklassifikatoren kann dabei beliebig definiert werden. Zur Optimierung der Auswertungszeit des PBTs kann sie beispielsweise empirisch festgelegt werden, als tatsächlich benötigte Berechnungszeit für die einzelnen Merkmale.
  • Der oben beschriebene Kostenfaktor als zusätzliches Auswahlkriterium für Basisklassifikatoren sorgt dafür, dass die Gesamtklassifikatoren bei gleicher Lernleistung geringere Anwendungskosten verursachen, wodurch auch die Gesamtkosten des PBTs geringer ausfallen. Indem die Kosten anhand der zur Merkmalsberechnung benötigten Rechenzeit definiert werden, kann mit diesem Verfahren die Auswertungszeit des PBTs erheblich reduziert werden.
  • Tatsächlich ist dieses Prinzip sehr viel allgemeiner anwendbar: Die Kostenfunktion ist nicht auf empirisch bestimmte Rechenzeit beschränkt. Sie kann empirisch, analytisch oder willkürlich festgelegt werden und dabei beliebige Eigenschaften der Basisklassifikatoren wie Laufzeit, Speicherbedarf, Robustheit oder auch reale Kosten, die bei der Datenbeschaffung anfallen, abbilden und optimieren. Dabei ist es unerheblich, welche Basisklassifikatoren verwendet werden, so lange eine Funktion im Sinne des beschriebenen φ * / t optimiert wird.
  • Da das beschriebene Verfahren direkt im AdaBoost-Algorithmus ansetzt, funktioniert es nicht nur bei Verwendung des PBTs sondern prinzipiell mit allen Verfahren, die auf AdaBoost aufbauen. Darüber hinaus ist es beliebig mit anderen Optimierungsverfahren, wie beispielsweise in US 2008/0240532 A1 beschrieben, kombinierbar, da es unabhängig davon agiert.
  • Entsprechend dieser Erkenntnisse schlägt der Erfinder ein Verfahren zur PBT-basierten (PBT = Probabilistic Boosting Tree) Läsionssegmentierung in medizinischen, insbesondere tomographischen, Bilddatensätzen mit einer Vielzahl von Bildpunkten vor, aufweisend die folgenden Verfahrensschritte:
    • – Durchführen eines Lernverfahrens an Hand zumindest einer Teilmenge einer Vielzahl von Bildpunkten von Trainingsbilddaten auf der Basis eines PBT-Trainings mit dort integriertem AdaBoost-Training und darin durchgeführter Auswahl günstiger Basisklassifikatoren zur automatischen Erkennung von Läsionen, wobei im Ergebnis je Knoten des PBTs ein Gesamtklassifikator als gewichtete Kombination von ausgewählten Basisklassifikatoren bestimmt wird, indem für jeden Basisklassifikator der Klassifikationsfehler bezüglich der Bildpunkte und einer auf ihnen definierten Gewichtsverteilung minimiert wird,
    • – Anwenden einer PBT-basierten Läsionserkennung auf die Bildpunkte eines zu beurteilenden Bilddatensatzes unter Verwendung der zuvor durch Training ermittelten Gesamtklassifikatoren und Basisklassifikatoren und
    • – Markieren und/oder Ausgeben der positiv erkannten Läsionen.
  • Erfindungsgemäß wird dieses Verfahren dadurch verbessert, dass zur Auswahl der Basisklassifikatoren zur Berechnung der Gesamtklassifikatoren im PBT beim AdaBoost-Training sowohl ein Fehler bei der Zuordnung der Bildpunkte durch den Gesamtklassifikator als Läsion als auch ein Kostenfaktor für die Anzahl der Berechnungen minimiert wird.
  • In einer konkreten Ausführung kann zur Bestimmung des Gesamtklassifikators
    Figure 00070001
    iterativ eine Reihe von Basisklassifikatoren und ihren Gewichten bestimmt werden, indem die Bewertungsfunktion
    Figure 00080001
    zur Bewertung von Basisklassifikatoren minimiert wird, wobei bedeutet:
    • ht(xi)
    der in der t-ten Iteration ausgewählte/trainierte Basisklassifikator,
    h
    der Basisklassifikator
    αt
    der Wichtungsfaktor der Basisklassifikatoren,
    λ
    der Wichtungsfaktor Kosten gegen Fehler,
    c(h)
    der Faktor zur Zuweisung von Kosten an Basisklassifikatoren,
    Dt(i)
    die Verteilung gemäß dem AdaBoost-Verfahren,
    i
    der zu bewertende Bildpunkt,
    xi
    der Merkmalsvektor von i und
    yi
    die Klasse des zu bewertenden Bildpunktes.
  • Bei der Auswahl der Basisklassifikatoren ist es weiterhin günstig, wenn sich die Gewichtung λ der Kosten im Verlauf des PBT-Trainings verringert, insbesondere wenn sich die Gewichtung λ im Verlauf des PBT-Trainings von 0,5 auf Wurzelebene des PBTs bis zu 0 auf Blattebene des PBTs, insbesondere linear mit der Anzahl durchlaufener Ebenen im PBT, verringert.
  • Das oben beschriebene Verfahren eignet sich besonders auf Bilddatensätze von CT-Untersuchungen, NMR-Untersuchungen und Ultraschall-Untersuchungen.
  • Zum Rahmen der Erfindung zählt auch eine Recheneinheit, insbesondere eine Recheneinheit eines CT-Systems, aufweisend einen Speicher für Computerprogramme, wobei im Speicher mindestens ein Computerprogramm vorliegt, welches im Betrieb die Verfahrensschritte des zuvor beschriebenen erfindungsgemäßen Verfahrens ausführt.
  • Im Folgenden wird die Erfindung mit Hilfe der Figuren naher beschrieben, wobei nur die zum Verständnis der Erfindung notwendigen Merkmale dargestellt sind. Es werden folgende Bezugszeichen verwendet: B: Basisklassifikator; C1: CT-System; C2: erste Röntgenröhre; C3: erster Detektor; C4: zweite Röntgenröhre; C5: zweiter Detektor; C6: Gantrygehäuse; C8: Patientenliege, C9: Systemachse; C10: Steuer- und Recheneinheit, C11: Kontrastmittelapplikator; C12: EKG-Leitung; E1–E4: Verfahrensschritte der Erkennung; H(xi): Gesamtklassifikator; K1–K32: Knoten; N1: Magnetresonanztomographie-System; N2: Magnetspulen; N3: Empfangsspulen; N4: Magnetspulen; N6: Gehäuse; N10: Steuer- und Recheneinheit; P: Patient; Prg1 bis Prgn: Computerprogramme; T1–T3: Verfahrensschritte des Trainings; φ * / t(h): Fehler/Optimierungskriterium/Bewertungsfunktion.
  • Es zeigen im Einzelnen:
  • 1 den Aufbau eines PBTs mit darin enthaltenen AdaBoost-Klassifikatoren und Basisklassifikatoren,
  • 2 den Ablauf des erfindungsgemäßen Verfahrens,
  • 3 ein CT-System und
  • 4 ein NMR-System.
  • Die 1 zeigt schematisch den Aufbau eines erfindungsgemäßen PBTs (= Probabilistic Boosting Tree) links oben, welcher eine Vielzahl von hierarchisch angeordneten Knoten K1 bis K32 aufweist. Die Knoten bestehen aus den darunter dargestellten Gesamtklassifikatoren, die, da sie nach dem AdaBoost-Verfahren ermittelt werden auch AdaBoost-Klassifikatoren genannt werden. Erfindungsgemäß werden diese Gesamtklassifikatoren beim Training ermittelt, indem iterativ für jeden Basisklassifikator die Funktion
    Figure 00090001
    minimiert wird, wobei die Parameter λ das Verhältnis des Einflusses der Kriterien Fehler gegen Kosten bestimmt und c(h) jedem Basisklassifikator seinen Kostenfaktor, zum Beispiel in Form von zur Berechnung des jeweiligen Basisklassifikators benötigter Rechenzeit, zuteilt. Vorzugsweise wird hier der Parameter λ als Funktion der Entscheidungsebene des jeweiligen Knotens im PBT gewählt. Beispielsweise kann dieser linear von der Wurzel bis zur untersten Entscheidungsebene von 0,5 auf 0 reduziert werden. Hierdurch schwindet der Einfluss der Kosten in tieferen Entscheidungsebenen bis auf Null. Das Quadrat markiert hier den Ausschnitt der Graphik, der im nächsten Bild (dem Pfeil folgend) detaillierter dargestellt ist. Die Eigenschaft der schwellwertbasierten Basisklassifikatoren ist unten in Form einer Schwellwertdarstellung beschrieben.
  • Die 2 zeigt das gesamte erfindungsgemäße Verfahren mit Training und Erkennung in einem schematisch dargestellten Verfahrensablauf mit den Verfahrensschritten des Trainings T1–T3 und der Erkennung E1 bis E4. Auf der linken Blattseite ist unter ”Training” schematisch das Training mit den Verfahrensschritten T1 = schwellwertbasierte Entscheidung der Basisklassifikatoren, T2 = kostenbeeinflusstes AdaBoost-Verfahren zur Bestimmung der Gesamtklassifikatoren beziehungsweise AdaBoost-Klassifikatoren und T3 = Erzeugung eines PBTs auf der Basis der bestimmten AdaBoost-Klassifikatoren gezeigt.
  • Auf der rechten Blattseite ist unter ”Erkennung” die Anwendung des erfindungsgemäß erstellten PBTs gezeigt, wobei zunächst im Schritt E1 mit Hilfe eines bildgebenden Verfahrens, hier mit einem CT-System, mindestens ein räumlich zweidimensionaler oder ein räumlich dreidimensionaler Bilddatensatz gemäß Verfahrensschritt E2 erstellt wird. Dieser mindestens eine Bilddatensatz wird dann mit dem zuvor mit anderen Bilddaten trainierten PBT bezüglich der Zugehörigkeit seiner Bildpunkte zu einer Läsion im Verfahrensschritt E3 untersucht und das Ergebnis der Untersuchung im Verfahrensschritt E4, zum Beispiel auf einem Bildschirm, ausgegeben, gespeichert oder zu weiteren Untersuchungen weitergeleitet.
  • Es ist ergänzend darauf hinzuweisen, dass selbstverständlich das beschriebene Training nicht für jede Erkennung von Läsionen neu durchgeführt werden muss, sondern solche durch entsprechendes Training erzeugte PBTs vielfach auf verschiedene Bilddatensätze verschiedener Patienten angewendet werden kann.
  • Das erfindungsgemäße Verfahren kann bevorzugt in Verbindung mit einem CT-System C1, wie es in der 3 gezeigt ist, angewendet werden. Ein solches CT-System C1 weist ein erstes Röhren-/Detektor-System mit einer Röntgenröhre C2 und einem gegenüberliegenden Detektor C3 auf. Optional kann dieses CT-System C1 über eine zweite Röntgenröhre C4 mit einem gegenüberliegenden Detektor C5 verfügen. Beide Röhren-/Detektor-Systeme befinden sich auf einer Gantry, die in einem Gantrygehäuse C6 angeordnet ist und sich während der Abtastung um eine Systemachse C9 dreht. Der Patient P befindet sich dabei auf einer verschiebbaren Untersuchungsliege C8, die entweder kontinuierlich oder sequentiell entlang der Systemachse C9 durch das im Gantrygehäuse C6 befindliche Abtastfeld geschoben wird, wobei die Schwächung der von den Röntgenröhren ausgesandten Röntgenstrahlung durch die Detektoren gemessen wird. Während der Messung kann dem Patienten P mit Hilfe eines Kontrastmittelapplikators C11 ein Kontrastmittelbolus injiziert werden, so dass Blutgefäße und Läsionen besser erkennbar werden. Bei Cardioaufnahmen kann zusätzlich, mit Hilfe einer EKG-Leitung C12, die Herztätigkeit gemessen werden und eine EKG-gegatete Abtastung durchgeführt werden.
  • Die Steuerung des CT-Systems erfolgt mit Hilfe einer Steuer- und Recheneinheit C10, in der sich Computerprogramme Prg1 bis Prgn befinden. Durch solche Programme kann nach der Erzeugung entsprechender Bilddaten auch das oben beschriebene erfindungsgemäße Verfahren durchgeführt werden, bei dem mit Hilfe eines zuvor ermittelten PBTs Läsionen in den Bilddaten gefunden werden können. Zusätzlich kann über diese Steuer- und Recheneinheit C10 auch die Ausgabe von Bilddaten erfolgen.
  • Alternativ zu CT-Bildern kann das erfindungsgemäße Verfahren auch auf andere bekannte bildgebende medizinische Verfahren angewendet werden. Beispielsweise können dies NMR-Bilddaten sein, So ist schließlich in der 4 eine schematische Darstellung eines Magnetresonanztomographie-Systems (MRT-Systems) N1 gezeigt. Bei diesem MRT-System N1 befinden sich in einem Gehäuse N6 Magnetspulen N2 zur Erzeugung eines starken magnetischen Hauptfeldes, wodurch sich die Wasserstoffkerne im Körper des Patienten P entsprechend ihrem Spin parallel oder anti-parallel zu den Magnetfeldlinien ausrichten. Durch Anregung der Atomkerne mit einem elektromagnetischen Wechselfeld in der Resonanzfrequenz der Atomkerne werden diese zur Schwingung veranlasst. Nach dem Ausschalten der Anregungsfrequenz kehren die Atomkerne wieder in ihre Lage zurück und geben ihre Schwingungsenergie in Form von elektromagnetischer Schwingungsenergie ab, die mit Hilfe einer Empfangsspule N3 gemessen wird. Durch zusätzliche Magnetspulen N4 wird ein schwaches Magnetfeld mit einem definierten Feldgradienten erzeugt, wodurch die von den Kernen abgegebenen Signale Ortsinformationen erhalten, durch die die Position des abgegebenen Signals definierbar ist. Die Steuerung dieses Systems N1 und die Auswertung der Mess-Signale erfolgt durch die Steuer- und Recheneinheit N10, welche in ihrem Speicher Programme Prg1 bis Prgn aufweist, die neben der Steuerung und Bildberechnung auch das erfindungsgemäße Verfahren ausführen und die Ergebnisse darstellen.
  • Ergänzend sei auch noch darauf hingewiesen, dass das erfindungsgemäße Verfahren auch auf eigenständigen, nicht bilderzeugende Anlagen steuernden Rechnersystemen betrieben werden kann, wobei die notwendigen Bilddaten zuvor über Netzwerke, Internet oder Datenträger übermittelt werden.
  • Insgesamt wird mit der Erfindung also ein Verfahren und eine Recheneinheit zur PBT-basierten Läsionssegmentierung in medizinischen, insbesondere tomographischen, Bilddatensätzen mit einer Vielzahl von Bildpunkten vorgeschlagen, bei dem zunächst mit einem Lernverfahren die für den PBT nötigen Gesamtklassifikatoren als gewichtete Kombination von ausgewählten Basisklassifikatoren bestimmt werden und eine PBT-basierten Läsionserkennung auf die Bildpunkte eines zu beurteilenden Bilddatensatzes unter Verwendung der zuvor durch Training ermittelten Gesamtklassifikatoren ausgeführt wird, wobei erfindungsgemäß zur Auswahl der Basisklassifikatoren zur Berechnung der Gesamtklassifikatoren im PBT beim AdaBoost-Training sowohl ein Fehler bei der Zuordnung der Bildpunkte durch den Gesamtklassifikator als Läsion als auch ein Kostenfaktor für die Anzahl der Berechnungen minimiert wird.
  • Es versteht sich, dass die vorstehend genannten Merkmale der Erfindung nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der Erfindung zu verlassen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 2007/0053563 A1 [0002]
    • US 2008/0240532 A1 [0024]
  • Zitierte Nicht-Patentliteratur
    • Militzer et. al., „Automatic Detection and Segmentation of Focal Liver Lesions in Contrast Enhanced CT Images”, Poster: 20th International Conference on Pattern Recognition, ICPR 2010, Istanbul, 25.08.2010 [0002]
    • Freund et. al., ”A Short Introduction to Boosting”, Japanese Society for Artificial Intelligence, Vol. 14, No. 5. (1999), pp. 771–780 [0006]
    • ”A Short Introduction to Boosting”, Japanese Society for Artificial Intelligence, Vol. 14, No. 5. (1999), pp. 771–780 [0016]

Claims (9)

  1. Verfahren zur PBT-basierten (PBT = Probabilistic Boosting Tree) Läsionssegmentierung in medizinischen, insbesondere tomographischen, Bilddatensätzen mit einer Vielzahl von Bildpunkten, aufweisend die folgenden Verfahrensschritte: 1.1. Durchführen eines Lernverfahrens (T1–T3) an Hand zumindest einer Teilmenge einer Vielzahl von Bildpunkten von Trainingsbilddaten auf der Basis eines PBT-Trainings mit dort integriertem AdaBoost-Training und darin durchgeführter Auswahl günstiger Basisklassifikatoren (B) zur automatischen Erkennung von Läsionen, wobei im Ergebnis je Knoten (K) des PBTs ein Gesamtklassifikator (H(xi)) als gewichtete Kombination von ausgewählten Basisklassifikatoren (B) bestimmt wird, indem für jeden Basisklassifikator (B) ein Klassifikationsfehler bezüglich der Bildpunkte und einer auf ihnen definierten Gewichtsverteilung minimiert wird, 1.2. Anwenden einer PBT-basierten Läsionserkennung (E1–E3) auf die Bildpunkte eines zu beurteilenden Bilddatensatzes unter Verwendung der zuvor durch Training ermittelten Gesamtklassifikatoren (H(xi)) und Basisklassifikatoren (B) und 1.3. Markieren und/oder Ausgeben (E4) der positiv erkannten Läsionen, dadurch gekennzeichnet, dass 1.4. zur Auswahl der Basisklassifikatoren (B) zur Berechnung der Gesamtklassifikatoren (H(xi)) im PBT beim AdaBoost-Training sowohl ein Fehler (φ * / i(h)) bei der Zuordnung der Bildpunkte durch den Gesamtklassifikator (H(xi)) als Läsion als auch ein Kostenfaktor für die Anzahl der Berechnungen minimiert wird.
  2. Verfahren gemäß dem voranstehenden Patentanspruch 1, dadurch gekennzeichnet, dass zur Bestimmung des Gesamtklassifikators
    Figure 00140001
    iterativ eine Reihe von Basisklassifikatoren (B) und ihre Gewichte bestimmt wird, indem die Bewertungsfunktion
    Figure 00150001
    zur Bewertung von Basisklassifikatoren (B) minimiert wird, wobei bedeutet: H(xi) = Gesamtklassifikator, ht(xi) der in der t-ten Iteration ausgewählte/trainierte Basisklassifikator, h = Basisklassifikator αt = Wichtungsfaktor der Basisklassifikatoren, λ = Wichtungsfaktor Kosten gegen Fehler, c(h) = Faktor zur Zuweisung von Kosten an die Basisklassifikatoren, Dt(i) = Verteilung gemäß AdaBoost-Verfahren, i = der zu bewertende Bildpunkt, xi = der Merkmalsvektor von i und yi = die Klasse des zu bewertenden Bildpunktes.
  3. Verfahren gemäß dem voranstehenden Patentanspruch 2, dadurch gekennzeichnet, dass sich die Gewichtung (λ) der Kosten im Verlauf des PBT-Trainings verringert.
  4. Verfahren gemäß dem voranstehenden Patentanspruch 2, dadurch gekennzeichnet, dass sich die Gewichtung (λ) der Kosten im Verlauf des PBT-Trainings von 0,5 auf Wurzelebene des PBTs bis zu 0 auf Blattebene des PBTs verringert.
  5. Verfahren gemäß einem der voranstehenden Patentansprüche 3 bis 4, dadurch gekennzeichnet, dass sich die Gewichtung (λ) der Kosten im Verlauf des PBT-Trainings linear mit der Anzahl durchlaufener Ebenen im PBT verringert.
  6. Verfahren gemäß einem der voranstehenden Patentansprüche 1 bis 5, dadurch gekennzeichnet, dass die Bilddatensätze CT-Bilddaten sind.
  7. Verfahren gemäß einem der voranstehenden Patentansprüche 1 bis 5, dadurch gekennzeichnet, dass die Bilddatensätze NMR-Bilddaten sind.
  8. Verfahren gemäß einem der voranstehenden Patentansprüche 1 bis 5, dadurch gekennzeichnet, dass die Bilddatensätze Ultraschall-Bilddaten sind.
  9. Recheneinheit (C10, N10), insbesondere eines CT-Systems (C1), aufweisend einen Speicher für Computerprogramme, dadurch gekennzeichnet, dass im Speicher mindestens ein Computerprogramm (Prg1–Prgn) vorliegt, welches im Betrieb die Verfahrensschritte eines der voranstehenden Verfahrensansprüche ausführt.
DE102011002927A 2011-01-20 2011-01-20 Verfahren und Recheneinheit zur "Probalistic Boosting-Tree"-basierten Läsionssegmentierung in medizinischen Bilddatensätzen Withdrawn DE102011002927A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102011002927A DE102011002927A1 (de) 2011-01-20 2011-01-20 Verfahren und Recheneinheit zur "Probalistic Boosting-Tree"-basierten Läsionssegmentierung in medizinischen Bilddatensätzen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102011002927A DE102011002927A1 (de) 2011-01-20 2011-01-20 Verfahren und Recheneinheit zur "Probalistic Boosting-Tree"-basierten Läsionssegmentierung in medizinischen Bilddatensätzen

Publications (1)

Publication Number Publication Date
DE102011002927A1 true DE102011002927A1 (de) 2012-07-26

Family

ID=46510643

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102011002927A Withdrawn DE102011002927A1 (de) 2011-01-20 2011-01-20 Verfahren und Recheneinheit zur "Probalistic Boosting-Tree"-basierten Läsionssegmentierung in medizinischen Bilddatensätzen

Country Status (1)

Country Link
DE (1) DE102011002927A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060079761A1 (en) * 2004-10-12 2006-04-13 Zhuowen Tu Method for detecting polyps in a three dimensional image volume
US20070053563A1 (en) 2005-03-09 2007-03-08 Zhuowen Tu Probabilistic boosting tree framework for learning discriminative models
US20080240532A1 (en) 2007-03-30 2008-10-02 Siemens Corporation System and Method for Detection of Fetal Anatomies From Ultrasound Images Using a Constrained Probabilistic Boosting Tree

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060079761A1 (en) * 2004-10-12 2006-04-13 Zhuowen Tu Method for detecting polyps in a three dimensional image volume
US20070053563A1 (en) 2005-03-09 2007-03-08 Zhuowen Tu Probabilistic boosting tree framework for learning discriminative models
US20080240532A1 (en) 2007-03-30 2008-10-02 Siemens Corporation System and Method for Detection of Fetal Anatomies From Ultrasound Images Using a Constrained Probabilistic Boosting Tree

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"A Short Introduction to Boosting", Japanese Society for Artificial Intelligence, Vol. 14, No. 5. (1999), pp. 771-780
Freund et. al., "A Short Introduction to Boosting", Japanese Society for Artificial Intelligence, Vol. 14, No. 5. (1999), pp. 771-780
Freund: A Short Introduction to Boosting. In: Japanese Society for Artificial Intelligence, 14, 1999, 5, 771-780. *
Militzer et. al., "Automatic Detection and Segmentation of Focal Liver Lesions in Contrast Enhanced CT Images", Poster: 20th International Conference on Pattern Recognition, ICPR 2010, Istanbul, 25.08.2010
Militzer: Automatic Detection and Segmentation of Focal Liver Lesions in Contrast Enhanced CT Images. In: 20th International Conference on Pattern Recognition, ICPR, 2010, 2524 - 2527. *

Similar Documents

Publication Publication Date Title
EP3462412B1 (de) Bestimmen eines zweidimensionalen mammographiedatensatzes
EP3336800B1 (de) Bestimmen einer trainingsfunktion zum generieren von annotierten trainingsbildern
DE102011076233B4 (de) Verfahren und Computersystem zur Erkennung einer statistisch relevanten Normvariante der Gefaßstruktur eines Patienten mit Hilfe tomographischer Bilddatensatze
EP2041719B1 (de) Verfahren zum bestimmen einer eigenschaftskarte für einen gegenstand, insbesondere für ein lebewesen, basierend auf zumindest einem ersten bild, insbesondere einem kernspinresonanzbild
DE102006010607A1 (de) Wahrscheinlichkeitstheoretischer Verstärkungsbaum-Rahmen zum Lernen von Unterscheidungsmodellen
DE102015226400A1 (de) Automatisierte Ermittlung von Konturen auf Basis einer iterativen Rekonstruktion
DE102008046861A1 (de) Automatisierte Detektion von Ebenen aus echokardiographischen 3D Daten
DE102015217429A1 (de) Diagnosesystem und Diagnoseverfahren
WO2018094438A1 (de) Verfahren und system zum erstellen einer medizinischen bilddatenbank mittels eines konvolutionellen neuronalen netzwerk
DE112014000611T5 (de) Verfahren und Vorrichtung zum Erzeugen eines abgeleiteten Bildes unter Verwendung von Bildern verschiedener Typen
DE102014200303B4 (de) Verfahren zur Durchführung einer Positronenemissionstomographie in einer Hybridanlage und entsprechende Hybridanlage
DE102018222606A1 (de) Verfahren und Vorrichtung zur Detektion eines anatomischen Merkmals eines Blutgefäßabschnittes
DE102014224656A1 (de) Verfahren und Vorrichtung zum Segmentieren eines medizinischen Untersuchungsobjekts mit quantitativen MR-Bildgebungsmethoden
DE102006058941A1 (de) Verfahren und Vorrichtung zum Auswählen computergestützter Algorithmen, basierend auf dem Protokoll und/oder Parametern eines Akquisitionssystems
EP3404436B1 (de) Funktionelle magnetresonanz-bildgebung
DE102010018261B4 (de) Verfahren und Computersystem zur automatischen Vektorisierung eines Gefäßbaumes
DE102020206059A1 (de) Computerimplementiertes Verfahren und System zum Trainieren eines Auswertungsalgorithmus, Computerprogramm und elektronisch lesbarer Datenträger
EP3214562B1 (de) Bestimmen einer bildserie abhängig von einer signaturmenge
DE102019215242A1 (de) Computerimplementiertes Verfahren zum Betrieb einer Röntgenbildgebungseinrichtung, Röntgenbildgebungseinrichtung, Computerprogramm und elektronisch lesbarer Datenträger
DE102017208560A1 (de) Funktionelle Magnetresonanz-Bildgebung
DE102022201347A1 (de) Verfahren und System zur automatisierten Bestimmung von Untersuchungsergebnissen in einer Bildsequenz
DE112022001991T5 (de) Tumorzelen-isolinien
DE102019217576B4 (de) Identifizieren und Bereitstellen von Fehlausrichtungsbildmerkmalen
DE102011002927A1 (de) Verfahren und Recheneinheit zur "Probalistic Boosting-Tree"-basierten Läsionssegmentierung in medizinischen Bilddatensätzen
DE102017212553A1 (de) Synchrone MR-Bildgebung und Strahlentherapie

Legal Events

Date Code Title Description
R016 Response to examination communication
R084 Declaration of willingness to licence

Effective date: 20130417

R081 Change of applicant/patentee

Owner name: SIEMENS AKTIENGESELLSCHAFT, DE

Free format text: FORMER OWNERS: FRIEDRICH-ALEXANDER-UNIVERSITAET ERLANGEN-NUERNBERG, 91054 ERLANGEN, DE; SIEMENS AKTIENGESELLSCHAFT, 80333 MUENCHEN, DE

Effective date: 20140407

Owner name: SIEMENS AKTIENGESELLSCHAFT, DE

Free format text: FORMER OWNER: SIEMENS AKTIENGESELLSCHAFT, 80333 MUENCHEN, DE

Effective date: 20120405

Owner name: SIEMENS AKTIENGESELLSCHAFT, DE

Free format text: FORMER OWNER: FRIEDRICH-ALEXANDER-UNIVERSITAET, SIEMENS AKTIENGESELLSCHAFT, , DE

Effective date: 20140407

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee