DE102020128633A1 - Verfahren zum Auswerten einer Bildinformation einer MSOT einer Gewebeprobe sowie Auswerteeinheit und MSOT - Google Patents

Verfahren zum Auswerten einer Bildinformation einer MSOT einer Gewebeprobe sowie Auswerteeinheit und MSOT Download PDF

Info

Publication number
DE102020128633A1
DE102020128633A1 DE102020128633.3A DE102020128633A DE102020128633A1 DE 102020128633 A1 DE102020128633 A1 DE 102020128633A1 DE 102020128633 A DE102020128633 A DE 102020128633A DE 102020128633 A1 DE102020128633 A1 DE 102020128633A1
Authority
DE
Germany
Prior art keywords
tissue sample
msot
lipids
information
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102020128633.3A
Other languages
English (en)
Inventor
Arndt Schilling
Gunther Felmerer
Maximilian Philip Schilderoth
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Georg August Univ Goettingen
Georg August Universitaet Goettingen
Original Assignee
Georg August Univ Goettingen
Georg August Universitaet Goettingen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Georg August Univ Goettingen, Georg August Universitaet Goettingen filed Critical Georg August Univ Goettingen
Priority to DE102020128633.3A priority Critical patent/DE102020128633A1/de
Publication of DE102020128633A1 publication Critical patent/DE102020128633A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/1702Systems in which incident light is modified in accordance with the properties of the material investigated with opto-acoustic detection, e.g. for gases or analysing solids
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0093Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
    • A61B5/0095Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4869Determining body composition
    • A61B5/4872Body fat
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/4833Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/1702Systems in which incident light is modified in accordance with the properties of the material investigated with opto-acoustic detection, e.g. for gases or analysing solids
    • G01N2021/1706Systems in which incident light is modified in accordance with the properties of the material investigated with opto-acoustic detection, e.g. for gases or analysing solids in solids
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Analytical Chemistry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Acoustics & Sound (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Auswerten einer Bildinformation einer MSOT einer Gewebeprobe zum Bestimmen einer Verteilung von Lipiden, Hämoglobin und/oder Kollagen in der Gewebeprobe mit folgenden Schritten:- Zuordnen unterschiedlicher Bestandteile der Gewebeprobe anhand einer Farbinformation der Bestandteile aus der Bildinformation der MSOT an einem jeweiligen Ort zu einem jeweiligen Ort der Gewebeprobe, sodass eine Farbinformation über unterschiedliche Bestandteile der Gewebeprobe an einem jeweiligen Ort der Gewebeprobe vorliegt, sowie- Korrelieren der Farbinformation zu einer Gewebeart in der Gewebeprobe derart, dass eine korrelierte Information zu einem Vorliegen von Lipiden, Hämoglobin, und/oder Kollagen an jeweiligen Orten in der Gewebeprobe vorliegt, sodass mittels der korrelierten Information eine Information über die Verteilung von Lipiden, Hämoglobin und/oder Kollagen, insbesondere die Größenverteilung von Lipiden, Hämoglobin und/oder Kollagen, in der Gewebeprobe vorliegt.

Description

  • Die Erfindung betrifft ein Verfahren zum Auswerten einer Bildinformation einer MSOT (Multispektrale optoakustische Tomographie) einer Gewebeprobe zum Bestimmen einer Verteilung von Lipiden, Hämoglobin und/oder Kollagen in der Gewebeprobe. Weiterhin betrifft die Erfindung eine Auswerteeinheit zum Bestimmen einer Verteilung von Lipiden, Hämoglobin und/oder Kollagen in einer Gewebeprobe sowie einen MSOT (Multi-Spektral-Optoakustischen Tomographen) zum Bestimmen einer Verteilung von Lipiden, Hämoglobin und/oder Kollagen in einer Gewebeprobe.
  • Es ist eine Mehrzahl von Verfahren zum Auswerten einer Bildinformation einer MSOT bekannt. Hierzu zählt unter anderem das Auswerten einer solchen Bildinformation bezüglich schadhafter Gewebeveränderungen, wie beispielsweise durch Tumorzellen, bezüglich einer Analyse einer Gewebedruchblutung und Gewebehypoxie oder für das in in vivo tracking magnetischer Nanopartikel. Zudem sind unterschiedliche Verfahren zum Auswerten von Bildinformationen an sich bekannt.
  • Weiterhin ist die MSOT (Multispektrale optoakustische Tomographie) bekannt. Diese Untersuchungsmethode für Gewebe nutzt einen Laserimpuls, welcher in das Gewebe gesandt wird. Dieser Laserimpuls regt bei entsprechender Resonanz der Gewebezellen entsprechend der Farbe des Laserimpulses eine kurzzeitige Kontraktion oder Expansion der entsprechenden Zellen an. Insbesondere ist dies eine Expansion aufgrund von Wärmedehnung. Diese kurzfristige Expansion wiederum ruft ein akustisches Ereignis, nämlich einen kurzen Schallimpuls, hervor. Wird nun der Schallimpuls der einzelnen Zellen mit beispielsweise einem Ultraschallgerät aufgenommen, so ist eine Lokalisierung dieses Schallereignisses möglich. Insbesondere ist so eine optoakustische Detektion gewisser Gewebearten möglich.
  • Bisher ist es jedoch nicht möglich gewesen, insbesondere Fettgewebe mittels einer solchen MSOT detailliert zu untersuchen und die Bildinformationen aus dieser Untersuchung so auszuwerten, dass eine Aussage über die Art, Qualität und Verteilung des Gewebes getroffen werden kann.
  • Aufgabe der Erfindung ist es, den Stand der Technik zu verbessern.
  • Gelöst wird die Aufgabe durch ein Verfahren zum Auswerten einer Bildinformation einer MSOT (multispektraler optoakustische Tomographie) einer Gewebeprobe zum Bestimmen einer Verteilung von Lipiden, Hämoglobin und/oder Kollagen in der Gewebeprobe, mit folgenden Schritten:
    • - Zuordnen unterschiedlicher Bestandteile der Gewebeprobe anhand einer Farbinformation der Bestandteile aus der Bildinformation der MSOT an einem jeweiligen Ort zu einem jeweiligen Ort der Gewebeprobe, sodass eine Farbinformation über unterschiedliche Bestandteile der Gewebeprobe an einem jeweiligen Ort der Gewebeprobe vorliegt, sowie
    • - Korrelieren der Farbinformation zu einer Gewebeart in der Gewebeprobe derart, dass eine korrelierte Information zu einem Vorliegen von Lipiden, Hämoglobin und/oder Kollagen an jeweiligen Orten der Gewebeprobe vorliegt,
    sodass mittels der korrelierten Information eine Information über die Verteilung von Lipiden, Hämoglobin und/oder Kollagen, insbesondere die Größenverteilung von Lipiden, Hämoglobin und/oder Kollagen in der Gewebeprobe vorliegt.
  • Es hat sich überraschend herausgestellt, dass eine solche Korrelation zu Lipiden, Hämoglobin und/oder Kollagen anhand der Farbinformation möglich ist. Damit kann dann mit dem erfindungsgemäßen Verfahren eine klare Aussage darüber getroffen werden, welche Lipide, Hämoglobine und/oder Kollagene an jeweiligen Orten in der Gewebeprobe vorliegen. Diese Auswertung lässt dann wiederum den Schluss auf entsprechende krankhafte Veränderungen des Gewebes zu. Beispielsweise wird das erfindungsgemäße Verfahren mit einem Computer oder einer Auswerteelektronik durchgeführt.
  • Folgende Begriffe seien an dieser Stelle erläutert:
  • Eine „Bildinformation“ kann jede zweidimensionale, dreidimensionale oder mehrdimensionale Information über eine Schnittebene oder ein Volumen innerhalb einer Gewebeprobe sein. Dies kann beispielsweise eine in einer XY-Ebene liegende Matrix von Farbinformationen, nämlich Pixeln, eines Bildes sein. Weiterhin kann dies auch eine dreidimensionale Information, nämlich ein XYZ-Volumen mit entsprechenden Farbinformationen, nämlich Pixeln, sein. Die Bildinformation muss nicht in einer optisch auswertbaren Version vorliegen, sondern kann auch digital gespeichert oder anderweitig vorgehalten sein. In der einfachsten Ausführung ist diese Bildinformation ein Farbbild einer MSOT, insbesondere einer Schnittebene oder eines Volumens.
  • Eine „MSOT“ ist ein Bildgebungsverfahren (Tomographie) sowie auch ein entsprechendes Gerät (Tomograph), welches jeweils hochauflösende optische Bilder einer Probe, beispielsweise von biologischem Gewebe, liefert. Die MSOT beleuchtet das Gewebe mit Licht verschiedener Energie, beispielsweise mit Lichtimpulsen kurzer Wirkdauer von einigen Nanosekunden. Das Gewebe absorbiert dann die Lichtimpulse und erfährt eine thermische Ausdehnung, welche auch als optoakustischer oder photoakustischer Effekt bekannt ist. Die thermische Ausdehnung löst dann sogenannte Photoechos, nämlich Ultraschallwellen, aus. Diese können mit einem entsprechenden Ultraschalldetektor aufgenommen und in ein Bild umgewandelt werden. Die Beleuchtung der Gewebeprobe mit unterschiedlichen Wellenlängen, welche typischerweise in Impulsen unterschiedlicher Wellenlängen in zeitlicher Abfolge vorgenommen wird, führt zu akustischen Echos unterschiedlicher Gewebearten.
  • Eine „Gewebeprobe“ kann jede Probe, jeder Teilbereich oder ein Ausschnitt aus einem Gewebe, insbesondere aus menschlichem oder tierischem Gewebe, sein. Dabei kann diese Gewebeprobe sowohl noch im menschlichen Körper befindlich, als auch außerhalb dieses Körpers vorhanden sein. Beispielsweise handelt es sich dabei auch um eine Laborprobe.
  • Eine „Verteilung“ von Lipiden, Hämoglobin und/oder Kollagen bezeichnet das Vorhandensein dieser Stoffe sowie deren örtliches und mengenmäßiges Vorkommen innerhalb der Gewebeprobe. Diese Verteilung kann in Gewichtsprozent, Volumenanteil oder anderen Relationen zueinander angegeben sein.
  • Eine „Farbinformation“ ist insbesondere die Farbe einzelner Pixel oder einzelner Teilbereiche der Bildinformation aus der MSOT. Eine solche Farbinformation ergibt sich aufgrund der unterschiedlich eingebrachten Lichtwellenlängen der MSOT in die Gewebeprobe, welche dann je nach Wellenlänge unterschiedlich gefärbte oder ausgestaltete Teile der Gewebeprobe zu akustischem Verhalten anregt. Mithin wird also einer akustischen Welle eine Farbe zugeordnet. Insbesondere geben nur solche Gewebeteile eine akustische Rückmeldung ab, welche durch die spezifische Lichtwellenlänge angeregt sind. Beispielsweise ist dies eine durch Licht einer Wellenlänge von 650nm angeregt und wird dann in der Darstellung der Farbinformation als „rot“ angezeigt. Die Zuordnung kann hier gemäß der wirklichen Wellenlänge aber auch mit einer in den sichtbaren Bereich verschobenen Zuordnung der Farben erfolgen. Beispielsweise kann diese Farbinformation auch eine reine Helligkeitsinformation oder eine Farbinformation in Graustufen sein. Es erfolgt dabei jedoch eine eindeutige Zuordnung der entsprechenden Lichtwellenlänge zu einer Farbe oder Graustufe oder anders dargestellten Information. Eine solche Farbinformation kann als optisches Bild oder auch als digital gespeicherte Farbinformation in anderer Form, beispielsweise als Zahlen- oder Farbwert, vorliegen.
  • Ein „jeweiliger Ort“ ist ein spezifisch bestimmter Teilbereich der Gewebeprobe, wie beispielsweise ein durch Koordinaten innerhalb eines Messvolumens angegebener Punkt innerhalb der Gewebeprobe. Dabei ist dieser Punkt nicht mathematisch exakt ein Punkt, sondern kann ein durch Messungenauigkeit oder gewünschte Messauflösung festgelegtes Volumen oder festgelegte Fläche sein.
  • „Unterschiedliche Bestandteile“ der Gewebeprobe können sämtliche in der Gewebeprobe vorkommende Zellenarten, Gefäßarten oder auch andere Bestandteile sein. Insbesondere ist hiermit die Möglichkeit beschrieben, anhand der unterschiedlichen Bestandteile eine Differenzierung der Gewebearten vorzunehmen.
  • Eine „korrelierte Information“ ist beispielsweise eine korrelierte Farbinformation, welche einen Aufschluss über das Vorliegen von bestimmten Gewebearten an jeweiligen Orten zulässt. Insbesondere ist hier eine korrelierte Information derart beschrieben, dass zwischen Lipiden, Hämoglobin und/oder Kollagen an jeweiligen Orten unterschieden werden kann.
  • Um eine Rückschluss auf eine krankhafte Veränderung des Gewebes insbesondere bezüglich der Fettverteilung vornehmen zu können, wird ein Bestimmen der von einem Mittelwertbereich der Größenverteilung der Lipide abweichenden Anzahl von Lipiden in der Gewebeprobe durchgeführt, sodass eine Information über die Ungleichmäßigkeit der Verteilung von Lipiden in der Gewebeprobe vorliegt.
  • Eine solche Ungleichmäßigkeit hat sich überraschend als besonders zuverlässig für die Indikation einer krankhaften Gewebeveränderung, insbesondere einer krankhaften Fettgewebsveränderung, herausgestellt.
  • Ein „Mittelwertbereich“ der Größenverteilung der Lipide ist dabei ein gegenüber der Gesamtheit von Größen von Lipiden statisch signifikant gewählter Mittelbereich, beispielsweise von +5 % bis -5% um einen exakten Mittelwert herum. Weiterhin ist auch ein Bereich von beispielsweise +10 % bis -10% oder +15 % bis -15% um den exakten mathematischen Mittelwert herum als Mittelwertbereich wählbar. Die Auswahl erfolgt gemäß dem gewünschten Trennintervall zu umliegenden Bereichen der Größenverteilung.
  • Eine „Ungleichmäßigkeit“ ist dabei beispielsweise eine Abweichung der Gesamtheit von Lipiden, welche von einer gleichmäßigen Größenverteilung oder einer bekannten Größenverteilung von gesundem Gewebe abweicht.
  • In einer Ausführungsform wird eine Intervallbildung innerhalb der unterschiedlichen Größen von Lipiden zum Bestimmen der Anzahl von Lipiden der Größenverteilung je Intervall durchgeführt, sodass eine Anzahl von Lipiden je Intervall der Größenverteilung bestimmt ist.
  • Mittels einer solchen Intervallbildung kann die Gesamtheit von Lipidgrößen innerhalb der Größenverteilung zweckdienlich zusammengefasst werden, sodass beispielsweise in Intervallen von +5 % bis -5% der Gesamtgrößenverteilung oder beispielsweise auch +10 % bis -10% der Gesamtgrößenverteilung gewählt ist. Dabei wird bei größeren Intervallen eine beschleunigte Durchführung des Verfahrens ermöglicht, kleinere Intervalle erhöhen die Präzision der Bestimmung.
  • Um das Verfahren schneller und mit weniger Aufwand durchführen zu können, wird die Bildinformation der MSOT gefiltert.
  • „Filtern“ beschreibt hierbei ein bewusstes Ausschließen bestimmter Bildinformations-Anteile von der späteren Verarbeitung, sodass die Datenmenge um beispielsweise bekannt schädliche oder bekannt falsche Bildanteile reduziert wird. Beispielsweise wird so ein Rauschen oder werden eine andere Form von Fehlinformation ausgefiltert.
  • In einer weiteren Ausführungsform wird die Bildinformation mit der Methode der spektralen Entmischung und/oder anhand eines Schwellwertes, insbesondere eines Schwellwertes zur Intensität der Bildinformation an einem jeweiligen Ort der Gewebeprobe, gefiltert.
  • Mit der Methode der spektralen Entmischung ist eine trennscharfe Bestimmung unterschiedlicher Farbinformationen aus der Bildinformation möglich, sodass eine besonders trennscharfe Zuordnung und/oder Korrelation gemäß dem erfindungsgemäßen Verfahren ermöglicht ist. Die Filterung anhand eines Schwellwertes, insbesondere eines Schwellwertes zur Intensität der Bildinformation an einem jeweiligen Ort der Gewebeprobe, führt zu einer Unterdrückung von Rauschen in der Bildinformation und filtert damit schädliche oder unerwünschte Fehlinformationen besonders effektiv heraus.
  • Eine „Intensität“ kann dabei der Farb- oder Helligkeitswert beispielsweise einer Bildinformation aus einem medizinischen Messgerät wie einem MSOT sein. Insbesondere ist die Intensität die Helligkeit einer Farbinformation, insbesondere eines bestimmten Wellenlängen- oder Spektralbereichs oder auch zugeordneten Schallsignals, an einem bestimmten Ort der Bildinformation.
  • Um einen größeren Bereich einer Gewebeprobe, welcher beispielsweise nicht mit einem einzigen Kontakt mit einem Messkopf eines MSOT erfasst werden kann, sicher analysieren und bestimmen zu können, wird die Bildinformation der MSOT aus mehreren Teilbildinformationen, insbesondere Teilbildinformationen unterschiedlicher Teilbereiche der Gewebeprobe, zusammengesetzt. Damit ist dann das erfindungsgemäße Verfahren an der zusammengesetzten Bildinformation durchführbar, sodass eine Information über die Verteilung unterschiedlicher Bestandteile innerhalb der gesamten zusammengesetzten Bildinformation ermittelt werden kann.
  • Alternativ dazu können auch mehrere korrelierte Informationen zu einem Vorliegen von Lipiden, Hämoglobin und/oder Kollagen an jeweiligen Orten der Gewebeprobe jeweiliger Teilbereiche der Gewebeprobe zusammengesetzt werden. Damit entsteht ein Gesamtbild von korrelierten Informationen einer größeren Gewebeprobe, sodass die Bestimmung und/oder Zuordnung unterschiedlicher Bestandteile anhand dieser zusammengesetzten korrelierten Informationen erfolgen kann.
  • Eine „Teilbildinformation“ ist dabei beispielsweise ein mittles einer MSOT erstelltes Bild eines Teilbereichs einer Gewebeprobe. Dieser Teilbereich ist dann kleiner oder wesentlich kleiner als die gesamte Gewebeprobe, beispielsweise nur 20% der Gewebeprobe.
  • Sogenannte „Teilbereiche“ der Gewebeprobe sind dabei Bereiche der gesamten Gewebeprobe, welche kleiner oder deutlich kleiner als die gesamte Gewebeprobe sind.
  • In einem weiteren Aspekt wird die Aufgabe gelöst durch eine Auswerteeinheit zum Bestimmen einer Verteilung von Lipiden, Hämoglobin und/oder Kollagen in einer Gewebeprobe, welche eingerichtet ist zum Durchführen eines erfindungsgemäßen Verfahrens gemäß den obigen Ausführungen.
  • Eine solche Auswerteeinheit kann mittels dem oben beschriebenen Verfahren besonders zuverlässig, sicher und schnell eine Verteilung von Lipiden, Hämoglobin und/oder Kollagen in einer Gewebeprobe durchführen. Weiterhin kann eine solche Auswerteeinheit, welche beispielsweise einem MSOT oder einem ähnlich arbeitenden Gerät zugeordnet ist, beim Bestimmen einer Verteilung von Lipiden Hämoglobinen und/oder Kollagen schnell und zuverlässig unterstützen.
  • In einer Ausführungsform weist die Auswerteeinheit eine Filtereinheit auf, wobei die Filtereinheit insbesondere eingerichtet ist zum Filtern einer Bildinformation, beispielsweise zum Filtern einer Bildinformation mit der Methode der spektralen Entmischung und/oder anhand eines Schwellwertes, insbesondere eines Schwellwertes zur Intensität der Bildinformation an einem jeweiligen Ort der Gewebeprobe.
  • Mittels einer solchen Filtereinheit ist es ermöglicht, der Auswerteeinheit nur solche Informationen zuzuführen, welche für die Auswertung einer Bildinformation notwendig sind. Damit kann die Auswerteeinheit so klein und leistungsarm wie möglich ausgelegt sein.
  • In einem weiteren Aspekt wird die Aufgabe gelöst durch einen MSOT (Multi-Spektral- Optoakustischer-Tomograph) zum Bestimmen einer Verteilung von Lipiden, Hämoglobin und/oder Kollagen in einer Gewebeprobe, welche eine Auswerteeinheit der beschriebenen Ausführungsformen aufweist.
  • Ein derart ausgestattetes MSOT kann direkt eine Information über eine Verteilung von Lipiden, Hämoglobin und/oder Kollagen in einer Gewebeprobe ausgeben. Damit ist die Anwendung der entsprechend ausgestatteten MSOT besonders einfach.
  • Um die MSOT besonders vielfältig einsetzen zu können, ist die Bildinformation der MOT als eine 2-dimensionale Bildinformation einer Schnittebene in der Gewebeprobe oder als eine 3-dimensionale Bildinformation eines Volumens in der Gewebeprobe erzeugt, insbesondere mit einer zusätzlichen Farbinformation zu einem jeweiligen Ort in der Gewebeprobe.
  • In einer Ausführungsform ist die MSOT mit einer Licht-Wellenlänge von 680nm bis 1.100nm betreibbar.
  • Insbesondere diese Wellenlängen haben sich als vorteilhaft zur Detektion von Lipiden, Hämoglobin und/oder Kollagen herausgestellt.
  • In einer weiteren Ausführungsform wird die MSOT mit einer Mehrzahl von Licht-Impulsen unterschiedlichen Wellenlängen während einer Messung, insbesondere mehr als 5 Impulse, beispielsweise mehr als 10 Impulse oder mehr als 20 Impulse unterschiedlicher Wellenlängen, durchgeführt, insbesondere unterschiedliche Wellenlängen mit einer Differenz von mindestens 50 nm.
  • Solch eine Mehrzahl von Licht-Impulsen ermöglicht es, unterschiedliche Gewebearten zur akustischen Reaktion anzuregen, sodass eine klare Unterscheidung zwischen beispielsweise Lipiden, Hämoglobin und/oder Kollagen ermöglicht ist.
  • Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher erläutert. Es zeigen
    • 1a eine schematische Darstellung einer MSOT-Untersuchung einer Gewebeprobe in einer Seitenansicht,
    • 1b monochrome MSOT-Bilder - mit unterschiedlichen Lichtwellenlängen ermittelt - in einer schematischen Übersicht,
    • 1c eine schematische Darstellung der spektralen Entmischung der MSOT-Bilder unterschiedlicher Lichtwellenlängen hin zu einem Farbbild der Gewebeprobe,
    • 2 eine Übersichtsdarstellung unterschiedlicher Farbbilder einer MSOT nach spektraler Entmischung in verschiedenen Schnittebenen sowie in einem Volumen,
    • 3 eine Übersichtsdarstellung unterschiedlicher Farbbilder nach spektraler Entmischung in Einzelfarben sowie als überlagertes Farbbild,
    • 4 eine aus einzelnen Bildern von Teilbereichen einer Gewebeprobe zusammengesetztes Gesamtbild einer Gewebeprobe in mehrfarbiger Darstellung,
    • 5 eine Datenauswertung nach Größenintervallen der Lipidstrukturen in einer Gewebeprobe, sowie
    • 6 ein schematischer Ablaufplan eines Auswertens einer Bildinformation einer MSOT bezüglich Lipiden, Hämoglobin und Kollagen.
  • Ein MSOT-Messkopf 101 ist auf eine Gewebeprobe 102 aufgesetzt. Die Gewebeprobe besteht aus einer Oberhaut 103, einer Lederhaut 105 sowie einer Unterhaut 107.
  • Mittels dem MSOT-Messkopf 101 wird ein Lichtimpuls 111 in die Gewebeprobe 102 entsendet. Dieser Lichtimpuls 111 umfasst dabei verschiedene Teilimpulse, nämlich Lichtimpulse der Wellen 680 nm, 800 nm, 930 nm sowie 1.100 nm. Bei Auftreffen der Teilimpulse entsprechender Wellenlängen entsenden Zellen innerhalb der Gewebeprobe 102 ein jeweiliges Schallecho 113. Das Schallecho 113 ist dabei jeweils einer Kombination aus Lichtwellenlänge sowie Gewebeart zugeordnet.
  • Der MSOT-Messkopf 101 liefert nach Lichtwellenlängen aufgelöst entsprechende MSOT-Bilder 121, 123, 125 sowie 127. Das MSOT-Bild 121 bildet dabei Echos zu einer Lichtwellenlänge von 680 nm ab, das MSOT-Bild 123 zu einer Lichtwellenlänge von 800 nm, das MSOT-Bild 125 zu einer Lichtwellenlänge von 930 nm sowie das MSOT-Bild 127 zu einer Lichtwellenlänge von 1.100 nm ab. Beispielhaft sei hier das Echo einer Gewebezelle 131 innerhalb des MSOT-Bilds 127 für die Lichtwellenlänge von 1.100 nm gezeigt.
  • Eine Steuerelektronik (nicht gezeigt), welche den MSOT-Messkopf 101 sowie das daran angeschlossene MSOT-Gerät (nicht gezeigt) steuert, liefert aus den MSOT-Bildern 121, 123, 125 und 127 ein Spektral-Diagramm 141. Das Spektral-Diagramm 141 bildet die entsprechende spektrale Verteilung graphisch ab.
  • Aus dem Spektral-Diagramm 141 wird dann mittels spektraler Entmischung ein Farbbild 151 erzeugt. Das Farbbild 151 bildet dabei unterschiedliche Bestandteile der Gewebeprobe aus einer Messebene, welche mit dem MSOT-Messkopf 101 gemessen wurde, farblich ab. Das Farbbild 151 zeigt dabei eine Lipid-Struktur 211, eine Hämoglobin-Struktur 213 sowie eine Kollagen-Struktur 215. Damit ist schon ein Rückschluss auf die Verteilung der entsprechenden Strukturen innerhalb der Messebene möglich.
  • Die Lipidstruktur 211 sei hierbei gelb dargestellt, die Hämoglobin-Struktur 213 in rot sowie die Kollagen-Struktur 215 in blau. (In allen Figuren sind diese Bestandteile nicht farbig abgebildet).
  • Gleichartige Farbbilder 201, 203 sowie 205 zeigen entsprechend farbliche Auswertungen in einer XY-, YZ sowie XZ-Ebene. Das daraus zusammengefügte 3D-Farbbild 207 liefert daraus eine volumetrische, farbige Darstellung des entsprechenden Messvolumens und der darin erkannten Strukturen. Hier sind dann Lipid-Strukturen 211 erkennbar ebenso wie Hämoglobin-Strukturen 213 sowie Kollagen-Strukturen 215.
  • Eine Bildmatrix 300 zeigt insgesamt 12 unterschiedliche Bilder. Ein Multi-Color-Bild 301, ein Multi-Color-Bild 303 sowie ein Multi-Color-Bild 305 unterschiedlicher Schnittebene aus einer Gewebeprobe sind zusammengesetzt aus jeweiligen Mono-Color-Bildern.
  • Das Multi-Color-Bild 301 ist dabei zusammengesetzt aus den Mono-Color-Bildern 311, 321 sowie 331. Das Multi-Color-Bild 303 ist zusammengesetzt aus den Mono-Color-Bildern 313, 323 sowie 333. Das Multi-Color-Bild 305 ist zusammengesetzt aus den Mono-Color-Bildern 315, 325 sowie 335.
  • Die Mono-Color-Bilder 331, 333 sowie 335 sind die Abbildungen jeweiligen Lichtwellenlängen der MSOT zugeordneter akustischer Echo-Bereiche und stellen jeweilige Bereiche, durch welche Hämoglobin erkennbar ist, in roter Farbe dar. Die Mono-Color-Bilder 321, 323 sowie 325 stellen entsprechende Bereiche, in welchen Kollagen sichtbar ist, in blauer Farbe dar. Die Mono-Color-Bilder 311, 313 sowie 315 stellen entsprechende Bereiche, in denen Lipide vorhanden sind, in gelber Farbe dar. (In den Figuren jeweils in Graustufen dargestellt).
  • Die Multi-Color-Bilder 301, 303 sowie 305 lassen damit an den jeweiligen Orten die entsprechenden Größen von Lipiden, Hämoglobin sowie Kollagen in der Gewebeprobe erkennen. Je größer die Fläche des jeweils dargestellten Gewebestandteils der entsprechend dargestellten Farbe, desto größer auch das Volumen dieses Bestandteils am entsprechenden Ort.
  • Ein Gesamtbild 401 zeigt dabei ein aus Teilbildern zusammengefügtes Schaubild von Multi-Color-Bildern, sodass eine größere Gewebeprobe erkennbar ist. In diesem Gesamtbild 401 sind Lipidzellen 411 sowie Gefäße 413 erkennbar. Die Lipidzellen 411 werden dabei in gelber Farbe dargestellt, die Gefäße 413 in roter Farbe abgebildet.
  • Die Auswertung sei hier am Beispiel des Gesamtbildes 401 erläutert:
  • Durch Auswertung des Gesamtbildes 401 nach entsprechenden Größen der Lipidzellen 411 kann mit Bildung von Größenintervallen auf Auftragen der entsprechenden Anzahl von Lipidzellen 411 eines Größenintervalls ein Histogramm über eine Gewebeprobe erstellt werden. Ein solches Histogramm wird dann in einem Säulendiagramm aufgetragen.
  • Ein solches beispielhaftes Säulendiagramm ist ein Diagramm 501. Es zeigt eine nach Größenintervallen aufgelösten Vorkommen von Lipiden in einem entsprechenden Bild wie dem Gesamtbild 401. Dabei werden eine Referenzgruppe 503 sowie die Probenwerte 505 aufgeführt. Die Referenzgruppe 503 kann beispielsweise aus vorigen Untersuchungen an einer Vielzahl von Gewebeproben beispielsweise gesunder Patienten erfolgt sein. Auf der X-Achse sind dabei die Größenintervalle der Lipidvorkommen aufgeschlüsselt, die Y-Achse zeigt die Anzahl der innerhalb der Gewebeprobe festgestellten solchen Lipidzellen entsprechender Größe.
  • Aus der entsprechend aufgeschlüsselten Menge von Lipiden je Größenordnung ist damit unter anderem ein Rückschluss auf den Gesundheitszustand der entsprechenden Gewebeprobe oder eine krankhafte Veränderung derselben möglich.
  • Die Durchführung des erfindungsgemäßen Verfahrens sei wie folgt noch einmal erläutert:
  • Ein Ablaufschema 601 zeigt den Ablauf des Verfahrens. Es erfolgt das Einlesen der MSOT-Bildinformationen 602, sodass ein Zuordnen 603 der entsprechenden Bildinformationen zu unterschiedlichen Bestandteilen der Gewebeprobe erfolgt. Sodann wird das Korrelieren der Farbinformation aus der Bildinformation zu einer Gewebeart durchgeführt, sodass eine korrelierte Information zu einem Vorliegen von Lipiden, Hämoglobin und/oder Kollagen an jeweiligen Orten in der Gewebeprobe vorliegt. Nach dem Korrelieren 605 erfolgt ein Intervallbilden 607, in welchem die entsprechenden Größenanteile entsprechend ihrer Anzahl in diesen Intervallen abgebildet wird. Danach kann ein Auswerten 609 erfolgen.
  • Ein Ablaufschema 610 zeigt ein alternatives Verfahren. Nach dem Einlesen der Bildinformation der MSOT 611 erfolgt ein Filtern 612 der MSOT, sodass schädliche Bestandteile wie Rauschen und Fehlinformationen nicht mehr innerhalb der Bildinformationen enthalten sind. Die so gefilterte Information wird dann einem Zuordnen 613 sowie einem darauffolgenden Korrelieren 615 gemäß obiger Beschreibung unterzogen. Danach erfolgt ein Intervallbilden 617 und ein Auswerten 619 analog dem Intervallbilden 607 sowie dem Auswerten 609.
  • Bezugszeichenliste
  • 101
    MSOT-Messkopf
    102
    Gewebeprobe
    103
    Oberhaut
    105
    Lederhaut
    107
    Unterhaut
    111
    Lichtimpuls
    113
    Schallecho
    121
    MSOT-Bild 680nm
    123
    MSOT-Bild 800nm
    125
    MSOT-Bild 930nm
    127
    MSOT-Bild 1100nm
    131
    Gewebezelle
    141
    Spektral-Diagramm
    151
    Farbbild
    201
    Farbbild
    203
    Farbbild
    205
    Farbbild
    207
    3D-Farbbild
    211
    Lipid-Struktur (gelb)
    213
    Hämoglobin-Struktur (rot)
    215
    Kollagen-Struktur (blau)
    300
    Bildmatrix
    301
    Multi-Color-Bild
    303
    Multi-Color-Bild
    305
    Multi-Color-Bild
    311
    Mono-Color-Bild
    313
    Mono-Color-Bild
    315
    Mono-Color-Bild
    321
    Mono-Color-Bild
    323
    Mono-Color-Bild
    325
    Mono-Color-Bild
    331
    Mono-Color-Bild
    333
    Mono-Color-Bild
    335
    Mono-Color-Bild
    401
    Gesamtbild
    411
    Lipidzellen
    413
    Gefäß
    501
    Diagramm
    503
    Referenzgruppe
    505
    Probenwerte
    601
    Ablaufschema
    602
    Einlesen MSOT
    603
    Zuordnen
    605
    Korrelieren
    607
    Intervallbilden
    609
    Auswerten
    610
    Ablaufschema
    611
    Einlesen MSOT
    612
    Filtern der MSOT
    613
    Zuordnen
    615
    Korrelieren
    617
    Intervallbilden
    619
    Auswerten

Claims (12)

  1. Verfahren zum Auswerten einer Bildinformation einer MSOT (Multispektrale optoakustische Tomographie) einer Gewebeprobe zum Bestimmen einer Verteilung von Lipiden, Hämoglobin und/oder Kollagen in der Gewebeprobe, mit folgenden Schritten: - Zuordnen unterschiedlicher Bestandteile der Gewebeprobe anhand einer Farbinformation der Bestandteile aus der Bildinformation der MSOT an einem jeweiligen Ort zu einem jeweiligen Ort der Gewebeprobe, sodass eine Farbinformation über unterschiedliche Bestandteile der Gewebeprobe an einem jeweiligen Ort der Gewebeprobe vorliegt, sowie - Korrelieren der Farbinformation zu einer Gewebeart in der Gewebeprobe derart, dass eine korrelierte Information zu einem Vorliegen von Lipiden, Hämoglobin, und/oder Kollagen an jeweiligen Orten in der Gewebeprobe vorliegt, so dass mittels der korrelierten Information eine Information über die Verteilung von Lipiden, Hämoglobin und/oder Kollagen, insbesondere die Größenverteilung von Lipiden, Hämoglobin und/oder Kollagen, in der Gewebeprobe vorliegt.
  2. Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass ein Bestimmen der von einem Mittelwertbereich der Größenverteilung der Lipide abweichenden Anzahl von Lipiden in der Gewebeprobe durchgeführt wird, sodass eine Information über die Ungleichmäßigkeit der Verteilung von Lipiden in der Gewebeprobe vorliegt.
  3. Verfahren gemäß Anspruch 2, dadurch gekennzeichnet, dass eine Intervallbildung innerhalb der unterschiedlichen Größen von Lipiden zum Bestimmen der Anzahl von Lipiden der Größenverteilung je Intervall durchgeführt wird, sodass eine Anzahl von Lipiden je Intervall der Größenverteilung bestimmt ist.
  4. Verfahren gemäß einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Bildinformation der MSOT gefiltert wird.
  5. Verfahren gemäß Anspruch 4, dadurch gekennzeichnet, dass die Bildinformation mit der Methode der spektralen Entmischung und/oder anhand eines Schwellwertes, insbesondere eines Schwelwertes zur Intensität der Bildinformation an einem jeweiligen Ort der Gewebeprobe, gefiltert wird.
  6. Verfahren gemäß einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Bildinformation der MSOT aus mehreren Teilbildinformationen, insbesondere Teilbildinformationen unterschiedlicher Teilbereiche der Gewebeprobe, zusammengesetzt wird und/oder mehrere korrelierte Informationen zu einem Vorliegen von Lipiden, Hämoglobin, und/oder Kollagen an jeweiligen Orten in der Gewebeprobe jeweiliger Teilbereiche der Gewebeprobe zusammengesetzt werden.
  7. Auswerteeinheit zum Bestimmen einer Verteilung von Lipiden, Hämoglobin und/oder Kollagen in einer Gewebeprobe, welche zum Durchführen eines Verfahrens gemäß einem der Ansprüche 1 bis 6 eingerichtet ist.
  8. Auswerteeinheit gemäß Anspruch 7, gekennzeichnet durch eine Filtereinheit.
  9. MSOT (Multi-Spektral-Optoakustischer-Tomograph) zum Bestimmen einer Verteilung von Lipiden, Hämoglobin und/oder Kollagen in einer Gewebeprobe, gekennzeichnet durch eine Auswerteeinheit gemäß einem der Ansprüche 7 oder 8.
  10. MSOT gemäß Anspruch 9, dadurch gekennzeichnet, dass die Bildinformation der MSOT als eine 2-Dimensionale Bildinformation einer Schnittebene in der Gewebeprobe oder als eine 3-Dimensionale Bildinformation eines Volumens in der Gewebeprobe erzeugt ist, insbesondere mit einer zusätzlichen Farbinformation zu einem jeweiligen Ort in der Gewebeprobe.
  11. MSOT gemäß Anspruch 9 oder 10, dadurch gekennzeichnet, dass die MSOT mit einer Licht-Wellenlänge von 680nm bis 1100nm betreibbar ist.
  12. MSOT gemäß einem der Ansprüche 9 bis 11, dadurch gekennzeichnet, dass die MSOT mit einer Mehrzahl von Licht-Impulsen unterschiedlicher Wellenlängen während einer Messung, insbesondere mehr als 5, beispielsweise mehr als 10 oder mehr als 20 Licht-Impulsen unterschiedlicher Wellenlängen durchgeführt wird, insbesondere unterschiedliche Wellenlängen mit einer Differenz von mindestens 50nm.
DE102020128633.3A 2020-10-30 2020-10-30 Verfahren zum Auswerten einer Bildinformation einer MSOT einer Gewebeprobe sowie Auswerteeinheit und MSOT Withdrawn DE102020128633A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102020128633.3A DE102020128633A1 (de) 2020-10-30 2020-10-30 Verfahren zum Auswerten einer Bildinformation einer MSOT einer Gewebeprobe sowie Auswerteeinheit und MSOT

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020128633.3A DE102020128633A1 (de) 2020-10-30 2020-10-30 Verfahren zum Auswerten einer Bildinformation einer MSOT einer Gewebeprobe sowie Auswerteeinheit und MSOT

Publications (1)

Publication Number Publication Date
DE102020128633A1 true DE102020128633A1 (de) 2022-05-05

Family

ID=81183980

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020128633.3A Withdrawn DE102020128633A1 (de) 2020-10-30 2020-10-30 Verfahren zum Auswerten einer Bildinformation einer MSOT einer Gewebeprobe sowie Auswerteeinheit und MSOT

Country Status (1)

Country Link
DE (1) DE102020128633A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020187700A1 (en) 2019-03-15 2020-09-24 Ithera Medical Gmbh Device and method for analyzing optoacoustic data, optoacoustic system and computer program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020187700A1 (en) 2019-03-15 2020-09-24 Ithera Medical Gmbh Device and method for analyzing optoacoustic data, optoacoustic system and computer program

Similar Documents

Publication Publication Date Title
DE102007048362B4 (de) System und Verfahren zum Untersuchen eines Objekts
DE3856471T2 (de) Verfahren und vorrichtung zur untersuchung von inneren organen
EP1047987B1 (de) Verfahren und vorrichtung zur darstellung und überwachung von funktionsparametern eines physiologischen systems
DE102005022817A1 (de) Kontrastmittel für ein kombinierte Betriebsarten verwendendes Bildgebungssystem und zugehörige Verfahren und Systeme
DE2344528A1 (de) Verfahren und vorrichtung zur analyse unter verwendung von farb-algebra und von bild-verarbeitungsverfahren
EP3332710B1 (de) Charakterisierung von plaque
DE10353883A1 (de) Verfahren und Einrichtung zum Messen Krankheits-relevanter Gewebeveränderungen
DE102005022880A1 (de) Trennung spektral oder farblich überlagerter Bildbeiträge in einem Mehrfarbbild, insbesondere in transmissionsmikroskopischen Mehrfarbbildern
DE102009022834A1 (de) Verfahren zur automatischen Analyse von Bilddaten einer Struktur
DE102015221877A1 (de) Bildbasierter Biomarker zur Charakterisierung der Struktur oder Funktion von menschlichemoder tierischem Hirngewebe und zugehörige Verwendungen und Verfahren
DE102012208625A1 (de) Verfahren und System zur Verarbeitung von MRT-Daten des menschlichen Gehirns
DE112018000393T5 (de) Endoskopsystem und Bildanzeigevorrichtung
DE102005024949A1 (de) Verfahren zur Darstellung von Strukturen innerhalb von Volumendatensätzen
DE68925728T2 (de) Verfahren zur bildformung eines unbestimmten mediums
EP3741290B1 (de) Vorrichtung zur abbildungserzeugung von hautläsionen
DE102006010907A1 (de) Verfahren zur Bestimmung von Molekülen oder Molekülteilen in biologischen Proben
DE102020128633A1 (de) Verfahren zum Auswerten einer Bildinformation einer MSOT einer Gewebeprobe sowie Auswerteeinheit und MSOT
DE10229880A1 (de) Bildanalyseverfahren und Vorrichtung zur Bildauswertung für die in vivo Kleintierbildgebung
DE102007027738B4 (de) Verfahren und Vorrichtung zur Visualisierung eines tomographischen Volumendatensatzes unter Nutzung der Gradientenmagnitude
DE102004008519B4 (de) Verfahren zur Visualisierung quantitativer Information in Datensätzen der medizinischen Bildgebung
DE102013218047B3 (de) Verfahren zur automatischen Anzeige und/oder Messung von Knochenveränderungen in medizinischen Bilddaten, sowie medizinisches Bildgebungsgerät und elektronisch lesbarer Datenträger
DE10145823A1 (de) Verfahren zur Auswertung intensitätsschwacher, zeitaufgelöster Fluoreszenzbilder
DE10355150B4 (de) Verfahren und System zur Analyse von Co-Lokalisationen
DE102019000066B4 (de) Verfahren zur Visualisierung von Fluoreszenz-Lifetime-Imaging-Daten
EP2431913B1 (de) Verfahren und Vorrichtung zur Bestimmung von aktuellen Zuständen von Zellen in Zellbereichen

Legal Events

Date Code Title Description
R163 Identified publications notified
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee