-
HINTERGRUND
ZU DER ERFINDUNG
-
Die
vorliegende Erfindung betrifft allgemein das Gebiet der Bildverarbeitung
und Bildsegmentierung. Insbesondere betrifft die Erfindung ein Verfahren
zur Verarbeitung von Bilddaten, das eine flexiblere Verarbeitung
von Bilddaten ermöglicht,
um die verarbeiteten Bilder deutlicher, anschaulicher und brauchbarer
zu machen.
-
Es
existieren viele Anwendungen und Einrichtungen für die digitale Bildverarbeitung.
Beispielsweise werden im Zusammenhang mit der medizinischen Diagnostik
viele Bilder durch Verwendung spezieller Bildgebungsarten oder Kombination
dieser Ausführungsarten
erzeugt. ZU diesen gehören
Ausführungsarten,
wie Magnetresonanz-(MR-)-Bildgebungssysteme, Computertomographie-(CT-)-Bildgebungssysteme,
Positronen-Emissions-Tomographie-(PET-)-Bildgebungssysteme, Ultraschall-Bildgebungssysteme,
Tomosynthese-Systeme, Röntgensysteme
und dergleichen. Diese und weitere Ausführungsarten und die Vorrichtungen werden
auch in anderen Umgebungen, bspw. als Bestandteil einer Teilprüfung, bei
der Qualitätskontrolle
und, allgemeiner gesagt, bei der Erzeugung beliebiger verarbeiteter
digitaler Abbildungen eingesetzt.
-
Digitale
Bilddaten werden im Allgemeinen auf unterschiedliche Art und Weise
gesammelt und bearbeitet, um für eine
Rekonstruktion eines nützlichen
Bildes geeignete Daten zu bilden. Das Bild ist aus einer Gruppe
(einem Array) diskreter Bildelemente oder Pixel zusammengesetzt,
die bei der Betrachtung ein Schichtbild ergeben. Die in Pixeln dargestellten
Daten können
auf unterschiedliche Weise verarbeitet werden, und zwar in Abhängigkeit
von der Art der Daten, der Art des zur Erzeugung der Daten verwendeten
Datenakquisitionssystems, dem in dem rekonstruierten Bild sichtbaren
Gegenstand und allgemeiner von der beabsichtigten Verwendung der
rekonstruierten Bilder. Es ist eine breite Vielfalt derartiger Verarbeitungstechniken
bekannt, die heutzutage im gesamten Bildverarbeitungssektor verwendet
werden. Derartige herkömmliche
Verarbeitungstechniken sind jedoch nicht ohne Nachteile.
-
Beispielsweise
verwenden viele Bilderzeugungstechniken unterschiedliche Formen
von Masken oder Zuordnungen (Maps), die durch eine Analyse der Bilddaten
und durch Entscheidungen über
eine Klassifizierung der Bilddaten formuliert werden. Eine gewöhnlich verwendete
Zuordnungsart unterteilt die Bilddaten bspw. in Strukturen und Nichtstrukturen.
Wenn eine derartige Unterteilung vorgenommen wird, ist es bei der Bildverarbeitung
gebräuchlich,
einen Datensatz, der einen bestimmten Maske entspricht, in einer
Weise zu behandeln, während
ein weiterer Datensatz, in dem gewöhnlich die Daten in der ersten
Maske ausgeschlossen sind, auf eine unterschiedliche Art und Weise
behandelt wird. Dies ist insbesondere der Fall bei der Bildverarbeitung,
die Bilder in Strukturen und Nichtstrukturen unterteilt. Eine derartige
Maskierung und Verarbeitung von Daten kann jedoch unterschiedliche
Formen einnehmen und mehrmals an den gleichen Daten angewandt werden,
um das von den verarbeiteten Daten rekonstruierte Bild zu verbessern.
-
Die
Praxis der Unterteilung und Analyse von Bilddaten durch ihre Art,
bspw. durch die Klassifikation einzelner Pixel als zur Kennzeichnung
von Strukturen oder Nichtstrukturen, ist bei der Verarbeitung bestimmter Abbildungsarten
sehr wirksam und ergibt vorzügliche
Ergebnisse, die für
eine sorgfältige
Analyse und, im medizinischen Zusammenhang, für eine Diagnose und Behandlung
verwendet werden können.
Für mehr
Nuancen enthaltende Abbildungen oder Abbildungen, bei denen eine
derartige Klassifikation irgendwie unklar ist, können die Unterteilungen jedoch
zu einer unbeabsichtigten Hervorhebung oder Unterdrückung von
Teilen der Bilddaten führen,
was in der Tat ein rekonstruiertes Bild ergibt, dass irgendwie schwieriger
zu analysieren ist, was bspw. auf einen Kontrastverlust, Detailverlust
und dergleichen zurückzuführen ist.
-
Es
besteht momentan ein Bedarf, mehrere Bildverarbeitungsoperationen,
wie bspw. diejenigen, die an Strukturen oder Nichtstrukturen durchgeführt werden,
in einer nahtlosen Weise derart zu kombinieren, um die Operationen
zu vereinigen und jede Neigung zur Erzeugung von Artefakten oder
abrupter Umschaltungen von einem Betriebsmodus zu einem anderen,
die eine Visualisierung störend
beeinflussen, zu reduzieren. Ein Verfahren zur Lösung dieses Problems besteht
in einem räumlichen Übergang
von einer Operation zu der anderen durch Vermischung (Blending)
einer Operation mit der anderen auf der Basis des räumlichen
Abstands. Während
diese Lösung
sich den übergangsbezogenen
Artefakten widmet, bietet es keine Korrektur für Fehler bei der Segmentierung
von Bilddaten, wie bspw, der Segmentierung zwischen Strukturen und
Nichtstrukturen. Um es erneut zu sagen, derartige Fehler verursachen
viele unerwünschte
Resultate bei der Bildvisualisierung. Im Falle von Strukturen können die
Resultate hervorgehobene falsche Strukturen ergeben oder umgekehrt
zu einem Kontrastverlust dort führen,
wo Strukturen erkannt werden sollten.
-
KURZBESCHREIBUNG
DER ERFINDUNG
-
Die
vorliegende Erfindung schafft eine neue Technik zur Bildverarbeitung,
die dazu vorgesehen ist, derartige Bedürfnisse zu erfüllen. Die
Technik basiert auf einer „unscharfen" („fuzzy") oder flexiblen
segmentierungsbasierten Bildoperation, die manchmal im vorliegenden
Zusammenhang als FUSION bezeichnet wird. Die Technik basiert auf
der Analyse von Bilddaten, um eine oder mehrere Masken oder Zuordnungen
(Maps) zu erzeugen. Im Unterschied zu den bisherigen Techniken werden
jedoch die maskierten oder gemappten Daten nicht strikt gesondert
verarbeitet, sondern es werden wenigstens zwei Schwellen für eine derartige
Maskierung gebildet und verwendet, was eine Unterteilung der Bilddaten
in mehrere, mehr als zwei Regionen ergibt. Bei der vorliegenden
Ausführungsform
werden zwei Schwellen angewendet, was Daten, die durch eine einzelne
Eigenschaft deutlicher klassifiziert sind, Daten, die durch eine
unterschiedliche Eigenschaft klassifiziert sind, sowie Daten ergibt,
die weder deutlich die ersten Eigenschaft noch die zweite Eigenschaft
aufweisen. Der letztere Datensatz wird sowohl als ein Element der
ersten Eigenschaftsgruppe als auch ein Element der zweiten Eigenschaftsgruppe
behandelt. Für
die Klassifizierung kann jede beliebige Funktion verwendet werden,
wobei sowohl lineare als auch nichtlineare Funktionen momentan eingesetzt
werden. Eine nachfolgende Verarbeitung wird anschließend entsprechend
jeder beliebigen herkömmlichen
Verfahrenstechnik durchgeführt,
wobei die Verarbeitung die überlappenden
Klassifikationsdaten als Elemente sowohl der ersten Gruppe als auch
der zweiten Gruppe behandelt. Zu der nachfolgenden Verarbeitung
kann eine Vermischung (ein Blending) der Bilddaten gehören, um
eine Bildrekonstruktion zu ermöglichen.
Das Blending selbst kann ebenfalls von dem Grad abhängen, zu
dem die überlappenden
Klassifikationsdaten in Richtung auf eine Eigenschaft oder eine
andere tendieren.
-
Die
Erfindung zielt auf Verfahren, Systeme und Computerprogramme ab,
die dazu vorgesehen sind, derartige Techniken auszuführen.
-
KURZBESCHREIBUNG
DER ZEICHNUNGEN
-
1 zeigt
eine graphische Darstellung eines beispielhaften Bildgebungssystems,
das zur Ausführung
der vorliegenden Technik vorgesehen ist, in Form eines Blockschaltbilds;
-
2 zeigt
ein Flussdiagramm, das beispielhafte Schritte in einer Logik zur
Ausführung
der vorliegenden Technik veranschaulicht, und zwar für unterschiedliche
Operationen oder Prozesse, die an in charakteristischer Weise identifizierten
Bilddaten durchgeführt
werden;
-
3 zeigt
ein Flussdiagramm, das eine besondere Ausführungform der Technik nach 2 zur
Verarbeitung von Daten veranschaulicht, die in einer Abbildung Strukturen
und Nichtstrukturen kennzeichnen;
-
4 zeigt
in einer graphischen Darstellung eine Art einer auf flexible Weise
vorgenommenen Klassifizierung und Bearbeitung von Bilddaten gemäß der vorliegenden
FUSION-Technik; und
-
5–8 zeigen
schematische Darstellungen eines Abschnitts einer Abbildung zur
Veranschaulichung, auf welche Weise unterschiedlich klassifizierte
Daten gemäß der FUSION-Technik
verarbeitet werden, wie beispielsweise durch die Prozesse nach 2 oder 3.
-
DETAILLIERTE
BESCHREIBUNG BESONDERER AUSFÜHRUNGSFORMEN
-
Indem
nun auf die Zeichnungen Bezug genommen und zunächst auf 1 verwiesen
wird, ist ein Bildgebungssystem 10 allgemein veranschaulicht,
wie es einen Bilderzeuger oder eine Bilderzeugungseinrichtung 12 zur
Erzeugung von Bilddaten eines Objektes 14 enthält. Obwohl
eine menschliche Gestalt allgemein als das Objekt 14 veranschaulicht
ist, sollte bedenkt werden, dass jedes geeignete Objekt abgebildet
werden könnte.
Im vorliegenden Zusammenhang kann das Objekt beispielsweise durch
einen Menschen oder ein Tier, ein lebendiges oder lebloses Objekt,
beispielsweise auch Fertigungsteile, natürlich vorkommende Objekte und dergleichen
gebildet sein. In der Tat kann das Bildgebungssystem 10 in
Form eines beliebigen geeigneten Systems ausgebildet sein, das digitalisierte
Bilddaten auf der Grundlage einiger physikalischer Abbildungsgrundlagen
erzeugt. Im Zusammenhang mit der medizinischen Bilderzeugung können derartige
Bildgebungssysteme, wie sonst auch, MR-Bildgebungssysteme, PET-Systeme,
CT-Systeme, Tomosynthesesysteme, Röntgensysteme, Ultraschallsysteme
und viele weitere Systemarten zur Bilderzeugung enthalten. Die Systeme
können auch
herkömmliche
Fotografie-Bildgebungssysteme enthalten, die digitalisierte Bilddaten
basierend auf der empfangenen Strahlung jeder beliebigen geeigneten
Bandbreite oder Frequenz erzeugen.
-
In
der schematisierten Ansicht nach 1 enthält das Bildgebungsystem
einen Bilderzeuger 12, der mit einer Bilderzeugersteuerschaltung 16 sowie
einer Bilddatenakquisitionsschaltung 18 verbunden ist.
In Abhängigkeit
von der Ausführungsart
und den physikalischen Eigenschaften des Systems sendet der Bilderzeuger
gewöhnlich
entweder eine Strahlung aus, wie dies beispielsweise beim Röntgen, bei
der Computertomographie, Tomosynthese und weiteren Systemen der
Fall ist. Andere aktive Bildgebungssysteme, wie beispielsweise die
MR-Bildgebungssysteme, wirken auf die Objekte mittels einer Anregung
ein, beispielsweise durch Erzeugung von Hochfrequenzpulssignalen
in der Gegenwart gesteuerter Magnetfelder. In all diesen Fällen wird
der Bilderzeuger jedoch hinsichtlich seines Betriebs durch die Bilderzeugersteuerschaltung 16 geregelt. Eine
derartige Steuerschaltung kann in einer beliebigen geeigneten Form
ausgebildet sein und enthält
gewöhnlich
Schaltungskomponenten zur Aktivierung des Bilderzeugers, zum Empfang
einer Strahlung oder anderer Signale, zur Erzeugung beliebiger Anregungssignale
oder Strahlungen, die für
die Bilderzeugung erforderlich sind, und dergleichen. Die Bilddatenakquisitionsschaltung 18 nimmt
dann durch den Bilderzeuger empfangene Daten entgegen und verarbeitet
diese anfänglich.
Eine derartige anfängliche
Verarbeitung kann eine Umwandlung von Analogsignalen an Digitalsignale,
eine Filterung der Analog- oder Digitalsignale, eine Skalierung
oder Ein stellungen des Dynamikbereichs und dergleichen beinhalten.
-
Die
Bilderzeugersteuerschaltung 16 und die Bilddatenakquisitionsschaltung 18 sind
im Allgemeinen durch eine Systemsteuerschaltung 20 einer
beliebigen Art geregelt. In Abhängigkeit
von der Eigenart des Bildgebungssystems und der damit verbundenen
Physik kann wiederum die Systemsteuerschaltung Bildgebungssequenzen
durch Austausch geeigneter Signale mit der Bilderzeugersteuerschaltung 16 auslösen. Die
Systemsteuerschaltung 20 kann ferner die rohen oder vorverarbeiteten
Bilddaten von der Bilddatenakquisisionsschaltung 18 entgegennehmen.
Die Systemsteuerschaltung 20 kann, insbesondere in komplexeren
Systemen, mit einer Bedienerarbeitsstation (Workstation) 22 verbunden
sein, an der ein Bediener eine Untersuchung oder Bildgebungssequenzen
auswählt,
konfiguriert und startet. Die entweder rohen, teilweise verarbeiteten
oder vollständig
verarbeiteten Bilddaten werden gewöhnlich in einem Speichermedium
einer beliebigen Art abgespeichert, wie dieses bei dem Bezugszeichen 24 veranschaulicht
ist. In dem vorliegenden Zusammenhang kann ein derartiges Speichermedium
Teil der Systemsteuerschaltung 20, der Bediener-Workstation 22 oder
einer beliebigen anderen Komponente des gesamten Systems bilden.
Im Zusammenhang mit der medizinischen Diagnostik kann ein derartiges
Speichermedium einen lokalen oder entfernt angeordneten Speicher enthalten,
die beide sowohl magnetischer als auch optischer Art sein können, und
es kann komplexe Bildarchivierungs- und Kommunikationssysteme (PACS,
Picture Archiv and Communication Systems) enthalten, die dazu vorgesehen
sind, bei Bedarf Bilddaten abzuspeichern und darzubieten.
-
In
der Darstellung gemäß 1 ist
die Workstation 22 für
den Bediener veranschaulicht, wie sie mit der Bilddatenverarbeitungsschaltung 26 verbunden
ist. Eine derartige Verarbeitungsschaltung kann in der Tat wiederum über das
System beliebig verteilt sein und kann Hardware, Firmware und/oder
Software enthalten, die dazu dienen, die Bilddaten zu verarbeiten,
um für
eine Betrachtung geeignete rekonstruierte Abbildungen zu erzeugen.
Gemäß der vorliegenden
Technik, wie sie nachstehend beschrieben ist, führt die Bildverarbeitungsschaltung 26 eine
FUSION-Verarbeitung an den Abbildungsdaten durch, um die Rohdaten
oder die vorverarbeiteten Daten in einer Weise zu behandeln, dass
die Verwendbarkeit der rekonstruierten Abbildungen weiter verbessert
wird. Die Bilddatenverarbeitungsschaltung 26 kann lokal
in Bezug auf das Bildgebungssystem, wie in 1 allgemein
veranschaulicht, oder von dem System vollständig entfernt angeordnet sein
und auf die Bilddaten, beispielsweise die Bilddaten von dem Speichermedium 24,
zur nachfolgenden Verarbeitung einfach zugreifen. Schließlich veranschaulicht 1 unterschiedliche
Fernsteuerungs-/Verarbeitungs-/Betrachtungsstationen 28,
die mit dem Bildgebungssystem mittels geeigneter Netzwerkverbindungen 30 gekoppelt
sein können.
Derartige Stationen können
dazu verwendet werden, um die Bilddaten auf die hier beschriebene
Weise weiter anzuzeigen, zu analysieren und zu verarbeiten.
-
Wie
für einen
Fachkundigen ohne weiteres erkennbar, werden Bilddaten der Art,
wie sie mit vielen unterschiedlichen Bildgebungssystemen gewonnen
werden, im Allgemeinen mittels unterschiedlicher Filterungs- und
Verbesserungstechniken verarbeitet, um diskrete Bildelemente oder
-pixel, die durch die Bilddaten codiert sind, zu erkennen, zu klären oder
auf sonstige Weise zu behandeln. Jedes Pixel enthält gewöhnlich Daten,
die seine Lage und seine Intensi tät oder in Farbsystemen seine
Intensität
bei mehreren unterschiedlichen Farben beschreiben. Die Verbesserung
der Bilddaten wird durchgeführt,
indem unterschiedliche Eigenschaften jedes Pixels oder benachbarter
Pixel auf mathematische Weise derart berechnet werden, um sinnvolle
Gruppen der Pixel zu erkennen und die Pixel in sinnvollen Gruppen
zu behandeln. Insbesondere sind die Bilddaten am meisten nützlich,
wenn ein Mensch oder eine Maschine Pixelgruppen erkennen kann, die
bestimmte Qualitäten
oder Eigenschaften miteinander teilen. Beispielsweise können Strukturen
oder Nichtstrukturen in Bilddaten mittels unterschiedlicher Prozesse
erkannt werden. Die Strukturen können
Kanten, Flächen,
Konturen, Regionen, Farben sowie weitere Bildmerkmale repräsentieren,
die, wenn sie durch einen menschlichen Betrachter oder einen maschinellen
Viewer betrachtet werden, das Bild nützlich oder einer beliebigen
Interpretation zugänglich
machen. Die vorliegende FUSION-Technik erleichtert eine derartige
Verarbeitung, indem zu der Klassifikation und Verarbeitung ein Flexibilitätsgrad hinzugefügt wird,
der bei bisher bekannten Techniken so nicht existierte.
-
2 veranschaulicht
beispielhafte Schritte in dem FUSION-Prozess, der allgemein durch
das Bezugszeichen 32 gekennzeichnet ist. Der Prozess beginnt
allgemein bei Bilddaten, die durch das Bezugzeichen 34 angezeigt
sind. Diese Bilddaten können,
wie vorstehend erläutert,
rohe Bilddaten oder vorverarbeitete Bilddaten sein und können vor
der Ausführung
des Prozesses einer Umwandlung und Analyse unterschiedlicher Art
unterzogen worden sein. Die Bilddaten sind gewöhnlich auf einem Speichermedium
abgespeichert, wie im Zusammenhang mit 1 erwähnt. Anschließend wird
auf die Bilddaten wird zugegriffen, während der FUSION-Prozess durch
Identifizierung von Eigenschaften der durch die Bild daten definierten
Pixel ausgeführt
wird, wie dies mit dem Bezugszeichen 36 veranschaulicht
ist. Es sind viele derartige Eigenschaftsidentifizierungsprozesse
bekannt und für
einen Fachkundigen verfügbar.
Für die
vorliegenden Zwecke kann die Eigenschaft durch eine beliebige gewünschte identifizierbare
Qualität
der Pixel gegeben sein, und diese wird gewöhnlich ermittelt, indem die
Pixelintensität
und ihr Verhältnis
zu den Intensitäten
benachbarter Pixel, die durch die Bilddaten definiert sind, analysiert
wird. Die resultierende Eigenschaftsidentifikation erzeugt Zuordnungen
(Maps) oder Masken 38 und 40.
-
Man
kann sich das derart vorstellen, dass die Maps 38 und 40 Bilder
repräsentieren,
die gewöhnlich die
gleiche Dimension wie die durch die Originalbilddaten definierten
Bilder aufweisen, wobei jedem Pixel ein Wert zugeordnet ist, der
die Eigenschaftskennung repräsentiert.
Wenn beispielsweise lediglich zwei einander ausschließende Eigenschaften
identifiziert sind, können
die Abbildungen jedem Pixel die Werte 0 und 1 zuweisen. Bei den
bisher bekannten Techniken werden diese Maps gewöhnlich anschließend für eine einander
gegenseitig ausschließende
Verarbeitung verwendet. Durch die FUSION-Technik wird jede der Masken
dazu verwendet, um Prozesse auszuführen, die als der Prozess 1 und
der Prozess 2 durch die Bezugszeichen 42 und 44 in 2 bezeichnet
sind. Anders als bei bisherigen Techniken ermöglicht die FUSION-Verarbeitung
jedoch, wie nachstehend ausführlicher
beschrieben, eine Einteilung einzelner Pixel sowohl in die erste
Gruppe oder Zuordnungseigenschaft als auch in die zweite. Somit
können
bestimmte Pixel derart klassifiziert werden, dass sie sowohl die
Eigenschaft 1 als auch die Eigenschaft 2 zeigen,
selbst wenn vielleicht in unterschiedlichem Maße. Es sollte beachtet werden,
dass, während
in der vorliegenden Beschreibung der erste und der zweite Prozess
oder die erste und die zweite Operation erläutert sind, in Praxis eine
Vielzahl derartiger Klassifikationen und Verarbeitungen vorgesehen
sein kann. Somit stellt 2 einen "Prozess N" dar, wie dieser die Möglichkeit für mehrere
derartige Klassifikationen eröffnet,
bei denen bestimmte Pixel eingeteilt werden, als ob sie mehrere mögliche,
bei bisher bekannten Techniken gewöhnlich einander ausschließende Eigenschaften
aufweisen, wobei die Verarbeitung entsprechend verläuft.
-
Nach
einer Verarbeitung der Pixel gemäß den Maps 38 und 40 verlangt
die FUSION-Technik in Schritt 46 eine Vermischung (ein
Blending) bestimmter überlappender
Pixel. Weil bestimmte Pixel derart eingeteilt worden sind, dass
sie sowohl die Eigenschaft 1 als auch die Eigenschaft 2 aufweisen,
werden diesen "überlappenden" Pixeln Werte zugeordnet,
die tatsächlich
aus Werten gemischt werden, die aus dem Prozess 1 und dem
Prozess 2 resultierten. Bei der momentan bevorzugten Ausführungsform
werden lediglich die überlappenden
Pixel in dieser Weise gemischt, obwohl andere Blending-Verfahren
angewendet werden könnten.
In Schritt 48 werden anschließend die vermischten überlappenden
Pixel mit den Pixeln, die klar und ausschließlich entweder die Eigenschaft 1 oder
die Eigenschaft 2 zeigten, kombiniert, um einen Ausgangsdatensatz
zu bilden.
-
Der
vorstehend allgemein beschriebene Prozess wird nun mit Bezug auf
eine besondere Ausführungsform
beschrieben, bei der die identifizierte und gemappte Eigenschaft
die Wahrscheinlichkeit darstellt, dass ein Pixel sinnvoll identifizierte
Strukturen oder umgekehrt Nichtstrukturen repräsentiert. Diese FUSION-Strukturverarbeitung
ist in 3 veranschaulicht und allgemein mit dem Bezugszeichen 50 bezeichnet.
-
Die
FUSION-Strukturverarbeitung 50 beginnt mit einem Zugriff
auf die Bilddaten 34 in einer oben beschriebenen Weise.
Der Schritt der Identifizierung der korrekten Eigenschaft nach 2 ist
hier in Form einer Segmentierung implementiert, wie sie mit dem
Bezugszeichen 52 angezeigt ist. Wie für einen Fachkundigen ohne weiteres
erkennbar, kann eine derartige Segmentierung auf viele unterschiedliche
Weisen durchgeführt werden,
wobei sie im Allgemeinen auf die Erkennung von Intensitätspegeln
und -veränderungen
abzielt, die nach der Wahrscheinlichkeitstheorie Kanten, bedeutsame
Flächen
und Regionen und dergleichen repräsentieren. Die Segmentierung
kann von der Physik des Bildgebungssystems, der Eigenart der akquirierten
Daten, dem Dynamikbereich der Daten, dem zwischen den Pixeldaten
vorhandenen Kontrast, den Störabständen und dergleichen
abhängig
sein.
-
Die
in Schritt 52 durchgeführte
Segmentierung führt
bei bisherigen Techniken zu Zuordnungen (Maps) oder Masken, die
Strukturen und Nichtstrukturen kennzeichnen. Außerdem klassifizieren bisher
bekannte Techniken gewöhnlich
jedes Pixel entweder als ein strukturelles Pixel oder als ein nichtstrukturelles
Pixel, wobei eine gegenteilige Einteilung dann ausgeschlossen ist.
Durch die vorliegende FUSION-Technik
werden jedoch wenigstens drei Maps erzeugt, zu denen eine eine Struktur
repräsentierende
Map, die mit dem Bezugszeichen 54 bezeichnet ist, eine
eine Nichtstruktur repräsentierende
Map, wie mit dem Bezugszeichen 56 bezeichnet ist, sowie
eine Struktur/Nichtstruktur-Überlappungs-Map
gehören,
wie sie mit dem Bezugszeichen 58 angezeigt ist.
-
Die
Zuordnung oder das Mapping kann in unterschiedlicher Weise durchgeführt werden
und kann von diskreter oder kontinuierlicher Art sein. 4 zeigt
einen beispielhaften Lösungsansatz
für das
FUSION-Mapping mehrerer Eigenschaften, wie es durchgeführt werden
kann, um die Maps 54, 56 und 58 zu erhalten.
Wie in 4 veranschaulicht, ist eine Einteilungs- und Gewichtungsfunktion 72 in
Bezug auf eine Bildeigenschaft definiert, beispielsweise die Gradientenstärke jedes
Pixels, wie sie längs
der horizontalen Achse 74 angezeigt ist, in Bezug auf einen
Klassifikationsparameter, wie er auf einer vertikalen Achse 76 eingezeichnet
ist. Die Funktionen 72 können auch als Wichtungsfunktionen
zur Zuordnung der Mischungs- oder Blendingwerte angesehen werden,
wie nachstehend beschrieben.
-
Wie
für einen
Fachkundigen ohne weiteres erkennbar, erfordern viele bisherige
und nützliche
Bildgebungsverfahren die Einrichtung einer Schwelle zur Klassifizierung
jedes Pixels in den Bilddaten in Bezug auf die jeweils interessierende
Eigenschaft. Bei einer gewöhnlichen
Struktur- und Nichtstruktur-Verarbeitung
wird beispielsweise ein einzelner Schwellenwert dazu verwendet um
zu bestimmen, ob ein Pixel als Struktur oder als Nichtstruktur weiterverarbeitet
werden sollte. Auf der anderen Seite und wie in 4 veranschaulicht,
wird eine Klassifikation gemäß dem vorliegenden
FUSION-Verfahren derart durchgeführt,
um sowohl Nichtstrukturpixel, wie sie weiter links in 4 dargestellt
sind, und Strukturpixel, wie sie weiter rechts in 4 dargestellt sind,
als auch Pixel festzusetzen, die in einen überlappenden Bereich zwischen
Schwellen fallen. Bei der veranschaulichten Ausführungsform werden zwei derartige
Schwellen angewendet, die als T1 und T2 in 4 angedeutet
sind. Pixel mit Gradientenwerten, die kleiner als die Schwelle T2, werden anschließend als Nichtstruktur eingeteilt,
während
mit einem Gradientenwert oberhalb von T1 als
Struktur eingeteilt werden. Pixel mit Gradientenwerten zwischen
den Schwellenwerten werden als überlappende
Pixel klassifiziert, d.h. derart eingeteilt, dass sie mögliche strukturelle
Eigenschaften und nichtstrukturelle Eigenschaften zeigen. Wie oben
erwähnt,
sollte berücksichtigt
werden, dass, obwohl drei derartige Bereiche in 4 veranschaulicht
und hier beschrieben sind, eine weitere Klassifizierung in viele
derartige Bereich möglich
ist. In der Tat kann eine kontinuierliche oder nahezu kontinuierliche
Klassifikation und Gewichtung durchgeführt werden, wo dies erwünscht ist.
In der Praxis kann ein dritter Parameter implementiert sein, der
als Fokusschwelle bezeichnet werden kann, die zwischen den Schwellen
T1 und T2 liegt,
um die Symmetrie der Überlappung
zu kontrollieren. Es sollte auch berücksichtigt werden, dass, obwohl
die in 4 veranschaulichte Klassifikation im Gradientenbereich
durchgeführt
wird, viele andere Bildeigenschaften als Referenz für die Verarbeitung
der Klassifikation verwendet werden können, zu denen die Verarbeitung
von Strukturen und Nichtstrukturen sowie eine Verarbeitung in Bezug
auf weitere Bilddateneigenschaften gehören. Zu derartigen Eigenschaften
kann der Zusammenhang (Connectedness) zwischen Strukturen gehören, während Nichtstrukturen
dazu verwendet werden können,
um die Art und Weise einer Verarbeitung anzupassen. Wenn der Zusammenhangswert
(Connectedness) als Kriterium verwendet wird, werden kleine Nichtstrukturinseln
innerhalb von Strukturen als Strukturen behandelt, während kleine
Strukturinseln in Nichtstrukturen wie Nichtstrukturen behandelt
werden.
-
Mit
den auf diese Weise klassifizierten und gemappten Pixeln werden,
unter erneuter Bezugnahme auf 3, an den
Pixeln Verarbeitungsoperationen durchgeführt, wie sie in den Schritten 60 und 62 veranschaulicht
sind. Es können
viele derartige Operationen durchgeführt werden, wobei, wie in 3 veranschaulicht, eine
Operation 1 an strukturellen Regionen oder Pixeln durchgeführt wird,
während
eine Operation 2 an nichtstrukturellen Pixeln durchgeführt wird.
Außerdem
werden beide Operationen 1 und 2 an Pixeln durchgeführt, die
als überlappende
Pixel angesehen werden.
-
5, 6 und 7 veranschaulichen
eine beispielhafte Art und Weise, in der derartige Pixel verarbeitet
werden können.
Wie in 5 veranschaulicht, können in einer beispielhaften
Gruppe mit 16 Pixeln bestimmte Pixel als Struktur S klassifiziert
werden (nämlich
die vier in der Mitte liegenden Pixel in dem Beispiel), während andere
Pixel als Nichtstruktur NS klassifiziert werden (nämlich die
vier in der Darstellung außen in
den Ecken liegenden Pixel). Andere Pixel werden als überlappende
Pixel OL klassifiziert, d.h. als Pixel, deren Gradientenstärken zwischen
den Schwellen T1 und T2 liegen.
Wie in 6 veranschaulicht, wird anschließend die
Operation 1 an den strukturellen Pixeln und den überlappenden
Pixeln durchgeführt.
Die Operation 1 wird in dem veranschaulichten Beispiel
unter Ausschluss der nichtstrukturellen Pixel durchgeführt. In ähnlicher
Weise wird eine Operation 2 an den nichtstrukturellen Pixeln
und den überlappenden
Pixeln durchgeführt, wie
in 7 veranschaulicht. In dieser Ausführungsform
wird die Operation 2 unter Ausschluss lediglich der strukturellen
Pixel durchgeführt.
Wenn mehrere Gruppen oder Zuordnungen (Maps) vorgesehen sind, können mehrere
derartige Kombinationen verarbeitet werden.
-
Es
werden viele einzelne Prozesse für
die Operationen 1 und 2, oder allgemeiner gesagt,
für die
Prozesse 1 und 2, wie sie oben beschrieben sind,
momentan in Erwägung
gezogen. Im Falle einer Struktur- und Nichtstruktur-Verarbeitung
können
derartige Prozesse oder Operationen beispielsweise eine Verbesserung oder
Verstärkung,
Schärfung,
Glättung,
Faltung, Interpolation, Extrapolation, Kompression, ein digitales
Halbtonverfahren (Halftoning), einen Kontrastausgleich und dergleichen
beinhalten. Diese Prozesse können
beispielsweise derart durchgeführt
werden, wie nachstehend in Tabelle 1 aufgeführt.
-
-
-
Wie
für einen
Fachkundigen ohne weiteres verständlich,
neigt bspw. eine mittels anisotropischer Glättung und Schärfung durchgeführte Verbesserung
dazu, Rauschen in den Strukturen durch Glättung entlang von Strukturen
zu mindern, ohne eine Unschärfe
einzubringen. Isotropische Glättung
hat andererseits eine Neigung, Strukturen zu homogenisieren. Schärfungsprozesse
können
eine anisotropische Schärfung
oder eine isotropische Schärfung
enthalten, die eine Schärfung über den
Strukturen bewirken können.
Derartige Schärfungen
können
für Nichtstrukturen
vermieden werden, um Schärfungsrauschen
zu vermeiden. Glättungsoperationen,
die eine anisotropische Glättung
enthalten, können einen ähnliche
Wirkung wie die vorstehend beschriebenen Verbesserungsoperationen
haben. Weitere Glättungsverfahren,
wie bspw. die Medianglättung
unter Verwendung kleiner Kernel, neigen dazu, Details hervorzuheben
und Spike-Rauschen zu reduzieren. Eine Medianglättung unter Verwendung größerer Kernel
kann die Neigung haben, Strukturrauschen in Nichtstrukturen zu unterdrücken.
-
In ähnlicher
Weise können
weitere Operationen für
die strukturellen und nichtstrukturellen Pixel mehr oder weniger
von Nutzen sein. Beispielsweise kann eine aggressive Parametereinstellung
bei der Faltung die Neigung haben, eine Detailverstärkung aus
verschwommenen Bildern zu erhalten. Eine minimale Faltung vermindert
dann die Suche nach Strukturen und Ecken in nichtstrukturellen Regionen.
Bei der Interpolation von Bilddaten hat eine Interpolation höherer Ordnung
die Neigung, Kanten zu verstärken
und besser darzustellen, während
eine Interpolation niedrigerer Ordnung bestimmte Artefakte, wie
bspw. Ringbildungsartefakte, Moire-Muster und dgl., vermeidet. Parametereinstellungen
bei der Extrapolation können ähnliche
Wirkungen wie diejenigen für
eine Faltung haben. Bei der Datenkompression kann die Kompressionsrate
verfügbar
sein, wobei wirksame Kompressionsraten auf Bestimmungen, ob Pixel
Strukturen oder Nichtstrukturen darstellen, basieren können. Bei
digitalen Halftoning-Operationen kann es bevorzugt sein, eine Error-Diffusion-Rasterung an
strukturellen Pixeln vorzunehmen, während an nichtstrukturellen
Pixeln andere Operationen, wie bspw. eine Blue-Noise-Maskierung,
durchgeführt
werden. Schließlich
kann es bei der in Tabelle 1 veranschaulichten Verarbeitung allgemein
bevorzugt sein, nur einen geringen oder keinen Kontrastausgleich
für strukturelle
Pixel vorzunehmen, während
ein Ausgleich hohen Grades für
nicht strukturelle Pixel vorgesehen wird, was zu einer Verstärkung und
Visualisierung von Strukturen und einer Unterdrückung von Nichtstrukturen führt.
-
Wie
oben erwähnt,
werden bei der Ausführungsform
nach 3 die unterschiedlichen Operationen in einer einander
gegenseitig ausschließenden
Weise an den Strukturen bzw. den Nichtstrukturen durchgeführt, während beide
Operationen an den Pixeln durchgeführt werden, die als „überlappende" Pixel klassifiziert
sind, d.h. an denjenigen Pixeln, die möglicherweise strukturelle und
nichtstrukturelle Eigenschaften zeigen. In Schritt 64 in 3 werden
die Werte für
die verarbeiteten überlappenden
Pixel miteinander vermischt. Es kann jedes beliebige geeignete Mischungs(Blending-)
oder sonstiges Verfahren dazu verwendet werden, den gewünschten
resultierenden Wert für
die überlappenden
Pixel zu bestimmen. Gemäß einem
momentanen Verfahren wird jedoch eine Gewichtung der resultierenden
Werte auf der Grundlage der Gradientenintensität durchgeführt. Wie in 4 veranschaulicht,
dient die Funktion 72 nicht nur dazu, die Pixel in Bezug
auf die eine oder die andere der Struktur- und Nichtstruktur-Einteilungsgruppen
oder der überlappenden
Einteilungsgruppe zu identifizieren und klassifizieren, sondern
sie wird ferner in einer momentanen Ausführungsform dazu verwendet, einen
Gewichtungsfaktor α zu
bestimmten, wobei der Wert des Gewichtungsfaktors entsprechend der
folgenden Beziehung gebildet wird:
A1 = (G)i(T)2/(T1–T2).
-
In
Abhängigkeit
von der Art der Funktion kann der Gewichtungsfaktor im Allgemeinen
mit der Höhe
der Schwellen und der Höhe
der Gradientenintensität
variieren. Die durch die vorstehende Formel ausgedrückte lineare
Beziehung kann auf grafische Weise durch die Linie 78 in 4 dargestellt
werden. Natürlich
können auch
andere nichtlineare Beziehungen implementiert sein, wie sie allgemein
durch das Bezugszeichen 80 in 4 dargestellt
sind.
-
Die
in Schritt 64 durchgeführte
Mischung (das Blending) kann anschließend die folgende Form einnehmen:
Ii = αiIi(Struktur) + (1 – αi)Ii(Nichtstruktur).
-
Die
resultierende Mischungsoperation liefert dann für die einzelnen überlappenden
Pixel effektiv einen Wert, der ein Funktionswert des Grades bildet,
zu welchem diese in dem Kontinuum zwischen den Schwellen T1 und T2 als Strukturen
oder Nichtstrukturen klassifiziert werden können. In dem oben angegebenen
Beispiel können
die resultierenden Mischwerte BOL auf die in 8 veranschaulichte
Weise dargestellt werden.
-
In
Schritt 66 werden diese gemischten Werte mit den aus den
Operationen 1 und 2 resultierenden Werten der
Struktur- und Nichtstrukturpixel kombiniert. In Schritt 68 kann
eine weitere Mischung mit anfänglichen Bildeingangsdaten
durchgeführt
werden, um einen Ausgangsdatensatz zu erzeugen, wie er mit dem Bezugszeichen 70 bezeichnet
ist.
-
Wie
es sich einem Fachkundigen ohne weiteres erschließt, ermöglicht das
vorliegende FUSION-Verfahren nicht nur eine flexiblere segmentierungsbasierte
Verarbeitung, sondern führt
zu Werten der nicht überlappenden
Pixel, die sich von denjenigen unterscheiden, die mit bisherigen
Verfahren erhalten werden. Weil bspw. in der oben beschriebe nen
Ausführungsform
strukturelle Pixel gemeinsam mit überlappenden Pixeln verarbeitet
werden, von denen einige bei den bisherigen Verfahren als Nichtstrukturen
klassifiziert sein können,
können
die strukturellen Pixel selbst unterschiedliche Werte ergeben, als
sie mit bisherigen Techniken erhalten würden. Dies ist insbesondere
dann der Fall, wenn die unterschiedlichen Verfahrensarten zur Filterung, Schärfung, Glättung und
sonstige Verarbeitungsoperationen die Nachbarschaften von Pixeln
mit berücksichtigen,
um einen jeden Pixelwert zuzuordnen. Das Gleiche gilt auch für nichtstrukturelle
Pixel. Dies bedeutet, dass, nachdem diese Pixel gemeinsam mit anderen
Pixeln verarbeitet werden, die mit bisherigen Techniken als Strukturen
eingeteilt werden können,
die resultierenden Werte der nichtstrukturellen Pixel sich von denjenigen
gemäß den bisherigen
Verarbeitungslösungen
unterscheiden können.
Im Ergebnis werden verbesserte Bilddaten erhalten, die verarbeitete
Pixeldaten, die eine Eigenschaft oder eine andere zeigen, exakter
darstellen können
oder besser in der Lage sind, eine Eigenschaft in Bezug auf eine
andere zu veranschaulichen.
-
Während die
Erfindung unterschiedlichen Modifikationen und alternativen Ausführungsformen
unterworfen werden kann, sind hier spezielle Ausführungsformen
zu Beispielszwecken in den Zeichnungen dargestellt und im Detail
beschrieben worden. Es ist jedoch verständlich, dass keine Absicht
besteht, die Erfindung auf die offenbarten speziellen Ausführungsformen
zu beschränken.
Statt dessen soll die Erfindung sämtliche Modifikationen, Äquivalente
und Alternativen mit umfassen, die von dem Gegenstand und Schutzumfang
der Erfindung gedeckt sind, wie diese durch die nachfolgend beigefügten Ansprüche definiert
sind.
-
Es
ist ein Verfahren zur Verarbeitung von Bilddaten 34 geschaffen,
das auf der Bestimmung basiert, ob in Pixeln dargestellte Daten
dazu neigen, eine Eigenschaft oder eine andere Eigenschaft darzustellen
oder zu zeigen. Es können
viele derartige Eigenschaften berücksichtigt werden, wie bspw.,
ob die Pixel wahrscheinlich Strukturen 54 oder Nichtstrukturen 56 darstellen.
Es werden mehrere Schwellen für
die Klassifizierung der Segmentierung verwendet, wobei Pixel, die
in einen überlappenden
Bereich fallen, derart verarbeitet werden, als ob sie beide Eigenschaften
zeigen. Eine nachfolgende Verarbeitung kann die Zuordnung von Werten
für die überlappenden
Pixel 58, beispielsweise durch gewichtetes Blending, enthalten.
-
- 10
- Bildgebungssystem
- 12
- Bilderzeuger
- 14
- Objekt
- 16
- Bilderzeugersteuerschaltung
- 18
- Bilddatenakquisitionsschaltung
- 20
- Systemssteuerschaltung
- 22
- Bedienerarbeitsstation
- 24
- Speichermedium
- 26
- Bilddatenverarbeitungsschaltung
- 28
- Fernsteuerungs-/Verarbeitungs-/Betrachtungs-Stationen
- 30
- Netzwerkverbindung
- 32
- FUSION-Prozess
- 34
- Bilddaten
- 36
- Eigenschaftsidentifizierung
- 38
- Zuordnung
Eigenschaft 1
- 40
- Zuordnung
Eigenschaft 2
- 42
- Prozess
1
- 44
- Prozess
2
- 46
- Mischung
der Überlappung
- 48
- Kombination
- 50
- FUSION-Strukturprozess
- 52
- Segmentierung
- 54
- Struktur
- 56
- Nichtstruktur
- 58
- Überlappung
- 60
- Operation
1
- 62
- Operation
2
- 64
- Gradientenbasierte
Mischung
- 66
- Kombination
- 68
- Mischung
- 70
- Ausgangsdaten
- 72
- Gewichtungsfunktion
- 74
- Gradient
- 76
- Klassifikation
- 78
- (lineare)
Kurve
- 80
- (nicht
lineare) Kurve
