DE102006043910A1

DE102006043910A1 - Ergebnisfilter und Verfahren zur Selektion der Ergebnisdaten einer Applikation zur automatischen Mustererkennung

Info

Publication number: DE102006043910A1
Application number: DE102006043910A
Authority: DE
Inventors: Heinz-Peter Dr. Engels; Ute Feuerlein
Original assignee: Siemens AG
Current assignee: Siemens Healthcare GmbH
Priority date: 2006-09-19
Filing date: 2006-09-19
Publication date: 2008-03-27
Anticipated expiration: 2026-09-20
Also published as: DE102006043910B4; US8116574B2; US20080069477A1; CN101188021A

Abstract

Die Erfindung betrifft ein Verfahren zur automatischen Klassifikation und graphischen Visualisierung segmentierter und bei Unterschreitung eines vorgegebenen Abstands und Einhaltung eines Ähnlichkeitskriteriums zu Clustern zusammengefasster Bildobjekte (203, 206). Das Verfahren zeichnet sich dadurch aus, dass Ergebnisdaten zur Objektklassifikation aus einer Ergebnismenge einer im Hintergrund auf einem Bilddatensatz eines Bildgebungssystems (101) ausgeführten Applikation zur Merkmalsextraktion (102c') und automatischen Mustererkennung (102d) segmentierter und geclusterter Bildobjekte (203, 206) und/oder gerenderte Bilddaten einer im Hintergrund ausgeführten Bildrendering-Applikation zur zwei- und/oder dreidimensionalen graphischen Visualisierung dieser Bildobjekte (203, 206) nach einem vorgebbaren Auswahlkriterium vorausgewählt und/oder auf einem Bildschirm eines Bildschirm-Terminals (106) graphisch sichtbar als vorausgewählt markiert werden.

Description

Die vorliegende Erfindung bezieht sich auf ein Ergebnisfilter eines Mustererkennungs- und Bildrenderingsystems und eine in ein Verfahren zur automatischen Klassifikation und graphischen Visualisierung segmentierter und zu Clustern zusammengefasster Bildobjekte integrierte Prozedur zur Selektion aussagekräftiger Daten aus einer Ergebnismenge einer Applikation zur Merkmalsextraktion und automatischen Mustererkennung von zusammenhängenden Bildobjekten, die z.B. im klinischen Bereich im Rahmen der ärztlichen Befundung radiologischer Bilddaten, die abnormale Gewebestrukturen im Körperinneren eines zu untersuchenden Patienten darstellen, eingesetzt werden kann.
In vielen Bereichen der Technik, insbesondere im klinischen Bereich, in der Kraftfahrzeug- und Automatisierungstechnik, in der Robotik sowie in der Kriminologie, kommen heute in zunehmendem Maße Bildverarbeitungs-, Mustererkennungs- und inhaltsbasierte Bildretrieval-Applikationen zum Einsatz. Zur Bildvorverarbeitung benötigte CAD-Algorithmen, wie beispielsweise Rauschunterdrückungs-, Kontrastverbesserungs-, Kantendetektions-, Segmentierungs- und Clustering-Algorithmen, die in Kombination mit Merkmalsextraktions-, Mustererkennungs- und Volumen-Rendering-Algorithmen verwendet werden, dienen dabei zur Auffindung, Segmentierung, Gruppierung, Identifizierung bzw. Klassifizierung, Hervorhebung und/oder 3D-Visualisierung mittels bildgebender Verfahren in zweidimensionaler Form dargestellter Bildobjekte. Im Falle einer medizintechnischen Applikation kann es sich bei diesen Bildobjekten beispielsweise um abnormale Gewebestrukturen in einer zu untersuchenden Körperregion eines Patienten handeln, wie z.B. um Lungenknoten, Lungenembolien, Nieren- bzw. Gallensteine, Darm-Polypen, Metastasen gastrointestinaler Tumore etc., die zusammen mit dem sie umgebenden abdominalen, thoraxialen bzw. pelvinen Körpergewebe mit Hilfe von bildgebenden Verfahren der Radiologie (d.h. mittels Sonographie, Röntgen-Computertomographie bzw. Magnetresonanztomographie) in Form von axialen (transversalen), sagittalen (seitlichen) und/oder koronalen (frontalen) 2D-Schnittbildern graphisch dargestellt wurden.
Da viele der üblicherweise im Rahmen von computergestützten Diagnose-Werkzeugen verwendeten Mustererkennungs-Applikationen mit einer verhältnismäßig großen Erkennungsgenauigkeit arbeiten und daher bei jedem einzelnen Programmaufruf eine beträchtliche Anzahl an Erkennungsergebnissen (engl.: „findings") zurückliefern können, die dann z.B. in graphischer Form zwei- und/oder dreidimensional dargestellt und von einem Radiologen einzeln ausgewertet werden müssen, ist die Auswertung dieser Ergebnisdaten extrem zeitaufwändig. Hinzu kommt, dass nicht alle der pro Programmaufruf zurückgelieferten Ergebnisdaten eine hohe diagnostische Aussagekraft besitzen bzw. zur Prognose eines bestimmten Krankheitsverlaufs geeignet sind. Zur sicheren Diagnostizierung eines bestimmten Krankheitsbildes und zur Erstellung einer zuverlässigen Prognose des wahrscheinlichen weiteren Verlaufs dieser Krankheit ist für einen Radiologen je nach Art der Erkrankung eine unterschiedliche Anzahl an Erkennungsergebnissen nötig. Der Radiologe muss dabei alle Erkennungsergebnisse, die von der jeweiligen Applikation in einer Berichts- bzw. Befunddatei automatisch dokumentiert werden, kontrollieren, um möglicherweise falsch diagnostizierte Positiv- bzw. Negativbefunde zu erkennen und sicher auszuschließen.
Nach dem Starten einer solchen, zur Durchführung einer computergestützten Diagnose geeigneten Mustererkennungs-Applikation müssen üblicherweise die zur Durchführung eines 2D- oder 3D-Bildrendering erkannter Bildobjekte und/oder zur Durchführung einer Bildnachbearbeitung erforderlichen CAD-Algorithmen manuell aufgerufen und gestartet werden. Das bedeutet, dass der Radiologe, nachdem die Mustererkennungs-Applikation ihre Erkennungsergebnisse ausgegeben hat, sämtliche zur graphi schen Visualisierung der entsprechenden Bildobjekte, zur Bildbeschneidung und Bildausschnittvergrößerung, zur Veränderung der Darstellungsperspektive, des Farbtons, der Farbsättigung, der Helligkeit und/oder des Kontrasts einzelner Bildobjekte etc. benötigten CAD-Algorithmen getrennt voneinander über manuell einzugebende Steuerbefehle aufrufen muss. Dies führt zu Unterbrechungen des normalen Arbeitsablaufs, die aufsummiert einen nicht unerheblichen, für eine routinemäßige Verwendung eines computergestützten Diagnose-Werkzeugs untragbaren Zeitaufwand bedeuten.
Darüber hinaus ist der Radiologe bei den derzeit im Handel erhältlichen computergestützten Diagnose-Werkzeugen gezwungen, alle in graphischer Form dargestellten Erkennungsergebnisse einzeln zu überprüfen, auszuwerten und in einer Berichts- oder Befunddatei zu dokumentieren. Diese Vorgehensweise ist extrem zeitaufwändig und bringt keinerlei Vorteile im Hinblick auf die Sicherheit der Diagnose einer Erkrankung und die Zuverlässigkeit der Prognose eines zu erwartenden Krankheitsverlaufs.
Ausgehend von dem oben genannten Stand der Technik, ist die vorliegende Erfindung der Aufgabe gewidmet, den Zeitaufwand bei der Untersuchung und Auswertung von Ergebnisdaten automatischer Mustererkennungsalgorithmen zu reduzieren.
Diese Aufgabe wird erfindungsgemäß durch die Merkmale der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsbeispiele, die den Gedanken der Erfindung weiterbilden, sind in den abhängigen Patentansprüchen definiert.
Die zugrunde liegende Erfindung offenbart, entsprechend der im vorangehenden Abschnitt definierten Aufgabe, ein Ergebnisfilter und ein zugehöriges Verfahren zur Vorauswahl aussagekräftiger Daten aus einer Ergebnismenge einer auf einem Bilddatensatz ausgeführten Applikation zur Merkmalsextraktion und automatischen Mustererkennung für eine anschließende Untersuchung und Auswertung der bei Ausführung dieser Applikation erhaltenen Ergebnisdaten, das z.B. im klinischen Bereich im Rahmen der ärztlichen Befundung zu untersuchender Gewebestrukturen eines Patienten eingesetzt werden kann.
Die vorliegende Erfindung bezieht sich dabei insbesondere auf ein Verfahren zur automatischen Klassifikation und graphischen Visualisierung segmentierter und bei Unterschreitung eines vorgegebenen Abstands und Einhaltung eines Ähnlichkeitskriteriums zu Clustern zusammengefasster Bildobjekte, welches dadurch gekennzeichnet ist, dass Ergebnisdaten zur Objektklassifikation aus einer Ergebnismenge einer im Hintergrund auf einem Bilddatensatz eines Bildgebungssystems ausgeführten Applikation zur Merkmalsextraktion und automatischen Mustererkennung segmentierter und geclusterter Bildobjekte und/oder gerenderte Bilddaten einer im Hintergrund ausgeführten Bildrendering-Applikation zur zwei- und/oder dreidimensionalen graphischen Visualisierung dieser Bildobjekte nach einem vorgebbaren Auswahlkriterium vorausgewählt und/oder auf einem Bildschirm eines Bildschirm-Terminals graphisch sichtbar als vorausgewählt markiert werden. Bei dem vorgebbaren Auswahlkriterium kann es sich erfindungsgemäß z.B. um die Bezeichnung, den Typ, den Status, die Größe, die Anzahl, eine vorgebbare Priorität oder um die für eine spätere Auswertung in Betracht zu ziehende Relevanz klassifizierter Bildobjekte handeln.
Hierbei ist erfindungsgemäß vorgesehen, dass sämtliche für eine Vorverarbeitung benötigte Bildverarbeitungsalgorithmen, wie beispielsweise Filterungs- und Kantendetektionsalgorithmen, sämtliche zur Durchführung einer Klassifizierung bzw. Identifizierung dargestellter Bildobjekte erforderliche Segmentierungs-, Clustering-, Merkmalsextraktions- und Mustererkennungsalgorithmen sowie Volumen-Rendering-Algorithmen, die zur Umrechnung von Bilddaten einer Serie zweidimensionaler Schnittbilder in eine Rastergraphik zur Darstellung einer perspektivischen Ansicht benötigt werden, welche durch Zentralprojektion von Objektkoordinaten einer Anzahl durch Übereinanderlagerung der zweidimensionalen Schnittbilder erhalte ner Volumendaten auf eine durch die Anzeigefläche eines Bildschirms gegebene Projektionsfläche entsteht, direkt nach Abschluss eines Abtastvorgangs des bildgebenden Verfahrens im Hintergrund gestartet werden, unabhängig davon, ob später eine weitere Auswerteprozedur mit Hilfe eines rechnergestützten klinischen Applikationsprogramms (z.B. mittels LungCARE, einer von der Firma Siemens entwickelten klinischen Applikation zur automatischen Auffindung, Erkennung und Dokumentation von Lungenrundherden in Form von mehr oder weniger scharf abgegrenzten, in ihrer Ausdehnung umschriebenen Verdichtungen in einer Röntgen-Thoraxaufnahme) erfolgt.
Die Vorauswahl von Ergebnisdaten und/oder gerenderten Bilddaten kann dabei erfindungsgemäß entweder direkt nach Beendigung der Applikation zur automatischen Mustererkennung segmentierter und geclusterter Bildobjekte erfolgen oder im Anschluss an eine während oder nach Ausführung der Applikation zur automatischen Mustererkennung im Hintergrund ausgeführte Bildrendering-Applikation zur Bereitstellung von gerenderten Bilddaten für eine zwei- und/oder dreidimensionale graphische Visualisierung der segmentierten und/oder geclusterten Bildobjekte.
Im ersteren Fall werden von der Mustererkennungs-Applikation ermittelte Objektklassen durch Einschränkung eines dieser Applikation zugrunde liegenden Objektklassenraums über benutzerspezifizierte Auswahlkriterien eines Ergebnisfilters selektiert. Dabei werden Bilddaten identifizierter Bildobjekte, deren Objektklassen nicht in dem eingeschränkten Objektklassenraum enthalten sind, unterdrückt.
In dem anderen Fall werden nur vorausgewählte und in graphisch sichtbarer Form als vorausgewählt markierte klassifizierte Bildobjekte innerhalb eines durch eine Bereichsmarkierung selektierten Bildausschnitts auf dem Bildschirm des Bildschirm-Terminals zur Anzeige gebracht, indem die Übertragung gerenderter Bilddaten aller übrigen Bildausschnitte und klassifizierten Bildobjekte zum Bildschirm-Terminal unter drückt wird. Die gerenderter Bilddaten der nicht selektierten Bildausschnitte und/oder der nicht vorausgewählten bzw. nicht in graphisch sichtbarer Form als vorausgewählt markierten klassifizierten Bildobjekte können auf Anfrage eines Anwenders zum Bildschirm-Terminal übertragen und auf dessen Bildschirm graphisch visualisiert werden.
Ein Anwender kann erfindungsgemäß innerhalb von Bildbereichen gerenderter 2D- bzw. 3D-Ansichten der mit den selektierten Ergebnisdaten zurückgelieferten Bilddaten Objekt- und/oder Bereichsmarkierungen mit oder ohne Textlabels zur Kennzeichnung dargestellter Bildobjekte bzw. bestimmter Ausschnitte eines auf einem Bildschirm dargestellten Bildbereichs einfügen bzw. wieder entfernen, z.B. durch Bedienung einer Computermaus, einer PC-Tastatur oder eines beliebigen anderen Eingabemittels. Darüber hinaus kann er/sie auch Positionsmarkierungen mit oder ohne Textlabels zur Kennzeichnung und Angabe der Ortskoordinaten von Raumpunkten dargestellter Bildobjekte, Textlabels zur Angabe der Orientierung dieser Bildobjekte in einem durch die paarweise orthogonalen Achsen eines dreidimensionalen kartesischen Objektkoordinatensystems aufgespannten Objektraum und/oder Textlabels zur Angabe der durch die räumliche Lage eines dargestellten Ebenenwürfels zur Festlegung der Raumrichtung von Richtungsvektoren einer axialen, koronalen bzw. sagittalen Objektebene festlegbaren Ansichtsperspektive einfügen bzw. wieder entfernen.
Bei Erkennung, Kennzeichnung oder Löschung eines falsch klassifizierten Bildobjekts (z.B. bei Vorliegen von Ergebnisdaten eines falsch-positiven bzw. falsch-negativen Befunds) wird die oben erwähnte selektierte Ergebnismenge, bei der es sich z.B. um eine nach einem vorgebbaren Sortierkriterium (z.B. nach Bezeichnung, Typ, Status, Größe, Priorität oder Relevanz klassifizierter Läsionen für die Diagnose eines bestimmten Krankheitsbildes) sortierte Liste von auszuwertenden Erkennungsergebnissen handelt, erfindungsgemäß automatisch aktualisiert, wobei die Ergebnisdaten des als jeweils nächstes Listenelement folgenden Erkennungsergebnisses automatisch auf den Listenplatz des als falsch erkannten, gekennzeichneten bzw. gelöschten Erkennungsergebnisses nachrücken. Dabei besteht die Möglichkeit, Ergebnisdaten zusätzlicher Erkennungsergebnisse, die weitere, von einem Anwender identifizierte bzw. klassifizierte Bildobjekte betreffen, zu der Liste der auszuwertenden Erkennungsergebnisse manuell hinzuzufügen, wodurch sich die Mächtigkeit der selektierten Ergebnismenge und damit die Anzahl der auszuwertenden Erkennungsergebnisse um die Anzahl der zusätzlichen Erkennungsergebnisse erhöht.
Darüber hinaus ist erfindungsgemäß vorgesehen, dass Objekt- und Bereichsmarkierungen zur Markierung von Bildobjekten bzw. Bildausschnitten je nach Bezeichnung, Typ, Status, Größe, Priorität und/oder Relevanz der markierten Bildobjekte bzw. der in markierten Bildausschnitten enthaltenen Bildobjekte in unterschiedlicher Weise, z.B. als graphische Symbole unterschiedlicher Form und/oder Farbe bzw. als Textlabels unterschiedlicher Schriftgröße, Schriftart und/oder Schriftfarbe, graphisch dargestellt werden. Bei den vorgenannten Objektmarkierungen kann es sich dabei z.B. um Markierungen einer benutzerspezifisch konfigurierbaren Form und/oder Farbe handeln, mit denen falsch identifizierte Gewebestrukturen als Erkennungsergebnis einer Fehlerkennung gewertet und gekennzeichnet werden, um falsche Positiv- bzw. Negativbefunde zu vermeiden. Form und Farbe der betreffenden graphischen Symbole sowie Schriftgröße, Schriftart und Schriftfarbe der Textlabels sind erfindungsgemäß über eine Konfigurationstabelle benutzerspezifisch vorgebbar, wobei die Farbe der zugehörigen Textlabels zweckmäßigerweise der Farbe der jeweiligen Objekt- bzw. Bereichsmarkierungen entspricht. Die Darstellungsparameter der Objekt- und Bereichsmarkierungen werden dabei zusammen mit der Bezeichnung, dem Typ, dem Status, der Größe, der Priorität und/oder der Relevanz sowie mit den zugehörigen Textlabels der markierten Bildobjekte bzw. der in den markierten Bildausschnitten enthaltenen Bildobjekten in einer Objekt- bzw. Bereichsmarkierungsliste persistent und transparent gespeichert.
Objektmarkierungen von Bildobjekten aus der Ergebnismenge gelöschter Erkennungsergebnisse werden erfindungsgemäß auch nach dem Löschen dieser Erkennungsergebnisse auf dem Bildschirm des Bildschirm-Terminals angezeigt. Außerdem kann erfindungsgemäß vorgesehen sein, dass von einem Anwender gelöschte Objekt- und/oder Bereichsmarkierungen sowie deren zugehörigen Textlabels in der Objekt- bzw. Bereichsmarkierungsliste als gelöscht gekennzeichnet, jedoch weiterhin in graphischer bzw. in textueller Form auf dem Bildschirm des Bildschirm-Terminals angezeigt werden, wobei z.B. die Farbe und/oder Form der dargestellten Markierungen und die Schriftgröße, Schriftart und/oder Schriftfarbe der zugehörigen Textlabels verändert werden kann, um dem Anwender ein leichteres Zurückverfolgen, Kontrollieren und ggf. Rückgängigmachen getätigter Löschvorgänge zu ermöglichen.
Die vorliegende Erfindung bezieht sich des Weiteren auf ein Mustererkennungs- und Bildrenderingsystem zur automatischen Klassifikation und graphischen Visualisierung segmentierter und bei Unterschreitung eines vorgegebenen Abstands und Einhaltung eines Ähnlichkeitskriteriums zu Clustern zusammengefasster Bildobjekte, welches über ein Ergebnisfilter zur Vorauswahl von Ergebnisdaten zur Objektklassifikation aus einer Ergebnismenge einer im Hintergrund auf einem Bilddatensatz eines Bildgebungssystems ausgeführten Applikation zur Merkmalsextraktion und automatischen Mustererkennung segmentierter und geclusterter Bildobjekte verfügt. Das Ergebnisfilter ist dabei der Applikation zur automatischen Mustererkennung der segmentierten und geclusterten Bildobjekte direkt nachgeschaltet.
Zusätzlich oder alternativ dazu kann auch ein Ergebnisfilter zur Vorauswahl und/oder graphisch sichtbaren Markierung vorausgewählter gerenderter Bilddaten einer im Hintergrund ausgeführten Bildrendering-Applikation zur zwei- und/oder dreidimensionalen graphischen Visualisierung klassifizierter Bildobjekte auf einem Bildschirm eines Bildschirm-Terminals nach einem vorgebbaren Auswahlkriterium vorgesehen sein. Das Ergebnisfilter ist dabei einer während oder nach Ausführung der Applikation zur automatischen Mustererkennung ausgeführten Bildrendering-Applikation zur graphischen Visualisierung der segmentierten und/oder geclusterten Bildobjekte nachgeschaltet.
Außerdem bezieht sich die vorliegende Erfindung auf ein Computersoftware-Programmprodukt zur Durchführung des vorstehend geschilderten Verfahrens bei Betrieb auf einem Bildschirm-Terminal des oben beschriebenen Mustererkennungs- und Bildrenderingsystems.
Weitere Eigenschaften, Merkmale, Vorteile und Anwendungen der zugrunde liegenden Erfindung ergeben sich aus den untergeordneten abhängigen Patentansprüchen sowie aus der folgenden Beschreibung von Ausführungsbeispielen, welche in den folgenden schematischen Zeichnungen abgebildet sind. Hierbei zeigen:
1a ein schematisches Blockschaltbild eines aus dem Stand der Technik bekannten Bildverarbeitungs- und Mustererkennungssystems zur Segmentierung, Merkmalsextraktion und automatischen Mustererkennung zu identifizierender Bildobjekte, deren Bilddaten mit Hilfe eines radiologischen Bildgebungsverfahrens generiert wurden und mit Hilfe einer Bildrendering-Applikation in Form von zweidimensionalen Schnittbildern und/oder dreidimensionalen perspektivischen Ansichten graphisch dargestellt werden,
1b ein schematisches Blockschaltbild eines Bildverarbeitungs- und Mustererkennungssystems nach einem ersten Ausführungsbeispiel vorliegender Erfindung, das zusätzlich zu den Systemkomponenten des in 1a dargestellten Systems über ein benutzerspezifisch konfigurierbares Ergebnisfilter zur Selektion der von einer Mustererkennungs-Applikation ermittelten Objektklassen klassifizierter Bildobjekte und Bildobjekt-Cluster und damit zur Einschränkung der vom System zurückgelieferten Menge an Erkennungsergebnissen (Ergebnismenge) verfügt,
1c ein schematisches Blockschaltbild eines Bildverarbeitungs- und Mustererkennungssystems nach einem zweiten Ausführungsbeispiel vorliegender Erfindung, das zusätzlich zu den Systemkomponenten des in 1a dargestellten Systems über ein benutzerspezifisch konfigurierbares Ergebnisfilter zur Selektion und Markierung klassifizierter und mit Hilfe einer Bildrendering-Applikation in graphischer Form dargestellter Bildobjekte und Bildobjekt-Cluster verfügt,
2a ein Anzeigefenster der graphischen Benutzeroberfläche einer aus dem Stand der Technik bekannten Segmentierungs-, Mustererkennungs-, Volumen-Rendering- und 3D-Visualisierungs-Applikation (syngo^® LungCARE), die zum Nachweis von Läsionen im Lungengewebe eines zu untersuchenden Patienten geeignet ist,
2b ein Anzeigefenster der graphischen Benutzeroberfläche einer anderen aus dem Stand der Technik bekannten Segmentierungs-, Mustererkennungs-, Volumen-Rendering- und 3D-Visualisierungs-Applikation (syngo^® Colonography), die zum Nachweis von Polypen im Bereich des Dickdarms eines zu untersuchenden Patienten geeignet ist,
3 ein Konfigurationsfenster zur Selektion zwischen drei verschiedenen Auswahlkriterien eines erfindungsgemäßen Ergebnisfilters, welches zur Einschränkung der Ergebnismenge einer zur Auffindung und Klassifikation von Lungenrundherden im Lungengewebe eines zu untersuchenden Patienten verwendeten Segmentierungs-, Mustererkennungs-, Volumen-Rendering- und 3D-Visualisierungs-Applikation (syngo^® LungCARE) sowie zur Konfiguration eines erfindungsgemäßen Selektionsverfahrens zur Vorauswahl graphisch darzustellender identi fizierter Lungenrundherde für eine anschließende Auswertung durch einen Radiologen dient,
4 eine Konfigurationstabelle zur benutzerspezifischen Festlegung von Form, Farbe und der Möglichkeit einer bildübergreifenden Weiterverfolgung einer Menge automatisch eingefügter, manuell hinzugefügter bzw. gelöschter Objektmarkierungen,
5a ein Ablaufdiagramm einer Applikation zur Segmentierung, Merkmalsextraktion, automatischen Mustererkennung und graphischen Visualisierung zu klassifizierender und in graphischer Form darzustellender Bildobjekte, bei der erfindungsgemäß eine Prozedur zur Selektion klassifizierter Bildobjekte und Bildobjekt-Cluster direkt im Anschluss an eine Routine zur automatischen Mustererkennung der zu klassifizierenden Bildobjekte erfolgt, und
5b eine Variante des in 5a dargestellten Ablaufdiagramms, bei der die vorgenannte Prozedur zur Selektion klassifizierter Bildobjekte und Bildobjekt-Cluster im Anschluss an eine Routine zur automatischen Mustererkennung und eine Prozedur zur Durchführung eines 2D/3D-Bildrendering erfolgt.
In den folgenden Abschnitten werden die Schritte des erfindungsgemäßen Verfahrens anhand der beigefügten Zeichnungen ausgehend von zwei aus dem Stand der Technik bekannten computergestützten Diagnose-Werkzeugen im Detail beschrieben.
1a zeigt ein schematisches Blockschaltbild eines aus dem Stand der Technik bekannten Bildverarbeitungs- und Mustererkennungssystems 102, welches über geeignete Vorverarbeitungsfilter zur Rauschunterdrückung, Kontrastverbesserung und Kantendetektion sowie über Softwaremodule zur Segmentierung und Cluster-Bildung, zur Merkmalsextraktion, automatischen Mus tererkennung und graphischen Visualisierung zu identifizierender Bildobjekte in einem virtuellen Objektraum verfügt. Die vorstehend genannten Filter und Module sind dabei als Blöcke 102b, 102c, 102d bzw. 102f dargestellt. Die Bilddaten der zu identifizierenden Bildobjekte und des sie umgebenden virtuellen Objektraums werden z.B. von einem Sonographiegerät, einem Magnetresonanztomographiegerät oder, wie in 1a beispielhaft dargestellt, von einem Computertomographiegerät 101 generiert und dem Bildverarbeitungs- und Mustererkennungssystem 102 über eine Eingabe-/Ausgabe-Schnittstelle 102a bereitgestellt. Bei Empfang von Bilddaten von dem Computertomographiegerät 101 werden diese in Vorbereitung für eine spätere graphischen Visualisierung je nach Systemkonfiguration entweder temporär oder persistent in einem externen Bilddatenspeicher 103 gespeichert. Eine Kopie dieser Bilddaten wird über eine Eingabe-/Ausgabe-Schnittstelle 102a einem Vorverarbeitungsblock 102b zugeführt, welcher über ein digitales Filter zur Rauschunterdrückung, Kontrastverbesserung und Kantendetektion verfügt. Nach erfolgter Filterung werden die Bilddaten von einem ebenfalls in dem Vorverarbeitungsblock 102b enthaltenen Segmentierungs- und Clustering-Modul als zusammenhängende Bildobjekte erfasst und (falls möglich) zu Gruppen dicht nebeneinander angeordneter gleichartiger bzw. ähnlicher Bildobjekte zusammengefasst („geclustert"). Über einen Merkmalsextraktor 102c werden anschließend aus den Bilddaten der segmentierten und/oder geclusterten Bildobjekte für jedes segmentierte Bildobjekt bzw. für jede Gruppe zu einem Cluster zusammengefasster Bildobjekte aussagekräftige, charakteristische Merkmale (z.B. in Bezug auf die mittlere Größe, Struktur, Farbe, Form und Homogenität dieser Bildobjekte und in Bezug auf ihre Lage im Objektraum relativ zu anderen Bildobjekten) extrahiert und in Form von Merkmalsvektoren x _i eines bei N Objekten (segmentierte Bildobjekte und Cluster) aus N Elementen bestehenden Merkmalsraums Ω := {x ₁, ..., x _i,..., x _N} gespeichert. Mit Hilfe eines in den Merkmalsextraktor 102c integrierten, benutzerspezifisch konfigurierbaren Merkmalsselektors werden dabei für eine spätere Klassifikation zu erkennender Bildobjekte von einem Anwender als irrelevant ausselektierte Merkmale unterdrückt, wodurch die Dimension der Merkmalsvektoren x _i um die Anzahl der unterdrückten Merkmale abnimmt. Die erhaltenen Merkmalsvektoren werden dann von einer Mustererkennungs-Applikation 102d mit gespeicherten Referenzvektoren m _j („Prototypen") aus einer Referenzbilddatenbank 104, deren Elemente jeweils charakteristische Merkmale einer bestimmten Objektklasse (z.B. in Bezug auf die mittlere Größe, Struktur, Farbe, Form und Homogenität von Bildobjekten und Clustern) wiedergeben und ihrerseits einen aus K Elementen bestehenden Referenzbildraum M := {m ₁, ..., m _j, m _k, ..., m _K} aufspannen, unter Verwendung eines geeigneten Abstandsklassifikators verglichen. Bei diesem Abstandsklassifikator kann es sich beispielsweise um einen Nächster-Nachbar-Klassifikator, einen k-Nächster-Nachbar-Klassifikator, einen Mahalanobis-Klassifikator oder, wie in 1a beispielhaft angegeben, um einen Minimum-Abstands-Klassifikator handeln, bei dem jedem Merkmalsvektor x _i diejenige Objektklasse c_k eines aus K nicht überlappenden Objektklassen bestehenden Objektklassenraums Γ := {c₁, ..., c_j, c_k, ..., c_K} zugeordnet wird, für die die durch den Ausdruck d²(x _i, m _j) := ||x _i – m _j|| 2 / 2 = (x _i – m _j)^T(x _i – m _j) gegebene Funktion des quadratischen Euklidischen Abstands zwischen x _i und den K Referenzvektoren m _j des Referenzbildraums M ein Minimum aufweist. Für jeden klassifizierten Merkmalsvektor x _i wird dann die jeweils identifizierte Objektklasse c_k des zugehörigen Bildobjekts, deren Prototyp in 1a mit m _k bezeichnet ist, an eine zentrale Steuerungseinrichtung 102e des Bildverarbeitungs- und Mustererkennungssystems 102 übermittelt, welche dann die Indizes k der erkannten Objektklassen c_k und/oder Referenzmerkmale dieser Objektklassen bezeichnende Textdaten oder Zeichenketten eines standardisierten Datenformats über die Eingabe-/Ausgabe-Schnittstelle 102a in einer Befund- bzw. Berichtsdatei 105 dokumentiert und veranlasst, dass die zu klassifizierten Merkmalsvektoren erkannter Bildobjekte gehörigen Bilddaten aus dem externen Bilddatenspeicher 103 von einer Bildrendering-Applikation 102f, die zur Aufbereitung dieser Bilddaten für eine zwei- bzw. dreidimensionale graphische Visualisierung auf einem Bildschirm-Terminal 106 benötigt wird, ausgelesen, gerendert und in 2D- und/oder 3D-gerenderter Form in einem Anzeigefenster einer graphischen Benutzeroberfläche dieses Bildschirm-Terminals 106 dargestellt werden.
Wie 1a zu entnehmen ist, ist dabei der Objektklassenraum Γ der von der Mustererkennungs-Applikation 102d ausgegebenen, in Form erkannter Objektklassen zu klassifizierender Merkmalsvektoren angegebenen Erkennungsergebnisse nicht eingeschränkt, so dass die Anzahl der auf Veranlassung der zentralen Steuerungseinrichtung 102e durch die Bildrendering-Applikation 102f von dem externen Bilddatenspeicher 103 angeforderten Bilddaten (Ergebnisdaten), auf die sich diese Erkennungsergebnisse beziehen, also die Mächtigkeit der Ergebnismenge, ebenfalls nicht eingeschränkt ist. Das bedeutet, dass angeforderte Bilddaten erkannter Bildobjekte unselektiert mit Hilfe der 2D- und/oder 3D-Bildrendering-Applikation 102f in Form von zweidimensionalen Schnittbildern und/oder dreidimensionalen perspektivischen Ansichten graphisch dargestellt werden. Der Zeitaufwand einer im Anschluss an diese Prozedur von einem Anwender vorzunehmenden Auswertung der in graphischer Form dargestellten und in textueller Form beschriebenen Ergebnisdaten ist dabei entsprechend hoch.
Demgegenüber ist in 1b ein schematisches Blockschaltbild eines Bildverarbeitungs- und Mustererkennungssystems 102' nach einem ersten Ausführungsbeispiel vorliegender Erfindung dargestellt, welches zusätzlich zu den vorstehend erwähnten Systemkomponenten zur Rauschunterdrückung, Kontrastverbesserung, Kantendetektion, Segmentierung, Cluster-Bildung, Merkmalsextraktion, automatischen Mustererkennung und graphischen Visualisierung zu identifizierender Bildobjekte des in 1a dargestellten Bildverarbeitungs- und Mustererkennungssystems 102 über ein als „Selektor" bezeichnetes, benutzerspezifisch konfigurierbares Ergebnisfilter 102d' mit selektierbaren und/oder frei vorgebbaren Auswahlkriterien verfügt, welches der Mustererkennungs-Applikation 102d nachgeschaltet ist. Das Ergebnisfilter 102d' dient erfindungsgemäß zur Selektion der von der Mustererkennungs-Applikation ermittelten Objektklassen klassifizierter Bildobjekte und Bildobjekt-Cluster und damit zur Einschränkung der von dem externen Bilddatenspeicher 103 angeforderten und von dem Bildverarbeitungs- und Mustererkennungssystem 102' zurückgelieferten Menge an Bilddaten erkannter Bildobjekte und Bildobjekt-Cluster (Ergebnismenge). Der Bildrendering-Applikation werden dabei nur noch selektierte Bilddaten zugeführt, die Objektklassen eines von dem Ergebnisfilter 102d' eingeschränkten Objektklassenraums Γ' entsprechen. Bei diesem eingeschränkten Objektklassenraum Γ' handelt es sich erfindungsgemäß um eine Teilmenge des der Mustererkennungs-Applikation 102d zugrunde liegenden Objektklassenraums Γ. Der zentralen Steuerungseinrichtung 102e des Bildverarbeitungs- und Mustererkennungssystems 102' wird dabei nur dann für jeden klassifizierten Merkmalsvektor x _i die jeweils identifizierte Objektklasse c_k des zugehörigen Bildobjekts übermittelt, wenn diese Objektklasse mit einer Objektklasse c_k' des eingeschränkten Objektklassenraums Γ' identisch ist. Außerdem werden nur noch entsprechend dieser Ergebnisauswahl selektierte Textdaten bzw. Zeichenketten des oben erwähnten standardisierten Datenformats in die Befund- bzw. Berichtsdatei 105 geschrieben. Die Verwendung eines solchen Ergebnisfilters hat den Vorteil, dass der Zeitaufwand einer im Anschluss an die vorstehend genannte Prozedur von einem Anwender vorzunehmenden Auswertung der in graphischer Form visualisierten und in textueller Form beschriebenen Ergebnisdaten entsprechend niedriger ist als bei dem unter Bezugnahme auf 1a beschriebenen Bildverarbeitungs- und Mustererkennungssystem 102.
In 1c ist ein schematisches Blockschaltbild eines Bildverarbeitungs- und Mustererkennungssystems 102'' nach einem zweiten Ausführungsbeispiel vorliegender Erfindung dargestellt, das zusätzlich zu den Systemkomponenten des in 1a dargestellten Systems über ein als „Selektor" bezeichnetes, benutzerspezifisch konfigurierbares Ergebnisfilter 102g mit selektierbaren und/oder frei vorgebbaren Auswahlkriterien zur Selektion klassifizierter und mit Hilfe einer 2D/3D-Bildrendering-Applikation 102f in graphischer Form darge stellter Bildobjekte und Bildobjekt-Cluster verfügt, welches der 2D/3D-Bildrendering-Applikation 102f nachgeschaltet ist. Mit Hilfe dieses Ergebnisfilters 102g werden die von der Mustererkennungs-Applikation 102d klassifizierten und von der 2D/3D-Bildrendering-Applikation 102f auf dem Bildschirm des Bildschirm-Terminals 106 dargestellten Bildobjekte und Bildobjekt-Cluster nach einem vorgebbaren Auswahlkriterium (z.B. nach Bezeichnung, Typ, Status, Größe, Anzahl, einer vorgebbaren Priorität oder nach Relevanz klassifizierter Bildobjekte und Bildobjekt-Cluster) selektiert und mit Textlabels unterschiedlicher Farbe und/oder mit graphischen Symbolen unterschiedlicher Form und Farbe markiert, so dass der Anwender nur noch eine Vorauswahl von mit Textlabels und Objektmarkierungen versehenen Bildobjekten und Bildobjekt-Clustern auszuwerten braucht.
Ein Beispiel für eine insbesondere im klinischen Bereich als computergestütztes Diagnose-Werkzeug zum Nachweis von Gewebeabnormalitäten im Körperinneren eines Patienten verwendete Segmentierungs-, Clustering-, Merkmalsextraktions-, Mustererkennungs-, Volumen-Rendering- und 3D-Visualisierungs-Applikation ist das von der Firma Siemens entwickelte Programm syngo^® LungCARE in Kombination mit dem optionalen Zusatzmodul NEV („Nodule Enhanced Viewing"), dessen graphische Benutzeroberfläche in 2a dargestellt ist. Hierbei handelt es sich um eine dedizierte Bildnachbearbeitungssoftware zur computergestützten Auffindung, Erkennung, Dokumentation, dreidimensionalen graphischen Visualisierung und Markierung von Lungenrundherden (einer möglichen Vorstufe zum Lungenkrebs) und anderen Läsionen im Inneren der Lunge, welche einen Radiologen bei der Befundung sowie bei Folgeuntersuchungen dieser Gewebeabnormalitäten unterstützt und dabei die Diagnosesicherheit erhöht, indem sie den Radiologen auf potenzielle Läsionen hinweist. syngo^® LungCARE berechnet hierbei ausgehend von Röntgen-Thorax-Aufnahmen, die im Rahmen einer hochauflösenden Niedrigdosis-Computertomographie (CT) des Brustkorbs (Thorax) eines zu untersuchenden Patienten generiert wurden, detaillierte Schicht-(200a-c) und dreidimensi onale Darstellungen (200d) von Teilansichten der Lunge, auf denen der Arzt auch kleinste Lungenknoten 203 in Form von mehr oder weniger scharf abgegrenzten, in ihrer Ausdehnung umschriebenen Verdichtungen des Lungengewebes 202 deutlich erkennen kann. Volumen und Durchmesser der Lungenrundherde 203 können anschließend automatisch vermessen werden. Für eine detaillierte Auswertung kann der Arzt die Bilder aus jedem beliebigen Blickwinkel eines dreidimensionalen virtuellen Objektraums betrachten. Gleichzeitig ermöglicht syngo^® LungCARE einem Radiologen, gespeicherte CT-Aufnahmen von bereits erfolgten computertomographischen Untersuchungen mit aktuellen CT-Aufnahmen zu vergleichen, so dass Volumenänderungen einzelner Lungenrundherde 203 leicht erkannt werden können. Zusammen mit den Bilddaten gerenderter 2D- und 3D-Darstellungen der Lunge werden in Textform eingegebene Details zur Beschreibung der dargestellten Gewebeabnormalitäten, wie z.B. Position, Morphologie und charakteristische Merkmale lokalisierter und identifizierter Lungenrundherde 203, in einer Berichts- oder Befunddatei hinterlegt, wobei alle Bild- und Textdaten, ob manuell eingegeben oder automatisch erstellt, in einem standardisierten Datenformat (z.B. im DICOM-Format) gespeichert werden.
Das Anzeigefenster der in 2a dargestellten graphischen Benutzeroberfläche ist dabei in vier Teilfenster unterteilt, in denen axiale bzw. koronale 2D-Schnittbilder (200a-c) von Brustkorb 201 und Lunge 202 eines Patienten sowie eine 3D-gerenderte Ansicht (200d) eines identifizierten Lungenrundherdes 203 mit dem ihn umgebenden Lungen-(202) und Brustkorbgewebe (201) dargestellt sind, welche aus Bilddaten einer Röntgen-Computertomographie des Thorax generiert wurden.
2b zeigt die graphische Benutzeroberfläche eines weiteren, aus dem Stand der Technik bekannten computergestützten Diagnose-Werkzeugs, welches zum Nachweis von Gewebeabnormalitäten im Körperinneren eines Patienten geeignet ist. Hierbei handelt es sich um das ebenfalls von der Firma Siemens entwickelte Programm syngo^® Colonography in Kombination mit dem optionalen Zusatzmodul PEV („Polyp Enhanced Viewing"), eine dedizierte Nachbearbeitungssoftware, welche zum Nachweis und zur Diagnose von Läsionen im Darm unter Verwendung von CT-akquirierten Bilddaten dient. PEV ermöglicht dabei eine Erhöhung der Diagnosesicherheit, indem es den Radiologen auf potenzielle Läsionen aufmerksam macht, die dann mit Hilfe eines 3D-Visualisierungstools von syngo^® Colonography in dreidimensionaler Form graphisch dargestellt werden, um beurteilt werden zu können. Mit Hilfe dieses Tools kann der Radiologe beispielsweise Darmpolypen 206, die im Bereich des Rektums, des Kolons und/oder des terminalen Ileums (d.h. im Bereich des Mastdarms, des Grimmdarms sowie im Endbereich des Dünndarms an der Stelle des Übergangs in den Dickdarm) auftreten, besser erkennen und von ähnlich aussehenden Gewebestrukturen unterscheiden. Dabei wird mittels eines speziell entwickelten Softwareprogramms aus den Daten einer Niedrigdosis-Computertomographie des Bauchraums (Abdomens) eines zu untersuchenden Patienten eine detaillierte dreidimensionale Darstellung der Darminnenwände berechnet, auf der auch kleinste Polypen, eine mögliche Vorstufe zum Darmkrebs, deutlich zu erkennen sind. Die Software ermöglicht es dem Arzt, virtuell durch den Darm 205 eines Patienten zu navigieren, verengte Darmabschnitte und dahinter liegende Bereiche einzusehen, gefundene Darmpolypen 206 zu markieren, zu vermessen und deren exakte Position für eine eventuell notwendige Entfernung zu bestimmen. Die Möglichkeit einer virtuellen Navigation erleichtert dabei insbesondere das Auffinden von schwierig zu lokalisierenden Läsionen, die sich zwischen einzelnen Darmfalten befinden. Durch diesen weitgehend automatisierten, computergestützten Arbeitsablauf vergehen von der Durchführung des radiologischen Bildgebungsprozesses bis zur Diagnose nur etwa zehn Minuten.
Das Anzeigefenster der in 2b dargestellten graphischen Benutzeroberfläche ist dabei in vier Teilfenster 200e-h unterteilt, in denen axiale bzw. koronale 2D-Schnittbilder (200e und 200f) des Dickdarms 205 zusammen mit dem ihn umgebenden Bauch- und Beckenbereich 204 eines Patienten sowie dreidimensionale virtuelle Außen- bzw. Innenansichten (200g und 200h) des Dickdarms 205 in einem Abschnitt zwischen dem anusseitigen Ende des Rektums und der Übergangsstelle von Kolon und terminalem Ileum dargestellt sind, welche aus Bilddaten einer Röntgen-Computertomographie des Abdomens generiert wurden.
In 3 ist ein Beispiel für ein Konfigurationsfenster einer Bildverarbeitungs-, Mustererkennungs- und Bildrendering-Applikation dargestellt, welches zur Selektion zwischen verschiedenen Auswahlkriterien eines der erfindungsgemäßen Ergebnisfilter 102d' bzw. 102g aufgerufen werden kann. Ein Anwender hat dabei die Möglichkeit, die auszuwertende Menge an Bilddaten klassifizierter Bildobjekte, die über die 2D/3D-Bildrendering-Applikation 102f angefordert und in 2D- und/oder 3D-gerenderter Form in einem Anzeigefenster der graphischen Benutzeroberfläche des Bildschirm-Terminals 106 zur Anzeige gebracht werden, durch Vorgabe eines geeigneten Auswahlkriteriums und/oder durch Limitierung der Anzahl zu selektierender und markierender Bildobjekte einzuschränken. Das dargestellte Beispiel bezieht sich dabei auf ein Konfigurationsfenster der unter Bezugnahme auf 2a beschriebenen, zur Auffindung, Erkennung und Klassifikation von Lungenrundherden im Lungengewebe eines Patienten verwendeten Segmentierungs-, Mustererkennungs-, Volumen-Rendering- und 3D-Visualisierungs-Applikation syngo^® LungCARE, welches zur Konfiguration eines Selektionsverfahrens zur Vorauswahl graphisch darzustellender identifizierter Lungenrundherde für eine anschließende Auswertung durch einen Radiologen dient.
Wie 3 zu entnehmen ist, kann der Radiologe das Ergebnisfilter 102d' bzw. 102g mit geeigneten Auswahlkriterien je nach Mustererkennungsalgorithmus, klinischer Fragestellung und/oder je nach Art einer zu diagnostizierenden Erkrankung entweder schon im Vorfeld konfigurieren oder direkt beim Start der Mustererkennungs-Applikation 102d zwischen verschiedenen Auswahlkriterien, die in dem Konfigurationsfenster dieses Ergebnisfilters dargeboten werden, auswählen. Als Auswahlkriterien kann der Benutzer dabei z.B. festlegen, dass

– in dem externen Bilddatenspeicher 103 gespeicherte Bilddaten und/oder von der Mustererkennungs-Applikation 102d als Text oder Zeichenkette eines standarisierten Datenformats gelieferte Ergebnisdaten aller Bildobjekte, deren Merkmalsvektoren einer der von der Mustererkennungs-Applikation 102d gefundenen Objektklassen zugeordnet werden können (z.B. Bilddaten aller als solche erkannten Lungenrundherde),
– nur Bild- und/oder Textdaten der vorstehend genannten Art, die sich auf eine vorgebbare maximale Anzahl der größten identifizierten Bildobjekte beziehen (z.B. Bilddaten von maximal fünf der größten als solche erkannten Lungenrundherde), oder
– nur Bild- und/oder Textdaten der vorstehend genannten Art, die sich auf identifizierte Bildobjekte ab einer vorgebbaren minimalen Größe beziehen (z.B. Bilddaten von als solche erkannten Lungenrundherden mit einem mittleren Durchmesser von über 5 mm),

103

105

In 4 ist ein Beispiel für eine Konfigurationstabelle dargestellt, die zur benutzerspezifischen Festlegung von Form, Farbe und der Möglichkeit einer bildübergreifenden Weiterverfolgung einer Menge von der Bildrendering-Applikation 102f automatisch eingefügter, manuell hinzugefügter bzw. gelöschter Objektmarkierungen dient. Letztere werden dabei zur Kennzeichnung auf dem Bildschirm des Bildschirm-Terminals 106 dargestellter, von der Mustererkennungs-Applikation 102d bzw. von einem Anwender identifizierter Bildobjekte verwendet, deren Merkmalsvektoren dem uneingeschränkten (unselektierten) Objektklassenraum Γ bzw. dem durch ein selektiertes Auswahlkriterium eingeschränkten (selektierten) Objektklassenraum Γ' zugeordnet wurden. Ein Anwender kann dabei festlegen, dass Objekt- und Bereichsmarkierungen markierter Bildobjekte bzw. Bildausschnitte je nach Bezeichnung, Typ, Status, Größe, Priorität und/oder Relevanz der markierten Bildobjekte bzw. der in markierten Bildausschnitten enthaltenen Bildobjekte unterschiedlich dargestellt werden, z.B. mit einer unterschiedlichen Form und/oder Farbe. Zusätzlich oder alternativ dazu kann auch festgelegt werden, dass die zugehörigen Textlabels dieser Objekt- und Bereichsmarkierungen ebenfalls je nach Bezeichnung, Typ, Status, Größe, Priorität und/oder Relevanz der jeweiligen markierten Bildobjekte bzw. der in den markierten Bildausschnitten enthaltenen Bildobjekten in einer bestimmten Farbe, Schriftgröße und/oder Schriftart dargestellt werden. Wie 4 zu entnehmen ist, können auch Farbe und/oder Form der von einem Anwender gelöschten und in der Objekt- bzw. Bereichsmarkierungsliste als gelöscht gekennzeichneten Objekt- und/oder Bereichsmarkierungen sowie Farbe, Schriftgröße und/oder Schriftart ihrer zugehörigen Textlabels über die Konfigurationstabelle festgelegt werden.
In 5a ist ein Ablaufdiagramm einer Applikation zur Segmentierung, Merkmalsextraktion, automatischen Mustererkennung und graphischen Visualisierung zu klassifizierender und in graphischer Form darzustellender Bildobjekte dargestellt. Dabei werden mit Hilfe eines radiologischen Bildgebungsverfahrens (z.B. mittels Röntgen-Computertomographie) gewonnene Bilddaten geladen (S1) und einer Filterungsprozedur zur Rauschunterdrückung, Kontrastverbesserung und Kantendetektion unterzogen. Daraufhin wird ein Segmentierungs- und Clustering-Algorithmus durchgeführt, mit dessen Hilfe Bildbereiche gleicher oder ähnlicher Struktur als zusammenhängende Bildobjekte erfasst (segmentiert) und die segmentierten Bildobjekte bei Unterschreitung eines vorgegebenen Abstands und Einhaltung eines Ähnlichkeitskriteriums zu Clustern zusammengefasst werden (S2a). Aus den Bilddaten der segmentierten und geclusterten Bildobjekte werden dann aussagekräftige Merkmale extrahiert und in Form eines Satzes von Merkmalsvektoren gespeichert (S2b), auf dem im Anschluss daran eine Mustererkennungs-Applikation (S2c) zur automatischen Identifikation bzw. Klassifikation der segmentierten und geclusterten Bildobjekte ausgeführt wird. Nach der in diesem Ablaufdiagramm skizzierten Variante des erfindungsgemäßen Verfahrens erfolgt direkt danach eine Prozedur zur Selektion (S3) der von der Mustererkennungs-Applikation ermittelten Objektklassen, wobei der dieser Applikation zugrunde liegende Objektklassenraum über benutzerspezifizierte Auswahlkriterien eines Ergebnisfilters 102d' in geeigneter Weise eingeschränkt wird. Bilddaten identifizierter Bildobjekte, deren Objektklassen nicht in dem eingeschränkten Objektklassenraum enthalten sind, werden dabei erfindungsgemäß unterdrückt. Nach Abschluss dieser Prozedur werden Textdaten zur Angabe der von der Mustererkennungs-Applikation erkannten und selektierten Objektklassen in einer Befund- bzw. Berichtsdatei 105 gespeichert (S4). Bei Ausführung einer Bildrendering-Applikation (S5) für eine spätere Auswertung der von der Mustererkennungs-Applikation gelieferten Daten werden dann erfindungsgemäß nur noch klassifizierte Bildobjekte und Bildobjekt-Cluster selektierter Objektklassen in graphischer Form zur Anzeige gebracht.
In 5b ist eine Variante des in 5a abgebildeten Ablaufdiagramms dargestellt, bei der das erfindungsgemäße Selektionsverfahren (S4') im Anschluss an eine Routine zur automatischen Mustererkennung (S2c) und eine Prozedur zur Durchführung eines 2D/3D-Bildrendering (S3') erfolgt, mittels derer klassifizierte Bildobjekte und Bildobjekt-Cluster für eine spätere Auswertung in graphischer Form zur Anzeige gebracht werden. Die Selektion klassifizierter und mit Hilfe der Bildrendering-Applikation in graphischer Form dargestellter Bildobjekte und Bildobjekt-Cluster erfolgt dabei über benutzerspezifizierte Auswahlkriterien eines Ergebnisfilters 102g. Selektierte Bildobjekte bzw. Bildobjekt-Cluster werden mit Textlabels unterschiedlicher Farbe und/oder mit Symbolen unterschiedlicher Form und Farbe markiert und somit als selektiert gekennzeichnet. Wie bei dem unter Bezugnahme auf 5a beschriebenen Verfahren werden auch hier Textdaten zur Angabe der von der Mustererkennungs-Applikation erkannten und selektierten Bildobjekte und Cluster in einer Befund- bzw. Berichtsdatei 105 gespeichert (S5').
Der Vorteil der erfindungsgemäßen Vorauswahl bzw. Markierung klassifizierter Bildobjekte und Bildobjekt-Cluster besteht für den Radiologen in einer Zeitersparnis, welche darauf zurückzuführen ist, dass zum Zeitpunkt des Startens der im Rahmen eines computergestützten Diagnose-Werkzeugs verwendeten Mustererkennungs-Applikation alle zur Durchführung eines 2D- und/oder 3D-Bildrendering darzustellender Bildobjekte und/oder zur Durchführung einer Bildnachbearbeitung erforderlichen CAD-Algorithmen bereits im Vorfeld durchgeführt wurden und abgeschlossen sind, so dass der Radiologe nach Ausführung der Mustererkennungs-Applikation ohne Inkaufnahme eines weiteren Zeitverlusts mit der Auswertung 2D- und/oder 3D-gerenderter Darstellungen von segmentierten, von der Mustererkennungs-Applikation identifizierten Bildobjekten beginnen kann.
Ein zusätzlicher Vorteil besteht für den Radiologen in einer weiteren signifikanten Zeitersparnis, da er bzw. sie nach Abschluss der erfindungsgemäßen automatisch ablaufenden Prozedur zur benutzerdefinierbaren Selektion der von der Mustererkennungs-Applikation zurückgelieferten Erkennungsergebnisse im Vergleich zur Anzahl der von derselben Mustererkennungs-Applikation zurückgelieferten unselektierten Erkennungsergeb nisse eine weitaus geringere Anzahl an Erkennungsergebnissen kontrollieren, verifizieren, auswerten und befunden muss.

Claims

Verfahren zur automatischen Klassifikation und graphischen Visualisierung segmentierter und bei Unterschreitung eines vorgegebenen Abstands und Einhaltung eines Ähnlichkeitskriteriums zu Clustern zusammengefasster Bildobjekte (203, 206), dadurch gekennzeichnet, dass Ergebnisdaten zur Objektklassifikation aus einer Ergebnismenge einer im Hintergrund auf einem Bilddatensatz eines Bildgebungssystems (101) ausgeführten Applikation zur Merkmalsextraktion (102c') und automatischen Mustererkennung (102d) segmentierter und geclusterter Bildobjekte (203, 206) und/oder gerenderte Bilddaten einer im Hintergrund ausgeführten Bildrendering-Applikation zur zwei- und/oder dreidimensionalen graphischen Visualisierung dieser Bildobjekte (203, 206) nach einem vorgebbaren Auswahlkriterium vorausgewählt und/oder auf einem Bildschirm eines Bildschirm-Terminals (106) graphisch sichtbar als vorausgewählt markiert werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Vorauswahl von Ergebnisdaten und/oder gerenderten Bilddaten direkt nach Beendigung der Applikation zur automatischen Mustererkennung (102d) segmentierter und geclusterter Bildobjekte (203, 206) erfolgt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Vorauswahl von Ergebnisdaten und/oder gerenderten Bilddaten im Anschluss an eine während oder nach Ausführung der Applikation zur automatischen Mustererkennung (102d) im Hintergrund ausgeführte Bildrendering-Applikation (102f) zur Bereitstellung von gerenderten Bilddaten für eine zwei- und/oder dreidimensionale graphische Visualisierung der segmentierten und/oder geclusterten Bildobjekte (203, 206) erfolgt.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass von der Mustererkennungs-Applikation (102d) ermittelte Objektklassen (c_k) durch Einschränkung (Γ') eines dieser Applikation zugrunde liegenden Objektklassenraums (Γ) über benutzerspezifizierte Auswahlkriterien eines Ergebnisfilters (102d') selektiert und Bilddaten identifizierter Bildobjekte (203, 206), deren Objektklassen (c_k) nicht in dem eingeschränkten Objektklassenraum (Γ') enthalten sind, unterdrückt werden.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass nur vorausgewählte und in graphisch sichtbarer Form als vorausgewählt markierte klassifizierte Bildobjekte (203, 206) innerhalb eines durch eine Bereichsmarkierung selektierten Bildausschnitts auf dem Bildschirm des Bildschirm-Terminals (106) zur Anzeige gebracht werden, indem die Übertragung gerenderter Bilddaten aller übrigen Bildausschnitte und klassifizierten Bildobjekte zum Bildschirm-Terminal (106) unterdrückt wird.
Verfahren nach einem der Ansprüche 3 oder 5, dadurch gekennzeichnet, dass die gerenderter Bilddaten der nicht selektierten Bildausschnitte und/oder der nicht vorausgewählten bzw. nicht in graphisch sichtbarer Form als vorausgewählt markierten klassifizierten Bildobjekte auf Anfrage zum Bildschirm-Terminal (106) übertragen und auf dessen Bildschirm graphisch visualisiert werden.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass es sich bei dem vorgebbaren Auswahlkriterium um die Bezeichnung, den Typ, den Status, die Größe, die Anzahl, eine vorgebbare Priorität oder um die für eine spätere Auswertung in Betracht zu ziehende Relevanz klassifizierter Bildobjekte (203, 206) handelt.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die selektierte Ergebnismenge, bei der es sich um eine nach einem bestimmten Sortierkriterium sortierte Liste von auszuwertenden Erkennungsergebnissen handelt, bei Erkennung, Kennzeichnung oder Löschung eines falsch klassifizierten Bildobjekts (203, 206) automatisch aktualisiert wird, wobei die Ergebnisdaten des als jeweils nächstes Listenelement folgenden Erkennungsergebnisses automatisch auf den Listenplatz des als falsch erkannten, gekennzeichneten bzw. gelöschten Erkennungsergebnisses nachrücken.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass Ergebnisdaten zusätzlicher Erkennungsergebnisse, die weitere, von einem Anwender identifizierte bzw. klassifizierte Bildobjekte (203, 206) betreffen, manuell zu der Liste der auszuwertenden Erkennungsergebnisse hinzufügbar sind.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass Objektmarkierungen von Bildobjekten (203, 206) aus der Ergebnismenge gelöschter Erkennungsergebnisse auch nach dem Löschen dieser Erkennungsergebnisse auf dem Bildschirm des Bildschirm-Terminals (106) angezeigt werden.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass Objekt- und Bereichsmarkierungen zur Markierung von Bildobjekten (203, 206) bzw. Bildausschnitten je nach Bezeichnung, Typ, Status, Größe, Priorität und/oder Relevanz der markierten Bildobjekte (203, 206) bzw. der in markierten Bildausschnitten enthaltenen Bildobjekte (203, 206) als graphische Symbole unterschiedlicher Form und/oder Farbe bzw. als Textlabels unterschiedlicher Schriftgröße, Schriftart und/oder Schriftfarbe gespeichert und graphisch dargestellt werden.
Mustererkennungs- und Bildrenderingsystem zur automatischen Klassifikation und graphischen Visualisierung segmentierter und bei Unterschreitung eines vorgegebenen Abstands und Einhaltung eines Ähnlichkeitskriteriums zu Clustern zusammengefasster Bildobjekte (203, 206), gekennzeichnet durch ein Ergebnisfilter (102d') zur Vorauswahl von Ergebnisdaten zur Objektklassifikation aus einer Ergebnismenge einer im Hintergrund auf einem Bilddatensatz eines Bildgebungssystems (101) ausgeführten Applikation zur Merkmalsextraktion (102c') und automatischen Mustererkennung (102d) segmentierter und geclusterter Bildobjekte (203, 206).
Mustererkennungs- und Bildrenderingsystem nach Anspruch 12, gekennzeichnet durch ein Ergebnisfilter (102g) zur Vorauswahl und/oder graphisch sichtbaren Markierung vorausgewählter gerenderter Bilddaten einer im Hintergrund ausgeführten Bildrendering-Applikation zur zwei- und/oder dreidimensionalen graphischen Visualisierung klassifizierter Bildobjekte (203, 206) auf einem Bildschirm eines Bildschirm-Terminals (106) nach einem vorgebbaren Auswahlkriterium.
Mustererkennungs- und Bildrenderingsystem nach Anspruch 12, dadurch gekennzeichnet, dass das Ergebnisfilter (102d') der Applikation zur automatischen Mustererkennung (102d) der segmentierten und geclusterten Bildobjekte (203, 206) direkt nachgeschaltet ist.
Mustererkennungs- und Bildrenderingsystem nach Anspruch 13, dadurch gekennzeichnet, dass das Ergebnisfilter (102g) einer während oder nach Ausführung der Applikation zur automatischen Mustererkennung (102d) ausgeführten Bildrendering-Applikation (102f) zur gra phischen Visualisierung der segmentierten und/oder geclusterten Bildobjekte (203, 206) nachgeschaltet ist.
Computersoftware-Programmprodukt zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 11 bei Betrieb auf einem Bildschirm-Terminal (106) eines Mustererkennungs- und Bildrenderingsystems (102', 102'') nach einem der Ansprüche 12 bis 15.