DE112014001697T5

DE112014001697T5 - Bildverarbeitungsvorrichtung, Bildverarbeitungsprogramm und Betriebsverfahren für Bildverarbeitungsvorrichtung

Info

Publication number: DE112014001697T5
Application number: DE112014001697.7T
Authority: DE
Inventors: Yoshiro Kitamura
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2013-03-27
Filing date: 2014-03-20
Publication date: 2015-12-17
Also published as: JP5879291B2; US9965698B2; JP2014191564A; WO2014156089A1; US20160019435A1

Abstract

[Lösungsmittel] Wenn eine binäre Markierung vorgenommen wird, spezifiziert eine Umrissspezifiziereinrichtung (13) einen ersten Umriss in Richtung einer Zielregion und einen zweiten Umriss in Richtung einer Nicht-Zielregion, wobei die Umrisse Formen ähnlich dem Umriss des Zielregion besitzen. Eine Voxelauswahleinrichtung (14) wählt eine Anzahl N Voxel aus, die alles von dem ersten Umriss und dem zweiten Umriss bilden. Die Energieeinstelleinrichtung (15) stellt Energie N-ter Ordnung dann, wenn eine Bedingung erfüllt ist, wonach sämtliche Voxel des ersten Umrisses zu der Zielregion gehören und sämtliche Voxel des zweiten Umrisses zu der Nicht-Zielregion gehören, kleiner ein als die Energie N-ter Ordnung dann, wenn die Bedingung nicht erfüllt ist. Anschließend daran erfolgt die Markierung durch Energie-Minimierung.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Offenbarung bezieht sich auf eine Bildverarbeitungsvorrichtung, die ein Bild in mehrere Zonen unter Verwendung eines diskreten Optimierungsverfahrens, so zum Beispiel mittels Graph-Cut und QPBO (Quadratische Pseudo-Boolsche Optimierung) segmentiert, ein Bildverarbeitungsprogramm und ein Betriebsverfahren für die Bildverarbeitungsvorrichtung.
Beschreibung des Standes der Technik
Die Energieminimierung mit Hilfe eines Algorithmus für den minimalen Schnitt eines Graphen (Graph-Cut) ist in den vergangenen Jahren auf dem Gebiet der Bildverarbeitung umfangreich eingesetzt worden. Insbesondere wurde ein Verfahren zum effizienten Lösen des Problems einer Bildsegmentierung (Regionen-Segmentierung) als Energie-Minimierungsproblem vorgeschlagen.
Graph-Cuts wurden vornehmlich in Bezug auf Energie zweiter Ordnung entwickelt, die von zwei Variablen abhängt. Von Kolmogorov et al. wurde ein Verfahren zum Minimieren submodularer Energie dritter Ordnung vorgeschlagen, die von drei Variablen abhängt (siehe zum Beispiel die Nicht-Patent-Druckschrift 1).
Weiterhin wurde ein Verfahren zum Lösen einer Energiefunktion höherer Ordnung, also vierter Ordnung oder höher, vorgeschlagen, bei dem die Energiefunktion höherer Ordnung in eine Energiefunktion zweiter Ordnung transformiert wird. Wenn sämtliche Koeffizienten von quadratischen Termen der Energiefunktion nach der Transformation negativ sind, wird die Funktion als submodulare Funktion bezeichnet, und es ist mit Hilfe des Max-Flow/Min-Cut-Algorithmus eine hochschnelle Minimum-Lösung erzielbar. Wenn in den Koeffizienten der quadratischen Terme der Energiefunktion nach der Transformation (nicht-submodular) ein positiver Wert enthalten ist, ist eine Optimierung der ursprünglichen Energiefunktion hoher Ordnung möglich durch Minimierung oder durch Ermitteln einer Approximationslösung mit Hilfe des QPBO-Algorithmus. Für die Energiefunktions-Transformation sind mehrere Methoden bekannt. Beispielsweise schlagen Rother et al. diese Transformation vor (siehe zum Beispiel die Nicht-Patent-Druckschrift 2).
Weiterhin wurde ein Verfahren vorgeschlagen, bei dem eine Graph-Cut-Methode dazu dient, eine Region eines zu extrahierenden Ziels zu extrahieren. Bei dieser Methode wird basierend auf einem Abstand von einer den Umriss des Ziels repräsentierenden geschlossenen Kurve Energie eingestellt, und es erfolgt eine Segmentierung in eine Objektregion und die übrige Region (siehe zum Beispiel Patentschrift 1).
[Zitierte Patentschriften]

[Nicht-Patent-Druckschrift 1] V. Kolmogorov und R. Zabih, What energy functions can be minimized via Graph Cuts?, IEEE PAMI, 26(2), 2004
[Nicht-Patent-Druckschrift 2] C. Rother, P. Kohli, W. Feng, J. Jia, Minimizing Sparse Higher Order Energy Functions of Discrete Variables, CVPR, 2009

[Patentschrift]

[Patentschrift 1] Japanische ungeprüfte Patent-Offenlegungschrift Nr. 2012-027713

OFFENBARUNG DER ERFINDUNG
Die Nicht-Patent-Druckschrift 1 und die Nicht-Patent-Druckschrift 2 zeigen Verfahren zum Gewinnen von Lösungen durch Transformieren von Energie höherer Ordnung in Energie zweiter Ordnung. Die Patentschrift 1 zeigt ein Verfahren zum Ausführen einer Segmentierung in eine Zielregion mit einem spezifischen Umriss und die übrige Region durch Einstellen von Energie basierend auf dem Umriss. Die Nicht-Patent-Druckschrift 2 offenbart das Einstellen von Energie hoher Ordnung für Pixel in einem rechteckigen Fenster als eines von Anwendungsbeispielen für die Segmentierung unter Verwendung von Energie hoher Ordnung. Bei diesem Verfahren ist es schwierig, ausreichend gestreute Energie hoher Ordnung einzustellen. Es ergab sich daher das Problem, dass der Rechenaufwand beträchtlich war.
Im Hinblick auf die obigen Umstände schafft die vorliegende Offenbarung eine Bildverarbeitungsvorrichtung unter Verwendung von Energie hoher Ordnung, die eine effiziente Segmentierung liefert, ferner ein Bildverarbeitungsprogramm und ein Betriebsverfahren für die Bildverarbeitungsvorrichtung.
Eine Bildverarbeitungsvorrichtung gemäß der vorliegenden Offenbarung führt eine Markierung aus, indem sie jedem Voxel von Bilddaten mit Hilfe eines Energie-Minimierungsverfahrens eine erste Variable zuordnet, die eine Zielregion repräsentiert, oder eine zweite Variable zuordnet, die eine Nicht-Zielregion repräsentiert und die Zielregion ausschließt. Die Vorrichtung enthält eine Umrissspezifikationseinrichtung, die einen ersten Umriss spezifiziert, der in Richtung der Zielzone vorhanden ist, und einen zweiten Umriss, der sich an einer Stelle gegenüber dem ersten Umriss befindet, wobei ein Umriss der Zielzone zwischen dem ersten Umriss und dem zweiten Umriss liegt, und deren Formen ähnlich dem Umriss der Zielzone sind, eine Voxel-Auswahleinrichtung, die eine Anzahl i(≥ 1) von Voxeln auswählt, die den gesamten ersten Umriss bilden, und eine Anzahl (N – i)(N ≥ 4, N – i ≥ 1) von Voxeln auswählt, welche den gesamten zweiten Umriss bilden, eine Energieeinstelleinrichtung, die Energie N-ter Ordnung, wenn eine Bedingung, wonach sämtliche der i Voxel des ersten Umrisses zu der Zielregion gehören und sämtliche (N – i) Voxel des zweiten Umrisses zu der Nicht-Zielregion gehören, erfüllt ist, kleiner einstellt als Energie N-ter Ordnung, wenn die Bedingung nicht erfüllt ist, und eine Markiereinrichtung, die eine Markierung durch Minimieren der Energie N-ter Ordnung ausführt.
Ein Bildverarbeitungsprogramm nach der vorliegenden Offenbarung veranlasst einen Computer, als Bildverarbeitungsvorrichtung zu fungieren, die eine Markierung ausführt, indem sie jedem Voxel von Bilddaten mit Hilfe eines Energie-Minimierungsverfahrens eine erste Variable zuordnet, die eine Zielregion repräsentiert, oder eine zweite Variable zuordnet, die eine Nicht-Zielregion repräsentiert und die Zielregion ausschließt. Die Vorrichtung enthält eine Umrissspezifikationseinrichtung, die einen ersten Umriss spezifiziert, der in Richtung der Zielzone vorhanden ist, und einen zweiten Umriss, der sich an einer Stelle gegenüber dem ersten Umriss befindet, wobei ein Umriss der Zielzone zwischen dem ersten Umriss und dem zweiten Umriss liegt, und deren Formen ähnlich dem Umriss der Zielzone sind, eine Voxel-Auswahleinrichtung, die eine Anzahl i(≥ 1) von Voxeln auswählt, die den gesamten ersten Umriss bilden, und eine Anzahl (N – i)(N ≥ 4, N – i ≥ 1) von Voxeln auswählt, welche den gesamten zweiten Umriss bilden, eine Energieeinstelleinrichtung, die Energie N-ter Ordnung, wenn eine Bedingung, wonach sämtliche der i Voxel des ersten Umrisses zu der Zielregion gehören und sämtliche (N – i) Voxel des zweiten Umrisses zu der Nicht-Zielregion gehören, erfüllt ist, und kleiner einstellt als Energie N-ter Ordnung, wenn die Bedingung nicht erfüllt ist, und eine Markiereinrichtung, die eine Markierung durch Minimieren der Energie N-ter Ordnung ausführt.
Ein Betriebsverfahren gemäß der vorliegenden Offenbarung ist ein Betriebsverfahren für eine Bildverarbeitungsvorrichtung, die eine Umrissspezifikationseinrichtung, eine Voxelauswahleinrichtung, eine Energieeinstelleinrichtung und eine Markiereinrichtung enthält, und die eine Markierung dadurch ausführt, dass sie eine erste Variable, die eine Zielregion repräsentiert, oder eine zweite Variable, die eine Nicht-Zielregion repräsentiert und die Zielregion ausschließt, jedem Voxel zuordnet, welches Bilddaten darstellt, indem von einem Energie-Minimierungsverfahren Gebrauch gemacht wird. Das Betriebsverfahren beinhaltet einen Umrissspezifikationsschritt, bei dem die Umrissspezifikationseinrichtung einen ersten Umriss spezifiziert, der in Richtung der Zielregion vorhanden ist, und einen zweiten Umriss spezifiziert, der an einer Stelle vorhanden ist, die dem ersten Umriss gegenüber liegt, wobei ein Umriss der Zielregion zwischen dem ersten Umriss und dem zweiten Umriss liegt, und der Formen ähnlich dem Umriss der Zielregion aufweist, einen Voxelauswahlschritt, bei dem die Voxelauswahleinrichtung eine Anzahl i(≥ 1) von Voxeln auswählt, welche den gesamten ersten Umriss bilden, und eine Anzahl (N – i)(N ≥ 4, N – i ≥ 1) von Voxeln auswählt, die den gesamten zweiten Umriss bilden, einen Energieeinstellschritt, bei dem die Energieeinstelleinrichtung Energie N-ter Ordnung, wenn eine Bedingung, wonach sämtliche i Voxel des ersten Umrisses zu der Zielzone gehören und sämtliche (N – i) Voxel des zweiten Umrisses zu der Nicht-Zielregion gehören, erfüllt ist, und kleiner einstellt als Energie N-ter Ordnung, wenn die Bedingung nicht erfüllt ist, und einen Markierungsschritt, bei dem die Markierungseinrichtung eine Markierung ausführt durch Minimieren der Energie N-ter Ordnung.
Die ”Formen ähnlich dem Umriss der Zielregion” beziehen sich auf Formen, die der Gestalt des Umrisses der Zielregion ähneln. Es ist erwünscht, dass der erste Umriss sich um etwa eine konstante Entfernung beabstandet von dem Umriss der Zielregion in Richtung des Inneren der Zielregion befindet. Es ist wünschenswert, wenn der zweite Umriss um einen annähernd konstante Abstand von dem Umriss der Zielregion zur Außenseite der Zielregion hin beabstandet ist (zu der Nicht-Zielregion hin).
Es ist wünschenswert, wenn die Umrissspezifikationseinrichtung den ersten Umriss und den zweiten Umriss in der Weise spezifiziert, dass der erste Umriss und der zweite Umriss voneinander um eine vorbestimmte Distanz beabstandet sind.
Weiterhin kann eine Umrissabschätzeinrichtung vorgesehen sein, die den Umriss der Zielregion unter Verwendung der Bilddaten abschätzt. Die Umrissspezifikationseinrichtung kann den ersten Umriss und den zweiten Umriss basierend auf dem abgeschätzten Umriss spezifizieren.
Die Umrissabschätzeinrichtung kann den Umriss der Zielregion basierend auf den Bilddaten unter Verwendung einer Differentialfilterung, welche eine Kante ermittelt, abschätzen.
Die Umrissabschätzeinrichtung kann den Umriss der Zielregion basierend auf den Bilddaten mit Hilfe eines Formmodells abschätzen, welches durch einen vorbestimmten Parameter repräsentiert wird.
Es ist wünschenswert, wenn die Energieeinstelleinrichtung den gleichen Wert für sämtliche Energie N-ter Ordnung immer dann einstellt, wenn die Bedingung nicht erfüllt ist.
Weiterhin kann die Markierungseinrichtung von dem QPBO-Algorithmus zum Minimieren der Energie Gebrauch machen.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Blockdiagramm, das die Konfiguration einer ersten Bildverarbeitungsvorrichtung veranschaulicht;
2 ist ein Flussdiagramm, das den Ablauf der Bildverarbeitung zeigt;
3 ist ein Diagramm zum Erläutern eines Verfahrens zum Erzeugen eines dreidimensionalen CPR-Bilds basierend auf einem kontrastverstärkten CT-Bild eines Herzens;
4 ist ein Diagramm, das ein Beispiel für ein dreidimensionales CPR-Bild veranschaulicht, das basierend auf einem kontrastverstärkten CT-Bild eines Herzens erzeugt wurde;
5 ist ein Beispiel eines Graphen, wenn eine Klassifikation in zwei Klassen erfolgt;
6 ist ein Beispiel eines Graphen, der einen quadratischen Ausdruck repräsentiert, in welchem Energie hoher Ordnung durch Pseudo-Boolsche Funktion transformiert wurde;
7 ist ein Diagramm zum Erläutern einer Querschnittsform eines Blutgefäßes;
8 ist ein Diagramm zum Veranschaulichen eines Beispiels einer Form einer in einem Bild auftauchenden Blutgefäßregion;
9 ist ein Diagramm zum Erläutern von Mustern, in die eine Blutgefäßregion aus einer Hintergrundzone separiert wird;
10 ist ein Diagramm zum Erläutern der Einstellung von Energie zweiter Ordnung;
11 ist ein Diagramm zum Veranschaulichen der Beziehungen unter einem Umriss einer Zielregion, einem ersten Umriss und einem zweiten Umriss;
12 ist ein Diagramm zum Erläutern eines Beispiels, bei dem der erste Umriss und der zweite Umriss voneinander beabstandet sind;
13 ist ein Diagramm zum Erläutern eines Verfahrens zum Auswählen von Voxeln auf dem ersten Umriss und Voxeln auf dem zweiten Umriss;
14 ist ein Diagramm zum Erläutern eines Kreises mit einer Wahrscheinlichkeit dafür, dass ein Blutgefäß ermittelt wurde, wobei ein dreidimensionales OOF-Filter und ein Verfahren zum Einstellen von Energie N-ter Ordnung verwendet wurden;
15 ist ein Diagramm zum Erläutern eines Verfahrens zum Ausführen einer Segmentierung einer Blutgefäßregion, basierend auf mehreren Kreisen, die aus einem dreidimensionalen CPR-Bild ermittelt wurden;
16 ist ein Diagramm zum Erläutern einer Differenz zwischen der Extraktion einer Blutgefäßregion mittels eines konventionellen Verfahrens und einer Extraktion einer Blutgefäßregion mit Hilfe eines Verfahrens gemäß der vorliegenden Offenbarung;
17A ist ein Diagramm zum Erläutern der Form einer Geraden, auf der Energie N-ter Ordnung eingestellt wird, und eines Verfahrens zum Auswählen von Voxeln, welche die Form bilden;
17B ist ein Diagramm zum Erläutern der Form einer Ecke, an der Energie N-ter Ordnung eingestellt wird, und eines Verfahrens zum Auswählen von Voxeln, die die Form bilden;
18 ist ein Blockdiagramm, das die Konfiguration einer zweiten Bildverarbeitungsvorrichtung veranschaulicht; und
19 ist ein Diagramm zum Erläutern eines Verfahrens zum Definieren eines Kreises des Umrisses der Zielregion durch mehrere Bögen.
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
Im Folgenden werden Ausführungsformen der vorliegenden Offenbarung im Einzelnen unter Bezugnahme auf die Zeichnungen beschrieben. Die Ausführungsformen der vorliegenden Offenbarung werden bezüglich eines Regionensegmentierungsverfahrens beschrieben, das ausgeführt wird, indem eine eine Zielregion repräsentierende erste Variable oder eine eine Nicht-Zielregion, die die Zielregion ausschließt, repräsentierende zweite Variable jedem Voxel in einem Bild mit Hilfe eines Graph-Cut-Verfahrens zugeordnet wird. Eine Bildverarbeitungsvorrichtung der vorliegenden Offenbarung ist realisierbar durch Laden und Ausführen eines Bildverarbeitungsprogramms in einen Computer. Das Bildverarbeitungsprogramm wird auf einem Speichermedium, beispielsweise einer CD-ROM, abgespeichert vertrieben und in einem Computer aus dem Speichermedium, zum Beispiel in Form eines CD-ROMs, installiert. Alternativ wird das Bildverarbeitungsprogramm über ein Netzwerk, zum Beispiel das Internet, verteilt und in einem Computer installiert.
1 ist ein Blockdiagramm, das die Konfiguration einer ersten Bildverarbeitungsvorrichtung 1 gemäß der vorliegenden Offenbarung veranschaulicht. 2 ist ein Flussdiagramm, das den Arbeitsablauf veranschaulicht, der von der Bildverarbeitungsvorrichtung 1 gemäß der vorliegenden Offenbarung durchgeführt wird.
Wie in 1 gezeigt ist, enthält die Bildverarbeitungsvorrichtung 1 eine Bilddateneingabe-Empfangseinrichtung 11, eine Vorverarbeitungseinrichtung 12, eine Umrissspezifiziereinrichtung 13, eine Voxelauswahleinrichtung 14, eine Energieeinstelleinrichtung 15, eine Markiereinrichtung 16 und eine Anzeigeeinrichtung 17.
Die Bilddateneingabe-Empfangseinrichtung 11 empfängt eine Eingabe von Bilddaten P, an denen eine Bildverarbeitung auszuführen ist, und sie speichert die Bilddaten P in einem Speicher (S1). Bei den Bilddaten P handelt es sich um flache Röntgenbilder, tomographische Bilder, die von einem CT-Scanner und einer MRI-Vorrichtung aufgenommen wurden, und dergleichen. In den Bilddaten P sind mehreren Organe oder Gewebe oder eine Läsion abgebildet.
Als nächstes soll die Verarbeitung beschrieben werden, wenn die Bilddaten P ein kontrastverstärktes CT-Bild (Voxeldaten) eines Herzens sind, und ein Umriss von Koronararterien aus dem kontrastverstärkten CT-Bild zu extrahieren ist.
Die Vorverarbeitungseinrichtung 12 extrahiert eine Mittellinie 1 (gestrichelte Linie) der Koronararterien aus dem kontrastverstärkten CT-Bild, wie in 3 dargestellt ist, und zwar mit Hilfe einer an sich bekannten Koronararterien-Extraktionsverarbeitung (S2). Verschiedene Verfahren, so zum Beispiel Verfahren, wie sie in dem japanischen Patent Nr. 4709290 und dem japanischen Patent Nr. 4717935 offenbart sind, wurden als Verfahren für die Koronararterien-Extraktionsverarbeitung vorgeschlagen. Tomographische Bilder S₁, S₂, S₃, die senkrecht zu der Mittellinie eines Blutgefäßes verlaufen, werden aus dem kontrastverstärkten CT-Bild erzeugt (linkes Diagramm in 3). Es wird ein dreidimensionales CPR-Bild erzeugt, in dem diese tomographischen Bilder S₁, S₂, S₃ derart angeordnet werden, dass die Mittenkoordinaten des Blutgefäßes in diesen tomographischen Bildern auf einer Geraden L liegen (rechtes Diagramm in 3) (S3). 4A bis C veranschaulichen ein Beispiel, bei dem ein dreidimensionales CPR-Bild (B und C in 4, C ist eine Querschnittansicht des Blutgefäßes) aus einem kontrastverstärkten Bild des Herzens erzeugt wurde (A in 4, die Verarbeitung an dem Blutgefäß ist in weiß gezeigt).
Das von der Vorverarbeitungseinrichtung 12 erzeugte dreidimensionale CPR-Bild wird in zwei Regionen segmentiert, eine Hintergrundregion und eine Blutgefäßregion.
Als erstes soll ein zum Segmentieren eines Bilds in zwei Zonen eingesetztes Graph-Cut-Verfahren beschrieben werden. Das Segmentieren eines Bilds ist lösbar, indem man eine Energiefunktion minimiert, die sich zusammensetzt aus einer Energie erster Ordnung, Eⁱ, und einer Energie zweiter Ordnung, E^ij, repräsentiert durch den folgenden Ausdruck (1), wenn eine jedem Voxel entsprechende Variable {x₁, x₂, ..., x_n} in dem Bild definiert ist als x ∊ {1, 0}. [Ausdruck 1]
wobei V eine das Bild darstellende Menge, und Ni eine dem Voxel i benachbarte Menge Voxel ist.
Die Energie erster Ordnung Eⁱ(xi) in dem Ausdruck (1) ist ein Wert, der nur von einer jedem Voxel zugeordneten Markierung abhängt, und er wird direkt beeinflusst durch eine jedem Voxel zugeordnete Markierung. Die Summe in dem zweiten Term definiert Energie in der Weise, dass Vorab-Kenntnis darüber widergespiegelt wird, welche Art von Beziehung den benachbarten Voxeln zugeordnete Markierungen haben sollten.
Wie in 5 gezeigt ist, wird ein den Ausdruck (1) repräsentierender gerichteter Graph eingerichtet. Der Graph enthält jedem Voxel entsprechende Knoten x_i (oder Knoten x_j), und enthält weiterhin zwei Knoten s (= 0) und t (= 1) entsprechend den jeweiligen Markierungen. Bezüglich jedes der Knoten x_i und der Knoten x_j setzt sich der gerichtete Graph zusammen aus einer Kante von dem Knoten s zu dem Knoten x_i, einer Kante von dem Knoten x_i zu dem Knoten t und einer Kante zwischen Knoten x_i, x_j entsprechend benachbarten Voxeln. Weiterhin ist Energie erster Ordnung Eⁱ(x_i) für die Kante von dem Knoten s zu dem Knoten x_i und die Kante von dem Knoten x_i zu dem Knoten t definiert. Energie zweiter Ordnung E^ij(x_i, x_j) ist definiert für die Kante, die die den benachbarten Voxeln entsprechenden Knoten verbindet. Die Energie (das Gewicht) jeder Kante sollte in der Weise bestimmt werden, dass eine Markierung, die Minimum-Energie, und die, die einen Minimum-Schnitt liefert, einander entsprechen, um für jedes Voxel eine Markierung zu erhalten, indem die durch den Ausdruck (1) repräsentierte Energie E(x) minimiert wird.
Wenn beispielsweise Energie zweiter Ordnung E^ij(x_i, x_j) durch den folgenden Ausdruck gegeben ist: [Ausdruck 2]
wird Energie zweiter Ordnung E^ij, ausgedrückt durch einen Pseudo-Boolschen Ausdruck, der durch den folgenden quadratischen Ausdruck repräsentiert wird:
[Ausdruck 3]

E^ij(x_i, x_j) = a(1 – x_i)(1 – x_j) + b(1 – x_i)x_j + cx_i(1 – x_j) + dx_ix_j (3)

In einem Pseudo-Boolschen Ausdruck wird, wenn sämtliche Koeffizienten in quadratischen Termen negativ sind, der Ausdruck als submodularer Ausdruck bezeichnet, und es kann eine Minimum-Lösung mit hoher Geschwindigkeit unter Verwendung des Max-Flow/Min-Cut-Algorithmus erreicht werden. Wenn in den Koeffizienten der quadratischen Terme des Ausdrucks ein positiver Wert enthalten ist (d. h. der Ausdruck nicht-submodular ist), ist eine Minimierung oder das Erhalten einer semioptimalen Lösung möglich mit Hilfe des QPBO-Algorithmus (siehe C. Rother, V. Kolmogorov, V. Lempitsky, M. Szummer, Optimizing Binary MRFs via Extended Roof Duality, CVPR, 2007, bezüglich Einzelheiten).
Betrachtet man eine Energiefunktion dritter oder höherer Ordnung, so wird, nachdem die Energiefunktion dritter oder höherer Ordnung in eine Energiefunktion zweiter Ordnung transformiert wurde, diese Energiefunktion zweiter Ordnung durch den QPBO-Algorithmus optimiert, der an sich bekannt ist. Auf diese Weise ist es möglich, die ursprüngliche Funktion dritter oder höherer Ordnung zu optimieren.
Beispielsweise zeigen Rother et al. ein Verfahren zum Transformieren eines Graphens durch Hinzufügen von Hilfsvariablen z₀, z₁. Wenn zum Beispiel eine Energiefunktion dritter Ordnung gegeben ist durch folgenden Ausdruck: [Ausdruck 4]
so wird die Energie dritter Ordnung, E^ijk, ausgedrückt durch einen Pseudo-Boolschen Ausdruck, durch folgenden quadratischen Ausdruck repräsentiert: [Ausdruck 5]
6 veranschaulicht einen Graphen, der diese Transformation repräsentiert. Nachdem die Transformation auf diese Weise ausgeführt ist, wird eine Lösung gewonnen durch Ausführen einer Minimierung einschließlich der Hilfsvariablen. Eine als Ergebnis erreichbare Lösung ist gleich der Lösung der ursprünglichen Funktion hoher Ordnung (bezüglich Einzelheiten sei verwiesen auf C. Rother, P. Kohli, W. Feng, J. Jia, Minimizing Sparse Higher Order Energy Functions of Discrete Variables, CVPR, 2009).
Eine Lösung ist erreichbar durch Ausführen einer ähnlichen Transformation auch für Energie vierter Ordnung oder darüber. Diese Transformation muss für jeden unterschiedlichen Wert von Elementen in einer Kombinationstabelle für Energie hoher Ordnung ausgeführt werden. In einem komplizierten Fall ist die Anzahl hinzuzufügender Hilfsvariabler groß, und die Optimierung wird schwierig. Ist allerdings die Energie dünn verteilt, beispielsweise dann, wenn nur ein spezifischer Wert klein ist, wie dies in dem Ausdruck (4) der Fall ist, so sollte die Transformation nur bezüglich der Elemente mit relativ kleiner Energie ausgeführt werden. Deshalb ist ein Problem nach einer Transformation relativ einfach, und man kann eine Lösung in einer praktisch akzeptierbaren Rechenzeit erhalten.
Als nächstes soll ein Verfahren zum Ausführen einer Segmentierung in eine Zielregion, in der sich ein Ziel bekannter Form befindet, und eine Region verschieden von dieser Zielregion (eine Nicht-Zielregion) mit Hilfe von Energie vierter oder höherer Ordnung beschrieben werden. Bei der folgenden Beschreibung ist das Ziel ein Blutgefäß, ein Nicht-Ziel ist ein Hintergrund.
Wie in 7 gezeigt ist, ist eine Querschnittsform eines Blutgefäßes im Wesentlichen kreisförmig. Wenn in einem Bild auf den Umriss des Blutgefäßes ein Kreis (eine gestrichelte Linie) angewendet wird, so ist das Innere des Umrisses des Kreises eine Blutgefäßregion, und das Äußere des Umrisses des Kreises ist eine Hintergrundregion.
Erfolgt eine Darstellung durch Energie zweiter Ordnung, so ist eine Segmentierung in die Zielregion und die Hintergrundregion möglich mittels eines Graph-Cuts, indem man kleine Energie nur für eine Kombination zweier Voxel einstellt, von denen eines sich in der Hintergrundregion befindet und einen Wert 0 hat, während das andere Voxel in der Blutgefäßregion den Wert 1 hat.
Es soll der Fall betrachtet werden, in dem Energie in einen Zustand eingestellt wird, in welchem die Umrisse der beiden Kreise einander überlappen, wie dies in 8 dargestellt ist. Wenn nun die Segmentierung in die Blutgefäßregion und die Hintergrundregion dadurch erfolgt, dass Energie zweiter Ordnung in dem Umriss des Kreises eingestellt wird, so besteht die Möglichkeit, dass die Segmentierung in sechs Mustern erfolgt, wie dies in 9A bis C dargestellt ist. Wie in 9A gezeigt ist, gibt es einen Fall, in welchem das Innere eines linken oder rechten Kreises (ein weißer Bereich) als Blutgefäß segmentiert und von dem Hintergrund (einem schwarzen Bereich) separiert wird. Wie in 9B dargestellt ist, gibt es einen Fall, in welchem das Innere eines von Halbmonden (einem weißen Teil) als Blutgefäß segmentiert wird. Weiterhin gibt es den Fall, dass eine in 9C dargestellte Form segmentiert wird. Betrachtet man Energie zweiter Ordnung, so wird angenommen, dass kleine Energie eingestellt wird, wenn sich zwei Voxel innerhalb des Umrisses des dazwischen befindlichen Kreises befinden (siehe 10). In beiden der in 9A und B dargestellten Mustern wird die Summe der Energie kleiner im Verhältnis zu der Länge des Umrisses des Kreises. Daher sind die Möglichkeiten des Auftretens einer Segmentierung in Muster gemäß 9A und B, in denen die Umrisses gleiche Länge besitzen, gleich. Weiterhin ist die Summe der Energie relativ klein auch in dem in 9C dargestellten Muster. Daher ist dieses einer der Kandidaten für eine Lösung. Allerdings ist eine Segmentierung in Muster, wie sie in den 9B und C dargestellt sind, dann nicht wünschenswert, wenn man das Merkmal betrachtet, dass die Form eines Blutgefäßes im Wesentlichen kreisförmig ist.
Daher wird Energie N-ter Ordnung unter Verwendung von Voxelwerten einer Anzahl N(≥ 4) Voxeln als Variable zusätzlich zu Energie erster Ordnung und Energie zweiter Ordnung verwendet, um eine Segmentierung der Blutgefäßregion in einer einem Kreis nahekommenden Form zu erreichen. Bei Energie N-ter Ordnung wird kleine Energie nur für eine Kombination eines Voxels mit dem Wert 0 eingestellt, welches sich in dem Hintergrund um den Umriss des Kreises herum befindet, dessen Größe der Größe des Blutgefäßes näher kommt (• in 7), und eines Voxels mit dem Wert 1, welches sich in dem Blutgefäß um den Umriss herum (∘ in 7) befindet. Da Kreise einander überlappen, wenn Energie N-ter Ordnung in einem der beiden Kreise kleiner wird, wird Energie des anderen Kreises nicht kleiner. Da dieser Vorgang exklusiv einen der Kreise auswählt, wird aus dem Bild die Blutgefäßregion mit einer einem Kreis nahekommenden Form segmentiert.
Die Energiefunktion E, in der Energie vierter oder höherer Ordnung hinzugefügt ist, ist durch folgenden Ausdruck definiert: [Ausdruck 6]
Hier ist c eine Menge von Voxeln, die Energie hoher Ordnung bilden, und Xc ist ein Vektor, der sich zusammensetzt aus Binärgrößen (0 oder 1) verwandter Voxel. C repräsentiert eine Menge von c. Die Ordnung für jedes c kann voneinander abweichen. Beispielsweise ist die Anzahl von Voxeln bezüglich eines großen Kreises groß, während die Anzahl von Voxeln bezüglich eines kleinen Kreises gering ist.
Als erstes spezifiziert die Umrissspezifiziereinrichtung 13 einen inneren Umriss und einen äußeren Umriss, der Blutgefäß-(Ziel-)Region. Insbesondere spezifiziert, wie in 11 dargestellt ist, die Umrissspezifiziereinrichtung 12 einen ersten Umriss (eine gestrichelte Linie), die der Blutgefäß-(Ziel-)Region innerhalb des Umrisses (einer ausgezogenen Linie) des Blutgefäßes zwischen dem ersten Umriss und dem zweiten Umriss zugewandt ist, ferner einen zweiten Umriss (eine strichpunktierte Linie), die der Hintergrund-(Nicht-Ziel-)Region an einer Stelle zugewandt ist, die dem ersten Umriss zugewandt ist, wobei der Umriss des Blutgefäßes sich zwischen dem ersten Umriss und dem zweiten Umriss befindet. Die Form des ersten Umrisses und die Form des zweiten Umrisses sind der Form des Umrisses des Blutgefäßes ähnlich. Der Umriss des Blutgefäßes ist im Wesentlichen kreisförmig. Deshalb wird ein Kreis in einer Größe eingestellt, die der Größe des Blutgefäßes nahekommt. Weiterhin werden ein Kreis des ersten Umrisses und ein Kreis des zweiten Umrisses innerhalb des Kreises bzw. Außerhalb des Kreises eingerichtet.
Wenn allerdings eine Segmentierung in konstanter Weise unter Verwendung der Form des Kreises mit genau der gleichen Größe wie das Blutgefäß ausgeführt wird, so ist dies ungeeignet, da die Flexibilität gering ist. Weil das Blutgefäß in einem aktuellen Bild nicht stets als vollständige Kreisform in Erscheinung tritt, sondern manchmal als etwas verformter Kreis, ist es wünschenswert, eine Umrisslinie entsprechend einem aktuellen Bild zu erhalten. Daher wird, wie 12 zeigt, zwischen dem ersten Umriss in Richtung der Blutgefäßregion (innerer Kreis) und dem zweiten Umriss in Richtung der Hintergrundregion (äußerer Kreis) ein Raum in der Weise geschaffen, dass der erste Umriss und der zweite Umriss voneinander um eine vorbestimmte Distanz beabstandet sind (S4). Wenn dann der Umriss (die gestrichelte Linie) flexible eingerichtet wird, ist die Bedingung für Energie hoher Ordnung solange erfüllt, wie der Umriss sich innerhalb des Raums zwischen den Umrisslinien befindet, und die Energie ist gering. In anderen Worten: Der Umriss wird flexibel innerhalb des Bereichs gewählt, der die hohe Ordnung erfüllt, derart, dass Energie zweiter Ordnung minimiert wird. Anstatt einen vollständigen Kreis einzurichten, lässt sich der Kreis des ersten Umrisses sowie der Kreis des zweiten Umrisses unterteilen, und man kann mehrere Kreisbögen einrichten, wie dies in 19 gezeigt ist. Wenn die Kreise auf diese Weise unterteilt werden, ist ein Effekt der Energiereduzierung auch dann erzielbar, wenn das Muster von nur einem Teil des Kreises übereinstimmt. Daher ist ein flexibleres Segmentierungsergebnis erreichbar.
Als nächstes sucht die Voxelauswahleinrichtung 14 in dem dreidimensionalen CPR-Bild nach einer Stelle, an der eine Form auftritt, die eine Wahrscheinlichkeit für ein Blutgefäß aufweist, und sie wählt eine Anzahl i von Voxeln auf dem ersten Umriss und eine Anzahl N – i von Voxeln auf dem zweiten Umriss aus, wie in 13 dargestellt ist. Die Energieeinstelleinrichtung 15 stellt Energie hoher Ordnung zusammen mit Energie erster Ordnung und Energie zweiter Ordnung in einem Graphen ein. Die Energie erster Ordnung wird eingestellt für eine Kante von einem Knoten s (= 0: Hintergrund) zu einem Knoten x_i, und eine Kante von dem Knoten x_i zu dem Knoten t (= 1: ein Blutgefäß). Wenn der Wert jedes Voxels eine Wahrscheinlichkeit für ein Blutgefäß aufweist, so wird geringere Energie eingestellt für die Kante von dem Knoten s zu dem Knoten x_i, verglichen mit der Energie, die eingestellt wird für die Kante von dem Knoten x_i zu dem Knoten t. Wenn der Wert für jedes Voxels eine Wahrscheinlichkeit für einen Hintergrund hat, so wird geringere Energie einstellt für die Kante von dem Knoten x_i zu dem Knoten t, verglichen mit der Energie, die eingestellt wird für die Kante von dem Knoten s zu dem Knoten x_i (S5). Energie zweiter Ordnung wird eingestellt für eine Kante zwischen Knoten x_i, x_j entsprechend benachbarten Voxeln, wobei kleinere Energie eingestellt wird, wenn eine Differenz zwischen Voxelwerten der benachbarten Voxel größer ist (S6).
Weiterhin stellt die Energieeinstelleinrichtung 15 Energie hoher Ordnung ein, indem sie eine Stelle identifiziert, an welcher eine Form mit einer Wahrscheinlichkeit für einen Kreis in dem dreidimensionalen CPR-Bild auftaucht, um Energie hoher Ordnung effizient einzustellen. Wenn sämtliche i Voxel des ersten Umrisses Voxelwerte aufweisen mit einer Wahrscheinlichkeit für ein Blutgefäß, und sämtliche (N – i) Voxel des zweiten Umrisses Voxelwerte haben mit einer Wahrscheinlichkeit für einen Hintergrund, so ist die Bedingung für Umrisse erfüllt. Wenn daher diese Bedingungen erfüllt sind, wird wenig Energie (das Gewicht hat einen negativen Koeffizienten, der Absolutwert ist groß) für Energie hoher Ordnung eingestellt. Wenn diese Bedingungen nicht erfüllt sind, wird für Energie N-ter Ordnung größere Energie eingestellt, verglichen mit dem Fall, in welchem diese Bedingungen erfüllt sind.
Zum Identifizieren einer Stelle, an der kreisförmige Energie N-ter Ordnung eingestellt wird, wird ein dreidimensionales OOF-Filter verwendet. Das dreidimensionale OOF-Filter besitzt eine sphärische Filterform (eine kreisförmige Form in einem zweidimensionalen Querschnitt) mit einem Radius R. Wie in 14A gezeigt ist, erscheint eine Antwort an einer Stelle, an der ein Kreis (eine gestrichelte Linie) mit dem Radius R auftaucht. Deshalb wird das dreidimensionale OOF-Filter auf jede Stelle in dem dreidimensionalen CPR-Bild P angewendet, und in dem dreidimensionalen CPR-Bild wird eine Stelle identifiziert, an der eine Form mit einer Wahrscheinlichkeit für einen Kreis auftaucht. Darüber hinaus kann das dreidimensionale OOF-Filter ein partielles Differential zweiter Ordnung auf der Oberfläche einer Kugel berechnen und kann die Wahrscheinlichkeit für eine kreisförmig-zylindrische Struktur basierend auf drei Eigenwerten berechnen, die erhalten werden durch Ausführen einer Eigenwertzerlegung der Matrix des partiellen Differentials zweiter Ordnung. Wenn die kreisförmig-zylindrische Struktur an der Stelle vorhanden ist, auf die das dreidimensionale OOF-Filter angewendet wird, so sind zwei von drei Eigenwerten groß, und einer der drei Eigenwerte ist nahe Null. Der Eigenwert mit dem dem Wert Null am nächsten kommenden Wert unter den drei Eigenwerten, die gleichzeitig erhalten werden, entspricht der Hauptachse t der kreisförmig-zylindrischen Struktur (eine Richtung, in der das Blutgefäß verläuft). Ein Bild mit einer Wahrscheinlichkeit für den Umriss eines Blutgefäßes in einer vorbestimmten Größe befindet sich auf einer Ebene Q orthogonal zu dieser Hauptachse (bezüglich des dreidimensionalen OOF-Filters wird verwiesen auf M. Law et al., ”Three Dimensional Curvilinear Structure Detection Using Optimally Oriented Flux”, Proceedings of ECCV, Seiten 368–382, 2008 bezüglich Einzelheiten). Die Ebene Q, auf der ein derartiger Kreis erscheint, wird durch Filterungsverarbeitung nachgewiesen (S7). Da die exakte Größe des Blutgefäßes nicht von vornherein bekannt ist, erfolgt der Nachweis mit Hilfe des OOF-Filters entsprechend Kreisen verschiedener Größen. 5A und B veranschaulichen die Art und Weise, auf die Kreise an mehreren Stellen nachgewiesen werden durch Anwenden des dreidimensionalen OOF-Filters an jeder Stelle innerhalb des dreidimensionalen CPR-Bilds.
Wie in 14B gezeigt ist, wählt die Voxelauswahleinrichtung 14 N Voxel auf dieser Ebene Q aus, und die Energieeinstelleinrichtung 15 stellt Energie N-ter Ordnung ein (S8). Das dreidimensionale CPR-Bild P wird mit dem dreidimensionalen OOF-Filter abgetastet, und Energie hoher Ordnung wird in der Ebene Q an einer Stelle eingestellt, an der eine Antwort stark ist, derart, dass ein Wert relativ kleiner ist, wenn die ausgewählte Anzahl N von Voxeln die Bedingung für die Umrisse erfüllt. Wenn die Anzahl N von Voxeln, die auf der Ebene Q an der Stelle ausgewählt wurde, an der die Antwort des dreidimensionalen OOF-Filters gering ist, die Bedingung für die Umrisse erfüllt, so wird Energie N derart eingestellt, dass die Energie N-ter Ordnung größer ist als in einem Fall, in welchem N Voxel, die in der Ebene Q an einer Stelle mit hoher Antwort ausgewählt sind, die Bedingung für die Umrisse erfüllt, und ferner derart, dass die Energie N-ter Ordnung kleiner ist als Energie hoher Ordnung, wenn die Bedingung eines Kreises nicht erfüllt ist. An einer Stelle beispielsweise, an der die Antwort des dreidimensionalen OOF-Filters groß ist, wird große negative Energie (der Koeffizient ist negativ, und der Absolutwert ist groß) für Energie N-ter Ordnung eingestellt, wenn die Bedingung für die Umrisse erfüllt ist. An einer Stelle, an der die Antwort des dreidimensionalen OOF-Filters schwach ist, wird geringe negative Energie (der Koeffizient ist negativ, der Absolutwert ist klein) für Energie N-ter Ordnung eingestellt, wenn die Bedingung für die Umrisse erfüllt ist.
Der Betrag der Energie wird adaptiv geändert, wie oben beschrieben wurde, weil es bekannt ist, dass die Wahrscheinlichkeit für einen vorhandenen Kreis größer ist, wenn die Antwort des Filters stärker ist. Alternativ ist es möglich, statistisch die Möglichkeit basierend auf Daten zu berechnen. Wenn zum Beispiel Daten einer korrekten Lösung dafür, wie eine Segmentierung des Blutgefäßes erfolgen sollte, vorhanden sind, so ist die Möglichkeit für einen Fall, dass Energie N-ter Ordnung kleiner ist in Bezug auf das Ansprechen des dreidimensionalen OOF-Filters vorab statistisch berechenbar (erlernbar), und das Gewicht der Energie lässt sich basierend auf der Wahrscheinlichkeit einstellen. Man kann diese Möglichkeit berechnen als ein Verhältnis, bei welchem eine Kombination von Markierungen, wenn Energie N-ter Ordnung durch die vorbeschriebene Verarbeitung eingestellt wird, klein ist, übereinstimmt mit Markierungen von Daten der korrekten Lösung.
Wenn die Bedingung für den Umriss nicht erfüllt ist, kann die Energieeinstelleinrichtung 15 denselben Wert für sämtliche Energie N-ter Ordnung einstellen. Ist die Bedingung für die Umrisslinie nicht erfüllt und ist der gleiche Wert für Energie auf diese Weise eingestellt, so wird die Energie dünn gestreut. Deshalb ist eine Transformation von hoher Ordnung auf niedrige Ordnung möglich, wenn man eine kleine Anzahl zusätzlicher Variablen verwendet, und man kann eine Lösung mit relativ hoher Geschwindigkeit erreichen.
Die Markiereinrichtung 16 transformiert Energie hoher Ordnung (dritter oder höherer Ordnung) in eine Energiefunktion zweiter Ordnung. Im Anschluss daran optimiert die Markiereinrichtung 16 die Energiefunktion zweiter Ordnung durch den bekannten QPBO-Algorithmus und führt eine Segmentierung in zwei Regionen durch, nämlich eine Blutgefäßregion und eine Hintergrundregion (S9).
Im Folgenden soll der Effekt beschrieben werden, der erreicht wird durch Einstellen von zirkularer Energie hoher Ordnung. Wird eine Graph-Cut-Verarbeitung an einem in 16A dargestellten Originalbild ausgeführt, indem eine konventionelle zweidimensionale Energie eingestellt wird, so wird eine stark verformte Kreisform extrahiert, wie dies in 16B gezeigt ist. Wird eine zirkulare Energie hoher Ordnung eingestellt, wie dies in 16C gezeigt ist, so erfolgt eine Segmentierung in eine Form nahe einer Kreisform, wie in 16D dargestellt ist.
Wenn in der oben beschriebenen Weise eine zirkulare Energie hoher Ordnung eingestellt wird, erfolgt die Segmentierung einer Blutgefäßregion in der Weise, dass Kreisformen (15A), die extrahiert wurden, eine dreidimensionale Kontinuität erfahren (15B), wie aus den 15A, B hervorgeht. Weiterhin ist es möglich, eine Segmentierung einer Form zu vermeiden, die von einer Kreisform abweicht.
Die Anzeigeeinrichtung 17 zeigt ein Bild lediglich des Blutgefäßes auf der Anzeigeeinrichtung, das ausschließlich auf dem Ergebnis der Markiereinrichtung 16 beruht (S10).
Oben wurde ein Fall beschrieben, in welchem Energie hoher Ordnung für ein Objekt wie zum Beispiel ein Blutgefäß eingestellt wurde, dessen Umrissform kreisförmig ist. Die Form des Umrisses, für die Energie hoher Ordnung eingestellt wird, kann eine beliebige Form sein. Voxel auf einem ersten Umriss, der in Richtung einer Zielregion gelegen ist, und eines zweiten Umrisses, der in Richtung auf eine Nicht-Zielzone gerichtet ist, werden mit unterschiedlichen Arten von dazwischen befindlichen Umrissen ausgewählt. Anschließend wird Energie hoher Ordnung dann, wenn sämtliche Voxel auf dem ersten Umriss zu der Zielregion gehören und sämtliche Voxel auf dem zweiten Umriss zu der Nicht-Zielregion gehören, kleiner eingestellt als in dem Fall, in welchem diese Bedingungen nicht erfüllt sind.
Es ist erwünscht, dass der erste Umriss von dem Umriss der Zielregion in Richtung zum Inneren hin (in Richtung der Zielregion) durchgängig um eine annähernd konstante Distanz in der Weise beabstandet ist, dass der erste Umriss ähnlich dem Umriss der Zielregion ist. Es ist erwünscht, dass der zweite Umriss von dem Umriss der Zielregion nach außen hin (in Richtung der Nicht-Zielzone) konstant um eine nahezu konstante Distanz in der Weise beabstandet ist, dass der zweite Umriss ähnlich dem Umriss der Zielregion ist. Allerdings können der erste und der zweite Umriss in der Weise spezifiziert werden, dass eine Distanz von dem Umriss der Zielregion innerhalb eines vorbestimmten Fehlerbereichs differiert.
Wie in den 17A und 17B gezeigt ist, kann man die Form des Umrisses spezifizieren, wenn mindestens vier Voxel zum Bilden eines Umrisses verwendet werden und mindestens ein Voxel zumindest auf dem ersten Umriss oder dem zweiten Umriss liegt. 17A zeigt ein Beispiel, bei dem die Segmentierung in eine Zielregion und eine Nicht-Zielregion entlang einer Geraden erfolgt. 17B zeigt ein Beispiel, bei dem eine Segmentierung in eine Zielregion und eine Nicht-Zielregion in einer eine Ecke enthaltenden Form stattfindet. Abgesehen davon ist es möglich, unterschiedliche Formen zu spezifizieren, so zum Beispiel ein Dreieck und ein Rechteck. Alternativ lässt sich eine Fläche oder eine gekrümmte Fläche in einem dreidimensionalen Bild dadurch nachweisen, dass man die Form der Fläche oder der gekrümmten Fläche spezifiziert, und man kann dann eine Segmentierung ausführen.
Oben wurde ein Fall erläutert, in welchem eine Form wie beispielsweise ein Blutgefäß vorab bekannt ist. Alternativ kann wie in dem Fall einer zweiten Bildverarbeitungsvorrichtung 1a, die in 18 veranschaulicht ist, eine Umrissabschätzeinrichtung 18 vorgesehen sein, die den Umriss einer Zielregion unter Verwendung der Bilddaten P abschätzt.
Die Umrissabschätzeinrichtung 18 kann von Differentialfilterung Gebrauch machen, bei der eine Kante nachweisbar ist, was als Verfahren zum Abschätzen des Umrisses dient. Das Ansprechverhalten des Differentialfilters ändert sich von positiv auf negativ in der Nachbarschaft des Umrisses. Daher spezifiziert die Umrissspezifiziereinrichtung 13 eine Stelle mit positiver Antwort des Differentialfilters als einen ersten Umriss (Zielregion), und spezifiziert eine Position mit negativer Antwort als zweiten Umriss (Nicht-Zielregion). Die Voxelauswahleinrichtung 14 wählt Voxel auf dem ersten Umriss und dem zweiten Umriss aus, und die Energieeinstelleinrichtung 15 stellt Energie in der Weise ein, dass Energie minimiert wird für eine Kombination des ersten Umrisses an einer Stelle mit positiver Antwort und des zweiten Umrisses an einer Stelle mit negativer Antwort. Als nächstes erfolgt durch Minimieren von Energie unter Verwendung der Markiereinrichtung 16 in der beschriebenen Weise eine Segmentierung in die Zielregion und die Nicht-Zielregion. Im Anschluss daran wird ein passendes Bild, so zum Beispiel ein Bild, welches ausschließlich die Zielzone enthält, generiert, und das Bild wird von der Anzeigeeinrichtung 17 auf der Anzeigevorrichtung dargestellt.
Alternativ kann, wenn die Form in einem gewissen Ausmaß bekannt ist, die Umrissabschätzeinrichtung 18 den Umriss der Zielregion basierend auf Bilddaten unter Verwendung eines Formmodells abschätzen, das durch einen vorbestimmten Parameter repräsentiert wird. Beispielsweise sind Verfahren wie zum Beispiel ASM (Active Shape Model) bekannt. Eine Hauptkomponentenanalyse, eine Unabhängig-Komponenten-Analyse und dergleichen werden auf der Form der Zielregion ausgeführt, und es werden eine durchschnittliche Form und ein Vektor zum Verformen der durchschnittlichen Form gewonnen. Weiterhin wird die durchschnittliche Form deformiert in unterschiedliche Formen, indem man den Parameter jedes Vektors ändert. In diesem Formmodell kann Energie hoher Ordnung für eine entsprechende Umrissposition eingestellt werden, während verschiedene Parameter geändert werden. Dabei ist es wünschenswerter, dass ein Voxel auf dem ersten Umriss in der Nicht-Zielregion (Hintergrund) und ein Voxel auf dem zweiten Umriss in der Zielregion mit einem konstanten Zwischenabstand ausgewählt werden, so dass der Umriss flexibel änderbar ist.
Bei dem oben erläuterten Beispiel wird ein Kreis in mehrere Kreisbögen unterteilt. In ähnlicher Weise lässt sich ein durch einen vorbestimmten Parameter repräsentiertes Formmodell in mehrere Segmente unterteilen, und es kann Energie für jedes Segment eingestellt werden.
In dem von Rother et al. in der Nicht-Patentschrift 2 offenbarten Verfahren konnte die Genauigkeit der Regionen-Segmentierung einer eine spezifische Form aufweisenden Struktur unter Verwendung von Energie hoher Ordnung verbessert werden. Gemäß der vorliegenden Offenbarung werden Voxel in flexibler Weise ausgewählt, ohne die inflexible Beschränkung auf ein rechteckiges Fenster. Folglich ist es möglich, Energie hoher Ordnung verstreut einzustellen, und man kann mit hoher Geschwindigkeit durch geringen Rechenaufwand eine Lösung erreichen. Es ist wünschenswert, dass das Verfahren zum Auswählen von Voxeln entlang der Form des Umrisses eines Segmentierungsziels ausgeführt wird. Beispielsweise enthält der Umriss eines Blutgefäßes in einem dreidimensionalen Raum einen kreisförmigen Zylinder. Daher wird eine Kombination von Voxeln ausgewählt, die eine Kreisform bilden. Wenn die Umrissform einer Region als statistisches Modell erlernt wurde (zum Beispiel ASM), so werden Voxel entlang des Umrisses des Modells ausgewählt. Wesentlich ist, Voxel entlang des Umrisses einer Zielform auf diese Weise auszuwählen. Die Zielstruktur kann eine beliebige Struktur sein.
In Ausführungsformen der vorliegenden Struktur wurde eine Energie-Minimierung unter Verwendung eines Graph-Cut-Verfahrens beschrieben. Das Verfahren sollte eine diskrete Funktion minimieren. Spezielle Beispiele zum Minimieren von Energie sind Graph-Cuts, QPBO, Tree Reweighted Message Passing (es sei verwiesen auf V. Kolmogorov, Convergent Tree-reweighted Message Passing for Energy Minimization, IEEE PAMI, 28(10), Oktober 2006 bezüglich Einzelheiten) und dergleichen. Weiterhin ist ein Verfahren zum Zuordnen von Markierungen zu einer Zielregion bzw. der Nicht-Zielregion unter Verwendung von Graph-Cuts detailliert beschrieben in ”Y. Boykov und V. Kolmogorov, An Experimental Comparison of Min-Cut/Max-Flow Algorithms for Energy Minimization in Vision, IEEE PAMI, 26(9), Seiten 1124–1137, 2004”. Weiterhin ist ein Verfahren zum Zuweisen von Markierungen zu der Zielregion bzw. Nicht-Zielregion unter Verwendung von QPBO detailliert in der Nicht-Patentschrift 2 beschrieben.

Claims

Bildverarbeitungsvorrichtung, die eine Markierung vornimmt, indem sie eine erste Variable, die eine Zielregion repräsentiert, oder eine zweite Variable, die eine Nicht-Zielregion repräsentiert, die Zielregion ausschließt, jedem Voxel zuordnet, das Bilddaten darstellt, indem von einem Energie-Minimierungsverfahren Gebrauch gemacht wird, wobei die Vorrichtung aufweist: eine Umrissspezifiziereinrichtung, die einen ersten Umriss, der in Richtung der Zielregion vorhanden ist, und einen zweiten Umriss, der an einer Stelle gegenüber dem ersten Umriss mit einem Umriss der Zielregion zwischen dem ersten Umriss und dem zweiten Umriss vorhanden ist, und die ähnliche Formen haben wie der Umriss der Zielregion, spezifiziert; eine Voxelauswahleinrichtung, die eine Anzahl i(≥ 1) von Voxeln, die den gesamten ersten Umriss bilden, und eine Anzahl (N – i)(N ≥ 4, N – i ≥ 1) von den gesamten zweiten Umriss bildenden Voxeln auswählt; eine Energieeinstelleinrichtung, die Energie N-ter Ordnung dann, wenn eine Bedingung erfüllt ist, wonach sämtliche i Voxel des ersten Umrisses zu der Zielregion gehören und sämtliche (N – i) Voxel des zweiten Umrisses zu der Nicht-Zielregion gehören, kleiner einstellt als die Energie N-ter Ordnung, wenn die Bedingung nicht erfüllt ist; und eine Markiereinrichtung, die eine Markierung vornimmt, indem die Energie N-ter Ordnung minimiert wird.
Bildverarbeitungsvorrichtung nach Anspruch 1, bei der die Umrissspezifiziereinrichtung den ersten Umriss und den zweiten Umriss derart spezifiziert, dass der erste Umriss und der zweite Umriss voneinander um eine vorbestimmte Distanz beabstandet sind.
Bildverarbeitungsvorrichtung nach Anspruch 1, weiterhin umfassend: eine Umrissabschätzeinrichtung, die den Umriss der Zielregion anhand der Bilddaten abschätzt, wobei die Umriss-Spezifiziereinrichtung den ersten Umriss und den zweiten Umriss basierend auf dem abgeschätzten Umriss spezifiziert.
Bildverarbeitungsvorrichtung nach Anspruch 3, bei der die Umriss-Abschätzeinrichtung den Umriss der Zielregion basierend auf den Bilddaten durch Differentialfilterung, die eine Kante nachweisen kann, abschätzt.
Bildverarbeitungsvorrichtung nach Anspruch 3, bei der die Umriss-Abschätzeinrichtung den Umriss der Zielregion basierend auf Bilddaten unter Verwendung eines durch einen vorbestimmten Parameter repräsentierten Formmodells abschätzt.
Bildverarbeitungsvorrichtung nach Anspruch 1, bei der die Energieeinstelleinrichtung den gleichen Wert für sämtliche Energie N-ter Ordnung einstellt, wenn die Bedingung nicht erfüllt ist.
Bildverarbeitungsvorrichtung nach Anspruch 1, bei der die Markiereinrichtung zum Minimieren von Energie von dem QPBO-Algorithmus Gebrauch macht.
Bildverarbeitungsprogramm, das einen Computer veranlasst, als Bildverarbeitungsvorrichtung zu fungieren, die eine Markierung ausführt, indem sie eine eine Zielregion repräsentierende erste Variable oder eine die Zielregion ausschließende Nicht-Zielregion repräsentierende zweite Variable jedem Voxel zuordnet, das Bilddaten darstellt, indem von einem Energie-Minimierungsverfahren Gebrauch gemacht wird, wobei das Programm den Computer veranlasst, zu fungieren als: eine Umrissspezifiziereinrichtung, die einen ersten Umriss, der in Richtung der Zielregion vorhanden ist, und einen zweiten Umriss, der an einer Stelle gegenüber dem ersten Umriss mit einem Umriss der Zielregion zwischen dem ersten Umriss und dem zweiten Umriss vorhanden ist, und die ähnliche Formen haben wie der Umriss der Zielregion, spezifiziert; eine Voxelauswahleinrichtung, die eine Anzahl i(≥ 1) von Voxeln, die den gesamten ersten Umriss bilden, und eine Anzahl (N – i)(N ≥ 4, N – i ≥ 1) von den gesamten zweiten Umriss bildenden Voxeln auswählt; eine Energieeinstelleinrichtung, die Energie N-ter Ordnung dann, wenn eine Bedingung erfüllt ist, wonach sämtliche i Voxel des ersten Umrisses zu der Zielregion gehören und sämtliche (N – i) Voxel des zweiten Umrisses zu der Nicht-Zielregion gehören, kleiner einstellt als die Energie N-ter Ordnung, wenn die Bedingung nicht erfüllt ist; und eine Markiereinrichtung, die eine Markierung vornimmt, indem die Energie N-ter Ordnung minimiert wird.
Arbeitsverfahren einer Bildverarbeitungsvorrichtung, die eine Umrissspezifiziereinrichtung, eine Voxelauswahleinrichtung, eine Energieeinstelleinrichtung und eine Markiereinrichtung enthält, und die eine Markierung vornimmt, indem eine eine Zielregion repräsentierende erste Variable oder eine die Zielregion ausschließende Nicht-Zielregion repräsentierende zweite Variable jedem Voxel zugeordnet wird, welches Bilddaten darstellt, indem von einem Energieminimierungsverfahren Gebrauch gemacht wird, wobei das Verfahren umfasst: einen Umrissspezifizierschritt, in welchem die Umrissspezifiziereinrichtung einen ersten Umriss spezifiziert, der in Richtung der Zielregion vorhanden ist, und einen zweiten Umriss spezifiziert, der an einer Stelle gegenüber dem ersten Umriss mit einer zwischen dem ersten Umriss und dem zweiten Umriss befindlichen Umriss der Zielregion vorhanden ist, wobei der erste und der zweite Umriss Formen haben, die dem Umriss der Zielregion ähneln; einen Voxelauswahlschritt, bei dem die Voxelauswahleinrichtung eine Anzahl i(≥ 1) von Voxeln, die den gesamten ersten Umriss bilden, und eine Anzahl (N – i)(N ≥ 4, N – i ≥ 1), die den gesamten zweiten Umriss bilden, auswählt; einen Energieeinstellschritt, bei dem die Energieeinstelleinrichtung Energie N-ter Ordnung dann, wenn eine Bedingung erfüllt ist, wonach sämtliche i Voxel des ersten Umrisses zu der Zielregion gehören und sämtliche (N – i) Voxel des zweiten Umrisses zu der Nicht-Zielregion gehören, kleiner einstellt als die Energie N-ter Ordnung dann, wenn die Bedingung nicht erfüllt ist; und einen Markierschritt, in welchem die Markiereinrichtung eine Markierung ausführt durch Minimieren der Energie N-ter Ordnung.