DE112016000462B4

DE112016000462B4 - Dreidimensionales Datenverarbeitungssystem, -verfahren und computerlesbares Aufzeichnungsmedium

Info

Publication number: DE112016000462B4
Application number: DE112016000462.1T
Authority: DE
Inventors: Yoshiro Kitamura
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2015-03-25
Filing date: 2016-03-17
Publication date: 2022-06-23
Anticipated expiration: 2036-03-18
Also published as: JP6306532B2; WO2016152107A1; US20170316619A1; DE112016000462T5; JP2016181205A

Abstract

Dreidimensionales Datenverarbeitungssystem (1), umfassend:eine Datenerzeugungseinheit (51), die dreidimensionale Daten erzeugt, in denen verschiedene dreidimensionale Muster jeweils zu einer Mehrzahl von Positionen von dreidimensionalen Daten hinzugefügt werden, die ein dreidimensionales Objekt in einem dreidimensionalen Koordinatensystem repräsentieren;eine Speichereinheit (52), die die jeweils hinzugefügten dreidimensionalen Muster in Assoziation mit Positionen in den dreidimensionalen Daten speichert, zu denen die dreidimensionalen Muster hinzugefügt werden;eine dreidimensionale Formungseinheit (53), die ein dreidimensionales Modell unter Verwendung der dreidimensionalen Daten formt, zu denen die dreidimensionalen Muster hinzugefügt werden;eine Bildakquiseeinheit (54), die das dreidimensionale Modell abbildet, das geformt wird und von dem ein gewünschter Bestandteil ausgeschnitten oder eingeschnitten wird, um ein akquiriertes Bild zu erzeugen;eine Mustererkennungseinheit (55), die ein Muster in dem akquirierten festgehaltenen Bild erkennt; undeine Assoziationseinheit (56), die nach dem dreidimensionalen Muster sucht, das das erkannte Muster enthält, unter den dreidimensionalen Mustern, die in der Speichereinheit (52) gespeichert sind, und eine Position in den dreidimensionalen Daten, die in der Speichereinheit (52) in Assoziation mit dem dreidimensionalen Muster, nach dem gesucht wird, gespeichert sind, mit einer Position auf dem festgehaltenen Bild, in dem das Muster erkannt wird, assoziiert.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft ein dreidimensionales Datenverarbeitungssystem, -verfahren und ein computerlesbares Aufzeichnungsmedium.
Technischer Hintergrund
In den letzten Jahren hat eine Technologie zum Formen eines dreidimensionalen Modells unter Verwendung eines 3D-Druckers Aufmerksamkeit erregt. Auch in dem medizinischen Bereich wird das Planen einer Operation unter Verwendung eines originalgroßen Organmodells, das unter Verwendung eines 3D-Druckers geformt wird, oder das Schulen eines unerfahrenen Chirurgen durchgeführt.
Ferner hat sich in dem medizinischen Bereich eine Technologie zum Erzeugen und Anzeigen eines 3D-VR- (virtuelle Realität) Bildes eines Organs auf der Basis dreidimensionaler Daten des Organs, die durch verschiedene Modalitäten wie z.B. Computertomographie (CT) oder Magnetresonanz (MR)akquiriert werden, weit verbreitet. Ferner breitet sich zum Beispiel eine Erweiterte-Realität- (AR) Technologie zum Beispiel zum Anzeigen eines realen Bildes, das durch Abbilden eines Organs während einer Operation unter Verwendung eines Videoraums in einer endoskopischen Reaktion erhalten wird, einer Blutgefäßstruktur innerhalb eines Organs, das von einem CT-Bild erstellt wird, das im Vorfeld festgehalten wurde oder dergleichen, was mit dem realen Bild überlagert wird, aus.
In JP2011-224194A ist eine Technologie zum Bewirken, dass Markerpunkte bei einer Mehrzahl von Positionen mit einer vorbestimmten Positionsbeziehung auf einer Oberfläche des dreidimensionalen Modells gebildet werden, wenn das dreidimensionale Modell aus dreidimensionalen Daten, die ein Objekt repräsentieren, unter Verwendung eines 3D-Druckers geformt wird, zum Erhalten einer Korrespondenzbeziehung zwischen einem Koordinatensystem des dreidimensionalen Modells und einem Koordinatensystem der dreidimensionalen Daten unter Verwendung der Positionen der Mehrzahl von Markerpunkten, die auf der Oberfläche des geformten dreidimensionalen Modells als ein Hinweis beobachtet werden, zum Erzeugen eines virtuellen Realitätsbildes, das mit einem Bereich korrespondiert, der auf dem dreidimensionalen Modell von einem Nutzer aus den dreidimensionalen Daten auf der Basis der Korrespondenzbeziehung bestimmt wird und zum Präsentieren des virtuellen Realitätsbildes vorgeschlagen worden.
US 2014/ 0 312 535 A1 , EP 1 619 644 A1 und US 2013/0 085 736 A1 offenbaren technischen Hintergrund zu der vorliegenden Erfindung.
Offenbarung der Erfindung
Problem, das von der Erfindung gelöst werden soll
In letzter Zeit ist ein 3D-Drucker erschienen, der in der Lage ist, ein dreidimensionales Modell unter Verwendung eines weichen Materials zu formen. Ein Organmodell, das das Gefühl des Organs reproduziert, wird gebildet und das Organmodell wird herausgeschnitten oder eingeschnitten unter Verwendung eines realen chirurgischen Instruments, so dass eine Simulation vor einer Operation durchgeführt werden kann. Daher ist zum Beispiel eine Simulation wirksamer, wenn ein Zustand, in dem ein dreidimensionales Modell ausgeschnitten oder eingeschnitten wird, automatisch wiedererkannt werden kann und verschiedene Typen von Information über den Zustand präsentiert werden können. Jedoch stellt JP2011-224194A kein Verfahren bereit, um einen Zustand bereitzustellen, in dem ein Teil eines dreidimensionalen Modells ausgeschnitten oder eingeschnitten wird.
Eine Aufgabe der vorliegenden Erfindung ist, ein dreidimensionales Datenverarbeitungssystem, -verfahren und -programm, ein dreidimensionales Modell und eine dreidimensionale Modellformungsvorrichtung bereitzustellen, die in der Lage ist bzw. sind, auf einfache Weise einen Zustand zu erkennen, in dem ein Bestandteil eines dreidimensionalen Modells ausgeschnitten oder eingeschnitten worden ist angesichts der obigen Umstände.
Mittel zum Lösen der Aufgabe
Ein dreidimensionales Datenverarbeitungssystem gemäß der vorliegenden Erfindung umfasst eine Datenerzeugungseinheit, die dreidimensionale Daten erzeugt, wobei verschiedene dreidimensionale Muster jeweils zu einer Mehrzahl von Positionen von dreidimensionalen Daten, die ein dreidimensionales Objekt in einem dreidimensionalen Koordinatensystem repräsentieren, hinzugefügt werden; eine Speichereinheit, die die jeweiligen hinzugefügten dreidimensionalen Muster in Assoziation mit Positionen in den dreidimensionalen Daten, zu denen die dreidimensionalen Muster hinzugefügt werden, speichert; eine dreidimensionale Formungseinheit, die ein dreidimensionales Modell unter Verwendung der dreidimensionalen Daten, zu denen die dreidimensionalen Muster hinzugefügt werden, formt; eine Bildakquiseeinheit, die das dreidimensionale Modell abbildet, das geformt wird und von dem ein gewünschter Bestandteil ausgeschnitten bzw. exzisiert oder eingeschnitten bzw. inzisiert wird, um ein akquiriertes Bild zu erzeugen; eine Mustererkennungseinheit, die ein Muster in dem akquirierten festgehaltenen Bild erkennt und eine Assoziationseinheit, die nach dem dreidimensionalen Muster sucht, das das erkannte Muster unter den dreidimensionalen Mustern umfasst, die in der Speichereinheit gespeichert sind und eine Position in den dreidimensionalen Daten, die in der Speichereinheit in Assoziation mit dem dreidimensionalen Muster gespeichert sind, nach dem gesucht wird, mit einer Position auf dem festgehaltenen Bild, in dem das Muster wiedererkannt wird, assoziiert.
In dem dreidimensionalen Datenverarbeitungssystem der vorliegenden Erfindung kann die Speichereinheit zweidimensionale Muster, die auf einer Mehrzahl von verschiedenen Querschnitten der jeweiligen hinzugefügten dreidimensionalen Muster erscheinen, in Assoziation mit Positionen in den dreidimensionalen Daten speichern, zu denen die dreidimensionalen Muster hinzugefügt werden, und die Assoziationseinheit kann nach dem zweidimensionalen Muster unter den zweidimensionalen Mustern, die in der Speichereinheit gespeichert sind, suchen, das am ähnlichsten zu dem wiedererkannten Muster ist und eine Position in den dreidimensionalen Daten, die in der Speichereinheit in Assoziation mit dem dreidimensionalen Muster gespeichert ist, das das zweidimensionale Muster umfasst, nach dem gesucht wird, mit einer Position auf dem festgehaltenen Bild, in dem das Muster wiedererkannt wird, assoziieren.
Ferner kann das dreidimensionale Datenverarbeitungssystem der vorliegenden Erfindung eine Bilderzeugungseinheit umfassen, die aus dreidimensionalen Daten ein pseudo-dreidimensionales Bild erzeugt, das zu dem festgehaltenen Bild korrespondiert, bevor das dreidimensionale Muster hinzugefügt wird, unter Verwendung einer Korrespondenzbeziehung zwischen der Position in den dreidimensionalen Daten und der Position auf dem festgehaltenen Bild, in dem das Muster erkannt wird.
In dem dreidimensionalen Datenverarbeitungssystem der vorliegenden Erfindung kann die Speichereinheit die zweidimensionalen Muster, die jeweils auf einer Mehrzahl von Querschnitten in verschiedenen Richtungen der hinzugefügten dreidimensionalen Muster erscheinen, in Assoziation mit den Positionen in den dreidimensionalen Daten, zu denen die dreidimensionalen Muster hinzugefügt werden und Richtungen der Querschnitte, auf denen die zweidimensionalen Muster erscheinen, speichern, und die Assoziationseinheit kann nach dem zweidimensionalen Muster suchen, das am ähnlichsten zu dem erkannten Muster unter den zweidimensionalen Mustern ist, die in der Speichereinheit gespeichert sind, und assoziiert eine Position in den dreidimensionalen Daten, die in der Speichereinheit in Assoziation mit dem dreidimensionalen Muster gespeichert sind, das das zweidimensionale Muster umfasst, nach dem gesucht wird, und eine Richtung eines Querschnittes, auf dem das zweidimensionale Muster, nach dem gesucht wird, erscheint, mit einer Position auf dem festgehaltenen Bild, in dem das Muster erkannt wird.
Ferner kann das dreidimensionale Datenverarbeitungssystem der vorliegenden Erfindung ferner umfassen: eine Bilderzeugungseinheit, die ein pseudo-dreidimensionales Bild erzeugt, das mit dem erfassten Bild aus den dreidimensionalen Daten korrespondiert, bevor die dreidimensionalen Muster hinzugefügt werden, unter Verwendung einer Korrespondenzbeziehung zwischen der Position in den dreidimensionalen Daten und der Richtung eines Querschnitts, und einer Position auf dem festgehaltenen Bild, in dem das Muster erkannt wird.
In dem dreidimensionalen Datenverarbeitungssystem der vorliegenden Erfindung kann die Bilderzeugungseinheit als das pseudo-dreidimensionale Bild ein Bild erzeugen, das eine interne exponierte Oberfläche repräsentiert, auf der die Innenseite des dreidimensionalen Objekts exponiert ist, in einem Aspekt, in dem die interne exponierte Oberfläche visuell unterscheidbar von anderen Oberflächen des dreidimensionalen Objektes ist.
In dem dreidimensionalen Datenverarbeitungssystem der vorliegenden Erfindung kann das dreidimensionale Objekt eine interne Struktur darin umfassen und die Bilderzeugungseinheit kann als das pseudo-dreidimensionale Bild ein Bild erzeugen, das einen Zustand repräsentiert, in dem die interne Struktur gegenüber der internen exponierten Oberfläche, auf der die Innenseite des dreidimensionalen Objektes exponiert ist, exponiert ist.
Ein dreidimensionales Datenverarbeitungssystem der vorliegenden Erfindung kann ferner umfassen: eine Displayeinheit, die ein Bild anzeigt; und eine Displaysteuereinheit, die das festgehaltene Bild auf der Displayeinheit anzeigt, wobei das erzeugte dreidimensionale Bild dem festgehaltenen Bild überlagert ist.
In dem dreidimensionalen Datenverarbeitungssystem der vorliegenden Erfindung kann das dreidimensionale Muster dreidimensional angeordnete binäre Muster umfassen oder kann dreidimensional angeordnete Muster umfassen, in denen eine Mehrzahl von Farben kombiniert werden.
Ferner kann in dem dreidimensionalen Datenverarbeitungssystem der vorliegenden Erfindung das dreidimensionale Muster ein dreidimensionales Muster sein, in dem binäre Muster oder Muster, in denen eine Mehrzahl von Farben kombiniert werden, in einer dreidimensionalen Gitterform angeordnet werden, und die Musterwiedererkennungseinheit kann eine Position eines verschwindenden Punktes durch Durchführen einer Hough-Transformation in jedem partiellen Bildschnitt von dem akquirierten Bild erhalten und das Muster unter Verwendung des erhaltenen verschwindenden Punktes wiedererkennen.
In dem dreidimensionalen Datenverarbeitungssystem der vorliegenden Erfindung kann das dreidimensionale Objekt ein Organ sein und die interne Struktur kann ein Blutgefäß sein.
Ein dreidimensionales Datenverarbeitungsverfahren der vorliegenden Erfindung umfasst Schritte: des Erzeugens dreidimensionaler Daten, in denen verschiedene dreidimensionale Muster jeweils zu einer Mehrzahl von Abschnitten dreidimensionaler Daten hinzugefügt werden, die ein dreidimensionales Objekt in einem dreidimensionalen Koordinatensystem repräsentieren; des Speicherns der jeweils hinzugefügten Muster in einer Speichereinheit in Assoziation mit Positionen in den dreidimensionalen Daten, zu denen die dreidimensionalen Muster hinzugefügt werden; des Formens eines dreidimensionalen Modells unter Verwendung der dreidimensionalen Daten, zu denen das dreidimensionale Muster hinzugefügt wird; des Abbildens des dreidimensionalen Modells, das geformt wird und von dem ein gewünschter Bestandteil ausgeschnitten oder eingeschnitten wird, um ein festgehaltenes Bild zu akquirieren; des Erkennens eines Musters in dem akquirierten festgehaltenen Bild; und des Suchens nach dem dreidimensionalen Muster, das das wiedererkannte Muster unter den dreidimensionalen Mustern umfasst, die in der Speichereinheit gespeichert sind und des Assoziierens einer Position in den dreidimensionalen Daten, die in der Speichereinheit in Assoziation mit dem dreidimensionalen Muster gespeichert sind, nach dem gesucht wird, mit einer Position auf dem festgehaltenen Bild, in dem das Muster erkannt wird.
Ein computerlesbares Aufzeichnungsmedium der vorliegenden Erfindung, in dem ein dreidimensionales Datenverarbeitungsprogramm gespeichert ist, das bewirkt, das ein Computer ausführt: einen Datenerzeugungsprozess des Erzeugens dreidimensionaler Daten, in denen verschiedene dreidimensionale Muster jeweils zu einer Mehrzahl von Positionen von dreidimensionalen Daten hinzugefügt werden, die ein dreidimensionales Objekt in einem dreidimensionalen Koordinatensystem repräsentieren; einen Speicherprozess des Speicherns der jeweils hinzugefügten dreidimensionalen Muster in einer Speichereinheit in Assoziation mit Positionen in den dreidimensionalen Daten, zu denen die dreidimensionalen Muster hinzugefügt werden; einen dreidimensionalen Formungsprozess des Bewirkens, dass eine Formvorrichtung ein dreidimensionales Modell unter Verwendung der dreidimensionalen Daten formt, zu denen die dreidimensionalen Muster hinzugefügt werden; einen Bildakquise- bzw. Bildakquirierungsprozess des Akquirierens eines festgehaltenen Bildes, das durch Abbilden des dreidimensionalen Modells erhalten wird, das geformt wird und von dem ein gewünschter Bestandteil ausgeschnitten oder eingeschnitten wird; einen Mustererkennungsprozess des Erkennens eines Musters in dem akquirierten festgehaltenen Bild; und einen Assoziationsprozess des Suchens nach dem dreidimensionalen Muster, das das erkannte Muster unter den dreidimensionalen Mustern umfasst, die in der Speichereinheit gespeichert sind und des Assoziierens einer Position in den dreidimensionalen Daten, die in der Speichereinheit in Assoziation mit dem dreidimensionalen Muster gespeichert werden, nach dem gesucht wird, mit einer Position auf dem festgehaltenen Bild, in dem das Muster erkannt wird.
Ferner umfasst das dreidimensionale Datenverarbeitungsprogramm auf dem computerlesbaren Aufzeichnungsmedium der vorliegenden Erfindung normalerweise eine Mehrzahl von Programmmodulen und jeder Prozess wird durch ein oder mehrere Programmmodule realisiert. Eine Gruppe von Programmmodulen wird auf einem Aufnahmemedium wie z.B. einer CD-ROM oder einer DVD aufgenommen oder in einem Zustand aufgenommen, in dem die Gruppe in einen Speicher downloadbar ist, der in einem Servercomputer oder einem Netzwerkspeicher umfasst ist und für einen Nutzer bereitgestellt.
Ein beispielhaftes dreidimensionales Modell ist ein dreidimensionales Modell eines dreidimensionalen Objektes, wobei verschiedene dreidimensionale Muster jeweils zu einer Mehrzahl von Positionen des dreidimensionalen Objektes hinzugefügt werden.
Eine beispielhafte dreidimensionale Modellformungsvorrichtung umfasst: eine Datenerzeugungseinheit, die dreidimensionale Daten erzeugt, in denen verschiedene dreidimensionale Muster jeweils zu einer Mehrzahl von Positionen der dreidimensionalen Daten hinzugefügt werden, die ein dreidimensionales Objekt in einem dreidimensionalen Koordinatensystem repräsentieren; eine Speichereinheit, die die jeweils hinzugefügten dreidimensionalen Muster in Assoziation mit Positionen in den dreidimensionalen Daten speichert, zu denen die dreidimensionalen Muster hinzugefügt werden; und eine dreidimensionale Formungseinheit, die ein dreidimensionales Modell unter Verwendung der dreidimensionalen Daten formt, zu denen die dreidimensionalen Muster hinzugefügt werden.
Wirkung der Erfindung
Gemäß dem dreidimensionalen Datenverarbeitungssystem, -verfahren und dem computerlesbaren Aufzeichnungsmedium der vorliegenden Erfindung werden, da die dreidimensionalen Daten, in denen verschiedene dreidimensionale Muster jeweils zu der Mehrzahl von Positionen der dreidimensionalen Daten hinzugefügt werden, die das dreidimensionale Objekt in dem dreidimensionalen Koordinatensystem repräsentieren, erzeugt werden, die jeweiligen hinzugefügten dreidimensionalen Muster in der Speichereinheit in Assoziation mit den Positionen in den dreidimensionalen Daten gespeichert, zu denen die dreidimensionalen Muster hinzugefügt worden sind, das dreidimensionale Modell, das geformt wird und von dem ein gewünschter Bestandteil ausgeschnitten oder eingeschnitten wird, wird abgebildet, um ein festgehaltenes Bild zu akquirieren, das Muster wird in dem akquirierten Bild erkannt und nach dem dreidimensionalen Muster, das das erkannte Muster umfasst, wird gesucht von den dreidimensionalen Mustern, die in der Speichereinheit gespeichert sind und die Position in den dreidimensionalen Daten, die in der Speichereinheit in Assoziation mit dem dreidimensionalen Muster gespeichert ist, nach dem gesucht worden ist, wird mit einer Position auf dem festgehaltenen Bild assoziiert, in der das Muster erkannt worden ist, es ist möglich, einfach einen Zustand zu erkennen, in dem ein Bestandteil des dreidimensionalen Modells ausgeschnitten oder eingeschnitten ist, gemäß der Position auf dem dreidimensionalen Objekt, die mit jeder Position auf der exponierten Oberfläche des dreidimensionalen Modells korrespondiert, die durch die Position in den dreidimensionalen Daten repräsentiert wird, die mit jeder Position auf dem festgehaltenen Bild assoziiert ist.
Gemäß dem beispielhaften dreidimensionalen Modell und dem beispielhaften dreidimensionalen Modell, das von der beispielhaften dreidimensionalen Modellformungsvorrichtung geformt wird, ist es, da das Modell das dreidimensionale Modell des dreidimensionalen Objektes ist und verschiedene dreidimensionale Muster jeweils zu einer Mehrzahl von Positionen des dreidimensionalen Objektes hinzugefügt werden, möglich, einfach einen Zustand zu erkennen, in dem ein Bestandteil des dreidimensionalen Modells ausgeschnitten oder eingeschnitten von dem festgehaltenen Bild ist, das durch Abbilden des dreidimensionalen Modells erhalten wird. Insbesondere wird das Muster in dem festgehaltenen Bild, das durch Abbilden des dreidimensionalen Modells erhalten wird, erkannt, wobei nach dem dreidimensionalen Muster, das das erkannte Muster umfasst, von den dreidimensionalen Mustern gesucht wird, die zu den jeweiligen Positionen des dreidimensionalen Objektes hinzugefügt werden und die Position in den dreidimensionalen Daten, zu denen das dreidimensionale Muster hinzugefügt wird, nach dem gesucht worden ist, wird erhalten. Daher ist es möglich, einfach einen Zustand zu erkennen, in dem ein Teil des dreidimensionalen Modells ausgeschnitten oder eingeschnitten wird.
Figurenliste

1 ist ein Diagramm, das eine schematische Konfiguration eines dreidimensionalen Datenverarbeitungssystems gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
2 ist ein Blockdiagramm, das Funktionen eines dreidimensionalen Datenverarbeitungssystems darstellt.
3 ist ein Diagramm, das eine Akquise dreidimensionaler Daten darstellt, die ein dreidimensionales Objekt repräsentieren.
4 ist ein Diagramm, das ein Verfahren des Erzeugens dreidimensionaler Daten darstellt, zu denen ein Muster hinzugefügt worden ist.
5 ist ein Diagramm, das ein Beispiel eines geformten dreidimensionalen Modells darstellt.
6 ist ein Diagramm, das ein Beispiel eins festgehaltenen Bildes darstellt, das durch Abbilden eines dreidimensionalen Modells erhalten wird, bevor und nachdem ein Bestandteil davon ausgeschnitten wird.
7 ist ein Diagramm, das einen Zustand eines dreidimensionalen Modells vor und nach dem Ausschneiden in 6 darstellt.
8 ist ein Diagramm, das ein Verfahren des Erkennens eines Musters in einem festgehaltenen Bild darstellt.
9 ist ein Diagramm, das Assoziationen zwischen einer Position auf einem festgehaltenen Bild und einer Position in dreidimensionalen Daten darstellt.
10 ist ein Flussdiagramm, das einen Fluss eines Prozesses darstellt, der von einem dreidimensionalen Datenverarbeitungssystem durchgeführt wird.

Beschreibung der Ausführungsformen
Nachstehend werden Ausführungsformen eines dreidimensionalen Datenverarbeitungssystems,- verfahrens und eines computerlesbaren Aufzeichnungsmediums der vorliegenden Erfindung beschrieben, Weiterhin werden Beispiele eines dreidimensionalen Modells und einer dreidimensionalen Modellformungsvorrichtung beschrieben. 1 ist ein Blockdiagramm, das eine schematische Konfiguration eines dreidimensionalen Datenverarbeitungssystems 1 darstellt. Wie in 1 dargestellt, umfasst dieses System eine dreidimensionale Datenverarbeitungsvorrichtung 2, eine dreidimensionale Formungsvorrichtung3 und eine Abbildungsvorrichtung 4.
Die dreidimensionale Datenverarbeitungsvorrichtung 2 wird durch Installieren eines dreidimensionalen Datenverarbeitungsprogramms der vorliegenden Erfindung in einem Computer erhalten. Die dreidimensionale Datenverarbeitungsvorrichtung 2 umfasst einen Vorrichtungshauptkörper 5, in dem eine zentrale Verarbeitungseinheit (CPU) und dergleichen umfasst sind, eine Eingabeeinheit 6, die eine Eingabe von einem Nutzer empfängt und eine Displayeinheit 7, die eine Anzeige durchführt. Die Eingabeeinheit 6 ist eine Maus, eine Tastatur, ein Touchpad oder dergleichen. Die Displayeinheit 7 ist ein Flüssigkristalldisplay, ein Bildschirm-Tastfeld, ein Touchscreen oder dergleichen.
Der Vorrichtungshauptkörper 5 umfasst eine CPU 5a, einen Speicher 5b und ein Festplattenlaufwerk (HDD) 5c. Die CPU 5a, der Speicher 5b und das HDD 5c sind miteinander durch eine Busleitung verbunden. In dem HDD 5c werden das Bildverarbeitungsprogramm der vorliegenden Erfindung und Daten, auf die sich das Programm bezieht, gespeichert. Gemäß dem Programm, das in dem HDD 5c gespeichert ist, führt die CPU 5a verschiedene Prozesse unter Verwendung des Speichers 5b als einem primären Speicherbereich durch.
Das dreidimensionale Datenverarbeitungsprogramm definiert einen Datenerzeugungsprozess, einen Speicherprozess, einen dreidimensionalen Formungsprozess, einen Bildakquiseprozess, einen Mustererkennungsprozess, einen Assoziationsprozess, einen Bilderzeugungsprozess und einen Displaysteuerprozess als Prozesse, die bewirkt werden, von der CPU 5a ausgeführt zu werden. Gemäß der Definition des Programms fungiert der Vorrichtungshauptkörper 5 als eine Datenerzeugungseinheit 51, eine Speichereinheit 52, eine dreidimensionale Formungseinheit 53, eine Bildakquiseeinheit 54, eine Mustererkennungseinheit 55, eine Assoziationseinheit 56, eine Bilderzeugungseinheit 57 und eine Displaysteuereinheit 58 wie in 2 dargestellt, wobei die CPU 5a die jeweiligen Prozesse ausführt. In dieser Ausführungsform korrespondieren die dreidimensionale Formungsvorrichtung 3 und die dreidimensionale Formungseinheit 53 mit einer dreidimensionalen Formungseinheit der vorliegenden Erfindung, die Abbildungsvorrichtung 4 und die Bildakquiseeinheit 54 korrespondieren zu der Bildakquiseeinheit der vorliegenden Erfindung und die HDD 5c und die Speichereinheit 52 korrespondieren zu der Speichereinheit der vorliegenden Erfindung.
Die Datenerzeugungseinheit 51 erzeugt dreidimensionale Daten, in denen verschiedene dreidimensionale Muster jeweils zu einer Mehrzahl von Positionen von dreidimensionalen Daten hinzugefügt werden, die ein dreidimensionales Objekt in einem dreidimensionalen Koordinatensystem repräsentieren. Daher akquiriert die Datenerzeugungseinheit 51 zuerst dreidimensionale Daten, die das dreidimensionale Objekt repräsentieren. Wenn das dreidimensionale Objekt zum Beispiel eine Leber ist, akquiriert die Datenerzeugungseinheit 51 Volumendaten, die durch Abbilden eines Abdomens akquiriert werden, das die Leber von einer Modalität wie z.B. einer Computertomographie- (CT) Vorrichtung oder einer Magnetresonanzabbildungs- (MRT) Vorrichtung umfasst, spezifiziert einen Bereich eines Bereiches D (nachstehend bezeichnet als ein „dreidimensionaler Leberbereich D“), in dem die Leber in einem dreidimensionalen Bild V abgebildet wird, das von den Volumendaten repräsentiert wird, die in 3 dargestellt werden und akquiriert einen Datenabschnitt, der den spezifizierten Bereich als dreidimensionale Daten anzeigt, die die Leber repräsentieren. Die Datenerzeugungseinheit 51 erzeugt dreidimensionale Daten, die den dreidimensionalen Leberbereich D repräsentieren, zu dem ein Muster hinzugefügt worden ist, durch jeweils Hinzufügen verschiedener dreidimensionaler Muster zu einer Mehrzahl von Positionen Pi (i=1, 2, ..., n; n ist die Anzahl von Abtastpositionen), bei denen der dreidimensionale Leberbereich D dreidimensional bei konstanten Intervallen abgetastet wird.
Wie in 4 dargestellt, umfasst das dreidimensionale Muster binäre Blockmuster, die dreidimensional angeordnet sind und ein einzigartiges Muster in dem gesamten dreidimensionalen Leberbereich D ist zu jeder Oberfläche und jeder einer Mehrzahl von verschiedenen Querschnitten des dreidimensionalen Musters zugewiesen. Entsprechend kann jede Position Pi auf dem dreidimensionalen Leberbereich D einzigartig unter Verwendung eines Musters identifiziert werden, das mit einer bestimmten Größe oder mehr in einer beliebigen Oberfläche oder einem beliebigen Querschnitt des dreidimensionalen Musters wiedererkannt wird. Da die Erkennung des Musters unter Verwendung des festgehaltenen Bildes durchgeführt wird, das durch Abbilden des dreidimensionalen Modells erhalten wird, das auf der Basis der dreidimensionalen Daten unter Verwendung der Abbildungsvorrichtung 4, die unten beschrieben werden soll, gebildet wird, wird eine Größe des dreidimensionalen Musters auf eine Größe eingestellt um zu Bewirken, dass das Muster genügend erkennbar in dem festgehaltenen Bild ist, das von der Abbildungsvorrichtung 4 erhalten wird, die das dreidimensionale Modell abbildet.
Die Speichereinheit 52 speichert eine Information über das dreidimensionale Muster, das zu den dreidimensionalen Daten in der Datenerzeugungseinheit 51 in Assoziation mit der Position Pi (korrespondierend zu einer Position in den dreidimensionalen Daten)in dem dreidimensionalen Leberbereich D hinzugefügt wird, bei der das dreidimensionale Muster hinzugefügt worden ist, in dem HDD 5c. In diesem Fall speichert die Speichereinheit 52 eine Information, die ein dreidimensionales Muster repräsentiert, das ein binäres Muster in einer Kombination von 0 und 1 ist, als eine Information über ein dreidimensionales Muster und speichert einen Koordinatenwert in einem Koordinatensystem eines dreidimensionalen Bildes V als die Position Pi auf dem dreidimensionalen Leberbereich D. Da eine Information über das Muster, das mit einer bestimmten Größe oder mehr auf jeder Oberfläche des dreidimensionalen Musters erkannt wird und eine Mehrzahl von verschiedenen Querschnitten in der Information über jedes dreidimensionale Muster vorliegt, ist es möglich, das dreidimensionale Muster, das das erkannte Muster umfasst, durch Mischen von einer Information über das Muster, das in dem festgehaltenen Bild erkannt wird, mit der gespeicherten Information über das dreidimensionale Muster zu spezifizieren.
Zusätzlich zu oder anstelle der Information über das dreidimensionale Muster speichert die Speichereinheit 52 die Information über das zweidimensionale Muster, das auf jeder Oberfläche und jeder einer Mehrzahl von verschiedenen Querschnitten des dreidimensionalen Musters in Assoziation mit der Position Pi (korrespondierend zu der Position in den dreidimensionalen Daten) in dem dreidimensionalen Leberbereich D erscheint, zu dem das dreidimensionale Muster hinzugefügt worden ist, in dem HDD 5c.
Die dreidimensionale Formungseinheit 53 gibt dreidimensionale Daten, die den dreidimensionalen Leberbereich D repräsentierten, zu dem das dreidimensionale Muster hinzugefügt worden ist, das in der Datenerzeugungseinheit 51 erzeugt worden ist, zu der dreidimensionalen Formungsvorrichtung 3 aus und steuert die dreidimensionale Formungsvorrichtung 3, so dass das dreidimensionale Modell M unter Verwendung der dreidimensionalen Daten geformt wird. Die dreidimensionale Formungsvorrichtung 3 ist ein 3D-Drucker, der das dreidimensionale Modell M unter Verwendung eines Laminierungsformungsverfahrens auf der Basis der dreidimensionalen Daten formt. Unter der Steuerung der dreidimensionalen Formungseinheit 53 formt die dreidimensionale Formungsvorrichtung 3 das dreidimensionale Modell M unter Verwendung der dreidimensionalen Daten, zu denen das dreidimensionale Muster hinzugefügt worden ist.
Die dreidimensionale Formungsvorrichtung 3 ist ein Dual-Kopf-Typ-3D-Drucker, der in der Lager ist unter Verwendung eines weichen gallertartigen Materials mit zwei oder mehreren Farben zu formen und in dieser Ausführungsform, wenn das dreidimensionale Modell M geformt wird, wird das dreidimensionale Muster, das zu den dreidimensionalen Daten hinzugefügt wird, unter Verwendung eines 2-Farben-Materials geformt. Entsprechend wird das dreidimensionale Modell M, in das das dreidimensionale Muster eingebettet ist, nicht nur in der Oberfläche, sondern auch in dem Innern geformt.
5 stellt ein Beispiel des dreidimensionalen Modells M einer Leber dar, das auf der Basis dreidimensionaler Daten geformt wird, die den dreidimensionalen Leberbereich D repräsentieren, zu dem das dreidimensionale Muster hinzugefügt worden ist. Wie in 5 dargestellt, erscheint ein Muster, das mit jeder Position auf der Oberfläche korrespondiert, auf der Oberfläche des dreidimensionalen Modells M. Ferner, wenn ein Bestandteil in einer chirurgischen Simulation ausgeschnitten oder eingeschnitten wird, die von einem Arzt oder dergleichen durchgeführt wird und das Innere exponiert ist, wird ein Muster, das zu jeder Position auf der internen exponierten Oberfläche korrespondiert, auf der internen exponierten Oberfläche erscheinen, auf der das Innere exponiert ist.
Die Abbildungsvorrichtung 4 ist eine Kamera, die optisch ein Bild eines Subjektes festhält und zweidimensionale Bilddaten als ein festgehaltenes Bild 1 erzeugt. In dieser Ausführungsform wird die Abbildungsvorrichtung 4 bei einer Position eine vorbestimmte Distanz weg von dem geformten dreidimensionalen Modell M installiert, bildet das dreidimensionale Modell M ab um ein festgehaltenes Bild 1 zu erzeugen und gibt das erzeugte festgehaltene Bild 1 an die dreidimensionale Datenverarbeitungsvorrichtung 2 aus. In diesem Fall weist die Abbildungsvorrichtung 4 eine Auflösung auf, bei der ein Muster auf dem dreidimensionalem Modell ausreichend von der Musterwiedererkennungseinheit 5 erkannt wird, die unten beschrieben wird, in dem festgehaltenen Bild 1, das durch Abbilden des dreidimensionalen Modells M erhalten wird.
6 stellt ein Beispiel von dem festgehaltenen Bild 1 dar, das von der Abbildungsvorrichtung 4 abgebildet wird. Die linke Seite von 6 stellt ein Beispiel des festgehaltenen Bildes 1 dar, das durch Abbilden des dreidimensionalen Modells M in einem Zustand erhalten wird, bevor das dreidimensionale Modell M durch Ausschneiden oder dergleichen deformiert wird. Die rechte Seite von 6 stellt ein Beispiel des festgehaltenen Bildes 1 dar, das durch Abbilden des dreidimensionalen Modells M in einem Zustand erhalten wird, nachdem ein Bestandteil, der von einem Pfeil d angezeigt wird, ausgeschnitten wird. 7 stellt das dreidimensionale Modell M in einem Zustand dar, vor und nach dem Herausschneiden in 6. In 7 wird eine Anzeige eines Musters, das auf einer exponierten Oberfläche des dreidimensionalen Modells M erscheint, ausgelassen, damit der herausgeschnittene Bestandteil einfach bestätigt werden kann.
Die Bildakquiseeinheit 54 akquiriert das festgehaltene Bild 1, das durch Abbilden des dreidimensionalen Modells M von der Abbildungsvorrichtung 5 erhalten wird. Das festgehaltene Bild 1, das von der Bildakquiseeinheit 54 akquiriert wird, wird in dem HDD 5c gespeichert.
Die Musterwiedererkennungseinheit 55 erkennt ein Muster in dem festgehaltenen Bild 1, das von der Bildakquiseeinheit 54 akquiriert wird. Wie in 7 dargestellt, schneidet die Musterwiedererkennungseinheit 55 sequentell ein partielles Bild W mit einer vorbestimmten Größe aus, die ein Musterwiedererkennungsziel in einem Bereich des festgehaltenen Bildes 1 ist, während eine Position davon verschoben wird, führt einen Prozess des Korrigierens einer Distorsion auf dem partiellen Bild W durch und erkennt das Muster in dem partiellen Bild wieder, von dem die Distorsion korrigiert worden ist. Während eine Information über das Muster, das an jeder Position Qj (i=1, 2, ..., m; m ist die Anzahl von Positionen, an denen das partielle Bild ausgeschnitten wird) wiedererkannt wird, von der das partielle Bild W auf dem festgehaltenen Bild 1 ausgeschnitten wird, wird eine Information an die Assoziationseinheit 56 ausgegeben, die durch Repräsentieren des Musters in einer Kombination von 0 und 1 erhalten wird.
In diesem Fall extrahiert die Musterwiedererkennungseinheit 5 zuerst eine Kante von dem partiellen Bild W als einen Prozess des Korrigierens der Distorsion. Dann extrahiert die Mustererkennungseinheit 55 gerade Linien von dem Kantenbild unter Verwendung einer Hough-Transformation und erhält einen verschwindenden Punkt von einem Schnittpunkt zwischen geraden Linien. Die Distorsion des partiellen Bildes W wird korrigiert durch Bewirken, dass die gerade Linie auf den erhaltenen verschwindenden Punkt parallel gerichtet wird. Der Prozess des Korrigierens von Distorsion ist nicht auf das obige Verfahren beschränkt, das eine Hough-Transformation verwendet. In dem Prozess des Korrigierens von Distorsion kann ein beliebiges Verfahren verwendet werden, das in der Lage ist, eine normale Richtung einer Oberfläche des dreidimensionalen Objektes bezüglich einer Kamera einzuschätzen. Die Distorsion kann so korrigiert werden, dass das Muster ein Quadratgittermuster auf der Basis der geschätzten normalen Richtung der Oberfläche des dreidimensionalen Objektes wird.
Wie in 9 dargestellt, erhält die Assoziationseinheit 56 die Position Pi auf dem dreidimensionalen Leberbereich D (korrespondierend zu der Position in den dreidimensionalen Daten), der mit jeder Position Qj des festgehaltenen Bildes 1 korrespondiert. Die Assoziationseinheit 56 mischt die Information über das wiedererkannte Muster mit der Information über die dreidimensionalen Muster, die in HDD 5c bezüglich jeder Position Qj auf dem festgehaltenen Bild 1 gespeichert sind, in dem das Muster von der Musterwiedererkennungseinheit 55 wiedererkannt worden ist, um ein dreidimensionales Muster zu spezifizieren, das das wiedererkannte Muster umfasst.
Die Assoziationseinheit 56 akquiriert die Position Pi auf dem dreidimensionalen Leberbereich D, der in dem HDD 5c in Assoziation mit dem spezifizierten dreidimensionalen Muster gespeichert ist, als eine Position, die mit der Position Qj auf dem festgehaltenen Bild I korrespondiert. Die Korrespondenzbeziehung zwischen der Position Pi auf dem dreidimensionalen Leberbereich D und der Position Qj in dem festgehaltenen Bild I, die bzw. das von der Assoziationseinheit 56 akquiriert wird, ist in dem HDD 5c gespeichert.
In diesem Fall, in einem Fall, in dem das zweidimensionale Muster, das auf jeder Oberfläche erscheint und jeder von einer Mehrzahl von verschiedenen Querschnitten des dreidimensionalen Musters in dem HDD 5c in Assoziation mit der Position Pi auf dem dreidimensionalen Leberbereich D gespeichert ist, zu dem das dreidimensionale Muster hinzugefügt worden ist, kann die Assoziationseinheit 56 die Information über das Muster, das an jeder Position des festgehaltenen Bildes I erkannt wird, mit einer Information über das zweidimensionale Muster mischen, das in dem HDD 5c gespeichert ist, um das zweidimensionale Muster zu spezifizieren, das das erkannte Muster umfasst und die Position Pi auf dem dreidimensionalen Leberbereich D, der in dem HDD 5c in Assoziation mit dem spezifizierten Muster gespeichert ist, als eine Position zu akquirieren, die mit der Position auf dem festgehaltenen Bild I korrespondiert, anstelle des obigen Verfahrens.
Entsprechend wird bei einer Position auf dem festgehaltenen Bild I, das durch Abbilden eines Bestandteils des dreidimensionalen Modells M, der nicht aufgrund von Ausschneiden oder dergleichen deformiert ist, eine Position auf der Oberfläche des dreidimensionalen Leberbereiches D als eine korrespondierende Position erhalten und an einer Position auf dem festgehaltenen Bild I, die durch Abbilden eines Bestandteils des dreidimensionalen Modells M erhalten wird, der aufgrund von Herausschneiden oder dergleichen deformiert ist, wird eine Position in dem Inneren des dreidimensionalen Lebebereiches D als eine korrespondierende Position erhalten.
Die Bilderzeugungseinheit 57 erzeugt ein pseudo-dreidimensionales Bild, das mit dem festgehaltenen Bild I aus den dreidimensionalen Daten korrespondiert, die den dreidimensionalen Leberbereich D repräsentieren, bevor das dreidimensionale Muster unter Verwendung einer Korrespondenzbeziehung zwischen einer Position Pi auf dem dreidimensionalen Leberbereich D, der mit der Assoziationseinheit 56 assoziiert ist und einer Position Qj auf dem festgehaltenen Bild I, in dem das Muster erkannt wird, hinzugefügt wird. Insbesondere spezifiziert die Bilderzeugungseinheit 57 eine Oberfläche in dem dreidimensionalen Leberbereich D, der mit einer exponierten Oberfläche des dreidimensionalen Modells M korrespondiert, das in dem festgehaltenen Bild I auf der Basis der Information über die Position Pi des dreidimensionalen Leberbereiches D festgehalten wird, die mit jeder Position Qj auf dem Bild I korrespondiert und den dreidimensionalen Leberbereich D in einen Bereich, der durch Herausschneiden oder dergleichen auf der spezifizierten Oberfläche entfernt wird und einen verbleibenden Bereich unterteilt. Ein Projektionsbild, das durch Projizieren des verbleibenden Bereiches auf eine vorbestimmte Projektionsoberfläche erhalten wird, zum Beispiel unter Verwendung eines bekannten Volumenausführungsschemas, eines bekannten Oberflächenausführungsverfahrens oder dergleichen, wird erzeugt.
In diesem Fall stellt die Bilderzeugungseinheit 57 eine Position eines Standpunktes bzw. Gesichtspunktes und eine Richtung einer Sichtlinie ein, bei der die Position Pi von drei Punkten auf dem dreidimensionalen Leberbereich D, die mit der Position Qj von drei beliebigen Punkten auf dem festgehaltenen Bild I mit derselben Positionsbeziehung wie eine Positionsbeziehung unter den Positionen Qj der Punkte auf dem festgehaltenen Bild I in dem Projektionsbild korrespondieren, um ein Projektionsbild unter Verwendung einer mittleren Projektion zu erzeugen. Entsprechend wird ein pseudo-dreidimensionales Bild, in dem ein Zustand, in dem ein Bestandteil des dreidimensionalen Modells M, das in dem festgehaltenen Bild I festgehalten wird, von einer Gesichtspunktposition ausgeschnitten oder eingeschnitten worden ist, die mit einem Abbildungsgesichtspunkt des festgehaltenen Bildes I korrespondiert, in einem dreidimensionalen virtuellen Raum reproduziert wird, erzeugt.
Ferner kann die Bilderzeugungseinheit 57 als ein pseudo-dreidimensionales Bild ein Bild erzeugen, das eine Oberfläche auf dem dreidimensionalen Leberbereich D repräsentiert, der mit der internen exponierten Oberfläche korrespondiert, auf der das Innere des dreidimensionalen Modells M durch Ausschneiden oder dergleichen in einem Aspekt exponiert wird, in dem die Oberfläche von anderen Oberflächen des dreidimensionalen Leberbereiches D unterscheidbar ist. Ferner kann die Bilderzeugungseinheit 57 auch als ein pseudo-dreidimensionales Bild ein Bild erzeugen, das einen Zustand repräsentiert, in dem ein Blutgefäß innerhalb des dreidimensionalen Leberbereiches D zu der Oberfläche auf dem dreidimensionalen Leberbereich D exponiert ist, die mit der internen exponierten Oberfläche des dreidimensionalen Modells M korrespondiert.
Die Displaysteuereinheit 58 steuert ein Display der Displayeinheit 7. Die Displaysteuereinheit 58 zeigt das pseudo-dreidimensionale Bild, das von der Bilderzeugungseinheit 57 alleine erzeugt wird, Seite an Seite mit dem festgehaltenen Bild I an oder um auf dem festgehaltenen Bild I auf der Displayeinheit 7 überlagert zu werden.
Als nächstes wird ein Fluss eines Prozesses, der durch die Bildinformationsspeichereinheit 100 durchgeführt wird, mit Bezug auf ein Flussdiagramm beschrieben, das in 10 dargestellt ist. Als erstes akquiriert die Datenerzeugungseinheit 51 die dreidimensionalen Daten, die ein dreidimensionales Objekt in einem dreidimensionalen Koordinatensystem repräsentieren und erzeugt dreidimensionale Daten, in denen verschiedene dreidimensionale Muster jeweils zu einer Mehrzahl von Positionen Pi der dreidimensionalen Daten (S1) hinzugefügt worden sind. Dann speichert die Speichereinheit 52 eine Information über die jeweiligen dreidimensionalen Muster, die in Schritt S1 in dem HDD 5c in Assoziation mit der Position Pi in den dreidimensionalen Daten hinzugefügt werden, zu denen die dreidimensionalen Muster hinzugefügt worden sind (S2). Dann gibt die dreidimensionale Formungseinheit 53 die dreidimensionalen Daten aus, zu denen das dreidimensionale Muster, das in Schritt S1 erzeugt worden ist, zu der Formungsvorrichtung 3 hinzugefügt worden ist und die dreidimensionale Formungsvorrichtung 3 formt das dreidimensionale Modell M auf der Basis der eingegebenen dreidimensionalen Daten (S3).
Dann bildet die Abbildungsvorrichtung 4 das dreidimensionale Modell M ab, das in Schritt S3 geformt worden ist und von dem ein gewünschter Bestandteil ausgeschnitten oder eingeschnitten worden ist, um ein festgehaltenes Bild I zu erzeugen und die Bildakquiseeinheit 54 akquiriert das festgehaltene Bild I, das durch Festhalten des dreidimensionalen Modell M von der Abbildungsvorrichtung 4 erhalten wird (S4). Dann schneidet die Mustererkennungseinheit 55 sequenziell das partielle Bild W mit einer vorbestimmten Größe, während eine Position davon in dem Bereich des festgehaltenen Bildes I verschoben wird, das in Schritt S4 akquiriert wird und erkennt ein Muster in dem geschnittenen partiellen Bild W wieder (S5). Dann sucht die Assoziationseinheit 56 nach dem dreidimensionalen Muster, das das erkannte Muster an jeder Position Qj auf dem festgehaltenen Bild I in Schritt S5 unter den dreidimensionalen Mustern umfasst, die in dem HDD 5c gespeichert sind und assoziiert die Position Pi in den dreidimensionalen Daten, die in Assoziation mit dem dreidimensionalen Muster gespeichert werden, nach dem gesucht wird, mit der Position Qj auf dem festgehaltenen Bild I, von dem das Muster erkannt worden ist (S6).
Dann erzeugt die Bilderzeugungseinheit 57 ein pseudo-dreidimensionales Bild, das mit dem festgehaltenen Bild I von den dreidimensionalen Daten korrespondiert, bevor die dreidimensionalen Muster hinzugefügt werden, unter Verwendung der Korrespondenzbeziehung zwischen der Position Pi auf den dreidimensionalen Daten und der Position Qj auf dem festgehaltenen Bild I, die in Schritt S6 assoziiert werden (S7). Die Displaysteuereinheit 55 bewirkt, dass die Displayeinheit 7 das pseudo-dreidimensionale Bild anzeigt, das in Schritt S8 erzeugt wird (S8) und beendet den Prozess.
Mit der obigen Konfiguration erzeugt in dem dreidimensionalen Datenverarbeitungssystem 1 dieser Ausführungsform die Datenerzeugungseinheit 51 die dreidimensionalen Daten, in denen verschiedene dreidimensionale Muster jeweils zu der Mehrzahl von Positionen der dreidimensionalen Daten hinzugefügt werden, die das dreidimensionale Objekt in dem dreidimensionalen Koordinatensystem repräsentieren, speichert die Speichereinheit 52 die jeweiligen hinzugefügten dreidimensionalen Muster in dem HDD 5c in Assoziation mit den Positionen in den dreidimensionalen Daten, zu denen die dreidimensionalen Muster hinzugefügt worden sind, gibt die dreidimensionale Formungseinheit 53 die dreidimensionalen Daten aus, zu denen das dreidimensionale Muster zu der dreidimensionalen Formungsvorrichtung 3 hinzugefügt worden ist und formt die dreidimensionale Formungsvorrichtung 3 ein dreidimensionales Modell auf der Basis der eingegebenen dreidimensionalen Daten. Die Abbildungsvorrichtung 4 bildet das dreidimensionale Modell M ab, das geformt wird und von dem ein gewünschter Bestandteil ausgeschnitten oder eingeschnitten wird, um ein festgehaltenes Bild zu erzeugen und die Bildakquiseeinheit 54 akquiriert das festgehaltene Bild 1 von der Abbildungsvorrichtung 4. Die Mustererkennungseinheit 55 erkennt ein Muster in dem akquirierten festgehaltenen Bild und die Assoziierungseinheit 56 sucht nach dem dreidimensionalen Muster, das das erkannte Muster unter den dreidimensionalen Mustern umfasst, die in dem HDD 5c gespeichert sind und assoziiert eine Position in den dreidimensionalen Daten, die in dem HDD 5c in Assoziation mit dem dreidimensionalen Muster gespeichert sind, nach dem gesucht worden ist, mit einer Position auf dem festgehaltenen Bild, in dem das Muster erkannt worden ist. Entsprechend ist es möglich, einfach einen Zustand zu erkennen, in dem ein Bestandteil des dreidimensionalen Modells ausgeschnitten oder eingeschnitten wird, gemäß der Position auf dem dreidimensionalen Objekt, die mit jeder Position auf der exponierten Oberfläche des dreidimensionalen Modells korrespondiert, die von der Position in den dreidimensionalen Daten repräsentiert wird, die mit jeder Position auf dem festgehaltenen Bild assoziiert ist.
Obwohl der Fall, bei dem die dreidimensionale Datenverarbeitungsvorrichtung 2 die Bilderzeugungseinheit 57 oder die Displaysteuereinheit 58 umfasst, in der obigen Ausführungsform beschrieben worden ist, wird die Konfiguration nicht notwendigerweise benötigt und kann bereitgestellt werden, falls notwendig.
Ferner, obwohl der Fall, in dem das dreidimensionale Muster zu einer Mehrzahl von Positionen hinzugefügt wird, die durch dreidimensionales Abtasten des gesamten Bereiches des dreidimensionalen Leberbereiches D erhalten wird, in der obigen Ausführungsform beschrieben worden ist, kann das dreidimensionale Muster nur zu einer Mehrzahl von Positionen hinzugefügt werden, die durch dreidimensionales Abtasten eines partiellen Bereiches (zum Beispiel eines Bereiches, von dem Ausschneiden oder Einschneiden festgelegt werden) erhalten wird. Ferner kann das Abtastintervall dasselbe in einem gesamten Bereich sein, der ein Ziel ist oder anders gemäß eines Platzes sein kann.
Ferner ist in der obigen Ausführungsform der Fall, in dem die Speichereinheit 52 eine Information über die dreidimensionalen Muster, die zu den dreidimensionalen Daten hinzugefügt worden sind oder eine Information über die zweidimensionalen Muster, die auf jeder Oberfläche erscheinen und eine Mehrzahl von verschiedenen Querschnitten des dreidimensionalen Musters in Assoziation mit Positionen in den dreidimensionalen Daten, zu denen die dreidimensionalen Muster hinzugefügt worden sind, speichert, beschrieben worden, aber die vorliegende Erfindung ist nicht darauf beschränkt und die Speichereinheit 52 kann die Information über die zweidimensionalen Muster, die auf jeder Oberfläche erscheinen und eine Mehrzahl von verschiedenen Querschnitten des dreidimensionalen Musters, zu denen die dreidimensionalen Muster hinzugefügt worden sind, in Assoziation mit den Positionen in den dreidimensionalen Daten, zu denen die dreidimensionalen Muster hinzugefügt werden und den Richtungen der Querschnitte, auf denen die zweidimensionalen Muster erscheinen, speichern.
In diesem Fall kann die Assoziationseinheit 56 nach dem zweidimensionalen Muster, das am ähnlichsten zu dem erkannten Muster ist, unter den zweidimensionalen Mustern suchen, die in dem HDD 5c gespeichert sind und die Position in den dreidimensionalen Daten, die in dem HDD 5c gespeichert sind, in Assoziation mit dem dreidimensionalen Muster, das das zweidimensionale Muster umfasst, nach dem gesucht worden ist, und die Richtung des Querschnitts, auf dem das zweidimensionale Muster, nach dem gesucht worden ist, erscheint, mit der Position auf dem festgehaltenen Bild assoziieren, in der das Muster wiedererkannt worden ist. Ferner kann die Bilderzeugungseinheit 57 ein pseudo-dreidimensionales Bild erzeugen, das mit dem festgehaltenen Bild aus den dreidimensionalen Daten korrespondiert, zu denen die dreidimensionalen Muster auf der Basis der Position auf dem festgehaltenen Bild hinzugefügt werden, in dem das Muster wiedererkannt worden ist, wobei die Position in den dreidimensionalen Daten mit der Position und der Richtung des Querschnitts assoziiert sind.
Obwohl der Fall, in dem das dreidimensionale Muster ein binäres Muster ist, in der obigen Ausführungsform beschrieben worden ist, kann das dreidimensionale Muster ein Muster umfassen, in dem eine Mehrzahl von Farben kombiniert sind. Wenn ein dreifaches oder Mehrwert-Muster als das dreidimensionale Muster verwendet wird, können mehr Positionen in einem dreidimensionalen Muster, die eine kleinen Größe aufweisen, im Vergleich zu einem Fall identifiziert werden, in dem das binäre Muster verwendet wird. Obwohl der Fall, in dem das dreidimensionale Muster ein Blockmuster ist, in der obigen Ausführungsform beschrieben worden ist, kann das dreidimensionale Muster andere Arten von Mustern aufweisen wie z.B. ein Punktmuster oder ein Streifenmuster.
In der obigen Ausführungsform ist der Fall, bei dem das dreidimensionale Datenverarbeitungssystem, -verfahren und das computerlesbare Aufzeichnungsmedium der vorliegenden Erfindung auf die Erzeugung des dreidimensionalen Modells der Leber angewandt werden, beschrieben worden, aber ist nicht darauf beschränkt und die vorliegende Erfindung kann auf einen Fall angewandt werden, bei dem ein dreidimensionales Modell eines anderen Organs oder verschiedener dreidimensionaler Objekte, die andere als die Organe sind, erzeugt werden.
Bezugszeichenliste

1: dreidimensionales Datenverarbeitungssystem
2: dreidimensionale Datenverarbeitungsvorrichtung
3: dreidimensionale Formungsvorrichtung
4: Abbildungsvorrichtung
5: Vorrichtungskörper
5a: CPU
5b: Speicher
5c: Festplattenlaufwerk (HDD)
6: Eingabeeinheit
7: Displayeinheit
51: Datenerzeugungseinheit
52: Speichereinheit
53: dreidimensionale Formungseinheit
54: Bildakquiseeinheit
55: Mustererkennungseinheit
56: Assoziationseinheit
57: Bilderzeugungseinheit
58: Displaysteuereinheit

Claims

Dreidimensionales Datenverarbeitungssystem (1), umfassend: eine Datenerzeugungseinheit (51), die dreidimensionale Daten erzeugt, in denen verschiedene dreidimensionale Muster jeweils zu einer Mehrzahl von Positionen von dreidimensionalen Daten hinzugefügt werden, die ein dreidimensionales Objekt in einem dreidimensionalen Koordinatensystem repräsentieren; eine Speichereinheit (52), die die jeweils hinzugefügten dreidimensionalen Muster in Assoziation mit Positionen in den dreidimensionalen Daten speichert, zu denen die dreidimensionalen Muster hinzugefügt werden; eine dreidimensionale Formungseinheit (53), die ein dreidimensionales Modell unter Verwendung der dreidimensionalen Daten formt, zu denen die dreidimensionalen Muster hinzugefügt werden; eine Bildakquiseeinheit (54), die das dreidimensionale Modell abbildet, das geformt wird und von dem ein gewünschter Bestandteil ausgeschnitten oder eingeschnitten wird, um ein akquiriertes Bild zu erzeugen; eine Mustererkennungseinheit (55), die ein Muster in dem akquirierten festgehaltenen Bild erkennt; und eine Assoziationseinheit (56), die nach dem dreidimensionalen Muster sucht, das das erkannte Muster enthält, unter den dreidimensionalen Mustern, die in der Speichereinheit (52) gespeichert sind, und eine Position in den dreidimensionalen Daten, die in der Speichereinheit (52) in Assoziation mit dem dreidimensionalen Muster, nach dem gesucht wird, gespeichert sind, mit einer Position auf dem festgehaltenen Bild, in dem das Muster erkannt wird, assoziiert.
Dreidimensionales Datenverarbeitungssystem (1) nach Anspruch 1, wobei die Speichereinheit (52) zweidimensionale Muster speichert, die auf einer Mehrzahl von verschiedenen Querschnitten der jeweils hinzugefügten dreidimensionalen Muster erscheinen, in Assoziation mit Positionen in den dreidimensionalen Daten, zu denen die dreidimensionalen Muster hinzugefügt werden und die Assoziationseinheit (56) unter den zweidimensionalen Mustern, die in der Speichereinheit (52) gespeichert sind, nach dem zweidimensionalen Muster sucht, das am ähnlichsten zu dem erkannten Muster ist, und eine Position in den dreidimensionalen Daten, die in der Speichereinheit (52) in Assoziation mit dem dreidimensionalen Muster, das das zweidimensionale Muster umfasst, nach dem gesucht wird, gespeichert sind, mit einer Position auf dem festgehaltenen Bild, in dem das Muster erkannt wird, assoziiert.
Dreidimensionales Datenverarbeitungssystem (1) nach Anspruch 1 oder 2, ferner umfassend: eine Bilderzeugungseinheit (57), die ein pseudo-dreidimensionales Bild erzeugt, das mit dem festgehaltenen Bild aus den dreidimensionalen Daten korrespondiert, bevor das dreidimensionale Muster hinzugefügt wird, unter Verwendung einer Korrespondenzbeziehung zwischen der Position in den dreidimensionalen Daten und der Position auf dem festgehaltenen Bild, in dem das Muster erkannt wird, die miteinander assoziiert sind.
Dreidimensionales Datenverarbeitungssystem (1) nach Anspruch 1, wobei die Speichereinheit (52) die zweidimensionalen Muster, die jeweils auf einer Mehrzahl von Querschnitten in verschiedenen Richtungen der hinzugefügten dreidimensionalen Muster erscheinen, in Assoziation mit den Positionen in den dreidimensionalen Daten, zu denen die dreidimensionalen Muster hinzugefügt werden und Richtungen der Querschnitte, auf denen die zweidimensionalen Muster erscheinen, speichert, und die Assoziationseinheit (56) unter den zweidimensionalen Mustern, die in der Speichereinheit (52) gespeichert sind, nach dem zweidimensionalen Muster sucht, das am ähnlichsten zu dem erkannten Muster ist, und eine Position in den dreidimensionalen Daten, die in der Speichereinheit (52) in Assoziation mit dem dreidimensionalen Muster gespeichert sind, das das zweidimensionale Muster, nach dem gesucht wird und eine Richtung eines Querschnittes, auf dem das zweidimensionale Muster, nach dem gesucht wird, erscheint, umfasst, mit einer Position auf dem festgehaltenen Bild, in dem das Muster erkannt wird, assoziiert.
Dreidimensionales Datenverarbeitungssystem (1) nach Anspruch 4, ferner umfassend: eine Bilderzeugungseinheit (57), die ein pseudo-dreidimensionales Bild erzeugt, das mit dem festgehaltenen Bild aus den dreidimensionalen Daten korrespondiert, bevor die dreidimensionalen Muster hinzugefügt werden, unter Verwendung einer Korrespondenzbeziehung zwischen der Position in den dreidimensionalen Daten und der Richtung eines Querschnitts, die miteinander assoziiert sind und einer Position auf dem festgehaltenen Bild, in dem das Muster erkannt wird.
Dreidimensionales Datenverarbeitungssystem (1) nach Anspruch 3 oder 5, wobei die Bilderzeugungseinheit (57) als das pseudo-dreidimensionale Bild ein Bild erzeugt, das eine interne exponierte Oberfläche repräsentiert, auf der das Innere des dreidimensionalen Objektes exponiert ist, in einem Aspekt, in dem die interne exponierte Oberfläche visuell unterscheidbar von anderen Oberflächen des dreidimensionalen Objektes ist.
Dreidimensionales Datenverarbeitungssystem (1) nach Anspruch 3 oder 5, wobei das dreidimensionale Objekt eine interne Struktur darin umfasst und die Bilderzeugungseinheit (57) als das pseudo-dreidimensionale Bild ein Bild erzeugt, das einen Zustand repräsentiert, in dem die interne Struktur zu der internen exponierten Oberfläche exponiert ist, auf der das Innere des dreidimensionalen Objektes exponiert ist.
Dreidimensionales Datenverarbeitungssystem (1) nach einem der Ansprüche 3, 5, 6 und 7, ferner umfassend: eine Displayeinheit (7), die ein Bild anzeigt; und eine Displaysteuereinheit (58), die das festgehaltene Bild auf der Displayeinheit (7) anzeigt, wobei das erzeugte pseudo-dreidimensionale Bild auf das festgehaltene Bild überlagert ist.
Dreidimensionales Datenverarbeitungssystem (1) nach einem der Ansprüche 1 bis 8, wobei das dreidimensionale Muster dreidimensional angeordnete binäre Muster umfasst.
Dreidimensionales Datenverarbeitungssystem (1) nach einem der Ansprüche 1 bis 8, wobei das dreidimensionale Muster dreidimensional angeordnete Muster umfasst, in denen eine Mehrzahl von Farben kombiniert ist.
Dreidimensionales Datenverarbeitungssystem (1) nach einem der Ansprüche 1 bis 8, wobei das dreidimensionale Muster ein dreidimensionales Muster ist, in dem binäre Muster oder Muster, in denen eine Mehrzahl von Farben kombiniert sind, in einer dreidimensionalen Gitterform angeordnet sind, und die Mustererkennungseinheit (55) eine Position eines verschwindenden Punktes durch Durchführen einer Hough-Transformation in jedem partiellen Bild erhält, das von dem akquirierten festgehaltenen Bild ausgeschnitten ist und das Muster unter Verwendung des erhaltenen verschwindenden Punktes erkennt.
Dreidimensionales Datenverarbeitungssystem (1) nach Anspruch 7, wobei das dreidimensionale Objekt ein Organ ist und die interne Struktur ein Blutgefäß ist.
Dreidimensionales Datenverarbeitungsverfahren, umfassend Schritte: des Erzeugens dreidimensionaler Daten, in denen verschiedene dreidimensionale Muster jeweils zu einer Mehrzahl von Positionen von dreidimensionalen Daten hinzugefügt werden, die ein dreidimensionales Objekt in einem dreidimensionalen Koordinatensystem repräsentieren; Speichern der jeweils hinzugefügten dreidimensionalen Muster in einer Speichereinheit (52) in Assoziation mit Positionen in den dreidimensionalen Daten, zu denen die dreidimensionalen Muster hinzugefügt werden; Formen eines dreidimensionalen Modells unter Verwendung der dreidimensionalen Daten, zu denen die dreidimensionalen Muster hinzugefügt werden; Abbilden des dreidimensionalen Modells, das geformt wird und von dem ein gewünschter Teil ausgeschnitten oder eingeschnitten wird um ein festgehaltenes Bild zu akquirieren; Erkennen eines Musters in dem akquirierten festgehaltenen Bild; und Suchen nach dem dreidimensionalen Muster, das das erkannte Muster unter den dreidimensionalen Mustern umfasst, die in der Speichereinheit (52) gespeichert sind, und Assoziieren einer Position in den dreidimensionalen Daten, die in der Speichereinheit (52) in Assoziation mit dem dreidimensionalen Muster, nach dem gesucht wird, gespeichert sind, mit einer Position auf dem festgehaltenen Bild, in dem das Muster erkannt wird.
Computerlesbares Aufzeichnungsmedium, in dem ein dreidimensionales Datenverarbeitungsprogramm gespeichert ist, zum Bewirken, dass ein Computer ausführt: einen Datenerzeugungsprozess des Erzeugens dreidimensionaler Daten, in denen verschiedene dreidimensionale Muster jeweils zu einer Mehrzahl von Positionen dreidimensionaler Daten hinzugefügt werden, die ein dreidimensionales Objekt in einem dreidimensionalen Koordinatensystem repräsentieren; einen Speicherprozess des Speicherns der jeweils hinzugefügten dreidimensionalen Muster in einer Speichereinheit (52) in Assoziation mit Positionen in den dreidimensionalen Daten, zu denen die dreidimensionalen Muster hinzugefügt werden; einen dreidimensionalen Formungsprozess des Bewirkens, dass eine Formungsvorrichtung (3) ein dreidimensionales Modell unter Verwendung der dreidimensionalen Daten formt, zu dem die dreidimensionalen Muster hinzugefügt werden; einen Bildakquiseprozess des Akquirierens eines festgehaltenen Bildes, das durch Abbilden des dreidimensionalen Modells, das geformt wird und von dem ein gewünschter Bestandteil ausgeschnitten oder eingeschnitten wird, erhalten wird; einen Mustererkennungsprozess des Erkennens eines Musters in dem akquirierten festgehaltenen Bild; und einen Assoziationsprozess des Suchens unter den dreidimensionalen Mustern, die in der Speichereinheit (52) gespeichert sind, nach dem dreidimensionalen Muster, das das erkannte Muster enthält, und Assoziierens einer Position in den dreidimensionalen Daten, die in der Speichereinheit (52) in Assoziation mit dem dreidimensionalen Muster gespeichert sind, nach dem gesucht wird, mit einer Position auf dem festgehaltenen Bild, in dem das Muster erkannt wird.