-
HINTERGRUND
-
Die vorliegende Offenbarung betrifft eine Technik zum Anzeigen von medizinischen Informationen, die von einer für eine Operation oder Behandlung verwendeten medizinischen Vorrichtung erfasst wurden.
-
Die Japanische Ungeprüfte Patentanmeldung Veröffentlichungs-Nr.
2015-185125 offenbart ein medizinisches Informationssystem, das medizinische Informationen von medizinischen Vorrichtungen, die für eine Operation oder Behandlung verwendet werden, erfasst und Elemente der medizinischen Informationen zur Anzeige der integrierten medizinischen Informationen auf einem Bildschirm integriert.
-
ZUSAMMENFASSUNG
-
Diese Art von System wird für verschiedene Zwecke verwendet, einschließlich für Echtzeit-Erwägungen und zur Bereitstellung von Echtzeit-Unterstützung während einer Operation, einer Analyse nach einer Operation, einer Überprüfung, beispielsweise einer Konferenz, einer Unfalluntersuchung und für Schulungszwecke. Es gab Forderungen nach einfacher gemeinsamer Nutzung verschiedener Informationen unter denen, die an solchen Fällen beteiligt sind. Die Informationen, von denen erwartet wird, dass sie gemeinsam genutzt werden, umfassen verschiedene Informationen, die für Schulungszwecke und zur Erstellung von Referenzmaterial für Konferenzpräsentationen notwendig sind, wie etwa Einzelheiten zu Entscheidungen, die während einer Operation getroffen werden, Einzelheiten zu der während einer Operation bereitgestellten Unterstützung, Kommentare zu Einstellungsänderungen für medizinische Vorrichtungen, Kommentare zu Änderungen von Messwerten, Dinge, die die an einer Operation oder Behandlung beteiligten Personen während der Operation oder nach der Operation beobachtet haben.
-
Es ist wünschenswert, dass ein Aspekt der vorliegenden Offenbarung eine Technik zum einfachen Austauschen und Aufzeichnen von Kommentaren der Benutzer bezüglich Informationen, die von medizinischen Vorrichtungen erfasst wurden und auf einem Bildschirm angezeigt werden, bereitstellt.
-
Ein Aspekt der vorliegenden Offenbarung stellt eine Informationsintegrationsvorrichtung bereit, die einen Informationsspeicher, einen Hauptbildgenerator, einen Zieldesignator, eine Kommentareingabevorrichtung, einen Informationsgenerator und einen Kommentarbildgenerator umfasst.
-
Der Informationsspeicher ist zum Speichern von Vorrichtungsinformationen ausgelegt, die jeweils von zur Behandlung eines Patienten verwendeten medizinischen Vorrichtungen erfasst wurden. Jede Information wird im Zusammenhang mit einer entsprechenden ersten Kennzeichnungsinformation gespeichert. Jede der ersten Kennzeichnungsinformationen weist eine Erfassungszeit einer entsprechenden Vorrichtungsinformation und eine Art der entsprechenden Vorrichtungsinformation auf.
-
Der Hauptbildgenerator ist dazu ausgelegt, aus den Vorrichtungsinformationen, die im Informationsspeicher gespeichert sind, Elemente der Vorrichtungsinformationen mindestens einer Art, die jeweils die entsprechenden Kennzeichnungsinformationen, die auf eine identische Zeit hinweisen, aufweisen, zu extrahieren und Hauptbilddaten zum Anzeigen der extrahierten Elemente der Vorrichtungsinformationen auf einem einzelnen Bildschirm zu generieren.
-
Der Zieldesignator ist zum Designieren von Kommentarzielen in einem Bild auf dem Bildschirm, das auf Basis der Hauptbilddaten angezeigt wurde, ausgelegt. Die Kommentareingabevorrichtung ist zum Eingeben von Elementen von Kommentarinformationen, die mit den jeweiligen, vom Zieldesignator designierten Kommentarzielen in Zusammenhang stehen, ausgelegt.
-
Der Informationsgenerator ist dazu ausgelegt, jedes Element der Kommentarinformationen, die von der Kommentareingabevorrichtung eingegeben wurden, mit einer entsprechenden zweiten Kennzeichnungsinformation, die eine Identifikationsinformation zur Identifizierung eines entsprechenden der vom Zieldesignator designierten Kommentarziele aufweist, zu assoziieren und die assoziierten Elemente der Kommentarinformationen im Informationsspeicher zu speichern.
-
Der Kommentarbildgenerator ist dazu ausgelegt, wenn das auf Basis der Hauptbilddaten angezeigte Hauptbild mindestens eines der Kommentarziele aufweist, ein entsprechendes Element der Kommentarinformationen zu mindestens einem der Kommentarziele aus dem Informationsspeicher zu extrahieren und Kommentarbilddaten zum Anzeigen des entsprechenden extrahierten Elements der Kommentarinformationen zu generieren, so dass das entsprechende extrahierte Element der Kommentarinformationen mit dem mindestens einen der Kommentarziele im Hauptbild assoziiert wird.
-
Die oben beschriebene Konfiguration macht es möglich, beispielsweise eine Informationsart, die nicht aus den Vorrichtungsinformationen ausgelesen werden kann, als Kommentarinformation einfach aufzuzeichnen. Darüber hinaus wird die Kommentarinformation in Zusammenhang mit den entsprechenden Vorrichtungsinformationen angezeigt, was es einem Betrachter des Anzeigebildschirms wiederum ermöglicht, das Ziel des Kommentars klar zu erkennen.
-
Figurenliste
-
Beispielhafte Ausführungsformen der vorliegenden Offenbarung werden hiernach beispielhaft mit Bezug auf die beiliegenden Zeichnungen beschrieben. In den Zeichnungen zeigen:
- 1 ein Blockdiagramm, das eine Konfiguration einer Informationsintegrationsvorrichtung zeigt;
- 2 ein Funktionsblockdiagramm, das Funktionen der Informationsintegrationsvorrichtung zeigt;
- 3 ein erläuterndes Diagramm, das eine Struktur von gekennzeichneten Vorrichtungsinformationen zeigt;
- 4 ein erläuterndes Diagramm, das eine Struktur von gekennzeichneten Kommentarinformationen zeigt;
- 5 ein Flussdiagramm, das einen Prozess zur Generierung von Vorrichtungsinformationen zeigt;
- 6 ein Flussdiagramm, das einen Anzeigeprozess zeigt;
- 7 ein erläuterndes Diagramm, das Informationen zeigt, die im Anzeigeprozess ausgelesen werden;
- 8 ein erläuterndes Diagramm, das ein Beispiel eines Layouts eines Hauptbilds zeigt;
- 9 ein erläuterndes Diagramm, das eine Ereignisliste zeigt;
- 10 ein Flussdiagramm, das einen Kommentarhinzufügungsprozess zeigt; und
- 11 ein erläuterndes Diagramm, das ein Anzeigebeispiele der Kommentarinformationen zeigt.
-
DETAILLIERTE BESCHREIBUNG BEISPIELHAFTER AUSFÜHRUNGSFORMEN
-
[1. Gesamtkonfiguration]
-
Eine Informationsintegrationsvorrichtung 1 integriert verschiedene Arten von Informationen, die in einem Operationssaal zur Verfügung stehen, speichert die integrierten Informationen und zeigt die integrierten Informationen an. Die Informationsintegrationsvorrichtung 1 wird beispielsweise für Echtzeit-Erwägungen und zur Bereitstellung von Echtzeit-Unterstützung während einer Operation, für eine Analyse nach einer Operation und für Schulungszwecke verwendet.
-
Wie in 1 gezeigt wird, umfasst die Informationsintegrationsvorrichtung 1 eine Vorrichtungsgruppe 2, einen Server 3 und Terminals 5.
-
[2. Vorrichtungsgruppe]
-
Wie in 2 gezeigt wird, umfasst die Vorrichtungsgruppe 2 die Vorrichtungen 21A bis 21H. Jede der Vorrichtungen 21A bis 21H generiert Daten und führt die Daten dem Server 3 zu. Zum Verweis auf eine der Vorrichtungen 21A bis 21H ohne genaue Angabe, um welche der Vorrichtungen 21A bis 21H es sich handelt, wird die Vorrichtung hiernach als Vorrichtung 21 bezeichnet.
-
Die Vorrichtung 21 ist ein medizinisches System, eine medizinische Einrichtung usw., das bzw. die bei einer Operation oder Behandlung verwendet wird. Insbesondere umfassen Beispiele des medizinischen Systems ein Gerät zur Überwachung biologischer Informationen, ein Gerät zur Überwachung der Atemfunktion, ein Gerät zur Überwachung der Kreislaufdynamik, ein Gerät zur Überwachung von Sedierung, eine Anästhesievorrichtung, eine Infusionspumpe, eine Spritze, eine Blutreinigungsvorrichtung, eine Herz-Lungen-Maschine und eine ventrikuläre Unterstützungsvorrichtung. Beispiele der medizinischen Einrichtung umfassen ein chirurgisches Navigationssystem (hiernach chirurgischer Navigator), eine Internet-Protokoll- (IP) Kamera, ein medizinisches Gassystem, ein Endoskop, ein Mikroskop, ein elektrisches Skalpell, einen Bohrer und ein Ultraschallbestrahlungsgerät. Beispiele der Vorrichtung 21 können auch eine Klimaanlage und ein isoliertes Stromversorgungssystem umfassen.
-
Beispiele der Daten, die von der Vorrichtung 21 zugeführt werden (hiernach Vorrichtungsinformationen), umfassen von der Vorrichtung 21 erhaltene Messwerte, von der Vorrichtung 21 ausgegebene bewegte Bilder und Standbilder, einen Vorrichtungsstatus der Vorrichtung 21, wie etwa Benutzungsstatus und Fehler, Sollwerte der Vorrichtung 21 und Sollwerte für Parameter, die von der Vorrichtung 21 behandelt werden.
-
Der chirurgische Navigator erfasst dreidimensionale Positionen und Stellungen eines chirurgischen Instruments während der Operation. Beispiele des chirurgischen Instruments umfassen das Mikroskop zusätzlich zum elektrischen Skalpell und einer Zange. Als ein Verfahren zur Erfassung der dreidimensionalen Positionen und Stellungen des chirurgischen Instruments ist es denkbar, dass das Verfahren beispielsweise das Anbringen von Kennzeichnungen im Voraus an vorgegebenen Positionen des chirurgischen Instruments, das Bestimmen von Vektoren von im Voraus definierten Bezugspositionen in einem Raum, in dem die Operation durchgeführt wird, zu einer bestimmten Position des chirurgischen Instruments zur Identifizierung der dreidimensionalen Position des chirurgischen Instruments, und die Identifizierung der Stellung des chirurgischen Instruments aus einer Positionsbeziehung zwischen den Kennzeichnungen umfasst. Ein Brennpunkt des Mikroskops kann als dreidimensionale Position identifiziert werden. In diesem Fall steht der Brennpunkt des Mikroskops mit einem dreidimensionalen Bild eines betroffenen Bereichs eines Patienten in Zusammenhang, das im Voraus beispielsweise mittels Computertomographie (CT) oder Magnetresonanztomographie (MRT) zur Identifizierung der dreidimensionalen Position erfasst wurde.
-
[3. Server]
-
Der Server 3 umfasst eine Datenbank 31 und einen Serverprozessor 32. Die Datenbank 32 wird beispielsweise durch ein Festplattenlaufwerk (HDD) realisiert und weist, wie es in 2 gezeigt wird, mindestens einen Vorrichtungsinformationsbereich 45, einen Kommentarinformationsbereich 46 und einen Ereignisinformationsbereich 47 auf. Gekennzeichnete Vorrichtungsinformationen T_Idv werden im Vorrichtungsinformationsbereich 45 gespeichert, gekennzeichnete Kommentarinformationen T_Icm werden im Kommentarinformationsbereich 46 gespeichert und eine Ereignisliste L wird im Ereignisinformationsbereich 47 gespeichert. Die gekennzeichneten Vorrichtungsinformationen T_Idv und die gekennzeichneten Kommentarinformationen T_Icm werden gemeinsam auch als integrierte Informationen bezeichnet. Der Server 3 entspricht einem Beispiel des Informationsspeichers.
-
Wie in 3 gezeigt wird, umfassen die gekennzeichneten Vorrichtungsinformationen T_Idv erste Kennzeichnungsinformationen T1 und die Vorrichtungsinformationen Idv.
-
Die Vorrichtungsinformationen Idv werden von der Vorrichtung 21 der Vorrichtungsgruppe 2 beispielsweise während der Operation erfasst und umfassen insbesondere Messwerte, Sollwerte und Bilddaten.
-
Die ersten Kennzeichnungsinformationen T1 sind Informationen in Bezug auf die Vorrichtungsinformationen Idv und umfassen mindestens eine Zeitkennzeichnung T11 und eine Datenartkennzeichnung T12. Die Zeitkennzeichnung T11 weist auf die Zeit hin, zu der die Vorrichtungsinformationen Idv erfasst wurden (hiernach erfasste Zeit). Die Datenartkennzeichnung T12 umfasst Identifikationsinformationen zur Identifizierung der Vorrichtung 21, in der die Vorrichtungsinformationen Idv generiert werden. In einem Fall, in dem zwei oder mehr Elemente der Vorrichtungsinformationen Idv von einer Vorrichtung 21 erfasst werden, umfasst jede der Datenartkennzeichnungen T12 auch Identifikationsinformationen zum Unterscheiden der Vorrichtungsinformationen Idv von anderen Elementen der Vorrichtungsinformationen Idv.
-
Wie in 4 gezeigt wird, umfassen die gekennzeichneten Kommentarinformationen T_Icm zweite Kennzeichnungsinformationen T2 und Kommentarinformationen Icm..
-
Die Kommentarinformationen Icm werden über den Terminal 5 während der Operation oder nach der Operation eingegeben und umfassen insbesondere Textdaten, Audiodaten und Bilddaten. Die Bilddaten können Bitmap-Daten von handschriftlichen Briefen und von manuellen Zeichnungen enthalten.
-
Die zweiten Kennzeichnungsinformationen T2 sind Informationen bezüglich der Kommentarinformationen Icm und umfassen mindestens eine Zielkennzeichnung T21, eine Zeitkennzeichnung T22 und eine Kommentarartkennzeichnung T24.
-
Die Kommentarzielkennzeichnung T21 umfasst Informationen zur Identifizierung eines Kommentarziels. Beispiele des Kommentarziels umfassen eine Gesamtheit oder einen Teil der durch die Datenartkennzeichnung T12 identifizierten Vorrichtungsinformationen Idv, und eine Gesamtheit von Informationen, in denen keine Vorrichtungsinformationen Idv identifiziert sind (d.h. ein kompletter Bildschirm, in dem Elemente der Vorrichtungsinformationen Idv angezeigt werden). In einem Fall, in dem die Vorrichtungsinformationen Idv ein Messwert sind, der von der Vorrichtung 21 erhalten wurde, und der Messwert in Form von Zahlen oder einer Grafik angezeigt wird, umfasst der „Teil der Vorrichtungsinformationen Idv“ die angezeigten Zahlen oder die Grafik.
-
Die Zeitkennzeichnung T22 weist auf die erfasste Zeit des Kommentarziels hin. Das heißt, die Zeitkennzeichnung T22 weist auf die gleiche Zeit hin, wie die Zeit, auf welche die oben beschriebene Zeitkennzeichnung T11 hingewiesen hat. Mit anderen Worten sind die gekennzeichneten Kommentarinformationen T_Icm aufgrund der Kommentarzielkennzeichnung T21 und der Zeitkennzeichnung T22 mit den gekennzeichneten Vorrichtungsinformationen T Idv assoziiert.
-
Die Zeitkennzeichnung T23 weist auf die Zeit hin, zu der das Kommentarziel bei der Eingabe der Kommentarinformationen Icm designiert wird. Die Zeitkennzeichnung T23 weist auf die aktuelle Zeit hin, zu der die integrierten Informationen reproduziert werden (hiernach reproduzierte Zeit). In einem Fall, in dem die integrierten Informationen in Echtzeit reproduziert werden, d.h. in einem Fall, in dem die integrierten Informationen gleichzeitig generiert und reproduziert werden, kann der Wert der Zeitkennzeichnung T23 dem der Zeitkennzeichnung T22 gleichen.
-
Die Kommentarartkennzeichnung T24 umfasst Informationen, die auf die Form der Kommentarinformationen Icm hinweisen, und das Beispiel davon umfasst Textdaten, Audiodaten, Bilddaten, Spracherkennungsdaten und Bewegungsanalysedaten.
-
Wie in 9 gezeigt wird, umfasst die Ereignisliste L mindestens „Eintrittszeit“, „Ereigniskategorie“, „Ereignisersteller“, „Ereignisbeschreibung“ und „reproduzierte Zeit“ als Informationen. Die „Eintrittszeit“ ist die Zeit, zu der ein Ereignis stattfindet, und sie weist auf einen Zeitpunkt auf der gleichen Zeitachse wie die erfasste Zeit hin. Die „Ereigniskategorie“ zeigt die Kategorie des eingetretenen Ereignisses und weist insbesondere darauf hin, welche Vorrichtung 21 an dem Ereignis beteiligt ist. Der „Ereignisersteller“ weist darauf hin, wer den Terminal 5 zur Erzeugung des Ereignisses bedient hat, wenn das Ereignis durch eine Eingabe vom Terminal 5 erzeugt wird.
-
Der „Ereignisersteller“ kann über den Terminal 5 eingegeben werden, oder Informationen bezüglich eines Benutzers des Terminals 5, die im Voraus registriert wurden, können vom Terminal 5 erfasst werden. Die „Ereignisbeschreibung“ zeigt Einzelheiten des eingetretenen Ereignisses, und sie zeigt den Inhalt eines eingegebenen Kommentars, wenn das Ereignis eine Eingabe eines Kommentarereignisses ist, was später noch beschrieben werden wird. Die „reproduzierte Zeit“ ist die Zeit, zu der ein Ereignis registriert wird, in einem Fall, in dem das Ereignis zusätzlich auf der Ereignisliste L registriert wird, während die integrierten Informationen reproduziert werden, und sie weist auf die aktuelle Zeit hin, zu der die integrierten Informationen reproduziert werden.
-
Die Zellen für den „Ereignisersteller“ und die „Ereignisbeschreibung“ werden über den Terminal 5 auf geeignete Weise ausgefüllt.
-
Wieder bezugnehmend auf 1 umfasst der Serverprozessor 32 einen Mikrocomputer mit einem Hauptprozessor 321 und Halbleiterspeichern, wie etwa ein RAM oder ein ROM (hiernach Speicher 322).
-
Wie in 2 gezeigt wird, umfasst der Serverprozessor 32 funktional die Provider 41A bis 41H und eine Middleware 42. Zum Verweis auf einen der Provider 41A bis 41H ohne genaue Identifizierung des jeweiligen Providers 41A bis 41H wird der Provider hiernach als ein Provider 41 bezeichnet.
-
Mit jedem der Provider 41A bis 41H ist eine der Vorrichtungen 21A bis 21H verbunden. Die Provider 41 übertragen Informationen an die angeschlossene Vorrichtung 21 und empfangen Informationen von dieser.
-
Die Middleware 42 ist eine Kommunikationsschnittstelle, die zusammen mit den Providern 41A bis 41H ein einheitliches Zugriffsmittel auf verschiedene, mit den entsprechenden Providern 41A bis 41H verbundenen Arten der Vorrichtungen 21A bis 21H bereitstellt, unabhängig von Unterschieden der Programmiersprachen und Kommunikationsprotokolle. In der vorliegenden Ausführungsform wird ein Open Resource Interface for Network (ORiN) als Middleware 42 verwendet.
-
Die Middleware 42 umfasst mindestens eine Vorrichtungsinformationen generierende Funktion 421 zum Generieren der gekennzeichneten Vorrichtungsinformationen T_Idv und eine Uhrfunktion 422 zum Bereitstellen der aktuellen Zeit auf Befehl.
-
[3-1. Verarbeitung von Vorrichtungsinformationen]
-
Bezugnehmend auf das Flussdiagramm in 5 wird nachfolgend die Verarbeitung (hiernach Verarbeitung von Vorrichtungsinformationen) beschrieben, die zur Implementierung der Vorrichtungsinformationen generierenden Funktion 421 der Middleware 42 des Serverprozessors 32 durchgeführt wird. Die vorliegende Verarbeitung wird in jedem der Provider 41A bis 41H durchgeführt, wenn der Server 3 eingeschaltet wird.
-
In S110 bestimmt der Serverprozessor 32, ob die Vorrichtung 21 mit dem Prozessor 41, in dem die vorliegende Verarbeitung durchgeführt wird, verbunden ist. Wenn der Serverprozessor 32 bestimmt, dass die Vorrichtung 21 nicht verbunden ist, wiederholt der Serverprozessor 32 denselben Schritt, während er darauf wartet, dass die Vorrichtung 21 verbunden wird. Wenn der Serverprozessor 32 bestimmt, dass die Vorrichtung 21 verbunden ist, fährt der Prozess mit S120 fort.
-
In S120 erfasst der Serverprozessor 32 die Vorrichtungsinformationen Idv von der Vorrichtung 21 über den Provider 41. Die von einer Vorrichtung 21 erfassten Vorrichtungsinformationen Idv können eine Art von Vorrichtungsinformationen oder zwei oder mehr Arten von Vorrichtungsinformationen sein.
-
Anschließend erfasst in S130 der Serverprozessor 32 die aktuelle Zeit zum Generieren der Zeitkennzeichnung T11, und er fügt die Zeitkennzeichnung T11 den in S110 erfassten Vorrichtungsinformationen Idv hinzu. Die aktuelle Zeit kann unter Verwendung der Uhrfunktion 422 des Mikrocomputers erfasst werden, oder es können Zeitinformationen verwendet werden, die auf die erfasste Zeit der Vorrichtungsinformationen Idv hinweisen, die von der Vorrichtung 21 zusammen mit den Vorrichtungsinformationen Idv bereitgestellt werden.
-
Anschließend fügt in S140 der Serverprozessor 32 die Datenartkennzeichnung T12, die auf die Art der Vorrichtungsinformationen Idv hinweist, den in S120 erfassten Vorrichtungsinformationen Idv hinzu. Unter den im Voraus erstellten Datenartkennzeichnungen T12 wird in Abhängigkeit von der mit dem Provider 41 verbundenen Vorrichtung 21 eine geeignete Datenartkennzeichnung T12 verwendet.
-
Anschließend speichert in S150 der Serverprozessor 32 die gekennzeichneten Vorrichtungsinformationen T Idv, in denen die ersten Kennzeichnungsinformationen, einschließlich der Zeitkennzeichnung T11 und der Datenartkennzeichnung T12 den Vorrichtungsinformationen Idv bei der oben beschriebenen Verarbeitung hinzugefügt wurden, im Vorrichtungsinformationsbereich 45 der Datenbank 31.
-
Anschließend bestimmt in S160 der Serverprozessor 32, ob ein Ereignis in Bezug auf die Vorrichtungsinformationen Idv eingetreten ist. Ein Ereignis tritt ein, wenn die Vorrichtungsinformationen Idv eine vorgegebene Ereignisbedingung erfüllen. Die Ereignisbedingung kann beispielsweise in einem Fall vorliegen, in dem die Vorrichtungsinformationen Idv ein Messwert sind, wobei der Messwert oder ein Differenzwert oder ein integrierter Wert des Messwerts einen festgelegten Schwellenwert überschreitet. Die Ereignisbedingung ist aber nicht darauf beschränkt.
-
Wenn der Serverprozessor 32 bestimmt, dass ein Ereignis eingetreten ist, fährt der Prozess mit S170 fort. Wenn der Serverprozessor 32 bestimmt, dass kein Ereignis eingetreten ist, fährt der Prozess mit S180 fort.
-
In S170 registriert der Serverprozessor 32 Ereigniseintrittsinformationen, die auf die Zeit hinweisen, zu der das Ereignis eingetreten ist, und Ereigniszielinformationen, die auf die Vorrichtungsinformationen Idv hinweisen, bezüglich derer das Ereignis eingetreten ist, in der im Ereignisinformationsbereich 47 gespeicherten Ereignisliste L. Dann fährt der Prozess mit S180 fort.
-
In S180 bestimmt der Serverprozessor 32, ob die Generierung der Vorrichtungsinformationen Idv beendet werden soll. Insbesondere bestimmt der Serverprozessor 32, ob ein Befehl zum Beenden der Verarbeitung über die Terminals 5 eingegeben wurde. Wenn der Serverprozessor 32 bestimmt, dass die Generierung der Vorrichtungsinformationen Idv fortgesetzt wird, kehrt der Prozess zu S110 zurück. Wenn der Serverprozessor 32 bestimmt, dass die Generierung der Vorrichtungsinformationen Idv beendet werden soll, wird die Verarbeitung beendet.
-
[4. Terminals]
-
Wie in 1 gezeigt wird, umfasst jeder der Terminals 5 eine Anzeige 51, eine Eingabevorrichtung 52 und einen Terminalprozessor 53. Alle Terminals 5 haben die gleichen Konfigurationen.
-
Die Anzeige 51 ist beispielsweise eine Flüssigkristallanzeige nach Art eines berührungsempfindlichen Bildschirms und kann dreidimensionale Bilder anzeigen, wie etwa multiplanare Rekonstruktionsbilder (MPR), Wellenformbilder und Werte, die auf Messergebnisse hinweisen, wie etwa biologische Informationen, verschiedene Bedienungstasten, Sollwerte für jedes Ausrüstungsteil und Anzeigeeinstellwerte.
-
Die Eingabevorrichtung 52 ist beispielsweise eine Eingabeausrüstung, wie etwa der an der oben beschriebenen Flüssigkristallanzeige bereitgestellte berührungsempfindliche Bildschirm, eine Tastatur, eine Maus, ein Mikrofon, eine Kamera und ein Bewegungssensor. Die Eingabevorrichtung 52 gibt beispielsweise Textdaten, Positionsdaten, Audiodaten und Bilddaten, entsprechend Eingabevorgängen durch die oben erwähnte Eingabeausrüstung, an den Terminalprozessor 53 aus.
-
Der Terminalprozessor 53 umfasst einen Mikrocomputer mit einem Hauptprozessor 531 und Halbleiterspeichern, wie etwa ein RAM oder ein ROM (hiernach Speicher 532). Der Terminalprozessor 53 führt eine oder mehrere Anwendung(en) (hiernach AP) bezüglich der in der Datenbank 31 des Servers 3 gespeicherten Informationen aus. Wie in 2 gezeigt wird, führt der Terminalprozessor 53 in der vorliegenden Ausführungsform mindestens eine Anzeige-AP 61, eine Spracherkennungs-AP 62, eine Bewegungsanalysen-AP 63, eine Kommentarhinzufügungs-AP 64 und eine Layoutänderungs-AP 65 aus.
-
Die Spracherkennungs-AP 62 dient der Durchführung eines Spracherkennungsprozesses in Bezug auf die mit dem Mikrofon, das zu der Eingabeausrüstung der Eingabevorrichtung 52 gehört, empfangene Stimme des Benutzers, um die Spracherkennungsdaten zu generieren, die je nach Erkennungsergebnis die Form eines Befehls oder von Textdaten aufweisen, und die Spracherkennungsdaten in Kombination mit der Stimme, die den Spracherkennungsprozess durchlaufen hat, auszugeben.
-
Die Bewegungsanalyse-AP 63 dient der Analyse von Bewegungsbildern des Benutzers (beispielsweise Bewegung von Hand bzw. Händen, Gesicht, Kopf usw.), die von der Kamera, die zur Eingabeausrüstung der Eingabevorrichtung 52 gehört, erfasst wurden, um die Bewegungsanalysedaten zu generieren, die je nach Analyseergebnis die Form eines Befehls oder von Textdaten aufweisen, und die Bewegungsanalysedaten in Kombination mit den Bildern, welche die Analyse durchlaufen haben, auszugeben.
-
Mit anderen Worten ermöglichen die Eingabevorrichtung 52, die Spracherkennungs-AP 62 und die Bewegungsanalyse-AP 63 des Terminals 5 einen kontaktfreien Eingabevorgang.
-
[4-1. Anzeigeprozess]
-
Bezugnehmend auf das Flussdiagramm in 6 wird nachfolgend ein Prozess (hiernach Anzeigeprozess) beschrieben, der von dem die Anzeige-AP 61 ausführenden Terminalprozessor 53 durchgeführt wird.
-
Der Anzeigeprozess wird während eines Zeitraums ab der Eingabe eines Befehls zum Beginnen der Anzeige über die Eingabevorrichtung 52 bis zu Eingabe eines Befehls zum Beenden der Anzeige in einem vorgegebenen Zyklus wiederholt. Im Anzeigeprozess werden die Vorrichtungsinformationen Idv und die Kommentarinformationen Icm, die der Zeit S entsprechen, designiert durch die Eingabevorrichtung 52, auf einem Anzeigebildschirm der Anzeige 51 auf Basis der in der Datenbank 31 gespeicherten integrierten Informationen gezeigt. In einem Betriebsmodus, in dem Standbilder angezeigt werden, wird die Zeit S gemäß einer Eingabe von der Eingabevorrichtung 52 geändert, während in einem Betriebsmodus, in dem bewegte Bilder angezeigt werden, die Zeit S synchron mit dem Anzeigezyklus automatisch aktualisiert wird, nachdem ein Anfangswert von der Eingabevorrichtung 52 eingegeben wurde.
-
In S210 erfasst der Terminalprozessor 53 die Zeit S.
-
Anschließend erfasst in S220 der Terminalprozessor 53 für jede Vorrichtungsart und für jede Kommentarart die Vorrichtungsinformationen Idv mit der Zeitkennzeichnung T11 und die Kommentarinformationen Icm mit der Zeitkennzeichnung T22, wobei die Zeitkennzeichnung T11 und die Zeitkennzeichnung T12 auf die letzten Zeitpunkte vor der Zeit S hinweisen, aus der Datenbank 31. In einer Suche für die neuesten Informationen kann eine Suchgrenze definiert werden, bis zu der die Suche zurückgehen kann.
-
Wie es beispielsweise in 7 gezeigt wird, wird angenommen, dass die Datenbank 31 vier Arten von Vorrichtungsinformationen Idv, die als A bis D bezeichnet werden, und zwei Arten von Kommentarinformationen Icm, die als a und c bezeichnet werden, speichert. Wie in 7 gezeigt wird, werden in einem Fall, in dem die Zeit S X Millisekunden nach 9:00 ist, die Stundeneinheit und die Minuteneinheit weggelassen und die Millisekundeneinheit „X“ wird gezeigt. Mit anderen Worten zeigt die Zahlenreihe in Spalte A in 7 den Inhalt der Zeitkennzeichnung T11, die den Vorrichtungsinformationen Idv einer Vorrichtungsart A hinzugefügt wurde.
-
In einem Fall, in dem die Zeit S „100“ ist, sind Elemente der Vorrichtungsinformationen Idv mit der letzten Zeitkennzeichnung T11 vor der Zeit S, wie es mit Kreisen in 7 gezeigt wird: Die Vorrichtungsinformationen Idv mit der Zeitkennzeichnung T11, die auf „97“ für die Vorrichtungsart A hinweist; die Vorrichtungsinformationen Idv mit der Zeitkennzeichnung T11, die auf „100“ für eine Vorrichtungsart B hinweist; die Vorrichtungsinformationen Idv mit der Zeitkennzeichnung T11, die auf „99“ für eine Vorrichtungsart C hinweist; und die Vorrichtungsinformationen Idv mit der Zeitkennzeichnung T11, die auf „98“ für eine Vorrichtungsart D hinweist.
-
Die Kommentarinformationen Icm mit der letzten Zeitkennzeichnung T22 vor der Zeit S für die Vorrichtungsart a sind die Kommentarinformationen mit der Zeitkennzeichnung T22, die auf „93“ hinweist. 7 zeigt, dass es keine zutreffenden Kommentarinformationen Icm für die Vorrichtungsart c innerhalb eines durch die Suchgrenze definierten Suchbereichs gibt.
-
Anschließend generiert in S230 der Terminalprozessor 53 Hauptbilddaten zur Anzeige der Vorrichtungsinformationen Idv, die in S220 ausgelesen wurden, im Einklang mit einem zu diesem Zeitpunkt festgelegten Layout. Hiernach wird ein auf Basis der Hauptbilddaten angezeigtes Bild als Hauptbild bezeichnet.
-
Das oben erwähnte Layout ist eine Kombination aus folgenden Elementen:
- (1) Weg zum Teilen eines Anzeigebereichs des Anzeigebildschirms; (2) Arten der Vorrichtungsinformationen Idv und Anzahl von Elementen der Vorrichtungsinformationen Idv, die gleichzeitig in jedem der geteilten Bereich angezeigt werden sollen; und (3) Form (ein Bild, ein numerischer Wert, eine Grafik usw.) der Vorrichtungsinformationen Idv, die in jedem der geteilten Bereiche angezeigt werden sollen.
-
Wie in 8 gezeigt wird, kann ein Beispiel des Layouts des Hauptbilds einen Monitorbereich A1, einen Videobereich A2, einen Navigationsbildbereich A3 und einen Zeitbereich A4 aufweisen. Der Monitorbereich A1 zeigt beispielsweise Grafiken zur Überwachung der biologischen Informationen. Im Monitorbereich A1 werden die biologischen Informationen in Form von numerischen Werten und Grafiken angezeigt.
-
Der Videobereich A2 zeigt beispielsweise bewegte Bilder eines von der Kamera erfassten Behandlungsziels. Der Navigationsbereich A3 zeigt die vom chirurgischen Navigator nachgewiesene dreidimensionale Position in Kombination mit dreidimensionalen Bildern des im Voraus vorbereiteten betroffenen Bereichs. Im Navigationsbildbereich A3 werden drei Querschnittsbilder (hiernach Navigationsbilder) in einer Dreifachansichtsweise angezeigt, die jeweils die nachgewiesene dreidimensionale Position in einem sich von den anderen unterscheidenden Querschnitt zeigen.
-
Der Zeitbereich A4 zeigt eine Zeitspanne, in der eine chronologische Reihenfolge der integrierten Informationen existiert, die in Form einer Zeitachse ausgedrückt wird und die Zeit S auf der Zeitachse S zeigt. Im Zeitbereich A4 können ballonförmige Indikatoren zusammen mit der Zeitachse angezeigt werden, um den Zeitpunkt des Eintretens von Ereignissen zu zeigen. Die Einstellung und Änderung des Layouts erfolgen durch Ausführen der Layoutänderungs-AP 65, die gesondert bereitgestellt wird.
-
Wieder bezugnehmend auf 6 generiert anschließend in S240 der Terminalprozessor 53 Kommentarbilddaten zum Anzeigen der Kommentarinformationen Icm, die in S220 ausgelesen wurden, in Kombination mit dem Hauptbild. Hiernach wird ein auf Basis der Kommentarbilddaten angezeigtes Bild als ein Kommentarbild bezeichnet. Die Anzeigeposition und das Anzeigeformat des Kommentarbilds im Hauptbild werden im Voraus gemäß der Kommentarart der Kommentarinformationen Icm und der Datenart der Vorrichtungsinformationen Idv festgelegt, designiert als Kommentarziel. Es kann eine Anwendung geben, die spezifisch zum Ändern der Anzeigeposition und des Anzeigeformats des Kommentarbilds bestimmt ist.
-
Anschließend gibt in S250 der Terminalprozessor 53 die in S230 generierten Hauptbilddaten und die in S240 generierten Kommentarbilddaten an die Anzeige 51 aus, so dass das Hauptbild und das Kommentarbild auf dem Anzeigebildschirm der Anzeige 51 angezeigt werden. Dann endet der Prozess vorübergehend.
-
S210 bis S230 entsprechen einem Beispiel des Hauptbildgenerators und S210 bis S220 und S240 entsprechen einem Beispiel des Kommentarbildgenerators.
-
[4-2. Prozess zum Hinzufügen von Kommentaren]
-
Bezugnehmend auf das Flussdiagramm in 10 wird nachfolgend ein Prozess (hiernach Prozess zum Hinzufügen von Kommentaren) beschrieben, der von dem die Anzeige-AP 61 ausführenden Terminalprozessor 53 durchgeführt wird. Der vorliegende Prozess wird während der Durchführung des Anzeigeprozesses wiederholt.
-
In S310 bestimmt der Terminalprozessor 53, ob eine Eingabe „Alle Designieren“ durch die Eingabevorrichtung 52 eingegeben wurde, um alle auf dem Bildschirm der Anzeige 51 (hiernach Anzeigebildschirm) angezeigten Informationen (hiernach „alle“) als Kommentarziel zu designieren. Wenn der Terminalprozessor 53 bestimmt, dass die Eingabe „Alle Designieren“ eingegeben wurde, fährt der Prozess mit S340 fort. Wenn der Terminalprozessor 53 bestimmt, dass die Eingabe „Alle Designieren“ nicht eingegeben wurde, fährt der Prozess mit S320 fort.
-
In S340 erfasst der Terminalprozessor 53 die erfasste Zeit, entsprechend einem Zeitpunkt, zu dem die Eingabe „Alle Designieren“ eingegeben wurde, um die Zeitkennzeichnung T22 zu generieren, und er erfasst die reproduzierte Zeit, entsprechend dem oben erwähnten Zeitpunkt, um die Zeitkennzeichnung T23 zu generieren. Die hier erwähnte erfasste Zeit ist die Zeit S, die zuletzt in S210 des vor dem oben erwähnten Zeitpunkt durchgeführten Anzeigeprozesses erfasst wurde, oder die von der Zeitkennzeichnung T11 angezeigte Zeit im Zusammenhang mit den Vorrichtungsinformationen Idv, die zum oben erwähnten Zeitpunkt angezeigt werden. Die hier erwähnte reproduzierte Zeit ist die aktuelle Zeit, die zum oben erwähnten Zeitpunkt von der Uhrfunktion 422 erfasst wurde.
-
Anschließend generiert in S350 der Terminalprozessor 53 die Kommentarzielkennzeichnung T21, die darauf hinweist, dass das Kommentarziel „alle“ ist, und er fährt dann mit S430 fort.
-
In S320 bestimmt der Terminalprozessor 53, ob eine Positionseingabe, die auf eine Position auf dem Anzeigebildschirm hinweist, über die Eingabevorrichtung 52 eingegeben wurde. Die von der Positionseingabe angezeigte Position kann eine Position sein, die über den berührungsempfindlichen Bildschirm des Anzeigebildschirms eingegeben wurde, oder eine Position eines Cursors auf dem Anzeigebildschirm, die durch Bedienung der Maus oder der Tastatur angezeigt wird.
-
Darüber hinaus kann in einem Fall, in dem der Navigationsbildbereich A4 im Hauptbild enthalten ist, die Position die dreidimensionale Position sein, die in den Navigationsbildern gezeigt wird. Insbesondere befindet sich die dreidimensionale Position in der Mitte jedes der Navigationsbilder, wo sich Hilfslinien schneiden, was in jeder der Dreifachansichten zu sehen ist. Wenn der Terminalprozessor 53 bestimmt, dass die Positionseingabe eingegeben wurde, fährt der Prozess mit S360 fort. Wenn der Terminalprozessor 53 bestimmt, dass die Positionseingabe nicht eingegeben wurde, fährt der Prozess mit S330 fort.
-
In S360 erfasst der Terminalprozessor 53 die erfasste Zeit und die reproduzierte Zeit, entsprechend einem Zeitpunkt, zu dem die Positionseingabe über die Eingabevorrichtung 52 eingegeben wurde, und generiert die Zeitkennzeichnungen T22 und T23 auf dieselbe Weise wie in S340.
-
Anschließend bestimmt in S370 der Terminalprozessor 53, ob die auf den Messwert oder eine Wellenform (hiernach Wellenform der dergleichen) hinweisenden Zahlen in einer designierten Position auf dem Anzeigebildschirm angezeigt werden, wie durch die Positionseingabe vorgegeben. Das heißt, der Terminalprozessor 53 bestimmt, ob die Wellenform oder dergleichen durch die Positionseingabe designiert wird. Wenn der Terminalprozessor 53 bestimmt, dass die Wellenform oder dergleichen nicht designiert wird, fährt der Prozess mit S380 fort. Wenn der Terminalprozessor 53 bestimmt, dass die Wellenform oder dergleichen designiert wird, fährt der Prozess mit S390 fort.
-
In S380 identifiziert der Terminalprozessor 53 die designierte Position und die Art der in der designierten Position angezeigten Vorrichtungsinformationen Idv auf Basis des Layouts des Hauptbilds zu diesem Zeitpunkt. Die Art der Vorrichtungsinformationen Idv wird durch die Datenartkennzeichnung T12 in Zusammenhang mit den Vorrichtungsinformationen Idv angezeigt. Darüber hinaus generiert der Terminalprozessor 53 die Kommentarzielkennzeichnung T21, die darauf hinweist, dass die identifizierten Vorrichtungsinformationen Idv das Kommentarziel sind, und er fährt dann mit S420 fort.
-
In S390 generiert der Terminalprozessor 53 die Kommentarzielkennzeichnung T21, die darauf hinweist, dass die durch die Positionseingabe designierte Wellenform oder dergleichen das Kommentarziel ist, und er fährt dann mit S420 fort.
-
In S380 und S390 kann die Kommentarzielkennzeichnung T21 Informationen enthalten, die auf die designierte Position hinweisen, unter Verwendung von Informationen über relative Positionen der Komponenten des Kommentarziels im Anzeigebereich, der dem Kommentarziel zugeordnet wurde. Diese Informationen sollen verhindern, dass die Beziehung zwischen den angezeigten Komponenten im Anzeigebereich und der designierten Position bei einer Änderung des Layouts verändert wird.
-
In S330 bestimmt der Terminalprozessor 53, ob eine Kommentarereigniseingabe, bei der es sich um einen Vorgang zur Eingabe eines Kommentars über die Eingabevorrichtung 52 handelt, eingegeben wurde. Insbesondere bestimmt der Terminalprozessor 53, dass die Kommentarereigniseingabe eingegeben wurde, wenn eine Taste zum Hinzufügen eines Ereignisses Bev, die im Zeitbereich A4 des Anzeigebildschirms angezeigt wird, wie es in 8 gezeigt wird, über die Eingabevorrichtung 52 betätigt wird. Wenn der Terminalprozessor 53 bestimmt, dass die Kommentarereigniseingabe eingegeben wurde, fährt der Prozess mit S400 fort. Wenn der Terminalprozessor 53 bestimmt, dass die Kommentarereigniseingabe nicht eingegeben wurde, kehrt der Prozess zu S310 zurück. Wenn die Taste zum Hinzufügen eines Ereignisses Bev betätigt wird, wird die Ereignisliste L angezeigt, der ein neues Kommentarereignis hinzugefügt wurde, wie es in 9 gezeigt wird.
-
In S400 erfasst der Terminalprozessor 53 die erfasste Zeit und die reproduzierte Zeit, entsprechend einem Zeitpunkt, zu dem die Kommentarereigniseingabe eingegeben wurde, und generiert die Zeitkennzeichnungen T22 und T23 auf dieselbe Weise wie in S340. Die erfasste Zeit und die reproduzierte Zeit werden ebenfalls in der Ereignisliste L gezeigt.
-
Anschließend generiert in S410 der Terminalprozessor 53 die Kommentarzielkennzeichnung T21, die darauf hinweist, dass das Kommentarziel „Ereignis“ ist, und er fährt dann mit S420 fort.
-
In S420 bestimmt der Terminalprozessor 53, ob ein Kommentar über die Eingabevorrichtung 52 eingegeben wurde. Wenn der Terminalprozessor 53 bestimmt, dass ein Kommentar eingegeben wurde, fährt der Prozess mit S440 fort. Wenn der Terminalprozessor 53 bestimmt, dass kein Kommentar eingegeben wurde, fährt der Prozess mit S430 fort.
-
In S430 bestimmt der Terminalprozessor 53, ob ein Befehl zum Abbrechen der Kommentareingabe über die Eingabevorrichtung 52 eingegeben wurde (hiernach Abbruchbefehl). Wenn der Terminalprozessor 53 bestimmt, dass der Abbruchbefehl eingegeben wurde, beendet der Terminalprozessor 53 den Prozess. Wenn der Terminalprozessor 53 bestimmt, dass der Abbruchbefehl nicht eingegeben wurde, kehrt der Terminalprozessor zu S420 zurück.
-
In S440 identifiziert der Terminalprozessor 53 die Art des Kommentars, der von den Eingabegeräten eingegeben wurde, die bei der Eingabe des Kommentars verwendet wurden, und er generiert die Kommentarartkennzeichnung T24. Beispiele der Kommentarart umfassen eine Texteingabe über die Tastatur, eine handschriftliche Eingabe über den berührungsempfindlichen Bildschirm, eine Audioeingabe über das Mikrofon und eine Bildeingabe über die Kamera.
-
Anschließend generiert in S450 der Terminalprozessor 53 die Kommentarinformationen Icm gemäß der Kommentarart. Wenn die Kommentarart die Texteingabe oder die handschriftliche Eingabe ist, werden die eingegebenen Textdaten oder das eingegebene Bild insbesondere wie sie sind als Kommentarinformationen Icm verwendet. Wenn die Kommentarart die Audioeingabe ist, werden zusätzlich zu den Audiodaten die durch Ausführung der Spracherkennungs-AP 62 generierten Spracherkennungsdaten ebenfalls in den Kommentarinformationen Icm aufgenommen. Wenn analog die Kommentarart die Bildeingabe ist, werden zusätzlich zu den Bilddaten die durch Ausführung der Bewegungsanalyse-AP 63 generierten Bewegungsanalysedaten ebenfalls in den Kommentarinformationen Icm aufgenommen.
-
Anschließend fügt in S460 der Terminalprozessor 53 die in S340, S360 und S400 generierten Zeitkennzeichnungen T22 und T23, die in S350, S380, S390 und S410 generierten Kommentarzielkennzeichnungen T21 und die in S440 generierte Kommentarartkennzeichnung T24 den in S450 generierten Kommentarinformationen Icm hinzu, um die gekennzeichneten Kommentarinformationen T_Icm zu generieren.
-
Anschließend speichert in S470 der Terminalprozessor 53 die generierten gekennzeichneten Kommentarinformationen T_Icm in der Datenbank 31 und beendet dann vorübergehend den Prozess.
-
Der Inhalt der gekennzeichneten Kommentarinformationen T_Icm, der in der Datenbank 31 gespeichert ist, wird unmittelbar widergespiegelt und durch den wiederholt durchgeführten Anzeigeprozess angezeigt.
-
S310 bis S330 und die Eingabevorrichtung 52 entsprechen einem Beispiel des Zieldesignators. S420 und die Eingabevorrichtung 52 entsprechen einem Beispiel der Kommentareingabevorrichtung. S340 bis S410 und S440 bis S470 entsprechen einem Beispiel des Informationsgenerators.
-
Jede Funktion des Serverprozessors 32 und die des Terminalprozessors 53 werden jeweils vom Hauptprozessor 321 und dem Hauptprozessor 531 implementiert, welche die in nicht-flüchtigen greifbaren Aufzeichnungsmedien gespeicherten Programme ausführen. In der vorliegenden Ausführungsform entsprechen die Speicher 322 und 532 einem Beispiel der nicht-flüchtigen greifbaren Aufzeichnungsmedien, in denen die Programme gespeichert sind. Darüber hinaus werden bei der Ausführung dieser Programme die den Programmen entsprechenden Verfahren durchgeführt. Der Serverprozessor 32 und der Terminalprozessor 53 können jeweils einen Mikrocomputer oder zwei oder mehr Mikrocomputer umfassen.
-
Ein Weg zur Implementierung der Funktion(en) jeder Komponente des Serverprozessors 32 und der des Terminalprozessors 53 ist nicht auf die Ausführung von Software beschränkt. Die Funktion kann teilweise oder vollständig durch Verwendung von einer oder mehreren Arten von Hardware implementiert werden. Beispielsweise kann in einem Fall, in dem die oben erwähnte Funktion von einem elektronischen Schaltkreis implementiert wird, bei dem es sich um Hardware handelt, der elektronische Schaltkreis von einem digitalen Schaltkreis, einem analogen Schaltkreis oder einer Kombination dieser Schaltkreise realisiert werden.
-
[5. Anzeigebeispiele]
-
Bezugnehmend auf 11 werden nachfolgend Anzeigebeispiele der Kommentarinformationen Icm als Resultat des Anzeigeprozesses beschrieben. In einem Fall, in dem sich der im Monitorbereich A1 angezeigte Messwert erheblich ändert, wird die Positionseingabe beispielsweise durch Fingerberührung auf dem Abschnitt des Bildschirms, in dem der Messwert gezeigt wird, eingegeben, und anschließend wird beispielsweise über die Tastatur ein Kommentar eingegeben, wie etwa „aufgrund von Verabreichung eines Medikaments geändert“. Folglich wird, wie es durch C1 in 11 angezeigt wird, ein Textkommentar angezeigt, der sich auf den als Kommentarziel designierten Parameter bezieht.
-
In einem Fall, in dem die Positionseingabe zum Designieren des Videobereichs A2 eingegeben wird, wird dann eine Linienzeichnung manuell gezeichnet und Text wird unter Verwendung eines Eingabestifts für den berührungsempfindlichen Bildschirm handschriftlich auf dem Anzeigebildschirm geschrieben. Folglich werden, wie es durch eine Bezugsnummer C2 in 11 angezeigt wird, die manuell gezeichnete Linienzeichnung und der handschriftliche Text in ihren ursprünglichen Formen überlappend mit dem Bild im Videobereich A2, der als Kommentarziel designiert ist, angezeigt.
-
In einem Fall, in dem ein Vorgang zum Designieren des Navigationsbildbereichs A3 durchgeführt wird, während das MPR-Bild in Dreifachweise im Navigationsbildbereich A3 angezeigt wird, wird bestimmt, dass die Positionseingabe zum Designieren der dreidimensionalen Position, die von dem im Navigationsbildbereich A3 angezeigten MPR-Bild identifiziert wird, eingegeben wurde. Somit wird es möglich, einen Kommentar zur designierten dreidimensionalen Position einzugeben. In diesem Fall wird die in der Mitte jeder der Dreifachansichten gezeigte dreidimensionale Position das Kommentarziel und der dazugehörige Kommentar wird im Abschnitt „Kommentar 1“ angezeigt, der durch eine Bezugsnummer C3 in 11 angedeutet wird.
-
In einer anderen Position in jeder der Dreifachansichten wird ein Kommentar zu einem schwarzen Punkt, der auf eine dreidimensionale Position hinweist, die zuvor als Kommentarziel designiert wurde, im Abschnitt „Kommentar 2“ angezeigt, der von einer Bezugsnummer C4 in 11 angedeutet wird. Die Kommentare können auf eine sich mit den Bildern nicht überlappende Weise gezeigt werden, und sie können in einem Raum im Navigationsbildbereich A3 gezeigt werden, in den sich kein Bild befindet.
-
Obwohl dies nicht gezeigt wird, kann in einem Fall, in dem die Eingabe „Alle Designieren“ eingegeben wird, ein vertikal länglicher Kommentaranzeigebereich bereitgestellt werden, beispielsweise in der oberen rechten Ecke des Anzeigebildschirms. Im Kommentaranzeigebereich können die Zeit der Kommentareingabe und die Inhalte der Kommentare chronologisch angezeigt werden.
-
[6. Wirkungen]
-
Die oben beschriebene Informationsintegrationsvorrichtung 1 erzielt die folgenden Wirkungen.
-
(6a) In einem Fall, in dem die Vorrichtungsinformationen Idv in Echtzeit während einer Operation oder Behandlung angezeigt werden, kann der Status der Operation oder der Behandlung beispielsweise in Echtzeit mit jeder Person geteilt werden, die an der Operation oder der Behandlung beteiligt ist. Darüber hinaus ist es möglich, Echtzeit-Kommentare als Vermerke zur Erinnerung an beispielsweise während der Operation erteilte Ratschläge, zur Erläuterung des Zwecks der Bedienung der Vorrichtung(en) oder des Zwecks der während der Operation durchgeführten Arbeiten und Kommentare zu Dingen zu hinterlassen, die von den an der Operation oder der Behandlung beteiligten Personen während der Operation bemerkt wurden.
-
Beispielsweise ist es in einem Fall, in dem die auf dem Anzeigebildschirm gezeigten Vorrichtungsinformationen Idv Informationen enthalten, die auf ein unverwechselbares Phänomen, Merkmal usw. hinweisen, möglich, Kommentare zu den Informationen zu hinterlassen, die nicht aus den Vorrichtungsinformationen Idv ausgelesen werden können, wie beispielsweise Verabreichung eines Medikaments, eine Änderung der Einstellung der Klimaanlage und eine Veränderung der Haltung des Patienten.
-
(6b) Zusätzlich zu einer Eingabe von Kommentaren über die Bedienungsgeräte, wie etwa den berührungsempfindlichen Bildschirm, die Tastatur und die Maus, ist auch eine kontaktlose Eingabe von Kommentaren mittels der Stimme über das Mikroskop und mittels Gesten über die Kamera möglich. Folglich kann auch einfach ein Kommentar beispielsweise von einem Arzt hinterlassen werden, der sich in Umständen befindet, in denen der Arzt die Geräte nicht bedienen kann.
-
(6c) In einem Fall, in dem die Vorrichtungsinformationen Idv und die Kommentarinformationen Icm nach der Operation oder Behandlung als Rückmeldung bezüglich der Operation oder der Behandlung, für einen Schulungszweck usw. angezeigt werden, kann ein Betrachter aus den Kommentarinformationen Icm nützliche Informationen erfassen, die aus den Vorrichtungsinformationen Idv allein nicht erhalten werden können. Es ist ebenfalls möglich, während der Betrachtung nach der Operation einen neuen Kommentar hinzuzufügen.
-
(6d) Wenn ein Kommentar eingegeben wird, kann jedes Element der auf dem Anzeigebildschirm gezeigten Vorrichtungsinformationen Idv als Kommentarziel designiert werden, und die Kommentarinformationen Icm werden in Zusammenhang mit den designierten Vorrichtungsinformationen Idv gezeigt oder reproduziert. Folglich kann der Betrachter genau wissen, was das Kommentarziel ist.
-
(6e) Da „alle“ als Kommentarziel designiert werden kann, können Betrachter eine Diskussion über den Anzeigebildschirm führen und den Inhalt der Diskussion in Form von Kommentaren unter Verwendung dieser Funktion hinterlassen.
-
[7. Andere Ausführungsformen]
-
Oben wurde eine Ausführungsform der vorliegenden Offenbarung beschrieben. Die vorliegende Offenbarung ist aber nicht auf die oben beschriebene Ausführungsform beschränkt und kann auf verschiedene Weisen implementiert werden.
-
(7a) In der oben erwähnten Ausführungsform sind die Anwendungen 61 bis 65 im Terminal 5 installiert. Die vorliegende Offenbarung ist aber nicht darauf beschränkt. Beispielsweise kann der Terminal 5 mit dem Server 3 integriert sein und die Anwendungen 61 bis 65 können zumindest teilweise im Server 3 installiert sein.
-
(7b) Funktionen einer Komponente in den oben beschriebenen Ausführungsformen können von zwei oder mehr Komponenten erzielt werden, und eine Funktion einer Komponente kann von zwei oder mehr Komponenten erzielt werden. Darüber hinaus können Funktionen von zwei oder mehr Komponenten von einer Komponente erzielt werden, und eine Funktion, die von zwei oder mehr Komponenten erzielt wird, kann von einer Komponente erzielt werden. Ferner kann ein Teil der Konfigurationen der oben beschriebenen Ausführungsformen weggelassen werden. Ferner kann zumindest ein Teil der Konfigurationen der oben erwähnten Ausführungsformen anderen Konfigurationen der oben erwähnten Ausführungsformen hinzugefügt oder durch diese ersetzt werden.
-
(7c) Zusätzlich zu der oben beschriebenen Informationsintegrationsvorrichtung kann die vorliegende Offenbarung in verschiedenen Formen implementiert werden, einschließlich eines Systems, das die Informationsintegrationsvorrichtung als eine Komponente umfasst, eines Programms, das eine Computerfunktion als Informationsintegrationsvorrichtung erstellt, und eines nicht-flüchtigen greifbaren Aufzeichnungsmediums, wie etwa ein Halbleiterspeicher, der das Programm speichert.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
