DE102017108551A1 - Kopftragbare Darstellungsvorrichtung, Verfahren zum Betreiben derselben und medizinisch optisches Beobachtungssystem - Google Patents

Kopftragbare Darstellungsvorrichtung, Verfahren zum Betreiben derselben und medizinisch optisches Beobachtungssystem Download PDF

Info

Publication number
DE102017108551A1
DE102017108551A1 DE102017108551.3A DE102017108551A DE102017108551A1 DE 102017108551 A1 DE102017108551 A1 DE 102017108551A1 DE 102017108551 A DE102017108551 A DE 102017108551A DE 102017108551 A1 DE102017108551 A1 DE 102017108551A1
Authority
DE
Germany
Prior art keywords
head
display device
data
state variable
carrying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017108551.3A
Other languages
English (en)
Inventor
Stefan Saur
Marco Wilzbach
Christopher KÄSBACH
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Meditec AG
Original Assignee
Carl Zeiss Meditec AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Meditec AG filed Critical Carl Zeiss Meditec AG
Priority to DE102017108551.3A priority Critical patent/DE102017108551A1/de
Priority to US15/957,291 priority patent/US11094283B2/en
Publication of DE102017108551A1 publication Critical patent/DE102017108551A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Es wird ein Verfahren zum Betrieb einer kopftragbaren Darstellungsvorrichtung (1) zur Verfügung gestellt. Das Verfahre umfasst die Schritte:- (S200) Erfassen von Daten (D) repräsentativ für wenigstens eine Zustandsgröße des Kopfes (13) einer die kopftragbare Darstellungsvorrichtung (1) tragenden Person,- (S300) Auswerten der erfassten Daten (D), um die wenigstens eine Zustandsgröße des Kopfes (13) zu bestimmen, und- (S400) Verändern eines Transparenzgrads zumindest einer Wiedergabeanordnung (3) der kopftragbaren Darstellungsvorrichtung (1), wenn die wenigstens eine Zustandsgröße des Kopfes (13) einer vorbestimmten Zustandsgröße entspricht.

Description

  • Die Erfindung betrifft ein Verfahren zum Betreiben einer kopftragbaren Darstellungsvorrichtung wie bspw. eines Head-Mounted Displays. Ferner betrifft die Erfindung ein Computerprogrammprodukt zur Durchführung eines derartigen Verfahrens, eine kopftragbare Darstellungsvorrichtung und ein medizinisch optisches Beobachtungssystem mit einer kopftragbaren Darstellungsvorrichtung.
  • Der Mikrochirurgie-Markt befindet sich aktuell im Wandel der Digitalisierung. Angetrieben von ergonomischen Vorteilen und elektronischer Bildverbesserung/Erweiterung und immer neuen digitalen Bildgebenden-, Intraoperativen-Verfahren wird immer häufiger ein 2D- oder 3D-Monitor als primäre Bildquelle verwendet. Diese Verfahren haben allerdings auch technische Nachteile, wie z.B. abstandsabhängige Tiefeneindrücke, blickwinkelabhängige Farbwiedergabe, große Flächenanforderungen im OP, Leitungen als Stolperfallen und hygienische Herausforderungen bei der der Reinigung. Daher zeichnet sich mittel- bzw. langfristig die Verwendung von HMD-Systemen ab (Head-Mounted-Display-Systemen).
  • Für die Verwendung eines derartigen HMD-Systems in der Mikrochirurgie ist ein flexibler Wechsel zwischen Augmented Reality, Virtual Reality und „freier“ Sicht für einen Operateur wünschenswert, damit er situationsbedingt die Vorteile des jeweiligen Modus nutzen kann, um seine Arbeit effizient, effektiv und sicher durchführen zu können.
  • Virtual Reality (VR) bietet den Vorteil einer vollständigen Immersion. Der Operateur wird nicht durch die Umgebung abgelenkt und es ist z.B. eine kontrastreiche Darstellung von Informationen (z.B. Bilddaten von einen digitalen chirurgischen Mikroskop oder von präoperativen Radiologiedaten) möglich, da Umgebungslicht keinen Einfluss hat. Jedoch verliert der Operateur gleichzeitig den Bezug zu seiner Umwelt: Handlungen in seiner Umgebung können visuell nicht mehr wahrgenommen werden. Ggf. muss die Umgebung durch zusätzliche Kameras erfasst und eingeblendet werden (sog. VR see through), was jedoch einen eingeschränkten Blick (Latenzen, Farbdarstellung, Auflösung etc.) auf die reale Umgebung darstellt, da der Operateur die Kameras ggf. bewegen muss, um sein Umfeld wie gewünscht wahrnehmen zu können. Beim Tragen einer VR-Brille könnte der Operateur auch nicht gezielt Personen oder Geräte im Raum betrachten, um weitere Informationen abzulesen oder mit diesen zu interagieren.
  • Bei Augmented Reality (AR) Systemen ist keine Immersion möglich, d.h. unter Umständen können wichtige Informationen, wie etwa Bilddaten bspw. wegen geringem Kontrast nur mangelhaft dargestellt werden, da die Umgebungsbeleuchtung einen direkten Einfluss hat. Ferner kann der Operateur leichter von seiner Umwelt abgelenkt werden, wenn er hochkonzentriert einen Arbeitsschritt durchführen muss (Beispiel: Chirurg beim Setzen eines Clips zur Behandlung eines Aneurysmas). AR-Systems haben jedoch den Vorteil, dass der Operateur seine Umgebung weiterhin wie gewohnt wahrnehmen kann (auch peripheres Sehen genannt). Ein AR-Display in Form einer Stereobrille ist bspw. in DE 103 35 369 A1 beschrieben. Mit diesem AR-Display können virtuelle Tasten derart angezeigt werden, dass sie vom Betrachten nur zu sehen sind, wenn er in eine bestimmte Richtung schaut, so dass die virtuellen Tasten als im realen Raum fixiert erscheinen.
  • Während des Verlaufs eines chirurgischen Eingriffs gibt es verschiedene Phasen mit unterschiedlichen Anforderungen an ein Visualisierungssystem. Unter Verwendung eines digitalen chirurgischen Mikroskops, welches meist für schwierige Arbeitsschritte eingesetzt wird, wäre für den Operateur ein VR-System vorteilhaft, um sich voll auf seine Aufgabe konzentrieren zu können.
  • In anderen Phasen, wie bspw. zu Beginn eines chirurgischen Eingriffs, würde ein AR-System vorteilhaft für den Operateur sein, um z.B. die Umrisse einer Kraniotomie direkt auf dem Patientenkopf sehen zu können oder die radiologischen Daten der Wirbelsäule des Patienten auf dem Patientenrücken visualisiert zu bekommen, damit der richtige Bereich des Patientenrückens freigelegt werden kann. Während einer Operation ist es für den Operateur insbesondere von Bedeutung ständig mit der Sterilschwester oder der Umgebung interagieren zu können, um z.B. Instrumente anzunehmen oder abzugeben oder um ein Gerät repositionieren zu können. Hierzu benötigt der Operateur eine „freie Sicht“ ohne Beeinträchtigungen.
  • Es wäre möglich, den Transparenzgrad des Displays von der Position auf dem Display abhängig zu machen. Beispielsweise könnte ein Display bspw. im oberen Bereich opak und im unteren Bereich transparent sein, so dass ein schräger Blick nach unten mit hoher Transparenz möglich ist, etwa um noch die Hände und/oder Operationsinstrumente erkennen zu können. Bei Geradeausblick würde dagegen auf den opaken oberen Bereich des Displays, also auf den Bereich mit Transparenzgrad 0%, geschaut, der als reiner VR-Bereich fungieren würde.
  • Vorteilhafter ist es jedoch, situativ zwischen freier Sicht, AR und VR umschalten zu können. Um die Vorteile sowohl von AR- als auch von VR-Systemen zu nutzen, kann eine AR Brille mit Displays ausgestattet werden, deren Transparenzgrad zwischen 0% (opak) und 100% (durchsichtig) eingestellt werden kann. Eine derartige Vorrichtung ist z.B. aus der US 2012/0086624 A1 bekannt. Dies erlaubt es einem Nutzer, je nach Situation zwischen VR, AR und no-AR („freie Sicht“) wechseln zu können. Das Umschalten zwischen den Einstellungen des Transparenzgrades erfordert jedoch eine Interaktion durch den Träger mittels einer Tastatur, einer Maus, eines Joysticks oder dergleichen. Die genannte Lösung hat daher den Nachteil, dass sie den Workflow des Operateurs (z.B. eines Chirurgen) unterbrechen würde, da zum Bedienen der Tastatur, der Maus, des Joysticks ,etc. chirurgische Instrumente aus dem Situs nehmen oder gar ablegen muss. Eine Unterbrechung des Workflows kann zu einem höheren Risiko für den Patienten führen (längere OP Zeit, Sterilität, etc.).
  • Mit Bezug auf den geschilderten Stand der Technik ist es Aufgabe der vorliegenden Erfindung, ein vorteilhaftes Verfahren zum Betreiben einer kopftragbaren Darstellungsvorrichtung, insbesondere eines Head-Mounted Displays, sowie ein entsprechendes Computerprogrammprodukt zur Verfügung zu stellen. Es ist eine weitere Aufgabe der vorliegenden Erfindung, eine kopftragbare Darstellungsvorrichtung zur Verfügung zu stellen, die ohne Unterbrechung des Workflows einfach zu bedienen ist.
  • Die erste Aufgabe wird durch ein Verfahren nach Anspruch 1 und ein Computerprogrammprodukt nach Anspruch 7 gelöst. Die zweite Aufgabe wird durch eine Darstellungsvorrichtung nach Anspruch 8 gelöst. Die abhängigen Ansprüche enthalten vorteilhafte Ausgestaltungen der Erfindung.
  • Bei dem erfindungsgemäßen Verfahren zum Betrieb einer kopftragbaren Darstellungsvorrichtung, werden die folgenden Schritte ausgeführt:
    • - Erfassen von Daten repräsentativ für wenigstens eine Zustandsgröße des Kopfes einer die kopftragbare Darstellungsvorrichtung tragenden Person,
    • - Auswerten der erfassten Daten, um die wenigstens eine Zustandsgröße des Kopfes zu bestimmen, und
    • - Verändern eines Transparenzgrads zumindest einer Wiedergabeanordnung der kopftragbaren Darstellungsvorrichtung, wenn die bestimmte wenigstens eine Zustandsgröße des Kopfes einer vorbestimmten Zustandsgröße entspricht.
  • Die kopftragbare Darstellungsvorrichtung, die bspw. mittels eines Kopfbügels oder eines Kopfbands am Kopf fixiert werden kann, kann als Head-Mounted Display ausgebildet sein. Dabei wird unter einem Head-Mounted Display (auch als HMD bezeichnet) ein auf dem Kopf getragenes visuelles Ausgabegerät verstanden. Es präsentiert Bilder auf einem Display der Wiedergabeanordnung. Das Display kann bspw. ein vor den Augen angeordnetes Display sein, dessen Transparenzgrad für optische Signale bzw. durch Anlegen einer elektrischen Spannung verändert werden kann und dessen Bild über eine zwischen dem Display und dem Auge angeordnete geeignete Optik betrachtet werden kann. Ein solches Display lässt sich bspw. mittels LCD-Shutter-Technologie herstellen. Alternativ kann ein konventionelles Display Verwendung finden, dessen Bildinhalt über eine Reflektionsfläche, deren Transparenzgrad für optische Signale bspw. durch Anlegen einer elektrischen Spannung verändert werden kann, zu dem Auge reflektiert wird. Als weitere Alternative kann ein konventionelles Display Verwendung finden, dessen Bildinhalt über einen konventionellen Strahlteiler zu dem Auge reflektiert wird, wobei dem Strahlteiler dann eine Einrichtung zugeordnet ist, mit der sich die Intensität von auf den Strahlteiler einfallendem Umgebungslicht reduzieren lässt. Das Head-Mounted Display kann dabei auch für rechte Auge und das linke Auge je ein Display mit variablem Transparenzgrad, je ein konventionelles Display zusammen mit einer Reflektionsfläche mit variablem Transparenzgrad oder je ein konventionelles Display zusammen je einem konventionellen Strahlteiler und einer Einrichtung zum Reduzieren von auf den bzw. die Strahlteiler einfallendem Umgebungslicht aufweisen, wobei der Transparenzgrad des Displays, der Reflektionsfläche bzw. der Einrichtung zum Reduzieren von auf den Strahlteiler einfallendem Umgebungslicht vorzugsweise unabhängig für das rechte und das linke Aue eingestellt werden kann. Der Transparenzgrad des Displays, der Reflektionsfläche bzw. der Einrichtung zum Reduzieren von auf den Strahlteiler einfallendem Umgebungslicht kann insbesondere in einem Bereich von 0% (opak) bis 100% (durchsichtig) in gewünschter Weise eingestellt werden. Als Displays können in der kopftragbaren Darstellungsvorrichtung auch holografische Displays Verwendung.
  • Alternativ zur Verwendung von gegenständlichen Displays besteht auch die Möglichkeit, in der kopftragbaren Darstellungsvorrichtung virtuelle Displays zu verwenden. In einem virtuellen Display wird ein Bild direkt auf die Netzhaut projiziert. Die kopftragbare Darstellungsvorrichtung umfasst dann neben wenigstens einem virtuellen Display eine Einrichtung zum Reduzieren von zu den Augen gelangendem Umgebungslicht, wobei der Grad der Reduzierung von zu den Augen gelangendem Umgebungslicht einstellbar ist. Der Transparenzgrad der Einrichtung zum Reduzieren von zu den Augen gelangendem Umgebungslicht kann dabei vorzugsweise im Bereich von 0% (opak) bis 100% (durchsichtig) in gewünschter Weise eingestellt werden.
  • Die kopftragbare Darstellungsvorrichtung kann aber auch eine Lupenbrille sein. In diesem Fall kann die Wiedergabeanordnung einen Strahlteiler umfassen, über den ein Bild in den Strahlengang der Lupenbrille eingeblendet werden kann und dessen Transparenz verändert werden kann, insbesondere im Bereich von 100% Durchsichtig und zu 0% durchsichtig. Wie beim Head-Mounted Display besteht aber auch die Möglichkeit, einen konventionellen Strahlteiler zusammen mit einer Einrichtung, mit der sich die Intensität von auf den Strahlteiler einfallendem Umgebungslicht reduzieren lässt, zu verwenden.
  • Die von den erfassten Daten repräsentierte wenigstens eine Zustandsgröße des Kopfes kann die Blickrichtung des Kopfes der die kopftragbare Darstellungsvorrichtung tragenden Person beinhalten. Als Blickrichtung soll herbei nicht die Augenposition, sondern die Orientierung des Kopfes angesehen werden, wobei davon ausgegangen wird, dass die Augen geradeaus schauen. In diesem Fall sind die erfassten Daten Orientierungsdaten, welche die Orientierung des Kopfes des Nutzers wiederspiegeln. Neben den Orientierungsdaten können als Daten repräsentativ für wenigstens eine Zustandsgröße des Kopfes auch Positionsdaten des Kopfes der die kopftragbare Darstellungsvorrichtung tragenden Person erfasst werden. Die wenigstens eine Zustandsgröße des Kopfes beinhaltet dann neben der Blickrichtung auch die Position des Kopfes der die kopftragbare Darstellungsvorrichtung tragenden Person. So kann nicht nur die Blickrichtung, sondern die Blickrichtung ausgehend von einer bestimmten Position im Raum ermittelt werden.
  • Wenn nicht nur die Position der kopftragbaren Darstellungsvorrichtung, sondern auch des Patienten erfasst wird, kann die relative Orientierung zwischen Patient bzw. Operationssitus einerseits und der Darstellungsvorrichtung andererseits ermittelt werden, so dass die Position des Patienten bzw. des Operationssitus im Koordinatensystem der Darstellungsvorrichtung ermittelt werden kann und z.B. immer ein Livebild eines digitalen Operationsmikroskops angezeigt werden kann, wenn der Operateur auf den Operationssitus blickt. Werden zudem auch die Positionen von Geräten wie bspw. dem Operationsmikroskop erfasst, können die Informationen über diese Positionen dazu verwendet werden, beim Blicken in Richtung eines der Geräte die kopftragbare Darstellungsvorrichtung bspw. in den AR-Modus zu schalten und ein User-Interface des Gerätes anzeigen, wenn der Operateur auf das Gerät blickt.
  • Mit dem erfindungsgemäßen Verfahren kann also durch den Vergleich der bestimmten Blickrichtung mit einer vorbestimmten Richtung eine blickrichtungsabhängige Steuerung der kopftragbaren Darstellungsvorrichtung erreicht werden. So kann die kopftragbare Darstellungsvorrichtung ohne Unterbrechung des Workflows einfach und intuitiv bedient werden.
  • In einer speziellen Ausgestaltung des erfindungsgemäßen Verfahrens können Referenzdaten für die die wenigstens eine Zustandsgröße des Kopfes repräsentierenden Daten durch anvisieren eines Referenzpunktes erfasst werden. Als Referenzpunkt kann z.B. ein Bildschirm, ein IR-Beacon oder ein anderer Marker wie bspw. ein in Richtung Patient weisender Marker verwendet werden. Das Anvisieren des Referenzpunktes legt dann die Referenzdaten für die wenigstens eine Zustandsgröße des Kopfes fest. Somit kann eine Information über die relative Lage zwischen einem dem Referenzpunkt zugeordneten Koordinatensystem und einem der kopftragbaren Darstellungsvorrichtung zugeordneten Koordinatensystem bereitgestellt werden. Dies erlaubt es, bspw. nach einer Neupositionierung des Operateurs anhand der Referenzdaten die Orientierung der kopftragbaren Darstellungsvorrichtung in Bezug auf ein vorgegebenes Bezugskoordinatensystem neu zu ermitteln.
  • Gemäß einer alternativen Ausführungsvariante des erfindungsgemäßen Verfahrens beinhalten die Daten repräsentativ für die wenigstens eine Zustandsgröße des Kopfes Bewegungsdaten und/oder Beschleunigungsdaten der kopftragbaren Darstellungsvorrichtung, und die wenigstens eine Zustandsgröße des Kopfes beinhaltet eine Kopfbewegung der die kopftragbare Darstellungsvorrichtung tragenden Person. So kann bspw. der VR-Modus durch Kopfschütteln als einer vorbestimmten Zustandsgröße des Kopfes ausgeschaltet und durch Nicken als einer anderen einer vorbestimmten Zustandsgröße des Kopfes eingeschaltet werden oder umgekehrt.
  • Gemäß noch einer alternativen Ausführungsvariante des erfindungsgemäßen Verfahrens werden als Daten repräsentativ für die wenigstens eine Zustandsgröße Bilddaten mit wenigstens einer der kopftragbaren Darstellungsvorrichtung zugeordneten Kamera, insbesondere wenigstens einer an der kopftragbaren Darstellungsvorrichtung angeordneten oder am Kopf getragenen Kamera, erfasst. Die wenigstens eine Zustandsgröße des Kopfes beinhaltet wiederum die Blickrichtung der die die kopftragbare Darstellungsvorrichtung tragenden Person. Zum Bestimmen der Blickrichtung werden die Bilddaten ausgewertet, um einen vorbestimmten Bildinhalt zu bestimmen, und bei Vorliegen des vorbestimmten Bildinhalts wird auf eine vorbestimmte Blickrichtung als einer vorbestimmten Zustandsgröße des Kopfes geschlossen. Vorbestimmte Bildinhalte können dabei bestimmte im Rahmen der Auswertung wiedererkennbare Gegenstände im Bereich des die kopftragbare Darstellungsvorrichtung tragenden Nutzers sein. Beispielsweise wenn der Operateur auf eine passend positionierte Mattscheibe schaut, wird diese und die entsprechende Blickrichtung von bei der Auswertung erkannt und der Situs im VR Modus eingeblendet. Andere Gegenstände können bspw. Geräte sein. Wenn diese in der Blickrichtung des Operateurs erkannt werden, kann bspw. in den AR-Modus umgeschaltet werden, damit bspw. deren Bedienelemente erkennbar sind. Die Bilddaten können aber auch dazu Verwendung finden, eine Karte der Umgebung zu erstellen, in der die Orientierung und Lage des Kopfes der die kopftragbare Darstellungsvorrichtung tragenden Person (O) - und somit ihre Blickrichtung - bekannt ist. Die Bilddaten können dabei neben Graustufen oder Farbwerten für die einzelnen Pixel auch den Pixeln zugeordnete Abstandswerte enthalten, die den Abstand von einem bestimmten Punkt angeben. Derartige Abstandsdaten können mittels Stereokameras oder mittels ToF-Kameras (ToF: Time of Flight) gewonnen werden. Zum Erstellen der Karte der Umgebung können unterschiedliche Ansätze zum Einsatz kommen, bspw. ein sog. SLAM-Ansatz, wobei SLAM für „Simultaneous Localization and Mapping“, zu Deutsch: „Simultanes Lokalisieren und Kartographieren steht. In dem SLAM-Ansatz wird aus Aufnahmen der Umgebung der an der Darstellungsvorrichtung befestigten Kamera inkrementell eine Karte der Umgebung erstellt, in der die Position und Orientierung des Head-Mounted Displays - und damit des Kopfes des Trägers der kopftragbaren Darstellungsvorrichtung - bekannt ist. Aus der Orientierung des Kopfes ergibt sich dann die Blickrichtung des Trägers.
  • Die genannten Ausführungsvarianten des erfindungsgemäßen Verfahrens können einzeln oder in Kombination zur Anwendung kommen. So lässt sich bspw. die Anzahl der steuerbaren Aktionen erhöhen, wenn sowohl die Blickrichtung als auch die Kopfbewegung als Zustandsgrößen des Kopfes ermittelt werden.
  • Ferner gehört zur Erfindung ein Computerprogrammprodukt mit Programmcode zum Durchführen des erfindungsgemäßen, wenn der Programmcode in einen Computer geladen und/oder in einem Computer ausgeführt wird.
  • Erfindungsgemäß wird außerdem eine kopftragbare Darstellungsvorrichtung zum Durchführen des erfindungsgemäßen Verfahrens zur Verfügung gestellt. Diese umfasst
    • - eine Erfassungseinheit mit Mitteln zum Erfassen von Daten repräsentativ für wenigstens eine Zustandsgröße des Kopfes einer die kopftragbare Darstellungsvorrichtung tragenden Person,
    • - eine Auswerteeinheit zum Auswerten der erfassten Daten, um aus diesen die wenigstens eine Zustandsgröße des Kopfes zu bestimmen, und
    • - eine Ansteuereinheit zum Verändern eines Transparenzgrads zumindest einer Wiedergabeanordnung der kopftragbaren Darstellungsvorrichtung, wenn die die wenigstens eine Zustandsgröße des Kopfes einer vorbestimmten Zustandsgröße entspricht.
  • Die Daten repräsentativ für wenigstens eine Zustandsgröße des Kopfes können Orientierungsdaten repräsentieren, wobei die wenigstens eine Zustandsgröße des Kopfes dann die Blickrichtung der der die kopftragbare Darstellungsvorrichtung tragenden Person beinhaltet. Als Blickrichtung soll herbei nicht die Augenposition sondern die Orientierung des Kopfes angesehen werden, wobei davon ausgegangen wird, dass die Augen geradeaus schauen. Neben den Orientierungsdaten können die Daten repräsentativ für wenigstens eine Zustandsgröße des Kopfes auch Positionsdaten der kopftragbaren Darstellungsvorrichtung repräsentieren. In diesem Fall beinhaltet die wenigstens eine Zustandsgröße des Kopfes neben der Blickrichtung auch die Position des Kopfes der die kopftragbare Darstellungsvorrichtung tragenden Person. Außerdem kann ein Referenzpunkt zum Erfassen von Referenzdaten für die die wenigstens eine Zustandsgröße des Kopfes repräsentierenden Daten vorhanden sein.
  • Zusätzlich oder alternativ können die Daten repräsentativ für wenigstens eine Zustandsgröße des Kopfes Bewegungsdaten und/oder Beschleunigungsdaten des Kopfes beinhalten. Die wenigstens eine Zustandsgröße des Kopfes beinhaltet dann eine Kopfbewegung der die kopftragbare Darstellungsvorrichtung tragenden Person.
  • Die Auswerteeinheit und/oder die Ansteuereinheit können in die kopftragbare Darstellungsvorrichtung integriert oder als Software auf einem Computer realisiert sein.
  • Mittel zum Erfassen der Orientierung des Kopfes oder der Bewegung des Kopfes eines Trägers der kopftragbaren Darstellungsvorrichtung sein wie etwa Beschleunigungssensoren, Lagesensoren (bspw. Gyroskope), Marker zum Erfassen der Orientierung und/oder der Position des Kopfes mittels eines Positionserfassungssystems, etc.
  • Weiter zusätzlich oder alternativ kann die kopftragbare Darstellungsvorrichtung dazu ausgebildet sein, als Daten repräsentativ für die wenigstens eine Zustandsgröße des Kopfes Bilddaten mit einer an der kopftragbaren Darstellungsvorrichtung angeordneten oder am Kopf tragbaren Kamera zu erfassen, wobei die wenigstens eine Zustandsgröße des Kopfes die Blickrichtung der die kopftragbare Darstellungsvorrichtung tragenden Person beinhaltet, und zum Bestimmen der Blickrichtung die Bilddaten auszuwerten, um den Bildinhalt zu bestimmen, und bei Vorliegen eines vorbestimmten Bildinhalts auf eine vorbestimmte Blickrichtung zu schließen.
  • Mögliche Ausgestaltungen der kopftragbaren Darstellungsvorrichtung als Head-Mounted Display oder als Lupenbrille wurden bereits mit Bezug auf das erfindungsgemäße Verfahren beschrieben. Auf diese Beschreibung wird verwiesen.
  • Die mit der erfindungsgemäßen kopftragbaren Darstellungsvorrichtung erzielbaren Vorteile ergeben sich unmittelbar aus den mit Bezug auf das erfindungsgemäße Verfahren beschriebenen Vorteilen.
  • Gemäß der vorliegenden Erfindung wird außerdem ein medizinisch optisches Beobachtungssystem mit einem medizinisch optischen Beobachtungsgerät und einer erfindungsgemäßen kopftragbaren Darstellungsvorrichtung zur Verfügung gestellt. Das einem medizinisch optische Beobachtungsgerät kann dabei bspw. ein Operationsmikroskop sein, das mittels Bildsensoren Objektbilder aufnimmt, die dann an die kopftragbare Darstellungsvorrichtung übermittelt werden, um geeignet dargestellt zu werden, wenn die wenigstens eine Zustandsgröße des Kopfes einer bestimmten Zustandsgröße entspricht. Bspw. kann das mit dem medizinisch optischen Beobachtungsgerät aufgenommene Bild als VR-Bild in der kopftragbaren Darstellungsvorrichtung angezeigt werden, wenn die Zustandsgröße einen Blick in Richtung auf den Operationssitus oder eine bestimmte Kopfbewegung signalisiert. Das medizinisch optische Beobachtungsgerät kann aber auch einfach nur eine Kamera sein, deren Bilder an die kopftragbare Darstellungsvorrichtung übermittelt werden, um bspw. dargestellt zu werden, wenn der Träger der Darstellungsvorrichtung in eine bestimmte Richtung schaut oder eine bestimmte Kopfbewegung ausführt. Weiter besteht die Möglichkeit, dass das medizinisch optische Beobachtungsgerät ein mit wenigstens einem Bildsensor ausgestattetes Endoskop oder Endomikroskop ist, dessen Bilder an die kopftragbare Darstellungsvorrichtung übermittelt werden, um bspw. dargestellt zu werden, wenn der Träger der Darstellungsvorrichtung in eine bestimmte Richtung schaut oder eine bestimmte Kopfbewegung ausführt.
  • Weitere Merkmale, Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen unter Bezugnahme auf die beiliegenden Figuren.
    • 1 zeigt ein Head-Mounted Display als ein Ausführungsbeispiel für eine kopftragbare Darstellungsvorrichtung zusammen mit einem Operationsmikroskop.
    • 2 zeigt in schematischer Darstellung Komponenten des in 1 gezeigten Head-Mounted Displays.
    • 3 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels für das erfindungsgemäße Verfahren.
    • 4 zeigt das in 1 gezeigte Head-Mounted Display im Betrieb.
    • 5 zeigt ein Head-Mounted Display gemäß einem alternativen ein Ausführungsbeispiel für die kopftragbare Darstellungsvorrichtung.
  • Es wird zunächst auf 1 Bezug genommen. In dieser ist eine kopftragbare Darstellungsvorrichtung dargestellt, die im vorliegenden Ausführungsbeispiel als Head-Mounted Display 1 ausgebildet ist. Das Head-Mounted Display 1 fungiert im vorliegenden Ausführungsbeispiel sowohl als VR-Brille als auch als AR-Brille. Im vorliegenden Ausführungsbeispiel empfängt das Head-Mounted Display 1 drahtlos Bilder von Bildsensoren 2A, 2B eines medizinisch optischen Beobachtungsgeräts, nämlich eines Operationsmikroskops 2, die mit dem Head-Mounted Display 1 als VR-Bilder oder AR-Bilder dargestellt werden, wenn bestimmte Zustandsgrößen des Head-Mounted Displays 1 vorliegen. Zusätzlich oder alternativ kann das Head-Mounted Display 1 aber auch Bilder aus anderen Quellen, insbesondere von anderen medizinisch optischen Beobachtungsgeräten empfangen und diese als VR-Bilder oder AR-Bilder darstellen, wenn bestimmte Zustandsgrößen des Head-Mounted Displays 1 vorliegen. Mögliche andere Quellen sind gewöhnliche Kameras, Endoskope, Endomikroskope, Bildspeicher mit präoperative Daten oder Patientendaten enthaltenden Bildern, etc.
  • Das Head-Mounted Display 1 weist für jedes Auge je eine Wiedergabeanordnung 3A, 3B mit einem Display 5A, 5B und Kopfbügeln 4 auf. Mit den Kopfbügeln 4 kann das Head-Mounted Display 1 auf dem Kopf 13 des Trägers des Head-Mounted Displays 1, im vorliegenden Ausführungsbeispiel eines Operateurs O (siehe 4), befestigt und getragen werden. Mit dem beiden Displays 5A, 5B kann eine Bilddatenwiedergabe erfolgen, bei der Bilddaten in das Sichtfeld des Operateurs O abgebildet werden. Die Displays 5A, 5B sind je einem Auge des Operateurs O zugeordnet und können unterschiedlich angesteuert werden um auch 3D-Bilddaten räumlich, d.h. mit Tiefeneindruck, bereitstellen zu können. Als Displays 5A, 5B kommen im vorliegenden Ausführungsbeispiel LCD-Displays mit LCD-Shutter-Technologie zur Anwendung. Die LCD-Shutter-Technologie ermöglicht es, den Transparenzgrad der LCD-Displays durch Anlegen einer elektrischen Steuerspannung beliebig zwischen 0% (opak) und 100% (durchsichtig) einzustellen.
  • Es werden nun unter zusätzlicher Bezugnahme auf 2 weitere Komponenten des Head-Mounted Displays 1 beschrieben. Diese sind im vorliegenden Ausführungsbeispiel eine Erfassungseinheit 6, eine Auswerteeinheit 10 und eine Ansteuereinheit 11.
  • Die Erfassungseinheit 6 ist dazu ausgebildet, Daten D repräsentativ für eine Zustandsgröße des Kopfes 13 des Operateurs O, zu erfassen (siehe 4). Als Daten werden im vorliegenden Ausführungsbeispiel Orientierungsdaten, bspw. in Form von Winkelwerten, die die Orientierung des Kopfes 13 des Operateurs O beschreiben (z.B. Azimutwinkel und Polarwinkel), erfasst. Hierzu kommen im vorliegenden Ausführungsbeispiel drei an dem Head-Mounted Display 1 angeordnete Marker 8 zum Einsatz, deren Positionen mittels eines Trackingsystems (nicht dargestellt) laufend erfasst werden. In anderen Varianten finden lediglich zwei Marker Verwendung. Diese reichen Grundsätzlich aus, um den Azimutwinkel und den Polarwinkel zu ermitteln. Mit drei Markern 8 kann zusätzlich noch eine Kopfdrehung um die Blickrichtung erfasst werden. Aus der erfassten Position der drei Marker 8 kann dann die Orientierung des Head-Mounted Displays 1 und damit die Orientierung des Kopfes 13 ermittelt werden.
  • Alternativ zur beschriebenen Ermittlung der Orientierungsdaten anhand der Marker 8 können die Orientierungsdaten auch mittels eines an dem Head-Mounted Display 1 angeordneten Gyrosensors erfasst werden.
  • Im vorliegenden Ausführungsbeispiel ist neben den Markern 8 auch ein Beschleunigungssensor 9 am Head-Mounted Display 1 angeordnet. Mit dem Beschleunigungssensor 9 können Kopfbewegungen wie bspw. ein Kopfschütteln oder ein Kopfnicken als weitere Zustandsgrößen des Kopfes 13 erfasst werden.
  • Die Orientierungsdaten des Head-Mounted Displays 1 sind indikativ für die Blickrichtung eines Operateurs O, der das des Head-Mounted Displays 1 auf seinem Kopf 13 trägt und dessen Augen geradeaus gerichtet sind. Die Auswerteeinheit 10 ist im vorliegenden Ausführungsbeispiel dazu ausgebildet, die erfassten Orientierungsdaten D auszuwerten, um unter der Annahme des Geradeausschauens die Blickrichtung des Operateurs O zu bestimmen.
  • Zusätzlich ist die Auswerteeinheit 10 im vorliegenden Ausführungsbeispiel dazu ausgebildet, anhand der mit dem Beschleunigungssensor 9 erfassten Beschleunigungsdaten Kopfbewegungen zu erfassen und diese mit bestimmten vorgegeben Kopfbewegungen zu vergleichen, um festzustellen, ob der Operateur O den Kopf 13 schüttelt oder mit dem Kopf 13 nickt.
  • Die Ansteuereinheit 11 ist dazu ausgebildet, auf Empfang eines von der Auswerteeinheit 10 bereitgestellten, die Blickrichtung des Operateurs oder ggf. ein Kopfschütteln oder -nicken angebenden Signals S den Transparenzgrad der Displays 5A, 5B des Head-Mounted Displays 1 zu verändern, wenn die Blickrichtung in einer vorbestimmten Richtung liegt. Durch das Verändern des Transparenzgrads der Displays 5A, 5B in Abhängigkeit der ermittelten Blickrichtung (die aus der Orientierung des Kopfes 13 und Annahme geradeaus schauender Augen ermittelt wird) oder ggf. eines Kopfschüttelns oder -nickens wird eine intuitive Steuerung des Head-Mounted Displays 1 zum situativen Umschalten zwischen verschiedenen Modi wie bspw. freie Sicht, AR und/oder VR möglich. Beispiele für derartige Modi sind:
    • - keine Transparenz der Displays 5A, 5B bei einer Blickrichtung zentral nach vorne mit Darstellung des Livebildes eines Operationsmikroskops als VR-Darstellung;
    • - volle Transparenz im unteren Bereich der Displays 5A, 5B bei Blick nach vorne unten, um Instrumente sehen zu können;
    • - volle Transparenz der Displays 5A, 5B bei Blickrichtung rechts, um mit der Sterilschwester interagieren zu können und/oder AR-Darstellung präoperativer Daten, bspw. radiologischer 3D-Daten;
    • - volle Transparenz der Displays 5A, 5B bei Blickrichtung Links, um mit Besuchern interagieren zu können und/oder AR-Darstellung von Patientendaten wir bspw. Puls, Sauerstoffsättigung, etc.
    • - volle Transparenz der Displays 5A, 5B unabhängig von der Blickrichtung bei Kopfschütteln,
    • - keine Transparenz der Displays 5A, 5B unabhängig von der Blickrichtung bei Kopfnicken.
  • Die aufgezählten Beispiele sind nicht abschließend und sollen lediglich die Möglichkeiten der Erfindung aufzeigen.
  • Die den Blickrichtungen und/oder Kopfbewegungen und/oder ggf. anderen Zustandsgrößen des Kopfes 13 zugeordneten Modi können für einen Operateur in einem Konfigurationsprofil hinterlegt sein. In dem Konfigurationsprofil ist dann hinterlegt, welche Transparenzeinstellung bei welcher Zustandsgröße des Kopfes 13 also im vorliegenden Ausführungsbeispiel bei welcher Blickrichtung und/oder bei welcher Kopfbewegung gelten soll und welche Informationsquelle überlagert/angezeigt werden soll.
  • Die Auswerteeinheit 10 und die Ansteuereinheit 11 sind im vorliegenden Ausführungsbeispiel als Software auf einem Computer realisiert. Die Daten des Trackingsystems und die Daten des Beschleunigungssensors 9 werden dabei drahtlos an den Computer übertragen. Ebenso werden Steuersignale zum Steuern des Transparenzgrads der Displays 5A, 5B von der Ansteuereinheit 11 drahtlos an die Displays 5A, 5B übertragen. Alternativ zur Realisierung als Software auf einem Computer können die Auswerteeinheit 10 und/oder die Ansteuereinheit 11 auch in das Head-Mounted Display 1 integriert sein, bspw. in Form von ASICs (Application Specific Integrated Circuits). Wenn lediglich eine der beiden Einheiten in das Head-Mounted Display 1 integriert ist und die andere als Software auf eine Computer realisiert ist, erfolgt die Kommunikation zwischen der in das Head-Mounted Display 1 integrierten Einheit und der als Software auf eine Computer realisierten Einheit vorzugsweise drahtlos.
  • Es wird nun unter zusätzliche Bezugnahme auf 3 der Betrieb des Head-Mounted Displays 1 erläutert.
  • In einem ersten Schritt S100 wird im vorliegenden Ausführungsbeispiel eine Referenzrichtung festgelegt. Hierzu kann der Operateur O bspw. in Richtung auf ein vorgegeben Referenzpunkt schauen. Als Referenzpunkt kann z.B. ein Bildschirm, ein IR-Beacon oder ein in Richtung Patient weisender Marker verwendet werden. Damit wird eine Information über die relative Lage und/oder Orientierung des Koordinatensystems der kopftragbaren Darstellungsvorrichtung 1 und einem festen Koordinatensystem, in dem vorzugsweise auch die Position und Orientierung des Patienten festgelegt ist, bereitgestellt. Wenn das Trackingsystems feststellt, dass die Blickrichtung des Operateurs O in Richtung auf den Referenzunkt weist, kann diese Richtung als Referenzrichtung festgelegt werden, die bspw. zum Festlegen von rechts und links im Koordinatensystem des Operateurs dienen kann.
  • In Schritt S200 werden dann Orientierungsdaten D des Head-Mounted Displays 1 erfasst. Im vorliegenden Ausführungsbeispiel können in Schritt S200 zusätzlich zu den Orientierungsdaten D auch Beschleunigungsdaten des Beschleunigungssensors 9 erfasst werden.
  • In Schritt S300 werden dann die erfassten Orientierungsdaten D in Bezug auf die Referenzrichtung ausgewertet, um die Blickrichtung des Operateurs O zu bestimmen. Zusätzlich können ggf. die Beschleunigungsdaten im Hinblick auf eine Kopfbewegung ausgewertet werden.
  • Schließlich wird in Schritt S400 der Transparenzgrad der Displays 5A, 5B verändert, wenn die Blickrichtung in einer vorbestimmten Richtung liegt oder ggf. eine bestimmte Kopfbewegung vorliegt.
  • Es wird nun unter zusätzlicher Bezugnahme auf 4 eine beispielhafte Zuordnung von Blickrichtungen zu verschiedenen Transparenzgraden erläutert.
  • Bei einem Blick des Operateurs 0 nach vorne (wie in 4 dargestellt) innerhalb eines Winkelbereichs I sind die Displays 5A, 5B opak, d.h. sie weisen einen Transparenzgrad von 0% auf. Dreht der Operateur O seinen Kopf 13 13 - und damit seine Blickrichtung - nach unten, werden die Displays 5A, 5B voll transparent, d.h. sie weisen einen Transparenzgrad von 100% auf,, z.B. um Instrumente sehen zu können. Wendet der Operateur O danach seinen Kopf nach rechts in den Winkelbereich II bleiben die Displays 5A, 5B voll transparent, so dass der Operateur mit einer Sterilschwester interagieren kann. Zusätzlich können präoperative radiologische Daten auf den Displays 5A, 5B dargestellt werden. Wendet der Operateur O danach den Blick nach links in den Winkelbereich III bleiben die Displays 5A, 5B ebenfalls voll transparent, um mit weiteren Personen interagieren zu können, und es werden ggf. Patientendaten wie z.B. Vitaldaten, wie Puls und/oder Sauerstoffsättigung durch Einblendung auf den Displays 5A, 5B dargestellt. Blickt des Operateurs wandert danach wieder nach vorne und geradeaus, d.h. nicht nach unten, werden die Displays 5A, 5B wider opak. Außerdem wird bspw. ein mit einem digitalen Operationsmikroskop gewonnenes Bild als VR-Bild dargestellt. Unabhängig von der Blickrichtung kann der Operateur O im vorliegenden Ausführungsbeispiel zudem durch Kopfschütteln die volle Transparenz der Displays 5A, 5B herbeiführen. Durch Nicken mit dem Kopf 13 kann er im Gegenzug die Displays 5A , 5B unabhängig von der Blickrichtung opak machen.
  • Ein alternatives Ausführungsbeispiel des Head-Mounted Displays 100 ist in 5 gezeigt. Das Head-Mounted Display 100 gemäß dem zweiten Ausführungsbeispiel unterscheidet sich vom ersten Ausführungsbeispiel in der Art der Blickrichtungsbestimmung. Statt der Marker 8 oder eines Gyrosensors ist in dem in 5 dargestellten Ausführungsbeispiel eine Kamera 108 vorhanden, mit der ein der Orientierung des Kopfes 13 des Operateurs O entsprechendes Blickfeld aufgenommen wird. Die Auswerteeinheit 10 wertet die in der Aufnahme enthaltenen Bilddaten bspw. mittels einer Mustererkennungseinheit aus, um vordefinierte Bildinhalte zu ermitteln. Diese können bspw. bestimmte im Operationssaal vorhandene Elemente sein, etwa eine passend positionierte Mattscheibe oder bestimmte im Operationssaal vorhandene Geräte. Wird in den Bilddaten einer oder mehrere dieser vordefinierten Bildinhalte erkannt, kann aus der Anordnung der entsprechenden Elemente im aufgenommenen Blickfeld die Blickrichtung des Operateurs ermittelt werden. Alternativ besteht auch die Möglichkeit, mittels einer Weißlichtkamera einen SLAM-Ansatz aus der Robotik zu verfolgen. Dabei steht SLAM für „Simultaneous Localization and Mapping“, zu Deutsch: „Simultanes Lokalisieren und Kartographieren“. In dem SLAM-Ansatz wird aus Aufnahmen der Umgebung des Head-Mounted Displays 100 inkrementell eine Karte der Umgebung erstellt, in der die Position und Orientierung des Head-Mounted Displays 100 bekannt ist. Als Alternativen zu gewöhnlichen Kameras können auch Tiefensensoren wie bspw. ToF-Kameras zum Einsatz kommen, um eine Karte der Umgebung zu erstellen, in der die Position und Orientierung des Head-Mounted Displays 100 bekannt ist.
  • Die vorliegende Erfindung wurde anhand von Ausführungsbeispielen zu Erläuterungszwecken im Detail beschrieben. Ein Fachmann erkennt jedoch, dass im Rahmen der vorliegenden Erfindung von den Ausführungsbeispielen abgewichen werden kann. So kann die kopftragbare Darstellungsvorrichtung statt als Head-Mounted Display als Lupenbrille ausgestaltet sein, bei der mittels eines Spiegels mit einstellbarer Transparenz auf wenigstens einem Display dargestellte Inhalte in den Lupenstrahlengang eingespiegelt werden können. Dabei wird unter einer Lupenbrille eine an einer Art Brillengestell angeordnete Lupe verstanden. Lupenbrillen finden ihre Verwendung hauptsächlich im Bereich der Medizin und der Technik. So ist bspw. in der Allgemein-, Herz- und Viszeral- oder Augenmuskelchirurgie eine Lupenbrille zur vergrößernden Darstellung des Operationsgebietes für den Operateur von großem Vorteil. Durch Wechsel der Transparenz des Spiegels von transparent zu opak kann zwischen einem AR-Modus und einem VR-Modus der Einspiegelung der auf dem wenigstens Displays dargestellten Inhalte hin und her geschaltet werden. Der Transparenzgrad kann dabei wie am Beispiel des Head-Mounted Displays beschrieben anhand der Blickrichtung und/oder anhand von Kopfbewegungen gesteuert werden. Die vorliegende Erfindung soll daher nicht auf die beschriebenen Ausführungsbeispiele beschränkt sein, sondern lediglich durch die beigefügten Ansprüche.
  • Bezugszeichenliste
  • 1
    Head-Mounted Display
    2.
    Operationsmikroskop
    2A, B
    Bildsensoren
    3A,B
    Wiedergabeanordnung
    4
    Kopfbügel
    5A,B
    Bildschirm
    6
    Erfassungseinheit
    8
    Marker
    9
    Beschleunigungssensor
    10
    Auswerteeinheit
    11
    Ansteuereinheit
    13
    Kopf
    100
    Head-Mounted Display
    108
    Kamera
    I
    Winkelbereich
    II
    Winkelbereich
    III
    Winkelbereich
    D
    Daten
    O
    Operateur
    S
    Signal
    S100
    Festlegen Referenzrichtung
    S200
    Erfassen Orientierungsdaten
    S300
    Auswerten Orientierungsdaten
    S400
    Verändern Transparenzgrad
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 10335369 A1 [0005]
    • US 2012/0086624 A1 [0009]

Claims (14)

  1. Verfahren zum Betrieb einer kopftragbaren Darstellungsvorrichtung (1) mit den Schritten: - (S200) Erfassen von Daten (D) repräsentativ für wenigstens eine Zustandsgröße des Kopfes (13) einer die kopftragbare Darstellungsvorrichtung (1) tragenden Person (O), - (S300) Auswerten der erfassten Daten (D), um die wenigstens eine Zustandsgröße des Kopfes (13) zu bestimmen, und - (S400) Verändern eines Transparenzgrads zumindest einer Wiedergabeanordnung (3) der kopftragbaren Darstellungsvorrichtung (1), wenn die wenigstens eine Zustandsgröße des Kopfes (13) einer vorbestimmten Zustandsgröße entspricht.
  2. Verfahren nach Anspruch 1, wobei die Daten (D) repräsentativ für wenigstens eine Zustandsgröße des Kopfes (13) Orientierungsdaten repräsentieren und die wenigstens eine Zustandsgröße des Kopfes (13) die Blickrichtung der die kopftragbare Darstellungsvorrichtung (1) tragenden Person (O) beinhaltet.
  3. Verfahren nach Anspruch 2, wobei die Daten (D) repräsentativ für wenigstens eine Zustandsgröße des Kopfes (13) neben den Orientierungsdaten auch Positionsdaten der kopftragbaren Darstellungsvorrichtung (1) repräsentieren und die wenigstens eine Zustandsgröße des Kopfes (13) neben der Blickrichtung auch die Position der die kopftragbare Darstellungsvorrichtung (1) tragenden Person (O) beinhaltet.
  4. Verfahren nach Anspruch 2 oder Anspruch 3, wobei Referenzdaten für die die wenigstens eine Zustandsgröße des Kopfes (13) repräsentierenden Daten durch Anvisieren eines Referenzpunktes erfasst werden.
  5. Verfahren nach einem der Ansprüche 1 bis 4, wobei die Daten (D) repräsentativ für wenigstens eine Zustandsgröße des Kopfes(13) Bewegungsdaten und/oder Beschleunigungsdaten der kopftragbaren Darstellungsvorrichtung (1) beinhalten und die wenigstens eine Zustandsgröße des Kopfes (13) eine Kopfbewegung der die kopftragbare Darstellungsvorrichtung (1) tragenden Person (O) beinhaltet.
  6. Verfahren nach einem der Ansprüche 1 bis 5, wobei als Daten (D) repräsentativ für die wenigstens eine Zustandsgröße des Kopfes (13) Bilddaten mit wenigstens einer der kopftragbaren Darstellungsvorrichtung (1) zugeordneten Kamera (9) erfasst werden, die wenigstens eine Zustandsgröße des Kopfes (13) die Blickrichtung der der die kopftragbare Darstellungsvorrichtung (1) tragenden Person (O) beinhaltet und zum Bestimmen der Blickrichtung die Bilddaten ausgewertet werden, um den Bildinhalt zu bestimmen, wobei bei Vorliegen eines vorbestimmten Bildinhalts auf eine vorbestimmte Blickrichtung geschlossen wird, oder um eine Karte der Umgebung zu erstellen, in der die Orientierung und Lage des Kopfes der die kopftragbare Darstellungsvorrichtung (1) tragenden Person (O) bekannt ist.
  7. Computerprogrammprodukt mit Programmcode zum Durchführen des Verfahrens nach einem der Ansprüche 1 bis 6, wenn der Programmcode in einen Computer geladen und/oder in einem Computer ausgeführt wird.
  8. Kopftragbare Darstellungsvorrichtung (1) mit einer Erfassungseinheit (6) mit Mitteln zum Erfassen von Daten (D) repräsentativ für wenigstens eine Zustandsgröße des Kopfes (13) einer die kopftragbare Darstellungsvorrichtung (1) tragenden Person (O), mit einer Auswerteeinheit (10) zum Auswerten der erfassten Daten (D), um aus diesen die wenigstens eine Zustandsgröße des Kopfes (13) zu bestimmen, und mit einer Ansteuereinheit (11) zum Verändern eines Transparenzgrads zumindest einer Wiedergabeanordnung (3) der kopftragbaren Darstellungsvorrichtung (1), wenn die die wenigstens eine Zustandsgröße des Kopfes (13) einer vorbestimmten Zustandsgröße entspricht.
  9. Kopftragbare Darstellungsvorrichtung (1) nach Anspruch 8, wobei die Daten (D) Orientierungsdaten repräsentieren und die wenigstens eine Zustandsgröße des Kopfes (13) die Blickrichtung der die kopftragbare Darstellungsvorrichtung (1) tragenden Person (O) beinhaltet.
  10. Kopftragbare Darstellungsvorrichtung (1) nach Anspruch 9, wobei die Daten (D) neben den Orientierungsdaten auch Positionsdaten der kopftragbaren Darstellungsvorrichtung (1) repräsentieren und die wenigstens eine Zustandsgröße des Kopfes (13) neben der Blickrichtung auch die Position der die kopftragbare Darstellungsvorrichtung (1) tragenden Person (O) beinhaltet.
  11. Kopftragbare Darstellungsvorrichtung (1) nach Anspruch 9 oder Anspruch 10, wobei ein Referenzpunkt zum Erfassen von Referenzdaten für die die wenigstens eine Zustandsgröße des Kopfes (13) repräsentierenden Daten vorhanden ist.
  12. Kopftragbare Darstellungsvorrichtung (1) nach einem der Ansprüche 8 bis 11, wobei die Daten (D) Bewegungsdaten und/oder Beschleunigungsdaten der kopftragbaren Darstellungsvorrichtung (1) beinhalten und die wenigstens eine Zustandsgröße des Kopfes (13) eine Kopfbewegung der die kopftragbare Darstellungsvorrichtung (1) tragenden Person (O) beinhaltet.
  13. Kopftragbare Darstellungsvorrichtung (1) nach einem der Ansprüche 8 bis 12, wobei die kopftragbare Darstellungsvorrichtung (1) dazu ausgebildet ist, als Daten (D) repräsentativ für die wenigstens eine Zustandsgröße des Kopfes (13) Bilddaten mit wenigstens einer der kopftragbaren Darstellungsvorrichtung (1) zugeordneten Kamera (9) zu erfassen, wobei die wenigstens eine Zustandsgröße des Kopfes (13) die Blickrichtung der der die kopftragbare Darstellungsvorrichtung (1) tragenden Person (O) beinhaltet, und zum Bestimmen der Blickrichtung die Bilddaten auszuwerten, um den Bildinhalt zu bestimmen, und bei Vorliegen eines vorbestimmten Bildinhalts auf eine vorbestimmte Blickrichtung zu schließen, oder um eine Karte der Umgebung zu erstellen, in der die Orientierung und Lage des Kopfes der die kopftragbare Darstellungsvorrichtung (1) tragenden Person (O) bekannt ist.
  14. Medizinisch optisches Beobachtungssystem mit einem medizinisch optischen Beobachtungsgerät (2) und einer kopftragbaren Darstellungsvorrichtung (1) nach einem der Ansprüche 8 bis 13.
DE102017108551.3A 2017-04-21 2017-04-21 Kopftragbare Darstellungsvorrichtung, Verfahren zum Betreiben derselben und medizinisch optisches Beobachtungssystem Pending DE102017108551A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102017108551.3A DE102017108551A1 (de) 2017-04-21 2017-04-21 Kopftragbare Darstellungsvorrichtung, Verfahren zum Betreiben derselben und medizinisch optisches Beobachtungssystem
US15/957,291 US11094283B2 (en) 2017-04-21 2018-04-19 Head-wearable presentation apparatus, method for operating the same, and medical-optical observation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017108551.3A DE102017108551A1 (de) 2017-04-21 2017-04-21 Kopftragbare Darstellungsvorrichtung, Verfahren zum Betreiben derselben und medizinisch optisches Beobachtungssystem

Publications (1)

Publication Number Publication Date
DE102017108551A1 true DE102017108551A1 (de) 2018-10-25

Family

ID=63714744

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017108551.3A Pending DE102017108551A1 (de) 2017-04-21 2017-04-21 Kopftragbare Darstellungsvorrichtung, Verfahren zum Betreiben derselben und medizinisch optisches Beobachtungssystem

Country Status (2)

Country Link
US (1) US11094283B2 (de)
DE (1) DE102017108551A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021125161A1 (de) 2021-09-28 2023-03-30 Blazejewski Medi-Tech Gmbh Medizinisches Instrument

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US10871653B1 (en) * 2018-04-24 2020-12-22 Lc-Tec Displays Ab Viewing direction independent single-layer, pixelated light dimming filter
US10928647B2 (en) * 2019-04-01 2021-02-23 Heidi Kershaw Therapeutic training device for autism
US11297285B2 (en) * 2020-03-27 2022-04-05 Sean Solon Pierce Dental and medical loupe system for lighting control, streaming, and augmented reality assisted procedures

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10335369A1 (de) 2003-07-30 2005-03-03 Carl Zeiss Verfahren zum Bereitstellen einer berührungslosen Gerätefunktionssteuerung und Vorrichtung zum Durchführen des Verfahrens
US20120086624A1 (en) 2010-10-12 2012-04-12 Eldon Technology Limited Variable Transparency Heads Up Displays
WO2014197337A1 (en) * 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US20150173846A1 (en) * 2012-09-10 2015-06-25 Elbit Systems Ltd. Microsurgery system for displaying in real time magnified digital image sequences of an operated area

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9293118B2 (en) * 2012-03-30 2016-03-22 Sony Corporation Client device
JP5912059B2 (ja) * 2012-04-06 2016-04-27 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
WO2016142263A1 (en) 2015-03-09 2016-09-15 Forstgarten International Holding Gmbh User-wearable eyewear with additional visor
US20160377863A1 (en) 2015-06-24 2016-12-29 Microsoft Technology Licensing, Llc Head-mounted display
GB2543320B (en) * 2015-10-14 2020-05-13 Sony Interactive Entertainment Inc Head-mountable display system
EP3529686A4 (de) * 2017-01-13 2019-09-25 Samsung Electronics Co., Ltd. Verfahren und vorrichtung zur bereitstellung einer führung in einer virtuellen umgebung

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10335369A1 (de) 2003-07-30 2005-03-03 Carl Zeiss Verfahren zum Bereitstellen einer berührungslosen Gerätefunktionssteuerung und Vorrichtung zum Durchführen des Verfahrens
US20120086624A1 (en) 2010-10-12 2012-04-12 Eldon Technology Limited Variable Transparency Heads Up Displays
US20150173846A1 (en) * 2012-09-10 2015-06-25 Elbit Systems Ltd. Microsurgery system for displaying in real time magnified digital image sequences of an operated area
WO2014197337A1 (en) * 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021125161A1 (de) 2021-09-28 2023-03-30 Blazejewski Medi-Tech Gmbh Medizinisches Instrument

Also Published As

Publication number Publication date
US20180308451A1 (en) 2018-10-25
US11094283B2 (en) 2021-08-17

Similar Documents

Publication Publication Date Title
DE60130264T2 (de) Führungssystem
EP0788613B1 (de) Mikroskop, insbesondere operationsmikroskop
DE102017108551A1 (de) Kopftragbare Darstellungsvorrichtung, Verfahren zum Betreiben derselben und medizinisch optisches Beobachtungssystem
EP2926733B1 (de) Triangulationsbasierte Tiefen- und Oberflächen-Visualisierung
EP2937058B1 (de) Kopfgetragene plattform zur integration von virtualität in die realität
EP0871913B1 (de) Mikroskop
EP1225454B1 (de) Verfahren und Vorrichtung zum Festlegen eines Ortes
DE102006002001B4 (de) Verfahren zur Bestimmung der räumlichen Relation eines Auges einer Person bezüglich einer Kameravorrichtung
EP2289061B1 (de) Ophthalmoskop-simulator
DE102007054450A1 (de) Vorrichtung zur Bereitstellung von Bildern für einen Operateur
DE102005010009A1 (de) Verbesserter Beleuchtungsapparat und Verfahren hierzu
EP1430349B1 (de) Informationssystem
DE102015212806A1 (de) System und Verfahren zum Scannen von anatomischen Strukturen und zum Darstellen eines Scanergebnisses
DE10103922A1 (de) Interaktives Datensicht- und Bediensystem
WO2001038919A1 (de) Sehhilfe in form einer lupenbrille mit autofokussiereinrightung
EP2455038A2 (de) Integration von chirurgischem Instrument und Anzeigevorrichtung zur Unterstützung der bildgeführten Chirurgie
DE102013206911A1 (de) Verfahren und Vorrichtung zur stereoskopischen Darstellung von Bilddaten
DE102018106651A1 (de) Visualisierungssystem und Verfahren zum Erzeugen von holographischen Darstellungen aus optischen Signalen
DE3532730C2 (de)
DE19502337C2 (de) Vorrichtung und Verfahren zur Prüfung von Sehfunktionen
WO2017220667A1 (de) Verfahren und vorrichtung zur veränderung der affektiven visuellen information im gesichtsfeld eines benutzers
DE10335369B4 (de) Verfahren zum Bereitstellen einer berührungslosen Gerätefunktionssteuerung und Vorrichtung zum Durchführen des Verfahrens
DE102005003443A1 (de) Einheit und Verfahren zur internen Blickführung in Funduskameras
EP2082700A1 (de) Anordnung aus einem Operationsmikroskop und einer Anzeigeeinheit
DE102018206405B3 (de) Mikroskopiesystem sowie Verfahren zum Betrieb eines Mikroskopiesystems

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication