-
Die vorliegende Erfindung betrifft eine Darstellungsvorrichtung zur Anzeige einer erweiterten Realität, ein Verfahren zum Bereitstellen einer erweiterten Realität, sowie ein Computerprogrammprodukt.
-
Zur realistischen Darstellung medizinischer Informationen, beispielsweise von medizinischen Bilddaten von einem Untersuchungsobjekt, werden zunehmend Darstellungen einer erweiterten Realität (engl. augmented reality, AR) verwendet. Hierbei werden häufig reale Objekte, beispielsweise medizinische Objekte und/oder ein Untersuchungsobjekt, mit virtuellen Daten, insbesondere medizinischen Bilddaten und/oder virtuellen Objekten, überlagert und in einer Anzeige dargestellt. Für eine realitätsnahe Darstellung mit hohem Immersionsgrad ist eine genaue Registrierung zwischen den virtuellen Daten und den realen Objekten erforderlich. Häufig wird hierfür das reale Objekt, welches in die Darstellung der erweiterten Realität eingebettet werden soll, mittels einer an dem Objekt angeordneten gegenständlichen Markerstruktur lokalisiert. Alternativ kann das reale Objekt anhand einer vorbestimmten Form relativ zu einer Vorrichtung zur Darstellung der erweiterten Realität lokalisiert werden.
-
Eine graphische Darstellung von präoperativen und/oder intraoperativen Daten eines Untersuchungsobjekts in der erweiterten Realität kann zur Unterstützung eines medizinischen Personals, beispielsweise eines Arztes, bei interventionellen und/oder chirurgischen Eingriffen genutzt werden. Hierdurch kann eine möglichst immersive und realistische Darstellung der Daten, insbesondere unmittelbar am Untersuchungsobjekt, ermöglicht werden.
-
Wird diese graphische Darstellung der Daten in der erweiterten Realität zur, insbesondere intraoperativen, Unterstützung des medizinischen Personals eingesetzt, ist eine realistische Tiefendarstellung und -wahrnehmung unerlässlich, insbesondere für eine Hand-Augen-Koordination des medizinischen Personals. Häufig vermitteln graphische Darstellung von präoperativen und/oder intraoperativen Daten eines Untersuchungsobjekts in der erweiterten Realität einen unrealistischen Tiefeneindruck. Dieser fehlerhafte Tiefeneindruck kann, insbesondere aufgrund der dadurch gestörten Hand-Augen-Koordination des medizinischen Personals, nachteilig zu Verletzungen von Strukturen des Untersuchungsobjekts führen.
-
Der Erfindung liegt daher die Aufgabe zugrunde, eine hinsichtlich eines Tiefeneindrucks verbesserte erweiterte Realität bereitzustellen.
-
Die Aufgabe wird erfindungsgemäß gelöst durch den jeweiligen Gegenstand der unabhängigen Ansprüche. Vorteilhafte Ausführungsformen mit zweckmäßigen Weiterbildungen sind Gegenstand der Unteransprüche.
-
Die Erfindung betrifft in einem ersten Aspekt eine Darstellungsvorrichtung zur Anzeige einer erweiterten Realität. Dabei weist die Darstellungsvorrichtung eine Erfassungseinheit und eine Anzeigeeinheit auf. Ferner ist die Anzeigeeinheit zumindest teilweise transparent ausgebildet. Des Weiteren ist die Erfassungseinheit dazu ausgebildet, reale Objekte in einem Blickfeld der Darstellungsvorrichtung zu erfassen. Zudem ist die Anzeigeeinheit dazu ausgebildet, eine graphische Darstellung der erweiterten Realität anzuzeigen, wobei die erweiterte Realität zumindest ein virtuelles Objekt aufweist. Dabei ist die Darstellungsvorrichtung dazu ausgebildet, das zumindest eine virtuelle Objekt in Abhängigkeit der erfassten realen Objekte in der erweiterten Realität anzuordnen. Zudem ist die Darstellungsvorrichtung dazu ausgebildet, eine Unschärfe des zumindest einen virtuellen Objekts in Abhängigkeit von dessen virtueller Anordnung anzupassen.
-
Die Anzeigeeinheit kann vorteilhafterweise dazu ausgebildet sein, die graphische Darstellung der erweiterten Realität anzuzeigen, welche erweiterte Realität das zumindest eine virtuelle Objekt aufweist. Insbesondere kann die Anzeigeeinheit zur stereoskopischen Anzeige der graphischen Darstellung der erweiterten Realität ausgebildet sein. Vorteilhafterweise kann die Darstellungsvorrichtung, insbesondere die Anzeigeeinheit, ferner dazu ausgebildet sein, eine Stereodisparität (engl. stereo disparity) in der stereoskopischen Anzeige der graphischen Darstellung der erweiterten Realität anzupassen.
-
Die Anzeigeeinheit kann vorteilhafterweise dazu ausgebildet sein, reale, insbesondere gegenständliche, Objekte, insbesondere medizinische Objekte, beispielsweise ein diagnostisches und/oder chirurgisches Instrument, und/oder das Untersuchungsobjekt, beispielsweise ein anatomisches Objekt, mit dem zumindest einen virtuellen Objekt überlagert und in einer Anzeige darzustellen. Hierfür kann die Anzeigeeinheit beispielsweise einen Bildschirm und/oder einen Projektor und/ oder eine Projektionsfläche aufweisen. Vorteilhafterweise kann die Anzeigeeinheit als Brille, insbesondere Datenbrille, und/oder Helm, insbesondere Datenhelm, und/oder Bildschirm ausgebildet sein. Ferner kann die Anzeigeeinheit portabel, insbesondere durch einen Nutzer tragbar, ausgebildet sein. Dabei kann die Anzeigeeinheit zumindest teilweise transparent, insbesondere lichtdurchlässig und/oder durchblickbar, ausgebildet sein. Ferner kann die Anzeigeeinheit dazu ausgebildet sein, in einem Blickfeld des Nutzers angeordnet zu werden. Vorteilhafterweise kann die Anzeigeeinheit derart von dem Nutzer tragbar ausgebildet sein, dass die Erfassungseinheit und/oder die Anzeigeeinheit bei einer Bewegung des Nutzers, insbesondere einer Kopfbewegung, gleichförmig mitbewegt werden.
-
Die Erfassungseinheit kann vorteilhafterweise einen optischen und/oder elektromagnetischen und/oder akustischen Sensor aufweisen, welcher dazu ausgebildet ist, reale Objekte in dem Blickfeld der Darstellungsvorrichtung, insbesondere räumlich zweidimensional (2D) oder dreidimensional (3D), zu erfassen. Beispielsweise kann die Erfassungseinheit eine Kamera aufweisen, insbesondere eine 2D-Kamera und/oder eine omni-direktionale Kamera und/oder eine 3D-Kamera, insbesondere eine Stereokamera und/oder eine Tiefenkamera und/oder eine Time-of-Flight-Kamera (TOF-Kamera), welche zur zumindest ausschnittsweisen, insbesondere optischen, Erfassung der in dem Blickfeld der Darstellungsvorrichtung angeordneten realen Objekten ausgebildet ist. Des Weiteren kann die Erfassungseinheit einen elektromagnetischen Sensor aufweisen, beispielsweise einen Hallsensor, welcher dazu ausgebildet sein kann, reale Objekte in dem Blickfeld der Darstellungsvorrichtung anhand von elektromagnetischen Wellen, insbesondere einer Änderung und/oder Interferenz von elektromagnetischen Wellen, zu orten. Ferner kann die Erfassungseinheit einen akustischen, insbesondere ultraschallbasierten, Sensor aufweisen, beispielsweise einen Ultraschallwandler, welcher dazu ausgebildet ist, ein definiertes Ultraschallfeld auszusenden und die realen Objekte anhand eines reflektierten Anteils des Ultraschallfelds zu erfassen.
-
Die Erfassungseinheit kann vorzugsweise derart bezüglich der Anzeigeeinheit angeordnet sein, dass ein Erfassungsbereich der Erfassungseinheit zumindest teilweise, insbesondere vollständig, mit dem Blickfeld der Darstellungsvorrichtung, insbesondere der Anzeigeeinheit, übereinstimmt. Insbesondere kann die Erfassungseinheit an der Anzeigeeinheit befestigt und/oder zumindest teilweise, insbesondere vollständig, in die Erfassungseinheit integriert sein. Das Blickfeld der Darstellungsvorrichtung kann vorteilhafterweise einen maximalen räumlichen Bereich, insbesondere einen maximalen Winkelbereich, umfassen, welcher durch einen, die Anzeigeeinheit in einem Betriebszustand der Darstellungsvorrichtung durchblickenden, Nutzer, insbesondere theoretisch, erfassbar ist.
-
Die Darstellungsvorrichtung kann ferner eine Verarbeitungseinheit aufweisen, welche dazu ausgebildet ist, ein von der Erfassungseinheit in Abhängigkeit der erfassten realen Objekte bereitgestelltes Signal, insbesondere aufweisend eine Abbildung und/oder eine Positionierungsinformation zu den erfassten realen Objekten, zu verarbeiten. Ferner kann die Verarbeitungseinheit dazu ausgebildet sein, die erweiterte Realität, insbesondere die graphische Darstellung der erweiterten Realität, aufweisend das zumindest eine virtuelle Objekt zu erzeugen und an die Anzeigeeinheit bereitzustellen.
-
Vorteilhafterweise kann die Darstellungsvorrichtung, insbesondere die Verarbeitungseinheit, dazu ausgebildet sein, ein Koordinatensystem der Anzeigeeinheit mit einem Koordinatensystem des realen Raums, welcher mittels der Erfassungseinheit erfassbar ist, zu registrieren. Das Erfassen der realen Objekte kann vorteilhafterweise ein Lokalisieren und/oder Identifizieren der realen Objekte umfassen. Dabei kann die Erfassungseinheit dazu ausgebildet sein, eine, insbesondere zweidimensionale oder dreidimensionale, räumliche Positionierung der realen Objekte, insbesondere in dem Koordinatensystem des realen Raums und/oder der Anzeigeeinheit, zu bestimmen. Ferner kann die Erfassungseinheit dazu ausgebildet sein, die realen Objekte zu identifizieren, insbesondere zu klassifizieren, beispielsweise anhand geometrischer und/oder anatomischer Merkmale.
-
Die erweiterte Realität kann das zumindest eine virtuelle Objekt, insbesondere mehrere virtuelle Objekte, aufweisen. Insbesondere kann die erweiterte Realität eine virtuelle Anordnung von mehreren virtuellen Objekten aufweisen. Dabei kann die Darstellungsvorrichtung, insbesondere die Verarbeitungseinheit, dazu ausgebildet sein, das zumindest eine virtuelle Objekt in der erweiterten Realität, insbesondere bezüglich des Koordinatensystems des realen Raums und/oder der Anzeigeeinheit, in Abhängigkeit der erfassten realen Objekte, insbesondere in Abhängigkeit der räumlichen Positionierung und/ oder Identifikation der realen Objekte, anzuordnen. Das Anordnen des zumindest einen virtuellen Objekts in der erweiterten Realität kann ein virtuelles räumliches Positionieren des zumindest einen virtuellen Objekts umfassen. Zudem kann das Anordnen des zumindest einen virtuellen Objekts in der erweiterten Realität vorteilhafterweise derart in Abhängigkeit der erfassten realen Objekte erfolgen, dass das zumindest eine virtuelle Objekt die realen Objekte zumindest teilweise überlagert, insbesondere maskiert. Alternativ kann das zumindest eine virtuelle Objekt derart in Abhängigkeit der erfassten realen Objekte in der erweiterten Realität angeordnet werden, dass wenigstens eines der realen Objekte, insbesondere in Abhängigkeit von dessen räumlicher Positionierung und/oder Identifikation, nicht von dem zumindest einen virtuellen Objekt überlagert wird. Vorteilhafterweise kann die Darstellungsvorrichtung dazu ausgebildet sein, das zumindest eine virtuelle Objekt zweidimensional oder dreidimensional in der erweiterten Realität anzuordnen. Beispielsweise kann die Darstellungsvorrichtung dazu ausgebildet sein das zumindest eine virtuelle Objekt, insbesondere die mehreren virtuellen Objekte, in der erweiterten Realität zweidimensional in einer, insbesondere gemeinsamen, Ebene anzuordnen. Dabei kann die Ebene vorteilhafterweise im Wesentlichen senkrecht zu einer Tiefendimension der erweiterten Realität angeordnet sein. Hierbei kann die Tiefendimension entlang einer Blickrichtung der Darstellungsvorrichtung, insbesondere der Erfassungseinheit, verlaufen. Alternativ kann die Darstellungsvorrichtung dazu ausgebildet sein, das zumindest eine virtuelle Objekt, insbesondere die mehreren virtuellen Objekte, in der erweiterten Realität dreidimensional, insbesondere auch entlang der Tiefendimension der erweiterten Realität, anzuordnen.
-
Das zumindest eine virtuelle Objekt kann vorteilhafterweise ein, insbesondere flächiges, geometrisches Objekt, insbesondere eine geometrische Form, und/oder eine graphische Darstellung von Informationen, beispielsweise einem Workflow-Hinweis und/oder einer physiologischen Information eines Untersuchungsobjekts und/oder einem Betriebsparameter, und/oder eine graphische Darstellung von, insbesondere medizinischen, Bilddaten und/oder einem Modell aufweisen. Beispielsweise kann das zumindest eine virtuelle Objekt eine graphische Darstellung von, insbesondere gemessenen und/oder simulierten und/oder verarbeiteten und/oder medizinischen, Daten, insbesondere Bilddaten, aufweisen. Sofern die erweiterte Realität mehrere virtuelle Objekte aufweist, können die mehreren virtuellen Objekte zumindest teilweise, insbesondere vollständig, gleich oder verschieden voneinander ausgebildet sein.
-
Des Weiteren kann die Darstellungsvorrichtung, insbesondere die Verarbeitungseinheit, dazu ausgebildet sein, eine Unschärfe, insbesondere eine räumliche Auflösung und/oder Weichzeichnung, des zumindest einen virtuellen Objekts in der graphischen Darstellung der erweiterten Realität, in Abhängigkeit von dessen virtueller Anordnung, insbesondere graduell, anzupassen. Das Anpassen der Unschärfe des zumindest einen virtuellen Objekts kann vorteilhafterweise ein zumindest bereichsweises, insbesondere homogenes oder inhomogenes, Erhöhen oder Verringern der räumlichen Auflösung und/oder eines Grads der Weichzeichnung, insbesondere eines Radius und/oder einer Intensität eines Weichzeichnungsfilters, des zumindest einen virtuellen Objekts in der graphischen Darstellung der erweiterten Realität umfassen. Insbesondere kann die Verarbeitungseinheit dazu ausgebildet sein, die Unschärfe des zumindest einen virtuellen Objekts durch Anwenden des, insbesondere isotropen oder anisotropen, Weichzeichnungsfilters auf das zumindest eine virtuelle Objekt anzupassen. Insbesondere kann hierdurch eine Schärfentiefe der graphischen Darstellung der erweiterten Realität aufweisend das zumindest eine virtuelle Objekt angepasst werden. Die Darstellungsvorrichtung, insbesondere die Verarbeitungseinheit, kann vorteilhafterweise zur automatischen Anpassung der Unschärfe des zumindest einen virtuellen Objekts ausgebildet sein, beispielsweise mittels einer künstlichen Intelligenz.
-
Vorteilhafterweise kann die Darstellungsvorrichtung dazu ausgebildet sein, einen Referenzpunkt, beispielsweise einen Blickfokus und/oder eines der erfassten realen Objekte, und/oder eine Referenzrichtung, beispielsweise eine Blickrichtung, zu erfassen. Ferner kann die Darstellungsvorrichtung dazu ausgebildet sein, die Unschärfe des zumindest einen virtuellen Objekts in Abhängigkeit von dessen virtueller Anordnung in der erweiterten Realität, insbesondere in Abhängigkeit von dessen Relativpositionierung bezüglich des Referenzobjekts und/oder der Referenzrichtung, anzupassen. Insbesondere kann die Darstellungsvorrichtung dazu ausgebildet sein, eine räumliche Distanz zwischen dem zumindest einen virtuellen Objekt und dem Referenzpunkt und/oder der Referenzrichtung, insbesondere zweidimensional oder dreidimensional, zu bestimmen. Ferner kann die Darstellungsvorrichtung dazu ausgebildet sein, die Unschärfe des zumindest einen virtuellen Objekts als Funktion der räumlichen Distanz zwischen dem zumindest einen virtuellen Objekt und dem Referenzpunkt und/oder der Referenzrichtung, insbesondere graduell, anzupassen.
-
Die vorgeschlagene Ausführungsform kann vorteilhaft eine verbesserte, insbesondere realitätsnahe, Integration, insbesondere Immersion, des zumindest einen virtuellen Objekts in der erweiterten Realität ermöglichen. Hierdurch kann eine verbesserte Tiefenwahrnehmung und/oder ein verbesserter Tiefeneindruck, insbesondere eine verbesserte Hand-Augen-Koordination, für den Nutzer, insbesondere ein medizinisches Personal, ermöglicht werden.
-
In einer weiteren vorteilhaften Ausführungsform der vorgeschlagenen Darstellungsvorrichtung kann die Darstellungsvorrichtung ferner zum Empfangen eines, insbesondere medizinischen, Bilddatensatzes aufweisend eine Abbildung und/oder ein Modell eines Untersuchungsobjekts ausgebildet sein. Ferner kann die Erfassungseinheit dazu ausgebildet sein, zumindest einen Ausschnitt des Untersuchungsobjekts als reales Objekt zu erfassen. Dabei kann das zumindest eine virtuelle Objekt eine graphische Information des Bilddatensatzes aufweisen.
-
Das Empfangen des Bilddatensatzes kann insbesondere ein Erfassen und/oder Auslesen eines computerlesbaren Datenspeichers und/oder ein Empfangen aus einer Datenspeichereinheit, beispielsweise einer Datenbank, umfassen. Ferner kann der Bilddatensatz von einem medizinischen Bildgebungsgerät zur Aufnahme des Bilddatensatzes, beispielsweise einem medizinischen Röntgengerät und/oder einer Magnetresonanzanlage (MRT) und/oder einer Computertomographieanlage (CT) und/oder einer Positronenemissionstomographieanlage (PET) und/oder einem Ultraschallgerät, bereitgestellt werden. Alternativ kann der Bilddatensatz simuliert sein.
-
Vorteilhafterweise kann der Bilddatensatz eine, insbesondere zeitaufgelöste, zweidimensional oder dreidimensional räumlich aufgelöste Abbildung zumindest eines Ausschnitts, beispielsweise einem anatomischen Bereich und/oder einem Organ, insbesondere einem Hohlorgan, und/oder einer Knochenstruktur, des Untersuchungsobjekts aufweisen. Insbesondere kann der Bilddatensatz eine kontrastierte und/oder segmentierte Abbildung des Untersuchungsobjekts aufweisen. Das Untersuchungsobjekt kann beispielsweise ein menschlicher Patient und/oder ein tierischer Patient und/oder ein Untersuchungsphantom sein. Alternativ oder zusätzlich kann der Bilddatensatz ein Modell, insbesondere ein 2D- oder 3D-Modell, des Untersuchungsobjekts aufweisen, beispielsweise ein Volumenmodell, insbesondere ein Volumennetzmodell (engl. volume mesh model), und/oder ein Zentrallinienmodell. Ferner kann der Bilddatensatz das Untersuchungsobjekt präoperativ und/oder intraoperativ abbilden. Dabei kann der Bilddatensatz zudem eine Abbildung und/oder ein Modell eines intraoperativ in dem Untersuchungsobjekt zumindest teilweise angeordneten medizinischen Objekts, beispielsweise einem chirurgischen und/oder diagnostischen Instrument und/oder einem Implantat, aufweisen.
-
Vorteilhafterweise kann die Erfassungseinheit dazu ausgebildet sein, zumindest einen Ausschnitt, beispielsweise eine Oberfläche, insbesondere eine Gewebe- und/oder Organoberfläche, und/oder eine anatomische Landmarke und/oder eine Markerstruktur und/oder ein chirurgisches Operationsfeld, des Untersuchungsobjekts als reales Objekt in dem Blickfeld der Darstellungsvorrichtung zu erfassen. Zudem kann die Darstellungsvorrichtung dazu ausgebildet sein, ein Koordinatensystem der Anzeigeeinheit mit einem Koordinatensystem des Untersuchungsobjekts zu registrieren. Das Erfassen des zumindest einen Ausschnitts des Untersuchungsobjekts kann vorteilhafterweise ein Lokalisieren und/oder Identifizieren der Oberfläche und/oder der anatomischen Landmarke und/oder der Markerstruktur und/oder des chirurgisches Operationsfelds umfassen. Dabei kann die Erfassungseinheit dazu ausgebildet sein, die, insbesondere zweidimensionale oder dreidimensionale, räumliche Positionierung des zumindest einen Ausschnitts des Untersuchungsobjekts, insbesondere in dem Koordinatensystem des realen Raums und/oder der Anzeigeeinheit, zu bestimmen.
-
Das zumindest eine virtuelle Objekt kann vorteilhafterweise eine graphische Information des Bilddatensatzes aufweisen. Dabei kann die graphische Information beispielsweise eine, insbesondere präoperative oder intraoperative, Abbildung, insbesondere medizinische Bilddaten, und/oder ein Modell des erfassten zumindest einen Ausschnitts des Untersuchungsobjekts umfassen. Des Weiteren kann das zumindest eine virtuelle Objekt eine Planungsinformation, insbesondere einen graphischen Workflow-Hinweis, aufweisen, beispielsweise eine Pfadplanung für ein durch den Nutzer beeinflusstes medizinisches Objekt, beispielsweise einen Katheter und/oder ein Endoskop und/oder ein Implantat.
-
Dadurch, dass die Darstellungsvorrichtung dazu ausgebildet ist, die Unschärfe des zumindest einen virtuellen Objekts in Abhängigkeit von dessen virtueller Anordnung anzupassen, kann die Darstellungsvorrichtung auch zur Anpassung der Unschärfe der graphischen Information des Bilddatensatzes in Abhängigkeit der virtuellen Anordnung des zugehörigen zumindest einen virtuellen Objekts ausgebildet sein. Hierdurch kann vorteilhaft eine verbesserte, insbesondere realitätsnahe, Integration, insbesondere Immersion, der graphischen Information des Bilddatensatzes in die erweiterte Realität ermöglicht werden.
-
In einer weiteren vorteilhaften Ausführungsform der vorgeschlagenen Darstellungsvorrichtung kann die Erfassungseinheit ferner zum Erfassen einer Blickrichtung und/oder eines Blickfokus eines die Anzeigeeinheit durchblickenden Nutzers zu erfassen. Dabei kann die Darstellungsvorrichtung ferner dazu ausgebildet sein, die virtuelle Anordnung und/oder die Unschärfe des zumindest einen virtuellen Objekts zusätzlich in Abhängigkeit der erfassten Blickrichtung und/oder des erfassten Blickfokus anzupassen.
-
Vorteilhafterweise kann die Erfassungseinheit eine Blickrichtungserfassungseinheit aufweisen (engl. eye-tracker), welche dazu ausgebildet ist, die Blickrichtung und/oder den Blickfokus des die Anzeigeeinheit durchblickenden Nutzers zu erfassen, beispielsweise mittels einer Erfassung einer, insbesondere momentanen, räumlichen Positionierung von Pupillen des Nutzers. Vorteilhafterweise kann die Erfassungseinheit, insbesondere die Blickrichtungserfassungseinheit, dazu ausgebildet sein, die Blickrichtung und/oder den Blickfokus des Nutzers in Bezug auf die erfassten realen Objekte und/oder die Anzeigeeinheit, insbesondere die graphische Darstellung der erweiterten Realität, zu erfassen. Die Blickrichtung kann eine räumliche Dimension beschreiben, entlang welcher der Nutzer in einem Betriebszustand der Darstellungsvorrichtung die Anzeigeeinheit durchblickt. Ferner kann der Blickfokus einen räumlichen Bereich, insbesondere entlang der Blickrichtung und/oder um die Blickrichtung herum beschreiben, in welchem ein Fokuspunkt des Nutzers, insbesondere momentan, angeordnet ist. Vorteilhafterweise kann der Blickfokus einen räumlichen Bereich mit vorbestimmter, insbesondere elliptischer oder ellipsoider, räumlicher Ausdehnung um den, insbesondere momentanen, Fokuspunkt des Nutzers umfassen. Alternativ oder zusätzlich kann die Erfassungseinheit dazu ausgebildet sein, eine Trajektorie des Fokuspunkts des Nutzers über einen vorbestimmten Zeitraum, insbesondere wiederholt, zu erfassen. Dabei kann der Blickfokus vorteilhafterweise einen räumlichen Bereich umfassend die Trajektorie des Fokuspunkts beschreiben.
-
Vorteilhafterweise kann die Erfassungseinheit dazu ausgebildet sein, die Blickrichtung und/oder den Blickfokus des Nutzers in einem Koordinatensystem des durch die Erfassungseinheit erfassten realen Raumes und/oder in einem Koordinatensystem der erweiterten Realität, insbesondere der Anzeigeeinheit, zu erfassen.
-
Vorteilhafterweise kann die Darstellungsvorrichtung dazu ausgebildet sein, das zumindest eine virtuelle Objekt, insbesondere die mehreren virtuellen Objekte, zusätzlich in Abhängigkeit der erfassten Blickrichtung und/oder des erfassten Blickfokus in der erweiterten Realität anzuordnen. Insbesondere kann die Darstellungsvorrichtung dazu ausgebildet sein, das zumindest eine virtuelle Objekt aufweisend einen räumlichen Mindestabstand, insbesondere einen Radius, relativ zur erfassten Blickrichtung und/oder zum erfassten Blickfokus in der erweiterten Realität anzuordnen. Dabei kann der räumliche Mindestabstand beispielsweise anhand einer Eigenschaft zumindest eines erfassten realen Objekts, welches an dem Blickfokus und/oder entlang der Blickrichtung angeordnet ist, beispielsweise der Identifikation und/oder räumlichen Ausdehnung des zumindest einen erfassten realen Objekts, bestimmt werden. Des Weiteren kann der Mindestabstand in Abhängigkeit der räumlichen Positionierung des erfassten Blickfokus entlang der Blickrichtung angepasst werden. Insbesondere kann der Mindestabstand des zumindest einen virtuellen Objekts bezüglich der Blickrichtung mit zunehmender Entfernung des Blickfokus bezüglich dem Nutzer verringert werden. Des Weiteren kann die Darstellungsvorrichtung dazu ausgebildet sein, das zumindest eine virtuelle Objekt entlang der Blickrichtung hinter dem Blickfokus anzuordnen.
-
Ferner kann die Darstellungsvorrichtung dazu ausgebildet sein, die Unschärfe des zumindest einen virtuellen Objekts zusätzlich in Abhängigkeit von dessen Relativpositionierung bezüglich des Blickfokus und/oder der Blickrichtung anzupassen. Insbesondere kann die Darstellungsvorrichtung dazu ausgebildet sein, eine räumliche Distanz zwischen dem zumindest einen virtuellen Objekt und dem Blickfokus und/oder der Blickrichtung, insbesondere zweidimensional oder dreidimensional, zu bestimmen. Ferner kann die Darstellungsvorrichtung dazu ausgebildet sein, die Unschärfe des zumindest einen virtuellen Objekts als Funktion der räumlichen Distanz zwischen dem zumindest einen virtuellen Objekt und dem Blickfokus und/oder der Blickrichtung, insbesondere graduell, anzupassen. Insbesondere kann die Darstellungsvorrichtung dazu ausgebildet sein, die Unschärfe des zumindest einen virtuellen Objekts mit steigender räumlicher Distanz zwischen dem zumindest einen virtuellen Objekt und dem Blickfokus und/oder der Blickrichtung zu erhöhen.
-
Hierdurch kann eine an die, insbesondere momentane, Blickrichtung und/oder an den, insbesondere momentanen, Blickfokus des Nutzers, angepasste graphische Darstellung der erweiterten Realität aufweisend das zumindest eine virtuelle Objekt angezeigt werden.
-
In einer weiteren vorteilhaften Ausführungsform der vorgeschlagenen Darstellungsvorrichtung kann die Darstellungsvorrichtung dazu ausgebildet sein, das zumindest eine virtuelle Objekt derart in Abhängigkeit der erfassten Blickrichtung anzuordnen, dass zumindest eines der realen Objekte durch das zumindest eine virtuelle Objekt zumindest teilweise, insbesondere vollständig, maskiert wird.
-
Die Darstellungsvorrichtung kann vorteilhafterweise dazu ausgebildet sein, das zumindest eine der erfassten realen Objekte, insbesondere mehrere der erfassten realen Objekte, in Abhängigkeit des erfassten Blickfokus und/oder der erfassten Blickrichtung des Nutzers zu identifizieren, insbesondere auszuwählen. Vorteilhafterweise kann das zumindest eine der erfassten realen Objekte, insbesondere zumindest ein identifiziertes reales Objekt, außerhalb des räumlichen Mindestabstands bezüglich des Blickfokus und/oder der Blickrichtung angeordnet sein. Ferner kann die Darstellungsvorrichtung dazu ausgebildet sein, das zumindest eine virtuelle Objekt entlang der Blickrichtung des Nutzers vor dem zumindest einen der realen Objekte, insbesondere dem zumindest einen identifizierten realen Objekt, virtuell anzuordnen. Insbesondere kann die Darstellungsvorrichtung dazu ausgebildet sein, das zumindest eine virtuelle Objekt in der erweiterten Realität an einer virtuellen Position anzuordnen, welche der räumlichen Position des zumindest einen der erfassten realen Objekte, insbesondere dem zumindest einen identifizierten realen Objekt, entspricht. Hierdurch kann das zumindest eine der erfassten realen Objekte mit dem zumindest einen virtuellen Objekt in der graphischen Darstellung erweiterten Realität zumindest teilweise überlagert, insbesondere maskiert, werden. Insbesondere kann das zumindest eine virtuelle Objekt dazu ausgebildet sein, das zumindest eine der erfassten realen Objekte zumindest teilweise, insbesondere vollständig, zu verdecken und/oder unscharf zu maskieren. Ferner kann die Darstellungsvorrichtung dazu ausgebildet sein, das zumindest eine virtuelle Objekt aufweisend eine zweidimensionale oder dreidimensionale Form und/oder Struktur anzuzeigen. Dabei kann die zweidimensionale und/oder dreidimensionale Form und/oder Struktur des zumindest einen virtuellen Objekts an eine zweidimensionale und/oder dreidimensionale Form und/oder Struktur des zumindest einen der erfassten realen Objekte, insbesondere entlang der Blickrichtung, angepasst sein. Hierfür kann die Erfassungseinheit ferner dazu ausgebildet sein, die zweidimensionale und/oder dreidimensionale Form und/oder Struktur des zumindest einen realen Objekts zu erfassen.
-
Durch die zumindest teilweise Maskierung des zumindest einen der realen Objekte kann beispielsweise eine Lenkung der Blickrichtung und/oder des Blickfokus hin zu einem unmaskierten Bereich der erweiterten Realität ermöglicht werden. Zudem kann die vorgeschlagene Ausführungsform vorteilhaft eine Verstärkung eines Tiefeneindrucks ermöglichen, insbesondere durch zumindest teilweises unscharf Maskieren des zumindest einen der realen Objekte.
-
In einer weiteren vorteilhaften Ausführungsform der vorgeschlagenen Darstellungsvorrichtung kann die Anzeigeeinheit dazu ausgebildet sein, das zumindest eine virtuelle Objekt teilweise transparent anzuzeigen. Dabei kann die Darstellungsvorrichtung ferner dazu ausgebildet sein, die Transparenz des zumindest einen virtuellen Objekts in Abhängigkeit dessen virtueller Anordnung anzupassen.
-
Die Anzeigeeinheit kann vorteilhafterweise dazu ausgebildet sein, das zumindest eine virtuelle Objekt in der graphischen Darstellung der erweiterten Realität teilweise transparent anzuzeigen. Ferner kann die Anzeigeeinheit dazu ausgebildet sein, das zumindest eine virtuelle Objekt zumindest bereichsweise, insbesondere vollständig, aufweisend die teilweise Transparenz anzuzeigen. Zudem kann die Darstellungsvorrichtung dazu ausgebildet sein, die zumindest bereichsweise Transparenz des zumindest einen virtuellen Objekts in Abhängigkeit von dessen virtueller Anordnung in der erweiterten Realität anzupassen. Insbesondere kann die Darstellungsvorrichtung dazu ausgebildet sein, die zumindest bereichsweise Transparenz des zumindest einen virtuellen Objekts mit zunehmender virtueller räumlicher Distanz zwischen dem zumindest einen virtuellen Objekt und dem Blickfokus und/oder der Blickrichtung und/oder dem Nutzer zu verringern.
-
Die vorgeschlagene Ausführungsform kann eine vorteilhafte Integration, insbesondere Immersion, des zumindest einen virtuellen Objekts in die erweiterte Realität ermöglichen.
-
In einer weiteren vorteilhaften Ausführungsform der vorgeschlagenen Darstellungsvorrichtung kann die Erfassungseinheit ferner dazu ausgebildet sein, eine Eingabe eines Nutzers zu erfassen. Dabei kann die Darstellungsvorrichtung dazu ausgebildet sein, anhand der Eingabe des Nutzers zumindest eines der erfassten realen Objekte zu identifizieren und die Unschärfe des zumindest einen virtuellen Objekts zusätzlich in Abhängigkeit von dessen virtueller Anordnung bezüglich des zumindest einen identifizierten realen Objekts anzupassen.
-
Der Sensor der Erfassungseinheit zur Erfassung der realen Objekte kann vorteilhafterweise dazu ausgebildet sein, die Eingabe des Nutzers zu erfassen. Alternativ oder zusätzlich kann die Erfassungseinheit einen weiteren, insbesondere optischen und/oder elektromagnetischen und/oder akustischen und/oder haptischen, Sensor aufweisen, welcher dazu ausgebildet ist, die Eingabe des Nutzers zu erfassen. Die Erfassungseinheit kann vorteilhafterweise dazu ausgebildet sein, die Eingabe des Nutzers anhand eines Eingabemittels zu erfassen. Das Eingabemittel kann beispielsweise eine Zeigeeinrichtung, insbesondere ein Stift und/oder eine Markerstruktur, und/oder eine Eingabeeinheit, insbesondere eine Tastatur, und/oder ein Körperteil des Nutzers, beispielsweise eine Hand und/oder ein Finger, und/oder ein optisches und/oder akustisches Signal, beispielsweise eine Spracheingabe, umfassen. Vorteilhafterweise kann die Erfassungseinheit zur zweidimensional und/oder dreidimensional räumlich aufgelösten Erfassung der Eingabe des Nutzers, insbesondere anhand des Eingabemittels, ausgebildet sein. Insbesondere kann die Erfassungseinheit dazu ausgebildet sein, die Eingabe des Nutzers punktuell und/oder zeitaufgelöst, beispielsweise als Trajektorie und/oder Geste, zu erfassen.
-
Ferner kann die Darstellungsvorrichtung dazu ausgebildet sein, zumindest eines, insbesondere mehrere, der erfassten realen Objekte anhand der Eingabe des Nutzers zu identifizieren, insbesondere auszuwählen. Hierfür kann die Darstellungsvorrichtung ausgebildet sein, die Eingabe des Nutzers mit den erfassten realen Objekten, insbesondere räumlich, zu assoziieren. Zusätzlich kann die Darstellungsvorrichtung dazu ausgebildet sein, die Eingabe des Nutzers, insbesondere das zumindest eine identifizierte reale Objekt, mit der, insbesondere zum Zeitpunkt der Eingabe des Nutzers, erfassten Blickrichtung und/oder dem erfassten Blickfokus des Nutzers zu assoziieren. Dabei kann vorteilhafterweise das zumindest eine reale Objekt, insbesondere die mehreren realen Objekte, durch die Eingabe des Nutzers identifiziert, insbesondere klassifiziert, werden, welche bei der erfassten Blickrichtung und/oder dem erfassten Blickfokus durch den Nutzer scharf oder unscharf erfassbar sind. Die Darstellungsvorrichtung, insbesondere die Anzeigeeinheit, kann ferner dazu ausgebildet sein, ein weiteres virtuelles Objekt, beispielsweise ein graphisches Fixierelement, insbesondere ein Fixierkreuz, in der erweiterten Realität an einer oder mehreren virtuellen Positionierungen anzuordnen, um die Blickrichtung und/oder den Blickfokus des Nutzers während der Erfassung der Eingabe des Nutzers zu lenken und/oder zu fixieren. Durch eine Korrelation der erfassten räumlichen Positionierung des zumindest einen identifizierten realen Objekts, insbesondere des Eingabemittels, mit der Eingabe des Nutzers, insbesondere der Klassifizierung des zumindest einen identifizierten Objekts als scharf oder unscharf, kann eine räumliche Schärfentiefe des Nutzers, insbesondere individuell, abgebildet werden. Die Darstellungsvorrichtung, insbesondere die Anzeigeeinheit, kann vorteilhafterweise dazu ausgebildet sein, die Unschärfe des zumindest einen virtuellen Objekts in Abhängigkeit der abgebildeten Schärfentiefe nutzerspezifisch anzupassen. Wird durch die Eingabe des Nutzers das zumindest eine scharf erfassbare reale Objekt identifiziert, kann die Darstellungsvorrichtung vorteilhafterweise dazu ausgebildet sein, die Unschärfe des zumindest einen virtuellen Objekts mit zunehmender räumlicher Distanz zwischen dem zumindest einen virtuellen Objekt und dem zumindest einen identifizierten realen Objekt in der erweiterten Realität zu erhöhen. Wird durch die Eingabe des Nutzers das zumindest eine unscharf erfassbare reale Objekt identifiziert, kann die Darstellungsvorrichtung vorteilhafterweise dazu ausgebildet sein, die Unschärfe des zumindest einen virtuellen Objekts mit zunehmender räumlicher Distanz zwischen dem zumindest einen virtuellen Objekt und dem zumindest einen identifizierten realen Objekt in der erweiterten Realität zu verringern. Hierdurch kann die Unschärfe des zumindest einen virtuellen Objekts in der erweiterten Realität an die durch den Nutzer, insbesondere individuell, erfassbare Unschärfe der erfassten realen Objekte angepasst, insbesondere angeglichen und/oder kalibriert, werden. Insbesondere kann die Verarbeitungseinheit dazu ausgebildet sein, anhand der Eingabe die durch den Nutzer, insbesondere individuell, erfassbare Unschärfe in Abhängigkeit der räumlichen Positionierung des zumindest einen identifizierten realen Objekts bezüglich der Darstellungsvorrichtung, insbesondere der Anzeigeeinheit, und/oder bezüglich der Blickrichtung und/oder des Blickfokus des Nutzers abzubilden. Alternativ oder zusätzlich kann die Erfassungseinheit dazu ausgebildet sein, das Eingabemittel als das zumindest eine reale Objekt zu identifizieren. Dabei kann der Nutzer durch die, insbesondere momentane, räumliche Positionierung des Eingabemittels einen als unscharf oder scharf erfassbaren Bereich des realen Raumes markieren.
-
Bei einer stereoskopischen Anzeige der graphischen Darstellung der erweiterten Realität mittels der Anzeigeeinheit kann die Verarbeitungseinheit ferner dazu ausgebildet sein, anhand der räumlichen Positionierung des zumindest einen identifizierten realen Objekts, insbesondere des Eingabemittels, den Tiefeneindruck des Nutzers, insbesondere individuell, bezüglich der Darstellungsvorrichtung, insbesondere der Anzeigeeinheit, und/oder bezüglich der Blickrichtung und/oder des Blickfokus des Nutzers abzubilden. Hierfür kann die Darstellungsvorrichtung dazu ausgebildet sein, eine Soll-Tiefe, insbesondere eine räumliche Soll-Positionierung für das zumindest eine identifizierte reale Objekt, insbesondere das Eingabemittel, an den Nutzer auszugeben, beispielsweise als graphische Markierung und/oder als Textelement innerhalb der graphischen Darstellung der erweiterten Realität. Durch eine Korrelation der erfassten räumlichen Positionierung des zumindest einen identifizierten realen Objekts, insbesondere des Eingabemittels, mit der Soll-Tiefe, kann der Tiefeneindruck des Nutzers, insbesondere individuell, abgebildet werden. Die Darstellungsvorrichtung, insbesondere die Anzeigeeinheit, kann ferner dazu ausgebildet sein, die Stereodisparität der stereoskopischen Anzeige der graphischen Darstellung der erweiterten Realität in Abhängigkeit des abgebildeten Tiefeneindrucks nutzerspezifisch anzupassen.
-
Die vorgeschlagene Ausführungsform kann vorteilhaft eine Anpassung, insbesondere Kalibrierung, der Unschärfe des zumindest einen virtuellen Objekts durch den Nutzer in Abhängigkeit von der virtuellen Anordnung des zumindest einen virtuellen Objekts in der erweiterten Realität ermöglichen.
-
Die Erfindung betrifft in einem zweiten Aspekt ein Verfahren zum Bereitstellen einer erweiterten Realität. Dabei wird ein Datensatz aufweisend eine Abbildung und/oder Positionierungsinformation zumindest eines realen Objekts, insbesondere mehrere realer Objekte, in einem Blickfeld einer Darstellungsvorrichtung zur Anzeige der erweiterten Realität empfangen. Ferner wird die erweiterte Realität aufweisend zumindest ein virtuelles Objekt bereitgestellt. Dabei wird das zumindest eine virtuelle Objekt in Abhängigkeit des Datensatzes, insbesondere der Abbildung und/oder der Positionierungsinformation des zumindest einen realen Objekts, in der erweiterten Realität angeordnet. Zudem wird eine Unschärfe des zumindest einen virtuellen Objekts in Abhängigkeit von dessen virtueller Anordnung angepasst.
-
Die Vorteile des vorgeschlagenen Verfahrens zum Bereitstellen einer erweiterten Realität entsprechen im Wesentlichen den Vorteilen der vorgeschlagenen Darstellungsvorrichtung zur Anzeige einer erweiterten Realität. Hierbei erwähnte Merkmale, Vorteile oder alternative Ausführungsformen können ebenso auch auf die anderen beanspruchten Gegenstände übertragen werden und umgekehrt. Die Darstellungsvorrichtung zur Anzeige der erweiterten Realität kann vorteilhafterweise eine vorgeschlagene Darstellungsvorrichtung gemäß dem ersten Aspekt der Erfindung sein. Insbesondere kann die vorgeschlagene Ausführungsvorrichtung und ihre Komponenten dazu ausgebildet sein, eine Ausführungsform des vorgeschlagenen Verfahrens zum Bereitstellen einer erweiterten Realität auszuführen.
-
Das Empfangen des Datensatzes kann insbesondere ein Erfassen und/oder Auslesen eines computerlesbaren Datenspeichers und/oder ein Empfangen aus einer Datenspeichereinheit, beispielsweise einer Datenbank, umfassen. Ferner kann der Datensatz von einer Erfassungseinheit einer vorgeschlagenen Darstellungsvorrichtung erfasst und/oder bereitgestellt werden.
-
Der Datensatz kann vorteilhafterweise eine, insbesondere zweidimensional oder dreidimensional, räumlich aufgelöste Abbildung zumindest eines realen, insbesondere gegenständlichen, Objekts, insbesondere mehrerer realer Objekte, im Blickfeld der Darstellungsvorrichtung aufweisen. Alternativ oder zusätzlich kann der Datensatz eine Positionierungsinformation zu dem zumindest einen realen Objekt im Blickfeld der Darstellungsvorrichtung aufweisen. Dabei kann die Positionierungsinformation eine Information zur, insbesondere momentanen, räumlichen Position und/oder Ausrichtung des zumindest einen realen Objekts in einem Koordinatensystem des Raumes und/oder einer Anzeigeeinheit zur Anzeige der erweiterten Realität aufweisen. Bei mehreren erfassten realen Objekten kann der Datensatz vorteilhafterweise jeweils eine Positionierungsinformation zu jedem der mehreren realen Objekte aufweisen. Sofern der Datensatz die Abbildung und die Positionierungsinformation zu dem zumindest einen realen Objekt aufweist, können die Abbildung und die Positionierungsinformation vorteilhaft miteinander registriert sein.
-
Das Anpassen der Unschärfe des zumindest einen virtuellen Objekts, insbesondere das Erhöhen oder Verringern der räumlichen Auflösung und/oder des Grads der Weichzeichnung, kann beispielsweise mittels einer künstlichen Intelligenz, insbesondere durch Anwenden einer trainierten Funktion, erfolgen. Die trainierte Funktion bildet Eingabedaten auf Ausgabedaten ab. Hierbei können die Ausgabedaten insbesondere weiterhin von einem oder mehreren Parametern der trainierten Funktion abhängen. Der eine oder die mehreren Parameter der trainierten Funktion können durch ein Training bestimmt und/oder angepasst werden. Das Bestimmen und/oder das Anpassen des einen oder der mehreren Parameter der trainierten Funktion kann insbesondere auf einem Paar aus Trainingseingabedaten und zugehörigen Trainingsausgabedaten, insbesondere Vergleichsausgabedaten, basieren, wobei die trainierte Funktion zur Erzeugung von Trainingsabbildungsdaten auf die Trainingseingabedaten angewendet wird. Insbesondere können das Bestimmen und/oder das Anpassen auf einem Vergleich der Trainingsabbildungsdaten und der Trainingsausgabedaten, insbesondere der Vergleichsausgabedaten, basieren. Im Allgemeinen wird auch eine trainierbare Funktion, das heißt eine Funktion mit noch nicht angepassten einen oder mehreren Parametern, als trainierte Funktion bezeichnet. Vorteilhafterweise können die Eingabedaten der trainierten Funktion auf der Anordnung, insbesondere der virtuellen räumlichen Positionierung des zumindest einen virtuellen Objekts, und der Abbildung und/oder Positionierungsinformation des zumindest einen realen Objekts basieren. Die Ausgabedaten der trainierten Funktion können eine Information zur Unschärfe, beispielsweise einer räumlichen Auflösung und/oder einem Grad der Weichzeichnung, aufweisen. Der eine oder die mehreren Parameter der trainierten Funktion können durch einen Vergleich einer Trainingsinformation zur Unschärfe mit einer Klassifizierung der Unschärfe zumindest eines identifizierten realen (Trainings-)Objekts angepasst sein. Dabei kann die Trainingsinformation durch Anwenden der trainierten Funktion auf Trainingseingabedaten erzeugt werden, wobei die Trainingseingabedaten auf der Positionierungsinformation und/oder der Abbildung des zumindest einen identifizierten realen (Trainings-)Objekts basieren. Das Identifizierten des zumindest einen realen (Trainings-)Objekts und die Klassifizierung der Unschärfe des zumindest einen realen (Trainings-)Objekts können, insbesondere analog zur Identifikation des zumindest einen der erfassten realen Objekte und der Klassifizierung der Unschärfe des zumindest einen identifizierten realen Objekts erfolgen, welche in Bezug zur vorgeschlagenen Darstellungsvorrichtung beschrieben wurden, anhand einer Eingabe eines Nutzers erfolgen.
-
Das Bereitstellen der erweiterten Realität kann ein Speichern auf einem computerlesbaren Speichermedium und/oder ein Übertragen an eine Anzeigeeinheit zur Anzeige einer graphischen Darstellung der erweiterten Realität umfassen.
-
In einer weiteren vorteilhaften Ausführungsform des vorgeschlagenen Verfahrens kann ein Bilddatensatz aufweisend eine Abbildung und/oder ein Modell eines Untersuchungsobjekts empfangen werden. Dabei kann der Datensatz eine Abbildung und/oder eine Positionierungsinformation zumindest eines Ausschnitts des Untersuchungsobjekts als das zumindest eine reale Objekt in dem Blickfeld der Darstellungsvorrichtung aufweisen. Ferner kann das zumindest eine virtuelle Objekt eine graphische Information des Bilddatensatzes aufweisen.
-
Die Abbildung und/oder die Positionierungsinformation des zumindest einen Ausschnitts des Untersuchungsobjekts können insbesondere alle Merkmale und Eigenschaften aufweisen, die in Bezug zur Abbildung und/oder Positionierungsinformation des zumindest einen realen Objekts beschrieben wurden.
-
In einer weiteren vorteilhaften Ausführungsform des vorgeschlagenen Verfahrens kann eine Information zu einer Blickrichtung und/oder einem Blickfokus eines die Anzeigeeinheit durchblickenden Nutzers empfangen werden. Dabei kann die virtuelle Anordnung und/oder die Unschärfe des zumindest einen virtuellen Objekts zusätzlich in Abhängigkeit der erfassten Blickrichtung und/oder des erfassten Blickfokus angepasst werden.
-
Wird die Unschärfe des zumindest einen virtuellen Objekts durch Anwenden der trainierten Funktion angepasst, können die (Trainings-)Eingabedaten der trainierten Funktion vorteilhafterweise zusätzlich auf der Blickrichtung und/oder dem Blickfokus basieren.
-
In einer weiteren vorteilhaften Ausführungsform des vorgeschlagenen Verfahrens kann das zumindest eine virtuelle Objekt derart in Abhängigkeit der erfassten Blickrichtung angeordnet werden, dass zumindest eines der erfassten realen Objekte durch das zumindest eine virtuelle Objekt zumindest teilweise maskiert wird.
-
In einer weiteren vorteilhaften Ausführungsform des vorgeschlagenen Verfahrens kann das zumindest eine virtuelle Objekt teilweise transparent angezeigt werden. Dabei kann die Transparenz des zumindest einen virtuellen Objekts in Abhängigkeit dessen virtueller Anordnung angepasst werden.
-
In einer weiteren vorteilhaften Ausführungsform des vorgeschlagenen Verfahrens kann eine Eingabe eines Nutzers empfangen werden. Ferner kann anhand der Eingabe des Nutzers zumindest eines der erfassten realen Objekte identifiziert werden. Zudem kann die Unschärfe des zumindest einen virtuellen Objekts in Abhängigkeit von dessen virtueller Anordnung bezüglich des zumindest einen identifizierten realen Objekts angepasst werden.
-
Die Erfindung betrifft in einem dritten Aspekt ein Computerprogrammprodukt mit einem Computerprogramm, welches direkt in einen Speicher einer Verarbeitungseinheit ladbar ist, mit Programmabschnitten, um alle Schritte des vorgeschlagenen Verfahrens zum Bereitstellen einer erweiterten Realität auszuführen, wenn die Programmabschnitte von der Verarbeitungseinheit ausgeführt werden. Das Computerprogrammprodukt kann dabei eine Software mit einem Quellcode, der noch kompiliert und gebunden oder der nur interpretiert werden muss, oder einen ausführbaren Softwarecode umfassen, der zur Ausführung nur noch in die Verarbeitungseinheit zu laden ist. Durch das Computerprogrammprodukt kann das Verfahren zum Bereitstellen einer erweiterten Realität mittels einer Verarbeitungseinheit schnell, identisch wiederholbar und robust ausgeführt werden. Das Computerprogrammprodukt ist so konfiguriert, dass es mittels der Verarbeitungseinheit die erfindungsgemäßen Verfahrensschritte ausführen kann.
-
Die Vorteile des vorgeschlagenen Computerprogrammprodukts entsprechen im Wesentlichen den Vorteilen des vorgeschlagenen Verfahrens zum Bereitstellen einer erweiterten Realität. Hierbei erwähnte Merkmale, Vorteile oder alternative Ausführungsformen können ebenso auch auf die anderen beanspruchten Gegenstände übertragen werden und umgekehrt.
-
Das Computerprogrammprodukt ist beispielsweise auf einem computerlesbaren Speichermedium gespeichert oder auf einem Netzwerk oder Server hinterlegt, von wo es in den Prozessor einer Verarbeitungseinheit geladen werden kann, der mit der Verarbeitungseinheit direkt verbunden oder als Teil der Verarbeitungseinheit ausgebildet sein kann. Weiterhin können Steuerinformationen des Computerprogrammprodukts auf einem elektronisch lesbaren Datenträger gespeichert sein. Die Steuerinformationen des elektronisch lesbaren Datenträgers können derart ausgestaltet sein, dass sie bei Verwendung des Datenträgers in einer Verarbeitungseinheit ein erfindungsgemäßes Verfahren durchführen. Beispiele für elektronisch lesbare Datenträger sind eine DVD, ein Magnetband oder ein USB-Stick, auf welchem elektronisch lesbare Steuerinformationen, insbesondere Software, gespeichert ist. Wenn diese Steuerinformationen von dem Datenträger gelesen und in eine Verarbeitungseinheit gespeichert werden, können alle erfindungsgemäßen Ausführungsformen der vorab beschriebenen Verfahren durchgeführt werden.
-
Die Erfindung kann ferner von einem computerlesbaren Speichermedium und/oder elektronisch lesbaren Datenträger ausgehen, auf welchem von einer Verarbeitungseinheit lesbare und ausführbare Programmabschnitte gespeichert sind, um alle Schritte des Verfahrens zum Bereitstellen einer erweiterten Realität auszuführen, wenn die Programmabschnitte von der Verarbeitungseinheit ausgeführt werden.
-
Eine weitgehend softwaremäßige Realisierung hat den Vorteil, dass auch schon bisher verwendete Verarbeitungseinheiten auf einfache Weise durch ein Software-Update nachgerüstet werden können, um auf die erfindungsgemäße Weise zu arbeiten. Ein solches Computerprogrammprodukt kann neben dem Computerprogramm gegebenenfalls zusätzliche Bestandteile wie z.B. eine Dokumentation und/oder zusätzliche Komponenten, sowie Hardware-Komponenten, wie z.B. Hardware-Schlüssel (Dongles etc.) zur Nutzung der Software, umfassen.
-
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden im Folgenden näher beschrieben. In unterschiedlichen Figuren werden für gleiche Merkmale die gleichen Bezugszeichen verwendet. Es zeigen:
- 1 eine schematische Darstellung eines beispielhaften Anwendungsbeispiels für eine vorgeschlagene Darstellungsvorrichtung zur Anzeige einer erweiterten Realität,
- 2 eine schematische Darstellung einer beispielhaften erweiterten Realität aufweisend mehrere virtuelle Objekte,
- 3 bis 6 schematische Darstellungen verschiedener Ausführungsformen eines vorgeschlagenen Verfahrens zum Bereitstellen einer erweiterten Realität.
-
In 1 ist ein beispielhaftes Anwendungsbeispiel für eine vorgeschlagene Darstellungsvorrichtung VIS zur Anzeige einer erweiterten Realität schematisch dargestellt. Dabei kann die Darstellungsvorrichtung VIS eine Erfassungseinheit RU und eine Anzeigeeinheit DU aufweisen. Ferner kann die Anzeigeeinheit DU zumindest teilweise transparent ausgebildet sein. Ferner kann die Erfassungseinheit RU dazu ausgebildet sein, reale Objekte, beispielsweise ein auf einer Patientenlagerungsvorrichtung 32 angeordnetes Untersuchungsobjekt 31, in einem Blickfeld der Darstellungsvorrichtung VIS zu erfassen. Die Darstellungsvorrichtung VIS kann ferner eine Verarbeitungseinheit aufweisen (hier nicht gezeigt), welche dazu ausgebildet ist, ein von der Erfassungseinheit RU in Abhängigkeit der erfassten realen Objekte bereitgestelltes Signal zu verarbeiten. Ferner kann die Verarbeitungseinheit dazu ausgebildet sein, die erweiterte Realität AR aufweisend zumindest ein virtuelles Objekt VO zu erzeugen. Des Weiteren kann die Anzeigeeinheit DU dazu ausgebildet sein, eine graphische Darstellung der erweiterten Realität AR anzuzeigen, wobei die erweiterte Realität AR zumindest ein virtuelles Objekt VO aufweist. Die Darstellungsvorrichtung VIS kann dazu ausgebildet sein, das zumindest eine virtuelle Objekt VO in Abhängigkeit der erfassten realen Objekte, insbesondere des Untersuchungsobjekts 31, in der erweiterten Realität AR anzuordnen. Ferner kann die Darstellungsvorrichtung VIS dazu ausgebildet sein, eine Unschärfe des zumindest einen virtuellen Objekts VO in Abhängigkeit von dessen virtueller Anordnung anzupassen.
-
2 zeigt eine schematische Darstellung einer beispielhaften erweiterten Realität AR aufweisend mehrere virtuelle Objekte V0.1, V0.2 und V0.3. Vorteilhafterweise kann die Darstellungsvorrichtung VIS zum Empfangen eines Bilddatensatzes aufweisend eine Abbildung und/oder ein Modell des Untersuchungsobjekts 31 ausgebildet sein. Ferner kann die Erfassungseinheit RU zum Erfassen zumindest eines Ausschnitts des Untersuchungsobjekts 31, beispielsweise einem Herz in einem chirurgischen Operationsfeld des Untersuchungsobjekts 31, als erstes reales Objekt RO in dem Blickfeld der Darstellungsvorrichtung VIS ausgebildet sein. Die Erfassungseinheit RU kann zudem zum Erfassen weiterer realer Objekte, insbesondere weiterer Ausschnitte des Untersuchungsobjekts 31, beispielsweise einer Oberfläche des Untersuchungsobjekts 31, ausgebildet sein. Des Weiteren können die virtuellen Objekte V0.1 bis V0.3 jeweils eine graphische Information des Bilddatensatzes aufweisen. In 2 ist mittels einer Welligkeit von Linien schematisch illustriert, wie eine Unschärfe der virtuellen Objekte V0.1 bis VO.3 mit zunehmender räumlicher Distanz bezüglich dem identifizierten realen Objekt RO vorteilhaft erhöht werden kann. Mit einer höheren Anzahl von virtuellen Objekten und/oder einer räumlich inhomogenen angepassten Unschärfe der virtuellen Objekte V0.1 bis VO.3 kann zudem eine graduell, insbesondere kontinuierlich, ansteigende Unschärfe mit zunehmender räumlicher Distanz bezüglich dem identifizierten realen Objekt RO in der graphischen Darstellung der erweiterten Realität AR erzeugt werden.
-
Zudem kann die Erfassungseinheit RU zum Erfassen einer Blickrichtung und/oder eines Blickfokus V des die Anzeigeeinheit DU in einem Betriebszustand der Darstellungsvorrichtung durchblickenden Nutzers U ausgebildet sein. Dabei kann die Darstellungsvorrichtung VIS dazu ausgebildet sein, die virtuelle Anordnung und/oder die Unschärfe der virtuellen Objekte V0.1 bis VO.3 zusätzlich in Abhängigkeit der erfassten Blickrichtung und/oder des erfassten Blickfokus V anzupassen.
-
Die Darstellungsvorrichtung VIS kann ferner dazu ausgebildet sein, die virtuellen Objekte V0.1 bis VO.3 derart in Abhängigkeit der erfassten Blickrichtung V anzuordnen, dass zumindest eines der realen Objekte, insbesondere die weiteren realen Objekte, durch die virtuellen Objekte V0.1 bis VO.3 zumindest teilweise maskiert wird.
-
Die Anzeigeeinheit DU kann ferner dazu ausgebildet sein, die virtuellen Objekte V0.1 bis VO.3 teilweise transparent anzuzeigen (hier nicht gezeigt). Dabei kann die Darstellungsvorrichtung dazu ausgebildet sein, die Transparenz der virtuellen Objekts V0.1 bis VO.3 in Abhängigkeit von deren jeweiliger virtueller Anordnung anzupassen.
-
Vorteilhafterweise kann die Erfassungseinheit RU ferner zur Erfassung einer Eingabe des Nutzers U, beispielsweise anhand eines Eingabemittels IM, ausgebildet sein. Die Darstellungsvorrichtung VIS kann zudem dazu ausgebildet sein, anhand der Eingabe des Nutzers U zumindest eines der erfassten realen Objekte, insbesondere das erste reale Objekt RO, zu identifizieren und die Unschärfe der virtuellen Objekts V0.1 bis VO.3 in Abhängigkeit von deren virtueller Anordnung bezüglich des identifizierten realen Objekts RO anzupassen.
-
In 3 ist eine vorteilhafte Ausführungsform eines vorgeschlagenen Verfahrens zum Bereitstellen PROV-AR einer erweiterten Realität AR schematisch dargestellt. Dabei kann ein Datensatz DS aufweisend eine Abbildung und/oder eine Positionierungsinformation zumindest eines realen Objekts, insbesondere mehrerer realer Objekte, in dem Blickfeld der Darstellungsvorrichtung VIS empfangen werden REC-DS. Ferner kann die erweiterte Realität AR aufweisend das zumindest eine virtuelle Objekt VO bereitgestellt werden. Dabei kann das zumindest eine virtuelle Objekt VO in Abhängigkeit des Datensatzes DS in der erweiterten Realität AR angeordnet werden POS-VO. Ferner kann die Unschärfe des zumindest einen virtuellen Objekts VO in Abhängigkeit von dessen virtueller Anordnung angepasst werden ADJ-VO.
-
In 4 ist eine weitere vorteilhafte Ausführungsform des vorgeschlagenen Verfahrens zum Bereitstellen PROV-AR einer erweiterten Realität AR schematisch dargestellt. Dabei kann ein Bilddatensatz ID aufweisend eine Abbildung und/oder ein Modell des Untersuchungsobjekts 31 empfangen werden REC-ID. Ferner kann der Datensatz DS eine Abbildung und/oder eine Positionierungsinformation zumindest eines Ausschnittes des Untersuchungsobjekts 31 als das zumindest eine reale Objekt in dem Blickfeld der Darstellungsvorrichtung VIS aufweisen. Ferner kann das zumindest eine virtuelle Objekt VO eine graphische Information des Bilddatensatzes ID aufweisen.
-
5 zeigt eine schematische Darstellung einer weiteren vorteilhaften Ausführungsform des vorgeschlagenen Verfahrens zum Bereitstellen PROV-AR einer erweiterten Realität AR. Dabei kann eine Information zu einer Blickrichtung und/oder einem Blickfokus V des die Anzeigeeinheit DU durchblickenden Nutzers U empfangen werden REC-V. Ferner kann die virtuelle Anordnung und/oder die Unschärfe des zumindest einen virtuellen Objekts VO zusätzlich in Abhängigkeit der erfassten Blickrichtung und/oder des erfassten Blickfokus V angepasst werden ADJ-VO.
-
Insbesondere kann das zumindest eine virtuelle Objekt VO derart in Abhängigkeit der erfassten Blickrichtung V angeordnet werden POS-VO, dass zumindest eines der erfassten realen Objekte durch das zumindest eine virtuelle Objekt VO zumindest teilweise, insbesondere vollständig, maskiert wird. Dabei kann das zumindest eine virtuelle Objekt VO teilweise transparent angezeigt werden. Ferner kann die Transparenz des zumindest einen virtuellen Objekts VO in Abhängigkeit von dessen virtueller Anordnung angepasst werden.
-
In 6 ist eine weitere vorteilhafte Ausführungsform des vorgeschlagenen Verfahrens zum Bereitstellen PROV-AR einer erweiterten Realität AR schematisch dargestellt. Dabei kann eine Eingabe INP des Nutzers U empfangen werden REC-INP. Ferner kann anhand der Eingabe INP des Nutzers U zumindest eines RO der erfassten realen Objekte identifiziert werden ID-RO. Dabei kann die Unschärfe des zumindest einen virtuellen Objekts VO zusätzlich in Abhängigkeit von dessen virtueller Anordnung bezüglich des zumindest einen identifizierten realen Objekts RO angepasst werden ADJ-VO.
-
Die in den beschriebenen Figuren enthaltenen schematischen Darstellungen bilden keinerlei Maßstab oder Größenverhältnis ab.
-
Es wird abschließend noch einmal darauf hingewiesen, dass es sich bei den vorhergehend detailliert beschriebenen Verfahren und Vorrichtungen lediglich um Ausführungsbeispiele handelt, welche vom Fachmann in verschiedenster Weise modifiziert werden können, ohne den Bereich der Erfindung zu verlassen. Weiterhin schließt die Verwendung der unbestimmten Artikel „ein“ bzw. „eine“ nicht aus, dass die betreffenden Merkmale auch mehrfach vorhanden sein können. Ebenso schließen die Begriffe „Einheit“ und „Element“ nicht aus, dass die betreffenden Komponenten aus mehreren zusammenwirkenden Teil-Komponenten bestehen, die gegebenenfalls auch räumlich verteilt sein können.
