DE10238011A1

DE10238011A1 - Semitransparenter Bildschirm für AR-Anwendungen

Info

Publication number: DE10238011A1
Application number: DE2002138011
Authority: DE
Original assignee: GFM GES fur MEDIZINTECHNIK MB; Gfm Gesellschaft fur Medizintechnik Mbh
Current assignee: GFM GES fur MEDIZINTECHNIK MB; Gfm Gesellschaft fur Medizintechnik Mbh
Priority date: 2002-08-20
Filing date: 2002-08-20
Publication date: 2004-03-11

Abstract

Methode und Verfahren zur Darstellung innerer Strukturen von Geräten, Maschinen, Tieren oder Menschen dadurch gegeben, daß ein semitransparenter Bildschirm zwischen das zu beobachtende Teil und den Betrachter gebracht wird, der die gleichzeitige Beobachtung der inneren Struktur und der Oberfläche erlaubt, ohne die Bewegungsfreiheit des Beobachters wesentlich einzuschränken.

Description

Die Möglichkeiten moderner Bildgebungsverfahren erlauben die maßgenaue und präzise Projektion der unter Oberflächen verborgenen Strukturen von technischen Geräten oder auch der inneren Organe von Menschen und Tieren, so daß der Betrachter einen genaues Abbild von ansonsten verborgenen Strukturen erhalten kann. Der für diese Technik eingeführte und derzeit verwendete Begriff ist "augmented reality – AR" (erweiterte Realität – in Anlehnung an den Begriff der virtuellen reality – VR). Der Begriff bezeichnet das Verfahren, durch ein "Fenster" in das Innere von Strukturen zu sehen, die sonst unter einer Gehäuseoberfläche bzw. unter der Haut verborgen sind.
Ein für die brauchbare Anwendung des hier beschriebenen und zu Schutzanmeldung eingereichten Verfahrens entscheidender Teil ist ein semitransparenter Bildschirm, der zwischen den Betrachter und das zu betrachtende Objekt gebracht wird, auf dem dann die inneren Strukturen in der korrekten Projektion zum Blickwinkel des Betrachters dargestellt werden. Durch dieses Hilfsmittel wird der Betrachter sozusagen mit einem "Röntgenblick" ausgestattet.
Das hier zur Anmeldung eingereichte System besteht im Wesendlichen aus einem gewöhnlichen LCD- oder TFT-Flachbildschirm wie er in modernen Monitoren verwendet wird. Dabei ist der eigentliche Flachbildschirm aus dem Gehäuse genommen und in einem geeigneten Rahmen so untergebracht, daß er zwischen den Betrachter und die Struktur eingebracht werden kann. Der Bildschirm wird in der Regel an einem entsprechend der jeweiligen Anwendung gestalteten Gelenkarm angebracht, so daß er im Raum mehr oder weniger frei bewegt werden kann.
In der hier zur beispielhaften Beschreibung herangezogenen Ausbildung des Systems handelt es sich um die Anwendung im medizinischen Bereich zur Unterstützung der minimal invasiven Operationstechniken und der Strahlentherapie.
Das dieser Ausbildung zugrunde liegende Verfahren ist jedoch auf alle vergleichbaren Fälle anwendbar. Es unterscheidet sich von bereits auf dem Markt vorhandene Geräten wesentlich in Folgendem.
Alle uns bekannten auf dem Markt erhältlichen Verfahren belasten entweder die Bewegungsfreiheit des Handelnden dadurch, daß seine die Kopf- und Sichtfreiheit durch eine VR-Brille eingeschränkt wird. Bei anderen Verfahren muß der Handelnde seinen Blick weg vom Objekt auf einen Bildschirm richten, so daß er zunächst ein motorisches Training durchführen muß, um seine Arbeiten am Objekt mit den Darstellungen auf dem Bildschirm in Einklang zu bringen.
Das hier zu Anmeldung eingereichte Verfahren vermeidet die beiden Nachteile dadurch, daß es zwischen den Handelnden und das Objekt einen durchsichtigen Bildschirm bringt, auf dem die interessierenden Strukturen maß- und positionsgenau abgebildet werden. Zur perspektivisch richtigen Darstellung ist dazu notwendig, die Position und Blickrichtung des Handelnden durch ein sogenanntes Trakingsystem zu erfassen. Ein dazu geeignetes Trackingsytem wird in einer weiteren Patentanmeldung beschrieben werden.
1. Beschreibung des Einsatzgebietes der Erfindung
Das Einsatzgebiet der hier beschriebenen Erfindung liegt im Bereich der sogenannten AR (augmented reality). Es handelt sich dabei um eine neue Möglichkeit der Präsentation von inneren, der direkten Beobachtung nicht zugänglichen Strukturen durch einen semitransparenten Bildschirm, der zwischen Betrachter und Objekt eingebracht wird
In allen Fällen, in denen es wünschenswert ist, im Inneren von geschlossenen Strukturen Vorgänge zu beobachten oder Handlungen vor zu nehmen, kann das hier beschriebene Gerät sinnvoll eingesetzt werden. Werden Handlungen in den verborgenen Strukturen vorgenommen, dann können die Werkzeuge bzw. Teile, mit denen der Handelnde arbeitet, ebenfalls auf dem Bildschirm in der korrekten Projektion zu den übrigen Systemteilen dargestellt werden. Damit hat der Handelnde jederzeit eine direkte Kontrolle über das, was er tut und muß nicht "blind" in den Strukturen arbeiten, wie das zuweilen bei bestimmten Therapiearbeiten am menschlichen Körper erforderlich ist und gemacht wird.
Eine sinnvolle Anwendung des Gerätes ist beispielsweise auch im Bereich der Prüfung und Reparatur von komplizierten, mehrlagigen elektronischen Leiterplatten zu sehen, bei denen die in inneren Lagen geführten Leiterbahnen für den Betrachter nicht sichtbar sind. Auch innerhalb von Maschinen (z.B. mechanischen Getrieben) können Handlungen transparent gemacht werden, so daß neue und effizientere Montage- und Reparaturmethoden möglich werden.
2. Beschreibung des Lösungsansatzes
Der gedankliche Lösungsansatz des Problems besteht darin, moderne und derzeit bzw. künftig auf dem Markt verfügbare Flachbildschirme zu verwenden, um auf deren Grundlage ein semitransparentes Fenster in eine verborgene Struktur herzustellen, in das einerseits die Bilddaten projiziert werden, die sehr komfortabel in modernen Computern und mit neuen bildgebenden Software-Verfahren zu aussagefähigen 3-D-Bildern aufbereitet werden können. Andererseits soll das Fenster aber auch die Sicht beispielsweise eines Arztes auf den visuellen Kontext, beispieesweise auf seinen Patienten, nicht oder nur unwesentlich einschränken.
Mit modernen Bildschirmen wird dieses Ziel mit gewissen Abstrichen hinsichtlich der Transparenz erreicht, wobei die zukünftigen Entwicklungen aus dem Bereich der Entwicklung von organischen LED's aber zur Hoffnung Anlaß geben, daß sich die Transparenz der Bildschirme noch wesentlich erhöhen wird.
Werden die inneren Strukturen von technischen Einrichtungen zuvor in modernen CAD-Systemen aufbereitet, können sie in dem gewünschten Sinne dargestellt werden. In Falle der Anwendung im medizinischen Bereich werden die Strukturen der inneren Organe mittels eines Computertomografen (CT, MRI) erfaßt und zur 3D-Darstellung entsprechend aufbereitet.
Im Bedarfsfalle wird dann der semitransparente Bildschirm zwischen der Struktur und dem Betrachter so angeordnet und mit Bilddaten versorgt, daß der Betrachter abhängig von seiner Blickrichtung die jeweils korrekte Projektion der inneren Strukturen auf dem Bildschirm sieht. Er ist dann in der Lage, mit Werkzeugen, Konstruktionsteilen oder chirurgischem Besteck innerhalb des projizierten Bereiches zu arbeiten, ohne daß dazu die Oberfläche großflächig verletzt oder bei technischen Strukturen entfernt werden muß (Skizze 1)
Ein wichtiger Teil zur Funktionsfähigkeit eines semitransparenten Bildschirmes ist die Beleuchtung, die zwischen dem Objekt und dem Bildschirm angebracht wird. Sie hat einerseits die Aufgabe, die Oberfläche des Objektes zu beleuchten. Andererseits braucht ein Flachbildschirm zu seiner Funktion zwingend eine Hintergrundbeleuchtung, die die wichtigere Aufgabe hat, den semitransparenten Bildschirm von hinten mit Licht zu versorgen, ohne das eine Bildgebung bei TFT-Bildschirmen nicht möglich wäre. OLED-Bildschirme haben hingegen eine aktiv leuchtende Bildschirmfläche.
Die zur Berechnung der Projektion erforderlichen Systeme zur Erfassung der räumlichen Positionen des Bildschirmes, des Betrachters und der zu betrachtenden Struktur sowie die entsprechenden Softwareprogramme zur Berechnung und zur Darstellung sind nicht Gegenstand dieser Anmeldung.
3. Beschreibung der Neuartigkeit gegenüber herkömmlichen Techniken
Da es bislang keine uns bekannte Systeme von semitransparenten Bildschirmprojektoren für solche Anwendungen auf dem Markt gibt, entfällt eine vergleichende Begründung. Zwar gibt es am Kopf montierbare, sogenannte VR-Brillen bzw. VR-Head-Set's (VR = virtuelle reality), die prinzipiell für den genannten Zweck herangezogen werden könnten. Sie schränken jedoch die Bewegungsfreiheit des Handelnden sehr stark ein und behindern insbesondere einen Arzt, der neben der direkten Arbeit am Patienten dessen übrigen Zustand und alle anderen lebenserhaltenden und den Zustand des Patienten beschreibenden Instrumente im Auge behalten können muß. Deshalb ist das hier beschriebene System besonders geeignet, die Arbeit am Patienten mit deutlich veringerter Behinderung des Handelnden zu ermöglichen.
Die Neuartigkeit des Systems gegenüber herkömmlichen Techniken besteht vor allem in einem anderen gedanklichen Lösungsansatz und in der Verwendung moderner, erst seit jüngerer Zeit auf dem Markt verfügbaren Flachbildschirmen, die in einer speziellen Ausbildung semitransparent gemacht werden können und so gleichzeitig die Beobachtung innerer Strukturen als auch die Beobachtung der Oberfläche erlaubt.
4. Beschreibung der Erhöhung des Standes der Technik
Sollen mit bisher verfügbaren Techniken verborgene Strukturen (beispielsweise an Maschinen, Leiterplatten oder im Inneren von Menschen) sichtbar gemacht werden, so muß in die zu beobachtende Struktur eine Video-Camera einschließlich der erforderlichen Beleuchtung eingebracht werden. Eine andere Methode, die sehr ausgeprägt im Bereich der medizinischen Endoskopie zur Anwendung kommt, ist die Informationsbeschaffung unter Zuhilfenahme optischer Mittel wie Lichtwellenleiter, Spiegel und Linsen oder ähnlichen Einrichtungen, die einschließlich der erforderlichen Beleuchtung in die zu beobachtende Struktur eingebracht werden müssen.
Insoweit die inneren Strukturen völlig unbekannt sind, bleiben diese Methoden auch erforderlich. In allen anderen Fällen jedoch, in denen die Strukturen prinzipiell bekannt sind oder durch vorhandene Techniken und Methoden ermittelt werden können (techn. Zeichnungen, Röntgenverfahren, Computertomographische Verfahren, MRI etc.), ist es mit dem hier zur Anmeldung eingereichten System und seinen auf die unterschiedlichen Anwendungen anpassbaren Ausbildungsformen möglich, die Strukturen dem Betrachter in korrekter Projektion darzustellen, ohne die jeweilige Oberfläche verletzen oder entfernen zu müssen.
5. Technische Beschreibung, Skizzen
In Skizze 1 ist die prinzipielle Anordnung des Bildschirmes zwischen Betrachter und dem Gegenstand dargestellt, dessen innere Struktur auf dem Bildschirm sichtbar gemacht werden soll.
In Skizze 2 ist die zur Funktion des Bildschirmes nötige Hintergrundbeleuchtung dargestellt. Je nach erforderlicher Ausbildung der Erfindung kann und muß die Art der Beleuchtung an die Geometrie und an die räumlichen Verhältnisse angepaßt werden.

Claims

Methode und Verfahren zur Darstellung innerer Strukturen von Geräten, Maschinen, Tieren oder Menschen dadurch gegeben, daß ein semitransparenter Bildschirm zwischen das zu beobachtende Teil und den Betrachter gebracht wird, der die gleichzeitige Beobachtung der inneren Struktur und der Oberfläche erlaubt, ohne die Bewegungsfreiheit des Beobachters wesentlich einzuschränken.
Unteranspruch zu 1: Ausführung des semitransparenten Bildschirmes in LCD-, TFT-, oder organischer (OLED-) Technik dadurch gegeben, daß ein kommerziell erhältlicher Bildschirm umgebaut und für die spezielle Anwendung präpariert wird
Unteranspruch zu 1: Ausführung des semitransparenten Bildschirmes in LCD-, TFT-, oder organischer (OLED-)Technik dadurch gegeben, daß ein speziell dafür angefertigter Bildschirm für die jeweils spezielle Ausführungsform präpariert und verwendet wird
Anbringung der Beleuchtung zum Betrieb des Bildschirmes als integraler Bestandteil des semitransparenten Bildschirmes dadurch gegeben, daß die Beleuchtung ohne die sonst üblichen Lichverteilungs- und Prismenfolien durch die seitliche Anbringung der Lampen bzw. Leuchten erfolgt.
Unteranspruch zu 4: Besondere Ausführung der Lampen bzw. Leuchten dadurch gegeben, daß die Lampen als Leuchtstofflampen ausgeführt sind.
Unteranspruch zu 4: Besondere Ausführung der Lampen bzw. Leuchten dadurch gegeben, daß die Lampen als Glühfadenlampen ausgeführt sind.
Unteranspruch zu 4: Besondere Ausführung der Lampen bzw. Leuchten dadurch gegeben, daß die Lampen als LED-Felder ausgeführt sind (Licht Emittierende Dioden, Leuchtdioden).
Bewegliche Anbringung des Bildschirmes im Raum dadurch gegeben, daß der Bildschirm in einem besonderen dazu ausgebildeten Gehäuse an einem den jeweiligen Einsatzbedingungen entsprechendem Gelenkarm befestigt wird, der gleichzeitig die Erfassung der jeweiligen räumlichen Position und der Orientierung des Bildschirmes erlaubt.