DE102013206569B4

DE102013206569B4 - Gestensteuerung mit automatisierter Kalibrierung

Info

Publication number: DE102013206569B4
Application number: DE102013206569.8A
Authority: DE
Inventors: Thomas Friese; Thomas Gossler
Original assignee: Siemens Healthcare GmbH
Current assignee: Siemens Healthineers Ag De
Priority date: 2013-04-12
Filing date: 2013-04-12
Publication date: 2020-08-06
Anticipated expiration: 2033-04-13
Also published as: WO2014166645A1; CN105103086A; DE102013206569A1; US9880670B2; CN105103086B; US20160041693A1

Abstract

Steuerverfahren für eine Recheneinheit (4),
- wobei von einer Bilderfassungseinrichtung (1) ein Basisbild (B1) erfasst wird und an die Recheneinheit (4) übermittelt wird,
- wobei von der Recheneinheit (4) anhand des Basisbildes (B1) eine Geste (G) eines Benutzers (5) der Recheneinheit (4) ermittelt wird,
- wobei von der Recheneinheit (4) in Abhängigkeit von der ermittelten Geste (G) eine Aktion (A) ermittelt und die Aktion (A) ausgeführt wird,
- wobei die Aktion (A) von der Recheneinheit (4) für mindestens eine der Gesten (G) zusätzlich in Abhängigkeit von einer Relativlage (pR13) der Bilderfassungseinrichtung (1) relativ zu einer Anzeigeeinrichtung (3) ermittelt wird,
- wobei spätestens beim Erfassen des Basisbildes (B1) von mindestens einer weiteren Bilderfassungseinrichtung (2) ein Zusatzbild (B2) erfasst wird und an die Recheneinheit (4) übermittelt wird und
- wobei von der Recheneinheit (4) anhand des mindestens einen Zusatzbildes (B2) die Relativlage (pR13) der Bilderfassungseinrichtung (1) relativ zur Anzeigeeinrichtung (3) ermittelt wird.

Description

Die vorliegende Erfindung betrifft ein Steuerverfahren für eine Recheneinheit,

- wobei von einer Bilderfassungseinrichtung ein Basisbild erfasst wird und an die Recheneinheit übermittelt wird,
- wobei von der Recheneinheit anhand des Basisbildes eine Geste eines Benutzers der Recheneinheit ermittelt wird,
- wobei von der Recheneinheit in Abhängigkeit von der ermittelten Geste eine Aktion ermittelt und die Aktion ausgeführt wird,
- wobei die Aktion von der Recheneinheit für mindestens eine der Gesten zusätzlich in Abhängigkeit von einer Relativlage der Bilderfassungseinrichtung relativ zu einer Anzeigeeinrichtung ermittelt wird.

Die vorliegende Erfindung betrifft weiterhin eine Computereinrichtung,

- wobei die Computereinrichtung eine Bilderfassungseinrichtung, eine Anzeigeeinrichtung und eine Recheneinheit umfasst,
- wobei die Recheneinheit mit der Bilderfassungseinrichtung und der Anzeigeeinrichtung zum Austausch von Daten verbunden ist,
- wobei von der Bilderfassungseinrichtung ein Basisbild erfasst wird und an die Recheneinheit übermittelt wird,
- wobei von der Recheneinheit anhand des Basisbildes eine Geste eines Benutzers der Recheneinheit ermittelt wird,
- wobei von der Recheneinheit in Abhängigkeit von der ermittelten Geste eine Aktion ermittelt und die Aktion ausgeführt wird,
- wobei die Aktion von der Recheneinheit für mindestens eine der Gesten zusätzlich in Abhängigkeit von einer Relativlage der Bilderfassungseinrichtung relativ zur Anzeigeeinrichtung ermittelt wird.

Derartige Steuerverfahren und derartige Computereinrichtungen sind allgemein bekannt. Es wird rein beispielhaft auf die WO 2011/085815 A1 , die US 2010/013764 A1 , die US 2011/029913 A1 , die US 2011/090147 A1 und die US 7 834 847 B2 verwiesen.
Die berührungslose Interaktion mit Computereinrichtungen ist ein deutlicher Trend im Rahmen von sogenannten natürlichen Eingabemethoden (NUI = Natural User Input) . Dies gilt sowohl in der Informationsverarbeitung allgemein als auch insbesondere im medizinischen Bereich. So findet die berührungslose Interaktion beispielsweise Verwendung in Operationssälen, in denen der operierende Arzt während der Operation operationsbezogene Bilder des Patienten betrachten möchte. In diesem Fall darf der operierende Arzt übliche Interaktionseinrichtungen der Computereinrichtung (beispielsweise eine Computermaus, eine Tastatur oder einen Touchscreen) aus Gründen der Sterilität nicht berühren. Dennoch muss es möglich sein, die Anzeigeeinrichtung zu steuern. Insbesondere muss es möglich sein, zu steuern, welches Bild auf der Anzeigeeinrichtung dargestellt wird. In der Regel muss es weiterhin möglich sein, auf der Anzeigeeinrichtung dargestellte Schaltflächen und dergleichen zu bedienen.
Es ist bekannt, dass eine andere Person als der operierende Arzt die üblichen Interaktionseinrichtungen aufgrund entsprechender Anweisungen durch den Arzt bedient. Dies ist umständlich, kostet wertvolle Zeit und führt oft zu Kommunikationsproblemen zwischen dem operierenden Arzt und der anderen Person. Die obenstehend erläuterte, bekannte Gestensteuerung stellt hier einen wertvollen Vorteil dar. Bei einer Gestensteuerung wird in der Regel ein sogenanntes Tiefenbild ermittelt, d.h. ein Bild, bei dem jedem Punkt eines an sich zweidimensionalen Bildes zusätzlich eine Information über die dritte Richtung im dreidimensionalen Raum zugeordnet ist. Die Erfassung und Auswertung derartiger Tiefenbilder ist an sich bekannt. Derartige Tiefenbilder können beispielsweise mittels zweier üblicher Kameras erfasst werden, die zusammen ein stereoskopisches Bild liefern. Alternativ ist es möglich, ein sinusförmig moduliertes Muster in den Raum zu projizieren und anhand von Verzerrungen des sinusförmig modulierten Musters die Tiefeninformation zu ermitteln.
Für ein ordnungsgemäßes Arbeiten der Gestenerkennung ist es in vielen Fällen erforderlich, dass die Relativlage der Bilderfassungseinrichtung relativ zur Anzeigeeinrichtung bekannt ist. Im Stand der Technik müssen die Absolutlagen der Bilderfassungseinrichtung und der Anzeigeeinrichtung daher vorab eingestellt werden. Danach erfolgt ein Kalibrierungsvorgang, in dem die Relativlage der Bilderfassungseinrichtung relativ zur Anzeigeeinrichtung ermittelt wird. Nach der Kalibrierung darf die Relativlage der Bilderfassungseinrichtung relativ zur Anzeigeeinrichtung nicht mehr verändert werden. Insbesondere eine Veränderung der Relativlage der Bilderfassungseinrichtung relativ zur Anzeigeeinrichtung im laufenden Betrieb ist nicht möglich.
Das Erfordernis, dass die Relativlage der Bilderfassungseinrichtung relativ zur Anzeigeeinrichtung nach der Kalibrierung nicht mehr verändert werden darf, stellt in der Praxis eine deutliche Beschränkung dar. Es ist vielmehr wünschenswert, die Relativlage der Bilderfassungseinrichtung relativ zur Anzeigeeinrichtung jederzeit - auch im laufenden Betrieb - ändern zu können.
Aus der WO 2004/057 450 A1 ist eine automatische Kalibrierung eines Gestensteuerungssystems bekannt. Bei diesem System wird jedoch keine zweite Bilderfassungseinrichtung verwendet, um die Relativlage einer ersten Bilderfassungseinrichtung relativ zu einer Anzeigeeinrichtung zu ermitteln.
Aus der WO 00/16 121 A1 ist ein Verfahren zur Positionierung einer beweglichen Kamera bekannt. Bei diesem Verfahren werden ortsfeste Kameras verwendet, um die Position und die Orientierung der beweglichen Kamera zu ermitteln.
Aus der US 2004/0 176 925 A1 ist ein Verfahren zur Bestimmung der Position und der Orientierung einer beweglichen Kamera bekannt. Der US 2008/0 069 405 A1 und der EP 1 739 622 A1 sind ähnliche Verfahren zu entnehmen.
Die Aufgabe der vorliegenden Erfindung besteht darin, Möglichkeiten zu schaffen, so dass die Relativlage der Bilderfassungseinrichtung relativ zur Anzeigeeinrichtung auch im laufenden Betrieb verändert werden kann, ohne die Funktionsfähigkeit der Gestenerkennung negativ zu beeinflussen. Insbesondere soll eine zeitaufwändige manuelle Kalibrierung nicht erforderlich sein.
Die Aufgabe wird durch ein Steuerverfahren für eine Recheneinheit mit den Merkmalen des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen des erfindungsgemäßen Steuerverfahrens sind Gegenstand der abhängigen Ansprüche 2 bis 6.
Erfindungsgemäß wird ein Steuerverfahren der eingangs genannten Art dadurch ausgestaltet,

- dass spätestens beim Erfassen des Basisbildes von mindestens einer weiteren Bilderfassungseinrichtung ein Zusatzbild erfasst wird und an die Recheneinheit übermittelt wird

- dass von der Recheneinheit anhand des Zusatzbildes die Relativlage der Bilderfassungseinrichtung relativ zur Anzeigeeinrichtung ermittelt wird.

Dadurch wird es ermöglicht, innerhalb der Recheneinheit die Relativlage der Bilderfassungseinrichtung relativ zur Anzeigeeinrichtung im laufenden Betrieb stets aktuell zu halten.
In einer bevorzugten Ausgestaltung des Steuerverfahrens ist die weitere Bilderfassungseinrichtung ortsfest angeordnet. Diese Ausgestaltung ist insbesondere leicht realisierbar.
Im Falle einer ortsfesten Anordnung der weiteren Bilderfassungseinrichtung werden vorzugsweise von der Recheneinheit anhand des mindestens einen Zusatzbildes eine auf ein ortsfestes Koordinatensystem bezogene Absolutlage der Bilderfassungseinrichtung und eine auf das ortsfeste Koordinatensystem bezogene Absolutlage der Anzeigeeinrichtung ermittelt. Anhand der Absolutlagen der Bilderfassungseinrichtung und der Anzeigeeinrichtung wird von der Recheneinheit sodann die Relativlage der Bilderfassungseinrichtung relativ zur Anzeigeeinrichtung ermittelt.
In einer weiter bevorzugten Ausgestaltung des Steuerverfahrens sind die Bilderfassungseinrichtung und/oder die Anzeigeeinrichtung bewegbar. Beispielsweise können die Bilderfassungseinrichtung und/oder die Anzeigeeinrichtung über bewegliche Tragarme - die gegebenenfalls von einer gemeinsamen Tragstruktur ausgehen - an einer Decke befestigt sein.
Die Zeitpunkte, zu denen die Relativlage der Bilderfassungseinrichtung relativ zur Anzeigeeinrichtung von der Recheneinheit ermittelt wird, können nach Bedarf bestimmt sein. Beispielsweise ist es möglich, dass die Relativlage der Bilderfassungseinrichtung relativ zur Anzeigeeinrichtung von der Recheneinheit kontinuierlich, in festen zeitlichen Abständen, ausgelöst durch einen Benutzerbefehl oder ausgelöst durch eine von einer Sensorik erkannte Veränderung einer auf ein ortsfestes Koordinatensystem bezogenen Absolutlage der Bilderfassungseinrichtung, einer auf das ortsfeste Koordinatensystem bezogenen Absolutlage der Anzeigeeinrichtung oder der Relativlage der Bilderfassungseinrichtung relativ zur Anzeigeeinrichtung ermittelt wird.
Auch die von der Recheneinheit ermittelte und ausgeführte Aktion kann nach Bedarf bestimmt sein. Vorzugsweise handelt es sich jedoch um eine Steuerung der Anzeigeeinrichtung.
Die Aufgabe wird weiterhin durch eine Computereinrichtung mit den Merkmalen des Anspruchs 7 gelöst. Vorteilhafte Ausgestaltungen der erfindungsgemäßen Computereinrichtung sind Gegenstand der abhängigen Ansprüche 8 bis 12.
Erfindungsgemäß wird eine Computereinrichtung der eingangs genannten Art dadurch ausgestaltet,

- dass die Computereinrichtung (zusätzlich zur Bilderfassungseinrichtung) mindestens eine weitere Bilderfassungseinrichtung umfasst,
- dass die Recheneinheit zum Austausch von Daten auch mit der mindestens einen weiteren Bilderfassungseinrichtung verbunden ist,
- dass spätestens beim Erfassen des Basisbildes von der weiteren Bilderfassungseinrichtung mindestens ein Zusatzbild erfasst wird und an die Recheneinheit übermittelt wird und
- dass von der Recheneinheit anhand des mindestens einen Zusatzbildes die Relativlage der Bilderfassungseinrichtung relativ zur Anzeigeeinrichtung ermittelt wird.

Die vorteilhaften Ausgestaltungen der Computereinrichtung korrespondieren mit denen des Steuerverfahrens.
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die in Verbindung mit den Zeichnungen näher erläutert werden. Hierbei zeigen in schematischer Darstellung:

1 eine perspektivische Darstellung eines Raumes, in dem eine Computereinrichtung angeordnet ist, und
2 ein Blockschaltbild der Computereinrichtung von 1.

Gemäß den 1 und 2 umfasst eine Computereinrichtung eine Bilderfassungseinrichtung 1, mindestens eine weitere Bilderfassungseinrichtung 2, eine Anzeigeeinrichtung 3 und eine Recheneinheit 4. Die Bilderfassungseinrichtung 1, die mindestens eine weitere Bilderfassungseinrichtung 2 und die Anzeigeeinrichtung 3 sind mit der Recheneinheit 4 zum Austausch von Daten verbunden. Insbesondere wird von der Bilderfassungseinrichtung 1 ein Basisbild B1 erfasst und an die Recheneinheit 4 übermittelt. In analoger Weise wird von der weiteren Bilderfassungseinrichtung 2 ein Zusatzbild B2 (bzw. im Falle mehrerer weiterer Bilderfassungseinrichtungen 2 von jeder weiteren Bilderfassungseinrichtungen 2 jeweils ein Zusatzbild B2) erfasst und an die Recheneinheit 4 übermittelt. Die von den Bilderfassungseinrichtungen 1, 2 erfassten Bilder B1, B2 werden von der Recheneinheit 4 ausgewertet. Je nach Ergebnis der Auswertung kann von der Recheneinheit 4 beispielsweise die Anzeigeeinrichtung 3 angesteuert werden.
Die Recheneinheit 4 kann beispielsweise als üblicher PC, als Workstation oder ähnliche Recheneinheit ausgebildet sein. Die Anzeigeeinrichtung 3 kann als übliches Computerdisplay ausgebildet sein, beispielsweise als LCD-Display oder als TFT-Display.
Die Bilderfassungseinrichtung 1 weist relativ zur Anzeigeeinrichtung 3 eine Relativlage pR13 auf. Die Relativlage pR13 ist auf ein Koordinatensystem bezogen, das relativ zur Anzeigeeinrichtung 3 fixiert ist. Die Relativlage pR13 kann translatorische und/oder rotatorische Komponenten umfassen.
Die Bilderfassungseinrichtung 1, die Anzeigeeinrichtung 3 und die Recheneinheit 4 wirken wie folgt zusammen:

Die Bilderfassungseinrichtung 1 erfasst das Basisbild B1 und übermittelt es an die Recheneinheit 4. Das erfasste Basisbild B1 zeigt (unter anderem) einen Benutzer 5 der Recheneinheit 4. Die Recheneinheit 4 ermittelt anhand des Basisbildes B1 eine Geste G des Benutzers 5. Beispielsweise kann die Recheneinheit 4 das Basisbild B1 dahingehend auswerten, ob der Benutzer 5 eine Hand oder beide Hände hebt, ob der Benutzer 5 ein- oder zweimal in die Hände klatscht, ob der Benutzer 5 mit einem Arm und/oder einem Finger in eine bestimmte Richtung deutet und dergleichen mehr. Selbstverständlich ist auch eine Ermittlung anderer oder weiterer Gesten G möglich. Zur deutlichen Erkennung der Geste G können am Benutzer 5 spezielle Markierungen angeordnet sein. Beispielsweise kann der Benutzer 5 spezielle Handschuhe tragen. Dies ist jedoch nicht zwingend erforderlich.

Für eine zuverlässige Auswertung des Basisbildes B1 durch die Recheneinheit 4 - d.h. für eine zuverlässige Erkennung der jeweiligen Geste G - ist es von Vorteil, wenn das Basisbild B1 ein sogenanntes Tiefenbild ist, das heißt, dass den (zweidimensional ortsaufgelöst) angeordneten einzelnen Bildelementen des Tiefenbildes - gegebenenfalls zusätzlich zu ihrem Bilddatenwert - ein Tiefenwert zugeordnet ist, der charakteristisch für einen dem jeweiligen Bildelement zugeordneten Abstand von der Bilderfassungseinrichtung 1 ist. Die Erfassung derartiger Tiefenbilder ist Fachleuten als solche bekannt. Beispielsweise kann die Bilderfassungseinrichtung 1 mehrere einzelne Bildsensoren umfassen, welche die erfasste
Szene aus verschiedenen Blickrichtungen erfassen. Auch ist es möglich, mittels einer geeigneten Leuchtquelle ein Streifenmuster (oder ein anderes Muster) in den von der Bilderfassungseinrichtung 1 erfassten Raum zu projizieren und anhand von Verzerrungen des Musters in dem von der Bilderfassungseinrichtung 1 erfassten Basisbild B1 den jeweiligen Abstand zu ermitteln.
Sofern die Recheneinheit 4 eine Geste G erkannt hat, ermittelt die Recheneinheit 4 in Abhängigkeit von der ermittelten Geste G eine Aktion A und führt die Aktion A aus. Die Recheneinheit 4 wird somit durch die Geste G und die zugehörige Aktion A gesteuert.
Es ist möglich, dass die ermittelte Aktion A für einige Gesten G unabhängig von anderen Parametern ist. Beispielsweise kann ein zweimaliges in die Hände klatschen des Benutzers 5 im Sinne eines Ende-Befehls interpretiert werden, aufgrund dessen die weitere Interaktion der Bilderfassungseinrichtung 1 mit der Recheneinheit 4 beendet wird. Auch ist es möglich, dass die Aktion A von anderen Parametern abhängt, die mit anderen Mitteln als dem von der Bilderfassungseinrichtung 1 erfassten Basisbild B1 zusammenhängen. Beispielsweise kann eine Verknüpfung einer Geste G mit einem vom Benutzer 4 gesprochenen Sprachbefehl erfolgen. Auch andere Vorgehensweisen sind möglich.
In vielen Fällen wird die von der Recheneinheit 4 ermittelte Aktion A jedoch - zusätzlich zur Abhängigkeit von der Geste G als solcher - auch von der Relativlage pR13 abhängen. Dies ist insbesondere dann erforderlich, wenn die von der Recheneinheit 4 ermittelte und ausgeführte Aktion A eine Steuerung der Anzeigeeinrichtung 3 ist. Es ist jedoch auch möglich, dass die jeweils ermittelte Aktion A von der Relativlage pR13 abhängt, wenn die ermittelte und ausgeführte Aktion A eine andere Aktion als die Steuerung der Anzeigeeinrichtung 3 ist.
Es ist möglich, dass die zusätzliche Abhängigkeit der Aktion A auch von der Relativlage pR13 nur bei einer einzelnen, ganz bestimmten Geste G gegeben ist. Alternativ ist es möglich, dass die Abhängigkeit der Aktion A auch von der Relativlage pR13 bei mehreren Gesten G oder sogar bei allen Gesten G gegeben ist. Nachfolgend werden - rein beispielhaft - einige mögliche Gesten G erläutert, deren zugehörige Aktion A auch von der Relativlage pR13 abhängen kann.
Beispielsweise kann, wenn der Benutzer 5 mit einem seiner Arme oder mit einem Finger in eine bestimmte Richtung deutet, dies von der Recheneinheit 4 als Selektion eines bestimmten Elements interpretiert werden, das in der Richtung liegt, in welche der Benutzer 5 zeigt. Das bestimmte Element kann insbesondere ein Element sein, das auf der Anzeigeeinrichtung 3 dargestellt ist. Alternativ oder zusätzlich ist es beispielsweise möglich, dass ein Ausschnitt eines über die Anzeigeeinrichtung 3 dargestellten Bildes B (dieses Bild B hat nichts mit dem Basisbild B1 und auch nichts mit dem Zusatzbild B2 zu tun) verschoben wird, wobei zumindest die Richtung der Verschiebung davon abhängt, in welche Richtung der Benutzer 5 einen seiner Arme oder eine seiner Hände bewegt. Eventuell kann zusätzlich das Ausmaß der Verschiebung davon abhängen, wie schnell und/oder wie weit diese Bewegung erfolgt. Auch kann beispielsweise - ähnlich dem Blättern in einem Buch - in einer Sequenz von Bildern B (auch diese Bilder B haben nichts mit dem Basisbild B1 und auch nichts mit dem Zusatzbild B2 zu tun) ein in der Sequenz vorhergehendes oder nachfolgendes Bild B selektiert und über die Anzeigeeinrichtung 3 dargestellt werden. In diesem Fall kann beispielsweise die Richtung des Blättern von der Bewegungsrichtung der Arme oder Hände des Benutzers 5 abhängen. Auch andere Aktionen A, die von der Relativlage pR13 abhängen, sind möglich. Die obigen Beispiele sind, wie erwähnt, rein beispielhaft.
In derartigen Fällen, wenn also die ermittelte und ausgeführte Aktion A von der Relativlage pR13 abhängt, muss der Recheneinheit 4 die Relativlage pR13 somit bekannt sein. Zu diesem Zweck ist die mindestens eine weitere Bilderfassungseinrichtung 2 vorhanden. Nachfolgend wird vorausgesetzt, dass nur eine einzige weitere Bilderfassungseinrichtung 2 vorhanden ist. Es könnten jedoch ebenso auch mehrere weitere Bilderfassungseinrichtungen 2 vorhanden sein, die jeweils ein Zusatzbild B2 erfassen.
Die weitere Bilderfassungseinrichtung 2 erfasst das Zusatzbild B2 spätestens beim Erfassen des Basisbildes B1. Vorzugsweise erfolgen die Erfassung und die Übermittlung vor dem Erfassen des Basisbildes B1. Es ist jedoch auch eine simultane Erfassung und Übermittlung möglich. Die weitere Bilderfassungseinrichtung 2 übermittelt das Zusatzbild B2 an die Recheneinheit 4. Die Recheneinheit 4 wertet das Zusatzbild B2 aus. Insbesondere ermittelte die Recheneinheit 4 anhand des Zusatzbildes B2 die Relativlage pR13 der Bilderfassungseinrichtung 1 relativ zur Anzeigeeinrichtung 3.
Für eine zuverlässige Auswertung des Zusatzbildes B2 durch die Recheneinheit 4 - d.h. für eine zuverlässige Ermittlung der Relativlage pR13 - muss die weitere Bilderfassungseinrichtung 2 (selbstverständlich) derart angeordnet sein, dass das Zusatzbild B2 die Bilderfassungseinrichtung 1 und die Anzeigeeinrichtung 3 enthält. Für eine besonders zuverlässige Auswertung des Zusatzbildes B2 kann es unter Umständen sinnvoll sein, an der Bilderfassungseinrichtung 1 und/oder an der Anzeigeeinrichtung 3 spezielle Markierungen anzuordnen.
In manchen Fällen kann es ausreichen, wenn die weitere Bilderfassungseinrichtung 2 nicht starr montiert ist, sondern ihrerseits auf einem translatorisch und/oder rotatorisch bewegbaren Halter angeordnet ist. Vorzugsweise ist die weitere Bilderfassungseinrichtung 2 jedoch entsprechend der Darstellung in 1 ortsfest angeordnet.
Für eine zuverlässige Auswertung des Zusatzbildes B2 durch die Recheneinheit 4 ist es weiterhin von Vorteil, wenn das Zusatzbild B2 ein sogenanntes Tiefenbild ist. Die oben stehenden Ausführungen zum Basisbild B1 sind daher in analoger Weise auch auf das Zusatzbild B2 anwendbar.
Insbesondere in dem Fall, dass die weitere Bilderfassungseinrichtung 2 ortsfest angeordnet ist, kann die Auswertung des Zusatzbildes B2 von der Recheneinheit 4 beispielsweise wie folgt vorgenommen werden: Die Recheneinheit 4 ermittelt anhand des Zusatzbildes B2 eine Absolutlage pA1 der Bilderfassungseinrichtung 1. Diese Absolutlage pA1 ist auf ein (bezüglich des Raumes, in dem die Bilderfassungseinrichtung 1 und die Anzeigeeinrichtung 3 angeordnet sind) ortsfestes Koordinatensystem bezogen. Das ortsfeste Koordinatensystem kann beispielsweise in kartesischen Koordinaten x, y, z definiert sein. In analoger Weise wird von der Recheneinheit 4 anhand des Zusatzbildes B2 eine Absolutlage pA3 der Anzeigeeinrichtung 3 ermittelt. Auch diese Absolutlage pA3 ist auf das ortsfeste Koordinatensystem bezogen. Anhand der beiden Absolutlagen pA1 und pA3 ermittelt die Recheneinheit 4 sodann die Relativlage pR13 der Bilderfassungseinrichtung 1 relativ zur Anzeigeeinrichtung 3.
Es ist prinzipiell möglich, dass die Bilderfassungseinrichtung 1 und die Anzeigeeinrichtung 3 - ebenso wie die weitere Bilderfassungseinrichtung 2 - ortsfeste Einrichtungen sind. Ihre vollen Stärken zeigt die vorliegende Erfindung jedoch, wenn die Bilderfassungseinrichtung 1 und/oder die Anzeigeeinrichtung 3 bewegbar sind. Hierbei kann - je nach Gestaltung - nur die eine oder nur die andere der beiden Einrichtungen 1, 3 bewegbar sein. Ebenso können - je nach Gestaltung - beide Einrichtungen 1, 3 bewegbar sein. Je nach Gestaltung können die Bewegungen der beiden Einrichtungen 1, 3 miteinander gekoppelt oder unabhängig voneinander sein. Bevorzugt ist, dass beide Einrichtungen 1, 3 unabhängig voneinander bewegbar sind. Eine mögliche Realisierung für eine unabhängige Bewegbarkeit von Bilderfassungseinrichtung 1 und Anzeigeeinrichtung 3 wird nachfolgend unter Bezugnahme auf 1 näher erläutert. Die entsprechenden Ausführungen sind jedoch rein beispielhaft. Es können auch andere Möglichkeiten der Bewegbarkeit realisiert sein.
Gemäß 1 ist an einer Decke des Raumes eine nach unten ragende Tragstruktur 6 befestigt. Die Tragstruktur 6 weist ein Gelenk 7 auf, von dem (mindestens) zwei Tragarme 8 abgehen. Die Tragarme 8 können starr sein. Alternativ können die Tragarme 8 ihrerseits mehrere Teilelemente 9 aufweisen, die über weitere Gelenke 10 miteinander verbunden sind. Derartige Aufhängungen sind bekannt und als solche nicht Gegenstand der vorliegenden Erfindung.
In der obenstehend in Verbindung mit 1 erläuterten Gestaltung kann der Benutzer 5 die Anzeigeeinrichtung 3 durch entsprechendes Verstellen des zugehörigen Tragarms 8 zumindest in Höhe und Seite positionieren. In analoger Weise kann der Benutzer 5 durch entsprechendes Verstellen des zugehörigen Tragarms 8 die Bilderfassungseinrichtung 1 zumindest in Höhe und Seite positionieren. Unter Umständen können auch Positionierungen in der Tiefenrichtung und/oder rotatorische Bewegungen möglich sein Die beiden Positionierungen sind vorzugsweise unabhängig voneinander realisierbar.
Alternativ ist es möglich, dass die Positionierungen miteinander gekoppelt sind. Beispielsweise können die Tragarme 8 im Bereich des Gelenkes 7 miteinander zusammenwirken, so dass sie im Gelenk 7 stets nur um gleiche Winkel, aber in entgegengesetzter Drehrichtung verstellt werden können.
Wenn sich die Relativlage pR13 der Bilderfassungseinrichtung 1 relativ zur Anzeigeeinrichtung 3 ändert, muss die Relativlage pR13 neu ermittelt werden. Anderenfalls bestünde die Gefahr einer fehlerhaften Ermittlung der Aktion A. Um diese Gefahr auszuschließen, um in der Recheneinheit 4 also stets die aktuelle und tatsächliche Relativlage pR13 zu verwerten, sind verschiedene Ausgestaltungen möglich.
Beispielsweise ist es möglich, dass das Zusatzbild B2 von der weiteren Bilderfassungseinrichtung 2 in festen zeitlichen Abständen erfasst wird und/oder von der Recheneinheit 4 in festen zeitlichen Abständen ausgewertet wird. Beispielsweise ist eine Auswertung in einem zeitlichen Abstand von (rein beispielhaft) 15 Sekunden, 1 Minute, 10 Minuten, 1 Stunde usw. möglich. Der zeitliche Abstand kann fest vorgegeben sein. Alternativ kann er der Recheneinheit 4 vom Benutzer 5 vorgegeben werden.
Alternativ ist es möglich, dass das Zusatzbild B2 von der weiteren Bilderfassungseinrichtung 2 nur dann erfasst wird und/oder von der Recheneinheit 4 nur dann ausgewertet wird, wenn der Recheneinheit 4 vom Benutzer 5 ein entsprechender Benutzerbefehl vorgegeben wird. Beispielsweise kann der Benutzer 5 einen entsprechenden Sprachbefehl vorgegeben oder (vorzugsweise mit einem anderen Körperteil als seinen Händen, beispielsweise mit einem Ellenbogen oder mit einem Fuß) einen Schalter oder Taster betätigen.
Wiederum alternativ ist es möglich, dass das Zusatzbild B2 von der weiteren Bilderfassungseinrichtung 2 beim Einschalten der Computereinrichtung erfasst wird und/oder von der Recheneinheit 4 beim Einschalten der Computereinrichtung ausgewertet wird.
Wiederum alternativ ist es möglich, dass der Bilderfassungseinrichtung 1 und/oder der Anzeigeeinrichtung 3 eine Sensorik 11, 12, 13 zugeordnet ist, mittels derer eine Veränderung δpA1, δpA3 der Absolutlagen pA1, pA3 oder eine Veränderung δpR13 der Relativlage pR13 erkannt wird. In diesem Fall können beispielsweise das Erkennen einer Veränderung δpA1, δpA3 einer der Absolutlagen pA1, pA3 oder beider Absolutlagen pA1, pA3 und/oder das Erkennen einer Veränderung δpR13 der Relativlage pR13 das Erfassen und Auswerten des Zusatzbildes B2 auslösen.
Die oben genannten Möglichkeiten zu den Zeitpunkten und/oder Ereignissen, welche die Ermittlung der Relativlage pR13 auslösen, können nach Bedarf miteinander kombiniert werden.
Alternativ ist es möglich, dass das Zusatzbild B2 von der weiteren Bilderfassungseinrichtung 2 kontinuierlich erfasst und an die Recheneinheit 4 übermittelt wird. In diesem Fall kann auf Seiten der Recheneinheit 4 ebenso kontinuierlich die Ermittlung der aktuellen Relativlage pR13 erfolgen.
Die vorliegende Erfindung ist prinzipiell in einem beliebigen Umfeld anwendbar. Vorzugsweise wird die vorliegende Erfindung jedoch im medizinischen Bereich angewendet. In diesem Fall kann der Raum, in dem die Bilderfassungseinrichtung 1, die weitere Bilderfassungseinrichtung 2 und die Anzeigeeinrichtung 3 angeordnet sind, insbesondere als Operationssaal ausgebildet sein. Dies ist in 1 durch die schematische Darstellung eines OP-Tisches 14 angedeutet.
Im Rahmen der vorliegenden Erfindung wurde obenstehend detailliert auf die Ermittlung der Relativlage pR13 der Bilderfassungseinrichtung 1 relativ zur Anzeigeeinrichtung 3 eingegangen. Soweit erforderlich, kann zusätzlich zur Relativlage pR13 der Bilderfassungseinrichtung 1 relativ zur Anzeigeeinrichtung 3 eine Ermittlung einer auf das ortsfeste Koordinatensystem bezogenen Absolutlage des Benutzers 5 und/oder die Ermittlung einer Relativlage des Benutzers 5 relativ zur Bilderfassungseinrichtung 1 und/oder einer Relativlage des Benutzers 5 relativ zur Anzeigeeinrichtung 3 vorgenommen werden. In Bezug auf den Benutzer 5 sind auch weitergehende Auswertungen möglich, wie beispielsweise die Ermittlung von dessen Größe.
Die vorliegende Erfindung weist viele Vorteile auf. Insbesondere ist es auf einfache und zuverlässige Weise möglich, jederzeit nach Bedarf eine Kalibrierung der Gestensteuerung vorzunehmen, also die Ermittlung der Relativlage pR13 der Bilderfassungseinrichtung 1 relativ zur Anzeigeeinrichtung 3.
Obwohl die Erfindung im Detail durch das bevorzugte Ausführungsbeispiel näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.

Claims

Steuerverfahren für eine Recheneinheit (4), - wobei von einer Bilderfassungseinrichtung (1) ein Basisbild (B1) erfasst wird und an die Recheneinheit (4) übermittelt wird, - wobei von der Recheneinheit (4) anhand des Basisbildes (B1) eine Geste (G) eines Benutzers (5) der Recheneinheit (4) ermittelt wird, - wobei von der Recheneinheit (4) in Abhängigkeit von der ermittelten Geste (G) eine Aktion (A) ermittelt und die Aktion (A) ausgeführt wird, - wobei die Aktion (A) von der Recheneinheit (4) für mindestens eine der Gesten (G) zusätzlich in Abhängigkeit von einer Relativlage (pR13) der Bilderfassungseinrichtung (1) relativ zu einer Anzeigeeinrichtung (3) ermittelt wird, - wobei spätestens beim Erfassen des Basisbildes (B1) von mindestens einer weiteren Bilderfassungseinrichtung (2) ein Zusatzbild (B2) erfasst wird und an die Recheneinheit (4) übermittelt wird und - wobei von der Recheneinheit (4) anhand des mindestens einen Zusatzbildes (B2) die Relativlage (pR13) der Bilderfassungseinrichtung (1) relativ zur Anzeigeeinrichtung (3) ermittelt wird.
Steuerverfahren nach Anspruch 1, dadurch gekennzeichnet, dass die weitere Bilderfassungseinrichtung (2) ortsfest angeordnet ist.
Steuerverfahren nach Anspruch 2, dadurch gekennzeichnet, dass von der Recheneinheit (4) anhand des mindestens einen Zusatzbildes (B2) eine auf ein ortsfestes Koordinatensystem bezogene Absolutlage (pA1) der Bilderfassungseinrichtung (1) und eine auf das ortsfeste Koordinatensystem bezogene Absolutlage (pA3) der Anzeigeeinrichtung (3) ermittelt werden und anhand der Absolutlagen (pA1, pA3) der Bilderfassungseinrichtung (1) und der Anzeigeeinrichtung (3) die Relativlage (pR13) der Bilderfassungseinrichtung (1) relativ zur Anzeigeeinrichtung (3) ermittelt wird.
Steuerverfahren nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass die Bilderfassungseinrichtung (1) und/oder die Anzeigeeinrichtung (3) bewegbar sind.
Steuerverfahren nach einem der obigen Ansprüche, dadurch gekennzeichnet, dass die Relativlage (pR13) der Bilderfassungseinrichtung (1) relativ zur Anzeigeeinrichtung (3) von der Recheneinheit (4) kontinuierlich, in festen zeitlichen Abständen, ausgelöst durch einen Benutzerbefehl oder ausgelöst durch eine von einer Sensorik (11 bis 13) erkannte Veränderung (δpA1, δpA3, δpR13) einer auf ein ortsfestes Koordinatensystem bezogenen Absolutlage (pA1) der Bilderfassungseinrichtung (1), einer auf das ortsfeste Koordinatensystem bezogenen Absolutlage (pA3) der Anzeigeeinrichtung (3) oder der Relativlage (pR13) der Bilderfassungseinrichtung (1) relativ zur Anzeigeeinrichtung (3) ermittelt wird.
Steuerverfahren nach einem der obigen Ansprüche, dadurch gekennzeichnet, dass die von der Recheneinheit (4) ermittelte und ausgeführte Aktion (A) eine Steuerung der Anzeigeeinrichtung (3) ist.
Computereinrichtung, - wobei die Computereinrichtung eine Bilderfassungseinrichtung (1), mindestens eine weitere Bilderfassungseinrichtung (2), eine Anzeigeeinrichtung (3) und eine Recheneinheit (4) umfasst, - wobei die Recheneinheit (4) mit der Bilderfassungseinrichtung (1), der mindestens einen weiteren Bilderfassungseinrichtung (2) und der Anzeigeeinrichtung (3) zum Austausch von Daten verbunden ist, - wobei von der Bilderfassungseinrichtung (1) ein Basisbild (B1) erfasst wird und an die Recheneinheit (4) übermittelt wird, - wobei von der Recheneinheit (4) anhand des Basisbildes (B1) eine Geste (G) eines Benutzers (5) der Recheneinheit (4) ermittelt wird, - wobei von der Recheneinheit (4) in Abhängigkeit von der ermittelten Geste (G) eine Aktion (A) ermittelt und die Aktion (A) ausgeführt wird, - wobei die Aktion (A) von der Recheneinheit (4) für mindestens eine der Gesten (G) zusätzlich in Abhängigkeit von einer Relativlage (pR13) der Bilderfassungseinrichtung (1) relativ zur Anzeigeeinrichtung (3) ermittelt wird, - wobei spätestens beim Erfassen des Basisbildes (B1) von der mindestens einen weiteren Bilderfassungseinrichtung (2) ein Zusatzbild (B2) erfasst wird und an die Recheneinheit (4) übermittelt wird, - wobei von der Recheneinheit (4) anhand des Zusatzbildes (B2) die Relativlage (pR13) der Bilderfassungseinrichtung (1) relativ zur Anzeigeeinrichtung (3) ermittelt wird.
Computereinrichtung nach Anspruch 7, dadurch gekennzeichnet, dass die weitere Bilderfassungseinrichtung (2) ortsfest angeordnet ist.
Computereinrichtung nach Anspruch 8, dadurch gekennzeichnet, dass von der Recheneinheit (4) anhand des mindestens einen Zusatzbildes (B2) eine auf ein ortsfestes Koordinatensystem bezogene Absolutlage (pA1) der Bilderfassungseinrichtung (1) und eine auf das ortsfeste Koordinatensystem bezogene Absolutlage (pA3) der Anzeigeeinrichtung (3) ermittelt werden und anhand der Absolutlagen (pA1, pA3) der Bilderfassungseinrichtung (1) und der Anzeigeeinrichtung (3) die Relativlage (pR13) der Bilderfassungseinrichtung (1) relativ zur Anzeigeeinrichtung (3) ermittelt wird.
Computereinrichtung nach Anspruch 7, 8 oder 9, dadurch gekennzeichnet, dass die Bilderfassungseinrichtung (1) und/oder die Anzeigeeinrichtung (3) bewegbar sind.
Computereinrichtung nach einem der Ansprüche 7 bis 10, dadurch gekennzeichnet, dass die Relativlage (pR13) der Bilderfassungseinrichtung (1) relativ zur Anzeigeeinrichtung (3) von der Recheneinheit (4) kontinuierlich, in festen zeitlichen Abständen, ausgelöst durch einen Benutzerbefehl oder ausgelöst durch eine von einer Sensorik (11 bis 13) erkannte Veränderung (δpA1, δpA3, δpR13) einer auf ein ortsfestes Koordinatensystem bezogenen Absolutlage (pA1) der Bilderfassungseinrichtung (1), einer auf das ortsfeste Koordinatensystem bezogenen Absolutlage (pA3) der Anzeigeeinrichtung (3) oder der Relativlage (pR13) der Bilderfassungseinrichtung (1) relativ zur Anzeigeeinrichtung (3) ermittelt wird.
Computereinrichtung nach einem der Ansprüche 7 bis 11, dadurch gekennzeichnet, dass die von der Recheneinheit (4) ermittelte und ausgeführte Aktion (A) eine Steuerung der Anzeigeeinrichtung (3) ist.