-
Die Erfindung betrifft eine Stereokamera gemäß dem Oberbegriff von Anspruch 1 und ein Verfahren zur Korrektur eines ungleichmäßigen Auslesens der beiden Bildsensoren einer Stereokamera nach dem Oberbegriff des Anspruchs 12.
-
Stereokamera im Sinne der Erfindung ist sowohl eine Verknüpfung zweier Monokameras als auch eine in einem einzigen Gehäuse angeordnete Stereokamera, wobei rechter und linker Bildsensor im Sinne der Erfindung auch ein gleichzeitig auszulesender rechter und linker Bereich eines zusammenhängenden Bildsensorfelds sein können. Das Bildsensorfeld kann eindimensional (Zeilenkamera) oder zweidimensional (Flächenkamera) sein.
-
Eine gattungsgemäße Stereokamera ist aus der
US 5 389 101 A bekannt und umfasst zwei in Abstand voneinander angeordnete Videokameras mit sich schneidenden Sichtlinien. Durch entsprechende Auswertung der monoskopischen Einzelbilder kann die Position von Objekten, in diesem Beispiel die Position von chirurgischen Instrumenten relativ zu einem Patienten, koordinatenmäßig bestimmt werden.
-
Die bei dieser Stereokamera in den Videokameras angeordneten Bildsensoren werden von einer Ausleseanordnung pixelweise ausgelesen und die ausgelesenen Bildsignale an eine Auswerteeinheit übergeben.
-
Eine weitere gattungsgemäße Stereokamera mit zwei Monokameras wird von der Firma IMETRIK 3-D-Bildmeßtechnik GmbH aus Aalen in Deutschland hergestellt. Dabei ist die Bildaufnahme der zwei Monokameras der IMETRIK-Stereokamera synchronisiert, wodurch auch die Position bewegter Objekte bestimmbar ist.
-
Dazu wertet die Auswerteeinheit die Bildsignale des rechten Bildsensors und des linken Bildsensors unter der Annahme aus, dass gleichzeitig eintreffende Bildsignale einander entsprechenden Orten auf dem jeweiligen Bildsensor zugeordnet werden können. D. h. aber, dass Bildsignalauslese- und Bildsignallaufzeitschwankungen zu einer verringerten Genauigkeit der Positionsbestimmung führen können.
-
Aus der
US 5 305 098 A ist ein Stereoendoskopgerät mit einem Bildsensorpaar, zwei Videoprozessoren und einer Bildverarbeitungseinrichtung bekannt.
-
Aus der
US 5 521 639 A beschreibt ein ladungsgekoppeltes Festkörperabbildgerät zur Erzeugung eines Videosignals. Das Gerät weist einen wirksamen Pixelbereich auf, der mehrere wirksame Lichtempfangspixel besitzt. Diese weisen Sensorbereiche auf, um einfallendes Licht in ein Videosignal umzusetzen. Das Gerät weist ferner einen optisch schwarzen Bereich auf, der an einem peripheren Bereich des wirksamen Pixelbereichs angeordnet ist und mehrere Pixel umfasst, die Sensorbereiche haben, die durch Lichtabschirmmittel abgeschirmt sind. Ein bestimmtes Pixel innerhalb des optisch schwarzen Bereichs kann ein Pixelpositionsreferenzsignal erzeugen, welches zusammen mit dem Videosignal ausgegeben wird, welches einen Pegel hat, der sich von denen der Ausgangssignale der anderen Pixel des optisch schwarzen Bereichs unterscheidet.
-
Insbesondere bei mit relativ großem Abstand zueinander angeordneten Bildsensoren wird das Auslesen der Bildsensoren von einem zentralen Taktgeber aus gesteuert. Dabei können dem jeweiligen Bildsensor zugeordnete Auslesetaktsignalverstärker bzw. -verarbeitungseinheiten erforderlich sein, um das Auslesetaktsignal zu verstärken oder auch auf den Bildsensor anzupassen. Das Taktsignal wird durch einen derartigen Auslesetaktsignalverstärker, z. B. einen Clocktreiber, verzögert, wobei sich die Verzögerungszeiten auch schaltungsidentischer Auslesetaktsignalverstärker voneinander geringfügig unterscheiden können und z. B. von der elektrischen Last, der Versorgungsspannung oder der Temperatur abhängen.
-
Da jedem Bildsensor sein eigener Auslesetaktsignalverstärker zugeordnet ist, können sich also die den jeweiligen Bildsensoren zugeordneten Verzögerungszeiten voneinander unterscheiden, wodurch einander entsprechende Pixel bzw. Bildelemente des rechten und des linken Bildsensors nicht zum exakt identischen Zeitpunkt ausgelesen werden und deshalb bei den an die Auswerteeinheit gleichzeitig übergebenen Signalen des rechten und des linken Bildsensors nicht mehr davon ausgegangen werden kann, daß diese Signale von einander entsprechenden Orten auf dem jeweiligen Bildsensor kommen.
-
Bei sehr hohen Genauigkeitsanforderungen an die Positionsbestimmung mit einer gattungsgemäßen Stereokamera können selbst kleine Verzögerungszeitunterschiede zu einem Fehler bei der Positionsbestimmung führen.
-
Im Falle zeitlich konstanter Verzögerungszeitunterschiede könnte dieses Problem noch durch eine Kalibrierung gelöst werden. Insbesondere die Temperaturabhängigkeit der Verzögerungszeit jedoch kann zu einer Drift des Auslesetakts und damit zum Auslesen der beiden Bildsensoren mit jeweils unterschiedlichem Auslesetakt führen.
-
In chirurgischen Anwendungen der gattungsgemäßen Stereokamera werden die Positionen des Patienten und der chirurgischen Instrumente mit Hilfe von an dem Patienten bzw. den chirurgischen Instrumenten angeordneten Infrarotleuchtdioden erfaßt, deren Stereobilder ausgehend von den üblicherweise als CCD's ausgebildeten Bildsensoren in eine einen Framegrabber umfassende Auswerteeinheit eingelesen und von dieser ausgewertet werden.
-
Mit der von der Anmelderin entwickelten Stereokamera kann dabei die Position des Schwerpunkts der Abbildung einer Infrarotleuchtdiode auf dem CCD bis auf ca. 1/100 Pixel genau bestimmt werden. Bei einem Auslesetakt von z. B. 14,3 MHz, entsprechend einer Auslesezeit für ein einzelnes Pixel von ca. 70 ns, ergibt sich bereits bei einer Laufzeitverschiebung des einen Clocktreibers gegenüber dem anderen Clocktreiber von nur 7 ns eine falsche Zuordnung der Position eines Bildschwerpunkts in der Auswerteeinheit von 1/10 Pixel.
-
Aufgabe der Erfindung ist es deshalb, eine Stereokamera bereitzustellen, welche die Stereobilder trotz Bildsignalauslese- und Bildsignallaufzeitschwankungen bzw. Bildsignalauslese- und Bildsignallaufzeitunterschieden zwischen den einzelnen Bildsensoren möglichst fehlerfrei auswertet.
-
Diese Aufgabe wird durch die Merkmale in Anspruch 1 gelöst. Denn durch das zumindest eine ortsfeste Markierungspixel mit bekannter Position im rechten Bildsensor und das entsprechende Markierungspixel im linken Bildsensor kann der Zeitunterschied, mit dem die Markierungspixelsignale an die Auswerteeinheit übergeben werden, erfaßt werden und deshalb von der Auswerteeinheit bei der Verarbeitung und Auswertung des rechten und des linken Bilds berücksichtigt werden. Dabei ist das Markierungspixel in der jeweiligen Bildsignalfolge durch einen sich deutlich von den Bildsignalpegeln unterscheidenden Signalpegel identifizierbar, der z. B. Null oder sehr hoch sein kann.
-
Wie bereits erwähnt ist die Erfindung besonders bei mit relativ großem Abstand zueinander angeordneten Bildsensoren nützlich, wobei die Ausleseanordnung vorteilhafterweise einen Auslesetaktsignalgenerator zur Steuerung des Auslesens der beiden Bildsensoren, einen rechten, zwischen den Auslesetaktsignalgenerator und den rechten Bildsensor geschalteten Auslesetaktsignalverstärker sowie einen linken, zwischen den Auslesetaktsignalgenerator und den linken Bildsensor geschalteten Auslesetaktsignalverstärker umfaßt.
-
Bei einer Ausführungsform entspricht die Position des mindestens einen Markierungspixels im rechten Bildsensor der Position des mindestens einen Markierungspixels im linken Bildsensor. Dadurch ist die Zeitdifferenz zwischen den Markierungspixelsignalen des rechten Bildsensors und des linken Bildsensors bei Übergabe an die Auswerteeinheit Null, wenn der rechte Bildsensor und der linke Bildsensor exakt symmetrisch ausgelesen werden. Bei dieser Ausführungsform kann also der von einer Bildsignalauslese- und/oder Bildsignallaufzeitschwankung bedingte Fehler durch eine zeitliche Verschiebung der Bildsignalfolge des einen Bildsensors gegenüber der Bildsignalfolge des anderen Bildsensors entsprechend der gemessenen Zeitdifferenz korrigiert werden.
-
Wenn das Markierungspixel jeweils ein einzelnes Pixel ist und durch Abbildung eines relativ zum jeweiligen Bildsensors festen Lichtpunkts auf den jeweiligen Bildsensor gebildet ist, können herkömmliche Stereokameras besonders einfach erfindungsgemäß umgerüstet werden. Ferner kann bei dieser Ausführungsform der dem Markierungspixel zugeordnete Signalpegel besonders hoch sein, was der Auswerteeinheit das Erkennen des Markierungspixelsignals erleichtert.
-
Alternativ kann ein einzelnes Markierungspixel aber auch eine punktförmige, dauerhafte Schädigung des jeweiligen Bildsensors sein. Dafür könnte bei Bildsensoren mit CCD's auf ohnehin während der CCD-Herstellung anfallende fehlerhafte Pixel, sogenannte White Spots, zurückgegriffen werden. Ein derartiges Markierungspixel könnte aber auch durch gezielte Laserbestrahlung z. B. bereits während der Herstellung des CCD-Chips erzeugt werden.
-
Bei einer weiteren Ausführungsform ist dem bzw. den Markierungspixeln ein Lichtleitfaserende, z. B. durch direktes Aufkleben auf einen Bildsensor, zugeordnet. Dadurch kann der Signalpegel des Markierungspixels sehr hoch sein und besonders leicht an unterschiedliche Objekthelligkeiten angepaßt werden.
-
Wenn die Bildsensoren eine zeilen- und spaltenweise Pixelanordnung aufweisen sowie zeilenweise auslesbar sind und als Markierungspixel eine Pixelspalte dient, kann auch eine Auslesetaktverschiebung von einer Bildsensorzeile zur nächsten erfaßt werden.
-
Bei einer Erweiterung dieser Ausführungsform dienen mehrere parallele Pixelspalten als Markierungspixel. Dadurch können sogar Bildsignalauslese- und Bildsignallaufzeitschwankungen und insbesondere Auslesetaktverschiebungen innerhalb einer einzelnen Bildsensorzeile erfasst und korrigiert werden.
-
Derartige Markierungspixelspalten können durch Abbildung eines relativ zum jeweiligen Bildsensor festen Lichtbands auf den jeweiligen Bildsensor oder durch seitlich beleuchtete, linienhafte Einritzungen einer über der Bildsensorfläche angeordneten transparenten Schicht, z. B. einer Glasplatte, gebildet sein.
-
Der Erfindungsgedanke eines ortsfesten Markierungspixels ist aber auch bei einer Monokamera in vorteilhafter Weise einsetzbar, da z. B. Temperaturschwankungen zu einer zeitlichen Verschiebung zwischen Pixelclock und Bildinformation führen können, welche grundsätzlich durch ein Markierungspixel korrigierbar ist.
-
Ein weiterer Aspekt dieser Erfindung betrifft ein Verfahren zur Korrektur eines ungleichmäßigen Auslesens zweier Bildsensoren einer Stereokamera mit den Merkmalen in Anspruch 12.
-
Im folgenden wird die Erfindung anhand eines Ausführungsbeispieles unter Bezugnahme auf die beiliegenden Zeichnungen erläutert.
-
Es zeigen:
-
1 eine schematische Darstellung einer erfindungsgemäßen Stereokamera; und
-
2 eine schematische Darstellung eines Bildsensors eines weiteren Ausführungsbeispiels einer erfindungsgemäßen Stereokamera.
-
Die in 1 schematisch dargestellte Stereokamera umfaßt einen rechten Bildsensor 1 und einen linken Bildsensor 3, welche pixelweise ausgelesen werden und danach von einer Auswerteeinheit 5 ausgewertet werden. Das Auslesen der Bildsensoren 1 und 3 wird von einem Auslesetaktsignalgenerator 7 gesteuert, wobei dem Bildsensor 1 bzw. 3 ein Auslesetaktverstärker 9 bzw. 11 zugeordnet ist, um die vom Auslesetaktsignalgenerator 7 kommenden Auslesetaktsignale zu verstärken und ggf. dem jeweiligen Typ des Bildsensors anzupassen.
-
Zur Synchronisierung des Auslesens der beiden Bildsensoren kann alternativ aber auch eine sogenannte Genlock-Anordnung verwendet werden, bei der einer dem einen Bildsensor zugeordnete Auslesetaktgenerator der Mastertaktgenerator ist, welcher den dem anderen Bildsensor zugeordneten Taktgenerator im Sinne einer Master/Slave-Anordnung steuert.
-
Die Auslesetaktsignalverstärker 9 und 11 verzögern die Ankunft des Auslesetaktsignals beim jeweiligen Bildsensor 1 bzw. 3 um eine bestimmte Verzögerungszeit. Diese Verzögerungszeiten sind z. B. von der elektrischen Last, der Versorgungsspannung oder der Temperatur abhängig, wobei insbesondere die Temperaturabhängigkeit zu zeitlich veränderlichen Verzögerungszeiten und damit zu einer Drift des Auslesetakts führen kann. Für die Auswertung der von den Bildsensoren 1 und 3 kommenden Bildsignale ist es besonders störend, wenn sich der Auslesetakt des Bildsensors 1 gegenüber dem Auslesetakt des Bildsensors 3 verschiebt.
-
Um einen möglichen Auslesetaktunterschied zwischen dem Bildsensor 1 und dem Bildsensor 3 korrigieren zu können, umfaßt der Bildsensor 1 ein ortsfestes Markierungspixel 13 und der Bildsensor 3 ein ortsfestes Markierungspixel 15.
-
Im dargestellten Ausführungsbeispiel wird das Markierungspixel 13 bzw. 15 von einer punktförmigen Lichtquelle 17 bzw. 19 erzeugt, welche über eine schematisch dargestellte Abbildungsoptik 21 bzw. 23 auf eine bestimmte, feste Position des Bildsensors 1 bzw. 3 abgebildet wird. Der Signalpegel des Markierungspixelsignals kann über die Leuchtdichte der Punktlichtquelle 17 bzw. 19 auf die jeweils vorliegende Beleuchtungssituation angepaßt werden, um das Markierungspixel eindeutig identifizieren zu können.
-
Der Bildsensor 1 bzw. 3 ist jeweils in einem gesonderten Gehäuse 25 bzw. 27 aufgenommen. Da die Punktlichtquelle 17 bzw. 19 sowie die Abbildungsoptik 21 bzw. 23 ebenfalls in dem Gehäuse 25 bzw. 27 ortsfest angeordnet sind, bleibt die Position des Markierungspixels 13 bzw. 15 auf dem Bildsensor 1 bzw. 3 stets konstant.
-
Das vom Auslesetaktsignalgenerator 7 erzeugte Taktsignal, welches im Falle eines als CCD ausgebildeten Bildsensors 1 bzw. 3, z. B. 14,3 MHz betragen kann, wird über eine Taktsignalleitung 29 bzw. 31 dem jeweiligen Auslesetaktsignalverstärker 9 bzw. 11 übergeben. Der Auslesetaktsignalverstärker 9 bzw. 11 verstärkt das Taktsignal und gibt es an den Bildsensor 1 bzw. 3 weiter, welcher derart getaktet eine Analogsignalfolge über die Signalleitung 33 bzw. 35 an die einen Framegrabber umfassende Auswerteeinheit 5 liefert. Die Auswerteeinheit 5 tastet diese Analogsignalfolge ab, digitalisiert sie und speichert die digitalen Werte zur Weiterauswertung ab.
-
Das vom Auslesetaktsignalgenerator 7 gelieferte Auslesetaktsignal steuert auch das Abtasten durch die Auswerteeinheit 5 und wird dazu über eine Taktsignalleitung 37 übertragen.
-
Im Gegensatz zu Auswerteeinheiten des Stands der Technik, welche auf der Annahme aufbauen, daß gleichzeitig abgetastete Signale von den einzelnen Bildsensoren dem jeweils gleichen Ort auf den einzelnen Bildsensoren zuzuordnen sind, und deshalb bei einem Auslesetaktunterschied und/oder einem Laufzeitunterschied zwischen den Signalleitungen 33 bzw. 35 zu einer fehlerhaften Zuordnung der abgetasteten und digitalisierten Signale zur entsprechenden Position im Bildsensor führen, können mit der Auswerteeinheit 5 anhand des Markierungspixelsignals Auslesetaktunterschiede und/oder Laufzeitunterschiede erkannt und deshalb korrigiert werden.
-
2 zeigt einen der Bildsensoren 101 einer weiteren Ausführungsform der erfindungsgemäßen Stereokamera. Während bei dem Ausführungsbeispiel nach 1 lediglich jeweils ein einzelnes Markierungspixel vorgesehen ist, weist der als zweidimensionale CCD-Anordnung ausgebildete Bildsensor 101 eine jeweils am Zeilenanfang liegende Markierungspixelspalte 103 auf.
-
Bei dieser Ausführungsform können anhand der bekannten Markierungspixelpositionen sogar Auslesetaktverschiebungen oder Bildsignalauslese- und Bildsignallaufzeitschwankungen, die auf einer Zeitskala in der Größenordnung des Auslesens einer einzelnen Zeile des Bildsensor 101 auftreten, erfaßt und korrigiert werden.
-
Dabei kann bei diesem Ausführungsbeispiel auch die absolute Drift des Auslesetakts eines einzelnen Bildsensors erfaßt und ggf. korrigiert werden.
