-
Die Erfindung betrifft ein Verfahren zur horizontrichtigen stereoskopischen Bildverarbeitung von stereoskopischen Einzelbildern oder Bildfolgen, ein Computerprogramm mit Programmcodemitteln, einen Datenträger, ein System zur horizontrichtigen stereoskopischen Bildverarbeitung sowie eine Verwendung.
-
Stereoskopische Anwendungen sind aus verschiedenen Bereichen bekannt. Bekannte Anwendungen betreffen die stereoskopische Fotografie und stereoskopische Filmaufnahmen mit digitalen und analogen Medien. Weitere Anwendungsbereiche, in denen stereoskopische Kameras zur Anwendung kommen, sind beispielsweise die minimalinvasive Chirurgie, in der stereoskopische Endoskope zur Anwendung kommen.
-
Bei stereoskopischen Aufnahmen von Einzelbildern oder Bildfolgen werden üblicherweise gleichzeitig zwei Bilder eines Bildbereiches aus verschiedenen Blickwinkeln aufgenommen. Hierzu werden entweder zwei verschiedene Kameras, die fest zueinander angeordnet sind, verwendet, oder Kameras mit zwei Objektiven und Bildsensoren. Die optischen Achsen der Objektive sind dann parallel oder einander zugeneigt ausgerichtet. Es sind auch Lösungen bekannt, bei denen durch ein einzelnes Objektiv zwei Bildsensoren belichtet werden. Ähnlich sind bei stereoskopischen. Endoskopen Systeme mit einer einzelnen Eingangslinse oder zwei Eingangslinsen für jeweils zwei Bildsensoren bekannt.
-
Bei der Wiedergabe der stereoskopisch aufgenommenen Bilder wird jedem Auge des Menschen eines der beiden Bilder gezeigt. Insofern der perspektivische Versatz zwischen den beiden Bildern dem Erfahrungswert der menschlichen optischen Wahrnehmung mit zwei Augen entspricht, verarbeitet das Gehirn die unterschiedlichen Informationen für die beiden Augen zu einem räumlichen Bild mit Tiefenwirkung.
-
Bei bekannten stereoskopischen Systemen auf analoger oder digitaler Basis werden sehr plastische Effekte erzielt. Den Systemen ist allerdings die Begrenzung gemeinsam, dass die von Ihnen aufgenommenen Bilder an den menschlichen Wahrnehmungsapparat angepasst sein müssen, d. h. für zwei in gleicher vertikaler Höhe nebeneinander angeordnete Augen aufgenommen sein müssen. Daher weisen stereoskopische Kameras mit zwei Sensoren eine Anordnung auf, in der zwei rechteckige Sensoren im Querformat nebeneinander angeordnet sind.
-
Bei stereoskopischen Videokameras ist dies im Wesentlichen unerheblich, da Videosignale und Filme üblicherweise ohnehin im Querformat dargestellt werden. Für digitale Kameras zur Aufnahme von Einzelbildern bedeutet dies jedoch, dass es nicht möglich ist, hochformatige Bilder aufzunehmen und in einer dem menschlichen Wahrnehmungsapparat angemessenen Weise stereoskopisch darzustellen. Mit der Verkippung der Kamera und den darin angeordneten rechteckigen Bildsensoren aus einer horizontalen in eine vertikale Lage wird die Basislinie, also die Verbindungslinie zwischen den Zentren der beiden Bildsensoren, gegenüber der Horizontlage, die nach wie vor waagerecht ist, um 90° verkippt. Die beiden stereoskopischen Einzelbilder werden in diesem Fall von Beobachtungspositionen aus aufgenommen, die übereinander angeordnet sind und nicht nebeneinander.
-
Der menschliche Wahrnehmungsapparat bzw. das menschliche Gehirn ist nicht in der Lage, aus zwei Einzelbildern mit vertikaler Perspektivverschiebung, die jeweils dem rechten bzw. linken Auge gezeigt werden, noch einen dreidimensionalen Eindruck zu gewinnen, da das menschliche Gehirn fest davon ausgeht, dass die beiden Einzelbilder aus waagerecht verschobenen Perspektiven aufgenommen sind. Ein Verdrehen des Kopfes um 90° oder des hochkant aufgenommenen Bildes um 90°, so dass wiederum eine Anzeige im Querformat eingenommen wird, hilft nicht, da sich das Tiefenerlebnis zwar wieder einstellt, jedoch das Bild auch um 90° verdreht ist.
-
Bei anderen Anwendungen, insbesondere bei stereoendoskopischen Eingriffen, ergibt sich eine weitere Limitierung. In stereoskopischen Endoskopen sind, wie in bekannten stereoskopischen Kameras, die beiden Bildsensoren jeweils im Querformat nebeneinander angeordnet. Die meisten stereoskopischen Endoskope weisen starre Schäfte auf, an deren Spitze eine seitwärts blickende Optik angeordnet ist. Diese seitwärts blickende Optik erlaubt eine Blickrichtung, die um 30°, 45°, 70° oder einen anderen Winkel zur Längsachse des starren Schafts abgewinkelt ist. Durch Drehen des Endoskops bzw. des Endoskopschafts um seine Längsachse ist es somit möglich, einen Rundumblick in einem Körperinnenraum, der endoskopisch untersucht oder behandelt wird, zu erlangen. Bei der Rotation des Endoskops um seine Längsachse wird allerdings auch das Paar von Sensoren mit rotiert, so dass mit der Änderung der Blickrichtung auch die Orientierung des Bildes gedreht wird. Nach einer Drehung des Endoskops um 180° um die eigene Längsachse steht das Ausgangsbild somit Kopf. Dies ist für den Chirurgen, der das Stereoendoskop bedient, desorientierend. Eine mögliche Rotation der Teilbilder zur Wiederherstellung der Horizontlage für den Chirurgen führt allerdings wieder zu dem Ergebnis, dass die Basislinie zwischen den beiden Bildern von ihrer Horizontlage abweicht.
-
Der Erfindung liegt daher die Aufgabe zugrunde, auch in Fällen, in denen eine übliche Querformataufnahme und -wiedergabe von stereoskopischen Bildern verlassen wird, eine horizontrichtige stereoskopische Bildwiedergabe zu ermöglichen.
-
Diese Aufgabe wird gelöst durch Verfahren zur horizontrichtigen stereoskopischen Bildverarbeitung von stereoskopischen Einzelbildern oder Bildfolgen mit den folgenden Schritten:
- a) Aufnehmen oder Erzeugen von wenigstens zwei Quellbildern eines Bildbereiches mit gleicher Ausgangshorizontlage aus verschiedenen Aufnahmepositionen, die auf wenigstens einer ersten Basislinie unter wenigstens einem ersten Basisabstand voneinander beabstandet angeordnet sind, wobei die wenigstens eine erste Basislinie einen vorbestimmten oder vorbestimmbaren Basiswinkel zur Ausgangshorizontlage der Quellbilder oder zu einer vorbestimmten oder vorbestimmbaren zweiten Basislinie aufweist und/oder der wenigstens eine erste Basisabstand von einem vorbestimmten oder vorbestimmbaren zweiten Basisabstand abweicht,
- b) Ermitteln von Tiefeninformationen für wenigstens einen Teil der Bildpunkte eines oder mehrerer Quellbilder,
- c) Erstellen zweier stereoskopischer Bilder auf der Grundlage der aus den Quellbildern ermittelten Bildinformationen und Tiefeninformationen bezüglich zweier Betrachtungspositionen, die voneinander unter dem vorbestimmten oder vorbestimmbaren zweiten Basisabstand beabstandet auf der vorbestimmten oder vorbestimmbaren zweiten Basislinie angeordnet sind.
-
Hierbei wird erfindungsgemäß unter einem Quellbild ein von einem Bildaufnehmer bzw. Bildsensor einer stereoskopischen Aufnahmevorrichtung aufgenommenes Bild verstanden, das ein Einzelbild sein kann oder ein Bild einer Bildfolge, die als Video oder als Film abspielbar ist. Es kann auch ein Bild einer Bildfolge in einem Zeitraffer-Film sein.
-
Eine Ausgangshorizontlage ist im Rahmen der Erfindung die Horizontlage der Bildnehmer bzw. Bildsensoren während der Aufnahme. Dabei kann es sich um ein Querformat, ein Hochformat oder ein dazu gedrehtes Format handeln. Der Bildbereich ist ein Objekt bzw. Objektbereich, der stereoskopisch dargestellt werden soll.
-
Die erste Basislinie ist im Rahmen der Erfindung die Verbindungslinie zwischen den Zentren der beiden Bildaufnehmer bzw. Quellbilder. Der Basiswinkel ist der Winkel, um die die Basislinie gegenüber der Ausgangshorizontlage gedreht ist. Dies kann im Rahmen der Erfindung auch ein Winkel von 0° sein, jedoch auch jeder andere Winkel zwischen 0° und 360°. Wenn der Basiswinkel 0° beträgt, kann die Wiedergabe in Verfahrensschritt c) an einen geänderten Basisabstand angepasst werden.
-
Unter Tiefeninformationen werden erfindungsgemäß insbesondere Abstände der dargestellten Bildpunkte der Quellbilder von einer Ebene, die durch die Bildsensoren oder Bildaufnehmer verlaufen oder um eine parallel dazu verschobene Ebene, verstanden.
-
Mit dem erfindungsgemäßen Verfahren wird erreicht, dass für einen Betrachter stereoskopische Bilder in einer beliebig wählbaren Horizontlage, d. h. auch im Hochformat oder in einem anderen Format, darstellbar sind, die für den menschlichen Wahrnehmungsapparat verarbeitbar sind und einen plastischen Eindruck erzeugen. Dies wird dadurch verwirklicht, dass stereoskopische Quellbilder aufgenommen werden, die von ihrer Horizontlage und/oder der Lage ihrer Basislinie nicht notwendigerweise zur stereoskopischen Wahrnehmung durch einen Menschen geeignet sind. Da ihre Beobachtungspositionen jedoch bekannt sind, ist es möglich, Tiefeninformationen für wenigstens einen Teil der Quellbilder bzw. für wenigstens einige der Bildpunkte der Quellbilder aus den beiden oder mehreren Quellbildern zu extrahieren. Das Ergebnis ist ein Datensatz, der sowohl Bildinformationen, also Helligkeits-, Graustufen- und/oder Farbinformationen aufweist, als auch zugeordnete Tiefeninformationen. Da somit sowohl optische als räumliche Informationen vorliegen, ist es möglich, mittels geeigneter Verfahren neue stereoskopische Bilder zu erstellen, wobei bei der Rekonstruktion dieser Bilder Beobachtungspositionen gewählt werden, die zu stereoskopischen Bildern führen, die im menschlichen optischen Wahrnehmungsapparat zu einer räumlichen Tiefenvorstellung bzw. Tiefenwahrnehmung führen. Als Ausgangsmaterial kommt auch analoges Bildmaterial in Frage, das digital nachbearbeitet wird.
-
Hierzu ist es vorteilhafterweise vorgesehen, dass in Verfahrensschritt a) das Aufnehmen der wenigstens zwei Quellbilder in gleicher Horizontlage erfolgt oder, alternativ dazu, die wenigstens zwei Quellbilder mit unterschiedlicher Horizontlage aufgenommen werden und eine gemeinsame Horizontlage durch Rotation wenigstens eines der Quellbilder erzeugt wird. Die erste Alternative ist bei stereoskopischen Aufnahmevorrichtungen ohne Weiteres gegeben. Die zweite Alternative kommt vorteilhafterweise zum Einsatz, wenn stereoskopische Aufnahmen mittels zweier Kameras erzeugt werden, die jeweils ein einzelnes Bild aufnehmen und die in ihrer Anordnung zueinander dejustiert sein können.
-
Eine weitere Anwendung ist gegeben, wenn mittels einer einzelnen Kamera nacheinander aus verschiedenen Perspektiven ein Bildbereich aufgenommen wird und dabei die Horizontlage nicht genau reproduzierbar ist. Dies kann durch eine Rotation eines der beiden Quellbilder oder beider Quellbilder korrigiert werden.
-
Vorzugsweise erfolgt die Aufnahme der wenigstens zwei Quellbilder in Verfahrensschritt a) gleichzeitig.
-
Eine vorteilhafte Weiterbildung erfährt das Verfahren, wenn im Verfahrensschritt a) drei oder mehr Quellbilder aufgenommen oder erzeugt werden, deren Aufnahmepositionen voneinander beabstandet auf einer oder mehreren Basislinien angeordnet sind. Die Verwendung von drei oder mehr Quellbildern führt zu einer erhöhten Redundanz in der Berechnung der Tiefeninformation. Damit wird der Datensatz über die Tiefeninformation robuster. Artefakte durch ambivalente Tiefeninformationen werden somit vermindert.
-
Die Verwendung von mehreren Quellbildern auf einer gemeinsamen Basislinie erlaubt eine Vergrößerung des Basisabstandes und somit eine genauere Bestimmung von Tiefeninformationen als eine Verwendung von lediglich zwei enger zueinander beabstandeten Quellbildern.
-
Die Verwendung eines dritten oder weiteren Quellbildes, das nicht auf der ersten Basislinie liegt, erlaubt die Verwendung einer weiteren Dimension in der Wahl des Beobachtungsstandorts. Dies führt dazu, dass Überdeckungen von Objekten teilweise aufgehoben werden, die bei der Verwendung von nur zwei Quellbildern auf einer Basislinie nicht aufzulösen sind. Insgesamt werden die Bereiche des aufgenommenen Bildes, in dem Überdeckungen nicht aufzulösen sind, durch diese Maßnahme vermindert. Auch dies führt zu einer Verminderung der Anzahl und Größe von Artefakten.
-
Vorteilhafterweise werden im Verfahrensschritt a) die Quellbilder bezüglich Optik-bedingter Deformationen oder Verzeichnungen korrigiert. Auf diese Weise werden die perspektivischen Relationen in den verwendeten Quellbildern im gesamten Bereich miteinander vergleichbar, so dass eine robuste Extraktion der Tiefeninformationen der Bilder möglich wird.
-
Das Verfahren wird weiter verbessert, wenn das Ermitteln der Tiefeninformationen in Verfahrensschritt b) redundant ausgehend von mehreren Quellbildern und/oder Basislinien erfolgt. Insbesondere an Kanten von Überdeckungen zwischen aufgenommenen Flächen oder Körpern führt dies dazu, dass Bereiche identifiziert werden können, in denen aufgrund einer Überdeckung in beiden Quellbildern unterschiedliche Flächen oder Objekte dargestellt sind, so dass eine Extraktion von Tiefeninformationen aufgrund des Fehlens der Information aus dem jeweils anderen Bild unmöglich ist. Diese Bereiche können somit sicher ausgeschlossen werden. Es ist dann möglich, die Bildinformationen aus einem der beiden Quellbildern auszusuchen und in einem solchen Überlappungsbereich die Tiefeninformationen aus dem angrenzenden Bildbereich des verwendeten Quellbildes in den ambivalenten Bereich hinein zu extrapolieren. Auf diese Weise werden realistische Tiefeninformationen auch für die ansonsten ambivalenten Bildbereiche gewonnen, was zu einer weiteren Eliminierung von Artefakten in den endgültigen stereoskopischen Bildern führt.
-
Bevorzugt werden Tiefeninformationen im Verfahrensschritt b) anhand einer Korrespondenz- und Disparitätenanalyse der wenigstens zwei Quellbilder entlang Linien ermittelt, die unter dem Basiswinkel der Basislinie zwischen den Quellbildern zu der Horizontlage der Quellbilder rotiert sind, wobei aus den ermittelten Disparitäten Tiefeninformationen in dem in beiden Quellbildern enthaltenen Bildbereich errechnet werden. Bei der Korrespondenz- und Disparitätenanalyse handelt es sich um ein Verfahren, bei dem in zwei stereoskopisch aufgenommenen Bildern nach korrespondierenden Bereichen bzw. Bildausschnitten gesucht wird, die das gleiche Objekt bzw. den gleichen Ausschnitt eines Objekts zeigen. Die Disparität ist im Folgenden der Versatz in den beiden Quellbildern, der zwischen den Bildbereichen der beiden Quellbilder besteht, die den entsprechenden als korrespondierend erkannten Bildausschnitt darstellen.
-
Aus der Disparität lässt sich die Tiefeninformation idealerweise nach folgender Formel berechnen: Z = (Bf)/d.
-
Hierbei ist B die Basisdistanz, also der Abstand zwischen den Zentren der beiden Bildaufnehmer bzw. Bildsensoren. Z ist die Tiefe, d. h. der Abstand zu den Bildsensoren. f ist die Brennweite der verwendeten Optik und d ist die Disparität, also der Versatz zwischen zueinander korrespondierenden Bildbereichen in den Quellbildern.
-
Wie sich aus der invertierten Funktionsabhängigkeit der Tiefe Z von der Disparität d ergibt, funktioniert diese Analyse von Tiefeninformationen am besten für große Disparitäten d und kleine Tiefen Z, während bei kleinen Disparitäten d insbesondere im Bereich der Auflösung der verwendeten optischen Systeme, eine große Unsicherheit in der errechneten Tiefe Z entsteht.
-
Bei der erfindungsgemäßen Korrespondenz- und Disparitätenanalyse erfolgt die Korrespondenzanalyse einander entsprechender Bildbereiche entlang Linien, die parallel zur Basislinie zwischen den Quellbildern sind. Die Korrespondenzanalyse erfolgt somit in der Ebene, in der die beiden Quellbilder voneinander einen Versatz aufweisen.
-
Vorzugsweise wird zur Erkennung korrespondierender Bildausschnitte in zwei Quellbildern eine Korrelation eines Bildausschnitts eines ersten Quellbildes mit gleich großen Bildausschnitten eines zweiten Quellbildes entlang einer Richtung parallel zur Basislinie zwischen den beiden Quellbildern gebildet und die Disparität als Verschiebung zum Bildausschnitt des zweiten Quellbildes mit der größten Korrelation berechnet. Die Korrelation ist dabei erfindungsgemäß die Übereinstimmung in den Helligkeits- und/oder Farbwerten und deren Verteilung im verglichenen Bildausschnitt zwischen Bildausschnitten der beiden Quellbilder. Die Korrelation ist maximal, beispielsweise mit einem Wert 1,0, wenn die Helligkeits- und/oder Farbwerte in dem gesamten Bildausschnitt in beiden Quellbildern in jedem Pixel identisch sind. Anderenfalls führt jede Abweichung zu einer Verminderung des Korrelationswertes. Für den Fall, dass eine Erkennung von Disparitäten nur bis zu einem bestimmten größten Disparitätswert, d. h. einer kleinstmöglichen Tiefe, gewollt ist, wird die Suche vorzugsweise auf einen Bereich entlang der Linie eingeschränkt, der das zweite Quellbild nicht vollständig überstreicht.
-
Eine bevorzugte Redundanz wird im Fall einer Korrespondenz- und Disparitätenanalyse erreicht, wenn die Erkennung korrespondierender Bildausschnitte und die Berechnung der Disparitäten in einem Paar von Quellbildern ausgehend von jedem der beiden Quellbilder erfolgen. Damit sind Bereiche, in denen sich Objekte gegenseitig verdecken und jeweils nur in einem der Bilder gezeigt sind, sicher erkennbar. Sie können dann gegebenenfalls ausmaskiert oder anderweitig verwendet werden.
-
In einer vorteilhaften Weiterbildung ist die Größe der Bildausschnitte für die Erkennung korrespondierender Bildausschnitte vorbestimmbar oder einstellbar, wobei insbesondere die Größe für einen Bildausschnitt im ersten Quellbild so gewählt wird oder wählbar ist, dass im Bildausschnitt Strukturverläufe enthalten sind, die eine signifikante Korrelation der Bildausschnitte ergeben. Insbesondere kann die Größe der Bildausschnitte selbst innerhalb einer Korrespondenz- und Disparitätenanalyse variabel sein, um Bildbereiche mit wenig Textur ebenso sicher einer Korrespondenzanalyse zu unterwerfen wie Bildbereiche mit starker Textur, die hohe Korrelationswerte erzeugen. Umgekehrt ist es auch möglich, den Bildausschnitt so zu verkleinern, dass die Korrespondenzanalyse anhand eines einzelnen Pixels geschieht.
-
Der Vergleich mit Pixeln des anderen Quellbildes aus der entsprechenden Vergleichslinie ergibt somit eine Korrelationsfunktion, die für jeden Pixel oder interpolierten Pixel einen Korrelationswert annimmt. Diese Korrelationsfunktion kann auf das Auftreten eines absoluten Maximums untersucht werden. Auch im Falle einer allmählichen wenig texturstarken Änderung von Helligkeits- und/oder Farbwerten ist es auf diese Weise möglich, durch Interpolation und einen Kurvenfit, beispielsweise durch fitten eines Polynoms zweiten oder dritten Grades, den Ort eines Maximums der Korrelationsfunktion und somit die Disparität mit großer Genauigkeit zu errechnen. Das Gleiche gilt, wenn Bildausschnitte mit mehreren Pixeln für die Korrespondenzanalyse verwendet werden.
-
Vorzugsweise wird als Korrelationsfunktion eine Funktion verwendet, die als Vergleichswerte sowohl Helligkeitsinformationen als auch Farbinformationen in mehreren Farbkanälen, beispielsweise in Rot, Grün und Blau oder in Zyan, Magenta und Gelb umfasst. Damit erhält die Korrelationsfunktion am Ort ihres Maximums eine hohe Signifikanz.
-
Zur Beschleunigung des Verfahrens ist vorzugsweise vorgesehen, dass bei der Erkennung korrespondierender Bildausschnitte und ihrer Disparität für einen Bildausschnitt Informationen über die bereits bekannte Disparität eines benachbarten Bildausschnitts als Ausgangspunkt verwendet werden. Dieser kann in der gleichen Linie liegen oder in einer benachbarten Linie, in der eine Korrespondenzanalyse stattgefunden hat. Hintergrund dieser Maßnahme ist, dass die Wahrscheinlichkeit, dass benachbarte Bildpunkte zum gleichen Objekt gehören und somit eine sehr ähnliche Tiefeninformation haben, sehr hoch ist. Es ist somit sehr wahrscheinlich, dass ein benachbarter Bildpunkt in einem Quellbild als korrespondierenden Bildpunkt oder Bildausschnitt im anderen Quellbild den Nachbarpunkt bzw. Bildausschnitt des zuvor bereits gefundenen korrespondierenden Punkts oder Bildausschnitts hat. Eine Variation der Disparität in einem sehr engen Bereich in beide Richtungen erlaubt dann eine Analyse, ob die Disparität für den neuen Bildpunkt den vermuteten Wert oder einen leicht oder stark verschobenen Wert aufweist. Falls die Korrelationsfunktion an dieser Stelle eine starke Steigung aufweist, bedeutet dies, dass die Fläche, die mit diesem Punkt dargestellt ist, zur Beobachtungsebene stark geneigt ist oder dass eine Diskontinuität vorliegt.
-
Zur weiteren Beschleunigung des Verfahren, die insbesondere bei einer Echtzeitdarstellung von beispielsweise stereoskopischen Videobildern vorteilhaft ist, ist vorgesehen, dass die Erkennung korrespondierender Bildausschnitte und ihrer Disparität anhand von einzelnen Bildpunkten erfolgt, die in einem Quellbild verteilt angeordnet sind, wobei die Tiefeninformationen zwischen den einzelnen Punkten interpoliert werden. Hierbei kann es sich um ein Raster von Bildpunkten handeln, die gleichmäßig über das Bild verteilt sind. Das Raster kann auch im Zentrum, das verstärkt wahrgenommen wird, eine größere Dichte vom Bildpunkt haben und am Bildrand eine geringere Dichte. Auf diese Weise ist es mit wenig Aufwand möglich, Tiefeninformationen in annehmbarer Qualität zu ermitteln und einer horizontrichtigen Wiedergabe zugrunde zu legen.
-
Der Auswahl der einzelnen Bildpunkte kann auch eine Erkennung von Strukturen oder Objekten in den Quellbildern oder in einem Quellbild vorausgehen. Es ist dann bei erkannten Objekten lediglich nötig, eine geringe Anzahl von Bildpunkten einer entsprechenden Analyse zu unterwerfen, da davon ausgegangen wird, dass die entsprechenden Objekte jeweils eine gleichbleibende bzw. ähnliche Tiefeninformation aufweisen.
-
Dieses Verfahren wird dadurch weiter verbessert, dass die Erkennung korrespondierender Bildausschnitte und ihrer Disparität zusätzlich für Zwischenpunkte erfolgt, die in Bildbereichen mit starker lokaler Tiefenvariation liegen. Solche Bereiche kennzeichnen entweder stark geneigt Flächen oder Bereiche mit Diskontinuitäten, in denen verschiedene Flächen bzw. Körper einander überdecken oder überlappen. Die Erhöhung der Anzahl von Tiefenpunkten in diesen Bereichen führt zu einer realistischeren und besseren plastischen Wiedergabe der stereoskopischen Aufnahmen.
-
In dem erfindungsgemäßen Verfahren erfolgt das Erstellen zweier stereoskopischer Bilder in Verfahrensschritt c) vorzugsweise mittels eines Raytracing-Verfahrens anhand der vorhandenen Bildinformationen und Tiefeninformationen, die in Verfahrensschritt b) ermittelt worden sind, insbesondere unter Verwendung eines Tiefenspeicher-Verfahrens. Das Tiefenspeicher-Verfahren, das auch „Z-Buffering” genannt wird, ist ein bekanntes Verfahren der Computergrafik zur Verdeckungsberechnung, um die vom Betrachter aus sichtbaren dreidimensionalen Flächen in einer Computergrafik zu ermitteln. Die Tiefeninformationen sind durch die Analyse in Verfahrensschritt b) bereits vorhanden. Im Falle, dass die Tiefeninformationen redundant bezüglich mehrerer Quellbilder ermittelt worden sind, liegen für Bildbereiche mit Überlappungen von Objekten mehrere Tiefeninformationen vor. Jedes der verwendeten Quellbilder und der entsprechenden Tiefeninformationsmatrizen bietet somit ein Objekt, das in einem Tiefenspeicher-Verfahren bezüglich der neuen Beobachtungspositionen als Objekt dient. So ist es möglich, dass gewisse Bereiche mit ambivalenter Tiefeninformation für die beiden Endbilder verschiedene Objekte in verschiedener Tiefe anzeigen. Dies erhöht die Realitätsnähe der angezeigten Bilder und verringert die Anzahl von Artefakten.
-
Raytracing-Verfahren sind bekannte Verfahren der Computergrafik, um aus bekannten optischen und Tiefeninformationen zweidimensionale Bilder bezüglich vorgegebener Beobachtungspositionen zu erzeugen. Da im vorliegenden erfindungsgemäßen Verfahren Bildinformationen, d. h. Informationen über Helligkeit und ggf. Farbe, bereits vorhanden sind, können bekannte Raytracing-Verfahren besonders schnell ausgeführt werden, da sich die Bildverarbeitung im Rahmen des Raytracing-Verfahrens im Wesentlichen auf eine Koordinatentransformation mit Überdeckungsanalyse reduziert.
-
Der mittlere Augenabstand der meisten Menschen beträgt ca. 6,25 cm. Mit diesen Vorgaben sind die meisten Stereokameras und Stereo-Videokameras entwickelt worden. Auch die Kinofilme, die mit 3D-Technik bzw. stereoskopisch produziert werden und in modernen Kinosälen mit entsprechenden Shutterbrillen oder polarisierten Brillen gesehen werden, sind mit jeweils Teilbildern bzw. Einzelbildern produziert, die einen Basisabstand von 6,25 cm aufweisen. Die Augenabstände variieren bei den meisten Menschen jedoch relativ stark, so dass Personen, die einen Augenabstand haben, der wesentlich von 6,25 cm abweicht, ein eher eigentümlicher Bild- und Raumeindruck entsteht, der bei längerem Schauen zu Kopfschmerzen führen kann. Im Extremfall stellt sich keine Tiefenwirkung ein.
-
In einer vorteilhaften Ausführung des erfindungsgemäßen Verfahrens entspricht daher die erste Basislinie in Verfahrensschritt a) der zweiten Basislinie in den Verfahrensschritten a) und c), wobei die Basisabstände in den Verfahrensschritten a) und c) unterschiedlich sind. Mit dieser Weiterbildung ist es möglich, stereoskopische bereits horizontrichtig aufgenommene Bilder auf individuell unterschiedliche Augenabstände einzustellen.
-
Durch Ändern des Basisabstands auf den individuellen Augenabstand wird sowohl die Qualität der Tiefenwirkung verbessert als auch das Risiko von Kopfschmerzen beim Betrachten minimiert. Auch in allen anderen Fällen des erfindungsgemäßen Verfahrens, insbesondere wenn der Wert des Basiswinkels von 0° abweicht, kann der Basisabstand in Verfahrensschritt c) individuell ausgewählt werden.
-
Eine weitere vorteilhafte Weiterentwicklung erfährt das erfindungsgemäße Verfahren, wenn das Erstellen zweier stereoskopischer Bilder in Verfahrensschritt c) auf der Grundlage einer zweiten Basislinie erfolgt, deren Orientierung durch einen Orientierungssensor einer Aufnahmevorrichtung bestimmt wird. In einem einfachen Fall bedeutet dies, dass ein Orientierungssensor, wie er in Digitalkameras in den meisten Fällen bereits standardmäßig vorhanden ist, dazu verwendet wird, festzustellen, ob eine Aufnahme im Querformat oder im Hochformat erfolgt. Entsprechend wird lediglich bei Auftreten eines Hochformats das erfindungsgemäße Verfahren ausgeführt. Im Querformat ist die horizontrichtige stereoskopische Wiedergabe bereits in den Quellbildern sichergestellt. In einer Weiterentwicklung kann auch bei leichten Abweichungen von der Waagerechten das erfindungsgemäße Verfahren durchgeführt werden, insbesondere in Verbindung mit einer Rotation der Bilder zur Herstellung einer horizontrichtigen Darstellung. Hierzu ist vorzugsweise vorgesehen, dass die durch den Orientierungssensor ermittelte Abweichung der Horizontlage der Quellbilder zu einer Raumlage durch eine Rotation der stereoskopischen Bilder oder der Quellbilder korrigiert wird.
-
Die Erfindung wird auch durch ein Computerprogramm mit Programmcodemitteln gelöst, bei deren Ausführung auf einer Datenverarbeitungsanlage wenigstens die Verfahrensschritte b) und c) des erfindungsgemäßen vorstehend beschriebenen Verfahrens ausgeführt werden. Ebenfalls wird die der Erfindung zugrunde liegende Aufgabe durch einen Datenträger mit einem entsprechenden darauf gespeicherten erfindungsgemäßen Computerprogramm gelöst.
-
Die der Erfindung zugrunde liegende Aufgabe wird auch durch ein System zur horizontrichtigen stereoskopischen Bildverarbeitung gelöst, umfassend eine Aufnahmevorrichtung mit wenigstens zwei Bildaufnehmern zur Erzeugung von Quellbildern eines Bildbereichs aus verschiedenen Betrachtungspositionen, die auf wenigstens einer ersten Basislinie unter wenigstens einem ersten Basisabstand voneinander beabstandet angeordnet sind, wobei die wenigstens eine erste Basislinie einen vorbestimmten oder vorbestimmbaren Basiswinkel zur Ausgangshorizontlage der Bildaufnehmer oder zu einer vorbestimmten oder vorbestimmbaren zweiten Basislinie aufweist und/oder der wenigstens eine erste Basisabstand von einem vorbestimmten oder vorbestimmbaren zweiten Basisabstand abweicht, und eine Bildverarbeitungsvorrichtung, die ausgebildet ist, Tiefeninformationen für wenigstens einen Teil der Bildpunkte eines oder mehrerer der Quellbilder zu ermitteln und zwei stereoskopische Bilder auf der Grundlage der aus den Quellbildern ermittelten Bildinformationen und Tiefeninformationen bezüglich zweier Betrachtungspositionen zu erstellen, die voneinander unter dem vorbestimmten oder vorbestimmbaren zweiten Basisabstand beabstandet auf der vorbestimmten oder vorbestimmbaren zweiten Basislinie angeordnet sind.
-
Als Bildaufnehmer sind digitale oder analoge Bildaufnehmer, insbesondere flächige Bildsensoren oder Filmmaterial, vorgesehen. Die weiteren Definitionen entsprechen denen bezüglich des erfindungsgemäßen Verfahrens.
-
Vorzugsweise umfasst die Aufnahmevorrichtung einen Orientierungssensor, mittels dessen eine Orientierung, insbesondere auch eine Ausgangshorizontlage, der Quellbilder ermittelbar ist. Neben einer Erkennung eines Hochformat-Bildes ist ein Orientierungssensor insbesondere im Falle der Verwendung mit einem Stereoendoskop von Vorteil, da während eines Eingriffs laufend die Horizontlage überwacht werden kann und die Anzeige von Bildern in stereoskopischer Darstellung laufend der aktuellen Horizontlage angepasst werden kann, so dass ein Chirurg während des stereoskopischen Eingriffs stets eine plastische stereoskopische Wiedergabe und einen plastischen Raumeindruck und eine definierte Orientierung erhält. Damit wird die Arbeit während des Eingriffs erleichtert.
-
Vorteilhafterweise ist die Bildverarbeitungsvorrichtung in die Aufnahmevorrichtung integriert. Die Bildverarbeitungsvorrichtung kann aber auch extern von der Aufnahmevorrichtung ausgebildet sein. Es ist auch möglich, zunächst analoge oder digitale Einzelbilder aufzunehmen und diese zu einem späteren Zeitpunkt entsprechend den Verfahrensschritten b) und c) zu verarbeiten.
-
Das erfindungsgemäße System ist vorzugsweise ausgebildet, das erfindungsgemäße vorstehend beschriebene Verfahren auszuführen.
-
Die Aufnahmevorrichtung ist vorteilhafterweise als stereoskopische Digitalkamera, als digitale stereoskopische Videokamera oder als stereoskopisches Endoskop mit zwei oder mehr Bildaufnehmern ausgebildet.
-
Die der Erfindung zugrunde liegende Aufgabe wird auch durch eine Verwendung von stereoskopischen Quellbildern, deren Aufnahmepositionen auf wenigstens einer ersten Basislinie unter wenigstens einem ersten Basisabstand voneinander beabstandet angeordnet sind, gelöst, wobei die wenigstens eine erste Basislinie einen vorbestimmten oder vorbestimmbaren Basiswinkel zur Ausgangshorizontlage der Quellbilder oder zu einer vorbestimmten oder vorbestimmbaren zweiten Basislinie aufweist und/oder der wenigstens eine erste Basisabstand von einem vorbestimmten oder vorbestimmbaren zweiten Basisabstand abweicht, zum Erstellen zweier stereoskopischer Bilder bezüglich zweier Betrachtungspositionen, die voneinander unter dem vorbestimmten oder vorbestimmbaren zweiten Basisabstand beabstandet auf der vorbestimmten oder vorbestimmbaren zweiten Basislinie angeordnet sind, insbesondere in dem vorstehend beschriebenen erfindungsgemäßen Verfahren.
-
Die zu den verschiedenen Erfindungsgegenständen, d. h. dem Verfahren, dem Computerprogramm, dem Datenträger, dem System und der Verwendung, genannten Merkmale, Eigenschaften und Vorteile gelten ohne Einschränkung auch für die jeweils anderen Erfindungsgegenstände. Diese Erfindungsgegenstände sind aufeinander bezogen.
-
Die Erfindung wird nachstehend ohne Beschränkung des allgemeinen Erfindungsgedankens anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen beschrieben, wobei bezüglich aller im Text nicht näher erläuterten erfindungsgemäßen Einzelheiten ausdrücklich auf die Zeichnungen verwiesen wird. Es zeigen:
-
1 eine schematische Darstellung einer Stereodigitalkamera,
-
2 eine schematische Darstellung einer digitalen Stereo-Videokamera,
-
3 eine schematische Darstellung eines Stereo-Endoskops mit starrem Schaft,
-
4 eine schematische Darstellung eines Stereo-Endoskops mit flexiblem Schaft,
-
5 eine schematische Darstellung der geometrischen Verhältnisse bei räumlicher Wahrnehmung,
-
6 die wahrgenommenen Bilder gemäß 5,
-
7 eine stereoskopische Aufnahme im Hochformat mit vertikaler Basislinie,
-
8 bei der Aufnahme gemäß 7 entstandene stereoskopische Einzelbilder,
-
9 eine Spitze eines Stereo-Endoskops in schematischer Darstellung,
-
10 eine Draufsicht auf eine Spitze eines Stereo-Endoskops in schematischer Darstellung,
-
11 eine schematische Darstellung der geometrischen Verhältnisse von Bildsensoren in einem erfindungsgemäßen stereoskopischen Endoskop,
-
12 eine schematische Darstellung eines Korrespondenz- und Disparitätenanalyseverfahrens,
-
13 eine schematische Darstellung eines weiteren Korrespondenz- und Disparitätenanalyseverfahrens nach der Erfindung,
-
14 eine schematische Darstellung eines Datensatzes mit Bild- und Tiefeninformationen,
-
15 eine schematische Darstellung der Rekonstruktion zweier stereoskopischer Einzelbilder mit waagerechter Basislinie,
-
16 eine weitere schematische Darstellung der Rekonstruktion zweier stereoskopischer Einzelbilder,
-
17 eine Anordnung von drei Bildsensoren;
-
18 eine schematische Darstellung einer Weiterbildung des erfindungsgemäßen Verfahrens und
-
19 eine schematische Darstellung einer weiteren Weiterbildung des erfindungsgemäßen Verfahrens.
-
In den folgenden Figuren sind jeweils gleiche oder gleichartige Elemente bzw. entsprechende Teile mit denselben Bezugsziffern versehen, so dass von einer entsprechenden erneuten Vorstellung abgesehen wird.
-
In 1 ist eine Stereo-Digitalkamera 1 schematisch dargestellt, umfassend ein Gehäuse 2. Die Stereo-Digitalkamera 1 ist von ihrer Frontseite her gezeigt. Die Front weist eine rechte Linse 3 und eine linke Linse 4 auf. Den Linsen 3 und 4 sind ein rechtes Mikrofon 5 und ein linkes Mikrofon 6, beispielsweise für Videoaufnahmen, zugeordnet. An der Oberseite des Gehäuses 2 sind eine Auslösetaste 7 und eine Brennweitenverstelltaste 8 angeordnet und an der Seite eine An-/Ausschalttaste 9. Die Brennweitenverstelltaste 8 wirkt auf beide Linsen 3, 4 gleich ein. Diese werden synchron in ihrer Brennweite verstellt. Auch die weiteren Aufnahmeparameter wie Blende und Verschlusszeit sind links und rechts jeweils gleich gewählt.
-
Das Gehäuse 2 weist außerdem einen Orientierungssensor 10 auf, mittels dessen feststellbar ist, ob die Stereo-Digitalkamera 1 für Aufnahmen im Querformat oder im Hochformat gehalten wird. Gegebenenfalls ist auch ein anderer Winkel mittels des Orientierungssensors 20 messbar. Die Stereo-Digitalkamera 1 ist in der Lage, Quellbilder aufzunehmen, die als Grundlage für das erfindungsgemäße Verfahren dienen.
-
In 2 ist eine digitale Stereo-Videokamera 11 dargestellt, umfassend ein Gehäuse 12 mit Bedienelementen 13. An der Frontseite des Gehäuses schließt sich ein Stereo-Objektiv 14 mit einer Sonnenblende 15 an. Das Stereo-Objektiv 14 weist an seiner Front ein rechtes Eingangsfenster 16 und ein linkes Eingangsfenster 17 für zwei optische Gruppen für eine stereoskopische Aufnahme auf. Am Gehäuse 12 ist außerdem ein Stereo-Mikrofon 18 an einem Mikrofonhalter 19 angebracht, mittels dessen zusammen mit dem stereoskopischen Videofilm ein Zweikanal-Ton aufnehmbar ist.
-
Die Videosignale der digitalen Stereo-Videokamera 11 werden im Querformat aufgenommen und auch im Querformat wiedergegeben.
-
In 3 ist schematisch ein Stereo-Endoskop 21 mit einem starren Schaft 22 dargestellt, der an seinem distalen, d. h. von einem Chirurgen abgewandten, Ende in einer schräggestellten Frontfläche mit Eintrittslinsen 23, 24 für zwei Bildkanäle endet. Es handelt sich um ein seitblickendes Endoskop 21. Der Blickwinkel ist fest eingestellt. Eine Blickrichtungsänderung erfolgt durch Drehung des Endoskops 21 bzw. des Endoskopschafts 22 um seine Längsachse.
-
Der Schaft 22 mündet in einen Adapter 25, der an einen Handgriff 26 angeschlossen ist. Ein Kabel 27 dient der Stromversorgung und der Übertragung von elektronischen Signalen, beispielsweise Videosignalen für die beiden Videokanäle. Die Bildsensoren sind nicht dargestellt und können entweder an der distalen Spitze des Schafts 21 hinter den Eintrittslinsen 23, 24 angeordnet sein oder im Adapter 25 oder im Handgriff 26, der ein Kamerakopf sein kann. In diesem Fall verlaufen im Inneren des Schafts 22 zwei optische Übertragungskanäle unter Verwendung von Stablinsensystemen beispielsweise, die das Licht aus den Eintrittslinsen 23, 24 zu den Bildsensoren übertragen.
-
In 4 ist ein alternatives Stereo-Endoskop 31 mit einem flexiblen Schaft 32 dargestellt. Der flexible Schaft 32 verfügt über einen biegbaren Abschnitt 33 und einen distalen Abschnitt 34, der eine Sensoreinheit aufweist. Die Sensoreinheit ist hinter zwei Eintrittslinsen 35, 36 angeordnet, denen jeweils ein Bildsensor zugeordnet ist.
-
Der flexible Schaft
32 mündet in einen Handgriff
37. Im Inneren des Handgriffs
37 geht der Schaft
32 in einen proximalen biegbaren Abschnitt
38 des Schafts
32 über. Dieser kann mittels eines Schub- und/oder Zugmechanismus dazu verwendet werden, durch Verbiegung des proximalen biegbaren Abschnitts
38 den biegbaren distalen Abschnitt
33 des Schafts
32 zu verbiegen. Entsprechende Schäfte von Endoskopen sind beispielsweise aus
EP 1 681 013 A1 bekannt.
-
Der Handgriff 37 verfügt über einen Drehring 39, mittels dessen die Sensoreinheit an der distalen Spitze des Schafts 32 gegenüber der Längsachse des Schafts 32 drehbar ist. Die Drehung umfasst auch die Eintrittslinsen 35, 36. Damit kann der operierende Chirurg die Basislinie seiner gewünschten Horizontlage anpassen.
-
In 5 sind die geometrischen Grundlagen für stereoskopisches Sehen schematisch dargestellt. Im Sichtfeld eines Menschen, dessen Kopf 41 mit Augen 42, 43 schematisch dargestellt ist, befinden sich mehrere Objekte 48. Einen Geradeausblick beider Augen 42, 43 vorausgesetzt, sind die zentralen Sichtlinien 44 des rechten Auges und 45 des linken Auges gestrichelt dargestellt. Ebenfalls gestrichelt sind die Sichtfelder 46 des rechten Auges und 47 des linken Auges dargestellt. Ein dreieckiges Objekt liegt außerhalb des Sichtfelds 46 des rechten Auges 42. Die übrigen Objekte liegen innerhalb beider Sichtfelder 46, 47. Zwei kreisrunde Objekte liegen in Blickrichtung hintereinander in einer Symmetrieebene des Gesichts.
-
In 6 ist schematisch dargestellt, wie die Augen 42, 43 die Objekte 48 wahrnehmen. Das rechte Auge sieht ein Bild 51, das in 6 in der rechten Hälfte dargestellt ist. Eine zentrale Sichtebene 52 des rechten Auges ist gestrichelt dargestellt, die entsprechend der zentralen Sichtlinie 44 des rechten Auges aus 5 verläuft. Ein viereckiges Objekt 48 ist rechts der zentralen Sichtebene 52 des rechten Auges wiedergegeben. Die beiden runden Objekte 48 erscheinen im linken Gesichtsfeld des rechten Auges 42, wobei das näher gelegene schwarze Objekt weiter links angeordnet ist, als das weiter entfernte weiß gezeichnete Objekt.
-
Bezüglich des linken Auges 43 ist im linken Gesichtsfeld des Bildes 53 das dreieckige Objekt 48 gezeigt, das im rechten Bild 51 nicht vorkommt. Die übrigen Objekte 48 sind in der rechten Gesichtshälfte des linken Auges im Bild 53 dargestellt. Am rechten Rand des Gesichtsfelds findet sich das viereckige Objekt. Die beiden runden Objekte sind ebenfalls in der rechten Gesichtshälfte, jedoch befindet sich das näher gelegene schwarze Objekt bezüglich des linken Auges an einer weiter rechts gelegenen Position als das weiter entfernte weiß dargestellte Objekt.
-
Es ist somit erkennbar, dass die Positionen der runden Objekte bezüglich des linken Auges und des rechten Auges 42 und 43 ausgetauscht sind. Bei einem Überlagern bzw. bei gleichzeitigem Sehen dieser Bilder durch das linke Auge und das rechte Auge erkennt das menschliche Gehirn, dass das weiße runde Objekt weiter entfernt ist als das schwarze runde Objekt.
-
In 7 ist eine Situation dargestellt, in der mittels der in 1 gezeigten Stereo-Digitalkamera 1 eine stereoskopische Aufnahme im Hochformat gemacht wird. Dazu ist die stereoskopische Digitalkamera 1 auf einen Bildbereich bzw. ein Motiv 60 gerichtet, das eine größere Ausdehnung in vertikaler Richtung als in horizontaler Richtung aufweist. Die Sichtbereiche 61 des rechten Objektivs 3 und 62 des linken Objektivs 4 bezüglich des Motivs 60 sind ebenfalls dargestellt.
-
In 8 ist das Ergebnis der in 7 dargestellten Aufnahme gezeigt. Ein hochformatiges Bild 63 des rechten Objektivs 3 ist zuoberst dargestellt. Darunter ist ein hochformatiges Bild 64 des linken Objektivs 4 dargestellt. In Bild 63 des rechten, in 7 oben angeordneten Objektivs befindet sich das Motiv in einer zentralen Position. Im hochformatigen Bild 64 des linken Objektivs 4 befindet sich das Motiv perspektivisch bedingt in einer vertikal höheren Position als im Bild 63.
-
Ebenfalls in 8 dargestellt ist einerseits die vertikale Basislinie 65 und andererseits die Horizontlage 66, die mit der natürlichen Horizontlage übereinstimmt. Schematisch eingezeichnet ist auch der Basiswinkel 67 zwischen der Basislinie 65 und der Horizontlage 66. Der Basiswinkel hat in diesem Fall einen Betrag von 90°.
-
Die beiden in 8 gezeigten Bilder 63 und 64 werden, wenn sie dem rechten und dem linken Auge des menschlichen optischen Wahrnehmungsapparates einzeln zugeführt werden, keine plastische Wahrnehmung erzeugen, da die vertikale Basislinie von der dem Menschen eigenen horizontalen Basislinie abweicht. Diese unterschiedlichen und nicht natürlichen Informationen kann das menschliche Gehirn nicht sinnvoll verarbeiten. Das Betrachten führt vielmehr in einigen Fällen zu Kopfschmerzen.
-
In 9 ist die Spitze eines Endoskopschafts 70 eines Stereo-Endoskops mit einem seitwärts geneigten Sichtfenster 71 dargestellt. Unter dem seitwärts geneigten Sichtfenster 71 befinden sich zwei Eingangslinsen 72, 72. Damit hat das Endoskop eine Blickrichtung, die von der Symmetrieachse 74 bzw. Längsachse des Endoskopschafts 70 abweicht. Eine Blickrichtungsänderung erfolgt durch Drehung des Endoskopschafts 70 um seine Symmetrieachse 74, was durch einen Doppelpfeil dargestellt ist. Eine solche Drehung führt bei herkömmlichen Stereo-Endoskopen dazu, dass der operierende Chirurg seine Orientierung verliert. Das angezeigte Bild wird unter einem nicht seiner Auge-Hand-Koordination entsprechenden Winkel angezeigt oder steht Kopf. Die Handhabung des Endoskops wird damit ähnlich desorientierend wie der Versuch, einen Mauszeiger auf einem Computerbildschirm zu bewegen, wenn die Maus um einen Winkel wie beispielsweise 90° gegenüber der normalen Maushaltung der Hand verdreht ist.
-
In 10 ist die gleiche Situation in einer schematischen Frontalansicht dargestellt. Eine Drehbewegung, dargestellt durch einen gekrümmten Pfeil, resultiert in einer Rotation der Eingangslinsen 72, 73 und der dahinter angeordneten, nicht dargestellten Bildsensoren. Wenn die Bildsensoren starr hinter den Eingangslinsen 72, 73 angeordnet sind, verändert sich die Horizontlage der Bildsensoren zusammen mit der Drehung.
-
In 11 ist eine Alternative dargestellt, in der die Sensoren 75, 76 um jeweils eigene zentrale Rotationsachsen drehbar sind. In diesem Fall ist in der linken Bildhälfte eine Konfiguration dargestellt, in der eine Basislinie 77 zwischen den Sensoren 75 und 76 mit der Horizontlage 79 der beiden Sensoren 75, 76 übereinstimmt. Nach einer Rotation, bei der die Sensoren 75, 76 um jeweils eigene Rotationsachsen in Gegenrichtung bzw. im Gegensinn verdreht worden sind, weist die neue Basislinie 78 von der Horizontlage 79 um einen Basiswinkel 80° ab. Wenn in diesem Zustand Bilder aufgenommen werden, entspricht dies in etwa der in 7 und 8 gezeigten Situation. Dabei kann ein beliebiger Basiswinkel 80 eingestellt werden. Bei dem in 11 gezeigten Basiswinkel 80 wird der menschliche Wahrnehmungsapparat ebenfalls nicht in der Lage sein, eine plastische räumliche Wahrnehmung zu erzeugen.
-
In 12 ist schematisch ein Korrespondenz- und Disparitätenanalyseverfahren dargestellt. Dabei geht es darum, solche Bildbereiche in einem rechten Quellbild 90 und einem linken Quellbild 91 zu finden, die den gleichen Bereich des gleichen Objekts zeigen. Dies ist vergleichbar mit der Situation, dass in den in 6 gezeigten Bildern 51 und 53 zum einen beispielsweise das runde schwarze Objekt 48 in beiden Bildern erkannt wird und andererseits das runde weiße Objekt 48. Diese Bildbereiche werden einander zugeordnet und der Versatz, die so genannte Disparität, gemessen. Zurück in 12 ist das anhand einer Abtastzeile 97 im rechten Bild und einer Abtastzeile 98 im linken Bild gezeigt. Diese Abtastzeilen 97, 98 sind parallel zu der Basislinie 96 zwischen dem Zentrum 92 des rechten Bildes und dem Zentrum 93 des linken Bildes.
-
In 12 ist in beiden Abtastzeilen 97, 98 eine Folge von Bereichen dargestellt, die einerseits Pixel eines Matrixsensors sein können oder Pixelcluster. In 12 ist der Schritt gezeigt, dass das linke Quellbild 91 als Ausgangsbild für die Suche eines korrespondierenden Ausschnitts im rechten Bild 90 genommen wird. Das Korrespondenzverfahren geht von einem, zur Verdeutlichung schwarz markierten, aktiven Bildausschnitt 99 aus und sucht in der entsprechenden Abtastzeile 97 im rechten Bild 90 nach einem korrespondierenden Ausschnitt. Dieser korrespondierende Ausschnitt ist schraffiert gezeichnet und mit dem Bezugszeichen 100 gekennzeichnet. Mit der schraffierten Zeichnung wird dargestellt, dass es sich um den Ausschnitt mit maximalem Korrelationsfunktionswert innerhalb dieser Abtastzeile 97 handelt, die Korrelation allerdings u. a. aufgrund der Verschiedenheit der Perspektiven nicht perfekt, also nicht gleich 1,0, ist. Die Korrelationsfunktion ist beispielsweise als Differenzfunktion bezüglich Helligkeit und/oder Farbinformationen definiert und ist umso größer, je ähnlicher die Helligkeitswerte und -verteilungen in den entsprechenden Bildausschnitten 99, 100 sind.
-
Mit dem Bezugszeichen 101 ist ein Bildausschnitt gekennzeichnet, der nicht mit dem Bildausschnitt 99 im linken Quellbild 91 korrespondiert, also einen anderen Inhalt hat, jedoch die Position minimaler Disparität bzw. verschwindender Disparität kennzeichnet. Unterhalb des rechten Quellbildes 90 ist mittels zweier Pfeile, die auf die beiden Bildausschnitte 100 und 101 weisen, der Betrag d der Disparität dargestellt. Der Betrag der Disparität ist umgekehrt proportional zu der Tiefeninformation bezüglich des Objekts, das im aktiven Bildausschnitt 99 gezeigt ist.
-
Dieses Verfahren wird für jeden oder eine ausgewählt Menge von Bildausschnitten im linken Quellbild 91 und ggf. umgekehrt auch ausgehend vom rechten Quellbild 90 angestellt.
-
In
13 ist eine gegenüber
12 veränderte Situation dargestellt, in der die beiden Quellbilder
90',
91' unter einer veränderten Winkelbeziehung bei gleicher Horizontlage
95 wie in
12 aufgenommen sind. Die Basislinie
96' zwischen den Zentren
92',
93' der Quellbilder
90',
91' weist gegenüber der Horizontalen
95 einen Basiswinkel
102 auf. Eine in
13 dargestellte Situation ist mit einzelnen Kameras darstellbar oder mit einem Stereoendoskop, das eine Sensoreinheit aufweist, wie sie in der
deutschen Patentanmeldung Nr. 10 2010 041 847.1 bzw.
10 2010 041 857.9 der Anmelderin beschrieben ist. Diese Anmeldung, deren Inhalt vollinhaltlich in die vorliegende Anmeldung aufgenommen sein soll, hat den gleichen Anmeldetag wie die vorliegende Anmeldung.
-
Auch in diesem Fall findet die Korrespondenzanalyse anhand von Abtastzeilen 97', 98' statt, die in diesem Fall parallel zur Basislinie 96' sind. Dies bedeutet, dass im zentralen Bildteil der größte durchsuchbare Bereich vorhanden ist, während zu den Bildecken mit größerem Abstand von der Basislinie 96' der durchsuchbare Bereich kleiner wird. Die Disparität d, die in diesem Fall detektierbar ist, wird in der linken oberen Ecke und in der rechten unteren Ecke in den Bildern 90', 91' in 13 daher nicht groß, was bedeutet, dass für sehr nahe liegende Objekte die Tiefeninformation nicht mehr rekonstruierbar ist. In den äußeren Bildbereichen ist dies jedoch in vielen Anwendungen tolerierbar. Ungeachtet der verdrehten Basislinie 96' im Vergleich zur Basislinie 96 aus 12 ist auch in der Konfiguration gemäß 13 für einen Großteil der Bildpunkte eine Tiefeninformation ermittelbar.
-
In 14 ist das Ergebnis, d. h. ein Datensatz mit Bildinformationen und Tiefeninformationen, schematisch dargestellt. Die Bildinformationen sind in Form einer Bildmatrix 110 mit Farb- und Helligkeitsinformationen dargestellt. Als weitere Dimension ist auch eine Bildmatrix 111 mit Tiefeninformationen vorhanden, die mit der Bildmatrix 110 mit Farbinformationen und Helligkeitsinformationen korreliert ist. Beispielhaft sind in der Bildmatrix 110 mit Helligkeits- und Farbinformationen eine Pixelreihe 112 und eine Pixelspalte 113 dargestellt, die auch eine Zeile und eine Spalte mit Bildausschnitten darstellen können, die jeweils mehrere Pixel umfassen. Die gleiche Pixelreihe 112' und Pixelspalte 113' ist in der Bildmatrix 111 mit den Tiefeninformationen enthalten, was bedeutet, dass zu jedem Pixel oder Bildausschnitt 114 in der Bildmatrix mit Helligkeits- und Farbinformationen auch ein Pixel oder Bildausschnitt 114' mit Tiefeninformationen in der Bildmatrix 111 vorhanden ist.
-
In der Bildmatrix 111 mit Tiefeninformationen sind außerdem mehreren Gebiete 115 mit fehlender oder ambivalenter Tiefeninformation dargestellt. Diese Gebiete 115 tauchen an Stellen auf, an denen Kanten vorhanden sind, an denen rapide Sprünge in der Tiefeninformation vorhanden sind. An diesen Stellen überdeckt ein Körper einen anderen, der dahinter angeordnet ist, so dass an diesen Stelle die beiden Quellbilder verschiedene Objekte zeigen. Die Korrespondenzanalyse muss an diesen Stellen scheitern. Wenn eine redundante Korrespondenzanalyse ausgehend von beiden Quellbildern stattfindet, können solche Gebiete 115 eindeutig identifiziert werden und ausmaskiert werden. Alternativ kann auch die Tiefeninformation benachbarter Pixel in diese Gebiete extrapoliert werden.
-
In 15 ist schematisch dargestellt, wie aus den Bildmatrizen 110, 111 mit Bild- und Tiefeninformationen ein rechtes Bild 121 und ein linkes Bild 122 rekonstruiert werden. Diese sind auf einer Basislinie 129 angeordnet, die frei gewählt werden kann, wobei der Abstand vorzugsweise dem natürlichen Augenabstand und der Anordnung von Augen eines menschlichen Kopfes entspricht. Der Abstand kann entweder frei und individuell gewählt werden oder auf einen mittleren Augenabstand von 6,25 cm eingestellt sein.
-
In 16 ist die Situation aus 15 in einer Draufsicht von oben schematisch dargestellt, wobei anstelle der Bildmatrizen 110, 111 die darin enthaltene Information in Form eines Tiefenverlaufs 117 einer sichtbaren Oberfläche hinter einer frontalen Ebene 116 des Bildes dargestellt ist. Der Tiefenverlauf 117 und die Bildinformationen auf dieser Oberfläche können mittels eines Raytracing-Verfahrens und insbesondere mittels eines Tiefenspeicherpufferverfahrens im Fall mehrerer Tiefenverläufe 117 auf die rekonstruierten rechten und linken Bilder 121, 122 abgebildet werden. Dazu ist mit gestrichelten Linien einerseits das volle Sichtfeld 123 des rechten Bildes 121 und das volle Sichtfeld 124 des linken Bildes 122 dargestellt, die allerdings weiter sind als das zur Verfügung stehende Material des Tiefenverlaufs 117. Mit den Bezugszeichen 125 und 126 sind die Begrenzungen des rechten Bildes 121 und des linken Bildes 122 aufgrund der verfügbaren Bilddaten und des verfügbaren Tiefenverlaufes 117 dargestellt. Dies führt dazu, dass ein Bildwinkelbereich 127 und 128 jeweils abgeschnitten ist.
-
In der Ebene der rekonstruierten Bilder 121, 122 führt diese geometrische Situation zu einer Dreiteilung der jeweiligen Bilder 121, 122. In zwei äußeren Bereichen 134 und 135 liegt jeweils kein Bildmaterial vor. In zwei inneren Bereichen 132, 133 liegt jeweils nur Bildmaterial für eines der beiden Bilder 121 bzw. 122 vor. An dieser Stelle ist eine stereoskopische Wahrnehmung nicht möglich. In den zentralen Bereichen 130, 131 liegen jedoch Bilddaten aus den beiden Perspektiven der Bilder 121, 122 für überlappende Bereiche des Tiefenverlaufs 117 vor. In diesem zentralen Bereich ist eine stereoskopische Wahrnehmung möglich.
-
In 17 ist schematisch eine Anordnung von drei Bildsensoren 141, 142 und 143 in einem Dreieck dargestellt. Alle drei Bildsensoren 141, 142, 143 weisen die gleiche Horizontlage 144 auf. Die Basislinien 145, 146, 147 bilden ein gleichschenkliges Dreieck. Diese Konfiguration hat den Vorteil, dass mehrere Redundanzen vorhanden sind. So können insbesondere sechs verschiedene Tiefeninformationen gewonnen werden, nämlich ausgehend vom ersten Bildsensor 141 unter Verwendung des zweiten Bildsensors 142 und umgekehrt, ausgehend vom ersten Bildsensor 141 unter Zuhilfenahme des dritten Bildsensors 143 und umgekehrt und ausgehend vom zweiten Bildsensor 142 unter Zuhilfenahme des dritten Bildsensors 143 und umgekehrt.
-
Die Dreiecksanordnung hat den weiteren Vorteil, dass in den meisten Bildbereichen auch unter ungünstigen geometrischen Bedingungen Tiefeninformationen zumindest von einem Paar von Bildsensoren 141, 142, 143 extrahierbar sind, und dass eine weitere Dimension zur Auflösung von Überdeckungen überlappender Objekte eröffnet ist.
-
In 18 ist schematisch eine Weiterbildung des erfindungsgemäßen Verfahrens unter Verwendung eines Korrelations- und Disparitätenverfahrens gemäß 12 und 13 dargestellt, bei dem zur Beschleunigung nicht jedes Pixel eines Quellbildes 150 als Ausgangspunkt für eine Korrelationssuche verwendet wird, sondern ein Raster von Einzelpixeln. Dies geht von der Annahme aus, dass bei größeren Objekten sich die Tiefeninformation nicht kleinräumig, sondern eher großräumig ändert. In einem solchen Fall ist es ausreichend, lediglich eine gewisse Auswahl von Bildpunkten als Ausgangspunkte auszuwählen. Diese sind in 18 mit dem Bezugszeichen 151 als Startpunkt für eine Korrelations- und Disparitätensuche gekennzeichnet.
-
Im in 18 dargestellten Beispiel handelt es sich um ein vergleichsweise regelmäßiges Muster von Startpunkten 151. Alternativ kann auch in den äußeren Bereichen ein größerer Abstand und in den zentralen Bereichen des Bildes 150 ein kleinerer Abstand gewählt werden.
-
Mit dem Bezugszeichen 152 sind weitere zusätzliche Startpunkte für eine Korrelations- und Disparitätensuche gezeigt, die an den Kanten von Objekten zusätzlich zu den regelmäßig angeordneten Punkten 151 hinzugefügt worden sind. An diesen Stellen wurde erkannt, dass eine starke lokale Veränderung in der Tiefeninformation zwischen zwei benachbarten Punkten 151 stattfindet, was darauf hindeutet, dass eine Schräge oder eine Diskontinuität durch die Überlappung zweier hintereinander angeordneter Objekte vorliegt. An diesen Stellen wurden zusätzliche Punkte eingefügt, um die Interpolation der Tiefeninformation zwischen Punkten 151 robuster und feiner zu machen. Dies führt zu eine schnellen, effizienten und feinen Tiefeninformation, ohne dass eine aufwändige Suche für sämtliche Bildpunkte notwendig ist.
-
In 19 ist anhand eines Bildes 160 schematisch dargestellt, dass die Größe der Bildausschnitte 162, 164 an die lokale Struktur 161, 163 des Bildes 160 angepasst werden kann. Bei der Ermittlung der Tiefeninformation sind Bereiche mit großer Entfernung schwer aufzulösen, da diese eine kleine Disparität bzw. einen kleinen Versatz aufweisen und somit in die Auflösungsgrenze des Bildmaterials geraten. Andererseits ist für die Korrelationsanalyse ein starker Kontrastverlauf hilfreich. Selbst nahegelegene strukturarme Flächen führen zu einem schwachen Korrelationssignal, das nur eine unzuverlässige Erkennung korrelierter Bildausschnitte zulässt. Die Signifikanz der Korrelationsfunktionen kann in solchen Gebieten mit schwacher Strukturierung durch die Vergrößerung des Bildausschnittes 162 erhöht werden, da mehr Datenmaterial in dem Bildausschnitt 162 für die Korrelationsanalyse zur Verfügung steht. In Gebieten mit signifikanter kleinräumiger Strukturierung 163 kann ein kleinerer Bildausschnitt 164 gewählt werden, der zu einer signifikanten Korrelationsfunktion und zu einem signifikanten Korrelationsmaximum in der Korrespondenzanalyse führt. Die Variabilität der Größe der verwendeten Bildausschnitte 162, 164 mit der Strukturierung der Bildinformationen kommt außerdem überein mit der Erfahrung, dass Bereiche, die eine geringe Strukturierung aufweisen, im Allgemeinen auch eine geringe Variabilität der Tiefeninformation haben und umgekehrt.
-
Alle genannten Merkmale, auch die den Zeichnungen allein zu entnehmenden sowie auch einzelne Merkmale, die in Kombination mit anderen Merkmalen offenbart sind, werden allein und in Kombination als erfindungswesentlich angesehen. Erfindungsgemäße Ausführungsformen können durch einzelne Merkmale oder eine Kombination mehrerer Merkmale erfüllt sein.
-
Bezugszeichenliste
-
- 1
- Stereo-Digitalkamera
- 2
- Gehäuse
- 3
- rechte Linse
- 4
- linke Linse
- 5
- rechtes Mikrofon
- 6
- linkes Mikrofon
- 7
- Auslösetaste
- 8
- Brennweitenverstelltaste
- 9
- An-/Ausschalttaste
- 10
- Orientierungssensor
- 11
- digitale Stereo-Videokamera
- 12
- Gehäuse
- 13
- Bedienelemente
- 14
- Stereo-Objektiv
- 15
- Sonnenblende
- 16
- rechtes Eingangsfenster
- 17
- linkes Eingangsfenster
- 18
- Stereomikrofon
- 19
- Mikrofonhalter
- 21
- Stereoendoskop
- 22
- starrer Schaft
- 23, 24
- Eintrittslinse
- 25
- Adapter
- 26
- Handgriff
- 27
- Kabel
- 28
- Orientierungssensor
- 31
- Stereoendoskop
- 32
- Schaft
- 33
- biegbarer Abschnitt
- 34
- distaler Abschnitt mit Sensoreinheit
- 35, 36
- Eintrittslinse
- 37
- Handgriff
- 38
- proximaler biegbarer Abschnitt
- 39
- Drehring
- 40
- Kabel
- 41
- Kopf
- 42
- rechtes Auge
- 43
- linkes Auge
- 44
- zentrale Sichtlinie des rechten Auges
- 45
- zentrale Sichtlinie des linken Auges
- 46
- Sichtfeld des rechten Auges
- 47
- Sichtfeld des linken Auges
- 48
- Objekte
- 51
- Bild des rechten Auges
- 52
- zentrale Sichtebene des rechten Auges
- 53
- Bild des linken Auges
- 54
- zentrale Sichtebene des linken Auges
- 60
- Motiv
- 61
- Sichtbereich des rechten Objektivs
- 62
- Sichtbereich des linken Objektivs
- 63
- hochformatiges Bild des rechten Objektivs
- 64
- hochformatiges Bild des linken Objektivs
- 65
- Basislinie
- 66
- Horizontlage
- 67
- Basiswinkel
- 70
- Endoskopschaft
- 71
- seitwärts geneigtes Sichtfenster
- 72, 73
- Eingangslinse
- 74
- Symmetrieachse
- 75, 76
- Sensor
- 77
- Basislinie vor Rotation
- 78
- Basislinie nach Rotation
- 79
- Horizontlage
- 80
- Basiswinkel
- 90, 90'
- rechtes Bild
- 91, 91'
- linkes Bild
- 92
- Zentrum des rechten Bildes
- 93
- Zentrum des linken Bildes
- 95
- Horizontlage
- 96, 96'
- Basislinie
- 97, 97'
- Abtastzeile im rechten Bild
- 98, 98'
- Abtastzeile im linken Bild
- 99, 99'
- aktiver Bildausschnitt
- 100, 100'
- korrespondierender Bildausschnitt
- 101, 101'
- nicht korrespondierender Bildausschnitt ohne Disparität
- 102
- Basiswinkel
- 110
- Bildmatrix mit Farbinformationen
- 111
- Bildmatrix mit Tiefeninformationen
- 112, 112'
- Pixelreihe
- 113, 113'
- Pixelspalte
- 114, 114'
- Pixel
- 115
- Gebiet mit fehlender oder ambivalenter Tiefeninformation
- 116
- frontale Ebene eines Bildes
- 117
- Tiefenverlauf einer sichtbaren Oberfläche
- 121
- rekonstruiertes rechtes Bild
- 122
- rekonstruiertes linkes Bild
- 123
- volles Sichtfeld des rechten Bildes
- 124
- volles Sichtfeld des linken Bildes
- 125
- Begrenzung des rechten Bildes aufgrund verfügbarer Bilddaten
- 126
- Begrenzung des linken Bildes aufgrund verfügbarer Bilddaten
- 127, 128
- abgeschnittener Bildwinkelbereich
- 129
- zweite Basislinie
- 130
- rechter Bildbereich mit Überlappung links
- 131
- linker Bildbereich mit Überlappung rechts
- 132
- rechter Bildbereich ohne Überlappung links
- 133
- linker Bildbereich ohne Überlappung rechts
- 134
- ungenutzter Bildbereich rechts
- 135
- ungenutzter Bildbereich links
- 141
- erster Bildsensor
- 142
- zweiter Bildsensor
- 143
- dritter Bildsensor
- 144
- Horizontlage
- 145
- erste erste Basislinie
- 146
- zweite erste Basislinie
- 147
- dritte erste Basislinie
- 150
- Bild
- 151
- Startpunkt für Korrelations- und Disparitätensuche
- 152
- zusätzlicher Startpunkt für Korrelations- und Disparitätensuche
- 160
- Bild
- 161
- Bereich mit geringer Strukturierung
- 162
- Bildausschnitt für Disparitätensuche
- 163
- Bereich mit kleinräumigen Strukturen
- 164
- Bildausschnitt für Disparitätensuche
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- EP 1681013 A1 [0081]
- DE 102010041847 [0098]
- DE 102010041857 [0098]
