DE102012108249A1

DE102012108249A1 - Verfahren und Vorrichtung zur Verbesserung der Wiedergabe stereoskopischer Bilder

Info

Publication number: DE102012108249A1
Application number: DE201210108249
Authority: DE
Inventors: wird später genannt werden Erfinder
Original assignee: NET GmbH
Current assignee: NET GmbH
Priority date: 2012-09-05
Filing date: 2012-09-05
Publication date: 2014-06-12

Abstract

Eine Bildbearbeitung für Signale von stereoskopischen Kameras modifiziert die Teilbilder (111, 112) der rechten Kamera (R) und der linken Kamera (L). Dabei verschiebt ein Disparitätsschieber (190) die beiden Teilbilder so gegeneinander, dass in einem Relevanzbereich (128) die modifizierten Teilbilder (141, 142) eine minimierte Disparität aufweisen. Bei der Darstellung auf einem stereoskopischen Monitor erscheinen die Objekte für den Betrachter im Relevanzbereich so in der Bildwiedergabeebene des stereoskopischen Monitor. Ergänzend kann unerwünschte Tiefeninformation identifiziert werden und bereichsweise kann die dem Betrachter dargestellte Tiefeninformation durch Maßnahmen wie Unschärfen oder weitere Bildmodifikationen vermindert werden. Dem Betrachter wird damit von anstrengenden Korrekturbewegungen seiner Augen entlastet.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft die elektronische Bildverarbeitung im Allgemeinen und die Verbesserung der stereoskopischen Darstellung von Bildern aus stereoskopischen Kamerasystemen im Besonderen.
Hintergrund
Die Fernbeobachtung von Objekten der Wirklichkeit enthält verschiedene Stufen, wie die Bildaufnahme mit einer Kamera, die Bildweiterleitung, und die Bildausgabe an einen Monitor für den Betrachter.
Bei monokularen Kameras hat das auf dem Monitor dargestellte Bild die Dimensionen von Breite (x) und Höhe (y). Bei stereoskopischen Systemen sind die Stufen dupliziert, so dass der Betrachter zusätzlich die dritte Dimension (3D) einer Raumtiefe (z) vermittelt bekommt. Es gibt getrennte Kameras für den linken und den rechten Kanal. Der Monitor ist entsprechend 3D-fähig angepasst oder aber es erfolgt auch eine getrennte Darstellung des jeweiligen Kanals für das entsprechende Auge. Es gibt beispielsweise stereoskopische Monitore mit Shutter- oder Polarisationsbrillen sowie auto-stereoskopische LCD-Panels und auch 3D-Brillen, welche die Darstellung jeweils eines Kanals auf die Netzhaut des Betrachters projizieren.
Die Anwendungsmöglichkeiten von Stereoskopischen Systemen sind vielfältig, als Beispiel seien hier Endoskope betrachtet, d.h. Kameras oder Abbildungsoptiken, die in ein Beobachtungsobjekt eingeführt werden und Bilder von innerhalb dieses Objektes aufzeichnen können. Im Falle von Endoskopen oder Mikroskopen ist besonders für medizinischer Anwendungen eine stereoskopische Betrachtung durch den Benutzer besonders vorteilhaft.
Das durch ein stereoskopisches System dargestellte Bild, beispielsweise durch einen 3D-Monitor oder eine 3D-Brille entspricht allerdings nicht immer dem, was der menschliche Betrachter der Szene von der Kameraposition aus wahrnehmen würde. Es gibt es eine Reihe von Herausforderungen, die den Betrachter bei der Verwendung herkömmlicher stereoskopischer Systeme verwirren und/oder ermüden können. Diese Herausforderungen werden deutlich bei der folgenden Betrachtung des menschlichen Sehens ohne Kameras.
Der Mensch optimiert die Wahrnehmung einer sich vor ihm abspielenden Szene hinsichtlich der szenenrelevanten Details, indem er seine Augen auf die relevanten Teile der Szene hinsichtlich Fokus und Konvergenz einstellt. Die dem Gehirn von den Augen gelieferten Informationen werden dabei auswertet und dienen gleichzeitig der Erfassung der Szene und, in Form einer eher unterbewussten Rückkopplung, der vorstehend beschriebenen Einstellung der relevanten optischen Parameter der Augen hierauf, so dass die Szene optimal erfasst wird.
Der Mensch nimmt dabei Objekte der Szene innerhalb einer sogenannten Konvergenzebene mit Tiefeneindruck wahr. Da die Stellung der Augen zueinander variabel ist (Konvergenz), kann der Mensch die Lage dieser Ebene bezüglich der Augen, also deren Distanz hiervon verändern. Doppelbilder, die rein optisch für Objekte außerhalb der Konvergenzebene entstehen, werden vom Gehirn zumindest teilweise ausgeblendet.
Daneben erlaubt es die Akkommodation, die Brechkraft der Augenlinse so anzupassen, dass Objekte zwischen einem Nahpunkt und einem Fernpunkt scharf abgebildet werden. Mit anderen Worten, der Mensch fokussiert auf Objekte in einer Fokalebene, deren Lage sich aufgrund der Akkommodation ebenfalls zwischen dem Nahpunkt und dem Fernpunkt verschiebt.
Hinzu kommt, dass der Mensch Bilder in nicht-planaren Ebenen (Horopter) wahrnimmt und Punkte, die außerhalb dieser Ebene liegen aber in einem gewissen Bereich hierum (Panum Areal) ebenfalls als innerhalb dieser Ebene gelegen wahrnimmt.
Bei den üblichen stereoskopischen Kamera-Systemen sind es zumeist die außerordentlich weitreichenden Fähigkeiten der Technik solcher Kamerasysteme hinsichtlich Tiefenschärfe und Konvergenz, die den Betrachter zwingen, seine natürlichen Sehgewohnheiten dem Monitor bzw. dem Bildwiedergabesystem insgesamt anzupassen, was, wie bereits erwähnt, zu Verwirrungen bei der Tiefenwahrnehmung führen kann und damit zur Ermüdung oder Belastung des Betrachters.
In kurzen Worten wird der Betrachter mit Tiefeninformationen versorgt, die zum Einen über das normale Tiefenempfinden des menschlichen Sehens hinaus gehen und damit exzessiv sind und zum Anderen einer Einstellung des Auges des Betrachters bedürften. Darüber hinaus erhält der Betrachter nicht zuletzt aufgrund der großen Tiefenschärfe moderner Kamerasysteme Teile der Objektszene als Szenenrelevant dargestellt, die der natürliche Betrachter der Szene als nicht relevant übersehen würde. Die Gründe für diese Unterschiede sind wie folgt:
Die Stellung der linken und rechten Kamera eines stereoskopischen Kamerasystems zueinander (Konvergenzwinkel) ist entgegen dem Menschlichen Sehapparat in den häufigsten Anwendungsfällen wie beispielsweise im Falle von Endoskopen auf einen vorgegebenen Winkel festgelegt, der nicht dynamisch veränderbar ist. Dazu kommt, dass in vielen Fällen die verwendeten Kameras eine erhebliche Tiefenschärfe aufweisen, das heißt, dass sie Objekte in einem größeren Abstandsbereich scharf abbilden können, als der Mensch.
Der Abstand des Betrachters zum wiedergebenden stereoskopischen Ausgabegerät ist zumeist unverändert (z.B. der Abstand zwischen dem Auge des Betrachters und dem Monitor). Die stereoskopische Darstellung der Objekte der Szene auf dem Monitor erfolgt zwar in der Wiedergabeebene (Bildebene) des stereoskopischen Ausgabegeräts, auf die der Betrachter automatisch fokussiert, diese Objekte escheinen dem Betrachter aufgrund der stereoskopischen Darstellung allerdings zum Teil auch vor der Wiedergabeebene und/oder hinter der Wiedergabeebene, so dass der Betrachter bei der Wahrnehmung dieser Objekte gegebenenfalls zum Re-fokussieren auf eben diese Ebenen vor und/oder hinter der Wiedergabeebene gezwungen wäre, was jedoch nicht möglich ist.
Ein unterbewusster Versuch des Betrachters zu Re-fokussieren muss somit unterbunden werden, da, wie bereits erwähnt, die Fokussierung des Betrachters auf die Wiedergabeebene vorliegt. Dieser unterbewusste Versuch des Betrachters zu Re-fokussieren stellt nämlich eine erhebliche Belastung des Psychooptischen Systems des Menschen dar und ist daher ermüdend und mitunter verwirrend, was sich nicht zuletzt auch in Kopfschmerzen manifestieren kann.
Aus den genannten Gründen kann die Zeit, die ein Betrachter bei der Arbeit mit einem stereoskopischen Darstellungssystem gemäß dem Stand der Technik verbringen kann, eingeschränkt und/oder dessen Verwendung verwirrend sein. Besonders bei medizinischen Anwendungen ist das unerwünscht. Der Arzt als Betrachter sollte sich uneingeschränkt auf seinen Patienten und die Behandlung desselben konzentrieren können, und nicht durch technische Unzulänglichkeiten der hierbei verwendeten Technik von seiner Arbeit abgelenkt werden.
Es besteht demnach die Aufgabe, eine komfortabel und als natürlich wirkende Darstellung auf dem stereoskopischen Darstellungssystem (nachfolgend vereinfachend als Monitorszene bezeichnet) zu erzeugen.
Zusammenfassung
Die Erfindung greift in die Übertragungskette von Kamera zu Monitor ein und ergänzt die Bildweiterleitung durch eine digitale Bildverarbeitung mit Verfahren, Computer, und Computerprogramm. Diese Bildverarbeitung berücksichtigt die Eigenschaften des menschlichen Sehens sowohl hinsichtlich der optischen als auch der psychooptischen Eigenschaften und stellt die Bilder auf dem stereoskopischen Darstellungssystem (nachfolgend vereinfachend als Monitor bezeichnet) natürlicher und widerspruchsfreier dar.
Gemäß einem ersten Aspekt der Erfindung – Disparitätsminimierung für Relevanzbereiche – werden Bereiche in den aufgezeichneten Bildern oder Bildsequenzen identifiziert, die innerhalb der Szene als relevant erkannt werden. Technisch werden diese Bereiche dann beispielsweise durch eine Relevanzmatrix gekennzeichnet. Für diese Bereiche werden dann Positionsunterschiede von Objekten in den Bildern des linken und rechten Kanals des stereoskopischen Systems, die sogenannten Disparitäten, durch horizontales Verschieben der Bilder der beiden Kanäle gegeneinander verringert. Die Disparitäten der szenenrelevanten Bereiche werden also verringert, vorzugsweise minimiert, und bevorzugt auf Null reduziert.
Aufgrund dieser Vorgehensweise erscheinen dem Betrachter die szenenrelevanten Bereiche in der Bildwiedergabeebene des Monitors. Da die Augen des Betrachters auf die Wiedergabeebene des Monitors fokussieren und konvergieren, kann der Betrachter Objekte in diesen szenenrelevanten Bereichen mit einer seiner unterbewussten Fokal- und Konvergenzeinstellung entsprechenden Tiefeninformation scharf erkennen und daher ohne Anstrengung oder Verwirrung aufgrund abweichender Tiefeninformation betrachten.
Im Rahmen der vorliegenden Erfindung verändert die Bildverarbeitung auf rein elektronischem bzw. rechnergestütztem Wege die Disparitäten der Bilder der beiden stereoskopischen Kanäle auf der Übertragungsstrecke von Eingang zu Ausgang – d.h. von Kamera zu Monitor – durch Transformation auf eine Betragsmäßig verringerte Disparität, bevorzugt eine minimale oder Null-Disparität für Objekte im Relevanzbereich, also im Szenenrelevanten Bereich oder auch in dem Bereich der Szene mit relevanten Objekten.
Die Verhältnisse der Disparitäten untereinander (bezogen auf Bildpunkte) werden nicht verändert, aber die Absolut-Werte der Disparitäten werden verändert. Mit anderen Worten, auf die Disparitäten wird insgesamt ein Offset angewendet. Dies erfolgt durch ein horizontales gegeneinander Verschieben (also ein horizontales Versetzen) der Bilder der beiden stereoskopischen Kanäle, welche jeweils die gleiche Szene zum gleichen Zeitpunkt allerdings aus der Perspektive der jeweiligen Kamera zeigen.
Der Begriff "horizontaler Versatz" wird im Rahmen der vorliegenden Beschreibung synonym zum Begriff "Disparität" verwendet. Eine Veränderung des horizontalen Versatzes stellt somit auch gleichzeitig eine Veränderung der Disparität dar.
In einem zweiten Aspekt der Erfindung – Veränderung der fokalen Tiefeninformation – werden Bereiche in den aufgezeichneten Bildern oder Bildsequenzen identifiziert, die ohne Bildbearbeitung auf dem Monitor für den Betrachter scharf und gut erkennbar dargestellt würden, jedoch für den menschlichen Betrachter der gleichen Szene unscharf und/oder schlecht erkennbar erscheinen. Der Grund, dass solche Bildbereiche für den Betrachter auf dem Monitor scharf und gut erkennbar sind, bei Betrachtung der realen Szene jedoch nicht, liegt darin, dass zum Einen herkömmliche Kamera-Monitor-Systeme eine Tiefenschärfe bereitstellen, die das menschliche Auge nicht erreicht und zum Anderen die psychooptische Verarbeitung im Gehirn solche Bereich „ausblendet“ bzw. in ihrer Erkennbarkeit reduziert.
Für den Betrachter einer Szene auf dem Monitor eines herkömmlichen stereoskopischen Systems weisen solche Bereiche beispielsweise durch eine scharfe, kontraststarke Darstellung übermäßige Information auf, die den Betrachter ablenken kann, obgleich dieselben Bereiche in der realen Szene übersehen würden. Das erfindungsgemäße Verfahren und System sorgt also für eine gezielte Reduzierung exzessiver Tiefeninformation der auf dem Monitor dargestellten Szene.
Technisch werden diese Bereiche beispielsweise durch eine Tiefenmatrix gekennzeichnet. Sie werden dann für die Darstellung auf dem Monitor entsprechend angepasst, durch technische Maßnahmen, die beim Betrachter einen möglicherweise verwirrenden Tiefeneindruck verringern, so dass nicht relevante Bereiche der Szene – insbesondere solche, die nicht in einem vorgegebenen Tiefenbereich liegen – auch nicht fälschlicherweise als relevant wahrgenommen werden.
Um die Tiefenmatrix zu bestimmen, werden die in den Bildern enthaltenden Tiefeninformationen ausgewertet. Die Bildverarbeitung wertet dabei Positionsunterschiede von Objekten bzw. Objektpunkten zwischen dem linken und dem rechten Bild aus (binokulare Information), um hieraus die Disparität und dadurch die Abstände der Objekte zur Kamera zu ermitteln. Aus diesen Abständen werden Vorzugsbereiche bestimmt, beispielsweise werden Objekte in einem Vorzugsabstand zur Kamera einem Vorzugsbereich zugewiesen, und Objekte in anderen Abständen als dem Vorzugsabstand zur Kamera werden einem Unterdrückungsbereich zugewiesen. Die Vorzugsabstände können beispielsweise über Schwellwerte definiert werden und enthalten auch, als Variante, Vorzugsabstandsbereiche umfassen.
Die Vorzugs- und Unterdrückungsbereiche werden dann den monokulären Bildern, d.h. den Bildern des linken und des rechten Stereokanals überlagert und diese anhand der Bereichszuordnung modifiziert. Hierbei können Darstellungseigenschaften wie Helligkeit, Kontrast, Schärfe, Tonwert, Sättigung, Gradation, Färbung, Farbtiefe in den Unterdrückungs- und Vorzugsbereichen entsprechend modifiziert werden bzw. nicht.
Beispielsweise erfolgt die Darstellung im Vorzugsbereich (oder Vorzugsbereichen) ohne Änderung oder Anwendung von Modifikationen während die Darstellung im Unterdrückungsbereich (oder Unterdrückungsbereichen) aber durch eine künstlich eingeführte Unschärfe und Kontrastminimierung modifiziert wird. Der Betrachter kann sich damit leichter auf die Objekte im Vorzugsbereich konzentrieren (bzw. er tut dies automatisch, da die Objekte im Unterdrückungsbereich aufgrund der Modifikation schlechter wahrgenommen werden) und muss sich nicht bewusst von der Wahrnehmung von Objekten im Unterdrückungsbereich abhalten und seine Konzentration aktiv auf Objekte im Vorzugsbereich richten.
Mit anderen Worten, Informationen aus einer ersten Quelle (Abstand von Objekten zur Kamera, z-Richtung, intrinsisch in den Stereobildern enthalten) werden ausgewertet und es erfolgt eine „planare“, d.h. monokuläre Kategorisierung (Vorzug, Unterdrückung). Nach festgelegten Regeln erfolgt dann eine Aufwertung oder Abwertung der Darstellung in den ermittelten Vorzugs- und/oder Unterdrückungsbereichen (durch technische Maßnahmen wie die Analyse und Modifikation der die monokulären Bilder beschreibenden strukturierten Daten zur Erzielung von Veränderungen von Helligkeit, Kontrast, Schärfe, Tonwert, Sättigung, Gradation, Färbung, Farbtiefe).
Hierdurch wird die Bildwiedergabe in der Wiedergabeebene des Monitors so angepasst, dass sie beispielsweise der dem durch das menschliche Auge am Platze der Stereokamera erfassten Bild hinsichtlich Schärfe und Tiefenschärfe sowie Helligkeits- bzw. Kontrastverteilung entspricht. Alternativ kann auch eine verstärkte Abwertung der Bildinformation in den Unterdrückungsbereichen erfolgen, so dass der Betrachter diese leicht übersieht.
Wie bereits erwähnt werden Disparitäten in der Tiefenmatrix erfasst. Die Disparitäten können quasi auf einem Bild – ohne links und rechts unterscheiden zu müssen, also "monokulär" – dargestellt werden. Die Matrix gibt mit Bezug auf die Bildposition an, wie weit Objekte von der Stereokamera entfernt sind.
Die Absolut-Werte der Entfernungen sind hierbei zwar mitunter von Interesse, als wichtigere Information sollte jedoch die Information ableitbar sein, ob sich Objekte innerhalb eines Vorzugsabstandes befinden (oder eines Vorzugsabstandsbereichs) oder nicht.
Die beiden Aspekte der Erfindung können sowohl getrennt ausgeführt werden als auch in Kombination, um eine besonders vorteilhafte Ausführungsform der Erfindung zu implementieren. Beispielsweise können – dem ersten Aspekt folgend – Relevanzbereiche bestimmt werden, also relevante Bereich in der aufgezeichneten Szene, die dann mittels Disparitätsminimierung dem Betrachter in der Monitor-Ebene erscheinen, also in diese hinein transformiert werden. Damit lässt der Betrachter seine Augen auf den Monitor scharf gestellt und erhält keine visuellen Informationen, die ihn unterbewusst zu dem Versuch veranlassen könnten, diese Einstellung der Augen zu verändern.
Mit Hilfe des zweiten Aspekts kann zusätzlich der Relevanzbereich oder die Relevanzbereiche als Vorzugsbereich im Sinne einer Bildtiefe klassifiziert werden (die Objekte im Relevanzbereich/in den Relevanzbereichen werden also zur Bestimmung des Vorzugsabstandes heran gezogen), so dass die in anderen Tiefenebenen als dem Vorzugsabstand liegenden Objekte als im Unterdrückungsbereich befindlich klassifiziert werden und deren gegebenenfalls exzessive Tiefeninformation durch künstliche Unschärfe und/oder de-Kontrastierung modifiziert oder abgewertet werden. Dem Betrachter wird hierdurch dann für diese Bereiche Information entzogen, die seine Aufmerksamkeit vom Relevanzbereich ablenken könnten, was zusätzlich zu einer Erleichterung der Wahrnehmung und Analyse der dargestellten Szene erheblich beitragen kann.
Gemäß der Kombination der beiden Aspekte der Erfindung wird somit in kurzen Worten kontinuierlich eine Kameratiefenebene bestimmt (in welcher sich die relevanten Teile der aufgezeichneten Szene befinden), die dann in die Monitorebene, also die Bildwiedergabeebene transformiert wird (erster Aspekt). Vom Kamerasystem gelieferte exzessive Tiefeninformation, welche beispielsweise von außerhalb des szenenrelevanten Bereichs stammt kann dann optional zusätzlich modifiziert werden (zweiter Aspekt) um diese für den Betrachter abzuwerten.
Am Rande sei hier allerdings auch erwähnt, dass in Zusammenhang mit dem zweiten Aspekt der Erfindung auch eine isolierte Aufwertung bestimmter Teile oder Objekte einer Szene möglich ist, wenngleich diese dennoch im Unterdrückungsbereich der Szene liegen. Solche Objekte können zum Beispiel anhand von Textur, Farbe, Bewegungsmustern oder sonstiger Muster identifiziert werden und danach isoliert als weiterer Vorzugsbereich klassifiziert werden. Hierdurch ist gewährleistet, dass möglicherweise relevante Informationen der Szene auch außerhalb eines Relevanzbereiches identifiziert und für den Betrachter so aufgewertet werden, dass dieser die Informationen keinesfalls übersieht.
Eine Kombination der beiden Aspekte der Erfindung kann auch verwendet werden, um möglicherweise unerwünschte Effekte jeweils eines der beiden Aspekte auszugleichen. Beispielsweise könnten durch die Disparitätsminimierung (erster Aspekt der Erfindung) auch Objekte außerhalb des Relevanzbereiches scharf dargestellt werden, die eigentlich nicht von Interesse sind und den Betrachter ablenken könnten. Dies kann beispielsweise für Objekte im Randbereich einer Szene der Fall sein, die lediglich zufällig einen gleichen Abstand zur stereoskopischen Kamera haben, wie die szenenrelevanten Objekte in der Szenenmitte. Um dem gegenzusteuern und den Betrachter davor zu schützen, dass er aufgrund von Artefakten von den relevanten Teilen der Szene abgelenkt wird, ist es möglich, die Bereichsmodifikation (zweiter Aspekt der Erfindung) alternativ oder auch zusätzlich auf Bereiche oder Objekte anzuwenden, die zwar hinsichtlich ihres Vorzugsabstands als szenenrelevant einzustufen wären, jedoch nicht oder nur mit sehr geringer Wahrscheinlichkeit von Relevanz für die Szene sind (beispielsweise Randbereiche der Szene). Solche Bereiche würden dann beispielsweise ebenfalls durch ein Unschärfen oder sonstiges modifizieren der Aufmerksamkeit des Betrachters entzogen, ebenso wie dies für Bereich und Objekte, welche im Unterdrückungsbereich liegen der Fall ist.
Eine weitere Kombination ergibt sich in der Bestimmung des Relevanzbereiches nach dem ersten Aspekt und der nachfolgenden Bestimmung der Tiefenmatrix lediglich für Bereiche außerhalb des Relevanzbereichs.
Erfindungsgemäß kann also mit beiden Aspekten, jeweils unabhängig voneinander oder in Kombination, dem Betrachter eine möglichst natürliche und/oder möglichst leicht wahrnehmbare Darstellung einer stereoskopischen Szene präsentiert werden, welche zumindest teilweise die optischen und psychooptischen Aspekte des menschlichen Sehens berücksichtigt und gegebenenfalls auch unterstützt. Somit wird ein entspanntes Betrachten von 3D-Szenen auch über lange Zeiträume möglich ohne dass der Betrachter dem erhöhten Risiko von Ermüdung und/oder Verwirrung ausgesetzt ist. Insbesondere ermöglicht die Erfindung auch ein gewisses Anleiten des Betrachters, so dass dieser sein Augenmerk auf die wesentlichen Teile der Szene richtet, ohne von diesen abgelenkt zu werden.
In einem dritten Aspekt der Erfindung – Einflussnahme des Betrachters auf die Darstellung von Objekten und Bildteilen – der besonders in Verbindung mit den beiden vorstehenden Aspekten der Erfindung zum Tragen kommt wird das Blickfeld des Betrachters kontinuierlich verfolgt, beispielsweise durch ein Vermessen der Stellung der Augen des Betrachters sowie der Fokalebene der Augen durch refraktometrische Messungen. Insbesondere können Augenposition bezüglich des Monitors sowie zueinander (Konvergenz), Brennweite der Linsen, Akkommodation, usw. vermessen werden und dadurch der vom Betrachter in der auf dem Monitor dargestellten Szene betrachtete Bereich und/oder vom Betrachter in der auf dem Monitor dargestellten Szene betrachtete Objekte ermittelt werden.
Das Ergebnis dieser Ermittlungen wird sodann zur Grundlage der Bildmodifikation gemäß dem ersten und dem zweiten Aspekt gemacht, es werden somit die szenenrelevanten Bereiche aufgrund der vom Betrachter durch Betrachten gewählten Objekte oder Bildteile zumindest beeinflusst, so dass beispielsweise die Tiefenebenen dieser Bereiche in die Bildwiedergabeebene des Darstellungsgerätes transformiert wird (erster Aspekt der Erfindung) und/oder aber der entsprechende Bildausschnitt dynamisch aufgewertet wird, während die anderen Bildbereiche abgewertet werden, beispielsweise durch ein geringfügiges Unschärfen (zweiter Aspekt der Erfindung). Die Betrachtung eines Bildbereiches oder Objektes der Szene durch den Betrachter könnte somit bereits ausreichend sein, Objekte hervor zu heben (bzw. andere Szenenbestandteile auszublenden) oder diese in die entspannt zu betrachtende Fokalebenem also die Bildwiedergabeebene zu „holen“.
Die Erfindung ist besonders vorteilhaft anwendbar im Falle stereoskopischer Bilder von Mikroskop- oder Endoskop-Kameras. Andere Anwendungen sind für die Erfindung jedoch gleichermaßen interessant, wie z.B. die Darstellung in 3D-Kinos, virtual- oder augmented reality-Anwendungen.
Zur Ausführung der erfindungsgemäßen Bildverarbeitung eignen sich Computer mit Speicher und Verarbeitungseinheit (CPU und/oder DSP) oder auch elektronische Schaltungen wie Field Programmable Gate Arrays (FPGA). Das Computerprogramm kann sich auf einem separaten Datenträger (Medium) befinden, oder in die Hardware integriert sein.
In einem erfindungsgemäßen Bildbearbeitungssystem für Signale von Stereo-Kameras werden die beiden Bilder des rechten und linken Kamerakanals jeweils modifiziert.
Kennzeichnend für den ersten Aspekt der Erfindung ist dabei ein Disparitätsschieber, der die beiden Bilder, also die des rechten und des linken Kamerakanals horizontal so gegeneinander verschiebt, dass diese in einem Relevanzbereich eine reduzierte oder minimierte Disparität aufweisen, die bei der Darstellung auf einem Monitor die Objekte im Relevanzbereich für den Betrachter in der Bildwiedergabeebene des Monitors erscheinen lassen und nicht, wie das im Falle einer nicht-modifizierten Bildwiedergabe möglicherweise der Fall wäre, davor oder dahinter, was zu Verwirrungen bei der Tiefenwahrnehmung führen könnte.
Kennzeichnend für den zweiten Aspekt der Erfindung ist ein Bereichsmodifikator, der in Unterdrückungsbereichen die beiden Bilder, also die des rechten und des linken Kamerakanals jeweils so modifiziert, dass für den Betrachter die Wahrnehmbarkeit von Objekten in diesen Unterdrückungsbereichen modifiziert wird, bevorzugt abgewertet wird. Bevorzugt werden die Unterdrückungsbereiche dabei mittels eines Tiefenerkenners bestimmt, der so ausgebildet ist, dass als Vorzugsbereich das Panum-Areal eines menschlichen Betrachters nachgebildet wird und die übrigen Tiefenbereiche als Unterdrückungsbereiche klassifiziert werden. Auf diese Weise kann der Betrachter vor der Wahrnehmung exzessiver Tiefeninformation geschützt werden.
Die Erfindung zielen in Kombination eins oder mehrerer ihrer Aspekte eine je nach Anwendung optimierte Darstellung stereoskopischer Bilder, so dass der Betrachter eine natürliche und komfortable erfassbare Darstellung der Stereo-Szene bzw. gewisser Objekte hierein erhält. Dies führt zu verringerter Ermüdung und/oder Verwirrung sowie zu einer erhöhten Konzentrationsfähigkeit des Betrachters auf wesentliche Teile der Szene.
Kurzbeschreibung der Zeichnungen
1A zeigt schematisch ein erfindungsgemäßes System mit Objekten, Bildverarbeitungs-Computer und Monitor gemäß dem ersten Aspekt der Erfindung;
1B zeigt schematisch ein erfindungsgemäßes System mit Objekten, Bildverarbeitungs-Computer und Monitor gemäß dem zweiten Aspekt der Erfindung;
2 zeigt schematisch Anordnungen der Teilkameras von stereoskopischen Systemen, die so gewählt sind, dass sich ein sinnvoll überlappender stereoskopischer Sichtbereich ergibt;
3 zeigt eine schematische Illustration der Disparität eines Stereoskopischen Kamerasystems;
4 illustriert schematisch das menschliche Sehvermögen;
5 zeigt schematisch die geometrischen Verhältnisse bei der Betrachtung eines stereoskopischen Monitors;
6 zeigt schematisch die geometrische Bestimmung von Nah- und Fernpunkt des stereoskopischen Monitorsystems;
7A und 7B zeigen schematische Blockdiagramme des erfindungsgemäßen Bildverarbeitungscomputers;
8 zeigt schematisch die Funktionsweise eines erfindungsgemäßen Systems welches den dritten Aspekt der Erfindung implementiert;
9 zeigt schematisch zwei alternativen Möglichkeiten zur Veränderung der Konvergenzebene eines stereoskopischen Systems;
10A zeigt schematisch ein Flussdiagramm eines Verfahrens zur Bildbearbeitung von digitalen Bildern eines Stereoskopischen Systems gemäß dem ersten Aspekt der Erfindung;
10B zeigt schematisch ein Flussdiagramm eines Verfahrens zur Bildbearbeitung von digitalen Bildern eines Stereoskopischen Systems gemäß dem zweiten Aspekt der Erfindung
11 zeigt schematisch die Funktionsweise einer Ausführungsform eines erfindungsgemäßen Systems, bei welchem eine Kombination der Aspekte der Erfindung zur Optimierung der Darstellung zum Einsatz kommt.
Detailbeschreibung
1A und B sind schematische Darstellungen von erfindungsgemäßen Systemen mit Objekten 101–104, welche sich in einer realen Szene befinden, Bildverarbeitungs-Computer 100 und Monitor 170. 1A und B geben damit einen Überblick mit – von links nach rechts – einer symbolisierten Illustration der Objekte der realen Szene, des Computers und der Daten, die im Computer verarbeitet werden.
Die Objekte 101–104 der realen Szene sind dargestellt in einem kartesischen 3D-Koordinatensystem (x, y, z) (d.h. Weltkoordinaten), mit der Breite x, der Höhe y und dem Kamera-Objekt-Abstand z. Beispielsweise haben die Objekte verschiedene Abstände z3 < z2 < z1 < z4. Mit anderen Worten, Objekt 103 ist ein Nahobjekt, Objekt 104 ist ein Fernobjekt. Objekte 101 und 102 befinden sich dazwischen, und zwar innerhalb eines gedachten Konvergenzbereichs (von ZminA zu ZmaxA), den ein natürlicher Betrachter der Szene aus der Position der Kamera 110 hätte ("Augen-Perspektive"). Der Konvergenzbereich zwischen ZminA und ZmaxA entspricht also im wesentlichen dem Panum-Areal des natürlichen Betrachters der Szene aus der Position der Kamera 110. ZminK und ZmaxK kennzeichnen die Nah- bzw. Fernpunkte des Kamerasystems.
Die Kamera 110 weist zwei Teilsysteme R und L auf, die jeweils – im stereoskopischen Sinne – den linken und rechten Kanal eines aufgezeichneten stereoskopischen Bildes ausgeben. Bild 111 (rechtes Bild bzw. Bild des rechten stereoskopischen Kanals, aufgezeichnet vom Teilsystem R der Kamera 110) und Bild 112 (linkes Bild bzw. Bild des linken stereoskopischen Kanals, aufgezeichnet vom Teilsystem L der Kamera 110) werden an den Computer 100 zur weiteren Verarbeitung ausgegeben. Die Bilder 11, 112 sind dargestellt mit Breite x und Höhe y.
1A legt den Schwerpunkt dabei auf den ersten Aspekt der Erfindung, der Disparitätsminimierung für Relevanzbereiche; 1B legt den Schwerpunkt auf den zweiten Aspekt der Erfindung, der Veränderung des Tiefeneindrucks.
Im folgenden wird zunächst der erste Aspekt der Erfindung näher betrachtet (1A). In der Domäne der Daten unterscheidet sich das rechte Bild 111 (erstes Bild) vom linken Bild 112 (zweites Bild) durch geringfügige Unterschiede in der Positionierung ein- und derselben Bildelemente und/oder Objekte in den beiden Bildern, die bereits erwähnten sogenannten Disparitäten Da und Db. Solche Disparitäten sind für viele Bildelemente bzw. Objekte automatisiert durch den Computer 100 berechenbar, beispielsweise durch den Vergleich der Bilder zueinander unter Zuhilfenahme von Kanten- und/oder Mustererkennungsalgorithmen.
Die 1A zeigt Disparitäten beispielhaft als Da für den rechten Rand der Abbildung 102' des Objekts 102 und als Db für den rechten Rand der Abbildung 103' des Objekts 103. Das Objekt 103 ist in der realen Szene näher an der Kamera 110 (es gilt z3 < z2), deshalb gilt Db > Da.
Die Orientierung der Disparitäten entspricht der Anordnung der beiden Teilsysteme R und L der Kamera 110. In 1A und B sind die Teilsysteme R und L in horizontaler Richtung (X) angeordnet – ebenso wie die Augen des menschlichen Betrachters – die Disparitäten treten demnach ebenfalls in horizontaler Richtung auf. Die Disparitäten ergeben sich aus dem geringfügigen Unterschied im Betrachtungswinkel ein und derselben Szene durch das linke bzw. das rechte Teilsystem der Kamera 110.
Der Relevanzerkenner 180 ermittelt einen oder mehrere Relevanzbereiche 128 im Bild bzw. der aufgenommenen Szene, die für den Betrachter als relevant einzustufen sind. Die Relevanzinformation kann beispielsweise unter Zuhilfenahme der zuvor bestimmten Disparitäten – Da und Db der Objekte 102’ und 103’ zwischen den Bildern 111, 112 im vorliegenden Beispiel – in der Relevanzmatrix 185 abgelegt werden. Die Relevanzmatrix kann dabei zum Beispiel Matrixelemente R enthalten, die als Funktion der Ortskoordinaten und der Disparität definiert sind (R = f(x, y, D)). Gleichermassen ist auch eine Definition der Zahlenwerte R nur in Abhängigkeit der Ortskoordinaten möglich (also R = f(x, y)). Mit anderen Worten gibt der Betrag R der Relevanzmatrix die Relevanz des jeweiligen Bereiches der Szene bzw. des Bildes für den Benutzer an. Zahlenwerte für R können dabei beispielsweise zwischen 0 (nicht relevant) und 1 liegen (sehr relevant).
Zur Verwirklichung der automatischen Erkennung des oder der Relevanzbereiche 128 gibt es eine Reihe von Möglichkeiten. Beispielsweise kann der Computer 100 über eine Benutzerschnittstelle (z.B. Maus) vom Betrachter gesteuert werden, um zu ermitteln, welchen Bereich (oder Bildausschnitt) dieser als relevant ansieht. Alternativ oder ergänzend kann zum Beispiel auch ein Bereich (oder mehrere Bereiche) im Bild als relevant klassifiziert werden, für den die Objekte eine vorherbestimmte Tiefe innerhalb der Szene (z-Koordinate) aufweisen. Die Tiefe kann dabei beispielsweise durch Analyse der Disparitäten bestimmt werden (vgl. 1B) und Objekte bzw. Bildbereiche, welche in einem gewissen Tiefenbereich liegen (z.B. zwischen ZminA und ZmaxA) bzw. im wesentlichen eine gewisse Disparität aufweisen (z.B. Da) können als relevant oder relevanter klassifiziert werden, während Objekte oder Bildbereiche die größere oder kleinere Disparitäten aufweisen als nicht oder weniger relevant klassifiziert werden. Das Maß für die Relevanz eines oder mehrerer Bereiche kann dabei nicht nur digital sein (0, 1) sondern auch fließend (also beispielsweise Werte zwischen 0 – nicht relevant – und 1 – hochrelevant – annehmen) und gegebenenfalls mit der Abweichung von einer Vorzugs-Disparität bzw. einer entsprechenden Vorzugstiefe der Szene korrelieren.
Es ist alternativ oder ergänzend auch möglich, beispielsweise den Mittenbereich eines Bildes als relevant zu klassifizieren (beispielsweise einen Mittelbereich von 50%, 60%, 70%, 75%, 80%, 85%, 90% oder 95% sowie jegliche Zwischenwerte hiervon). Weitere Möglichkeiten für eine Relevanzklassifizierung ergeben sich beispielsweise aus der Auswertung von Bildinformationen, wie zum Beispiel Helligkeit, Dynamik, Kontrast, Färbung, Farbsättigung und dergleichen, insbesondere wenn diese in bestimmte Bildbereichen vorliegen. Beispielsweise könnte der Bereich eines Bildes mit der größten Dynamik als relevanter Bereich klassifiziert werden oder aber, um einige der genannten Möglichkeiten zu kombinieren, Objekte, die im Bereich des Bildes größter Dynamik und innerhalb eines Rahmens, der einen zentrischen Bereich von 80% der Bildfläche angibt, wenn diese eine Disparität aufweisen, die ungefähr einer Vorzugsdisparität entspricht.
Es gibt demnach eine Reihe von Möglichkeiten, einen oder mehrere Relevanzbereiche 128 automatisiert zu identifizieren und klassifizieren, die je nach Anwendung in beliebigen Kombinationen zur Anwendung kommen können. Wie bereits erwähnt kann anstelle eines Bereiches eines Bildes auch ein Objekt oder mehrere Objekte innerhalb des Bereiches oder sogar lediglich ein oder mehrere Punkte als relevant klassifiziert werden. Darüber hinaus besteht auch die Möglichkeit, wie ebenfalls bereits erwähnt, einzelne Bereiche oder Objekte eines Bildes als relevant oder relevanter zu klassifizieren, selbst wenn diese in einem zuvor als nicht oder weniger relevant erkannten Bereich des Bildes angeordnet sind.
Nach der Erstellung der Relevanzmatrix 185, welche den oder die Relevanzbereiche 128 angibt verwendet der Disparitätenschieber 190 die Disparität im Relevanzbereich 128, für den Fall mehrerer Disparitäten wird hier beispielsweise ein – gegebenenfalls gewichteter – Mittelwert gebildet, und modifiziert die Bilder 111, 112 mit einer Disparitätsverschiebung. Das heißt, dass die Bilder 111 und 112 vorzugsweise horizontal so gegeneinander verschoben werden, dass die Disparität der Objekte oder Bildbereiche im Relevanzbereich 128 verringert, vorzugsweise minimiert und bevorzugt auf Null reduziert wird.
Die im Relevanzbereich 128 ermittelte Disparität Δx entspricht im Beispiel der 1A im wesentlichen der für das Objekt 102’ ermittelten Disparität Da. Eine entsprechende Disparitätsverschiebung zur Minimierung der Disparitätsdifferenz Δx wird auf alle Punkte der Bilder 111 und 112 angewendet, indem die beiden Bilder 111 und 112 gegeneinander entlang der x-Achse verschoben werden. Δx repräsentiert also das Inverse eines Korrekturwertes, welcher die Verschiebung der Bilder 111 und 112 gegeneinander angibt. Dabei wird beispielweise das rechte Bild 111 um Da verschoben, oder das linke Bild 112 wird um -Da verschoben, oder beide Bilder werden anteilmäßig so zueinander verschoben, dass die resultierende Disparität im Relevanzbereich 128 Da’ gegen Null geht.
Nach der Verschiebung der Bilder 111 und 112 zueinander haben Punkte oder Objekte im szenenrelevanten Bereich (z.B. hier der rechte Rand des Objektes 102') im wesentlichen gleiche x-Koordinaten. Infolge dessen ändern sich Disparitäten zwischen den modifizierten Bildern 141 und 142 der beiden Kanäle des stereoskopischen Systems: Da' ist minimiert, im Idealfall ist Da' = 0; Db' ist gegenüber Db verändert (hier vermindert, und zwar um den Betrag Da), da die gesamten Bilder 111 und 112 gegeneinander verschoben werden.
Die durch den Disparitätenschieber 190 im szenenrelevanten Bereich bzw. dem Relevanzbereich 128 hergestellte Null-Disparität (Da’ = 0) führt dazu, dass die modifizierten Bilder 141 und 142 auf dem Monitor 170 vom Betrachter so wahrgenommen werden, dass das Objekt 102 (bzw. dessen Abbildung 102') in der Monitorebene 171 erscheinen und nicht (in der Tiefe) verschoben hierzu. Die Illustration in der 1A bei Pos. 171 zeigt dies symbolisch für das Objekt 102.
Der Computer 100 führt also eine effektive Transformation der szenenrelevanten Teile der realen Szene für einen Betrachter am Ort der Kamera (Bereich ZminA < z < ZmaxA, was dem Panum-Areal des Betrachters entsprechen kann oder aber auch größer oder kleiner als dieses sein kann) in die Monitorebene 171 durch, also die Wiedergabeebene des Darstellenden Systems 170. Auf diese Weise werden Verwirrungen bei der Wahrnehmung der auf dem Monitor 170 dargestellten Szene unterdrückt, da der Betrachter, der auf die Monitorebene 170 fokussiert und konvergiert in eben dieser Ebene auch die Objekte 102’ und 101’ scharf und in der Tiefe lagerichtig wahrnimmt. Im Ergebnis kann der Betrachter somit die Augen auf die Monitorebene fokussiert und konvergiert lassen, wodurch ein entspannteres Betrachten der Szene auch über längere Zeiträume möglich wird.
Die Minimierung von Disparitäten ist zu verstehen als Minimierung der Beträge der Disparitäten. Der Fachmann ist in der Lage, das Vorzeichen von Δx so zu wählen – und damit die Richtung der Verschiebung der beiden Bilder 111 und 112 zueinander – dass eine Minimierung der Disparität(en) im Relevanzbereich 128 resultiert.
Im folgenden wird nun der zweite Aspekt der Erfindung näher betrachtet (1B). Hierbei wird zur Vermeidung von Wiederholungen auch auf die vorstehenden Ausführungen betreffend die 1A verwiesen, welche insbesondere hinsichtlich ihres Bezuges zur realen Szene gleichermaßen zutreffen.
Die Tiefeninformation der aufgezeichneten Bilder wird ebenso wie im Falle der 1A erhalten durch Ermittlung der Disparitäten D. Wie oben bereits beschrieben sind diese Disparitäten für viele Bildpunkte automatisiert berechenbar. In 1B ist auf der Ebene der Daten nur eine Disparität D beispielhaft dargestellt (zwischen Abbildungen des Objekts 102 im linken und im rechten Bild 111, 112, also den Bildern des linke bzw. rechten Kanals L, R des stereoskopischen Systems). Ähnlich wie im Falle der 1A ermittelt der Computer hiermit auf der Grundlage des ersten Bildes 111 (R) und zweiten Bildes 112 (L) eine Tiefenmatrix mit Matrixelementen T (Datenwerten) bestehend aus der Lage eines Bildpunkts (x, y) und dessen Disparität D (welche auf eventuell an diesem Bildpunkt verfügbare Tiefeninformation schließen lässt): T = f(x, y, D).
Die Tiefenmatrix ist, ebenso wie die Relevanzmatrix, "monokular", eine Unterscheidung in L und R ist nicht notwendig, unter Anderem deshalb, da die Tiefenmatrix dem Betrachter nicht angezeigt sondern lediglich für die weitere Verarbeitung der Bildinformationen verwendet wird. Zur Veranschaulichung ist die Matrix in 1A und B schematisch in Form einer Bilddarstellung gezeigt.
In 1B ist die unterschiedliche Tiefeninformation (bzw. Disparität) der abgebildeten Objekte zudem durch eine verschieden starke Schraffur der Objekte symbolisiert. Die Darstellung 104' entspricht dem Objekt 104 (mit der größten Tiefe = geringste Disparität), die Darstellung 103' entspricht dem Objekt 103 (mit der geringsten Tiefe = größte Disparität); die Darstellungen 102' und 101' entsprechen den Objekten 102 und 101 mit der Tiefe zwischen ZmaxA und ZminA, wobei für die Tiefenkoordinaten entsprechende Disparitäten (Dmin, Dmax) berechenbar sind (vgl. 3).
Damit kann anhand der Disparität ermittelt werden, welche Bereiche Bildpunkte abbilden, die zu Objekten im Konvergenzbereich bzw. Panum-Areal eines virtuellen Betrachters gehören würden, also eines Betrachters der Szene am Ort der Kamera und welche nicht. Die Objekte 102 und 101 liegen in diesem Bereich, der hier als Bereich 121 (Hauptbereich) gekennzeichnet ist und für den Dmin<D<Dmax gilt. Bereich 122 wird hier als Komplementärbereich bezeichnet.
Mit anderen Worten, die Tiefeninformation kann weiter vereinfacht werden; aus den unterschiedlichen Tiefen- bzw. Disparitätswerten können im einfachsten Fall Binärwerte (0, 1) ermitteln werden, je nachdem ob für einen Bildpunkt die vorstehende Bedingung erfüllt ist (1) oder nicht (0) (z.B. 1=Hauptbereich oder 0=Komplementärbereich), welche den Elementen der Tiefenmatrix zugeordnet werden. Alternativ kann die Zuordnung zu Haupt- bzw. Komplementärbereich (oder Bereichen) auch nicht digital erfolgen (0, 1) sondern auch fließend und beispielsweise Werte zwischen 0 – Komplementärbereich – und 1 – Hauptbereich – annehmen (quasi prozentuale Werte) so dass eine gewichtete Zuordnung von Bildbereichen, Objekten oder Punkten zu diesen Bereichen erfolgt.
Der Bereichsmodifikator 160 wendet dann aufgrund der Zuordnung zu Haupt- bzw. Komplementärbereich auf die monokularen Bilder 111, 112 eine Modifikationsfunktion an, beispielsweise in Form eines Filters wodurch Veränderungen der monokularen Bilder, wie beispielsweise ein Unschärfen, eine Veränderung der Dynamik, der Helligkeit, des Kontrasts, oder ähnliches resultieren, die dann in modifizierten Bildern 131, 132 ihren Niederschlag finden. Gegebenenfalls, sofern die Klassifizierung in Haupt- und Komplementärbereich oder Bereich nicht digital erfolgt sondern im Sinne einer prozentualen Gewichtung bestimmter Bildbereiche zu Haupt- oder Komplementärbereichen, kann die Modifikationsfunktion auch lediglich entsprechende der Gewichtung erfolgen, so dass die Modifikation für gewissen Bereiche der Bilder 111, 112 stärker und andere schwächer ausfällt.
Die Bilder, die vom erfindungsgemäßen System, insbesondere dem Bildverarbeitungscomputer 100 an den Monitor 170 ausgegeben werden, sind die modifizierten Bilder 131, 132, wobei modifiziertes Bild 131 (R mod) und modifiziertes Bild 132 (L mod) jeweils das Bild des rechten R bzw. linken L stereoskopischen Kanals kennzeichnet. Die Anordnung der Abbildungen wird (im wesentlichen) nicht verändert, die Disparitäten bleiben bei diesem Aspekt der Erfindung, soweit er allein zur Anwendung kommt, im wesentlichen unverändert bestehen.
Lediglich die Bereiche für die Dmin<D<Dmax nicht gilt, also die Komplementärbereiche, sind im vorstehenden Sinne – gegebenenfalls teilweise – modifiziert, so dass für diese Bereiche der Betrachter des Anzeigesystems eine Darstellung erhält, die seine Aufmerksamkeit nicht oder nur geringfügig stören könnte (damit diese von den Hauptbereichen nicht abgelenkt wird) oder die diesem in seinem Tiefenempfinden unnatürlich erscheint, beispielsweise weil durch die hohe Tiefenschärfe moderner Kamerasysteme auch noch Objekte 104 oder 103 scharf oder mit hoher Qualität dargestellt werden würden, selbst wenn dies für den normalen Betrachter der Objekte 101 und 102 von der Position der Kamera aus nicht möglich wäre.
Bei dem zuletzt genannten Aspekt wird dem Betrachter des durch das erfindungsgemäße stereoskopische System übertragenen Bilder der Szene also ein natürlicher Tiefeneindruck vermittelt, es wird somit exzessive Tiefeninformation, die das stereoskopische System ohne Anwendung der erfindungsgemäßen technischen Lehre liefern würde, verringert oder eliminiert. Das erfindungsgemäße System führt also quasi elektronisch ein Panum-Areal ein, dass der Betrachter der realen Szene, wenn er von der Position der Kamera aus auf die Objekte 101 und 102 fokussiert und konvergiert hätte und wodurch ihm die Objekte 103 oder 104 nur sehr verschwommen oder anderweitig für die Bildwahrnehmung irrelevant erscheinen würden.
Die Darstellung der modifizierten Bilder auf der Anzeige 170 erfolgt also im Hauptbereich verschieden von der Darstellung im Komplementärbereich. Schematisch dargestellt zeigt die 1B die Abbildungen der Objekte 102 und 101 (im Hauptbereich) mit dicken Linien, was eine scharfe (im wesentlichen) originalgetreue Darstellung der Objekte symbolisiert; die Abbildungen der Objekte 104 und 103 (im Komplementärbereich) ist hingegen mit gestrichelten Linien gezeigt, was eine modifizierte bzw. entartete Darstellung der Objekte symbolisiert. Der Betrachter kann sich dadurch mehr auf die Objekte im Hauptbereich konzentrieren (die ja in Wirklichkeit innerhalb des Panum Areals liegen würden, wenn der Betrachter anstelle der Kamera die reale Szene und hierein eines der Objekte 101 oder 102 betrachten würde), die Darstellung der Objekte im Komplementärbereich ist hingegen technisch so modifiziert, dass der Betrachter sie weniger wahrnimmt, beispielsweise unscharf (was ebenfalls der Fall der Wirklichkeit wiederspiegelt, da die Objekte 103 und 104 außerhalb des Panum-Areals liegen würden und damit ebenfalls unscharf wahrgenommen werden würden). Damit erscheint die Bildschirmdarstellung natürlich und ist nicht mehr mit exzessiven Informationen, beispielsweise exzessiven Tiefeninformationen, die von der hohen Tiefenschärfe moderner Kamerasysteme herrühren überfrachtet.
Die beiden vorstehend im Detail einzeln beschriebenen Aspekte der Erfindung können vielseitig miteinander kombiniert werden. Beispielsweise können Relevanzinformationen (also die Relevanzmatrix R = f(x, y, D) gemäß 1A) und Tiefeninformationen (also die Tiefenmatrix T = f(x, y, D) gemäß 1B) gleichermaßen mit oder für den jeweils anderen Aspekten verwendet werden und insbesondere können Relevanz- und Tiefeninformation auch aufeinander basieren bzw. aufbauen. So kann beispielsweise der Bereichsmodifikator 160 anstelle der Tiefeninformation T auch die Relevanzinformation R für die Bestimmung der Bereiche, die modifiziert werden sollen verwenden. Dies führt dann sowohl zu einer Transformation relevanter Bildbereiche oder Objekte in die Wiedergabeebene des Monitors als auch zu einer Entartung von Bereichen des Bildes, nicht als nicht szenenrelevant klassifiziert wurden und somit den Betrachter nicht beeinträchtigen sollen. Umgekehrt kann der Disparitätsschieber 190 in manchen Fällen auch mit Hilfe der Informationen der Tiefenmatrix arbeiten und entsprechend Disparitätsminimierungen vornehmen.
Unabhängig von den beiden genannten Aspekten gibt die folgende Beschreibung weitere Details in Verbindung mit weiteren Zeichnungen. Die Zeichnungen sind dabei lediglich schematisch und nicht notwendigerweise maßstabsgetreu. Es wird nachfolgend als Beispiel ein Kamerasystem vorgestellt (nachfolgend Beispielkamera), das für die Endoskopie verwendet wird.
Andere stereoskopische Kamerasysteme sind zur Verwendung mit der Erfindung selbstverständlich gleichermaßen geeignet.
Die optischen Eigenschaften einer Kamera ergeben sich aus Parametern wie Fokusebene, Brennweite (f), Blendenzahl (k) und Zerstreuungskreisdurchmesser (z), der ein Maß für die Abbildungsgenauigkeit ist. Mit diesen Parametern lässt sich die Tiefenschärfe berechnen als Bereich auf der z-Achse mit Nahpunkt und Fernpunkt. Bei einer Brennweite von 7mm hat die Beispielkamera einen Nahpunkt von 10mm und einen Fernpunkt von 100mm.
2 zeigt Anordnungen der Teilkameras (L, R) der Beispielkamera, die so gewählt sind, damit sich ein sinnvoll überlappender stereoskopischer Sichtbereich 204 ergibt. Bei einem stereoskopischen Kamerasystem 201 können die beiden Teilkameras (L, R) parallel angeordnet sein, wobei die optischen Achsen (senkrecht zu den Sensoren) parallel verlaufen, sich also nicht schneiden. Alternativ zeigt das stereoskopische Kamerasystem 202, dass die beiden Teilkameras (L, R) auch konvergierend angeordnet sein können, ähnlich den Augen des Menschen. Dabei schneiden sich die optischen Achsen in einer Entfernung (z-Achse) von der Kamera. Die Ebene (x, y) durch den Schnittpunkt wird als Konvergenzebene 205 bezeichnet. Die Bilder (vgl. 111, 112) der beiden Teilkameras (L, R) unterscheiden sich u.a. durch die Disparitäten.
Die Teilkameras (L, R) verfügen über Bildaufzeichnungssensoren (z.B. CCD-Sensoren, CMOS-Sensoren), die das optische Bild elektronisch erfassen und ausgeben. Die beiden Teilkameras (L, R) haben im wesentlichen identische Eigenschaften. Ein zeitgleiches (synchrones) Aufnehmen beider Bilder ist vorteilhaft und insbesondere im Falle von Live-Übertragungen im wesentlichen, also zumindest in gewissen Grenzen der zeitlichen Auflösung erforderlich.
3 zeigt eine schematische Illustration des Disparitätsbereiches eines stereoskopischen Kamerasystems 310 (vgl. z.B. Kamera 110 in 1) sowie einige diesbezügliche Berechnungsformeln. Die Kamera 310 hat die beiden Bildsensoren 301 und 302 für den linken bzw. rechten Kanal. Als Koordinaten sind hier x und z gegeben, wobei x die horizontale Bildrichtung angibt und z die Tiefe, also den Abstand zum Kamerasystem. 3 zeigt die Disparität (d), das Abbild des Punktes P auf dem rechten Kamerasensor 301 (xr), das Abbild des Punktes P auf dem linken Kamerasensor 302 (xl), die Brennweite (f), den Basisabstand der Teilkameras (B) zwischen deren optischen Achsen, die Entfernung des Objektes (Z) (mit dem Punkt P), die optischen Mittelpunkte (L) und (R) der Teilkameras. Die Disparität (d) lässt sich per Triangulation, wie in 3 gezeigt berechnen.
Umgekehrt lassen sich aus den gemessenen Disparitäten (vgl. D in 1) Tiefeninformationen (Entfernung Z) bestimmen. Die Tiefeninformationen werden – wie beschrieben – verwendet, um die Bilder des linken und rechten Kanals des stereoskopischen Systems (L, R) zu modifizieren.
Die maximale Disparität (dmax) bzw. minimale Disparität (dmin) sind bestimmbar aus der Brennweite (f), dem Basisabstand (B), dem Nahpunkt (Zn) und dem Fernpunkt (Zf). Nah- und Fernpunkt geben jeweils die Abstände vom Sensor an, bei denen Bildpunkte noch scharf abgebildet werden.
Die vorstehend genannte Beispielkamera hat einen Basisabstand (B) von 4mm und damit eine maximale Disparität (dmax = 2,8mm) bzw. minimale Disparität (dmin = 0,28mm). Die Disparitäten können auch in Pixel angegeben werden. Die Beispielkamera verwendet Sensoren mit der Auflösung (HD High Definition) von 1920 Pixel (X) und 1080 Pixel (Y). Bei einer Pixelgröße von 2,75 µm errechnet sich die Disparität für den Nahpunkt zu 1018 Pixel und für den Fernpunkt zu 102 Pixel. Dabei wird eine parallele Anordnung der Teilkameras (vgl. 201) angenommen. Die Disparitäten können auch als Winkel angegeben werden, beispielsweise in Bogenminuten.
4 zeigt einen sogenannten Horopter und dient damit der Erläuterung des menschlichen Sehvermögens und insbesondere der Tiefenwahrnehmung des Menschen. Der Mensch nimmt die Raumtiefe wahr durch monokulare Informationen und durch binokulare Informationen. Zu den monokularen Informationen zählen u.a. Licht (bzw. Helligkeit), Kontrast, Schärfe und Perspektive. Die binokularen Informationen sind von der Disparität abhängig. Die menschliche stereoskopische Wahrnehmung von 3D Szenen (vgl. z.B. die räumlich angeordneten Objekte in 1) auf einem Stereo-Monitor (vgl. Anzeige 170 in 1) wird durch die Physiologie der Augen bestimmt. Die Psychophysik verwendet das Modell des Horopters, einer im Gegensatz zur Bildwiedergabeebene des Monitors gebogenen Linie, auf der relativ zum fixierten Objekt (P) Punkte im Raum zu einfachen Punkten fusioniert werden. Alle Punkte auf dem Horopter erscheinen dem Betrachter gleich weit entfernt. Das menschliche Auge fusioniert auch Punkte bzw. Bilder jenseits des Horopters, solange die Disparitäten kleiner als ungefähr 12 Bogenminuten sind (Panum-Areal).
Punkte (B), die außerhalb dieses Bereiches liegen, erzeugen nichtkorrespondierende Doppelbilder und es tritt das natürliche „Doppelbildsehen“ auf. Die dabei entstehende binokulare Disparität wird für Punkte vor dem Horopter in gekreuzte Disparität und hinter dem Horopter in ungekreuzte Disparität unterteilt. Die Grenze der Tiefenwahrnehmung wird in Bogenminuten relativ zum Horopter angegeben. Die stereoskopische Wahrnehmung bei Menschen ist unterschiedlich. Die Mehrheit der Menschen kann Doppelbilder in einem Bereich von 25 bis 35 Bogenminuten vom Horopter über einen längeren Zeitraum komfortabel verarbeiten.
5 zeigt die Geometrie eines stereoskopischen Monitors 570 (vgl. Anzeige 170 in 1) mit Breite des Monitors (W), Augenabstand (E) des Betrachters, Entfernung (D) des Betrachters zum Monitor (Monitorebene 571), Entfernung des Betrachters zum Fernpunkt (Df), Entfernung des Betrachters zum Nahpunkt (Dn), linkes Auge (L), rechtes Auge (R), Disparität des Nahpunktes (dn), Disparität des Fernpunktes (df). Aus diesen bekannten Werten lassen sind die Monitordisparitäten für den Nahpunkt (dn) und den Fernpunkt (df) bestimmen.
6 zeigt für die Geometrie des stereoskopischen Monitors die Festlegung eines Winkels β, der sich aus dem Augenabstand (E) und den Entfernungen des Betrachters zum Monitor (D), zum Fernpunkt (Df) und zum Nahpunkt (Dn) ergibt.
Für eine beispielhafte Monitoranordnung ergibt sich bei einem Augenabstand (E) des Betrachters von 60mm, einem Monitorabstand von 700mm und einem Maximalwinkel β von 30 Bogenminuten (0.5°) ein Nahpunkt von 580mm und ein Fernpunkt von 880mm zwischen denen Stereobilder auf dem Monitor komfortabel wahrgenommen werden können.
Die Monitordisparität beträgt für Nah und Fernpunkt 12,3mm. Bei einem 24-Zoll-Monitor mit 1920 Pixel horizontaler Auflösung entspricht das 44 Pixel vor und hinter der Disparität 0, in Summe 88 Pixel. Im Vergleich dazu erzeugt die Beispielkamera eine Stereotiefe von etwa 900 Pixel (zwischen dem Nah und Fernpunkt).
7A und B zeigen Blockdiagramme des Bildverarbeitungs-Computers 700 mit mehr Einzelheiten. Eingänge 711 und 712 dienen zum Empfangen der Bilder 111, 112 der rechten bzw. linken Teilkameras R, L. Ausgänge 771 und 772 dienen zum Weiterleiten der modifizierten Bilder 131, 132 bzw. 141, 142 an einen Monitor 170.
Bildanpasser 761 und 762 entsprechen dem Bereichsmodifikator 160 in 1B bzw. dem Disparitätsschieber 190 in 1A. Die Anpasser leiten die Bilder von Eingang zu Ausgang und modifizieren die Bilder dabei. Eine für links und rechts getrennte Bildanpassung wird in der Regel bevorzugt. Die Bildanpassung erfolgt über Änderungen von Merkmalen wie Schärfe, Abdunkelung und Dynamik oder auch – in Koordination beider Teilbilder – der Disparität durch ein horizontales verschieben der Bilder gegeneinander. Die Eigenschaften des verwendeten Monitors können dabei berücksichtigt werden.
Hinsichtlich des ersten Aspekts der Erfindung, zeigt 7A einen Relevanzerkenner 780, der, wie zuvor beschrieben, die Bilder automatisiert auswertet und optional hierfür auch Eingaben des Benutzers empfängt. Der Relevanzerkenner 780 identifiziert den oder die Relevanzbereiche der Szene, bildet die Relevanzmatrix R und ermittelt aus den bestimmten Disparitäten in den Relevanzbereichen den Offset Δx, um welchen die Bilder 111 und 112 gegeneinander verschoben werden müssen. Hiernach veranlasst Steuerung 760, welche die ermittelten Informationen vom Relevanzerkenner 780 erhält Anpasser 761, 762 zu der oder den entsprechenden Bildmodifikationen.
Hinsichtlich des zweiten Aspekts der Erfindung, zeigt 7B einen binokulare Tiefenmesser 750, der dem Tiefenerkenner in 1B entspricht. Dieses Modul ermittelt die Tiefenmatrix T, wie oben beschrieben, u.a. unter Verwendung der oben erläuterten Formeln. Der Tiefenmesser 750 ist an ein Steuerungsmodul 760 gekoppelt, das die Tiefeninformation auswertet und entsprechende Korrekturanweisungen an die Bildanpasser liefert. Im Vergleich zu den Ausführungsformen in 1A und B, verfügt der Computer 700 gemäß der Ausführungsform der 7B optional über einen monokularen Tiefenmesser 770, der die Tiefeninformation nur eines Kanals auswertet (beispielsweise wie hier des linken Kanals).
Der Computer 700 arbeitet nach dem in 1A und B erläuterten Grundprinzip: Er wandelt die von der Kamera aufgenommene Szene in eine auf dem Monitor möglichst natürlich darzustellende und komfortabel wahrnehmbare Szene um. Dabei wird die Darstellung der Szene auf dem Monitor mittels einer kontinuierlichen Messung (750) der stereoskopischen Eigenschaften der Szene und einer nachfolgenden Korrektur (760, 761, 762) der Tiefeneigenschaften der Kamera optimiert bzw. entartet.
Zur Regulierung bzw. Optimierung der Monitorebene wird die stereoskopische Kameraszene kontinuierlich auf Merkmale zur Relevanz und/oder Tiefeninformation hin untersucht und Schritte zur Modifikation der Tiefeninformation bzw. zur Transformation der szenenrelevanten Teile in die Monitorebene ermittelt. Das Ziel der Messung der Relevanz und/oder Tiefeninformation ist das Erkennen und herausarbeiten des wesentlichen Teils einer stereoskopischen Szene und/oder der dazugehörigen Tiefe (Disparität), um diese nachfolgend dynamisch für die Darstellung auf einem stereoskopischen Anzeigesystem zu modifizieren. Wie bereits erwähnt können Bestimmung der Tiefeninformation sowie der Szenenrelevanz sowohl in ein und der derselben funktionalen Einheit des Computers 700 erfolgen als auch die Ergebnisse jeweils einer der beiden Messungen für den jeweils anderen Aspekt der Erfindung verwendet werden. Das gilt auch für die nachfolgend beschriebenen Mess- und Arbeitsverfahren.
Optional erfolgt die Messung als kombinierte Ermittlung binokularer Tiefeninformationen und monokulare Tiefeninformationen, was beispielsweise auch ein Ausführungsbeispiel einer Kombination einer Tiefenmessung mit einer Relevanzerkennung entspricht. Messbare monokulare Tiefeninformationen (und gegebenenfalls Relevanzen) sind in den Bildern (an den Eingängen 711, 712) bereits enthalten: Licht, Schatten und Beschattung, Helligkeit, Bildschärfe, Bild-Akkommodation, sowie Kontrast und Dynamik des Bildes. Die Messung der monokularen Tiefeninformation kann über das ganze Bild erfolgen. Optional erfolgt die Messung mit einer Gewichtung zugunsten des Bildzentrums oder eines oder mehrerer anderer Bildbereiche.
Optional können auch Objekte bzw. deren Umrisse nach ihrer Farbe, Farbsättigung, Textur, Geometrie (Kreis, Kugel, Polygon, unregelmäßig, etc.) und/oder Bewegungsmodi (Geschwindigkeit, Richtung, Beschleunigung) detektiert werden. Das ist besonders anwendbar, wenn nicht nur Einzelbilder, sondern Bildsequenzen verarbeitet werden, wie dies für die gesamte Erfindung als bevorzugtes Einsatzgebiet anzusehen ist. Objekte im Vordergrund (vgl. 103, 102 in 1) werden in der Regel bei gleicher absoluter Geschwindigkeit schneller dargestellt als Objekte im Hintergrund (vgl. 104, 101). Aufgrund der Kenntnis der Tiefe (ermittelt vermittels der Divergenz) lässt sich die absolute Geschwindigkeit eines Objektes sowie dessen Bewegungsrichtung ermitteln (Geschwindigkeitsvektor). Die Detektion eines vorgegebenen Geschwindigkeitsvektors kann dann, gegebenenfalls in Verbindung mit anderen Eigenschaften, wie Geometrie und Farbe oder Helligkeit (wobei hier nicht nur die Absolutwerte zu einer Erkennung führen können sondern ebenfalls deren dynamischer Verlauf) zu einer Klassifizierung solcher Objekte als szenenrelevant führen (Relevanzerkenner) oder aber als die Haupttiefe der Szene definierend (Tiefenerkenner).
Die binokulare Tiefeninformation (vgl. Tiefenmesser 750) ergibt sich mit der Berechnung der Disparitäten (vgl. 1). Je nach Koordinaten können horizontale Disparitäten (X-Achse) und/oder vertikale Disparitäten (Y-Achse) verwendet werden.
Wird für (im wesentlichen) jeden Bildpunkt (x, y) eine Tiefeninformation (vgl. T = f (x, y, D) berechnet, ergibt sich eine dichte Tiefenmatrix (bzw. Tiefenkarte, die gegebenenfalls auch angezeigt werden kann, beispielsweise in Form einer Graustufen oder Falschfarbendarstellung oder aber zur Erstellung von Tiefenhistogrammen dienen kann). Bei merkmalsbasierten Berechnungen der Tiefeninformation für lediglich gewisse Bildbereiche, Objekte und/oder Punkte eines Bildes wird hingegen Tiefeninformation erzeugt, die in nur einzelnen Bereichen vorliegt; die Tiefenmatrix weist also lediglich verstreute bzw. örtlich lokalisierte Tiefeninformationen auf.
Ein prinzipieller Ansatz zur automatisierten Erzeugung von Tiefenkarten, vorzugsweise dichten Tiefenkarten ist die Suche nach korrespondierenden Punkten in beiden Bildern des Stereobildpaares. Hierzu wird ein Bild (z.B. 1, 111) aus dem Stereobildpaar zur Referenz bestimmt und zu jedem Pixel der Referenz wird der korrespondierende Punkt aus dem anderen Bild (z.B. 112) gesucht. Dies kann beispielsweise aufgrund von spezifischen Eigenschaften des Bildpunktes, wie z.B. Farbe, Helligkeit, Sättigung und dergleichen erfolgen, wie auch aufgrund von Farb-, Helligkeits- und/oder Kontrastverlauf im Umfeld des Bildpunktes, Textur im Umfeld des Bildpunktes, Kontur- bzw. Musterverläufen im Umfeld des Bildpunktes und dergleichen. Darüber hinaus kann die Suche korrespondierender Punkte auch durch die schlichte Position des jeweiligen Bildpunktes im Bild unterstützt werden und darüber hinaus auch von Benutzereingaben.
Fehler bei der Suche korrespondierender Bildpunkte, beispielsweise aufgrund nicht eindeutiger Zuordenbarkeit der Bildpunkte einer Szene oder bei Verdeckungen in der stereoskopischen Szene können durch eine nachfolgende Plausibilitätsprüfung und gegebenenfalls -korrektur im wesentlichen ausgeglichen werden.
Zur automatisierten Ermittlung korrespondierender Bildpunkte müssen die linke und rechte Teilkamera L, R des stereoskopischen Kamerasystems 110 kalibriert sein, so dass die Abbildung des linken und rechten Bildes 111, 112 in ein gleiches geometrisches Koordinatensystem (x, y) überführt werden kann. Hierbei werden zunächst die Kameraparameter einmalig festgestellt; dann werden die linken und rechten Bilder 111, 112 kontinuierlich korrigiert um dann zur Korrespondenzsuche nur kalibrierte Bilder verwenden zu können. Zusätzlich zu einer Korrektur mit statischen Parametern kann eine Nachkorrektur mit einer dynamischen Kalibration angewandt werden, um Restungenauigkeiten auszugleichen und das Ergebnis der Kalibration verbessern. Als Maß für die Güte der Kalibration können die Ergebnisse der Suche korrespondierender Bildpunkte dienen, die bei genauerer Kalibration bessere Ergebnisse liefert. Hiermit lässt sich die dynamische Kalibration durch eine Rückkoppelung der Qualität der Ergebnisse der Suche korrespondierender Bildpunkte beeinflussen und, in gewissen Grenzen, weiter optimieren.
Bei den Modulen 760 zur Steuerung des Tiefeneindrucks gemäß den 7A und B ist durch TMAX symbolisch angegeben, dass die wahrnehmbare Tiefe, also die vom System angezeigte Tiefe der dargestellten Bilder optional auf einen Maximalwert eingestellt werden kann (sog. Tiefenbudget). Dieser Maximalwert kann entsprechend den Eigenschaften des verwendeten Monitors wie auch den Gewohnheiten des Betrachters und selbstverständlich auch anwendungsspezifisch eingestellt werden.
Die gestrichelten von den Modulen 760 gemäß den 7A und B ausgehenden Linien symbolisieren darüber hinaus die optionale Möglichkeit der Ausgabe von Steuerinformationen an das Kamerasystem. Einzelheiten dazu werden nachstehend in Zusammenhang mit 9 erläutert.
8 zeigt schematisch am Monitor 170 dargestellte Bilder bei einer weiteren Ausführungsform der Erfindung (dritter Aspekt). In den Bildern 811/812, die linkes und rechtes Bild in einer kombinierten Darstellung symbolisieren werden beispielsweise die Objekte 801 und 802 in normaler Schärfe und die Objekte 804 und 803 in verminderter Schärfe dargestellt. Anordnung der Objekte 801–804 in Tiefenrichtung entspricht dabei der der Objekte 101–104 gemäß den 1A und B. Zur Illustration der scharfen Darstellung verwendet 8 verschiedene Konturstärken. Die Darstellung in verminderter Schärfe ist das Ergebnis der oben beschriebenen Modifikation gemäß dem zweiten Aspekt der Erfindung. Gleichermaßen könnten die Objekte auch alternativ oder zusätzlich in anderer Weise Modifiziert dargestellt werden, beispielsweise durch eine Transformation der Objekte in die Monitorebene mittels Disparitätsminimierung gemäß dem ersten Aspekt der Erfindung.
Der optionale Sensor 890 befindet sich beispielsweise in der Nähe eines Monitors 170 eines Systems gemäß einem der beiden vorstehend beschriebenen Aspekte der Erfindung. der Sensor 890 beobachtet die Augen des Betrachters 880 kontinuierlich und vermisst Eigenschaften wie Augenposition bezüglich des Monitors, Stellung der Augen zueinander (Konvergenz), Blendenweite, der Brennweite (beispielsweise durch Bestimmung der Linsenkrümmung oder durch Refraktometrie), der Akkommodation, usw.
Der Erkennungsmodifikator 860, welcher innerhalb des Computers 100 realisiert sein kann, wertet diese Messergebnisse aus und bestimmt daraus Bildbereiche, die vom Betrachter beobachtet werden und gibt entsprechende Informationen an den Relevanzerkenner und/oder den Tiefenerkenner aus. Diese Bereiche können dann beispielsweise als szenenrelevant klassifiziert werden oder aber zumindest die zuvor beschriebene Klassifizierung als szenenrelevant oder nicht, beispielsweise durch eine Wichtung beeinflussen. Gleichermaßen könnte so auch eine Vorzugstiefe bestimmt werden, in die der Betrachter blickt und somit die Klassifizierung in Haupt- und Unterdrückungsbereich beeinflusst werden.
In beiden Fällen wird somit die Erstellung der Relevanz- bzw. Tiefenmatrix durch die vermessenen Parameter der Augen des Betrachters 880 dynamisch beeinflusst und, entsprechend erfolgt eine kontinuierliche und gegebenenfalls sich ständig dynamisch verändernde Erstellung der entsprechenden Matrizen. An dieser Stelle sei auch erwähnt, dass auch ohne den dritten Aspekt der Erfindung eine kontinuierliche und damit auch dynamische Erstellung der Relevanz- und/oder Tiefenmatrizen anhand der sich ständig ändernden Bilder der von der Kamera 110 aufgezeichneten Szene erfolgt.
Auf diese Weise werden bei dem dritten Aspekt der Erfindung in Kombination mit den restlichen Aspekten der Erfindung gewisse Bildbereiche gegenüber anderen Bildbereichen kontinuierlich „hervorgehoben“, nämlich in dem diese zu Hauptbereichen umklassifiziert werden, während andere Bereiche zu Unterdrückungsbereichen werden, wenn der Betrachter seinen Blick auf andere Bereiche des dargestellten Bildes richtet und somit eine Veränderung der vermessenen Parameter der Augen registriert wird.
Im Beispiel gemäß 8 hat der Sensor 890 festgestellt, dass der Betrachter 880 das Objekt 803 am rechten Bildrand betrachtet (Pfeilsymbol). Wie in einem Regelkreis wird diese Information vom Computer 100 verarbeitet und bei der Erstellung von Relevanz- und/oder Tiefenmatrix verwendet, so dass dieser Bildbereich beispielsweise als szenenrelevant klassifiziert wird, während die anderen Bereiche des Bildes, also auch die Objekte 801 und 802 nicht mehr in den szenenrelevanten Teil des Bildes fallen.
Auf dieser Basis wird das Bild anders modifiziert (Bild 811', 812') als zuvor (Bild 811, 812), so dass anstelle der optischen Bevorzugung der Objekte 801 und 802 in der Mitte des Bildes nun eine Bevorzugung des Objekts 803 am rechten Rand des Bildes erfolgt in dem dieses nun in normaler Schärfe dargestellt wird und, entsprechend die Objekte 801, 802, 804 in verminderter Schärfe. Gleichermaßen könnte auch eine Minimierung der Disparität des Objektes 803 erfolgen so dass dessen Disparität im wesentlichen verschwindet und damit eine Transformation des Objektes 803 in die Monitorebene, was gleichzeitig dazu führen würde, dass die restlichen Objekte 801, 802, 804 außerhalb der Monitorebene liegend dargestellt werden.
9 zeigt die Kameras 911, 912 in zwei alternativen Betriebsarten, wobei die Konvergenzebene 915 durch eine mechanische Verstellung der Kameraparameter der Teilkameras L, R verändert wird. Bei dieser Ausführungsform erfolgt beispielsweise eine Rückmeldung der Steuerung 760 gemäß den 7A und B direkt an das Kamerasystem, wodurch die Stellung der Teilkameras L, R zueinander mechanisch modifiziert wird, wie beispielsweise nachfolgend beschrieben.
Bei Kamera 911 ist der Konvergenzwinkel des Systems änderbar. Das entspricht in etwa Bewegungen der Augen zueinander im Rahmen des menschlichen Sehens. Bei der Beispielkamera für Endoskopie-Anwendungen (oder Mikroskopie-Anwendungen) kann die Kamera beispielsweise auch direkt vom Computer angesteuert werden. Bei Kamera 912 ist Abstand zwischen den Teilkameras L, R des Systems änderbar. Wie oben gezeigt, geht der Basisabstand (B) in die Berechnung der Disparitäten ein, so dass die Disparitäten und damit der Tiefeneindruck modifiziert werden, wenn der Basisabstand (B) verändert wird.
Die Prinzipien mechanischen Modifikation der Kameraparameter der Kameras 911 und 912 sind miteinander kombinierbar. Kann die mechanische Kameraanordnung nicht geändert werden, so kann – wie beschrieben – eine Regulierung der Konvergenzebene durch eine elektronische Bildverarbeitung. Die elektronische Bildverarbeitung erlaubt dabei eine Änderung der Disparitäten analog zu einer Änderung des Basisabstands B des stereoskopischen Kamerasystems 912 durch ein Verschieben der linken und rechten Bilder in horizontaler Richtung gegeneinander.
Zwar entstehen durch ein solches Verschieben Bereiche ohne stereoskopische Bildinformation (an den Bildrändern) bzw. Überlappungen, diese können aber entfernt werden und tragen somit nicht zur Anzeige auf dem Monitor bei.
10A und B zeigen Flussdiagramme von erfindungsgemäßen Verfahren zur Bildbearbeitung von digitalen Bildern oder Bildsequenzen eines stereoskopischen Kamerasystems gemäß dem ersten und zweiten Aspekt der Erfindung.
Gemäß 10A umfasst ein Verfahren 1000 zur Bearbeitung von digitalen Bildern 111, 112 eines stereoskopischen Kamerasystems 110 gemäß dem ersten Aspekt der Erfindung demnach die Schritte: Empfangen 1010 eines ersten Bildes 111 und eines zweiten Bildes 112 von zwei Teilkameras des stereoskopischen Kamerasystems 110, die Bilder 111, 112 jeweils mit Bild-Koordinaten (x, y), die Bilder 111, 112 mit Darstellungen von Bildelementen 101, 102, 103, 104, die sich im Aufzeichnungsbereich des stereoskopischen Kamerasystems 110 befinden, Ermitteln von Disparitäten D gleicher Bildelemente 101, 102, 103, 104 zwischen dem ersten Bild 111 und dem zweiten Bild 112, Bestimmung 1080 eines Relevanzbereichs 128 mit Bezug auf die Bilder 111, 112 und Bestimmung 1085 einer Disparitätsdifferenz Δx mit Bezug auf die innerhalb des Relevanzbereiches 128 vorhandenen Disparitäten D, und Verschieben 1090 des ersten Bildes 111 und zweiten Bildes 112 gegeneinander um das Inverse der Disparitätsdifferenz Δx und hieraus Erzeugung eines ersten modifizierten Bildes 141 und eines zweiten modifizierten Bildes 142.
Gemäß 10B umfasst ein Verfahren 1000 zur Bearbeitung von digitalen Bildern 111, 112 eines stereoskopischen Kamerasystems 110 gemäß dem zweiten Aspekt der Erfindung demnach die Schritte: Empfangen 1010 eines ersten Bildes 111 und eines zweiten Bildes 112 von zwei Teilkameras des stereoskopischen Kamerasystems 110, die Bilder 111, 112 jeweils mit Bildkoordinaten (x, y), die Bilder 111, 112 mit Darstellungen von Bildelementen 101, 102, 103, 104, die sich im Aufzeichnungsbereich des stereoskopischen Kamerasystems 110 befinden, Ermitteln 1020 von Disparitäten D gleicher Bildelemente 101, 102, 103, 104 zwischen dem ersten Bild 111 und dem zweiten Bild 112 zur Ermittlung von Abständen z1, z2, z4, z4 der Bildelemente 101, 102, 103, 104 zum stereoskopischen Kamerasystem 110, Bestimmung eines Disparitätsbereichs [Dmax, Dmin] auf der Grundlage eines Vorzugsabstandsbereichs [ZminA, ZmaxA] zum stereoskopischen Kamerasystem 110 und bestimmen 1030 wenigstens eines Komplementärbereichs 122 mit Bezug auf die Bilder 111, 112 in welchem die Disparität D von Bildelementen 103, 104 außerhalb des Disparitätsbereichs [Dmax, Dmin] liegt, Modifizieren 1040 von Bereichen des ersten Bildes 111 und des zweiten Bildes 112 welche dem Komplementärbereich oder den Komplementärbereichen 122 zumindest verstärkt zugeordnet sind zur Erzeugung eines ersten modifizierten Bildes 131 und eines zweiten modifizierten Bildes 132.
Vorzugsweise werden das erste und zweite modifizierte Bild 131, 132 bzw. 141, 142 auf einem stereoskopischen Anzeigesystem 170 zur Erzeugung einer stereoskopischen Darstellung für einen Betrachter 880 ausgegeben.
11 zeigt eine Übersicht über eine mögliche Verbindung sämtlicher zuvor beschriebener Aspekte der vorliegenden Erfindung zur Optimierung der stereoskopischen Darstellung von Bildern oder Bildsequenzen. Die Zeichnung verwendet symbolische Elemente, die mit Bezug zu den 1 bis 10 bereits beschrieben worden sind.
Unter der Annahme, dass eine Bestimmung eines Relevanzbereichs bereits erfolgt ist – gezeigt durch die Strich-Punkt-Linie im obersten Element der 11 innerhalb der Bilder R/L (1100, mit Objekt 2 im relevanten Bereich) erfolgt nach dem ersten Aspekt der Erfindung eine Disparitätsminimierung (1101) den Relevanzbereich, wobei, wie gezeigt, Objekt 2 aufgrund nullnormierter Disparität (zweites Element von Oben der 11) in der Bildwiedergabeebene des Monitors dargestellt werden würde, d.h. es erfolgt eine Transformation des Objektes 2 in die Bildwiedergabeebene. Der Betrachter kann somit die Augen auf die Bildwiedergabeebene des Monitors scharf gestellt und konvergiert lassen und nimmt in dieser gleichzeitig das Objekt 2 scharf und ohne ein möglicherweise verwirrende Abweichung in der Tiefe hiervon wahr.
Zusätzlich kann der Betrachter weiter entlastet werden, nach Maßnahmen des zweien Aspekts der Erfindung indem eine der Veränderung des Tiefeneindrucks durch ein modifizieren gewisser Bereiche des dargestellten Bildes erfolgt bzw. möglicherweise exzessive Tiefeninformationen eliminiert werden (1102). Anhand des zuvor bestimmten Relevanzbereiches bestimmt das System einen bevorzugten Tiefenbereich und damit Hauptbereich, welcher für den vorliegenden Fall das Objekt 2 und das Objekt 1 enthält. Der bevorzugte Tiefenbereich kann dabei anhand eines Modells des menschlichen Sehens ermittelt werden und beispielsweise einen Bereich umfassen, der etwa dem Panum-Areal entspricht, dass ein menschlicher Betrachter der Szene am Ort der Kamera hätte, wenn dieser auf das Objekt 2 fokussieren und konvergieren würde. Bereiche außerhalb des Hauptbereiches könnten dann als Komplementärbereiche definiert werden, welche für eine weitere Verarbeitung durch eine Bildmodifikation herangezogen würden, beispielsweise durch ein Unschärfen und Abdunkeln.
Die Darstellung der Szene kann für den Betrachter des Monitorbildes weiter optimiert werden, beispielsweise durch Anwendung des dritten Aspekts der Erfindung bei dem – vereinfacht ausgedrückt – der Blick des Benutzers die Anwendung von Bildmodifikationen gemäß dem ersten und dem zweiten Aspekt verändert (1103). Im Beispiel wendet der Betrachter seine Aufmerksamkeit dem Objekt 3 zu (rechts am Rand), wodurch der Bildverarbeitungscomputer dynamisch die Anwendung der Disparitätsminimierung und der Bildmodifikation auf den neuen Relevanzbereich umstellt (indem dieser neu definiert wird) und fortan das Objekt 3 in Bildwiedergabeebene des Monitors transformiert. Eine Umstellung der Bildmodifikation durch eine Anpassung bzw. Neudefinition des bevorzugten Tiefenbereichs bzw. Hauptbereichs kann dann gleichermaßen erfolgen.
Wie zuvor bereits erwähnt, kann die Erfindung ebenso mit einer geeigneten elektronischen Schaltung implementiert werden, wenngleich zumindest die teilweise Implementierung mittels eines Bildverarbeitungscomputers als vorteilhaft erscheint. Eine dementsprechende elektronische Schaltung enthält Module, die die Funktionen bzw. Verfahrensschritte der in 1A und B und 7A und B gezeigten Module ausführen (wie beispielsweise den Relevanzerkenner, Disparitätsschieber, Tiefenerkenner, Bereichsmodifikator, oder auch die Bildung der Relevanzmatrix und der Tiefenmatrix bzw. der Tiefenkarte). Die Schaltung kann beispielsweise als Field Programmable Gate Array (FPGA) oder als anwendungsspezifische integrierte Schaltung (ASIC) ausgeführt sein. Die Vorteile der Parallelverarbeitung von Daten kommen bei solchen Ausführungen besonders zu Tragen, da hierdurch eine online-Bearbeitung auch großer Datenmengen vereinfacht ermöglicht wird, wie diese beispielsweise bei der Verwendung von HD-(high-definition)-Videokameras anfallen. Solche Implementierungen eignen sich darüber hinaus auch für Anwendungen bei denen Berechnungen nicht mit den für die Videodarstellung häufig verwendeten 25 fps (frames per second) erfolgen sondern mit deutlich höheren Bildwiederholraten, wie beispielsweise 100 oder auch 1000 fps.
Die im Rahmen der vorstehenden Beschreibung beschriebenen Merkmale der einzelnen Aspekte der Erfindung wurden hier in der gebotenen Kürze und zum Teil nicht in allen denkbaren Kombinationsmöglichkeiten beschrieben. Weitere Kombinationsmöglichkeiten, durch die weitere Ausführungsformen der Erfindung realisiert werden, die vorstehend nicht im einzelnen beschrieben sind aber gleichwohl ausdrücklich auch als mit dieser Beschreibung mit offenbart anzusehen, da sie sich für den Fachmann aufgrund der vorstehenden Beschreibung gleichermaßen ergeben.

Claims

Verfahren (1000) zur Bearbeitung von digitalen Bildern (111, 112) eines stereoskopischen Kamerasystems (110), das Verfahren mit den folgenden Schritten: Empfangen (1010) eines ersten Bildes (111) und eines zweiten Bildes (112) von zwei Teilkameras des stereoskopischen Kamerasystems (110), die Bilder (111, 112) jeweils mit Bild-Koordinaten (x, y), die Bilder (111, 112) mit Darstellungen von Bildelementen (101, 102, 103, 104), die sich im Aufzeichnungsbereich des stereoskopischen Kamerasystems (110) befinden; Ermitteln von Disparitäten (D) gleicher Bildelemente (101, 102, 103, 104) zwischen dem ersten Bild (111) und dem zweiten Bild (112); Bestimmung (1080) wenigstens eines Relevanzbereichs (128) mit Bezug auf die Bilder (111, 112) und Bestimmung (1085) einer Disparitätsdifferenz (Δx) mit Bezug auf die innerhalb des oder der Relevanzbereiche (128) vorhandenen Disparitäten (D) Verschieben (1090) des ersten Bildes (111) und zweiten Bildes (112) gegeneinander um das Inverse der Disparitätsdifferenz (Δx) und hieraus Erzeugung eines ersten modifizierten Bildes (141) und eines zweiten modifizierten Bildes (142); Ausgeben des ersten und zweiten modifizierten Bildes (141, 142) auf einem stereoskopischen Anzeigesystem (170) zur Erzeugung einer stereoskopischen Darstellung.
Verfahren gemäß Anspruch 1, wobei die Bestimmung des wenigstens einen Relevanzbereichs (128) die Bestimmung einer Matrix (185) mit Matrixelementen (R) umfasst, wobei die Matrixelemente (R) eine Funktion zumindest der Bildkoordinaten (x, y) der Bilder (111, 112) sind, und wobei den Matrixelementen (R) Werte zugeordnet werden, die für eine verstärkte Zuordnung zu dem wenigstens einen Relevanzbereich (128) kennzeichnend sind, wenn ein Bereich (oder mehrere Bereiche) innerhalb der Bilder (111, 112) als relevant klassifiziert wird.
Verfahren gemäß Anspruch 1 oder 2, wobei wenigstens ein Bereich innerhalb der Bilder (111, 112) als relevant klassifiziert wird, wenn Bildelemente (101, 102) innerhalb dieses Bereichs eine Disparität (D) innerhalb eines vorgegebenen Disparitätsbereichs [Dmax, Dmin] aufweisen und/oder eine vorgegebene Helligkeit, Dynamik, Kontrast, Färbung, Sättigung, Geometrie, Textur, Form und/oder dergleichen aufweisen und/oder einen vorgegebenen zeitlichen Verlauf von Helligkeit, Dynamik, Kontrast, Färbung, Sättigung, Geometrie, Textur, Form und/oder die Bildelemente (101, 102) einen vorgegebenen zeitlichen Verlauf hinsichtlich ihrer Weltkoordinaten innerhalb der Bilder (111, 112) aufweisen.
Verfahren gemäß einem der Ansprüche 1 bis 3, wobei ein vorgegebener Mittenbereich innerhalb eines Bildes als relevant klassifiziert wird, der mehr als 50%, oder mehr als 60%, oder mehr als 70%, oder mehr als 75%, oder mehr als 80%, oder mehr als 85%, oder mehr als 90%, oder mehr als 95% der Fläche der Bilder (111, 112) beträgt.
Verfahren (1000) zur Bearbeitung von digitalen Bildern (111, 112) eines stereoskopischen Kamerasystems (110), das Verfahren mit den folgenden Schritten: Empfangen (1010) eines ersten Bildes (111) und eines zweiten Bildes (112) von zwei Teilkameras des stereoskopischen Kamerasystems (110), die Bilder (111, 112) jeweils mit Bildkoordinaten (x, y), die Bilder (111, 112) mit Darstellungen von Bildelementen (101, 102, 103, 104), die sich im Aufzeichnungsbereich des stereoskopischen Kamerasystems (110) befinden; Ermitteln (1020) von Disparitäten (D) gleicher Bildelemente (101, 102, 103, 104) zwischen dem ersten Bild (111) und dem zweiten Bild (112) zur Ermittlung von Abständen (z1, z2, z4, z4) der Bildelemente (101, 102, 103, 104) zum stereoskopischen Kamerasystem (110); Bestimmung eines Disparitätsbereichs [Dmax, Dmin] auf der Grundlage eines Vorzugsabstandsbereichs [ZminA, ZmaxA] zum stereoskopischen Kamerasystem (110) und bestimmen (1030) wenigstens eines Komplementärbereichs (122) mit Bezug auf die Bilder (111, 112) in welchem die Disparität (D) von Bildelementen (103, 104) außerhalb des Disparitätsbereichs [Dmax, Dmin] liegt; Modifizieren (1040) von Bereichen des ersten Bildes (111) und des zweiten Bildes (112) welche dem Komplementärbereich oder den Komplementärbereichen (122) zumindest verstärkt zugeordnet sind zur Erzeugung eines ersten modifizierten Bildes (131) und eines zweiten modifizierten Bildes (132); Ausgeben des ersten und zweiten modifizierten Bildes (131, 132) auf einem stereoskopischen Anzeigesystem (170) zur Erzeugung einer stereoskopischen Darstellung.
Verfahren gemäß Anspruch 7, wobei die Bestimmung des wenigstens einen Komplementärbereichs (122) die Bestimmung einer Matrix (120) mit Matrixelementen (T) umfasst, wobei die Matrixelemente (T) eine Funktion zumindest der Bildkoordinaten (x, y) der Bilder (111, 112) sind, und wobei den Matrixelementen (T) Werte zugeordnet werden, die für eine verstärkte Zuordnung zu dem wenigstens einen Komplementärbereich (122) kennzeichnend sind, wenn die Disparität (D) der Bildelemente (103, 104) im Bereich der Bildkoordinaten (x, y) außerhalb des Disparitätsbereichs [Dmax, Dmin] liegt und/oder die Bildelemente (103, 104) eine vorgegebene Helligkeit, Dynamik, Kontrast, Färbung, Sättigung, Geometrie, Textur, Form und/oder dergleichen aufweisen und/oder einen vorgegebenen zeitlichen Verlauf von Helligkeit, Dynamik, Kontrast, Färbung, Sättigung, Geometrie, Textur, Form und/oder die Bildelemente (103, 104) einen vorgegebenen zeitlichen Verlauf hinsichtlich ihrer Weltkoordinaten innerhalb der Bilder (111, 112) aufweisen.
Verfahren gemäß einem der Ansprüche 5 oder 6, wobei das Modifizieren (1040) wenigstens eine technische Maßnahmen umfasst, die beim Betrachter (880) die Wahrnehmung der Bildelemente (103, 104) vermindert und insbesondere eine Maßnahme umfasst, die aus einer Gruppe ausgewählt ist, die eine Veränderung der Helligkeit, der Belichtung, insbesondere ein Abdunkeln, eine Abschattung, eine Veränderung der Schärfe, insbesondere ein Weichzeichnen und/oder Unschärfen, eine Veränderung des Kontrasts, insbesondere eine Kontrastverringerung, eine Veränderung der Dynamik, Farbe, Sättigung und/oder ein Verschleiern enthält.
Verfahren gemäß einem der vorhergehenden Ansprüche, wobei ein im wesentlichen zeitgleiches Empfangen (1010) und Modifizieren (1040, 1090) der Bilder (111, 112) erfolgt.
Verfahren gemäß einem der vorhergehenden Ansprüche, wobei das Verfahren auf eine kontinuierliche Folge von Bildern (111, 112) angewendet wird und insbesondere auf Bilder (111, 112) von stereoskopischen Videokameras zur im wesentlichen zeitgleichen Ausgabe der modifizierten Bilder (131, 132; 141, 142).
Verfahren gemäß einem der vorhergehenden Ansprüche, wobei die Augen eines Betrachters (880) des stereoskopischen Anzeigesystems (170) durch wenigstens einen Sensor (890) kontinuierlich hinsichtlich Position bezüglich des Anzeigesystems (170), Stellung zueinander (Konvergenz), Blendenweite (Irisstellung), Brennweite, Akkommodation und/oder dergleichen vermessen werden um die vom Betrachter (880) betrachteten Bereiche der Bilddarstellung des Anzeigesystems (170) zu erfassen und die betrachteten Bereiche der Bilddarstellung verstärkend zur Klassifizierung als Relevanzbereich (128) und/oder zur Bestimmung des Vorzugsabstandsbereiches beitragen.
Verfahren gemäß einem der Ansprüche 2 bis 4 und 6 bis 10, wobei die Werte der Matrixelemente (T, R) direkt proportional zu Zahlenwerten zwischen 0 und 1, einschließlich, sind und der Wert eines Matrixelementes eine Wichtung der Zuordnung eine Bildkoordinate (x, y) zum Relevanzbereich bzw. Komplementärbereich angibt.
Ein Bildbearbeitungssystem (100) zur Bearbeitung von digitalen Bildern (111, 112) eines stereoskopischen Kamerasystems (110), bei dem erste und zweite Bilder (111, 112) von zwei Teilkameras des stereoskopischen Kamerasystems (110) unter Erstellung erster und zweiter modifizierter Bilder (141, 142) modifiziert werden, die Bilder (111, 112) jeweils mit Bildkoordinaten (x, y), die Bilder (111, 112) mit Darstellungen von Bildelementen (101, 102, 103, 104), die sich im Aufzeichnungsbereich des stereoskopischen Kamerasystems (110) befinden, gekennzeichnet durch wenigstens einen Disparitätsschieber (190), der die Bilder (111, 112) um das Inverse einer ermittelten Disparitätsdifferenz (Δx) zwischen Bildelementen (101, 102) innerhalb eines mittels eines Relevanzerkenners (180) ermittelten Relevanzbereiches (128) der Bilder (111, 112) so gegeneinander verschiebt, dass die Disparitätsdifferenz (Δx) zwischen den Bildelementen (101, 102) der modifizierten Bilder (141, 142) vermindert, vorzugsweise minimiert und bevorzugt 0 ist.
Ein Bildbearbeitungssystem (100) zur Bearbeitung von digitalen Bildern (111, 112) eines stereoskopischen Kamerasystems (110), bei dem erste und zweite Bilder (111, 112) von zwei Teilkameras des stereoskopischen Kamerasystems (110) unter Erstellung erster und zweiter modifizierter Bilder (131, 132) modifiziert werden, die Bilder (111, 112) jeweils mit Bildkoordinaten (x, y), die Bilder (111, 112) mit Darstellungen von Bildelementen (101, 102, 103, 104), die sich im Aufzeichnungsbereich des stereoskopischen Kamerasystems (110) befinden, gekennzeichnet durch einen Tiefenerkenner (150), der die räumliche Tiefe (z) der in den Bildern (111, 112) enthaltenen Bildelementen (101, 102, 103, 104) ermittelt und Bildelementen (103, 104), die außerhalb eines Vorzugstiefenbereichs [ZminA, ZmaxA] liegen durch einen Bereichsmodifikator (160) so modifiziert, dass die stereoskopisch wahrnehmbare Tiefeninformation der Bildelemente (103, 104) innerhalb der modifizierten Bilder (131, 132) vermindert ist.
Ein Bildbearbeitungssystem (100) gemäß einem der Ansprüche 12 oder 13, gekennzeichnet durch wenigstens einen Sensor (890) zur kontinuierlichen Vermessung der Augen eines Betrachters (880) eines stereoskopischen Anzeigesystems (170) hinsichtlich Position bezüglich des Anzeigesystems (170), Stellung zueinander (Konvergenz), Blendenweite (Irisstellung), Brennweite, Akkommodation und/oder dergleichen und wenigstens einen Erkennungsmodifikator (860) zur Beeinflussung des Relevanzerkenners (180) und/oder Tiefenerkenners (150), um die vom Betrachter (880) betrachteten Bereiche der Bilddarstellung des Anzeigesystems (170) verstärkend zur Klassifizierung als Relevanzbereich (128) und/oder zur Bestimmung des Vorzugsabstandsbereiches beitragen zu lassen.