-
Die Erfindung betrifft ein Bildaufnahmesystem und ein Verfahren zum Aufnehmen von Bildern.
-
Stand der Technik
-
Eine Vielzahl von Bildaufnahmesystemen, bei denen mehrere Bild-Sensoren verwendet werden, ist bekannt. So wird beispielsweise ein Monochrom-Sensor und ein Farb-Sensor für Luftaufnahmen mit einem Flugzeug verwendet. Der Monochrom-Sensor hat üblicherweise eine höhere Auflösung als der Farb-Sensor. Die Farbinformationen des Farb-Sensors können mit den Informationen des Monochrom-Sensors verrechnet werden, wodurch ein hochauflösendes farbiges Bild erzeugt werden kann.
-
Bei Unterwasseraufnahmen befindet sich das Objekt viel näher an dem Bildaufnahmesystem als bei Luftaufnahmen aus einem Flugzeug (z.B. aus 500 m Höhe), so dass eine Parallaxe zwischen den verschiedenen Bild-Sensoren existiert. Dies kann dazu führen, dass die Kombination bzw. Verrechnung der Informationen des Farb-Sensors mit den Informationen des Monochrom-Sensors zu einer falschen Zuordnung der jeweiligen Pixel bzw. unzutreffenden Zuordnung führt, da eine Verschiebung bzw. ein Shift aufgrund der unterschiedlichen Positionen der beiden Sensoren vorhanden ist. Dies bedeutet, dass aufgrund der Parallaxe die jeweilige erfasste Farbe den falschen Pixeln des Monochrom-Sensors zugeordnet wird.
-
Offenbarung der Erfindung
-
Der Erfindung liegt die Aufgabe zu Grunde, ein Bildaufnahmesystem bzw. ein Verfahren zum Aufnehmen von Bildern aufzuzeigen, mittels dem ein Bild eines Objekts basierend auf mehreren Bild-Sensoren ohne Parallaxenfehler erzeugt werden kann.
-
Diese Aufgabe wird durch ein Bildaufnahmesystem gemäß Anspruch 1 und ein Verfahren zum Aufnehmen von Bildern gemäß Anspruch 10 gelöst.
-
Insbesondere wird die Aufgabe durch ein Bildaufnahmesystem, insbesondere ein Unterwasserbildaufnahmesystem, zum Aufnehmen von Bildern eines Objekts gelöst, wobei das Bildaufnahmesystem folgendes umfasst: zwei Hochauflösungs-Sensoren und einen Zusatz-Sensor, wobei die zwei Hochauflösungs-Sensoren jeweils ein höheres Auflösungsvermögen aufweisen als der Zusatz-Sensor, wobei die Hochauflösungs-Sensoren und der Zusatz-Sensor im Wesentlichen in einer Ebene angeordnet sind, und eine Berechnungsvorrichtung zum Berechnen einer Parallaxe zwischen den Hochauflösungs-Sensoren und dem Zusatz-Sensor zum verbesserten Zuordnen der Informationen des Zusatz-Sensors zu den Informationen der Hochauflösungs-Sensoren.
-
Ein Vorteil hiervon ist, dass eine Parallaxe bei der Zuordnung der Informationen des Zusatz-Sensors zu den Informationen der Hochauflösungs-Sensoren berücksichtigt wird bzw. werden kann. Somit wird eine fehlerhafte Zuordnung von Informationen des Zusatz-Sensors zu den Informationen der Hochauflösungs-Sensoren verhindert bzw. stark verringert. Folglich wird die Exaktheit der Wiedergabe des Objekts auf dem durch das Bildaufnahmesystem erzeugten Bild erhöht. Zudem kann das Bildaufnahmesystem technisch einfach aufgebaut und kompakt sein. Auch ist eine 3D Rekonstruktion (tatsächliche Größe und Entfernung) des Objekts möglich.
-
Insbesondere wird die Aufgabe auch durch ein Verfahren zum Aufnehmen von Bildern eines Objekts, insbesondere mittels eines Bildaufnahmesystems nach einem der vorhergehenden Ansprüche, gelöst, wobei das Verfahren folgende Schritte umfasst: Aufnehmen von Bildern des Objekts mittels zweier Hochauflösungs-Sensoren und einem Zusatz-Sensor, wobei die zwei Hochauflösungs-Sensoren und der Zusatz-Sensor in einer Ebene angeordnet sind; Berechnen einer Parallaxe zwischen den Hochauflösungs-Sensoren und dem Zusatz-Sensor auf Grundlage der aufgenommenen Bilder der zwei Hochauflösungs-Sensoren; und Zuordnen der Information des Zusatz-Sensors zu einem Bild der Hochauflösungs-Sensoren oder einem berechneten Zwischenbild der Bilder der Hochauflösungs-Sensoren unter Berücksichtigung der berechneten Parallaxe.
-
Vorteilhaft an diesem Verfahren ist, dass eine Parallaxe bzw. Verschiebung bei der Zuordnung der Informationen des Zusatz-Sensors zu den Informationen der Hochauflösungs-Sensoren berücksichtigt wird. Dadurch wird eine unzutreffende Zuordnung der Informationen der Sensoren zueinander technisch einfach verhindert. Dies führt in der Folge zu einer besonders originalgetreuen Wiedergabe des Objekts. Auch wird bei diesem Verfahren nur eine geringe Rechenleistung benötigt. Auch ist eine 3D Rekonstruktion (tatsächliche Größe und Entfernung) des Objekts möglich.
-
Gemäß einer Ausführungsform des Bildaufnahmesystems ist der Zusatz-Sensor zwischen den Hochauflösungs-Sensoren angeordnet.
-
Mit anderen Worten können die Hochauflösungs-Sensoren am Rand angeordnet sein und der Zusatz-Sensor weiter entfernt vom Rand angeordnet sein.
-
Hierdurch wird die Genauigkeit bzw. Zuverlässigkeit der Zuordnung der Informationen des Zusatz-Sensors zu den Informationen von dem Hochauflösungs-Sensor bzw. den Hochauflösungs-Sensoren verbessert, da die Parallaxe besonders genau bestimmt werden kann.
-
Gemäß einer Ausführungsform des Bildaufnahmesystems sind der Zusatz-Sensor und die Hochauflösungs-Sensoren im Wesentlichen entlang einer gedachten Gerade angeordnet.
-
Mit anderen Worten können die Sensoren auf einer Geraden angeordnet sein, so dass im Wesentlichen kein seitlicher Versatz der Sensoren zueinander vorhanden ist.
-
Vorteilhaft hieran ist, dass die Parallaxe besonders präzise bestimmt werden kann, so dass die Informationen des Zusatz-Sensors besonders zuverlässig den Informationen der Hochauflösungs-Sensoren zugeordnet werden können.
-
Gemäß einer Ausführungsform des Bildaufnahmesystems ist der Zusatz-Sensor mittig zwischen den Hochauflösungs-Sensoren angeordnet.
-
Mit anderen Worten kann der Abstand von dem Zusatz-Sensor zu einem ersten Hochauflösungs-Sensor im Wesentlichen dem Abstand von dem Zusatz-Sensor zu einem zweiten Hochauflösungs-Sensor entsprechen.
-
Durch die mittige Anordnung kann die Parallaxe noch genauer bestimmt werden, so dass die Informationen der verschiedenen Sensoren noch präziser bzw. mit weniger Fehlern einander zugeordnet werden können.
-
Gemäß einer Ausführungsform des Bildaufnahmesystems ist der Zusatz-Sensor ein Farb-Sensor ist, insbesondere ist der Zusatz-Sensor ein Farb-Sensor umfassend ein Bayermuster.
-
Mit anderen Worten kann mittels des Zusatz-Sensors ein farbiges Bild des Objekts aufgenommen werden.
-
Vorteilhaft hieran ist, dass ein Bild mit sehr vielen Informationen durch das Bildaufnahmesystem erzeugt werden kann.
-
Gemäß einer Ausführungsform des Bildaufnahmesystems umfasst der Zusatz-Sensor mehrere Monochromsensoren, wobei zwischen den mehreren Monochromsensoren und dem Objekt zueinander unterschiedliche Farbfilter derart angeordnet sind, dass die mehreren Monochromsensoren Licht unterschiedlicher Farben erfassen.
-
Mit anderen Worten kann der Zusatz-Sensor selbst wiederum mehrere Monochromsensoren aufweisen, die mittels Farbfiltern unterschiedliche Farbinformationen aufzeichnen.
-
Vorteilhaft hieran ist, dass das Bildaufnahmesystem besonders kostengünstig ausgebildet sein kann. Zudem kann der Zusatz-Sensor auf diese Weise eine besonders hohe Auflösung aufweisen. Dies erhöht die Qualität der Zuordnung der Informationen des Zusatz-Sensors zu den Informationen des Hochauflösungs-Sensors.
-
Gemäß einer Ausführungsform des Bildaufnahmesystems ist das Bildaufnahmesystem ein Unterwasserbildaufnahmesystem zum Aufnehmen von Objekten unter Wasser, wobei das Bildaufnahmesystem ferner einen Salzgehaltsensor zum Bestimmen der Brechzahl des Wassers basierend auf einem Salzgehalt des Wassers umfasst, wobei die Berechnungsvorrichtung zum Berechnen einer Tiefen- und/oder Größeninformation der Objekte ausgebildet ist, wobei die Berechnungsvorrichtung zum Berücksichtigen der auf Grundlage des Salzgehalts bestimmten Brechzahl des Wassers beim Berechnen der Tiefen- und/oder Größeninformation der Objekte ausgebildet ist.
-
Mit anderen Worten kann das Bildaufnahmesystem die Brechzahl des Wassers abhängig vom Salzgehalt bestimmen.
-
Hierdurch kann die Tiefen- und Größeninformation, die aus der Parallaxe berechnet wird, mit höherer Präzision bestimmt werden, da die Brechzahl des Wassers, die in diese Berechnung eingeht, üblicherweise stark vom Salzgehalt des Wassers abhängt. Somit steigt die Qualität des von dem Bildaufnahmesystem erzeugten Bilds.
-
Gemäß einer Ausführungsform des Bildaufnahmesystems ist das Bildaufnahmesystem ein Unterwasserbildaufnahmesystem zum Aufnehmen von Objekten unter Wasser, wobei das Bildaufnahmesystem ferner einen Drucksensor zum Bestimmen der Brechzahl des Wassers basierend auf einem Druck des Wassers und/oder einen Temperatursensor zum Bestimmen der Brechzahl des Wassers basierend auf einer Temperatur des Wassers umfasst. wobei die Berechnungsvorrichtung zum Bestimmen einer Tiefen- und/oder Größeninformation der Objekte ausgebildet ist, wobei die Berechnungsvorrichtung zum Berücksichtigen der durch den Drucksensor und/oder durch den Temperatursensor bestimmten Brechzahl des Wassers beim Bestimmen der Tiefen- und/oder Größeninformation der Objekte ausgebildet ist.
-
Mit anderen Worten kann das Bildaufnahmesystem den Druck und/oder die Temperatur des Wassers und hierdurch die Brechzahl des Wassers bestimmen.
-
Hierdurch kann die Tiefen- und Größeninformation, die aus der Parallaxe berechnet wird, mit höherer Präzision bestimmt werden, da die Brechzahl des Wassers, die in diese Berechnung eingeht, üblicherweise von der Temperatur und dem Druck des Wassers abhängt. Somit steigt die Qualität des von dem Bildaufnahmesystem erzeugten Bilds.
-
Gemäß einer Ausführungsform des Bildaufnahmesystems ist bei zumindest zwei der Sensoren, insbesondere bei den drei Sensoren, zueinander im Wesentlichen baugleiche Objektive mit gleicher Brennweite zwischen dem Objekt und dem jeweiligen Sensor angeordnet.
-
Mit anderen Worten kann das Bildaufnahmesystem viele baugleiche Elemente umfassen.
-
Vorteilhaft hieran ist, dass das Bildaufnahmesystem technisch besonders einfach aufgebaut ist. Zudem wird hierdurch sichergestellt, dass die Bild-Sensoren die gleichen Inhomogenitäten bzw. Fertigungstoleranzen aufweisen. Auf diese Weise ist die Zuordnung der Informationen der Bild-Sensoren noch präziser.
-
Gemäß einer Ausführungsform des Verfahrens ist der Zusatz-Sensor zwischen den Hochauflösungs-Sensoren angeordnet.
-
Mit anderen Worten kann bei dem Verfahren der Zusatz-Sensor in einem Bereich angeordnet sein, der sich zwischen den Hochauflösungs-Sensoren erstreckt.
-
Ein Vorteil dieses Verfahrens ist, dass die Zuverlässigkeit bzw. Präzision der der Zuordnung der Informationen des Zusatz-Sensors zu den Informationen von dem Hochauflösungs-Sensor bzw. den Hochauflösungs-Sensoren verbessert wird, da die Parallaxe besonders genau bestimmt werden kann.
-
Gemäß einer Ausführungsform des Verfahrens ist der Zusatz-Sensor ein Farb-Sensor, insbesondere ist der Zusatz-Sensor ein Farb-Sensor umfassend ein Bayermuster.
-
Mit anderen Worten kann der Zusatz-Sensor ein Farbbild des Objekts erzeugen.
-
Ein Vorteil dieses Verfahrens ist, dass ein Bild mit einem sehr hohen Informationsgrad technisch einfach erzeugt werden kann.
-
Gemäß einer Ausführungsform des Verfahrens umfasst der Zusatz-Sensor mehrere Monochromsensoren, wobei zwischen den Monochromsensoren und dem Objekt zueinander unterschiedliche Farbfilter derart angeordnet sind, dass die mehreren Monochromsensoren Licht unterschiedlicher Farben erfassen.
-
Mit anderen Worten kann bei diesem Verfahren ein Zusatz-Sensor verwendet werden, die wiederum mehrere Schwarz-Weiß-Sensoren aufweist, wobei die mehreren Schwarz-Weiß-Sensoren unterschiedliche Farben erfassen.
-
Ein Vorteil hiervon ist, dass das Verfahren ein besonders kostengünstiges Bildaufnahmesystem verwenden kann. Darüber hinaus kann mittels dieses Verfahrens der Zusatz-Sensor ein Bild mit einer hohen Auflösung erzeugen. Hierdurch kann die Zuordnung der Informationen des Zusatz-Sensors zu den Informationen des Hochauflösungs-Sensors weiter verbessert werden.
-
Gemäß einer Ausführungsform des Verfahrens ist das Objekt unter Wasser angeordnet, und das Verfahren umfasst ferner folgende Schritte: Bestimmen einer Brechzahl des Wassers basierend auf einem Salzgehalt des Wassers, und Bestimmen der Tiefen- und/oder Größeninformation der Objekte, wobei die bestimmte Brechzahl des Wassers beim Bestimmen der Tiefen- und/oder Größeninformation der Objekte berücksichtigt wird.
-
Mit anderen Worten kann bei diesem Verfahren die vom Salzgehalt des Wassers abhängige Brechzahl bestimmt werden.
-
Ein Vorteil hiervon ist, dass die Parallaxe besser bestimmt werden kann und somit die Zuordnung der Informationen der verschiedenen Sensoren mit besonders hoher Präzision durchgeführt werden kann.
-
Gemäß einer Ausführungsform des Verfahrens ist das Objekt unter Wasser angeordnet, und das Verfahren umfasst ferner den Schritt des Bestimmens der Tiefen- und/oder Größeninformation der Objekte, und ferner folgenden Schritt: Bestimmen einer Brechzahl des Wassers basierend auf einem gemessenen Druck des Wassers und/oder Bestimmen einer Brechzahl des Wassers basierend auf einer gemessenen Temperatur des Wassers, wobei die bestimmte Brechzahl des Wassers beim Bestimmen der Tiefen- und/oder Größeninformation berücksichtigt wird.
-
Mit anderen Worten kann bei dem Verfahren die Brechzahl, die geringfügig von der Temperatur und dem Druck des Wassers abhängig ist, bestimmt werden.
-
Ein Vorteil hiervon ist, dass die Tiefen- und Größeninformation, die aus der Parallaxe berechnet wird, mit höherer Präzision bestimmt werden kann.
-
Das Bildaufnahmesystem bzw. das Verfahren kann zum Erzeugen von Bildern unter Wasser bzw. in Wasser ausgebildet sein. Hierzu kann eine Ausgangslinse vorhanden sein, die gegen Wasser gerechnet ist, d.h. die für Unterwassergebrauch ausgebildet ist.
-
Bevorzugte Ausführungsformen ergeben sich aus den Unteransprüchen. Nachfolgend wird die Erfindung anhand einer Zeichnung eines Ausführungsbeispiels näher erläutert. Hierbei zeigt
- 1 eine schematische Ansicht einer Ausführungsform des erfindungsgemäßen Bildaufnahmesystems mit einem Objekt;
- 2 eine schematische Ansicht des Bildaufnahmesystems aus 1 mit drei Objekten;
- 3a eine schematische Ansicht der Abbildungen der drei Objekte auf den Sensoren des Bildaufnahmesystems aus 1;
- 3b schematische Ansicht der Kombination der Abbildungen der drei Objekte aus 3a;
- 4 eine schematische Ansicht der Bestimmung der Parallaxe der drei Objekte aus 2; und
- 5 eine schematische Ansicht der bestimmten Tiefen- und Größeninformationen der drei Objekte aus 2.
-
Bei der nachfolgenden Beschreibung werden für gleiche und gleich wirkende Teile dieselben Bezugsziffern verwendet.
-
1 zeigt eine schematische Ansicht einer Ausführungsform des erfindungsgemäßen Bildaufnahmesystems 10.
-
Das Bildaufnahmesystem 10 kann ein Überwasserbildaufnahmesystem oder ein Unterwasserbildaufnahmesystem sein. Ein Unterwasserbildaufnahmesystem ist üblicherweise wasserdicht ist und ist zum Aufnehmen von Bildern von Objekten 80, 82, 84 unter Wasser bzw. in Wasser ausgebildet. Die Frontlinse des Bildaufnahmesystems 10 kann gegen Wasser gerechnet sein, d.h. für einen direkten Kontakt mit Wasser ausgelegt bzw. ausgebildet sein.
-
Das Bildaufnahmesystem 10 ist zum Erzeugen eines Bilds bzw. mehrerer Bilder oder eines Films eines Objekts 80, 82, 84 ausgebildet. Das Bildaufnahmesystem 10 wird in Wasser platziert, um ein Bild bzw. Bilder eines Objekts 80, 82, 84, das sich ebenfalls in Wasser bzw. unter Wasser befindet, aufzunehmen bzw. zu erzeugen.
-
Das Bildaufnahmesystem 10 umfasst mindestens drei Bild-Sensoren, nämlich zwei Hochauflösungs-Sensoren 20, 30 und einen Zusatz-Sensor 40. Die zumindest zwei Hochauflösungs-Sensoren 20, 30 weisen eine höhere Auflösung bzw. eine höheres Auflösungsvermögen auf im Vergleich zu der Auflösung des Zusatz-Sensors 40.
-
Ein höheres Auflösungsvermögen kann insbesondere bedeuteten, dass bestimmte kleinste Strukturen noch wiedergegeben werden können, während dies mit einem niedrigeren Auflösungsvermögen unter Umständen nicht mehr möglich ist.
-
Jedem Sensor 20, 30, 40 kann beispielsweise jeweils ein Objektiv 22, 32, 42 zugeordnet sein. Denkbar ist jedoch, dass sich zwei oder alle drei Sensoren 20, 30, 40 ein Objektiv teilen.
-
Die Sensoren 20, 30, 40 erstellen bzw. erzeugen jeweils ein Bild des Objekts 80, 82, 84 bzw. Daten für ein Bild des Objekts 80, 82, 84, wobei die Bilder bzw. die Daten der verschiedenen Sensoren 20, 30, 40 unabhängig voneinander erstellt bzw. erzeugt werden.
-
In der Regel weist jeder Sensor 20, 30, 40 einen physikalisch eigenen Sensor auf. Es ist jedoch denkbar, dass die beiden Hochauflösungs-Sensoren 20, 30 sich einen einzigen physischen Sensor teilen, d.h. ein großer Sensor ist in zwei Hochauflösungs-Sensoren 20, 30 aufgeteilt.
-
Die Hochauflösungs-Sensoren 20, 30 können beispielsweise jeweils ein Monochrom-Sensor bzw. ein Schwarz-Weiß-Sensor sein. Die Hochauflösungs-Sensoren 20, 30 können beispielsweise jeweils einen Schwarz-Weiß-Sensor bzw. Monochrom-Sensor aufweisen.
-
Der Zusatz-Sensor 40 kann beispielsweise ein Farb-Sensor sein. Der Farb-Sensor kann ein Bayerpattern bzw. Bayer-Muster aufweisen. Denkbar ist auch, dass der Farb-Sensor neben den Farben Rot-Grün-Blau auch einzelne Pixel zum Erfassen von Infrarotlicht aufweist.
-
Vorstellbar ist auch, dass der Farb-Sensor durch mehrere Monochrom-Sensoren gebildet wird oder dies umfasst. Beispielsweise kann zwischen drei Monochrom-Sensoren und dem Objekt 80, 82, 84 jeweils ein Farbfilter (z.B. Rot, Grün, Gelb) angeordnet sein. Jeder Monochrom-Sensor erfasst somit eine Farbe des Objekts 80, 82, 84. Auf diese Weise kann ein Farbbild zusammengesetzt werden. Somit ist es möglich, dass das Bildaufnahmesystem 10 nur Monochrom-Sensoren aufweist. Dies senkt die Kosten des Bildaufnahmesystems 10.
-
Das Objekt 80, 82, 84, von dem Bild erzeugt werden soll, befindet sich üblicherweise weniger als 10m entfernt von dem Bildaufnahmesystem 10. Somit weisen die verschiedenen Sensoren 20, 30, 40 eine Parallaxe auf.
-
Das Bildaufnahmesystem 10 umfasst eine Berechnungsvorrichtung 70 zum Berechnen einer Parallaxe zwischen den Hochauflösungs-Sensoren 20, 30 und dem Zusatz-Sensor 40 und zum Zuordnen der Abbildungen der Objekte 90", 92", 94" vom Zusatz-Sensor 40 zu den , , , , , der Hochauflösungs-Sensoren 20, 30. Zudem ist es möglich, dass die Berechnungsvorrichtung 70 zur Rekonstruktion der Tiefen- und/oder Größeninformation der mit den drei Sensoren 20, 30, 40 aufgenommenen Objekte 80, 82, 84 ausgebildet ist. Die Berechnungsvorrichtung 70 kann z.B. ein Computer mit entsprechender Software sein oder ein hierfür speziell entworfener Chip. Die Berechnungsvorrichtung 70 kann extern sein, d.h. es kann beispielsweise ein Smartphone sein, auf dem die Berechnung ausgeführt wird.
-
Die Berechnungsvorrichtung 70 bestimmt, wie groß die Parallaxe zwischen den Sensoren 20, 30, 40 ist. Zudem bestimmt die Berechnungsvorrichtung 70, welche Pixel des Zusatz-Sensors 40 welchen Pixeln der Hochauflösungs-Sensoren 20, 30 entsprechen bzw. zugeordnet werden. Auf diese Weise kann die Information des Zusatz-Sensors 40, z.B. die Farbinformation, entsprechenden Pixeln der Hochauflösungs-Sensoren 20, 30 zugeordnet werden (sogenanntes Mapping) und auf diese Weise ein hochauflösendes farbiges Bild des Objekts 80, 82, 84 erzeugt werden. Die Berechnungsvorrichtung bestimmt aus der Parallaxe und den genau bekannten Systemparametern Brennweite der Objektive und Basisabstand bzw. dem Abstand der Sensoren 20, 30, 40 jeweils zueinander, sowie der aus den mit Hilfe der Drucktemperatursensor, Temperatursensor und/oder Salzgehaltsensor sehr präzise bestimmten Brechzahl die Tiefen- und Größeninformation der aufgenommenen Objekte.
-
Der Zusatz-Sensor 40 und die Hochauflösungs-Sensoren 20, 30 befinden sich in einer Ebene. Es ist möglich, dass sich die Sensoren 20, 30, 40 befinden entlang einer gedachten Gerade befinden. Die drei Sensoren 20, 30, 40 befinden sich sozusagen nebeneinander. Der Zusatz-Sensor 40 befindet sich üblicherweise zwischen den beiden Hochauflösungs-Sensoren 20, 30. Denkbar ist jedoch auch, dass sich der Zusatz-Sensor 40 am Rand befindet, d.h. dass die beiden Hochauflösungs-Sensoren 20, 30 unmittelbar zueinander benachbart sind.
-
Es ist auch möglich, dass drei Hochauflösungs-Sensoren 20, 30 vorhanden sind, die um einen mittig platzierten Zusatz-Sensor 40 gleichmäßig angeordnet sind.
-
Die die Sensoren 20, 30, 40 sind üblicherweise zueinander äquidistant angeordnet. D.h. der Abstand eines Sensors 20, 30, 40 zu dem unmittelbar benachbarten Sensor 20, 30, 40 ist jeweils gleichgroß.
-
In 1 befindet sich das Objekt 80, 82, 84 auf einer Höhe, die im Wesentlichen der Höhe des in der Mitte angeordneten Zusatz-Sensors 40 entspricht.
-
In 1 verläuft die Y-Achse (Höhe) von unten nach oben. Die S-Achse verläuft von links nach rechts.
-
Die Parallaxe, die Tiefeninformation und die Größeninformation lässt sich wie nachfolgend ermitteln, wobei die Variablen folgende Bedeutung haben:
- yob Höhe des Objekts 80
- y'0 Höhe des abgebildeten Objektes 80 in 1 auf Zusatz-Sensor 40
- y'1 Höhe des abgebildeten Objektes 80 in 1 auf oberen Hochauflösungs-Sensor 20
- y'2 Höhe des abgebildeten Objektes 80 in 1 auf unteren Hochauflösungs-Sensor 30
- y'∅ parallaxefreie Höhe des Objektes 80 berechnet aus y'1 und y'2
- f Brennweite der Objektive 22 und 32
- n Brechzahl des Mediums in dem sich das Objekt 80 befindet
- b Abstand der beiden äußeren Hochauflösungs-Sensoren 20, 30
- s Entfernung des Objektes 80 von dem Bildaufnahmesystem 10
- ß Abbildungsmaßstab des Objektes 80 in der Entfernung s auf den Hochauflösungs-Sensoren 20, 30
- Δy'(s) Parallaxe auf den Hochauflösungs-Sensoren 20, 30
- Sob1 Entfernung des ersten Objekts von dem Bildaufnahmesystem 10
- Sob2 Entfernung des zweiten Objekts von dem Bildaufnahmesystem 10
- Sob3 Entfernung des dritten Objekts von dem Bildaufnahmesystem 10
- yob1'1 Höhe des ersten abgebildeten Objekts auf Hochauflösungs-Sensor 20
- yob1'2 Höhe des ersten abgebildeten Objekts auf Hochauflösungs-Sensor 30
- yob1'0 Höhe des ersten abgebildeten Objekts auf Zusatz-Sensor 40
- Yob1'∅ parallaxefreie Höhe des ersten abgebildeten Objekts berechnet aus yob1'1 und yob1'2
- Δyob1' Parallaxe des ersten abgebildeten Objekts
- yob'1 Höhe des zweiten abgebildeten Objekts auf Hochauflösungs-Sensor 20
- yob2'2 Höhe des zweiten abgebildeten Objekts auf Hochauflösungs-Sensor 30
- yob2'0 Höhe des zweiten abgebildeten Objekts auf Zusatz-Sensor 40
- yob2'∅ parallaxefreie Höhe des zweiten abgebildeten Objekts berechnet aus yob2'1 und yob2'2
- Δyob2' Parallaxe des zweiten abgebildeten Objekts
- yob3'1 Höhe des dritten abgebildeten Objekts auf Hochauflösungs-Sensor 20
- yob3'2 Höhe des dritten abgebildeten Objekts auf Hochauflösungs-Sensor 30
- yob3'0 Höhe des dritten abgebildeten Objekts auf Zusatz-Sensor 40
- yob3'∅ parallaxefreie Höhe des 3. abgebildeten Objekts berechnet aus yob3'1 und yob3'2
- Δyob3' Parallaxe des dritten abgebildeten Objekts
- ßob1 Abbildungsmaßstab des ersten Objekts auf den Hochauflösungs-Sensoren 20, 30
- ßob2 Abbildungsmaßstab des zweiten Objekts auf den Hochauflösungs-Sensoren 20, 30
- ßob3 Abbildungsmaßstab des dritten Objekts auf den Hochauflösungs-Sensoren 20, 30
wenn b nicht mehr vernachlässigbar klein im Verhältnis zu yob ist, so gilt für die Parallaxe Δy'
-
Durch die beiden Hochauflösungs-Sensoren 20, 30, insbesondere wenn der Zusatz-Sensor 40 zwischen den beiden Hochauflösungs-Sensoren 20, 30 angeordnet ist, kann die Parallaxe bzw. Verschiebung aufgrund der unterschiedlichen Position in einer Richtung parallel zu der Y-Achse zwischen den verschiedenen Sensoren 20, 30, 40 bestimmt werden.
-
Über den Mittelwert aus den gemessen Objektpositionen auf den Hochauflösung-Sensoren
20,
30
lässt sich eine parallaxenfreie Darstellung der Objekte auf den Hochauflösung-Sensoren
20,
30 berechnen und die zugehörige Farbinformation auf dem Zusatz-Sensor
40 technisch einfach bestimmen. Auf diese Weise können die Pixel der Hochauflösungs-Sensoren
20,
30 dem jeweiligen korrespondierenden Pixel des Zusatz-Sensors
40 oder umgekehrt zugeordnet werden.
-
Die Parallaxe kann direkt aus dem relativen Versatz der Abbildungen der Objekte
90,
92,
94,
90',
92',
94' auf den zwei äußeren Hochauflösungs-Sensoren
20,
30 bestimmt werden:
-
Durch die genaue Kenntnis der Systemparameter f, b, n kann aus der Parallaxe die Tiefeninformation der Objekte rekonstruiert werden. Da Δy'(s)= y'1 -y'2 = - b * f * n/s ergibt sich s = -b * f *n / (y'1-y'2)
-
Der Objektort und die Größe des Objektes lassen sich mit Hilfe des Abbildungsmaßstabes der Objekte berechnen. Alle benötigten Informationen werden durch die Hochauflösungs-Sensoren 20, 30 aufgenommen und lassen sich mit Kenntnis der Systemparameter (Brennweite und Brechzahl Medium) berechnen.
-
Aus
-
Damit lässt sich eine hochaufgelöste, farbige 3-D Rekonstruktion der mit den Sensoren 20, 30, 40 aufgenommenen Objekte erzielen.
-
In 2 bis 5 ist dies an einem Beispiel illustriert. 2 zeigt eine schematische Ansicht des Bildaufnahmesystems aus 1 mit drei Objekten. 3a zeigt eine schematische Ansicht der Abbildungen der drei Objekte auf den Sensoren des Bildaufnahmesystems aus 1. 3b zeigt schematische Ansicht der Kombination der Abbildungen der drei Objekte aus 3a. 4 zeigt eine schematische Ansicht der Bestimmung der Parallaxe der drei Objekte aus 2. 5 zeigt eine schematische Ansicht der bestimmten Tiefen- und Größeninformationen der drei Objekte aus 2.
-
Drei in unterschiedlichen Entfernungen (sob1, sob2, sob3) zu den Sensoren befindliche Objekte 80, 82, 84 in unterschiedlichen Höhen (yob1, yob2, yob3) werden auf die Sensoren 20, 30, 40 abgebildet. Je nach Position im Raum ergeben sich unterschiedliche Lagen der , , , , , , , , auf den Sensoren 20, 30, 40 (nämlich yob1'0, yob1'1, yob1'2 für das erste Objekt 80,yob2'0, yob2'1, yob2'2 für das zweite Objekt 82 und yob3'0, yob3'1, yob3'2 für das dritte Objekt 84). Dies ist in 3a illustriert. Die Nulllinie der Höhe verläuft jeweils horizontal durch die Mitte des jeweiligen Sensors 20, 30, 40, Von hier aus werden die Höhenpositionen der Abbildungen der drei Objekte 90, 92, 94, 90', 92', 94', 90'', 92'', 94'' gemessen, wie dies in 3a gezeigt ist. Die Höhenpositionen sind jeweils durch gepunktete Linien in 3a, 3b und 4 dargestellt.
-
In 3b ist die Entfernung der Parallaxe aus den von den Hochauflösung-Sensoren 20, 30 aufgenommenen Objekten 80, 82, 84 über die Mittelwertsbildung der gemessenen Lagen gezeigt.
-
Die , , der Objekte, die mit dem Zusatz-Sensor 40 aufgenommen werden, werden dem über die Mittelwerte verrechneten hochaufgelösten, monochromen, parallaxefreien Abbildungen der Objekte zugeordnet.
-
In 4 ist die Berechnung der Parallaxeninformation der Objekte 80, 82, 84 aus den von den Hochauflösungs-Sensoren 20, 30 aufgenommenen Objekten 80, 82, 84 über die Differenzbildung der gemessenen Lagen bzw. Höhen auf den Sensoren 20, 30, 40 dargestellt.
-
In 5 ist die Rekonstruktion der Objekte 80, 82, 84 hinsichtlich Lage und Größe durch Verrechnung der Informationen aus den verschiedenen Sensoren dargestellt.
-
Hierbei gelten folgende Gleichungen:
-
Die Sensoren 20, 30, 40 können beispielsweise jeweils ein CCD-Sensor (charged coupled device sensor) umfassen oder sein.
-
Es ist auch denkbar, dass einer der Hochauflösungs-Sensoren 20, 30 oder beide Hochauflösungs-Sensoren 20, 30 Infrarot-Sensoren sind, während der Zusatz-Sensor 40 optisches Licht verwendet. Auch vorstellbar ist, dass der Zusatz-Sensor 40 ein InfrarotSensor und die beiden Hochauflösungs-Sensoren 20, 30 für den Menschen sichtbares Licht verwenden.
-
Die Sensoren 20, 30, 40 können zueinander im Wesentlichen baugleiche Objektive 22, 32, 42 verwendet. Die Objektive können jeweils die gleiche Brennweite aufweisen. Denkbar ist auch, dass die Sensoren 20, 30, 40 die gleiche Dimension bzw. Größe aufweisen. Vorstellbar ist auch, dass die Sensoren 20, 30, 40 zueinander unterschiedlich groß sind.
-
Die Brechzahl des Wassers hängt von dem Salzgehalt ab. Daher kann das Bildaufnahmesystem 10 einen Salzgehaltsensor 50 zum Bestimmen des Salzgehalts des Wassers und zum Bestimmen der Brechzahl auf Grundlage des bestimmten Salzgehalts aufweisen. Die bestimmte Brechzahl wird beim Berechnen der Tiefen- und Größeninformation, die aus der Parallaxe berechnet wird, berücksichtigt.
-
Darüber hinaus kann das Bildaufnahmesystem 10 einen Drucksensor 52 und/oder einen Temperatursensor 54 umfassen. Die Brechzahl des Wassers ist geringfügig abhängig von dem Druck des Wassers und der Temperatur des Wassers. Der Drucksensor 52 misst den Druck des Wassers. Der Temperatursensor 54 misst die Temperatur des Wassers. Der gemessene Druck und/oder die gemessene Temperatur und/oder der gemessene Salzgehalt werden bei der Berechnung der Tiefen- und/oder Größeninformation aus der Parallaxe berücksichtigt. Denkbar ist auch, dass der Druck des Wassers durch eine Tiefenmessung abgeschätzt bzw. berechnet wird. Auf diese Weise kann die Parallaxe noch genauer berechnet werden. Folglich können die Pixel der Hochauflösungs-Sensoren 20, 30 dem jeweiligen Pixel des Zusatz-Sensors 40 oder umgekehrt noch besser bzw. zutreffender zugeordnet werden (sogenanntes mapping).
-
Es kann ein Zwischenbild (z.B. aus den Mittelwerten) zwischen den Hochauflösungs-Sensoren 20, 30 berechnet werden. Dieses Zwischenbild entspricht dem Bild, das von einem Hochauflösungs-Sensor 20, 30 erzeugt würde, der sich an der Position des Zusatz-Sensors 40 befände. Dieses Bild wird mit dem vom Zusatz-Sensor 40 aufgenommen Bild verrechnet, unter Beachtung der jeweiligen Parallaxe. Auf diese Weise kann ein Bild erzeugt werden, das die Informationen der Hochauflösungs-Sensoren 20, 30 (mit hoher Auflösung) und die Informationen des Zusatz-Sensors 40 vereint. Z.B. kann ein farbiges Bild mit einer Auflösung im Bereich der Auflösung der Hochauflösungs-Sensoren 20, 30 hierdurch berechnet werden. Hierbei werden die Farbinformationen, die durch den Zusatz-Sensor 40 erhalten wurden, auf die jeweiligen Pixel der Hochauflösungs-Sensoren 20, 30 „übertragen“ bzw. gemappt.
-
Das Bildaufnahmesystem 10 erzeugt bzw. berechnet ein Bild oder mehrere Bilder (nacheinander) und gibt dieses bzw. diese aus und/oder speichert diese. Vorstellbar ist auch, dass die Bilder weiterverarbeitet werden. Z.B. ist eine Mustererkennung vorstellbar.
-
Darüber hinaus kann das von dem Bildaufnahmesystem 10 erzeugte Bild ein stereoskopisches Bild bzw. ein 3D-Bild sein, da ein Bild des Objekts 80 aus zwei unterschiedlichen Winkeln aufgenommen wird.
-
Die Auflösung der Hochauflösungs-Sensoren 20, 30 ist üblicherweise gleichgroß.
-
Es ist möglich, dass das Bildaufnahmesystem 10 zusätzlich zu den zwei Hochauflösungs-Sensoren 20, 30 und dem Zusatz-Sensor 40 weitere Sensoren aufweist. Diese können für den Menschen sichtbares Licht und/oder Infrarotlicht verwenden.
-
Die weiteren Sensoren können Auflösungen vergleichbar mit der Auflösung der Hochauflösungs-Sensoren 20, 30 aufweisen oder vergleichbar mit der Auflösung des Zusatz-Sensors 40 aufweisen.
-
Die weiteren Sensoren können derart angeordnet sein, dass sich beispielsweise bei fünf Sensoren, wobei ein Sensor der Zusatz-Sensor 40 ist, der Zusatz-Sensor 40 mittig zwischen den anderen vier symmetrisch um den Zusatz-Sensor 40 angeordneten Sensoren angeordnet ist.
-
Die Objekte 80, 82, 84 sind in 1-5 jeweils mittels eines rechteckigen Symbols dargestellt. Die Objekte 80, 82, 84 können jedoch jede Art von äußerer Form haben. Die Objekte 80, 82, 84 können z.B. eine ellipsoidförmige, eine quaderförmige, eine pyramidenförmige oder eine andere Form haben. Die Objekte 80, 82, 84 können beispielsweise flach sein (z.B. scheibenförmig) oder in Richtung der s-Achse eine größere Ausdehnung haben.
-
Bezugszeichenliste
-
- 10
- Bildaufnahmesystem
- 20
- erster Hochauflösungs-Sensor (erster Monochromsensor)
- 22
- erstes Objektiv
- 30
- zweiter Hochauflösungs-Sensor (zweiter Monochromsensor)
- 32
- zweites Objektiv
- 40
- Zusatz-Sensor (Farbsensor)
- 42
- drittes Objektiv
- 50
- Salzgehaltsensor
- 52
- Drucksensor
- 54
- Temperatursensor
- 70
- Berechnungsvorrichtung
- 80
- erstes Objekt
- 82
- zweites Objekt
- 84
- drittes Objekt
- 90, 90', 90"
- Abbildung des ersten Objekts
- 92, 92', 92"
- Abbildung des ersten Objekts
- 94, 94', 94"
- Abbildung des ersten Objekts