DE102019109147A1 - Bildaufnahmesystem und verfahren zum aufnehmen von bildern - Google Patents

Bildaufnahmesystem und verfahren zum aufnehmen von bildern Download PDF

Info

Publication number
DE102019109147A1
DE102019109147A1 DE102019109147.0A DE102019109147A DE102019109147A1 DE 102019109147 A1 DE102019109147 A1 DE 102019109147A1 DE 102019109147 A DE102019109147 A DE 102019109147A DE 102019109147 A1 DE102019109147 A1 DE 102019109147A1
Authority
DE
Germany
Prior art keywords
sensors
sensor
image recording
recording system
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019109147.0A
Other languages
English (en)
Inventor
Dirk Döring
Mario Sondermann
Andreas Kaiser
Andrea Berner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jenoptik AG
Original Assignee
Carl Zeiss Jena GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Jena GmbH filed Critical Carl Zeiss Jena GmbH
Priority to DE102019109147.0A priority Critical patent/DE102019109147A1/de
Priority to CA3132090A priority patent/CA3132090A1/en
Priority to NO20211009A priority patent/NO347566B1/en
Priority to PCT/EP2020/059804 priority patent/WO2020207984A1/de
Publication of DE102019109147A1 publication Critical patent/DE102019109147A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/15Image signal generation with circuitry for avoiding or correcting image misregistration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

Es wird ein Bildaufnahmesystem (10), insbesondere ein Unterwasserbildaufnahmesystem, zum Aufnehmen von Bildern eines Objekts (80, 82, 84) vorgeschlagen, wobei das Bildaufnahmesystem (10) folgendes umfasst: zwei Hochauflösungs-Sensoren (20, 30) und einen Zusatz-Sensor (40), wobei die zwei Hochauflösungs-Sensoren (20, 30) jeweils ein höheres Auflösungsvermögen aufweisen als der Zusatz-Sensor (40), wobei die Hochauflösungs-Sensoren (20, 30) und der Zusatz-Sensor (40) im Wesentlichen in einer Ebene angeordnet sind, und eine Berechnungsvorrichtung (70) zum Berechnen einer Parallaxe zwischen den Hochauflösungs-Sensoren (20, 30) und dem Zusatz-Sensor (40) zum verbesserten Zuordnen der Informationen des Zusatz-Sensors (40) zu den Informationen der Hochauflösungs-Sensoren (20, 30).

Description

  • Die Erfindung betrifft ein Bildaufnahmesystem und ein Verfahren zum Aufnehmen von Bildern.
  • Stand der Technik
  • Eine Vielzahl von Bildaufnahmesystemen, bei denen mehrere Bild-Sensoren verwendet werden, ist bekannt. So wird beispielsweise ein Monochrom-Sensor und ein Farb-Sensor für Luftaufnahmen mit einem Flugzeug verwendet. Der Monochrom-Sensor hat üblicherweise eine höhere Auflösung als der Farb-Sensor. Die Farbinformationen des Farb-Sensors können mit den Informationen des Monochrom-Sensors verrechnet werden, wodurch ein hochauflösendes farbiges Bild erzeugt werden kann.
  • Bei Unterwasseraufnahmen befindet sich das Objekt viel näher an dem Bildaufnahmesystem als bei Luftaufnahmen aus einem Flugzeug (z.B. aus 500 m Höhe), so dass eine Parallaxe zwischen den verschiedenen Bild-Sensoren existiert. Dies kann dazu führen, dass die Kombination bzw. Verrechnung der Informationen des Farb-Sensors mit den Informationen des Monochrom-Sensors zu einer falschen Zuordnung der jeweiligen Pixel bzw. unzutreffenden Zuordnung führt, da eine Verschiebung bzw. ein Shift aufgrund der unterschiedlichen Positionen der beiden Sensoren vorhanden ist. Dies bedeutet, dass aufgrund der Parallaxe die jeweilige erfasste Farbe den falschen Pixeln des Monochrom-Sensors zugeordnet wird.
  • Offenbarung der Erfindung
  • Der Erfindung liegt die Aufgabe zu Grunde, ein Bildaufnahmesystem bzw. ein Verfahren zum Aufnehmen von Bildern aufzuzeigen, mittels dem ein Bild eines Objekts basierend auf mehreren Bild-Sensoren ohne Parallaxenfehler erzeugt werden kann.
  • Diese Aufgabe wird durch ein Bildaufnahmesystem gemäß Anspruch 1 und ein Verfahren zum Aufnehmen von Bildern gemäß Anspruch 10 gelöst.
  • Insbesondere wird die Aufgabe durch ein Bildaufnahmesystem, insbesondere ein Unterwasserbildaufnahmesystem, zum Aufnehmen von Bildern eines Objekts gelöst, wobei das Bildaufnahmesystem folgendes umfasst: zwei Hochauflösungs-Sensoren und einen Zusatz-Sensor, wobei die zwei Hochauflösungs-Sensoren jeweils ein höheres Auflösungsvermögen aufweisen als der Zusatz-Sensor, wobei die Hochauflösungs-Sensoren und der Zusatz-Sensor im Wesentlichen in einer Ebene angeordnet sind, und eine Berechnungsvorrichtung zum Berechnen einer Parallaxe zwischen den Hochauflösungs-Sensoren und dem Zusatz-Sensor zum verbesserten Zuordnen der Informationen des Zusatz-Sensors zu den Informationen der Hochauflösungs-Sensoren.
  • Ein Vorteil hiervon ist, dass eine Parallaxe bei der Zuordnung der Informationen des Zusatz-Sensors zu den Informationen der Hochauflösungs-Sensoren berücksichtigt wird bzw. werden kann. Somit wird eine fehlerhafte Zuordnung von Informationen des Zusatz-Sensors zu den Informationen der Hochauflösungs-Sensoren verhindert bzw. stark verringert. Folglich wird die Exaktheit der Wiedergabe des Objekts auf dem durch das Bildaufnahmesystem erzeugten Bild erhöht. Zudem kann das Bildaufnahmesystem technisch einfach aufgebaut und kompakt sein. Auch ist eine 3D Rekonstruktion (tatsächliche Größe und Entfernung) des Objekts möglich.
  • Insbesondere wird die Aufgabe auch durch ein Verfahren zum Aufnehmen von Bildern eines Objekts, insbesondere mittels eines Bildaufnahmesystems nach einem der vorhergehenden Ansprüche, gelöst, wobei das Verfahren folgende Schritte umfasst: Aufnehmen von Bildern des Objekts mittels zweier Hochauflösungs-Sensoren und einem Zusatz-Sensor, wobei die zwei Hochauflösungs-Sensoren und der Zusatz-Sensor in einer Ebene angeordnet sind; Berechnen einer Parallaxe zwischen den Hochauflösungs-Sensoren und dem Zusatz-Sensor auf Grundlage der aufgenommenen Bilder der zwei Hochauflösungs-Sensoren; und Zuordnen der Information des Zusatz-Sensors zu einem Bild der Hochauflösungs-Sensoren oder einem berechneten Zwischenbild der Bilder der Hochauflösungs-Sensoren unter Berücksichtigung der berechneten Parallaxe.
  • Vorteilhaft an diesem Verfahren ist, dass eine Parallaxe bzw. Verschiebung bei der Zuordnung der Informationen des Zusatz-Sensors zu den Informationen der Hochauflösungs-Sensoren berücksichtigt wird. Dadurch wird eine unzutreffende Zuordnung der Informationen der Sensoren zueinander technisch einfach verhindert. Dies führt in der Folge zu einer besonders originalgetreuen Wiedergabe des Objekts. Auch wird bei diesem Verfahren nur eine geringe Rechenleistung benötigt. Auch ist eine 3D Rekonstruktion (tatsächliche Größe und Entfernung) des Objekts möglich.
  • Gemäß einer Ausführungsform des Bildaufnahmesystems ist der Zusatz-Sensor zwischen den Hochauflösungs-Sensoren angeordnet.
  • Mit anderen Worten können die Hochauflösungs-Sensoren am Rand angeordnet sein und der Zusatz-Sensor weiter entfernt vom Rand angeordnet sein.
  • Hierdurch wird die Genauigkeit bzw. Zuverlässigkeit der Zuordnung der Informationen des Zusatz-Sensors zu den Informationen von dem Hochauflösungs-Sensor bzw. den Hochauflösungs-Sensoren verbessert, da die Parallaxe besonders genau bestimmt werden kann.
  • Gemäß einer Ausführungsform des Bildaufnahmesystems sind der Zusatz-Sensor und die Hochauflösungs-Sensoren im Wesentlichen entlang einer gedachten Gerade angeordnet.
  • Mit anderen Worten können die Sensoren auf einer Geraden angeordnet sein, so dass im Wesentlichen kein seitlicher Versatz der Sensoren zueinander vorhanden ist.
  • Vorteilhaft hieran ist, dass die Parallaxe besonders präzise bestimmt werden kann, so dass die Informationen des Zusatz-Sensors besonders zuverlässig den Informationen der Hochauflösungs-Sensoren zugeordnet werden können.
  • Gemäß einer Ausführungsform des Bildaufnahmesystems ist der Zusatz-Sensor mittig zwischen den Hochauflösungs-Sensoren angeordnet.
  • Mit anderen Worten kann der Abstand von dem Zusatz-Sensor zu einem ersten Hochauflösungs-Sensor im Wesentlichen dem Abstand von dem Zusatz-Sensor zu einem zweiten Hochauflösungs-Sensor entsprechen.
  • Durch die mittige Anordnung kann die Parallaxe noch genauer bestimmt werden, so dass die Informationen der verschiedenen Sensoren noch präziser bzw. mit weniger Fehlern einander zugeordnet werden können.
  • Gemäß einer Ausführungsform des Bildaufnahmesystems ist der Zusatz-Sensor ein Farb-Sensor ist, insbesondere ist der Zusatz-Sensor ein Farb-Sensor umfassend ein Bayermuster.
  • Mit anderen Worten kann mittels des Zusatz-Sensors ein farbiges Bild des Objekts aufgenommen werden.
  • Vorteilhaft hieran ist, dass ein Bild mit sehr vielen Informationen durch das Bildaufnahmesystem erzeugt werden kann.
  • Gemäß einer Ausführungsform des Bildaufnahmesystems umfasst der Zusatz-Sensor mehrere Monochromsensoren, wobei zwischen den mehreren Monochromsensoren und dem Objekt zueinander unterschiedliche Farbfilter derart angeordnet sind, dass die mehreren Monochromsensoren Licht unterschiedlicher Farben erfassen.
  • Mit anderen Worten kann der Zusatz-Sensor selbst wiederum mehrere Monochromsensoren aufweisen, die mittels Farbfiltern unterschiedliche Farbinformationen aufzeichnen.
  • Vorteilhaft hieran ist, dass das Bildaufnahmesystem besonders kostengünstig ausgebildet sein kann. Zudem kann der Zusatz-Sensor auf diese Weise eine besonders hohe Auflösung aufweisen. Dies erhöht die Qualität der Zuordnung der Informationen des Zusatz-Sensors zu den Informationen des Hochauflösungs-Sensors.
  • Gemäß einer Ausführungsform des Bildaufnahmesystems ist das Bildaufnahmesystem ein Unterwasserbildaufnahmesystem zum Aufnehmen von Objekten unter Wasser, wobei das Bildaufnahmesystem ferner einen Salzgehaltsensor zum Bestimmen der Brechzahl des Wassers basierend auf einem Salzgehalt des Wassers umfasst, wobei die Berechnungsvorrichtung zum Berechnen einer Tiefen- und/oder Größeninformation der Objekte ausgebildet ist, wobei die Berechnungsvorrichtung zum Berücksichtigen der auf Grundlage des Salzgehalts bestimmten Brechzahl des Wassers beim Berechnen der Tiefen- und/oder Größeninformation der Objekte ausgebildet ist.
  • Mit anderen Worten kann das Bildaufnahmesystem die Brechzahl des Wassers abhängig vom Salzgehalt bestimmen.
  • Hierdurch kann die Tiefen- und Größeninformation, die aus der Parallaxe berechnet wird, mit höherer Präzision bestimmt werden, da die Brechzahl des Wassers, die in diese Berechnung eingeht, üblicherweise stark vom Salzgehalt des Wassers abhängt. Somit steigt die Qualität des von dem Bildaufnahmesystem erzeugten Bilds.
  • Gemäß einer Ausführungsform des Bildaufnahmesystems ist das Bildaufnahmesystem ein Unterwasserbildaufnahmesystem zum Aufnehmen von Objekten unter Wasser, wobei das Bildaufnahmesystem ferner einen Drucksensor zum Bestimmen der Brechzahl des Wassers basierend auf einem Druck des Wassers und/oder einen Temperatursensor zum Bestimmen der Brechzahl des Wassers basierend auf einer Temperatur des Wassers umfasst. wobei die Berechnungsvorrichtung zum Bestimmen einer Tiefen- und/oder Größeninformation der Objekte ausgebildet ist, wobei die Berechnungsvorrichtung zum Berücksichtigen der durch den Drucksensor und/oder durch den Temperatursensor bestimmten Brechzahl des Wassers beim Bestimmen der Tiefen- und/oder Größeninformation der Objekte ausgebildet ist.
  • Mit anderen Worten kann das Bildaufnahmesystem den Druck und/oder die Temperatur des Wassers und hierdurch die Brechzahl des Wassers bestimmen.
  • Hierdurch kann die Tiefen- und Größeninformation, die aus der Parallaxe berechnet wird, mit höherer Präzision bestimmt werden, da die Brechzahl des Wassers, die in diese Berechnung eingeht, üblicherweise von der Temperatur und dem Druck des Wassers abhängt. Somit steigt die Qualität des von dem Bildaufnahmesystem erzeugten Bilds.
  • Gemäß einer Ausführungsform des Bildaufnahmesystems ist bei zumindest zwei der Sensoren, insbesondere bei den drei Sensoren, zueinander im Wesentlichen baugleiche Objektive mit gleicher Brennweite zwischen dem Objekt und dem jeweiligen Sensor angeordnet.
  • Mit anderen Worten kann das Bildaufnahmesystem viele baugleiche Elemente umfassen.
  • Vorteilhaft hieran ist, dass das Bildaufnahmesystem technisch besonders einfach aufgebaut ist. Zudem wird hierdurch sichergestellt, dass die Bild-Sensoren die gleichen Inhomogenitäten bzw. Fertigungstoleranzen aufweisen. Auf diese Weise ist die Zuordnung der Informationen der Bild-Sensoren noch präziser.
  • Gemäß einer Ausführungsform des Verfahrens ist der Zusatz-Sensor zwischen den Hochauflösungs-Sensoren angeordnet.
  • Mit anderen Worten kann bei dem Verfahren der Zusatz-Sensor in einem Bereich angeordnet sein, der sich zwischen den Hochauflösungs-Sensoren erstreckt.
  • Ein Vorteil dieses Verfahrens ist, dass die Zuverlässigkeit bzw. Präzision der der Zuordnung der Informationen des Zusatz-Sensors zu den Informationen von dem Hochauflösungs-Sensor bzw. den Hochauflösungs-Sensoren verbessert wird, da die Parallaxe besonders genau bestimmt werden kann.
  • Gemäß einer Ausführungsform des Verfahrens ist der Zusatz-Sensor ein Farb-Sensor, insbesondere ist der Zusatz-Sensor ein Farb-Sensor umfassend ein Bayermuster.
  • Mit anderen Worten kann der Zusatz-Sensor ein Farbbild des Objekts erzeugen.
  • Ein Vorteil dieses Verfahrens ist, dass ein Bild mit einem sehr hohen Informationsgrad technisch einfach erzeugt werden kann.
  • Gemäß einer Ausführungsform des Verfahrens umfasst der Zusatz-Sensor mehrere Monochromsensoren, wobei zwischen den Monochromsensoren und dem Objekt zueinander unterschiedliche Farbfilter derart angeordnet sind, dass die mehreren Monochromsensoren Licht unterschiedlicher Farben erfassen.
  • Mit anderen Worten kann bei diesem Verfahren ein Zusatz-Sensor verwendet werden, die wiederum mehrere Schwarz-Weiß-Sensoren aufweist, wobei die mehreren Schwarz-Weiß-Sensoren unterschiedliche Farben erfassen.
  • Ein Vorteil hiervon ist, dass das Verfahren ein besonders kostengünstiges Bildaufnahmesystem verwenden kann. Darüber hinaus kann mittels dieses Verfahrens der Zusatz-Sensor ein Bild mit einer hohen Auflösung erzeugen. Hierdurch kann die Zuordnung der Informationen des Zusatz-Sensors zu den Informationen des Hochauflösungs-Sensors weiter verbessert werden.
  • Gemäß einer Ausführungsform des Verfahrens ist das Objekt unter Wasser angeordnet, und das Verfahren umfasst ferner folgende Schritte: Bestimmen einer Brechzahl des Wassers basierend auf einem Salzgehalt des Wassers, und Bestimmen der Tiefen- und/oder Größeninformation der Objekte, wobei die bestimmte Brechzahl des Wassers beim Bestimmen der Tiefen- und/oder Größeninformation der Objekte berücksichtigt wird.
  • Mit anderen Worten kann bei diesem Verfahren die vom Salzgehalt des Wassers abhängige Brechzahl bestimmt werden.
  • Ein Vorteil hiervon ist, dass die Parallaxe besser bestimmt werden kann und somit die Zuordnung der Informationen der verschiedenen Sensoren mit besonders hoher Präzision durchgeführt werden kann.
  • Gemäß einer Ausführungsform des Verfahrens ist das Objekt unter Wasser angeordnet, und das Verfahren umfasst ferner den Schritt des Bestimmens der Tiefen- und/oder Größeninformation der Objekte, und ferner folgenden Schritt: Bestimmen einer Brechzahl des Wassers basierend auf einem gemessenen Druck des Wassers und/oder Bestimmen einer Brechzahl des Wassers basierend auf einer gemessenen Temperatur des Wassers, wobei die bestimmte Brechzahl des Wassers beim Bestimmen der Tiefen- und/oder Größeninformation berücksichtigt wird.
  • Mit anderen Worten kann bei dem Verfahren die Brechzahl, die geringfügig von der Temperatur und dem Druck des Wassers abhängig ist, bestimmt werden.
  • Ein Vorteil hiervon ist, dass die Tiefen- und Größeninformation, die aus der Parallaxe berechnet wird, mit höherer Präzision bestimmt werden kann.
  • Das Bildaufnahmesystem bzw. das Verfahren kann zum Erzeugen von Bildern unter Wasser bzw. in Wasser ausgebildet sein. Hierzu kann eine Ausgangslinse vorhanden sein, die gegen Wasser gerechnet ist, d.h. die für Unterwassergebrauch ausgebildet ist.
  • Bevorzugte Ausführungsformen ergeben sich aus den Unteransprüchen. Nachfolgend wird die Erfindung anhand einer Zeichnung eines Ausführungsbeispiels näher erläutert. Hierbei zeigt
    • 1 eine schematische Ansicht einer Ausführungsform des erfindungsgemäßen Bildaufnahmesystems mit einem Objekt;
    • 2 eine schematische Ansicht des Bildaufnahmesystems aus 1 mit drei Objekten;
    • 3a eine schematische Ansicht der Abbildungen der drei Objekte auf den Sensoren des Bildaufnahmesystems aus 1;
    • 3b schematische Ansicht der Kombination der Abbildungen der drei Objekte aus 3a;
    • 4 eine schematische Ansicht der Bestimmung der Parallaxe der drei Objekte aus 2; und
    • 5 eine schematische Ansicht der bestimmten Tiefen- und Größeninformationen der drei Objekte aus 2.
  • Bei der nachfolgenden Beschreibung werden für gleiche und gleich wirkende Teile dieselben Bezugsziffern verwendet.
  • 1 zeigt eine schematische Ansicht einer Ausführungsform des erfindungsgemäßen Bildaufnahmesystems 10.
  • Das Bildaufnahmesystem 10 kann ein Überwasserbildaufnahmesystem oder ein Unterwasserbildaufnahmesystem sein. Ein Unterwasserbildaufnahmesystem ist üblicherweise wasserdicht ist und ist zum Aufnehmen von Bildern von Objekten 80, 82, 84 unter Wasser bzw. in Wasser ausgebildet. Die Frontlinse des Bildaufnahmesystems 10 kann gegen Wasser gerechnet sein, d.h. für einen direkten Kontakt mit Wasser ausgelegt bzw. ausgebildet sein.
  • Das Bildaufnahmesystem 10 ist zum Erzeugen eines Bilds bzw. mehrerer Bilder oder eines Films eines Objekts 80, 82, 84 ausgebildet. Das Bildaufnahmesystem 10 wird in Wasser platziert, um ein Bild bzw. Bilder eines Objekts 80, 82, 84, das sich ebenfalls in Wasser bzw. unter Wasser befindet, aufzunehmen bzw. zu erzeugen.
  • Das Bildaufnahmesystem 10 umfasst mindestens drei Bild-Sensoren, nämlich zwei Hochauflösungs-Sensoren 20, 30 und einen Zusatz-Sensor 40. Die zumindest zwei Hochauflösungs-Sensoren 20, 30 weisen eine höhere Auflösung bzw. eine höheres Auflösungsvermögen auf im Vergleich zu der Auflösung des Zusatz-Sensors 40.
  • Ein höheres Auflösungsvermögen kann insbesondere bedeuteten, dass bestimmte kleinste Strukturen noch wiedergegeben werden können, während dies mit einem niedrigeren Auflösungsvermögen unter Umständen nicht mehr möglich ist.
  • Jedem Sensor 20, 30, 40 kann beispielsweise jeweils ein Objektiv 22, 32, 42 zugeordnet sein. Denkbar ist jedoch, dass sich zwei oder alle drei Sensoren 20, 30, 40 ein Objektiv teilen.
  • Die Sensoren 20, 30, 40 erstellen bzw. erzeugen jeweils ein Bild des Objekts 80, 82, 84 bzw. Daten für ein Bild des Objekts 80, 82, 84, wobei die Bilder bzw. die Daten der verschiedenen Sensoren 20, 30, 40 unabhängig voneinander erstellt bzw. erzeugt werden.
  • In der Regel weist jeder Sensor 20, 30, 40 einen physikalisch eigenen Sensor auf. Es ist jedoch denkbar, dass die beiden Hochauflösungs-Sensoren 20, 30 sich einen einzigen physischen Sensor teilen, d.h. ein großer Sensor ist in zwei Hochauflösungs-Sensoren 20, 30 aufgeteilt.
  • Die Hochauflösungs-Sensoren 20, 30 können beispielsweise jeweils ein Monochrom-Sensor bzw. ein Schwarz-Weiß-Sensor sein. Die Hochauflösungs-Sensoren 20, 30 können beispielsweise jeweils einen Schwarz-Weiß-Sensor bzw. Monochrom-Sensor aufweisen.
  • Der Zusatz-Sensor 40 kann beispielsweise ein Farb-Sensor sein. Der Farb-Sensor kann ein Bayerpattern bzw. Bayer-Muster aufweisen. Denkbar ist auch, dass der Farb-Sensor neben den Farben Rot-Grün-Blau auch einzelne Pixel zum Erfassen von Infrarotlicht aufweist.
  • Vorstellbar ist auch, dass der Farb-Sensor durch mehrere Monochrom-Sensoren gebildet wird oder dies umfasst. Beispielsweise kann zwischen drei Monochrom-Sensoren und dem Objekt 80, 82, 84 jeweils ein Farbfilter (z.B. Rot, Grün, Gelb) angeordnet sein. Jeder Monochrom-Sensor erfasst somit eine Farbe des Objekts 80, 82, 84. Auf diese Weise kann ein Farbbild zusammengesetzt werden. Somit ist es möglich, dass das Bildaufnahmesystem 10 nur Monochrom-Sensoren aufweist. Dies senkt die Kosten des Bildaufnahmesystems 10.
  • Das Objekt 80, 82, 84, von dem Bild erzeugt werden soll, befindet sich üblicherweise weniger als 10m entfernt von dem Bildaufnahmesystem 10. Somit weisen die verschiedenen Sensoren 20, 30, 40 eine Parallaxe auf.
  • Das Bildaufnahmesystem 10 umfasst eine Berechnungsvorrichtung 70 zum Berechnen einer Parallaxe zwischen den Hochauflösungs-Sensoren 20, 30 und dem Zusatz-Sensor 40 und zum Zuordnen der Abbildungen der Objekte 90", 92", 94" vom Zusatz-Sensor 40 zu den , , , , , der Hochauflösungs-Sensoren 20, 30. Zudem ist es möglich, dass die Berechnungsvorrichtung 70 zur Rekonstruktion der Tiefen- und/oder Größeninformation der mit den drei Sensoren 20, 30, 40 aufgenommenen Objekte 80, 82, 84 ausgebildet ist. Die Berechnungsvorrichtung 70 kann z.B. ein Computer mit entsprechender Software sein oder ein hierfür speziell entworfener Chip. Die Berechnungsvorrichtung 70 kann extern sein, d.h. es kann beispielsweise ein Smartphone sein, auf dem die Berechnung ausgeführt wird.
  • Die Berechnungsvorrichtung 70 bestimmt, wie groß die Parallaxe zwischen den Sensoren 20, 30, 40 ist. Zudem bestimmt die Berechnungsvorrichtung 70, welche Pixel des Zusatz-Sensors 40 welchen Pixeln der Hochauflösungs-Sensoren 20, 30 entsprechen bzw. zugeordnet werden. Auf diese Weise kann die Information des Zusatz-Sensors 40, z.B. die Farbinformation, entsprechenden Pixeln der Hochauflösungs-Sensoren 20, 30 zugeordnet werden (sogenanntes Mapping) und auf diese Weise ein hochauflösendes farbiges Bild des Objekts 80, 82, 84 erzeugt werden. Die Berechnungsvorrichtung bestimmt aus der Parallaxe und den genau bekannten Systemparametern Brennweite der Objektive und Basisabstand bzw. dem Abstand der Sensoren 20, 30, 40 jeweils zueinander, sowie der aus den mit Hilfe der Drucktemperatursensor, Temperatursensor und/oder Salzgehaltsensor sehr präzise bestimmten Brechzahl die Tiefen- und Größeninformation der aufgenommenen Objekte.
  • Der Zusatz-Sensor 40 und die Hochauflösungs-Sensoren 20, 30 befinden sich in einer Ebene. Es ist möglich, dass sich die Sensoren 20, 30, 40 befinden entlang einer gedachten Gerade befinden. Die drei Sensoren 20, 30, 40 befinden sich sozusagen nebeneinander. Der Zusatz-Sensor 40 befindet sich üblicherweise zwischen den beiden Hochauflösungs-Sensoren 20, 30. Denkbar ist jedoch auch, dass sich der Zusatz-Sensor 40 am Rand befindet, d.h. dass die beiden Hochauflösungs-Sensoren 20, 30 unmittelbar zueinander benachbart sind.
  • Es ist auch möglich, dass drei Hochauflösungs-Sensoren 20, 30 vorhanden sind, die um einen mittig platzierten Zusatz-Sensor 40 gleichmäßig angeordnet sind.
  • Die die Sensoren 20, 30, 40 sind üblicherweise zueinander äquidistant angeordnet. D.h. der Abstand eines Sensors 20, 30, 40 zu dem unmittelbar benachbarten Sensor 20, 30, 40 ist jeweils gleichgroß.
  • In 1 befindet sich das Objekt 80, 82, 84 auf einer Höhe, die im Wesentlichen der Höhe des in der Mitte angeordneten Zusatz-Sensors 40 entspricht.
  • In 1 verläuft die Y-Achse (Höhe) von unten nach oben. Die S-Achse verläuft von links nach rechts.
  • Die Parallaxe, die Tiefeninformation und die Größeninformation lässt sich wie nachfolgend ermitteln, wobei die Variablen folgende Bedeutung haben:
    • yob Höhe des Objekts 80
    • y'0 Höhe des abgebildeten Objektes 80 in 1 auf Zusatz-Sensor 40
    • y'1 Höhe des abgebildeten Objektes 80 in 1 auf oberen Hochauflösungs-Sensor 20
    • y'2 Höhe des abgebildeten Objektes 80 in 1 auf unteren Hochauflösungs-Sensor 30
    • y' parallaxefreie Höhe des Objektes 80 berechnet aus y'1 und y'2
    • f Brennweite der Objektive 22 und 32
    • n Brechzahl des Mediums in dem sich das Objekt 80 befindet
    • b Abstand der beiden äußeren Hochauflösungs-Sensoren 20, 30
    • s Entfernung des Objektes 80 von dem Bildaufnahmesystem 10
    • ß Abbildungsmaßstab des Objektes 80 in der Entfernung s auf den Hochauflösungs-Sensoren 20, 30
    • Δy'(s) Parallaxe auf den Hochauflösungs-Sensoren 20, 30
    • Sob1 Entfernung des ersten Objekts von dem Bildaufnahmesystem 10
    • Sob2 Entfernung des zweiten Objekts von dem Bildaufnahmesystem 10
    • Sob3 Entfernung des dritten Objekts von dem Bildaufnahmesystem 10
    • yob1'1 Höhe des ersten abgebildeten Objekts auf Hochauflösungs-Sensor 20
    • yob1'2 Höhe des ersten abgebildeten Objekts auf Hochauflösungs-Sensor 30
    • yob1'0 Höhe des ersten abgebildeten Objekts auf Zusatz-Sensor 40
    • Yob1' parallaxefreie Höhe des ersten abgebildeten Objekts berechnet aus yob1'1 und yob1'2
    • Δyob1' Parallaxe des ersten abgebildeten Objekts
    • yob'1 Höhe des zweiten abgebildeten Objekts auf Hochauflösungs-Sensor 20
    • yob2'2 Höhe des zweiten abgebildeten Objekts auf Hochauflösungs-Sensor 30
    • yob2'0 Höhe des zweiten abgebildeten Objekts auf Zusatz-Sensor 40
    • yob2' parallaxefreie Höhe des zweiten abgebildeten Objekts berechnet aus yob2'1 und yob2'2
    • Δyob2' Parallaxe des zweiten abgebildeten Objekts
    • yob3'1 Höhe des dritten abgebildeten Objekts auf Hochauflösungs-Sensor 20
    • yob3'2 Höhe des dritten abgebildeten Objekts auf Hochauflösungs-Sensor 30
    • yob3'0 Höhe des dritten abgebildeten Objekts auf Zusatz-Sensor 40
    • yob3' parallaxefreie Höhe des 3. abgebildeten Objekts berechnet aus yob3'1 und yob3'2
    • Δyob3' Parallaxe des dritten abgebildeten Objekts
    • ßob1 Abbildungsmaßstab des ersten Objekts auf den Hochauflösungs-Sensoren 20, 30
    • ßob2 Abbildungsmaßstab des zweiten Objekts auf den Hochauflösungs-Sensoren 20, 30
    • ßob3 Abbildungsmaßstab des dritten Objekts auf den Hochauflösungs-Sensoren 20, 30
    y ' 0 = y ob * f * n/s
    Figure DE102019109147A1_0001
    y ' 1 = ( y ob b/ 2 ) * f * n/s y ' 2 = ( y ob + b/ 2 ) * f * n/s
    Figure DE102019109147A1_0002
    wenn b nicht mehr vernachlässigbar klein im Verhältnis zu yob ist, so gilt für die Parallaxe Δy' Δ y ' = y ' 1 y ' 2 = [ ( y ob b/ 2 ) ( y ob + b/ 2 ) ] * f * n/s
    Figure DE102019109147A1_0003
    Δ y ' ( s ) = y ' 1 y ' 2 = b * f * n/s
    Figure DE102019109147A1_0004
  • Durch die beiden Hochauflösungs-Sensoren 20, 30, insbesondere wenn der Zusatz-Sensor 40 zwischen den beiden Hochauflösungs-Sensoren 20, 30 angeordnet ist, kann die Parallaxe bzw. Verschiebung aufgrund der unterschiedlichen Position in einer Richtung parallel zu der Y-Achse zwischen den verschiedenen Sensoren 20, 30, 40 bestimmt werden.
  • Über den Mittelwert aus den gemessen Objektpositionen auf den Hochauflösung-Sensoren 20, 30 y ' = ( y ' 1 + y ' 2 ) / 2 = ( ( y ob b/ 2 ) * f * n/s + ( y ob + b/ 2 ) * f * n/s ) / 2 = ( 2 * y ob * f * n/s ) / 2 = y ' 0
    Figure DE102019109147A1_0005
    lässt sich eine parallaxenfreie Darstellung der Objekte auf den Hochauflösung-Sensoren 20, 30 berechnen und die zugehörige Farbinformation auf dem Zusatz-Sensor 40 technisch einfach bestimmen. Auf diese Weise können die Pixel der Hochauflösungs-Sensoren 20, 30 dem jeweiligen korrespondierenden Pixel des Zusatz-Sensors 40 oder umgekehrt zugeordnet werden.
  • Die Parallaxe kann direkt aus dem relativen Versatz der Abbildungen der Objekte 90, 92, 94, 90', 92', 94' auf den zwei äußeren Hochauflösungs-Sensoren 20, 30 bestimmt werden: Δ y ' = y ' 1 y ' 2
    Figure DE102019109147A1_0006
  • Durch die genaue Kenntnis der Systemparameter f, b, n kann aus der Parallaxe die Tiefeninformation der Objekte rekonstruiert werden. Da Δy'(s)= y'1 -y'2 = - b * f * n/s ergibt sich s = -b * f *n / (y'1-y'2)
  • Der Objektort und die Größe des Objektes lassen sich mit Hilfe des Abbildungsmaßstabes der Objekte berechnen. Alle benötigten Informationen werden durch die Hochauflösungs-Sensoren 20, 30 aufgenommen und lassen sich mit Kenntnis der Systemparameter (Brennweite und Brechzahl Medium) berechnen.
  • Aus y ' 0 = y ob * f * n/s folgt ß = y ob /y ' 0 = s/ ( f * n )     ( mit y ' 0 = y ' = ( y ' 1 + y ' 2 ) / 2 )
    Figure DE102019109147A1_0007
  • Damit lässt sich eine hochaufgelöste, farbige 3-D Rekonstruktion der mit den Sensoren 20, 30, 40 aufgenommenen Objekte erzielen.
  • In 2 bis 5 ist dies an einem Beispiel illustriert. 2 zeigt eine schematische Ansicht des Bildaufnahmesystems aus 1 mit drei Objekten. 3a zeigt eine schematische Ansicht der Abbildungen der drei Objekte auf den Sensoren des Bildaufnahmesystems aus 1. 3b zeigt schematische Ansicht der Kombination der Abbildungen der drei Objekte aus 3a. 4 zeigt eine schematische Ansicht der Bestimmung der Parallaxe der drei Objekte aus 2. 5 zeigt eine schematische Ansicht der bestimmten Tiefen- und Größeninformationen der drei Objekte aus 2.
  • Drei in unterschiedlichen Entfernungen (sob1, sob2, sob3) zu den Sensoren befindliche Objekte 80, 82, 84 in unterschiedlichen Höhen (yob1, yob2, yob3) werden auf die Sensoren 20, 30, 40 abgebildet. Je nach Position im Raum ergeben sich unterschiedliche Lagen der , , , , , , , , auf den Sensoren 20, 30, 40 (nämlich yob1'0, yob1'1, yob1'2 für das erste Objekt 80,yob2'0, yob2'1, yob2'2 für das zweite Objekt 82 und yob3'0, yob3'1, yob3'2 für das dritte Objekt 84). Dies ist in 3a illustriert. Die Nulllinie der Höhe verläuft jeweils horizontal durch die Mitte des jeweiligen Sensors 20, 30, 40, Von hier aus werden die Höhenpositionen der Abbildungen der drei Objekte 90, 92, 94, 90', 92', 94', 90'', 92'', 94'' gemessen, wie dies in 3a gezeigt ist. Die Höhenpositionen sind jeweils durch gepunktete Linien in 3a, 3b und 4 dargestellt.
  • In 3b ist die Entfernung der Parallaxe aus den von den Hochauflösung-Sensoren 20, 30 aufgenommenen Objekten 80, 82, 84 über die Mittelwertsbildung der gemessenen Lagen gezeigt.
  • Die , , der Objekte, die mit dem Zusatz-Sensor 40 aufgenommen werden, werden dem über die Mittelwerte verrechneten hochaufgelösten, monochromen, parallaxefreien Abbildungen der Objekte zugeordnet.
  • In 4 ist die Berechnung der Parallaxeninformation der Objekte 80, 82, 84 aus den von den Hochauflösungs-Sensoren 20, 30 aufgenommenen Objekten 80, 82, 84 über die Differenzbildung der gemessenen Lagen bzw. Höhen auf den Sensoren 20, 30, 40 dargestellt.
  • In 5 ist die Rekonstruktion der Objekte 80, 82, 84 hinsichtlich Lage und Größe durch Verrechnung der Informationen aus den verschiedenen Sensoren dargestellt.
  • Hierbei gelten folgende Gleichungen: y ob 1 ' = ( y ob 1 ' 1 + y ob 1 ' 2 ) / 2
    Figure DE102019109147A1_0008
    y ob 1 ' 0 = y ob 1 '
    Figure DE102019109147A1_0009
    Δ y ob1 ' = y ob 1 ' 1 y ob 1 ' 2
    Figure DE102019109147A1_0010
    s ob 1 = b * f * n/ Δ y ob1 '
    Figure DE102019109147A1_0011
    y ob 1 = y ob 1 ' * s ob 1 / ( f * n )
    Figure DE102019109147A1_0012
    ß ob 1 = s ob 1 / ( f * n )
    Figure DE102019109147A1_0013
    y ob 1 ' = ( y ob 2 ' 1 + y ob 2 ' 2 ) / 2
    Figure DE102019109147A1_0014
    y ob 2 ' 0 = y ob 2 '
    Figure DE102019109147A1_0015
    Δ y ob 2 ' = y ob 2 ' 1 y ob 2 ' 2
    Figure DE102019109147A1_0016
    s ob 2 = b * f * n/ Δ y ob 2 '
    Figure DE102019109147A1_0017
    y ob 2 = y ob 2 ' * s ob 2 / ( f * n )
    Figure DE102019109147A1_0018
    ß ob 2 = s ob 2 / ( f * n )
    Figure DE102019109147A1_0019
    y ob 3 ' = ( y ob 3 ' 1 + y ob 3 ' 2 ) / 2
    Figure DE102019109147A1_0020
    y ob 3 ' 0 = y ob 3 '
    Figure DE102019109147A1_0021
    Δ y ob 3 ' = y ob 3 ' 1 y ob 3 ' 2
    Figure DE102019109147A1_0022
    s ob 3 = b * f * n/ Δ y ob 3 '
    Figure DE102019109147A1_0023
    y ob 3 = y ob 3 ' * s ob 1 / ( f * n )
    Figure DE102019109147A1_0024
    ß ob 3 = s ob 3 / ( f * n )
    Figure DE102019109147A1_0025
  • Die Sensoren 20, 30, 40 können beispielsweise jeweils ein CCD-Sensor (charged coupled device sensor) umfassen oder sein.
  • Es ist auch denkbar, dass einer der Hochauflösungs-Sensoren 20, 30 oder beide Hochauflösungs-Sensoren 20, 30 Infrarot-Sensoren sind, während der Zusatz-Sensor 40 optisches Licht verwendet. Auch vorstellbar ist, dass der Zusatz-Sensor 40 ein InfrarotSensor und die beiden Hochauflösungs-Sensoren 20, 30 für den Menschen sichtbares Licht verwenden.
  • Die Sensoren 20, 30, 40 können zueinander im Wesentlichen baugleiche Objektive 22, 32, 42 verwendet. Die Objektive können jeweils die gleiche Brennweite aufweisen. Denkbar ist auch, dass die Sensoren 20, 30, 40 die gleiche Dimension bzw. Größe aufweisen. Vorstellbar ist auch, dass die Sensoren 20, 30, 40 zueinander unterschiedlich groß sind.
  • Die Brechzahl des Wassers hängt von dem Salzgehalt ab. Daher kann das Bildaufnahmesystem 10 einen Salzgehaltsensor 50 zum Bestimmen des Salzgehalts des Wassers und zum Bestimmen der Brechzahl auf Grundlage des bestimmten Salzgehalts aufweisen. Die bestimmte Brechzahl wird beim Berechnen der Tiefen- und Größeninformation, die aus der Parallaxe berechnet wird, berücksichtigt.
  • Darüber hinaus kann das Bildaufnahmesystem 10 einen Drucksensor 52 und/oder einen Temperatursensor 54 umfassen. Die Brechzahl des Wassers ist geringfügig abhängig von dem Druck des Wassers und der Temperatur des Wassers. Der Drucksensor 52 misst den Druck des Wassers. Der Temperatursensor 54 misst die Temperatur des Wassers. Der gemessene Druck und/oder die gemessene Temperatur und/oder der gemessene Salzgehalt werden bei der Berechnung der Tiefen- und/oder Größeninformation aus der Parallaxe berücksichtigt. Denkbar ist auch, dass der Druck des Wassers durch eine Tiefenmessung abgeschätzt bzw. berechnet wird. Auf diese Weise kann die Parallaxe noch genauer berechnet werden. Folglich können die Pixel der Hochauflösungs-Sensoren 20, 30 dem jeweiligen Pixel des Zusatz-Sensors 40 oder umgekehrt noch besser bzw. zutreffender zugeordnet werden (sogenanntes mapping).
  • Es kann ein Zwischenbild (z.B. aus den Mittelwerten) zwischen den Hochauflösungs-Sensoren 20, 30 berechnet werden. Dieses Zwischenbild entspricht dem Bild, das von einem Hochauflösungs-Sensor 20, 30 erzeugt würde, der sich an der Position des Zusatz-Sensors 40 befände. Dieses Bild wird mit dem vom Zusatz-Sensor 40 aufgenommen Bild verrechnet, unter Beachtung der jeweiligen Parallaxe. Auf diese Weise kann ein Bild erzeugt werden, das die Informationen der Hochauflösungs-Sensoren 20, 30 (mit hoher Auflösung) und die Informationen des Zusatz-Sensors 40 vereint. Z.B. kann ein farbiges Bild mit einer Auflösung im Bereich der Auflösung der Hochauflösungs-Sensoren 20, 30 hierdurch berechnet werden. Hierbei werden die Farbinformationen, die durch den Zusatz-Sensor 40 erhalten wurden, auf die jeweiligen Pixel der Hochauflösungs-Sensoren 20, 30 „übertragen“ bzw. gemappt.
  • Das Bildaufnahmesystem 10 erzeugt bzw. berechnet ein Bild oder mehrere Bilder (nacheinander) und gibt dieses bzw. diese aus und/oder speichert diese. Vorstellbar ist auch, dass die Bilder weiterverarbeitet werden. Z.B. ist eine Mustererkennung vorstellbar.
  • Darüber hinaus kann das von dem Bildaufnahmesystem 10 erzeugte Bild ein stereoskopisches Bild bzw. ein 3D-Bild sein, da ein Bild des Objekts 80 aus zwei unterschiedlichen Winkeln aufgenommen wird.
  • Die Auflösung der Hochauflösungs-Sensoren 20, 30 ist üblicherweise gleichgroß.
  • Es ist möglich, dass das Bildaufnahmesystem 10 zusätzlich zu den zwei Hochauflösungs-Sensoren 20, 30 und dem Zusatz-Sensor 40 weitere Sensoren aufweist. Diese können für den Menschen sichtbares Licht und/oder Infrarotlicht verwenden.
  • Die weiteren Sensoren können Auflösungen vergleichbar mit der Auflösung der Hochauflösungs-Sensoren 20, 30 aufweisen oder vergleichbar mit der Auflösung des Zusatz-Sensors 40 aufweisen.
  • Die weiteren Sensoren können derart angeordnet sein, dass sich beispielsweise bei fünf Sensoren, wobei ein Sensor der Zusatz-Sensor 40 ist, der Zusatz-Sensor 40 mittig zwischen den anderen vier symmetrisch um den Zusatz-Sensor 40 angeordneten Sensoren angeordnet ist.
  • Die Objekte 80, 82, 84 sind in 1-5 jeweils mittels eines rechteckigen Symbols dargestellt. Die Objekte 80, 82, 84 können jedoch jede Art von äußerer Form haben. Die Objekte 80, 82, 84 können z.B. eine ellipsoidförmige, eine quaderförmige, eine pyramidenförmige oder eine andere Form haben. Die Objekte 80, 82, 84 können beispielsweise flach sein (z.B. scheibenförmig) oder in Richtung der s-Achse eine größere Ausdehnung haben.
  • Bezugszeichenliste
  • 10
    Bildaufnahmesystem
    20
    erster Hochauflösungs-Sensor (erster Monochromsensor)
    22
    erstes Objektiv
    30
    zweiter Hochauflösungs-Sensor (zweiter Monochromsensor)
    32
    zweites Objektiv
    40
    Zusatz-Sensor (Farbsensor)
    42
    drittes Objektiv
    50
    Salzgehaltsensor
    52
    Drucksensor
    54
    Temperatursensor
    70
    Berechnungsvorrichtung
    80
    erstes Objekt
    82
    zweites Objekt
    84
    drittes Objekt
    90, 90', 90"
    Abbildung des ersten Objekts
    92, 92', 92"
    Abbildung des ersten Objekts
    94, 94', 94"
    Abbildung des ersten Objekts

Claims (15)

  1. Bildaufnahmesystem (10), insbesondere Unterwasserbildaufnahmesystem, zum Aufnehmen von Bildern eines Objekts (80, 82, 84), wobei das Bildaufnahmesystem (10) folgendes umfasst: zwei Hochauflösungs-Sensoren (20, 30) und einen Zusatz-Sensor (40), wobei die zwei Hochauflösungs-Sensoren (20, 30) jeweils ein höheres Auflösungsvermögen aufweisen als der Zusatz-Sensor (40), wobei die Hochauflösungs-Sensoren (20, 30) und der Zusatz-Sensor (40) im Wesentlichen in einer Ebene angeordnet sind, und eine Berechnungsvorrichtung (70) zum Berechnen einer Parallaxe zwischen den Hochauflösungs-Sensoren (20, 30) und dem Zusatz-Sensor (40) zum verbesserten Zuordnen der Informationen des Zusatz-Sensors (40) zu den Informationen der Hochauflösungs-Sensoren (20, 30).
  2. Bildaufnahmesystem (10) nach Anspruch 1, wobei der Zusatz-Sensor (40) zwischen den Hochauflösungs-Sensoren (20, 30) angeordnet ist.
  3. Bildaufnahmesystem (10) nach Anspruch 1 oder 2, wobei der Zusatz-Sensor (40) und die Hochauflösungs-Sensoren (20, 30) im Wesentlichen entlang einer gedachten Gerade angeordnet sind.
  4. Bildaufnahmesystem (10) nach einem der vorhergehenden Ansprüche, wobei der Zusatz-Sensor (40) mittig zwischen den Hochauflösungs-Sensoren (20, 30) angeordnet ist.
  5. Bildaufnahmesystem (10) nach einem der vorhergehenden Ansprüche, wobei der Zusatz-Sensor (40) ein Farb-Sensor ist, insbesondere ein Farb-Sensor umfassend ein Bayermuster ist.
  6. Bildaufnahmesystem (10) nach einem der Ansprüche 1-4, wobei der Zusatz-Sensor (40) mehrere Monochromsensoren umfasst, wobei zwischen den mehreren Monochromsensoren und dem Objekt (80, 82, 84) zueinander unterschiedliche Farbfilter derart angeordnet sind, dass die mehreren Monochromsensoren Licht unterschiedlicher Farben erfassen.
  7. Bildaufnahmesystem (10) nach einem der vorhergehenden Ansprüche, wobei das Bildaufnahmesystem (10) ein Unterwasserbildaufnahmesystem zum Aufnehmen von Objekten (80, 82, 84) unter Wasser ist, wobei das Bildaufnahmesystem (10) ferner einen Salzgehaltsensor (50) zum Bestimmen der Brechzahl des Wassers basierend auf einem Salzgehalt des Wassers umfasst, wobei die Berechnungsvorrichtung (70) zum Bestimmen einer Tiefen- und/oder Größeninformation der Objekte (80, 82, 84) ausgebildet ist, wobei die Berechnungsvorrichtung (70) zum Berücksichtigen der auf Grundlage des Salzgehalts bestimmten Brechzahl des Wassers beim Bestimmen der Tiefen- und/oder Größeninformation der Objekte (80, 82, 84) ausgebildet ist.
  8. Bildaufnahmesystem (10) nach einem der vorhergehenden Ansprüche, wobei das Bildaufnahmesystem (10) ein Unterwasserbildaufnahmesystem zum Aufnehmen von Objekten (80, 82, 84) unter Wasser ist, wobei das Bildaufnahmesystem (10) ferner einen Drucksensor (52) zum Bestimmen der Brechzahl des Wassers basierend auf einem Druck des Wassers und/oder einen Temperatursensor (54) zum Bestimmen der Brechzahl des Wassers basierend auf einer Temperatur des Wassers umfasst, wobei die Berechnungsvorrichtung (70) zum Bestimmen einer Tiefen- und/oder Größeninformation der Objekte (80, 82, 84) ausgebildet ist, wobei die Berechnungsvorrichtung (70) zum Berücksichtigen der durch den Drucksensor (52) und/oder durch den Temperatursensor (54) bestimmten Brechzahl des Wassers beim Bestimmen der Tiefen- und/oder Größeninformation der Objekte (80, 82, 84) ausgebildet ist.
  9. Bildaufnahmesystem (10) nach einem der vorhergehenden Ansprüche, wobei bei zumindest zwei der Sensoren, insbesondere bei den drei Sensoren, zueinander im Wesentlichen baugleiche Objektive mit gleicher Brennweite zwischen dem Objekt (80, 82, 84) und dem jeweiligen Sensor angeordnet ist.
  10. Verfahren zum Aufnehmen von Bildern eines Objekts (80, 82, 84), insbesondere mittels eines Bildaufnahmesystems (10) nach einem der vorhergehenden Ansprüche, wobei das Verfahren folgende Schritte umfasst: Aufnehmen von Bildern des Objekts (80, 82, 84) mittels zweier Hochauflösungs-Sensoren (20, 30) und einem Zusatz-Sensor (40), wobei die zwei Hochauflösungs-Sensoren (20, 30) und der Zusatz-Sensor (40) in einer Ebene angeordnet sind; Berechnen einer Parallaxe zwischen den Hochauflösungs-Sensoren (20, 30) und dem Zusatz-Sensor (40) auf Grundlage der aufgenommenen Bilder der zwei Hochauflösungs-Sensoren (20, 30); und Zuordnen der Information des Zusatz-Sensors (40) zu einem Bild der Hochauflösungs-Sensoren (20, 30) oder einem berechneten Zwischenbild der Bilder der Hochauflösungs-Sensoren (20, 30) unter Berücksichtigung der berechneten Parallaxe.
  11. Verfahren nach Anspruch 10, wobei der Zusatz-Sensor (40) zwischen den Hochauflösungs-Sensoren (20, 30) angeordnet ist.
  12. Verfahren nach Anspruch 10 oder 11, wobei der Zusatz-Sensor (40) ein Farb-Sensor ist, insbesondere ein Farb-Sensor umfassend ein Bayermuster ist.
  13. Verfahren nach Anspruch 10 oder 11, wobei der Zusatz-Sensor (40) mehrere Monochromsensoren umfasst, wobei zwischen den Monochromsensoren und dem Objekt (80, 82, 84) zueinander unterschiedliche Farbfilter derart angeordnet sind, dass die mehreren Monochromsensoren Licht unterschiedlicher Farben erfassen.
  14. Verfahren nach einem der Ansprüche 10-13, wobei das Objekt (80, 82, 84) unter Wasser angeordnet ist, und wobei das Verfahren ferner folgende Schritte umfasst: Bestimmen einer Brechzahl des Wassers basierend auf einem Salzgehalt des Wassers, und Bestimmen der Tiefen- und/oder Größeninformation der Objekte (80, 82, 84), wobei die bestimmte Brechzahl des Wassers beim Bestimmen der Tiefen- und/oder Größeninformation der Objekte (80, 82, 84) berücksichtigt wird.
  15. Verfahren nach einem der Ansprüche 10-14, wobei das Objekt (80, 82, 84) unter Wasser angeordnet ist, und wobei das Verfahren ferner den Schritt des Bestimmens der Tiefen- und/oder Größeninformation der Objekte (80, 82, 84), und ferner folgenden Schritt umfasst: Bestimmen einer Brechzahl des Wassers basierend auf einem gemessenen Druck des Wassers und/oder Bestimmen einer Brechzahl des Wassers basierend auf einer gemessenen Temperatur des Wassers, wobei die bestimmte Brechzahl des Wassers beim Bestimmen der Tiefen- und/oder Größeninformation berücksichtigt wird.
DE102019109147.0A 2019-04-08 2019-04-08 Bildaufnahmesystem und verfahren zum aufnehmen von bildern Pending DE102019109147A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102019109147.0A DE102019109147A1 (de) 2019-04-08 2019-04-08 Bildaufnahmesystem und verfahren zum aufnehmen von bildern
CA3132090A CA3132090A1 (en) 2019-04-08 2020-04-06 Image acquisition system and method for acquiring images
NO20211009A NO347566B1 (en) 2019-04-08 2020-04-06 Image acquisition system and method for acquiring images
PCT/EP2020/059804 WO2020207984A1 (de) 2019-04-08 2020-04-06 Bildaufnahmesystem und verfahren zum aufnehmen von bildern

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019109147.0A DE102019109147A1 (de) 2019-04-08 2019-04-08 Bildaufnahmesystem und verfahren zum aufnehmen von bildern

Publications (1)

Publication Number Publication Date
DE102019109147A1 true DE102019109147A1 (de) 2020-10-08

Family

ID=70224383

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019109147.0A Pending DE102019109147A1 (de) 2019-04-08 2019-04-08 Bildaufnahmesystem und verfahren zum aufnehmen von bildern

Country Status (4)

Country Link
CA (1) CA3132090A1 (de)
DE (1) DE102019109147A1 (de)
NO (1) NO347566B1 (de)
WO (1) WO2020207984A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008064617A1 (de) * 2006-11-22 2008-06-05 Visumotion Gmbh Anordnung und verfahren zur aufnahme und wiedergabe von bildern einer szene und/oder eines objektes
US20110134224A1 (en) * 2007-12-27 2011-06-09 Google Inc. High-Resolution, Variable Depth of Field Image Device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100360825B1 (ko) * 2000-09-01 2002-11-13 한국해양연구원 거리측정이 가능한 단동형 수중 스테레오 카메라
US7483065B2 (en) * 2004-12-15 2009-01-27 Aptina Imaging Corporation Multi-lens imaging systems and methods using optical filters having mosaic patterns
US7782364B2 (en) * 2007-08-21 2010-08-24 Aptina Imaging Corporation Multi-array sensor with integrated sub-array for parallax detection and photometer functionality
US8184276B2 (en) * 2008-12-08 2012-05-22 Carl Embry Continuous index of refraction compensation method for measurements in a medium
JP6623729B2 (ja) * 2015-12-04 2019-12-25 株式会社ソシオネクスト 測距システム、移動体及び部品
US10341543B2 (en) * 2016-04-28 2019-07-02 Qualcomm Incorporated Parallax mask fusion of color and mono images for macrophotography

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008064617A1 (de) * 2006-11-22 2008-06-05 Visumotion Gmbh Anordnung und verfahren zur aufnahme und wiedergabe von bildern einer szene und/oder eines objektes
US20110134224A1 (en) * 2007-12-27 2011-06-09 Google Inc. High-Resolution, Variable Depth of Field Image Device

Also Published As

Publication number Publication date
WO2020207984A1 (de) 2020-10-15
NO347566B1 (en) 2024-01-15
NO20211009A1 (en) 2021-08-23
CA3132090A1 (en) 2020-10-15

Similar Documents

Publication Publication Date Title
DE112015005073B4 (de) Abbildungssystem, enthaltend eine Linse mit longitudinaler chromatischer Aberration, Endoskop und Abbildungsverfahren
EP3186952B1 (de) Bildaufnahmevorrichtung und verfahren zur bildaufnahme
DE102006055758B4 (de) Verfahren zur Kalibrierung von Kameras und Projektoren
DE102009013667A1 (de) Verfahren zur Herstellung einer bekannnten festen räumlichen Beziehung zwischen einem Laserscanner und einer Digitalkamera zur Verkehrsüberwachung
DE102011114674A1 (de) Verfahren und Vorrichtung zum Bestimmen der 3D-Koordinaten eines Objekts
DE102020122844A1 (de) System und verfahren für tiefgehendes maschinelles lernen für computer-vision-anwendungen
DE102012023623A1 (de) Verfahren zum Zusammensetzen von Teilaufnahmen einer Oberfläche eines Objektes zu einer Gesamtaufnahme des Objektes und System zum Erstellen einer Gesamtaufnahme eines Objektes
DE102017109021A1 (de) System für das stereoskopische Visualisieren eines Objektbereichs
EP4049445B1 (de) Verfahren zur erzeugung eines ausgabesignals eines pdaf-bildpunkts
DE102017010683A1 (de) Verfahren zur automatischen Wiederherstellung eines eingemessenen Zustands eines Projektionssystems
DE102019109147A1 (de) Bildaufnahmesystem und verfahren zum aufnehmen von bildern
EP3420533A1 (de) Verfahren zum kalibrieren eines optischen messaufbaus
EP3561772B1 (de) Verfahren zur kalibrierung einer zeilenbildaufnahmeeinheit
DE102019133515B3 (de) Verfahren und Vorrichtung zur Parallaxenbestimmung von Aufnahmen eines Multilinsen-Kamerasystems
DE3111300C2 (de)
DE102021111417A1 (de) Verfahren und System zu Bestimmung der Lage eines Markers in einem 2D-Bild und dafür ausgebildeter Marker
DE102009024030B3 (de) Verfahren zur optischen Ermittlung von geometrischen Oberflächenmerkmalen
DE112013005363T5 (de) Kamera, Farbmesssystem und Offset-Druckerpresse
DE102017221721A1 (de) Vorrichtung zum Kalibrieren eines Multikamerasystems
EP3762870B1 (de) Entfernungsmesselement
DE102018205399A1 (de) Korrekturverfahren und Vorrichtung zur Korrektur von Bilddaten
DE102014206851A1 (de) Anordnung und Verfahren zur Erfassung einer eindimensionalen Position und Geschwindigkeit eines Objekts mit einer Kamera
DE102012003127A1 (de) Verfahren für eine Autofokuseinrichtung
DE19500507C2 (de) Kamera mit Objektiv- und Bildträgereinstellvorrichtung und Scharfstellverfahren
DE102018206190A1 (de) Verfahren zur Detektion einer Anordnung von zumindest zwei Kameras eines Multi-Kamerasystems einer mobilen Trägerplattform zueinander und Verfahren zur Detektion einer Anordnung der Kamera zu einem Objekt außerhalb der mobilen Trägerplattform

Legal Events

Date Code Title Description
R163 Identified publications notified
R082 Change of representative

Representative=s name: WENZEL NEMETZADE WARTHMUELLER PATENTANWAELTE P, DE