DE102017111023A1

DE102017111023A1 - Digitales Kamerasystem, Linse und Verfahren zum Bestimmen der Position und/oder Orientierung

Info

Publication number: DE102017111023A1
Application number: DE102017111023.2A
Authority: DE
Inventors: Michael Witych
Original assignee: Deutsche Telekom AG
Current assignee: Deutsche Telekom AG
Priority date: 2017-05-19
Filing date: 2017-05-19
Publication date: 2018-11-22
Anticipated expiration: 2037-05-20
Also published as: DE102017111023B4

Abstract

Die Erfindung sieht ein neuartiges digitales Mehrbereichswellenlängen-Kamerasystem zum gleichzeitigen Abbilden elektromagnetische Strahlung wenigstens einer ersten Wellenlänge und wenigstens einer zweiten, von der ersten unterschiedlichen Wellenlänge vor, wobei wenigstens eine der ersten und zweiten Wellenlänge außerhalb des sichtbaren Spektrums liegt, umfassend einen in einer ersten Bildebene angeordneten, für die wenigstens eine erste Wellenlänge sensitiven, ersten Sensor, einen in einer zweiten Bildebene angeordneten, für die wenigstens eine zweite Wellenlänge sensitiven, zweiten Sensor, und einen wellenlängenselektiven Strahlteiler, welcher elektromagnetische Strahlung der wenigstens einen ersten Wellenlänge im Wesentlichen transmittiert und elektromagnetische Strahlung der wenigstens einen zweiten Wellenlänge im Wesentlichen reflektiert, wobei der Strahlteiler angeordnet ist, die elektromagnetische Strahlung der wenigstens einen ersten Wellenlänge auf den ersten Sensor und die elektromagnetische Strahlung der wenigstens einen zweiten Wellenlänge auf den zweiten Sensor zu lenken.
Die Erfindung sieht ferner eine Linse zum Einsatz in dem digitalen Kamerasystem, ein verbessertes Verfahren zum Bestimmen der Position und/oder Orientierung einer mobilen elektronischen Einrichtung, sowie eine mobile elektronische Einrichtung zum Ausführen des Verfahrens vor.

Description

Die Erfindung betrifft ein digitales Kamerasystem, eine Linse zum Einsatz in einem digitalen Kamerasystem, ein Verfahren zum Bestimmen der Position und/oder Orientierung einer mobilen elektronischen Einrichtung, insbesondere eines Mobilfunktelefons, mit Hilfe eines digitalen Kamerasystems, sowie eine mobile elektronische Einrichtung.
Digitale Kamerasysteme dienen dazu, statische oder bewegte Bilder mittels eines elektronischen Sensors zu detektieren und aufzuzeichnen oder über eine Schnittstelle bereitzustellen, wobei die Aufzeichnung typischerweise unter Verwendung eines digitalen Speichermediums erfolgt und die Bereitstellung über eine Schnittstelle beispielsweise zur Anzeige auf einem Bildschirm dient.
Bei einem digitalen Kamerasystem wird das Bild in der Regel von einem Objektiv auf eine Bildebene abgebildet, in welcher der elektronische Sensor angeordnet ist. Ein Objektiv ist ein sammelndes optisches System, das eine reelle optische Abbildung eines Objektes in der Bildebene erzeugt. Im einfachsten Fall wird ein Objektiv durch eine einzelne Sammellinse gebildet. Durch die Kombination mehrerer Linsen kann die Abbildungsqualität eines Objektivs erhöht werden, wenn die Linsen und deren Eigenschaften so gewählt werden, dass bestimmte Abbildungsfehler verringert werden. Auch ermöglicht die Verwendung mehrerer Linsen die Bereitstellung von Objektiven mit variabler Brennweite.
Am häufigsten werden digitale Kamerasysteme im Bereich der klassischen Optik zur Abbildung von Licht eingesetzt. Als Licht wird typischerweise der für das menschliche Auge sichtbare Teil der elektromagnetischen Strahlung bezeichnet, wobei der Bereich des Lichts im elektromagnetischen Spektrum Wellenlängen von etwa 380 nm bis 780 nm umfasst.
Es sind auch digitale Kamerasysteme für die Verwendung in anderen Wellenlängenbereichen bekannt, wie beispielsweise Infrarotkameras für den Einsatz im infraroten Wellenlängenbereich von etwa 780 nm bis 1 mm, Infrarotkameras werden beispielsweise als Wärmebildkameras, in Nachtsichtgeräten oder in der Infrarot-Spektroskopie eingesetzt. Bekannt sind auch UV-Kameras für den Einsatz im ultravioletten Wellenlängenbereich von etwa 1 nm bis 380 nm, die beispielsweise in der Qualitätssicherung eingesetzt werden.
Heutige Mobilfunktelefone, insbesondere sogenannte Smartphones, können unter anderem eine Kamera, einen GPS-Empfänger und Bewegungssensoren zur Bestimmung der Änderung von Orientierungen und Positionen enthalten. Mit Hilfe einer Kamera und der Auswertung digitaler Bildinformation können Orientierungen des Smartphones absolut im Raum bestimmt werden. Ein Gyroskop kann relative Änderungen von Orientierungen erfassen. Ein Linearbeschleunigungsmesser kann relative Änderungen der Position erfassen. Mit Hilfe eines GPS-Empfängers kann die absolute Position des Smartphones berechnet werden.
Ein Verfahren zum Bestimmen der Orientierung einer beweglichen Kommunikationseinrichtung mit Hilfe eines digitalen Kamerasystems ist beispielsweise aus EP 2 985 624 A1 bekannt.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, aus dem Stand der Technik bekannte digitale Kamerasysteme und darin verwendete Linsen zu verbessern und/oder deren Einsatzgebiet zu erweitern. Eine weitere Aufgabe der Erfindung kann darin gesehen werden, ein verbessertes Verfahren zum Bestimmen der Position und/oder Orientierung einer mobilen elektronischen Einrichtung, sowie eine zum Ausführen des Verfahrens ausgebildete mobile elektronische Einrichtung anzugeben.
Das oben genannte technische Problem wird durch ein digitales Kamerasystem gemäß Anspruch 1, eine Linse gemäß Anspruch 13, ein Verfahren gemäß Anspruch 14 und eine mobile elektronische Einrichtung gemäß Anspruch 15 gelöst. Vorteilhafte Ausführungsformen und Weiterbildungen sind Gegenstand der jeweiligen Unteransprüche.
Ein Kerngedanke der Erfindung ist darin zu sehen, eine neuartige digitale Mehrbereichswellenlängen-Kamera bereitzustellen, die in wenigstens zwei Bildebenen jeweils unterschiedliche Sensorelemente, beispielsweise CCD- oder CMOS-Elemente aufweist, die für unterschiedliche Wellenlängen, die auch wenigstens eine Wellenlänge oder einen Wellenlängenbereich außerhalb des sichtbaren Spektrums umfassen, sensibilisiert sind und aus dem Objektraum unterschiedliche Informationsinhalte aufnehmen. Weitere Kerngedanken der Erfindung bestehen darin, eine neuartige Linse anzugeben, die in einer solchen neuartigen digitalen Mehrbereichswellenlängen-Kamera einsetzbar ist, sowie ein vollautomatisches Verfahren zur Positionsbestimmung und/oder Orientierungsbestimmung mit Hilfe einer solchen digitalen Mehrbereichswellenlängen-Kamera bereitzustellen, insbesondere unter Verwendung des Prinzips der Bündelausgleichung, wobei durch den Einsatz der digitalen Mehrbereichswellenlängen-Kamera im Bildraum der Informationsgehalt, der zur Positions- und/oder Orientierungsbestimmung, insbesondere zur Bündelausgleichung, verwendet werden kann, potentiell erhöht wird.
Ein erfindungsgemäßes digitales Kamerasystem ist dazu ausgebildet, gleichzeitig elektromagnetische Strahlung wenigstens einer ersten Wellenlänge und wenigstens einer zweiten, von der ersten unterschiedlichen Wellenlänge abzubilden, wobei wenigstens eine der ersten und zweiten Wellenlänge außerhalb des sichtbaren Spektrums liegt. Zu diesem Zweck umfasst das digitale Kamerasystem einen in einer ersten Bildebene angeordneten, für die wenigstens eine erste Wellenlänge sensitiven, ersten Sensor, einen in einer zweiten Bildebene angeordneten, für die wenigstens eine zweite Wellenlänge sensitiven, zweiten Sensor, und einen wellenlängenselektiven Strahlteiler, welcher elektromagnetische Strahlung der wenigstens einen ersten Wellenlänge im Wesentlichen transmittiert und elektromagnetische Strahlung der wenigstens einen zweiten Wellenlänge im Wesentlichen reflektiert, wobei der Strahlteiler angeordnet ist, die elektromagnetische Strahlung der wenigstens einen ersten Wellenlänge auf den ersten Sensor und die elektromagnetische Strahlung der wenigstens einen zweiten Wellenlänge auf den zweiten Sensor zu lenken.
Der Begriff der Bildebene soll vorliegend allgemein eine durch einen Sensor oder ein Sensor-Bauteil vorgegebene Detektionsfläche bezeichnen, wobei diese nicht zwingend tatsächlich eine ebene Fläche sein muss, sondern beispielsweise auch die Form einer Kugelteilfläche oder Kugelkalotte haben kann. Der Begriff der Bildebene wird somit vorliegend allgemein im Sinne einer ebenen oder gekrümmten Fläche innerhalb eines Bildraums verwendet.
Vorzugsweise umfasst die wenigstens eine erste Wellenlänge einen ersten Wellenlängenbereich und die wenigstens eine zweite Wellenlänge einen zweiten Wellenlängenbereich. Dementsprechend transmittiert der Strahlteiler vorteilhaft elektromagnetische Strahlung im Wesentlichen im gesamten ersten Wellenlängenbereich und reflektiert elektromagnetische Strahlung im Wesentlichen im gesamten zweiten Wellenlängenbereich. Vorzugsweise handelt es sich bei dem ersten und zweiten Wellenlängenbereich um nicht überlappende Wellenlängenbereiche. Der erste und/oder zweite Wellenlängenbereich kann jeweils als ein zusammenhängendes Wellenlängenband ausgebildet sein oder durch wenigstens zwei nicht zusammenhängende Wellenlängenbänder gebildet sein.
In einer bevorzugten Ausführungsform liegt der erste Wellenlängenbereich im sichtbaren Spektrum zwischen 380 nm und 780 nm und der zweite Wellenlängenbereich im infraroten Spektrum zwischen 780 nm und 1 mm.
Der in dem digitalen Kamerasystem eingesetzte wellenlängenselektive Strahlteiler ist vorzugsweise als dichroitischer Spiegel ausgebildet. Dichroitische Spiegel, die unterhalb einer Grenzwellenlänge reflektieren und oberhalb der Grenzwellenlänge transmittieren sind für unterschiedliche Grenzwellenlängen verfügbar, wobei eine scharfe Trennung zwischen reflektierendem und transmittierendem Wellenlängenbereich erzielt werden kann, sowie ein Transmissions- bzw. Reflexionsgrad von über 90 % oder sogar über 95 %. Ein solcher dichroitischer Spiegel kann auch als dichroitischer Filter oder als dichroitischer Strahlteiler bezeichnet werden. Ein dichroitischer Spiegel ist typischerweise als Interferenzfilter aufgebaut, wobei der Interferenzfilter insbesondere dielektrische Schichten mit unterschiedlichen Brechungsindices umfasst. Ist der Interferenzfilter nur aus dielektrischen Schichten aufgebaut, so wird er auch als ADI (all-dielectric interference filter) bezeichnet.
Besonders vorteilhaft werden die vom ersten und zweiten Sensor detektierten Bildinformationen automatisch zu einem gemeinsamen digitalen Bild zusammengeführt. Dementsprechend ist das digitale Kamerasystem vorteilhaft dazu ausgebildet, ein digitales Bild zu erzeugen, welches für wenigstens einen Bildpunkt des digitalen Bildes, insbesondere für jeden Bildpunkt des digitalen Bildes, Bildinformationen bezüglich der ersten Wellenlänge bzw. des ersten Wellenlängenbereiches und Bildinformationen bezüglich der zweiten Wellenlänge bzw. des zweiten Wellenlängenbereiches umfasst. Die Bildinformation umfasst insbesondere ein dem jeweiligen Bildpunkt zuordenbares Maß für eine detektierte Intensität der jeweiligen Wellenlänge. Die Bildinformation kann auch mehrere Zahlenwerte umfassen, wobei jeder Zahlenwert jeweils ein Maß für eine detektierte Intensität einer anderen Wellenlänge oder eines anderen Wellenlängenbereichs innerhalb des ersten bzw. zweiten Wellenlängenbereichs darstellt. Wird zuordenbar zu einem Bildpunkt keine elektromagnetische Strahlung der wenigstens einen ersten Wellenlänge bzw. der wenigstens einen zweiten Wellenlänge detektiert, so umfasst die Bildinformation für diesen Bildpunkt vorteilhaft einen Wert von 0. Für das sichtbare Spektrum kann die Bildinformation beispielsweise in an sich bekannter Weise einen dem jeweiligen Bildpunkt zugeordneten RGB-Wert umfassen, wobei der RGB-Wert beispielsweise für jede der Farben Rot, Grün und Blau einen Zahlenwert zwischen 0 und 255 umfasst. Analog kann beispielsweise für ein oder mehrere Referenzwellenlängen außerhalb des sichtbaren Spektrums, zum Beispiel im infraroten Spektrum, jeweils ein Wertebereich definiert werden als Maß für die bei der jeweiligen Referenzwellenlänge detektierte Intensität.
Das digitale Bild wird insbesondere in Abhängigkeit eines vom ersten Sensor erzeugten ersten digitalen Teilbildes, welches für jeden Bildpunkt des ersten digitalen Teilbildes Bildinformationen bezüglich der ersten Wellenlänge umfasst, eines vom zweiten Sensor erzeugten zweiten digitalen Teilbildes, welches für jeden Bildpunkt des zweiten digitalen Teilbildes Bildinformationen bezüglich der zweiten Wellenlänge umfasst, und im Kamerasystem hinterlegter Abbildungsparameter erzeugt.
Die hinterlegten Abbildungsparameter ermöglichen eine Zuordnung der Bildpunkte des ersten digitalen Teilbildes und der Bildpunkte des zweiten digitalen Teilbildes. Dies kann insbesondere bei unterschiedlichen Brennweiten der Abbildung in die erste bzw. zweite Bildebene erforderlich sein, oder auch bei unterschiedlicher Dichte der Sensorelemente des ersten und zweiten Sensors. Ferner wird durch die Abbildungsparameter die Bildspiegelung am Strahlteiler korrigiert.
Ein weiterer zu korrigierender Effekt tritt durch den Einsatz des Strahlteilers auf, da zumindest für die transmittierte Strahlung ein Brechungseffekt auftritt, der im Wesentlichen der Brechung an einer planparallelen Platte entspricht. Dementsprechend umfassen die Abbildungsparameter vorteilhaft wenigstens einen Parameter, der in Abhängigkeit von an dem wellenlängenselektiven Strahlteiler auftretenden Brechungseffekten definiert ist.
Das digitale Kamerasystem umfasst ferner vorteilhaft wenigstens eine Linse zur optischen Abbildung in die erste und zweite Bildebene, wobei die Linse zur Abbildung elektromagnetischer Strahlung der ersten und zweiten Wellenlänge bzw. des ersten und zweiten Wellenlängenbereiches ausgebildet ist. Zu diesem Zweck kann die Linse ein Material umfassen, welches für beide Wellenlängen bzw. Wellenlängenbereiche transparent ist. Ein Material mit einer Transparenz in einem großen Wellenlängenbereich ist beispielsweise Kaliumbromid, welches für elektromagnetische Strahlung mit Wellenlängen zwischen etwa 0,23 µm und 4,0 pm, transparent ist. Andere Materialien mit einer Transparenz in einem großen Wellenlängenbereich sind beispielsweise Natriumchlorid, Magnesiumfluorid, Kalziumfluorid, Zinksulfid, Zinkselenid oder Saphir.
Besonders vorteilhaft kann aber auch wenigstens eine Linse mit wenigstens einem ersten und wenigstens einem zweiten Linsenbereich eingesetzt werden, wobei der erste Linsenbereich einen ersten Teil der Linsenoberfläche umfasst und der zweite Linsenbereich einen zweiten, vom ersten unterschiedlichen Teil der Linsenoberfläche umfasst, der erste und zweite Linsenbereich jeweils ein unterschiedliches Material mit unterschiedlichen Transmissionseigenschaften für elektromagnetische Strahlung aufweist, der erste Linsenbereich für die erste Wellenlänge eine höhere Transmission als der zweite Linsenbereich aufweist, und der zweite Linsenbereich für die zweite Wellenlänge eine höhere Transmission als der erste Linsenbereich aufweist.
In einer solchen Linse werden somit vorteilhaft unterschiedliche Materialien kombiniert, die jeweils für eine Abbildung der ersten bzw. zweiten Wellenlänge besonders geeignete Eigenschaften aufweisen.
Vorteilhaft werden die Materialien so gewählt, dass der erste Linsenbereich elektromagnetische Strahlung der zweiten Wellenlänge und der zweite Linsenbereich elektromagnetische Strahlung der ersten Wellenlänge im Wesentlichen blockieren.
Wie bereits oben erwähnt, liegt die erste Wellenlänge bzw. der erste Wellenlängenbereich vorzugsweise im sichtbaren Spektrum zwischen 380 nm und 780 nm und die zweite Wellenlänge bzw. der zweite Wellenlängenbereich liegt vorzugsweise im infraroten Spektrum zwischen 780 nm und 1 mm. In dieser Ausführungsform umfasst der erste Linsenbereich vorteilhaft ein optisches Glas und der zweite Linsenbereich umfasst vorteilhaft ein für Infrarotstrahlung im gewünschten zweiten Wellenlängenbereich transparentes Material.
Die unterschiedlichen Materialien weisen typischerweise unterschiedliche Brechungsindices auf. Bei einem einfachen Aufbau der Linse, insbesondere bei gleicher Krümmung des ersten und zweiten Linsenbereiches, weist der erste Linsenbereich, bezogen auf die erste Wellenlänge, und der zweite Linsenbereich, bezogen auf die zweite Wellenlänge, daher vorteilhaft jeweils eine unterschiedliche Brennweite auf.
Die Linse ist somit vorteilhaft gleichzeitig für zwei unterschiedliche Wellenlängenbereiche einsetzbar, wobei elektromagnetische Strahlung dieser zwei unterschiedlichen Wellenlängenbereiche vorzugsweise in unterschiedliche Bildebenen abgebildet wird.
Da der Brechungsindex eines Materials typischerweise wellenlängenabhängig ist, weist auch eine Linse aus einem einzigen Material, welches für beide Wellenlängenbereiche transparent ist, bezogen auf die erste Wellenlänge und zweite Wellenlänge jeweils eine unterschiedliche Brennweite auf.
Die aus einem oder mehreren Materialien aufgebaute Linse ist vorteilhaft als refraktive Linse ausgebildet, kann aber auch als diffraktive Linse aufgebaut sein. Bevorzugt ist die Linse als sphärische Linse oder als Fresnel-Linse aufgebaut, wobei in der Ausführungsform als Fresnel-Linse mit mehreren Linsenbereichen unterschiedlicher Materialien die Linsenbereiche vorzugsweise als Ringzonen der Fresnel-Linse ausgebildet sind.
Ferner weist die Linse vorteilhaft einen im Wesentlichen kreisförmigen Querschnitt senkrecht zur optischen Achse der Linse auf, da eine solche Linsenform für die meisten Anwendungen geeignet ist. Je nach Einsatzzweck liegen aber auch andere Linsenformen im Rahmen der Erfindung, wie beispielsweise mit ovalem oder rechteckigen Querschnitt senkrecht zur optischen Achse der Linse.
In einer vorteilhaften Ausführungsform ist das digitale Kamerasystem dazu ausgebildet, gleichzeitig elektromagnetische Strahlung der ersten und zweiten Wellenlänge und wenigstens einer dritten, von der ersten und zweiten unterschiedlichen Wellenlänge abzubilden, wobei die dritte Wellenlänge außerhalb des sichtbaren Spektrums liegt. Zu diesem Zweck umfasst das digitale Kamerasystem vorteilhaft einen in einer dritten Bildebene angeordneten, für die wenigstens eine dritte Wellenlänge sensitiven, dritten Sensor, einen weiteren wellenlängenselektiven Strahlteiler, welcher elektromagnetische Strahlung der ersten und zweiten Wellenlänge im Wesentlichen transmittiert und elektromagnetische Strahlung der dritten Wellenlänge im Wesentlichen reflektiert, wobei der Strahlteiler angeordnet ist, die elektromagnetische Strahlung der dritten Wellenlänge auf den dritten Sensor zu lenken.
Für den Einsatz in einem solchen digitalen Kamerasystem ist vorteilhaft eine Linse mit wenigstens einem ersten, zweiten und dritten Linsenbereich vorgesehen, wobei der erste Linsenbereich einen ersten Teil der Linsenoberfläche umfasst, der zweite Linsenbereich einen zweiten, vom ersten unterschiedlichen Teil der Linsenoberfläche umfasst, und der dritte Linsenbereich einen dritten, vom ersten und zweiten unterschiedlichen Teil der Linsenoberfläche umfasst, der erste, zweite und dritte Linsenbereich jeweils ein unterschiedliches Material mit unterschiedlichen Transmissionseigenschaften für elektromagnetische Strahlung aufweist, der erste Linsenbereich für die erste Wellenlänge eine höhere Transmission als der zweite und dritte Linsenbereich aufweist, der zweite Linsenbereich für die zweite Wellenlänge eine höhere Transmission als der erste und dritte Linsenbereich aufweist , und der dritte Linsenbereich für die dritte Wellenlänge eine höhere Transmission als der erste und zweite Linsenbereich aufweist.
Der erste, zweite und dritte Sensor sowie gegebenenfalls weitere Sensoren des digitalen Kamerasystems können vorteilhaft als CCD-Sensoren oder als CMOS-Sensoren ausgebildet sein. Die Sensoren können dementsprechend vorzugsweise eine Anordnung von Detektionseinrichtungen umfassen, die als Halbleiter-Fotodioden, insbesondere als Silizium-Fotodioden, ausgebildet sind.
Durch das Abbilden der unterschiedlichen Wellenlängenbereiche in unterschiedliche Bildebenen und den entsprechenden Einsatz mehrerer separater Sensoren für die unterschiedlichen Wellenlängenbereiche können vorteilhaft auf den jeweiligen Wellenlängenbereich optimierte Sensoren mit maximaler Auflösung eingesetzt werden.
Für eine Detektion im sichtbaren Spektrum kann der entsprechende Sensor vorteilhaft auch als sogenannter Bayer-Sensor ausgebildet sein, bei dem ein schachbrettähnlicher Farbfilter vorgesehen ist, welcher in der Regel zu 50 % für die Farbe Grün transparente Filterelemente und zu je 25 % für die Farben Rot und Blau transparente Filterelemente umfasst.
Ein erfindungsgemäßes Verfahren zum Bestimmen der Position und/oder Orientierung einer mobilen elektronischen Einrichtung umfasst die folgenden Schritte:

a) Aufnehmen eines Bildes wenigstens eines Objektes mit einem digitalen Kamerasystem wie oben beschrieben, welches der mobilen elektronischen Einrichtung zugeordnet ist,
b) Bereitstellen vorbestimmter Objektrauminformationen, wobei die Objektrauminformationen Informationen zum Erscheinungsbild und zur Position und/oder Orientierung wenigstens eines vorbestimmten Objektes umfassen,
c) Prüfen des aufgenommenen Bildes und der vorbestimmten Objektrauminformationen auf Übereinstimmung in Abhängigkeit eines vorbestimmten Übereinstimmungskriteriums, und
d) Bestimmen der Position und/oder Orientierung der mobilen elektronischen Einrichtung in Abhängigkeit der in den Objektrauminformationen enthaltenen Informationen des wenigstens eines vorbestimmten Objektes.

Das Bestimmen der Position und/oder Orientierung der mobilen elektronischen Einrichtung umfasst insbesondere das Durchführen einer Bündelausgleichung. Die an sich bekannte Bündelausgleichung ist ein Ausgleichungsverfahren, welches auf der numerischen Rekonstruktion von Bildraumstrahlen vom Projektionszentrum einer Kamera durch den jeweiligen Bildpunkt verlaufend zu den korrespondierenden Objektraumpunkten beruht, wobei in dieser Betrachtungsweise die Bildpunkte vorab am Projektionszentrum gespiegelt wurden. Die Erfindung sieht vorteilhaft vor, dieses Bündelausgleichungsverfahren nicht nur auf die aus dem sichtbaren Lichtbereich auf einer Sensor-Bildebene abgebildeten Punkte anzuwenden, sondern in einem Guss auf zeitgleich aus dem sichtbaren und aus dem nicht-sichtbaren Spektrum abgebildete Punkte.
Angemerkt sei, dass mit Orientierung vorzugsweise die äußere und/oder innere Orientierung des der mobilen elektronischen Einrichtung zugeordneten digitalen Kamerasystems gemeint ist. Die Begriffe „äußere Orientierung“ und „innere Orientierung“ sind aus der Photogrammetrie bekannt. Erläutert werden sie beispielsweise in dem Fachbuch „Photogrammetrie, Grundlagen, Verfahren, Anwendungen“, von K. Schwidefsky et al., 7. Auflage des „Grundriß der Photogrammetrie“, 1976, B.G. Teubner Stuttgart. Eine Bildkoordinatenachsenskalierung durch die Pixelgröße oder durch die Bauart eines digitalen Flächensensors oder eine vorab durchgeführte Interpolation zwischen mehreren benachbarten Pixeln zur Bestimmung des repräsentativen Bildkoordinatenwertes können bei der inneren Orientierung des Kamerasystems mit enthalten sein.
Weiterhin sei angemerkt, dass eine Position vorzugsweise durch die Koordinaten eines vorgegebenen 3D-Koordinatensystems beschrieben wird.
An dieser Stelle sei erwähnt, dass in Schritt a) eine mobile elektronische Einrichtung miterfasst wird, an die ein externes digitales Kamerasystem anschließbar ist, oder die ein integriertes digitales Kamerasystem aufweist.
Angemerkt sei ferner, dass die zeitliche Reihenfolge der beiden Schritte a) und b) auch vertauscht werden kann.
Bei der mobilen elektronischen Einrichtung handelt es sich vorzugsweise um ein Mobilfunktelefon, insbesondere um ein Smartphone. Die mobile elektronische Einrichtung kann aber beispielsweise auch in einem Fahrzeug montiert sein.
In Schritt c) wird insbesondere die Bildinformation des aufgenommenen Bildes mit den in den Objektrauminformationen enthaltenen Informationen zum Erscheinungsbild wenigstens eines Objektes auf Übereinstimmung geprüft, wobei die Informationen zum Erscheinungsbild insbesondere ein digitales Abbild des Objektes umfassen können, beispielsweise ein zuvor aufgenommenes Referenzbild.
Als ein mögliches Übereinstimmungskriterium kann das Über- oder Unterschreiten eines vorgegebenen Schwellenwertes dienen, welches von einem in Schritt c) angewandten Prüfalgorithmus abhängt. Wird beispielsweise ein Korrelationsverfahren angewandt, kann ein Schwellenwert, der kleiner als 1, z.B. 0,9 ist, vorgegeben werden, bei dessen Überschreitung eine Übereinstimmung zwischen einem Bildelement des in Schritt a) aufgenommenen Bildes und dem Erscheinungsbild des Objektes angenommen wird. Auf diese Weise wird statistisch bestimmt, wann ein Bildausschnitt eines aufgenommenen Bildes mit den Objektrauminformationen eines Objekts als übereinstimmend erkannt wird.
Durch Schritt c) wird eine Zuordnung von Bildpunkten zu Objektraumpunkten erhalten und dadurch Strahlen des Strahlenbündels der Bündelausgleichung definiert.
Es sei noch angemerkt, dass die vorbestimmten Objektrauminformationen beispielsweise ein vorab aufgenommenes Bild, dessen äußere Orientierung und die dabei geltenden Umweltbedingungen, sowie Materialeigenschaften des Objektes umfassen kann. Alternativ oder zusätzlich können die vorbestimmten Objektrauminformationen Koordinaten des Objektes im Objektraum umfassen.
Eine Nutzung des Bündelausgleichungsverfahrens unter Nutzung einer digitalen IR-Kamera und der Auswertung des nicht sichtbaren IR-Spektrums wird in den deutschen Patentanmeldungen der Anmelderin mit den Aktenzeichen 10 2016 109 628.8 und 10 2016 119 920.6 beschrieben, deren Inhalt vollumfänglich in die vorliegende Anmeldung inkorporiert wird.
Grundgedanke des Verfahrens ist die gleichzeitige Nutzung von Bildinformationen in mehreren Wellenlängenbereichen im sichtbaren und nicht-sichtbaren Spektrum. Die Objektrauminformationen für die verschiedenen Wellenlängenbereiche können vorab gegeben sein, zum Beispiel für zeitlich konstante Objekteigenschaften, wobei das Objekt beispielsweise vorab mit einem erfindungsgemäßen digitalen Kamerasystem aufgenommen wurde. Alternativ oder zusätzlich können die Objektrauminformationen für die verschiedenen Wellenlängenbereiche über ein Vorhersage-Modell erzeugt werden, da sich beispielsweise das Erscheinungsbild eines Objektes in Abhängigkeit zeitlich veränderlicher Parameter, beispielsweise der Umgebungstemperatur, ändern kann.
Um den Energieverbrauch und/oder die Rechnerleistung der mobilen elektronischen Einrichtung zu reduzieren, kann vorteilhaft vorgesehen sein, das in Schritt a) aufgenommene Bild zu einer von der mobilen elektronischen Einrichtung physikalisch getrennten Rechnereinrichtung zu übertragen, wobei die Schritte b) bis d) von der Rechnereinrichtung ausgeführt werden können. Gemäß einer alternativen Ausführungsvariante kann wenigstens einer der Schritte b) bis d) von der mobilen elektronischen Einrichtung ausgeführt werden.
Wie bereits oben erwähnt, kann die mobile elektronische Einrichtung vorteilhaft als bewegliche drahtlose Kommunikationseinrichtung, insbesondere als Mobilfunktelefon, insbesondere als Smartphone, ausgebildet sein. Das digitale Kamerasystem ist in diesem Fall vorzugsweise in der beweglichen drahtlosen Kommunikationseinrichtung integriert.
Das Bestimmen der Positions- und/oder Orientierung der mobilen elektronischen Einrichtung kann vorteilhaft dadurch weiter verbessert werden, dass die mobile elektronische Einrichtung über ein Kommunikationsnetz mit weiteren beweglichen oder ortsfesten drahtlosen Kommunikationseinrichtungen kommuniziert und Positions- und/oder Orientierungsinformationen austauscht. Das Bestimmen der Position und/oder Orientierung der mobilen elektronischen Einrichtung in Schritt d) umfasst dann vorteilhaft das Ausführen eines auf einer Netzausgleichung basierenden Optimierungsalgorithmus in Abhängigkeit der ausgetauschten Positions- und/oder Orientierungsinformationen.
Ein Verfahren zum verbesserten Schätzen der Orientierung einer beweglichen, drahtlosen Kommunikationseinrichtung unter Anwendung einer Netzausgleichung wird in der Patentanmeldung EP 2 985 624 A1 der Anmelderin beschrieben, wobei in der Netzausgleichung vorzugsweise Beobachtungswerte, welche die relative Orientierung und, wenn gewünscht, die relative Position zwischen zwei Kommunikationseinrichtungen definieren, und absolute Orientierungsinformationen und, wenn gewünscht, absolute Positionsinformationen, von mehreren ausgewählten beweglichen und, wenn vorhanden, auch ortsfesten Kommunikationseinrichtungen, welche zumindest für einen vorgebbaren Zeitpunkt miteinander in kommunikativer Verbindung stehen, berücksichtigt werden. Der Inhalt der Patentanmeldung EP 2 985 624 A1 wird vollumfänglich in die vorliegende Anmeldung inkorporiert.
Eine erfindungsgemäße mobile elektronische Einrichtung umfasst ein oben beschriebenes digitales Kamerasystem und ist insbesondere zum Durchführen eines oben beschriebenen Verfahrens ausgebildet.
Die Erfindung wird nachfolgend beispielhaft anhand bevorzugter Ausführungsformen und unter Bezugnahme auf die beigefügten Zeichnungen genauer beschrieben. Dabei bezeichnen gleiche Bezugszeichen in den Zeichnungen gleiche oder ähnliche Teile.
Es zeigen:

1: schematisch eine bevorzugte Ausführungsform eines erfindungsgemäßen digitalen Kamerasystems,
2: schematisch eine weitere bevorzugte Ausführungsform eines erfindungsgemäßen digitalen Kamerasystems mit zwei Strahlteilern,
3: schematisch die Erzeugung zweier reeller Bilder in dem in 1 dargestellten digitalen Kamerasystem,
4: schematisch ein beispielhaftes Kommunikationssystem, welches ein Mobilfunktelefon mit einer integrierten Mehrbereichswellenlängen-Kamera aufweist,
5: schematisch eine erste bevorzugte Ausführungsform einer Linse mit einem ersten und einem zweiten Linsenbereich, welche als bikonvexe Linse ausgebildet ist,
6: schematisch eine zweite bevorzugte Ausführungsform einer Linse mit jeweils zwei ersten und zwei zweiten Linsenbereichen,
7: eine schematische Schrägansicht der in 6 dargestellten refraktiven Linse,
8: schematisch eine dritte bevorzugte Ausführungsform einer Linse mit einem ersten, einem zweiten und einem dritten Linsenbereich,
9: schematisch eine vierte bevorzugte Ausführungsform einer Linse, ausgebildet als Fresnel-Linse mit mehreren ersten und zweiten Linsenbereichen,
10: eine schematische Schrägansicht der in 9 dargestellten Fresnel-Linse,
11: schematisch eine fünfte bevorzugte Ausführungsform einer Linse, ausgebildet als Fresnel-Linse in Rechteckform mit mehreren ersten und zweiten Linsenbereichen, und
12: eine schematische Schrägansicht der in 11 dargestellten Fresnel-Linse.

1 zeigt schematisch einen beispielhaften Aufbau eines digitalen Kamerasystems 70, welches ein Objektiv umfasst, das vereinfacht als einzelne Linse 78 dargestellt ist, die im dargestellten Ausführungsbeispiel als Fresnel-Linse ausgebildet ist.
In dem in 1 dargestellten Ausführungsbeispiel umfasst das digitale Kamerasystem 70 ein Gehäuse 76, in dem die Linse 78 sowie ein erster Sensor 74-1 und ein zweiter Sensor 74-2 angeordnet sind, wobei die Sensoren 74-1 und 74-2 jeweils in unterschiedlichen Bildebenen angeordnet sind. Ferner ist ein wellenlängenselektiver Strahlteiler 77 vorgesehen, welcher im dargestellten Ausführungsbeispiel dazu ausgebildet ist, elektromagnetische Strahlung in einem ausgewählten spektralen Bereich des infraroten Spektrums im Wesentlichen zu transmittieren und elektromagnetische Strahlung im sichtbaren Spektrum im Wesentlichen zu reflektieren, wobei der Strahlteiler derart angeordnet ist, dass elektromagnetische Strahlung im infraroten Spektrum auf den ersten Sensor 74-1 und elektromagnetische Strahlung im sichtbaren Spektrum auf den zweiten Sensor 74-2 gelenkt wird.
Der Strahlteiler 77 kann vorteilhaft als dichroitischer Spiegel ausgebildet sein, insbesondere mit einer Grenzwellenlänge oberhalb des sichtbaren Spektrums. Entsprechende dichroitische Spiegel sind beispielsweise mit einer Grenzwellenlänge von 900 nm oder 950 nm verfügbar.
Die Linse 78 ist als Fresnel-Linse mit unterschiedlichen Materialien ausgebildet, wobei diese im dargestellten Ausführungsbeispiel für elektromagnetische Strahlung im sichtbaren Spektrum eine erste Brennweite f₁ und für elektromagnetische Strahlung im infraroten Spektrum eine zweite, von der ersten unterschiedliche Brennweite f₂ aufweist.
Die Sensoren 74-1 und 74-2 sind mit einer Bilderzeugungseinheit 75 verbunden, welche dazu ausgebildet ist aus digitalen Teilbildern, die jeweils von den Sensoren 74-1 und 74-2 erzeugt werden ein digitales Bild zu erzeugen, welches für jeden Bildpunkt des digitalen Bildes Bildinformationen bezüglich des infraroten und des sichtbaren Spektrums umfasst. Das durch die Bilderzeugungseinheit 75 erzeugte digitale Bild wird im dargestellten Ausführungsbeispiel an einer mit der Bilderzeugungseinheit 75 verbundenen Schnittstelle 72 bereitgestellt.
Zum Erzeugen des digitalen Bildes aus den durch die Sensoren 74-1 und 74-2 bereitgestellten digitalen Teilbildern sind Abbildungsparameter in der Bilderzeugungseinheit 75 oder einem, nicht dargestellten, separaten Speicher hinterlegt.
Die hinterlegten Abbildungsparameter ermöglichen eine Zuordnung der Bildpunkte der durch die Sensoren 74-1 und 74-2 erzeugten digitalen Teilbilder. Die Zuordnung kann beispielsweise eine Skalierung aufgrund der unterschiedlichen Brennweiten oder aufgrund unterschiedlicher Auflösung der Sensoren 74-1 und 74-2.
Ein weiterer zu korrigierender Effekt tritt durch den Einsatz des Strahlteilers 77 auf, da für die transmittierte Strahlung im infraroten Spektrum ein Brechungseffekt auftritt, der im Wesentlichen der Brechung an einer planparallelen Platte entspricht. Dementsprechend umfassen die Abbildungsparameter vorteilhaft wenigstens einen Parameter, der in Abhängigkeit von an dem wellenlängenselektiven Strahlteiler auftretenden Brechungseffekten definiert ist. Im einfachsten Fall führt die Brechung am Strahlteiler 77 zu einer Bildverschiebung, die als Abbildungsparameter erfasst werden kann. Ferner umfassen die Abbildungsparameter vorteilhaft wenigstens einen Parameter zum Korrigieren der Bildspiegelung der am Strahlteiler 77 reflektierten Strahlung.
Zur Fokussierung kann die Linse 78 und/oder die Sensoren 74-1 und 74-2 beweglich ausgebildet sein. In diesem Fall erfolgt das Erzeugen des digitalen Bildes aus den digitalen Teilbildern vorteilhaft auch in Abhängigkeit der jeweiligen Fokus-Einstellung.
2 zeigt schematisch einen beispielhaften Aufbau einer weiteren Ausführungsform eines digitalen Kamerasystems 70', welches ein Objektiv umfasst, das vereinfacht als einzelne Linse 78' dargestellt ist, die im dargestellten Ausführungsbeispiel als sphärische Linse aus einem einzigen Material ausgebildet ist.
Das in 2 dargestellte digitale Kamerasystem 70' ist zur Abbildung elektromagnetischer Strahlung in drei ausgewählten Spektralbereichen ausgebildet, wobei nur einer von diesen im sichtbaren Spektrum liegt. Im dargestellten Ausführungsbeispiel sind zu diesem Zweck zwei Strahlteiler 77-1 und 77-2 vorgesehen, wobei der erste Strahlteiler 77-1 elektromagnetische Strahlung des ersten und zweiten Spektralbereiches transmittiert und elektromagnetische Strahlung des dritten Spektralbereiches reflektiert, und der zweite Strahlteiler 77-2 elektromagnetische Strahlung des ersten Spektralbereiches transmittiert und elektromagnetische Strahlung des zweiten Spektralbereiches reflektiert. Die Strahlteiler 77-1 und 77-2 sind derart angeordnet, dass elektromagnetische Strahlung des ersten Spektralbereiches auf einen ersten Sensor 74-1, elektromagnetische Strahlung des zweiten Spektralbereiches auf einen zweiten Sensor 74-2 und elektromagnetische Strahlung des dritten Spektralbereiches auf einen dritten Sensor 74-3 gelenkt wird.
Beispielsweise kann der erste Spektralbereich im sichtbaren Spektrum liegen, während der zweite und dritte Spektralbereich jeweils unterschiedliche spektrale Bänder im infraroten Spektralbereich bilden. Denkbar ist beispielsweise auch, dass der zweite Spektralbereich im ultravioletten Spektrum und der dritte Spektralbereich im infraroten Spektrum liegt.
In 2 ist die elektromagnetische Strahlung beispielhaft als eine Linie dargestellt, wobei der erste Spektralbereich als durchgezogene Linie, der zweite Spektralbereich als gestrichelte Linie und der dritte Spektralbereich als strichpunktierte Linie dargestellt ist.
Das Material der Linse 78' ist derart gewählt, dass es für alle drei Spektralbereiche transparent ist. Aufgrund der chromatischen Dispersion ergeben sich jedoch auch in diesem Ausführungsbeispiel für die unterschiedlichen Spektralbereiche unterschiedliche Brennweiten.
Es können je nach Einsatzzweck auch mehr als zwei Strahlteiler und mehr als drei Sensoren vorgesehen sein, um elektromagnetische Strahlung abzubilden, die in mehr als drei unterschiedlichen spektralen Bereichen liegt. Dazu können die Sensoren auch derart angeordnet sein, dass deren Mittelpunkte nicht alle in einer Ebene liegen. 3 zeigt beispielhaft zwei mit der Linse 78 und dem Strahlteiler 77 des in 1 dargestellten digitalen Kamerasystems 70 erzeugte reelle Teilbilder P' und P" eines Gegenstands P. Strahlen mit Wellenlängen im sichtbaren Spektrum sind beispielhaft als durchgezogene Linien dargestellt und Strahlen mit Wellenlängen im infraroten Spektrum als gestrichelte Linien. In Abhängigkeit hinterlegter Abbildungsparameter werden die Teilbilder P' und P" durch die Bilderzeugungseinheit 75 einander zugeordnet und zu einem Bild zusammengeführt. Wie aus der 3 ersichtlich, tragen sowohl Strahlen mit Wellenlängen im sichtbaren Spektrum als auch Strahlen mit Wellenlängen im infraroten Spektrum zur Abbildung des Gegenstands P im zusammengeführten Bild bei. Dies trifft natürlich nur dann zu, wenn der Gegenstand P Strahlung in beiden Wellenlängenbereichen abgibt.
4 zeigt schematisch einen Ausschnitt eines beispielhaften Kommunikationssystems 1, welches ein Smartphone 10 als eine mobile elektronische Einrichtung, eine externe Rechnereinrichtung 140 in Form eines Servers und eine externe Datenbank 180 aufweisen kann. Das Smartphone 10, die Datenbank 180 und die Rechnereinrichtung 140 können über ein IP-Netzwerk, beispielsweise das Internet 190 kommunizieren.
Der Server 140 kann eine Steuereinheit 150, die zum Beispiel als Mikroprozessor oder Mikrokontroller ausgebildet ist, aufweisen. Ferner kann der Server 140 einen Datenspeicher 160 und einen Programmspeicher 170 enthalten, in dem die Anweisungen zur Steuerung und Überwachung des Servers 140 hinterlegt sind. Wie nachfolgend noch näher erläutert wird, kann der Server 140 einige Verfahrensschritte zum Bestimmen der Position und/oder der Orientierung des Smartphones 10 in Verbindung mit dem Smartphone 10 ausführen.
Das Smartphone 10 kann einen Zeitgeber 40 enthalten, der die aktuelle Uhrzeit und/oder das aktuelle Datum angeben kann. Auf diese Weise kann der Zeitpunkt der Aufnahme eines Bildes erfasst werden.
Das Smartphone 10 kann über eine drahtlose Kommunikationsschnittstelle 130 beispielsweise auf das Internet 190 zugreifen. Das Smartphone 10 kann dazu ausgebildet sein, über das Internet 190 beispielsweise aktuelle oder vergangene ortsbezogene Wetterinformationen zu beziehen, welche zum Beispiel in der Datenbank 180 abgelegt werden können. Auch Informationen über den aktuellen Sonnenstand und/oder die Sonnenscheindauer und/oder -intensität kann das Smartphone 10 über das Internet abfragen um daraus z.B. die Temperaturwerte einer Objektoberfläche vorherzusagen und diese Temperaturwerte in mittels der Kamera erfassbare thermische Infrarot-Werte umzurechnen. Bei der Umrechnung in thermische IR-Werte können zur exakteren Umrechnung auch noch weitere Größen berücksichtigt werden, so z.B. die Materialeigenschaften der Oberfläche.
Zudem kann das Smartphone 10 einen Temperatursensor 90, einen Helligkeitssensor 91 und einen Bewegungssensor 92 zur Bestimmung von Orientierungsänderungen und/oder Positionsänderungen enthalten. Weiterhin kann das Smartphone 10 eine Steuereinheit 30 aufweisen, die als Mikroprozessor oder Mikrokontroller ausgebildet sein kann.
Bei dem dargestellten Beispiel weist das Smartphone 10 ein integriertes digitales Kamerasystem 70 auf, welches über eine Schnittstelle 72 mit der Steuereinheit 30 verbunden ist. Alternativ oder zusätzlich kann ein digitales Kamerasystem extern an das Smartphone 10 über eine entsprechende, nicht dargestellte Datenschnittstelle angeschlossen werden.
Das Kamerasystem 70 besitzt eine bekannte innere Orientierung, die sich vorzugsweise aus der bekannten Brennweite des verwendeten Objektivs, den bekannten Verzeichnungsparametern des verwendeten Objektives, der Hauptpunktlage im Bild, der Lage des Symmetriepunktes der Verzeichnung relativ zum Hauptpunkt des Bildes und gegebenenfalls der Skalierung der Pixel des Sensors der Bildebene ergibt. Die innere Orientierung kann im Smartphone 10 gespeichert sein. Vorteilhaft bezieht sich die innere Orientierung auf eine virtuelle Bildebene, die durch das digitale Bild definiert wird, welches durch die Bilderzeugungseinheit aus den von den Sensoren erzeugten Teilbildern in Abhängigkeit der hinterlegten Abbildungsparameter erzeugt wird. Bei einem Objektiv mit variabler Brennweite können Brennweiten abhängig unterschiedliche innere Orientierungen vorliegen und abgespeichert sein. Die bei einer Aufnahme jeweils vorliegende Brennweite kann vorzugsweise ausgelesen werden oder als zusätzlicher unbekannter Parameter in einer Ausgleichung bestimmt werden.
Zudem ist in an sich bekannter Weise mit diesen Größen bezüglich des Kamerasystems 70 ein 2D-Bildkoordinatensystem und ein lokales, kamerasystemfestes 3D-Koordinatensystem definiert, dessen Ursprung als Position des Mobilfunktelefons 10 definiert sein kann.
Aufgrund der Strahlenteiler und der für unterschiedliche Wellenlängenbereiche unterschiedlichen Flächensensoren können jedem dieser Wellenlängenbereiche separate innere Orientierungen zugeordnet werden. Gemein ist allen diesen inneren Orientierungen aber der Bezug auf das gleiche Projektionszentrum und die gleiche Orientierung des Objektives im 3-D Objektkoordinatensystem. Jedes Bildkoordinatensystem ist aber unterschiedlich zu dem 3-D Objektraumkoordinatensystem orientiert, wobei diese unterschiedlichen Orientierungen genauso wie die unterschiedlichen inneren Orientierungen in der Bündelausgleichung in einem Guss als zu schätzende Parameter bestimmt werden können. Die Lage des Projektionszentrums des Kameraobjektives im 3-D Objektraum ist für alle Teilbilder aus den unterschiedlichen Wellenlängenbereichen aber identisch und wird in der Bündelausgleichung aller dieser Teilbilder in einem Guss somit auch nur ein Mal parametrisiert und somit identisch berechnet.
Ferner kann eine 3D-Ablage bzw. ein 3D-Vektor zwischen dem Ursprung des kamerasystemfesten 3D-Koordinatensystems, vorzugsweise dem Projektionszentrum des Kameraobjektives, und einem mobilfunktelefonfesten Punkt, z. B. der Antenne eines GPS-Empfängers 50 gegeben sein, auf den sich auch der GPS Empfänger 50 beziehen kann. Der GPS-Empfänger 50 des Smartphones 10 kann in an sich bekannter Weise die Position bzw. Positionskoordinaten des Smartphones 10 bestimmen.
In einem Programmspeicher 80 können die zur Steuerung und Überwachung des Smartphones 10 benötigten Anweisungen hinterlegt sein. Denkbar ist, dass das Smartphone 10 alle Informationen kennt, mit denen es seine äußere Orientierung, d. h. die Position und Orientierungswinkel des mobilfunktelefonfesten lokalen 3D-Koordinatensystems zum Zeitpunkt der Aufnahme eines Bildes mit dem Kamerasystem 70 bestimmen kann.
Wie nachfolgend noch detailliert erläutert wird, können in dem Programmspeicher 80 Objektrauminformationen hinterlegt sein, wobei die Objektrauminformationen Informationen zum Erscheinungsbild und zur Position und/oder Orientierung wenigstens eines vorbestimmten Objektes umfassen.
Die vorbestimmten Objekte können in einem vorgegebenen Objektraum oder in mehreren vorgegebenen Objekträumen liegen. Ein vorgegebener Objektraum kann ein Messegelände, ein Gebäude, eine Straße oder dergleichen sein. Objekträume können in der Datenbank 180 wohl strukturiert abgelegt werden, um den Zugriff auf Einzelobjekte zu beschleunigen.
Jedem Objekt ist ein Objektkoordinatensystem zugeordnet, in dem beispielsweise die 3D-Positionen seiner Oberfläche festgelegt sind. Insbesondere können im Programmspeicher 80 und/oder in der Datenbank 180 und/oder im Programmspeicher 170 des Servers 140 alle bekannten notwendigen Abbildungsgleichungen der Zentralprojektion und der inneren Orientierung des Kamerasystems 70, mit denen auch die Abbildung einer Lochbildkamera simuliert werden kann, hinterlegt sein. Es sei angemerkt, dass die innere Orientierung des Kamerasystems 70 je nach Anzahl an vorgesehenen Sensoren und damit Wellenlängenbereichen, in welche die einfallende elektromagnetische Strahlung mittels Strahlteilern aufgeteilt wird, als Satz mehrerer, den jeweiligen Wellenlängenbereichen zuordenbarer innerer Orientierungen aufgefasst werden kann. Im Folgenden wird nur allgemein auf die innere Orientierung des Kamerasystems 70 Bezug genommen.
Auch ein Algorithmus zum Prüfen der Übereinstimmung zwischen real aufgenommenen Bildern und real aufgenommenen oder simulierten Referenzbildern kann zum Beispiel im Programmspeicher 80 des Smartphones 10, im Programmspeicher 170 und/oder in der Datenbank 180 hinterlegt sein.
Wird eine ausreichende Übereinstimmung zwischen einem aktuell aufgenommenen Bild und einem bereitgestellten Referenzbild festgestellt, können die dem Referenzbild vorab zugeordnete Position und Orientierungswinkel einer realen bzw. fiktiven Kamera für das Kamerasystem 70, mit der zum Beispiel ein aktuelles Bild aufgenommen worden ist, übernommen werden.
Die Funktionsweise des Smartphones 10 und, sofern benötigt, des Servers 140 und der Datenbank 180 werden nachfolgend näher erläutert.
Die Position und/oder die Orientierung des Smartphones 10 bzw. des integrierten Kamerasystems 70 soll nunmehr mit Hilfe der integrierten Kamerasystems 70 bestimmt werden, dessen Benutzer sich aktuell vor einem Objekt aufhält.
Weiterhin sei angenommen, dass für wenigstens ein vorbestimmtes Objekt in einem vorgegebenen Objektraum wenigstens ein Referenzbild und ein dazugehöriger Referenzdatensatz bereitgestellt wird, welchem eine Position bzw. Positionskoordinaten und/oder eine Orientierung zugeordnet wird. Im vorliegenden Fall handelt es sich bei dem wenigstens einen vorbestimmten Objekt um das Objekt, vor dem sich Benutzer des Smartphones 10 aktuell aufhält. Der vorgegebene Objektraum kann durch den Aufenthaltsort des Benutzers des Smartphones 10 definiert sein, beispielsweise angegeben als Ort, Straße und gegebenenfalls zusätzlich Hausnummer.
Angenommen sei nunmehr, dass mit dem digitalen Kamerasystem 70 des Smartphones 10 zum Beispiel aus verschiedenen Blickwinkeln und/oder unterschiedlichen Abständen und/oder verschiedenen Zoom-Einstellungen sowie zu verschiedenen Uhrzeiten und gegebenenfalls bei verschiedenen Umgebungstemperaturen eine Vielzahl von Referenzbildern von dem Objekt, vor dem sich der Benutzer des Smartphones 10 aufhält, vorab aufgenommen worden sind.
Weiterhin sei angenommen, dass zu jedem Aufnahmezeitpunkt der Referenzbilder die Position und/oder Orientierung des Smartphones 10 sowie die aktuelle Objekt-Temperatur und vorherige Objekt-Temperaturverläufe bestimmt worden sind und zusätzlich die Werte der Parameter der inneren Orientierung des Objektives bekannt sind. Diese Werte können in der Datenbank 180 zusammen mit den Daten (Pixelbildkoordinate und dessen Farbwert sowie die Pixeldimension) der Bildebene des Referenzbildes abgespeichert wurden. Die Position und/oder Orientierung können auch automatisch vom Smartphone 10 oder mittels separater Einrichtungen, die der Benutzer mit sich führt, bestimmt worden sein.
Jedem Referenzbild wird die zum jeweiligen Aufnahmezeitpunkt bestimmte Position und/oder Orientierung des Smartphones 10 zugeordnet, indem beispielsweise im Datenspeicher 60 oder in der Datenbank 180 die aufgenommenen Referenzbilder sowie die ihnen jeweils zugeordnete Position und/oder Orientierung des Smartphones 10 und/oder die Aufnahmezeit und/oder die Umgebungstemperatur der Aufnahme gespeichert werden. Die Umgebungstemperatur sei hier nur beispielhaft als einer der bestimmenden Faktoren für die Abstrahlung einer Objektraumfläche im thermischen IR-Bereich genannt. Weitere Faktoren können ebenfalls abgespeichert und später zur IR-Wert-Vorhersage genutzt werden, um aus den IR-Werten eines Referenzbildes die wahrscheinlichen IR-Werte ermitteln zu können, die während den leicht geänderten Bedingungen der aktuellen Aufnahme gültig sind.
Weiterhin ist denkbar, dass die Positionskoordinaten des Objektes, vor dem sich der Benutzer des Smartphones 10 aktuell aufhält, bekannt und in der Datenbank 180 gespeichert worden sind.
Denkbar ist auch, dass diese Daten im Datenspeicher 60 des Smartphones 10 zumindest temporär zum Beispiel auf Anforderung abgelegt werden. Alternativ oder zusätzlich könnten die besagten Daten auch im Datenspeicher 160 des Servers 140 hinterlegt werden.
Nunmehr sei angenommen, dass der Nutzer des Smartphones 10 vor dem Objekt steht und die Position und/oder Orientierung seines Smartphones 10 wissen möchte.
Um die Position und/oder Orientierung mit Hilfe des digitalen Kamerasystems 70 bestimmen zu können, nimmt der Benutzer aktuell zum Beispiel ein Bild von dem Objekt mit dem integrierten Kamerasystem 70 auf. Zudem kann die Uhrzeit und das Datum der Bildaufnahme vom Zeitgeber 40 bestimmt werden.
Um ein geeignetes vorab aufgenommenes Referenzbild, welches beispielsweise in der Datenbank 180 hinterlegt worden ist, auffinden zu können, sollte zumindest eine grobe Positionsinformation des zum Referenzbild gehörenden Objekts bekannt und zum Beispiel in der Datenbank 180 gespeichert sein. Es ist auch denkbar, dass das Mobilfunktelefon 10 bereits eine erste genäherte Position und vorzugsweise auch eine erste genäherte Orientierung kennt und dass unter Ansprechen auf diese Position und wenn vorhanden auf diese Orientierung dann geeignete Referenzbilder in der Datenbank 180 gesucht werden.
Um das geeignete Referenzbild oder die Anzahl an geeigneten, gespeicherten Referenzbildern, die mit einem aktuell aufgenommenen Bild abgeglichen werden sollen, sinnvoll einzuschränken und somit den Rechenaufwand zu reduzieren, kann der Benutzer am Smartphone 10 auch den Objektraum, in welchem sich das bestimmte Objekt befindet, definieren. Hierzu kann er die Straße und gegebenenfalls die Hausnummer zum Beispiel am Smartphone 10 eingeben. Die Adressdaten können dann zum Beispiel zusammen mit dem aufgenommenen Bild, dem Aufnahmezeitpunkt und dem Datum vom Smartphone 10 zum Server 140 gesendet werden.
Unter Ansprechen auf wenigstens einige der empfangenen Daten wählt der Mikroprozessor 150 des Servers 140 wenigstens ein Referenzbild aus dem Datenspeicher 160 aus, und prüft in Abhängigkeit von einem definierten Übereinstimmungskriterium, ob wenigstens eines der vorausgewählten Referenzbilder mit dem vom Smartphone 10 aufgenommenen aktuellen Bild übereinstimmt. Vor dieser Übereinstimmungsprüfung hat der Mikroprozessor vorteilhaft bereits z.B. die IR-Werte der Referenzaufnahme in aktuelle IR-Werte umgerechnet, wobei die Umrechnungen für die aktuellen Objektraum-Parameter wie z.B. die Objekttemperatur erfolgen. Anschließend wird jedes vorausgewählte Referenzbild ausgewählt, welches das vordefinierte Übereinstimmungskriterium erfüllt, d.h. für das eine Übereinstimmung mit dem von dem Kamerasystem 70 aufgenommenen Bild zuvor festgestellt worden ist. Erfüllen mehrere Referenzbilder das Übereinstimmungskriterium, wird dasjenige mit der besten Übereinstimmung ausgewählt, womit auch eine Vorauswahl auf dessen Position und Orientierung getroffen wird. Das aufgenommene Bild umfasst dabei die unterschiedlichen Teilbilder der erfassten unterschiedlichen Wellenlängenbereiche, die jeweils eine identische äußere Orientierung beinhalten, da sie alle zum gleichen Zeitpunkt aufgenommen wurden.
Als ein mögliches Übereinstimmungskriterium kann das Über- oder Unterschreiten eines vorgegebenen Schwellenwertes dienen, welches von einem - in Verfahrensschritt c) - angewandten Prüfalgorithmus abhängt.
Angenommen sei, dass im Programmspeicher 170 ein Korrelationsalgorithmus zum Prüfen der Übereinstimmung eines vom Smartphone 10 aufgenommenen Bilds mit einem Referenzbild abgespeichert ist.
In diesem Fall kann ein Schwellenwert von beispielsweise 0,9 im Datenspeicher 160 hinterlegt sein. Ein Übereinstimmungswert von 1 würde signalisieren, dass das Referenzbild mit dem vom Smartphone 10 aufgenommenen Bild vollständig übereinstimmt. Der Singular „Bild“ beinhaltet wie oben gesagt, alle aufgenommenen Wellenlängenbereiche zu einem Zeitpunkt. Im Weiteren wird hierfür immer der Singular „Bild“ verwendet. Im sichtbaren Lichtbereich wurden bisher auch immer i.d.R. 3 Wellenlängenbereiche aufgenommen, nämlich R, G und B und für den Menschen in sichtbare Zwischenfarben umgerechnet und dieses so berechnete Bild als „ein Bild“ benannt, obwohl mehrere Bilder, bei R G B drei Bilder, aufgenommen wurden.
Der Mikroprozessor 150 ist vorzugsweise dazu ausgebildet, dasjenige Referenzbild auszuwählen, für das der Vergleich mit dem vom Smartphone 10 aufgenommenen Bild einen Wert ergibt, der größer oder gleich dem Schwellenwert ist. Werden mehrere Referenzbilder gefunden, für die der jeweilige Übereinstimmungswert größer oder gleich dem Schwellenwert ist, wird schließlich das Referenzbild ausgewählt, für das die beste Übereinstimmung berechnet worden ist. Dieser Vorgang kann iterativ mit vorgegebener, zuerst grober und danach immer feinerer Rasterung für die auszuwählenden Positions- und/oder Orientierungsfortschritte erfolgen, wodurch in vielen Fällen die Gesamtrechenzeit zum Auffinden der besten Übereinstimmung und damit der besten Position und Orientierung stark reduziert wird.
Ein einfaches Verfahren für den Vergleich beziehungsweise den Abgleich zwischen dem aufgenommenen Bild und den vorab aufgenommenen Referenzbildern wäre die Ausführung einer gewichteten Korrelationsfunktion bezüglich der Farbwerte des aufgenommenen Bildes und der Farbwerte der jeweiligen Referenzbilder.
Nachdem auf diese Weise das am besten übereinstimmende Referenzbild gefunden worden ist, wird vom Mikroprozessor 150 die Position und/oder Orientierung der mobilen elektronischen Einrichtung 10 in Abhängigkeit von der Position bzw. den Positionskoordinaten und/oder der Orientierung bestimmt, die dem ausgewählten Referenzbild, wie zuvor erläutert, zugeordnet worden sind. Hierbei handelt es sich um die Positionskoordinaten und/oder die Orientierung, die zum Zeitpunkt der Aufnahme des entsprechenden Referenzbildes dem Kamerasystem 70 zugeordnet worden sind. Diese Positionskoordinaten und/oder diese Orientierung werden anschließend vom Server 140 zum Smartphone 10 übertragen.
Das Smartphone 10 kann vorteilhaft über das IP-Netz 190 oder über ein anderes Kommunikationsnetz mit weiteren beweglichen oder ortsfesten drahtlosen Kommunikationseinrichtungen kommunizieren und Positions- und/oder Orientierungsinformationen austauschen. In Abhängigkeit der ausgetauschten Positions- und/oder Orientierungsinformationen kann vorteilhaft ein auf einer Netzausgleichung basierender Optimierungsalgorithmus ausgeführt werden, um die Genauigkeit der ermittelten Positionskoordination und/oder der ermittelten Orientierung weiter zu verbessern.
Lediglich am Rande sei erwähnt, dass gemäß einer vorteilhaften Implementierung sowohl dem Smartphone 10 die IP-Adresse des Servers 140 und die IP-Adresse der Datenbank 180 als auch dem Server 140 die Adresse des Smartphone 10 und die IP-Adresse der Datenbank 180 bekannt ist.
Das zuvor beschriebene Verfahren zum Bestimmen der Position und/oder Orientierung kann auch vollständig im Smartphone 10 unter Steuerung des Mikroprozessors 30 ausgeführt werden. Hierzu sind die vorab aufgenommenen Referenzbilder zusammen mit den ihnen jeweils zugeordneten Positionskoordinaten und/oder der ihnen zugeordneten Orientierung zusammen mit einem Referenzdatensatz entweder im Datenspeicher 60 hinterlegt, oder sie werden beispielsweise vom Smartphone 10 von der Datenbank 180 angefordert und temporär im Datenspeicher 60 abgelegt.
Anstatt vorab für vorbestimmte Objekte mehrere Referenzbilder mit dem Kamerasystem 70 des Smartphones 10 aufzunehmen und diese zusammen mit den jeweiligen Positionen und/oder Orientierungen des aufnehmenden Kamerasystems und Kennungen zum Auffinden wenigstens eines geeigneten Referenzbilds zu speichern, können Referenzbilder vorab oder in Echtzeit vom Smartphone 10 und/oder vom Server 140 berechnet oder vorhergesagt werden, beispielsweise in Abhängigkeit aktueller Umgebungsbedingungen wie der Umgebungstemperatur oder in Abhängigkeit der Tageszeit oder aktuellen Wetterbedingungen oder der Objektoberflächeneigenschaften oder Strahlungsintensitäten und deren Richtungen.
Ein Grundgedanke der vorliegenden Erfindung liegt in der gleichzeitigen Nutzung von Objektrauminformationen in verschiedenen Wellenlängenbereichen. Im dargestellten Beispiel werden Objektrauminformationen in zwei Wellenlängenbereichen genutzt, und zwar im sichtbaren und im infraroten Spektrum. Prinzipiell können alle Wellenlängenbereiche genutzt werden, für die geeignete Sensorelemente, Strahlteiler und Linsen konstruierbar sind.
Ein besonderer Aspekt ist darin zu sehen, dass verschiedene Sensorelemente mit unterschiedlicher Wellenlängenempfindlichkeit in unterschiedlichen Bildebenen konstruktiv angebracht sind und zeitgleich durch das Objekt beleuchtet bzw. angeregt werden, wobei diese durch eine Bilderzeugungseinheit zu einem einzigen Gesamtbild zusammengeführt werden. Dadurch kann in vorteilhafter Weise auch nur ein einziges Modell für die äußere Orientierung des Kamerasystems mit ihren 3 Orientierungswinkeln des Kamerasystems und der 3-D Position des Projektionszentrums des digitalen Kamerasystems im Objektraum genutzt werden, wodurch die Anzahl der Unbekannten für die äußere Orientierung in der Ausgleichung konstant gehalten werden.
Die Anzahl der Beobachtungen nimmt bei bekannter innerer Orientierung aber gegenüber bekannten Verfahren zu, da nun auch Informationen aus anderen Wellenlängenbereichen in einem Guss in einem Gleichungssystem verarbeitet werden können. Werden durch die zusätzlichen Wellenlängenbereiche auch zusätzliche andere Objektpunkte genutzt, so erhöht sich die Anzahl der Unbekannten in bekannter Weise, aber Position und Orientierung des Kamerasystems werden weiterhin durch die gleichen Unbekannten repräsentiert. Selbst bei unbekannter innerer Orientierung wird in der Regel die Bestimmung der Parameter verbessert, da in der Regel die Gesamtredundanz, das heißt die Differenz aus Anzahl der Beobachtungen und Anzahl der Parameter, des Ausgleichungssystems sich verbessert, nämlich vergrößert.
Sofern eine zusätzliche Objektrauminformation in den anderen Wellenlängenbereichen außerhalb des sichtbaren Spektrums vorliegt, so erhöht sich die verwendbare Information insgesamt. Hieraus folgt dann potentiell eine höhere Genauigkeit bei der Positionsbestimmung des Projektionszentrums, sofern durch eine geringere Anzahl von Sensorelementen für das sichtbare Spektrum kein zu hoher Verlust in der Bestimmung der Bildkoordinaten für die Bildpunktbestimmung im sichtbaren Bereich entsteht.
Im Folgenden werden verschiedene Ausführungsformen von Linsen beschrieben, die vorteilhaft in einem digitalen Kamerasystem 70 bzw. 70' einsetzbar sind, und die verschiedene Materialien zur Abbildung elektromagnetischer Strahlung unterschiedlicher spektraler Bereiche aufweisen.
Diese Linsen sind insbesondere dann vorteilhaft einsetzbar, wenn kein Material zur Verfügung steht, welches für alle abzubildenden spektralen Bereiche ausreichend transparent ist.
In 5 ist schematisch eine erste bevorzugte Ausführungsform einer refraktiven Linse 210 dargestellt, wobei 5 a) eine Aufsicht, 5 b) eine Seitenansicht und 5 c) eine Querschnittsansicht der refraktiven Linse 210 zeigt. Die refraktive Linse 210 ist im dargestellten Ausführungsbeispiel als bikonvexe sphärische Linse ausgebildet. Die refraktive Linse 210 weist wenigstens einen ersten und wenigstens einen zweiten Linsenbereich auf, wobei der erste Linsenbereich einen ersten Teil der Linsenoberfläche umfasst und der zweite Linsenbereich einen zweiten, vom ersten unterschiedlichen Teil der Linsenoberfläche umfasst, und wobei der erste und zweite Linsenbereich jeweils ein unterschiedliches Material mit unterschiedlichen Transmissionseigenschaften für elektromagnetische Strahlung aufweist.
In dem in 3 dargestellten Beispiel weist die refraktive Linse 210 einen ersten Linsenbereich 211 aus einem ersten Material und einen zweiten Linsenbereich 212 aus einem zweiten Material auf.
Es sei angemerkt, dass in den Figuren verwendete Schraffuren der Kennzeichnung verschiedener Materialien dienen und daher nicht als Kennzeichnung von Schnittflächen zu verstehen sind. Bei allen gezeigten Querschnittsansichten bilden alle dargestellten Flächen Schnittflächen.
Wie in 5 a) erkennbar ist, handelt es sich bei der refraktiven Linse 210 um eine kreisförmige Linse, wobei die Linsenbereiche 211 und 212 jeweils eine Linsenhälfte bilden.
Vorteilhaft weist der erste Linsenbereich 211 für eine erste Wellenlänge eine höhere Transmission als der zweite Linsenbereich 212 und der zweite Linsenbereich 212 für eine zweite, von der ersten Wellenlänge unterschiedliche Wellenlänge eine höhere Transmission als der erste Linsenbereich 211 auf.
Mit besonderem Vorteil blockiert der erste Linsenbereich 211 im Wesentlichen elektromagnetische Strahlung der zweiten Wellenlänge und der zweite Linsenbereich 212elektromagnetische Strahlung der ersten Wellenlänge. Eine elektromagnetische Strahlung wird vorzugsweise dann im Wesentlichen blockiert, wenn der Transmissionsgrad für die jeweilige Wellenlänge unter 25%, insbesondere unter 10%, insbesondere unter 5%, insbesondere unter 1% liegt.
Mit anderen Worten ist der erste Linsenbereich für die erste Wellenlänge im Wesentlichen transparent und wirkt für die zweite Wellenlänge im Wesentlichen als Blende, während der zweite Linsenbereich für die zweite Wellenlänge im Wesentlichen transparent ist und für die erste Wellenlänge im Wesentlichen als Blende wirkt.
Vorzugsweise trifft dies nicht nur für eine erste und eine zweite Wellenlänge, sondern für einen ersten und einen zweiten Wellenlängenbereich zu, wobei es sich bei dem ersten und zweiten Wellenlängenbereich vorteilhaft um nicht überlappende Wellenlängenbereiche handelt, und wobei der erste und/oder zweite Wellenlängenbereich jeweils als ein zusammenhängendes Wellenlängenband ausgebildet oder durch wenigstens zwei nicht zusammenhängende Wellenlängenbänder gebildet sein kann.
Bevorzugt liegt die erste Wellenlänge bzw. der erste Wellenlängenbereich im sichtbaren Spektrum zwischen 380 nm und 780 nm und die zweite Wellenlänge bzw. der zweite Wellenlängenbereich liegt bevorzugt im infraroten Spektrum zwischen 780 nm und 1 mm.
In 6 ist eine weitere bevorzugte Ausführungsform einer refraktiven Linse 230 schematisch dargestellt, wobei 6 a) eine Aufsicht und 6 b) und 6 c) jeweils eine Querschnittsansicht der Linse 230 zeigen. In dem in 6 dargestellten Beispiel weist die Linse 230 mehrere erste Linsenbereiche 231-1 und 231-2 aus einem ersten Material und mehrere zweite Linsenbereiche 232-1 und 232-2 aus einem zweiten Material auf. Die Materialien können wie bei der in 3 dargestellten Linse 210 gewählt sein.
Zur weiteren Veranschaulichung ist in 7 schematisch eine Schrägansicht der in 6 dargestellten Linse 230 dargestellt.
In 8 ist eine weitere bevorzugte Ausführungsform einer Linse 250 dargestellt, welche einen ersten Linsenbereich 251, einen zweiten Linsenbereich 252, sowie einen dritten Linsenbereich 253 umfasst, wobei 8 eine Aufsicht der Linse 250 zeigt.
In 9 ist schematisch eine weitere bevorzugte Ausführungsform einer Linse 310 dargestellt, die als Fresnel-Linse ausgebildet ist, wobei 9 a) eine Querschnittsansicht und 9 b) eine Aufsicht der Fresnel-Linse 310 zeigt. Die Fresnel-Linse 310 weist wenigstens einen ersten und wenigstens einen zweiten Linsenbereich auf, wobei der erste Linsenbereich einen ersten Teil der Linsenoberfläche umfasst und der zweite Linsenbereich einen zweiten, vom ersten unterschiedlichen Teil der Linsenoberfläche umfasst, und wobei der erste und zweite Linsenbereich jeweils ein unterschiedliches Material mit unterschiedlichen Transmissionseigenschaften für elektromagnetische Strahlung aufweist.
In dem in 9 dargestellten Beispiel weist die Fresnel-Linse 310 mehrere erste Linsenbereiche 311-1, 311-2, 311-3 und 311-4 aus einem ersten Material und mehrere zweite Linsenbereiche 312-1, 312-2 und 312-3 aus einem zweiten Material auf.
Wie in 9 b) erkennbar ist, handelt es sich bei der Fresnel-Linse 310 um eine kreisförmige Linse, wobei die Linsenbereiche 311-1, 311-2, 311-3, 311-4, 312-1, 312-2 und 312-3 jeweils als Ringzonen der Fresnel-Linse ausgebildet sind.
Vorteilhaft weisen die ersten Linsenbereiche 311-1, 311-2, 311-3 und 311-4 für eine erste Wellenlänge eine höhere Transmission als die zweiten Linsenbereiche 312-1, 312-2 und 312-3 und die zweiten Linsenbereiche 312-1, 312-2 und 312-3 für eine zweite, von der ersten Wellenlänge unterschiedliche Wellenlänge eine höhere Transmission als die ersten Linsenbereiche 311-1, 311-2, 311-3 und 311-4 auf.
Mit besonderem Vorteil blockieren die ersten Linsenbereiche 311-1, 311-2, 311-3 und 11-4 im Wesentlichen elektromagnetische Strahlung der zweiten Wellenlänge und die zweiten Linsenbereiche 312-1, 312-2 und 312-3 elektromagnetische Strahlung der ersten Wellenlänge. Eine elektromagnetische Strahlung wird vorzugsweise dann im Wesentlichen blockiert, wenn der Transmissionsgrad für die jeweilige Wellenlänge unter 25%, insbesondere unter 10%, insbesondere unter 5%, insbesondere unter 1% liegt.
Mit anderen Worten sind die ersten Linsenbereiche für die erste Wellenlänge im Wesentlichen transparent und wirken für die zweite Wellenlänge im Wesentlichen als Blende, während die zweiten Linsenbereiche für die zweite Wellenlänge im Wesentlichen transparent sind und für die erste Wellenlänge im Wesentlichen als Blende wirken. Vorzugsweise trifft dies nicht nur für eine erste und eine zweite Wellenlänge, sondern für einen ersten und einen zweiten Wellenlängenbereich zu, wobei es sich bei dem ersten und zweiten Wellenlängenbereich vorteilhaft um nicht überlappende Wellenlängenbereiche handelt, und wobei der erste und/oder zweite Wellenlängenbereich jeweils als ein zusammenhängendes Wellenlängenband ausgebildet oder durch wenigstens zwei nicht zusammenhängende Wellenlängenbänder gebildet sein kann.
Bevorzugt liegt die erste Wellenlänge bzw. der erste Wellenlängenbereich im sichtbaren Spektrum zwischen 380 nm und 780 nm und die zweite Wellenlänge bzw. der zweite Wellenlängenbereich liegt bevorzugt im infraroten Spektrum zwischen 780 nm und 1 mm.
10 zeigt eine schematische Schrägansicht der in 9 dargestellten Fresnel-Linse 310 zur Veranschaulichung der räumlichen Struktur, wobei die unterschiedlichen Materialien nicht besonders kenntlich gemacht sind.
In 11 ist die Fresnel-Linse 320 schematisch dargestellt, wobei 11 a) eine Querschnittsansicht und 11 b) eine Aufsicht der Fresnel-Linse 320 zeigt. In dem in 11 dargestellten Beispiel weist die Fresnel-Linse 320 mehrere erste Linsenbereiche 321-1, sowie 321-2a, 321-3a, 321-4a, 321-2b, 321-3b und 321-4b aus einem ersten Material und mehrere zweite Linsenbereiche 322-1a, 322-2a, 322-3a, 322-1b, 322-2b und 322-3b aus einem zweiten Material auf. Die Materialien können wie bei in 9 dargestellten Fresnel-Linse 310 gewählt sein.
Die in 11 dargestellte Fresnel-Linse 320 bildet im Grunde einen rechteckförmigen Ausschnitt der in 9 dargestellten Fresnel-Linse 310.
Zur weiteren Veranschaulichung ist in 12 schematisch eine Schrägansicht der in 11 dargestellten Fresnel-Linse 320 dargestellt. Da 12 lediglich zur Veranschaulichung der Linsenform dient, wurde auf eine Kennzeichnung der unterschiedlichen Materialien verzichtet.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 2985624 A1 [0007, 0051]
DE 102016109628 [0046]
DE 102016119920 [0046]

Claims

Digitales Kamerasystem (70, 70'), dazu ausgebildet, gleichzeitig elektromagnetische Strahlung wenigstens einer ersten Wellenlänge und wenigstens einer zweiten, von der ersten unterschiedlichen Wellenlänge abzubilden, wobei wenigstens eine der ersten und zweiten Wellenlänge außerhalb des sichtbaren Spektrums liegt, umfassend - einen in einer ersten Bildebene angeordneten, für die wenigstens eine erste Wellenlänge sensitiven, ersten Sensor (74-1), - einen in einer zweiten Bildebene angeordneten, für die wenigstens eine zweite Wellenlänge sensitiven, zweiten Sensor (74-2), und - einen wellenlängenselektiven Strahlteiler (77), welcher elektromagnetische Strahlung der wenigstens einen ersten Wellenlänge im Wesentlichen transmittiert und elektromagnetische Strahlung der wenigstens einen zweiten Wellenlänge im Wesentlichen reflektiert, wobei der Strahlteiler (77) angeordnet ist, die elektromagnetische Strahlung der wenigstens einen ersten Wellenlänge auf den ersten Sensor (74-1) und die elektromagnetische Strahlung der wenigstens einen zweiten Wellenlänge auf den zweiten Sensor (74-2) zu lenken.
Digitales Kamerasystem nach Anspruch 1, wobei die wenigstens eine erste Wellenlänge einen ersten Wellenlängenbereich und die wenigstens eine zweite Wellenlänge einen zweiten Wellenlängenbereich umfasst, wobei der erste Wellenlängenbereich insbesondere im sichtbaren Spektrum zwischen 380 nm und 780 nm und der zweite Wellenlängenbereich insbesondere im infraroten Spektrum zwischen 780 nm und 1 mm, insbesondere zwischen 2 µm und 15 µm, liegt.
Digitales Kamerasystem nach einem der vorstehenden Ansprüche, wobei der wellenlängenselektive Strahlteiler (77) als dichroitischer Spiegel ausgebildet ist.
Digitales Kamerasystem nach einem der vorstehenden Ansprüche, dazu ausgebildet, ein digitales Bild zu erzeugen, welches für wenigstens einen Bildpunkt des digitalen Bildes, insbesondere für jeden Bildpunkt des digitalen Bildes, Bildinformationen bezüglich der ersten Wellenlänge und Bildinformationen bezüglich der zweiten Wellenlänge umfasst.
Digitales Kamerasystem nach Anspruch 4, wobei das digitale Bild in Abhängigkeit - eines vom ersten Sensor (74-1) erzeugten ersten digitalen Teilbildes, welches für jeden Bildpunkt des ersten digitalen Teilbildes Bildinformationen bezüglich der ersten Wellenlänge umfasst, - eines vom zweiten Sensor (74-2) erzeugten zweiten digitalen Teilbildes, welches für jeden Bildpunkt des zweiten digitalen Teilbildes Bildinformationen bezüglich der zweiten Wellenlänge umfasst, und - im Kamerasystem (70) hinterlegter Abbildungsparameter erzeugt wird.
Digitales Kamerasystem nach Anspruch 5, wobei die Abbildungsparameter wenigstens einen Parameter umfassen, der in Abhängigkeit von an dem wellenlängenselektiven Strahlteiler (77) auftretenden Brechungseffekten definiert ist.
Digitales Kamerasystem nach einem der vorstehenden Ansprüche, umfassend - wenigstens eine Linse (210) mit wenigstens einem ersten und wenigstens einem zweiten Linsenbereich, wobei - der erste Linsenbereich (211) einen ersten Teil der Linsenoberfläche umfasst und der zweite Linsenbereich (212) einen zweiten, vom ersten unterschiedlichen Teil der Linsenoberfläche umfasst, - der erste und zweite Linsenbereich jeweils ein unterschiedliches Material mit unterschiedlichen Transmissionseigenschaften für elektromagnetische Strahlung aufweist, - der erste Linsenbereich (211) für die erste Wellenlänge eine höhere Transmission als der zweite Linsenbereich aufweist, und - der zweite Linsenbereich (212) für die zweite Wellenlänge eine höhere Transmission als der erste Linsenbereich aufweist.
Digitales Kamerasystem nach Anspruch 7, wobei der erste Linsenbereich elektromagnetische Strahlung der zweiten Wellenlänge und der zweite Linsenbereich elektromagnetische Strahlung der ersten Wellenlänge im Wesentlichen blockieren.
Digitales Kamerasystem nach einem der Ansprüche 7 oder 8, wobei der erste Linsenbereich, bezogen auf die erste Wellenlänge, und der zweite Linsenbereich, bezogen auf die zweite Wellenlänge, jeweils eine unterschiedliche Brennweite und/oder unterschiedliche Verzeichnungsparameter für das Objektiv aufweisen.
Digitales Kamerasystem nach einem der Ansprüche 7 bis 9, wobei die Linse als Fresnel-Linse (310, 320) ausgebildet ist, und wobei die Linsenbereiche insbesondere als Ringzonen der Fresnel-Linse (310, 320) ausgebildet sind.
Digitales Kamerasystem nach einem der vorstehenden Ansprüche, dazu ausgebildet, gleichzeitig elektromagnetische Strahlung der ersten und zweiten Wellenlänge und wenigstens einer dritten, von der ersten und zweiten unterschiedlichen Wellenlänge abzubilden, wobei die dritte Wellenlänge außerhalb des sichtbaren Spektrums liegt, umfassend - einen in einer dritten Bildebene angeordneten, für die wenigstens eine dritte Wellenlänge sensitiven, dritten Sensor (74-3), - einen weiteren wellenlängenselektiven Strahlteiler (77-2), welcher elektromagnetische Strahlung der ersten und zweiten Wellenlänge im Wesentlichen transmittiert und elektromagnetische Strahlung der dritten Wellenlänge im Wesentlichen reflektiert, wobei der Strahlteiler angeordnet ist, die elektromagnetische Strahlung der dritten Wellenlänge auf den dritten Sensor (74-3) zu lenken.
Digitales Kamerasystem nach Anspruch 12, umfassend - wenigstens eine Linse (250) mit wenigstens einem ersten, zweiten und dritten Linsenbereich, wobei - der erste Linsenbereich (251) einen ersten Teil der Linsenoberfläche umfasst, der zweite Linsenbereich (252) einen zweiten, vom ersten unterschiedlichen Teil der Linsenoberfläche umfasst, und der dritte Linsenbereich (253) einen dritten, vom ersten und zweiten unterschiedlichen Teil der Linsenoberfläche umfasst, - der erste, zweite und dritte Linsenbereich jeweils ein unterschiedliches Material mit unterschiedlichen Transmissionseigenschaften für elektromagnetische Strahlung aufweist, - der erste Linsenbereich (251) für die erste Wellenlänge eine höhere Transmission als der zweite und dritte Linsenbereich aufweist, - der zweite Linsenbereich (252) für die zweite Wellenlänge eine höhere Transmission als der erste und dritte Linsenbereich aufweist , und - der dritte Linsenbereich (253) für die dritte Wellenlänge eine höhere Transmission als der erste und zweite Linsenbereich aufweist.
Linse (210, 230, 250, 310, 320) mit wenigstens einem ersten und wenigstens einem zweiten Linsenbereich, wobei - der erste Linsenbereich (211, 231, 251, 311, 321) einen ersten Teil der Linsenoberfläche umfasst und der zweite Linsenbereich (212, 232, 252, 312, 322) einen zweiten, vom ersten unterschiedlichen Teil der Linsenoberfläche umfasst, - der erste und zweite Linsenbereich jeweils ein unterschiedliches Material mit unterschiedlichen Transmissionseigenschaften für elektromagnetische Strahlung aufweist, - der erste Linsenbereich für die erste Wellenlänge eine höhere Transmission als der zweite Linsenbereich aufweist, - der zweite Linsenbereich für die zweite Wellenlänge eine höhere Transmission als der erste Linsenbereich aufweist, und - der erste Linsenbereich, bezogen auf die erste Wellenlänge, und der zweite Linsenbereich, bezogen auf die zweite Wellenlänge, jeweils eine unterschiedliche Brennweite aufweisen.
Verfahren zum Bestimmen der Position und/oder Orientierung einer mobilen elektronischen Einrichtung (10) mit den Schritten: a) Aufnehmen eines Bildes wenigstens eines Objektes mit einem digitalen Kamerasystem (70) nach einem der Ansprüche 1 bis 12, wobei das digitale Kamerasystem (70) der mobilen elektronischen Einrichtung zugeordnet ist, b) Bereitstellen vorbestimmter Objektrauminformationen, wobei die Objektrauminformationen Informationen zum Erscheinungsbild und zur Position und/oder Orientierung wenigstens eines vorbestimmten Objektes umfassen, c) Prüfen des aufgenommenen Bildes und der vorbestimmten Objektrauminformationen auf Übereinstimmung in Abhängigkeit eines vorbestimmten Übereinstimmungskriteriums und d) Bestimmen der Position und/oder Orientierung der mobilen elektronischen Einrichtung in Abhängigkeit der in den Objektrauminformationen enthaltenen Informationen des wenigstens einen vorbestimmten Objektes, wobei das Bestimmen der Position und/oder Orientierung der mobilen elektronischen Einrichtung insbesondere das Durchführen einer Bündelausgleichung umfasst.
Verfahren nach Anspruch 14, wobei die vorbestimmten Objektrauminformationen ein vorab aufgenommenes Bild des vorbestimmten Objektes und dessen äußere Orientierung und/oder Koordinaten des vorbestimmten Objektes im Objektraum umfassen.
Mobile elektronische Einrichtung (10), insbesondere ausgebildet zum Durchführen eines Verfahrens nach einem der Ansprüche 14 oder 15, umfassend ein digitales Kamerasystem nach einem der Ansprüche 1 bis 12.