DE102019216298A1

DE102019216298A1 - Messanordnung zur Erzeugung eines Bildes höherer Auflösung sowie Fahrzeug

Info

Publication number: DE102019216298A1
Application number: DE102019216298.3A
Authority: DE
Inventors: Jörg Angermayer
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2019-10-23
Filing date: 2019-10-23
Publication date: 2021-04-29

Abstract

Die Erfindung betrifft eine Messanordnung (1a,.., 1e) zur Erzeugung eines Bildes (13,22) mit höherer Auflösung aus zumindest zwei Einzelbildern (11,12,18) mit niedrigerer Auflösung, umfassend einen Sensor (2) zur Aufnahme der Einzelbilder (11,12,18) mit einer durch eine Anzahl von Pixeln angegebenen Aufnahmebildauflösung,sowie einem Bildverarbeitungssystem, welches mit dem Sensor (2) zur Datenübertragung verbunden ist,wobei eine Magnetfelderzeugungseinheit oder ein verschiebbares Element umfasst ist, zur Verschiebung des Sensors (2) um einen Bruchteil des Pixelabstandes, wobei die Magnetfelderzeugungseinheit oder das verschiebbare Element mit dem Bildverarbeitungssystem verbunden ist, zur Steuerung der Verschiebung des Sensors (2) durch das Bildverarbeitungssystem und wobei das Bildverarbeitungssystem zur Erzeugung einer Ausgabe eines Bildes (13, 22) mit einer Ausgabebildauflösung durch Kombination von zumindest einem ersten mit dem Sensor (2) aufgenommenen Einzelbild (11,12,18) und einem zweiten mit dem Sensor (2) aufgenommenen Einzelbild (11,12,18) in jeweils einer Aufnahmebildauflösung ausgebildet ist, wobei die Ausgabebildauflösung höher als die Aufnahmebildauflösung ist.Ferner betrifft die Erfindung noch ein Fahrzeug.

Description

Die Erfindung betrifft eine Messanordnung zur Erzeugung eines Bildes mit höherer Auflösung aus zumindest zwei Einzelbildern mit niedrigerer Auflösung. Ferner betrifft die Erfindung noch ein Fahrzeug.
Für eine Fahrerassistenz bieten beispielsweise Messanordnungen mit ToF (Time of Flight)-Sensoren ein großes Einsatzpotenzial, da sie die Aufnahme dreidimensionaler Objekte in Echtzeit erlauben. Diese weisen jedoch eine geringe Sensorauflösung auf. Für Anwendungen im Fahrzeugbereich ist jedoch eine hohe Pixelanzahl notwendig.
1 zeigt eine solche Messanordnung 100 mit einem pixelbasierten ToF (Time of Flight)-Sensor 101 mit einer Auflösung nach dem Stand der Technik, welcher ein Objekt aufnimmt.
Die Auflösung eines TOF-Sensors 101 ist definiert durch die Auflösung eines sogenannten Imagers der verwendet wird. Der Imager liefert eine Matrix von radialen Tiefenwerten. Durch eine Optik im TOF-Sensor 101 wird ein Field of View bestimmt (FoV). Aufgrund der Optik ergibt es einen Unterschied, in welcher Entfernung ein Objekt durch den TOF-Sensor 101 aufgenommen wird. Wenn das Objekt nah am TOF-Sensor 101 ist, werden mehr Details sichtbar, da die Messungen näher beieinander sind. Wenn das Objekt weiter entfernt ist, sind weniger Details sichtbar. Dies resultiert daraus, dass die Zwischenräume zwischen den Messungen größer werden, je weiter sich das Objekt entfernt. Diejenigen Bereiche, die nicht sichtbar sind, die sogenannten hidden areas 102 liefern somit keine Informationen über das Objekt.
Die Messpunkte werden auch im Weiteren als Pixel oder Subpixel bezeichnet, da ein Mappen der Messwerte auf Werte von Pixeln möglich ist und diese somit bei Darstellung eines Bildes sichtbar werden. Wenn Objekte in einer größeren Entfernung erfasst werden, dann nimmt die Auflösung ab. Es entstehen somit viele hidden areas 102, in denen keine Informationen vom Objekt vorliegen.
Zur Erhöhung der Auflösung kann eine sogenannte Superresolution (SR) verwendet werden. Diese erhöhen die resultierende Auflösung durch Einbringen zusätzlicher Messungen bzw. Stützstellen, welche durch sequentielle Mehrfachaufnahmen erzeugt werden. Jede Einzelaufnahme einer Mehrfachaufnahme ist dabei um einen Bruchteil der Pixelabmessung, den sogenannten Subpixelversatz, relativ zueinander verschoben. Die neuen Messungen können sequenziell mit einer hohen resultierenden Auflösung erfolgen.
Diese Mehrfachaufnahmen müssen jedoch geeignet zusammengebracht werden, um aus mehreren Bildern mit niedriger Auflösung ein Bild/Messungen mit einer höheren Auflösung zu erhalten. Des Weiteren können, die aus mehreren Mehrfachaufnahmen mit Bildern niedriger Auflösung enthaltene redundante Information verarbeitet werden, so dass eine höhere Auflösung und/oder eine Reduzierung von Fehlern erhalten wird. Dabei werden typischerweise für alle Bilder der genutzten Bildsequenz die Aufnahmeparameter, beispielsweise die Belichtung etc. beibehalten. Diese Art der Bildqualitätsverbesserung ist als Superresolution-Verarbeitung bekannt.
Hierzu werden Superresolutionalgorithmen verwendet, welche ein hochaufgelöstes Bild aus einer Reihe von niedrigaufgelösten Einzelbildern eines aufgenommenen Objektes rekonstruieren. Superresolutionalgorithmen können bei einem unbekannten oder bekannten Subpixelversatz zur Anwendung kommen. Gerade bei letztem werden in der Regel bessere SR-Ergebnisse erzielt, da der Versatz genauer bekannt ist.
Eine genaue Ausrichtung der Eingabebilder ist ein wesentlicher Bestandteil solcher Algorithmen.
Die DE 10 2011 121 334 A1 offenbart eine Messanordnung mit einem im nicht-sichtbaren Spektralbereich aufnehmenden Detektor einer Kamera, und mit einer elektrisch und/oder mechanisch betreibbaren Modalität, um zwischen einer Aufnahme von Bildern eine relative Verschiebung einer abgebildeten Szene in Bezug auf ein zweidimensionales Aufnahmefeld des Detektors auszuführen, um Bilder einer im Wesentlichen unveränderten Szene zu erhalten, welche zu einem SR-Bild mit erhöhter Ausgabebildauflösung kombinierbar sind.
Es ist daher eine Aufgabe der Erfindung, Mittel anzugeben, welche eine einfache und schnelle Erzeugung von hochaufgelösten Bildern bewerkstelligen.
Diese Aufgabe wird gelöst durch eine Messanordnung mit den Merkmalen des Anspruchs 1 sowie ein Fahrzeug mit den Merkmalen des Anspruchs 11.
In den Unteransprüchen sind weitere vorteilhafte Maßnahmen aufgelistet, die beliebig geeignet miteinander kombiniert werden können, um weitere Vorteile zu erzielen.
Diese Aufgabe wird gelöst durch eine Messanordnung zur Erzeugung eines Bildes mit höherer Auflösung aus zumindest zwei Einzelbildern mit niedrigerer Auflösung, umfassend einen Sensor zur Aufnahme der Einzelbilder mit einer durch eine Anzahl von Pixeln angegebenen Aufnahmebildauflösung,
sowie einem Bildverarbeitungssystem, welches mit dem Sensor zur Datenübertragung verbunden ist,
und ferner umfassend einer Magnetfelderzeugungseinheit oder einem verschiebbaren Element, zur Verschiebung des Sensors um einen Bruchteil des Pixelabstandes, wobei die Magnetfelderzeugungseinheit oder das verschiebbare Element mit dem Bildverarbeitungssystem verbunden ist, zur Steuerung der Verschiebung des Sensors durch das Bildverarbeitungssystem und wobei das Bildverarbeitungssystem zur Erzeugung einer Ausgabe eines Bildes mit einer Ausgabebildauflösung durch Kombination von zumindest einem ersten und einem zweiten mit dem Sensor aufgenommenen Einzelbild in jeweils einer Aufnahmebildauflösung ausgebildet ist, wobei die Ausgabebildauflösung höher als die Aufnahmebildauflösung ist.
Unter Sensor kann auch ein Sensorsystem, beispielsweise ein Array von Sensoren, verstanden werden.
Unter einem Pixel kann ein Bildelement verstanden werden. Auflösungen werden bei pixelbasierten Sensoren in Pixeln angegeben.
Durch die Aufnahme von mehreren niedrig aufgelösten Einzelbilder derselben Szene eines beispielsweise Objektes, wird durch eine Kombination in dem Bildverarbeitungssystem ein hochaufgelöstes Bild dieser Szene erzeugt, welches eine höhere Informationsdichte als die jeweiligen Einzelbilder aufweist. Das so erzeugte Bild ist vorzugsweise ein SR- Bild (Superresolution), das heißt, ein aus Überlagerung von Einzelbildern rekonstruiertes Bild mit einer höheren Ausgabeauflösung.
Erfindungsgemäß ist durch die Steuerung der Magnetfelderzeugungseinheit oder des verschiebbaren Elements durch das Bildverarbeitungssystem, der Versatz der Einzelbilder zueinander bekannt. Dadurch kann beispielsweise auf eine Ausrichtung der Bilder durch eine Grobregistrierung und eine Feinregistrierung verzichtet werden. Durch die erfindungsgemäße Messanordnung ist eine automatische und stufenlose Ausrichtung des Sensors, zusammen mit einer synchronen Auswertung der Einzelbilder möglich. Das heißt das Mapping/Übereinanderlagen der Einzelbilder ist durch den bekannten Versatz der Einzelbilder zueinander einfach möglich. Das ermöglicht eine lückenlose Abdeckung des Sensorbereichs und -durch den bekannten Versatz der Einzelbilder zueinander - eine einfache und schnelle Kombination der Einzelbilder zu einem hochaufgelösten Bild.
Erfindungsgemäß ist durch die Ansteuerung des Sensors durch die Magnetfelderzeugungseinheit oder das verschiebbare Element eine kleine Bauform der Messanordnung ermöglicht.
Durch die Kombination der Einzelbilder in dem Bildverarbeitungssystem, welches beispielsweise als Steuerungseinheit eines Fahrzeugs ausgebildet ist, und welche die zeitsynchrone Steuerung der Ausrichtung des Sensors übernimmt, ist es möglich den gesamten Bereich stufenlos mit einem bekannten Versatz aufzunehmen.
Die erfindungsgemäße Messanordnung kann sowohl im Innenraum bei einem Fahrzeug als auch im Außenbereich eingesetzt werden. Insbesondere ist der Sensor als TOF-Sensor (Time of Flight) Sensor ausgebildet.
Vorzugsweise ist der Sensor durch das Bildverarbeitungssystem bei Aufnahme des zumindest einen zweiten Einzelbildes um einen Bruchteil des Pixelabstandes verschoben. Somit können diejenigen Zwischenräume, welche bei dem ersten Einzelbild nicht erfasst worden sind, erfasst werden. Durch Kombination des zumindest ersten und zweiten Einzelbildes kann die Auflösung im rekonstruierten Bild gesteigert werden.
Die Verschiebung um einen Bruchteil eines Pixelabstandes wird auch häufig als Verschiebung/Versatz um einen Subpixel bezeichnet und im Folgenden so verwendet.
Vorzugsweise weist das verschiebbare Element eine Schrägebene (schiefe Ebene) für die Führung des Sensors auf, wobei der Sensor derart angeordnet ist, dass bei einer Bewegung des verschiebbaren Elements eine kontinuierliche Verschiebung des Sensors auf der Schrägebene bewirkbar ist. Vorzugsweise ist der Sensor direkt oder indirekt auf der Schrägebene verschiebbar angeordnet. Dabei kann der Sensor beispielsweise anhand einer Spindel auf der Schrägebene angeordnet sein. Durch eine solche Schrägebene ist eine einfache als auch kontinuierliche Verschiebung des Sensors möglich.
Vorzugsweise weicht die Schrägebene des verschiebbaren Elements von einer Horizontalachse um einen Winkel ab, so dass bei einer Bewegung des verschiebbaren Elements entlang der Horizontalachse zumindest eine Verschiebung des Sensors entlang einer Vertikalachse bewirkt ist. Dabei ist die Horizontalachse im Wesentlichen senkrecht zur Vertikalachse ausgebildet. Dadurch kann eine einfache kontinuierliche Verschiebung des Sensors gewährleistet werden, bei gleichzeitigem bekanntem Versatz der aufgenommenen Einzelbilder.
Vorzugsweise ist das verschiebbare Element keilförmig ausgebildet.
In bevorzugter Ausgestaltung ist der Sensor drehbar um eine erste Rotationsachse gelagert.
Weiterhin vorzugsweise umfasst die Magnetfelderzeugungseinheit zumindest einen Sensormagneten, welcher im oder am Sensor angeordnet ist, und zumindest einen Magneten, welcher beabstandet gegenüberliegend vom Sensormagneten angeordnet ist, wobei der zumindest eine Magnet oder der Sensormagnet als stromdurchflossener Elektromagnet ausgebildet ist, so dass bei Umpolung oder Änderung des Durchflussstromes der Sensor um die erste Rotationsachse drehbar ist.
Vorzugsweise umfasst die Magnetfelderzeugungseinheit zumindest einen Sensormagneten, welcher im oder am Sensor angeordnet ist, und als Permanentmagnet ausgebildet ist und zumindest einen stromdurchflossenen Elektromagneten, welcher beabstandet gegenüberliegend vom Sensormagneten angeordnet ist, so dass bei Umpolung oder Änderung des Durchflussstromes der Sensor um die erste Rotationsachse drehbar ist.
Vorzugsweise umfasst die Magnetfelderzeugungseinheit zumindest zwei Elektromagnete, welche jeweils beabstandet gegenüberliegend vom Sensormagneten angeordnet sind und welche mit dem Sensormagneten auf einer Linie liegen, wobei die zwei Elektromagnete gegenpolig zueinander ausgebildet sind und wobei der Sensormagnet als Permanentmagnet ausgebildet ist.
Somit steuert das Bildverarbeitungssystem den Versatz der zumindest beiden Einzelbilder zueinander.
Durch diese Ausgestaltung kann auf einen E-Motor oder einen Schrittmotor verzichtet werden. Zudem weist die Magnetfelderzeugungseinheit eine kleine Baugröße auf und ist sehr kostengünstig.
Weiterhin vorzugsweise ist der Sensor als TOF-Sensor (Time-of-Flight) ausgebildet. TOF-Sensoren erzeugen einen permanenten Datenstrom mit derzeit bis zu 100 Messungen der Tiefe (Entfernung) und der IR-Strahlungs-Stärke pro Sekunde und ermöglichen somit ein schnelles und sicheres Erkennen einer Verkehrssituation auch bei hohen Eigengeschwindigkeiten und dynamischen Szenen. Der TOF-Sensor ermittelt zudem Abstandsinformationen zu Hindernissen oder vorausfahrenden Fahrzeugen oder zu anderen sich bewegenden Objekten wie Fußgängern.
In weiterer bevorzugter Ausgestaltung ist der Sensor drehbar um eine erste Rotationsachse und eine zweite Rotationsachse gelagert, wobei die Magnetfelderzeugungseinheit einen ersten und einen zweiten Sensorpermanentmagneten umfasst, welche als Permanentmagnete ausgebildet sind, wobei die Sensorpermanentmagnete im oder am Sensor angeordnet sind, sowie eine erste und eine zweite stromdurchflossene Spule, wobei die erste Spule beabstandet von dem ersten Sensorpermanentmagneten und die zweite Spule beabstandet von dem zweiten Sensorpermanentmagneten derart angeordnet sind, so dass durch eine Änderung des Durchflussstroms durch die erste Spule eine Drehbewegung des Sensors um die erste Rotationsachse und/oder bei Änderung des Durchflussstroms durch die zweite Spule eine Drehbewegung des Sensors um die zweite Rotationsachse bewerkstelligt ist, wobei die erste Rotationsachse im Wesentlichen senkrecht zu der zweiten Rotationsachse ist.
Dadurch ist eine einfache Drehbewegung um beide Rotationsachsen möglich. Die Drehbewegung kann durch die Stärke und Durchflussrichtung der Spule beeinflusst werden, wobei die Drehbewegung durch das Bildverarbeitungssystem bewerkstelligt wird, so dass der jeweilige Versatz der entstehenden Einzelbilder bekannt ist.
Ferner wird die Aufgabe gelöst durch ein Fahrzeug mit einer wie oben beschriebenen Messanordnung, bei der das Bildverarbeitungssystem als Steuerungseinheit ausgebildet ist. Diese kann sehr einfach die Steuerung der Magnetfelderzeugungseinheit und/oder des verschiebbaren Elements als auch die Kombination der Einzelbilder unter Zuhilfenahme der Kenntnis des Versatzes der Einzelbilder zueinander übernehmen.
Vorzugsweise ist das Fahrzeug als autonom betriebenes Fahrzeug ausgebildet. Durch eine solche Messanordnung kann die Sicherheit von Fahrgästen in einem autonomen Fahrzeug erhöht werden.
Bevorzugt weist das Fahrzeug einen Innenraum mit Innenraumelementen auf, wobei die Messanordnung zur Adaption an einen zu einer Adaption ausgebildeten Innenraumelement ausgebildet ist. Dies kann beispielsweise im Frontbereich sein, so dass eine Steuerung durch Gesten einfach erkannt werden kann.
Weiterhin vorzugsweise ist das Innenraumelement als Sitz mit einem Kopfbereich ausgebildet, wobei die Messanordnung zur Adaption an dem Kopfbereich des Sitzes ausgebildet ist. Dadurch kann ein einfaches Aufnehmen von Fahrgästen bewerkstelligt werden.
Insbesondere ist die Messanordnung mit dem Kopfbereich des Sitzes verbunden oder daran befestigt oder darin integriert. Dadurch können in einem autonom fahrenden Fahrzeug sich gegenübersitzende Passagiere aufgenommen werden und beispielsweise an eine oder mehrere dritte Personen im Rahmen einer Konferenzschaltung von den dritten Personen in 3D und Echtzeit gesehen werden.
Vorzugsweise ist der Sensor der Messanordnung als TOF-Sensor ausgebildet. Dieser erzeugt einen permanenten Datenstrom mit bis zu 100 3D-Bildern pro Sekunde und ermöglicht somit ein schnelles und sicheres Erkennen einer Verkehrssituation auch bei hohen Eigengeschwindigkeiten und dynamischen Szenen. Ferner ermittelt ein TOF-Sensor Abstandsinformationen zu Hindernissen oder vorausfahrenden Fahrzeugen oder zu anderen sich bewegenden Objekten wie Fußgängern.
Eine weitere Anwendung in einem Fahrzeug kann beispielsweise sein, dass der Passagier oder Fahrer eines autonom fahrenden Fahrzeugs beispielsweise ein dringendes Ersatzteil (beispielsweise bei einem Stehenbleiben des Fahrzeugs) benötigt. Durch die erfindungsgemäße Messanordnung kann er das benötigte Ersatzteil beispielsweise an einen Pannendienst übertragen, welcher dieses beispielsweise durch die hochgenaue Auflösung als 3D-Druck fertigen, und liefern kann.
Dies ist auch möglich, wenn es sich nicht um ein dringendes Ersatzteil handelt. Hier kann mit der erfindungsgemäßen Messanordnung das benötigte Ersatzteil aufgenommen und beispielsweise an eine Cloud übertragen werden, bei der beispielsweise Anbieter nach Aufträgen suchen können.
Dadurch kann eine direkte Vor-Ort -Bestellung unnötig werden.
Alternativ kann beispielsweise eine Software automatisiert auf beispielsweise der Cloud nach einem passenden Anbieter suchen und anbieten. Wird ein Auftrag erteilt, kann dann beispielsweise eine Gebühr für die Vermittlung fällig werden.
Weitere Merkmale, Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezugnahme auf die beiliegenden Figuren. Darin zeigen schematisch:

1: eine Messanordnung nach dem Stand der Technik,
2: eine erfindungsgemäße Messanordnung in einer ersten Ausgestaltung in einer Seitenansicht,
3: die erfindungsgemäße Messanordnung in einer ersten Ausgestaltung in einer Frontansicht,
4: eine weitere erfindungsgemäße Messanordnung in einer Seitenansicht,
5: eine schematische weitere Ausgestaltung einer erfindungsgemäßen Messanordnung,
6: eine weitere Ausgestaltung einer erfindungsgemäßen Messanordnung, 7: die Funktionsweise der Messanordnung,
8: die Kombination von zwei Einzelbildern als Bild,
9: eine weitere Ausgestaltung einer erfindungsgemäßen Messanordnung,
10: mehrere Einzelbilder die zu einem Bild kombiniert werden.

Obwohl die Erfindung im Detail durch die bevorzugten Ausführungsbeispiele näher illustriert und beschrieben wurde, ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt.
2 zeigt eine Messanordnung 1a in einer ersten Ausgestaltung gemäß der Erfindung in einer Seitenansicht. Diese weist einen Sensor 2 zur Aufnahme von Einzelbildern 11,12,18 (10) eines Objektes 8 mit einer Aufnahmebildauflösung auf. Dabei wird die Aufnahmebildauflösung als eine Anzahl von Pixeln (Bildelemente) dargestellt. Auch andere Messgrößen spielen bei der Auflösung eine Rolle, diese sollen jedoch hier nicht betrachtet werden. Der Sensor 2 ist drehbar um eine erste Rotationsachse R1 gelagert.
Ferner weist die Messanordnung 1a als Bildverarbeitungssystem eine Steuerungseinheit 3 (ECU), insbesondere eines Fahrzeugs auf, welche zur Steuerung der Ausrichtung des Sensors 2 ausgebildet ist, indem die Steuerungseinheit 3 den Sensor 2 mittels einer noch näher zu beschreibenden elektromagnetischen Magnetfelderzeugungseinheit um die erste Rotationsachse R1 dreht. Dadurch wird eine Verschiebung des Sensors 2 um einen Bruchteil des Pixelabstandes (Versatz um Subpixel) bewirkt. Jede Einzelaufnahme ist somit dabei um einen Bruchteil der Pixelabmessung relativ zueinander verschoben.
Die Steuerungseinheit 3 ist ferner dazu ausgebildet, zumindest zwei, vorzugsweise aber mehrere derart aufgenommene Einzelbilder 11,12,18 (10) des Objektes 8 durch einen derart verschobenen Sensor 2 miteinander so zu kombinieren, dass das resultierende Bild 22 (10) eine höhere Auflösung als die jeweiligen Einzelbilder 11,12,18 (10) aufweisen, das heißt, eine höhere Anzahl an Pixeln. Durch die Aufnahme von mehreren niedrig aufgelösten Einzelbilder 11,12,18 (10) desselben Objektes 8, welche um einen Bruchteil des Pixelabstandes verschoben sind (Verschiebung um Subpixel), wird ein hochaufgelöstes Bild 22 (10) desselben Objektes 8 erzeugt, welches eine höhere Informationsdichte als die jeweiligen Einzelbilder 11,12,18 (10) aufweist.
Durch die Steuerung des Sensors 2, ist der Versatz der Pixel in jedem der Einzelbilder 11,12,18 (10) genau bekannt. Dadurch kann ein besseres Bildergebnis erzielt werden. Zudem ist die Auswertung schneller als bei unbekanntem Versatz, da hier beispielsweise noch ein zusätzlicher Algorithmus zwischengeschaltet werden muss.
Zur gezielten Drehung des Sensors 2 um die erste Rotationsachse R1 ist eine elektromagnetische Magnetfelderzeugungseinheit vorgesehen. Diese ist mit der Steuerungseinheit 3 verbunden. Die elektromagnetische Magnetfelderzeugungseinheit umfasst dabei zwei Elektromagnete 4a, 4b, welche beabstandet und jeweils gegenüberliegend von einem Sensormagneten 5 angeordnet sind, wobei der Sensormagnet 5 im oder am Sensor 2 angeordnet ist.
Die Elektromagnete 4a, 4b bestehen vorzugsweise aus einer Spule mit beispielsweise einem Kern, in der sich bei Stromdurchfluss ein magnetisches Feld bildet. Dabei kann die Stärke und Polrichtung der Elektromagnete 4a,4b durch den Stromdurchfluss reguliert werden, wobei die Stromregulierung durch die Steuerungseinheit 3 erfolgt. Die zwei Elektromagnete 4a, 4b und der Sensormagnet 5 sind entlang einer gemeinsamen Linie angeordnet. Ferner sind die zwei Elektromagnete 4a, 4b zueinander gegensätzlich gepolt angeordnet.
In diesem gezeigten Ausführungsbeispiel zeigt der erste Elektromagnet 4a mit seinem Nordpol zum Sensormagnet 5 und der zweite Elektromagnet 4b mit seinem Südpol zum Sensormagnet 5. Der Sensormagnet 5 ist hier als Permanentmagnet ausgebildet.
Die beiden Elektromagnete 4a, 4b sind mit der Steuerungseinheit 3 verbunden, welche die beiden Elektromagnete 4a, 4b ansteuert, das heißt die Steuerungseinheit 3 stellt die Stärke durch Verändern der Stromstärke als auch die Ausrichtung der Pole durch Umkehrung des Stromflusses ein und polt diese auch bedarfsweise um. Durch die Einstellung des Magnetfeldes kann der Sensor 2 stufenlos um die erste Rotationsachse R1 gedreht werden. Vorzugsweise nimmt die Steuerungseinheit 3 eine zeitsynchrone Ausrichtung der Elektromagnete 4a, 4b und damit des Sensors 2 vor.
Durch die Ansteuerung des Sensors 3 ist die Verschiebung der Einzelbilder 11,12,18 (10) zueinander bekannt und fließt in die Kombination der aufgenommenen Einzelbilder 11,12,18 (10) zu einem Bild 22 (10) mit ein. Die Steuerungseinheit 3 steuert damit die Ausrichtung und die Synchronität der Einzelbilder 11,12,18 ( 10). Dadurch, dass die Verschiebung der Einzelbilder 11,12,18 (10) zueinander bekannt ist, ist beispielsweise die Anwendung eines Superresolutionsalgorithmus möglich. Durch die Bekanntheit der Verschiebung der Einzelbilder 11,12,18 (10) zueinander ist das Rekonstruieren eines hochaufgelösten Bildes 22 (10) aus einer Reihe von niedrigaufgelösten Einzelbildern 11,12,18 (10) besonders einfach und schnell möglich, bei gleichzeitiger höherer Ausgabeauflösung.
Vorzugsweise ist der Sensormagnet 5 in einem Sensorgehäuse (nicht gezeigt) zusammen mit dem Sensor 2 angeordnet. Dadurch ist eine einfache Anbringung des Sensormagneten 5 möglich.
3 zeigt die Messanordnung 1a in einer Frontansicht. Diese weist den Sensor 2 mitsamt der ersten Rotationsachse R1 auf. Durch die erfindungsgemäße Messanordnung 1a ist eine stufenlose Verschiebung bzw. Ausrichtung des Sensors 2 um die erste Rotationsachse R1 möglich. Dadurch können alle Objektbereiche durch den Sensor 2, also alle ursprünglich in einer Einzelbilddarstellung durch die Auflösung bedingte, nicht aufgenommenen Objektbereiche (hidden areas) abgedeckt werden.
Durch die Integration des Sensors 2 in beispielsweise einem Sensorgehäuse (nicht gezeigt) und den beabstandet angeordneten Elektromagneten 4a,4b (2) ist - im Gegensatz zu E-Motoren oder Schrittmotoren- eine kleine und kostengünstige Bauausführung der Messanordnung 1a möglich. Durch die Kombination der Einzelbilder 11,12,18 (10) in der Steuereinheit 3 (2), die auch die zeitsynchrone Steuerung der Ausrichtung des Sensors 2 übernimmt, ist es möglich, den gesamten Bereich aufzunehmen und durch Kenntnis des Versatzes der Einzelbilder 11,12,18 ( 10) zueinander ein hochaufgelöstes Bild 22 (10) zu rekonstruieren, beispielsweise mittels eines Superresolutionsalgorithmus.
Insbesondere ist der Sensor 2 als TOF (Time-of-Flight) Sensor ausgebildet, welcher neben der Reflektivität unterschiedlicher Objektoberflächen, zusätzlich die Entfernung der Objektoberflächen zum Fahrzeug pixelweise erfasst. TOF-Sensoren sind 3D-Sensoren, die mit dem Laufzeitverfahren Distanzen messen. Ein TOF-Sensor arbeitet mit normalem Licht oder beispielsweise mit Infrarotlicht (IR), der von dem TOF-Sensor ausgestrahlt wird. Der TOF-Sensor arbeitet pixelweise und liefert für jeden erfassten Bildpunkt auch die Entfernung des darauf abgebildeten Objektes 8 (2).
Die Messanordnung 1a funktioniert im Innenraum eines Fahrzeugs genau so gut wie im Außenbereich eines Fahrzeugs. Insbesondere im Einsatz beim „Autonomous Driving Level (autonomes Fahren)“ kann durch die Auflösungssteigerung die Objekterkennung signifikant verbessert werden und somit beispielsweise Menschen auch in größerer Entfernung sehr gut erkannt werden.
4 zeigt eine weitere erfindungsgemäße Messanordnung 1b in einer Seitenansicht. Die Messanordnung 1b weist als Bildverarbeitungssystem die Steuerungseinheit 3, welche zur Steuerung der Ausrichtung des Sensors 2 ausgebildet ist, auf.
Zur gezielten Drehung des Sensors 2 um die erste Rotationsachse R1 ist ebenfalls eine elektromagnetische Magnetfelderzeugungseinheit vorgesehen, welche aus zwei Permanentmagneten 6a,6b und einem elektromagnetischen Sensorelektromagnet 7 besteht. Der elektromagnetische Sensorelektromagnet 7 ist zur Steuerung mit der Steuerungseinheit 3 verbunden, ebenso ist zur Kombination der Einzelbilder 11,12,18 (10) der Sensor 2 selber mit der Steuerungseinheit 3 verbunden.
Hierzu kann eine Sensoreinheit (nicht gezeigt) vorgesehen sein, welche die Weiterleitung der vom Sensor 2 aufgenommenen Einzelbilder 11,12,18 (10) bewirkt. Ferner kann die Sensoreinheit (nicht gezeigt) zunächst die als Bildsensorsignale aufgenommenen Einzelbilder 11,12,18 (10) vorverarbeiten als auch zur Weiterleitung von beispielsweise Ansteuerungsbefehlen an den Sensorelektromagnet 7 verwendet werden.
Durch diese Anordnung kann ebenfalls eine Verschiebung des Sensors 2 um einen Bruchteil des Pixelabstandes bewirkt werden. Durch die Steuerung des Sensors 2 sind auch hier der Versatz der Pixel in jedem der Einzelbilder 11,12,18 (10) genau bekannt.
Dadurch kann wie in 2 ein besseres Bildergebnis erzielt werden. Zudem ist auch hier die Kombination der Einzelbilder 11,12,18 (10) schneller als bei unbekanntem Versatz, da hier beispielsweise noch ein zusätzlicher Algorithmus zwischengeschaltet werden muss.
Neben den bereits in 2 aufgezeigten Vorteilen, kann dadurch ggf. eine Zuleitung eingespart werden.
5 zeigt eine weitere Ausgestaltung einer erfindungsgemäßen Messanordnung 1c schematisch. Diese weist eine zweite Rotationsachse R2 auf, welche im Wesentlichen senkrecht auf der ersten Rotationsachse R1 steht. Der Sensor 2 ist drehbar um die erste Rotationsachse R1 und die zweite Rotationsachse R2 gelagert.
Zur gezielten Drehung des Sensors 2 um die erste Rotationsachse R1 ist eine erste elektromagnetische Magnetfelderzeugungseinheit vorgesehen. Diese ist mit der Steuerungseinheit 3 (2) verbunden. Die erste elektromagnetische Magnetfelderzeugungseinheit umfasst dabei zwei erste Elektromagnete 4a, 4b (2), welche beabstandet und jeweils gegenüberliegend von einem ersten Sensormagneten 5 ( 2), welcher im oder am Sensor 2 angeordnet ist, angeordnet sind. Die beiden ersten Elektromagnete 4a, 4b (2) und der erste Sensormagnet 5 (2) sind in einer Linie zueinander angeordnet. Die beiden ersten Elektromagnete 4a, 4b (2) sind zudem zueinander gegensätzlich gepolt ausgerichtet. Durch die erste elektromagnetische Magnetfelderzeugungseinheit wird mittels der Steuereinheit 3 (2) eine Drehung um die erste Rotationsachse R1 bewirkt.
Zur gezielten Drehung des Sensors 2 um die zweite Rotationsachse R2 ist eine zweite elektromagnetische Magnetfelderzeugungseinheit vorgesehen. Diese ist mit der Steuerungseinheit 3 (2) verbunden. Die elektromagnetische Magnetfelderzeugungseinheit umfasst dabei zwei zweite Elektromagnete (nicht gezeigt), welche beabstandet und jeweils gegenüberliegend von einem zweiten Sensormagneten (nicht gezeigt), welcher im oder am Sensor 2 angeordnet ist, angeordnet sind. Die zwei zweiten Elektromagneten (nicht gezeigt) und der zweite Sensormagnet (nicht gezeigt) sind entlang einer gemeinsamen Linie angeordnet. Ferner sind die zwei zweiten Elektromagnete (nicht gezeigt) zueinander gegensätzlich gepolt angeordnet.
Durch die zweite elektromagnetische Magnetfelderzeugungseinheit wird mittels der Steuereinheit 3 (2) eine Drehung um die zweite Rotationsachse R2 bewirkt.
Insbesondere befindet sich der Sensor 2 in einem Sensorgehäuse (nicht gezeigt), in welchem auch der erste und zweite Sensormagnet angeordnet sind, und welcher mitsamt dem Sensor 2 durch die Steuerungseinheit 3 (1), um die erste Rotationsachse R1 als auch um die zweite Rotationsachse R2 drehbar ist.
6 zeigt eine weitere Ausgestaltung einer erfindungsgemäßen Messanordnung 1d schematisch. Zur Verschiebung des Sensors 2 um einen Bruchteil des Pixelabstandes (Subpixel) ist ein verschiebbares Element vorgesehen. Dies ist hier als ein Keil 9 ausgebildet, welcher eine Schrägebene 10 (schiefe Ebene) aufweist. Die Schrägebene 10 des Keils 9 weicht um einen Winkel α von einer Horizontalachse H ab. Der Sensor 2 ist direkt oder indirekt auf bzw. an der Schrägebene 10 verschiebbar angeordnet, das heißt die Schrägebene 10 dient als Führung des Sensors 2.
Die Schrägebene 10 dient der Führung des Sensors 2, wobei der Sensor 2 derart angeordnet ist, dass bei einer Bewegung des Keils 9 zumindest entlang der Horizontalachse H eine Verschiebung des Sensors 2 auf der Schrägebene 10 zumindest entlang einer Vertikalachse V (7) vorzugsweise entlang der Vertikalachse V ( 7) und der Horizontalachse H bewirkt ist. Dabei ist die Horizontalachse H im Wesentlichen senkrecht zur Vertikalachse V (7) ausgebildet. In 6 ist der Sensor 2 in einer ersten Position auf der Schrägebene 10 angeordnet. Der Sensor 2 kann dabei mittels beispielsweise einer Spindel an der Schrägebene 10 angeordnet sein. Es ist aber auch jede andere Anordnung möglich, solange der Sensor 2 verschiebbar auf der Schrägebene 10 angeordnet ist. Der Sensor 2 nimmt in dieser ersten Position ein erstes Einzelbild 11 mit einer Pixel-Aufnahmeauflösung auf.
7 zeigt einen um einen Bruchteil eines Pixels (Subpixel) verschobenen Sensor 2. Um diese Verschiebung zu bewirken, wird der Keil 9 entlang der Horizontalrichtung H geschoben, Pfeil 14. Dadurch wird der Sensor 2 entlang der Schrägebene 10 um einen Subpixelversatz nach oben oder nach unten entlang der Vertikalachse V geschoben; in 7 nach oben entlang der Vertikalachse V geschoben, Pfeil 15. Die Verschiebung wird durch die Steuereinheit 3 (2) bewerkstelligt. Durch die Verschiebung können nun die vorab, durch die Auflösung nicht detektierten/aufgenommenen Stellen des Objektes 8 (sog. hidden areas) in einem zweiten Einzelbild 12 mit der Pixel-Aufnahmeauflösung aufgenommen werden, das heißt durch die Verschiebung werden nun andere Objektstellen 8 ausgeleuchtet. Die Pixel-Aufnahmeauflösung des ersten Einzelbildes 11 und des zweiten Einzelbildes 12 sind identisch. Durch die Steuerung der Verschiebung durch die Steuereinheit 3 (2) ist der jeweilige Versatz der Einzelbilder 11, 12 zueinander bekannt und es kann beispielsweise ein Superresolutionsalgorithmus oder ein anderer Algorithmus zum Kombinieren der Einzelbilder 11,12 zueinander verwendet werden.
8 zeigt die Kombination der Einzelbilder 11 und 12 miteinander als Bild 13. Dieses Bild 13 weist eine Ausgabeauflösung auf, welche jeweils höher als die einzelne Aufnahmeauflösung jeder der Einzelbilder 11,12 ist.
Durch den bekannten Versatz der Einzelbilder 11,12 zueinander kann ein hochaufgelöstes Bild 13 aus einer Reihe von niedrigaufgelösten Einzelbildern 11,12 rekonstruiert werden.
Vorzugsweise ist der Sensor 2 als TOF-Sensor ausgebildet.
Vorzugsweise ist auch hier der Sensor 2 in einem Sensorgehäuse (nicht gezeigt) angeordnet.
9 zeigt eine weitere Ausgestaltung einer erfindungsgemäßen Messanordnung 1e. Diese weist einen Sensor 2 auf, welcher drehbar um zwei Rotationsachsen R1 und R2 gelagert ist. Ferner weist der Sensor 2 zwei Sensorpermanentmagnete 16a,16b welche seitlich, vorzugsweise im oder am Sensorgehäuse (nicht gezeigt), angeordnet sind. Die Sensorpermanentmagnete 16a,16b sind als Permanentmagnete ausgebildet und sich nicht gegenüberliegend angeordnet.
Ferner ist eine erste und eine zweite stromdurchflossene Spule 17a, 17b dem jeweiligen Sensorpermanentmagnet 16a,16b gegenüberliegend angeordnet, wobei die erste Spule 17a beabstandet von dem ersten Sensorpermanentmagnet 16a und die zweite Spule 17b beabstandet von dem zweiten Sensorpermanentmagnet 16b angeordnet ist. Dadurch entstehen Magnetfelder, durch welche der Sensor 2 um die jeweilige Rotationsachse R1, R2 drehbar ist.
Die Spulen 17a, 17b werden von der Steuerungseinheit 3 gesteuert. Durch eine Ansteuerung des Durchflussstroms durch die erste Spule 17a ist dadurch eine Drehbewegung des Sensors 2 um die erste Rotationsachse R1 und/oder bei Ansteuerung des Durchflussstroms durch die zweite Spule 17b eine Drehbewegung des Sensors 2 um die zweite Rotationsachse 17b bewerkstelligt, wobei die erste Rotationsachse R1 im Wesentlichen senkrecht zu der zweiten Rotationsachse R2 ist. Dadurch ist die Drehung des Sensors 2 um die jeweilige Rotationsachse R1, R2 bekannt und somit auch der Versatz der aufgenommenen Einzelbilder 11, 12,18 (10) zueinander. Die entstehenden Einzelbilder 11, 12,18 (10) werden in der Steuerungseinheit 3 (2) kombiniert.
Die Drehung und der Drehstärke/-richtung um die jeweilige Rotationsachse R1, R2 wird durch die Einstellung des Magnetfelds bestimmt.
10 zeigt mehrere Einzelbilder 11, 12, 18 die mit einer der erfindungsgemäßen Messanordnungen 1a,.., 1e aufgenommen wurden und ein Verfahren zur Kombination dieser Einzelbilder 11, 12, 18. Durch eine geschickte Kombination der horizontalen und vertikalen Bewegung der Einzelbilder 11, 12, 18 kann eine vierfach höhere Auflösung erhalten werden. Dazu werden zunächst die Einzelbilder 11 und 12 einmal vertikal miteinander zu einem Zwischenbild 19 und einmal horizontal miteinander zu einem Zwischenbild 20 kombiniert. Anschließend werden die Bilder 19 und 20 vertikal und horizontal zu einem Zwischenbild 21 kombiniert. Dieses wird mit dem Einzelbild 18 kombiniert. Dadurch kann ein Bild 22 mit einer vierfach höheren Auflösung erzielt werden.
Es kann aber auch ein anderer Algorithmus zum Kombinieren von Einzelbildern 11, 12, 18 mit bekanntem Versatz zueinander, verwendet werden.
Bezugszeichenliste

100: Messanordnung nach dem Stand der Technik
101: Sensor nach dem Stand der Technik
1a,..., 1e: Messanordnung
2: Sensor
3: Steuerungseinheit
4a, 4b: Elektromagnete
5: Sensormagnet
6a,6b: Permanentmagneten
7: Sensorelektromagnet
8: Objekt
9: Keil
10: Schrägebene
11: Einzelbild
12: Einzelbild, verschoben
13: Bild aus zwei Einzelbilder 11,12
14: Pfeil
15: Pfeil
16a,16b: Sensorpermanentmagnete
17a,17b: Spule
18: Einzelbild
19,20,21: Zwischenbilder
22: Bild aus drei Einzelbilder 11,12,18
R1: erste Rotationsachse
R2: zweite Rotationsachse
H: Horizontalachse
V: Vertikalachse

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102011121334 A1 [0010]

Claims

Messanordnung (1a,.., 1e) zur Erzeugung eines Bildes (13,22) mit höherer Auflösung aus zumindest zwei Einzelbildern (11,12,18) mit niedrigerer Auflösung, umfassend einen Sensor (2) zur Aufnahme der Einzelbilder (11,12,18) mit einer durch eine Anzahl von Pixeln angegebenen Aufnahmebildauflösung, sowie einem Bildverarbeitungssystem, welches mit dem Sensor (2) zur Datenübertragung verbunden ist, dadurch gekennzeichnet, dass eine Magnetfelderzeugungseinheit oder ein verschiebbares Element umfasst ist, zur Verschiebung des Sensors (2) um einen Bruchteil des Pixelabstandes, wobei die Magnetfelderzeugungseinheit oder das verschiebbare Element mit dem Bildverarbeitungssystem verbunden ist, zur Steuerung der Verschiebung des Sensors (2) durch das Bildverarbeitungssystem und wobei das Bildverarbeitungssystem zur Erzeugung einer Ausgabe eines Bildes (13, 22) mit einer Ausgabebildauflösung durch Kombination von zumindest einem ersten mit dem Sensor (2) aufgenommenen Einzelbild (11,12,18) und einem zweiten mit dem Sensor (2) aufgenommenen Einzelbild (11,12,18) in jeweils einer Aufnahmebildauflösung ausgebildet ist, wobei die Ausgabebildauflösung höher als die Aufnahmebildauflösung ist.
Messanordnung (1a,.., 1e) nach Anspruch 1, dadurch gekennzeichnet, dass der Sensor (2) durch das Bildverarbeitungssystem bei Aufnahme des zumindest einen zweiten Einzelbildes (12) um einen Bruchteil des Pixelabstandes verschoben ist.
Messanordnung (1d) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das verschiebbare Element eine Schrägebene (10) für die Führung des Sensors (2) aufweist, wobei der Sensor (2) derart angeordnet ist, dass bei einer Bewegung des verschiebbaren Elements eine kontinuierliche Verschiebung des Sensors (2) auf der Schrägebene (10) bewirkbar ist.
Messanordnung (1d) nach Anspruch 3, dadurch gekennzeichnet, dass der Sensor (2) direkt oder indirekt auf der Schrägebene (10) verschiebbar angeordnet ist.
Messanordnung (1d) nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass die Schrägebene (10) des verschiebbaren Elements von einer Horizontalachse (H) um einen Winkel (α) abweicht, so dass bei einer Bewegung des verschiebbaren Elements entlang der Horizontalachse (H) zumindest eine Verschiebung des Sensors (2) entlang einer Vertikalachse (V) bewirkt ist, wobei die Horizontalachse (H) im Wesentlichen senkrecht zur Vertikalachse (V) ausgebildet ist.
Messanordnung (1d) nach einem der vorhergehenden Ansprüche 3 bis 5, dadurch gekennzeichnet, dass das verschiebbare Element keilförmig ausgebildet ist.
Messanordnung (1a, 1b, 1c) nach einem der vorhergehenden Ansprüche 1 oder 2, dadurch gekennzeichnet, dass der Sensor (2) drehbar um eine erste Rotationsachse (R1) gelagert ist.
Messanordnung (1a, 1b, 1c) nach Anspruch 7, dadurch gekennzeichnet, dass die Magnetfelderzeugungseinheit zumindest einen Sensormagneten (5), welcher im oder am Sensor (2) angeordnet ist, und zumindest einen Magneten, welcher beabstandet gegenüberliegend vom Sensormagnet (5) angeordnet ist, umfasst und wobei der zumindest eine Magnet oder der Sensormagnet als stromdurchflossener Elektromagnet ausgebildet ist, so dass bei Umpolung oder Änderung des Durchflussstromes der Sensor (2) um die erste Rotationsachse (R1) drehbar ist.
Messanordnung (1a, 1b, 1c) nach Anspruch 8, dadurch gekennzeichnet, dass die Magnetfelderzeugungseinheit zumindest zwei Elektromagnete (4a,4b), welche jeweils beabstandet gegenüberliegend vom Sensormagneten (5) angeordnet sind und welche mit dem Sensormagneten (5) auf einer Linie liegen, umfasst, wobei die zwei Elektromagnete (4a,4b) gegenpolig zueinander ausgebildet sind und wobei der Sensormagnet (5) als Permanentmagnet ausgebildet ist.
Messanordnung (1e) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Sensor (2) drehbar um eine erste Rotationsachse (R1) und eine zweite Rotationsachse (R2) gelagert ist, und die Magnetfelderzeugungseinheit einen ersten und einen zweiten Sensorpermanentmagneten (16a, 16b) umfasst, welche als Permanentmagnete ausgebildet sind, wobei die Sensorpermanentmagnete (16a,16b) im oder am Sensor (2) angeordnet sind, sowie eine erste und eine zweite stromdurchflossene Spule (17a, 17b), wobei die erste Spule (17a) beabstandet von dem ersten Sensorpermanentmagneten (16a) und die zweite Spule (17b) beabstandet von dem zweiten Sensorpermanentmagneten (17b) derart angeordnet sind, so dass durch eine Änderung des Durchflussstroms durch die erste Spule (17a) eine Drehbewegung des Sensors (2) um die erste Rotationsachse (R1) und/oder bei Änderung des Durchflussstroms durch die zweite Spule (17b) eine Drehbewegung des Sensors (2) um die zweite Rotationsachse (R2) bewerkstelligt ist, wobei die erste Rotationsachse (R1) im Wesentlichen senkrecht zu der zweiten Rotationsachse (R2) ist.
Fahrzeug mit einer Messanordnung (1a,.., 1e) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bildverarbeitungssystem als Steuerungseinheit (3) ausgebildet ist.
Fahrzeug nach Anspruch 11, dadurch gekennzeichnet, dass das Fahrzeug einen Innenraum mit Innenraumelementen aufweist und die Messanordnung (1a,.., 1e) zur Adaption an einen zu einer Adaption ausgebildeten Innenraumelement ausgebildet ist.
Fahrzeug nach Anspruch 12, dadurch gekennzeichnet, dass das Innenraumelement als Sitz mit einem Kopfbereich ausgebildet ist und die Messanordnung (1a,.., 1e) zur Adaption an dem Kopfbereich des Sitzes ausgebildet ist.
Fahrzeug nach Anspruch 13, dadurch gekennzeichnet, dass die Messanordnung (1a,..,, 1e) mit dem Kopfbereich des Sitzes verbunden ist oder daran befestigt oder darin integriert ist.
Fahrzeug nach einem der vorhergehenden Ansprüche 11 bis 14, dadurch gekennzeichnet, dass das Fahrzeug als autonom betriebenes Fahrzeug ausgebildet ist.