-
VERWEIS AUF VERWANDTE ANMELDUNGEN
-
Die vorliegende Anmeldung ist eine Fortführung der US-Patentanmeldung Nr. 14/832,335, angemeldet am 21. August 2015, deren Offenbarung hierin durch Bezugnahme einbezogen ist.
-
HINTERGRUND DER ERFINDUNG
-
Fokusunschärfen, Bewegungsunschärfen und Störungen durch kurze Belichtungszeiten bei geringem Lichtniveau stellen oft Einschränkungen für die Aufnahme von Bildern durch Kameras dar, die sich in Bewegung befinden. Außerdem stellen Kameras den Fokus normalerweise auf einen geringen Bereich von Tiefenschärfen ein.
-
KURZDARSTELLUNG DER ERFINDUNG
-
Aspekte der Offenbarung stellen ein Bildaufnahmesystem bereit. Das Bildaufnahmesystem umfasst ein Objektiv, das ein Bild erzeugt; einen Bildsensor mit einer ersten Kante und einer der ersten Kante gegenüberliegenden zweiten Kante, wobei sich die erste Kante näher am Objektiv befindet, sodass das Objektiv weiter entfernte Objekte fokussiert; einen Bildstabilisator, der zur Bereitstellung einer zeitlich variierenden Kompensation von Bildbewegung am Bildsensor konfiguriert ist; und eine Steuerung, die dafür ausgelegt ist, (1) das Bildaufnahmesystem in einem sich wiederholenden Zyklus zu betreiben, worin bei jedem Zyklus die Steuerung den Sensor zum fortlaufenden Belichten und Auslesen eines Bildes von einer Kante zur gegenüberliegenden Kante bringt, und (2) den Bildstabilisator so zu betreiben, dass er eine zeitlich variierende Bildbewegungskompensation bereitstellt, sodass die Bildbewegungskompensation beim Belichten und Auslesen der zweiten Kante des Sensors größer als beim Belichten und Auslesen der ersten Kante des Sensors ist.
-
In einem Beispiel umfasst der Bildstabilisator eine Schwingung des Bildaufnahmesystems, die eine Drehschwingung um eine senkrecht zur Richtung der Bildbewegung ausgerichtete Achse ist. In diesem Beispiel erfolgt die Drehschwingung des Bildaufnahmesystems um eine vertikale Achse. Ebenfalls in diesem Beispiel wird die Anordnung des Bildsensors im Verhältnis zum Objektiv von der Schwingung des Bildaufnahmesystems nicht beeinflusst.
-
In einem weiteren Beispiel ist die Steuerung so zum Betreiben des Bildstabilisators konfiguriert, dass er Bewegungskompensation für die Bildbewegung von Objekten in einer ersten Entfernung beim Belichten und Lesen der ersten Kante des Sensors und von Objekten in einer zweiten Entfernung beim Belichten und Lesen der zweiten Kante des Sensors bereitstellt, wobei die erste Entfernung größer als die zweite Entfernung ist. In diesem Beispiel ist die Steuerung auch so zum Betreiben des Bildstabilisators konfiguriert, dass er Bewegungskompensation für die Bildbewegung von Objekten zwischen der ersten Entfernung und der zweiten Entfernung bereitstellt, wenn die Teile des Bildsensors zwischen der ersten und der zweiten Kante belichtet und gelesen werden.
-
In noch einem weiteren Beispiel ist die Steuerung auch zum Verarbeiten des zusammengesetzten Bildes konfiguriert, um Textinformationen aus Objekten in dem zusammengesetzten Bild zu extrahieren. In einem weiteren Beispiel ist der Bildsensor ein Rolling-Shutter-Bildsensor mit vertikal ausgerichteten Zeilen und zeitlich von hinten nach vorn erfolgender Auslesung sein. In einem weiteren Beispiel umfasst die Kompensation des Bildstabilisators eine Drehschwingung des Bildsensors um eine senkrecht zu einer Richtung der Bildbewegung ausgerichtete Achse. In diesem Beispiel umfasst die Schwingung des einen oder der mehreren Sensoren eine Drehung um höchstens 10 Grad.
-
Weitere Aspekte der Offenbarung stellen ein Verfahren bereit. Das Verfahren umfasst das Betreiben eines Bildaufnahmesystems mit einer oder mehreren Steuerungen in einem sich wiederholenden Zyklus zur Aufnahme einer Vielzahl von Bildern, wobei das Bildaufnahmesystem ein Objektiv, einen Bildsensor und einen Bildstabilisator aufweist, worin der Bildsensor eine erste Kante und eine der ersten Kante gegenüberliegende zweite Kante aufweist, wobei sich die erste Kante näher am Objektiv befindet, so dass das Objektiv weiter entfernte Objekte fokussiert, worin bei jedem Zyklus mit einer oder mehreren Steuerungen ein Sensor zum fortlaufenden Belichten und Auslesen eines Bildes von einer Kante zur gegenüberliegenden Kante gebracht wird, und worin mit einer oder mehreren Steuerungen der Bildstabilisator so betrieben wird, dass er eine zeitlich variierende Bildbewegungskompensation bereitstellt, sodass die Bildbewegungskompensation beim Belichten und Auslesen der zweiten Kante des Sensors größer als beim Belichten und Auslesen der ersten Kante des Sensors ist.
-
In einem Beispiel umfasst der Bildstabilisator eine Schwingung des Bildaufnahmesystems, die eine Drehschwingung um eine senkrecht zur Richtung der Bildbewegung ausgerichtete Achse ist. In diesem Beispiel erfolgt die Drehschwingung des Bildaufnahmesystems um eine vertikale Achse. Ebenfalls in diesem Beispiel ist der Winkel des Bildsensors zum Objektiv fixiert.
-
In einem weiteren Beispiel umfasst das Betreiben des Bildstabilisators für eine zeitlich variierende Bewegungskompensation auch ein Kompensieren der Bildbewegung von Objekten in einer ersten Entfernung beim Belichten und Lesen der ersten Kante des Sensors, von Objekten in einer zweiten Entfernung beim Belichten und Lesen der zweiten Kante des Sensors, wobei die erste Entfernung größer als die zweite Entfernung ist, und von Objekten zwischen der ersten und zweiten Entfernung beim Belichten und Lesen von Teilen des Bildsensors zwischen der ersten und zweiten Kante. In noch einem weiteren Beispiel umfasst das Verfahren auch das Verarbeiten der Vielzahl von Bildern durch eine oder mehrere Steuerungen, um Textinformationen aus Objekten in den Bildern zu extrahieren. In einem weiteren Beispiel ist der Bildsensor ein Rolling-Shutter-Bildsensor mit vertikal ausgerichteten Zeilen und zeitlich von hinten nach vorn erfolgender Auslesung.
-
Weitere Aspekte der Offenbarung stellen ferner ein nicht-transitorisches computerlesbares Medium bereit, das Anweisungen speichert, die bei Ausführung durch eine oder mehrere Steuerungen bewirken, dass die eine oder mehreren Steuerungen ein Verfahren ausführen. Das Verfahren umfasst das Betreiben eines Bildaufnahmesystems in einem sich wiederholenden Zyklus zur Aufnahme einer Vielzahl von Bildern, wobei das Bildaufnahmesystem ein Objektiv, einen Bildsensor und einen Bildstabilisator aufweist, worin der Bildsensor eine erste Kante und eine der ersten Kante gegenüberliegende zweite Kante aufweist, wobei sich die erste Kante näher am Objektiv befindet, so dass das Objektiv weiter entfernte Objekte fokussiert, worin bei jedem Zyklus mit einer oder mehreren Steuerungen ein Sensor zum fortlaufenden Belichten und Auslesen eines Bildes von einer Kante zur gegenüberliegenden Kante gebracht wird, und worin mit einer oder mehreren Steuerungen der Bildstabilisator so betrieben wird, dass er eine zeitlich variierende Bildbewegungskompensation bereitstellt, sodass die Bildbewegungskompensation beim Belichten und Auslesen der zweiten Kante des Sensors größer als beim Belichten und Auslesen der ersten Kante des Sensors ist.
-
In einem weiteren Beispiel umfasst das Betreiben des Bildstabilisators für eine zeitlich variierende Bewegungskompensation auch ein Kompensieren der Bildbewegung von Objekten in einer ersten Entfernung beim Belichten und Lesen der ersten Kante des Sensors, von Objekten in einer zweiten Entfernung beim Belichten und Lesen der zweiten Kante des Sensors, wobei die erste Entfernung größer als die zweite Entfernung ist, und von Objekten zwischen der ersten und zweiten Entfernung beim Belichten und Lesen von Teilen des Bildsensors zwischen der ersten und zweiten Kante. In einem weiteren Beispiel umfasst das Verfahren auch das Verarbeiten der Vielzahl von Bildern durch eine oder mehrere Steuerungen, um Textinformationen aus Objekten in den Bildern zu extrahieren.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
1 ist ein Funktionsdiagramm eines beispielhaften herkömmlichen Bildaufnahmesystems nach Aspekten der Offenbarung.
-
2 ist ein Funktionsdiagramm eines beispielhaften Bildaufnahmesystems nach Aspekten der Offenbarung.
-
3 ist ein Blockdiagramm des Bildaufnahmesystems von 2 nach Aspekten der Offenbarung.
-
4 ist ein Funktionsdiagramm eines Bildaufnahmesystems nach Aspekten der Offenbarung.
-
5A ist eine graphische Darstellung eines beispielhaften Betriebs des Bildaufnahmesystems nach Aspekten der Offenbarung.
-
5B ist eine graphische Darstellung eines beispielhaften Betriebs des Bildaufnahmesystems nach Aspekten der Offenbarung.
-
6 ist ein Funktionsdiagramm eines beispielhaften Systems gemäß einer beispielhaften Ausführungsform.
-
7 ist ein Funktionsdiagramm eines beispielhaften Systems gemäß einer beispielhaften Ausführungsform.
-
8 ist ein Blockdiagramm des Systems von 2 nach Aspekten der Offenbarung.
-
9 ist ein Flussdiagramm eines beispielhaften Verfahrens gemäß Aspekten der Offenbarung.
-
AUSFÜHRLICHE BESCHREIBUNG
-
ÜBERSICHT
-
Die Technologie betrifft ein Bildaufnahmesystem, das in der Lage ist, Bilder in einem Bereich von verschiedenen Entfernungen scharf aufzunehmen, während das Fahrzeug in Bewegung ist. Das Bildaufnahmesystem kann auf einem Fahrzeug montiert oder montierbar sein.
-
Typische Kamerasysteme können parallel zu einer Ebene eines Objektivs ausgerichtete Bildsensoren verwenden. In Systemen, in denen sich die Bildsensoren parallel zum Objektiv befinden, ist die Entfernung, bei der Objekte scharf eingestellt sind, über den ganzen Bildsensor hinweg die gleiche. Diese Systeme können Kamerastabilisatorsysteme, Flüssigkeil-Prismenlinsen, Sensorverschiebung oder Nachbearbeitungsanpassungen nutzen, um kleine Bewegungen und Schütteln durch die Handbewegung eines Benutzers zu kompensieren. Wenn jedoch die Anpassung an die Bewegungen eines Fahrzeugs versucht wird, haben diese Techniken wohlbekannte Grenzen und sind weniger effektiv bei der Behandlung von Qualitätsproblemen wie Fokusunschärfen, Bewegungsunschärfen und Störungen durch kurze Belichtungszeiten bei geringem Lichtniveau. Wenn solche Bilder unscharf oder gestört sind, kann das Erkennen bestimmter Merkmale in den Bildern, wie Text auf Schildern, bei der Verwendung von Techniken wie optischer Zeichenerkennung (OCR) erschwert werden. Infolgedessen benötigen normale Kamerasysteme zur Erfassung der für die OCR erforderlichen mehreren Aufnahmen entweder mehrere Durchläufe oder mehrere Kameras.
-
Um die Qualität der vom Bildaufnahmesystem während der Bewegung des Fahrzeugs aufgenommenen Bilder zu verbessern, kann ein Bildaufnahmesystem einen Bildsensor verwenden, der geneigt zu einem Objektiv anstatt parallel zum Objektiv installiert ist. Der Bildsensor in dem Bildaufnahmesystem kann in einem Winkel geneigt sein, wobei sich eine erste Kante etwas näher am Objektiv befindet, um am besten entfernte Objekte zu fokussieren, als eine zweite, der ersten gegenüberliegende Kante, die nahegelegene Objekte am besten fokussiert. Die zur Abdeckung eines Bereichs von Objektentfernungen erforderliche Stärke der Neigung ist annähernd linear zur reziproken Objektentfernung: i = f + f2/o, wobei die Objektentfernung i (vom Bildsensor zum Objektiv) etwas mehr als die Brennweite f ist, und zwar um einen Betrag, der sich proportional zur reziproken Objektentfernung o verhält. Infolgedessen kann die erste Kante des Bildsensors auf weiter von der Kamera entfernte Objekte fokussiert sein als die Objekte, auf die die zweite Kante des Bildsensors fokussiert ist, sodass Objekte, die in mehr als einem Bild an verschiedenen Positionen erscheinen, in einem Bild schärfer als in einem anderen sein können.
-
In einem weiteren Beispiel ist der Bildsensor ein Rolling-Shutter-Bildsensor mit vertikal oder im Hochformat ausgerichteten Zeilen und zeitlich von hinten nach vorn oder umgekehrt erfolgender Auslesung. Der Rolling Shutter (Rollverschluss) liest ein Bild beginnend an einer Kante des Bildsensors und weiter zur gegenüberliegenden Kante hin aus, sodass unterschiedliche Teile des Bildes zu leicht unterschiedlichen Zeiten gelesen werden. Durch Anwendung einer zeitlich variierenden Bildstabilisierung in Bezug auf die Fahrzeuggeschwindigkeit, können Verwünschungen durch die Fahrzeugbewegung für Objekte ein verschiedenen Entfernungen in verschiedenen Teilen des Bildes kompensiert werden. Die Bildstabilisierung kann durch verschiedene bekannte Mittel erfolgen, darunter das Verschieben des Bildsensors hinter das Objektiv, das Drehen der ganzen Kamera oder das Verschieben des Bildes mit einem Flüssigkeilprisma.
-
Das System kann auch zum Kompensieren der Fahrzeugbewegung um eine Achse drehen, die senkrecht zur Fahrtrichtung des Fahrzeugs und senkrecht zu der Richtung, in die die Kamera weist, verläuft; zum Beispiel eine vertikale Achse, wenn die Kamera zur Seite eines sich bewegenden Autos gerichtet ist. Die Drehung kann eine Drehschwingung, aber auch eine Sinus- oder beliebige andere Art von Schwingung sein. Mit anderen Worten, das System kann um die Achse vor und zurück rotieren und das Objektiv in Fahrtrichtung und dann in die Gegenrichtung der Fahrtrichtung schwenken. Beim Schwingen des Systems kann die Ausrichtung des Bildsensors zum Objektiv fest bleiben. Beim Drehen entgegen der Fahrtrichtung kann das System die Fahrzeugbewegung kompensieren. Durch die Kompensation kann das System klarere Bilder von stationären Objekten aufnehmen, die andernfalls aufgrund der Fahrzeugbewegungen verschwommen wären. Um die meisten Bilder in höherer Qualität zu erhalten, kann das System so eingerichtet sein, dass es nur dann Bilder aufnimmt, wenn sich das System entgegen der Fahrtrichtung des Fahrzeugs dreht.
-
Die Kombination aus einem geneigten Bildsensor und einem sich drehenden System kann dem System eine Kompensation verschiedener Winkelgeschwindigkeiten in mehreren Fokusebenen ermöglichen. Da sie nur eine kurze Entfernung von einem sich bewegenden Fahrzeug entfernt sind, haben Objekte in der Nähe des Fahrzeugs eine höhere Winkelgeschwindigkeit als Objekte, die weiter vom Fahrzeug entfernt sind. Objekte im unendlichen Bereich haben eine Winkelgeschwindigkeit von Null. Die Winkelgeschwindigkeit eines Objekts ändert sich auf lineare Weise in Bezug zur reziproken Entfernung des Objekts vom System. Wenn der geneigte Bildsensor gedreht wird, kann die Winkelgeschwindigkeit der ersten Kante des Bildsensors schneller als die Winkelgeschwindigkeit der zweiten Kante sein. Diese Anordnung kann Unterschiede der Winkelgeschwindigkeit in verschiedenen Entfernungen vom Fahrzeug kompensieren und es dem System gestatten, Teile des Bildes aufzunehmen, die für Objekte in unterschiedlichen Entfernungen in verschiedenen Teilen des Bildes sowohl gut fokussiert als auch bewegungskompensiert sind.
-
Zur weiteren Kompensation von Unterschieden in der Winkelgeschwindigkeit kann die Drehung des Systems mit einer Rollverschlussbelichtung und -Auslesung synchronisiert werden und der Betrag der Drehgeschwindigkeit proportional zur Fahrzeuggeschwindigkeit eingestellt werden, sodass die Bildbewegung auf dem Bildsensor für Objekte, die in den einzelnen Regionen des Bildsensors im Fokus sind, annähernd gestoppt werden kann.
-
Das System kann Bilder mit einer Bildrate aufnehmen, die schnell genug ist, dass interessierende Objekte in mehreren aufeinanderfolgenden Bildern erscheinen, aber in einem Bild je nach ihrer Entfernung und Position innerhalb des Bildes schärfer oder klarer als in einem anderen sind. Da der geneigte Bildsensor ein Gefälle von Brennweiten über ein Bild hinweg bereitstellen kann, können benachbarte Bilder das gleiche Objekt oder den gleichen Ort an unterschiedlichen Bildorten mit unterschiedlichen besten Brennweiten aufnehmen.
-
Die aufgenommenen Bilder können verarbeitet werden, um Textinformationen aus Objekten im Bild zu extrahieren. Da sie aus Bildern generiert wurden, die eine Vielzahl von Brennweiten haben und wie oben beschrieben bewegungskompensiert sind, können herkömmliche Maschinenleseverfahren angewendet werden.
-
BEISPIELSYSTEME
-
1 ist ein Funktionsdiagramm eines herkömmlichen Bildaufnahmesystems. Das Bildaufnahmesystem 110 kann ein Objektiv 120 und einen Bildsensor 130 aufweisen, die parallel zueinander angeordnet sind. Daher ist die Fokusebene 140 ebenfalls parallel zum Objektiv angeordnet.
-
Ein Bildaufnahmesystem kann einen Bildsensor verwenden, der geneigt zu einem Objektiv anstatt parallel zum Objektiv installiert ist, um die Qualität der vom Bildaufnahmesystem während der Bewegung des Fahrzeugs aufgenommenen Bilder zu verbessern. Wie in 2 dargestellt, kann das Bildaufnahmesystem 210 ein Objektiv 220 und einen Bildsensor 230 aufweisen, die parallel zueinander angeordnet sind. Der Bildsensor 230 kann in einem Winkel α geneigt sein, wobei sich eine erste Kante etwas näher am Objektiv befindet, um am besten entfernte Objekte zu fokussieren, als eine zweite, der ersten gegenüberliegende Kante, die nahegelegene Objekte am besten fokussiert. Die zur Abdeckung eines Bereichs von Objektentfernungen erforderliche Stärke der Neigung ist annähernd linear zur reziproken Objektentfernung: i = f + f2/o, wobei die Objektentfernung i (vom Bildsensor zum Objektiv) etwas mehr als die Brennweite f ist, und zwar um einen Betrag, der sich proportional zur reziproken Objektentfernung o verhält.
-
Zum Beispiel kann ein Objektiv 220 eine Brennweite von 0,010 m (10 mm) haben, wobei die weite Entfernung auf Unendlich gestellt ist, die nahe Kante des Bildsensors 230 kann 0,010 m hinter der Objektivebene angeordnet sein; wobei der Objektabstand Nähe 4 m beträgt, die gegenüberliegende Kante des Bildsensors 230 kann 0,010025 m hinter der Objektivebene angeordnet sein. Die leichte Neigung von 25 μm (0,000025 m) von einer Kante zur anderen entspricht einem Winkel von 2.5 Milliradian (etwa 0,14 Grad), wenn die Bildsensorkanten einen Abstand von 10 mm voneinander haben. Infolgedessen kann die erste Kante des Bildsensors auf weiter von der Kamera entfernte Objekte fokussiert sein als die Objekte, auf die die zweite Kante des Bildsensors 230 fokussiert ist, sodass Objekte, die in mehr als einem Bild an verschiedenen Positionen erscheinen, in einem Bild schärfer als in einem anderen sein können.
-
Die spezifische Stärke der Neigung kann als jene bestimmt werden, die den Bereich der abzubildenden Objektentfernungen am besten abdeckt. Wie oben angemerkt, kann die Neigung um eine senkrecht zur Fahrtrichtung des Fahrzeugs verlaufende Achse, zum Beispiel als vertikale Achse, gerichtet sein, aber auch in jede beliebige andere Richtung angeordnet sein.
-
In einem weiteren Beispiel kann der Bildsensor 230 ein Rolling-Shutter-Bildsensor mit vertikal oder im Hochformat ausgerichteten Zeilen und zeitlich von hinten nach vorn oder umgekehrt erfolgender Auslesung sein. Der Rolling Shutter (Rollverschluss) liest ein Bild beginnend an einer Kante des Bildsensors und weiter zur gegenüberliegenden Kante in aus, sodass unterschiedliche Teile des Bildes zu leicht unterschiedlichen Zeiten gelesen werden. Das Bild kann auch eine Sammlung von Pixelfotosensoren in einer einzelnen Anordnung auf einem Chip oder auf einer Vielzahl von Chips sein. Zusätzlich oder stattdessen kann das System eine Vielzahl von Bildsensoren verwenden, die in einem Winkel hinter dem Objektiv angeordnet sind. Ein Bildsensor an einer ersten Kante des Objektivs kann sich in einem kürzeren Abstand von der Linse als ein Bildsensor an einer zweiten Kante des Objektivs befinden. Jeder der Vielzahl von Bildsensoren kann wie oben beschrieben geneigt sein. Die Vielzahl von Bildsensoren kann so konfiguriert sein, dass sie sich als Rolling Shutter-Bildsensoren verhalten; mit anderen Worten beginnt das Belichten und Auslesen von Bildern an einer Kante des Objektivs und setzt sich bis zur gegenüberliegenden Kante des Objektivs fort. Jeder Bildsensor kann ein Rolling Shutter-Bildsensor sein, muss das aber nicht.
-
3 ist ein Blockdiagramm des Bildaufnahmesystems aus 2. Zusätzlich zum Objektiv 220 und einem oder mehreren Bildsensor 230 kann das Bildaufnahmesystem 210 eine oder mehrere Steuerungen 310 aufweisen. Die eine oder mehreren Steuerungen 310 können Operationen des Bildaufnahmesystems steuern. Zum Beispiel können die eine oder mehreren Steuerungen 310 das Bildaufnahmesystem 210 zum Bewegen oder Aufnehmen eines Bildes veranlassen. Die eine oder mehreren Steuerungen können auch Komponenten des Bildaufnahmesystems 210 Steuern, zum Beispiel das Objektiv 220 oder die einzelnen Bildsensoren 230. In manchen Beispielen kann das Bildaufnahmesystem einen Speicher umfassen, der Daten und Anweisungen speichert, die zu Bedienung des Systems ausgeführt werden können.
-
Zusätzlich zu einem geneigten Bildsensor kann sich das System zum Kompensieren der Fahrzeugbewegung um eine Achse drehen, die senkrecht zur Fahrtrichtung des Fahrzeugs und senkrecht zu der Richtung, in die die Kamera weist, verläuft. Die Drehung kann eine Drehschwingung, aber auch sinusförmig sein. Mit anderen Worten, das System kann um die Achse vor und zurück rotieren und das Objektiv in Fahrtrichtung und dann in die Gegenrichtung der Fahrtrichtung schwenken. Wie in 4 dargestellt, kann sich das Bildaufnahmesystem 210 um die Achse 420 zurück und vorwärts drehen und so den Winkelabstand β abdecken.
-
Beim Schwingen des Systems kann die Ausrichtung des Bildsensors zum Objektiv fest bleiben. Mit anderen Worten kann sich der Bildsensor gemeinsam mit dem Objektiv drehen. Zum Beispiel kann sich das System in einem Winkelabstand von 10 Grad vor- und zurückdrehen. Das System kann daher die Verschiebung des Systems in dem Zeitraum, in dem sich das System entgegen der Fahrtrichtung dreht, kompensieren. Anders ausgedrückt kann das System Bildbewegung über den Sensor hinweg kompensieren, indem es sich in die Richtung der Bildbewegung dreht. Das System kann so konfiguriert werden, dass es Bilder aufnimmt, wenn sich das System entgegen der Verschiebungsrichtung (oder in die Richtung der Bildbewegung) dreht und die Verschiebung am besten kompensiert.
-
5A und 5B zeigen die Winkelgeschwindigkeit und den Kamera-Drehwinkel als Funktion der Zeit durch einen Zyklus der Bildaufnahme für ein Bildaufnahmesystem, das so kalibriert ist, dass es Objektentfernungen von 4 Metern bis Unendlich fokussiert, gemäß beispielhaften Ausführungsformen der Erfindung. 5A bildet eine beispielhafte Drehung des Bildaufnahmesystems grafisch als Winkelgeschwindigkeit im Zeitverlauf ab, die als durchgezogene Linie 510 dargestellt ist. Die gestrichelte Linie 512 gibt den Betrag der Drehung in Radian an. Die Linie 514 stellt das Belichtungs- und Ausleseintervall für ein Bild und das Liniensegment 516 stellt die Entfernung mit der besten Bewegungskompensation anhand der Neigung des Bildsensors und der Winkelgeschwindigkeit des Systems dar. Die Pluszeichen 518 (+) stellen die ideale Winkelgeschwindigkeit zum Kompensieren der Fahrtgeschwindigkeit bei Entfernungen von 4 Metern und 8 Metern dar. In 5A beträgt die Bildaufnahmerate 8 Bilder pro Sekunde (frames per second; fps) bei einer Auslesung alle 1/48 Sekunden und Fahrzeuggeschwindigkeit von 10 m/s. Daher nimmt das System bei 8 fps Bilder während 1/6 einer Sinusbewegung auf, markiert durch die fette Linie 520, bei der die Systemdrehung die beste Kompensation für Entfernungen im Bereich von 4 Metern bis Unendlich erzielt.
-
5B bildet ein weiteres Beispiel für die Drehung des Bildaufnahmesystems grafisch als Winkelgeschwindigkeit im Zeitverlauf ab, die als durchgezogene Linie 530 dargestellt ist. Die gestrichelte Linie 532 gibt den Betrag der Drehung in Radian an. Die Linie 534 stellt das Belichtungs- und Ausleseintervall für ein Bild und das Liniensegment 536 stellt die Entfernung mit der besten Bewegungskompensation anhand der Neigung des Bildsensors und der Winkelgeschwindigkeit des Systems dar. Die Pluszeichen 538 (+) stellen die ideale Winkelgeschwindigkeit zum Kompensieren der Fahrtgeschwindigkeit bei Entfernungen von 4 Metern und 8 Metern dar. In 5B beträgt die Bildaufnahmerate 12 Bilder pro Sekunde (fps) bei einer Auslesung alle 1/48 Sekunden und Fahrzeuggeschwindigkeit von 10 m/s. Die höhere Bildrate wird durch Verwendung einer Bewegung, die eher einer Sägezahn-Wellenform (langsamere Rampe in eine Richtung als in die andere, geht bis zur fünften Harmonischen des Zyklus von 12 Hz) ähnelt, erzielt. Bei einer Rate von 12 fps nimmt das System Bilder während 1/4 des Zyklus auf, wie das durch die fette Linie 540 markiert ist.
-
Zusätzlich zur oder anstatt der Drehung kann das System als translationaler Oszillator in einer Ebene parallel zur Fahrtrichtung des Fahrzeugs von Seite zu Seite schwingen. In noch einem weiteren Beispiel kann anstelle einer Drehung oder Schwingung des gesamten Systems lediglich der Bildsensor relativ zum Objektiv in eine Schwingung versetzt werden, um die Bildbewegung zu kompensieren.
-
Die Kombination aus einem geneigten Bildsensor und einem sich drehenden System kann dem System eine Kompensation verschiedener Winkelgeschwindigkeiten in mehreren Fokusebenen ermöglichen. Da sie nur eine kurze Entfernung von einem sich bewegenden Fahrzeug entfernt sind, haben Objekte in der Nähe des Fahrzeugs eine höhere Winkelgeschwindigkeit als Objekte, die weiter vom Fahrzeug entfernt sind. Zum Beispiel beträgt die Winkelgeschwindigkeit eines 4 Meter entfernten Objekts 2,5 rad/s oder 2,5 mrad/ms bei einer Fahrzeuggeschwindigkeit von 10 m/s. Objekte im unendlichen Bereich haben eine Winkelgeschwindigkeit von Null. Die Winkelgeschwindigkeit eines Objekts ändert sich auf lineare Weise in Bezug zur reziproken Entfernung des Objekts vom System. Wenn der geneigte Bildsensor gedreht wird, kann die Winkelgeschwindigkeit der ersten Kante des Bildsensors schneller als die Winkelgeschwindigkeit der zweiten Kante sein. Mit anderen Worten, die Kante des Bildsensors mit dem nahen Brennpunkt kann die schnellere Winkelgeschwindigkeit haben. Diese Anordnung kann Unterschiede der Winkelgeschwindigkeit in verschiedenen Entfernungen vom Fahrzeug kompensieren und es dem System gestatten, Teile des Bildes aufzunehmen, die für Objekte in unterschiedlichen Entfernungen in verschiedenen Teilen des Bildes sowohl gut fokussiert als auch bewegungskompensiert sind.
-
Zur weiteren Kompensation von Unterschieden in der Winkelgeschwindigkeit kann die Drehung des Systems mit einer Rollverschlussbelichtung und -Auslesung synchronisiert werden und der Betrag der Drehgeschwindigkeit proportional zur Fahrzeuggeschwindigkeit eingestellt werden, sodass die Bildbewegung auf dem Bildsensor für Objekte, die in den einzelnen Regionen des Bildsensors im Fokus sind, annähernd gestoppt werden kann.
-
Das System kann Bilder mit einer Bildrate aufnehmen, die schnell genug ist, dass interessierende Objekte in mehreren aufeinanderfolgenden Bildern erscheinen, aber in einem Bild je nach ihrer Entfernung und Position innerhalb des Bildes klarer als in einem anderen sind. Mit anderen Worten, die Objekte können in mehr als einem Bild und an verschiedenen Punkten in verschiedenen Bildern erscheinen. Zum Beispiel kann das System ein Foto pro Schwingungszyklus aufnehmen, wobei jede Schwingung im Drehbereich von 10 Grad liegt. Diese Belichtung und Auslesung von 1/6 Zyklus kann einem Bildintervall entsprechen, das etwa gleich dem Sechsfachen der Auslesezeit oder 1/6 der maximalen Bildrate des Bildsensors ist. Bei einem Bildsensor, der in 1/48 s lesen kann, können insgesamt 8 Bilder pro Sekunde bzw. ein Bild alle 1,25 m aufgenommen werden, wenn das Fahrzeug mit 10 m/s fährt, wodurch mehrere Ansichten eines Objekts aufgenommen werden können, das sich mehr als ein paar Meter vom Fahrzeug entfernt befindet (je nach dem Sichtfeld der Kamera).
-
Da der geneigte Bildsensor ein Gefälle von Brennweiten über ein Bild hinweg bereitstellen kann, können benachbarte Bilder das gleiche Objekt oder den gleichen Ort an unterschiedlichen Bildorten mit unterschiedlichen besten Brennweiten aufnehmen. Zum Beispiel kann ein Objekt in 8 m Entfernung in 3 oder mehreren verschiedenen Bildern (je nach Sichtfeld) erscheinen, wobei das Objekt in mindestens einem davon nahe dem Bildmittelpunkt erscheinen kann, wo der beste Fokusabstand 8 m beträgt (die halbe Entfernung zwischen Unendlich und 4 m im Sinne der reziproken Entfernung). Wenn die Bewegungskompensation auf keine Drehung an der Unendlich-Kante und Kompensation der Fahrzeugbewegung von 10 m/s für Objekte in einer Entfernung von 4 m (Drehung von 2,5 rad/s) an der anderen Kante eingestellt ist und zwischen beiden annähernd linear variiert, wird die Bewegungsunschärfe für ein Objekt in 8 m Entfernung nahe dem Mittelpunkt des Bildes annähernd aufgehoben. Gleichermaßen werden andere Objekte in Entfernungen zwischen 4 m und Unendlich an den annähernd entsprechenden Bildorten sowohl gut fokussiert als auch bewegungskompensiert sein, sodass sie in mindestens einem Bild scharf sind, wenn sie in mehreren Bildern erscheinen.
-
Wie in 6 dargestellt, kann das Bildaufnahmesystem 210 in ein Fahrzeug 600 integriert sein. Während bestimmte Aspekte der Offenbarung in Verbindung mit spezifischen Typen von Fahrzeugen besonders nützlich sind, kann das Fahrzeug von einem beliebigen Typ sein, darunter unter anderem PKWs, LKWs, Motorräder, Busse, Wohnmobile usw., ohne darauf beschränkt zu sein. Das Fahrzeug kann einen oder mehrere Computer aufweisen, zum Beispiel den Computer 610, der einen oder mehrere Prozessoren 620, einen Speicher 630 und weitere normalerweise in Allzweckcomputern zu findende Komponenten enthält. Das Bildaufnahmesystem 210 kann mit dem Computer 610 verbunden und auf dem Fahrzeug 600 montiert sein.
-
Der Speicher 630 speichert die einem oder mehreren Prozessor 620 zugänglichen Informationen ab. Hierzu gehören unter anderem Daten 632 und Anweisungen 634, die vom Prozessor 620 ausgeführt oder anderweitig verwendet werden können. Der eine oder die mehreren Prozessoren 620 können konventionelle Prozessoren sein, wie z. B. kommerziell verfügbare CPUs. Alternativ können der eine oder die mehreren Prozessoren ein dediziertes Gerät wie ein ASIC oder ein anderer hardwarebasierter Prozessor sein. Der Speicher 630 kann von beliebiger Art sein, solange er in der Lage ist, die dem Prozessor zugänglichen Informationen zu speichern. Hierzu gehören unter anderem computerlesbare Datenträger oder sonstige Medien, die Daten speichern, die mithilfe eines elektronischen Geräts gelesen werden können. Hierzu gehören unter anderem Festplatten, Speicherkarten, ROM, RAM, DVD oder sonstige optische Platten sowie auch sonstige beschreibbare Speicher und Nur-Lese-Speicher. Die Systeme und Verfahren können unterschiedliche Kombinationen der vorstehend Genannten beinhalten, wobei unterschiedliche Abschnitte der Anweisungen und Daten auf unterschiedlichen Datenträgerarten gespeichert werden.
-
Die Daten 632 können vom Prozessor 620 in Übereinstimmung mit den Anweisungen 634 abgerufen, gespeichert oder modifiziert werden. Obwohl die Architektur beispielsweise nicht von einer bestimmten Datenstruktur begrenzt ist, können die Daten in Computerregistern in einer relationalen Datenbank als eine Tabelle gespeichert werden, die über eine Vielzahl von unterschiedlichen Feldern und Datensätzen, XML-Dokumenten oder unstrukturierten Dateien verfügt. Die Daten können auch in einem beliebigen computerlesbaren Format formatiert werden.
-
Die Anweisungen 634 können ein beliebiger Satz von Anweisungen sein, die direkt (z. B. Maschinencode) oder indirekt (z. B. Skripte) vom Prozessor ausgeführt werden. Die Anweisungen können beispielsweise in Form von Computercode auf einem computerlesbaren Datenträger gespeichert werden. Insoweit können die Begriffe „Anweisungen” und „Programme” hierin austauschbar verwendet werden. Die Anweisungen können in Objektcodeformat zur direkten Verarbeitung durch den Prozessor oder in jeder anderen Computersprache, die Skripte oder Sammlungen von unabhängigen Quellcode-Modulen beinhaltet, die auf Anforderung interpretiert oder vorab kompiliert werden, gespeichert sein. Funktionen, Verfahren und Routinen der Anweisungen werden unten ausführlicher erklärt.
-
Obgleich 6 funktionell den Prozessor, Speicher und andere Elemente des Computers 610 als im gleichen Block befindlich darstellt, ist den Fachleuten klar, dass der Prozessor, Computer oder Speicher tatsächlich mehrere Prozessoren, Computer oder Speicher umfassen kann, die im gleichen physischen Gehäuse gespeichert werden können oder auch nicht. Der Speicher kann beispielsweise eine Festplatte oder anderes Speichermedium sein, das sich in einem anderen Gehäuse als dem des Computers 610 befindet. Dementsprechend geht man davon aus, dass Verweise auf einen Prozessor oder Computer, Verweise auf eine Sammlung von Prozessoren oder Computern oder Speichermedien, die parallel miteinander betrieben oder nicht betrieben werden können, beinhalten.
-
Der Computer 610 kann alle Komponenten aufweisen, die normalerweise in Verbindung mit einem Computer verwendet werden, wie einen oben beschriebenen Prozessor und Speicher sowie eine Benutzereingabevorrichtung 650 (z. B. Maus, Tastatur, Touchscreen und/oder Mikrofon) und verschiedene elektronische Anzeigegeräte (z. B. einen Monitor mit einem Bildschirm oder ein beliebiges anderes elektrisches Gerät, das zum Anzeigen von Informationen betriebsfähig ist). Im vorliegenden Beispiel umfasst das Fahrzeug eine interne elektronische Anzeigevorrichtung 652 sowie einen oder mehrere Lautsprecher 654, um Informationen oder audiovisuelle Erlebnisse zu bieten. In dieser Hinsicht kann die interne elektronische Anzeigevorrichtung 652 im Fahrgastraum des Fahrzeugs 600 angeordnet sein und vom Computer 610 zur Bereitstellung von Informationen für die Mitfahrer im Fahrzeug 600 verwendet werden.
-
Der Computer 610 kann auch eine oder mehrere drahtlose Netzverbindungen 654 umfassen, um Kommunikation mit anderen Computern wie den nachfolgend ausführlich beschriebenen Client-Computern und Servern zu ermöglichen. Die drahtlosen Netzverbindungen können Kommunikationsprotokolle mit kurzer Reichweite wie Bluetooth, Bluetooth Low Energy (LE), Mobilfunkverbindungen sowie verschiedene Konfigurationen und Protokolle umfassen, darunter das Internet, World Wide Web, Intranets, virtuelle private Netze, Weitverkehrsnetze, lokale Netzwerke, private Netzwerke, die Kommunikationsprotokolle im Eigentum von einem oder mehreren Unternehmen verwenden, Ethernet, WiFi und HTTP sowie verschiedene Kombinationen davon.
-
Zusätzlich zum Bildaufnahmesystem 210 kann sich der Computer 610 auch in Kommunikation mit einem oder mehreren Fahrzeugbetriebssystemen 660 des Fahrzeugs 600 befinden. Zu den Fahrzeugbetriebssystemen 660 können am Betrieb des Fahrzeugs beteiligte Systeme gehören, zum Beispiel mindestens entweder eine Verzögerung, Beschleunigung, Lenkung, Signalgabe, Navigation, Positionserkennung usw. Obwohl ein oder mehrere Fahrzeugbetriebssysteme 660 als außerhalb des Computers 610 befindlich dargestellt sind, können die Systeme eigentlich auch in den Computer 610 integriert sein.
-
Das Bildaufnahmesystem 210 kann auch Informationen wie aufgenommene Bilder an andere Computer senden oder von diesen empfangen. 7 und 8 zeigen ein Block- bzw. Funktionsdiagramm eines Beispielsystems 700, das eine Vielzahl von Computern 710, 720, 730, 740 und ein Speichersystem 750 umfasst, die über ein Netzwerk 760 miteinander verbunden sind. Das System 700 beinhaltet auch ein Bildaufnahmesystem 210. Obwohl der Einfachheit halber nur wenige Computer abgebildet sind, kann ein typisches System deutlich mehr davon umfassen. Zusätzlich oder als Alternative können ein oder mehrere Fahrzeuge wie das Fahrzeug 600 in das System 700 eingeschlossen sein.
-
Wie in 8 dargestellt, kann jeder Computer 710, 720, 730, 740 einen oder mehrere Prozessoren, Speicher, Daten und Anweisungen beinhalten. Solche Prozessoren, Speicher, Daten und Anweisungen können auf die gleiche Weise konfiguriert sein wie der eine oder die mehreren Prozessoren 620, Speicher 630, Daten 632 und Anweisungen 634 des Computers 610.
-
Das Netzwerk 760 und die dazwischenliegenden Knoten können verschiedene Konfigurationen und Protokolle umfassen, darunter Kommunikationsprotokolle mit kurzer Reichweite wie Bluetooth, Bluetooth LE, sowie Internet, World Wide Web, Intranet, virtuelle private Netzwerke, Weitverkehrsnetze, lokale Netzwerke, private Netzwerke, die Kommunikationsprotokolle im Eigentum von einem oder mehreren Unternehmen verwenden, Ethernet, WiFi und HTTP sowie verschiedene Kombinationen davon. Eine solche Kommunikation kann von jedem Gerät ermöglicht werden, das in der Lage ist, Daten von einem zum anderen Computer zu übertragen, wie Modems und drahtlose Schnittstellen.
-
Beispielsweise können die Server-Computer 710 das Netzwerk 760 nutzen, um einem Benutzer, wie beispielsweise 722, 732, 742 Informationen zu senden und diese auf einer Anzeigevorrichtung wie den Displays 724, 734, 742 der Computer 720, 730, oder 740 darzustellen. In dieser Hinsicht können die Computer 720, 730 und 740 als Client-Computer angesehen werden.
-
Wie in 8 dargestellt, kann jeder Client-Computer 720, 730, 740 ein Personalcomputer sein, der zur Verwendung durch einen Benutzer 722, 732, 742 vorgesehen ist, und alle Komponenten aufweisen, die normalerweise in Verbindung mit einem Personalcomputer verwendet werden, der einen oder mehrere Prozessoren beinhaltet (wie eine Zentraleinheit (CPU)), Speicher (z. B. RAM und interne Festplatten), der Daten und Anweisungen speichert, eine Anzeigevorrichtung wie die Displays 724, 734, 744 (z. B. ein Monitor mit einem Bildschirm, ein Touchscreen, Projektor, Fernsehgerät oder eine andere Vorrichtung, die Informationen anzeigen kann) und Benutzereingabevorrichtungen 726, 736, 746 (z. B. Maus, Tastatur, Berührungsbildschirm oder Mikrofon). Der Client-Computer kann außerdem eine Kamera zum Aufnehmen von Videostreams, Lautsprecher, eine Netzwerkschnittstellenvorrichtung und all jene Komponenten, die zum Verbinden dieser Elemente miteinander verwendet werden, beinhalten.
-
Darüber hinaus können die Client-Computer 720 und 730 auch Komponenten 728 und 738 zur Bestimmung der Position und Ausrichtung der Client-Computer beinhalten. Diese Komponenten können beispielsweise einen GPS-Empfänger beinhalten, um den Längengrad, Breitengrad und/oder die Höhe zu bestimmen, sowie einen Beschleunigungsmesser, ein Gyroskop oder sonstige Vorrichtungen zur Geschwindigkeits- und Richtungserkennung.
-
Obwohl die Client-Computer 720, 730 und 740 jeweils einen Personalcomputer in voller Größe umfassen können, können sie alternativ mobile Computer umfassen, die in der Lage sind, Daten drahtlos über ein Netzwerk wie das Internet mit einem Server auszutauschen. Nur beispielhaft kann der Computer 720 ein Mobiltelefon oder eine Vorrichtung wie ein funkfähiger PDA, ein Tablet-PC, ein tragbarer Computer oder ein Netbook sein, die in der Lage sind, Informationen über das Internet abzurufen. In einem weiteren Beispiel kann Client-Computer 730 ein am Körper tragbares Computersystem wie das in 7 gezeigte am Kopf befestigte Computersystem sein. Als ein Beispiel kann der Benutzer Informationen unter Verwendung einer kleinen Tastatur, eines Tastenfeldes, Mikrofons, unter Verwendung visueller Signale mit einer Kamera oder eines Touchscreens eingeben.
-
Das Speichersystem 750 kann verschiedene Arten von Informationen speichern, auf die von einem Server-Computer, zum Beispiel von einem oder mehreren Server-Computern 710, zugegriffen werden kann oder die anderweitig von diesem abrufbar sind, um einige oder alle der oben beschriebenen Funktionen auszuführen. Das Speichersystem 750 kann von einem Bildaufnahmesystem 210 aufgenommene Bilder speichern. Mit den Bildern verbundene Informationen, wie Standortangaben und Posendaten, können gemeinsam mit den Bildern gespeichert werden.
-
Wie der Speicher 730 kann das Speichersystem 750 von einem beliebigen Typ von computerisiertem Speicher sein, der zum Speichern von Informationen in der Lage ist, auf die von den Computern 710 zugegriffen werden kann, wie eine Festplatte, Speicherkarte, ROM, RAM, DVD, CD-ROM, beschreibbare und schreibgeschützte Speicher. Zusätzlich kann das Speichersystem 750 ein verteiltes Speichersystem beinhalten, in dem Daten auf einer Vielzahl von verschiedenen Speichergeräten gespeichert werden, die physisch an den gleichen oder verschiedenen geographischen Standorten angeordnet sein können. Das Speichersystem 750 kann wie in 7 dargestellt mit einem Computer über ein Netzwerk 760 verbunden sein und/oder direkt mit einem beliebigen der Computer 710, 720, 730, 740, dem Bildaufnahmesystem 210 usw. verbunden oder integriert sein.
-
BEISPIELVERFAHREN
-
9 ist ein beispielhaftes Flussdiagramm 900 gemäß einigen der oben beschriebenen Aspekte, das von einem oder mehreren Steuerungen im System ausgeführt werden kann. In diesem Beispiel können bei Block 910 ein oder mehrere Bildsensoren in einem Winkel hinter einem Objektiv eines Bildaufnahmesystems konfiguriert werden. Das Bildaufnahmesystem kann dann anhand einer Bewegungsrichtung des Bildaufnahmesystems bei Block 920 in Schwingung versetzt werden. Zum Beispiel kann das Bildaufnahmesystem auf einem Fahrzeug montiert sein, wobei in diesem Fall die Fahrtrichtung des Fahrzeugs die Bewegungsrichtung des Bildaufnahmesystems wäre. Bei Block 930 kann das Bildaufnahmesystem Bilder belichten und lesen, beginnend bei einer ersten Kante eines Objektivs im System und fortlaufend bis zu einer zweiten Karte des Objektivs, die der ersten Kante gegenüberliegt. Um Bilder auf diese Weise zu belichten und zu lesen, kann ein Sensor des Bildaufnahmesystems ein Rolling-Shutter-Bildsensor sein.
-
Die aufgenommenen Bilder können verarbeitet werden, um Textinformationen aus Objekten im Bild zu extrahieren. Da sie aus Bildern generiert wurden, die eine Vielzahl von Brennweiten haben und wie oben beschrieben bewegungskompensiert sind, können herkömmliche Maschinenleseverfahren angewendet werden. Zum Beispiel können mithilfe von OCR Wörter auf Schildern gelesen werden. Die aufgenommenen Bilder können am Bildaufnahmegerät 210 verarbeitet werden. In anderen Beispielen können die aufgenommenen Bilder über das Netzwerk 760 an einen oder mehrere Computer 710, 720, 730, 740 gesendet und an einem oder mehreren Computern verarbeitet werden. Die aufgenommenen Bilder und/oder die extrahierten Informationen können vom Bildaufnahmesystem 210 oder einem oder mehreren Computern 710, 720, 730, 740 über das Netzwerk 760 zum Speichersystem 750 gesendet werden. Als Antwort auf eine Benutzeranforderung können ein aufgenommenes Bild oder extrahierte Informationen vom Speichersystem 750 abgerufen werden.
-
In manchen Beispielen kann ein zusammengesetztes Bild generiert werden, in dem ausgewählte Teile der aufgenommenen Bilder, die am schärfsten sind, zusammengefügt und verarbeitet werden, um Informationen aus dem Bild zu extrahieren. Das zusammengesetzte Bild kann ein Panoramabild sein. Um die am besten fokussierten Teile der aufgenommenen Bilder auszuwählen, können Teile von verschiedenen Bildern eines bestimmten Ortes miteinander verglichen werden. Der Teil eines aufgenommenen Bildes, der einen bestimmten Ort am klarsten oder an einem der Brennweite am nächsten liegenden Ort abbildet, kann zur Aufnahme in das zusammengesetzte Bild ausgewählt werden. Das System kann LIDAR verwenden, um die Entfernung zwischen einem bestimmten Ort und dem Fahrzeug zu ermitteln. Der Teil eines aufgenommenen Bildes, in dem der bestimmte Ort an dem Bildsensorteil erfasst wird, der auf eine der ermittelten Entfernung entsprechende Entfernung fokussiert ist, kann zur Aufnahme in das zusammengesetzte Bild ausgewählt werden. Das generierte zusammengesetzte Bild kann dann verarbeitet werden, um Textinformationen aus Objekten im Bild zu extrahieren.
-
Die oben beschriebenen Merkmale gestatten die Aufnahme von Bildern, die über einen weiten Bereich von Entfernungen bei einer Fahrt mit hoher Geschwindigkeit, zum Beispiel bei einer Fahrt in einem Pkw, scharf sind. Während ein geneigter Bildsensor, Drehung oder Schwingung oder das Überschneiden von Bildern gegenüber einem herkömmlichen Bildaufnahmesystem die jeweiligen oben besprochenen einzelnen Vorteile bieten, kein eine Kombination daraus die beste Quelle aufgenommene Bilder zum generieren von zusammengesetzten Bildern in der oben beschriebenen Art und Weise liefern. Infolgedessen können zusammengesetzte Bilder mehr Informationen enthalten, als normalerweise in einem von einem sich bewegenden Fahrzeug aus aufgenommenen Bild erfasst werden. Zum Beispiel können zusammengesetzte Bilder bei der Nachbearbeitung verwendet werden, um Textinformationen wie Wörter auf Schildern zu extrahieren, die andernfalls bei Aufnahme mit einem normalen Bildaufnahmesystem zu verschwommen oder unscharf zum Lesen wären. Außerdem gestatten der geneigte Bildsensor und die Bewegung des Bildsensors eine effektive Aufnahme von Bildern in einem einzelnen Durchgang mit einer Kamera, wobei die Bilder einer Vielzahl von Brennweiten und Graden von Bewegungskompensation aufgenommen werden. Als solche können die offenbarten Merkmale die Verwendung einer größeren Blende und langsamerer Verschlussgeschwindigkeiten gestatten und es dem Bildaufnahmesystem ermöglichen, ausreichend Licht zu erhalten, um saubere Bilder bei hoher Geschwindigkeit aufnehmen zu können.
-
Obwohl die Erfindung hierin mit Bezug auf bestimmte Ausführungsformen beschrieben wurde, versteht sich, dass diese Ausführungsformen lediglich die Grundsätze und Anwendungen der vorliegenden Erfindung darstellen. Es versteht sich daher, dass zahlreiche Modifizierungen an den darstellenden Ausführungsformen vorgenommen werden können, und dass andere Anordnungen konzipiert werden können, ohne vom durch die hinzugefügten Ansprüche definierten Erfindungsgedanken und Umfang der vorliegenden Erfindung abzuweichen.
