-
Stand der Technik
-
Die vorliegende Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems, das bei einem Fahrzeug eingesetzt werden kann.
-
Die Stereo-Videobildverarbeitung gewinnt für die Umfelderfassung in Fahrassistenzsystemen, für die Robotik und weitere Anwendungen aus der Automatisierungstechnik einen immer größeren Stellenwert. Mit einem Stereo-Videosystem kann die räumliche Lage von Objekten im Erfassungsbereich eines Stereo-Videosystems bestimmt werden, um damit z.B. in Fahrerassistenzsystemen Fußgänger zu detektieren.
-
Die Stereomessung aus digitalen Bildern ist in Lehrbüchern zur Bildverarbeitung beschrieben (z.B. Trucco and Verri, Introductory techniques for 3-D Computer Vision, Springer Verlag, 1998). Die Grundlage für die Stereomessung bildet die Suche nach korrespondierenden Bildabschnitten zwischen linkem und rechtem Sensor. Unter Berücksichtigung der optischen Abbildung und der geometrischen Anordnung der Sensoren kann eine 3D-Rekonstruktion der Bildabschnitte erfolgen.
-
Um die Suche nach korrespondierenden Bildabschnitten zu erleichtern, erfolgt häufig eine Bildrektifizierung. Diese erlaubt eine Suche nach korrespondierenden Bildabschnitten entlang der Bildzeilen.
-
Die
WO 02/095681 A1 beschreibt ein Verfahren, bei dem ein durch eine Kameraoptik verzerrtes Sourcebild mit Hilfe einer tabellarischen Abbildungsvorschrift in ein entzerrtes Targetbild überführt wird. Dabei wird jedem Sourcepixel des Sourcebildes kein, ein oder mehrere Targetpixel im Targetbild zugewiesen.
-
In der
US 2008/0024596 A1 wird ein Verfahren beschrieben, in welchem zwei Bildsensoren ausgelesen und die erhaltenen Bilddaten in zwei Eingangspuffern abgelegt werden. Über ein Combiner-Modul wird ein Zeilenversatz der in den beiden Eingangspuffern abgelegten Bilddaten bestimmt, welcher anschließend bei dem Auslesen der Eingangspuffer berücksichtigt wird.
-
Die
JP H10 - 224 823 A beschreibt eine Vorrichtung zum Verarbeiten von Bildinformationen zweier CCD-Kameras. Das Auslesen von Bildinformation aus den CCD-Kameras erfolgt versetzt um n Zeilen, wobei geometrisch näherungsweise korrespondierende Zeilen zeitlich synchron ausgelesen werden.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems, weiterhin eine Vorrichtung, die dieses Verfahren verwendet sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den unabhängigen Patentansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
-
Von zwei Sensoren eines Stereo-Sensor-Systems aufgenommene Aufnahmen weisen typischer Weise einen geometrischen Versatz auf, das heißt, dass sich ein Abbild eines von den Sensoren erfassten realen Objekts an einer unterschiedlichen geometrischen Position in den Aufnahmen wiederfindet. Erfindungsgemäß wird eine Information über den Versatz eingesetzt, um zum einen eine Erfassung von Bildinformationen durch die Sensoren und zum anderen ein Auslesen der Bildinformationen aus den Sensoren zu optimieren. In Bezug auf das Auslesen können unter Kenntnis des Versatzes unterschiedliche Abschnitte der Sensoren zeitgleich ausgelesen werden. Im Vergleich zu bekannten Verfahren, bei denen zeitgleich gleiche Abschnitte der Sensoren ausgelesen werden, kann eine Größe eines Zwischenspeichers, in dem die ausgelesenen Daten zur Weiterverarbeitung zwischengespeichert werden verkleinert werden. Zudem kann die Weiterverarbeitung beschleunigt werden. In Bezug auf die Erfassung der Bildinformationen können unter Kenntnis des Versatzes unterschiedliche Abschnitte der Sensoren zeitgleich zur Erfassung von Bildinformationen angesteuert werden. Hierbei ergibt sich der Vorteil, dass von den Sensoren zeitgleich Bildinformationen bereitgestellt werden, die keinen oder zumindest einen verringerten Versatz aufweisen.
-
Der erfindungsgemäße Ansatz kann vorteilhaft bei hardwarebasierten Verfahren für die 3D-Stereomessung mit einem Stereo-Videosystem eingesetzt werden. Insbesondere kann ein Verfahren zum optimierten Auslesen eines Video-Sensors des Stereo-Videosystems realisiert werden. Dabei erfolgt ein Auslesen, beispielsweise eines rechten und eines linken Bildsensors, in Abhängigkeit von Kalibrierinformationen. Beispielsweise können die Bildsensoren in Abhängigkeit von dem in einem Kalibriervorgang ermitteltem Zeilenversatz mit einem zeitlichen Zeilenversatz ausgelesen werden. Auch können in den Bildsensoren, abhängig von dem in einem Kalibriervorgang vorliegenden Zeilenversatz in der linken- und rechten Kamera, unterschiedliche Abschnitte des Sensors, sogenannte Regions of Interest (ROI's) ausgelesen werden. Die sich daraus ergebenden Vorteile sind eine Reduktion der notwendigen Größe des Eingangspuffers in einer Stereo-Messhardware und eine Reduzierung der 3D-Messfehler bei dem Einsatz von Rolling-Shutter-Sensoren für die Stereomessung.
-
Die vorliegende Erfindung schafft ein Verfahren zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems, wobei jeder der Sensoren ausgebildet ist, um die Bildinformationen abschnittsweise in an unterschiedlichen Positionen angeordneten Sensorabschnitten des Sensors zu erfassen, wobei das Verfahren die folgenden Schritte umfasst:
- Bereitstellen einer Information über einen Versatz zwischen Positionen zweier Sensorabschnitte des ersten und des zweiten Sensors, die korrespondierende Bildinformationen aufweisen; und
- Auslesen einer Bildinformation des ersten Sensors und einer Bildinformation des zweiten Sensors, wobei das Auslesen in Bezug auf die Positionen der Sensorabschnitte, aus denen die Bildinformationen ausgelesen werden mit dem Versatz erfolgt.
-
Bei dem Stereo-Sensor-System kann es sich um ein Stereo-Videosystem mit zwei Videosensoren handeln. Mittels des Stereo-Videosystem kann die räumliche Lage von Objekten im Erfassungsbereich der Sensoren bestimmt werden. Das Stereo-Sensor-System kann beispielsweise Informationen für ein Fahrassistenzsystem eines Fahrzeugs bereitstellen. Die Sensoren können Bildinformationen, die ein von den Sensoren erfasstes reales Umfeld abbilden, abschnittsweise erfassen, beispielsweise zeilenweise. Jede Bildinformation kann einen oder mehrere Helligkeitswerte umfassen. Somit kann es sich bei den Sensorabschnitten um Zeilen und bei der Position eines Sensorabschnitts um eine Zeilennummer handeln. Die Sensoren können identisch sein, und insbesondere die gleiche Art, Anzahl und Anordnung von Sensorabschnitten aufweisen. So können sich jeweils zwei Sensorabschnitte der beiden Sensoren bezüglich ihrer Position innerhalb der Sensoren entsprechen. Jeder Sensorabschnitt kann eine Mehrzahl von Bildpunkten aufweisen. Jeder Bildpunkt kann eine Bildinformation umfassen, die einen bestimmten Bereich des von dem Sensor erfassten Umfelds abbildet. Die einzelnen Sensorabschnitte können die Bildinformationen zeitgleich oder zeitlich aufeinanderfolgend erfassen. In Bezug auf den Versatz können unter korrespondierenden Bildinformationen solche Bildinformationen verstanden werden, die einen identischen oder näherungsweise identischen Bereich des von den Sensoren erfassten Umfelds abbilden. Somit entsprechen sich korrespondierenden Bildinformationen in Bezug auf ihren Bildinhalt. Die Information über den Versatz kann eine Information repräsentieren, die in einem Kalibriervorgang ermittelt wurde. Die Information kann in einem Speicher hinterlegt und aus diesem ausgelesen werden. Der Versatz kann einen Unterschied zwischen den Positionen zweier Sensorabschnitte definieren, die Bildpunkte mit korrespondierenden Bildinformationen aufweisen. Ausgehend von einer Position eines Sensorabschnitts des ersten Sensors kann mittels des Versatzes eine Position eines Sensorabschnitts des zweiten Sensors mit einer zu dem Sensorabschnitt des ersten Sensors korrespondierenden Bildinformation bestimmt werden. Sind die Sensorabschnitte zeilenweise angeordnet, so kann der Versatz eine Anzahl von Zeilen angeben. Die Bildinformationen des ersten Sensors und des zweiten Sensors können direkt aus dem Sensor oder aus einem Zwischenspeicher ausgelesen werden. Die Bildinformationen des ersten Sensors und des zweiten Sensors können innerhalb eines gemeinsamen Ausleseschrittes ausgelesen werden. Beispielsweise kann zeitlich direkt vor, zeitgleich, oder zeitlich direkt nach dem Auslesen der Bildinformationen des ersten Sensors die Bildinformation des zweiten Sensors ausgelesen werden. Somit werden in einem Ausleseschritt Bildinformationen aus unterschiedlichen Positionen der beiden Sensoren ausgelesen. Somit findet bereits durch das Auslesen eine Zuordnung zwischen korrespondierenden Bildinformationen statt. Die ausgelesenen Bildinformationen können direkt weiterverarbeitet werden oder zur Weiterverarbeitung in einem Zwischenspeicher gespeichert werden. Beispielsweise kann basierend auf den ausgelesenen und bezüglich ihrer Bildinhalte korrespondierenden Bildinformationen eine Stereomessung durchgeführt werden.
-
Gemäß einer Ausführungsform kann das Verfahren einen Schritt des Bestimmens des Versatzes umfassen. Der Versatz kann basierend auf einem Vergleich zwischen Bildinformationen aus Sensorabschnitten des ersten Sensors und Bildinformationen aus Sensorabschnitten des zweiten Sensors erfolgen. Durch den Vergleich können Sensorabschnitte mit korrespondierenden Bildinhalten ermittelt werden und der gerichtete Abstand solcher Sensorabschnitte kann als Versatz gespeichert werden. Der Versatz kann einmalig, fortlaufend oder beispielsweise bei jeder Inbetriebnahme des Stereo-Videosystem bestimmt werden.
-
Im Schritt des Auslesens kann die Bildinformation des ersten Sensors nur aus einem ersten Sensorabschnitt und die Bildinformation des zweiten Sensors nur aus einem zweiten Sensorabschnitt ausgelesen werden, wobei sich eine Anordnung des ersten Sensorabschnittes innerhalb des ersten Sensors in Bezug auf eine Anordnung des zweiten Sensorabschnittes innerhalb des zweiten Sensors unterscheidet. Der erste Sensorabschnitt und der zweite Sensorabschnitt können die gleiche Größe aufweisen. Vorteilhafterweise weisen der erste Sensorabschnitt und der zweite Sensorabschnitt korrespondierende Bildinhalte auf. Im Idealfall können die ausgelesenen Sensorabschnitte in einem anschließenden Schritt direkt verarbeitet werden, ohne dass eine Rektifizierung notwendig ist.
-
Dabei kann das Verfahren einen Schritt des Bestimmens einer Verschiebung zwischen einem ersten Bildpunkt innerhalb des ersten Sensorabschnitts und einem zweiten Bildpunkt innerhalb des zweiten Sensorabschnitts umfassen, wobei der erste Bildpunkt und der zweite Bildpunkt in Bezug auf eine erfasste Bildinformation miteinander korrespondieren. Dabei kann der erste Bereich des ersten Sensorabschnitts um den Wert der Verschiebung gegenüber dem zweiten Bereich des zweiten Sensorabschnitts verschoben sein. Auf diese Weise kann ein Versatz zwischen in Bezug auf ihre Bildformationen korrespondierenden Bereichen innerhalb korrespondierender Sensorabschnitte der beiden Sensoren bestimmt werden.
-
Das Verfahren umfasst einen Schritt des Bereitstellens eines ersten Auslösesignals, das ausgebildet ist, um ein Erfassen der Bildinformation des ersten Sensors durch einen an einer ersten Position des ersten Sensors angeordneten Sensorabschnitt auszulösen. Das Verfahren umfasst ferner einen Schritt des Bereitstellens eines zweiten Auslösesignals, zeitlich nach oder zeitlich vor dem Schritt des Bereitstellens des ersten Auslösesignals, wobei das zweite Auslösesignal ausgebildet ist, um ein Erfassen der Bildinformation des zweiten Sensors durch einen an der ersten Position des zweiten Sensors angeordneten Sensorabschnitt auszulösen. Somit können korrespondierende Bildinformationen, die im anschießenden Schritt des Auslesens zusammen ausgelesen werden, zu unterschiedlichen Zeitpunkten erfasst worden sein. In diesem Fall kann eine Zwischenspeicherung erfasster Bildinformationen erforderlich sein.
-
Ein alternatives Verfahren kann einen Schritt des Bereitstellens eines Auslösesignals umfassen, das ausgebildet ist, um ein zeitgleiches Erfassen der Bildinformation des ersten Sensors durch einen an einer ersten Position des ersten Sensors angeordneten Sensorabschnitt und der Bildinformationen des zweiten Sensors durch einen an einer zweiten Position des zweiten Sensors angeordneten Sensorabschnitt auszulösen, wobei zwischen der ersten Position und der zweiten Position der Versatz besteht. Somit können korrespondierende Bildinformationen, die im anschießenden Schritt des Auslesens zusammen ausgelesen werden, zeitgleich erfasst werden. In diesem Fall ist keine Zwischenspeicherung erfasster Bildinformationen erforderlich.
-
Gemäß einer Ausführungsform, bei der die Sensorabschnitte zeilenweise angeordnet sind, kann im Schritt des Auslesens die Bildinformation des ersten Sensors aus einer Zeile des ersten Sensors und die Bildinformation des zweiten Sensors aus einer Zeile des zweiten Sensors ausgelesen werden. Der Versatz kann hier eine Differenz zwischen einer Zeilennummer der Zeile des zweiten Sensors und der Zeile des ersten Sensors bestimmen.
-
Das Verfahren kann mindestens einen weiteren Schritt des Auslesens einer weiteren Bildinformation des ersten Sensors und einer weiteren Bildinformation des zweiten Sensors umfassen. Dabei erfolgt das Auslesen in Bezug auf die weiteren Positionen der weiteren Sensorabschnitte, aus denen die weiteren Bildinformationen ausgelesen werden, mit dem Versatz. Somit können jeweils versetzt angeordnete Bildinformationen fortlaufend aus den beiden Sensoren ausgelesen werden. Beispielsweise können in jedem Schritt des Auslesens pro Sensor Bildinformationen aus einem Sensorabschnitt ausgelesen werden, der direkt an einen Sensorabschnitt angrenzt, aus dem in dem vorangegangenen Ausleseschritt ausgelesen wurde.
-
Die vorliegende Erfindung schafft ferner eine Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems, wobei jeder der Sensoren ausgebildet ist, um die Bildinformationen abschnittsweise in an unterschiedlichen Positionen angeordneten Sensorabschnitten des Sensors zu erfassen, mit folgenden Merkmalen:
- einer Bereitstellungseinrichtung zum Bereitstellen einer Information über einen geometrischen Versatz zwischen Positionen zweier Sensorabschnitte des ersten und des zweiten Sensors, die korrespondierende Bildinformationen aufweisen; und
- einer Ausleseeinrichtung zum Auslesen einer Bildinformation des ersten Sensors und einer Bildinformation des zweiten Sensors, wobei das Auslesen in Bezug auf die Positionen der Sensorabschnitte, aus denen die Bildinformationen ausgelesen werden mit dem Versatz erfolgt.
-
Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden. Die Vorrichtung kann Teil des Stereo-Sensor-Systems oder Teil einer nachgeschalteten Verarbeitungseinheit sein. Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuersignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programm auf einem, einem Computer entsprechenden Gerät ausgeführt wird.
-
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
- 1 ein Prinzip der Stereo-Messung mit Bildrektifizierung;
- 2 einen Prinzipaufbau einer Hardware zur Stereomessung;
- 3 eine Darstellung eines zeitsynchronen Auslesens zweier Bildsensoren;
- 4 eine Darstellung eines zeitversetzten Auslesens zweier Bildsensoren;
- 5 eine Darstellung eines Auslesens von Regionen zweier Bildsensoren;
- 6 eine Darstellung einer zeitsynchronen Bilderfassung durch zwei Bildsensoren;
- 7 eine Darstellung einer zeitlich versetzten Bilderfassung durch zwei Bildsensoren; und
- 8 ein Ablaufdiagramm eines Verfahrens zum Verarbeiten von Bildinformationen.
-
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt ein Prinzip der Stereo-Messung mit Bildrektifizierung. Gezeigt sind ein original Sensorbild 101 eines linken Sensors und ein original Sensorbild 103 eines rechten Sensors eines Stereo-Bilderfassungssystems. Bei dem Sensorbild 101 kann es sich um ein Videobild links und bei dem Sensorbild 103 um ein Videobild rechts handeln. In den Sensorbildem 101, 103 ist jeweils ein Objekt in Form eines Fahrzeugs zu erkennen. Das Fahrzeug befindet sich in den Sensorbildern 101, 103 an unterschiedlichen Positionen. So besteht zwischen korrespondierenden Bereichen des Objekts, beispielsweise den rechten oberen Eckbereichen 105 des Fahrzeugs, ein Zeilenversatz 107. Somit ist in den Sensorbildem 101, 103 keine Stereo-Korrespondenz 109 innerhalb der gleichen Bildzeile gegeben.
-
Durch eine Bildrektifizierung 110 wird aus dem Sensorbild 101 ein rektifiziertes Bild 111 und aus dem weiteren Sensorbild 103 ein weiteres rektifiziertes Bild 113 generiert. In den Bildern 111, 113 befinden sich die rechten oberen Eckbereiche 105 des Fahrzeugs in der gleichen Zeile, so dass die Stereo-Korrespondenz 109 innerhalb der gleichen Bildzeile gegeben ist.
-
2 zeigt einen Prinzipaufbau einer Hardware zur Stereomessung. Gezeigt sind zwei Bildsensoren 201, 203. Bei dem Bildsensor 201 kann es sich um einen Bildsensor links und bei dem Bildsensor 203 kann es sich um einen Bildsensor rechts handeln. Bildinformationen des Bildsensors 201 werden über eine serielle Leitung 221 des linken Sensors an einen Eingangspuffer links 222 bereitgestellt, anschließend an eine Logik 223 zur Rektifizierung links und anschließend an einen Zeilenpuffer 224 für das rektifizierte Bild links bereitgestellt. Durch die Rektifizierung wird eine Position des Fahrzeugs verändert. Bildinformationen des Bildsensors 203 werden über eine serielle Leitung 231 des rechten Sensors an einen Eingangspuffer rechts 232, anschließend an eine Logik 233 zur Rektifizierung rechts und anschließend an einen Zeilenpuffer 234 für das rektifizierte Bild rechts bereitgestellt. Durch die Rektifizierung wird eine Position des Fahrzeugs verändert. Daten aus den Zeilenpuffem 224, 234 werden an eine Logik 240 zur Disparitätsmessung bereitgestellt, die ausgebildet ist, um 3-D Koordinaten 242 zu erzeugen.
-
Bei einer hardwareunterstützten Echtzeit-Stereomessung erfolgt in der Regel eine Rektifizierung, also Entzerrung, der Orignal-Sensorbilder 101, 103 in rektifizierte Bilder 111, 113. In den rektifizierten Bildern 111, 113 kann anschließend eine Korrespondenzsuche von Merkmalen zwischen linkem und rechtem Bild entlang einer Bildzeile erfolgen. Dies ist für eine Umsetzung in Hardware, beispielsweise in einem FPGA oder ASIC, vorteilhaft. 1 zeigt den Ablauf schematisch.
-
Die Verarbeitung der Videobilddaten in einer Stereo-Hardware, beispielsweise einem FPGA, wird zeilenweise sequentiell organisiert. Die 2 zeigt den schematischen Aufbau einer entsprechenden Hardware.
-
Es gibt für jeden Sensor 201, 203 eine serielle Datenleitung 221, 231, in den die Kamerabilddaten, also die Helligkeitswerte, vom Sensor 201, 203 zur Auswertehardware, z.B. mit LVDS (Low Voltage Differential Signaling), übertragen werden. In der Auswertehardware gibt es einen Eingangspuffer 222, 232, in dem eine begrenzte Anzahl Zeilen der Eingangsbilder zwischengespeichert werden. Eine Rektifizierungslogik 223, 233 liest aus dem Eingangspuffer 222, 232 die Bildinformationen individuell aus und generierte die rektifizierten Bildinformationen. Diese werden in einem nächsten Datenpuffer 224, 234 zeilenweise abgelegt. Zwischen den Zeilen des Zwischenpuffers 224, 234 mit den rektifizierten Bilddaten des linken und rechten Kamerabildes findet die Stereo-Messung und letztlich die 3D-Rekonstruktion statt.
-
Der mechanische Aufbau eines Stereokamerasystems erfolgt praktisch mit begrenzter Genauigkeit der Ausrichtung der Kameras zueinander. Unter anderem aus diesem Grund ist daher vorab eine Kalibrierung des Stereokamerasystems, d.h. die Bestimmung der geometrischen Lage der Kameras zueinander und der optischen Verzeichnung, für eine sinnvolle Stereomessung notwendig. Die Bildrektifizierung kompensiert dann unter Verwendung der Kalibrierinformationen während der Auswertung die Lage und Abbildungsfehler.
-
In den derzeit üblichen Stereosystemen werden in der Regel die Bilder der linken und rechten Kamera zeitlich synchron aufgenommen, um eine genaue Stereomessung dynamisch bewegter Objekte zu ermöglichen. Weiterhin damit verbunden ist ein zeitlich synchroner serieller Transport der Bildzeilen vom linken und rechten Sensor in die Verarbeitungshardware zur Stereomessung.
-
Für eine sequentielle Verarbeitung laut 2 bedeutet dies, dass es bei geometrischen Lageabweichungen zwischen linker und rechter Kamera zu einem Versatz der korrespondierenden Zeilen kommt, wie es in 1 gezeigt ist. Dieser Zeilenversatz vergrößert den benötigten Eingangspuffer in der Entzerrungshardware. Dies ist unvorteilhaft, da Speicher in einer FPGA Realisierung teuer ist.
-
Der erfindungsgemäße Ansatz ermöglicht die Reduzierung des benötigten Speichers im Eingangspuffer der Hardware.
-
Werden für die Bildaufnahme CMOS-Sensoren mit einem Rolling-Shutter-Modus eingesetzt, erfolgt eine Bildaufnahme für jede Zeile zu einem unterschiedlichen Zeitpunkt. Dies ist anhand der 6 und 7 schematisch dargestellt. Ist aufgrund von mechanisch ungünstiger Montage der Kameras der Zeilenversatz groß, werden die für die Stereomessung benötigten korrespondierenden Merkmale zu unterschiedlichen Zeitpunkten aufgenommen. Dies führt insbesondere für die Stereomessung aus dem Kfz bei hohen Geschwindigkeiten dazu, dass aufgrund der schnellen Bewegung von Bildmerkmalen im Bild eine Korrespondenzmessung zwischen linker und rechter Bildzeile fehlschlägt.
-
Der erfindungsgemäße Ansatz ermöglicht die Reduzierung des zeitlichen Versatzes der Messung korrespondierender Bildmerkmale bei Einsatz von Rolling-Shutter Sensoren zur Stereomessung und damit eine Reduzierung des Fehlers der 3D-Stereomessung. Das Verfahren zur Stereo-Messung von Punktmerkmalen und deren Korrespondenzpunktzuordnung ist in 1 schematisch dargestellt. Skizziert ist das Vorgehen für ein Stereo-Bildpaar.
-
Das obere Stereo-Bildpaar 201, 203 zeigt das Original-Bildpaar nach Aufnahme durch die Kamera. Aufgrund von mechanischen Ungenauigkeiten in der Montage der Kamera und durch optische Verzeichnung sind die dargestellten korrespondierenden Ecken 105 der abgebildeten Fahrzeugrückfront um mehrere Zeilen versetzt. Der Zeilenversatz 107 ist in der Grafik schematisch angegeben.
-
Nach der Rektifizierung 110 der Original-Bilder 101, 103 mittels speziell für das Kamerasystem individuell ermittelten Kalibrierparameter sind die korrespondierenden Bildmerkmale 105 im linken und rechten rektifizierten Bild 111, 113 jeweils in einer Bildzeile. Die Korrespondenzsuche ist jetzt in einer Zeile möglich, was eine echtzeitfähige Realisierung in einer Rechenhardware stark erleichtert. Den Aufbau einer Hardware für die Stereomessung zeigt 2.
-
Aus den beiden Bildsensoren 201, 203 werden jeweils die Bildinhalte sequentiell, in die jeweiligen Eingangspuffer 222, 232 der Hardware gelesen. Ein Eingangspuffer 222, 232 besteht aus Speicher für mehrere Bildzeilen und enthält damit einen Ausschnitt des Eingangsbildes.
-
Eine Logik 223, 233 zur Rektifizierung der Bilder füllt sequentiell, wiederum zeilenweise, die Rektifizierungspuffer 224, 234. Eine nächste Logik 240 führt eine zeilenweise Stereomessung zwischen linkem und rechtem Rektifizierungspuffer 224, 234 durch und generiert Verschiebungsmessungen. Hieraus können die 3D-Koordinaten 242 der Bildmerkmale abgeleitet werden.
-
Aufgrund von mechanischen Fertigungstoleranzen ist die Genauigkeit der Montage des Stereosystems begrenzt. Ein Zeilenversatz der nicht justierten Stereokamerasysteme ist unvermeidbar. In dem in 2 dargestellten Hardwarekonzept mit synchronem Auslesen der Bildsensoren 201, 203 erfordert der Zeilenversatz eine notwendige Vergrößerung der Eingangspuffer 222, 232 in der Hardware um den entsprechenden Zeilenversatz. Erfindungsgemäß kann die Größe des Eingangspuffers 222, 232 reduziert werden, indem die Bildsensoren 201, 203 zeitlich versetzt ausgelesen werden. Die Steuerung des zeitlichen Versatzes erfolgt in Abhängigkeit von den Kalibrierinformationen.
-
Die 3 und 4 zeigen den Ablauf des Auslesens auf den in 2 gezeigten Kameraleitungen 221, 231 schematisch.
-
3 zeigt einen Signalverlauf beim Auslesen des Bildsensors auf den seriellen Datenleitungen bei einem zeilensynchronen Auslesen von linken und rechten Bildsensor. Der obere Verlauf ist dem linken Sensor und der untere Verlauf dem rechten Sensor zugeordnet. Über die Zeit t wird jeweils zeitgleich Bildinformationen einer Zeile 1 351, einer Zeile 2 352, einer Zeile 3 353 usw. des linken und des rechten Sensors ausgelesen und über die seriellen Datenleitungen übertragen. Jede der Zeilen 341, 352, 253 weist eine Mehrzahl von Helligkeitswerten 356 auf, von denen der Übersichtlichkeit halber lediglich zwei zu Beginn der Zeile 351 gezeigt sind.
-
Gezeigt ist das allgemein übliche Vorgehen für das Lesen von Daten in eine Stereo-Auswertehardware schematisch dargestellt. Die beiden Sensoren werden taktsynchron seriell ausgelesen. Jeweils die gleichen Zeilen aus linkem und rechtem Sensor werden zeitlich synchron auf den Leitungen übertragen.
-
4 zeigt entsprechend zu 3 einen Signalverlauf beim Auslesen des Bildsensors auf den seriellen Datenleitungen bei einem zeitlich versetzten Auslesen der Bildsensoren in Abhängigkeit von Kaliberinformationen, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Der obere Verlauf ist dem linken Sensor und der untere Verlauf dem rechten Sensor zugeordnet. Über die Zeit t wird bezüglich des linken Sensors eine Zeile 1 351, eine Zeile 2 352, eine Zeile 3 353 usw. ausgelesen. Parallel dazu wird bezüglich des rechten Sensors eine Zeile j 451, eine Zeile j+1 452, eine Zeile j+2 453 usw. ausgelesen. So werden in einem Ausleseschritt die Zeilen 351, 451, in einem weiteren Ausleseschritt die Zeilen 352, 452, und in einem weiteren Ausleseschritt die Zeilen 353, 453 ausgelesen.
-
Gezeigt ist ein erfindungsgemäß optimiertes Vorgehen. Es werden geometrisch näherungsweise korrespondierende Zeilen zeitlich synchron aus dem Bildsensor übertragen. Welche Zeilen näherungsweise miteinander korrespondieren wird aus den Kalibrierinformationen berechnet und kann für jeden Sensoraufbau individuell sein. Die Steuerung des zeitlichen Versatzes kann durch die Hardware selbst erfolgen. Dies erlaubt eine Reduzierung der Größe der Eingangspuffer.
-
5 zeigt ein Auslesen von Regionen 501, 503 aus einem linkem Bildsensor 201 und einem rechten Bildsensor 203 für die Stereomessung in Abhängigkeit von Kalibrierinformationen, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Regionen 501, 503 sind gleich groß und decken unterschiedliche Sensorbereiche der Sensoren 201, 203 ab. Dabei sind die Regionen 501, 503 in Bezug auf die Zeilen der Sensoren 201, 203 zueinander verschoben. Bezogen auf die Region 501 des linken Sensors 201 ist die Region 503 des rechten Sensors 204 um den Abstand 507 nach oben verschoben. Der Abstand 507 gibt dabei eine Anzahl von Zeilen an. Zusätzlich können die Regionen 501, 503 auch in Bezug auf die Spalten der Sensoren 201, 203 zueinander verschoben sein. Innerhalb der Regionen 501, 503 sind korrespondierende Bildinhalte 105 an identischen oder nahezu identischen Positionen innerhalb der Regionen 501, 503 angeordnet.
-
Viele CMOS-Sensoren erlauben das selektive Auslesen von Regionen 501, 503 des Bildsensors 201, 203. Für die Stereomessung ermöglicht dies, in Abhängigkeit von den Kalibrierdaten, die Regionen in linkem und rechtem Sensor 201, 203 individuell gezielt so auszuwählen, dass möglichst zwischen den Regionen 501, 503 im linken und rechten Bild kein oder nur ein geringer Zeilenversatz auftritt.
-
Dies ermöglicht ebenfalls eine Reduzierung der Größe des Eingangspuffers in der Stereo-Hardware. Ein entsprechendes Vorgehen ist in 5 schematisch gezeigt.
-
Bei einer Verwendung von Rolling Shutter Sensoren werden die Zeilen des Imagers zeitlich sequentiell belichtet und ausgelesen. Die 6 und 7 zeigen dies schematisch.
-
6 zeigt einen zeitlichen Ablauf der Bildaufnahme mit einem Rolling-Shutter-Sensor in einer schematischen Darstellung, bei einer zeitlich synchronen Aufnahme mit linkem und rechtem Bildsensor
-
Gezeigt ist ein Bildsensor links 201 und ein Bildsensor rechts 203, von denen jeweils das Fahrzeug mit dem Eckbereich 105 erfasst ist. Der Eckbereich 105 ist wiederum um eine Anzahl von Zeilen 107 versetzt angeordnet. Ferner sind Aufnahmezeitpunkte t0, t1 sowie eine Zeitdifferenz dt gezeigt. Dargestellt ist ein synchrones Belichten und Auslesen von linkem und rechtem Sensor 201, 203. Der Start der zeilenweisen Belichtung erfolgt jeweils zum Zeitpunkt t0. Anschließend werden die Zeilen des Sensors 201, 203 nacheinander belichtet und ausgelesen. Dies deutet der Pfeil links neben dem jeweiligen Bild an.
-
Für einen Stereoaufbau mit dem in der 1 dargestellten geometrischen Zeilenversatz führt dies dazu, dass das dargestellte Bildmerkmal 105 im linken Bild um die Zeit dt später als im rechten Bild aufgenommen wird.
-
Praktisch bedeutet dies folgendes. Für ein Bildfrequenz von 25 Hz und eine Bildauflösung von 500 Zeilen beträgt die Taktzeit für eine Bildzeile ca. 80 Mikrosekunden. Bei einem Zeilenversatz von 20 Bildzeilen beträgt der zeitliche Versatz der Belichtung zwischen linker und rechter Bildzeile ca. 1.6 Millisekunden. Insbesondere bei sich schnell im Bild bewegenden Objekten, beispielsweise einem Kraftfahrzeug im Nahbereich führt eine vertikale Bewegungsgeschwindigkeit eines Objektes von nur 25 Pixeln pro Bild zu Bild bereits zu einem Parallaxenfehler von 1 Pixel im rektifizierten Bild. Das heißt, korrespondierende Merkmale 105 dynamischer Objekte sind nach der Rektifizierung trotzdem noch um eine Bildzeile versetzt. Die Stereomessung wird dadurch erschwert.
-
7 zeigt entsprechend zu 6 einen zeitlichen Ablauf der Bildaufnahme mit einem Rolling-Shutter-Sensor in einer schematischen Darstellung, bei einem zeitlich versetzten Shutter-Modus, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
-
Gezeigt ist der Bildsensor links 201 und der Bildsensor rechts 203, von denen jeweils wiederum das Fahrzeug mit dem Eckbereich 105 erfasst ist.
-
Durch ein zeitversetztes Arbeiten des Rolling-Shutter-Verfahrens im StereoSystem kann der anhand von 6 beschriebene Effekt, dass korrespondierende Merkmale 105 dynamischer Objekte nach der Rektifizierung trotzdem noch versetzt sind, vorteilhaft reduziert werden. Der Zeitversatz ist in Abhängigkeit von den Kalibrierinformationen zu wählen, wie es in 7 gezeigt ist. Der Start der Bildaufnahme des linken Sensors 201 wird um die Zeit dt verzögert. Die Verzögerung dt wird wiederum aus Kalibrierinformationen errechnet und kann für jedes Stereosystem individuell festgelegt werden.
-
Ein solches Vorgehen verbessert die Genauigkeit und Zuverlässigkeit der Stereomessung bei dem Einsatz von Rolling-Shutter Sensoren.
-
8 zeigt eine schematische Darstellung eines Verfahrens zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren 201, 203 eines Stereo-Sensor-Systems. Die Sensoren 201, 203 sind ausgebildet, um Bildinformationen abschnittsweise in an unterschiedlichen Positionen angeordneten Sensorabschnitten zu erfassen. Als Sensorabschnitte sind hier beispielhaft jeweils sieben Zeilen gezeigt. Um einen Bildversatz 107 zwischen Aufnahmen der Sensoren 201, 203 auszugleichen, werden Bildinformationen aus den Sensorabschnitten der Sensoren 201, 203 versetzt zueinander ausgelesen. Das Auslesen wird durch eine Ausleseeinrichtung 861 gesteuert. Die Ausleseeinrichtung 861 ist ausgebildet, um eine Information über den Bildversatz 107 zu empfangen und basierend darauf in einem Ausleseschritt einen Sensorabschnitt des Sensors 201 und einen Sensorabschnitt des Sensors 203 auszulesen. Beispielhaft gezeigt ist, dass die Ausleseeinrichtung 861 in einem Ausleseschritt eine Bildinformation aus der zweiten Zeile des Sensors 201 und eine Bildinformation aus der sechsten Zeile des Sensors 203 ausliest. Die zweite Zeile des Sensors 201 und die sechste Zeile des Sensors 203 weisen jeweils den korrespondierenden Bildinhalt 105 auf. Gemäß diesem Ausführungsbeispiel werden somit Sensorabschnitte mit einem Versatz von vier Zeilen ausgelesen. In einem folgenden Ausleseschritt wird entsprechend eine Bildinformation aus der nachfolgenden dritte Zeile des Sensors 201 und eine Bildinformation aus der nachfolgenden siebten Zeile des Sensors 203 ausgelesen. Die ausgelesenen Bildinformationen können an eine Verarbeitungseinrichtung 865 ausgegeben und von dieser weiterverarbeitet oder ausgewertet werden.
-
Die Bildinformationen können von den Sensorabschnitten erfasst und zwischengespeichert werden. In diesem Fall kann die Ausleseeinrichtung 861 ausgebildet sein, um die Bildinformationen aus einem Zwischenspeicher auszulesen. Altemativ kann die Ausleseeinrichtung 861 ausgebildet sein, um ein Erfassen der Bildinformationen durch einen entsprechenden Sensorabschnitt auszulösen. In diesem Fall kann die die Ausleseeinrichtung 861 die Bildinformationen direkt aus den Sensorabschnitten auslesen.
-
Gemäß einem Ausführungsbeispiel können jeweils nur Teilbereiche der Sensorabschnitte von der Ausleseeinrichtung 861 ausgelesen werden. In diesem Fall ist die Ausleseeinrichtung 861 ausgebildet, um neben dem Versatz 807 eine weitere Information über einen Versatz innerhalb der einzelnen Sensorabschnitte, hier in horizontaler Richtung, zu empfangen und ansprechend darauf lediglich entsprechende Teilbereiche auszulesen. Besteht beispielsweise ein Versatz von einem Viertel einer Zeilenlänge so könnte beispielsweise in dem gezeigten Ausleseschritt die linke Hälfte der zweiten Zeile des linken Sensors 201 und die mittleren beiden Viertel der sechsten Zeile des rechten Sensors 203 ausgelesen werden.
-
Die erfindungsgemäßen Ansätze des zeitversetzten Auslesens der Bildsensoren oder der Auswahl von Regionen in Abhängigkeit von den Kalibrierinformationen können beispielsweise im Zusammenhang mit Assistenzsystemen im Kraftfahrzeug eingesetzt werden.
-
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
