DE102013201912A1

DE102013201912A1 - Gekoppelte Entfernungs- und Intensitätsabbildung für die Bewegungsschätzung

Info

Publication number: DE102013201912A1
Application number: DE102013201912A
Authority: DE
Inventors: Shuqing Zeng
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2012-02-10
Filing date: 2013-02-06
Publication date: 2013-08-14
Also published as: US9069075B2; US20130211657A1; CN103245951A; CN103245951B

Abstract

Ein Verfahren und ein System können einen gekoppelten Entfernungsbildwandler und Intensitätsbildwandler zum Erhalten einer Folge wenigstens zweier automatisch ausgerichteter Bilder betreiben, wobei jedes automatisch ausgerichtete Bild gleichzeitig erfasste Entfernungsdaten und Intensitätsdaten hinsichtlich einer abgebildeten Szene enthält. Die ausgerichteten Entfernungs- und Intensitätsdaten werden analysiert, um eine geschätzte Bewegung eines Elements eines abgebildeten Objekts der abgebildeten Szene zu liefern oder zu erzeugen.

Description

Die vorliegende Erfindung bezieht sich auf die Bestimmung von Orten und Relativgeschwindigkeiten von Objekten.
HINTERGRUND DER ERFINDUNG
Ein Fahrzeug kann mit einem System oder mit einer Vorrichtung zum semiautonomen oder autonomen Steuern des Fahrzeugs ausgestattet sein, um eine Relativposition auf einer Straße aufrechtzuerhalten und um eine Kollision mit Objekten oder Strukturen zu vermeiden. Ein solches System kann die Verwendung verschiedener Sensoren zum Detektieren der Orte von Strukturen oder Objekten wie etwa Rändern der Straße und anderen Objekten umfassen. Zum Beispiel können verschiedene Sensoren zum Detektieren von Abständen zu Objekten und einer Verteilung der Intensität der Strahlung, die von den Objekten reflektiert wird, betrieben werden.
ZUSAMMENFASSUNG DER ERFINDUNG
Ein gekoppelter Entfernungsbildwandler und Intensitätsbildwandler kann zum Erhalten einer Folge wenigstens zweier automatisch ausgerichteter Bilder betrieben werden, wobei jedes automatisch ausgerichtete Bild gleichzeitig erfasste Entfernungsdaten und Intensitätsdaten hinsichtlich einer abgebildeten Szene enthält. Die ausgerichteten Entfernungs- und Intensitätsdaten können analysiert werden, um eine geschätzte Bewegung eines Elements eines abgebildeten Objekts der abgebildeten Szene zu liefern oder zu erzeugen.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Der als die Erfindung angesehene Gegenstand ist besonders in dem abschließenden Abschnitt der Patentschrift dargelegt und eindeutig beansprucht. Allerdings kann die Erfindung sowohl hinsichtlich der Organisation als auch des Betriebsverfahrens zusammen mit ihren Aufgaben, Merkmalen und Vorteilen am besten mit Bezug auf die folgende ausführliche Beschreibung zusammen mit den beigefügten Zeichnungen verstanden werden, in denen:
1 eine schematische Darstellung eines Systems mit einem gekoppelten Entfernungsbildwandler und Intensitätsbildwandler in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung ist;
2 schematisch ein Fahrzeug zeigt, das ein System mit einem gekoppelten Entfernungsbildwandler und Intensitätsbildwandler in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung enthält;
3 ein Ablaufplan eines Verfahrens für den Betrieb einer gekoppelten Entfernungsbildwandler- und Intensitätsbildwandlervorrichtung in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung ist;
4 die koordinierte Erfassung von Pixeln eines Entfernungs- und Intensitätsbilds in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung darstellt; und
5 ein Ablaufplan eines Verfahrens für die Bewegungsschätzung in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung ist.
Es ist klar, dass in den Figuren gezeigte Elemente zur Einfachheit und Klarheit der Darstellung nicht notwendig maßstabsgerecht sind. Zum Beispiel können die Dimensionen einiger der Elemente relativ zu anderen Elementen zur Klarheit überhöht sein. Ferner können Bezugszeichen, wo dies für geeignet gehalten wird, zur Angabe einander entsprechender oder analoger Elemente unter den Figuren wiederholt sein.
AUSFÜHRLICHE BESCHREIBUNG DER VORLIEGENDEN ERFINDUNG
In der folgenden ausführlichen Beschreibung sind zahlreiche spezifische Einzelheiten dargelegt, um ein gründliches Verständnis der Erfindung zu schaffen. Allerdings versteht der Fachmann auf dem Gebiet, dass die vorliegende Erfindung ohne diese spezifischen Einzelheiten verwirklicht werden kann. In anderen Fällen sind gut bekannte Verfahren, Prozeduren und Komponenten nicht ausführlich beschrieben worden, um die vorliegende Erfindung nicht zu verdecken.
Sofern nicht spezifisch etwas anderes angegeben ist, wie es aus den folgenden Diskussionen hervorgeht, ist klar, dass sich die Nutzung von Begriffen wie etwa ”Verarbeiten”, ”mittels Computer Verarbeiten”, ”Speichern”, ”Bestimmen”, ”Auswerten”, ”Berechnen”, ”Bereitstellen”, ”Übertragen” oder dergleichen überall in den spezifischen Diskussionen auf die Aktion und/oder auf Prozesse eines Computers oder Computersystems oder einer ähnlichen elektronischen Computervorrichtung bezieht, die Daten, die als physikalische, wie etwa elektronische, Größen innerhalb der Register und/oder Speicher des Computersystems dargestellt sind, in andere Daten manipuliert und/oder umwandelt, die ähnlich als physikalische Größen innerhalb der Speicher, Register oder anderer solcher Informationsablage-, Informationsübertragungs- oder Informationsanzeigevorrichtungen des Computersystems dargestellt sind.
In Übereinstimmung mit einer Ausführungsform der Erfindung kann ein System einen Entfernungsbildwandler und einen Intensitätsbildwandler enthalten, die optisch gekoppelt sind und auf gekoppelte Weise betrieben werden. Zum Beispiel können ein gekoppelter Entfernungsbildwandler und Intensitätsbildwandler in ein System zum Steuern des autonomen Fahrens eines Fahrzeugs integriert oder ihm zugeordnet sein. (In einigen Ausführungsformen braucht kein System zum Steuern des autonomen Fahrens verwendet zu werden.) Eine solche Kopplung kann als eine enge Kopplung bezeichnet werden, da es eine physikalische Kopplung (z. B. eine mechanische – beide sind aneinander befestigt, eine optische – die durch beide erzeugten Bilder weisen eine konstante Beziehung zueinander auf, und eine elektronische – ein einzelner Satz von Elektronik betreibt beide) der Entfernungs- und der Intensitätsbildwandlervorrichtung gibt. Zum Beispiel können sowohl der Entfernungsbildwandler als auch der Intensitätsbildwandler eine Optik, die ankommende Strahlung auf Detektoren sowohl des Entfernungs- als auch des Intensitätsbildwandlers fokussiert, gemeinsam nutzen. Zum Beispiel kann die ankommende Strahlung über einen Strahlteiler gehen, der einen Teil der ankommenden Strahlung zu einem Detektor des Entfernungsbildwandlers und einen Teil zu einem Detektor des Intensitätsbildwandlers lenkt. Ähnlich kann die Bilderfassung sowohl in dem Entfernungs- als auch in dem Intensitätsbildwandler synchronisiert (z. B. durch ein gemeinsames Auslösesignal initiiert) werden. Auf diese Weise kann es zwischen einem Entfernungsbild, das über den Entfernungsbildwandler erfasst wird, und einem Intensitätsbild, das über den Intensitätsbildwandler erfasst wird, eine automatisch bekannte (z. B. ohne Bildanalyse der erfassten Bilder) zeitliche und räumliche Beziehung (oder Ausrichtung) geben. Diese automatisch bekannte zeitliche und räumliche Beziehung kann als automatische Ausrichtung bezeichnet werden.
Somit können die Bilddaten von beiden Bildwandlern zu einem einzelnen automatisch ausgerichteten Bild kombiniert werden. Die Entfernungs- und Intensitätsdaten können, z. B. durch Integration zu einer einzelnen Datenstruktur, tatsächlich kombiniert werden oder können als ein einzelner Datensatz behandelt werden, indem bekannte Korrelationen zwischen Pixeln des Entfernungs- und Intensitätsbilds genutzt werden. Somit kann der synchronisierte Betrieb des Entfernungsbildwandlers und des Intensitätsbildwandlers ermöglichen, dass ein automatisch ausgerichtetes Bild erhalten wird. Der zweimal oder mehrmals wiederholte synchronisierte Betrieb kann ermöglichen, dass eine Folge wenigstens zweier automatisch ausgerichteter Bilder erhalten wird.
Eine Analyse des automatisch ausgerichteten Bilds kann dreidimensionale Ortsinformationen eines abgebildeten Objekts liefern oder erzeugen. Eine Analyse aufeinanderfolgend erfasster Bilder kann (z. B. über Anwendung einer Lichtflusstechnik) Informationen hinsichtlich der Bewegung eines abgebildeten Objekts relativ zu einer Plattform (z. B. einem Fahrzeug), der der Entfernungs- und der Intensitätsbildwandler zugeordnet sind (z. B. an der sie angebracht, getragen oder befestigt sind), liefern.
Eine automatische Ausrichtung kann durch eine bekannte zeitliche und räumliche Beziehung ermöglicht werden, die sich aus der physikalischen Kopplung des Entfernungs- und des Intensitätsbildwandlers ergibt. Andererseits können die Bildwandler in Abwesenheit einer solchen physikalischen Kopplung (z. B. wie in einigen Systemen des Standes der Technik) lose gekoppelt sein. Zum Beispiel wären bei lose koppelnden Systemen des Standes der Technik ein Entfernungsbildwandler und ein Intensitätsbildwandler auf ein einzelnes Objekt gerichtet, wobei aber jeder Bildwandler getrennte Abbildungsoptiken aufweisen würde und bei der Bilderfassung durch ein getrenntes Auslösesignal ausgelöst wird. Somit würde die Bilderfassung nur näherungsweise durch einen gemeinsamen Takt synchronisiert. In einem solchen System des Standes der Technik könnten Objekte in erfassten Bildern für die Anwendung von Bildverarbeitungstechniken ausgerichtet werden. Die Anwendung solcher Bildverarbeitungstechniken könnte (insbesondere z. B. dann, wenn eine abgebildete Szene überhäuft ist) eine Ungenauigkeit in die Ausrichtung einführen. Eine solche Anwendung von Bildverarbeitungstechniken könnte zeitaufwendiger sein als die automatische Ausrichtung, die sich aus der physikalischen Kopplung von Entfernungs- und Intensitätsbildwandler in Übereinstimmung mit einer Ausführungsform der Erfindung ergibt.
1 ist eine schematische Darstellung eines Systems mit einem gekoppelten Entfernungsbildwandler und Intensitätsbildwandler in Übereinstimmung mit einer Ausführungsform der Erfindung. Die gekoppelte Entfernungsbildwandler- und Intensitätsbildwandlervorrichtung 10 kann z. B. in ein System für autonomes Fahren eines Fahrzeugs integriert sein. Die gekoppelte Entfernungsbildwandler- und Intensitätsbildwandlervorrichtung 10 kann einen Controller 12 enthalten. Der Controller 12 kann eine oder mehrere Controllervorrichtungen zum Steuern einer oder mehrerer Komponenten einer gekoppelten Entfernungsbildwandler- und Intensitätsbildwandlervorrichtung 10 enthalten. Der Controller 12 kann so arbeiten, wie es durch eine enthaltene Schaltungsanordnung bestimmt ist, kann in Übereinstimmung mit programmierten Anweisungen arbeiten oder kann in Übereinstimmung mit einer Kombination der Obigen arbeiten.
Der Controller 12 kann in einen Prozessor 32 integriert sein oder mit ihm kommunizieren oder kann unabhängig von einem Prozessor 32 arbeiten. Der Prozessor 32 kann z. B. in ein System für autonomes Fahren eines Fahrzeugs integriert sein oder kann ein getrennter Prozessor sein. Der Prozessor 32 kann mehrere miteinander kommunizierende Verarbeitungsvorrichtungen enthalten. Der Prozessor 32 kann in Übereinstimmung mit programmierten Anweisungen arbeiten.
Der Prozessor 32 kann mit einer Datenablagevorrichtung 34 kommunizieren oder ihr zugeordnet sein. Der Prozessor 32 kann z. B. eine Zentraleinheit (CPU), einen Chip oder irgendeine geeignete Computer- oder Rechenvorrichtung enthalten. Der Prozessor 32 kann mehrere Prozessoren enthalten und kann Universalprozessoren und/oder dedizierte Prozessoren wie etwa Graphikverarbeitungschips enthalten. Der Prozessor 32 kann Code oder Anweisungen, die z. B. im Speicher 36 oder in der Datenablagevorrichtung 34 gespeichert sind, ausführen, um Ausführungsformen der vorliegenden Erfindung auszuführen.
Der Speicher 36 kann z. B. ein Schreib-Lese-Speicher (RAM), ein Nur-Lese-Speicher (ROM), ein dynamischer RAM (DRAM), ein synchroner DRAM (SD-RAM), ein Speicherchip mit doppelter Datenrate (DDR-Speicherchip), ein Flash-Speicher, ein flüchtiger Speicher, ein nichtflüchtiger Speicher, ein Cache-Speicher, ein Puffer, eine Kurzzeitspeichereinheit, eine Langzeitspeichereinheit oder andere geeignete Speichereinheiten oder Ablageeinheiten sein oder enthalten. Der Speicher 36 kann mehrere Speichereinheiten sein oder enthalten.
Die Datenablagevorrichtung 34 kann z. B. ein Festplattenlaufwerk, ein Diskettenlaufwerk, ein Compact-Disc-Laufwerk (CD-Laufwerk), ein CD-Recordable-Laufwerk (CD-R-Laufwerk), eine Universal-Serial-Bus-Vorrichtung (USB-Vorrichtung) oder eine andere geeignete Wechsel- oder Festablageeinheit sein oder enthalten und kann mehrere oder eine Kombination solcher Einheiten enthalten. Zum Beispiel kann die Datenablagevorrichtung 34 zum Speichern von Programmanweisungen für den Betrieb des Prozessors 32 oder des Controllers 12 betrieben werden, kann sie zum Speichern von Daten, die durch eine gekoppelte Entfernungsbildwandler- und Intensitätsbildwandlervorrichtung 10 erfasst werden, verwendet werden oder kann sie zum Speichern von Daten oder Parametern, die während des Betriebs des Prozessors 32 oder Controllers 12 genutzt oder erzeugt werden können, verwendet werden. Der Prozessor 32 kann mit der Speichervorrichtung 36 kommunizieren oder ihr zugeordnet sein. Die Speichervorrichtung 36 kann eine oder mehrere flüchtige oder nichtflüchtige Speichervorrichtungen enthalten, in denen während des Betriebs des Prozessors 32 oder des Controllers 12 Daten gespeichert werden können oder aus denen während ihres Betriebs Daten gelesen werden können.
Der Controller 12 kann z. B. den Betrieb von Komponenten der gekoppelten Entfernungsbildwandler- und Intensitätsbildwandlervorrichtung 10 wie etwa eines Modulators 14, eines Entfernungsbildwandlerdetektors 28 und eines Intensitätsbildwandlerdetektors 30 steuern. Das Steuern des Betriebs des Modulators 14, des Entfernungsbildwandlerdetektors 28 und des Intensitätsbildwandlerdetektors 30 kann die Erfassung eines automatisch ausgerichteten Entfernungs-Intensitäts-Bilds ermöglichen.
Der Controller 12 kann einen Lichtemitter steuern, der eine Lichtquelle 16 enthält, deren Betrieb durch den Modulator 14 gesteuert wird. Die Lichtquelle 16 kann z. B. eine Laserdiode oder eine Lichtemitterdiode (LED) enthalten, die Strahlung mit einer bekannten Wellenlänge (oder mit einem Satz oder Bereich von Wellenlängen) emittieren kann. Die Lichtquelle 16 kann mehrere gleiche oder unterschiedliche Lichtquellen enthalten. Der Modulator 14 kann die Lichtquelle 16 zum Emittieren von Lichtimpulsen (die sich hier auf irgendeine geeignete elektromagnetische Strahlung wie etwa Infrarotstrahlung oder Strahlung im nahen Infrarot und nicht notwendig auf sichtbare Strahlung beziehen) oder zum Emittieren von Licht mit einem vorgegebenen zeitlich veränderlichen Muster wie etwa einem Intensitätsmuster oder einem veränderlichen Wellenlängenmuster steuern.
Die emittierte Strahlung kann durch eine Emitteroptik 18 auf eine Szene gelenkt werden. Die Emitteroptik 18 kann z. B. eine oder mehrere Linsen, Spiegel, Prismen, Blenden oder andere optische Bauelemente enthalten, um wenigstens einen Teil des Lichts, das durch die Lichtquelle 16 emittiert wird, in Form eines Lichtbündels, Lichtfächers oder Lichtkegels in Richtung der Szene umzulenken. Die Emitteroptik 18 kann z. B. feststehende Komponenten enthalten oder kann eine oder mehrere bewegliche Komponenten enthalten. Die beweglichen Komponenten können z. B. durch den Controller 12 zum Abtasten eines Lichtbündels über die Szene, um mehrere Gebiete der Szene zu beleuchten, gesteuert werden. Die Szene kann ein Objekt 20 enthalten. Von der Lichtquelle 16 emittiertes Licht kann durch verschiedene Punkte auf dem Objekt 20 in Richtung der Sammeloptik 24 reflektiert werden.
Ähnlich kann Licht von einer Umgebungsquelle 22 (z. B. direktes oder reflektiertes natürliches Licht von der Sonne oder von dem Himmel oder künstliche Umgebungsbeleuchtung wie etwa von Straßenlaternen oder von Fahrzeugscheinwerfern oder von einer stationären oder intermittierenden Lichtquelle, die der gekoppelten Entfernungsbildwandler- und Intensitätsbildwandlervorrichtung 10 zugeordnet ist) von dem Objekt 20 in Richtung der Sammeloptik 24 reflektiert werden. Das Licht von der Umgebungsquelle 22 kann z. B. mehrfarbig (z. B. im Wesentlichen weiß) sein. Somit kann das Spektrum von Licht, das von der Umgebungsquelle 22 ausgeht und von dem Objekt 20 reflektiert wird, in Übereinstimmung mit einer Oberflächenfarbe des Objekts 20 gefärbt sein.
Licht, das auf die Sammeloptik 24 einfällt, kann fokussiert und in Richtung des Strahlteilers 26 gelenkt werden. Die Sammeloptik 24 kann z. B. eine oder mehrere Linsen, Spiegel, Prismen, Blenden oder andere optische Komponenten enthalten, um wenigstens einen Teil des Lichts, das von einer Szene wie etwa einer Szene, die das Objekt 20 enthält, einfällt, in Richtung des Strahlteilers 26 zu lenken.
Der Strahlteiler 26 kann einen Teil des einfallenden Lichts in Richtung des Entfernungsbildwandlerdetektors 28 und einen Teil in Richtung des Intensitätsbildwandlerdetektors 30 lenken. Der Strahlteiler 26 kann z. B. einen selektiven Spiegel oder ein selektives Filter enthalten, der bzw. das Licht in dem Spektralbereich von Licht, das von der Lichtquelle 16 emittiert wird, in Richtung des Entfernungsbildwandlerdetektors 28 lenkt. Als ein anderes Beispiel kann Licht unter Verwendung eines anderen Typs einer Strahlteilungstechnik, die nicht notwendig spektral selektiv ist, zwischen dem Entfernungsbildwandlerdetektor 28 und dem Intensitätsbildwandlerdetektor 30 aufgeteilt werden. Der Strahlteiler 26 kann z. B. eine teilreflektierende oder -durchlässige Oberfläche wie etwa einen teilversilberten Spiegel, ein teilversilbertes Prisma, ein teilversilbertes Filter oder eine andere ähnlich Komponente enthalten.
Wegen der Fokussierung der Sammeloptik 24 kann ein Bild der Szene, das ein Bild des Objekts 20 enthält, gleichzeitig sowohl auf den Entfernungsbildwandlerdetektor 28 als auch auf den Intensitätsbildwandlerdetektor 30 abgebildet werden. Der Controller 12 kann dann den Entfernungsbildwandlerdetektor 28 und den Intensitätsbildwandlerdetektor 30 zum gleichzeitigen Erfassen von Entfernungs- und Intensitätsbildern betreiben.
Der Controller 12 kann z. B. Entfernungsbildwandlerpixel 29 des Entfernungsbildwandlerdetektors 28 zum Detektieren von einfallendem Licht in einer mit der Emission von Licht durch die Lichtquelle 16 synchronisierten Weise steuern. Zum Beispiel kann die Elektronik oder Schaltungsanordnung, die den Entfernungsbildwandlerpixeln 29 zugeordnet oder in sie integriert ist, zum Messen einer Flugzeit eines Lichtimpulses von der Lichtquelle 16 zu einem Entfernungsbildwandlerpixel 29 konfiguriert sein. Auf diese Weise kann eine Entfernung (z. B. ein Abstand) zu jedem abgebildeten Punkt (z. B. zu den abgebildeten Punkten 21) des Objekts 20 von der gekoppelten Entfernungsbildwandler- und Intensitätsbildwandlervorrichtung 10 berechnet werden. Eine zweidimensionale Anordnung 25 berechneter Entfernungen von Punkten oder ein Entfernungsbild kann z. B. im Speicher 36 oder in einer Datenablagevorrichtung 32 gesichert werden. Der Entfernungsbildwandlerdetektor 28 kann z. B. eine Photomischvorrichtungs-Flugzeitkamera (PMD-Flugzeitkamera) des durch PMD Technologies hergestellten Typs enthalten.
Gleichzeitig oder im Wesentlichen gleichzeitig mit der Erfassung eines Entfernungsbilds kann der Controller 12 den Intensitätsbildwandlerdetektor 30 zum Erfassen eines Intensitätsbilds der abgebildeten Szene einschließlich des Objekts 20 steuern. Die Intensitätsbildwandlerpixel 31 des Intensitätsbildwandlerdetektors 30 können z. B. Anordnungen von Detektoren mit ladungsgekoppelten Vorrichtungen (CCD-Detektoren) oder Komplementär-Metalloxid-Halbleiterdetektoren (CMOS-Detektoren) oder andere Arten von Bildwandlern enthalten. Jeder Detektor kann ein Signal erzeugen, das die Intensität von Strahlung angibt, die auf diesen Detektor auffällt, und somit die Helligkeit eines entsprechenden Pixels eines resultierenden Bilds bestimmt. Eine solche Anordnung von Detektoren kann einen Farbtrennungsmechanismus (z. B. eine Anordnung von Farbfiltern) enthalten, um ein Farbbild zu erzeugen. Die Detektoranordnung kann z. B. ein Dreifarb-Rot-Grün-Blau-Bild (Dreifarb-RGB-Bild) erzeugen. Somit können die abgebildeten Objekte durch ihre Oberflächenfarben sowie durch ihre Positionen voneinander unterschieden werden. Ein erfasstes Bild kann z. B. im Speicher 36 oder auf der Datenablagevorrichtung 32 gesichert werden.
Im Ergebnis der gemeinsamen Nutzung der Optik und der Synchronisation der Bilderfassung werden das erfasste Entfernungs- und Intensitätsbild automatisch ausgerichtet. Somit kann Strahlung, die von einem Element eines abgebildeten Objekts reflektiert wird, das unter einer bekannten Winkelposition relativ zu einer optischen Achse der Sammeloptik 24 ist, immer auf dasselbe Paar eines Entfernungsbildwandlerpixels 29 und eines entsprechenden Intensitätsbildwandlerpixels 31 fokussiert werden. Es kann ein Abbild, eine Tabelle, eine Funktionsbeziehung oder eine andere Entsprechung, die jedes Entfernungsbildwandlerpixel 29 mit seinem entsprechenden Intensitätsbildwandlerpixel 31 korreliert, konstruiert werden. Eine solche Entsprechung kann z. B. während einer Kalibrierungsprozedur, die an einem System während der Herstellung oder Wartung einer gekoppelten Entfernungsbildwandler- und Intensitätsbildwandlervorrichtung 10 oder an einem Prototyp einer gekoppelten Entfernungsbildwandler- und Intensitätsbildwandlervorrichtung 10 während einer Entwurfs- oder Entwicklungsphase einer Produktlinie ausgeführt wird, gemessen oder konstruiert werden.
Die erfassten Entfernungsbilder und Intensitätsbilder können zu einem einzelnen Entfernungs-Intensitäts-Bild kombiniert werden. Somit kann jeder Punkt (z. B. jedes Pixel) des Entfernungs-Intensitäts-Bilds durch vier Werte charakterisiert werden, die einen entsprechenden Punkt oder ein entsprechendes Gebiet des abgebildeten Objekts 20 charakterisieren: eine Entfernung zu dem Punkt des Objekts (ein Wert) und eine Intensität des reflektierten Lichts in jedem RGB-Farbkanal (drei Werte). Es können andere Typen von Intensitätsdaten (z. B. unter Verwendung eines alternativen Satzes von Farbkanälen oder eines monochromatischen Bilds) verwendet werden. Es können andere Anzahlen von Werten verwendet werden.
Die Differenzen zwischen Bildern, die zu aufeinanderfolgenden Zeitpunkten erzeugt werden, können analysiert werden, um eine Bewegung oder eine geschätzte Bewegung jedes abgebildeten Objekts (oder Punkts des Objekts) relativ zu der gekoppelten Entfernungsbildwandler- und Intensitätsbildwandlervorrichtung 10 zu liefern oder zu erzeugen. Die resultierende Bewegung kann z. B. als eine Grundlage verwendet werden, um ein Fahrzeug in der Weise zu steuern, dass eine Kollision mit dem abgebildeten Objekt vermieden wird.
2 zeigt schematisch ein Fahrzeug, das ein System mit einem gekoppelten Entfernungsbildwandler und Intensitätsbildwandler in Übereinstimmung mit einer Ausführungsform der Erfindung enthält.
Ein Fahrzeug oder Trägerfahrzeug 50 (z. B. ein LKW, ein SUV, ein Bus, ein PKW, ein motorisierter Wagen oder ein anderes Fahrzeug) kann eine gekoppelte Entfernungsbildwandler- und Intensitätsbildwandlervorrichtung 10 enthalten. Die gekoppelte Entfernungsbildwandler- und Intensitätsbildwandlervorrichtung 10 kann mit einem oder mit mehreren automatischen Fahrzeugsteuersystemen, Anwendungen für autonomes Fahren oder automatisierten Fahrzeugsteuersystemen 90 zusammenarbeiten oder getrennt von ihnen arbeiten. Das automatisierte Fahrzeugsteuersystem 90 kann z. B. ein automatisiertes Lenksystem oder ein automatisiertes Bremssystem sein. Automatisierte Fahrzeugsteuersysteme 90 können z. B. vollständig oder teilweise die Lenkung oder Bremsung des Fahrzeugs steuern oder die Lenksteuereingabe des Fahrers (z. B. des Betreibers des Fahrzeugs 50) über das Lenkrad 82 oder die Bremssteuerung 24 (z. B. ein Bremspedal oder eine Handbremse) ändern oder verringern, wenn sie eingerückt sind.
Bei dem Fahrzeug 50 können einer oder mehrere Sensoren befestigt oder ihm zugeordnet sein. In einer Ausführungsform der vorliegenden Erfindung kann das Fahrzeug 50 eine oder mehrere Vorrichtungen oder Sensoren zum Messen der Fahrzeuglenkungseingabe, der Fahrzeuglenkungsbedingungen, der Fahrzeuglenkungsparameter, der Fahrzeugdynamik, der Fahrereingabe oder anderer fahrzeugbezogener Bedingungen oder Messwerte enthalten. Die Fahrzeugdynamik-Messvorrichtungen können einen oder mehrere Lenkwinkelsensoren (die z. B. mit dem Lenkrad 82 oder mit einer anderen Komponente des Lenkungssystems verbunden sind) enthalten. Außerdem können die Fahrzeugdynamik-Messvorrichtungen einen Beschleunigungsmesser, einen Tachometer, einen Raddrehzahlsensor, eine Inertialmesseinheit (IMU), Gangschaltungs-Positionssensoren, einen Gaspedal-Positionssensor, einen Bremspedal-Positionssensor oder andere oder unterschiedliche Vorrichtungen enthalten.
Die Fahrzeugdynamik-Messvorrichtungen können Fahrereingabe- oder Fahrzeugdynamikparameter einschließlich der Querbeschleunigung (z. B. der Winkelbeschleunigung oder der Zentripetalbeschleunigung), der Längsbeschleunigung, der Vertikalbeschleunigung, des Lenkdrehmoments, der Lenkrichtung, des Lenkradeinschlagwinkels, der Gierrate, der Quer- und Längsgeschwindigkeit, der Raddrehgeschwindigkeit und -beschleunigung und anderer Fahrzeugdynamikeigenschaften des Fahrzeugs 50 messen. Außerdem können die eine oder die mehreren Fahrzeugdynamik-Messvorrichtungen vertikale Kräfte auf jeden von wenigstens einem der Reifen des Fahrzeugs 50 messen. Die gemessenen Fahrzeugdynamik-, Fahrzeugbedingungs-, Lenkungsmesswert-, Lenkungsbedingungs- oder Fahrereingabeinformationen können z. B. über einen Drahtverbindungs-Netzbus (z. B. einen Controller-Area-Network-Bus (CAN-Bus), einen Flexray-Bus, ein Ethernet-Kabel) oder über eine drahtlose Verbindung an das automatisierte Fahrzeugsteuersystem 90 gesendet oder übertragen werden. Die gemessenen Fahrzeugdynamik-, Fahrzeugbedingungs- oder Fahrereingabe-Informationsdaten können von dem automatisierten Fahrzeugsteuersystem 90 oder von einem anderen System verwendet werden, um ein gegenwärtiges Risiko oder eine gegenwärtige Wahrscheinlichkeit einer Kollision zu bestimmen und um einen gewünschten Betrieb des Fahrzeugs 50 in der Weise berechnen, dass die Möglichkeit oder Wahrscheinlichkeit einer Kollision minimiert wird. Obwohl hier bestimmte Fahrzeugdynamik-Messvorrichtungen und ein automatisiertes Fahrzeugsteuersystem diskutiert sind, können andere Typen solcher Systeme verwendet werden. Außerdem braucht eine gekoppelte Entfernungsbildwandler- und Intensitätsbildwandlervorrichtung, wie sie hier offenbart ist, nicht mit einem automatisierten Fahrzeugsteuersystem verwendet zu werden.
In einer Ausführungsform der vorliegenden Erfindung kann das automatisierte Fahrzeugsteuersystem 90 eine an dem Armaturenbrett des Fahrzeugs, im Fahrgastraum 40 (oder im Führerhaus) oder im Laderaum 60 (z. B. einem Kofferraum) angebrachte Computervorrichtung enthalten oder darin enthalten sein. In alternativen Ausführungsformen kann sich das automatisierte Fahrzeugsteuersystem 90 in einem anderen Teil des Fahrzeugs 50 befinden, kann es sich in mehreren Teilen des Fahrzeugs 50 befinden oder kann sich seine gesamte Funktionalität oder ein Teil davon fern (z. B. in einem fernen Server oder in einer tragbaren Computervorrichtung wie etwa einem Mobiltelefon) befinden. Die gesamte Funktionalität einer gekoppelten Entfernungsbildwandler- und Intensitätsbildwandlervorrichtung und eines automatisierten Fahrzeugsteuersystems oder ein Teil davon kann durch dieselbe(n) Vorrichtung(en), z. B. durch den Controller 12, durch den Prozessor 32, durch den Speicher 36 und/oder durch die Datenablage 34 oder durch andere Vorrichtungen, ausgeführt werden.
Obwohl verschiedene Sensoren und Eingaben diskutiert sind, kann in einigen Ausführungsformen nur ein Teilmengentyp (z. B. ein Typ) eines Sensors oder einer Eingabe verwendet sein.
3 ist ein Ablaufplan eines Beispiels eines Verfahrens für den Betrieb einer gekoppelten Entfernungsbildwandler- und Intensitätsbildwandlervorrichtung in Übereinstimmung mit einer Ausführungsform der Erfindung. Das Betriebsverfahren 100 des gekoppelten Entfernungsbildwandlers und Intensitätsbildwandlers kann durch einen Prozessor oder Controller implementiert werden, der einer gekoppelten Entfernungsbildwandler- und Intensitätsbildwandlervorrichtung [engl.: ”intensity device”], z. B. eines Fahrzeugs, zugeordnet ist. Das Betriebsverfahren 100 des gekoppelten Entfernungsbildwandlers und Intensitätsbildwandlers kann z. B. periodisch, z. B. in vorgegebenen Zeitintervallen oder in Zeitintervallen, die in Übereinstimmung mit erfassten Bedingungen (z. B. Fahrzeuggeschwindigkeit, Straßenkrümmung oder Umweltbedingungen) bestimmt werden, ausgeführt werden.
In Bezug auf diesen Ablaufplan und in Bezug auf alle Ablaufpläne, auf die hier Bezug genommen wird, ist festzustellen, dass die Unterteilung des dargestellten Verfahrens in getrennte Betriebe, die durch getrennte Blöcke angegeben sind, nur zur Zweckmäßigkeit und Klarheit gewählt worden ist. Das dargestellte Verfahren könnte mit äquivalenten Ergebnissen auf alternative Weise unterteilt werden. Alle solche alternativen Unterteilungen des Verfahrens in Betriebe sind als im Umfang von Ausführungsformen der Erfindung liegend anzusehen. Sofern nicht etwas anderes angegeben ist, sind die Blöcke und die dargestellten Betriebe ähnlich in einer Reihenfolge gezeigt, die nur zur Zweckmäßigkeit und Klarheit ausgewählt worden ist. Sofern nicht etwas anderes angegeben ist, könnten die dargestellten Betriebe des dargestellten Verfahrens mit äquivalenten Ergebnissen in einer alternativen Reihenfolge oder gleichzeitig ausgeführt werden. Alle solchen Umordnungen von Blöcken des Ablaufplans und der entsprechenden Betriebe sind als im Umfang von Ausführungsformen der Erfindung liegend anzusehen.
Bei der Ausführung des Betriebsverfahrens 100 des gekoppelten Entfernungsbildwandlers und Intensitätsbildwandlers kann auf ein Auslösesignal gewartet werden (Block 100). Ein Auslösesignal kann z. B. in vorgegebenen Intervallen durch einen Controller erzeugt und/oder gesendet werden. Die Intervalle, in denen aufeinanderfolgende Auslösesignale erzeugt werden, können in Übereinstimmung mit Anforderungen (z. B. eines Systems für autonomes Fahren eines Fahrzeugs, z. B., um ein Objekt rechzeitig zu detektieren, um eine Kollision zwischen dem Fahrzeug und dem Objekt zu vermeiden, oder um Unterschiede zwischen aufeinanderfolgend erfassten Bildern zu minimieren), in Übereinstimmung mit Fähigkeiten des Systems (z. B. mit einer Zeit, die zum Erfassen und Auslesen von Entfernungs- und Intensitätsdaten erforderlich ist) oder in Übereinstimmung mit einer Kombination der obigen oder irgendwelcher anderen Faktoren bestimmt werden.
Wenn ein Auslösesignal detektiert wird, kann ein Intensitätsbild oder können Intensitätsdaten erfasst werden (Block 120). Zum Beispiel kann eine CCD-Ausleseschaltung betrieben werden, um Auslesungen der in jedem CCD-Pixel einer CCD-Anordnung angesammelten Ladungen zu erhalten. Die Auslesungen können in eines oder in mehrere Intensitätsbildwandler der abgebildeten Szene umgesetzt werden. Zum Beispiel können die Auslesungen in eine RGB-Darstellung der abgebildeten Szene umgesetzt werden.
Außerdem können bei Detektierung eines Auslösesignals ein Entfernungsbild oder Entfernungsdaten erfasst werden (Block 130). Das Entfernungsbild oder die Entfernungsdaten können gleichzeitig oder im Wesentlichen gleichzeitig mit der Erfassung des Intensitätsbilds oder der Intensitätsdaten erfasst werden. Das Auslösesignal kann z. B. veranlassen, dass ein Modulator des Entfernungsbildwandlers eine Lichtquelle zum Emittieren eines Lichtimpulses steuert. Gleichzeitig kann eine Ausleseschaltung betrieben werden, um eine Flugzeit zwischen der Emission und der Detektierung des Impulses durch jedes Pixel des Bildwandlers zu erhalten. Eine durch die Ausleseschaltung erzeugte Spannung kann z. B. eine Flugzeit des Impulses von der Lichtquelle des Entfernungsbildwandlers bis zu einem Punkt eines abgebildeten Objekts und zurück zu dem Detektor des Entfernungsbildwandlers angeben und in diese umgesetzt werden. Die Flugzeit kann mit der Lichtgeschwindigkeit multipliziert werden, um eine Hin- und Rückflugstrecke zwischen dem Entfernungsbildwandler und dem Punkt, von dem der Impuls reflektiert wurde, zu liefern oder zu erzeugen. Die Hin- und Rückflugstrecke kann durch zwei dividiert werden, um eine Entfernung des abgebildeten Punkts zu liefern oder zu erzeugen.
4 veranschaulicht die koordinierte Erfassung von Pixeln eines Entfernungs- und Intensitätsbilds in Übereinstimmung mit einer Ausführungs- form der Erfindung. Zwei Messzyklen, ein Messzyklus 170a und ein Messzyklus 170b, können zwei aufeinanderfolgende, gleichzeitige oder im Wesentlichen gleichzeitige Messungen eines einzelnen Entfernungsbildwandlerpixels und eines einzelnen Intensitätsbildwandlerpixels oder gleichzeitige oder im Wesentlichen gleichzeitige Messungen verschiedener Pixel repräsentieren. Durch ein Auftastsignal 176, das einen gesendeten Strahlungsimpuls angibt, wird. ein gesendetes Signal 172 ausgelöst. Das gesendete Signal 172 kann integriert werden, um ein integriertes gesendetes Signal 180 (mit der Signalspannung 51) zu liefern oder zu erzeugen. Falls Strahlung des gesendeten Impulses von einem Objektelement zu der Sammeloptik des Systems zurück reflektiert wird, kann von einem Pixel des Entfernungsbildwandlerdetektors ein Empfangssignal 174a oder 174b empfangen werden. Die gemessene Zeitverzögerung t_D1 oder t_D2 des Empfangssignals kann mit einem Abstand zu dem Objektelement von dem System in Beziehung gesetzt werden. Die Integration des durch das Auftastsignal 178 ausgelösten Empfangssignals kann ein integriertes Empfangssignal 182a oder 182b (mit Signalspannungen s_2a bzw. s_2b) liefern oder erzeugen. Somit kann die Maximalspannung des integrierten Empfangssignals 182a oder 182b proportional zu der gemessenen Zeitverzögerung t_D1 oder t_D2 des Empfangssignals sein. Somit kann eine Flugzeit oder äquivalent eine gemessene Entfernung, die während des Messzyklus 170a gemessen wird, aus einer berechneten Differenz zwischen der Signalspannung s₁ und der Signalspannung s_2a bestimmt werden. Ähnlich kann eine gemessene Entfernung, die während des Messzyklus 170b gemessen wird, aus einer berechneten Differenz zwischen der Signalspannung s₁ und der Signalspannung s_2b bestimmt werden.
Die Messung eines integrierten Intensitätssignals 186a oder 186b kann durch das Auftastsignal 184 aufgetastet werden. Die Intensitätssignalspannungen i₁ und i₂ können eine Intensität von Umgebungslicht angeben, das durch ein Element des abgebildeten Objekts reflektiert und auf den Detektor des Intensitätsbildwandlers abgebildet wird. Die integrierten Intensitätssignale 186a und 186b können einen Helligkeitsmesswert (z. B., um ein Graustufenbild zu erzeugen) repräsentieren oder können einen Messwert der Intensität eines bestimmten Farbsignals (z. B. eines RGB-Abbildungssystems) repräsentieren. In einigen Ausführungsformen können mehrere integrierte Intensitätssignale 186a oder 186b gemessen werden. Zum Beispiel können Rot, Grün und Blau; oder irgendeine andere Kombination von Intensitätssignalen 186a oder 186b gemessen werden.
Der Pixelabstand in dem Detektor des Intensitätsbildwandlers kann sich von dem Pixelabstand in dem Detektor des Entfernungsbildwandlers unterscheiden. Somit können sich die Auflösungen der resultierenden Intensitätsursprungsbilder und der resultierenden Entfernungsursprungsbilder unterscheiden. Zum Beispiel kann das Auslesen des Entfernungsbilds zeitaufwendiger als das Auslesen des Intensitätsbilds sein. Außerdem kann die Schaltungsanordnung zum Auslesen des Entfernungsbilds komplexer als die Schaltungsanordnung zum Auslesen des Intensitätsbilds sein. Somit kann die Auflösung des Entfernungsbilds niedriger (weiter beabstandete Pixel) als die Auflösung des Intensitätsbilds sein. In einigen Ausführungsformen kann es andere Unterschiede zwischen den verwendeten Systemen geben und können die hier erwähnten Unterschiede alle oder teilweise umgekehrt sein.
Wieder anhand von 3 kann das Bild mit der niedrigeren Auflösung, z. B. das Entfernungsbild, neu skaliert werden, um dieselbe Auflösung wie das Bild mit der höheren Auflösung, z. B. das Intensitätsbild, zu liefern oder zu erzeugen (Block 140). Zum Beispiel kann auf die Pixel des Entfernungsbilds eine Interpolationstechnik angewendet werden, um an Zwischenpositionen (zwischen vorhandenen Entfernungsmesswerten), die Pixeln des Intensitätswerts entsprechen, interpolierte Entfernungen zu berechnen. Im Ergebnis der Neuskalierung entspricht jedes Pixel des Intensitätsbilds, das einen Punkt auf dem abgebildeten Objekt repräsentiert, einem Pixel des Entfernungsbilds, das eine Entfernung dieses Punkts des abgebildeten Objekts repräsentiert. Falls beide Bilder die gleiche Auflösung haben, kann eine Neuskalierung wirkungslos sein (wobei das neu skalierte Bild gleich dem Bild vor der Neuskalierung ist). In diesem Fall kann der bei Block 140 angegebene Betrieb weggelassen werden.
Nach irgendeiner Neuskalierung des Bilds mit der niedrigeren Auflösung können die zwei Bilder zu einem automatisch ausgerichteten Bild kombiniert werden (Block 150). Jedes Pixel des automatisch ausgerichteten Bilds kann z. B. durch eine Entfernung und durch einen intensitätsbezogenen Wert (z. B. durch eine Graustufe oder RGB) oder durch intensitätsbezogene Werte (z. B. durch einen Rot-, einen Blau- und einen Grünwert) charakterisiert sein.
Es kann eine Folge aufeinanderfolgend erfasster automatisch ausgerichteter Bilder erhalten und analysiert werden, um eine Bewegung oder eine geschätzte Bewegung eines abgebildeten Objekts zu liefern, zu erzeugen oder zu bestimmen. Zum Beispiel kann eine Analyse der Bewegung des Objekts von einem System für autonomes Fahren verwendet werden, um den Betrieb eines Fahrzeugs in der Weise zu steuern, dass eine Kollision mit dem Objekt vermieden wird. Als ein weiteres Beispiel kann eine Fahrerunterstützungsanwendung einen Fahrer des Fahrzeugs vor einer möglichen Kollision mit dem Objekt warnen, was ermöglicht, dass der Fahrer die Steuerung des Fahrzeugs in der Weise einstellt, dass die Kollision verhindert wird.
Die Kombination aus Intensitätsinformationen (oder Farbinformationen) und Entfernungsinformationen in dem automatisch ausgerichteten Bild kann die Analyse von Daten, um Geschwindigkeiten von Bewegungen abgebildeter Objekte eindeutig zu bestimmen, beschleunigen. Zum Beispiel kann die Analyse der Intensitäts- oder Farbinformationen ein abgebildetes Objekt in aufeinanderfolgend erfassten Bildern zu identifizieren ermöglichen. Die Analyse der entsprechend aufeinanderfolgend erfassten Entfernungsinformationen kann eine Änderung der Entfernung des Objekts liefern oder erzeugen. Ähnlich kann die Kenntnis einer Entfernung jedes Elements eines Bildobjekts die eindeutige Umsetzung von Strecken in dem Bild in Querabstände zwischen Objekten oder zwischen Elementen von Objekten ermöglichen. Die geschätzten Abstände und Geschwindigkeiten können z. B. beim Steuern genutzt werden.
5 ist ein Ablaufplan eines Verfahrens für die Bewegungsschätzung in Übereinstimmung mit einer Ausführungsform der Erfindung.
Zum Beispiel können zwei Rahmen (wobei jeder dreidimensionale Daten enthält, die von automatisch ausgerichteten Entfernungs- und Intensitätsbildern hergeleitet wurden) aufeinanderfolgend erfasst werden. Der zuvor erfasste Rahmen kann als ein Schablonenbild T(u) bezeichnet werden und ein neu erfasster Rahmen kann als ein Eingangsbild I(u) bezeichnet werden, wobei sich u = (u, v) auf Bildzeilen- und Bildspaltenkoordinaten eines Pixels beziehen.
Die Schätzung einer Geschwindigkeit eines Objekts (oder eines Elements eines Objekts) kann als Berechnen einer dreidimensionalen Verlagerung p = (U, V, W) eines kontinuierlichen Gebiets einer Oberfläche des Objekts in dieser Reihenfolge entlang der X-, der Y- und der Z-Achse beschrieben werden. Die Z-Achse beschreibt einen Abstand (eine Entfernung) des Gebiets und X und Y beschreiben seitliche Abstände (in Bezug auf eine optische Achse der Sammeloptik des Systems). Die richtige Herleitung der Bewegung aus dem Paar von Rahmen kann das automatische Bestimmen, welches Gebiet oder welcher Ausschnitt des Eingangsbilds einem gegebenen Ausschnitt des Schablonenbilds entspricht (z. B. Bilder desselben Objektelements, aber verlagert, repräsentiert), enthalten. Das Bewegungsschätzverfahren 200 kann für jeden Ausschnitt (für jedes lokale Gebiet) des Eingangsbilds ausgeführt werden (Block 210).
Auf der Grundlage der dreidimensionalen Informationen in den Bildern können Gradienten ∂_uZ und ∂_uZ berechnet werden (Block 220). Ähnlich kann eine Verlagerung in der Zeit Δ_tZ die Entfernung (durch Z quantifiziert) des Ausschnitts zwischen dem Schablonenbild und dem Eingangsbild berechnet werden (Block 230).
Die berechneten Gradienten und die berechnete Verlagerung der Entfernung können verwendet werden, um eine Entfernungsflussebene zu definieren oder zu erzeugen (Block 240). Zum Beispiel kann die Tiefe eines Punkts a in einem Ausschnitt als Entfernungsflussebene ausgedrückt werden, wobei sie in homogener Form (eine Funktion der Zeit) ausgedrückt werden kann als: Z(X, Y, t) = Z₀(t) + ∂_XZ·X(t) + ∂_YZ·Y(t)
Dies kann differenziert werden, um einen Ausdruck der Entfernungsflussebene in homogener Form (in Pixelkoordinaten ausgedrückt) zu liefern oder zu erzeugen:
oder als
Die Entfernungsflussebene kann die Geschwindigkeiten in der Weise einschränken, dass die Ergebnisse selbstkonsistent sind. Die Einschränkung kann ausgedrückt werden als:
Eine in Übereinstimmung mit der Entfernungsflussebene eingeschränkte Lichtflusstechnik kann angewendet werden, um einen optimalen Satz von Verlagerungen (oder Geschwindigkeiten) p = (U, V, W) zu ermitteln. (Zu Beginn des Prozesses können die Werte von p z. B. auf 0 oder auf einen Wert, der eine Bewegung eines zuvor analysierten benachbarten Ausschnitts beschreibt, initialisiert werden.) Die Flussschätzung kann z. B. eine Warp-Funktion R(u, p) liefern oder erzeugen, die eine Bewegung von Bildelementen zwischen T und I in der Weise beschreibt, dass I(R(u, p)) so eng wie möglich an T(u) angepasst ist. Die Differenz zwischen I(R(u, p)) und T(u) kann durch die Kostenfunktion quantifiziert werden,
wobei Δp eine Änderung von p gegenüber einem zuvor berechneten oder initialisierten Wert ist.
Unter Verwendung einer iterativen Technik (z. B. zyklisches Durchlaufen oder Wiederholen von Sätzen von Betrieben wie etwa der Blöcke 250 bis 280) kann ein optimaler Satz von Verlagerungen ermittelt werden.
Die Bewegung kann optimiert werden (Block 250). Zum Beispiel kann eine Darstellung der kleinsten Quadrate gelöst werden, um einen Optimalwert von Δp* zu liefern oder zu erzeugen, der die Kostenfunktion optimiert:
Zum Beispiel kann ein Lucas-Kanade-Verfahren angewendet werden.
Der Wert des optimierten Bewegungsinkrements Δp* kann mit einem Schwellenwert ε verglichen werden (Block 260). Falls der Wert des optimierten Bewegungsinkrements Δp* ausreichend klein und kleiner als der Schwellenwert ε ist, kann das Verfahren als konvergiert betrachtet werden und kann die Ausführung des Bewegungsschätzverfahrens 200 für das gegenwärtig ausgewählte Gebiet des Rahmens beendet werden (Block 290). Das Bewegungsschätzverfahren 200 kann für ein anderes Gebiet (z. B. für ein benachbartes Gebiet) des Eingangsbilds wiederholt werden (wobei von dem durch den Block 210 beschriebenen Betrieb begonnen wird).
Falls der Wert des optimierten Bewegungsinkrements Δp* größer als der Schwellenwert ε ist, können die vorhergehenden Werte der Bewegung p durch Inkrementieren um Δp* geändert werden (Block 270): p + Δp* → p
Die geänderte Bewegung p kann in die Entfernungsflussebene projiziert werden (Block 280). Auf diese Weise kann die geänderte Bewegung durch die Einschränkungsbedingung eingeschränkt werden.
Daraufhin kann der Bewegungsoptimierungsprozess für eine weitere Iteration (zurückkehrend zu Block 250) wiederholt werden, bis der iterative Prozess abgeschlossen ist. Der iterative Prozess kann z. B. abgeschlossen werden, wenn das berechnete Bewegungsinkrement klein ist (Δp* < ε, Block 260) oder wenn ein anderes Kriterium erfüllt ist (z. B., wenn die Anzahl der Iterationen größer als die maximal zulässige Anzahl von Iterationen ist). Somit kann die Berechnung eine Bewegung oder eine geschätzte Bewegung eines Elements eines abgebildeten Objekts der abgebildeten Szene liefern.
Die für jeden Ausschnitt des Bilds berechnete Bewegung kann (z. B. durch Dividieren durch ein Zeitintervall zwischen Rahmen) in eine Geschwindigkeit jedes Elements in dem Bild umgesetzt werden. Zum Beispiel kann eine Geschwindigkeit eines Elements eines abgebildeten Objekts verwendet werden, um eine Zeitdauer zu einer oder bis zu einer Kollision eines Fahrzeugs (in das z. B. das System eingebaut ist, mit dem abgebildeten Objekt (wobei keine Änderung angenommen wird) zu berechnen. Im Ergebnis der berechneten Zeit bis zur Kollision kann ein Fahrer eines Fahrzeugs vor der Möglichkeit der Kollision gewarnt werden. Zum Beispiel kann eine hörbare Warnung erzeugt werden. Als ein anderes Beispiel kann eine Geschwindigkeit eines Elements von einer automatisierten Kollisionsvermeidungsvorrichtung oder -anwendung genutzt werden, um ein Fahrzeug in der Weise zu manövrieren, dass eine Kollision mit dem Objekt vermieden wird.
Ausführungsformen der vorliegenden Erfindung können Vorrichtungen zum Ausführen der hier beschriebenen Betriebe enthalten. Diese Vorrichtungen können speziell für die gewünschten Zwecke konstruiert sein oder können Computer oder Prozessoren umfassen, die durch ein in den Computern gespeichertes Computerprogramm selektiv aktiviert oder rekonfiguriert werden. Solche Computerprogramme können in einem computerlesbaren oder prozessorlesbaren nichtflüchtigen Ablagemedium, auf irgendeinen Plattentyp einschließlich Disketten, optischer Platten, CD-ROMs, magnetooptischer Platten, Nur-Lese-Speicher (ROMs), Schreib-Lese-Speicher (RAMs), elektrisch programmierbarer Nur-Lese-Speicher (EPROMs), elektrisch löschbarer und programmierbarer Nur-Lese-Speicher (EEPROMs), magnetischer oder optischer Karten oder in irgendeinem anderen für das Speichern elektrischer Anweisungen geeigneten Medientyp gespeichert sein. Es wird gewürdigt werden, dass eine Vielzahl von Programmiersprachen verwendet werden können, um die wie hier beschriebenen Lehren der Erfindung zu implementieren. Ausführungsformen der Erfindung können einen Artikel wie etwa ein durch einen nichtflüchtigen Computer oder Prozessor lesbares nichtflüchtiges Ablagemedium wie etwa z. B. einen Speicher, ein Plattenlaufwerk oder einen USB-Flash-Speicher, der Anweisungen, z. B. durch einen Computer ausführbare Anweisungen, die, wenn sie durch einen Prozessor oder Controller ausgeführt werden, veranlassen, dass der Prozessor oder Controller hier offenbarte Verfahren ausführt, codiert, enthält oder speichert, enthalten. Die Anweisungen können veranlassen, dass der Prozessor oder der Controller Prozesse ausführt, die hier offenbarte Verfahren ausführen.
Es sind hier unterschiedliche Ausführungsformen offenbart. Merkmale bestimmter Ausführungsformen können mit Merkmalen anderer Ausführungsformen kombiniert werden; somit können bestimmte Ausführungsformen Kombinationen von Merkmalen mehrerer Ausführungsformen sein. Die vorstehende Beschreibung der Ausführungsformen der Erfindung ist zur Veranschaulichung und Beschreibung dargestellt worden. Sie soll nicht erschöpfend sein oder die Erfindung auf die genau offenbarte Form beschränken. Der Fachmann auf dem Gebiet wird würdigen, dass im Licht der obigen Lehre viele Änderungen, Veränderungen, Ersetzungen, Abwandlungen und Äquivalente möglich sind. Somit sollen die beigefügten Ansprüche selbstverständlich alle solchen Änderungen und Abwandlungen, wie sie im wahren Erfindungsgedanken liegen, enthalten.

Claims

Verfahren, das umfasst: Betreiben eines gekoppelten Entfernungsbildwandlers und Intensitätsbildwandlers zum Erhalten einer Folge wenigstens zweier automatisch ausgerichteter Bilder, wobei jedes automatisch ausgerichtete Bild gleichzeitig erfasste Entfernungsdaten und Intensitätsdaten hinsichtlich einer abgebildeten Szene enthält; und Analysieren der ausgerichteten Entfernungs- und Intensitätsdaten, um eine geschätzte Bewegung eines Elements eines abgebildeten Objekts der abgebildeten Szene zu liefern.
Verfahren nach Anspruch 1, das das Neuskalieren von Pixeln der erfassten Entfernungsdaten in der Weise, dass sie zu den Pixeln der erfassten Intensitätsdaten passen, umfasst.
Verfahren nach Anspruch 1, wobei das Erhalten jedes der automatisch ausgerichteten Bilder das Kombinieren eines Pixels von Entfernungsdaten mit einem entsprechenden Pixel von Intensitätsdaten, um ein Pixel des automatisch ausgerichteten Bilds zu bilden, umfasst.
Verfahren nach Anspruch 1, wobei das Analysieren der ausgerichteten Entfernungs- und Intensitätsdaten das Ermitteln einer Entfernungsflussebene zum Einschränken der geschätzten Bewegung umfasst.
Verfahren nach Anspruch 1, wobei das Analysieren der ausgerichteten Entfernungs- und Intensitätsdaten das Anwenden einer Lichtflusstechnik oder das Anwenden einer iterativen Technik umfasst.
System, das umfasst: eine Sammeloptik zum Sammeln von Licht von einer Szene und zum Fokussieren des gesammelten Lichts; einen Intensitätsbildwandlerdetektor; einen Entfernungsbildwandlerdetektor; einen Strahlteiler, um Licht, das durch die Sammeloptik gesammelt wird, in der Weise zu teilen, dass ein Teil des gesammelten Lichts auf den Intensitätsbildwandlerdetektor fokussiert wird und ein anderer Teil des gesammelten Lichts auf den Entfernungsbildwandlerdetektor fokussiert wird; und einen Controller zum Steuern des Intensitätsbildwandlerdetektors, um ein Intensitätsbild der Szene zu erfassen, und zum gleichzeitigen Steuern des Entfernungsbildwandlerdetektors, um ein Entfernungsbild zu erfassen, zum Kombinieren des erfassten Intensitäts- und Entfernungsbilds zu einem automatisch ausgerichteten Bild und zum Analysieren einer Folge aufeinanderfolgend erfasster automatisch ausgerichteter Bilder, um eine geschätzte Bewegung eines Elements eines abgebildeten Objekts in der Szene zu berechnen.
System nach Anspruch 6, wobei der Controller zum Messen einer Flugzeit zwischen der Emission eines Lichtimpulses, der durch einen Emitter in Richtung der Szene emittiert wird, bis zur Detektierung des Impulses durch ein Detektierelement des Entfernungsbildwandlerdetektors, wenn er durch ein Element des Objekts reflektiert worden ist, und zum Berechnen einer Entfernung zu dem Element auf der Grundlage der gemessenen Flugzeit konfiguriert ist.
System nach Anspruch 7, wobei durch einen einzelnen Auslöser der Intensitätsbildwandlerdetektor steuerbar ist, um ein Intensitätsbild zu erfassen, und der Entfernungsbildwandlerdetektor steuerbar ist, um ein Entfernungsbild zu erfassen.
System nach Anspruch 7, wobei der Controller zum Berechnen der geschätzten Bewegung durch Berechnen eines Lichtflusses zwischen aufeinanderfolgend erfassten automatisch ausgerichteten Bildern konfiguriert ist.
System nach Anspruch 7, das in ein Fahrzeug integriert ist.