DE102008012840A1

DE102008012840A1 - Objekterfassungssystem

Info

Publication number: DE102008012840A1
Application number: DE102008012840A
Authority: DE
Inventors: Noboru Morimitsu
Original assignee: Fuji Jukogyo KK; Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2007-03-07
Filing date: 2008-03-06
Publication date: 2008-11-06
Also published as: US20080219505A1; JP5221886B2; JP2008216177A; US8094934B2

Abstract

Es ist ein Objekterfassungssystem bereitgestellt mit einer Mehrzahl von Bildaufnahmeeinheiten zur Aufnahme von Bildern von Umgebungen des Systems, einer Distanzinformations-Berechnungseinheit zur Unterteilung eines aufgenommenen Bildes, welches eine Referenz von aufgenommenen Bildern bildet, welche durch die Mehrzahl von Bildaufnahmeeinheiten aufgenommen sind, in eine Mehrzahl von Pixelblöcken, zur einzelnen Erlangung von entsprechenden Pixelpositionen innerhalb des weiteren aufgenommenen Bildes für die Pixelblöcke, und zur einzelnen Berechnung von einer Distanzinformation, und einem Histogramm-Erzeugungsmodul zum Unterteilen eines Bereichsbildes, welches die einzelne Distanzinformation von den Pixelblöcken, welche durch die Distanzinformations-Berechnungseinheit berechnet ist, darstellt, in eine Mehrzahl von Segmenten, welche vorbestimmte Größen haben, wodurch Histogramme bereitgestellt werden, welche sich auf die Distanzinformation für die jeweils unterteilten Segmente beziehen, und wobei die Distanzinformation von den Pixelblöcken an die Histogramme von den jeweiligen Segmenten gegeben wird.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf ein Objekterfassungssystem und insbesondere auf ein Objekterfassungssystem zum Erfassen eines Objektes von einem aufgenommenen Bild, welches durch eine Bildaufnahmeeinheit aufgenommen ist.
Beschreibung zum Stand der Technik
In den letzten Jahren wurde die Entwicklung von Technologien durchgeführt, bei welchen ein Insassenfahrzeug oder ein Roboter, welcher mit künstlicher Intelligenz bereitgestellt ist, mit einer Mehrzahl von Bildaufnahmeeinheiten ausgestattet ist, wie beispielsweise ein Paar von CCD (Charge Coupled Device)-Kameras, um Bilder von Umgebungen davon aufzunehmen und wobei die aufgenommenen Bilder analysiert werden, um Positionen und Distanzen zu Objekten zu messen, welche das Fahrzeug oder den Roboter umgeben, um somit die Objekte zu erfassen (s. beispielsweise JP-A-5-114099 , JP-A-5-265547 , JP-A-10-283461 und JP-A-10-283477 ).
Bei den oben beschriebenen Technologien sind, um zu verhindern, dass die Linsen von den CCD-Kameras schmutzig werden und um ein Versagen der Kameras aufgrund von Regentropfen oder dergleichen, welche auf den Bildaufnahmeeinheiten haften, zu beseitigen, die Bildaufnahmeeinheiten normalerweise derart entworfen, dass sie an einer Innenseite von der Windschutzscheibe von dem Fahrzeug angebracht sind, oder ist ein Glas derart entworfen, so dass es vor den Bildaufnahmeeinheiten angeordnet wird, um somit den direkten Kontakt von den Bildaufnahmeeinheiten mit der Außenumgebung zu verhindern.
Wenn jedoch Schmutz oder Regentropfen an der Windschutzscheibe oder an dem vor den Bildaufnahmeeinheiten angeordneten Glas haften, werden Bilder, auf welchen die Objekte aufgenommen sind, entstellt oder wird ein zusätzliches Licht aufgrund des Schmutzes oder der Regentropfen, welche an der Windschutzscheibe oder an dem Glas haften, überlagert, wodurch die Signale von den Objekten selber abgeschwächt werden. Da die Distanzen zu den Objekten oder den Positionen von den Objekten stark variieren, wird ein Problem verursacht, dass die Zuverlässigkeit in der Erfassung abnimmt.
Um dieses Problem zu lösen, ist beispielsweise in der JP-A-2001-273494 ein Objekterkennungssystem vorgeschlagen, welches eine ausfallsichere Funktion hat, welches bei dem System bewirkt, selber zu beobachten, ob ein Objekt korrekt erfasst wird oder nicht. Zusätzlich sind in den JP-A-6-230115 und JP-A-9-171075 Distanzmesssysteme vorgeschlagen, welche mit einem Radarsystem und einer Bildaufnahmeeinheit bereitgestellt sind, um die Zuverlässigkeit bei der Erfassung von Objekten zu verbessern.
Jedoch ist das in der JP-A-2001-273494 beschriebene Objekterkennungssystem derart aufgebaut, dass ein aufgenommenes Bild in eine Mehrzahl von Fenstern aufgeteilt wird, wobei eine gemessene Distanz für jedes Fenster durch einen Stereoübereinstimmungsbetrieb berechnet wird, und eine Gruppierung auf die Fenster angewendet wird. Dadurch werden Objekte, basierend auf Gruppen, welche als gültig bestimmt sind, erkannt, und wird die Zuverlässigkeit in der Objekterkennung erhöht. Wenn es vergleichsweise stark regnet, nimmt die Anzahl von Gruppen, welche als ungültig bestimmt sind, zu, und daher gibt es eine Wahrscheinlichkeit darin, dass die Objekterkennung selber nicht implementiert werden kann.
Zusätzlich wird bei den Objekterkennungssystemen, welche in der JP-A-6-230115 und JP-A-9-171075 beschrieben sind, da das Radarsystem zusätzlich zu der Bildaufnahmeeinheit bereitgestellt ist, eine hoch zuverlässige Objekterfassung unter einem weiten Bereich von Wetterbedingungen von schönem bis zu regnerischem Wetter ermöglicht. Da jedoch eine Mehrzahl von Distanzmesssystemen, welche das Radarsystem enthalten, notwendig ist, gibt es ein Problem darin, dass es schwierig ist, eine Reduktion im Marktpreis des Systems zu realisieren.
UMRISS DER ERFINDUNG
Es sind ein oder mehrere Ausführungsformen der Erfindung mit einem Objekterfassungssystem bereitgestellt, welche Objekte, welche sich um das System befinden, mit einer hohen Zuverlässigkeit erfassen können, indem Bilder, welche durch eine Bildaufnahmeeinheit aufgenommen sind, analysiert werden, ohne dass ein zusätzliches Distanzmesssystem, wie beispielsweise ein Radarsystem, verwendet wird.
Gemäß einem ersten Aspekt von der Erfindung enthält ein Objekterfassungssystem eine Mehrzahl von Bildaufnahmeeinheiten zur Aufnahme von Bildern, welche ein Referenzbild und ein Vergleichsbild enthalten; eine Distanzinformations-Berechnungseinheit zum Aufteilen des Referenzbildes in eine Mehrzahl von Pixelblöcken, Aufsuchen von entsprechenden Pixelpositionen innerhalb des Vergleichsbildes für jeden der Pixelblöcke, Berechnen von einer Distanzinformation für jeden der Pixelblöcke und Ausbilden eines Bereichsbildes, welches die Distanzinformation darstellt; ein Histogramm-Erzeugungsmodul zum Aufteilen des Bereichsbildes in eine Mehrzahl von Segmenten, welche vorbestimmte Größen haben, und Erzeugen eines Histogramms, bezogen auf die Distanzinformation durch Abstimmen der Distanzinformation von den Pixelblöcken auf das Histogramm von den jeweiligen Segmenten; ein Objekterfassungsmodul zum Erfassen eines Objektes, basierend auf Frequenzen von Klassen auf jedes von den Histogrammen; und ein Zuverlässigkeits-Bewertungsmodul zum Berechnen eines Index der Zuverlässigkeit von der Distanzinformation von jedem der Pixelblöcke; wobei das Histogramm-Erzeugungsmodul eine Auflösung zur Erzeugung des Histogramms gemäß dem Index der Zuverlässigkeit von der Distanzinformation von jedem der Pixelblöcke ändert.
Gemäß einem zweiten Aspekt von der Erfindung ändert das Histogramm Erzeugungsmodul, als die Auflösung zur Erzeugung des Histogramms, zumindest eines aus der Größe von den Segmenten, welche das Bereichsbild aufteilen, einer Größe von Klassenaufteilungen von dem Histogramm, und einem Ausmaß eines Verteilungsbereiches beim Abstimmen, indem die Distanzinformation von den Pixelblöcken auf die Klassen von dem Histogramm und Klassen, welche die Klassen von dem Histogramm umgeben, gemäß dem Index der Zuverlässigkeit von der Distanzinformation von jedem der Pixelblöcke verteilt wird.
Gemäß einem dritten Aspekt von der Erfindung erzeugt das Histogramm-Erzeugungsmodul ferner ein zweites Histogramm für die jeweiligen Segmente, basierend auf den Frequenzen von den Klassen des Histogramms, welche in vorbestimmten Filterbetrieben implementiert sind, und werden Parameter für die vorbestimmten Filterbetriebe gemäß den Indizes der Zuverlässigkeit von der Distanzinformation von den jeweiligen Pixelblöcken geändert.
Gemäß einem vierten Aspekt von der Erfindung implementiert das Histogramm-Erzeugungsmodul, als den vorbestimmten Filterbetrieb, einen Zeit-Glättungsbetrieb zum Berechnen eines wahren Wertes in dem derzeitigen Abtastzyklus durch Glätten einer Zeitvariation in der Frequenz von jeder Klasse, in jeder Klasse von jedem Histogramm, und erzeugt es das zweite Histogramm durch Zuweisen der wahren Werte von den Klassen auf entsprechenden Klassen von dem zweiten Histogramm.
Gemäß einem fünften Aspekt von der Erfindung ist das Objekterfassungssystem derart bereitgestellt, so dass der Parameter für den vorbestimmten Filterbetrieb, welcher zu ändern ist, eine Zeitkonstante ist, welche bei der Zeit-Glättung verwendet wird.
Gemäß einem sechsten Aspekt von der Erfindung, wenn das zweite Histogramm derart angeordnet ist, so dass die entsprechenden Klassen zu einer geraden Linie angeordnet sind, wird beim Zuweisen der Frequenzen von den Klassen von dem Histogramm auf die entsprechenden Klassen von dem zweiten Histogramm, als der vorbestimmte Filterbetrieb, das Histogramm-Erzeugungsmodul einen Orts-Glättungsbetrieb zur Ausführung der Zuweisung durch Verteilen der Frequenzen auf die Klasse und die Klassen von dem zweiten Histogramm, zu welchem die Klasse gehört, und dem zweiten Histogramm, welches das zweite Histogramm von der Klasse umgibt, welche die Klasse von Interesse gemäß einer vorbestimmten Verteilung umgibt, implementieren, um somit das zweite Histogramm zu erzeugen.
Gemäß einem siebten Aspekt von der Erfindung ist das Objekterfassungssystem derart bereitgestellt, so dass der Parameter für den vorbestimmten Filterbetrieb, welcher zu ändern ist, ein Verteilungsverhältnis für die Klassen ist, welcher die Klassen im Orts-Glättungsbetrieb umgibt.
Gemäß einem achten Aspekt von der Erfindung ist das Objekterfassungssystem derart bereitgestellt, so dass das Zuverlässigkeits-Bewertungsmodul ein Bewertungsfenster in einem vorbestimmten Bildbereich in dem Bereichsbild einstellt und einen Index der Zuverlässigkeit von der Distanzinformation von jedem von den Pixelblöcken, basierend auf einem statistischen Wert von der Distanzinformation von jedem von den Pixelblöcken innerhalb des Bewertungsfensters berechnet.
Gemäß einem neunten Aspekt von der Erfindung ist das Objekterfassungssystem derart bereitgestellt, so dass das Zuverlässigkeits-Bewertungsmodul ein Bewertungsfenster in einem Bildbereich einstellt, welcher durch ein Objekt belegt ist, welches durch das Objekterfassungsmodul auf dem aufgenommenen Bild erfasst ist, welches die Referenz bildet, und es einen Index der Zuverlässigkeit von der Distanzinformation von jedem der Pixelblöcke, basierend auf einem statistischen Wert von der Distanzinformation von jedem der Pixelblöcke innerhalb des derart eingestellten Bewertungsfensters berechnet.
Gemäß einem zehnten Aspekt von der Erfindung ändert das Objekterfassungsmodul einen Schwellwert zur Erfassung des Objektes, basierend auf dem Index der Zuverlässigkeit von der Distanzinformation von jedem der Pixelblöcke, welche durch das Zuverlässigkeits-Bewertungsmodul berechnet ist.
Gemäß dem ersten Aspekt von der Erfindung werden, sogar wenn die aufgenommenen Bilder aufgrund von Regen oder Schmutz, welcher auf der Windschutzscheibe anhaftet, entstellt sind, oder Rauschen aufgrund von einem zusätzlichen Licht in die aufgenommenen Bilder gemischt wird, beispielsweise durch Ändern der Reduktion der Auflösung zur Erzeugung der Histogramme, wie beispielsweise die Quer-Auflösung oder Zeit-Auflösung in dem aktuellen Raum, welche zur Berechnung von der Distanz zu den Objekten notwendig ist, Variationen in den Distanzen zu den Objekten oder den Positionen von den Objekten unterdrückt. Dadurch ist eine stetige Erfassung von Objekten ermöglicht, wodurch es ermöglicht wird, Objekte, welche sich um das System befinden, mit einer hohen Zuverlässigkeit zu erfassen, indem die aufgenommenen Bilder analysiert werden.
Zusätzlich, da es unnötig ist, eine zusätzliche Distanzmessvorrichtung, wie beispielsweise ein Radarsystem, und die Bildaufnahmeeinheit bereitzustellen, wird eine Zunahme in den Produktionskosten von dem System unterdrückt, wodurch es ermöglicht wird, eine Reduktion im Marktpreis des Systems zu realisieren.
Gemäß dem zweiten Aspekt von der Erfindung kann durch ein Ändern der Größe von den Segmenten, in welche das Bereichsbild eingeteilt ist, gemäß dem Index der Zuverlässigkeit von der Distanzinformation als die Auflösung zur Erzeugung von den Histogrammen, die Gesamtanzahl der Distanzinformation, welche für die Histogramme vorgesehen ist, erhöht werden, und zwar sogar, obwohl die Frequenzen von den Klassen von den jeweiligen Histogrammen vor der Änderung aufgrund von Regen oder Schmutz auf der Windschutzscheibe variieren, und zwar in den jeweiligen Histogrammen nach der Änderung, wobei die Klassen, welche die maximalen Frequenzen vermitteln, klar unterschieden werden können.
Aufgrund dessen können die Klassen, welche die maximalen Frequenzen haben, von den Histogrammen klar unterschieden werden. Durch ein Erfassen von Objekten, basierend auf der Information können Variationen in den Distanzen zu den erfassten Objekten oder Positionen von den Objekten genau unterdrückt werden. Daher kann der Vorteil von dem ersten Aspekt von der Erfindung genau vorgelegt werden.
Gemäß dem dritten Aspekt von der Erfindung werden die zweiten Histogramme, basierend auf dem Ergebnis des Filterbetriebes zum Filtern der Frequenzen von den Klassen von den Histogrammen zusätzlich zu den Histogrammen erzeugt, und der Parameter für den Filterbetrieb gemäß dem Index der Zuverlässigkeit von der Distanzinformation im Histogramm-Erzeugungsmodul geändert. Sogar obwohl die Frequenzen von den Klassen von den Histogrammen vor der Änderung dazu bewirkt werden, aufgrund von Regen oder Schmutz, welcher an der Windschutzscheibe anhaftet, zu variieren, werden die Frequenzen von den Klassen von den ersten Histogrammen geglättet, um dafür wahre Werte zu berechnen, und können die zweiten Histogramme, basierend auf den derart berechneten wahren Werten erzeugt werden.
Aufgrund dessen können die Klassen, welche die maximalen Frequenzen haben, von den zweiten Histogrammen, basierend auf den derart berechneten wahren Werten unterschieden werden. Durch ein Erfassen von Objekten, basierend auf der Information können die Variationen in den Distanzen zu den erfassten Objekten oder den Positionen davon akkurat unterdrückt werden, wodurch die Vorteile von den Aspekten von der oben beschriebenen Erfindung akkurat vorgebracht werden können.
Gemäß dem vierten Aspekt von der Erfindung können durch ein Implementieren des Zeit-Glättungsbetriebes auf die Frequenzen von den Klassen von den ersten Histogrammen, welche als Filterbetrieb gesammelt sind, sogar obwohl die Frequenzen von den Klassen von den Histogrammen vor der Änderung Werte annehmen, welche aufgrund von Regen oder Schmutz, welche an der Windschutzscheibe anhaftet, in der Zeit variieren, die wahren Werte auf eine gesicherte Art und Weise berechnet werden, welches die zweiten Histogramme, basierend auf den derart berechneten wahren Werten erzeugt. Daher kann der Vorteil von dem dritten Aspekt von der Erfindung akkurat vorgebracht werden.
Gemäß dem fünften Aspekt von der Erfindung können durch ein Ändern von der Zeitkonstante, welche im Zeit-Glättungsbetrieb verwendet wird, gemäß dem Index von der Zuverlässigkeit in der Distanzinformation, jene Klassen, welche die maximalen Frequenzen haben, von den zweiten Histogrammen klar unterschieden werden, welche auf den wahren Werten basieren. Durch ein Erfassen der Objekte, basierend auf der Information können die zeitlichen Variationen in den Distanzen zu den Objekten oder Positionen davon akkurat unterdrückt werden. Daher können die Vorteile von den jeweiligen Aspekten von der Erfindung, welche oben beschrieben wurden, akkurat vorgebracht werden.
Gemäß dem sechsten Aspekt von der Erfindung können durch ein Implementieren des Orts-Glättungsbetriebes als der Filterbetrieb, sogar obwohl die Frequenzen von den Klassen von den Histogrammen vor der Änderung Werte annehmen, welche in den jeweiligen Histogrammen verteilt sind, die Frequenzen von den Klassen von den zweiten Histogrammen, welche ortsmäßig stark variieren, geglättet werden, um wahre Werte zu berechnen, und können die zweiten Histogramme, basierend auf den wahren Werten erzeugt werden. Daher kann der Vorteil von dem dritten Aspekt von der Erfindung akkurat vorgebracht werden.
Gemäß dem siebten Aspekt von der Erfindung können durch ein Ändern des Verteilungsverhältnisses auf die Klassen, welche die Klassen im Orts-Glättungsbetrieb einschließen, gemäß dem Index der Zuverlässigkeit in der Distanzinformation, jene Klassen, welche die maximalen Frequenzen haben, von den zweiten Histogrammen klar unterschieden werden, welche auf den wahren Werten basieren. Durch ein Erfassen von Objekten, basierend auf der Information können die Orts-Variationen in den Distanzen zu dem Objekt oder Positionen davon unterdrückt werden. Daher können die Vorteile von den jeweiligen Aspekten von der Erfindung, welche oben beschrieben wurden, akkurat vorgebracht werden.
Gemäß dem achten Aspekt von der Erfindung ist es durch ein Einstellen des Bewertungsfensters in dem vorbestimmten Bildbereich auf das Bereichsbild und Berechnen des Index der Zuverlässigkeit in der Distanzinformation, basierend auf dem statischen Wert, wie beispielsweise die Verteilung von der Distanzinformation in den Pixelblöcken innerhalb des Bewertungsfensters, möglich, genau zu bewerten, ob die Zuverlässigkeit in der Distanzinformation aufgrund von Regen oder Schmutz, welcher auf der Windschutzscheibe anhaftet, abnimmt oder nicht. Dadurch können die Vorteile von den jeweiligen Aspekten von der Erfindung, welche oben beschrieben wurden, akkurat vorgebracht werden. Zusätzlich kann durch ein Beschränken der Einstellung von dem Bewertungsfenster auf den vorbestimmten Bildbereich die Anzahl von berechneten Indizes verringert werden.
Gemäß dem neunten Aspekt von der Erfindung gibt es eine hohe Wahrscheinlichkeit darin, dass ein Objekt ebenfalls im nächsten Abtastzyklus in dem Bildbereich erfasst werden wird, in welchem das Objekt beim letzten Abtastzyklus erfasst wurde. Dann wird, durch ein Einstellen des Bewertungsfensters in dem Bildbereich, in welchem das Objekt beim letzten Abtastzyklus erfasst wurde, ein Objekt innerhalb des Bewertungsfensters auf eine sichergestellte Art und Weise eingefangen. Zusätzlich wird die Distanzinformation an einem Kantenabschnitt von dem Bildbereich akkurat berechnet, wodurch ein statistischer Wert davon akkurat berechnet wird.
Aufgrund dessen kann der Index der Zuverlässigkeit in der Distanzinformation, basierend auf der akkurat berechneten statistischen Größe berechnet werden, wodurch der Index mit hoher Zuverlässigkeit berechnet werden kann, und die Auflösung zur Erzeugung der Histogramme, basierend auf dem derart berechneten Index, akkurat geändert werden kann. Daher können die Vorteile von den jeweiligen Aspekten von der Erfindung, welche oben beschrieben wurden, akkurat vorgebracht werden.
Gemäß dem zehnten Aspekt von der Erfindung ist es durch ein Ändern des Schwellwertes zur Erfassung von Objekten gemäß dem Index der Zuverlässigkeit in der Distanzinformation möglich, sogar unter den Bedingungen, bei welchen es regnet oder die Windschutzscheibe durch Schmutz bedreckt ist, die Objekte akkurat zu erfassen, wodurch die Vorteile von den jeweiligen Aspekten von der Erfindung, welche oben beschrieben wurden, akkurat dargelegt werden können.
Weitere Aspekte und Vorteile von der Erfindung werden anhand der folgenden Beschreibung und der anliegenden Ansprüche deutlich.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Blockdiagramm, welches den Aufbau von einem Objekterfassungssystem gemäß einer Ausführungsform von der Erfindung zeigt,
2 ist ein Schaubild, welches ein Beispiel von einem Referenzbild zeigt,
3 ist ein Schaubild, welches ein Bereichsbild zeigt, welches basierend auf dem Referenzbild in 2 oder dergleichen berechnet ist,
4 ist ein Blockdiagramm, welches den Aufbau von einem Erfassungsmodul von dem Objekterfassungssystem zeigt,
5 ist ein Schaubild, welches ein Bewertungsfenster zeigt, welches auf das Bereichsbild eingestellt ist,
6 zeigt Schaubilder, welche ausgebildete Fahrbahnmodelle zeigen, wobei 6A ein horizontales Formmodell zeigt und 6B ein Straßen-Höhenlagenmodell zeigt,
7 ist ein Kurvenverlauf welcher eine Beziehung zwischen einem statistischen Wert von einer Distanzinformation, das heißt eine Disparitätsvarianz, und einem Index der Zuverlässigkeit zeigt,
8 ist ein Schaubild, welches Segmente zeigt, welche das Bereichsbild unterteilen,
9 ist ein Schaubild, welches ein Beispiel von einem ersten erzeugten Histogramm zeigt,
10 ist ein Schaubild, welches ein Beispiel von einer Zeit-Variation in einer Frequenz von Klassen im ersten Histogramm zeigt,
11 ist ein Schaubild, welches eine starke Fluktuation von Frequenzen und wahren Werten, welche durch einen Zeit-Glättungsbetrieb berechnet sind, zeigt,
12 ist ein Schaubild, welches ein zweites Histogramm zeigt, welches aus dem in 9 gezeigten ersten Histogramm in einem Standardzustand erzeugt ist,
13 ist ein Schaubild, welches ein zweites Histogramm zeigt, welches durch wahre Werte erzeugt ist, welche durch den Zeit-Glättungsbetrieb zugewiesen sind,
14 ist ein Schaubild, welches Distanzen zeigt, welche aus einer Disparität von einer Klasse, welche eine höchste Frequenz hat, berechnet sind, welche in einem aktuellen Raum ausgedruckt sind,
15 ist ein Schaubild, welches eine Gruppierung von Punkten erläutert, welche in 14 ausgedruckt sind,
16 ist ein Schaubild, welches Objekte erläutert, welche als „Objekte" oder „Seitenwände", basierend auf der Gruppierung in 15 erfasst sind,
17 ist ein Schaubild, welches Objekte zeigt, welche wie in 16 gezeigt erfasst sind, und durch Rahmenlinien auf dem Referenzbild eingeschlossen sind,
18 zeigt Diagramme, welche zwei erste Histogramme zeigen, bei welchen die Frequenzen zerlegt sind und die höchsten Klassen nicht klar im Standardzustand sind,
19 ist ein Schaubild, welches ein erstes Histogramm zeigt, welches aus den zwei ersten Histogrammen in 18 durch ein Ändern von Querbreiten der Segmente erzeugt ist,
20 zeigt Schaubilder, welche Frequenzen von dem ersten Histogramm zeigen, welches zeitlich in zwei Abtastzyklen variiert,
21 ist ein Schaubild, welches ein erstes Histogramm zeigt, welches durch ein Ändern der Breite von Klassen erlangt ist, und
22 ist ein Schaubild, welches einen Orts-Glättungsbetrieb in einem Histogramm-Erzeugungsmodul erläutert.
BESCHREIBUNG VON BEISPIELHAFTEN AUSFÜHRUNGSFORMEN
Bei dieser Ausführungsform ist, obwohl ein Objekterfassungssystem beschrieben wird, welches an einem Fahrzeug angebracht ist, um Objekte zu erfassen, welche ein vorausfahrendes Fahrzeug enthalten, welches auf oder oberhalb der Straßenoberfläche vor dem Fahrzeug existiert, die Anwendung des Objekterfassungssystems gemäß dem Aspekt von der Erfindung nicht auf den Einbau am Fahrzeug und die Erfassung von Objekten, welche sich auf oder oberhalb der Straßenoberfläche befinden, beschränkt.
Wie in 1 gezeigt, ist ein Objekterfassungssystem 1 gemäß der Ausführungsform hauptsächlich ausgebildet durch eine Bildaufnahmeeinheit 2, eine Umwandlungseinheit 3, eine Distanzinformations-Berechnungseinheit 6 und eine Erfassungseinheit 9.
Es ist zu erwähnen, dass der Aufbau von der Bildaufnahmeeinheit 2 zur Distanzinformations-Berechnungseinheit 6 detailliert im JP-A-5-114099 , JP-A-5-265547 , JP-A-10-283461 und JP-A-10-283477 beschrieben ist, welche veröffentliche Dokumente der japanischen ungeprüften Patentanmeldungen sind, welche durch den Anmelder von dieser Patentanmeldung eingereicht wurden, und daher sollten die oben angegebenen veröffentlichten Dokumente zur detaillierten Beschreibung des Aufbaus von Interesse herangezogen werden. Im Folgenden wird der Aufbau von der Bildaufnahmeeinheit 2 zur Distanzinformations-Berechnungseinheit 6 kurz beschrieben.
Bei dieser Ausführungsform ist die Bildaufnahmeeinheit 2 eine Stereo-Kamera, welche aus einem Paar von einer Haupt-Kamera 2a und einer Neben-Kamera 2b erstellt ist, wobei jede einen Bildsensor, wie beispielsweise einen CCD- oder einen CMOS-Sensor, enthält, und welche beispielsweise in der Nähe von einem Innenrückspiegel in einem Insassenraum von einem bezüglichen Fahrzeug angebracht sind, das heißt, an einer Innenseite von der Windschutzscheibe, und zwar auf eine solche Art und Weise, dass sie in einer Querrichtung von dem bezüglichen Fahrzeug voneinander beabstandet sind, wobei sie derart konfiguriert ist, um bei einem vorbestimmten Abtastzyklus ein Bild von Umgebungen vor dem bezüglichen Fahrzeug ein Bild aufnimmt, um somit ein Paar von Bildern auszugeben.
Bei dieser Ausführungsform, was das Paar von Kameras betrifft, welche die Bildaufnahmeeinheit 2 ausmachen, dient die Kamera, welche sich näher am Fahrer befindet, als die Hauptkamera 2a zur Aufnahme. Beispielsweise bildet ein Bild T, welches in 2 gezeigt ist, eine Referenz (im Folgenden als ein Referenzbild T bezeichnet). Zusätzlich nimmt die Nebenkamera 2b ein Vergleichsbild auf, welches mit dem Referenzbild T zu vergleichen ist. Es ist zu erwähnen, dass das Vergleichsbild ein Bild ist, welches wie das Referenzbild T ausschaut, und daher wird die Darstellung dessen ausgelassen.
Bilddaten, welche von der Hauptkamera 2a und der Nebenkamera 2b ausgegeben werden, werden von Analogbildern zu Digitalbildern umgewandelt, welche jeweils aus Pixeln erstellt sind, wobei jeder einen Helligkeitswert auf einem vorbestimmten Helligkeitspegel der Grau- oder Helligkeitsskala hat, welche sich über 256 Grau- oder Helligkeitspegel ausbreitet, und zwar durch A/D-Umwandler 3a, 3b, welche das Umwandlungsmodul 3 ausmachen, wobei die derart umgewandelten Digitalbilder in einer Bildkorrektureinheit 4 einer Bildkorrektur unterworfen werden, um eine Abweichung und Rauschen zu entfernen, und wobei die resultierenden, derart korrigierten Bilder dann in einem Bilddatenspeicher 5 gespeichert werden, und gleichzeitig zur Distanzinformations-Berechnungseinheit 6 übertragen werden.
In einem Bildprozessor 7 in der Distanzinformations-Berechnungseinheit 6 werden ein Bildübereinstimmungsbetrieb und ein Filterbetrieb auf die Bilddaten von dem Referenzbild T und dem Vergleichsbild durchgeführt, um somit eine Disparität dp als eine Distanz zu berechnen, welche einer Distanz von der Bildaufnahmeeinheit 2 zu einem im Referenzbild T aufgenommenen Objekt in einem aktuellen Raum entspricht.
Genauer gesagt, wird im Stereoübereinstimmungsbetrieb der Bildprozessor 7 das Referenzbild T in Pixelblöcke unterteilen, welche jeweils eine Größe von beispielsweise 4×4 Pixeln haben. Zusätzlich ruft der Bildprozessor 7 Pixelblöcke von 4×4 Pixeln auf dem Vergleichsbild für einen Pixelblock auf, dessen Ortsblockdistanz CB, welche durch eine folgende Gleichung (1) ausgedrückt wird, für jeden der Pixelblöcke auf dem Referenzbild T am kleinsten ist. Hier werden die Helligkeitspegel der Pixel an den Koordinaten (i, j) auf dem Referenzbild T und dem Vergleichsbild jeweils durch p1ij, p2ij ausgedrückt: CB = Σ|p1ij – p2ij| (1)
Sobald dies vorgenommen ist, ruft der Bildprozessor 7 bei dieser Ausführungsform den Pixelblock auf dem Vergleichsblock, welcher sich an der gleichen Position auf der j-Koordinate wie der Pixelblock auf dem Referenzbild T befindet, Pixel für Pixel horizontal in der i-Richtung auf, und wenn jener Pixelblock, dessen Ortsblockdistanz CB der kleinste ist, aufgefunden ist, berechnet der Bildprozessor 7 eine Abweichungsgröße, das heißt eine Disparität dp zwischen dem Pixelblock von Interesse auf dem Vergleichsbild und dem Pixelblock von Interesse auf dem Referenzbild T. Zusätzlich führt der Bildprozessor 7 die Berechnung der Disparität dp für alle Pixelblöcke auf dem Referenzbild T durch.
Zusätzlich, um die Zuverlässigkeit von der Disparität dp zu erhöhen, führt der Bildprozessor 7 einen Filterbetrieb auf die erlangten Disparitäten durch, um somit lediglich jene Disparitäten auszugeben, welche als gültig bestimmt sind. Das Ergebnis des Stereoübereinstimmungsbetriebes ist nämlich beispielsweise in einem Bildbereich, welcher aus einem Bild von einer Fahrzeugstraße erstellt ist und welchem es an Merkmalen fehlt, nicht sehr zuverlässig, und sogar dann, wenn eine Disparität dp berechnet ist, ist die Zuverlässigkeit der berechneten Disparität dp gering. Aufgrund dessen ist eine Disparität dp wie diese im Filterbetrieb ungültig und wird Null als der Wert von der Disparität dp ausgegeben.
Daraus folgend bilden die vom Bildprozessor 7 ausgegebenen Disparitäten dp normalerweise Daten, bei welchen es eine hohe Differenz im Helligkeitswert zwischen Pixeln gibt, welche auf dem Referenzbild T hauptsächlich angrenzend in der Querrichtung angeordnet sind, oder hat ein sogenannter Kantenabschnitt einen gültigen Wert. Daher, wie beispielsweise in 3 gezeigt, mangelt es einem Bild, welches die Disparitäten dp in der Form von Bildern darstellt, das heißt ein Bereichsbild Tz wird zu einem Bild, bei welchem ein gültiger Wert in einem Kantenabschnitt von einem aufgenommenen Bild vorliegt, während die Nummer 0 einem Bildbereich zugewiesen ist, an Merkmalen, wie beispielsweise ein Bild von der Fahrzeugstraße.
Zusätzlich sind Punkte (X, Y, Z) an einem aktuellen Raum, welcher daraus herrührt, wenn angenommen wird, dass die Disparität dp, ein Punkt (i, j) auf dem Bereichsbild Tz und ein Punkt auf der Straßenoberfläche, welcher direkt unterhalb eines Mittelpunktes zwischen dem Paar von Kameras 2a, 2b liegt, ursprüngliche Punkte sind, und dass eine Fahrzeug-Breiten- oder Querrichtung von dem entsprechenden Fahrzeug eine X-Achserrichtung ist, eine Fahrzeugflöhen- oder Vertikalrichtung eine Y-Achsenrichtung ist und eine Fahrzeug-Längen- oder Längsrichtung eine Z-Achserichtung ist, gleichförmig durch Koordinatentransformationen in Zusammenhang stehen, welche durch folgende Gleichungen (2) bis (4) ausgedrückt sind. Zusätzlich kennzeichnet CD in den jeweiligen folgenden Gleichungen das Intervall zwischen dem Paar von Kameras, kennzeichnet PW den Winkel des Ansichtsfeldes, kennzeichnet CH die Befestigungshöhe des Paares von Kameras, kennzeichnen IV und JV eine i-Koordinate und eine j-Koordinate auf dem Bereichsbild eines unendlich fernen Punktes an der Vorderseite des betreffenden Fahrzeuges und kennzeichnet DP eine Fluchtpunkt-Disparität. Y = CD/2 + Z(PW(i – IV)) (2) Y = CH + Z (PW(j – IJV)) (3) Z = CD/(PW (dp – DP)) (4)
Auf diese Art und Weise berechnet die Distanzinformations-Berechnungseinheit 6 die Disparität dp für jeden Pixelblock, um somit das Bereichsbild Tz auszubilden, und überträgt die Information an die Erfassungseinheit 9, wobei gleichzeitig jene Information in einem Bereichsdatenspeicher 8 gespeichert wird.
Die Erfassungseinheit 9 enthält einen Computer, in welchem eine CPU, ein ROM, ein RAM und eine Eingabe/Ausgabe-Schnittstelle mit einem Bus verbunden sind. Zusätzlich sind Sensoren, wie beispielsweise ein Fahrzeuggeschwindigkeitssensor, ein Gierratensensor und ein Lenksensor zum Messen eines Wende- oder Lenkwinkels von einem Lenkrad wenn erforderlich mit der Erfassungseinheit 9 verbunden.
Die Erfassungseinheit 9 enthält ein Zuverlässigkeits-Bewertungsmodul 10, ein Histogramm-Erzeugungsmodul 11 und ein Objekterfassungsmodul 12, wie in 4 gezeigt. Ferner enthält die Erfassungseinheit 9 einen nicht gezeigten Speicher. Es ist zu erwähnen, dass im Folgenden, aus Gründen der Vereinfachung, das Histogramm-Erzeugungsmodul 11 als in ein erstes Histogramm-Erzeugungsmodul 11a und ein zweites Histogramm-Erzeugungsmodul 11b unterteilt beschrieben werden wird.
Das Zuverlässigkeits-Bewertungsmodul 10 berechnet einen Index der Zuverlässigkeit in der Disparität dp, basierend auf der Disparität dp, welche die Distanzinformation ist, welche den Pixelblöcken von dem Bereichsbild Tz zugewiesen ist.
Genauer gesagt, wie in 5 gezeigt, stellt das Zuverlässigkeits-Bewertungsmodul 10 zunächst ein Bewertungsfenster We von einer vorbestimmten Größe in einem im Wesentlichen mittleren Bildbereich ein, welches einen Pixelblock enthält, welcher beispielsweise einem unendlich fernen Punkt auf dem Bereichsbild Tz entspricht, und berechnet einen Index der Zuverlässigkeit in der Disparität dp, basierend auf einem statistischen Wert von Disparitäten von Pixelblöcken innerhalb des Bewertungsfensters We.
Zusätzlich werden, wie oben beschrieben, Objekte, welche auf oder oberhalb der Straßenoberfläche vorliegen, erfasst. Aufgrund dessen erkennt das Zuverlässigkeits-Bewertungsmodul 10, basierend auf dem Referenzbild T und dem Bereichsbild Tz Fahrbahnmarkierungslinien, welche auf der Straßenoberfläche angebracht sind, wie beispielsweise eine Überholverbots-Bereichsmarkierungslinie und eine Einteilungs-Markierungslinie, welche eine Fahrzeug-Fahrbahn von der Seite von der Straße einteilt, und erkennt dann die Straßenoberfläche, basierend auf den derart erkannten Linien. Zusätzlich berechnet das Zuverlässigkeits-Bewertungsmodul 10 ferner einen Index der Zuverlässigkeit lediglich für Disparitäten, welche Distanzen entsprechen, bei welchem die Objekte auf oder oberhalb der Straßenoberfläche liegen, und zwar in den Disparitäten von den Pixelblöcken innerhalb des Bewertungsfensters We.
Der Aufbau von der Fahrbahnmarkierungslinien-Erkennung adaptiert den Aufbau von dem Fahrbahnmarkierungslinien-Erkennungssystem, welches in der JP-A-2006-331389 beschrieben ist, welches das japanische ungeprüfte Patentanmeldungsdokument ist, welches die relevante Patentanmeldung offenbart, welche durch den Anmelder von dieser Patentanmeldung eingereicht ist. Es ist jedoch möglich, jeglichen weiteren Aufbau vorzunehmen, welcher oben beschrieben ist, wenn er Straßenmarkierungslinien erkennt.
Zusätzlich bildet das Zuverlässigkeits-Bewertungsmodul 10 ein Fahrbahnmodell auf eine dreidimensionale Art und Weise, basierend auf einer Information über Fahrbahnmarkierungslinien aus, welche auf der linken und rechten Seite von dem bezüglichen Fahrzeug erfasst sind. Das Fahrbahnmodell wird wie beispielsweise in 6A und 6B gezeigt ausgebildet, indem die Fahrbahnmarkierungslinien auf der linken und rechten Seite von dem bezüglichen Fahrzeug Segment für Segment durch unten angezeigte dreidimensionale Linear-Gleichungen (5) bis (8) angenähert werden, und die Ergebnisse der Annäherungen zu einer polygonalen Linie verbunden werden. Es ist zu erwähnen, dass 6A ein Straßenmodell auf einer Z-X-Ebene, das heißt ein horizontaler Formmodus, anzeigt, und dass 6B ein Straßenmodell auf einer Z-Y-Ebene, das heißt ein Straßen-Höhenlagenmodell, anzeigt.
[Horizontales Formmodell]

Rechte Fahrbahnmarkierungslinie X = aR·Z + bR (5) Linke Fahrbahnmarkierungslinie X = aL·Z + bL (6)

[Straßen-Höhenlagenmodell]

Rechte Fahrbahnmarkierungslinie Y = cR·Z + dR (7)
Linke Fahrbahnmarkierungslinie Y = cL·Z + dL (8)

In dieser Ausführungsform ist das Zuverlässigkeits-Bewertungsmodul 10 derart entworfen, um die Straßenoberfläche, basierend auf dem Fahrbahnmodell, welches auf die oben beschriebene Art und Weise ausgebildet ist, zu erkennen. Zusätzlich, im Falle, dass eine Höhe Ydp, welche erlangt wird, indem dp in Gleichung (4) oben durch die Disparitäten dp, welche den Pixelblöcken innerhalb des Bewertungsfensters We zugewiesen sind, substituiert wird, und dann Z in Gleichung (3) durch die Distanz Z, wie durch Gleichung (4) berechnet, substituiert wird, sich in einer Position befindet, welche um einen festgelegten bestimmten Wert oder höher als eine Straßenhöhe Y, resultierend zu der Distanz Z im Straßenhöhenmodell, höher ist, bestimmt das Zuverlässigkeits-Bewertungsmodul 10, dass die Disparität dp gleich die Disparität dp ist, welche der Distanz zu dem Objekt entspricht, welches sich auf oder oberhalb von der Straßenoberfläche befindet, und bestimmt die Disparität oder die Distanz als ein Objekt, für welches ein Index der Zuverlässigkeit zu berechnen ist, wobei die weiteren Disparitäten von Objekten verworfen werden, für welche ein Index der Zuverlässigkeit zu berechnen ist. Das Zuverlässigkeits-Bewertungsmodul 10 schließt ebenfalls die Pixelblöcke, welchen Null zugewiesen ist, als den Wert von seiner Disparität dp von Objekten aus, bei welchen ein Index der Zuverlässigkeit zu berechnen ist.
Als einen Index der Zuverlässigkeit in der Disparität dp berechnet das Zuverlässigkeits-Bewertungsmodul 10 eine Varianz σ dp² von der Disparität dp, welche durch die folgende Gleichung (9) ausgedrückt wird: σdp2 = Σ(dp – dpave)2 (9)
Zusätzlich berechnet das Zuverlässigkeits-Bewertungsmodul 10 eine Varianz als einen Nummernwert, indem die Varianz σdp² mit einem Zuverlässigkeits-Index It in Zusammenhang gebracht wird, wie im Kurvenverlauf in 7 gezeigt, und gibt einen Index It der Zuverlässigkeit an das Histogramm-Erzeugungsmodul 11 und das Objekterfassungsmodul 12 gemäß σdp² aus. Zusätzlich wird die Information über die Disparität dp, welche als die Disparität entsprechend zu der Distanz zu dem Objekt auf oder oberhalb von der Straßenoberfläche bestimmt ist, ebenfalls an das Histogramm-Erzeugungsmodul 11 und das Objekterfassungsmodul 12 ausgegeben.
Das Histogramm-Erzeugungsmodul 11 erzeugt ein Histogramm in Zusammenhang mit der Distanzinformation oder der Disparität dp, welches zur Erfassung von einem Objekt von dem Referenzbild T in dem Objekterfassungsmodul 12 verwendet wird, welches später beschrieben wird.
In dieser Ausführungsform dient das erste Histogramm-Erzeugungsmodul 11a von dem Histogramm-Erzeugungsmodul 11 zum Unterteilen des Bereichsbildes Tz, in welchem die Disparitäten dp den Pixelblöcken zugewiesen sind, in eine Mehrzahl von Segmenten von einer vorbestimmten Größe, und erzeugt ein erstes Histogramm in Zusammenhang mit der Disparität dp für jedes Segment.
Genauer gesagt dient das erste Histogramm-Erzeugungsmodul 11a zum Unterteilen des Bereichsbildes Tz, welches durch Zuweisen der Disparitäten dp zu den Pixelblöcken in der Distanzinformations-Berechnungseinheit 6 berechnet wurde, in die Mehrzahl von Segmente von einer vorbestimmten Größe. Bei dieser Ausführungsform wird das Bereichsbild Tz, wie in 8 gezeigt, in streifenförmige Segmente Dn unterteilt, welche sich vertikal erstrecken.
Zusätzlich stellt das erste Histogramm-Erzeugungsmodul 11a einzeln die Segmente Dn, welche derart unterteilt sind, mit einem ersten Histogramm Hin, wie in 9 gezeigt, bereit, welches mit der Disparität dp in Zusammenhang steht, welche auf oder oberhalb von der Straßenoberfläche vorliegt. Im Falle, dass die Segmente Dn gleich 120 Segmente sind, welche sich beispielsweise von D1 bis D120 erstrecken, ist das erste Histogramm Hin um 120 für die Segmente Dn bereitgestellt. Zusätzlich ist eine Klasse des ersten Histogramms Hin jene Klasse, welche in Klassen von einer vorbestimmten Klassenbreite landläufig über die gesamten Histogramme unterteilt ist.
Zusätzlich werden Disparitäten dp, welche auf oder oberhalb von der Straßenoberfläche vorliegen, welche zu dem Segment Dn gehören, sequenziell dem ersten Histogramm Hin von dem Segment von Interesse zugesprochen. Daraus folgend, wie in 9 gezeigt, wird ein erstes Histogramm Hin erzeugt, bei welchem Frequenzen F1nm zu Klassen verteilt ist. Das erste Histogramm-Erzeugungsmodul 11a implementiert den Erzeugungsbetrieb von dem ersten Histogramm Hin über die Gesamtheit der Segmente Dn.
Zusätzlich ändert das erste Histogramm-Erzeugungsmodul 11a die Auflösung zur Erzeugung der ersten Histogramme H1n gemäß dem Index It der Zuverlässigkeit in der Disparität dp, welche von dem Zuverlässigkeits-Bewertungsmodul 10 gesendet ist.
Bei dieser Ausführungsform ändert das erste Histogramm-Erzeugungsmodul 11a die Größe der Segmente Dn, das heißt, die Querbreite von den streifenförmigen Segmenten Dn, welche das Bereichsbild Tz ausmachen, gemäß dem Index It der Zuverlässigkeit in der Disparität dp, und beispielsweise im Falle, dass der Index It der Zuverlässigkeit in der Disparität Schritt für Schritt zunimmt, wie in 7 gezeigt, wobei das erste Histogramm-Erzeugungsmodul 11 die Querbreite von den Segmenten Dn ändert, so dass sie um das Doppelte, Dreifache und dergleichen zunehmen. Die Querbreite resultiert daraus, wenn der Index der Zuverlässigkeit in der Disparität dp seinen Minimalwert annimmt, wenn der Index der Zuverlässigkeit zunimmt.
Aufgrund dessen, wenn eine Situation angenommen wird, bei welcher der Index It der Zuverlässigkeit in der Disparität dp seinen Minimalwert annimmt, ein Standardzustand ist, und wenn angenommen wird, dass die streifenförmigen Segmente Dn derart aufgeteilt sind, dass im Standardzustand 120 Segmente vorliegen, wird die Anzahl der Segmente als von 120 Segmenten auf 60 Segmente, 40 Segmente, ..., jedes Mal dann abnehmend geändert, wenn der Zuverlässigkeitsindex It erhöht wird und die Anzahl von zu erzeugenden ersten Histogrammen ebenfalls von 120 Histogrammen im Standardzustand herab auf 60 Histogramme, 40 Histogramme, ..., geändert wird.
Das zweite Histogramm-Erzeugungsmodul 11b wendet einen vorbestimmten Filterbetrieb auf die Frequenzen F1nm von den Klassen der ersten Histogramme Hin, welche durch das erste Histogramm-Erzeugungsmodul 11a erzeugt werden, an, um somit wahre Werte der Frequenzen zu berechnen, so dass ein zweites Histogramm H2n für jedes der Segmente Gn erzeugt wird.
In dieser Ausführungsform implementiert das zweite Histogramm-Erzeugungsmodul 11b, als Filterbetrieb, einen zeitweiligen Glättungsbetrieb für glatte Zeitänderungen in den Frequenzen von den Klassen C1nm von den ersten Histogrammen Hin, welche durch das erste Histogramm-Erzeugungsmodul 11a eingesammelt werden.
Genauer gesagt, wie in 10 gezeigt, ändert sich die Frequenz F1nm von jeder von den Klassen von jedem von den ersten Histogrammen zeitweilig, das heißt, bei jedem Abtastzyklus. Aufgrund dessen wird diese Ausführungsform ein wahrer Wert F1nmreal (t) von der Frequenz F1nm von jeder von den Klassen von jedem von den ersten Histogrammen Hin gemäß der folgenden Gleichung (10) unten berechnet, und welche beim Überschreiben des Speichers zur Aktualisierung berechnet wird: F1nmreal (t) = F1nmreal (t – 1) × (1 – Pt) + F1nm (t) × Pt (10)
Hier zeigen F1nmreal (t) und F1nmreal (t – 1) jeweils die wahren Wette F1nmreal von den Frequenzen bei derzeitigen und vorherigen Abtastzyklen t, t – 1 an, und zeigt F1nm (t) die Frequenz F1nm von jeder von den Klassen C1nm von jedem von den ersten Histogrammen It an, welche beim derzeitigen Abtastzyklus t erzeugt werden.
Zusätzlich zeigt Pt in Gleichung (10) eine Zeitkonstante an, und wird innerhalb eines Nummernwertebereiches von 0 ≤ Pt ≤ 1 gemäß dem Index It der Zuverlässigkeit in der Disparität dp geändert, welche von dem Zuverlässigkeits-Bewertungsmodul 10 übertragen wird. In dieser Ausführungsform wird in dem Standardzustand, bei welchem der Minimalwert des Index It der Zuverlässigkeit in der Disparität dp von dem Zuverlässigkeits-Bewertungsmodul 10 ausgegeben wird, das Pt als Pt = 1 gekennzeichnet, und wird der Wert von Pt derart eingestellt, dass er mit zunehmender Zuverlässigkeit des Index It abnimmt.
Daraus folgend wird in dem Standardzustand, da die Zeitkonstante Pt = 1 ist, die Gleichung (10) dann ausgedrückt durch: F1nmreal (t) = F1nm (t) (11)
Der wahre Wert F1nmreal (t) von der Frequenz F1nm von jeder Klasse C1nm nimmt die Frequenz F1nm (t) an, welche durch das erste Histogramm-Erzeugungsmodul 11a zum derzeitigen Abtastzyklus t eingesammelt ist. In dem Standardzustand, bei welchem die Varianz dp2 von der Disparität dp der kleinste und minimalste Wert des Index It der Zuverlässigkeit in der Disparität dp annimmt, ausgegeben wird, wird nämlich die Frequenz F1nm (t) von jeder von den Klassen von jedem von den ersten Histogrammen, welche durch das erste Histogramm-Erzeugungsmodul 11a eingesammelt sind, derart angesehen, dass sie, so wie sie ist, den wahren Wert darstellt.
Wenn die Varianz dp2 von der Disparität dp2 groß wird, und somit der Wert des Index It der Zuverlässigkeit in der Disparität dp zunimmt, wird jedoch, wie in 11 gezeigt, die Fluktuation des Wertes von der Frequenz F1nm (t) von den Klassen groß. Wenn dies passiert, wird der Wert von der Zeitkonstante Pt verringert, wird die Frequenz F2nm (t) in jedem Abtastzyklus t durch die Gleichung (10) geglättet, und wird der geglättete Wert von der Frequenz F1nm (t) dann als der wahre Wert F1nmreal (t) angesehen.
Das zweite Histogramm-Erzeugungsmodul 11b weist die wahren Werte F2nmreal (t) von den Frequenzen F1nm von den Klassen C1nm, welche auf die oben beschriebene Art und Weise berechnet wurden, den Klassen C2nm von den zweiten Histogrammen H2n zu, welche den ersten Histogrammen Hin als Frequenzen F2nm entsprechen, um somit die zweiten Histogramme H2n zu erzeugen.
Daraus folgend, in dem Standardzustand, bei welchem der Index It der Zuverlässigkeit in der Disparität dp seinen Minimalwert annimmt, da der wahre Wert F1nmreal (t) gleich den eingesammelten Frequenzen F1nm (t) von Gleichung (11) ist, wie in 12 gezeigt, wird ein zweites Histogramm H2n, welches für jedes Segment Dn zu erzeugen ist, ein Histogramm, welches in der Form gleich dem ersten Histogramm Hn1 für das Segment von Interesse ist.
Zusätzlich, bei einem solchen Zustand, bei welchem der Index It von der Zuverlässigkeit in der Disparität dp größer als sein Minimalwert ist, werden die Werte, welche daraus resultieren, wenn die Frequenzen F1nm (t) von den ersten Klassen C1nm von den ersten Histogrammen Hin zeitweilig geglättet werden, die wahren Werte F1nmreal (t) bilden, und, wie in 13 gezeigt, werden die entsprechenden wahren Werte F1nmreal (t) von den Klassen von den ersten Histogrammen den Klassen C2nm von den zweiten Histogrammen H2n zugewiesen, um somit die zweiten Histogramme H2n zu erzeugen.
Das zweite Histogramm-Erzeugungsmodul 11b gibt die Klassen C2nm von dem zweiten Histogramm H2n von jedem Segment Dn, welches auf die oben beschriebene Art und Weise erzeugt ist, aus, wobei die Klasse, dessen Frequenz F2nm gleich oder größer einem Schwellwert ist, durch eine gestrichelte Linie mit abwechselnd langen und kurzen Linien in 12 und 13 angezeigt wird, wobei dies eine größte Frequenz auferlegt, wenn die größte Klasse Cnmax für jedes Segment Dn zur gleichen Zeit im Speicher gespeichert wird.
Es ist zu erwähnen, dass, obwohl die größte Klasse Cmax ein Mal bei jedem Segment Dn erfasst wird, in dem Fall, bei welchem alle Frequenzen F2nm von den Klassen von dem zweiten Histogramm H2n kleiner als der Schwellwert sind, dies derart angesehen wird, dass die größte Klasse Cmax erfasst wurde.
Das Objekterfassungsmodul 12 erfasst ein Objekt auf dem Referenzbild T, basierend auf den größten Klassen Cnmax, welche in den Segmenten Dn des Bereichsbildes Tz erfasst wurden.
Genauer gesagt, weist das Objekterfassungsmodul 12 die Disparitäten dp an den unteren Limits von den größten Klassen von den Segmenten Dn, das heißt die kleinsten Disparitäten dp von den größten Klassen, den Segmenten Dn zu, und ersetzt dp in Gleichung (4) oben mit den Disparitäten dp, um Distanzen Z von dem Objektfahrzeug zu Objekten für die Segmente Dn zu berechnen. Die Distanzen Z zu den Objekten in den Segmenten Dn sind im aktuellen Raum ausgedruckt, wie in 14 gezeigt, wobei eine Information über die Distanzen Z als Punkte in Abschnitten ausgedruckt ist, welche Abschnitten von Objekten, welche sich davor befinden, ausgedruckt ist, welche dem Objektfahrzeug A gegenüberliegen, wobei sie leicht zerstreut sind.
Während der Erlangung von Distanzen in der X-Achsenrichtung und Z-Achsenrichtung von den Punkten und jenen Punkten, welche auf die oben beschriebene Art und Weise ausgedruckt sind, welche angrenzend zueinander ausgerichtet sind, und zwar in jenen Richtungen und Gesamtlängen, welche von einem linken Endpunkt zu einem rechten Endpunkt in der X-Achsenrichtung von Gruppen von den angrenzenden Punkten, wenn sie gruppiert sind, verstreut sind, wobei das Objekterfassungsmodul 12 jene Punkte einsammelt und gruppiert, welche auf die oben beschriebene Art und Weise ausgerichtet oder gruppiert sind, und deren Längen in der X- oder Z-Achsenrichtung oder den Gesamtlängen in der X-Achsenrichtung innerhalb von eingestellten Schwellwerten in Gruppen G1, G2, G3, ..., jeweils eingestellt werden, wie in 15 gezeigt.
Dann, wie in 16 gezeigt, glättet das Objekterfassungsmodul 12 eine Linie in der Nähe von den Punkten innerhalb der Gruppen und kennzeichnet und klassifiziert Gruppen, bei welchen sich die angenäherten geraden Linien im Wesentlichen parallel zu der Fahrzeug-Breitenrichtung von dem Objektfahrzeug A oder die X-Achsenrichtung als „Objekt" 01 bis 06 erstrecken, und kennzeichnet und klassifiziert die Gruppen, bei welchen die Punkte im Wesentlichen parallel zur Fahrtrichtung von dem Objektfahrzeug A ausgerichtet sind, oder die Z-Achsenrichtung, als „Seitenwand” S1 bis S6. Zusätzlich wird ein Mittenpunkt von einem „Objekt" und einer „Seitenwand", welche als das gleiche Objekt angesehen werden, als ein Kantenpunkt C bezeichnet.
Das Objekterfassungsmodul 12 erfasst als Objekte [Seitenwand S1], [Objekt O1], [Seitenwand S2], [Objekt O2, Kantenpunkt C, Seitenwand S3], [Objekt O3], [Seitenwand S5, Kantenpunkt C, Objekt O5],[Objekt O6] und [Seitenwand S6] auf diese Art und Weise. Zusätzlich, wie in 17 gezeigt, berechnet das Objekterfassungsmodul 12 rechteckige Rahmenlinien, welche die Objekte umgeben, welche auf dem Referenzbild T erfasst sind.
Das Objekterfassungsmodul 12 gibt eine Information über die Objekte, welche auf die oben beschriebene Art und Weise erfasst sind, Koordinaten von Endpunkten von Teilgruppen und Koordinaten von Scheitelpunkten von den Rahmenlinien auf dem Referenzbild T aus, und speichert sie im Speicher.
Zusätzlich ändert das Objekterfassungsmodul 12 die Schwellwerte zur Objekterfassung, wie beispielsweise eine Z-Achsenrichtung zwischen den angrenzenden Punkten von den Punkten im aktuellen Raum gemäß dem Index It der Zuverlässigkeit in der Disparität dp, welche von dem Zuverlässigkeits-Bewertungsmodul übertragen wird. Genauer gesagt, wenn die Varianz dp2 von der Disparität dp groß wird, und somit der Index It der Zuverlässigkeit in der Disparität dp zunimmt, ändert das Objekterfassungsmodul 12, während eine Übereinstimmung mit der Information von den Objekten, welche beispielsweise in den letzten Abtastzyklen erfasst sind, erlangt wird, wobei die Schwellwerte derart sind, dass sie hohe Werte annehmen, um somit den Standard zur Gruppierung zu entlasten.
Als Nächstes wird die Funktion des Objekterfassungssystems 1 gemäß der Ausführungsform beschrieben.
Das Zuverlässigkeits-Bewertungsmodul 10 beobachtet das Bewertungsfenster We, welches auf dem Bereichsbild Tz eingestellt ist, und bewertet Varianzen dp2 von den Disparitäten dp für die Pixelblöcke innerhalb des Bewertungsfensters We gemäß der obigen Gleichung (9). Dann berechnet das Zuverlässigkeits-Bewertungsmodul 10 einen Index It der Zuverlässigkeit in der Disparität dp, welcher der Varianz dp2 von der Disparität entspricht, welche gemäß dem in 7 gezeigten Kurvenverlauf berechnet ist, und gibt dem Index It der Zuverlässigkeit in der Disparität dp, welcher derart berechnet ist, aus.
Das erste Histogramm-Erzeugungsmodul 11a von dem Histogramm-Erzeugungsmodul 11 stellt die Querbreite der streifenförmigen Segmente Dn auf beispielsweise eine Breite von 4 Pixeln ein, welche der Querbreite von dem Pixelblock von dem Referenzbild T entspricht, welches dem Stereo-Übereinstimmungsbetrieb durch den Bildprozessor 7 von der Distanzinformations-Berechnungseinheit 6 unterworfen wird, um das Bereichsbild Tz zu unterteilen, und erzeugt die ersten Histogramme Hin in Zusammenhang mit den Disparitäten dp von den jeweiligen Segmenten Dn im Standardzustand, wobei die Varianz dp2 von der Disparität dp klein ist, und der Maximalwert des Index It der Zuverlässigkeit in der Disparität dp ausgegeben wird.
Das zweite Histogramm-Erzeugungsmodul 11b von dem Histogramm-Erzeugungsmodul 11 führt den vorbestimmten Filterbetrieb durch, das heißt, dass bei dieser Ausführungsform der zeitliche Glättungsbetrieb gemäß der Gleichung (10) oben auf die Frequenzen F1nm von den Klassen von den ersten Histogrammen einzeln durchgeführt wird, um die wahren Werte F1nmreal (t) von den Frequenzen zu berechnen, um somit die zweiten Histogramme für die Segmente Dn einzeln zu erzeugen.
Jedoch werden im Standardzustand die Konstante Pt gleich 1, und, wie durch Gleichung (11) oben ausgedrückt, die Realwerte F1nmreal (t) von den Frequenzen gleich den Frequenzen F1nm (t) von den Klassen C1nm von den ersten Histogrammen Hin eingestellt, welche durch das erste Histogramm-Erzeugungsmodul 11a im Abtastzyklus (t) erzeugt wurden, und die zweiten Histogramme H2n nehmen die gleiche Form wie jene der ersten Histogramme A1n in den entsprechenden Segmenten an. Aufgrund dessen kann diese Ausführungsform derart konfiguriert werden, dass die ersten Histogramme direkt die zweiten Histogramme bilden, ohne dass die Berechnungen in den Gleichungen (10), (11) im Standardzustand durchgeführt werden.
Das zweite Histogramm-Erzeugungsmodul 11b gibt die größte Klasse Cnmax aus, welche gleich oder größer als der Schwellwert ist, und welche die größte Frequenz in den Frequenzen F2nm von den Klassen von dem zweiten Histogramm H2n von jedem Segment Dn auferlegt, und das Objekterfassungsmodul 12 berechnet die Distanzen Z von dem Objektfahrzeug zu den Objekten, basierend auf der Information über die größte Klasse Cnmax in jedem Segment Dn zur Gruppierung, um somit die Objekte zu erfassen, welche das Objektfahrzeug umgeben.
Zusätzlich, wenn die Varianzen dp2 von den Disparitäten dp von den Pixelblöcken innerhalb des Bewertungsfensters We auf dem Bereichsbild Tz groß werden, und zwar aufgrund von Regenwetter oder von Schmutz, welcher auf der Windschutzscheibe anhaftet, und das Zuverlässigkeits-Bewertungsmodul 10 den Index It der Zuverlässigkeit in der Disparität dp ausgibt, welcher einen höheren Wert als jener entsprechend der Varianz dp2 von der Disparität dp hat, welche gemäß dem in 7 gezeigten Kurvenverlauf berechnet ist, ändert das erste Histogramm-Erzeugungsmodul 11a von dem Histogramm-Erzeugungsmodul 11 auf eine Erhöhung der Querbreite von den Segmenten Dn, welche das Bereichsbild Tz auf das Zweifache, Dreifache, ..., davon einteilen.
Wie oben beschrieben, bei dem Ergebnis, bei welchem die Querbreite von jedem Segment Dn im Standardzustand 4 Pixel beträgt, erstreckt sich nämlich die Querbreite auf eine 8-Pixel-Breite, eine 12-Pixel-Breite, ..., gemäß dem Wert des Index It der Zuverlässigkeit in der Disparität dp. Aufgrund dessen, obwohl die Auflösung in der Querbreite, das heißt in der X-Achsenrichtung, zum Erlangen der Distanzen Z zu Objekten zunimmt, nimmt die Anzahl von Pixelblöcken zu, welche die gültigen Disparitäten dp haben, welche zu jedem Segment Dn gehören, indem die Querbreite von dem Segment Dn erweitert wird.
Aufgrund dessen, wenn das Bereichsbild Tz mit der Querbreite von dem Segment Dn unterteilt wird, welche beispielsweise eine 4-Pixel-Breite ist, obwohl die Frequenzen F1nm, F2nm von den ersten Histogrammen Hin, Hin + 1, welche für die Segmente Dn, Dn + 1 erzeugt sind, auseinandergehen, wie in 18A, 18B gezeigt, wobei die größten Klassen Cnmax unklar werden, wenn die Querbreite von jedem Segment Dn auf eine 8-Pixel-Breite zunimmt, werden die Segmente Dn, Dn + 1 in ein neues Segment Dn* integriert, in welchem die Frequenzen F1nm, F2nm von den ersten Histogrammen Hin, Hin + 1 für jede Klasse zusammenaddiert sind, um somit ein erstes Histogramm Hin* zu erlangen, in welchem eine Klasse Cn·max, welche eine größte Frequenz hat, klar unterschieden werden kann, wie in 19 gezeigt.
Andererseits, wenn die Varianzen dp2 von den Disparitäten dp von den Pixelblöcken innerhalb des Bewertungsfensters We auf dem Bereichsbild Tz groß werden, und zwar aufgrund von Regenwetter oder Schmutz, welcher auf der Windschutzscheibe haftet, kann eine Situation auftreten, bei welcher die Werte von den Frequenzen F1nm von den Klassen C1nm von dem ersten Histogramm Hin stark fluktuieren, so dass die Werte in jedem Abtastzyklus t zunehmen oder abnehmen.
Wenn dies vorgesehen ist, um durch das erste Histogramm Hin (t) in beispielsweise jedem Abtastzyklus t dargestellt zu werden, wie durch erste Histogramme Hin (t – s), Hin (t) in 20A, 20B gezeigt, variieren die Frequenzen F1nm (t) in jedem Abtastzyklus t, und variiert eine Klasse, welche eine größte Frequenz hat, und darüber hinaus variiert eine zeitliche Abweichung von dieser größten Klasse Cnmax (t), welche in jedem Segment Dn erzeugt ist, stark. Aufgrund dessen, wenn Objekte durch das Objekterfassungsmodul 12, basierend auf der Information über die größte Klasse Cnmax (t) in jedem Segment Dn erfasst werden, kann ein Problem auftreten, dass ein starker Erfassungsfehler erzeugt wird oder ein Fehler beim Gruppieren bewirkt wird, um einen Erfassungsfehler zu erzeugen.
In dieser Ausführungsform wird jedoch der Wert von der Zeitkonstante Pt in Gleichung (10) oben geändert, um abzunehmen, wenn der Zuverlässigkeits-Index It durch das zweite Histogramm-Erzeugungsmodul 11a von dem Histogramm-Erzeugungsmodul 11 zunimmt, und wird der zeitliche Glättungsbetrieb auf die Frequenzen F1nm von den Klassen C1nm von jedem ersten Histogramm Hin angewendet, um somit die wahren Werte F1nmreal (t) von den Frequenzen zu berechnen. Dann, indem für jedes Segment Dn das zweite Histogramm H2n erzeugt wird, welches die derart berechneten wahren Frequenzen F1nmreal (t) für die Frequenzen von den Klassen davon verwendet, kann das in 13 gezeigte Histogramm H2n, bei welchem die Frequenzen zeitlich glatt übergehen, basierend auf dem ersten Histogramm Hin (t), wie in 20A, 20B gezeigt, erlangt werden, bei welchem die Frequenzen in jedem Abtastzyklus stark schwanken.
Dann wird die größte Klasse Cnmax (t) für jedes Segment Dn, basierend auf dem zweiten Histogramm H2n berechnet, welches die wahren Frequenzen F1nmreal für die Frequenzen von den Klassen davon verwendet, berechnet, und werden Objekte durch das Objekterfassungsmodul 12, basierend auf der Information erfasst, wodurch es möglich wird, Objekte stabil zu erfassen, ohne dass eine fehlerhafte Erfassung oder ein großer Erfassungsfehler bewirkt wird.
Wie zuvor beschrieben, können gemäß dem Objekterfassungssystem 1 gemäß der Ausführungsform, sogar wenn die aufgenommenen Bilder gestört sind oder ein Rauschen, wie beispielsweise ein zusätzliches Licht aufgrund von Regen oder wenn das Glas, wie beispielsweise die Windschutzscheibe, welche vor den Bildmodulen angeordnet ist, dreckig wird, gemischt ist, durch eine Änderung zur geeigneten Verringerung der Auflösung zur Histogramm-Erzeugung, wie beispielsweise die Auflösung in der Querrichtung im aktuellen Raum zur Berechnung von Distanzen zu Objekten oder zur Zeitauflösung, Variationen in den Distanzen zu den Objekten, welche zu erfassen sind, oder zu Positionen von Objekten unterdrückt werden, um somit die Objekte auf eine stetige Art und Weise zu erfassen, wodurch es möglich wird, Objekte zu erfassen, welche auf der Peripherie von dem Objektfahrzeug liegen, und zwar mit einer hohen Zuverlässigkeit, indem die aufgenommenen Bilder analysiert werden.
Zusätzlich, da es nicht notwendig ist, beispielsweise ein Radarsystem zusätzlich zu den Bildaufnahmeeinheiten bereitzustellen, kann eine Zunahme der Produktionskosten des Systems unterdrückt werden, wodurch es ermöglicht wird, eine Reduktion des Marktpreises davon zu realisieren.
Es ist zu erwähnen, dass, obwohl in der Ausführungsform jene Situation beschrieben wurde, bei welcher die Varianz dp2 von der Disparität dp, welche durch Gleichung (9) ausgedrückt wird, als der Index der Zuverlässigkeit in der Disparität dp verwendet wird, der Index der Zuverlässigkeit in der Disparität dp nicht auf dem Index beschränkt ist, welcher durch Verwenden der Varianz dp2 von der Disparität dp berechnet ist, vorausgesetzt, dass der Index derart ist, dass er anzeigt, ob die Auflösung zur Histogramm-Erzeugung geändert werden muss oder nicht.
Zusätzlich, obwohl in der Ausführungsform jene Situation beschrieben wurde, bei welcher die Größe von den Segmenten Dn, das heißt die Querrichtung von den streifenförmigen Segmenten Dn, welche das Bereichsbild Tz unterteilen, gemäß dem Index It der Zuverlässigkeit in der Disparität dp, welche durch das Zuverlässigkeits-Bewertungsmodul 10 berechnet ist, geändert wird, und zwar anders oder zusätzlich zu der Änderung in der Querbreite von den Segmenten Dn, wird es möglich, die Klassenbreite zu ändern, durch welche das erste Histogramm Hin in Klassen C1nm unterteilt ist.
Es können nämlich durch ein derartiges Konfigurieren, so dass die Klassenbreite, wobei die Klasse das erste Histogramm Hin in die Klassen C1nm unterteilt, beispielsweise verbreitert wird, wenn die Varianz dp2 von der Disparität dp groß wird und der Index It der Zuverlässigkeit in der Disparität dp zunimmt, die Frequenzen F1nm von den Klassen C1nm, welche auf eine verteilte Art und Weise wie in 18A eingesammelt werden, und nicht eindeutig genug sind, um die Klasse anzuzeigen, welche die Spitzen-Frequenz hat, geändert werden, um es zu ermöglichen, eine klar größte Klasse Cnmax** zu berechnen, indem die Klassenbreite von den Klassen verdoppelt wird, wie in 21 gezeigt.
Wenn dies auftritt, können, obwohl die Auflösung in der Z-Achse im aktuellen Raum zum Erlangen von Distanzen zu Objekten abnimmt, indem die Klassenbreite von den Klassen C1nm von dem ersten Histogramm Hin geändert wird, aufgrund der größten Klasse Cnmax**, welche klar und stabil berechnet ist, Objekte mit einer guten Erfassungsstabilität erfasst werden, wodurch es ermöglicht wird, Objekte, welche um das Objektfahrzeug liegen, mit einer hohen Zuverlässigkeit zu erfassen, indem die aufgenommenen Bilder analysiert werden.
Ferner, obwohl in der Ausführungsform jene Situation beschrieben wurde, bei welcher die Disparität dp von dem Pixelblock, welcher zu dem Segment Dn von dem Bereichsbild Tz gehört, lediglich auf die entsprechende Klasse C1nm von dem ersten Histogramm von Interesse abgegeben ist, als eine Abstimmung durch das erste Histogramm-Erzeugungsmodul 11a von dem Histogramm-Erzeugungsmodul 11, ist es zusätzlich dazu beispielsweise möglich, obwohl die Darstellung davon ausgelassen ist, beim Abgeben der Disparität dp an das erste Histogramm, das die Disparität dp zur Abgabe zur Verteilung von nicht lediglich nur der Klasse von Interesse, sondern ebenfalls an Klassen, welche die Klasse von Interesse gemäß einer vorbestimmten Verteilung umgeben. Beispielsweise kann die Gauß-Verteilung als die vorbestimmte Verteilung verwendet werden.
Zusätzlich ist es, als Zusatz zu der Änderung in der Querbreite von den streifenförmigen Segmenten oder der Änderung in der Klassenbreite von den Klassen C1nm von dem ersten Histogramm Hin möglich, eine derartige Konfiguration vorzusehen, dass das Ausmaß des Verteilungsbereiches gemäß dem Index It der Zuverlässigkeit in der Disparität dp geändert wird. Ein Ändern des Ausmaßes des Verteilungsbereiches wird beispielsweise mittels der Gauß-Verteilung geändert, wobei die Breite davon um die Hälfte geändert wird.
Durch ein Adaptieren eines derartigen Aufbaus, sogar wenn die Varianz dp2 von der Disparität dp groß wird und die Frequenzen, welche auf die Klassen von dem ersten Histogramm H1n angesammelt sind, auf die verschiedenen Klassen verteilt werden, wird die Frequenz von der Klasse C1nm, welche als ein Ergebnis von vergleichsweise großen Frequenzen erscheint, welche am Umfang davon angesammelt sind, dazu bewirkt, groß zu erscheinen, und zwar aufgrund der Einflüsse von den umgebenden Klassen, wodurch es möglich wird, eine größte Klasse klar zu berechnen. Aufgrund dessen können Objekte mit einer guten Stabilität erfasst werden, wodurch es ermöglicht wird, Objekte, welche um das Objektfahrzeug liegen, mit einer hohen Zuverlässigkeit zu erfassen, indem die aufgenommenen Bilder analysiert werden.
Zusätzlich, obwohl in dieser Ausführungsform jene Situation beschrieben wurde, bei welcher als der Filterbetrieb durch das zweite Histogramm-Erzeugungsmodul 11b von dem Histogramm-Erzeugungsmodul 11 der zeitliche Glättungsbetrieb gemäß der Gleichung (10) durchgeführt ist, ist es ebenfalls möglich, dass weitere Filterbetriebe durchgeführt werden.
Es kann beispielsweise eine derartige Konfiguration vorgesehen werden, bei welcher ein räumlicher Glättungsbetrieb als Filterbetrieb durchgeführt wird. Im räumlichen Glättungsbetrieb kann beispielsweise, wenn die zweiten Histogramme H2n, welche einzeln für Segmente Dn erzeugt sind, derart angeordnet sind, so dass entsprechende Klassen zu einer geraden Linie angeordnet sind, wie in 22 gezeigt, beim Zuweisen der Frequenz F1nm von dem ersten Histogramm Hin zu der Klasse C2nm von dem entsprechenden zweiten Histogramm H2n die Frequenz F1nm nicht lediglich auf die Klasse C2nm von Interesse, welche durch ein schraffiertes Muster in der Figur angezeigt ist, sondern ebenfalls auf Klassen, welche als schräge schattierte Linien angezeigt sind, von dem zweiten Histogramm H2n, zu welchem das Histogramm von Interesse gehört, und den Histogrammen H2n + 1, ..., H2n – 1, ..., welche die Klasse C2nm von Interesse umgeben, gemäß der vorbestimmten Verteilung verteilt und zugewiesen werden.
In diesem Fall kann ebenfalls beispielsweise die Gauß-Verteilung als die vorbestimmte Verteilung verwendet werden, und es kann eine derartige Konfiguration vorgesehen werden, bei welcher das Verhältnis der Verteilung auf die umgebenden Klassen geändert wird, indem die Breite durch eine Hälfte davon gemäß dem Index It der Zuverlässigkeit in der Disparität dp geändert wird. Daraus folgend ist der Verteilungsbereich nicht auf die acht Klassen beschränkt, welche die Klasse von Interesse C2nm, wie in 22 gezeigt, umgeben.
Indem ein derartiger Aufbau adaptiert wird, ist es anstelle des zeitlichen Glättungsbetriebes, welcher oben beschrieben wurde, möglich, die Frequenz F2nm von den Klassen C2nm von jedem zweiten Histogramm H2n, dessen Größe stark variiert, wenn die Varianz dp2 von der Disparität dp groß wird, zu glätten, um somit den wahren Wert von der Frequenz zu berechnen, wodurch es möglich wird, die größte Klasse Cnmax in jenen Klassen genau und stabil zu berechnen.
Zusätzlich erfasst das Objekterfassungsmodul 12 von der Ausführungsform die Objekte durch Umgeben derer durch die Rahmenlinien auf dem Referenzbild T, wie in 17 gezeigt. Aufgrund dessen kann das Zuverlässigkeits-Bewertungsmodul 10 die Rahmenlinien verwenden, und anstelle des Einstellens des Bewertungsfensters We im derzeitigen Bereich in dem Bereichsbild Tz, wie in 5 gezeigt, wird es möglich, das Bewertungsfenster beispielsweise auf einen Bereich auf dem Bereichsbild Tz einzustellen, welcher einem Objekt entspricht, welches auf der gleichen Fahrbahn wie das Objektfahrzeug fährt, welches im letzten Abtastzyklus erfasst wurde, das heißt der Bereich, welcher durch die Rahmenlinie umgeben ist, welche das Objekt O3 umgibt, wenn auf das in 17 gezeigte Beispiel Bezug genommen wird.
Durch ein Adaptieren einer derartigen Konfiguration wird die Möglichkeit erhöht, dass ein Objekt innerhalb des Bewertungsfensters, welches derart eingestellt ist, im nächsten Abtastzyklus erfasst wird, und die Disparität dp im Kantenabschnitt von dem Objekt akkurat berechnet werden kann, so dass ein statistischer Wert, wie beispielsweise die Varianz dp2 von der Disparität dp genau berechnet wird, wodurch es möglich wird, den Index It der Zuverlässigkeit in der Disparität dp basierend darauf zu berechnen. Aufgrund dessen kann der Index It der Zuverlässigkeit in der Disparität dp mit hoher Zuverlässigkeit berechnet werden, und kann die Auflösung zur Histogramm-Erzeugung genau, basierend auf dem derart berechneten Zuverlässigkeits-Index It geändert werden, wodurch es ermöglicht wird, Objekte, welche das Objektfahrzeug umgeben, mit einer hohen Zuverlässigkeit zu erfassen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- JP 5-114099 A [0002, 0058]
- JP 5-265547 A [0002, 0058]
- JP 10-283461 A [0002, 0058]
- JP 10-283477 A [0002, 0058]
- JP 2001-273494 A [0005, 0006]
- JP 6-230115 A [0005, 0007]
- JP 9-171075 A [0005, 0007]
- JP 2006-331389 A [0074]

Claims

Objekterfassungssystem, welches enthält: eine Mehrzahl von Bildaufnahmeeinheiten zur Aufnahme von Bildern, welche ein Referenzbild und ein Vergleichsbild enthalten; eine Distanzinformations-Berechnungseinheit zum Aufteilen des Referenzbildes in eine Mehrzahl von Pixelblöcken, Aufsuchen von entsprechenden Pixelpositionen innerhalb des Vergleichsbildes für jeden der Pixelblöcke, Berechnen von einer Distanzinformation für jeden der Pixelblöcke, und Ausbilden eines Bereichsbildes, welches die Distanzinformation darstellt; ein Histogramm-Erzeugungsmodul zum Aufteilen des Bereichsbildes in eine Mehrzahl von Segmenten, welche vorbestimmte Größen haben, und Erzeugen eines Histogramms, bezogen auf die Distanzinformation, durch Abstimmen der Distanzinformation von den Pixelblöcken auf das Histogramm von den jeweiligen Segmenten; ein Objekterfassungsmodul zum Erfassen eines Objektes, basierend auf Frequenzen von Klassen, auf jedes von den Histogrammen; und ein Zuverlässigkeits-Bewertungsmodul zum Berechnen eines Index der Zuverlässigkeit von der Distanzinformation von jedem der Pixelblöcke; wobei das Histogramm-Erzeugungsmodul eine Auflösung zur Erzeugung des Histogramms gemäß dem Index der Zuverlässigkeit von der Distanzinformation von jedem der Pixelblöcke ändert.
Objekterfassungssystem nach Anspruch 1, bei welchem das Histogramm-Erzeugungsmodul, als die Auflösung zur Erzeugung des Histogramms, zumindest eines aus der Größe von den Segmenten, welche das Bereichsbild aufteilen, einer Größe von Klassenaufteilungen von dem Histogramm, und einem Ausmaß eines Verteilungsbereiches beim Abstimmen, indem die Distanzinformation von den Pixelblöcken auf die Klassen von dem Histogramm und Klassen, welche die Klassen von dem Histogramm umgeben, gemäß dem Index der Zuverlässigkeit von der Distanzinformation von jedem der Pixelblöcke verteilt wird, ändert.
Objekterfassungssystem nach Anspruch 1 oder 2, bei welchem das Histogramm-Erzeugungsmodul ferner ein zweites Histogramm für die jeweiligen Segmente, basierend auf den Frequenzen von den Klassen des Histogramms, welche in vorbestimmten Filterbetrieben implementiert sind, erzeugt; und Parameter für die vorbestimmten Filterbetriebe gemäß den Indizes der Zuverlässigkeit von der Distanzinformation von den jeweiligen Pixelblöcken geändert werden.
Objekterfassungssystem nach Anspruch 3, bei welchem das Histogramm-Erzeugungsmodul, als den vorbestimmten Filterbetrieb, einen Zeit-Glättungsbetrieb zum Berechnen eines wahren Wertes in dem derzeitigen Abtastzyklus durch Glätten einer Zeitvariation in der Frequenz von jeder Klasse, in jeder Klasse von jedem Histogramm, implementiert, und es das zweite Histogramm durch Zuweisen der wahren Werte von den Klassen auf entsprechenden Klassen von dem zweiten Histogramm erzeugt.
Objekterfassungssystem nach Anspruch 4, bei welchem der Parameter für den vorbestimmten Filterbetrieb, welcher zu ändern ist, eine Zeitkonstante ist, welche bei der Zeit-Glättung verwendet wird.
Objekterfassungssystem nach einem der Ansprüche 3 bis 5, bei welchem, wenn das zweite Histogramm derart angeordnet ist, so dass die entsprechenden Klassen zu einer geraden Linie angeordnet sind, beim Zuweisen der Frequenzen von den Klassen von dem Histogramm auf die entsprechenden Klassen von dem zweiten Histogramm, als der vorbestimmte Filterbetrieb, das Histogramm-Erzeugungsmodul einen Orts-Glättungsbetrieb zur Ausführung der Zuweisung durch Verteilen der Frequenzen auf die Klasse und die Klassen von dem zweiten Histogramm, zu welchem die Klasse gehört, und dem zweiten Histogramm, welches das zweite Histogramm von der Klasse umgibt, welche die Klasse von Interesse gemäß einer vorbestimmten Verteilung umgibt, implementiert, um somit das zweite Histogramm zu erzeugen.
Objekterfassungssystem nach Anspruch 6, bei welchem der Parameter für den vorbestimmten Filterbetrieb, welcher zu ändern ist, ein Verteilungsverhältnis für die Klassen ist, welcher die Klassen im Orts-Glättungsbetrieb umgibt.
Objekterfassungssystem nach einem der Ansprüche 1 bis 7, bei welchem das Zuverlässigkeits-Bewertungsmodul ein Bewertungsfenster in einem vorbestimmten Bildbereich in dem Bereichsbild einstellt und einen Index der Zuverlässigkeit von der Distanzinformation von jedem von den Pixelblöcken, basierend auf einem statistischen Wert von der Distanzinformation von jedem von den Pixelblöcken innerhalb des Bewertungsfensters berechnet.
Objekterfassungssystem nach einem der Ansprüche 1 bis 7, bei welchem das Zuverlässigkeits-Bewertungsmodul ein Bewertungsfenster in einem Bildbereich einstellt, welcher durch ein Objekt belegt ist, welches durch das Objekterfassungsmodul auf dem aufgenommenen Bild erfasst ist, welches die Referenz bildet, und es einen Index der Zuverlässigkeit von der Distanzinformation von jedem der Pixelblöcke basierend auf einem statistischen Wert von der Distanzinformation von jedem der Pixelblöcke innerhalb des derart eingestellten Bewertungsfensters berechnet.
Objekterfassungssystem nach einem der Ansprüche 1 bis 9, bei welchem das Objekterfassungsmodul einen Schwellwert zur Erfassung des Objektes, basierend auf dem Index der Zuverlässigkeit von der Distanzinformation von jedem der Pixelblöcke, welche durch das Zuverlässigkeits-Bewertungsmodul berechnet ist, ändert.