DE102010012262A1

DE102010012262A1 - Bildverarbeitungsvorrichtung

Info

Publication number: DE102010012262A1
Application number: DE102010012262A
Authority: DE
Inventors: Toru Saito
Original assignee: Fuji Jukogyo KK; Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2009-03-24
Filing date: 2010-03-22
Publication date: 2010-10-14
Also published as: JP2010224924A; US20100246896A1; US8498479B2; JP5188430B2

Abstract

Eine Bildverarbeitungseinrichtung (1) zum Unterteilen eines mittels einer Abbildungseinrichtung (2) abgebildeten Bildes in mehrere Bereiche weist folgendes auf: Verarbeitungseinrichtungen (6), um dann, wenn eine Differenz in den jeweiligen Bilddaten zwischen einem einzelnen Pixel in dem Bild und einem diesem benachbarten Pixel geringer ist als ein vorbestimmter Schwellenwert, das einzelne Pixel und das benachbarte Pixel zu gruppieren bzw. einer Gruppe zuzuordnen, sowie zum Unterteilen des Bildes in mehrere Bereiche, wobei jede letztendlich gebildete Gruppe einen jeweiligen Bereich des Bildes bildet; und Durchschnittswert-Berechnungseinrichtungen (7) zum Berechnen des Durchschnittswerts der Bilddaten in der das einzelne Pixel beinhaltenden Gruppe; wobei die Verarbeitungseinrichtungen (6) die Bilddaten des einzelnen Pixels und den an den Durchschnittswert-Berechnungseinrichtungen (7) berechneten Durchschnittswert hinsichtlich der Gruppe, zu der das benachbarte Pixel gehört, vergleichen, und wenn die Differenz aus diesem gleich oder größer ist als ein vorbestimmter zweiter Schwellenwert, keine Gruppierung des einzelnen Pixels und des benachbarten Pixels vornehmen.

Description

Die vorliegende Erfindung bezieht sich auf eine Bildverarbeitungsvorrichtung und betrifft insbesondere eine Bildverarbeitungsvorrichtung, die ein Bild in Abhängigkeit von einem abgebildeten Objekt in eine Vielzahl von Bereichen unterteilt.
Eine Technik, bei der ein Bild vereinfacht wird, indem Pixel gruppiert werden, die Bilddaten, wie ähnliche Helligkeit oder dergleichen aufweisen, ebenso wie eine Technik zum Extrahieren eines abgebildeten Objekts, wie zum Beispiel eines Objekts oder dergleichen aus einem Bild, das zum Beispiel mittels einer CCD-Kamera (Kamera mit ladungsgekoppelter Einrichtung), einer CMOS-Kamera (Kamera mit Komplementär-Metalloxid-Halbleitereinrichtung) oder dergleichen abgebildet worden ist, eine Bildkomprimierungstechnik für die Bildesuche oder dergleichen oder eine Technik zum Berechnen einer Merkmalsquantität innerhalb eines Bildes sind bereits bekannt.
Zum Beispiel werden bei einem Farbbildbereich-Unterteilungsverfahren, wie es beispielsweise in der ungeprüften japanischen Patentanmeldungsveröffentlichung JP-A-2000-067 240 offenbart ist, ein Farbtonwert (H), ein Luminanzwert bzw. Helligkeitswert (L) und ein Sättigungswert (S) aus den Bilddaten jedes in RGB-Werten dargestellten Pixels ermittelt, und beispielsweise werden eine Farbtondifferenz, eine Helligkeitsdifferenz und eine Sättigungsdifferenz zwischen einem rechten und einem unteren Pixel für jedes Pixel berechnet, jeder Durchschnittswert in der Farbtondiffe renz, der Helligkeitsdifferenz und der Sättigungsdifferenz von allen Pixeln wird berechnet, und ein HLS-Farbraum wird anhand jedes Durchschnittswertes als Unterteilungsbreite in der jeweiligen Axialrichtung des HLS-Farbraums unterteilt.
Anschließend wird den farbraummäßig unterteilten Bereichen des HLS-Farbraums eine Farbklassifizierungsnummer hinzugefügt, wobei jedes Pixel auf der Basis der Farbe jedes Pixels (H, L, S) mit einer Farbklassifizierungsnummer bezeichnet wird und eine Pixelgruppe mit der gleichen Farbklassifizierungsnummer auf einem Bild gruppiert bzw. einer Gruppe zugeordnet wird und somit ein Bereich gebildet wird und dadurch das Bild in Bereiche unterteilt wird.
Bei dem in der ungeprüften japanischen Patentanmeldungsveröffentlichung JP-A-2000-067 240 offenbarten Farbbildbereich-Unterteilungsverfahren werden ferner die Farbeinformation und die Strukturinformation des Bildes insgesamt, die Größen der unterteilten Bereiche, die Farbinformation, die Form einer Begrenzungslinie und dergleichen aus der Information jeder in Bereiche unterteilten Gruppe, der zu einer Gruppe zugehörigen Bilddaten und dergleichen als Merkmalquantitäten extrahiert.
Bei einem solchen Bildbereich-Unterteilungsverfahren, wie es in der ungeprüften japanischen Patentanmeldungsveröffentlichung JP-A-2000-067 240 offenbart ist, werden in dem Fall, daß ein HLS-Farbraum oder dergleichen auf der Basis des Durchschnittswertes der Farbtondifferenz jedes Pixels unterteilt wird und die Gruppierung des jeweiligen Pixels auf der Basis einer Farbklassifizierungsnummer oder dergleichen durchgeführt wird, die jedem unterteilten Bereich, wie zum Beispiel einem Farbraum oder dergleichen, hinzugefügt ist, beispielsweise auch in dem Fall, daß ein jeweiliges Pixel zu demselben innerhalb eines Bildes abgebildeten Objekt gehört und die Bilddaten von diesem, wie zum Beispiel die Farbe, die Helligkeit oder dergleichen geringfügig voneinander verschieden sind und die den Pixeln zugeordneten Farbklassifizierungsnummern unterschiedlich sind, diese Pixel in eine andere Gruppe integriert. Es besteht somit ein Problem dahingehend, daß ein jeweiliges, zu demselben abgebildeten Objekt zugehöriges Pixel nicht unbedingt in die gleiche Gruppe integriert wird.
Im umgekehrten Fall, daß zwei Pixel, die zu voneinander verschiedenen abgebildeten Objekten gehören, in einem Grenzbereich, in dem mehrere abgebildeten Objekte innerhalb eines Bildes abgebildet sind, einander benachbart sind, werden dann, wenn diese Pixel mit den gleichen Farbklassifizierungsnummern bezeichnet werden, diese Pixel in die gleiche Gruppe integriert.
Es besteht somit auch ein Problem dahingehend, daß ein jeweiliges Pixel, das zu einem anderen abgebildeten Objekt gehört, nicht unbedingt in eine andere Gruppe integriert wird und die abgebildeten Objekte nicht unbedingt separat extrahiert werden.
Hierbei handelt es sich um ein Problem, das nicht auf den Fall der zum Beispiel in der ungeprüften japanischen Patentanmeldungsveröffentlichung JP-A-2000-067 240 offenbarten Technik beschränkt ist, sondern es kann auch in dem Fall auftreten, daß an die gleiche Einzelinformation angenäherte Bilddaten durch Annähern der Bilddaten jedes Pixels mit endlichen Sätzen von Einzelinformation und Quantifizieren von diesen bei einer Bildinformations-Komprimierungsverarbeitung in die gleiche Gruppe integriert werden.
Bei einem Versuch, die Bilddaten jedes Pixels in Abhängigkeit von einem gleichmäßig vorbestimmten Klassifikationsverfahren zu klassifizieren und damit eine Gruppierung vorzunehmen, kann somit möglicherweise nicht unbedingt eine exakte Gruppierung vorgenommen werden, bei der bei jedem abgebildeten Objekt, das innerhalb eines Bildes abgebildet ist, solche abgebildeten Objekte, bei denen es sich um dasselbe Objekt und dergleichen handelt, in eine Gruppe integriert werden und andere abgebildete Objekte in eine davon verschiedene, andere Gruppe integriert werden.
Beispielsweise werden auch bei einer Bildinformations-Komprimierungs-verarbeitung oder dergleichen zum Beispiel die innerhalb eines monochromen Bildes abgebildeten Bilddaten mit 256 Helligkeitsabstufungen jedes Pixels oder die innerhalb eines Farbbildes abgebildeten Bilddaten von 256 (R) × 256 (G) × 256 (B) = 16.777.216 Arten von Bilddaten jedes Pixels beispielsweise auf mehrere Arten oder mehrere zehn Arten von Daten zur Ausführung einer Verarbeitung komprimiert, so daß die Informationsmenge der Bilddaten in beträchtlicher Weise abnimmt. Daher kann die Informations vielfalt, die die Bilddaten eigentlich aufweisen, möglicherweise nicht in effektiver Weise genutzt werden.
Ferner wird bei Ausführung der Gruppierungsverarbeitung beispielsweise durch das Bildbereich-Unterteilungsverfahren gemäß der ungeprüften japanischen Patentanmeldungsveröffentlichung JP-A-2000-067 240 die Verarbeitung erst nach dem Aufnehmen der Bilddaten von allen Pixeln für ein Bild ausgeführt, und aus diesem Grund benötigt die Verarbeitung Zeit, wobei zum Beispiel in dem Fall, in dem die Bilddaten von mehreren Rahmen oder mehreren zehn Bildrahmen für eine Sekunde aufgenommen werden und rasch verarbeitet werden müssen, die Verarbeitung möglicherweise nicht rechtzeitig abgeschlossen werden. Aus diesem Grund kann die Echtzeit-Ausführung der Bildverarbeitung beeinträchtigt werden.
Die vorliegende Erfindung ist in Anbetracht der vorstehend geschilderten Situation erfolgt, und eine Aufgabe der vorliegenden Erfindung besteht in der Schaffung einer Bildverarbeitungsvorrichtung, mit der abgebildete Objekte, die in eine Gruppe zu integrieren sind, wie zum Beispiel innerhalb eines Bildes abgebildete Objekte, unter effektiver Nutzung des Informationsgehaltes der Bilddaten exakt gruppiert bzw. einer Gruppe zugeordnet werden können, und bei der ferner diese Gruppierung in Echtzeit ausgeführt werden kann.
Gelöst wird diese Aufgabe erfindungsgemäß mit einer Bildverarbeitungs-vorrichtung, wie sie im Anspruch 1 angegeben ist.
Gemäß einem Aspekt schafft die vorliegende Erfindung eine Bildverarbeitungsvorrichtung, die dafür konfiguriert ist, ein mittels einer Abbildungseinrichtung abgebildetes Bild in mehrere Bereiche zu unterteilen, wobei die Bildverarbeitungsvorrichtung folgendes aufweist: Verarbeitungseinrichtungen, die dann, wenn eine Differenz in den jeweiligen Bilddaten zwischen einem einzelnen Pixel in dem Bild und einem diesem benachbarten Pixel geringer ist als ein vorbestimmter erster Schwellenwert, dafür konfiguriert sind, das einzelne Pixel und das benachbarte Pixel zu gruppieren bzw. einer Gruppe zuzuordnen, sowie dafür konfiguriert sind, das Bild in eine Vielzahl von Bereichen zu unterteilen, wobei jede letztendlich gebildete Gruppe einen jeweiligen Bereich des Bildes bildet; und
Durchschnittswert-Berechnungseinrichtungen, die dafür konfiguriert sind, den Durchschnittswert der Bilddaten in der das einzelne Pixel beinhaltenden Gruppe zu berechnen;
wobei die Verarbeitungseinrichtungen die Bilddaten des einzelnen Pixels und den an den Durchschnittswert-Berechnungseinrichtungen berechneten Durchschnittswert hinsichtlich der Gruppe, zu der das benachbarte Pixel gehört, vergleichen, und wenn die Differenz aus diesen gleich oder größer ist als ein vorbestimmter zweiter Schwellenwert, keine Gruppierung des einzelnen Pixels und des benachbarten Pixels vornehmen.
Gemäß dieser Konfiguration erfolgt die Bestimmung, ob eine Gruppierung des einzelnen Pixels und eines diesem benachbarten Pixels vorgenommen wird oder nicht, nicht nur auf der Basis der Differenz zwischen den Bilddaten eines einzelnen Pixels (interessierenden Pixels) und den Bilddaten eines diesem benachbarten Pixels (Randintensität), sondern auch auf der Basis der Differenz zwischen den Bilddaten eines einzelnen Pixels und dem Durchschnittswert der Bilddaten der jeweiligen Pixel einer Gruppe, zu der ein diesem benachbartes Pixel gehört (Durchschnittswert-Differenz), so daß der reiche Informationsgehalt in effektiver Weise genutzt werden kann, ohne daß Bilddaten einer Komprimierungsverarbeitung oder dergleichen unterzogen werden.
Auf diese Weise kann ein Bild in exakter Weise in mehrere Bereiche unterteilt werden, so daß ein Pixel eines abgebildeten Objekts (zum Beispiel eines einzelnen Objekts), das als eine in einem Bild abgebildete Gruppe zu integrieren ist, exakt gruppiert wird, und ein Pixel eines abgebildeten Objekts (zum Beispiel eines anderen Objekts), das nicht als eine Gruppe zu integrieren ist, nicht gruppiert wird und dabei der Informationsgehalt der Bilddaten in effektiver Weise genutzt wird. Somit kann ein abgebildetes Objekt in exakter Weise aus einem Bild separiert und extrahiert werden.
Vorzugsweise können mittels der Verarbeitungseinrichtungen nach der Übertragung der Bilddaten des einzelnen Pixels von der Abbildungseinrichtung die Bilddaten eines Pixels, das dem einzelnen Pixel benachbart ist und ein vor dem einzelnen Pixel übertragenes Pixel desselben Bildes wie das einzelne Pixel ist, mit den Bilddaten des einzelnen Pixels verglichen werden, wobei auch die Bilddaten des einzelnen Pixels mit dem Durchschnittswert der Gruppe verglichen werden, zu der das benachbarte Pixel gehört, dessen Bilddaten vordem einzelnen Pixel übertragen worden sind.
Gemäß dieser Konfiguration wird zusätzlich zu den vorstehend beschriebenen Vorteilen eine Anordnung geschaffen, bei der bei sequentieller Eingabe der Bilddaten jedes Pixels von der Abbildungseinrichtung in die Verarbeitungseinrichtungen jeder Prozeß gleichzeitig und parallel mit der Eingabe der Bilddaten ausgeführt wird, wobei ein einzelnes Pixel und vor diesem eingegebene Bilddaten verglichen werden und dadurch eine Verarbeitung ausgeführt werden kann, ohne die Eingabe der Bilddaten von allen Pixeln für ein Bild abzuwarten, so daß auf diese Weise die Gruppierungsverarbeitung in Echtzeit ausgeführt werden kann.
Vorzugsweise können mittels der Verarbeitungseinrichtungen dann, wenn die jeweiligen Bilddaten der benachbarten Pixel innerhalb eines vorbestimmten numerischen Wertebereichs liegen, die benachbarten Pixel, deren Bilddaten innerhalb des numerischen Wertebereichs liegen, vorzugsweise unabhängig von einem Vergleich der jeweiligen Bilddaten zwischen dem einzelnen Pixel und den benachbarten Pixeln und einem Vergleich zwischen den Bilddaten des einzelnen Pixels und dem Durchschnittswert der Gruppe gruppiert werden.
Gemäß dieser Konfiguration kann ein Bereich innerhalb eines vorbestimmten numerischen Wertebereichs, in dem Bilddaten enthalten sind, exakt von anderen Bereichen in einem Bild separiert und extrahiert werden. Falls ein abgebildetes Objekt in Form von Bilddaten eines diesem eigenen numerischen Wertebereichs abgebildet ist, wie zum Beispiel ein Bereich in dem Bild, der mit hoher Helligkeit abgebildet ist, wie eine solche Lichtquelle wie z. B. eine aufleuchtende Signallampe an einer Verkehrsampel, Rücklichter eines vorausfahrenden Fahrzeugs oder dergleichen, oder ein Bereich in einem Bild, der mit niedriger Helligkeit abgebildet ist, wie zum Beispiel ein Tunnel oder dergleichen, kann bei Abbildung eines abgebildeten Objekts in Form von Bilddaten in einem diesem eigenen Helligkeitsbereich ein Bereich, in dem die Bilddaten in einem bestimmten numerischen Wertebereich enthalten sind, in bevorzugter Weise aus dem Bild extrahiert werden, und ein abgebildetes Objekt von diesem läßt sich exakt extrahieren, so daß sich auf diese Weise die vorstehend beschriebenen Vorteile noch effektiver zeigen.
Vorzugsweise wird mittels der Verarbeitungseinrichtungen dann, wenn von den jeweiligen Bilddaten der benachbarten Pixel die Bilddaten von einem innerhalb eines vorbestimmten numerischen Wertebereichs liegen und die Bilddaten eines jeweiligen anderen Pixels außerhalb des numerischen Wertebereichs liegen, unabhängig von einem Vergleich der Bilddaten zwischen dem einzelnen Pixel und den benachbarten Pixeln sowie unabhängig von einem Vergleich zwischen den Bilddaten des einzelnen Pixels und dem Durchschnittswert der Gruppe keine Gruppierung der benachbarten Pixel vorgenommen.
Bei dieser Konfiguration wird in dem Fall, daß ein abgebildetes Objekt in Form von Bilddaten in einem speziellen numerischen Wertebereich abgebildet ist, wobei die Bilddaten von einem Pixel eines einzelnen Pixels und eines diesem benachbarten Pixels in dem genannten numerischen Wertebereich liegen und die Bilddaten des jeweils anderen Pixels außerhalb des numerischen Wertebereichs liegen, keine Gruppierung der benachbarten Pixel vorgenommen, so daß nur ein Pixel innerhalb eines vorbestimmten numerischen Wertebereichs exakt gruppiert werden kann, und ein Bereich, in dem Bilddaten in einem vorbestimmten numerischen Wertebereich liegen, exakt von anderen Bereichen separiert und extrahiert werden kann.
Auf diese Weise kann ein abgebildetes Objekt, in dem Bilddaten in einem speziellen numerischen Wertebereich abgebildet sind, exakt extrahiert werden, und die vorstehend geschilderten Vorteile zeigen sich in noch deutlicherer Weise.
Vorzugsweise können mittels der Verarbeitungseinrichtungen dann, wenn der Mindestwert der Pixelintervalle zwischen zwei Gruppen, die einander in einem Bild nicht benachbart sind, gleich oder kleiner ist als ein vorbestimmter Schwellenwert und auch die Differenz in den Durchschnittswerten dieser beiden Gruppen gleich oder kleiner ist als ein vorbestimmter Schwellenwert, diese beiden Gruppen zu einer einzigen Gruppe integriert werden.
Gemäß dieser Konfiguration können in dem Fall, daß ein Bereich, der als einzelner Bereich zu extrahieren ist, der einem einzelnen in einem Bild abgebildeten Objekt entspricht, aufgrund von Rauschen oder dergleichen in mehrere Bereiche unterteilt ist, die unterteilten mehreren Bereiche in einen ursprünglichen einzelnen Bereich integriert werden, indem ein solcher Einfluß, wie etwa Rauschen oder dergleichen eliminiert wird, so daß sich die vorstehend beschriebenen Vorteile noch deutlicher zeigen.
Vorzugsweise kann die Abbildungseinrichtung zum Abgeben eines Paares von Bildern konfiguriert sein und folgendes aufweisen: eine Distanzerfassungseinrichtung, die dafür konfiguriert ist, das von der Abbildungseinrichtung abgegebene Paar der Bilder einer Stereoabgleichverarbeitung zu unterziehen, um eine Distanz im realen Raum zu erfassen, die mindestens einem Pixel von einem Bild des Paares von Bildern entspricht, wobei mittels der Verarbeitungseinrichtungen dann, wenn die Differenz zwischen der im realen Raum vorhandenen Distanz, die dem einzelnen Pixel in dem einen Bild entspricht, und der im realen Raum vorhandenen Distanz, die einem dem einzelnen Pixel benachbarten Pixel entspricht, gleich oder größer ist als ein vorbestimmter Schwellenwert, keine Gruppierung des einzelnen Pixels und des benachbarten Pixels vornehmen.
Gemäß dieser Konfiguration zusätzlich zu den vorstehend beschriebenen Konfigurationen wird selbst in dem Fall, daß die jeweiligen Bilddaten von benachbarten Pixeln einander angenähert sind und gruppiert werden können, dann, wenn die jeweilige im realen Raum vorhandene Distanz von benachbarten Pixeln, die für jedes Pixel eines Bildes berechnet wird, indem ein mittels einer Stereokamera abgebildetes Bilderpaar einer Stereoabgleichverarbeitung unterzogen wird, in getrennter Weise vorliegt und somit nicht als dasselbe abgebildete Objekt betrachtet wird, keine Gruppierung der benachbarten Pixel vorgenommen, so daß eine Gruppierung von Pixeln verhindert werden kann, bei denen es sich nicht um Pixel handelt, die demselben abgebildeten Objekt entsprechen, und ein abgebildetes Objekt exakt aus einem Bild separiert und extrahiert werden kann, indem eine Unterscheidung hinsichtlich der Position des abgebildeten Objekts im realen Raum erfolgt.
Vorzugsweise können die Verarbeitungseinrichtungen feststellen, ob eine Differenz zwischen der im realen Raum vorhandenen Distanz, die der im realen Raum vorhandenen Distanz am nächsten ist, welche dem einzelnen Pixel entspricht, von der im realen Raum vorhandenen Distanz, welche dem jeweiligen Pixel entspricht, das zu der Gruppe gehört, zu der das benachbarte Pixel gehört, und der im realen Raum vorhandenen Distanz, welche dem einzelnen Pixel entspricht, gleich oder größer als der Schwellenwert ist oder nicht.
Gemäß dieser Konfiguration wird in dem Fall, daß die Information der im realen Raum vorhandenen Distanz, die einem dem einzelnen Pixel benachbarten Pixel entspricht, nicht berechnet worden ist oder dergleichen, aus der im realen Raum vorhandenen Distanz, die dem einzelnen Pixel entspricht, und der jeweiligen im realen Raum vorhandenen Distanz, die dem jeweiligen Pixel entspricht, das zu einer Gruppe gehört, zu dem das benachbarte Pixel gehört, eine Differenz zu der im realen Raum vorhandenen Distanz berechnet, die der im realen Raum vorhandenen Distanz am nächsten ist, die dem einzelnen Pixel entspricht, wobei auf der Basis hiervon die Bestimmungsverarbeitung ausgeführt wird und somit die Vorteile der vorstehenden Konfiguration noch deutlicher erzielt werden können.
Die Verarbeitungseinrichtungen können vorzugsweise die Koordinaten jedes dem jeweiligen Pixel entsprechenden Punktes im realen Raum auf der Basis der jeweiligen Distanz im realen Raum berechnen, die dem jeweiligen Pixel entspricht, das zu der Gruppe gehört, zu der das benachbarte Pixel gehört, die Neigung der Verteilung der jeweiligen Punkte berechnen und feststellen, ob die anhand der Neigung geschätzte Differenz zwischen der im realen Raum vorhandenen Distanz, die dem benachbarten Pixel entspricht, und der im realen Raum vorhandenen Distanz, die dem einzelnen Pixel entspricht, gleich oder größer ist als der Schwellenwert.
Gemäß dieser Konfiguration wird die Neigung der Verteilung der jeweiligen Punkte im realen Raum berechnet, die den jeweiligen Pixeln entsprechen, die zu einer Gruppe gehören, zu der ein benachbartes Pixel gehört, beispielsweise als Neigung in der Distanzrichtung gegenüber der Höhenrichtung, als Neigung in der Distanzrichtung gegenüber der horizontalen Richtung oder dergleichen, und auf der Basis hiervon wird die im realen Raum vorhandene Distanz, die diesem benachbarten Pixel entspricht, geschätzt und die Differenz zwischen dieser und der im realen Raum vorhandenen Distanz, die einem einzelnen Pixel entspricht, wird berechnet, so daß die Bestimmungsbearbeitung auch dann exakt ausgeführt werden kann, wenn die Information der im realen Raum vorhandenen Distanz hinsichtlich des dem einzelnen Pixel benachbarten Pixels nicht berechnet worden ist, so daß sich die vorstehend beschriebenen Vorteile noch exakter erzielen lassen.
Vorzugsweise können die Durchschnittswert-Berechnungseinrichtungen einen von dem Durchschnittswert, dem maximalen Wert und dem minimalen Wert der jeweiligen Distanz im realen Raum berechnen, die dem jeweiligen zu der Gruppe gehörenden Pixel entspricht, wobei die Verarbeitungseinrichtungen einen von dem Durchschnittswert, dem maximalen Wert und dem minimalen Wert der im realen Raum vorhandenen Distanz, die von den Durchschnittswert-Berechnungseinrichtungen in bezug auf die Gruppe berechnet worden sind, zu der das benachbarte Pixel gehört, mit der im realen Raum vorhandenen Distanz vergleichen, die dem einzelnen Pixel entspricht, wobei dann, wenn die Differenz aus diesen gleich oder größer ist als ein vorbestimmter Schwellenwert, keine Gruppierung des einzelnen Pixels und des benachbarten Pixels vorgenommen wird.
Gemäß dieser Konfiguration wird zusätzlich zu den vorstehend beschriebenen Vorteilen eine Anordnung geschaffen, bei der dann, wenn der Durchschnittswert oder dergleichen der Bilddaten von jeweiligen Pixeln, die zu einer Gruppe gehören, die ein einzelnes Pixel beinhalten, in den Durchschnittswert-Berechnungseinrichtungen berechnet wird, gleichzeitig die im realen Raum vorhandene Distanz berechnet, die dem einzelnen Pixel entspricht, wobei der Durchschnittswert, der maximale Wert bzw. der minimale Wert jeder im realen Raum vorhandenen Distanz, die dem jeweiligen Pixel entspricht, das zu der Gruppe gehört, berechnet wird und dadurch die Rechenbelastung an den Verarbeitungseinrichtungen vermindert werden kann.
Ferner wird eine Bestimmungsverarbeitung in Bezug darauf, ob ein einzelnes Pixel und ein demselben benachbartes Pixel in den Verarbeitungseinrichtungen gruppiert werden oder nicht, unter Verwendung des Durchschnittswerts, des maximalen Wertes und des minimalen Werts der jeweiligen im realen Raumvorhandenen Distanz ausgeführt, die dem jeweiligen zu der Gruppe gehörenden Pixel entspricht, wie diese von dem Durchschnittswert-Berechnungseinrichtungen berechnet worden sind, so daß die Verarbeitung rasch ausgeführt werden kann und auch die Bestimmungsverarbeitung exakter ausgeführt werden kann.
Weiterhin vorzugsweise kann die Bildverarbeitungsvorrichtung folgendes aufweisen: Straßenoberflächen-Erfassungseinrichtungen, die zum Erfassen einer Straßenoberfläche aus einem von der Abbildungseinrichtung abgebildeten Bild konfiguriert sind; wobei die Verarbeitungseinrichtungen die im realen Raum vorhandene Höhe jedes dem jeweiligen Pixel entsprechenden Punktes auf der Basis der jeweiligen im realen Raum vorhandenen Raum berechnen, die dem jeweiligen zu der Gruppe gehörenden Pixel entspricht, und dann, wenn die von den Straßenoberflächen-Erfassungseinrichtungen erfaßte Höhe des jeweiligen Punktes von der Straßenoberfläche gleich oder größer ist als ein vorbestimmter Schwellenwert, die Gruppe als ein auf einer Straßenoberfläche vorhandenes massives Objekt erkennen und dann, wenn die von den Straßenoberflächen-Erfassungseinrichtungen erfaßte Höhe des jeweiligen Punktes von der Straßenoberfläche geringer ist als der vorbestimmte Schwellenwert, die Gruppe als ein auf einer Straßenoberfläche dargestelltes Muster erkennen.
Zusätzlich zu den vorstehend beschriebenen Vorteilen wird bei dieser Konfiguration mit den Straßenoberflächen-Erfassungseinrichtungen eine Straßenoberfläche erfaßt, wobei eine Gruppe, deren Höhe im realen Raum um einen vorbestimmten Schwellenwert oder darüber höher ist als die Straßenoberfläche, wobei die Straßenoberfläche als Referenz dient, als massives Objekt erkannt wird, das auf der Straßenoberfläche vorhanden ist, und eine Gruppe, deren Höhe geringer ist als ein vorbestimmter Schwellenwert, als auf der Straßenoberfläche dargestelltes Muster bzw. Struktur erkannt wird, so daß ein abgebildetes Objekt, bei dem es sich um das massive Objekt handelt, und ein abgebildetes Objekt, bei dem es sich um das auf der Straßenoberfläche dargestellte Muster handelt, in unterschiedliche Bereiche unterteilt werden können und exakt unterschieden und extrahiert werden können.
Vorzugsweise kann mittels der Verarbeitungseinrichtungen dann, wenn von einer von der Straßenoberfläche vorhandenen Höhe eines im realen Raum vorhandenen Punktes, der dem einzelnen Pixel entspricht, und einer von der Straßenoberfläche vorhandenen Höhe eines jeweiligen im realen Raum vorhandenen Punktes, der einem jeweiligen Pixel entspricht, das zu der Gruppe gehört, zu dem das benachbarte Pixel gehört, eine Höhe geringer ist als der vorbestimmte Schwellenwert und auch die andere Höhe gleich oder höher ist als der vorbestimmte Schwellenwert, keine Gruppierung des einzelnen Pixels und des benachbarten Pixels vorgenommen werden.
Gemäß dieser Konfiguration wird eine Gruppierung eines Pixels oder einer Gruppe, das bzw. die als massives Objekt erkannt worden ist, sowie eines Pixels oder einer Gruppe, das bzw. die als auf einer Straßenoberfläche dargestelltes Muster erkannt worden ist, verhindert, und somit lassen sich ein abgebildetes Objekt, bei dem es sich um ein massives Objekt handelt, und einabgebildetes Objekt, bei dem es sich um ein auf einer Straßenoberfläche dargestelltes Muster handelt, in unterschiedliche Bereiche aufteilen und exakt unterscheiden und extrahieren, so daß somit die Vorteile der vorausgehenden Konfiguration noch deutlicher erzielt werden können.
Vorzugsweise können mittels der Verarbeitungseinrichtungen bei zwei Verteilungen der jeweiligen Punkte im realen Raum, die jeweiligen Pixeln entsprechen, die zu zwei Gruppen gehören, die einander in einem Bild nicht benachbart sind, in dem Fall, daß der minimale Wert des Abstands von zwei Punkten im realen Raum, die zu einer anderen Verteilung gehören, gleich oder kleiner ist als ein vorbestimmter Schwellenwert, und auch der maximale Wert gleich oder kleiner ist als ein vorbestimmter Schwellenwert, der einen höheren Wert hat als der genannte Schwellenwert, diese beiden Gruppen zu einer einzigen Gruppe integriert werden.
Wenn bei dieser Konfiguration bei der Gruppierung eines jeweiligen Pixels, das einem abgebildeten Objekt entspricht, dessen Größe im realen Raum bereits bekannt war, in dem Fall, daß ein als einzelner Bereich zu extrahierender Bereich, der diesem in einem Bild abgebildeten Objekt entspricht, aufgrund von Rauschen oder dergleichen in mehrere Bereiche unterteilt wird, so kann dieser Einfluß, wie etwa Rauschen oder dergleichen eliminiert werden, und die unterteilten mehreren Bereiche können zu dem ursprünglichen einzigen Bereich integriert werden, und somit lassen sich die Vorteile der vorstehend beschriebenen Konfigurationen noch exakter erzielen.
Vorzugsweise kann mittels der Verarbeitungseinrichtungen dann, wenn bei den beiden Gruppen, die einander in einem Bild nicht benachbart sind, die von der Straßenoberfläche vorhandene Höhe des jeweiligen im realen Raum vorhandenen Punktes, der dem jeweiligen Pixel entspricht, das zu einer der Gruppen gehört, gleich oder größer ist als der vorbestimmte Schwellenwert, und auch die von der Straßenoberfläche vorhandene Höhe des jeweiligen im realen Raum vorhandenen Punktes, der dem jeweiligen, zu der anderen Gruppe gehörenden Pixel entspricht, geringer ist als der vorbestimmte Schwellenwert, von einer Integration dieser beiden Gruppen abgesehen werden.
Gemäß dieser Konfiguration werden beim Integrieren von zwei Gruppen, die bei der vorstehend beschriebenen Konfiguration in einem Bild einander nicht benachbart sind, in dem Fall, daß eine der Gruppen als abgebildetes Objekt erkannt wird, bei dem es sich um ein massives Objekt handelt, und die andere Gruppe als Muster erkannt wird, das auf einer Straßenoberfläche dargestellt ist, diese beiden Gruppen nicht integriert, so daß das massive Objekt und das auf der Straßenoberfläche dargestellte Muster exakt separiert und extrahiert werden können, so daß die Vorteile der vorstehend beschriebenen Konfigurationen noch exakter auftreten können.
Die Erfindung und Weiterbildungen der Erfindung werden im folgenden anhand der zeichnerischen Darstellungen mehrerer Ausführungsbeispiele noch näher erläutert. In den Zeichnungen zeigen:
1 ein Blockdiagramm zur Erläuterung der Konfiguration einer Bildverarbeitungsvorrichtung gemäß einem ersten Ausführungsbeispiel;
2 eine schematische Darstellung zur Erläuterung eines Beispiels eines mit einer Abbildungseinrichtung abgebildeten Bildes;
3 ein Flußdiagramm zur Erläuterung eines Verarbeitungsvorgangs von Verarbeitungseinrichtungen und Durchschnittswert-Berechnungseinrichtungen;
4 ein Flußdiagramm zur Erläuterung des Verarbeitungsvorgangs der Verarbeitungseinrichtungen und der Durchschnittswert-Berechnungseinrichtungen;
5 eine Darstellung zur Erläuterung eines eingegebenen Einzelpixels sowie eines Pixels, das bereits eingegeben worden ist und diesem auf der linken Seite benachbart ist;
6 eine Darstellung zur Erläuterung eines Beispiels einer Gruppe, zu der ein Einzelpixel und ein diesem links benachbartes Pixel gehören;
7 eine Darstellung zur Erläuterung eines eingegebenen Einzelpixels sowie eines Pixels, das bereits eingegeben worden ist und diesem an der Unterseite benachbart ist;
8 eine Darstellung zur Erläuterung eines Beispiels einer Gruppe, zu dem ein Einzelpixel und ein diesem an der Unterseite benachbartes Pixel gehören;
9A eine Darstellung zur Erläuterung eines Beispiels einer Gruppe, bei der zwei Pixel einem Einzelpixel auf der linken Seite und an der Unterseite benachbart sind;
9B eine Darstellung zur Erläuterung eines Beispiels, bei dem ein Einzelpixel zusammen mit einem auf der linken Seite von diesem benachbarten Pixel und somit auch zusammen mit einem an der Unterseite von diesem benachbarten Pixel gruppiert wird;
10A eine Ansicht zur Erläuterung eines Beispiels, bei dem eine Gruppe, zu der ein der Unterseite eines Einzelpixels benachbartes Pixel gehört, sowie eine Gruppe, zu der ein diesem links benachbartes Pixel gehört, verschiedene Gruppen sind;
10B eine Darstellung zur Erläuterung eines Beispiels, bei dem zwei Gruppen zusammen mit einem Einzelpixel gruppiert werden, so daß eine einzige Gruppe gebildet wird;
11 eine Darstellung zur Erläuterung eines Beispiels einer Gruppe, die in einem isolierten Zustand vorliegt;
12 ein Foto, das ein spezielles Beispiel eines von der Abbildungseinrichtung abgebildeten Bildes darstellt;
13 ein Foto, das ein spezielles Beispiel darstellt, bei dem das Bild in 12 in mehrere Bereiche unterteilt ist;
14 ein Blockdiagramm zur Erläuterung der Konfiguration einer Bildverarbeitungsvorrichtung gemäß einem zweiten Ausführungsbeispiel;
15 eine Darstellung zur Erläuterung einer Stereoabgleichsverarbeitung durch einen Bildprozessor einer Distanzerfassungseinrichtung;
16 eine Darstellung zur Erläuterung eines Beispiels eines erzeugten Distanzbildes;
17 eine Darstellung zur Erläuterung eines Beispiels von Fahrbahnmarkierungslinien-Kandidatenpunkten, die durch einen Suchvorgang an der horizontalen Linie eines Referenzbildes erfaßt werden;
18 eine Darstellung zur Erläuterung eines Beispiels von Fahrspuren, die links und rechts von einem Fahrzeug festgestellt werden;
19A und 19B Darstellungen zur Erläuterung eines Beispiels eines gebildeten Fahrbahnmarkierungslinienmodells, wobei
19A ein horizontales Modell in einer Z-X-Ebene darstellt und
19B ein Straßenhöhenmodell in einer Z-Y-Ebene darstellt;
20 eine Darstellung zur Erläuterung eines Beispiels, bei dem jeder Punkt im realen Raum, der einem jeweiligen zu einer Gruppe zugehörigen Pixel entspricht, in einer X-Z-Ebene aufgetragen ist;
21 eine Darstellung zur Erläuterung eines Beispiels, bei dem jeder Punkt im realen Raum, der einem jeweiligen zu einer Gruppe zugehörigen Pixel entspricht, in einer X-Z-Ebene aufgetragen ist; und
22 eine Darstellung zur Erläuterung eines Beispiels einer Gruppe, die eine Erstreckung in einer vorbestimmten Richtung aufweist.
Im folgenden werden bevorzugte Ausführungsbeispiele einer Bildverarbeitungsvorrichtung gemäß der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen beschrieben.
Erstes Ausführungsbeispiel
Eine Bildverarbeitungsvorrichtung 1 gemäß einem ersten Ausführungsbeispiel ist gemäß der Darstellung in 1 in erster Linie gebildet aus einer Abbildungseinrichtung 2 und einer Verarbeitungseinheit 5. Im Hinblick auf die Abbildungseinrichtung 2 wird bei dem vorliegenden Ausführungsbeispiel beispielsweise eine einäugige Abbildungseinrichtung verwendet, wie zum Beispiel eine Kamera oder dergleichen, in der ein Bildsensor, wie zum Beispiel ein CCD- oder CMOS-Sensor oder dergleichen untergebracht ist, jedoch kann auch eine Anordnung vorgesehen werden, bei der ein Einzel bild oder mehrere Bilder, die mittels einzelner oder mehrerer Abbildungseinrichtungen abgebildet werden, einer Verarbeitung gemäß der vorliegenden Erfindung unterzogen werden.
Es ist darauf hinzuweisen, daß bei dem vorliegenden Ausführungsbeispiel monochrome Bilddaten D von jedem Abbildungsmittel (nicht gezeigt) erzeugt werden, die die Abbildungseinrichtung 2 bilden, wobei ein Abbildungsmittel jeweils einem Pixel in einem Bild entspricht. Ferner wird bei dem vorliegenden Ausführungsbeispiel, wie es im folgenden beschrieben wird, ein Fall beschrieben, bei dem die jeweiligen Bilddaten D, die für jedes Abbildungsmittel (d. h. jedes Pixel) der Abbildungseinrichtung 2 abgebildet werden, mittels einer Wandlereinrichtung 3 in jeweilige Bilddaten D umgewandelt werden, bei denen es sich um einen digitalen Wert handelt, der zum Beispiel als Helligkeit einer Grauskala mit 256 Abstufungen dient.
Die vorliegende Erfindung ist jedoch nicht darauf beschränkt, sondern kann zum Beispiel auch bei einem Fall Anwendung finden, bei dem durch RGB-Werte oder dergleichen dargestellte Farbbilddaten bei jedem Abbildungsmittel der Abbildungseinrichtung 2 abgebildet werden.
Wenn zum Beispiel bei dem vorliegenden Ausführungsbeispiel ein Bild T abgebildet wird, wie es in 2 gezeigt ist, führt die Abbildungseinrichtung 2 einen Abbildungsvorgang dadurch aus, daß ausgehend von dem Abbildungsmittel an der äußersten linken Seite jeder horizontalen Linie j des Bildes T ein Abtastvorgang der Reihe nach in Richtung nach rechts ausgeführt wird, wobei ausgehend von der untersten Linie die abzutastende horizontale Linie j nacheinander nach oben gewechselt wird und die einzelnen Bilddaten D in der Reihenfolge ihrer Abbildung an dem jeweiligen Abbildungsmittel nacheinander zu der Wandlereinrichtung 3 übertragen werden.
Die Wandlereinrichtung 3 ist aus einem Analog/Digital-Wandler gebildet. Wenn die jeweiligen Bilddaten D, die für jedes Abbildungsmittel (jedes Pixel) an der Abbildungseinrichtung 2 abgebildet werden, nacheinander übertragen werden, wandelt die Wandlereinrichtung 3 die jeweiligen Bilddaten D in jeweilige Bilddaten D mit einem digitalen Wert um und gibt diesen an eine Bildkorrektureinheit 4 ab.
Die Bildkorrektureinheit 4 unterzieht die jeweils übertragenen Bilddaten D nacheinander einer Bildkorrektur, wie zum Beispiel dem Entfernen von Abweichungen oder Rauschen, Helligkeitskorrektur oder dergleichen und überträgt die der Bildkorrektur unterzogenen, jeweiligen Bilddaten D der Reihe nach zu der Verarbeitungseinheit 5.
Die Verarbeitungseinheit 5 ist bei dem vorliegenden Ausführungsbeispiel von einem Computer gebildet, in dem eine nicht dargestellte CPU (zentrale Verarbeitungseinheit), ein ROM (Festspeicher), ein RAM (Direktzugriffsspeicher), eine Eingangs-/Ausgangs-Schnittstelle und dergleichen mit einem Bus verbunden sind. Die Verarbeitungseinheit 5 besitzt Verarbeitungseinrichtungen 6 und Durchschnittswert-Berechnungseinrichtungen 7, kann jedoch auch zum Ausführen weiterer Bearbeitungsvorgänge ausgebildet sein.
Bei dem vorliegenden Ausführungsbeispiel werden, nachdem die Bilddaten D jedes Abbildungsmittels (jedes Pixels) in der vorstehend beschriebenen Weise nacheinander übertragen worden sind, von den Verarbeitungseinrichtungen 6 die jeweiligen Bilddaten D zwischen benachbarten Pixeln verglichen und auch die Bilddaten D jedes einzelnen Pixels bzw. Einzelpixels verglichen, und mit den Durchschnittswert-Berechnungseinrichtungen 7 wird der Durchschnittswert für die jeweiligen Bilddaten D jedes Pixels berechnet, das zu einer Gruppe gehört, zu der ein benachbartes Pixel zugehörig ist, wie dies im folgenden noch beschrieben wird, um auf diese Weise zu bestimmen, ob diese einander benachbarten Pixel einer Gruppe zuzuordnen sind.
Anschließend gruppieren die Verarbeitungseinrichtungen 6 somit benachbarte Pixel, die in dem Bild T gruppiert werden können, und gleichzeitig mit der Beendigung der Verarbeitung hinsichtlich aller Pixel des Bildes T werten sie jede der letztendlich erzielten Gruppen als jeweiligen Bereich des Bildes T, so daß das Bild T in dieser Weise in mehrere Bereiche unterteilt ist.
Die Verarbeitung in der Verarbeitungseinheit 5, die die Verarbeitungseinrichtungen 6 und die Durchschnittswert-Berechnungseinrichtungen 7 aufweist, wird im folgenden anhand des Flußdiagramms der 3 und 4 erläutert.
Es ist darauf hinzuweisen, daß bei dem vorliegenden Ausführungsbeispiel, wie es vorstehend beschrieben worden ist, die Bilddaten D jedes Abbildungsmittels (jedes Pixels) der Reihe nach von der Abbildungseinrichtung 2 abgegeben werden, der jeweiligen Verarbeitung an der Wandlereinrichtung 3 und der Bildkorrektureinheit 4 unterzogen werden und die jeweiligen verarbeiteten Bilddaten D nacheinander zu der Verarbeitungseinheit 5 übertragen werden, wobei jedoch die nachfolgende Verarbeitung in der Verarbeitungseinheit 5 zu der gleichen Zeit, zu der die jeweiligen Bilddaten D nacheinander in diese eingegeben werden, parallel ausgeführt wird.
Mit dieser Ausbildung können die Bilddaten verarbeitet werden, ohne daß die Eingabe der Bilddaten D von allen Pixeln für ein Bild abgewartet wird, und auf diese Weise kann die Gruppierungsverarbeitung in Echtzeit ausgeführt werden.
Ferner wird in der nachfolgenden Beschreibung ein Pixel in dem in 2 dargestellten Bild T als ”Pixel pi, j” dargestellt, wobei ein Pixel an der linken unteren Ecke des Bildes T bei Verwendung von Pixelkoordinaten (i, j) als Nullpunkt verwendet wird, wobei i die nach rechts verlaufende Achse bildet und j die nach oben verlaufende Achse bildet. Ferner werden die Bilddaten D des Pixels pi, j als ”Di, j” dargestellt.
Bei der Verarbeitung in der Verarbeitungseinheit 5 wird als erstes der Abbildungsvorgang durch die Abbildungseinrichtung 2 gestartet (Schritt S1 in 3), und die Verarbeitungseinrichtungen 6 setzen die Werte von i und j jeweils auf 0 (Schritt S3). Wie vorstehend beschrieben worden ist, werden nach dem Beginn (Schritt S2) der Eingabe von an der Abbildungseinrichtung 2 abgebildeten Bilddaten D0 0 eines am linken Rand befindlichen Pixels P0, 0 (d. h. dem Pixel am Nullpunkt) auf einer horizontalen Linie 0 (d. h. einer horizontalen Linie j aus den jeweiligen Pixeln, deren j-Koordinate 0 beträgt) in die Verarbeitungseinheit 5 anschließend die Bilddaten D1, 0, D2, 0, D3, 0 usw. der Pixel p1, 0, p2, 0, p3, 0 usw. nacheinander eingegeben.
Anschließend wird in dem Fall, daß die Verarbeitung bis zu dem an dem rechten Rand befindlichen Pixel der horizontalen Linie j noch nicht abgeschlossen ist (NEIN im Schritt S4) von den Verarbeitungseinrichtungen 6 die i-Koordinate um 1 inkrementiert (Schritt S5), und die Verarbeitung wird fortgesetzt, während ein einzelnes Pixel von Interesse (das im folgenden als ”interessierendes Pixel” bezeichnet wird) auf ein rechts benachbartes Pixel auf der horizontalen Linie j verlagert wird (Schritt S6).
Bei Abschluß der Verarbeitung bis zu dem an dem rechten Rand befindlichen Pixel auf der horizontalen Linie j (JA im Schritt S4), in dem Fall, daß die Verarbeitung bis zu der horizontalen Linie der obersten Stufe des Bildes T nicht abgeschlossen ist (NEIN im Schritt S7), nehmen die Verarbeitungseinrichtungen 6 ferner eine Verlagerung der zu verarbeitenden horizontalen Linie j auf eine eine Reihe darüber befindliche horizontale Linie j + 1 vor, setzen die i-Koordinate des interessierenden Pixels auf 0 (Schritt S8), führen die Verarbeitung mit einem Pixel p0, j + 1 als interessierendes Pixel aus (Schritt S6) und setzen die Verarbeitung fort, während das interessierende Pixel von dem Pixel p0, j + 1 der Reihe nach zur rechten Seite verlagert wird.
Als nächstes wird die Verarbeitung in den Verarbeitungseinrichtungen 6 beschrieben (Schritt S9 usw. in 4), nachdem das Pixel pi, j als interessierendes Pixel gesetzt worden ist (Schritt S6).
Die Verarbeitungseinrichtungen 6 stellen als erstes fest, ob die nachfolgenden Bedingungen 1 und 2 hinsichtlich des interessierenden Pixels pi, j sowie eines Pixels pi – 1, j erfüllt sind, das dem interessierenden Pixel pi, j auf der linken Seite benachbart ist und das vor dem interessierenden Pixel pi, j eingegeben worden ist, wie dies in 5 gezeigt ist (Schritt S9).
Bedingung 1:
Die Differenz ΔDleft(i, j) zwischen den Bilddaten Di, j des interessierenden Pixels pi, j und den Bilddaten Di – 1, j des links benachbarten Pixels pi – 1, j, d. h. ΔDleft(i, j) = |Di, j – Di – 1, j| (1),ist geringer als ein vorbestimmter erster Schwellenwert ΔDth. Es ist darauf hinzuweisen, daß die Differenz ΔD der Bilddaten D zwischen solchen benachbarten Pixeln als Randintensität bezeichnet wird.
Bedingung 2:
Wie in 6 gezeigt, ist die Differenz δDleft(i, j) zwischen den Bilddaten Di, j des interessierenden Pixels pi, j und dem Durchschnittswert Dave-left der Bilddaten D jedes Pixels, das zu einer Gruppe g gehört, dem das links davon benachbarte Pixel pi – 1, j zugehörig ist, d. h. δDleft(i, j) = |Di, j – Dave-left| (2),geringer ist als ein vorbestimmter zweiter Schwellenwert δDth.
Es ist darauf hinzuweisen, daß gemäß der vorstehenden Beschreibung die Differenz δD zwischen den Bilddaten Di, j des interessierenden Pixels pi, j und dem Durchschnittswert Dave der Bilddaten D der Gruppe g, zu der das benachbarte Pixel gehört, im folgenden als Durchschnittswert-Differenz bezeichnet wird. Ferner wird der Durchschnittswert Dave der Bilddaten D jedes zu der Gruppe g gehörenden Pixels in den Durchschnittswert-Berechnungseinrichtungen 7 berechnet, wie dies im folgenden noch beschrieben wird (vgl. Schritt S16).
Ferner gibt es einen Fall, in dem die Gruppe g, zu dem das links benachbarte Pixel pi – 1, j gehört, aus diesem links benachbarten Pixel pi – 1, j alleine besteht, wobei in diesem Fall der Durchschnittswert Dave-left der Bilddaten D jedes zu der Gruppe g zugehörigen Pixels gleich den Bilddaten Di – 1, j dieses links benachbarten Pixels pi – 1, j ist.
Bei der Feststellung, daß beide der Bedingungen 1 und 2 erfüllt sind (JA im Schritt S9), fahren die Verarbeitungseinrichtungen 6 mit einer Bestimmungsverarbeitung in einem Schritt S10 fort, und bei der Feststellung, daß zumindest eine der Bedingungen 1 und 2 nicht erfüllt ist (NEIN im Schritt S9) fährt die Verarbeitung mit einer Bestimmungsverarbeitung in einem Schritt S13 fort.
Es ist darauf hinzuweisen, daß der vorstehend genannte erste Schwellenwert ΔDth und der zweite Schwellenwert δDth auf den gleichen Wert oder unterschiedliche Werte gesetzt werden können, so daß diese Schwellenwerte somit in der geeigneten Weise vorgegeben werden können.
Bei der Feststellung, daß in der Bestimmungsverarbeitung in dem Schritt S9 beide der Bedingungen 1 und 2 erfüllt sind (JA im Schritt S9) stellen die Verarbeitungseinrichtungen 6 anschließend in der gleichen Weise wie vorstehend beschrieben fest, ob die nachfolgenden Bedingungen 3 und 4 hinsichtlich des interessierenden Pixels pi, j erfüllt sind, und es wird ein Pixel pi, j – 1 eingegeben, das der Unterseite des interessierenden Pixels pi, j benachbart ist und das vor der Eingabe des interessierenden Pixels pi, j eingegeben worden ist, wie dies in 7 dargestellt ist (Schritt S10).
Bedingung 3:
Die Randintensität ΔDlower(i, j) zwischen den Bilddaten Di, j des interessierenden Pixels pi, j und den Bilddaten Di, j – 1 des der Unterseite von diesem benachbarten Pixel pi, j – 1, d. h. ΔDlower(i, j) = |Di, j – Di, j – 1| (3),ist geringer als der vorstehend beschriebene vorbestimmte erste Schwellenwert ΔDth.
Bedingung 4:
Wie in 8 gezeigt, ist die Durchschnittswertdifferenz δDlower(i, j) zwischen den Bilddaten Di, j des interessierenden Pixels pi, j und dem Durchschnittswert Dave-lower der Bilddaten D jedes Pixels, das zu der Gruppe g gehört, zu der das der Unterseite von diesem benachbarte Pixel pi, j – 1 gehört, d. h. δDlower(i, j) = |Di, j – Dave-lower| (4),geringer als der vorstehend beschriebene vorbestimmte zweite Schwellenwert δDth.
Es ist darauf hinzuweisen, daß es wiederum einen Fall gibt, in dem die Gruppe g zu der das unten benachbarte Pixel pi, j – 1 gehört, aus diesem unten benachbarten Pixel pi, j – 1 alleine gebildet ist, wobei in diesem Fall der Durchschnittswert Dave-lower der Bilddaten D des jeweiligen zu der Gruppe g zugehörigen Pixels gleich den Bilddaten Di, j – 1 dieses unten benachbarten Pixels pi, j – 1 ist.
Bei der Feststellung, daß zumindest eine der Bedingungen 3 und 4 nicht erfüllt ist (NEIN im Schritt S10), nehmen die Verarbeitungseinrichtungen 6 anschließend keine Gruppierung bzw. Zuordnung zu der gleichen Gruppe des interessierenden Pixels pi, j sowie des unten benachbarten Pixels pi, j – 1 vor, sondern es wird eine Bestimmung gemäß der Bestimmungsverarbeitung im Schritt S9 ausgeführt, daß die vorstehend genannten Bedingungen 1 und 2 erfüllt sind, wobei die Verarbeitungseinrichtungen somit eine Gruppierung des interessierenden Pixels pi, j sowie des links benachbarten Pixels pi – 1, j vornehmen (Schritt S11).
Wie in 5 gezeigt, werden hierbei in dem Fall, daß das links benachbarte Pixel pi – 1, j mit keinem weiteren Pixel gruppiert ist, das interessierende Pixel pi, j und das links benachbarte Pixel pi – 1, j gruppiert, und auf diese Weise wird eine aus den beiden horizontal benachbarten Pixeln bestehende Gruppe neu gebildet.
Wie zum Beispiel in 6 gezeigt, wird in dem Fall, daß das links benachbarte Pixel pi – 1, j zusammen mit einem weiteren Pixel gruppiert ist und zu der Gruppe g gehört, das interessierende Pixel pi, j derart gruppiert, daß es der Gruppe g hinzugefügt wird, und infolgedessen wird die Gruppe g um ein Pixel vergrößert, bei dem es sich um das interessierende Pixel pi, j handelt.
Es ist darauf hinzuweisen, daß in dem Fall, daß die Gruppe g, zu der das links benachbarte Pixel pi – 1 j gehört, eine Formgebung zum Beispiel gemäß der Darstellung in 9A aufweist, auch bei der Feststellung in der Bestimmungsverarbeitung im Schritt S10, daß zumindest eine der Bedingungen 3 und 4 nicht erfüllt ist (NEIN im Schritt S10) und infolgedessen das interessierende Pixel pi, j nicht zusammen mit dem unten benachbarten Pixel pi, j – 1 gruppiert wird, wie dies in 9B gezeigt ist, im Fall einer Gruppierung des interessierenden Pixels pi, j zusammen mit dem links benach barten Pixel pi – 1, j (Schritt S11) somit ein Fall vorliegt, in dem das interessierende Pixel pi, j zusammen mit dem unten benachbarten Pixel pi, j – 1 gruppiert wird.
Wenn in dem Bestimmungsvorgang in dem Schritt S10 festgestellt wird, daß beide Bedingungen 3 und 4 erfüllt sind (JA im Schritt S10), gruppieren die Verarbeitungseinrichtungen 6 das interessierende Pixel pi, j zusammen mit dem unten benachbarten Pixel pi, j – 1 und dem links benachbarten Pixel pi – 1, j (Schritt S12).
Hierbei werden beispielsweise in einem Fall, wie er in 7 dargestellt ist, bei dem sowohl das unten benachbarte Pixel pi, j – 1 und das links benachbarte Pixel pi – 1, j nicht mit einem weiteren Pixel gruppiert sind, das interessierende Pixel pi, j, das unten benachbarte Pixel pi, j – 1 sowie das links benachbarte Pixel pi – 1, j gruppiert, und es wird eine aus den drei Pixeln bestehende Gruppe neu gebildet.
Wie zum Beispiel in den 6 und 8 gezeigt, werden in dem Fall, daß ein beliebiges des unten benachbarten Pixels pi, j – 1 und des links benachbarten Pixels pi – 1, j mit einem weiteren Pixel gruppiert ist und zu der Gruppe g gehört, das interessierende Pixel pi, j und das nicht zu der Gruppe g zugehörige Pixel gruppiert und somit zu der Gruppe g hinzugefügt, so daß die Gruppe g um zwei Pixel vergrößert wird.
Wie in 10A gezeigt, werden in dem Fall, daß das links benachbarte Pixel pi – 1, j zu einer Gruppe g1 gehört und das unten benachbarte Pixel pi, j – 1 zu einer weiteren Gruppe g2 gehört, bei einer Gruppierung des interessierenden Pixels pi, j mit dem unten benachbarten Pixel pi, j – 1 sowie dem links benachbarten Pixel pi – 1, j (Schritt S12) gemäß der Darstellung in 10B die Gruppe g1 und die Gruppe g2 über das interessierende Pixel pi, j gruppiert, so daß sie dadurch zu der einzigen Gruppe g werden.
Wenn dagegen in der Bestimmungsverarbeitung in dem Schritt S9 festgestellt wird, daß eine der Bedingungen 1 und 2 nicht erfüllt ist (NEIN im Schritt S9) fahren die Verarbeitungseinrichtungen 6 mit einer Bestimmungsverarbeitung in einem Schritt S13 fort, wobei in der gleichen Weise, wie vorstehend beschrieben, eine Feststellung dahingehend erfolgt, ob die Bedingungen 3 und 4 erfüllt sind oder nicht (Schritt S13).
Bei Feststellung, daß beide der Bedingungen 3 und 4 erfüllt sind (JA im Schritt S13), haben die Verarbeitungseinrichtungen 6 festgestellt, daß zumindest eine der Bedingungen 1 und 2 in der Bestimmungsverarbeitung in dem Schritt S9 nicht erfüllt ist (NEIN im Schritt S9), so daß sie somit keine Gruppierung des interessierenden Pixels pi, j zusammen mit dem links benachbarten Pixel pi – 1, j vornehmen, sondern eine Gruppierung des interessierenden Pixels pi, j zusammen mit dem unten benachbarten Pixel pi, j – 1 alleine vornehmen (Schritt S14).
Bei der Gruppierung des interessierenden Pixels pi, j mit dem unten benachbarten Pixel pi, j – 1 (Schritt S14) gibt es somit einen Fall, in dem das interessierende Pixel pi, j zusammen mit dem links benachbarten Pixel pi – 1, j gruppiert wird, wie sich dies in einfacher Weise analog zu den Fällen ergibt, die in den 9A und 9B dargestellt sind.
Bei der Gruppierung des interessierenden Pixels pi, j mit einem benachbarten Pixel bei der Verarbeitung in den Schritten S11, S12 oder S14 aktualisieren die Verarbeitungseinrichtungen 6 die Anzahl der Pixel der erweiterten Gruppe g, und in dem Fall, daß sich eine Veränderung der jeweiligen Koordinaten der Pixel an dem linken Rand und der Pixel an dem rechten Rand oder der jeweiligen Koordinaten der Pixel an dem oberen Rand und der Pixel an dem unteren Rand der Gruppe g ergibt, nehmen die Verarbeitungseinrichtungen 6 eine Aktualisierung von diesen vor.
Wenn zum Beispiel gemäß der Darstellung in 10B mehrere Gruppen zu einer einzigen Gruppe gruppiert werden, aktualisieren die Verarbeitungseinrichtungen 6 die Gruppenanzahl der zu einer einzigen Gruppe gruppierten Gruppen g durch Auswählen der Mindestanzahl der jeweiligen Gruppenanzahlen der mehreren Gruppen, in die gruppiert worden ist (Schritt S15).
Ferner nehmen die Durchschnittswert-Berechnungseinrichtungen 7 eine Berechnung und Aktualisierung des Durchschnittswerts Dave der Bilddaten D jedes Pixels vor, das zu der Gruppe g gehört, die durch Addieren des interessierenden Pixels pi, j erweitert ist, oder das zu der Gruppe g gehört, die durch Gruppieren von mehreren Gruppen zu einer einzigen Gruppe gruppiert worden ist (Schritt S16).
Bei Beendigung der Verarbeitung in dem Schritt S15 und nachdem der Durchschnittswert Dave der Bilddaten D jedes zu der Gruppe g zugehörigen Pixels durch die Durchschnittswert-Berechnungseinrichtungen 7 berechnet und aktualisiert worden ist (Schritt S16), fahren die Verarbeitungseinrichtungen 6 mit der Bestimmungsverarbeitung in dem Schritt S4 sowie nachfolgenden Schritten fort.
Wenn jedoch in der Bestimmungsverarbeitung in dem Schritt S13 festgestellt wird, daß mindestens eine der Bedingungen 3 und 4 nicht erfüllt ist (NEIN im Schritt S13), gruppieren die Verarbeitungseinrichtungen 6 das interessierende Pixel pi, j mit keinem von dem links benachbarten Pixel pi – 1, j oder dem unten benachbarten Pixel pi, j – 1, und die Verarbeitungseinrichtungen 6 registrieren diese Gruppe als neue Gruppe, zu der alleine das interessierende Pixel pi, j gehört (Schritt S17).
Anschließend können die Verarbeitungseinrichtungen 6 dieser neuen Gruppe eine neue Gruppenanzahl beifügen und die Koordinaten der jeweiligen horizontalen und vertikalen Randpixel als Koordinaten (i, j) des interessierenden Pixel pi, j mit der Anzahl von Pixeln der Gruppe als 1 aufzeichnen. Weiterhin zeichnen die Durchschnittswert-Berechnungseinrichtungen 7 die Bilddaten pi, j dieses interessierenden Pixels pi, j als Durchschnittswert Dave der Bilddaten D dieser neuen Gruppe auf.
Als Ergebnis der Feststellung, daß mindestens eine der Bedingungen 3 und 4 in der Bestimmungsverarbeitung in dem Schritt S13 nicht erfüllt ist (NEIN im Schritt S13) und das interessierende Pixel pi, j nicht mit dem unten benachbarten Pixel pi, j – 1 gruppiert wird, besteht eine viel geringere Wahrscheinlichkeit, daß ein neues Pixel in einer später ausgeführten Verarbeitung hinzu kommt, und somit stellen die Verarbeitungseinrichtungen 6 fest, ob die Gruppe g in einem isolierten Zustand auf dem Bild T aufgetreten ist oder nicht (S18).
Beispielsweise kann im Fall der in 6 gezeigten Gruppe g bei der nachfolgenden Verarbeitung, wenn das interessierende Pixel auf der gleichen horizontalen Linie j weiter nach rechts gesetzt wird, das interessierende Pixel der Gruppe g hinzugefügt werden. Auch kann bei der zum Beispiel in 8 gezeigten Gruppe g das interessierende Pixel der Gruppe g hinzugefügt werden, wenn die zu verarbeitende horizontale Zeile j bei der nachfolgenden Verarbeitung mit einer horizontalen Zeile j + 1 fortfährt, die eine Reihe darüber liegt. Somit befinden sich diese Gruppen g nicht in einem isolierten Zustand auf dem Bild T.
Jedoch besteht im Fall der in 11 gezeigten Gruppe g bei der nachfolgenden Verarbeitung, selbst wenn das interessierende Pixel auf derselben horizontalen Linie j weiter nach rechts gesetzt wird oder wenn die zu verarbeitende horizontale Zeile j mit einer horizontalen Linie j + 1 fortfahrt, die eine Reihe darüber liegt, eine viel geringere Wahrscheinlichkeit, daß das interessierende Pixel immer noch zu der Gruppe g hinzugefügt wird. Die Gruppe g, wie sie in 11 gezeigt ist, wird somit zu einer im isolierten Zustand vorliegenden Gruppe g auf dem Bild T.
Bei der Feststellung, daß die Gruppe g in einem isolierten Zustand auf dem Bild T vorliegt (JA im Schritt S18) stellen die Verarbeitungseinrichtungen 6 fest, ob die Anzahl aller zu der Gruppe g zugehörigen Pixel gleich oder kleiner ist als ein vorbestimmter Schwellenwert (Schritt S19), und bei Feststellung, daß die Anzahl der Pixel gleich oder kleiner ist als der Schwellenwert (JA im Schritt S19), eliminieren die Verarbeitungseinrichtungen 6 diese Gruppe g aus den registrierten Gruppen (Schritt S20). Der Grund hierfür besteht darin, daß eine solche isolierte Gruppe, deren Anzahl von Pixeln gering ist, eine vernachlässigbare Gruppe bildet, die zum Beispiel durch Rauschen oder dergleichen in dem Bild T verursacht ist.
Auch bei der Feststellung, daß keine isolierte Gruppe g aufgetreten ist (NEIN im Schritt S18) oder bei Auftreten der isolierten Gruppe g, bei der jedoch die Anzahl von Pixeln größer ist als der Schwellenwert und diese Gruppe g eine relativ große Gruppe bildet (NEIN im Schritt S19), eliminieren die Verarbeitungseinrichtungen 6 diese Gruppe g nicht aus den registrierten Gruppen, und die Verarbeitungseinrichtungen 6 fahren mit der Bestimmungsverarbeitung in dem Schritt S4 und den nachfolgenden Schritten fort.
Wenn dann die Verarbeitung bis zu dem am rechten Rand befindlichen Pixel auf der gleichen horizontalen Linie j abgeschlossen ist (JA im Schritt S4 in 3) und die Verarbeitung bis zu der horizontalen Zeile der obersten Stufe des Bildes T beendet ist (JA im Schritt S7), teilen die Verarbeitungseinrichtungen 6 anschließend das Bild T in mehrere Bereiche, wobei jede letztendlich gebildete Gruppe einen jeweiligen Bereich des Bildes T bildet (Schritt S21).
Bei Beendigung der Verarbeitung von einem für das Bild T geltenden Bild speichern die Verarbeitungseinrichtungen 6 die jeweiligen Bilddaten Di, j jedes Pixels pi, j des Bildes T in einer nicht gezeigten Speichereinrichtung, wobei sie auch solche Information, wie die jeweiligen Koordinaten (i, j) der jeweiligen Pixel, die zu dem jeweiligen Bereich (der jeweiligen Gruppe) gehören, die Anzahl der Pixel, die jeweiligen Koordinaten der Pixel am horizontalen Rand und die jeweiligen Koordinaten der Pixel am vertikalen Rand, den Durchschnittswert Dave der Bilddaten D der Bereiche (Gruppen) und dergleichen in der Speichereinrichtung in korrelierter Weise mit dem Bild T zusammen mit den jeweiligen Bilddaten Di, j des Bildes T und dergleichen speichern. Ferner geben die Verarbeitungseinrichtungen 6 auch solche Information nach Bedarf nach außen aus.
Dabei kann zum Beispiel auch eine Anordnung vorgesehen sein, bei der der Mittelpunkt mit dem mittleren Punkt der Pixelpositionen der horizontalen Ränder jedes Bereichs als i-Koordinate und dem mittleren Punkt der Pixelpositionen der vertikalen Ränder als j-Koordinate für jeden Bereich berechnet wird und zusammen mit den vorstehenden Informationen in der Speichereinrichtung gespeichert wird und nach Bedarf nach außen ausgegeben wird.
Im folgenden wird die Arbeitsweise der Bildverarbeitungsvorrichtung 1 gemäß dem vorliegenden Ausführungsbeispiel beschrieben.
Wenn die Bestimmung durch die Verarbeitungseinrichtungen 6 erfolgt ist, ob das interessierende Pixel pi, j und das links benachbarte oder unten benachbarte Pixel pi – 1, j oder pi, j – 1 gruppiert bzw. einer Gruppe zugeordnet werden oder nicht, und zwar unter Verwendung des eingangs genannten Bildbereich-Unterteilungsverfahrens, wie es in der ungeprüften japanischen Patentanmeldungsveröffentlichung JP-A-2000-067 240 offenbart ist, oder mittels einer herkömmlichen Technik der Komprimierungsverarbeitung oder dergleichen von Bildinformation, werden die Bilddaten D jedes Pixels p mittels eines gleichmäßig vorbestimmten Klassifizierungsverfahrens klassifiziert, wobei in Abhängigkeit von dieser Klassifizierung bestimmt wird, ob eine Gruppierung auszuführen ist.
Selbst in dem Fall, daß die Differenz von jeweiligen Bilddaten D benachbarter Pixel p unbedeutend ist, werden dann, wenn die jeweiligen Bilddaten D zu einer anderen Klassifizierung gehören, die benachbarten Pixel p nicht einfach in eine einzige Gruppe integriert.
Es gibt zum Beispiel einen Fall, in dem auch dann, wenn dasselbe abgebildete Objekt oder dergleichen in dem Bild T abgebildet ist, ein Bereich, in dem dasselbe abgebildete Objekt abgebildet ist, in mehrere Bereiche unterteilt ist, da die jeweiligen Bilddaten D der benachbarten Pixel p geringfügig unterschiedlich sind. Umgekehrt dazu gibt es auch einen Fall, daß bei der Abbildung von mehreren abgebildeten Objekten innerhalb des Bildes T und wenn zwei zu voneinander verschiedenen abgebildeten Objekten zugehörige Pixel an einem Grenzbereich von diesen einander benachbart sind, die Bilddaten D des jeweiligen Pixels p die gleiche Klassifizierung aufweisen, diese beiden Pixel in eine einzige Gruppe integriert werden und die abgebildeten Objekte nicht einfach separiert und extrahiert werden können.
Bei der Bildverarbeitungsvorrichtung 1 gemäß dem vorliegenden Ausführungsbeispiel ist jedoch kein gleichmäßig vorbestimmter Klassifizierungsstandard vorgesehen, und gemäß der vorstehenden Beschreibung werden mittels der Verarbeitungseinrichtungen 6 die Bilddaten pi, j des interessierenden Pixels pi, j sowie die Bilddaten Di – 1, j oder Di, j – 1 eines linken benachbarten oder eines unten benachbarten Pixels pi – 1, j oder pi, j – 1 gemäß der vorstehend genannten Bedingung 1 oder Bedingung 3 verglichen, wobei auf der Basis der Randintensität ΔD von diesen bestimmt wird, ob die benachbarten Pixel gruppiert werden oder nicht.
Falls eine Differenz bei den jeweiligen Bilddaten D von benachbarten Pixeln p insignifikant ist, können somit die benachbarten Pixel p in eine einzige Gruppe integriert werden, wobei zum Beispiel selbst in dem Fall, daß die jeweiligen Bilddaten D von benachbarten Pixeln p innerhalb eines Bereichs des Bildes T geringfügig differieren, in dem dasselbe abgebildete Objekt abgebildet ist, kann der Bereich, in dem dasselbe abgebildete Objekt abgebildet ist, durch Gruppierung in einen einzigen Bereich extrahiert werden.
Bei dem mit der Abbildungseinrichtung 2, wie zum Beispiel einer CCD-Kamera oder dergleichen, abgebildeten Bild T gibt es ferner einen Fall, in dem insbesondere bei einem Grenzbereich zwischen einem einzelnen abgebildeten Objekt und einem weiteren abgebildeten Objekt eine insignifikante Differenz in den Bilddaten D vorhanden ist zwischen einem Pixel p eines Grenzbereichs eines Bereichs, in dem dieses einzelne abgebildete Objekt abgebildet ist, und einem Pixel, bei dem es sich um ein dem Pixel p von diesem benachbartes Pixel handelt, das jedoch in einem Bereich enthalten ist, in dem das andere abgebildete Objekt abgebildet ist, das nicht in dem Bereich enthalten sein sollte, in dem das einzelne abgebildete Objekt abgebildet ist.
In einem solchen Fall wird bei Gruppierung der benachbarten Pixel in Abhängigkeit von nur der vorstehenden Bedingung 1 oder nur der vorstehenden Bedingung 3 der Bereich, der dem einzelnen abgebildeten Objekt entsprechen sollte, bis zu dem Bereich erweitert, in dem das andere abgebildete Objekt abgebildet ist, und somit wird ein Bereich auf dem Bild T, in dem das jeweilige abgebildete Objekt dargestellt ist, nicht einfach in separate Bereiche unterteilt.
Bei der Bildverarbeitungseinrichtung 1 gemäß dem vorliegenden Ausführungsbeispiel wird jedoch anhand der von der Bedingung 1 oder der Bedingung 3 verschiedenen Bedingungen 2 oder 4 die Durchschnittswert-Differenz δD innerhalb der Gruppe g berechnet, zu der das interessierende Pixel pi, j sowie das links benachbarte oder unten benachbarte Pixel pi – 1, j oder pi, j – 1 gehören, wobei auf der Basis davon die Entscheidung getroffen wird, ob die benachbarten Pixel gruppiert werden oder nicht.
Bei einem insignifikanten Unterschied der jeweiligen Bilddaten D der benachbarten Pixel und sogar bei einem insignifikanten Unterschied bei den Bilddaten D in einem lokalen Bereich, der innerhalb des Bildes D begrenzt ist (d. h. auch in dem Fall, in dem die genannte Bedingung 1 oder die genannte Bedingung 3 erfüllt ist), sowie auch in dem Fall, daß die Bilddaten Di, j des interessierenden Pixels pi, j einen Wert auf weisen, der in signifikanter Weise von dem Durchschnittswert Dave der Bilddaten D der Gruppe g verschieden ist, zu der die benachbarten Pixel gehören, d. h. ein gewisser Bereich (äquivalent zu der Gruppe g) mit der relativ großen Anzahl von Pixeln innerhalb des Bildes T (d. h. in dem Fall, daß die genannte Bedingung 2 oder die genannte Bedingung 4 nicht erfüllt ist), wird bei dieser Anordnung eine Gruppierung der benachbarten Pixel verhindert.
Somit wird eine Vergrößerung des Bereichs, der dem einzelnen abgebildeten Objekt entsprechen sollte, bis zu dem Bereich verhindert, in dem das andere abgebildete Objekt abgebildet ist, so daß ein Bereich auf dem Bild T, in dem das jeweilige abgebildete Objekt dargestellt ist, durch Unterteilen in separate Bereiche exakt extrahiert werden kann.
Ferner werden, in gleicher Weise wie die Bilddaten D gemäß dem vorliegenden Ausführungsbeispiel, zum Beispiel mit 256 Helligkeitsabstufungen dargestellte Bilddaten für die Bestimmung der genannten Bedingungen 1 bis 4 und dergleichen verwendet, ohne daß diese einer Komprimierungsverarbeitung oder dergleichen unterzogen werden, so daß die Bestimmung unter effektiver Nutzung der umfassenden Information durchgeführt werden kann, ohne daß eine Verminderung des in den Bilddaten D enthaltenen Informationsgehalts stattfindet, wobei die Bestimmung, ob benachbarte Pixel gruppiert werden oder nicht, in exakter Weise stattfinden kann.
Wenn zum Beispiel das in 12 abgebildete Bild T einer Bildverarbeitung mit der Bildverarbeitungsvorrichtung 1 gemäß dem vorliegenden Ausführungsbeispiel unterzogen wird, wie dies in 13 veranschaulicht ist, kann bei dem Bild T, in dem mehrere abgebildete Objekte dargestellt sind, ein ähnlicher Helligkeitsbereich eines einzelnen abgebildeten Objekts durch Unterteilung in Bereiche r exakt extrahiert werden, wobei auch im Hinblick auf verschiedene abgebildete Objekte mit ähnlicher Helligkeit die Bereiche r exakt separiert und extrahiert werden können.
Bei einer Verminderung des Informationsgehalts, indem die Bilddaten einer Komprimierungsverarbeitung oder dergleichen unterzogen werden, lassen sich solche abgebildeten Objekte nicht leicht exakt separieren und extrahieren.
Es ist darauf hinzuweisen, daß in 13 jeder unterteilte Bereich schattiert dargestellt ist und auch jedes Pixel, dessen Registrierung in der Gruppe g mit der vorstehenden Verarbeitung in dem Schritt S20 eliminiert worden ist, in schwarz dargestellt ist.
Wie vorstehend beschrieben, wird bei der Bildverarbeitungsvorrichtung 1 gemäß dem vorliegenden Ausführungsbeispiel eine Anordnung geschaffen, bei der die umfangreiche Information in effektiver Weise genutzt wird, ohne daß Bilddaten einer Komprimierungsverarbeitung oder dergleichen unterzogen werden, so daß die Bestimmung, ob das interessierende Pixel (Einzelpixel) pi, j und die benachbarten Pixel pi – 1, j, pi, j – 1 gruppiert werden, nicht nur auf der Basis der Differenz (Randintensität) ΔD zwischen den Bilddaten Di, j des interessierenden Pixels (Einzelpixel) pi, j und der Bilddaten Di – 1, j, Di, j – 1 der dem interessierenden Pixel pi, j benachbarten Pixel pi – 1, j, pi, j – 1 stattfindet, sondern auch auf der Basis der Differenz (Durchschnittswert-Differenz) δD zwischen den Bilddaten Di, j des interessierenden Pixels pi, j und dem Durchschnittswert Dave der Bilddaten D jedes Pixels der Gruppe g stattfindet, zu der die dem interessierenden Pixel pi, j benachbarten Pixel pi – 1, j, pi, j – 1 zugehörig sind.
Auf diese Weise wird der Informationsgehalt der Bilddaten D in effektiver Weise genutzt, wie zum Beispiel ein innerhalb des Bildes T abgebildetes Objekt, wobei ein Pixel, bei dem ein abgebildetes Objekt, das als einzelne Gruppe (zum Beispiel ein einzelnes Objekt) integriert werden sollte, in exakter Weise gruppiert wird und ein Pixel, bei dem ein abgebildetes Objekt, das nicht als einzelne Gruppe (zum Beispiel ein anderes Objekt) integriert werden sollte, nicht gruppiert wird, so daß das Bild T in exakter Weise in mehrere Bereiche unterteilt werden kann. Somit läßt sich wiederum ein abgebildetes Objekt in exakter Weise aus dem Bild T separieren und extrahieren.
Ferner kann, wie bei dem vorliegenden Ausführungsbeispiel, eine Anordnung vorgesehen werden, bei der in dem Fall, daß die Bilddaten D jedes Pixels p von der Abbildungseinrichtung 2 nacheinander in die Verarbeitungseinrichtungen 6 eingegeben werden, jeder Prozeß gleichzeitig und parallel mit der Eingabe der Bilddaten D ausgeführt werden, wobei das interessierende Pixel (Einzelpixel) pi, j und die vor der Eingabe des interessierenden Pixels pi, j eingegebenen Bilddaten D verglichen werden, so daß die Verarbeitung gleichzeitig und parallel mit der Eingabe ausgeführt werden kann, ohne daß die Eingabe der Bilddaten D von allen Pixeln für ein Bild abgewartet wird, so daß infolgedessen die Gruppierungsverarbeitung in Echtzeit ausgeführt werden kann.
Es ist darauf hinzuweisen, daß bei dem vorliegenden Ausführungsbeispiel eine Anordnung vorgesehen ist, bei der die Bilddaten D jedes Pixels p von der Abbildungseinrichtung 2 der Reihe nach von dem am linken Rand befindlichen Pixel auf derselben horizontalen Linie j des in 2 gezeigten Bildes T abgegeben werden und die Bilddaten D auch unter Umschaltung nacheinander von der horizontalen Linie j auf der untersten Seite in Richtung nach oben abgegeben werden, und somit das mit dem interessierenden Pixel (Einzelpixel) pi, j zu vergleichende benachbarte Pixel als zuvor eingegebenes, links benachbartes Pixel pi – 1, j oder unten benachbartes Pixel pi, j – 1 vorgegeben ist, wobei es sich jedoch von selbst versteht, daß das zu vergleichende, benachbarte Pixel p in Abhängigkeit von der Übertragungssequenz der jeweiligen Bilddaten D von der Abbildungseinrichtung 2 vorgegeben ist.
Auch kann in dem Fall, daß die Echtzeit-Eigenschaft für die Gruppierungsverarbeitung nicht erforderlich ist, eine Anordnung vorgesehen werden, bei der die Gruppierungsverarbeitung ausgeführt wird, nachdem die Bilddaten D von allen Pixeln für ein Bild eingegeben sind. In diesem Fall wird ein Verfahren zum Vorgeben des mit dem interessierenden Pixel (Einzelpixel) pi, j zu vergleichenden benachbarten Pixels vorab bestimmt, wobei in Abhängigkeit hiervon die gleiche Verarbeitung wie bei dem vorstehend beschriebenen Ausführungsbeispiel ausgeführt wird.
Ferner wird bei Verwendung der Bildverarbeitungsvorrichtung 1 gemäß dem vorliegenden Ausführungsbeispiel beispielsweise in einem an einem Fahrzeug angebrachten Zustand, wie dies in den 12 und 13 gezeigt ist, ein Bereich, in dem sich ein vorausfahrendes Fahrzeug befindet, eine Straßenoberfläche, eine Fahrbahnmarkierungslinie oder dergleichen in dem Bild T abgebildet ist, durch effektive Unterteilung extrahiert werden.
Ferner wird im Fall eines Bereichs innerhalb des Bildes T, der mit hoher Helligkeit abgebildet ist, wie zum Beispiel eine Lichtquelle, wie etwa ein aufleuchtendes Signallicht an einer Verkehrsampel, Rücklichtern eines vorausfahrenden Fahrzeugs oder der gleichen, oder im umgekehrten Fall bei einem Bereich innerhalb des Bildes T, der mit geringer Helligkeit abgebildet ist, wie zum Beispiel ein Tunnel oder dergleichen, wenn es sich bei einem abgebildeten Objekt um Bilddaten in einem diesem eigenen Helligkeitsbereich handelt, ein Bereich, in dem die Bilddaten in einem speziellen numerischen Wertebereich enthalten sind, in bevorzugter Weise aus dem Bild T extrahiert, und ein abgebildetes Objekt von diesem kann exakt extrahiert werden und somit zeigen sich die Vorteile des vorliegenden Ausführungsbeispiels in noch effektiverer Weise.
Es kann zum Beispiel eine Anordnung vorgesehen werden, bei der gemäß dem Flußdiagramm der 3 und 4 bei Vorgabe des Pixels pi, j als interessierendes Pixel (Schritt S6) sowie in dem Fall, daß die Bilddaten Di, j des interessierenden Pixels (Einzelpixel) pi, j und die Bilddaten Di – 1, j Di, j – 1 der dem interessierenden Pixel pi, j links oder unten benachbarten Pixel pi – 1, j, pi, j – 1 beide in einem vorbestimmten numerischen Wertebereich enthalten sind, vor der Ausführung der jeweiligen Bestimmungsverarbeitung in dem Schritt S9 und den anschließenden Schritten das interessierende Pixel pi, j innerhalb des numerischen Wertebereichs sowie die benachbarten Pixel pi – 1, j pi, j – 1 in bevorzugter Weise gruppiert werden.
Da heißt, bei einer Lichtquelle, wie der vorstehend genannten Signalleuchte, Rücklichtern oder dergleichen, wird beim Extrahieren eines mit hoher Helligkeit abgebildeten Bereichs der vorstehende numerische Wertebereich beispielsweise als numerischer Wertebereich vorgegeben, dessen Helligkeit gleich oder größer als 200 ist, wobei ferner bei dem vorstehend genannten Tunnel oder dergleichen beim Extrahieren eines mit geringer Helligkeit abgebildeten Bereichs der vorstehend genannte numerische Wertebereich beispielsweise als numerischer Wertebereich vorgegeben wird, dessen Helligkeit gleich oder geringer als 50 ist. Ferner kann der numerische Wertebereich auch als numerischer Wertebereich vorgegeben werden, der in obere Grenzwerte und untere Grenzwerte unterteilt ist.
Wenn sich in der vorstehend beschriebenen Weise die Bilddaten Di, j des interessierenden Pixels (Einzelpixel) pi, j sowie die Bilddaten Di – 1, j, Di, j – 1 des links benachbarten oder unten benachbarten Pixels pi – 1, j, pi, j – 1 in einem vorbestimmten numerischen Wertebereich befinden, und damit eine Anordnung geschaffen wird, bei der diese benachbarten Pixel vorzugsweise gruppiert werden, werden im umgekehrten Fall, in dem von den jeweiligen Bilddaten D der benachbarten Pixel p die Bilddaten D von einem derselben in einem vorbestimmten numerischen Wertebereich liegen und die Bilddaten D des anderen Pixels außerhalb von dem numerischen Wertebereich liegen, diese benachbarten Pixel vorzugsweise in einer nicht zu gruppierenden Anordnung vorgesehen.
Es kann somit eine Anordnung geschaffen werden, bei der nur die Pixel p, deren Bilddaten D in einem vorbestimmten numerischen Wertebereich liegen, exakt gruppiert werden, während die Pixel p, deren Bilddaten D außerhalb des vorbestimmten numerischen Wertebereichs liegen, nicht gruppiert werden, und somit kann in einem Bild ein Bereich, dessen Bilddaten D in einem vorbestimmten numerischen Wertebereich liegen, durch Trennung von anderen Bereichen exakt extrahiert werden.
Wie vorstehend beschrieben, kann andererseits bei dem vorliegenden Ausführungsbeispiel in dem Fall, daß die Bedingungen 1 bis 4 nicht erfüllt sind, ein Bereich exakt unterteilt werden, so daß benachbarte Pixel nicht einer Gruppe zugeordnet bzw. gruppiert werden, und somit kann in umgekehrter Weise, wenn Rauschen oder dergleichen in das Bild T gelangt, beispielsweise ein Bereich, der als einzelner Bereich extrahiert werden sollte, der einem einzelnen in dem Bild T abgebildeten Objekt entspricht, aufgrund des Rauschens von diesem oder dergleichen in mehrere Bereiche unterteilt werden.
Zum Lösen dieses Problems kann zum Beispiel dann, wenn die Mindestwerte der Pixelintervalle von zwei Gruppen g1 und g2, die in dem Bild T nicht benachbart sind, d. h. bei Verbindung der Randbereiche der beiden Gruppen g1 und g2 mit einer geraden Linie, sowie dann, wenn die Mindestwerte der Anzahl von Pixeln, die auf den geraden Linien von diesen angeordnet sind, gleich oder kleiner sind als ein vorbestimmter Schwellenwert sowie angenähert sind, und wenn ferner die Differenz jedes Durchschnittswerts der Bilddaten D der jeweiligen zu diesen beiden Gruppen g1 und g2 zugehörigen Pixels gleich oder kleiner ist als ein vorbestimmter Schwellenwert und eine insignifikante Differenz darstellt, eine Anordnung geschaffen werden, bei der diese beiden Gruppen g1 und g2 in Form einer einzigen Gruppe g integriert werden.
Bei dem vorliegenden Ausführungsbeispiel ist ein Fall beschrieben worden, in dem die Bilddaten D hinsichtlich ihrer Helligkeit in monochrome Bilddaten umgewandelt werden, zum Beispiel in Graustufen mit 256 Abstufungen oder dergleichen, jedoch ist in der vorstehend beschriebenen Weise die vorliegende Erfindung nicht darauf beschränkt, und es können beispielsweise mit RGB-Werten dargestellte Farbbilddaten verwendet werden.
In diesem Fall kann z. B. dann, wenn die Bilddaten D jedes Pixels p gemeinsam mit (R, G, B) dargestellt sind und insbesondere die Bilddaten D des interessierenden Pixels p1, j mit (Ri, j, Gi, j, Bi, j) dargestellt sind und die Bilddaten eines dem interessierenden Pixel p1, j benachbarten Pixels mit (R*, G*, B*) dargestellt sind, die Randintensität ΔD(i, j) zwischen dem interessierenden Pixel pi, j und einem diesem benachbarten Pixel p mit der vorstehenden Bedingung 1 oder Bedingung 3 beispielsweise folgendermaßen berechnet werden. ΔD(i, j) = |Ri, j – R*| + |Gi, j – G* + |Bi, j – B*| (5).
Die Durchschnittswert-Differenz δD(i, j) zwischen den Bilddaten Di, j des interessierenden Pixels pi, j und dem Durchschnittswert Dave der Bilddaten D der jeweiligen Pixel, die zu der Gruppe g gehören, zu der ein dem interessierenden Pixel pi, j benachbartes Pixel P nach Maßgabe der vorstehenden Bedingung 2 oder 4 gehört, läßt sich ebenfalls wie folgt berechnen. δD(i, j) = |Ri, j – ΣR/n| + |Gi, j – ΣG/n| + |Bi, j – ΣB/n| (6).
Es ist darauf hinzuweisen, daß bei der vorstehenden Gleichung (6) Σ die Summe hinsichtlich aller zu der Gruppe g zugehörigen Pixel darstellt und n die Anzahl der Pixel der Gruppe g darstellt. Bei Berechnung des Durchschnittswerts Dave der Bilddaten D jedes zu der Gruppe g zugehörigen Pixels bei der Verarbeitung in dem Schritt S16 in 4 nehmen ferner die Durchschnittswert-Berechnungseinrichtungen 7 eine Berechnung und Aktualisierung des Durchschnittswerts Dave in Form von (ΣR/n, ΣG/n, ΣB/n) vor.
Wie bei der Bildverarbeitungsvorrichtung 1 gemäß dem vorstehend beschriebenen Ausführungsbeispiel läßt sich somit der gleiche effektive Vorteil wie bei der Verwendung von monochromen Bilddaten D erzielen, und auch Farbinformation, die mit dem Durchschnittswert Dave (ΣR/n, ΣG/n, ΣB/n) der Bilddaten D jedes zu der entsprechenden Gruppe zugehörigen Pixels dargestellt wird, wird mit jedem Bereich innerhalb des Bild T korreliert, der jeder letztendlich gebildeten Gruppe entspricht, so daß jeder Bereich innerhalb des Bildes T erkannt und mit Farbinformation klassifiziert werden kann.
Auf der Basis der Farbinformation jedes Bereichs kann die Farbe eines dem jeweiligen Bereich entsprechenden abgebildeten Objekts bestimmt werden, und auch das eigentliche abgebildete Objekt von diesem (zum Beispiel, ob es sich bei einer aufleuchtenden Signallampe an einer Verkehrsampel um ein rotes, ein gelbes oder ein grünes Signal usw. handelt) kann bestimmt werden.
Zweites Ausführungsbeispiel
Bei der Bildverarbeitungsvorrichtung 1 gemäß dem vorliegenden Ausführungsbeispiel ist ein Fall beschrieben worden, in dem die Bestimmung, ob das interessierende Pixel (Einzelpixel) pi, j mit einem diesem benachbarten Pixel p gruppiert wird oder nicht, nur auf der Basis der Bilddaten D, wie der Helligkeit des Pixels p innerhalb des Bildes T vorgenommen wird, wobei jedoch bei Verwendung einer Anordnung, bei der eine Stereokamera als Abbildungseinrichtung 2 verwendet wird, ein Paar abgebildete Bilder einer Stereoabgleichverarbeitung unterzogen werden und Distanzinformation im realen Raum für jedes Pixel der Bilder bereitgehalten wird, so daß die Bestimmung unter Berücksichtigung der Distanzinformation im realen Raum berücksichtigt werden kann, wenn die Bestimmung erfolgt, ob das interessierende Pixel (Einzelpixel) pi, j mit dem diesem benachbarten Pixel p gruppiert wird oder nicht.
Es wird eine Anordnung vorgesehen, bei der die Bestimmung hinsichtlich der Gruppierung unter Berücksichtigung von Distanzinformation im realen Raum ausgeführt wird, so daß beim Teilen eines Bildes in mehrere Bereiche das Bild in Bereiche unterteilt werden kann und dabei die Position im realen Raum von jedem in dem Bild abge bildeten Objekt unterschieden werden kann und somit das Bild unterteilt werden kann, während gleichzeitig jedes abgebildete Objekt exakt unterschieden werden kann. Bei dem zweiten Ausführungsbeispiel wird eine für diese Zwecke ausgebildete Bildverarbeitungsvorrichtung 10 beschrieben.
Es ist darauf hinzuweisen, daß im folgenden ein Fall beschrieben wird, in dem die Bildverarbeitungsvorrichtung 10 in einem Fahrzeug, wie zum Beispiel einem Kraftfahrzeug, angebracht ist und ein abgebildetes Objekt, wie zum Beispiel ein dem Fahrzeug vorausfahrendes Fahrzeug oder dergleichen abgebildet ist, wobei jedoch die vorliegende Erfindung nicht darauf beschränkt ist und auch bei verschiedenen anderen Anwendungen eingesetzt werden kann.
Wie in 14 gezeigt, ist die Bildverarbeitungsvorrichtung 10 gemäß dem vorliegenden Ausführungsbeispiel in der gleichen Weise ausgebildet wie die Bildverarbeitungsvorrichtung 1 gemäß dem ersten Ausführungsbeispiel (vgl. 1), so daß sie eine Abbildungseinrichtung 2, eine Wandlereinrichtung 3, eine Bildkorrektureinheit 4 sowie eine Verarbeitungseinheit 5 mit Verarbeitungseinrichtungen 6 und Durchschnittswert-Berechnungseinrichtungen 7 sowie dergleichen aufweist, wobei das zweite Ausführungsbeispiel jedoch ferner eine Distanzerfassungseinrichtung 11 mit einem Bildprozessor 12 und dergleichen sowie weitere Elemente aufweist.
Es ist darauf hinzuweisen, daß die Konfiguration auf der vorgeschalteten Seite von der Verarbeitungseinheit 5, die den Bildprozessor 12 und dergleichen beinhaltet, in der ungeprüften japanischen Patentanmeldungsveröffentlichung JP-A-2006-072 495 der vorliegenden Anmelderin ausführlich beschrieben worden ist; auf diese Veröffentlichung kann hinsichtlich einer ausführlichen Beschreibung dieser Konfiguration zurückgegriffen werden. Im folgenden wird diese Konfiguration kurz erläutert.
Bei dem vorliegenden Ausführungsbeispiel handelt es sich bei der Abbildungseinrichtung 2, in der jeweilige Bildsensoren, wie ein CCD-, CMOS-Sensor und dergleichen untergebracht sind, die miteinander synchronisiert sind, beispielsweise um eine Stereokamera, die aus einem Paar aus einer Hauptkamera 2a und einer Zusatzkamera 2b gebildet ist, die in der Nähe eines Innenraumspiegels eines Fahrzeugs mit einer vorbestimmten Beabstandung in der Fahrzeugbreitenrichtung angebracht sind und dafür konfiguriert sind, einen Abbildungsvorgang mit einem vorbestimmten Abtastzyklus auszuführen, um ein Bilderpaar abzugeben.
Bei dem Kamerapaar handelt es sich bei der Hauptkamera 2a um eine Kamera in der Nähe des Fahrers, wobei diese Kamera das Bild T beispielsweise in der in 2 dargestellten Weise abbildet. Im folgenden wird ein Fall beschrieben, in dem das von dieser Hauptkamera 2a abgebildete Bild T einer Gruppierungsverarbeitung für jedes Pixel p oder dergleichen unterzogen wird. Zum Unterscheiden dieses Bildes von einem von der Zusatzkamera 2b abgebildeten Bild wird ferner das von der Hauptkamera 2a abgebildete Bild T als Referenzbild T bezeichnet, und das von der Zusatzkamera 2b abgebildete Bild wird als Vergleichsbild bezeichnet.
Es ist darauf hinzuweisen, daß auch bei dem vorliegenden Ausführungsbeispiel die Hauptkamera 2a und die Zusatzkamera 2b der Abbildungseinrichtung 2 jeweils zum Erzeugen von monochromen Bilddaten D ausgebildet sind, jedoch können auch Abbildungseinrichtungen verwendet werden, die zum Abbilden von mit RGB-Werten oder dergleichen dargestellten Farbbilddaten konfiguriert sind, wobei die vorliegende Erfindung auch in diesem Fall anwendbar ist.
Wie auch bei dem ersten Ausführungsbeispiel wird bei Abbildung des Referenzbildes T gemäß der Darstellung in 2 sowie eines Vergleichsbildes mittels der Hauptkamera 2a und der Zusatzkamera 2b der Abbildungseinrichtung 2 der Abbildungsvorgang dadurch ausgeführt, daß der Reihe nach ausgehend von dem Abbildungsmittel an der äußersten linken Seite jeder horizontalen Linie j des Referenzbildes T in Richtung nach rechts abgetastet wird und dabei nacheinander die abzutastende horizontale Linie j ausgehend von der untersten Linie bzw. Reihe nach oben gewechselt wird und die jeweiligen Bilddaten D des Referenzbildes T und des Vergleichsbildes in der an jedem Abbildungsmittel abgebildeten Reihenfolge nacheinander zu der Wandlereinrichtung 3 übertragen werden.
Die Wandlereinrichtung 3 ist aus einem Paar Analog/Digital-Wandler 3a und 3b gebildet. Wenn die jeweiligen Bilddaten D des Referenzbildes T und des Vergleichsbildes, die für jedes Abbildungsmittel (jedes Pixel) an der Hauptkamera 2a und der Zusatzkamera 2b der Abbildungseinrichtung 2 abgebildet worden sind, nacheinander übertragen worden sind, wandelt die Wandlereinrichtung 3 die jeweiligen Bilddaten D in jeweilige Bilddaten D in Form eines digitalen Werts um, der als Graustufen-Helligkeit mit 256 Abstufungen dient, und geben diesen Wert an eine Bildkorrektureinheit 4 aus.
Die Bildkorrektureinheit 4 unterzieht die jeweiligen Bilddaten D des übertragenen Referenzbildes T und Vergleichsbildes nacheinander einer Bildkorrektur, wie zum Beispiel dem Entfernen von Abweichungen oder Rauschen, einer Helligkeitskorrektur oder dergleichen, und speichert nacheinander die jeweiligen Bilddaten D des Referenzbildes T und des Vergleichsbildes, die der Bildkorrektur unterzogen worden sind, in einem Bilddatenspeicher 14 und überträgt diese ferner nacheinander zu der Verarbeitungseinheit 5.
Weiterhin überträgt die Bildkorrektureinheit 4 die jeweiligen, der Bildkorrektur unterzogenen Bilddaten D des Referenzbildes T und des Vergleichsbildes nacheinander zu der Distanzerfassungseinrichtung 11.
Der Bildprozessor 12 der Distanzerfassungseinrichtung 11 unterzieht die jeweiligen Bilddaten D des Referenzbildes T und des Vergleichsbildes nacheinander einer Stereoabgleichverarbeitung oder Filterverarbeitung, um dadurch eine der Distanz im realen Raum entsprechende Disparität dp für jedes Pixel des Referenzbildes T nacheinander zu berechnen.
Bei der Stereoabgleichverarbeitung in dem Bildprozessor 12 wird nach dem Übertragen der jeweiligen Bilddaten D des Referenzbildes T und des Vergleichsbildes Tc in der in 15 dargestellten Weise beispielsweise ein Referenzpixelblock PB mit einer vorbestimmten Anzahl von Pixeln, wie zum Beispiel 3×3 Pixeln, 4×4 Pixeln oder dergleichen, in dem Referenzbild T vorgegeben, und im Hinblick auf jeden Vergleichspixelblock PBc mit der gleichen Formgebung, wie etwa der Referenzpixelblock PB, wird auf einer Epipolarlinie EPL in einem Vergleichsbild Tc, das dem Referenzpixelblock PB entspricht, ein SAD-Wert, d. h. eine Differenz in einem Helligkeitsmuster hinsichtlich dieses Referenzpixelblocks PB, gemäß dem nachfolgenden Ausdruck (7) berechnet, um auf diese Weise den Vergleichspixelblock PBc zu bestimmen, der den kleinsten SAD-Wert hat. SAD = Σ|D1s, t – D2s, t| (7).
Es ist darauf hinzuweisen, daß in dem vorstehenden Ausdruck (7) D1s, t die Bilddaten D jedes Pixels in dem Referenzpixelblock PB darstellt und D2s, t die Bilddaten D jedes Pixels in dem Vergleichspixelblock PBc darstellt. Ferner wird die vorstehend genannte Summe für alle Pixel in den Bereichen von 1 ≤ s ≤ 3 und 1 ≤ t ≤ 3 in dem Fall berechnet, daß der Referenzpixelblock PB und der Vergleichspixelblock PBc als Bereich von zum Beispiel 3×3 Pixeln vorgegeben sind, sowie in den Bereichen von 1 ≤ s ≤ 4 und 1 ≤ t ≤ 4 in dem Fall berechnet, daß der Referenzpixelblock PB und der Vergleichspixelblock PBc als Bereich von 4×4 Pixeln vorgegeben sind.
Hinsichtlich eines jeden Referenzpixelblocks PB des Referenzbildes T berechnet der Bildprozessor 12 somit nacheinander eine Disparität dp aus den Positionen des bestimmten Vergleichspixelblocks PBc in dem Vergleichsbild Tc sowie den Positionen dieses Referenzpixelblocks PB in dem Referenzbild T.
Im folgenden wird ein Bild, das durch Zuordnen einer Disparität dp zu jedem Pixel des Referenzbildes T erzeugt wird, als Distanzbild bezeichnet. Ferner wird die Information der für jedes Pixel berechneten Disparität dp, d. h. ein Distanzbild, der Reihe nach in dem Distanzdatenspeicher 13 der Distanzerfassungseinrichtung 11 gespeichert und nacheinander auch zu der Verarbeitungseinrichtung 5 übertragen.
Im Hinblick auf den realen Raum wird ein Punkt auf einer Straßenoberfläche unmittelbar unter dem Mittelpunkt des Paares der Kameras 2a und 2b als Nullpunkt bzw. Ausgangspunkt betrachtet, wobei die Fahrzeugbreitenrichtung (d. h. die Querrichtung) des Fahrzeugs die X-Achsenrichten darstellt, die Fahrzeughöhenrichtung (d. h. die Höhenrichtung) die Y-Achsenrichtung darstellt und die Fahrzeuglängsrichtung (d. h. die Distanzrichtung) die Z-Achsenrichtung darstellt, wobei ein Punkt im realen Raum (X, Y, Z) Pixelkoordinaten (i, j) in dem Distanzbild sowie eine Disparität dp durch Koordinatenumwandlung auf der Basis des Triangulationsprinzips in eindeutiger Weise korreliert werden können, wie dies durch die nachfolgenden Ausdrücke (8) bis (10) veranschaulicht wird: X = CD/2 + Z × PW × (i – IV) (8) Y = CH + Z × PW × (j – JV) (9) Z = CD/(PW × (dp – DP)) (10).
In den vorstehenden Ausdrücken bezeichnet CD die Distanz zwischen dem Paar der Kameras, PW stellt den Betrachtungswinkel für ein Pixel dar, CH stellt die Montagehöhe des Kamerapaares dar, IV und JV stellen die i-Koordinate und die j-Koordinate in dem Distanzbild an dem Unendlichkeitspunkt vor dem Fahrzeug dar, und DP bezeichnet eine Fluchtpunkt-Disparität.
Zum Verbessern der Zuverlässigkeit einer Disparität dp unterzieht der Bildprozessor 12 die Disparität dp, die bei der vorstehend beschriebenen Stereoabgleichverarbeitung erzielt worden ist, einer Filterverarbeitung, so daß nur eine als gültig ermittelte Disparität dp abgegeben wird.
Wenn zum Beispiel der Referenzpixelblock PB aus 4×4 Pixeln, die nur aus dem Bild einer Straßenoberfläche mit minderwertigen Merkmalen bestehen, einer Stereoabgleichverarbeitung in dem Vergleichsbild Tc unterzogen wird, so wird die Korrelation in allen Bereichen hoch, in denen die Straßenoberfläche in dem Vergleichsbild Tc abgebildet ist, und selbst wenn ein entsprechender Vergleichspixelblock PBc bestimmt wird und ein Disparität dp berechnet wird, ist die Zuverlässigkeit dieser Disparität dp gering.
Aus diesem Grund wird eine solche Disparität dp einer Filterverarbeitung unterzogen, um diese Disparität dp ungültig zu machen, und es wird ein Wert 0 für die Disparität dp abgegeben.
Beim Erzeugen eines Distanzbildes Tz durch Zuordnen (d. h. Korrelieren) einer gültig berechneten Disparität dp zu jedem Pixel des Referenzbildes C, beispielsweise in der in 16 dargestellten Weise, wird das Distanzbild Tz zu einem Bild, in dem eine gültige Disparität dp hinsichtlich eines marginalen Bereichs (Randbereichs) oder dergleichen eines abgebildeten Objekts berechnet wird, bei dem es sich um einen Bereich mit signifikanten Merkmalen in dem Referenzbild T handelt.
Im Hinblick auf die Erzeugung des Distanzbildes Tz kann eine Anordnung vorgesehen werden, bei der eine Disparität dp vorab gemäß dem vorstehenden Ausdruck (10) oder dergleichen in eine Distanz Z oder dergleichen umgewandelt wird, wobei das Distanzbild Tz durch Zuordnen der Distanz Z oder dergleichen zu jedem Pixel des Referenzbildes T erzeugt wird.
Bei dem vorliegenden Ausführungsbeispiel wird in den jeweiligen Prozessen der Verarbeitungseinrichtungen 6 und der Durchschnittswert-Berechnungseinrichtungen 7 der Verarbeitungseinheit 5 die Disparität dp jedes Pixels des Distanzbildes Tz unter Umwandlung in eine Distanz Z im realen Raum gemäß dem vorstehenden Ausdruck (10) oder dergleichen nach Bedarf verwendet.
Auch bei dem vorliegenden Ausführungsbeispiel ist die Verarbeitungseinheit 5 aus einem Computer gebildet, in dem eine CPU, ein ROM, ein RAM, eine Eingangs/Ausgangs-Schnittstelle usw. (nicht gezeigt) mit einem Bus verbunden sind, wobei die Verarbeitungseinheit 5 Verarbeitungseinrichtungen 6 und Durchschnittswert-Berechnungseinrichtungen 7 beinhaltet.
Bei dem vorliegenden Ausführungsbeispiel beinhaltet die Verarbeitungseinheit 5 ferner Fahrbahnmarkierungslinien-Erfassungseinrichtungen 15, die zum Erfassen von auf beiden Seiten des Fahrzeugs angezeigten Fahrbahnen bzw. Fahrspuren konfiguriert sind, sowie Straßenoberflächen-Erfassungseinrichtungen 16, die zum Erfassen einer Straßenoberfläche konfiguriert sind. Es ist darauf hinzuweisen, daß bei der vorliegenden Erfindung durchgehende Linien und gestrichelte Linien auf einer Straßenoberfläche, wie zum Beispiel Überholverbotlinien, Unterteilungslinien zum Abteilen eines Randstreifens von einer Fahrbahn usw. als ”Fahrbahnmarkierungslinien” bezeichnet werden.
Weiterhin kann eine Erfassungseinrichtung für vorausfahrende Fahrzeuge, die zum Erfassen eines vorausfahrenden Fahrzeugs ausgebildet ist, oder dergleichen in der Verarbeitungseinheit 5 vorgesehen sein, und bei Bedarf kann eine Anordnung vorgesehen sein, bei der ein gemessener Wert von einem Sensor oder dergleichen eingegeben wird, wobei es sich zum Beispiel um einen Geschwindigkeitssensor, einen Gierratensensor, einen Lenkwinkelsensor, der zum Messen des Lenkwinkels eines Lenkrads konfiguriert ist, oder dergleichen handelt.
Im folgenden werden die Fahrbahnmarkierungslinien-Erfassungseinrichtungen 15 und die Straßenoberflächen-Erfassungseinrichtungen 16 beschrieben, bevor die Verarbeitung in den Verarbeitungseinrichtungen 6 und den Durchschnittswert-Berechnungseinrichtungen 7 der Verarbeitungseinheit 5 gemäß dem vorliegenden Ausführungsbeispiel beschrieben wird.
Es ist darauf hinzuweisen, daß bei dem vorliegenden Ausführungsbeispiel, wie es im folgenden beschrieben wird, eine Anordnung vorgesehen ist, bei der auf einer Straßenoberfläche angezeigte Fahrbahnen an den Fahrbahnmarkierungslinien-Erfassungseinrichtungen 15 erfaßt werden und auf der Basis der Erfassungsresultate eine Straßenoberfläche an den Straßenoberflächen-Erfassungseinrichtungen 16 erfaßt wird, wobei jedoch die Straßenoberflächen-Erfassungseinrichtungen 16 nicht auf die im folgenden beschriebene Ausführungsweise beschränkt sind, solange sie eine Straßenoberfläche erfassen können.
Die Fahrbahnmarkierungslinien-Erfassungseinrichtungen 15 erfassen Fahrbahnen beidseits von dem Fahrzeug aus dem von der Abbildungseinrichtung 2 abgebildeten Referenzbild T. Wie in 17 gezeigt ist, verwenden die Fahrbahnmarkierungslinien-Erfassungseinrichtungen 15 das Referenzbild T, um zum Beispiel ausgehend von der Mitte des Referenzbildes T in der horizontalen Richtung auf der horizontalen Linie j eines dafür geltenden Pixels zu suchen, wobei die Fahrbahnmarkierungslinien-Erfassungseinrichtungen 5 Pixel, deren Helligkeitswerte stark variieren und die gleich oder größer sind als ein Schwellenwert, der aufgrund eines Helligkeitswerts eines benachbarten Pixels vorgegeben ist, als Fahrbahnmarkierungslinien-Kandidatenpunkte cr und cl erfassen.
Anschließend werden Fahrbahnmarkierungslinien-Kandidatenpunkte in ähnlicher Weise auf jeder horizontalen Linie erfaßt, während die horizontale Linie j in dem Referenzbild T in Inkrementen von einem Pixel in Richtung nach oben verlagert wird. Wenn hierbei auf der Basis der Disparitäten dp oder dergleichen der erfaßten Fahrbahnmarkierungslinien-Kandidatenpunkte festgestellt wird, daß diese Fahrbahnmarkierungslinien-Kandidatenpunkte nicht auf der Straßenoberfläche liegen, schließen die Fahrbahnmarkierungslinien-Erfassungseinrichtungen 15 diese Fahrbahnmarkierungslinien-Kandidatenpunkte aus den Fahrbahnmarkierungslinien-Kandidatenpunkten aus.
Es ist darauf hinzuweisen, daß bei der Straßenoberfläche in diesem Fall die Positionen der Straßenoberfläche in diesem Abtastzyklus aus dem anschließenden Verhalten des Fahrzeugs auf der Basis der in dem vorausgehenden Abtastzyklus erfaßten Straßenoberfläche geschätzt werden. Anschließend werden von den verbleibenden Fahrbahnmarkierungslinien-Kandidatenpunkten auf der Basis von Fahrbahnmarkierungslinien-Kandidatenpunkten, die sich auf der näher bei dem Fahrzeug liegenden Seite befinden, Fahrbahnen auf den beiden Seiten des Fahrzeugs durch Approximation an gerade Linien erfaßt, und zwar mittels Hough-Transformation oder dergleichen.
Dabei werden bei der Hough-Transformation verschiedene gerade Linien als Kandidaten berechnet, wobei jedoch dann, wenn mehrere Fahrbahnen auf der einen Seite (zum Beispiel der rechten Seite) des Fahrzeugs erfaßt werden, gerade Linien jeweils von beiden Seiten des Fahrzeugs ausgewählt werden, indem eine Fahrbahnmarkierungslinie ausgewählt wird, die Konsistenz hinsichtlich einer auf der anderen Seite (zum Beispiel der linken Seite) des Fahrzeugs erfaßten Fahrbahnmarkierungslinie aufweist, oder eine Fahrbahnmarkierungslinie ausgewählt wird, die konsistent hinsichtlich einer in dem vorausgehenden Abtastzyklus erfaßten Fahrbahnmarkierungslinie aufweist oder dergleichen.
Bei der linearen Erfassung von Fahrbahnen auf der jeweils näher bei dem Fahrzeug befindlichen Seite werden somit Fahrbahnmarkierungslinien-Kandidatenpunkte aufgrund einer positionsmäßigen Beziehung zu den geraden Linien oder dergleichen auf der von dieser Seite weiter abgelegenen Seite auf der Basis der geraden Linien von dieser selektiv verbunden, und gemäß der Darstellung in 18 werden somit Fahrbahnen LR und LL jeweils auf beiden Seiten des Fahrzeugs erfaßt.
Es ist darauf hinzuweisen, daß die vorstehende Verarbeitungsanordnung der Fahrbahnmarkierungslinien-Erfassungseinrichtungen 15 in der ungeprüften japanischen Patentanmeldungsveröffentlichung JP-A-2006-331 389 ausführlich beschrieben worden ist, die von der vorliegenden Anmelderin eingereicht worden ist, so daß für eine ausführliche Beschreibung auf diese Veröffentlichung verwiesen werden kann.
Die Fahrbahnmarkierungslinien-Erfassungseinrichtungen 15 speichern Information, wie die rechte und die linke Fahrbahnmarkierungslinienposition LR und LL, sowie die auf diese Weise erfaßten Fahrbahnmarkierungslinien-Kandidatenpunkte cr und cl und dergleichen in einem nicht dargestellten Speicher.
Die Straßenoberflächen-Erfassungseinrichtungen 16 bilden ein Fahrbahnmarkierungslinienmodell in dreidimensionaler Weise auf der Basis der Information der rechten und der linken Fahrbahnmarkierungslinienpositionen LR und LL sowie der Fahrbahnmarkierungslinien-Kandidatenpunkte, die von den Fahrbahnmarkierungslinien-Erfassungseinrichtungen 15 erfaßt worden sind. Bei dem vorliegenden Ausführungsbeispiel, wie es in den 19A und 19B gezeigt ist, bilden die Straßenoberflächen-Erfassungseinrichtungen 16 ein Fahrbahnmarkierungslinienmodell, das durch Annäherung der Fahrbahnen auf beiden Seiten des Fahrzeugs durch einen dreidimensionalen linearen Ausdruck für jeden vorbestimmten Abschnitt sowie durch Verbinden von diesen in Form einer polygonalen Linie ausgedrückt wird.
Es ist darauf hinzuweisen, daß 19A ein Fahrbahnmarkierungslinienmodell in einer Z-X-Ebene, d. h. ein Modell der geometrischen Form darstellt, und 19B ein Fahrbahnmarkierungslinienmodell in einer Z-Y-Ebene, d. h. ein Straßenhöhenmodell, darstellt.
Insbesondere teilen die Straßenoberflächen-Erfassungseinrichtungen 16 den realen Raum vor dem Fahrzeug ausgehend von der Position des Fahrzeugs zum Beispiel bis zu der Distanz Z7 in jeweilige Segmente, und sie unterziehen die Fahrbahnmarkie rungslinien-Kandidatenpunkte innerhalb jedes Segments einer kolinearen Approximation nach der Methode der kleinsten Quadrate auf der Basis der Positionen (X, Y, Z) im realen Raum der Fahrbahnmarkierungslinien-Kandidatenpunkte, die von den Fahrbahnmarkierungslinien-Erfassungseinrichtungen 15 erfaßt worden sind, und berechnen Parameter aR, bR, aL, bL, cR, dR, cL und dL der nachfolgenden Ausdrücke (11) bis (14) für jedes Segment, um auf diese Weise ein Fahrbahnmarkierungslinienmodell zu bilden.
Modell der geometrischen Form

Rechte Fahrbahnmarkierungslinie: X = aR·Z + bR (11)
Linke Fahrbahnmarkierungslinie: X = aL·Z + bL (12)

Straßenhöhenmodell

Rechte Fahrbahnmarkierungslinie: Y = cR·Z + dR( 13)
Linke Fahrbahnmarkierungslinie: Y = cL·Z + dL (14).

Die Straßenoberflächen-Erfassungseinrichtungen 16 bilden somit ein Fahrbahnmarkierungslinienmodell und erfassen eine Straßenoberfläche im realen Raum. Die Straßenoberflächen-Erfassungseinrichtungen 16 speichern das auf diese Weise gebildete Fahrbahnmarkierungslinienmodell, d. h. die berechneten Parameter aR bis dL jedes Segments jeweils in dem Speicher.
Auch bei dem vorliegenden Ausführungsbeispiel wie auch bei dem ersten Ausführungsbeispiel sind die Verarbeitungseinrichtungen 6 und die Durchschnittswert-Berechnungseinrichtungen 7 dazu ausgebildet, die jeweiligen Prozesse gemäß dem in den 3 und 4 dargestellten Flußdiagramm auszuführen.
Das heißt, nachdem die Bilddaten D jedes Pixels des Referenzbildes T von der Hauptkamera 2a der Abbildungseinrichtung 2 nacheinander übertragen worden sind, werden die Bilddaten Di, j des interessierenden Pixels (Einzelpixel) pi, j und die Bilddaten D eines diesem auf der linken Seite oder an der Unterseite benachbarten Pixels p mitein ander verglichen, und auf der Basis der Bedingung 1 oder der Bedingung 3 wird eine Feststellung dahingehend getroffen, ob das interessierende Pixel pi, j und das benachbarte Pixel gruppiert bzw. einer Gruppe zugeordnet werden oder nicht.
Auch die Bilddaten Di, j des interessierenden Pixels pi, j und der Durchschnittswert Dave der jeweiligen Bilddaten D jedes Pixels, das zu der Gruppe g gehört, zu der auch das benachbarte Pixel p gehört, werden miteinander verglichen, und es erfolgt eine Bestimmung anhand der Bedingung 2 oder der Bedingung 4, ob das interessierende Pixel pi, j und das benachbarte Pixel gruppiert werden oder nicht.
Auch bei dem vorliegenden Ausführungsbeispiel wird bei der Bestimmungsverarbeitung hinsichtlich der Frage, ob das interessierende Pixel pi, j und das benachbarte Pixel p gruppiert werden oder nicht (Schritte S9, S10 und S13 in 4), auf der Basis der Information der für jedes Pixel des Referenzbildes T in der Distanzerfassungseinrichtung 11 berechneten Disparität dp (d. h. entsprechend der Distanz Z im realen Raum) sowie auf der Basis der von den Straßenoberflächen-Erfassungseinrichtungen 16 erfaßten Information über die Straßenoberfläche im realen Raum die Entscheidung getroffen, ob eine Gruppierung auszuführen ist, wobei weitere strenge Bedingungen zur Anwendung kommen.
Insbesondere wird bei der Bestimmungsverarbeitung in den Schritten S9, S10 und S13 in 4 für den Fall, daß eine Differenz |Zi, j – Zp| zwischen der Distanz Zi, j im realen Raum, die dem interessierenden Pixel pi, j entspricht, und der Distanz Zp im realen Raum, die einem dem interessierenden Pixel pi, j links oder an der Unterseite benachbarten Pixel p entspricht, gleich oder größer ist als ein vorbestimmter Schwellenwert, auch dann, wenn die vorstehend genannten Bedingungen 1 bis 4 erfüllt sind, von den Verarbeitungseinrichtungen 6 keine Gruppierung des interessierenden Pixels pi, j und des benachbarten Pixels p vorgenommen.
Der Grund hierfür besteht darin, daß selbst dann, wenn das interessierende Pixel pi, j und ein diesem benachbartes Pixel p solche Bilddaten D, wie eine ähnliche Helligkeit oder dergleichen, in dem Referenzbild T aufweisen, wenn diesen entsprechende Punkte im realen Raum in einem Ausmaß getrennt sind, in dem die Punkte nicht als dasselbe abgebildete Objekt betrachtet werden, die Möglichkeit besteht, daß es sich bei dem interessierenden Pixel pi, j und dem benachbarten Pixel p nicht um demselben abgebildeten Objekt entsprechende Pixel handelt, sondern um Pixel, die einem separaten abgebildeten Objekt entsprechen.
Mit dieser Ausbildung kann bei einem abgebildeten Objekt, das in dem Referenzbild T abgebildet ist, das Referenzbild T exakt in mehrere Bereiche unterteilt werden, so daß ein Pixel, an dem ein als einzelne Gruppe zu integrierendes Objekt (zum Beispiel ein einzelnes Objekt) abgebildet ist, exakt gruppiert wird und ein Pixel, an dem ein nicht als einzelne Gruppe zu integrierendes Objekt (zum Beispiel ein anderes Objekt) abgebildet ist, nicht gruppiert wird. Auf diese Weise kann ein abgebildetes Objekt in exakter Weise aus dem Referenzbild T separiert und extrahiert werden.
Bei dem vorliegenden Ausführungsbeispiel kann es jedoch einen Fall geben, in dem die dem benachbarten Pixel p entsprechende Distanz Zp im realen Raum nicht berechnet worden ist, da die bei der Stereoabgleichverarbeitung berechnete Disparität dp durch die Filterverarbeitung in der Distanzerfassungseinrichtung 11 oder dergleichen ungültig gemacht worden ist. In einem solchen Fall kann eine Anordnung zum Ausführen der Bestimmungsverarbeitung durch die im folgenden beschriebenen Techniken vorgesehen werden.
Technik 1:
Es wird festgestellt, ob eine Differenz |Zi, j – Z| zwischen der dem interessierenden Pixel pi, j entsprechenden Distanz Zi, j im realen Raum und der Distanz Z im realen Raum, die der dem interessierenden Pixel pi, j entsprechenden Distanz Zi, j im realen Raum am nähesten ist, von jeder Distanz Z im realen Raum, die dem jeweiligen Pixel entspricht, das zu der Gruppe g gehört, zu der das benachbarte Pixel p gehört, gleich oder größer ist als der vorstehend genannte Schwellenwert.
Wenn hierbei die Distanz Z, die der dem interessierenden Pixel pi, j entsprechenden Distanz Zi, j im realen Raum am nähesten ist, durch den vorstehend genannten Schwellenwert oder einen höheren Wert getrennt ist, kann davon ausgegangen werden, daß das interessierende Pixel pi, j und die Gruppe g, zu der das benachbarte Pixel p gehört, nicht demselben abgebildeten Objekt entsprechen, sondern einem separaten abgebildeten Objekt entsprechen.
Technik 2:
Die Koordinaten (X, Y, Z) jedes Punktes im realen Raum, die dem jeweiligen Pixel entsprechen, werden auf der Basis der jeweiligen Distanz Z im realen Raum berechnet, die dem jeweiligen Pixel entspricht, das zu der Gruppe g gehört, zu dem das benachbarte Pixel p gehört, und es wird die Neigung der Distanzrichtung (Z-Achsenrichtung) gegenüber der Höhenrichtung (Y-Achsenrichtung) der Verteilung jedes Punktes, die Neigung der Distanzrichtung gegenüber der horizontalen Richtung (X-Achsenrichtung) oder die Neigung der Distanzrichtung gegenüber einer vorbestimmten Richtung berechnet, und die dem benachbarten Pixel p entsprechende Distanz Zp im realen Raum wird anhand dieser Neigungen geschätzt.
Anschließend wird festgestellt, ob die Differenz zwischen dieser geschätzten Distanz Zp und der dem interessierenden Pixel pi, j entsprechenden Distanz Zi, j im realen Raum gleich oder größer als der vorstehende Schwellenwert ist oder nicht.
Insbesondere kann in dem Fall, daß die Disparität dp hinsichtlich des jeweiligen Pixels berechnet worden ist, das zu der Gruppe g gehört, zu dem das benachbarte Pixel p gehört, die dem jeweiligen Pixel entsprechende Distanz Z im realen Raum aus dem vorstehenden Ausdruck (10) berechnet werden, wobei auf der Basis der Distanz Z sowie der i-Koordinate und der j-Koordinate in dem Referenzbild T des jeweiligen Pixels auch die X-Koordinate (Position in der horizontalen Richtung) und die Y-Koordinate (Höhe) im realen Raum, die dem jeweiligen Pixel entsprechen, gemäß den vorstehenden Ausdrücken (8) bzw. (9) berechnet werden können.
Anschließend wird jeder Punkt im realen Raum, der dem jeweiligen zu der Gruppe g zugehörigen Pixel entspricht, im realen Raum auf der Basis der Koordinaten (X, Y, Z) aufgetragen, die in der vorstehend beschriebenen Weise berechnet worden sind. Beim Auftragen jedes Punktes in einer X-Z-Ebene kann dabei jeder Punkt bei spielsweise in der in 20 dargestellten Weise auftragen werden, und die Neigung θ der Distanzrichtung (Z-Achsenrichtung) gegenüber der horizontalen Richtung (X-Achsenrichtung) der Verteilung jedes Punktes kann berechnet werden, indem die Verteilung jedes Punktes einer kolinearen Approximation oder dergleichen unterzogen wird.
Auf der Basis dieser Neigung θ wird somit die dem benachbarten Pixel p entsprechende Distanz Zp eines Punktes P im realen Raum geschätzt, und wenn die Differenz zwischen der geschätzten Distanz Zp und der dem interessierenden Pixel pi, j entsprechenden Distanz Zi, j im realen Raum geringer ist als der vorstehende Schwellenwert und diese somit nahe beieinander liegen, werden das interessierende Pixel pi, j und das benachbarte Pixel gruppiert, während dann, wenn diese über den Schwellenwert oder mehr getrennt sind, das interessierende Pixel pi, j und das benachbarte Pixel p nicht gruppiert werden.
Beim Auftragen des jeweiligen Punktes im realen Raum, der dem jeweiligen zu der Gruppe g zugehörigen Pixel entspricht, in einer Y-Z-Ebene, kann jeder Punkt beispielsweise in der in 21 dargestellten Weise aufgetragen werden, und die Neigung ϕ der Distanzrichtung (Z-Achsenrichtung) gegenüber der Höhenrichtung (Y-Achsenrichtung) der Verteilung des jeweiligen Punktes kann berechnet werden, indem die Verteilung des jeweiligen Punktes einer kolinearen Approximation oder dergleichen unterzogen wird.
Auf der Basis dieser Neigung wird dann die dem benachbarten Pixel p entsprechende Distanz Zp eines Punktes P im realen Raum geschätzt, und wenn die Differenz zwischen der geschätzten Distanz Zp und der dem interessierenden Pixel pi, j entsprechenden Distanz Zi, j im realen Raum geringer ist als der vorstehende Schwellenwert und diese Distanzen somit nahe beieinander sind, werden das interessierende Pixel pi, j und das benachbarte Pixel p gruppiert, während dann, wenn diese mit dem Schwellenwert oder darüber voneinander getrennt sind, das interessierende Pixel pi, j und das benachbarte Pixel p nicht gruppiert werden.
Es ist darauf hinzuweisen, daß die horizontale Richtung (X-Achsenrichtung) im realen Raum der horizontalen Richtung im Referenzbild T entspricht, und somit kann das Verfahren zum Berechnung der Neigung θ in der Distanzrichtung gegenüber der horizontalen Richtung der Verteilung der jeweiligen Punkte durch Auftragen der jeweiligen Punkte in einer X-Z-Ebene, wie in 20 dargestellt, für die Bestimmungsverarbeitung der Gruppierung zwischen dem interessierenden Pixel pi, j und dem benachbarten Pixel p in dem Fall verwendet werden, daß die Gruppe g, zu der das benachbarte Pixel p gehört, eine Erstreckung in der horizontalen Richtung in dem Referenzbild T aufweist.
Die Höhenrichtung (Y-Achsenrichtung) im realen Raum entspricht auch der vertikalen Richtung im Referenzbild T, und somit kann das Verfahren zum Berechnen der Neigung ϕ in der Distanzrichtung gegenüber der Höhenrichtung der Verteilung der jeweiligen Punkte durch Auftragen der jeweiligen Punkte in einer Y-Z-Ebene, wie in 21 gezeigt, für die Bestimmungsverarbeitung der Gruppierung zwischen dem interessierenden Pixel pi, j und dem benachbarten Pixel p in dem Fall verwendet werden, daß die Gruppe g, zu der das benachbarte Pixel p gehört, eine Erstreckung in der vertikalen Richtung in dem Referenzbild T aufweist.
Wie in 22 gezeigt ist, kann jedoch ein Fall auftreten, bei dem die Gruppe g, zu der das benachbarte Pixel p gehört (und zwar ein unten benachbartes Pixel pi, j – 1 in 22), eine Gruppe mit einer Erstreckung mit einer vorbestimmten Richtung (einer Richtung, die in 22 von unten links nach oben rechts verläuft) in dem Referenzbild T ist.
In einem derartigen Fall wird in der gleichen Weise wie vorstehend beschrieben, die Neigung der Distanzrichtung (Z-Achsenrichtung) gegenüber der vorbestimmten Richtung der Verteilung der jeweiligen Punkte berechnet, indem die jeweiligen Punkte im realen Raum, die den jeweiligen zu der Gruppe g zugehörigen Pixeln entsprechen, in einer Ebene projiziert und aufgetragen werden, die die vorbestimmte Richtung und die Z-Achse beinhaltet.
Anschließend kann eine Anordnung gebildet werden, bei der auf der Basis dieser Neigung die dem benachbarten Pixel p entsprechende Distanz Zp eines Punktes P im realen Raum geschätzt wird, und wenn die Differenz zwischen der geschätzten Distanz Zp und der dem interessierenden Pixel pi, j entsprechenden Distanz Zi, j im realen Raum geringer ist als der vorstehende Schwellenwert und diese somit nahe beieinander liegen, werden das interessierende Pixel pi, j und das benachbarte Pixel p gruppiert, während dann, wenn diese mit dem Schwellenwert oder darüber voneinander getrennt sind, das interessierende Pixel pi, j und das benachbarte Pixel p nicht gruppiert werden.
Es sei erwähnt, daß die vorstehenden Techniken 1 und 2 nicht nur in einem Fall angewendet werden können, in dem die dem benachbarten Pixel p entsprechende Distanz Zp im realen Raum nicht berechnet worden ist, sondern auch in einem Fall, in dem diese Distanz berechnet worden ist.
Wenn ferner bei der vorstehenden Technik 2 die Differenz ΔZ zwischen dem maximalen Wert Zmax und dem minimalen Wert Zmin jeder Distanz Z im realen Raum, die dem jeweiligen Pixel entspricht, das zu der Gruppe g gehört, zu dem das benachbarte Pixel p gehört, gleich oder geringer ist als ein vorbestimmter Schwellenwert, d. h. gering ist, oder wenn die Verteilung σZ der jeweiligen Distanz Z im realen Raum, die dem jeweiligen Pixel entspricht, gleich oder kleiner ist als ein vorbestimmter Schwellenwert, d. h. gering ist, hat der jeweilige Punkt im realen Raum, der dem jeweiligen zu der Gruppe g zugehörigen Pixel entspricht, im allgemeinen die gleiche Distanz Z von der Abbildungseinrichtung 2.
In einem derartigen Fall betragen die Neigung θ der Distanzrichtung (Z-Achsenrichtung) gegenüber der horizontalen Richtung (X-Achsenrichtung) der Verteilung der jeweiligen Punkte (vgl. 20) sowie die Neigung ϕ der Distanzrichtung gegenüber der Höhenrichtung (Y-Achsenrichtung) (vgl. 21) nahezu 0, wobei in einem derartigen Fall unter Verwendung der vorstehend beschriebenen Technik 1 oder dergleichen eine Bestimmung mit ausreichender Genauigkeit vorgenommen werden kann, ob das interessierende Pixel pi, j und das benachbarte Pixel gruppiert werden oder nicht.
Wenn die Differenz ΔZ zwischen dem maximalen Wert Zmax und dem minimalen Wert Zmin der jeweiligen Distanz Z im realen Raum, die dem jeweiligen Pixel entspricht, das zu der Gruppe g gehört, zu dem das benachbarte Pixel p gehört, oder wenn die Verteilung σZ der jeweiligen Distanz Z gleich oder kleiner ist als ein vorbestimmter Schwellenwert, wird eine derartige Ausführung vorgesehen, daß die vorstehende Technik 2 nicht ausgeführt wird und damit eine Berechnung der Neigung θ oder ϕ verhindert wird und somit die Rechenbelastung an den Verarbeitungseinrichtungen 6 vermindert werden kann und ferner eine Beschleunigung der Verarbeitung realisiert werden kann.
Bei der Ausführung der Bestimmungsverarbeitung in den Schritten S9, S10 und S13 in 4 wird bei einer Ausbildung, bei der die Verarbeitungseinrichtungen 6 zu jedem Zeitpunkt den maximalen Wert Zmax und den minimalen Wert Zmin der jeweiligen Distanz Z im realen Raum ermitteln, die dem jeweiligen Pixel entspricht, das zu der Gruppe g gehört, zu dem das benachbarte Pixel p gehört, oder die Verteilung σZ der jeweiligen Distanz Z berechnet wird, die Rechenbelastung an den Verarbeitungseinrichtungen merklich erhöht.
Bei der Verarbeitung in den Schritten S16 und S17 in 4 wird daher dann, wenn die Durchschnittswert-Berechnungseinrichtungen 7 den Durchschnittswert Dave der Bilddaten D jedes Pixels, das zu einer als neue Gruppe registrierten Gruppe gehört, berechnen und aktualisieren, wobei die Gruppe g um das hinzugefügte interessierende Pixel pi, j vergrößert wird oder die Gruppe g unter Gruppierung von mehreren Gruppen in eine einzelne Gruppe gruppiert wird, wobei gleichzeitig eine Anordnung vorgesehen werden kann, bei der die dem interessierenden Pixel pi, j entsprechende Distanz Zi, j im realen Raum berechnet wird, die Verteilung σZ der jeweiligen Distanz Z im realen Raum, die dem jeweiligen zu der Gruppe g gehörenden Pixel entspricht, berechnet wird und aktualisiert wird und auch der maximale Wert Zmax und der minimale Wert Zmin der Distanz Z im realen Raum, die dem jeweiligen zu der Gruppe g gehörenden Pixel entsprechen, nach Bedarf aktualisiert werden.
Dabei kann eine Ausführung vorgesehen werden, bei der der Durchschnittswert Zave der Distanz Z im realen Raum berechnet wird, die dem interessierenden Pixel pi, j ent sprechende Distanz Zi, j im realen Raum und der Durchschnittswert Zave, der maximale Wert Zmax und der minimale Wert Zmin der Distanz Z im realen Raum, die im Hinblick auf die Gruppe g berechnet werden, zu der das benachbarte Pixel p gehört, werden verglichen, wobei dann, wenn die Differenz zwischen diesen gleich oder größer ist als ein vorbestimmter Schwellenwert, das interessierende Pixel pi, j und das benachbarte Pixel p nicht gruppiert werden.
Andererseits kann eine Ausführung vorgesehen werden, bei der auf der Basis der von den Straßenoberflächen-Erfassungseinrichtungen 16 erfaßten Information über die Straßenoberfläche im realen Raum eine Entscheidung hinsichtlich der Ausführung einer Gruppierung unter Anwendung von weiteren strengen Bedingungen erfolgt. In diesem Fall kann zum Beispiel eine Ausführung vorgesehen werden, bei der die Bestimmungsverarbeitung durch die im folgenden beschriebenen Techniken ausgeführt wird.
Technik 3:
Als erstes wird die Höhe J eines jeweiligen Punktes im realen Raum, der einem jeweiligen Pixel entspricht, auf der Basis der jeweiligen Distanz Z im realen Raum berechnet, die dem jeweiligen zu der Gruppe g gehörenden Pixel entspricht.
Anschließend wird die Höhe Y-Y* jedes Punktes von der Straßenoberfläche auf der Basis der von den Straßenoberflächen-Erfassungseinrichtungen 16 erfaßten Höhe Y* der Straßenoberfläche bei der Distanz Z berechnet, und falls die Höhe Y-Y* von dieser gleich oder höher ist als ein vorbestimmter Schwellenwert, wird die Gruppe g als massives Objekt erkannt, das auf der Straßenoberfläche vorhanden ist.
Auch in dem Fall, daß die Höhe geringer ist als ein vorbestimmter Schwellenwert, wird die Gruppe g als ein Muster erkannt, wie zum Beispiel eine auf der Straßenoberfläche angezeigte Fahrbahnmarkierungslinie, eine Fahrspurmarkierung oder dergleichen.
Wie in 19B gezeigt ist, kann die Höhe Y* der Straßenoberfläche bei der Distanz Z im realen Raum durch Ausführen einer linearen Interpolation hinsichtlich des in den vorstehenden Ausdrücken (13) und (14) gezeigten Fahrbahnmarkierungslinienmodells für jedes Segment oder dergleichen ermittelt werden.
Auch im Hinblick auf das zu verwendende Fahrbahnmarkierungslinienmodell wird in dem Fall, daß das Fahrbahnmarkierungslinienmodell in diesem Abtastzyklus von den Straßenoberflächen-Erfassungseinrichtungen 16 erfaßt worden ist, dieses Fahrbahnmarkierungslinienmodell verwendet, während sonst auf der Basis des in dem vorherigen Abtastzyklus erfaßten Fahrbahnmarkierungslinienmodells das Fahrbahnmarkierungslinienmodell in den aktuellen Abtastzyklus aus dem anschließenden Verhalten des Fahrzeugs geschätzt wird und verwendet wird.
Der Schwellenwert der Höhe von der Straßenoberfläche wird ferner auf einen Wert gesetzt, wie zum Beispiel 10 cm oder dergleichen von der Straßenoberfläche, und zwar auf der Basis der Erfassungsgenauigkeit des Fahrbahnmarkierungslinienmodells gemäß der Bildverarbeitungsvorrichtung 1, der Erfassungsgenauigkeit der Disparität dp jedes Pixels des Referenzbildes T oder dergleichen.
Auch gibt es einen Fall, bei dem die von der Straßenoberfläche vorhandene Höhe Y-Y* eines einem Pixel entsprechenden Punktes im realen Raum als negativer Wert berechnet wird, wobei in diesem Fall der Punkt unter der Annahme behandelt wird, daß er auf der Straßenoberfläche vorhanden ist.
Technik 4:
Wenn die von der Straßenoberfläche vorhandene Höhe Y-Y* eines jeweiligen Punktes im realen Raum, der einem jeweiligen Pixel entspricht, das zu der Gruppe g gehört, zu dem das benachbarte Pixel p gehört, gleich oder höher ist als der vorstehende vorbestimmte Schwellenwert und die von der Straßenoberfläche vorhandene Höhe Yi, j – Y* eines dem interessierenden Pixel (Einzelpixel) pi, j entsprechenden Punktes im realen Raum niedriger ist als der vorbestimmte Schwellenwert, oder im umgekehrten Fall, wenn die von der Straßenoberfläche vorhandene Höhe Y-Y* jedes Punktes im realen Raum, der dem jeweiligen Pixel entspricht, das zu der Gruppe g gehört, zu dem das benachbarte Pixel p gehört, niedriger ist als der vorbestimmte Schwellenwert und die von der Straßenoberfläche vorhandene Höhe Yi, j – Y* eines dem interessierenden Pixel pi, j entsprechenden Punktes im realen Raum gleich oder größer ist als der vorbestimmte Schwellenwert, werden das interessierende Pixel pi, j und das benachbarte Pixel p nicht gruppiert.
Auf diese Weise wird eine Ausführung gebildet, bei der dann, wenn von dem interessierenden Pixel p1, j und dem benachbarten Pixel p eines von diesen als massives Objekt erkannt wird, das auf der Straßenoberfläche vorhanden ist, und das andere als Muster erkannt wird, das auf der Straßenoberfläche dargestellt ist, diese Pixel nicht gruppiert werden, so daß ein Bereich, in dem ein Teil des massiven Objekts, das auf der Straßenoberfläche vorhanden ist, und ein Bereich, in dem ein Teil des auf der Straßenoberfläche dargestellten Musters vorhanden ist, in dem Referenzbild T exakt unterteilt und extrahiert werden können, selbst wenn eine Differenz bei den Bilddaten D zwischen den benachbarten Pixeln unwesentlich ist, so daß eine Unterteilung nicht einfach ausschließlich anhand der Differenz der Bilddaten D ausgeführt wird.
Auch bei dem vorliegenden Ausführungsbeispiel kann beim Eindringen beispielsweise von Rauschen oder dergleichen in das Referenzbild T ein als einzelner Bereich zu extrahierender Bereich, der einem einzelnen in dem Referenzbild T abgebildeten Objekt entspricht, aufgrund von Rauschen oder dergleichen in mehrere Bereiche unterteilt werden.
Daher werden bei dem vorliegenden Ausführungsbeispiel zum Beispiel dann, wenn von den in dem Referenzbild T erfaßten Gruppen mit zwei Verteilungen der jeweiligen Punkte im realen Raum, die den jeweiligen Pixeln entsprechen, die zu zwei Gruppen g1 und g2 gehören, die in dem Referenzbild T einander nicht benachbart sind, Intervalle bzw. Distanzen im realen Raum zwischen einem Punkt, der zu einer der Verteilungen gehört, und einem Punkt, der zu der anderen Verteilung gehört, in extensiver Weise gesucht, wobei dann, wenn der minimale Wert von diesen gleich oder geringer ist als ein vorbestimmter Schwellenwert und der maximale Wert von diesen gleich oder kleiner ist als ein vorbestimmter Schwellenwert, der höher ist als dieser Schwel lenwert, diese beiden Gruppen g1 und g2 für eine Integration in die einzige Gruppe g vorgesehen werden.
In dem Fall, wenn bei den beiden Gruppen g1 und g2, die in dem Referenzbild T einander nicht benachbart sind, die von der Straßenoberfläche vorhandene Höhe Y-Y* des jeweiligen Punktes im realen Raum, der dem jeweiligen Pixel entspricht, das zu einer der Gruppen gehört, höher ist als der vorbestimmte Schwellenwert gemäß der Technik 3 oder der Technik 4 und diese Gruppe als massives Objekt erkannt wird, das auf der Straßenoberfläche vorhanden ist, und die von der Straßenoberfläche vorhandene Höhe Y-Y* des jeweiligen Punktes im realen Raum, der dem jeweiligen Pixel entspricht, das zu der anderen Gruppe gehört, niedriger ist als der vorbestimmte Schwellenwert und diese Gruppe als Struktur bzw. Muster erkannt wird, wie zum Beispiel eine auf der Straßenoberfläche angezeigte Fahrbahnmarkierungslinie, Fahrspurmarkierung oder dergleichen, werden diese beiden Gruppen jedoch vorzugsweise nicht für eine Integration vorgesehen.
Bei einer Ausführung, wie sie vorstehend beschrieben worden ist, kann in dem Fall, daß ein Bereich, der ursprünglich als ein einem einzelnen abgebildeten Objekt entsprechender einzelner Bereich extrahiert werden sollte, aufgrund des Einflusses beispielsweise von in das Referenzbild T eindringendem Rauschen oder dergleichen in mehrere Bereiche unterteilt wird, kann diese Situation exakt behoben werden, und somit können Bereiche in dem Referenzbild T, in denen ein einzelnes Objekt abgebildet ist, exakt in einen einzelnen Bereich integriert werden, und dieser einzelne Bereich kann extrahiert werden, wobei auch ein auf der Straßenoberfläche vorhandenes massives Objekt sowie eine auf der Straßenoberfläche dargestellte Struktur exakt separiert und extrahiert werden können.

1: Bildverarbeitungsvorrichtung
2: Abbildungseinrichtung
2a: Hauptkamera
2b: Zusatzkamera
3: Wandlereinrichtung
3a, 3b: Analog/Digital-Wandler
4: Bildkorrektureinheit
5: Verarbeitungseinheit
6: Verarbeitungseinrichtungen
7: Durchschnittswert-Berechnungseinrichtungen
10: Bildverarbeitungsvorrichtung
11: Distanzerfassungseinrichtung
12: Bildprozessor
13: Distanzdatenspeicher
14: Bilddatenspeicher
15: Fahrbahnmarkierungslinien-Erfassungseinrichtungen
16: Straßenoberflächen-Erfassungseinrichtungen
D: monochrome Bilddaten
g: Gruppe
p: Pixel
r: Bereiche
T: Bild

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- JP 2000-067240 A [0003, 0005, 0006, 0009, 0012, 0124]
- JP 2006-072495 A [0161]
- JP 2006-331389 A [0192]

Claims

Bildverarbeitungsvorrichtung, die dafür konfiguriert ist, ein mittels einer Abbildungseinrichtung (2) abgebildetes Bild in eine Vielzahl von Bereichen zu unterteilen, wobei die Bildverarbeitungsvorrichtung folgendes aufweist: Verarbeitungseinrichtungen (6), die dann, wenn eine Differenz in den jeweiligen Bilddaten zwischen einem einzelnen Pixel in dem Bild und einem diesem benachbarten Pixel geringer ist als ein vorbestimmter erster Schwellenwert, dafür konfiguriert sind, das einzelne Pixel und das benachbarte Pixel zu gruppieren, sowie dafür konfiguriert sind, das Bild in eine Vielzahl von Bereichen zu unterteilen, wobei jede letztendlich gebildete Gruppe einen jeweiligen Bereich des Bildes bildet; und Durchschnittswert-Berechnungseinrichtungen (7), die dafür konfiguriert sind, den Durchschnittswert der Bilddaten in der das einzelne Pixel beinhaltenden Gruppe zu berechnen, wobei die Verarbeitungseinrichtungen (6) die Bilddaten des einzelnen Pixels und den an den Durchschnittswert-Berechnungseinrichtungen (7) berechneten Durchschnittswert hinsichtlich der Gruppe, zu der das benachbarte Pixel gehört, vergleichen und wenn die Differenz aus diesen gleich oder größer ist als ein vorbestimmter zweiter Schwellenwert, keine Gruppierung des einzelnen Pixels und des benachbarten Pixels vornehmen.
Bildverarbeitungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß mittels der Verarbeitungseinrichtungen (6) nach der Übertragung der Bilddaten des einzelnen Pixels von der Abbildungseinrichtung (2) die Bilddaten des Pixels, das dem einzelnen Pixel benachbart ist und ein vor dem einzelnen Pixel übertragenes Pixel desselben Bildes wie das einzelne Pixel ist, mit den Bilddaten des einzelnen Pixels verglichen werden und auch die Bilddaten des einzelnen Pixels mit dem Durchschnittswert der Gruppe verglichen werden, zu der das benachbarte Pixel gehört, dessen Bilddaten vor dem einzelnen Pixel übertragen worden sind.
Bildverarbeitungsvorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß mittels der Verarbeitungseinrichtungen (6), wenn die jeweiligen Bilddaten der benachbarten Pixel innerhalb eines vorbestimmten numerischen Wertebereichs liegen, die benachbarten Pixel, deren Bilddaten innerhalb des numerischen Wertebereichs liegen, vorzugsweise unabhängig von einem Vergleich der jeweiligen Bilddaten zwischen dem einzelnen Pixel und den benachbarten Pixeln und einem Vergleich zwischen den Bilddaten des einzelnen Pixels und dem Durchschnittswert der Gruppe gruppiert werden.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß mittels der Verarbeitungseinrichtungen (6) dann, wenn von den jeweiligen Bilddaten der benachbarten Pixel die Bilddaten von einem innerhalb eines vorbestimmten numerischen Wertebereichs liegen und die Bilddaten eines jeweiligen anderen Pixels außerhalb des numerischen Wertebereichs liegen, unabhängig von einem Vergleich der Bilddaten zwischen dem einzelnen Pixel und den benachbarten Pixeln sowie unabhängig von einem Vergleich zwischen den Bilddaten des einzelnen Pixels und dem Durchschnittswert der Gruppe, keine Gruppierung der benachbarten Pixel vorgenommen wird.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß mittels der Verarbeitungseinrichtungen (6) dann, wenn der Mindestwert der Pixelintervalle zwischen zwei Gruppen, die einander in einem Bild nicht benachbart sind, gleich oder kleiner ist als ein vorbestimmter Schwellenwert und auch die Differenz in den Durchschnittswerten dieser beiden Gruppen gleich oder kleiner ist als ein vorbestimmter Schwellenwert, diese beiden Gruppen zu einer einzigen Gruppe integriert werden.
Vorrichtung nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß die Abbildungseinrichtung (2) zum Abgeben eines Paares von Bildern konfiguriert ist und folgendes aufweist: eine Distanzerfassungseinrichtung (11), die dafür konfiguriert ist, das von der Abbildungseinrichtung (2) abgegebene Paar der Bilder einer Stereoabgleichverarbeitung zu unterziehen, um eine Distanz im realen Raum zu erfassen, die mindestens einem Pixel von einem Bild des Paares von Bildern entspricht; wobei mittels der Verarbeitungseinrichtungen (6) dann, wenn die Differenz zwischen der im realen Raum vorhandenen Distanz, die dem einzelnen Pixel in dem einen Bild entspricht, und der im realen Raum vorhandenen Distanz, die einem dem einzelnen Pixel benachbarten Pixel entspricht, gleich oder größer ist als ein vorbestimmter Schwellenwert, keine Gruppierung des einzelnen Pixels und des benachbarten Pixels vorgenommen wird.
Bildverarbeitungsvorrichtung nach Anspruch 6, dadurch gekennzeichnet, daß die Verarbeitungseinrichtungen (6) feststellen, ob eine Differenz zwischen der im realen Raum vorhandenen Distanz, die der im realen Raum vorhandenen Distanz am nächsten ist, welche dem einzelnen Pixel entspricht, von der im realen Raum vorhandenen Distanz, welche dem jeweiligen Pixel entspricht, das zu der Gruppe gehört, zu der das benachbarte Pixel gehört, und der im realen Raum vorhandenen Distanz, welche dem einzelnen Pixel entspricht, gleich oder größer als der Schwellenwert ist oder nicht.
Vorrichtung nach Anspruch 6 oder 7, dadurch gekennzeichnet, daß die Verarbeitungseinrichtungen (6) die Koordinaten jedes dem jeweiligen Pixel entsprechenden Punktes im realen Raum auf der Basis der jeweiligen Distanz im realen Raum berechnen, die dem jeweiligen Pixel entspricht, das zu der Gruppe gehört, zu der das benachbarte Pixel gehört, die Neigung der Verteilung der jeweiligen Punkte berechnen sowie feststellen, ob die anhand der Neigung geschätzte Differenz zwischen der im realen Raum vorhandenen Distanz, die dem benachbarten Pixel entspricht, und der im realen Raum vorhandenen Distanz, die dem einzelnen Pixel entspricht, gleich oder größer als der vorbestimmte Schwellenwert ist oder nicht.
Vorrichtung nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, daß die Durchschnittswert-Berechnungseinrichtungen (7) einen von dem Durchschnittswert, dem maximalen Wert und dem minimalen Wert der jeweiligen Distanz im realen Raum berechnen, die dem jeweiligen zu der Gruppe gehörenden Pixel entspricht; und daß die Verarbeitungseinrichtungen (6) einen von dem Durchschnittswert, dem maximalen Wert und dem minimalen Wert der im realen Raum vorhandenen Distanz, die von den Durchschnittswert-Berechnungseinrichtungen (7) in bezug auf die Gruppe berechnet worden sind, zu der das benachbarte Pixel gehört, mit der im realen Raum vorhandenen Distanz vergleichen, die dem einzelnen Pixel entspricht, und dann, wenn die Differenz aus diesen gleich oder größer ist als ein vorbestimmter Schwellenwert, keine Gruppierung des einzelnen Pixels und des benachbarten Pixels vornehmen.
Vorrichtung nach einem der Ansprüche 6 bis 9, weiterhin gekennzeichnet durch: Straßenoberflächen-Erfassungseinrichtungen (16), die zum Erfassen einer Straßenoberfläche aus einem von der Abbildungseinrichtung (2) abgebildeten Bild konfiguriert sind; wobei die Verarbeitungseinrichtungen (6) die im realen Raum vorhandene Höhe jedes dem jeweiligen Pixel entsprechenden Punktes auf der Basis der jeweiligen im realen Raum vorhandenen Distanz berechnen, die dem jeweiligen zu der Gruppe gehörenden Pixel entspricht, und dann, wenn die von den Straßenoberflächen-Erfassungseinrichtungen (16) erfaßte Höhe des jeweiligen Punktes von der Straßenoberfläche gleich oder größer ist als ein vorbestimmter Schwellenwert, die Gruppe als auf einer Straßenoberfläche vorhandenes massives Objekt erkennen, und dann wenn die von den Straßenoberflächen-Erfassungseinrichtungen (16) erfaßte Höhe des jeweiligen Punktes von der Straßenoberfläche geringer ist als der Schwellenwert, die Gruppe als auf einer Straßenoberfläche dargestelltes Muster erkennen.
Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, daß mittels der Verarbeitungseinrichtungen (6) dann, wenn von einer von der Straßenoberfläche vorhandenen Höhe eines im realen Raum vorhandenen Punktes, der dem einzelnen Pixel entspricht, und einer von der Straßenoberfläche vorhandenen Höhe eines jeweiligen im realen Raum vorhandenen Punktes, der einem jeweiligen Pixel entspricht, das zu der Gruppe gehört, zu der das benachbarte Pixel gehört, eine Höhe geringer ist als der vorbestimmte Schwellenwert und auch die andere Höhe gleich oder höher ist als der vorbestimmte Schwellenwert, keine Gruppierung des einzelnen Pixels und des benachbarten Pixels stattfindet.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 6 bis 11, dadurch gekennzeichnet, daß mittels der Verarbeitungseinrichtungen (6) bei zwei Verteilungen der jeweiligen Punkte im realen Raum, die jeweiligen Pixeln entsprechen, die zu zwei Gruppen gehören, die einander in einem Bild nicht benachbart sind, in dem Fall, daß der minimale Wert des Abstands von zwei Punkten im realen Raum, die zu einer anderen Verteilung gehören, gleich oder kleiner ist als ein vorbestimmter Schwellenwert, und auch der maximale Wert gleich oder kleiner ist als ein vorbestimmter Schwellenwert, der einen höheren Wert als der genannte Schwellenwert hat, diese beiden Gruppen zu einer einzigen Gruppe integriert werden.
Vorrichtung nach Anspruch 12, dadurch gekennzeichnet, daß mittels der Verarbeitungseinrichtungen (6) dann, wenn bei den beiden Gruppen, die einander in einem Bild nicht benachbart sind, die von der Straßenoberfläche vorhandene Höhe des jeweiligen im realen Raum vorhandenen Punktes, der dem jeweiligen Pixel entspricht, das zu einer der Gruppen gehört, gleich oder größer als der vorbestimmte Schwellenwert ist, und auch die von der Straßenoberfläche vorhandene Höhe des jeweiligen im realen Raum vorhandenen Punktes, der dem jeweiligen, zu der anderen Gruppe gehörenden Pixel entspricht, geringer ist als der vorbestimmte Schwellenwert, diese beiden Gruppen nicht integriert werden.