DE102008027588A1 - Vorrichtung zur Erfassung von Fußgängern - Google Patents

Vorrichtung zur Erfassung von Fußgängern Download PDF

Info

Publication number
DE102008027588A1
DE102008027588A1 DE102008027588A DE102008027588A DE102008027588A1 DE 102008027588 A1 DE102008027588 A1 DE 102008027588A1 DE 102008027588 A DE102008027588 A DE 102008027588A DE 102008027588 A DE102008027588 A DE 102008027588A DE 102008027588 A1 DE102008027588 A1 DE 102008027588A1
Authority
DE
Germany
Prior art keywords
pedestrian
spatial object
vehicle
assessment
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102008027588A
Other languages
English (en)
Inventor
Toyokazu Ogasawara
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Jukogyo KK
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Jukogyo KK, Fuji Heavy Industries Ltd filed Critical Fuji Jukogyo KK
Publication of DE102008027588A1 publication Critical patent/DE102008027588A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Eine erste Fußgänger-Beurteilungseinheit (2c) nimmt auf der Basis der Größe und des Bewegungszustands eines räumlichen Zielobjekts eine Beurteilung dahingehend vor, ob es sich bei dem Objekt um einen Fußgänger handelt. Eine zweite Fußgänger-Beurteilungseinheit (2d) nimmt auf der Basis von Formdaten von dem Objekt eine Beurteilung dahingehend vor, ob es sich bei dem Objekt um einen Fußgänger handelt. Eine Fußgänger-Beurteilungseinheit (2e) stellt schließlich fest, dass es sich bei dem Objekt um einen Fußgänger handelt, wenn sowohl die erste als auch die zweite Fußgänger-Beurteilungseinheit (2c, 2d) das Objekt als Fußgänger beurteilen, wenn die zweite Fußgänger-Beurteilungseinheit (2d) das Objekt als Fußgänger beurteilt, wenn die erste Fußgänger-Beurteilungseinheit (2c) das Objekt als Fußgänger beurteilt und ein Resultat dieser Beurteilung für eine vorbestimmte Zeitdauer gehalten wird, oder wenn die erste Fußgänger-Beurteilungseinheit (2c) das Objekt in einem aktuellen Beurteilungsvorgang als Fußgänger beurteilt und die zweite Fußgänger-Beurteilungseinheit (2d) in dem vorausgehenden Beurteilungsvorgang das Objekt als Fußgänger beurteilt hat.

Description

  • HINTERGRUND DER ERFINDUNG
  • 1. Gebiet der Erfindung
  • Die vorliegende Erfindung bezieht sich auf eine Vorrichtung zur Erfassung bzw. zum Detektieren von Fußgängern, mit der sich ein Fußgänger exakt erfassen bzw. detektieren läßt.
  • 2. Beschreibung des einschlägigen Standes der Technik
  • In den letzten Jahren sind verschiedene Technologien zum Erkennen und Detektieren der Umgebung für die Anwendung bei Fahrunterstützungssystemen von Fahrzeugen entwickelt worden. Insbesondere hat das Detektieren von Fußgängern die Aufmerksamkeit auf sich gezogen. Ein Zusammenstoß zwischen einem Fußgänger und einem Fahrzeug entsteht häufig aufgrund der Verzögerung bei dem Fahrer beim Erkennen des Fußgängers, wobei eine solche Kollision zu schweren Verletzungen bei dem Fußgänger führt. Aus diesem Grund ist es notwendig, den Fußgänger so rasch und exakt wie möglich zu erfassen.
  • Zum Beispiel offenbart die JP-A-2004-298285 eine Technik zum Erfassen des Laufzustands eines Fußgängers. Bei dieser Technik wird der obere Bereich des Kopfes eines Fußgängers in einem zweidimensionalen Bild erfaßt, und eine Trajektorie des oberen Bereichs des Kopfes auf der Zeitachse erhält man anhand einer zeitlichen Verlagerung der Position des oberen Bereichs in dem Bild. Wenn die Trajektorie einer Frequenzanalyse unterzogen wird, erhält man ein Frequenzspektrum der Bewegung des oberen Bereichs des Kopfes. Auf der Basis des Frequenzspektrums wird eine Grundfrequenz der Laufbewegung spezifiziert und mit einem vorbestimmten Laufzustandsmodell verglichen, um auf diese Weise den Laufzustand des Fußgängers festzustellen.
  • Bei der Technik zum Erfassen bzw. Detektieren des Zustands des Fußgängers oder zum Erfassen bzw. Detektieren des Fußgängers anhand eines Vergleichs mit dem vorab gespeicherten Modell, wie es in der vorstehend beschriebenen Veröffentlichung offenbart ist, ist es jedoch leider erforderlich, eine größere Anzahl von Modellen vorab aufzunehmen, um die Erfassungsgenauigkeit zu verbessern. Darüber hinaus nimmt die Menge der für die Erfassung zu verarbeitenden Daten zu, wobei dies zu einer Verzögerung bei der Erfassung führt.
  • KURZBESCHREIBUNG DER ERFINDUNG
  • Die vorliegende Erfindung ist in Anbetracht der vorstehend geschilderten Umstände erfolgt, und ein Ziel der Erfindung besteht in der Angabe einer Vorrichtung zur Erfassung bzw. zum Detektieren von Fußgängern, die in der Lage ist, einen Fußgänger rasch und exakt zu erfassen, ohne daß die vorab aufzunehmende Datenmenge zunimmt.
  • Eine Vorrichtung zur Erfassung bzw. zum Detektieren von Fußgängern weist gemäß einem ersten Aspekt der vorliegenden Erfindung folgendes auf:
    eine Erkennungseinrichtung zum Erkennen eines davor bzw. vor einem Fahrzeug befindlichen räumlichen Objekts, um ein davor befindliches räumliches Objekt zu erkennen;
    eine erste Fußgänger-Beurteilungseinrichtung, um auf der Basis einer Größe und eines Bewegungszustands des erkannten, davor befindlichen räumlichen Objekts zu beurteilen, ob es sich bei dem davor befindlichen räumlichen Objekt um einen Fußgänger handelt;
    eine zweite Fußgänger-Beurteilungseinrichtung, um auf der Basis von Formdaten von dem erkannten, davor befindlichen räumlichen Objekt zu beurteilen, ob es sich bei dem davor befindlichen räumlichen Objekt um einen Fußgänger handelt; und
    eine abschließende Fußgänger-Beurteilungseinrichtung, um auf der Basis eines Resultats der Beurteilung durch die erste Fußgänger-Beurteilungseinrichtung und eines Resultats der Beurteilung durch die zweite Fußgänger-Beurteilungseinrichtung abschließend zu beurteilen, ob es sich bei dem erkannten, davor befindlichen räumlichen Objekt um einen Fußgänger handelt.
  • Gemäß einem zweiten Aspekt der vorliegenden Erfindung ist ferner eine Beurteilungseinrichtung für die Beurteilung eines vor einem Fahrzeug querenden Fußgängers vorhanden, um auf der Basis einer Geschwindigkeit in Vorwärts-/Rückwärts-Richtung und einer Geschwindigkeit in lateraler Richtung bzw. Querrichtung des erkannten, vor dem Fahrzeug befindlichen räumlichen Objekts zu beurteilen, ob es sich bei dem erkannten, vor dem Fahrzeug befindlichen räumlichen Objekt um einen vor dem Fahrzeug querenden Fußgänger handelt.
  • Ein dritter Aspekt der vorliegenden Erfindung sieht vor, daß die abschließende Fußgänger-Beurteilungseinrichtung abschließend feststellt, daß es sich bei dem vor dem Fahrzeug befindlichen räumlichen Objekt um einen Fußgänger handelt, wenn sowohl die erste Fußgänger-Beurteilungseinrichtung als auch die zweite Fußgänger-Beurteilungseinrichtung das vor dem Fahrzeug befindliche räumliche Objekt als Fußgänger beurteilen.
  • Ein vierter Aspekt der vorliegenden Erfindung sieht vor, daß die abschließende Fußgänger-Beurteilungseinrichtung abschließend feststellt, daß es sich bei dem vor dem Fahrzeug befindlichen räumlichen Objekt um einen Fußgänger handelt, wenn die zweite Fußgänger-Beurteilungseinrichtung das vor dem Fahrzeug befindliche räumliche Objekt als Fußgänger beurteilt.
  • Ein fünfter Aspekt der vorliegenden Erfindung sieht vor, daß die abschließende Fußgänger-Beurteilungseinrichtung abschließend feststellt, daß es sich bei dem vor dem Fahrzeug befindlichen räumlichen Objekt um einen Fußgänger handelt, wenn die erste Fußgänger-Beurteilungseinrichtung das vor dem Fahrzeug befindliche räumliche Objekt als Fußgänger beurteilt und ein Resultat der Beurteilung durch die erste Fußgänger-Beurteilungseinrichtung für eine vorbestimmte Zeitdauer gehalten wird.
  • Ein sechster Aspekt der vorliegenden Erfindung sieht vor, daß die abschließende Fußgänger-Beurteilungseinrichtung abschließend feststellt, daß es sich bei dem vor dem Fahrzeug befindlichen räumlichen Objekt um einen Fußgänger handelt, wenn die erste Fußgänger-Beurteilungseinrichtung das vor dem Fahrzeug befindliche räumliche Objekt in einem aktuellen Beurteilungsvorgang als Fußgänger beurteilt und die zweite Fußgänger-Beurteilungseinrichtung das vor dem Fahrzeug befindliche räumliche Objekt in dem vorausgehenden Beurteilungsvorgang als Fußgänger beurteilt hat.
  • Die Vorrichtung zur Erfassung bzw. zum Detektieren von Fußgängern gemäß der vorliegenden Erfindung ist in der Lage, einen Fußgänger rasch und exakt zu detektieren, ohne daß es zu einer Erhöhung der vorab aufzunehmenden Datenmenge kommt.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • In den Zeichnungen zeigen:
  • 1 ein Funktionsblockdiagramm zur Erläuterung der Konfiguration einer Vorrichtung zur Erfassung bzw. zum Detektieren von Fußgängern gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
  • 2 ein Flußdiagramm zur Erläuterung eines Programms zur Erfassung bzw. zum Detektieren von Fußgängern.
  • BESCHREIBUNG DES BEVORZUGTEN AUSFÜHRUNGSBEISPIELS
  • Ein Ausführungsbeispiel der vorliegenden Erfindung wird im folgenden unter Bezugnahme auf die Zeichnungen beschrieben.
  • Die 1 und 2 zeigen ein Ausführungsbeispiel der vorliegenden Erfindung. 1 zeigt ein Funktionsblockdiagramm zur Erläuterung der Konfiguration einer Vorrichtung zur Erfassung bzw. zum Detektieren von Fußgängern gemäß dem Ausführungsbeispiel, und 2 zeigt ein Flußdiagramm zur Erläuterung eines Programms zur Erfassung bzw. zum Detektieren von Fußgängern.
  • Wie unter Bezugnahme auf 1 ersichtlich, ist eine Vorrichtung 1 zur Erfassung von Fußgängern in einem Fahrzeug angebracht. Stereooptische Systeme und ein Fahrzeuggeschwindigkeitssensor 4, die ebenfalls in dem Fahrzeug angebracht sind, sind mit einer Steuereinheit 2 in der Vorrichtung 1 zur Erfassung von Fußgängern verbunden und führen der Steuereinheit 2 Bildsignale und ein Fahrzeuggeschwindigkeitssignal zu.
  • Die stereooptischen Systeme sind zum Beispiel von einem Paar CCD-Kameras 3 gebildet, von denen jede einen Festkörper-Bildsensor, wie zum Beispiel eine ladungsgekoppelte Vorrichtung (CCD), verwendet. Die CCD-Kameras 3 sind vorn an einem Deckenbereich in dem Fahrzeuginnenraum derart angebracht, daß sie mit einer vorbestimmen Beabstandung zwischeneinander angeordnet sind. Die CCD-Kameras 3 nehmen Stereobilder von einem äußeren Objekt von verschiedenen Betrachtungspunkten auf.
  • Die Steuereinheit 2 beinhaltet Mikrocomputer und periphere Schaltungen, d. h. die Steuereinheit 2 beinhaltet in erster Linie eine Bildverarbeitungseinheit 2a, eine Einheit 2b zum Erkennen eines räumlichen Objekts, eine erste Fußgänger-Beurteilungseinheit 2c, eine zweite Fußgänger-Beurteilungseinheit 2d, eine Fußgänger-Beurteilungseinheit 2e sowie eine Beurteilungseinheit 2f für die Beurteilung eines vor dem Fahrzeug querenden Fußgängers.
  • Bildsignale werden von den CCD-Kameras 3 in die Bildverarbeitungseinheit 2a eingegeben. Die Bildverarbeitungseinheit 2a verarbeitet ein Paar Stereobilder von einer Umgebung des Fahrzeugs in der Fahrtrichtung, die von den CCD-Kameras 3 aufgenommen werden, und ermittelt Distanzinformation aus dem Betrag der Fehlausrichtung zwischen den entsprechenden Positionen in den Bildern gemäß dem Triangulations-Prinzip. Auf der Basis der Distanzinformation erzeugt die Bildverarbeitungseinheit 2a ein Distanzbild, das eine räumliche Distanzverteilung anzeigt, und gibt Daten über das Distanzbild an die Einheit 2b zum Erkennen eines räumlichen Objekts aus.
  • Die Einheit 2b zum Erkennen eines räumlichen Objekts empfängt die Bilddaten hinsichtlich des Distanzbildes von der Bildverarbeitungseinheit 2a sowie Fahrzeuggeschwindigkeitsdaten von dem Fahrzeuggeschwindigkeitssensor 4. Die Einheit 2b zum Erkennen eines räumlichen Objekts unterzieht die Bilddaten einer allgemein bekannten Gruppierung und vergleicht die Bilddaten mit räumlichen Straßenformgebungsdaten und räumlichen Objektdaten, die vorab gespeichert worden sind, um auf diese Weise Markierungsliniendaten, Seitenwanddaten über Schutzbegrenzungen und Bordkanten, die sich entlang der Straße erstrecken, sowie Daten über räumliche Objekte, die sich auf der davor gelegenen Straße befinden, zu extrahieren.
  • Insbesondere werden für ein räumliches Objekt nicht nur Daten über die Breite, die Höhe und den Umriß, sondern auch Daten über die Distanz zu dem räumlichen Objekt sowie eine zeitliche Veränderung in der Distanz (relative Geschwindigkeit in bezug auf das Fahrzeug) in Form von räumlichen Objektdaten ermittelt. Durch das Addieren der Geschwindigkeit des räumlichen Objekts in Vorwärts-/Rückwärts-Richtung relativ zu dem Fahrzeug und der Geschwindigkeit des Fahrzeugs wird die Geschwindigkeit des räumlichen Objekts in Vorwärts-/Rückwärts-Richtung berechnet. Darüber hinaus wird die Geschwindigkeit des räumlichen Objekts in lateraler Richtung berechnet, indem die Geschwindigkeit des räumlichen Objekts in der lateralen Richtung relativ zu dem Fahrzeug ermittelt wird.
  • Die Geschwindigkeit in Vorwärts-/Rückwärts-Richtung sowie die Geschwindigkeit in lateraler Richtung des räumlichen Objekts werden als räumliche Objektdaten gespeichert. Die auf diese Weise extrahierten räumlichen Objektdaten werden an die erste Fußgänger-Beurteilungseinheit 2c, die zweite Fußgänger-Beurteilungseinheit 2d sowie die Beurteilungseinheit 2f für einen vor dem Fahrzeug querenden Fußgänger abgegeben.
  • Mit anderen Worten, es bilden bei dem vorliegenden Ausführungsbeispiel die CCD-Kameras 3, der Fahrzeuggeschwindigkeitssensor 4, die Bildverarbeitungseinheit 2a und die Einheit 2b zum Erkennen eines räumlichen Objekts eine Erkennungseinrichtung zum Erkennen eines vor dem Fahrzeug befindlichen räumlichen Objekts.
  • Die räumlichen Objektdaten werden von der Einheit 2b zum Erkennen eines räumlichen Objekts in die erste Fußgänger-Beurteilungseinheit 2c eingegeben. Wenn zum Beispiel ein räumliches Objekt eine Breite von 30 cm bis 1 m, eine Höhe von 2 m oder weniger, eine Geschwindigkeit in Vorwärts-/Rückwärts-Richtung von 20 km/h oder weniger sowie eine Geschwindigkeit in lateraler Richtung von 20 km/h oder weniger aufweist, dann beurteilt die erste Fußgänger-Beurteilungseinheit 2c das räumliche Objekt als einen Fußgänger.
  • Mit anderen Worten, es dient die erste Fußgänger-Beurteilungseinheit 2c als erste Fußgänger-Beurteilungseinrichtung. Das Resultat des Urteils durch die erste Fußgänger-Beurteilungseinheit 2c wird an die Fußgänger-Beurteilungseinheit 2e ausgegeben.
  • Die räumlichen Objektdaten werden ferner von der Einheit 2b zum Erkennen eines räumlichen Objekts in die zweite Fußgänger-Beurteilungseinheit 2d eingegeben. Die zweite Fußgänger-Beurteilungseinheit 2d vergleicht einen Teil der räumlichen Objektdaten hinsichtlich des für einen Fußgänger spezifischen Umrisses (zum Beispiel eine Linie vom Kopf bis zur Schulter) mit einer Vielzahl von vorab gespeicherten, ermittelten Daten und nimmt auf diese Weise eine Beurteilung dahingehend vor, ob es sich bei dem räumlichen Objekt um einen Fußgänger handelt.
  • Die zweite Fußgänger-Beurteilungseinheit 2d kann die Beurteilung zum Beispiel anhand eines Verfahrens vornehmen, das in der auf die vorliegende Anmelderin übertragenen JP-A-2004-145660 offenbart ist. Das heißt, Formgebungsdaten hinsichtlich eines räumlichen Objekts werden durch das Digitalisieren von Bilddaten von einer Bilddarstellungskamera extrahiert, und ein Bewegungsmuster des räumlichen Objekts wird auf der Basis einer zeitlichen Veränderung bei den Formgebungsdaten erfaßt.
  • Durch das Vergleichen des Bewegungsmusters des räumlichen Objekts mit einem in einem Neuronennetz ermittelten Bewegungsmuster wird das räumliche Objekt identifiziert und ein Fußgänger detektiert. Mit anderen Worten, es dient die zweite Fußgänger-Beurteilungseinheit 2d als zweite Fußgänger-Beurteilungseinrichtung. Das Resultat des Urteils durch die zweite Fußgänger-Beurteilungseinheit 2d wird an die Fußgänger-Beurteilungseinheit 2e ausgegeben.
  • Die Fußgänger-Beurteilungseinheit 2e empfängt die Fußgänger-Beurteilungsresultate von der ersten Fußgänger-Beurteilungseinheit 2c und der zweiten Fußgänger-Beurteilungseinheit 2d und nimmt eine abschließende Fußgänger-Beurteilung nach Maßgabe eines Fußgänger-Erfassungsprogramms vor, das im folgenden beschrieben wird. Genauer gesagt, es kommt die Fußgänger-Beurteilungseinheit 2e letztendlich zu dem Schluß, daß es sich bei räumlichen Objekten, die eine beliebige der nachfolgenden Bedingungen erfüllen, um Fußgänger handelt:
    • (1) ein räumliches Objekt, das sowohl von der ersten Fußgänger-Beurteilungseinheit 2c als auch von der zweiten Fußgänger-Beurteilungseinheit 2d als Fußgänger beurteilt wird;
    • (2) ein räumliches Objekt, das von der zweiten Fußgänger-Beurteilungseinheit 2d als Fußgänger beurteilt wird;
    • (3) ein räumliches Objekt, das von der ersten Fußgänger-Beurteilungseinheit 2c für eine vorbestimmte Zeitdauer (zum Beispiel für 1 sec oder für eine Periode, die mehreren Einzelbildern entspricht) in kontinuierlicher Weise als Fußgänger beurteilt wird; und
    • (4) ein räumliches Objekt, das von der ersten Fußgänger-Beurteilungseinheit 2c bei dem aktuellen Beurteilungsvorgang als Fußgänger beurteilt wird und das von der zweiten Fußgänger-Beurteilungseinheit 2d in dem vorausgehenden Beurteilungsvorgang als Fußgänger beurteilt worden ist.
  • Ein räumliches Objekt, das keine der vorstehend beschriebenen vier Bedingungen erfüllt, wird nicht als Fußgänger beurteilt. Mit anderen Worten, es dient die Fußgänger-Beurteilungseinheit 2e als abschließende Fußgänger-Beurteilungseinrichtung. Das Resultat der Beurteilung durch die Fußgänger-Beurteilungseinheit 2e wird an die Beurteilungseinheit 2f für die Beurteilung eines vor dem Fahrzeug querenden Fußgängers ausgegeben.
  • Die Beurteilungseinheit 2f für einen vor dem Fahrzeug querenden Fußgänger empfängt das abschließende Fußgänger-Beurteilungsresultat von der Fußgänger-Beurteilungseinheit 2e sowie räumliche Objektdaten von der Einheit 2b zum Erkennen eines räumlichen Objekts. Von räumlichen Objekten, die zumindest von einer der ersten Fußgänger-Beurteilungseinheit 2b und der zweiten Fußgänger-Beurteilungseinheit 2d als Fußgänger beurteilt werden, wird ein räumliches Objekt mit einer Geschwindigkeit in Vorwärts-/Rückwärts-Richtung von 20 km/h oder weniger und einer Geschwindigkeit in lateraler Richtung von 20 bis 30 km/h als ein vor dem Fahrzeug querender Fußgänger beurteilt.
  • Mit anderen Worten, es dient die Beurteilungseinheit 2f für einen vor dem Fahrzeug querenden Fußgänger als Beurteilungseinrichtung für einen vor dem Fahrzeug querenden Fußgänger. Das Resultat der Beurteilung durch die Beurteilungseinheit 2f für einen vor dem Fahrzeug querenden Fußgänger wird zusammen mit dem Resultat der abschließenden Fußgänger-Beurteilung durch die Fußgänger-Beurteilungseinheit 2e von der Steuereinheit 2 ausgegeben.
  • Ein Fußgänger-Erfassungsprogramm, das von der Fußgänger-Beurteilungseinheit 2e sowie von der Beurteilungseinheit 2f für einen vor dem Fahrzeug querenden Fußgänger ausgeführt wird, wird im folgenden unter Bezugnahme auf 2 erläutert, die ein Flußdiagramm darstellt.
  • Als erstes werden in einem Schritt (der im folgenden auch kurz mit "S" bezeichnet wird) 101 die von der ersten Fußgänger-Beurteilungseinheit 2c und der zweiten Fußgänger-Beurteilungseinheit 2d erzielten Resultate der Beurteilung eines räumlichen Objekts (räumliches Zielobjekt) gelesen. Bei dem vorliegenden Ausführungsbeispiel werden als Beurteilungsresultate ein erstes Beurteilungs-Flag FA auf "1" gesetzt, wenn die erste Fußgänger-Beurteilungseinheit 2c das räumliche Zielobjekt als Fußgänger beurteilt, und auf "0" gesetzt, wenn die erste Fußgänger-Beurteilungseinheit 2 zu dem Urteil kommt, daß es sich bei dem räumlichen Zielobjekt um keinen Fußgänger handelt.
  • In ähnlicher Weise wird ein zweites Beurteilungs-Flag FB auf "1" gesetzt, wenn die zweite Fußgänger-Beurteilungseinheit 2d das räumliche Zielobjekt als Fußgänger beurteilt, und auf "0" gesetzt, wenn die zweite Fußgänger-Beurteilungseinheit 2d zu dem Urteil kommt, daß es sich bei dem räumlichen Zielobjekt nicht um einen Fußgänger handelt. Dabei werden Schritte S101 bis S109 von der Fußgänger-Beurteilungseinheit 2e ausgeführt, und Schritte S110 bis S112 werden von der Beurteilungseinheit 2f für einen vor dem Fahrzeug querenden Fußgänger ausgeführt.
  • In dem Schritt S102 wird festgestellt, ob FA = 1 und FB = 1 sind (d. h. ob sowohl die erste Fußgänger-Beurteilungseinheit 2c als auch die zweite Fußgänger-Beurteilungseinheit 2d das räumliche Zielobjekt als Fußgänger beurteilen). Wenn FA = 1 und FB = 1 betragen, wird schließlich in dem Schritt S103 die Feststellung getroffen, daß es sich bei dem räumlichen Zielobjekt um einen Fußgänger handelt.
  • Wenn dagegen in dem Schritt S102 nicht festgestellt wird, daß FA = 1 und FB = 1 betragen, wird in dem Schritt S104 festgestellt, ob FA = 0 und FB = 1 betragen, (d. h. ob die erste Fußgänger-Beurteilungseinheit 2c zu dem Urteil kommt, daß es sich bei dem räumlichen Zielobjekt nicht um einen Fußgänger handelt, jedoch die zweite Fußgänger-Beurteilungseinheit 2d zu dem Urteil kommt, daß es sich bei dem raumlichen Zielobjekt um einen Fußgänger handelt). Wenn FA = 0 und FB = 1 betragen, wird schließlich in dem Schritt S103 festgestellt, daß es sich bei dem räumlichen Zielobjekt um einen Fußgänger handelt.
  • Mit anderen Worten, es benötigt die Fußgänger-Beurteilung durch die zweite Fußgänger-Beurteilungseinheit 2d eine gewisse Zeit, doch nimmt sie eine exakte Beurteilung des Fußgängers auf der Basis von vorab erfaßten Daten vor. Das Resultat dieser Beurteilung durch die zweite Fußgänger-Beurteilungseinheit 2d wird in bevorzugter Weise aufgegriffen.
  • Wenn in dem Schritt S104 nicht festgestellt wird, daß FA = 0 und FB = 1 betragen, wird in dem Schritt S105 festgestellt, ob FA = 1 und FB = 0 betragen (d. h. ob die erste Fußgänger-Beurteilungseinheit 2c das räumliche Zielobjekt als Fußgänger beurteilt, jedoch die zweite Fußgänger-Beurteilungseinheit 2d zu dem Urteil gelangt, daß es sich bei dem räumlichen Zielobjekt nicht um einen Fußgänger handelt). Wenn FA = 1 und FB = 0 betragen, wird ferner in dem Schritt S106 festgestellt, ob das Resultat der Feststellung, daß FA = 1 beträgt, für eine vorbestimmte Zeitdauer gehalten wird (zum Beispiel für 1 sec oder für eine Zeitdauer, die mehreren Einzelbildern entspricht).
  • Wenn in dem Schritt S106 festgestellt wird, daß das Resultat der Feststellung, daß FA = 1 beträgt, für die vorbestimmte Zeitdauer gehalten wird, so wird schließlich in dem Schritt S103 festgestellt, daß es sich bei dem räumlichen Zielobjekt um einen Fußgänger handelt. Mit anderen Worten, es wird selbst dann, wenn die zweite Fußgänger-Beurteilungseinheit 2d zu dem Urteil gelangt, daß es sich bei dem räumlichen Zielobjekt nicht um einen Fußgänger handelt, während die erste Fußgänger-Beurteilungseinheit 2c in kontinuierlicher Weise das räumliche Zielobjekt für die vorbestimmte Zeitdauer als Fußgänger beurteilt, die Feststellung getroffen, daß es sich bei dem räumlichen Zielobjekt um einen Fußgänger handelt.
  • Wenn in dem Schritt S106 festgestellt wird, daß das Resultat der Feststellung, daß FA = 1 beträgt, nicht für die vorbestimmte Zeitdauer gehalten wird, so wird in dem Schritt S107 festgestellt, ob in dem vorausgehenden Beurteilungsvorgang FB = 1 war (d. h. ob die zweite Fußgänger-Beurteilungseinheit 2d das räumliche Zielobjekt als Fußgänger beurteilt hat). Wenn in dem Schritt S107 festgestellt wird, daß in dem vorausgehenden Beurteilungsvorgang FB = 1 war, wird schließlich in dem Schritt S103 festgestellt, daß es sich bei dem räumlichen Zielobjekt um einen Fußgänger handelt.
  • Mit anderen Worten heißt dies, daß selbst dann, wenn das Resultat der Feststellung, daß FA = 1 beträgt, nicht für die vorbestimmte Zeitdauer gehalten wird, während die zweite Fußgänger-Beurteilungseinheit 2d mit hoher Zuverlässigkeit davor zu dem Urteil kam, daß es sich bei dem räumlichen Zielobjekt um einen Fußgänger handelt, das räumliche Zielobjekt mit hoher Wahrscheinlichkeit ein Fußgänger ist. Daher wird letztendlich die Feststellung getroffen, daß es sich bei dem räumlichen Zielobjekt um einen Fußgänger handelt.
  • Wenn in dem Schritt S107 festgestellt wird, daß FB bei dem vorausgehenden Beurteilungsvorgang nicht 1 war, wird in dem Schritt S108 die Feststellung getroffen, daß es sich bei dem räumlichen Zielobjekt nicht um einen Fußgänger handelt.
  • Wenn jedoch in dem Schritt S105 die Bedingung, daß FA = 1 und FB = 0 betragen, nicht erfüllt wird (d. h. FA = 0 und FB = 0 und sowohl die erste und die zweite Fußgänger-Beurteilungseinheit 2c und 2d kommen zu dem Urteil, daß es sich bei dem räumlichen Zielobjekt nicht um einen Fußgänger handelt), so wird in dem Schritt S109 festgestellt, daß es sich bei dem räumlichen Zielobjekt nicht um einen Fußgänger handelt, und das Programm fährt mit dem Schritt S113 fort.
  • Nach der Feststellung in dem Schritt S103, daß es sich bei dem räumlichen Zielobjekt um einen Fußgänger handelt, oder bei der Feststellung in dem Schritt S108, daß es sich bei dem räumlichen Zielobjekt nicht um einen Fußgänger handelt, wird in dem Schritt S110 festgestellt, ob die Bedingung für einen vor dem Fahrzeug querenden Fußgänger erfüllt ist (die Geschwindigkeit in Vorwärts-/Rückwärts-Richtung beträgt 20 km/h oder weniger und die Geschwindigkeit in lateraler Richtung beträgt 20 bis 30 km/h).
  • In diesem Fall wird auch eine Beurteilung für das räumliche Zielobjekt vorgenommen, daß in dem Schritt S108 nicht als Fußgänger beurteilt wurde. Da auf einen räumlichen Gegenstand, der den Bereich vor dem Fahrzeug quert, besonders Acht gegeben werden muß, wird in dem Fall, wenn mindestens eine von der ersten und zweiten Fußgänger-Beurteilungseinheit 2c und 2d das räumliche Zielobjekt als Fußgänger beurteilt, das räumliche Zielobjekt einer Beurteilung im Hinblick auf einen vor dem Fahrzeug querenden Fußgänger unterzogen. Das Resultat dieser Beurteilung wird in bevorzugter Weise aufgegriffen.
  • Wenn in dem Schritt S110 festgestellt wird, daß die Bedingung für einen vor dem Fahrzeug querenden Fußgänger erfüllt ist, wird in dem Schritt S111 festgestellt, daß es sich bei dem räumlichen Zielobjekt um einen vor dem Fahrzeug querenden Fußgänger handelt, und das Programm fährt mit dem Schritt S113 fort. Wenn die Bedingung für einen vor dem Fahrzeug querenden Fußgänger nicht erfüllt ist, wird in dem Schritt S112 festgestellt, daß es sich bei dem räumlichen Zielobjekt nicht um einen vor dem Fahrzeug querenden Fußgänger handelt, und das Programm fährt mit dem Schritt S113 fort.
  • In dem Schritt S113 wird festgestellt, ob die Beurteilung für alle räumlichen Zielobjekte abgeschlossen ist. Wenn die Beurteilung nicht abgeschlossen ist, werden die Schritte ausgehend von dem Schritt S101 für das nächste räumliche Zielobjekt wiederholt. Wenn die Beurteilung abgeschlossen ist, wird das Programm beendet.
  • Auf diese Weise führt gemäß dem Ausführungsbeispiel der vorliegenden Erfindung die erste Fußgänger-Beurteilungseinheit 2b auf der Basis der Größe und des Bewegungszustands eines räumlichen Zielobjekts eine Beurteilung dahingehend aus, ob es sich bei dem räumlichen Zielobjekt um einen Fußgänger handelt. Die zweite Fußgänger-Beurteilungseinheit 2d nimmt auf der Basis von Formdaten hinsichtlich des räumlichen Zielobjekts eine Beurteilung dahingehend vor, ob es sich bei dem räumlichen Zielobjekt um einen Fußgänger handelt.
  • Die Fußgänger-Beurteilungseinheit 2e stellt schließlich auf der Basis der Beurteilungsresultate der ersten und der zweiten Fußgänger-Beurteilungseinheit 2c und 2d fest, ob es sich bei dem räumlichen Zielobjekt um einen Fußgänger handelt. Auf diese Weise kann ein Fußgänger rasch und exakt erfaßt bzw. detektiert werden, ohne daß die vorab aufzunehmende Datenmenge erhöht wird.
  • Die Beurteilungseinheit 2f für einen vor dem Fahrzeug querenden Fußgänger kommt zu dem Urteil, daß von den räumlichen Objekten, die von mindestens einer der ersten und der zweiten Fußgänger-Beurteilungseinheit 2c und 2d als Fußgänger beurteilt werden, wenn ein räumliches Objekt mit einer Geschwindigkeit in Vorwärts-/Rückwärts-Richtung von 20 km/h oder weniger und einer Geschwindigkeit in der lateralen Richtung von 20 bis 30 km/h ein vor dem Fahrzeug querender Fußgänger ist. Auf diese Weise kann in bevorzugter und rascher Weise ein Fußgänger detektiert werden, dem von dem Fahrzeug die höchste Aufmerksamkeit geschenkt werden sollte.
  • Während das vor dem Fahrzeug befindliche räumliche Objekt bei dem vorstehend beschriebenen Ausführungsbeispiel auf der Basis von Bildern erkannt wird, die von den CCD-Kameras aufgenommen werden, kann dieses zum Beispiel auch mit einer einäugigen Kamera oder mit einem Millimeterwellen-Radar erfaßt werden.
  • 1
    Vorrichtung zur Erfassung von Fußgängern
    2
    Steuereinheit
    2a
    Bildverarbeitungseinheit
    2b
    Einheit zum Erkennen eines räumlichen Objekts
    2c
    erste Fußgänger-Beurteilungseinheit
    2d
    zweite Fußgänger-Beurteilungseinheit
    2e
    Fußgänger-Beurteilungseinheit
    2f
    Beurteilungseinheit für vor dem Fahrzeug querenden Fußgänger
    3
    CCD-Kameras
    4
    Fahrzeuggeschwindigkeitssensor
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • - JP 2004-298285 A [0003]
    • - JP 2004-145660 A [0029]

Claims (6)

  1. Vorrichtung zur Erfassung von Fußgängern, wobei die Vorrichtung folgendes aufweist: eine Erkennungseinrichtung (2b) zum Erkennen eines davor befindlichen räumlichen Objekts, um ein davor befindliches räumliches Objekt zu erkennen; eine erste Fußgänger-Beurteilungsrichtung (2c), um auf der Basis einer Größe und eines Bewegungszustands des erkannten, davor befindlichen räumlichen Objekts zu beurteilen, ob es sich bei dem davor befindlichen räumlichen Objekt um einen Fußgänger handelt; eine zweite Fußgänger-Beurteilungseinrichtung (2d), um auf der Basis von Formdaten von dem erkannten, davor befindlichen räumlichen Objekt zu beurteilen, ob es sich bei dem davor befindlichen räumlichen Objekt um einen Fußgänger handelt; und eine abschließende Fußgänger-Beurteilungseinrichtung (2e), um auf der Basis eines Resultats der Beurteilung durch die erste Fußgänger-Beurteilungseinrichtung (2c) und eines Resultats der Beurteilung durch die zweite Fußgänger-Beurteilungseinrichtung (2d) abschließend festzustellen, ob es sich bei dem erkannten, davor befindlichen räumlichen Objekt um einen Fußgänger handelt.
  2. Vorrichtung gemäß Anspruch 1, die folgendes aufweist: eine Beurteilungseinrichtung (2c) für einen vor einem Fahrzeug querenden Fußgänger, um auf der Basis einer Geschwindigkeit in Vorwärts-/Rückwärts-Richtung und einer Geschwindigkeit in lateraler Richtung des erkannten, vor dem Fahrzeug befindlichen räumlichen Objekts zu beurteilen, ob es sich bei dem erkannten, vor dem Fahrzeug befindlichen räumlichen Objekt um einen vor einem Fahrzeug querenden Fußgänger handelt.
  3. Vorrichtung nach Anspruch 1 oder 2, wobei die abschließende Fußgänger-Beurteilungseinrichtung (2e) abschließend feststellt, daß es sich bei dem vor dem Fahrzeug befindlichen räumlichen Objekt um einen Fußgänger handelt, wenn sowohl die erste Fußgänger-Beurteilungseinrichtung (2c) als auch die zweite Fußgänger-Beurteilungseinrichtung (2d) das vor dem Fahrzeug befindliche räumliche Objekt als Fußgänger beurteilen.
  4. Vorrichtung nach einem der Ansprüche 1 bis 3, wobei die abschließende Fußgänger-Beurteilungseinrichtung (2e) abschließend feststellt, daß es sich bei dem vor dem Fahrzeug befindlichen räumlichen Objekt um einen Fußgänger handelt, wenn die zweite Fußgänger-Beurteilungseinrichtung (2d) das vor dem Fahrzeug befindliche räumliche Objekt als Fußgänger beurteilt.
  5. Vorrichtung nach einem der Ansprüche 1 bis 4, wobei die abschließende Fußgänger-Beurteilungseinrichtung (2e) abschließend feststellt, daß es sich bei dem vor dem Fahrzeug befindlichen räumlichen Objekt um einen Fußgänger handelt, wenn die erste Fußgänger-Beurteilungseinrichtung (2c) das vor dem Fahrzeug befindliche räumliche Objekt als Fußgänger beurteilt und ein Resultat der Beurteilung durch die erste Fußgänger-Beurteilungseinrichtung (2c) für eine vorbestimmte Zeitdauer gehalten wird.
  6. Vorrichtung nach einem der Ansprüche 1 bis 5, wobei die abschließende Fußgänger-Beurteilungseinrichtung (2e) abschließend feststellt, daß es sich bei dem vor dem Fahrzeug befindlichen räumlichen Objekt um einen Fußgänger handelt, wenn die erste Fußgänger-Beurteilungseinrichtung (2c) in einem aktuellen Beurteilungsvorgang das vor dem Fahrzeug befindliche räumliche Objekt als Fußgänger beurteilt und die zweite Fußgänger-Beurteilungseinrichtung (2d) in einem vorausgehenden Beurteilungsvorgang das vor dem Fahrzeug befindliche räumliche Objekt als Fußgänger beurteilt hat.
DE102008027588A 2007-06-12 2008-06-10 Vorrichtung zur Erfassung von Fußgängern Withdrawn DE102008027588A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007155634A JP4937844B2 (ja) 2007-06-12 2007-06-12 歩行者検出装置
JP2007-155634 2007-06-12

Publications (1)

Publication Number Publication Date
DE102008027588A1 true DE102008027588A1 (de) 2009-01-08

Family

ID=40092706

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102008027588A Withdrawn DE102008027588A1 (de) 2007-06-12 2008-06-10 Vorrichtung zur Erfassung von Fußgängern

Country Status (3)

Country Link
US (1) US8160300B2 (de)
JP (1) JP4937844B2 (de)
DE (1) DE102008027588A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009014437B4 (de) 2008-03-26 2023-01-19 Continental Autonomous Mobility Germany GmbH Objekterkennungssystem und -verfahren
DE102009005861B4 (de) 2008-01-25 2023-04-20 Subaru Corporation Fahrzeugumgebungs-Erkennungssystem
DE102009005860B4 (de) 2008-01-25 2023-04-20 Subaru Corporation Umgebungs-Erkennungssystem

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2958767B1 (fr) 2010-04-09 2016-11-11 Commissariat Energie Atomique Procede de detection de cibles dans des images stereoscopiques.
JP5886809B2 (ja) * 2013-09-27 2016-03-16 富士重工業株式会社 車外環境認識装置
JP6382525B2 (ja) * 2014-02-10 2018-08-29 株式会社デンソー 物体識別方法、および物体識別装置
JP6254866B2 (ja) * 2014-02-12 2017-12-27 株式会社Subaru 車両制御装置
CN106332119B (zh) * 2015-06-23 2021-03-12 创新先进技术有限公司 信息处理方法及装置
KR20180051838A (ko) 2016-11-09 2018-05-17 삼성전자주식회사 보행자 및 차량의 탑승자에게 상대방의 접근을 알리는 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004145660A (ja) 2002-10-24 2004-05-20 Fuji Heavy Ind Ltd 障害物検出装置
JP2004298285A (ja) 2003-03-28 2004-10-28 Ntt Data Corp 歩行状態・歩行者属性判定装置および判定方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4389276B2 (ja) * 1997-10-21 2009-12-24 マツダ株式会社 車両の障害物警報装置
JP4277658B2 (ja) * 2003-11-21 2009-06-10 日産自動車株式会社 走行支援用車載情報提供装置
JP4313712B2 (ja) * 2004-03-30 2009-08-12 本田技研工業株式会社 走行安全装置
JP3934119B2 (ja) * 2004-06-14 2007-06-20 本田技研工業株式会社 車両周辺監視装置
JP2007333486A (ja) * 2006-06-13 2007-12-27 Denso Corp 車両用障害物検知装置
JP2008026997A (ja) * 2006-07-18 2008-02-07 Denso Corp 歩行者認識装置及び歩行者認識方法
JP2008282097A (ja) * 2007-05-08 2008-11-20 Toyota Central R&D Labs Inc 衝突危険度推定装置及びドライバ支援装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004145660A (ja) 2002-10-24 2004-05-20 Fuji Heavy Ind Ltd 障害物検出装置
JP2004298285A (ja) 2003-03-28 2004-10-28 Ntt Data Corp 歩行状態・歩行者属性判定装置および判定方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009005861B4 (de) 2008-01-25 2023-04-20 Subaru Corporation Fahrzeugumgebungs-Erkennungssystem
DE102009005860B4 (de) 2008-01-25 2023-04-20 Subaru Corporation Umgebungs-Erkennungssystem
DE102009014437B4 (de) 2008-03-26 2023-01-19 Continental Autonomous Mobility Germany GmbH Objekterkennungssystem und -verfahren

Also Published As

Publication number Publication date
US20080310678A1 (en) 2008-12-18
JP2008310440A (ja) 2008-12-25
JP4937844B2 (ja) 2012-05-23
US8160300B2 (en) 2012-04-17

Similar Documents

Publication Publication Date Title
DE102008027588A1 (de) Vorrichtung zur Erfassung von Fußgängern
EP3213260B1 (de) Verfahren und vorrichtung zur lokalisierung eines fahrzeugs in seinem umfeld
DE69937699T2 (de) Vorrichtung zum Überwachen der Umgebung eines Fahrzeuges
DE112013007129B4 (de) Bewegungstrajektorienvorhersagevorrichtung und Bewegungstrajektorienvorhersageverfahren
DE102013008451B4 (de) Fahrzeugeinparksteuerungssystem und Fahrzeugeinparksteuerungsverfahren, das dieses verwendet
EP1634243B1 (de) Verfahren und vorrichtung zur objektortung für kraftfahrzeuge
DE102017203838A1 (de) Verfahren und System zur Umfelderfassung
DE102018203591B3 (de) Verfahren und System zur Klassifikation von Verkehrsteilnehmern
DE112017003974B4 (de) Geschwindigkeitsregelungsvorrichtung
DE102014103695A1 (de) Fahrzeuggestützte Kreuzungsbeurteilungsvorrichtung und -programm
DE102013014106A1 (de) Auf V2V-Kommunikation basierende Fahrzeugidentifizierungsvorrichtung und Identifizierungsverfahren für diese
EP2707862B1 (de) Abstandsbestimmung mittels eines kamerasensors
DE102009016568A1 (de) Trajektorien-Abschätzvorrichtung für ein bewegliches Objekt
DE112017005447T5 (de) Objekterfassungsvorrichtung
DE102012101014A1 (de) Fahrzeugdetektionsvorrichtung
DE112017002743T5 (de) Parkunterstützungsvorrichtung und Parkunterstützungsverfahren
DE112017001841T5 (de) Vorrichtung zum erfassen eines montagewinkels für eine fahrzeuginterne kamera, vorrichtung zum kalibrieren eines montagewinkels, und verfahren zur erfassung eines montagewinkels
DE102015105784A1 (de) Verteiltes System zum Erkennen und Schützen von verwundbaren Verkehrsteilnehmern
DE102017118651A1 (de) Verfahren und System zur Kollisionsvermeidung eines Fahrzeugs
DE102012023060A1 (de) Verfahren zum Detektieren eines beweglichen Objekts mithilfe eines Histogramms anhand von Bildern einer Kamera und Kamerasystem für ein Kraftfahrzeug
EP2080684B1 (de) Verfahren und Vorrichtung zum Erfassen eines vorbeifahrenden Fahrzeuges bei Dunkelheit
DE102008021380B4 (de) Verfahren und Vorrichtung zum Vorhersagen eines Verlaufs einer Fahrbahn und Fahrerassistenzsystem
DE102011113325A1 (de) Verfahren zur Objekterkennung mittels Bilddaten
DE102016220228A1 (de) Verfahren, Fahrerassistenzsystem, und Fahrzeug umfassend das Fahrerassistenzsystem zum Anpassen eines Fahrzeugabstands zwischen einem Egofahrzeug und einem ersten, vorausfahrenden Fahrzeug in Abhängigkeit eines zweiten, vorausfahrenden Fahrzeugs
DE102018121158A1 (de) Verfahren zum Erfassen von Bodenabtastpunkten und Fahrerunterstützungssystem, das dafür konfiguriert ist, ein derartiges Verfahren auszuführen

Legal Events

Date Code Title Description
8110 Request for examination paragraph 44
R016 Response to examination communication
R081 Change of applicant/patentee

Owner name: SUBARU CORPORATION, JP

Free format text: FORMER OWNER: FUJI JUKOGYO K.K., TOKIO/TOKYO, JP

R082 Change of representative

Representative=s name: MEISSNER BOLTE PATENTANWAELTE RECHTSANWAELTE P, DE

R016 Response to examination communication
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06V0030190000

Ipc: G06V0020580000

R120 Application withdrawn or ip right abandoned