EP2449507A1 - Bildverarbeitungsverfahren für ein fahrerassistenzsystem eines kraftfahrzeugs zur detektion und klassifikation wenigstens eines teils wenigstens eines vorgegebenen bildelements - Google Patents

Bildverarbeitungsverfahren für ein fahrerassistenzsystem eines kraftfahrzeugs zur detektion und klassifikation wenigstens eines teils wenigstens eines vorgegebenen bildelements

Info

Publication number
EP2449507A1
EP2449507A1 EP10726950A EP10726950A EP2449507A1 EP 2449507 A1 EP2449507 A1 EP 2449507A1 EP 10726950 A EP10726950 A EP 10726950A EP 10726950 A EP10726950 A EP 10726950A EP 2449507 A1 EP2449507 A1 EP 2449507A1
Authority
EP
European Patent Office
Prior art keywords
image
image processing
scale
processing method
invariant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP10726950A
Other languages
English (en)
French (fr)
Inventor
Alexander Wuerz-Wessel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP2449507A1 publication Critical patent/EP2449507A1/de
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space

Definitions

  • Image processing method for a driver assistance system of a motor vehicle for detecting and classifying at least a part of at least one predetermined picture element
  • the invention relates to an image processing method for a driver assistance system of a motor vehicle for detecting and classifying at least one part of at least one predetermined picture element having a traffic sign or parts of a traffic sign in at least one digital image to be searched by an image sensor of the driver assistance system
  • the invention relates to a computer program, a computer program product and a device for carrying out such an image processing method as a computer program.
  • DE 198 42 176 A1 discloses a method for detecting traffic signs in the surroundings of a vehicle and for navigation of the vehicle, in which traffic sign recognition data are generated when traffic signs are detected.
  • the driver assistance system can usually first of all determine the shape, eg the shape of the vehicle. B. a circle for speed limits, in a, in particular detected by an image sensor of the driver assistance system image are detected. This is usually also possible for American traffic signs (eg rectangle). Subsequently, the image sections are normalized in terms of their brightness to minimize influences of the lighting situation.
  • image sections are normalized with regard to their sizes to the stored pictograms of the traffic signs to be classified.
  • the pictograms are compared with the image sections by gray-scale comparisons, and if they match sufficiently, the image section is recognized as a traffic sign.
  • Supporting motion information can be considered to allow a distinction of, for example, in the rear of trucks or buses mounted traffic signs of static, valid traffic signs.
  • the procedure described above is only conditionally useable for US traffic signs in the United States of America since the mentioned variety of variants of the traffic signs increases the number of pictograms to be stored, provided that they can all be found in advance, and thus the computation effort is extremely high.
  • An alternative possibility would be, within the detected traffic signs, the individual characters, d. H. Letters and numbers, so to speak, and to interpret OCR (Optical Character Recognition / OCR) in the sense of optical character recognition.
  • OCR Optical Character Recognition / OCR
  • SIFT scale-invariant feature transformation
  • 6,71 1, 293 B1 is a method and apparatus for identifying scale invariant features in an image, and further discloses a method and apparatus for using such scale invariant features to locate an object in an image.
  • an image processing method for a driver assistance system of a motor vehicle for detecting and classifying at least one part of at least one predetermined picture element having a traffic sign or parts of a traffic sign is proposed in at least one digital image to be searched by an image sensor of the driver assistance system, wherein for detection and classifying the at least one part of the at least one predetermined picture element in the at least one digital image to be searched from at least one image region of the at least one digital image to be searched first scale invariant image features and their relative geometric arrangement to each other, after which the first scale invariant image features and their relative geometric arrangement to each other of a classifier with stored and / or learned from the at least one predetermined pixel calculated second scale-invariant image features and their relative geometric arrangement are compared to each other, and as a result of the comparison with sufficient agreement, the at least one part of the at least one predetermined pixel in the at least one digital image to be searched is detected and classified.
  • the measures according to the invention can advantageously be used to classify image parts on the basis of
  • a classifier for example, a neural network can be used. This forms the basis for the classification and / or the search.
  • the digital image in particular the image sensor of the driver assistance system, in which the traffic sign or its lettering, numbers or
  • the scale invariant image features are calculated. Subsequently, since the scale-invariant image features can be unambiguously assigned to each other, the scale-invariant image features found in the image area can be compared with the stored or learned scale-invariant image features. For example, algorithms such as those described in Berthold KP Horn, "Closed-form Solution of Absolute Orientation Using Unit Quaternions", Journal of the Optical Society of America A, VoI 4, pages 629-642, April 1987 are suitable. This can be done for several image areas. Basically, the entire digital image can be searched or scanned. Optionally, only a part of the traffic sign, z. B.
  • the scale-invariant image features can also be used directly for tracking image areas with objects after detection. This advantageously eliminates the need to calculate additional features for tracking compared to traditional methods.
  • the image processing method according to the invention is suitable for the classification and detection of image areas with any geometrical arrangements of scale-invariant image features to be found, and is not limited to lettering or numbers.
  • the second scale-invariant image features and their relative geometric arrangement to each other in a training step from the at least one predetermined pixel calculated using different versions of the at least one predetermined pixel, in particular with different views or fonts of the traffic sign and from the classifier saved and / or learned.
  • the classifier can be confronted, for example, with different views or embodiments in one training step. All possible scale-invariant image features are calculated and corresponding answers (result of the comparison positive or negative) are given.
  • a neural network could be used as classifier.
  • first scale-invariant image features and the second scale-invariant image features are determined by means of the scale scale mentioned in the introduction.
  • SIFT method Invariant Feature Transform method
  • SURF method Speeded-Up Robust Features method
  • the at least one image area is identified in advance by a search for specific geometric shapes in the at least one digital image to be searched.
  • image areas which z. B. by means of a geometric search for certain shapes such as rectangles, circles or the like, the computational effort can be further reduced.
  • the speed of the system is also increased.
  • a measure of the correctness of the detection and classification is determined.
  • a measure can arise in the case of geometric deviations (eg another font) which can be used as a threshold for rejecting the classification or detection.
  • the detection and classification can be discarded if the measure of the correctness of the detection and classification falls below a predetermined threshold value.
  • the number of pixels of the second scale-invariant image features that can be assigned to the pixels of the first scale-invariant image features can be used.
  • a self-motion determined from sequences of the digital images to be searched can be taken into account. Accordingly, analyzes in the image sequences can also be consulted.
  • the at least one predetermined picture element may have at least one lettering of a traffic sign.
  • the claims specify a computer program and a computer program product with program code means in order to carry out the image processing method according to the invention.
  • a device in particular a driver assistance system of a motor vehicle having at least one image sensor and an image processing device connected thereto, is also proposed.
  • the image processing method according to the invention is preferably realized as a computer program on an image processing device of a driver assistance system of a motor vehicle, although other solutions are of course also possible.
  • the computer program can be stored with a memory element (eg ROM, EEPROM or the like) of the image processing device.
  • the image processing method is executed.
  • the image processing device may include a microcomputer having a microprocessor, a programmable logic array (PID), an application specific integrated circuit (ASIC), a digital signal processor (DSP), or the like.
  • the image processing device can be provided on a control unit of the driver assistance system.
  • the computer program may be on a computer-readable medium (floppy disk, CD, DVD, hard disk, USB memory stick, memory card or the like) or an Internet server as
  • Computer program product be stored and transferred from there into the memory element of the image processing device.
  • FIG. 1 shows a schematic representation of a driver assistance system of a motor vehicle
  • FIG. 2 shows a basic representation of a digital image of an image sensor of the driver assistance system for illustrating an image processing method according to the invention
  • FIG. 3 is a simplified block diagram of the image processing method according to the invention.
  • 4 shows a basic representation of different views or embodiments of a traffic sign to illustrate the image processing method according to the invention. Description of exemplary embodiments
  • FIG. 1 shows a driver assistance system 10 of a motor vehicle 1 1 indicated by dashed lines and an image sensor 12 which is connected to an evaluation unit or image processing device 14 via an image sensor signal line 13.
  • the image processing device 14 is via an output signal line
  • image sensor 12 for example, CCD or CMOS cameras, but also thermal imaging devices or the like can be used. It is also possible to provide further image sensors 12 in other exemplary embodiments which are not shown, in order to be able to generate stereoscopic images, for example.
  • the image sensor 12 transmits digital images of the observed scene to the image processing device 14 via the image sensor signal line 13.
  • the image processing device 13 generates on the output signal line 15 an output signal which is electrically, digitally, acoustically and / or visually for display, information or storage to the driver assistance system 10 is transmitted.
  • the driver assistance system 10 is a driver information system that recognizes traffic signs and displays them to the driver.
  • the driver assistance system 10 could also be designed, for example, as an adaptive cruise control device for the motor vehicle 11.
  • Such systems are also referred to as ACC (Adaptive Cruise Control) systems.
  • ACC Adaptive Cruise Control
  • a digital image 16 of the image sensor 12 is shown in simplified form in FIG. 2 to illustrate an image processing method according to the invention.
  • the image processing method according to the invention for the driver assistance system 10 of the motor vehicle 1 1 runs on the image processing device 14 Detection and classification of at least part of at least one predetermined picture element 17, which has a traffic sign 18 or parts of the traffic sign 18, in the digital image 16 to be searched by the image sensor 12 of the driver assistance system 10.
  • a scene with a street 19 and a tree 20 is shown in the digital image 16.
  • FIG. 3 shows the image processing method according to the invention, which runs on the image processing device 14, with further optional steps indicated by dashed lines as a block diagram.
  • first scale-invariant image features and their relative geometric arrangement relative to one another in a method step B are calculated from one or more image regions 21 (see FIG.
  • the image area 21 can be identified by a search for certain geometric shapes, in the present case a rectangle of the traffic sign 18 in the digital image 16 to be searched.
  • the second scale-invariant image features and their relative geometric arrangement relative to one another are produced from the at least one predetermined image element 17 using the different embodiments 17a, 17b of the given image element 17, in particular with different views or simplified representation Lettering of the traffic sign 18 calculated and stored by the classifier and / or learned.
  • the first scale-invariant image features and the second scale-invariant image features can be analyzed by means of the scale-invariant feature transform method (SIFT method) or the speeded-up robust feature method (SURF method).
  • SIFT method scale-invariant feature transform method
  • SURF method speeded-up robust feature method
  • the driver assistance system 10 receives from the image processing device 14 the result of the detection and classification and thus information as to whether a particular traffic sign 18 has been detected in the digital image 16.
  • the detection and classification is rejected if the measure of the correctness of the detection and classification falls below a predetermined threshold value.
  • a measure of the correctness of the detection and classification the number of pixels of the second scale-invariant image features that can be assigned to the pixels of the first scale-invariant image features is used.
  • a self-motion of the motor vehicle 1 1 determined from sequences of the digital images 16 to be searched is taken into account.
  • the image processing method according to the invention is preferably realized as a computer program on the image processing device 14 of the motor vehicle 11, although other solutions are of course also possible.
  • the computer program can be stored in a memory element (eg ROM, EEPROM or the like) of the image processing device 14.
  • the image processing method is executed.
  • the image processing device 14 may include a microcomputer with a microprocessor, a programmable integrated circuit
  • the computer program can be stored on a computer-readable data medium (floppy disk, CD, DVD, hard disk, USB memory stick, memory card or the like) or an Internet server as a computer program product and can be transferred from there into the memory element of the image processing device 14.
  • a computer-readable data medium floppy disk, CD, DVD, hard disk, USB memory stick, memory card or the like
  • an Internet server as a computer program product and can be transferred from there into the memory element of the image processing device 14.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Bildverarbeitungsverfahren für ein Fahrerassistenzsystem (10) eines Kraftfahrzeugs (11) zur Detektion und Klassifikation wenigstens eines Teils wenigstens eines vorgegebenen Bildelements, welches ein Verkehrszeichen oder Teile eines Verkehrszeichens aufweist, in wenigstens einem zu durchsuchenden von einem Bildsensor (12) des Fahrerassistenzsystems (10) erfassten digitalen Bild. Zur Detektion und Klassifikation des wenigstens einen Teils des wenigstens einen vorgegebenen Bildelements in dem wenigstens einen zu durchsuchenden digitalen Bild (16) werden aus wenigstens einem Bildbereich des wenigstens einen zu durchsuchenden digitalen Bilds erste skaleninvariante Bildmerkmale und deren relative Anordnung zueinander berechnet, wonach die ersten skaleninvarianten Bildmerkmale und deren relative geometrische Anordnung zueinander von einem Klassifikator mit abgespeicherten und/oder erlernten aus dem wenigstens einen vorgegebenen Bildelement berechneten zweiten skaleninvarianten Bildmerkmalen und deren relativer geometrischer Anordnung zueinander verglichen werden, wobei als Ergebnis des Vergleichs bei ausreichender Übereinstimmung der wenigstens eine Teil des wenigstens einen vorgegebenen Bildelements in dem wenigstens einen zu durchsuchenden digitalen Bild detektiert und klassifiziert wird.

Description

Beschreibung
Bildverarbeitungsverfahren für ein Fahrerassistenzsystem eines Kraftfahrzeugs zur Detektion und Klassifikation wenigstens eines Teils wenigstens eines vorgegebenen Bildelements
Die Erfindung betrifft ein Bildverarbeitungsverfahren für ein Fahrerassistenzsystem eines Kraftfahrzeugs zur Detektion und Klassifikation wenigstens eines Teils wenigstens eines vorgegebenen Bildelements, welches ein Verkehrszeichen oder Teile eines Verkehrzeichens aufweist, in wenigstens einem zu durchsu- chenden von einem Bildsensor des Fahrerassistenzsystems erfassten digitalen
Bild. Des Weiteren betrifft die Erfindung ein Computerprogramm, ein Computerprogrammprodukt und eine Vorrichtung, um ein derartiges Bildverarbeitungsverfahren als Computerprogramm auszuführen. Stand der Technik
Aus der DE 198 42 176 A1 ist ein Verfahren zur Erkennung von Verkehrszeichen in der Umgebung eines Fahrzeugs und zur Navigation des Fahrzeugs, bei dem bei einem Erkennen von Verkehrszeichen Verkehrszeichenerkennungsdaten er- stellt werden, bekannt.
Im Gegensatz zu Ländern, die der Wiener Konvention, insbesonders zur Regelung der Verkehrszeichengestaltung, beigetreten sind, können in Ländern wie beispielsweise den Vereinigten Staaten von Amerika, Verkehrszeichen sehr un- terschiedlich und individuell gestaltet sein. In den Vereinigten Staaten von Amerika sind darüber hinaus die einzelnen Bundesstaaten für die Verkehrszeichengestaltung verantwortlich, wodurch unterschiedliche Varianten, z. B. hinsichtlich Größe, Schriftform, Anordnung usw. auftreten können. Zudem werden, anders als in der Wiener Konvention durch Piktogramme, Schriftzüge wie„SPEED LIMIT",„TRUCKS",„MINIMUM SPEED" oder dergleichen eingesetzt. Diese Tatsache stellt für ein auf der Erkennung von Verkehrszeichen basierendes Fahrerassistenzsystem eine besondere Herausforderung dar.
In Ländern, in denen die Verkehrszeichen entsprechend der Wiener Konvention ausgeführt sind, kann von dem Fahrerassistenzsystem üblicherweise zunächst die Form, z. B. ein Kreis für Geschwindigkeitsbegrenzungen, in einem, insbesondere von einem Bildsensor des Fahrerassistenzsystems erfassten Bild detektiert werden. Dies ist für amerikanische Verkehrszeichen in der Regel ebenfalls möglich (z. B. Rechteck). Anschließend werden die Bildausschnitte hinsichtlich ihrer Helligkeit normiert, um Einflüsse der Beleuchtungssituation zu minimieren. Des
Weiteren werden die Bildausschnitte hinsichtlich ihrer Größen auf die gespeicherten Piktogramme der zu klassifizierenden Verkehrszeichen normiert.
Schließlich werden die Piktogramme durch Grauwertvergleiche mit den Bildausschnitten verglichen und bei genügend großer Übereinstimmung wird der BiId- ausschnitt als Verkehrszeichen erkannt. Unterstützend können noch Bewegungsinformationen berücksichtigt werden, um eine Unterscheidung von beispielsweise im Heckbereich von Lastkraftwagen oder Bussen angebrachten Verkehrszeichen von statischen, gültigen Verkehrszeichen zu ermöglichen. Die vorstehend beschriebene Vorgehensweise ist für US-Verkehrszeichen in den Vereinigten Staa- ten von Amerika nur noch bedingt einsetzbar, da die erwähnte Variantenvielfalt der Verkehrszeichen die Anzahl der abzuspeichernden Piktogramme, sofern diese überhaupt vorab alle auffindbar sind, und damit den Rechenaufwand extrem steigert. Eine alternative Möglichkeit bestünde darin, innerhalb der detektierten Verkehrszeichen die einzelnen Zeichen, d. h. Buchstaben und Ziffern, sozusagen zu lesen und im Sinne einer optischen Zeichenerkennung OCR (Optical Character Re- cognition / OCR) zu interpretieren. Dies ist jedoch relativ aufwendig und schwer in Kraftfahrzeugsteuergeräten zu implementieren. Darüber hinaus ist das gene- relle Verständnis der geschriebenen Wörter grundsätzlich nicht erforderlich, da es sich nur um eine begrenzte Anzahl von Schlüsselwörtern handelt.
In der Bildverarbeitung wurden in jüngerer Zeit Verfahren entwickelt, welche Bildbereiche invariant gegenüber Skalierung und Rotation beschreiben können. Die skaleninvariante Merkmalstransformation (SIFT - scale-invariant feature transfrom) ist ein Algorithmus zur Extraktion lokaler Bildmerkmale aus Abbildun- gen, welcher vor allem bei der Bilderkennung verwendet wird. In der US
6,71 1 ,293 B1 ist ein Verfahren und eine Vorrichtung zum Identifizieren von skaleninvarianten Merkmalen in einem Bild und des Weiteren ein Verfahren und eine Vorrichtung, um derartige skaleninvariante Merkmale zur Lokalisierung eines Ob- jekts in einem Bild zu verwenden, offenbart.
Darüber hinaus ist aus Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool,„SURF: Speeded-Up Robust Features", Computer Vision and Image Un- derstanding (CVIU), Vol. 1 10, No. 3 pp. 346 - 359, 2008 ein Algorithmus zur schnellen und robusten Ermittlung von Bildmerkmalen für maschinelles Sehen bekannt.
Zum weiteren Stand der Technik wird auf die DE 103 38 455 A1 verwiesen. Offenbarung der Erfindung
Erfindungsgemäß wird ein Bildverarbeitungsverfahren für ein Fahrerassistenzsystem eines Kraftfahrzeugs zur Detektion und Klassifikation wenigstens eines Teils wenigstens eines vorgegebenen Bildelements, welches ein Verkehrszei- chen oder Teile eines Verkehrszeichens aufweist, in wenigstens einem zu durchsuchenden von einem Bildsensor des Fahrerassistenzsystems erfassten digitalen Bild vorgeschlagen, wobei zur Detektion und Klassifikation des wenigstens einen Teils des wenigstens einen vorgegebenen Bildelements in dem wenigstens einen zu durchsuchenden digitalen Bild aus wenigstens einem Bildbereich des wenigstens einen zu durchsuchenden digitalen Bilds erste skaleninvariante Bildmerkmale und deren relative geometrische Anordnung zueinander berechnet werden, wonach die ersten skaleninvarianten Bildmerkmale und deren relative geometrische Anordnung zueinander von einem Klassifikator mit abgespeicherten und/oder erlernten aus dem wenigstens einen vorgegebenen Bildelement be- rechneten zweiten skaleninvarianten Bildmerkmalen und deren relativer geometrischer Anordnung zueinander verglichen werden, wobei als Ergebnis des Vergleichs bei ausreichender Übereinstimmung der wenigstens eine Teil des wenigstens einen vorgegebenen Bildelements in dem wenigstens einen zu durchsuchenden digitalten Bild detektiert und klassifiziert wird. Durch die erfindungsgemäßen Maßnahmen können in vorteilhafter weise Bildteile anhand von skaleninvarianten Bildmerkmalen klassifiziert werden. Auf den zu suchenden vorgegebenen Bildelementen, welche Verkehrszeichen oder Teile von Verkehrszeichen wie Buchstaben bzw. Ziffern aufweisen, werden die skalen- invarianten Bildmerkmale an sich und deren relative geometrische Position bzw.
Anordnung zueinander vorab berechnet und gespeichert bzw. von einem Klassi- fikator erlernt. Als Klassifikator kann beispielsweise ein neuronales Netz eingesetzt werden. Dies bildet die Grundlage für die Klassifkation und/oder die Suche. In dem digitalen Bild, insbesondere des Bildsensors des Fahrerassistenzsys- tems, in welchem das Verkehrszeichen bzw. dessen Schriftzug, Ziffern oder
Symbole aufgefunden werden sollen, werden ebenfalls die skaleninvarianten Bildmerkmale berechnet. Anschließend können, da die skaleninvarianten Bildmerkmale einander eindeutig zuzuordnen sind, die im Bildbereich gefundenen skaleninvarianten Bildmerkmale mit den abgelegten bzw. erlernten skaleninvari- anten Bildmerkmalen verglichen werden. Dafür eignen sich beispielsweise Algorithmen wie in Berthold K. P. Hörn, "Closed-form Solution of absolute orientation using unit quaternions", Journal of the Optical Society of America A, VoI 4, pages 629-642, April 1987 beschrieben. Dies kann für mehrere Bildbereiche durchgeführt werden. Grundsätzlich kann so das gesamte digitale Bild durchsucht oder gescannt werden. Gegebenenfalls kann auch lediglich ein Teil des Verkehrszeichens, z. B. bei einer Teilverdeckung durch andere Objekte wie Gebüsche und dergleichen detektiert und klassifiziert werden. Vorteilhafterweise werden Skalierungen implizit berücksichtigt. Damit kann gegenüber den bekannten Klassifikationsverfahren sowohl die Normierung hinsichtlich der Größe, mit welcher die Ent- fernungsunabhängigkeit des beobachteten Objekts verbunden ist, als auch hinsichtlich der Helligkeit entfallen. Dadurch bleibt der Rechenaufwand relativ gering und das Verfahren ist vorteilhafter weise auf Kraftfahrzeugsteuergeräten einsetzbar. Das beschriebene Bildverarbeitungsverfahren kann ebenfalls auf die Zahlen der Geschwindigkeitsbegrenzung, z. B.„15",„30",„45",„50" und„55", an- gewendet werden. Werden etwa Bildelemente wie z. B.„SPEED" und„LIMIT" und zugehörige Zahlen detektiert und klassifiziert, kann ein Geschwindigkeitsbe- grenzungszeichen als erkannt eingeordnet werden. Da die skaleninvarianten Bildmerkmale u. a. für die Verfolgung (sogenanntes„Tracking") von den Bildobjekten entwickelt wurden, können nach einer Detektion, die skaleninvarianten Bildmerkmale direkt auch für die Verfolgung von Bildbereichen mit Objekten verwendet werden. Dadurch entfällt in vorteilhafter weise die Berechnung zusätzli- cher Merkmale für das Tracking im Vergleich zu herkömmlichen Verfahren. Das erfindungsgemäße Bildverarbeitungsverfahren ist zur Klassifikation und Detekti- on von Bildbereichen mit beliebigen, aufzufindenden geometrischen Anordnungen von skaleninvarianten Bildmerkmalen geeignet und nicht auf Schriftzüge oder Zahlen beschränkt.
Vorteilhaft ist es, wenn vorab in einem Trainingsschritt aus dem wenigstens einen vorgegebenen Bildelement die zweiten skaleninvarianten Bildmerkmale und deren relative geometrische Anordnung zueinander unter Verwendung unter- schiedlicher Ausführungen des wenigstens einen vorgegebenen Bildelements, insbesondere mit unterschiedlichen Ansichten oder Schriftformen des Verkehrszeichens berechnet und von dem Klassifikator abgespeichert und/oder erlernt werden. Durch diese Maßnahmen kann der Klassifikator beispielsweise mit unterschiedlichen Ansichten oder Ausführungsformen in einem Trainingsschritt konfrontiert werden. Dabei werden alle möglichen skaleninvarianten Bildmerkmale berechnet und entsprechende Antworten (Ergebnis des Vergleichs positiv oder negativ) vorgegeben. Als Klassifikator könnte beispielsweise ein neuronales Netz zum Einsatz kommen.
Erfindungsgemäß kann ferner vorgesehen sein, dass nur charakteristische zweite skaleninvariante Bildmerkmale und deren relative geometrische Anordnung zueinander berücksichtigt werden, welche in dem Trainingsschritt identifiziert werden.
Es wird in dem Trainingsschritt ermittelt, von welchen skaleninvarianten Bildmerkmalen dieselben Antworten bei unterschiedlichen Ansichten oder Bildern erhalten werden. Bildmerkmale, welche auf mehreren Ansichten bzw. Bildern im Trainingsschritt sehr stark ansprechen, werden als sogenannte charakteristische bzw. diskriminierende Merkmale identifiziert, welche dann ausschließlich bei dem erfindungsgemäßen Bildverarbeitungsverfahren berücksichtigt werden können.
Vorteilhaft ist es, wenn die ersten skaleninvarianten Bildmerkmale und die zwei- ten skaleninvarianten Bildmerkmale mittels des eingangs erwähnten Scale-
Invariant Feature Transform-Verfahrens (SIFT-Verfahren) oder des ebenfalls eingangs erwähnten Speeded-Up Robust Features-Verfahrens (SURF- Verfahren) berechnet werden.
Erfindungsgemäß kann ferner vorgesehen sein, dass der wenigstens eine BiId- bereich vorab durch eine Suche nach bestimmten geometrischen Formen in dem wenigstens einen zu durchsuchenden digitalen Bild identifiziert wird. Durch eine Beschränkung auf Bildbereiche, welche z. B. mittels einer geometrischen Suche nach bestimmten Formen wie etwa Rechtecke, Kreise oder dergleichen ermittelt werden, kann der Rechenaufwand weiter gesenkt werden. Die Geschwindigkeit des Systems wird ebenfalls erhöht.
Vorteilhaft ist es, wenn ein Maß für die Korrektheit der Detektion und Klassifikation bestimmt wird. Bei einem Vergleich kann bei geometrischen Abweichungen (z. B. andere Schriftart) ein Maß entstehen, welches als Schwelle zur Verwerfung der Klassifikation bzw. Detektion genutzt werden kann. Die Detektion und Klassifikation kann verworfen werden, wenn das Maß für die Korrektheit der Detektion und Klassifikation einen vorgegebenen Schwellwert unterschreitet. Als Maß für die Korrektheit der Detektion und Klassifikation kann die Anzahl der den Bildpunkten der ersten skaleninvarianten Bildmerkmale zuordenbaren Bildpunkte der zweiten skaleninvarianten Bildmerkmale verwendet werden.
Zusätzlich kann eine aus Sequenzen der zu durchsuchenden digitalen Bilder ermittelte Eigenbewegung berücksichtigt werden. Sonach können Analysen in den Bildfolgen ebenfalls unterstützend hinzugezogen werden.
Das wenigstens eine vorgegebene Bildelement kann wenigstens einen Schriftzug eines Verkehrszeichens aufweisen.
In den Ansprüchen sind ein Computerprogramm und ein Computerprogramm- produkt mit Programmcodemitteln, um das erfindungsgemäße Bildverarbeitungsverfahren auszuführen, angegeben.
Eine Vorrichtung, insbesondere ein Fahrassistenzsystem eines Kraftfahrzeugs mit wenigstens einem Bildsensor und einer mit diesem verbundenen Bildverar- beitungseinrichtung wird ebenfalls vorgeschlagen. Das erfindungsgemäße Bildverarbeitungsverfahren ist vorzugsweise als Computerprogramm auf einer Bildverarbeitungseinrichtung eines Fahrerassistenzsystems eines Kraftfahrzeugs realisiert, wobei auch andere Lösungen selbstverständlich in Frage kommen. Dazu kann das Computerprogramm mit einem Spei- cherelement (z. B. ROM, EEPROM oder dergleichen) der Bildverarbeitungseinrichtung gespeichert sein. Durch Abarbeitung auf der Bildverarbeitungseinrichtung wird das Bildverarbeitungsverfahren ausgeführt. Die Bildverarbeitungseinrichtung kann einen Mikrocomputer mit einem Mikroprozessor, einen programmierbaren integrierten Schaltkreis (ReId P_rogrammable Gate Array / FPGA), ei- nen anwendungsspezifischen integrierten Schaltkreis (Application Specific Jn- tegrated Circuit / ASIC) einen digitalen Signalp/ozessor (DSP) oder dergleichen aufweisen. Die Bildverarbeitungseinrichtung kann auf einem Steuergerät des Fahrerassistenzsystems vorgesehen sein. Das Computerprogramm kann auf einem computerlesbaren Datenträger (Diskette, CD, DVD; Festplatte, USB- Memory-Stick, Speicherkarte oder dergleichen) oder einem Internetserver als
Computerprogrammprodukt gespeichert sein und von dort aus in das Speicherelement der Bildverarbeitungseinrichtung übertragen werden.
Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den Un- teransprüchen angegeben. Nachfolgend ist anhand der Zeichnungen ein Ausführungsbeispiel der Erfindung prinzipmäßig beschrieben.
Kurzbeschreibung der Zeichnungen Es zeigen:
Fig. 1 eine schematische Darstellung eines Fahrerassistenzsystems eines Kraftfahrzeugs; Fig. 2 eine prinzipmäßige Darstellung eines digitalen Bildes eines Bildsensors des Fahrerassistenzsystems zur Veranschaulichung eines erfindungsgemäßen Bildverarbeitungsverfahrens;
Fig. 3 ein vereinfachtes Blockdiagramm des erfindungsgemäßen Bildverarbei- tungsverfahrens; und Fig. 4 eine prinzipmäßige Darstellung unterschiedlicher Ansichten bzw. Ausführungsformen eines Verkehrszeichens zur Veranschaulichung des erfindungsgemäßen Bildverarbeitungsverfahrens. Beschreibung von Ausführungsbeispielen
Figur 1 zeigt ein Fahrerassistenzsystem 10 eines gestrichelt angedeuteten Kraftfahrzeugs 1 1 sowie einen Bildsensor 12, welcher über eine Bildsensorsignalleitung 13 mit einer Auswerteeinheit bzw. Bildverarbeitungseinrichtung 14 verbun- den ist. Die Bildverarbeitungseinrichtung 14 ist über eine Ausgangssignalleitung
15 mit dem Fahrerassistenzsystem 10 verbunden. Als Bildsensor 12 sind beispielsweise CCD- oder CMOS-Kameras, aber auch Wärmebildgeräte oder dergleichen einsetzbar. Es können auch weitere Bildsensoren 12 in anderen nicht dargestellten Ausführungsbeispielen vorgesehen sein, um beispielsweise Ste- reobilder erzeugen zu können. Der Bildsensor 12 übermittelt digitale Bilder der beobachteten Szene an die Bildverarbeitungseinrichtung 14 über die Bildsensorsignalleitung 13. Die Bildverarbeitungseinrichtung 13 erzeugt auf der Ausgangssignalleitung 15 ein Ausgangssignal, welches elektrisch, digital, akkustisch und/oder visuell zur Anzeige, Information oder Speicherung an das Fahrerassis- tenzsystem 10 übertragen wird.
Im vorliegenden Ausführungsbeispiel ist das Fahrerassistenzsystem 10 ein Fahrerinformationssystem, welches Verkehrszeichen erkennt und dem Fahrer zur Anzeige bringt. Im weiteren Ausführungsbeispiel könnte das Fahrerassistenzsys- tem 10 auch beispielsweise eine adaptive Geschwindigkeitsregelvorrichtung für das Kraftfahrzeug 1 1 ausgebildet sein. Solche Systeme werden auch als ACC (Adaptive Cruise Control)-Systeme bezeichnet. In der Publikation Robert Bosch GmbH,„adaptive Fahrgeschwindigkeitsregelung ACC", gelbe Reihe, Ausgabe 2002, Technische Unterrichtung sind derartige adaptive Geschwindigkeitsregel- Vorrichtungen beschrieben. Diese könnte beispielsweise die Geschwindigkeit des
Kraftfahrzeugs in Abhängigkeit eines erkannten Verkehrszeichens einregeln.
In Figur 2 ist zur Veranschaulichung eines erfindungsgemäßen Bildverarbeitungsverfahrens vereinfacht ein digitales Bild 16 des Bildsensors 12 dargestellt. Auf der Bildverarbeitungseinrichtung 14 läuft das erfindungsgemäße Bildverarbeitungsverfahren für das Fahrerassistenzsystem 10 des Kraftfahrzeugs 1 1 zur Detektion und Klassifikation wenigstens eines Teils wenigstens eines vorgegebenen Bildelements 17, welches ein Verkehrszeichen 18 oder Teile des Verkehrszeichens 18 aufweist, in dem zu durchsuchenden von dem Bildsensor 12 des Fahrerassistenzsystems 10 erfassten digitalen Bild 16, ab. Stark vereinfacht ist in dem digitalen Bild 16 eine Szene mit einer Straße 19 und einem Baum 20 dargestellt.
In Figur 3 ist das erfindungsgemäße Bildverarbeitungsverfahren, welches auf der Bildverarbeitungseinrichtung 14 abläuft, mit weiteren optionalen gestrichelt ange- deuteten Schritten als Blockdiagramm dargestellt. Zur Detektion und Klassifikation des vorgegebenen Bildelements 17 in dem zu durchsuchenden digitalen Bild 16 werden aus einem oder mehreren Bildbereichen 21 (s. Figur 2) des zu durchsuchenden digitalen Bilds 16 erste skaleninvariante Bildmerkmale und deren relative geometrische Anordnung zueinander in einem Verfahrensschritt B berech- net, wonach in einem Verfahrensschritt C die ersten skaleninvarianten Bildmerkmale und deren relative Anordnung zueinander von einem Klassifikator mit abgespeicherten oder erlernten (in Figur 3 vereinfacht als Datenbank 22 angedeutet) aus dem vorgegebenen Bildelement 17 berechneten zweiten skaleninvarianten Bildmerkmalen und deren relativer geometrischer Anordnung zueinander vergli- chen werden, wobei als Ergebnis des Vergleichs von Verfahrensschritt C bei ausreichender Übereinstimmung wenigstens des Teils des vorgegebenen Bildelements 17 in dem zu durchsuchenden digitalen Bild 16 detektiert und klassifiziert wird. Dies wird über die Ausgangssignalleitung 15 an das Fahrerassistenzsystem 10 übermittelt.
Vorab kann in einem Verfahrensschritt A der Bildbereich 21 durch eine Suche nach bestimmten geometrischen Formen, vorliegend einem Rechteck des Verkehrszeichens 18 in dem zu durchsuchenden digitalen Bild 16 identifiziert werden.
In einem Trainingsschritt T werden aus dem wenigstens einen vorgegebenen Bildelement 17 die zweiten skaleninvarianten Bildmerkmale und deren relative geometrische Anordnung zueinander unter Verwendung der in Figur 4 vereinfacht dargestellten unterschiedlichen Ausführungsformen 17a, 17b des vorgege- benen Bildelements 17, insbesondere mit unterschiedlichen Ansichten oder Schriftzügen des Verkehrszeichens 18 berechnet und von dem Klassifikator abgespeichert und/oder erlernt.
Im vorliegenden Ausführungsbeispiel werden nur charakteristische zweite ska- leninvariante Bildmerkmale und deren relative geometrische Position zueinander berücksichtigt. Diese werden in dem Trainingsschritt T identifiziert.
Die ersten skaleninvarianten Bildmerkmale und die zweiten skaleninvarianten Bildmerkmale können mittels des Scale-Invariant Feature Transform-Verfahrens (SIFT-Verfahren) oder des Speeded-Up Robust Features-Verfahrens (SURF-
Verfahren) berechnet werden.
Für die Korrektheit der Detektion und Klassifikation wird ein Maß bestimmt. Über die Ausgangssignalleitung 15 erhält das Fahrerassistenzsystem 10 von der BiId- Verarbeitungseinrichtung 14 das Ergebnis der Detektion und Klassifikation und damit Informationen, ob ein bestimmtes Verkehrszeichen 18 in dem digitalen Bild 16 erkannt wurde.
Die Detektion und Klassifikation wird verworfen, wenn das Maß für die Korrekt- heit der Detektion und Klassifikation einen vorgegebenen Schwellwert unterschreitet. Als Maß für die Korrektheit der Detektion und Klassifikation wird die Anzahl der den Bildpunkten der ersten skaleninvarianten Bildmerkmale zuorden- baren Bildpunkte der zweiten skaleninvarianten Bildmerkmale verwendet. Zusätzlich wird eine aus Sequenzen der zu durchsuchenden digitalen Bilder 16 ermittelte Eigenbewegung des Kraftfahrzeugs 1 1 berücksichtigt.
Das erfindungsgemäße Bildverarbeitungsverfahren ist vorzugsweise als Computerprogramm auf der Bildverarbeitungseinrichtung 14 des Kraftfahrzeugs 1 1 rea- lisiert, wobei auch andere Lösungen selbstverständlich in Frage kommen. Dazu kann das Computerprogramm in einem Speicherelement (z. B. ROM, EEPROM oder dergleichen) der Bildverarbeitungseinrichtung 14 gespeichert sein. Durch Abarbeitung auf der Bildverarbeitungseinrichtung 14 wird das Bildverarbeitungsverfahren ausgeführt. Die Bildverarbeitungseinrichtung 14 kann einen Mikrocom- puter mit einem Mikroprozessor, einen programmierbaren integrierten Schaltkreis
(ReId P_rogrammable G_ate Array / FPGA), einen anwendungsspezifischen integ- rierten Schaltkreis (Application Specific |ntegrated Circuit / ASIC), einen digitalen SignalρjOzessor (DSP) oder dergleichen aufweisen. Das Computerprogramm kann auf einem computerlesbaren Datenträger (Diskette, CD, DVD, Festplatte, USB-Speicher-Stick, Speicherkarte oder dergleichen) oder einem Internetserver als Computerprogrammprodukt gespeichert sein und von dort aus in das Speicherelement der Bildverarbeitungseinrichtung 14 übertragen werden.

Claims

Ansprüche
1 . Bildverarbeitungsverfahren für ein Fahrerassistenzsystem (10) eines Kraft- fahrzeugs (1 1 ) zur Detektion und Klassifikation wenigstens eines Teils wenigstens eines vorgegebenen Bildelements (17, 17a, 17b), welches ein Verkehrszeichen (18) oder Teile eines Verkehrszeichens (18) aufweist, in wenigstens einem zu durchsuchenden von einem Bildsensor (12) des Fahrerassistenzsystems (10) erfassten digitalen Bild (16), dadurch gekennzeich- net, dass zur Detektion und Klassifikation des wenigstens einen Teils des wenigstens einen vorgegebenen Bildelements (17, 17a, 17b) in dem wenigstens einen zu durchsuchenden digitalen Bild (16) aus wenigstens einem Bildbereich (21 ) des wenigstens einen zu durchsuchenden digitalen Bilds (16) erste skaleninvariante Bildmerkmale und deren relative geometrische Anordnung zueinander berechnet werden (B), wonach die ersten skaleninvarianten Bildmerkmale und deren relative geometrische Anordnung zueinander von einem Klassifikator mit abgespeicherten und/oder erlernten aus dem wenigstens einen vorgegebenen Bildelement (17, 17a, 17b) berechneten zweiten skaleninvarianten Bildmerkmalen und deren relativer geometrischer Anordnung zueinander verglichen werden (C), wobei als Ergebnis des Vergleichs bei ausreichender Übereinstimmung der wenigstens eine Teil des wenigstens einen vorgegebenen Bildelements (17, 17a, 17b) in dem wenigstens einen zu durchsuchenden digitalen Bild (16) detektiert und klassifiziert wird.
2. Bildverarbeitungsverfahren nach Anspruch 1 , dadurch gekennzeichnet, dass vorab in einem Trainingsschritt (T) aus dem wenigstens einen vorgegebenen Bildelement (17,17a, 17b) die zweiten skaleninvarianten Bildmerkmale und deren relative geometrische Anordnung zueinander unter Verwendung un- terschiedlicher Ausführungen (17a, 17b) des wenigstens einen vorgegebenen
Bildelements (17, 17a, 17b), insbesondere mit unterschiedlichen Ansichten oder Schriftformen des Verkehrzeichens (18), berechnet und von dem Klassifikator abgespeichert und/oder erlernt werden.
3. Bildverarbeitungsverfahren nach Anspruch 2, dadurch gekennzeichnet, dass nur charakteristische zweite skaleninvariante Bildmerkmale und deren relati- ve geometrische Anordnung zueinander berücksichtigt werden, welche in dem Trainingsschritt (T) identifiziert werden.
4. Bildverarbeitungsverfahren nach Anspruch 1 , 2 oder 3, dadurch gekenn- zeichnet, dass die ersten skaleninvarianten Bildmerkmale und die zweiten skaleninvarianten Bildmerkmale mittels des Scale-Invariant Feature Transform-Verfahrens (SIFT-Verfahren) oder des Speeded-Up Robust Features- Verfahrens (SURF-Verfahren) berechnet werden.
5. Bildverarbeitungsverfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass der wenigstens eine Bildbereich (21 ) vorab durch eine Suche nach bestimmten geometrischen Formen in dem wenigstens einen zu durchsuchenden digitalen Bild (16) identifiziert wird (A).
6. Bildverarbeitungsverfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass ein Maß für die Korrektheit der Detektion und Klassifikation bestimmt wird.
7. Bildverarbeitungsverfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Detektion und Klassifikation verworfen wird, wenn das Maß für die Korrektheit der Detektion und Klassifikation einen vorgegebenen Schwellwert unterschreitet.
8. Bildverarbeitungsverfahren nach Anspruch 6, 7 oder 8, dadurch gekenn- zeichnet, dass als Maß für die Korrektheit der Detektion und Klassifikation die Anzahl der den Bildpunkten der ersten skaleninvarianten Bildmerkmale zuordenbaren Bildpunkte der zweiten skaleninvarianten Bildmerkmale verwendet wird.
9. Bildverarbeitungsverfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass zusätzlich eine aus Sequenzen der zu durchsuchenden digitalen Bilder ermittelte Eigenbewegung berücksichtigt wird.
10. Bildverarbeitungsverfahren nach einem der Ansprüche 1 bis 9, dadurch ge- kennzeichnet, dass das wenigstens eine vorgegebene Bildelement (17,17a, 17b) wenigstens einen Schriftzug eines Verkehrszeichens (18) aufweist.
1 1 . Computerprogramm mit Programmcodemitteln, um ein Bildverarbeitungsver- fahren gemäß einem der Ansprüche 1 bis 10 durchzuführen, wenn dass
Programm auf einer Bildverarbeitungseinrichtung (14) eines Fahrerassistenzsystems (10) eines Kraftfahrzeugs (1 1 ), insbesondere auf einem Mikroprozessor eines Mikrocomputers, ausgeführt wird.
12. Computerprogrammprodukt mit Programmcodemitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um ein Bildverarbeitungsverfahren gemäß einem der Ansprüche 1 bis 10 durchzuführen, wenn dass Programm auf einer Bildverarbeitungseinrichtung (14) eines Fahrerassistenzsystems (10) eines Kraftfahrzeugs (1 1 ), insbesondere auf einem Mikropro- zessor eines Mikrocomputers, ausgeführt wird.
13. Vorrichtung, insbesondere Fahrerassistenzsystem (10) eines Kraftfahrzeugs (1 1 ) mit wenigstens einem Bildsensor (12) und einer mit diesem verbundenen Bildverarbeitungseinrichtung (14), welche zur Ausführung eines Compu- terprogramms gemäß Anspruch 1 1 eingerichtet ist.
EP10726950A 2009-06-29 2010-06-21 Bildverarbeitungsverfahren für ein fahrerassistenzsystem eines kraftfahrzeugs zur detektion und klassifikation wenigstens eines teils wenigstens eines vorgegebenen bildelements Ceased EP2449507A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009027275A DE102009027275A1 (de) 2009-06-29 2009-06-29 Bildverarbeitungsverfahren für ein Fahrerassistenzsystem eines Kraftfahrzeugs zur Detektion und Klassifikation wenigstens eines Teils wenigstens eines vorgegebenen Bildelements
PCT/EP2010/058688 WO2011000726A1 (de) 2009-06-29 2010-06-21 Bildverarbeitungsverfahren für ein fahrerassistenzsystem eines kraftfahrzeugs zur detektion und klassifikation wenigstens eines teils wenigstens eines vorgegebenen bildelements

Publications (1)

Publication Number Publication Date
EP2449507A1 true EP2449507A1 (de) 2012-05-09

Family

ID=42790904

Family Applications (1)

Application Number Title Priority Date Filing Date
EP10726950A Ceased EP2449507A1 (de) 2009-06-29 2010-06-21 Bildverarbeitungsverfahren für ein fahrerassistenzsystem eines kraftfahrzeugs zur detektion und klassifikation wenigstens eines teils wenigstens eines vorgegebenen bildelements

Country Status (6)

Country Link
US (1) US9030558B2 (de)
EP (1) EP2449507A1 (de)
JP (1) JP2012531685A (de)
CN (1) CN102549602A (de)
DE (1) DE102009027275A1 (de)
WO (1) WO2011000726A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021369A (zh) * 2014-04-30 2014-09-03 南京农业大学 基于数字图像处理技术的单株水稻穗部籽粒数计数方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2425112C (en) 2000-10-06 2011-09-27 The Trustees Of Columbia University In The City Of New York Massive parallel method for decoding dna and rna
SM200800017B (it) * 2008-03-18 2010-11-12 Saulle Mattei Sistema di controllo interattivo di una rete stradale urbana ed extraurbana soggetta a norme e/o limitazioni di sicurezza e funzionalità.
JP5427202B2 (ja) * 2011-03-29 2014-02-26 富士重工業株式会社 車両用運転支援装置
CN102982543A (zh) * 2012-11-20 2013-03-20 北京航空航天大学深圳研究院 一种多源遥感图像配准方法
CN103971087B (zh) * 2013-07-12 2017-04-19 湖南纽思曼导航定位科技有限公司 一种实时搜索及识别交通标志的方法及装置
US10089330B2 (en) 2013-12-20 2018-10-02 Qualcomm Incorporated Systems, methods, and apparatus for image retrieval
KR101596299B1 (ko) * 2014-01-06 2016-02-22 현대모비스 주식회사 교통 표지판 인식 방법 및 장치
WO2016080452A1 (ja) * 2014-11-19 2016-05-26 エイディシーテクノロジー株式会社 自動運転制御装置
US9937923B2 (en) * 2016-01-30 2018-04-10 Bendix Commercial Vehicle Systems Llc System and method for providing a speed warning and speed control
DE102016215538A1 (de) * 2016-08-18 2018-03-08 Robert Bosch Gmbh Verfahren zum Transformieren von Sensordaten
DE102016118538A1 (de) * 2016-09-29 2018-03-29 Valeo Schalter Und Sensoren Gmbh Verfahren zum Klassifizieren eines Verkehrszeichens in einem Umgebungsbereich eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
CN108284838A (zh) * 2018-03-27 2018-07-17 杭州欧镭激光技术有限公司 一种用于检测车辆外部环境信息的检测系统及检测方法
US10891501B2 (en) * 2019-01-28 2021-01-12 Uber Technologies, Inc. Automatically associating road sign information with road segments using image data
US11293762B2 (en) * 2019-06-18 2022-04-05 Here Global B.V. System and methods for generating updated map data
CN111160466B (zh) * 2019-12-30 2022-02-22 深圳纹通科技有限公司 一种基于直方图统计的特征匹配算法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19831413C2 (de) * 1998-07-14 2002-03-07 Daimler Chrysler Ag Bildverarbeitungsverfahren und Vorrichtungen zur Erkennung von Objekten im Verkehr
DE19842176A1 (de) 1998-09-15 2000-03-16 Bosch Gmbh Robert Verfahren und Vorrichtung zur Verkehrszeichenerkennung und Navigation
DE19852631C2 (de) * 1998-11-14 2001-09-06 Daimler Chrysler Ag Vorrichtung und Verfahren zur Verkehrszeichenerkennung
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
DE10338455A1 (de) 2003-08-21 2005-04-14 Robert Bosch Gmbh Fahrerinformationsvorrichtung
JP2006235752A (ja) 2005-02-22 2006-09-07 Asahi Engineering Kk オブジェクト認識装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
EP1870020B1 (de) * 2005-04-13 2015-08-05 Olympus Medical Systems Corp. Bildverarbeitungsapparat und bildverarbeitungsverfahren
JP4717760B2 (ja) * 2006-08-31 2011-07-06 三菱電機株式会社 物体認識装置および映像物体測位装置
JP4988408B2 (ja) 2007-04-09 2012-08-01 株式会社デンソー 画像認識装置
JP2009043186A (ja) 2007-08-10 2009-02-26 Denso Corp 情報記憶装置、及び走行環境情報認識装置
US8233670B2 (en) * 2007-09-13 2012-07-31 Cognex Corporation System and method for traffic sign recognition
US20090313239A1 (en) * 2008-06-16 2009-12-17 Microsoft Corporation Adaptive Visual Similarity for Text-Based Image Search Results Re-ranking
EP2214122B1 (de) * 2009-02-03 2013-07-17 Harman Becker Automotive Systems GmbH Verfahren und Vorrichtung zur Unterstützung eines Fahrzeugfahrers

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BAY HERBERT ET AL: "SURF: Speeded Up Robust Features : 9th European Conference on Computer Vision, Graz, Austria, May 7-13, 2006. Proceedings, Part I", PATTERN RECOGNITION : 5TH ASIAN CONFERENCE, ACPR 2019, AUCKLAND, NEW ZEALAND, NOVEMBER 26-29, 2019, REVISED SELECTED PAPERS, PART II, vol. 3951, 7 May 2006 (2006-05-07), Cham, pages 404 - 417, XP055953470, ISSN: 0302-9743, ISBN: 978-3-030-41298-2, Retrieved from the Internet <URL:https://link.springer.com/content/pdf/10.1007/11744023_32.pdf> DOI: 10.1007/11744023_32 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021369A (zh) * 2014-04-30 2014-09-03 南京农业大学 基于数字图像处理技术的单株水稻穗部籽粒数计数方法

Also Published As

Publication number Publication date
WO2011000726A1 (de) 2011-01-06
US20120162429A1 (en) 2012-06-28
JP2012531685A (ja) 2012-12-10
US9030558B2 (en) 2015-05-12
DE102009027275A1 (de) 2010-12-30
CN102549602A (zh) 2012-07-04

Similar Documents

Publication Publication Date Title
WO2011000726A1 (de) Bildverarbeitungsverfahren für ein fahrerassistenzsystem eines kraftfahrzeugs zur detektion und klassifikation wenigstens eines teils wenigstens eines vorgegebenen bildelements
EP2569731B1 (de) Verfahren zur erkennung von verkehrszeichen
DE102006012914B4 (de) System und Verfahren zur Bestimmung des Abstands zu einem vorausfahrenden Fahrzeug
EP2740076B1 (de) Verfahren zur erkennung von verkehrszeichen
DE19982422C1 (de) Vorrichtung und Verfahren zur Verkehrszeichenerkennung
DE102013008451B4 (de) Fahrzeugeinparksteuerungssystem und Fahrzeugeinparksteuerungsverfahren, das dieses verwendet
WO2015048954A1 (de) Verfahren und vorrichtung zur erkennung von verkehrszeichen
DE102017208718A1 (de) Verfahren zur Erkennung von Objekten in einem Bild einer Kamera
EP2028605A1 (de) Detektionsverfahren für symmetrische Muster
EP2710573B1 (de) Verfahren und vorrichtung zum erkennen eines möglichen kollisionsobjektes
DE102017218366A1 (de) Verfahren und system zur fussgängererfassung in einem fahrzeug
DE102013222322A1 (de) Verfahren und Gerät für das Bereitstellen von Augmented Reality bzw. erweiterter Realität
EP3044727B1 (de) Verfahren und vorrichtung zur objekterkennung aus tiefenaufgelösten bilddaten
DE102014201158A1 (de) Verfahren und Vorrichtung zum Überprüfen eines von einer Objekterkennung erkannten relevanten Objekts
WO2018202552A1 (de) Verfahren und vorrichtung zum klassifizieren von objekten im umfeld eines kraftfahrzeuges
DE102017108255A1 (de) Parallele detektion von primitiven in einer szene unter verwendung eines rundum-kamerasystems
DE102017108248A1 (de) Strassenmerkmalserkennung mit einem fahrzeugkamerasystem
DE102009014437A1 (de) Objekterkennungssystem und -verfahren
EP2320384B1 (de) Verfahren zur Kennzeichenerkennung und Mautkategorisierung von Fahrzeugen
DE102008036219A1 (de) Verfahren zur Erkennung von Objekten im Umfeld eines Fahrzeugs
EP2048597A1 (de) Verfahren zur Objekterfassung
DE102020103770A1 (de) Identifizierung der Aufmerksamkeitsregion zur Verbesserung der sensorgestützten Erkennung in einem Fahrzeug
DE102017217063A1 (de) Erkennungssystem, Arbeitsverfahren und Trainingsverfahren zum Erzeugen eines 3D-Modells mit Referenzdaten
DE102016107530B4 (de) Vorschriftsgeschwindigkeitsanzeigevorrichtung eines Fahrzeugs
WO2017012743A1 (de) Verfahren zur plausibilisierung einer ansteuerentscheidung für sicherheitsmittel

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20120130

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20180531

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ROBERT BOSCH GMBH

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20230504