DE102009034026A1 - Verfahren und Vorrichtung zur Erkennung von Objekten in der Umgebung eines Sensorsystems, insbesondere eines Sensorsystems eines Fahrzeugs - Google Patents

Verfahren und Vorrichtung zur Erkennung von Objekten in der Umgebung eines Sensorsystems, insbesondere eines Sensorsystems eines Fahrzeugs Download PDF

Info

Publication number
DE102009034026A1
DE102009034026A1 DE102009034026A DE102009034026A DE102009034026A1 DE 102009034026 A1 DE102009034026 A1 DE 102009034026A1 DE 102009034026 A DE102009034026 A DE 102009034026A DE 102009034026 A DE102009034026 A DE 102009034026A DE 102009034026 A1 DE102009034026 A1 DE 102009034026A1
Authority
DE
Germany
Prior art keywords
radiation
vehicle
unit
environment
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102009034026A
Other languages
English (en)
Inventor
Guenter Bauer
Patrick Dr. Kuhl
Dominik Schneider
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102009034026A priority Critical patent/DE102009034026A1/de
Publication of DE102009034026A1 publication Critical patent/DE102009034026A1/de
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Erkennung von Objekten (O) in der Umgebung eines Sensorsystems, insbesondere eines Sensorsystems eines Fahrzeugs (1). In dem erfindungsgemäßen Verfahren wird mit einer ersten Sensoreinheit (1) des Sensorsystems, welche Strahlung im nicht-sichtbaren Wellenlängenbereich sensiert, die Umgebung erfasst, wobei aus der erfassten Umgebung Kandidaten für in der Umgebung vorhandene Objekte (O) ermittelt werden. Ferner wird zumindest ein Teil der Umgebung, umfassend zumindest einen Teil der Kandidaten durch eine Strahlungseinheit (4) mit Strahlung in einem vorgegebenen Wellenlängenbereich für eine vorbestimmte Zeitspanne angestrahlt, wobei der angestrahlte Teil der Umgebung zumindest teilweise mit einer zweiten Sensoreinheit (3) des Sensorsystems, welche Strahlung zumindest in einem Teil des vorgegebenen Wellenlängenbereichs sensiert, erfasst wird. Schließlich wird, basierend auf den ermittelten Kandidaten und dem mit der zweiten Sensoreinheit (3) erfassten Teil der Umgebung eine Objekterkennung durchgeführt.

Description

  • Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erkennung von Objekten in der Umgebung eines Sensorsystems, insbesondere eines in einem Fahrzeug verbauten Sensorsystems und besonders bevorzugt eines Sensorsystems eines Kraftfahrzeugs.
  • Aus dem Stand der Technik sind verschiedene dynamische Lichtsysteme bekannt, mit denen situationsabhängig das Licht einer Beleuchtungseinheit geeignet an die Umgebung angepasst werden kann. Solche dynamischen Lichtsysteme kommen insbesondere in der Fahrzeugtechnik zum Einsatz. Dabei gibt es im Fahrzeug verbaute Lichtanlagen, die anhand der Fahrdynamik die Ausrichtung des Lichts in der Kurve ändern. Ebenso sind Fernlichtassistenzsysteme bekannt, bei denen basierend auf einer Sensierung des Lichts von entgegenkommenden bzw. vorausfahrenden Fahrzeugen ein angeschaltetes Fernlicht eines Fahrzeugs automatisch abgeblendet wird.
  • Gemäß dem Stand der Technik gibt es ferner eine Vielzahl von unterschiedlichen Objekterkennungsverfahren, welche basierend auf der über eine oder mehrere Sensoreinheiten erfassten Umgebung entsprechende Objekte in der Umgebung detektieren können. Solche Objekterkennungsverfahren kommen insbesondere auch in der Automobiltechnik zum Einsatz und ermöglichen eine frühzeitige automatische Erkennung von vor einem Fahrzeug befindlichen Objekten, wie Fußgängern, unbeleuchteten Fahrradfahrern, Wild und dergleichen. Bekannte Systeme verwenden zur Objekterkennung z. B. Sensoren, welche in einem Wellenlängenbereich arbeiten, der nicht für das menschliche Auge sichtbar ist. Insbesondere werden Ferninfrarot-Kameras eingesetzt, welche die Wärmestrahlung von Objekten detektieren. Ebenso kommen Nahinfrarot-Kameras zum Einsatz, bei denen die Objekte mit Infrarotstrahlung angestrahlt werden und eine Detektion basierend auf der an den Objekten reflektierten Infrarotstrahlung erfolgt.
  • In dem Dokument [1] ist ein multi-spektrales Detektionssystem zur Objekterkennung beschrieben, welches die Umgebung sowohl mit einer Ferninfrarot-Kamera als auch mit einer im sichtbaren Wellenlängenbereich arbeitenden Videokamera erfasst und basierend auf einer Fusionierung der Sensordaten Objekte und deren Position zuverlässig detektiert.
  • Aufgabe der Erfindung ist es, bekannte Objekterkennungsverfahren, welche Daten aus mehreren Sensoreinheiten zur Objekterkennung verarbeiten, dahingehend zu verbessern, dass die Zuverlässigkeit der Objekterkennung weiter erhöht wird.
  • Diese Aufgabe wird durch das Verfahren gemäß Patentanspruch 1 bzw. die Vorrichtung gemäß Patentanspruch 15 gelöst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen definiert.
  • Das erfindungsgemäße Verfahren dient zur Erkennung von Objekten in der Umgebung eines Sensorsystems, wobei in einem Schritt a) mit einer ersten Sensoreinheit des Sensorsystems, welche Strahlung im für das menschliche Auge nicht-sichtbaren Wellenlängenbereich sensiert, die Umgebung erfasst wird und aus der erfassten Umgebung Kandidaten für in der Umgebung vorhandene Objekte ermittelt werden. Bei den Kandidaten handelt es sich somit um vermeintliche Objekte bzw. Hypothesen von Objekten, welche basierend auf Daten der ersten Sensoreinheit als solche erkannt wurden. In einem Schritt b) wird anschließend ein Teil der Umgebung umfassend zumindest einen Teil der Kandidaten durch eine Strahlungseinheit mit Strahlung in einem vorgegebenen Wellenlängenbereich für eine vorbestimmte Zeit angestrahlt. Gleichzeitig wird dabei der angestrahlte Teil der Umgebung zumindest teilweise mit einer zweiten Sensoreinheit des Sensorsystems erfasst, wobei die zweite Sensoreinheit Strahlung zumindest in einem Teil des vorgegebenen Wellenlängenbereichs der Strahlung der Strahlungseinheit sensiert. Auf diese Weise wird eine effektive Ausleuchtung von Kandidaten vermeintlicher Objekte in einem Wellenlängenbereich erreicht, der sich mit dem Spektrum der zweiten Sensoreinheit zumindest teilweise deckt. Der Begriff „Wellenlängenbereich” ist dabei weit auszulegen und kann ein Wellenlängenband beliebiger Breite und insbesondere gegebenenfalls auch ein sehr schmales Band bzw. eine einzelne Wellenlänge, wie sie z. B. von einem Laser erzeugt wird, umfassen. Der Begriff „Strahlung” bezieht sich hier und im Folgenden auf elektromagnetische Strahlung.
  • Erfindungsgemäß wird in einem Schritt c) des Verfahrens basierend auf den ermittelten Kandidaten und dem mit der zweiten Sensoreinheit erfassten Teil der Umgebung eine Objekterkennung durchgeführt, mit der festgestellt wird, welche der Kandidaten tatsächlich vorhandene Objekte sind. Dabei können hinlänglich aus dem Stand der Technik bekannte Objekterkennungsverfahren verwendet werden, welche die Daten verschiedener Sensoren in geeigneter Weise fusionieren. Insbesondere kann das in der oben genannten Druckschrift [1] beschriebene Objekterkennungsverfahren eingesetzt werden, bei dem Kandidaten von Objekten mittels einer Ferninfrarot-Kamera detektiert werden und diese Informationen den über eine Videokamera ermittelten Daten zur Objekterkennung fusioniert werden.
  • Das erfindungsgemäße Verfahren zeichnet sich dadurch aus, dass eine bessere Plausibilisierung der Kandidaten bzw. Hypothesen von Objekten dadurch erreicht wird, dass durch das Anstrahlen der vermeintlichen Objekte mit einer Strahlungseinheit eine verbesserte Sensierung der Umgebung erfolgt. Die Objekterkennung wird somit genauer und zuverlässiger.
  • In einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens ist die zweite Sensoreinheit versetzt zur ersten Sensoreinheit angeordnet, wobei in Schritt c) ein Stereo-Erkennungsverfahren zur Erkennung der Objekte eingesetzt wird, beispielsweise das in der oben genannten Druckschrift [1] beschriebene Verfahren. Hierdurch wird für erkannte Objekte eine verbesserte Positionsschätzung durch Stereoinformation erreicht, insbesondere kann der Abstand des Objekts zum Sensorsystem relativ genau bestimmt werden.
  • In einer besonders bevorzugten Variante des erfindungsgemäßen Verfahrens wird in Schritt a) die Umgebung mit einer ersten Sensoreinheit in der Form einer Ferninfrarot-Kamera erfasst. Hierdurch wird eine gute Objekterkennung in Dunkelheit bzw. bei Dämmerung ermöglicht. Alternativ bzw. zusätzlich kann die erste Sensoreinheit auch andere Sensoren, beispielweise einen Laser-Sensor oder einen Radar-Sensor oder eine Nahinfrarot-Kamera umfassen.
  • In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird in Schritt b) von der Strahlungseinheit Licht im sichtbaren Bereich ausgesendet und die zweite Sensoreinheit sensiert auch Licht im sichtbaren Bereich. Vorzugsweise ist die zweite Sensoreinheit dabei als Videokamera, insbesondere als CMOS-Videokamera, ausgestaltet. Zusätzlich oder alternativ ist es auch möglich, dass in Schritt b) von der Strahlungseinheit Licht im nicht-sichtbaren Bereich ausgesendet wird und die zweite Sensoreinheit Licht im nichtsichtbaren Bereich sensiert, wobei die zweite Sensoreinheit wiederum eine Videokamera umfasst, die jedoch im nicht-sichtbaren Bereich sensiert, beispielsweise eine Nahinfrarot-Kamera.
  • Die vorbestimmte Zeitspanne, für welche ein Objekt zur Erfassung durch die zweite Sensoreinheit angestrahlt wird, ist vorzugsweise relativ kurz. Insbesondere sollte die vorbestimmte Zeitspanne im Falle einer Strahlungseinheit, welche sichtbare Strahlung aussendet, derart kurz gewählt werden, dass die Strahlung nicht durch einen Benutzer, beispielsweise durch einen Fahrer in einem Fahrzeug, wahrgenommen wird. In diesem Fall sollte die vorbestimmte Zeitspanne zwischen 10 ms und 100 ms, insbesondere bei ungefähr 50 ms, liegen. Gegebenenfalls kann die Zeitspanne auch länger gewählt werden, insbesondere wenn die ausgesendete Strahlung nicht im sichtbaren Wellenlängenbereich liegt. In diesem Fall liegt die Zeitspanne vorzugsweise zwischen 100 ms und 200 ms.
  • In einer besonders bevorzugten Ausgestaltung der Erfindung werden einzelne, in Schritt a) als Objektkandidaten spezifizierte Positionen fokussiert angestrahlt. In diesem Fall ist die Strahlungseinheit verstellbar ausgestaltet und wird in Schritt b) auf eine oder mehrere der Kandidaten gerichtet.
  • Gegebenenfalls kann bei der Durchführung des erfindungsgemäßen Verfahrens für ein oder mehrere in Schritt c) erkannter Objekte ferner deren Abstand zum Sensorsystem ermittelt werden, so dass diese Messwerte gegebenenfalls bei der späteren Datenverarbeitung berücksichtigt werden können.
  • In einer weiteren, bevorzugten Ausgestaltung wird bei der Erkennung von einem oder mehreren Objekten in Schritt c) eine Warnung ausgegeben und/oder das oder die erkannten Objekte werden auf einer Anzeigevorrichtung markiert, wobei die Anzeigevorrichtung insbesondere im Innenraum eines Fahrzeugs vorgesehen ist, an dem das Sensorsystem und die Strahlungseinheit angebracht sind. Gegebenenfalls kann diese Warnung auch mit der oben beschriebenen Ermittlung des Abstands zwischen Sensorsystem und Objekten kombiniert werden. Vorzugsweise wird diese Warnung dabei erst dann ausgegeben, wenn der Abstand zumindest eines der erkannten Objekte zu dem Sensorsystem einen vorbestimmten Wert unterschreitet.
  • Gegebenenfalls kann ein Benutzer auch durch die Strahlungseinheit selbst auf Objekte in der Umgebung aufmerksam gemacht werden. In diesem Fall ist die Strahlungseinheit verstellbar ausgestaltet und ein oder mehrere in Schritt c) erkannter Objekte werden für den Benutzer, insbesondere den Insassen eines Fahrzeugs, wahrnehmbar durch die Strahlungseinheit angestrahlt, wobei die Strahlungseinheit insbesondere die Position des einen oder der mehreren erkannten Objekte nachverfolgt. Die Nachverfolgung erfolgt dabei wiederum basierend auf einer Objekterkennung mit Hilfe der Daten der ersten und der zweiten Sensoreinheit, beispielsweise basierend auf der im Dokument [1] beschriebenen Objekterkennung.
  • In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens, bei der die Strahlungseinheit und das Sensorsystem an einem Fahrzeug vorgesehen sind und die Strahlungseinheit erkannte Objekte für den Benutzer wahrnehmbar anstrahlt, sind die Strahlungseinheit und das Sensorsystem an ein Fernlichtassistenzsystem des Fahrzeugs gekoppelt. Fernlichtassistenzsysteme sind hinlänglich bekannt und blenden ein eingeschaltetes Fernlicht bei entgegenkommenden bzw. vorausfahrenden Fahrzeugen ab. Bei einer solchen Kopplung wird das Anstrahlen von erkannten Objekten beendet, wenn das Fernlichtassistenzsystem feststellt, dass vor dem Fahrzeug ein anderes Fahrzeug fährt oder dem Fahrzeug ein anderes Fahrzeug entgegenkommt. In einer weiteren Variante wird das Anstrahlen des einen oder der mehreren erkannten Objekte beendet, wenn diese Objekte innerhalb der Reichweite des Abblendlichts des Fahrzeugs liegen. In diesem Fall wird eine unnötige Beleuchtung von Objekten und eine damit verbundene Blendung anderer Verkehrsteilnehmer vermieden.
  • In einer weiteren Abwandlung des erfindungsgemäßen Verfahrens, welche auf einem Sensorsystem und einer Strahlungseinheit in einem Fahrzeug basiert, wird der zumindest eine Teil der Umgebung durch die Frontlichter und/oder eine oder mehrere separate Strahlungsquellen des Fahrzeugs angestrahlt. Die Fernlichter bzw. die Strahlungsquelle stellen dabei eine Strahlungseinheit im Sinne der Erfindung dar. Die Verwendung der Frontlichter hat den Vorteil, dass keine zusätzlichen Strahlungseinheiten am Fahrzeug vorgesehen werden müssen. Demgegenüber kann bei der Verwendung von separaten Strahlungsquellen gegebenenfalls die fokussierte Anstrahlung von Objektkandidaten erreicht werden.
  • Neben dem oben beschriebenen Verfahren betrifft die Erfindung eine Vorrichtung zur Erkennung von Objekten in einer Umgebung eines Sensorsystems, insbesondere eines Sensorsystems eines Fahrzeugs, vorzugsweise eines Kraftfahrzeugs. Die Vorrichtung umfasst dabei eine Verarbeitungseinrichtung, welche im Betrieb der Vorrichtung unter anderem eine erste Sensoreinheit des Sensorsystems, welche Strahlung im nichtsichtbaren Wellenlängenbereich sensiert, und eine zweite Sensoreinheit des Sensorsystems, welche Strahlung in zumindest einem Teil eines vorgegebenen Wellenlängenbereichs sensiert, sowie eine Strahlungseinheit zum Aussenden von Strahlung in dem vorgegebenen Wellenbereich steuert. Die Verarbeitungseinrichtung bewirkt dabei, dass mit der ersten Sensoreinheit die Umgebung erfasst wird und aus der erfassten Umgebung Kandidaten für in der Umgebung vorhandene Objekte ermittelt werden. Ferner bewirkt die Verarbeitungseinheit, dass zumindest ein Teil der Umgebung umfassend zumindest einen Teil der Kandidaten durch die Strahlungseinheit mit deren Strahlung für eine vorbestimmte Zeitspanne angestrahlt wird und der angestrahlte Teil der Umgebung zumindest teilweise mit der zweiten Sensoreinheit erfasst wird. Darüber hinaus führt die Verarbeitungseinheit basierend auf den ermittelten Kandidaten und dem mit der zweiten Sensoreinheit erfassten Teil der Umgebung eine Objekterkennung durch.
  • Die erfindungsgemäße Vorrichtung ist dabei vorzugsweise derart ausgestaltet, dass jede Variante des oben beschriebenen erfindungsgemäßen Verfahrens mit der Vorrichtung durchführbar ist.
  • Die Erfindung betrifft darüber hinaus ein Fahrzeug, insbesondere ein Kraftfahrzeug, umfassend ein Sensorsystem mit einer ersten Sensoreinheit, welche Strahlung im nichtsichtbaren Wellenlängenbereich sensiert, und mit einer zweiten Sensoreinheit, welche Strahlung in zumindest einem Teil eines vorgegebenen Wellenlängenbereichs sensiert. Dabei umfasst das Fahrzeug ferner eine Strahlungseinheit zum Aussenden von Strahlung in dem vorgegebenen Wellenlängenbereich sowie die oben beschriebene Vorrichtung zur Erkennung von Objekten in der Umgebung des Sensorsystems.
  • Eine Ausführungsform der Erfindung wird nachfolgend anhand der beigefügten 1 detailliert beschrieben. Diese Figur zeigt schematisch die Detektion eines Objekts basierend auf einem Ausführungsbeispiel mit Hilfe eines in einem Kraftfahrzeug verbauten Sensorsystems.
  • In 1 ist in Draufsicht ein Kraftfahrzeug 1 gezeigt, in dessen vorderen Bereich ein Sensorsystem integriert ist. Das Sensorsystem umfasst dabei eine passive Sensoreinheit (d. h. eine Sensoreinheit ohne aktive Strahlungsquelle) in der Form einer Ferninfrarot-Kamera 2, welche ein Beispiel eines ersten Sensorsystems im Sinne von Anspruch 1 darstellt. Die Ferninfrarot-Kamera erfasst dabei die Wärmeinfrarotstrahlung von Objekten im Bereich vor dem Fahrzeug und kann somit auch Objekte bei Dunkelheit bzw. Dämmerung detektieren, welche mit dem menschlichen Auge bzw. einem im sichtbaren Wellenlängenbereich arbeitenden Sensor nicht erfasst werden können. Darüber hinaus ist eine CMOS-Videokamera 3 (z. B. eine CMOS-Kamera) vorgesehen, welche die Umgebung vor dem Fahrzeug im sichtbaren Wellenlängenbereich erfasst und ein Beispiel einer zweiten Sensoreinheit im Sinne von Anspruch 1 darstellt. Die Ferninfrarot-Kamera 2 und die Videokamera 3 sind senkrecht zur Fahrtrichtung des Fahrzeugs versetzt zueinander angeordnet, wobei die Fahrtrichtung in 1 durch den Pfeil P angedeutet ist. Ferner ist schematisch der Winkelbereich, in dem die Ferninfrarot-Kamera 2 die Umgebung erfasst, durch den Öffnungswinkel α und der Winkelbereich, in dem die Videokamera 3 die Umgebung erfasst durch den Öffnungswinkel β spezifiziert.
  • Die Ferninfrarot-Kamera 2 und die Videokamera 3 sind dabei Sensoreinheiten, welche bereits derzeit in herkömmlichen Fahrzeugen verbaut sind, wobei die Ferninfrarot-Kamera 2 in einer entsprechenden Anzeigevorrichtung im Fahrzeuginnenraum bei Dunkelheit bzw. Dämmerung ein Wärmebild liefert, so dass der Fahrer des Fahrzeugs für ihn nicht sichtbare Objekte frühzeitig erkennen kann. Die Videokamera 3 ist vorzugsweise ein Kamerasystem, welches von integrierten Fahrerassistenzsystemen verwendet wird, wie z. B. einem Spurverlassensassistenten, der die Fahrbahnmarkierungen detektiert und beim Verlassen der Spur eine entsprechende Warnung für den Fahrer ausgibt.
  • In dem Fahrzeug der 1 ist ferner eine Beleuchtungseinheit 4 vorgesehen, welche analog zu den Kameras 2 und 3 im vorderen Bereich des Fahrzeugs angeordnet ist. In der hier beschriebenen Ausführungsform ist die Beleuchtungseinheit eine zusätzlich zu den Frontscheinwerfern vorgesehene Beleuchtungseinrichtung, welche beispielsweise auf LEDs basiert und welche einen in der Richtung verstellbaren Beleuchtungsstrahl mit kleiner Winkelausdehnung erzeugen kann, wobei in 1 ein solcher Strahl mit Bezugszeichen B bezeichnet ist und schraffiert wiedergegeben ist.
  • Das hier beschriebene erfindungsgemäße Verfahren beruht auf der Idee, mittels im Kraftfahrzeug vorhandener Sensorik und Sensorverarbeitung die Zuverlässigkeit einer Objekterkennung dadurch zu verbessern, dass die Positionen in der Umgebung, an denen ein Objekt vermutet wird, zur besseren Objektdetektion kurzzeitig mittels der Beleuchtungseinheit 4 angeleuchtet werden. Die Verarbeitung der mit den Kameras 2 und 3 erfassten Bilder ist dabei an sich bekannt und beruht insbesondere auf der in der bereits genannten Druckschrift [1] beschriebenen Verarbeitung, bei der Objekte mit Hilfe eines Stereo-Erkennungsverfahrens erkannt werden, welches den Versatz zwischen der Ferninfrarot-Kamera 2 und der Videokamera 3 berücksichtigt. Durch das Verfahren in der Druckschrift [1] wird insbesondere auch der Abstand des entsprechend detektierten Objekts von dem Fahrzeug bestimmt.
  • Gemäß dem hier beschriebenen Ausführungsbeispiel der Erfindung wird zunächst eine Objekterkennung basierend auf dem mit der Ferninfrarot-Kamera erfassten Bild durchgeführt. Hieraus werden Hypothesen für Objekte vor dem Fahrzeug ermittelt. In dem Szenario der 1 ergibt sich dabei eine Hypothese für das dargestellte Objekt O, bei dem es sich um eine Person handelt, die sich vor dem Fahrzeug 1 befindet. Die Hypothesen werden an eine übergeordnete Verarbeitungseinheit im Fahrzeug gesendet, welche nicht in 1 dargestellt ist. Diese Einheit steuert die Beleuchtungseinheit 4, wobei die Beleuchtungseinheit zunächst ausgeschaltet ist. Basierend auf der Hypothese des Objekts O richtet sich die Beleuchtungseinheit in Richtung auf die Position dieser Hypothese aus. Anschließend wird das vermeintliche Objekt für eine kurze Zeit über die Beleuchtungseinheit angestrahlt, d. h. es wird ein Beleuchtungsstrahl B in der Form eines Lichtblitzes erzeugt, der auf das vermeintliche Objekt fällt. Dieser Lichtblitz liegt dabei im sichtbaren Wellenlängenbereich, d. h. in einem Spektrum, welches von der Videokamera 3 erfasst werden kann. Der Lichtblitz ist jedoch derart kurz, dass er nicht für das menschliche Auge eines Insassen im Fahrzeug wahrnehmbar ist. Insbesondere liegt der Lichtblitz im Bereich von unter 100 ms, beispielsweise bei 50 ms.
  • Das Aussenden des Lichtblitzes ist über die Verarbeitungseinheit mit der Videokamera 3 derart synchronisiert, dass die Videokamera einige Bilderframes genau beim Aussenden des Lichtblitzes erfasst. Auf diese Weise wird eine verbesserte Aufnahme eines vermeintlichen Objekts vor dem Fahrzeug über die Videokamera 3 erreicht. Die Daten der Ferninfrarot-Kamera 2 und der Videokamera 3 werden dann mit der Verarbeitungseinheit basierend auf dem oben erwähnten Stereo-Verfahren der Druckschrift [1] fusioniert, wobei die Detektion des Objekts nunmehr verbessert ist, da die Videokamera 3 aussagekräftige Bilder aufgrund der Beleuchtung des Objekts liefert. Wird basierend auf der mit dem Stereo-Verfahren durchgeführten Analyse der mit den Kameras 2 und 3 erfassten Bilder nunmehr die ursprüngliche Hypothese des Objekts als ein tatsächlich vorhandenes Objekt plausibilisiert, wird in der hier beschriebenen Ausführungsform der Erfindung die Beleuchtungseinheit 4 dauerhaft eingeschaltet, wobei der Beleuchtungsstrahl B der Beleuchtungseinheit das Objekt O bei einer Positionsänderung verfolgt. Die Positionsänderungen des Objekts werden wiederum basierend auf der Analyse der mit den Kameras 2 und 3 erfassten Bildern erfasst. Alternativ oder zusätzlich ist es ferner möglich, dass eine entsprechende Warnung an den Fahrer ausgegeben wird, sofern das Objekt einen vorbestimmten Abstand zum Fahrzeug unterschreitet, wobei hierzu der über das Objekterkennungsverfahren ermittelte Abstand herangezogen wird.
  • In einer bevorzugten Variantedes erfindungsgemäßen Verfahrens wird das entsprechend erkannte Objekt auch auf einer Anzeigevorrichtung im Innenraum des Fahrzeugs, welche üblicherweise das Wärmebild der Kamera 2 zeigt, in geeigneter Weise markiert, beispielsweise mit einer Umrandung versehen. In einer weiteren Ausführungsform ist die Beleuchtungseinheit 4 mit dem Abblendlicht des Fahrzeugs 1 kombiniert. Dabei wird die Beleuchtung mittels der Beleuchtungseinheit beendet, sobald sich das Objekt im Bereich des Abblendlichts des Fahrzeugs befindet, was wiederum über den ermittelten Abstand zwischen Objekt und Fahrzeug bestimmt werden kann. Darüber hinaus ist in einer weiteren bevorzugten Ausgestaltung der Erfindung die Beleuchtungseinheit auch mit der Fernlichtassistenzfunktion des Fahrzeugs kombiniert. Gemäß dieser Funktion erfolgt ein Abblenden des Fernlichts des Fahrzeugs, wenn die Lichter von entgegenkommenden Fahrzeugen bzw. die Rückleuchten von vorausfahrenden Fahrzeugen detektiert werden, wobei diese Detektion gegebenenfalls auch mit der Videokamera 3 erfolgen kann. Unter Zuhilfenahme dieser Fernlichtassistenzfunktion wird dabei das Anleuchten des Objekts O dann unterdrückt, wenn die Fernlichtassistenzfunktion feststellt, dass dem Fahrzeug 1 ein anderes Fahrzeug entgegen kommt bzw. vor dem Fahrzeug 1 ein anderes Fahrzeug fährt.
  • In dem Beispiel der 1 wird mit der Beleuchtungseinheit 4 nur ein einzelnes Objekt angestrahlt. Gegebenenfalls können mehrere Beleuchtungseinheiten vorgesehen sein bzw. die Beleuchtungseinheit derart ausgestaltet sein, dass auch mehrere Objekte durch entsprechende Lichtstrahlen gleichzeitig angeleuchtet werden können. Gegebenenfalls ist es auch möglich, dass die Beleuchtungseinheit nicht dediziert auf ein vermeintliches Objekt leuchtet, sondern insgesamt den Bereich vor dem Fahrzeug ausleuchtet. In diesem Fall können gegebenenfalls auch die Frontlichter des Fahrzeugs zum Aussenden des Lichtblitzes verwendet werden.
  • Das im Vorangegangenen beschriebene Verfahren weist den Vorteil auf, dass durch die Kombination von zwei Sensoreinheiten mit einer Ausleuchtung durch eine Beleuchtungseinheit unbeleuchtete Objekte, wie Fußgänger, Fahrradfahrer und dergleichen, besser und zu einem früheren Zeitpunkt bei Nachtfahrten bzw. Fahrten in der Dämmerung automatisch erkannt werden, so dass der Fahrer auf diese Objekte hingewiesen werden kann. Das Verfahren verwendet dabei zur Analyse der Bilder bereits aus dem Stand der Technik bekannte Verfahren, wobei die Objekterkennung jedoch durch die zusätzliche Strahlung einer Beleuchtungseinheit verbessert wird. Die Kosten für die Umsetzung des Verfahrens können gering gehalten werden, da insbesondere bereits im Fahrzeug verbaute Sensoreinheiten, wie z. B. die Ferninfrarot-Kamera eines Nachtsichtsystems und die Kamera eines kamerabasierten Fahrerassistenzsystems, zur Bilderfassung eingesetzt werden können. Die verbesserte Objekterkennung kann somit auf Seiten der Sensorik und der Sensorverarbeitung mit überschaubarem Aufwand umgesetzt werden.
  • Literaturverzeichnis
    • [1] Günter Bauer, Florian Homm, Leonhard Walchshäusl, Darius Burschka: Multi Spectral Pedestrian Detection and Localization; Advanced Microsystems for Automotive Applications 2008; Springer Verlag; Seiten 21 bis 35.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Nicht-Patentliteratur
    • - Günter Bauer, Florian Homm, Leonhard Walchshäusl, Darius Burschka: Multi Spectral Pedestrian Detection and Localization; Advanced Microsystems for Automotive Applications 2008; Springer Verlag; Seiten 21 bis 35 [0033]

Claims (17)

  1. Verfahren zur Erkennung von Objekten (O) in der Umgebung eines Sensorsystems, insbesondere eines Sensorsystems eines Fahrzeugs (1), bei dem: a) mit einer ersten Sensoreinheit (2) des Sensorsystems, welche Strahlung im nicht-sichtbaren Wellenlängenbereich sensiert, die Umgebung erfasst wird und aus der erfassten Umgebung ein oder mehrere Kandidaten für in der Umgebung vorhandene Objekte (O) ermittelt werden; b) zumindest ein Teil der Umgebung umfassend zumindest einen Teil der Kandidaten durch eine Strahlungseinheit (4) mit Strahlung in einem vorgegebenen Wellenlängenbereich für eine vorbestimmte Zeitspanne angestrahlt wird und der angestrahlte Teil der Umgebung zumindest teilweise mit einer zweiten Sensoreinheit (3) des Sensorsystems, welche Strahlung zumindest in einem Teil des vorgegebenen Wellenlängenbereichs sensiert, erfasst wird; c) basierend auf dem oder den ermittelten Kandidaten und dem mit der zweiten Sensoreinheit (3) erfassten Teil der Umgebung eine Objekterkennung durchgeführt wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die zweite Sensoreinheit (3) versetzt zur ersten Sensoreinheit (2) angeordnet ist und in Schritt c) ein Stereo-Erkennungsverfahren zur Erkennung der Objekte (O) eingesetzt wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass in Schritt a) die Umgebung mit einer ersten Sensoreinheit (2) in der Form einer Ferninfrarot-Kamera und/oder eines Laser-Sensors und/oder eines Radar-Sensors oder einer Nahinfrarot-Kamera erfasst wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Schritt b) von der Strahlungseinheit (4) Licht im sichtbaren Bereich ausgesendet wird und die zweite Sensoreinheit (3) Licht im sichtbaren Bereich sensiert, wobei die zweite Sensoreinheit (3) vorzugsweise eine Videokamera umfasst.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Schritt b) von der Strahlungseinheit (4) Licht im nicht-sichtbaren Wellenlängenbereich ausgesendet wird und die zweite Sensoreinheit (3) Licht im nichtsichtbaren Wellenlängenbereich sensiert, wobei die zweite Sensoreinheit vorzugsweise eine Videokamera, insbesondere eine Nahinfrarot-Kamera, umfasst.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die vorbestimmte Zeitspanne, für welche der zumindest eine Teil der Umgebung durch die Strahlungseinheit angestrahlt wird, zwischen 10 und 100 Millisekunden, vorzugsweise bei 50 Millisekunden, oder zwischen 100 und 200 Millisekunden liegt.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Strahlungseinheit (4) verstellbar ist und in Schritt b) auf einen oder mehrere der Kandidaten gerichtet wird.
  8. Verfahren einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für ein oder mehrere in Schritt c) erkannter Objekte (O) ferner deren Abstand zu dem Sensorsystem ermittelt wird.
  9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass bei der Erkennung von einem oder mehreren Objekten (O) in Schritt c) eine Warnung ausgegeben wird und/oder das oder die erkannten Objekte (O) auf einer Anzeigevorrichtung markiert werden, insbesondere auf einer Anzeigevorrichtung im Innenraum eines Fahrzeugs, an dem das Sensorsystem und die Strahlungseinheit (4) vorgesehen sind.
  10. Verfahren nach Anspruch 8 und 9, dadurch gekennzeichnet, dass die Warnung erst dann ausgegeben wird, wenn der Abstand zumindest eines der erkannten Objekte (O) zu dem Sensorsystem einen vorbestimmten Wert unterschreitet.
  11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Strahlungseinheit (4) verstellbar ist und ein oder mehrere in Schritt c) erkannter Objekte (O) für einen Benutzer, insbesondere den Insassen eines Fahrzeugs, wahrnehmbar durch die Strahlungseinheit (4) angestrahlt werden, wobei die Strahlungseinheit (4) insbesondere die Position des einen oder der mehreren erkannten Objekte (O) nachverfolgt.
  12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass die Strahlungseinheit (4) und das Sensorsystem an einem Fahrzeug (1) vorgesehen sind und an ein Fernlichtassistenzsystem des Fahrzeugs (1) gekoppelt sind, wobei das Anstrahlen des einen oder der mehreren erkannten Objekte (O) beendet wird, wenn das Fernlichtassistenzsystem feststellt, dass vor dem Fahrzeug (1) ein anderes Fahrzeug fährt oder dem Fahrzeug (1) ein anderes Fahrzeug entgegenkommt.
  13. Verfahren nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass die Strahlungseinheit (4) und das Sensorsystem an einem Fahrzeug (1) vorgesehen sind und das Anstrahlen des einen oder der mehreren erkannten Objekte (O) beendet wird, wenn diese Objekte (O) innerhalb der Reichweite des Abblendlichts des Fahrzeugs (1) liegen.
  14. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Strahlungseinheit (4) und das Sensorsystem an einem Fahrzeug (1) vorgesehen sind und der zumindest eine Teil der Umgebung durch die Frontlichter und/oder eine oder mehrere separate Strahlungseinheiten (4) des Fahrzeugs (1) angestrahlt wird.
  15. Vorrichtung zur Erkennung von Objekten (O) in einer Umgebung eines Sensorsystems, insbesondere eines Sensorsystems eines Fahrzeugs (1), umfassend eine Verarbeitungseinrichtung zur Steuerung einer ersten Sensoreinheit (2) des Sensorsystems, welche Strahlung im nicht-sichtbaren Wellenlängenbereich sensiert, und einer zweiten Sensoreinheit (3) des Sensorsystems, welche Strahlung in zumindest einem Teil eines vorgegebenen Wellenlängenbereichs sensiert, sowie einer Strahlungseinheit (4) zum Aussenden von Strahlung in dem vorgegebenen Wellenbereich, wobei im Betrieb der Vorrichtung: a) die Verarbeitungseinrichtung bewirkt, dass mit der ersten Sensoreinheit (2) die Umgebung erfasst wird und aus der erfassten Umgebung Kandidaten für in der Umgebung vorhandene Objekte (O) ermittelt werden; b) die Verarbeitungseinheit bewirkt, dass zumindest ein Teil der Umgebung umfassend zumindest einen Teil der Kandidaten durch die Strahlungseinheit (4) mit deren Strahlung für eine vorbestimmte Zeitspanne angestrahlt wird und der angestrahlte Teil der Umgebung zumindest teilweise mit der zweiten Sensoreinheit (3) erfasst wird; c) die Verarbeitungseinheit basierend auf den ermittelten Kandidaten und dem mit der zweiten Sensoreinheit (3) erfassten Teil der Umgebung eine Objekterkennung durchführt.
  16. Vorrichtung nach Anspruch 15, dadurch gekennzeichnet, dass die Vorrichtung derart ausgestaltet ist, dass ein Verfahren nach einem der Ansprüche 2 bis 14 mit der Vorrichtung durchführbar ist.
  17. Fahrzeug, insbesondere Kraftfahrzeug, umfassend ein Sensorsystem mit einer ersten Sensoreinheit (2), welche Strahlung im nicht-sichtbaren Wellenlängenbereich sensiert, und mit einer zweiten Sensoreinheit (3), welche Strahlung in zumindest einem Teil eines vorgegebenen Wellenlängenbereichs sensiert, wobei das Fahrzeug ferner eine Strahlungseinheit (4) zum Aussenden von Strahlung in dem vorgegebenen Wellenlängenbereich sowie eine Vorrichtung nach Anspruch 15 oder 16 zur Erkennung von Objekten in der Umgebung des Sensorsystems umfasst.
DE102009034026A 2009-07-21 2009-07-21 Verfahren und Vorrichtung zur Erkennung von Objekten in der Umgebung eines Sensorsystems, insbesondere eines Sensorsystems eines Fahrzeugs Ceased DE102009034026A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102009034026A DE102009034026A1 (de) 2009-07-21 2009-07-21 Verfahren und Vorrichtung zur Erkennung von Objekten in der Umgebung eines Sensorsystems, insbesondere eines Sensorsystems eines Fahrzeugs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102009034026A DE102009034026A1 (de) 2009-07-21 2009-07-21 Verfahren und Vorrichtung zur Erkennung von Objekten in der Umgebung eines Sensorsystems, insbesondere eines Sensorsystems eines Fahrzeugs

Publications (1)

Publication Number Publication Date
DE102009034026A1 true DE102009034026A1 (de) 2011-01-27

Family

ID=43383919

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102009034026A Ceased DE102009034026A1 (de) 2009-07-21 2009-07-21 Verfahren und Vorrichtung zur Erkennung von Objekten in der Umgebung eines Sensorsystems, insbesondere eines Sensorsystems eines Fahrzeugs

Country Status (1)

Country Link
DE (1) DE102009034026A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3562145A1 (de) * 2018-04-25 2019-10-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren und vorrichtung zum betrieb eines fortschrittlichen fahrerassistenzsystems eines fahrzeugs
DE102019206231A1 (de) * 2019-04-30 2020-11-05 Zf Friedrichshafen Ag Kamerabasierte Positionsbestimmung für ein Objekt in einem Umfeld eines Fahrzeugs unter Verwendung einer epipolaren Bildlinie

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0436213A2 (de) * 1990-01-02 1991-07-10 Honeywell Inc. System zur Detektion eines Hindernisses
DE4344485A1 (de) * 1992-12-22 1994-06-23 Mitsubishi Electric Corp Fahrumgebungs-Überwachungsgerät
DE19518978A1 (de) * 1994-05-26 1995-11-30 Mitsubishi Electric Corp Hinderniserfassungssystem für Kraftfahrzeuge
GB2309555A (en) * 1996-01-27 1997-07-30 Rover Group Cruise control system
DE10011263A1 (de) * 2000-03-08 2001-09-13 Bosch Gmbh Robert Objektdetektionssystem
DE10154861A1 (de) * 2001-11-08 2003-05-22 Ibeo Automobile Sensor Gmbh Verfahren zur Bereitstellung von Bildinformationen
DE102007013664A1 (de) * 2006-03-22 2007-09-27 Daimlerchrysler Ag Multisensorieller Hypothesen-basierter Objektdetektor und Objektverfolger

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0436213A2 (de) * 1990-01-02 1991-07-10 Honeywell Inc. System zur Detektion eines Hindernisses
DE4344485A1 (de) * 1992-12-22 1994-06-23 Mitsubishi Electric Corp Fahrumgebungs-Überwachungsgerät
DE19518978A1 (de) * 1994-05-26 1995-11-30 Mitsubishi Electric Corp Hinderniserfassungssystem für Kraftfahrzeuge
GB2309555A (en) * 1996-01-27 1997-07-30 Rover Group Cruise control system
DE10011263A1 (de) * 2000-03-08 2001-09-13 Bosch Gmbh Robert Objektdetektionssystem
DE10154861A1 (de) * 2001-11-08 2003-05-22 Ibeo Automobile Sensor Gmbh Verfahren zur Bereitstellung von Bildinformationen
DE102007013664A1 (de) * 2006-03-22 2007-09-27 Daimlerchrysler Ag Multisensorieller Hypothesen-basierter Objektdetektor und Objektverfolger

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Günter Bauer, Florian Homm, Leonhard Walchshäusl, Darius Burschka: Multi Spectral Pedestrian Detection and Localization; Advanced Microsystems for Automotive Applications 2008; Springer Verlag; Seiten 21 bis 35

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3562145A1 (de) * 2018-04-25 2019-10-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren und vorrichtung zum betrieb eines fortschrittlichen fahrerassistenzsystems eines fahrzeugs
DE102019206231A1 (de) * 2019-04-30 2020-11-05 Zf Friedrichshafen Ag Kamerabasierte Positionsbestimmung für ein Objekt in einem Umfeld eines Fahrzeugs unter Verwendung einer epipolaren Bildlinie

Similar Documents

Publication Publication Date Title
DE10336681B4 (de) Kraftfahrzeug
EP1214224B1 (de) Kraftfahrzeug- sensoranordnung zur umgebungserfassung
DE102011081428A1 (de) Verfahren zum Bestimmen einer Objektklasse eines Objekts, von dem aus Licht zu einem Fahrzeug ausgesandt und/oder reflektiert wird
DE102006008274B4 (de) Kraftfahrzeug mit einer optischen Erfassungsvorrichtung und Verfahren zum Betreiben eines Kraftfahrzeugs
DE102009051485A1 (de) Verfahren und Vorrichtung zur Steuerung eines Fahrlichts eines Fahrzeugs
EP2508392A1 (de) Verfahren und Vorrichtung zum Steuern der Lichtabgabe eines Frontscheinwerfers eines Fahrzeugs
EP2748032B1 (de) Verfahren und vorrichtung zur ansteuerung eines scheinwerfers eines fahrzeugs
DE102014212777B4 (de) Verfahren und Vorrichtung zur automatischen Steuerung eines Scheibenwischers
DE102009002101A1 (de) Verfahren und Vorrichtung zur Ausleuchtung von Fahrbahnseitenbereichen
DE102013012325A1 (de) Fahrerassistenzsystem und Betriebsverfahren dafür
DE112017006833T5 (de) Fahrzeugbeleuchtungssystem
WO2018206213A1 (de) Verfahren und vorrichtung zur ortsaufgelösten detektion von einem fahrzeugexternen objekt mithilfe eines in einem fahrzeug verbauten sensors
DE102010039092A1 (de) Verfahren und Steuergerät zum Ermitteln eines Abstandes eines Objektes von einem Fahrzeug
DE102014009254B4 (de) Verfahren zum Steuern einer Lichtverteilung eines Scheinwerfers eines Fahrzeugs
DE102014019420A1 (de) Kraftfahrzeugscheinwerfersystem, Kraftfahrzeug, Verfahren zum Betrieb eines Kraftfahrzeugscheinwerfersystems sowie Computerprogrammprodukt
WO2018103875A1 (de) Verfahren zur steuerung der frontlichtverteilung eines fahrzeuges
EP1513705A1 (de) Verfahren und vorrichtung zur steuerung der lichtverteilung eines kraftfahrzeuges
DE102014008100A1 (de) Fahrzeug mit einer Vorrichtung zur Unterstützung eines Fahrers beim Führen des Fahrzeugs
DE102015218500A1 (de) Beleuchtung und kamerabasierte Detektion von Regentropfen auf einer Scheibe
EP2080684A1 (de) Verfahren und Vorrichtung zum Erfassen eines vorbeifahrenden Fahrzeuges bei Dunkelheit
DE102013022050A1 (de) Verfahren zum Verfolgen eines Zielfahrzeugs, insbesondere eines Motorrads, mittels eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102017204836A1 (de) Verfahren und Vorrichtung zum Erfassen von Objekten in der Umgebung eines Fahrzeuges
EP2131308B1 (de) Verfahren und Vorrichtung zum Klassifizieren eines in mindestens einem Bild einer Abbildung eines Bereichs vor einem Fahrzeug detektierten Objekts
DE102009034026A1 (de) Verfahren und Vorrichtung zur Erkennung von Objekten in der Umgebung eines Sensorsystems, insbesondere eines Sensorsystems eines Fahrzeugs
DE102015209550A1 (de) Verfahren und vorrichtung zur erkennung von objekten in einer fahrzeugumgebung eines fahrzeugs

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final