DE102007025373B3 - Visuelle Überwachung mit Entfernungsbestimmung und Plausibilitätsprüfung anhand von Bildgrößen - Google Patents

Visuelle Überwachung mit Entfernungsbestimmung und Plausibilitätsprüfung anhand von Bildgrößen Download PDF

Info

Publication number
DE102007025373B3
DE102007025373B3 DE102007025373A DE102007025373A DE102007025373B3 DE 102007025373 B3 DE102007025373 B3 DE 102007025373B3 DE 102007025373 A DE102007025373 A DE 102007025373A DE 102007025373 A DE102007025373 A DE 102007025373A DE 102007025373 B3 DE102007025373 B3 DE 102007025373B3
Authority
DE
Germany
Prior art keywords
evaluation unit
distance information
image
monitoring device
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE102007025373A
Other languages
English (en)
Inventor
Martin Wüstefeld
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sick AG
Original Assignee
Sick AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sick AG filed Critical Sick AG
Priority to DE102007025373A priority Critical patent/DE102007025373B3/de
Application granted granted Critical
Publication of DE102007025373B3 publication Critical patent/DE102007025373B3/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04Systems determining the presence of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of Optical Distance (AREA)
  • Traffic Control Systems (AREA)

Abstract

Es wird eine visuelle Überwachungsvorrichtung (10) mit einem Bildsensor (12) angegeben, welcher erste Entfernungsinformationen aufweisende Bilddaten aufnehmen kann und mit einer Auswertungseinheit (22), welche für die Erkennung von Objekten (28) aus den Bilddaten und zur Verfolgung der Objektbewegung (29) durch Auswertung zeitlich aufeinanderfolgender Sätze der Bilddaten ausgebildet ist. Dabei kann die Auswertungseinheit (22) weiterhin aus einer Änderung einer Bildgröße der Objekte (28) über die aufeinanderfolgenden Sätze zweite Entfernungsinformationen berechnen und ist dafür ausgebildet, die ersten Entfernungsinformationen anhand der zweiten Entfernungsinformationen auf Plausibilität zu prüfen. Weiterhin wird ein Verfahren zur visuellen Überwachung angegeben.

Description

  • Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur visuellen Überwachung mit Entfernungsinformationen aufweisenden Bilddaten nach dem Oberbegriff von Anspruch 1 beziehungsweise 11.
  • Die zunehmende Verfügbarkeit der erforderlichen schnellen Hardware ermöglicht dreidimensionale visuelle Überwachungs- oder Schutzvorrichtungen. Durch die zusätzlichen Entfernungsinformationen eines dreidimensionalen Bildes sind wesentlich genauere und differenziertere Auswertungen des aufgenommenen oder überwachten Bildbereichs möglich. Mögliche Ungenauigkeiten oder Fehler bei der Entfernungsbestimmung sind aber andererseits auch eine Fehlerquelle bei der Erkennung oder Zuordnung von Objekten im Bildbereich, die gerade bei kritischen Anwendungen, wie solchen der Sicherheitstechnik, vermieden werden müssen. Dies gilt in besonderem Maße bei mobilen Anwendungen, die eine sehr hohe Dynamik der aufgenommenen Bilder erzeugen, wie beispielsweise ständig sich ändernde Lichtverhältnisse, welche die Bildverarbeitung zusätzlich erschweren.
  • Zu den bekannten Verfahren zur Erzeugung eines dreidimensionalen Bildes auf Kamerabasis zählen die Triangulation, die Stereoskopie und Lichtlaufzeitverfahren. Bei der Triangulation wird der Überwachungsbereich der Kamera aktiv mit einem Muster beleuchtet, wobei Charakteristika dieses Musters als Bezugspunkte oder Bezugsstrahlen verwendet werden, aus deren Lage die Entfernung des Aftreffpunkts des entsprechenden charakteristischen Merkmals trigonometrisch berechnet werden kann. Dieses Verfahren ist demnach auf eine entsprechende strukturierte Beleuchtung angewiesen, die das Muster im Überwachungsbereich erzeugt.
  • In der Stereoskopie nehmen zwei oder mehrere Kameras den Überwachungsbereich aus unterschiedlicher Perspektive auf. Aus der unterschiedlichen Lage von Objekten in den beiden Bildern wird dann mittels einer Disparitätsschätzung die Objektentfernung berechnet. Die Stereoskopie benötigt nicht nur notwendig mehrere Kameras, vor allem müssen in den beiden aufgenommenen Bildern übereinstimmende Objekt identifiziert werden, was fehleranfällig und rechenintensiv ist.
  • Lichtlaufzeitverfahren schließlich beruhen darauf, einen Lichtpuls in den Überwachungsbereich zu strahlen und die Zeit zu bestimmen, bis der reflektierte Lichtpuls zurückgekehrt ist. Alternativ kann moduliertes Licht eingesetzt und die Laufzeit aus der Phasenverschiebung bestimmt werden. Für diese Verfahren ist zum einen eine Lichtquelle und zum anderen eine Elektronik mit der entsprechenden zeitlichen Präzision erforderlich. Hierfür sind Bildaufnahmechips verfügbar, die auf Basis der Photonmischdetektion (PMD) neben dem üblichen Grauwert- oder Farbbild anhand eines phasenbasierten Lichtlaufzeitverfahrens auch Entfernungen in jedem Bildpunkt bestimmen können.
  • Ein Einsatzgebiet visueller Überwachungssensoren ist die Sicherheitstechnik, bei der ein Gefahrenbereich abgesichert wird, wie an einer Presse oder einem Roboter, um Bedienpersonal nicht zu gefährden. Erkennt dieser Sensor einen unerlaubten Objekteingriff, so sichert er die Gefahrenquelle ab, indem beispielsweise die Maschine sofort abgeschaltet oder sonst in einen ungefährlichen Zustand gebracht wird. In diesem Einsatzfeld, wo Leben und Gesundheit des Bedienpersonals von der fehlerfreien Funktionsfähigkeit abhängt, dürfen keine Erkennungs- oder Entfernungsabschätzungsfehler passieren.
  • Möchte man deshalb für sicherheitstechnische Anwendungen die Entfernungsbestimmung eines solchen Verfahrens mittels eines weiteren Verfahrens überprüfen, so ist immer erheblicher Zusatzaufwand erforderlich, etwa eine strukturierte Beleuchtung oder ein spezieller PMD-Bildaufnahmechip.
  • Aus der EP 154 32 70 B1 ist bekannt, in einem auf Stereoskopie basierenden visuellen Überwachungssensor zwei Auswertungsverfahren diversitär-redundant zu implementieren. Dabei wird zum einen eine Kantendetektion und zum anderen ein Korrelationsmaß verwendet, um in den beiden Bildern gleiche Objekte zu identifizieren. Erkennt eines der beiden Verfahren einen Objekteingriff, so wird eine Sicherheitsfunktion ausgelöst.
  • Die US 6 297 844 B1 offenbart einen visuellen Sicherheitsvorhang, bei dem eine Stereokamera jeweils Merkmale des aktuellen Bildes mit vorher eingelernten Merkmalen eines Referenzbildes vergleicht. In einer besonderen Ausführungsform werden dabei Objekte auch über eine Reihe aufeinanderfolgende Bilder verfolgt und deren Trajektorien rekonstruiert. Damit kann differenziert werden, ob ein Objekt sich auf einem Kollisionskurs befindet oder ob es sich in eine ungefährliche Richtung bewegt. Letztlich basieren hier aber alle Informationen auf der Stereoskopie, so dass Zuordnungsfehler beim Objektabgleich zwischen den beiden jeweils gleichzeitig aufgenommenen Bildern für die Disparitätsschätzung nicht zuverlässig erkannt werden.
  • Die DE 10 2004 018 016 A1 lehrt ein visuelles Überwachungsverfahren, bei dem ähnlich der Stereoskopie zwei Bilder gleichzeitig aufgenommen werden, dann aber anders als bei der Stereoskopie eine Objekterkennung und Objektverfolgung schon in jedem Einzelbild vorgenommen wird. Nur für diese besonderen Objekte werden die gleichzeitig aufgenommenen Bilddaten miteinander verrechnet und eine Disparitätsschätzung vorgenommen, um Entfernungen zu bestimmen. Dieses Verfahren ist zwar weniger rechenintensiv als eine reine Stereoskopie, ermöglicht aber keine Überprüfung der berechneten Entfernungsdaten und kann deshalb hierbei auftretende Fehler auch nicht aufdecken.
  • In der EP 0 820 040 B1 wird ein weiteres Verfahren zur Entfernungsabschätzung zusätzlich zu den oben beschriebenen Verfahren offenbart, bei dem Bildgrößen der aufgenommenen Objekte zu aufeinanderfolgenden Zeitpunkten verwendet werden, um Entfernungsänderungen festzustellen. Dieses Verfahren wird vorgestellt, damit aktive Techniken bei militärischen Anwendungen vermieden werden können, die von dem anvisierten Ziel bemerkt werden könnten. Eine besonders hohe Sicherheit der Entfernungsabschätzung ist hierbei nachrangig und wird auch nicht erreicht.
  • Vor diesem Hintergrund ist es Aufgabe der Erfindung, eine visuelle Überwachung anzugeben, die bei vertretbarem Aufwand hochzuverlässig Entfernungen bestimmen kann.
  • Diese Aufgabe wird durch eine visuelle Überwachungsvorrichtung gemäß Anspruch 1 beziehungsweise ein Verfahren zur visuellen Überwachung gemäß Anspruch 11 gelöst. Dabei werden die primären Entfernungsinformationen, die der Bildsensor liefert, mit Hilfe der zeitlichen Änderung von Bildgrößen ohne zusätzliche Hardware allein durch spezielle Bildverarbeitung auf Plausibilität überprüft. Der erforderliche Zusatzaufwand für die diversitär-redundante Überprüfung der Entfernungsinformationen ist also gering. Gleichzeitig werden aber Fehler der Entfernungsbestimmung zuverlässig aufgedeckt oder korrigiert. Damit ist die Sicherheit für Bedienpersonal erheblich erhöht.
  • Diese erfindungsgemäßen Vorteile zeigen sich ganz besonders bei mobilen Anwendungen, deren Umfeld besonders dynamisch ist und bei denen die Zuverlässigkeit primärer Entfernungsinformationen häufig nicht ausreicht. So kann für eine mobile Anwendung keineswegs eine gleichmäßige Beleuchtung garantiert werden, und die Wahrscheinlichkeit, mit neuen Situationen konfrontiert zu werden, steigt gegenüber stationären Anwendungen erheblich an. Dies gilt für Roboter oder fahrerloses Transportsystem in Montage- oder Lagerhallen und erst recht für Fahrzeuge auf der Straße.
  • Vorteilhafterweise ist der Bildsensor ein Lichtlaufzeit-Sensor, ein aktiver Triangulationssensor oder ein stereoskopischer Sensor. Diese Verfahren zur Aufnahme eines dreidimensionalen Bildes liefern gute erste Entfernungsinformationen und damit eine Bilddatenbasis, welche anhand der Plausibilitätsprüfung nicht allzu häufig korrigiert werden muss.
  • Bevorzugt ist eine Beleuchtungseinheit vorgesehen, welche eine insbesondere strukturierte Beleuchtung in einen Überwachungsbereich projizieren kann. Für die aktive Triangulation ist ein solches Beleuchtungsmuster erforderlich. Aber auch die anderen Verfahren profitieren davon, wenn die Szenerie im Überwachungsbereich an sich kontrastschwach ist. Aufgrund der Beleuchtungseinheit ist der Überwachungsbereich immer ausreichend und einigermaßen konstant beleuchtet und hat einen hohen Kontrast.
  • Vorteilhafterweise ist der Bildsensor und/oder die Auswertungseinheit sicher ausgeführt. Unter sicherer Ausführung sind Maßnahmen wie ein Selbsttest, redundante Hardware, mehrkanalige Bildauswertung, mehrfache Ausführung der Ein- und Ausgänge und dergleichen zu verstehen, so dass die Überwachungsvorrichtung auch bei Teilausfällen noch funktioniert oder diese zumindest sofort erkennt und entsprechend reagieren kann.
  • In Weiterbildung ist die Auswertungseinheit dafür ausgebildet, einen unerlaubten Objekteingriff in eine Warn- und/oder Schutzzone zu erkennen und einen Alarm oder eine Absicherung auszulösen. Die Überwachungsvorrichtung kann somit abgestuft auf Störungen reagieren und Bedienpersonal schützen, welches sich unerlaubt nähert.
  • Dabei bildet bevorzugt die Warn- und/oder die Schutzzone nur einen Teil des Sichtbereichs des Bildsensors, insbesondere eine Ebene. Damit lässt sich der Auswertungsaufwand reduzieren, und andererseits kann ein Objekteingriff bedarfsgerecht in Teilbereichen des Sichtbereichs erlaubt und in anderen verboten sein. Wenn die Schutzzone nur eine Ebene ist, so kann alternativ der üblicherweise matrixförmige Bildsensor auch nur ein Zeilenempfänger sein. Damit wird die eigentlich dreidimensionale Überwachung auf eine zweidimensionale Fläche reduziert, welche durch die Tiefenrichtung der Entfernungen und die Zeilenrichtung des Bildsensors aufgespannt wird.
  • Eine Weiterbildung der Erfindung ist ein Fahrzeug, insbesondere ein mobiler Roboter oder fahrerloses Transportsystem, mit der erfindungsgemäßen Überwachungsvorrichtung. In derartigen mobilen Anwendungen ist es besonders wichtig, die Entfernungsinformationen auf Plausibilität zu prüfen, weil die aufgenommenen Szenerien besonders dynamisch und damit in der Auswertung fehleranfällig sind.
  • Dabei ist bevorzugt die Auswertungseinheit dafür ausgebildet, aus den Änderungen der Bildgröße die Fahrzeuggeschwindigkeit zu ermitteln. Die Bildgrößeninformationen stehen erfindungsgemäß ohnehin zur Verfügung und können in einer sehr einfachen Rechnung die Geschwindigkeit liefern. Diese Geschwindigkeit kann anderweitig weiter verwertet werden, sie kann aber auch sicherheitstechnisch relevant sein, weil eine geringere Geschwindigkeit möglicherweise eine weniger drastische Absicherung erfordert, als eine hohe Geschwindigkeit oder sogar Objekteingriffe noch erlauben kann, welche bei hoher Geschwindigkeit verboten sind.
  • Vorteilhafterweise ist die Auswertungseinheit dafür ausgebildet, Signale einer Steuerung des Fahrzeugs zur Überprüfung und/oder Korrektur der zweiten Entfernungsinformationen zu verwenden. Derartige Signale können beispielsweise die Geschwindigkeit, die zurückgelegte Strecke oder die Position des Fahrzeugs sein. Bei Anwendung im Freien kann die Position mittels eines GPS-Empfängers bestimmt werden, und prinzipiell kann ein ähnliches Signal mittels besonderer Sender auch innerhalb von Räumen erzeugt werden. Solche fahrzeugbezogenen Daten bilden eine Referenz, welche Plausibilitätsprüfungen der Objektverfolgung, der Bildgrößen und damit letztlich der Entfernungsinformationen ermöglichen.
  • In erfindungsgemäßer Weiterbildung ist die Auswertungseinheit dafür ausgebildet, Objektbewegungen von scheinbaren Objektbewegungen durch Eigenbewegung des Fahrzeugs zu unterscheiden und dies bei der Bestimmung der zweiten Entfernungsinformationen zu berücksichtigen. Hiermit kann also zwischen statischen und bewegten Objekten unterschieden und damit die Entfernungsbestimmung genauer werden.
  • Das erfindungsgemäße Verfahren kann auf ähnliche Weise durch weitere Merkmale ausgestaltet werden und zeigt dabei ähnliche Vorteile. Derartige weitere Merkmale sind beispielhaft, aber nicht abschließend, in den sich an den Vorrichtungsanspruch anschließenden Unteransprüchen beschrieben.
  • Die Erfindung wird nachstehend auch hinsichtlich weiterer Vorteile und Merkmale unter Bezugnahme auf die beigefügte Zeichnung anhand von Ausführungsbeispielen erläutert. Die Figuren der Zeichnung zeigen in:
  • 1 eine schematische Darstellung der visuellen Überwachungsvorrichtung und ihres Überwachungsbereichs; und
  • 2 eine schematische Beispieldarstellung des aufgenommenen Bildes zur Illustration der Ermittlung der Bildgrößen eines verfolgten Objekts.
  • 1 zeigt eine erste Ausführungsform der erfindungsgemäßen Vorrichtung 10 zur Überwachung eines Raumbereichs. Ein Bildsensor 12, dem eine Optik 14 vorgeschaltet ist, ist geschützt in einem Gehäuse 16 angeordnet. Der Bildsensor 12 ist in der Lage, durch eine Frontscheibe 18 ein pixelaufgelöstes Bild eines Raumbereichs 20 aufzunehmen. Der Bildsensor 12 kann beispielsweise ein zeilen- oder matrixförmiger CCD- oder CMOS-Chip sein. Die vorgeschaltete Optik 14 ist vereinfacht als eine einfache Sammellinse dargestellt, hier kommt aber alternativ jede refraktive, reflektive oder diffraktive Optik auch aus mehreren Komponenten in Frage, wie sie an sich aus Kameraobjektiven bekannt ist.
  • Der Bildsensor 12 ist mit einer Auswertungseinheit 22 verbunden, welche die Bilddaten auslesen und verarbeiten kann. Diese Bilddaten werden daraufhin untersucht, ob in dem Raumbereich 20 ein Ereignis erkannt wird, auf das zu reagieren ist. Ein solches Ereignis kann der unerlaubte Eingriff eines Objekts in den Raumbereich 20, eine Bewegung oder ein Betreten des Raumbereichs 20 durch Bedienpersonal oder jede sonst denkbare, in den Bilddaten reflektierte Veränderung sein. Eine Möglichkeit, solche Ereignisse aufzufinden, ist der Vergleich des im Betrieb aufgenommenen Bildes mit einem zuvor eingelernten Referenzbild.
  • Die Auswertungseinheit 22 wiederum ist mit einer Steuerung 24 verbunden. Diese Steuerung 24 ist in der Lage, auf ein von der Auswertungseinheit 22 gemeldetes Ereignis zu reagieren, indem ein Alarm ausgegeben, ein Warnlicht eingeschaltet oder eine von der Vorrichtung 10 überwachte Gefahrenquelle durch Abschalten einer Maschine, Versetzen in einen Ruhestand, Schließen einer Tür oder eines Schutzschirms oder dergleichen abgesichert wird.
  • Die Auswertungseinheit 22 ist außerdem mit einer Beleuchtung 26 verbunden und kann diese ein- und ausschalten oder zur Auswahl einer bestimmten Beleuchtungsart veranlassen. Abweichend von der Darstellung können Auswertungseinheit 22, Steuerung 24 und Beleuchtung 26 insgesamt oder teilweise innerhalb des Gehäuses 16 oder auch über bekannte drahtgebundene oder drahtlose Schnittstellen in größerer Entfernung vorgesehen sein.
  • Als Lichtquelle in der Beleuchtung 26 kann eine gewöhnliche Glühbirne oder Halogenleuchte dienen, bevorzugt ist aber eine Halbleiterlichtquelle wie eine Diode oder ein Laser. Das Kontrastmuster entsteht dabei beispielsweise durch eine entsprechende Maske oder ein gezieltes Abscannen mittels einer eng begrenzten Lichtquelle. Um den apparativen Aufwand zu begrenzen und die Auswertung zu erleichtern, kann die Lichtquelle monochromatisch sein und im optischen Pfad zum Bildsensor 12 ein entsprechend eingestelltes optisches Filter eingesetzt werden.
  • Die somit erhaltene Kamera liefert dreidimensionale Bilddaten, also solche, die Entfernungsinformationen beinhalten. Solche dreidimensionalen Bilddaten können viel genauer bewertet werden, weil Schutzzonen um Gefahrenquellen räumlich und flexibel definiert werden können. Außerdem kann die Szene auf diese Weise auch leichter dynamisch bewertet werden, denn eine Abschattung der Gefahrenquelle muss nicht notwendig auch bedeuten, dass das abgeschattete Objekt nahe an der Gefahrenquelle ist. Dies lässt sich nur mittels der Entfernung entscheiden. Auch die Geschwindigkeit des eingreifenden Objekts lässt sich aus Entfernungen viel besser abschätzen, und eine langsame Bewegungen in einer bestimmten Entfernung zu einer Gefahrenquelle kann noch unkritisch sein, was eine schnelle Bewegung nicht wäre. Die dreidimensionale Auswertung ist also viel zuverlässiger und löst seltener unnötige Fehlalarme aus. Mögliche Techniken, um dreidimensionale Bilddaten zu erhalten, sind aktive Triangulation, Stereoskopie und Lichtlaufzeitverfahren, wie sie einleitend beschrieben worden sind.
  • Im Raumbereich 20 ist in 1 ein Objekt 28a–c dargestellt, das sich entlang einer durch den Pfeil 29 angedeuteten Trajektorie bewegt. Zu einem ersten Zeitpunkt befindet sich das Objekt 28a an dem durch gepunktete Linien angedeuteten Ort und bewegt sich dann über die gestrichelt dargestellte Position 28b zu einer mit durchgezogenen Linien dargestellten Endposition 28c. Dabei ändert sich die Objektentfernung 30a–c entsprechend. In 1 ist die Überwachungsvorrichtung 10 nicht maßstäblich eingezeichnet; ihre Größe spielt bei realistischen Raumbereichen 20 für die Entfernungen keine Rolle, also auch nicht, ob der Bildsensor 12 oder wie dargestellt die Frontscheibe 18 der Bezugspunkt für die Entfernungen ist.
  • Die Auswertungseinheit 22 extrahiert mit einem Bildverarbeitungsverfahren anhand von Kantendetektion, Helligkeiten, Farben oder sonstigen Objekteigenschaften Objekte 28 im Raumbereich 20 und verfolgt deren Bewegungen über nacheinander aufgenommener Bilder. Aus der scheinbaren Größenveränderung der Objektbilder im Bildsensor 12 kann auf die relative Entfernungsänderung geschlossen werden.
  • Dies soll anhand der 2 erläutert werden. Darin sind schematisch die vorderen Flächen des Objekts 28 in einer Überlagerung der Aufnahmen zu den drei dargestellten Zeitpunkten auf dem Bildsensor 12 gezeigt. Das Objekt 28 hat sich auch hier entsprechend der Darstellung der 1 entlang der durch den Pfeil 29 dargestellten Trajektorie bewegt. Dabei verringert sich die Bildgröße des Objekts 28a–c mit der zunehmenden Entfernung 30a–c proportional von einer anfänglichen Bildgröße 32a über eine zwischenzeitliche Bildgröße 32b auf eine Bildgröße 32c in der Endposition des Objekts 28c.
  • Das Verhältnis der veränderten Bildgrößen 32a–c zueinander muss nun, wenn die mittels des primären 3D-Verfahrens bestimmten Entfernungen fehlerfrei sind, den Verhältnissen der Entfernungsdaten 30a–c zueinander linear entsprechen. Ist dies nicht der Fall, so sind entweder die primären Entfernungsdaten oder die Bildgrößen, beispielsweise aufgrund falscher Objektzuordnung, nicht richtig bestimmt, und die Vorrichtung 10 erkennt aufgrund dieses fehlgeschlagenen Plausibilitätstests ihren Fehler. Darauf kann reagiert werden, indem ein Algorithmus die Entfernungsdaten zu korrigieren versucht, beispielsweise durch neue Objektzuordnung, oder bei kritischen Anwendungen mit dem Auslösen einer Sicherheitsfunktion und einer Wartungsanforderung.
  • Für den Fall, dass eine Referenzgröße bekannt ist, wie etwa die absoluten Abmessungen des Objekts 28, kann aus den Bildgrößen nicht nur eine relative Entfernungsänderung, sondern auch eine absolute Entfernung berechnet werden. Damit wird der Plausibilitätstest noch genauer; die Entfernung ist mit zwei unabhängigen Verfahren diversitär-redundant bestimmt.
  • In einer weiteren Ausführungsform der Erfindung ist die Überwachungsvorrichtung 10 auf einem Fahrzeug montiert, beispielsweise einen mobilen Roboter oder einem fahrerlosen Transportsystem. Bei derartigen mobilen Anwendungen sind die dynamischen Anforderung besonders hoch, deshalb ist eine zusätzliche Überprüfung der Entfernungsdaten besonders wichtig. Die Überwachungsvorrichtung kann dabei auch vorteilhaft mit einer Steuerung des Fahrzeugs zusammenarbeiten. So ist es beispielsweise ohne weiteres möglich, aus der scheinbaren Objektgrößenänderung die Fahrzeuggeschwindigkeit zu bestimmen oder Hilfestellung bei der Orientierung des Fahrzeugs zu geben. Umgekehrt können auch Signale der Steuerung in die Plausibilitätsprüfung der Entfernungsinformationen einfließen. Solche Signale können die Geschwindigkeit, die zurückgelegte Strecke oder die Position des Fahrzeugs sein, wobei letztere beispielsweise mittels GPS oder einem ähnlichen funkbasierten Positionsbestimmungssystem erhalten werden können.
  • Gerade bei mobilen Anwendungen ist es vorteilhaft, wenn die Auswertungseinheit 22 in der Lage ist, statische von dynamischen Objekten zu unterscheiden. Dies ist deshalb nicht trivial, weil auf dem Bildsensor 12 scheinbar alle Objekte bewegt sind, dies bei den statischen Objekten aber auf die Eigenbewegung des Fahrzeugs zurückzuführen ist. Besondere Anforderungen an die Bildverarbeitung stellen sich hier, wenn statische mit dynamischen Objekten vermischt werden. So wäre beispielsweise die Bewegung eines Roboterarms vor einem statischen Roboter anders zu bewerten, als das Schlenkern eines Armes einer Bedienperson, welche sich der Gefahrenquelle nähert. Derartige Effekte kann die Auswertungseinheit 22 etwa durch relative Maßstabsänderung innerhalb des Bildbereichs erkennen und mittels eines Majoritätsmaßes derartige Verfälschungen durch sich selbst bewegende Objekte korrigieren.
  • Die erfindungsgemäße Kombination eines gängigen 3D-Bildaufnahmeverfahrens mit einer passiven Bildgrößeverfolgung erhält nicht nur die Algorithmen zur Absicherung der Zuverlässigkeit in der fehlerfreien Entfernungsbestimmung, sondern ermöglicht auch umgekehrt, die Objekterkennung anhand der Entfernungsdaten redundant abzusichern. Mit einer einzigen Sensoreinheit können redundante Merkmalsräume erschlossen werden, und dies führt zu einer Reduktion der Herstellungskosten, eine Baugrößenreduktion und dennoch gleichzeitig zu höherer Sicherheit.

Claims (11)

  1. Visuelle Überwachungsvorrichtung (10) mit einem Bildsensor (12), welcher erste Entfernungsinformationen aufweisende Bilddaten aufnehmen kann, und mit einer Auswertungseinheit (22), welche für die Erkennung von Objekten (28) aus den Bilddaten und zur Verfolgung der Objektbewegung (29) durch Auswertung zeitlich aufeinanderfolgender Sätze der Bilddaten ausgebildet ist, dadurch gekennzeichnet, dass die Auswertungseinheit (22) weiterhin aus einer Änderung einer Bildgröße der Objekte (28) über die aufeinanderfolgenden Sätze zweite Entfernungsinformationen berechnen kann und dafür ausgebildet ist, die ersten Entfernungsinformationen anhand der zweiten Entfernungsinformationen auf Plausibilität zu prüfen.
  2. Überwachungsvorrichtung (10) nach Anspruch 1, dadurch gekennzeichnet, das der Bildsensor (12) ein Lichtlaufzeit-Sensor, ein aktiver Triangulationssensor oder ein stereoskopischer Sensor ist.
  3. Überwachungsvorrichtung (10) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass eine Beleuchtungseinheit (26) vorgesehen ist, welche eine insbesondere strukturierte Beleuchtung in einen Überwachungsbereich (20) projizieren kann.
  4. Überwachungsvorrichtung (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Bildsensor (12) und/oder die Auswertungseinheit (22) sicher ausgeführt ist.
  5. Überwachungsvorrichtung (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswertungseinheit (22, 24) dafür ausgebildet ist, einen unerlaubten Objekteingriff in eine Warn- und/oder Schutzzone zu erkennen und einen Alarm oder eine Absicherung auszulösen.
  6. Überwachungsvorrichtung (10) nach Anspruch 5, dadurch gekennzeichnet, dass die Warn- und/oder die Schutzzone nur einen Teil des Sichtbereichs des Bildsensors (12) bildet, insbesondere eine Ebene.
  7. Fahrzeug, insbesondere mobiler Roboter oder fahrerloses Transportsystem, mit einer Überwachungsvorrichtung (10) nach einem der Ansprüche 1 bis 6.
  8. Fahrzeug nach Anspruch 7, dadurch gekennzeichnet, dass die Auswertungseinheit (22) dafür ausgebildet ist, aus den Änderungen der Bildgröße die Fahrzeuggeschwindigkeit zu ermitteln.
  9. Fahrzeug nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die Auswertungseinheit (22) dafür ausgebildet ist, Signale einer Steuerung des Fahrzeugs zur Überprüfung und/oder Korrektur der zweiten Entfernungsinformationen zu verwenden.
  10. Fahrzeug nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass die Auswertungseinheit (22) dafür ausgebildet ist, Objektbewegungen von scheinbaren Objektbewegungen durch Eigenbewegung des Fahrzeugs zu unterscheiden und dies bei der Bestimmung der zweiten Entfernungsinformationen zu berücksichtigen.
  11. Verfahren zur visuellen Überwachung durch Aufnahme von Bilddaten, die erste Entfernungsinformationen aufweisen, wobei aus den Bilddaten Objekte (28) erkannt werden und die Bewegung (29) der Objekte (28) in aufeinanderfolgenden Bilddatensätzen verfolgt wird, dadurch gekennzeichnet, dass aus einer Änderung einer Bildgröße der Objekte (28) über die aufeinanderfolgenden Bilddatensätze zweite Entfernungsinformationen berechnet und die ersten Entfernungsinformationen anhand der zweiten Entfernungsinformationen auf Plausibilität geprüft werden.
DE102007025373A 2007-05-31 2007-05-31 Visuelle Überwachung mit Entfernungsbestimmung und Plausibilitätsprüfung anhand von Bildgrößen Expired - Fee Related DE102007025373B3 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102007025373A DE102007025373B3 (de) 2007-05-31 2007-05-31 Visuelle Überwachung mit Entfernungsbestimmung und Plausibilitätsprüfung anhand von Bildgrößen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102007025373A DE102007025373B3 (de) 2007-05-31 2007-05-31 Visuelle Überwachung mit Entfernungsbestimmung und Plausibilitätsprüfung anhand von Bildgrößen

Publications (1)

Publication Number Publication Date
DE102007025373B3 true DE102007025373B3 (de) 2008-07-17

Family

ID=39510130

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102007025373A Expired - Fee Related DE102007025373B3 (de) 2007-05-31 2007-05-31 Visuelle Überwachung mit Entfernungsbestimmung und Plausibilitätsprüfung anhand von Bildgrößen

Country Status (1)

Country Link
DE (1) DE102007025373B3 (de)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011157454A1 (de) * 2010-06-18 2011-12-22 Hella Kgaa Hueck & Co. Optische selbstdiagnose eines stereoskopischen kamerasystems
EP2453260A1 (de) * 2010-11-15 2012-05-16 Cedes AG Überwachungssensor mit Selbstprüfung
EP2453426A1 (de) * 2010-11-15 2012-05-16 Cedes AG Überwachungssensor mit Selbsttest
US8284988B2 (en) 2009-05-13 2012-10-09 Applied Vision Corporation System and method for dimensioning objects using stereoscopic imaging
US8508591B2 (en) 2010-02-05 2013-08-13 Applied Vision Corporation System and method for estimating the height of an object using tomosynthesis-like techniques
US8781159B2 (en) 2009-05-13 2014-07-15 Applied Vision Corporation System and method for dimensioning objects using stereoscopic imaging
WO2015024037A1 (de) 2013-08-20 2015-02-26 Fts Computertechnik Gmbh Verfahren zur erkennung von fehlern
WO2015024036A2 (de) 2013-08-20 2015-02-26 Fts Computertechnik Gmbh Verfahren zur fehlererkennung für zumindest ein bildverarbeitungssystem
WO2015024035A2 (de) 2013-08-20 2015-02-26 Fts Computertechnik Gmbh Verfahren zur erkennung von fehlern für zumindest ein bildverarbeitungssystem
DE102017214653A1 (de) * 2017-08-22 2019-02-28 Audi Ag Verfahren zum Bereitstellen eines Bildsignals eines Umgebungsbereichs eines Kraftfahrzeugs sowie Kraftfahrzeug
WO2019113213A1 (en) * 2017-12-06 2019-06-13 Pop Florin Sensing and alert system for electrical switchgear
CN110320526A (zh) * 2018-03-29 2019-10-11 Zf 腓德烈斯哈芬股份公司 三维室内相机的功能安全性
DE102019218753A1 (de) * 2019-12-03 2021-06-10 Robert Bosch Gmbh Verfahren zur Umfelderfassung mittels LiDAR

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6297844B1 (en) * 1999-11-24 2001-10-02 Cognex Corporation Video safety curtain
EP0820040B1 (de) * 1996-07-17 2004-08-18 Raytheon Company Passive Entfernungsabschätzung unter Verwendung von Bildgrösseabmessungen
DE102004018016A1 (de) * 2004-04-14 2005-11-10 Sick Ag Verfahren zur Überwachung eines Überwachungsbereichs
EP1543270B1 (de) * 2002-09-24 2006-08-09 Daimler Chrysler AG Verfahren und vorrichtung zum absichern eines gefahrenbereichs

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0820040B1 (de) * 1996-07-17 2004-08-18 Raytheon Company Passive Entfernungsabschätzung unter Verwendung von Bildgrösseabmessungen
US6297844B1 (en) * 1999-11-24 2001-10-02 Cognex Corporation Video safety curtain
EP1543270B1 (de) * 2002-09-24 2006-08-09 Daimler Chrysler AG Verfahren und vorrichtung zum absichern eines gefahrenbereichs
DE102004018016A1 (de) * 2004-04-14 2005-11-10 Sick Ag Verfahren zur Überwachung eines Überwachungsbereichs

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8284988B2 (en) 2009-05-13 2012-10-09 Applied Vision Corporation System and method for dimensioning objects using stereoscopic imaging
US8781159B2 (en) 2009-05-13 2014-07-15 Applied Vision Corporation System and method for dimensioning objects using stereoscopic imaging
US8508591B2 (en) 2010-02-05 2013-08-13 Applied Vision Corporation System and method for estimating the height of an object using tomosynthesis-like techniques
US8854431B2 (en) 2010-06-18 2014-10-07 Hella Kgaa Hueck & Co. Optical self-diagnosis of a stereoscopic camera system
WO2011157454A1 (de) * 2010-06-18 2011-12-22 Hella Kgaa Hueck & Co. Optische selbstdiagnose eines stereoskopischen kamerasystems
US9046597B2 (en) 2010-11-15 2015-06-02 Cedes Ag Monitoring sensor with activation
EP2453260A1 (de) * 2010-11-15 2012-05-16 Cedes AG Überwachungssensor mit Selbstprüfung
EP2453426A1 (de) * 2010-11-15 2012-05-16 Cedes AG Überwachungssensor mit Selbsttest
EP2698649A1 (de) 2010-11-15 2014-02-19 Cedes AG Überwachungssensor mit Selbstprüfung
WO2015024037A1 (de) 2013-08-20 2015-02-26 Fts Computertechnik Gmbh Verfahren zur erkennung von fehlern
WO2015024035A2 (de) 2013-08-20 2015-02-26 Fts Computertechnik Gmbh Verfahren zur erkennung von fehlern für zumindest ein bildverarbeitungssystem
WO2015024036A2 (de) 2013-08-20 2015-02-26 Fts Computertechnik Gmbh Verfahren zur fehlererkennung für zumindest ein bildverarbeitungssystem
DE102017214653A1 (de) * 2017-08-22 2019-02-28 Audi Ag Verfahren zum Bereitstellen eines Bildsignals eines Umgebungsbereichs eines Kraftfahrzeugs sowie Kraftfahrzeug
DE102017214653B4 (de) 2017-08-22 2023-01-26 Audi Ag Verfahren zum Bereitstellen eines Bildsignals eines Umgebungsbereichs eines Kraftfahrzeugs sowie Kraftfahrzeug
WO2019113213A1 (en) * 2017-12-06 2019-06-13 Pop Florin Sensing and alert system for electrical switchgear
US11301985B2 (en) 2017-12-06 2022-04-12 Advancetrex Sensor Technologies Corp Sensing and alert system for electrical switchgear
CN110320526A (zh) * 2018-03-29 2019-10-11 Zf 腓德烈斯哈芬股份公司 三维室内相机的功能安全性
DE102019218753A1 (de) * 2019-12-03 2021-06-10 Robert Bosch Gmbh Verfahren zur Umfelderfassung mittels LiDAR

Similar Documents

Publication Publication Date Title
DE102007025373B3 (de) Visuelle Überwachung mit Entfernungsbestimmung und Plausibilitätsprüfung anhand von Bildgrößen
DE102013106514B3 (de) Vorrichtung und Verfahren zum Absichern einer automatisiert arbeitenden Maschine
EP2793045B1 (de) Verfahren zur Überprüfung eines Umfelderfassungssystems eines Fahrzeugs
EP2025991B1 (de) Vorrichtung und Verfahren zur dreidimensionalen Überwachung eines Raumbereichs mit mindestens zwei Bildsensoren
EP1933167B1 (de) Optoelektronischer Sensor sowie Verfahren zur Erfassung und Abstandsbestimmung eines Objekts
EP2095008B1 (de) Verfahren und vorrichtung zum überwachen eines dreidimensionalen raumbereichs
DE102010037744B3 (de) Optoelektronischer Sensor
EP3200122B1 (de) Optoelektronischer sensor und verfahren zur sicheren erkennung von objekten einer mindestgrösse
DE102016219455B4 (de) Verfahren und aktive Infrastruktur zur Überprüfung einer Umfelderfassung eines Kraftfahrzeugs
EP1543270B1 (de) Verfahren und vorrichtung zum absichern eines gefahrenbereichs
WO2001013029A1 (de) Vorrichtung zur absicherung eines gefahrenbereichs, insbesondere des gefahrenbereichs einer automatisiert arbeitenden maschine
DE102008062995A1 (de) 3D-Kamera zur Raumüberwachung
DE102015122172A1 (de) Scheinwerferbasierte Projetion von Mustern zur Vermessung räumlicher Eigenschaften einer Fahrzeugumgebung
EP2053868B1 (de) Ortsauflösender optoelektronischer Sensor mit Testeinheit und Testverfahren hierfür
DE102019202269B4 (de) Verfahren zum Kalibrieren einer mobilen Kameraeinheit eines Kamerasystems für ein Kraftfahrzeug
DE10026711A1 (de) Positionsüberwachungssystem
DE102008052579A1 (de) Sicherheitssystem für eine Arbeitsvorrichtung
EP3651458B1 (de) Sichere stereokamera und verfahren zum prüfen der funktionsfähigkeit der bildsensoren
DE102010036852C5 (de) Stereokamera
EP3893145B1 (de) Absicherung einer gefahrenstelle
WO2020187917A1 (de) Detektion von fehlfunktionen der schaltzustandserkennung von lichtsignalanlagen
EP3496398B1 (de) Sichere stereokamera und verfahren zum prüfen der funktionsfähigkeit der bildsensoren
DE102019127826A1 (de) Sicherer optoelektronischer Sensor und Verfahren zum Absichern eines Überwachungsbereichs
DE102019212021B4 (de) Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren
EP2017571B1 (de) 3D-Sicherheits-Sensor und Verfahren zum Testen eines 3D-Sicherheits-Sensors

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee