DE202018103869U1

DE202018103869U1 - 3D sensor for monitoring a surveillance area

Info

Publication number: DE202018103869U1
Application number: DE202018103869.9U
Authority: DE
Original assignee: Sick AG
Current assignee: Sick AG
Priority date: 2018-07-06
Filing date: 2018-07-06
Publication date: 2019-10-10
Anticipated expiration: 2028-07-07

Abstract

3D-Sensor (10), insbesondere 3D-Kamera, zum Überwachen eines Überwachungsbereichs (12), wobei der 3D-Sensor (10) mindestens einen Lichtempfänger (16a-b) zum Erzeugen eines Empfangssignals aus Empfangslicht aus dem Überwachungsbereich (12) sowie eine Steuer- und Auswertungseinheit (24) aufweist, die dafür ausgebildet ist, durch Auswerten des Empfangssignals Objekte (28) in dem Überwachungsbereich (12) zu erfassen und den kürzesten Abstand der erfassten Objekte (28) zu mindestens einem Bezugsvolumen (26a, 26b) zu bestimmen, dadurch gekennzeichnet, dass die Steuer- und Auswertungseinheit (24) einen Speicher aufweist und weiterhin dafür ausgebildet ist, für die Bestimmung des jeweiligen kürzesten Abstands eines erfassten Objekts (28) mindestens einen vorausberechneten Abstand zu dem Bezugsvolumen (26a, 26b) aus einem Speicher zu lesen.

3D sensor (10), in particular 3D camera, for monitoring a monitoring area (12), wherein the 3D sensor (10) at least one light receiver (16a-b) for generating a received signal from received light from the monitoring area (12) and a Control and evaluation unit (24), which is designed to detect by evaluating the received signal objects (28) in the monitoring area (12) and the shortest distance of the detected objects (28) to at least one reference volume (26a, 26b) determine, characterized in that the control and evaluation unit (24) has a memory and is further adapted for the determination of the respective shortest distance of a detected object (28) at least one precalculated distance to the reference volume (26a, 26b) of a Memory to read.

Description

Die Erfindung betrifft einen 3D-Sensor, insbesondere eine 3D-Kamera, zum Überwachen eines Überwachungsbereichs nach dem Oberbegriff von Anspruch 1.The invention relates to a 3D sensor, in particular a 3D camera, for monitoring a surveillance area according to the preamble of claim 1.

3D-Sensoren nehmen Bilder auf, die in ihren Pixeln einen Abstandswert enthalten. Diese tiefenaufgelösten oder dreidimensionalen Bilddaten werden auch als Tiefenkarte bezeichnet. Der im Vergleich zu einer zweidimensionalen Bilderfassung höhere Geräte- und Auswertungsaufwand wird in vielen Anwendungen durch die Zusatzinformationen gerechtfertigt. Zu den 3D-Sensoren zählen 3D-Kameras in unterschiedlichen Technologien, beispielsweise Stereoskopie, Triangulation, Lichtlaufzeit, mit Auswertung der Störung passiver zweidimensionaler Muster oder von projizierten Beleuchtungsmustern. Weiterhin bekannt sind in zwei oder allen drei Richtungen abtastende Laserscanner, die über die jeweiligen Abtastwinkel und die gemessene Entfernung ebenfalls dreidimensionale Bilddaten erfassen.3D sensors capture images that contain a distance value in their pixels. This depth-resolved or three-dimensional image data is also referred to as a depth map. Compared to a two-dimensional image capture higher device and evaluation effort is justified in many applications by the additional information. The 3D sensors include 3D cameras in various technologies, such as stereoscopy, triangulation, light propagation time, with evaluation of the disturbance of passive two-dimensional patterns or of projected illumination patterns. Also known are scanning in two or all three directions laser scanner, which also detect three-dimensional image data on the respective scanning angle and the measured distance.

Ein besonderes Anwendungsgebiet ist die Sicherheitstechnik mit dem primären Ziel, Personen vor Gefahrenquellen zu schützen, wie sie beispielsweise Maschinen im industriellen Umfeld darstellen. Die Maschine wird mit Hilfe des 3D-Sensors überwacht, und wenn demnach eine Situation vorliegt, in der eine Person gefährlich nahe an die Maschine zu gelangen droht, wird eine geeignete Absicherungsmaßnahme ergriffen.A special field of application is safety technology with the primary aim of protecting persons from sources of danger such as, for example, machines in an industrial environment. The machine is monitored with the help of the 3D sensor, and therefore if there is a situation where a person threatens to get dangerously close to the machine, an appropriate safeguard is taken.

In der Sicherheitstechnik eingesetzte Sensoren müssen besonders zuverlässig arbeiten und deshalb hohe Sicherheitsanforderungen erfüllen, beispielsweise die Norm EN13849 für Maschinensicherheit und die Gerätenorm IEC61496 oder EN61496 für berührungslos wirkende Schutzeinrichtungen (BWS). Zur Erfüllung dieser Sicherheitsnormen sind eine Reihe von Maßnahmen zu treffen, wie sichere elektronische Auswertung durch redundante, diversitäre Elektronik, Funktionsüberwachung oder speziell Überwachung der Verschmutzung optischer Bauteile.Sensors used in safety technology must work extremely reliably and therefore meet high safety requirements, for example EN13849 for machine safety and IEC61496 or EN61496 for contactless protective devices (ESPE). To meet these safety standards, a number of measures must be taken, such as safe electronic evaluation by means of redundant, diverse electronics, function monitoring or especially monitoring of the contamination of optical components.

Das gängige Absicherungskonzept sieht vor, dass Schutzfelder konfiguriert werden, die während des Betriebs der Maschine vom Bedienpersonal nicht betreten werden dürfen. Erkennt der Sensor einen unzulässigen Schutzfeldeingriff, etwa ein Bein einer Bedienperson, so löst er einen sicherheitsgerichteten Halt der Maschine aus.The common protection concept envisages that protective fields are configured that must not be entered by operating personnel during operation of the machine. If the sensor detects an inadmissible protective field intervention, for example a leg of an operator, it triggers a safety-related stop of the machine.

In der sicherheitstechnischen Überwachung von Robotern besteht ein zunehmender Wunsch nach engerer Zusammenarbeit mit Personen (MRK, Mensch-Roboter-Kollaboration). Relevante Normen in diesem Zusammenhang sind beispielsweise die ISO 10218 für Industrieroboter oder die ISO 15066 für kollaborierende Roboter. In der MRK sollten Schutzfelder und Sicherheitsabstände möglichst klein und eventuell sogar situationsangepasst konfiguriert werden, natürlich unter der Vorgabe, dass die Sicherheit gewährleistet bleibt. Die Normen IS013854, ISO 13855 , ISO 13857 befassen sich mit der Festlegung von Sicherheitsabständen.There is an increasing desire for closer cooperation with people in the safety-related monitoring of robots (MRC, human-robot collaboration). Relevant standards in this context are, for example, the ISO 10218 for industrial robots or the ISO 15066 for collaborative robots. In the MRK, protective fields and safety distances should be configured as small as possible and possibly even adapted to the situation, of course with the stipulation that the safety remains ensured. The standards IS013854, ISO 13855 . ISO 13857 deal with the definition of safety distances.

Eine Bewertung von Objekten und Maschinen bezüglich Geschwindigkeit und gegenseitiger Entfernung wird in den genannten Roboternormen als „Speed and Separation Monitoring“ bezeichnet. Sichere überwachende Sensoren, wie Laserscanner oder 3D-Kameras, unterstützen das aber nicht. Sie arbeiten weiterhin mit den üblichen Schutzfeldern, und sie liefern nur ein binäres Abschaltsignal, ob ein Schutzfeld verletzt ist oder nicht. Zwar ist die Sicherheit auf diese Weise gewährleistet, aber nicht besonders flexibel und auch häufig mit unnötigen Sicherheitszuschlägen und damit Einschränkungen der Verfügbarkeit, da die Schutzfelder für worst-case-Szenarien und nicht die tatsächliche aktuelle Situation konfiguriert sind.An evaluation of objects and machines with regard to speed and mutual distance is referred to in the named robot standards as "Speed and Separation Monitoring". Safe monitoring sensors, such as laser scanners or 3D cameras, do not support this. They continue to work with the usual protective fields, and they only provide a binary shutdown signal as to whether or not a protective field is violated. Although security is guaranteed in this way, it is not very flexible and often involves unnecessary security surcharges and hence availability restrictions because the protection fields are configured for worst-case scenarios rather than the actual situation.

Für ein Sicherheitskonzept auf Basis kürzester Abstände zwischen Objekt und Maschine muss eine Vielzahl von Abständen im dreidimensionalen Raum berechnet werden. Eine exakte Berechnung zur Laufzeit bedeutet einen sehr hohen Rechenaufwand, der bei den erforderlichen Auflösungen und Ansprechzeiten nur mit extremen Rechenressourcen zu leisten ist. Der Aufwand lässt sich verringern, wenn Objekte und Maschinen mit einfachen geometrischen Modellen dargestellt werden, was aber zwangsläufig eine zusätzliche Unterschätzung der Abstände mit sich bringt, da die Modelle zu großzügige Umhüllungen bilden. Dadurch wird unnötig auf scheinbare Gefahrensituationen reagiert, die sich bei exakter Berechnung als unkritisch erwiesen hätten.For a safety concept based on the shortest distances between object and machine, a large number of distances must be calculated in three-dimensional space. An exact calculation at runtime means a very high computational effort, which can only be achieved with the required resolutions and response times with extreme computing resources. The effort can be reduced if objects and machines are represented with simple geometric models, but this inevitably leads to an additional underestimation of the distances, since the models form too generous enclosures. This unnecessarily reacts to apparent dangerous situations that would have proved to be uncritical if calculated exactly.

G. Borgefors, „Distance transformations in digital images.“ Computer vision, graphics, and image processing 34.3 (1986), S. 344-371 befasst sich mit Distanztransformationen, die aus einem digitalen Bild mit Bildmerkmalspixeln und sonstigen Pixeln ein Grauwertbild erzeugen, dessen Werte jeweils den Abstand zu dem nächsten Bildmerkmalspixel codieren.G. Borgefors, "Distance transformations in digital images." Computer vision, graphics, and image processing 34.3 (1986), pp. 344-371 deals with distance transformations that generate a gray value image from a digital image with image feature pixels and other pixels Values each encode the distance to the next image feature pixel.

D. G. Bailey, „An efficient euclidean distance transform.“ International workshop on combinatorial image analysis. Springer, Berlin, Heidelberg, 2004, S. 394-408 beschreibt einen effizienten Algorithmus für eine Distanztransformation mit exakten euklidischen Distanzen. DG Bailey, "An efficient euclidean distance transform." International workshop on combinatorial image analysis. Springer, Berlin, Heidelberg, 2004, pp. 394-408 describes an efficient algorithm for a distance transformation with exact Euclidean distances.

T. Schouten et al. „Fast exact Euclidean distance (FEED) transformation.“ Pattern Recognition, 2004. ICPR 2004 . Proceedings of the 17th International Conference on. Vol. 3. IEEE, 2004 stellt einen weiteren Ansatz vor, um den Aufwand für eine Distanztransformation zu begrenzen. Eine der Maßnahmen ist die Vorausberechnung der euklidischen Distanzen zwischen Pixelpositionen. T. Schouten et al. "Fast-accurate Euclidean distance (FEED) transformation." Pattern Recognition, 2004. ICPR 2004 , Proceedings of the 17th International Conference on. Vol. 3. IEEE, 2004 introduces one Another approach to limit the effort for a distance transformation. One of the measures is the prediction of the Euclidean distances between pixel positions.

Alle diese Arbeiten beschränken sich jedoch auf den zweidimensionalen Fall und haben auch nichts mit den erläuterten Sicherheitsanwendungen zu tun. Außerdem wird jeweils nur ein punktueller Abstand von einem einzelnen Pixel zu dem Bildmerkmal berechnet, nicht der Abstand zwischen zwei flächigen oder gar räumlichen Bereichen.However, all this work is limited to the two-dimensional case and have nothing to do with the described security applications. In addition, only a punctual distance from a single pixel to the image feature is calculated, not the distance between two planar or even spatial regions.

In der US2007/156372 A1 werden Pfade in einem Lagerhaus geplant. Das Lagerhaus wird in Zonen mit einem Eingangs- und Ausgangspunkt unterteilt. Das Problem wird dann in eine Pfadsuche innerhalb der Startzone zu dem Ausgangspunkt, von der Startzone zu der Zielzone und innerhalb der Zielzone ab dem Eingangspunkt unterteilt. Die jeweiligen kürzesten Pfade von einer Zone zur anderen können vorausberechnet und in einer Tabelle abgelegt sein. Der für eine Überwachung benötigte kürzeste Abstand folgt aber keinem Pfad, sondern entspricht einer direkten Verbindung. Außerdem ist das Pfadfinderproblem der US 2007/156372 A1 wiederum zweidimensional.In the US2007 / 156372 A1 Paths are planned in a warehouse. The warehouse is divided into zones with entry and exit points. The problem is then subdivided into a path search within the starting zone to the starting point, from the starting zone to the target zone and within the target zone from the entry point. The respective shortest paths from one zone to the other can be predicted and stored in a table. The shortest distance required for monitoring does not follow a path, but corresponds to a direct connection. Besides, the scout problem is the US 2007/156372 A1 again two-dimensional.

Es ist daher Aufgabe der Erfindung, eine verbesserte Abstandsbestimmung für eine dreidimensionale Überwachung anzugeben.It is therefore an object of the invention to provide an improved distance determination for a three-dimensional monitoring.

Diese Aufgabe wird durch einen 3D-Sensor zum Überwachen eines Überwachungsbereichs nach Anspruch 1 gelöst. Mit einem Lichtempfänger wird Empfangslicht aus dem Überwachungsbereich erfasst und daraus ein Empfangssignal gewonnen. Die Ausgestaltung des Lichtempfängers und damit die Art des Empfangssignals hängen von dem 3D-Sensor ab. Beispielsweise ist der Lichtempfänger ein Bildsensor oder ein Paar von Bildsensoren, und die aus den Pixeln ausgelesenen Informationen werden summarisch als Empfangssignal bezeichnet. Das Empfangssignal wird in dem 3D-Sensor ausgewertet, um Objekte zu erfassen, etwa als 3D-Punktewolke oder vorzugsweise in einer Detektionskarte, d. h. einem zweidimensionalen Bild, in dessen Pixel jeweils dort Einträge vorgenommen werden, wo ein relevantes Objekt erfasst ist. Es wird dann ein kürzester Abstand von den erfassten Objekten zu mindestens einem Bezugsvolumen bestimmt. Das Bezugsvolumen ist ein Teilbereich des Überwachungsbereichs und virtuell, jedoch mit Bezug zur realen Szenerie festgelegt, und es kommt dem Bezugsvolumen je nach Anwendung eine bestimmte Bedeutung zu, etwa dass sich dort eine abzusichernde Maschine befindet oder ein erfasstes Objekt in diesem Raumbereich eine bestimmte Reaktion auslösen soll.This object is achieved by a 3D sensor for monitoring a surveillance area according to claim 1. With a light receiver, receiving light is detected from the monitoring area and obtained therefrom a received signal. The design of the light receiver and thus the type of received signal depend on the 3D sensor. For example, the light receiver is an image sensor or a pair of image sensors, and the information read from the pixels is summarily called a reception signal. The received signal is evaluated in the 3D sensor to detect objects, such as a 3D point cloud or preferably in a detection map, d. H. a two-dimensional image in whose pixels entries are made where a relevant object is detected. It is then determined a shortest distance from the detected objects to at least one reference volume. The reference volume is a subarea of the surveillance area and is defined virtually in relation to the real scene, and depending on the application, the reference volume has a specific meaning, such as a machine to be protected or a detected object triggering a specific reaction in this area should.

Die Erfindung geht von dem Grundgedanken aus, die Abstandsberechnung zur Laufzeit durch Vorausberechnungen zu entlasten. Dazu ist ein Speicher vorgesehen, in dem vorausberechnete Abstände abgelegt werden, insbesondere als Nachschlagtabelle (LUT, Lookup Table). Im Betrieb werden die vorausberechneten Abstände eingelesen oder nachgeschlagen und entweder direkt als kürzeste Abstände von den erfassten Objekten zu mindestens einem Bezugsvolumen oder als Grundlage für eine weitere Abstandsbestimmung genutzt.The invention is based on the basic idea of relieving the distance calculation at runtime by precalculations. For this purpose, a memory is provided in which pre-calculated distances are stored, in particular as a look-up table (LUT, Lookup Table). In operation, the predicted distances are read or looked up and used either directly as the shortest distances from the detected objects to at least one reference volume or as a basis for further distance determination.

Die Erfindung hat den Vorteil, dass eine effiziente Berechnung von Abständen im Raum auch unter Berücksichtigung von Verdeckungen aus der Zentralperspektive des 3D-Sensors ermöglicht wird. Dadurch werden höhere Auflösungen und kurze Ansprechzeiten auch bei moderaten Hardwareanforderungen realisierbar. Der Aufwand für eine Abstandsberechnung zu einem Bezugsvolumen im Raum skaliert mit der geometrischen Komplexität des Bezugsvolumens. Dieser Aufwand fällt aber erfindungsgemäß nicht mehr zur Laufzeit an, sondern davor. Dadurch werden praktisch beliebige Bezugsvolumina ohne Beschränkung auf einfache Modellierung möglich, da erfindungsgemäß die Berechnungen zur Laufzeit nahezu unabhängig von der konkreten Geometrie des Bezugsvolumens sind.The invention has the advantage that an efficient calculation of distances in space is made possible, even taking into account occlusions from the central perspective of the 3D sensor. As a result, higher resolutions and fast response times can be achieved even with moderate hardware requirements. The effort for a distance calculation to a reference volume in space scales with the geometric complexity of the reference volume. However, according to the invention, this expense is no longer incurred at runtime, but before that. As a result, virtually any reference volumes are possible without limitation to simple modeling, since according to the invention the calculations at runtime are almost independent of the specific geometry of the reference volume.

Der 3D-Sensor ist vorzugsweise eine 3D-Kamera. Eine 3D-Kamera kann jede bekannte Technik verwenden, wie ein Triangulationsprinzip, bei dem zwei Kamerabilder einer bewegten Kamera oder einer Stereokamera untereinander beziehungsweise ein Kamerabild mit einem bekannten Projektionsmuster korreliert und Disparitäten geschätzt werden, oder ein Lichtlaufzeitprinzip mit direkter Laufzeitmessung von Lichtsignalen oder Phasenmessung. Auch ein Laserscanner erzeugt 3D-Punktwolken, die bei einem klassischen Laserscanner auf eine Abtastebene beschränkt sind. Durch Veränderung der Abtastebene, also auch in Elevation bewegte Abtastung oder mehrere in Elevation versetzte Abtaststrahlen entfällt diese Beschränkung bei einem Laserscanner. Die erfindungsgemäße Abstandsbestimmung lässt sich auch für andere dreidimensionale Sensordaten etwa eines Radars oder Ultraschallsensors verwenden.The 3D sensor is preferably a 3D camera. A 3D camera can use any known technique, such as a triangulation principle, in which two camera images of a moving camera or a stereo camera correlate with each other or a camera image with a known projection pattern and disparities are estimated, or a light transit time principle with direct transit time measurement of light signals or phase measurement. A laser scanner also generates 3D point clouds, which are limited to a scanning level in a classic laser scanner. By changing the scanning plane, so even moving in elevation scanning or multiple offset in elevation scanning beams eliminates this limitation in a laser scanner. The distance determination according to the invention can also be used for other three-dimensional sensor data such as a radar or ultrasound sensor.

Vorzugsweise ist der 3D-Sensor für den Einsatz im Personenschutz vor einer gefahrbringenden Maschine sicher ausgebildet und erfüllt dafür die einleitend genannten oder entsprechende Normen, um eine gefahrbringende Maschine abzusichern.The 3D sensor is preferably designed to be safe for use in personal protection in front of a dangerous machine and for this purpose it complies with the standards mentioned above or corresponding standards in order to protect a dangerous machine.

Das Bezugsvolumen ist vorzugsweise eine Gefahrenstelle, welche eine Maschine absichert. Eine Gefahrenstelle ist eine Modellierung der Maschine und ihrer Arbeitsbewegungen zu deren Absicherung. Die Gefahrenstelle umfasst die Maschine selbst, Teilbereiche davon wie Werkzeugspitzen oder den beweglichen Teil eines Roboterarms und/oder sonstige Bereiche wie Zugangswege. Eine einfache Geometrie der Gefahrenstelle vereinfacht die Abstandsberechnung auf Kosten der Verfügbarkeit, und erfindungsgemäß kann der Aufwand für komplexe Geometrien bereits vorab geleistet werden. Gefahrenstellen werden bei der Planung der Sicherheitsanwendung konfiguriert, unter Umständen auch voll- oder halbautomatisch anhand des vorgesehenen Bewegungsablaufs der Maschine.The reference volume is preferably a point of danger which secures a machine. A danger point is a modeling of the machine and its working movements for their protection. The danger point includes the machine itself, parts of it such as tool tips or the movable part of a robot arm and / or other areas such as access routes. A simple geometry of the danger point simplifies the distance calculation at the expense of availability, and according to the invention, the complexity of complex geometries can already be achieved in advance. Danger points are configured during the planning of the safety application, under certain circumstances also fully or semi-automatically based on the intended movement sequence of the machine.

Erfasste Objekte in einer Gefahrenstelle werden bevorzugt ignoriert, beziehungsweise die Gefahrenstelle wird bei der Detektion ausmaskiert. Die Gefahrenstelle selbst wird also stets als frei von zu erfassenden Objekten angesehen, oder vielmehr als durch die Maschine blockiert. Tatsächlich wäre im Bezugsvolumen der Gefahrenstelle durchaus Raum für solche Objekte. Auch bildet die Maschine natürlich selbst ein Objekt, das zunächst von dem 3D-Sensor erfasst wird. Dies zu ignorieren vereinfacht die Überwachung und die Bestimmung kürzester Abstände, denn die Dynamik der Maschine innerhalb der Gefahrenstelle spielt so keine Rolle. Sicherheitstechnisch ist dies auch unproblematisch, denn jedes Objekt wird rechtzeitig erkannt, wenn es sich der Gefahrenstelle nähert.Detected objects in a danger location are preferably ignored, or the danger location is masked out during the detection. The danger point itself is therefore always considered to be free of objects to be detected, or rather blocked by the machine. In fact, in the reference volume of the danger spot, there would definitely be room for such objects. Of course, the machine itself forms an object that is initially detected by the 3D sensor. Ignoring this simplifies the monitoring and the determination of the shortest distances, because the dynamics of the machine within the danger point does not matter. From a safety point of view, this is also not a problem because every object is recognized in time when it approaches the danger point.

Der 3D-Sensor weist vorzugsweise eine sichere Schnittstelle zur Ausgabe kürzester Abstände aus. Herkömmlich ist eine solche sichere Schnittstelle eines in der Sicherheitstechnik eingesetzten Sensors eine binäre Schnittstelle, über die ein binäres Signal ausgegeben wird, ob eine Schutzfeldverletzung vorliegt (OSSD, Output Signal Switching Device). Stattdessen wird nun der jeweils aktuelle kürzeste Abstand sicher für eine angeschlossene Steuerung zur Verfügung gestellt. Diese Steuerung, etwa die übergeordnete Steuerung einer Roboterzelle oder auch die Steuerung der Maschine beziehungsweise des Roboters selbst, kann anhand des kürzesten Abstands sehr einfach feststellen, ob eine Gefahr besteht, und übernimmt die eigentliche Absicherungsfunktion selbst. Alternativ erfolgt die Sicherheitsbewertung schon in dem 3D-Sensors.The 3D sensor preferably has a secure interface for outputting the shortest distances. Conventionally, such a secure interface of a sensor used in safety technology is a binary interface, via which a binary signal is output, whether a protective field violation exists (OSSD, Output Signal Switching Device). Instead, the current shortest distance is now provided safely for a connected controller. This control, such as the higher-level control of a robot cell or the control of the machine or of the robot itself, can very easily determine on the basis of the shortest distance whether there is a danger and takes over the actual safety function. Alternatively, the safety assessment is carried out already in the 3D system. sensor.

Der 3D-Sensor ist bevorzugt für ein Detektionsvermögen ausgelegt, bei dem Objekte ab einer Mindestgröße sicher erfasst werden, wobei für die Bestimmung des kürzesten Abstands nur Objekte der Mindestgröße berücksichtigt sind. Das Detektionsvermögen ist eine in den einschlägigen Normen spezifizierte Eignung eines sicheren Sensors, Objekte einer Mindestgröße im gesamten Überwachungsbereich sicher zu erfassen. Die entsprechende Auslegung des Sensors betrifft seinen Aufbau, also seine Optik, seinen Lichtempfänger und weitere mögliche, noch nicht genannte Komponenten wie etwa eine Beleuchtung, und die sichere Auswertung. Das Detektionsvermögen schließt erst einmal nicht aus, dass auch kleinere Objekte erfasst werden. Für Objekte, die kleiner sind als die Mindestgröße, ist aber der Schutz nicht garantiert, beispielsweise wird ein Finger bei einem für Armschutz ausgelegten Sensor nicht sicher erfasst. Deshalb werden Objekte kleiner als die Mindestgröße möglicherweise mittels Filtern in der Auswertung ausgeschlossen. Es ist auch möglich, eine Mindestgröße oberhalb des Detektionsvermögens zu wählen, also eine an sich bereitgestellte Auflösung nicht auszunutzen. Als Zahlenbeispiele seien 14 mm für Fingerschutz oder im Bereich von 30 bis 80 mm für den Schutz von Extremitäten, insbesondere 55 mm für Oberarmschutz, oder 200 mm für den Körper genannt.The 3D sensor is preferably designed for a detection capability in which objects of a minimum size are reliably detected, with only objects of the minimum size being taken into account for determining the shortest distance. The detection capability is a suitability of a safe sensor specified in the relevant standards to safely detect objects of a minimum size in the entire surveillance area. The corresponding design of the sensor relates to its structure, so its optics, its light receiver and other possible, not yet mentioned components such as lighting, and the safe evaluation. The detection capability does not rule out that even smaller objects are detected. For objects that are smaller than the minimum size, however, the protection is not guaranteed, for example, a finger is not reliably detected in a sensor designed for arm protection. Therefore, objects smaller than the minimum size may be excluded by filtering in the evaluation. It is also possible to select a minimum size above the detection capability, ie not to exploit a resolution provided per se. Number examples are 14 mm for finger protection or in the range of 30 to 80 mm for the protection of extremities, in particular 55 mm for upper arm protection, or 200 mm for the body.

Die Steuer- und Auswertungseinheit ist vorzugsweise als eingebettetes System implementiert. Durch Embedded-Hardware, wie SoC (System on chip) oder FPGA (Field Programmable Gate Array) wird eine kompakte, in sich geschlossene Architektur des 3D-Sensors ermöglicht. Aufgrund der erfindungsgemäßen Bestimmung kürzester Abstände reichen die begrenzten Rechenkapazitäten dennoch für eine Echtzeitberechnung aus. Die Implementierung lässt sich auch effizient zwischen einem Mikroprozessor und einem FPGA beziehungsweise ASIC (Application-Specific Integrated Circuit) aufteilen, beispielsweise in dem das FPGA direkt auf einen RAM-Speicher zugreift, den der Mikroprozessor beschreibt. Alternativ zu einem eingebetteten System ist beispielsweise ein Szenario denkbar, in dem ein Sensor oder mehrere Sensoren die Objekterfassung leisten, etwa in Form von Detektionskarten, und die Abstandsberechnung erfolgt dann auf einem Zentralrechner beziehungsweise in einer übergeordneten Steuerung auf Basis der fusionierten Sensordaten.The control and evaluation unit is preferably implemented as an embedded system. Embedded hardware such as SoC (System on chip) or FPGA (Field Programmable Gate Array) enables a compact, self-contained architecture of the 3D sensor. Due to the determination according to the invention of the shortest distances, the limited computing capacities nevertheless suffice for a real-time calculation. The implementation can also be divided efficiently between a microprocessor and an application-specific integrated circuit (FPGA) or ASIC, for example, in which the FPGA directly accesses a RAM memory which the microprocessor describes. As an alternative to an embedded system, for example, a scenario is conceivable in which one or more sensors perform the object detection, for example in the form of detection cards, and the distance calculation then takes place on a central computer or in a higher-level controller based on the fused sensor data.

Die Steuer- und Auswertungseinheit ist bevorzugt dafür ausgebildet, einen vorausberechneten Abstand zu einem Zwischenbezugsbereich aus dem Speicher zu lesen und daraus den kürzesten Abstand zu bestimmen. In dieser Ausführungsform ist zumindest ein Teil der vorausberechneten Abstände noch nicht das endgültige Ergebnis, sondern wird noch verfeinert. Alternativ werden die aus dem Speicher gelesenen Abstände unmittelbar als kürzester Abstand für den diskretisierten Ort des Objekts verwendet. Es ist auch denkbar, für erfasste Objekte in manchen Teilbereichen des Überwachungsbereichs eine verfeinernde Nachberechnung vorzunehmen und in anderen nicht.The control and evaluation unit is preferably designed to read a predicted distance to an intermediate reference region from the memory and to determine therefrom the shortest distance. In this embodiment, at least some of the predicted distances are not yet the final result, but will be refined. Alternatively, the distances read from the memory are used immediately as the shortest distance for the discretized location of the object. It is also conceivable to carry out a refining recalculation for detected objects in some subareas of the surveillance area and not in others.

Die Steuer- und Auswertungseinheit ist bevorzugt dafür ausgebildet, für verschiedene Bereiche des Überwachungsbereichs kürzeste Abstände zu dem Bezugsvolumen zu berechnen und in dem Speicher abzulegen. In dieser Ausführungsform ist der 3D-Sensor selbst in der Lage, sich die Abstände vorauszuberechnen. Alternativ geschieht dies auf einem externen Rechner, beispielsweise einem Konfigurationsrechner oder in einem Netzwerk beziehungsweise einer Cloud, und die vorausberechneten Abstände werden anschließend in den Speicher des 3D-Sensors übertragen. Die in dem 3D-Sensor implementierte Berechnung von kürzesten Abständen kann auch zur Laufzeit verwendet werden, etwa wenn ausnahmsweise eine höhere Genauigkeit benötigt wird oder für einen Teilbereich, in dem ein Objekt erfasst wurde, keine vorausberechneten Abstände vorliegen.The control and evaluation unit is preferably designed to calculate shortest distances to the reference volume for different areas of the monitoring area and store them in the memory. In this embodiment, the 3D sensor itself is able to predict the distances. Alternatively, this is done on an external computer, such as a Configuration computer or in a network or a cloud, and the precalculated distances are then transferred to the memory of the 3D sensor. The calculation of shortest distances implemented in the 3D sensor can also be used at runtime, for example if a higher accuracy is required as an exception or for a subarea in which an object was detected, there are no predicted distances.

In dem Speicher sind vorausberechnete Abstände vorzugsweise in einem 3D-Raster des Überwachungsbereichs abgelegt. Das 3D-Raster deckt zumindest den relevanten Teil des Überwachungsbereichs ab, in dem Objekte erfasst werden sollen, vorzugsweise den gesamten Arbeitsbereich des 3D-Sensors. Zur Laufzeit werden die erfassten Objekte in das 3D-Raster eingeordnet. Sofern eine Detektionskarte erstellt wird, deren Pixel genau an den Positionen besetzt sind, in denen relevante Objekte erfasst wurden, ist damit die laterale Diskretisierung schon vorgenommen, und es wird nur noch der Tiefenwert entsprechend der Tiefenauflösung des 3D-Rasters diskretisiert. Das 3D-Raster ist vorzugsweise nur in lateraler Richtung regelmäßig im Sinne eines Rechteckgitters. Um der Zentralperspektive des 3D-Sensors zu entsprechen, wird das Rechteckgitter vorzugsweise mit zunehmendem Tiefenwert zentrisch gestreckt, die Rasterelemente sind also keine Quader, sondern Pyramidenstümpfe.Pre-calculated distances are preferably stored in the memory in a 3D raster of the monitoring area. The 3D raster covers at least the relevant part of the surveillance area in which objects are to be detected, preferably the entire working area of the 3D sensor. At runtime, the captured objects are placed in the 3D grid. If a detection map is created whose pixels are occupied exactly at the positions in which relevant objects were detected, so that the lateral discretization is already made, and it is only the depth value corresponding to the depth resolution of the 3D grid discretized. The 3D grid is preferably only in the lateral direction regularly in the sense of a rectangular grid. In order to correspond to the central perspective of the 3D sensor, the rectangular grid is preferably centered with increasing depth value, so the grid elements are not cuboids, but truncated pyramids.

Rasterelemente des 3D-Rasters werden vorzugsweise mit zunehmender Entfernung von dem 3D-Sensor höher. Das betrifft nicht die laterale Vergrößerung durch die Zentralperspektive, sondern eine zusätzliche Vergrößerung in der Tiefenrichtung. Die Tiefenschätzung wird für größere Entfernungen ungenauer, und daher reicht es dann auch aus, mit in Tiefenrichtung gröberen Rasterelementen größerer Höhe zu arbeiten.Raster elements of the 3D grid preferably become higher with increasing distance from the 3D sensor. This does not affect the lateral magnification through the central perspective, but an additional magnification in the depth direction. The depth estimate becomes more inaccurate for longer distances, and so it is sufficient to work with coarser grid elements of greater height in the depth direction.

Bei der Bestimmung eines vorausberechneten Abstands eines Rasterelements des 3D-Rasters wird bevorzugt der kürzeste Abstand zu einer Sichtlinie von dem 3D-Sensor durch das Rasterelement selbst und den aus Sicht des 3D-Sensors dahinter liegenden Teil der Sichtlinie, insbesondere einem Abschattungsvolumen aus dem Rasterelement selbst und den in Sichtrichtung des 3D-Sensors dahinterliegenden Rasterelementen bestimmt. Damit wird die projektive Abschattung, Okklusion oder Verdeckung aus der Zentralperspektive des 3D-Sensors berücksichtig, d. h. die Projektion eines Objekts längs der Sichtlinie von dem 3D-Sensor in die Ferne. Der nicht einsehbare projektive Schatten wird vorsichtshalber als von einem Objekt mitbelegt angesehen. Der Abstand des projektiven Schattens eines Rasterelements zu einem Bezugsvolumen kann kürzer sein als derjenige des Rasterelements, und das ist dann aus Sicherheitsüberlegungen der richtige Wert.When determining a predicted distance of a raster element of the 3D raster, the shortest distance to a line of sight from the 3D sensor is preferably the raster element itself and the part of the line of sight behind the 3D sensor, in particular a shading volume from the raster element itself and determined in the viewing direction of the 3D sensor raster elements behind. Thus, the projective shading, occlusion or occlusion from the central perspective of the 3D sensor is considered, d. H. the projection of an object along the line of sight from the 3D sensor into the distance. The non-observable projective shadow is considered as a precaution as being occupied by an object. The distance of the projective shadow of a raster element to a reference volume may be shorter than that of the raster element, and this is then the correct value for safety reasons.

Das Abschattungsvolumen wird bevorzugt für die Bestimmung eines vorausberechneten Abstands mit einem Zylinder mit endseitigen Halbkugeln umhüllt. Damit wird das Abschattungsvolumen überschätzt, was für die Sicherheit unbedenklich ist. Dafür werden die Berechnungen einfacher. Diese Berechnungen erfolgen zwar nicht zur Laufzeit, aber auch vorab stehen nicht beliebige Rechenressourcen zur Verfügung beziehungsweise es hat Vorteile, die Wartezeiten abzukürzen, bis eine Konfiguration getestet oder in Betrieb genommen werden kann.The shading volume is preferably enveloped for the determination of a predicted distance with a cylinder with end hemispheres. This overestimates the shading volume, which is safe for safety. This will make the calculations easier. Although these calculations are not performed at runtime, there are also no arbitrary computing resources available in advance, or there are advantages to shortening the waiting times until a configuration can be tested or put into operation.

Diskretisierungsfehler der vorausberechneten Abstände sind vorzugsweise konservativ unterschätzt. Durch die Einordnung in ein 3D-Raster entstehen Diskretisierungsfehler. Aus Gründen der Sicherheit sollte hier nicht einfach gerundet werden, mit der Folge, dass ein kürzester Abstand überschätzt und damit eventuell eine Gefahr zu spät bemerkt wird. Vielmehr wird vorsichtshalber jeder vorausberechnete Abstand so korrigiert, dass Ungenauigkeiten stets nur zu einem Unterschätzen des kürzesten Abstands und deshalb womöglich zu einer unnötigen sicherheitsgerichteten Reaktion, jedoch keiner Gefährdung führen. Beispielsweise wird dazu immer angenommen, dass sich ein Objekt in einem Rasterelement an dessen dem Bezugsvolumen nächsten Punkt befindet.Discretization errors of the predicted distances are preferably conservatively underestimated. The classification into a 3D raster causes discretization errors. For reasons of safety, it should not be rounded here, with the result that a shortest distance overestimates and thus possibly a danger is noticed too late. Rather, as a precaution, each precalculated distance is corrected so that inaccuracies always lead to an underestimation of the shortest distance and therefore possibly to an unnecessary safety-related response, but no hazard. For example, it is always assumed that an object in a raster element is at its closest point to the reference volume.

Vorzugsweise ist je ein Satz vorausberechneter Abstände je Bezugsvolumen gespeichert. Damit werden komplexe Überwachungsaufgaben mit mehreren parallel überwachten Bezugsvolumina und/oder dynamisch sich verändernden Bezugsvolumina aufgeteilt. Die jeweiligen Sätze oder Nachschlagtabellen vorausberechneter Abstände werden im Speicher des Sensors gespeichert, so dass dieser direkt Zugriff hat, oder sie dienen als externe Bausteine, aus denen je nach Situation vorausberechnete Abstände für den Speicher des Sensors zusammengestellt werden.Preferably, one set of predicted distances per reference volume is stored. Thus, complex monitoring tasks with several parallel monitored reference volumes and / or dynamically changing reference volumes are divided. The respective sets or look-up tables of predicted distances are stored in the memory of the sensor so that it has direct access, or they serve as external components from which, depending on the situation, pre-calculated distances for the memory of the sensor are compiled.

Bezugsvolumina sind vorzugsweise aktivierbar, und vorausberechnete Abstände zu mindestens einer Kombination parallel aktiver Bezugsvolumina sind aus vorausberechneten Abständen je Bezugsvolumen zusammengestellt. Das dient dazu, parallel mehrere Bezugsvolumina zu überwachen, etwa mehrere Maschinen oder verschiedene Bereiche derselben Maschine. Die Sätze vorausberechneter Abstände je Bezugsvolumen, oder die Nachschlagtabellen, bilden eine Art Baukastensystem, aus dem die für die Überwachungssituation erforderlichen Bausteine oder Nachschlagtabellen entsprechend der aktiven Bezugsvolumina zusammengefügt werden. Dadurch können die Bezugsvolumina in beliebiger Kombination und bis zur Grenze des Speichers und Speicherdurchsatzes beliebiger Anzahl aktiv sein, während dennoch mit vorausberechneten Abständen gearbeitet wird. Nachschlagtabellen können derart zusammengeführt sein, dass darin für jedes Rasterelement mehrere Einträge entsprechend der einzelnen aktiven Bezugsvolumina vorgenommen werden. Alternativ werden die kürzesten Abstände zu dem jeweils kürzesten Abstand nur zu dem nächsten Bezugsvolumen konsolidiert. Damit kann dann natürlich nur noch ein globaler kürzester Abstand zu allen Bezugsvolumina gemeinsam bestimmt werden, nicht mehr zu den einzelnen Bezugsvolumina und ohne zu wissen, welches konkrete Bezugsvolumen das nächste ist.Reference volumes are preferably activatable, and precalculated distances to at least one combination of parallel active reference volumes are compiled from predicted distances per reference volume. This serves to monitor several reference volumes in parallel, such as several machines or different areas of the same machine. The sets of predicted distances per reference volume, or look-up tables, form a kind of modular system from which the building blocks or look-up tables necessary for the monitoring situation are assembled according to the active reference volumes. This allows the reference volumes in any combination and up to the limit of memory and Memory throughput of any number can be active while still working with pre-calculated distances. Lookup tables may be merged such that for each raster element, multiple entries corresponding to the individual active reference volumes are made therein. Alternatively, the shortest distances to the shortest distance are consolidated only to the next reference volume. Of course, this means that only a global shortest distance to all reference volumes can be determined together, no longer to the individual reference volumes and without knowing which concrete reference volume is the next one.

Die Steuer- und Auswertungseinheit ist bevorzugt dafür ausgebildet, auf eine andere Kombination aktiver Bezugsvolumina umzuschalten. Dazu werden vorzugsweise die Sätze von vorausberechneten Abständen je Bezugsvolumen neu kombiniert. Die wechselnden Bezugsvolumina bilden eine Dynamik des überwachten Arbeitsprozesses ab, etwa wenn ein Roboter seinen Arbeitsbereich wechselt. Im Prinzip wäre es denkbar, die Bezugsvolumina großzügig zu definieren, so dass sie alle Phasen des Prozessablaufs zugleich abdecken. Wechselnde Bezugsvolumina können aber viel kleiner bleiben, da sie nur die aktuell relevanten Teilbereiche umfassen.The control and evaluation unit is preferably designed to switch to another combination of active reference volumes. For this purpose, the sets of predicted distances per reference volume are preferably recombined. The changing reference volumes represent a dynamic of the monitored work process, such as when a robot changes its workspace. In principle, it would be conceivable to generously define the reference volumes so that they cover all phases of the process flow at the same time. However, changing reference volumes can remain much smaller since they only include the currently relevant subareas.

Einzelne oder mehrere vorbereitende Schritte, bis die für die nächste Betriebsphase erforderlichen vorausberechneten Abstände in dem Speicher des 3D-Sensors bereitliegen, können je nach Ausführungsform in dem 3D-Sensor selbst und/oder extern beispielsweise in einem Konfigurationsrechner, einer übergeordneten Steuerung oder einer Cloud mit anschließendem Übertragen der Ergebnisse in den Speicher des 3D-Sensors abgearbeitet werden.Individual or several preparatory steps until the precalculated distances required for the next phase of operation are available in the memory of the 3D sensor, depending on the embodiment in the 3D sensor itself and / or externally, for example in a configuration computer, a higher-level controller or a cloud subsequent transfer of the results are processed in the memory of the 3D sensor.

In dem Speicher ist bevorzugt zu einem vorausberechneten Abstand eine Zusatzinformation gespeichert, die den Abstand oder den Bezugspunkt, zu dem der Abstand besteht, weiter charakterisiert. Beispielsweise wird durch eine Zusatzinformation angegeben, zu welchem konkreten geometrischen Punkt einer Gefahrenstelle oder Maschine der kürzeste Abstand besteht, oder es wird näher beschrieben, was sich dort befindet. Beispielsweise ist eine Werkzeugspitze unter Umständen sicherheitstechnisch anders zu bewerten als ein nur wenig bewegter, stumpfer Gelenkbereich.In the memory, additional information is preferably stored at a predicted distance which further characterizes the distance or reference point to which the distance exists. For example, it is indicated by additional information to which specific geometric point of a danger point or machine the shortest distance exists, or it will be described in more detail what is there. For example, under certain circumstances, a tool tip may have a different safety-related evaluation than a slightly moving, blunt joint region.

Zumindest einige der vorausberechneten Abstände sind vorzugsweise relativ zu anderen vorausberechneten Abständen gespeichert. Insbesondere stehen nur für einige Rasterelemente, etwa die oberste, dem 3D-Sensor zugewandte Schicht, Absolutwerte zur Verfügung, während die übrigen vorausberechneten Abstände nur die Differenz zu diesen Absolutwerten direkt oder kaskadierend angeben. Das ist eine speichereffiziente Kodierung oder Komprimierung, mit der weniger Speicherbedarf besteht. Inkrementelle Komprimierung ermöglicht geringerer Speicherverbrauch At least some of the predicted distances are preferably stored relative to other predicted distances. In particular, absolute values are available only for some raster elements, for example the uppermost layer facing the 3D sensor, while the remaining predicted distances indicate only the difference to these absolute values directly or cascadingly. This is a memory-efficient encoding or compression that requires less memory. Incremental compression allows lower memory usage

In bevorzugter Weiterbildung werden mehrere 3D-Sensoren zu einem Sensorverbund zusammengeschlossen, die einander in ihren Überwachungsbereichen und/oder ihrer Perspektive ergänzen. Ein möglicher Vorteil ist, durch gegenseitige Ergänzung einen insgesamt größeren Überwachungsbereich zu erfassen. Außerdem sind unterschiedliche Perspektiven hilfreich, um Abschattungen zu verringern. Um die gemeinsame Auswertung besonders einfach zu halten, werden zunächst kürzeste Abstände aus Sicht der einzelnen 3D-Sensoren bestimmt und anschließend zwischen den 3D-Sensoren verglichen und verrechnet, um den kürzesten Abstand für den Sensorverbund zu finden. Prinzipiell können Objektpositionen oder Empfangssignale, insbesondere 3D-Punktewolken, auch früher in der Verarbeitungskette fusioniert werden, der Sensorverbund entspricht dann einem mächtigeren 3D-Sensor mit größerem Sichtfeld und/oder weniger Abschattung.In a preferred embodiment, a plurality of 3D sensors are combined to form a sensor network, which complement each other in their monitoring areas and / or their perspective. A possible advantage is to capture a larger surveillance area by mutual complementation. In addition, different perspectives are helpful to reduce shadowing. In order to keep the joint evaluation particularly simple, the shortest distances are first determined from the point of view of the individual 3D sensors and then compared and calculated between the 3D sensors in order to find the shortest distance for the sensor network. In principle, object positions or received signals, in particular 3D point clouds, can also be fused earlier in the processing chain; the sensor network then corresponds to a more powerful 3D sensor with a larger field of view and / or less shading.

Die Erfindung wird nachstehend auch hinsichtlich weiterer Merkmale und Vorteile beispielhaft anhand von Ausführungsformen und unter Bezug auf die beigefügte Zeichnung näher erläutert. Die Abbildungen der Zeichnung zeigen in:

1 eine schematische dreidimensionale Darstellung eines 3D-Sensors und seines Überwachungsbereichs;
2 eine beispielhafte Überwachungssituation mit mehreren Gefahrenstellen und Objekten;
3 eine schematische Seitenansicht einer beispielhaften Erfassungssituation einer Person in der Nähe einer Gefahrenstelle;
4 eine Darstellung eines 3D-Rasters für die Vorausberechnung von kürzesten Abständen;
5 eine Darstellung der Rasterelemente eines Sichtstrahls des 3D-Sensors; und
6a-b eine weitere Darstellung der Rasterelemente eines Sichtstrahls sowie eine vereinfachende Umhüllung mit einem Zylindermodell.

The invention will be explained in more detail below with regard to further features and advantages by way of example with reference to embodiments and with reference to the accompanying drawings. The illustrations of the drawing show in:

1 a schematic three-dimensional representation of a 3D sensor and its monitoring area;
2 an exemplary monitoring situation with several danger points and objects;
3 a schematic side view of an exemplary detection situation of a person in the vicinity of a danger point;
4 a representation of a 3D grid for the precalculation of shortest distances;
5 a representation of the raster elements of a viewing beam of the 3D sensor; and
6a-b a further illustration of the raster elements of a viewing beam and a simplistic enclosure with a cylinder model.

1 zeigt in einer schematischen dreidimensionalen Darstellung den allgemeinen Aufbau einer Stereokamera zur Aufnahme einer Tiefenkarte. Die Stereokamera ist nur ein Beispiel für einen erfindungsgemäßen 3D-Sensor 10, an dem die Objekterfassung in dreidimensionalen Bilddaten erläutert wird. Ebenso denkbar wären die einleitend genannten anderen 3D-Kameras mit Bestimmung der Lichtlaufzeit oder einer Auswertung der Störung passiver zweidimensionaler Muster oder mit Korrelation von Bild und projizierten Beleuchtungsmustern sowie Laserscanner und andere 3D-Erfassungsprinzipien. 1 shows in a schematic three-dimensional representation of the general structure of a stereo camera for receiving a depth map. The stereo camera is just one example of a 3D sensor according to the invention 10 , where the object detection in three-dimensional image data is explained. Likewise conceivable would be the aforementioned other 3D cameras with determination of the light transit time or an evaluation of the disturbance of passive two-dimensional patterns or with correlation of image and projected illumination patterns as well as laser scanners and other 3D detection principles.

Zur Erfassung eines Überwachungs- oder Raumbereichs 12 sind zwei Kameramodule 14a, 14b in einem bekannten festen Abstand zueinander montiert und nehmen jeweils Bilder des Raumbereichs 12 auf. In jedem Kameramodul 14a, 14b ist ein Bildsensor 16a, 16b vorgesehen, üblicherweise ein matrixförmiger Aufnahmechip, der ein rechteckiges Pixelbild aufnimmt, beispielsweise ein CCD- oder ein CMOS-Sensor. Die beiden Bildsensoren 16a, 16b bilden gemeinsam einen 3D-Bildsensor oder Lichtempfänger zur Erfassung einer Tiefenkarte. Den Bildsensoren 16a, 16b ist je ein Objektiv 18a, 18b mit einer abbildenden Optik zugeordnet, welche in der Praxis als jedes bekannte Abbildungsobjektiv realisiert sein können. Der maximale Sichtwinkel dieser Optiken ist in 1 durch gestrichelte Linien dargestellt, die jeweils eine Sichtpyramide 20a, 20b bilden. To capture a surveillance or room area 12 are two camera modules 14a . 14b mounted in a known fixed distance from each other and take pictures of the space area 12 on. In every camera module 14a . 14b is an image sensor 16a . 16b provided, usually a matrix-shaped recording chip which receives a rectangular pixel image, for example a CCD or a CMOS sensor. The two image sensors 16a . 16b together form a 3D image sensor or light receiver for recording a depth map. The image sensors 16a . 16b is ever a lens 18a . 18b associated with an imaging optics, which may be implemented in practice as any known imaging lens. The maximum viewing angle of these optics is in 1 represented by dashed lines, each with a viewing pyramid 20a . 20b form.

Zwischen den beiden Bildsensoren 16a, 16b ist eine Beleuchtungseinheit 22 vorgesehen, um den Raumbereich 12 mit einem strukturierten Muster auszuleuchten. Die dargestellte Stereokamera ist demnach für aktive Stereoskopie ausgebildet, bei der das Muster auch einer an sich strukturlosen Szenerie überall auswertbare Kontraste aufprägt. Alternativ ist keine oder eine homogene Beleuchtung vorgesehen, um die natürlichen Objektstrukturen im Raumbereich 12 auszuwerten, was aber regelmäßig zu zusätzlichen Bildfehlern führt.Between the two image sensors 16a . 16b is a lighting unit 22 provided to the room area 12 to illuminate with a structured pattern. The stereoscopic camera shown is therefore designed for active stereoscopy, in which the pattern also imprints a contrast that can be evaluated anywhere in a structureless scene. Alternatively, no or a homogeneous illumination is provided to the natural object structures in the spatial area 12 evaluate, but this regularly leads to additional image errors.

Mit den beiden Bildsensoren 16a, 16b und der Beleuchtungseinheit 22 ist eine Steuer- und Auswertungseinheit 24 verbunden. Die Steuer- und Auswertungseinheit 24 kann in verschiedenster Hardware implementiert sein, beispielsweise digitalen Bausteinen wie Mikroprozessoren, ASICs (Application Specific Integrated Circuit), FPGAs (Field Programmable Gate Array), GPUs (Graphics Processing Unit) oder Mischformen davon, die sich bevorzugt in dem 3D-Sensor 10 befinden, die aber auch beliebig auf interne und externe Komponenten verteilbar sind, wobei externe Komponenten auch über Netzwerk oder eine Cloud eingebunden sein können, soweit Latenzen beherrscht oder toleriert werden können. Da das Erzeugen der Tiefenkarte und deren Auswertung sehr rechenintensiv sind, wird vorzugsweise eine zumindest teilweise parallele Architektur gebildet.With the two image sensors 16a . 16b and the lighting unit 22 is a control and evaluation unit 24 connected. The control and evaluation unit 24 may be implemented in a variety of hardware, such as digital devices such as microprocessors, Application Specific Integrated Circuit (ASIC), Field Programmable Gate Array (FPGA), Graphics Processing Unit (GPU), or hybrids thereof, which are preferably located in the 3D sensor 10; however, they can also be arbitrarily distributed to internal and external components, whereby external components can also be integrated via network or a cloud, as long as latencies can be mastered or tolerated. Since the generation of the depth map and its evaluation are very computationally intensive, an at least partially parallel architecture is preferably formed.

Die Steuer- und Auswertungseinheit 24 erzeugt mit Hilfe der Beleuchtungseinheit 22 das strukturierte Beleuchtungsmuster und empfängt Bilddaten der Bildsensoren 16a, 16b. Aus diesen Bilddaten berechnet sie mit Hilfe einer stereoskopischen Disparitätsschätzung die 3D-Bilddaten beziehungsweise die Tiefenkarte des Raumbereichs 12. Der gesamte erfassbare Raumbereich 12 kann über eine Konfiguration eingeschränkt werden, beispielsweise um störende oder nicht notwendige Bereiche auszublenden.The control and evaluation unit 24 generated with the help of the lighting unit 22 the structured illumination pattern and receives image data of the image sensors 16a . 16b , From these image data, it calculates the 3D image data or the depth map of the spatial area with the help of a stereoscopic disparity estimation 12 , The entire detectable space area 12 can be restricted via a configuration, for example to hide disturbing or unnecessary areas.

Eine wichtige sicherheitstechnische Anwendung des 3D-Sensors 10 ist die Überwachung einer Maschine 26, die in der 1 durch einen Roboter symbolisiert ist. Der 3D-Sensor 10 ist dafür vorzugsweise fehlersicher im Sinne von Sicherheitsnormen wie den einleitend genannten ausgelegt. Die Maschine 26 kann auch wesentlich komplexer sein als gezeigt, aus vielen Teilen bestehen oder sogar eigentlich eine Anordnung mehrerer Maschinen sein, etwa mehrerer Roboter oder Roboterarme. Es wird überwacht, ob Objekte 28, dargestellt als Person, durch die Maschine 26 gefährdet sind und eine entsprechende sicherheitsgerichtete Reaktion erfolgen muss, beispielsweise die Maschine 26 anhält, abbremst oder ausweicht. Dazu weist der 3D-Sensor 10 eine sichere Schnittstelle 30 auf, über die entsprechende Reaktionen ausgelöst oder für eine Sicherheitsbewertung erforderliche Überwachungsgrößen ausgegeben werden, entweder direkt an die Maschine 26 oder an eine Zwischenstation wie eine sichere Steuerung.An important safety application of the 3D sensor 10 is the monitoring of a machine 26 in the 1 symbolized by a robot. The 3D sensor 10 For this purpose, it is preferably designed to be fail-safe in the sense of safety standards such as those mentioned in the introduction. The machine 26 can also be much more complex than shown, consist of many parts or even actually be an arrangement of multiple machines, such as multiple robots or robot arms. It monitors whether objects 28 , represented as a person, by the machine 26 are at risk and a corresponding safety-related response must be made, such as the machine 26 stops, slows down or evades. This is indicated by the 3D sensor 10 a secure interface 30 which triggers corresponding responses or outputs required monitoring variables for a safety assessment, either directly to the machine 26 or to an intermediate station such as a secure controller.

Die Sicherheitsbewertung basiert auf einer Abstandsüberwachung, die nun zunächst unter Bezugnahme auf die 2 und 3 inhaltlich erläutert wird. Anschließend werden unter Bezugnahme auf die 4 bis 6 effiziente Berechnungsverfahren für die zugrundeliegenden kürzesten Abstände vorgestellt. Obwohl die Erfindung für eine Absicherung einer Mensch-Maschine-Kollaboration beschrieben wird, lassen sich diese Berechnungsverfahren auch für andere Überwachungsaufgaben nutzen.The safety assessment is based on a distance monitoring, which is now first with reference to the 2 and 3 content is explained. Subsequently, referring to the 4 to 6 efficient calculation methods for the underlying shortest distances are presented. Although the invention is described for securing a human-machine collaboration, these calculation methods can also be used for other monitoring tasks.

2 zeigt eine beispielhafte Überwachungssituation in dem Raumbereich 12 mit mehreren Gefahrenstellen 26a, 26b und Objekten 28. 3 ist eine schematische Seitenansicht einer einzelnen Gefahrenstelle 26a mit einem Objekt 28 in deren Nähe. 2 shows an exemplary monitoring situation in the room area 12 with several danger spots 26a . 26b and objects 28 , 3 is a schematic side view of a single point of danger 26a with an object 28 in the vicinity.

Eine Gefahrenstelle 26a, 26b ist eine bevorzugte Modellierung der gefahrbringenden Maschine 26 und beschreibt den potentiell für den Menschen gefährlichen Bereich als Volumen im Raum. Beispielsweise ist eine Gefahrenstelle 26a, 26b der Raumbereich, in dem die Maschine 26 in einem jeweiligen Zeitabschnitt Arbeitsbewegungen ausführt, oder noch allgemeiner ein Raumbereich, der die Maschine 26 absichert, sei es weil die Maschine 26 davon zumindest teilweise umgeben ist oder weil die Gefahrenstelle 26a, 26b den Zugang zu der Maschine 26 sperrt. Die Gefahrenstelle 26a, 26b kann die Maschine 26 mit etwas Abstand umgeben, um den Arbeitsbewegungen ausreichend Spiel zu lassen. Es können einfache Gefahrenstellen 26a, 26b wie Quader oder Kugeln definiert und dafür gewisse Leerräume in Kauf genommen werden, um die Berechnungen zu vereinfachen. Die Erfindung führt aber die aufwändigen Berechnungen schon vorab durch, so dass vorzugsweise auch komplexe Geometrien zugelassen sind.A danger point 26a . 26b is a preferred modeling of the hazardous machine 26 and describes the potentially dangerous area for humans as volume in space. For example, a danger point 26a . 26b the room area in which the machine 26 performs work movements in a respective period of time, or more generally a space area that executes the machine 26 hedges, be it because the machine 26 it is at least partially surrounded or because the danger point 26a . 26b access to the machine 26 locks. The danger spot 26a . 26b can the machine 26 surrounded by some distance to allow the working movements enough play. It can be simple danger spots 26a . 26b how to define cubes or spheres and to accept certain voids in order to simplify the calculations. However, the invention carries out the complex calculations in advance, so that preferably also complex geometries are allowed.

Mehrere Gefahrenstellen 26a, 26b können parallel aktiv sein. Sie modellieren beispielsweise mehrere Maschinen 26 und/oder mehrere bewegliche Teilabschnitte einer Maschine 26. Gefahrenstellen 26a, 26b können starr sein und sämtliche denkbaren Arbeitsbewegungen umfassen. Alternativ sind jeweils Gefahrenstellen 26a, 26b für Teilabschnitte der Arbeitsbewegung definiert, die in einer dem Prozess entsprechenden Abfolge benutzt werden und die kleiner und besser angepasst sind. Gefahrenstellen 26a, 26b können durch einen Einrichter, gegebenenfalls je Prozessschritt, in einem entsprechenden Softwarewerkzeug vorkonfiguriert werden, auch halb- oder vollautomatisch durch Beobachten der Arbeitsabläufe, oder beispielsweise auch dynamisch von einer Steuerung der Maschine 26 übernommen werden.Several danger spots 26a . 26b can be active in parallel. For example, you model several machines 26 and / or a plurality of movable sections of a machine 26 , danger zones 26a . 26b can be rigid and encompass all possible working movements. Alternatively, each danger spots 26a . 26b for subsections of the work movement used in a sequence corresponding to the process and which are smaller and better adapted. danger zones 26a . 26b can be preconfigured by a fitter, possibly for each process step, in a corresponding software tool, also semi-or fully automatic by observing the workflows, or for example also dynamically by a control of the machine 26 be taken over.

Objekte 28 sind meist als Personen gezeigt, weil es um den Personenschutz geht, wobei aber der 3D-Sensor 10 vorzugsweise nicht unterscheidet, ob ein Objekt 28 eine Person ist, oder jedenfalls nur anhand von einfachen Kriterien wie Mindestgrößen. Einfache oder komplexe Körpermodelle sind andererseits auch nicht ausgeschlossen. Die Steuer- und Auswertungseinheit 24 erfasst die Objekte 28 mit Hilfe der Tiefenkarte. Eine mögliche Repräsentation ist eine sogenannte Detektionstiefenkarte, deren Pixel einen Abstandswert enthalten, wo immer an der jeweiligen lateralen Position ein gültiges Objekt 28 erkannt wurde, und die sonst leer bleibt. Gültig bedeutet in diesem Zusammenhang, dass das Objekt 28 auch nach Filterungen mit einer Mindestgröße, einem Körpermodell, einem Zusammenhang mit einem grob erfassten Objekt wie in EP 3 200 122 A1 oder dergleichen noch als relevant betrachtet wird.objects 28 are mostly shown as persons, because it is about personal protection, but the 3D sensor 10 preferably does not distinguish whether an object 28 is a person, or at least only on the basis of simple criteria such as minimum sizes. On the other hand, simple or complex body models are not excluded either. The control and evaluation unit 24 captures the objects 28 with the help of the depth map. One possible representation is a so-called detection depth map whose pixels contain a distance value, wherever a valid object is located at the respective lateral position 28 was recognized, and otherwise remains empty. Valid in this context means that the object 28 even after filtering with a minimum size, a body model, a connection with a coarse-grained object like in EP 3 200 122 A1 or the like is still considered relevant.

Im Beispiel der 2 sind zwei Gefahrenstellen 26a, 26b zu überwachen, und derzeit sind von dem 3D-Sensor 10 in deren Umgebung vier Objekte 28 erkannt. Zwei der Objekte 28 sind, ohne dass der 3D-Sensor 10 diese Information explizit gewinnen muss, einzelne Personen, ein weiteres Objekt 28 besteht aus zwei miteinander verschmolzenen Personen, sei es weil sie zusammen ein Werkstück tragen und so tatsächlich verbunden sind oder weil die Segmentierung die beiden Personen nicht trennen konnte. Hinzu kommt noch ein Objekt 28, das nicht näher identifizierbar ist und das ein Gegenstand oder eine Fehlerfassung sein könnte. Fällt es unter die Mindestgröße, so kann es ignoriert werden, ansonsten muss es vorsichtshalber als Person interpretiert werden. Der nicht verbundene Arm der Person ganz links bildet je nach Auswertung ein eigenes weiteres Objekt, oder er wird, insbesondere nach der Lehre der EP 3 200 122 A1 , der Person zugeschlagen.In the example of 2 are two danger spots 26a . 26b to monitor, and currently are from the 3D sensor 10 in the environment four objects 28 recognized. Two of the objects 28 are without the 3D sensor 10 this information must explicitly win, individuals, another object 28 consists of two fused people, either because they carry a workpiece together and are thus actually connected or because the segmentation could not separate the two persons. There is also an object 28 that is not identifiable and that could be an object or an error. If it falls below the minimum size, it can be ignored, otherwise it must be interpreted as a precaution as a person. The unconnected arm of the person on the far left, depending on the evaluation of his own further object, or he will, in particular according to the teaching of EP 3 200 122 A1 who slammed the person.

Die Steuer- und Auswertungseinheit 24 berechnet kontinuierlich den kürzesten Abstand des einer jeweiligen Gefahrenstelle 26a, 26b nächsten Objekts 28. Dazu müssen im Prinzip alle Objektpunkte betrachtet werden. Vorzugsweise wird die Tiefenkarte vorgefiltert und enthält nur noch die detektierten Objekte, beziehungsweise es wird eine oben kurz eingeführte Detektionskarte verwendet, die nur die Entfernungen der relevanten Objekte zu dem 3D-Sensor 10 enthält.The control and evaluation unit 24 continuously calculates the shortest distance of a respective danger point 26a . 26b next object 28 , For this, in principle, all object points must be considered. Preferably, the depth map is prefiltered and contains only the detected objects, or it is used a short above introduced detection card that contains only the distances of the relevant objects to the 3D sensor 10.

In 2 und 3 sind Pfeile 32 eingezeichnet, welche in der aktuellen Situation die kürzesten Abstände bezüglich der Gefahrenstellen 26a, 26b darstellen. Der kürzeste Abstand verbindet den nächsten Punkt einer Gefahrenstelle 26a, 26b mit dem nächsten Punkt des nächsten Objekts 28. Bei dieser Darstellung ist angenommen, dass das kleine Objekt 28 rechts unten in 2 die Mindestgröße überschreitet. Andernfalls würde es ignoriert und stattdessen der Abstand zu den beiden verschmolzenen Personen ausgegeben, die das zweitnächste Objekt 28 bilden. Wie in 3 zu erkennen, wird bei der Berechnung der kürzesten Abstände auch der projektive Schatten 28a der Objekte 28 berücksichtigt, also derjenige Bereich, den ein Objekt 28 aus der Zentralperspektive des 3D-Sensors 10 verdeckt. Dadurch ist auch in diesem Beispiel der kürzeste Abstand etwas geringer, als es derjenige zu dem Objekt 28 selbst wäre. Das ist aber sicherheitstechnisch erforderlich, weil sich an dieser Stelle ein relevantes Objekt 28 verbergen könnte.In 2 and 3 are arrows 32 located, which in the current situation the shortest distances with respect to the danger spots 26a . 26b represent. The shortest distance connects the next point of a danger point 26a . 26b with the next point of the next object 28 , In this representation, it is assumed that the small object 28 bottom right in 2 exceeds the minimum size. Otherwise, it would be ignored and instead output the distance to the two fused persons, the second closest object 28 form. As in 3 In the calculation of the shortest distances, the projective shadow is also recognized 28a the objects 28 takes into account, ie the area that an object 28 from the central perspective of the 3D sensor 10 covered. As a result, even in this example, the shortest distance is slightly less than that to the object 28 itself would be. However, this is necessary in terms of safety, because at this point a relevant object 28 could hide.

Der jeweils zuletzt bezüglich einer Gefahrenstelle 26a, 26b ermittelte kürzeste Abstand des dieser Gefahrenstelle 26a, 26b nächsten Objekts 28 wird zyklisch oder azyklisch je nach geforderter und möglicher Ansprechzeit des 3D-Sensors 10 an der sicheren Schnittstelle 30 bereitgestellt, und zwar vorzugsweise unterscheidbar je Gefahrenstelle 26a, 26b. Eine an die sichere Schnittstelle 30 angeschlossene Steuerung, sei es eine übergeordnete Steuerung oder diejenige der Maschine 26, wertet den kürzesten Abstand aus und plant erforderlichenfalls abhängig von dem kürzesten Abstand den nächsten Arbeitsschritt neu. Im Gefährdungsfall wird eine sicherheitsgerichtete Reaktion eingeleitet so dass durchgehend der erforderliche Sicherheitsabstand zwischen Mensch und Maschine gewahrt bleibt. Ob dies erforderlich ist, kann neben dem kürzesten Abstand von weiteren Bedingungen wie den Geschwindigkeiten oder der Beschaffenheit von Objekt 28 und Maschinenbereich 26 der drohenden Kollision abhängen, wofür je nach Ausführungsform weitere Größen mit dem kürzesten Abstand ausgegeben werden.The last with respect to a danger point 26a . 26b determined shortest distance of this danger spot 26a . 26b next object 28 becomes cyclic or acyclic depending on the required and possible response time of the 3D sensor 10 at the secure interface 30 provided, and preferably distinguishable per point of danger 26a . 26b , One to the secure interface 30 connected control, be it a higher-level control or that of the machine 26 , evaluates the shortest distance and, if necessary, re-plans the next step depending on the shortest distance. In case of danger, a safety-related reaction is initiated so that the required safety distance between man and machine is maintained throughout. Whether this is necessary can be next to the shortest distance from other conditions such as the speeds or the nature of the object 28 and machine area 26 depend on the impending collision, for which, depending on the embodiment, other sizes are issued with the shortest distance.

Die Abstandsberechnung ist ein äußerst rechenintensiver Prozess, da für den Vergleich zum Auffinden des kürzesten Abstands zwischen einer Vielzahl von Raumpunkten von Gefahrenstelle 26a, 26b und Objekt 28 Abstände zu berechnen sind, und das auch für mehrere Gefahrenstellen 26a, 26b und Objekte 28 bei Bildwiederholfrequenzen von einigen zehn Hertz. Um dies mit begrenzten Rechenressourcen in Echtzeit oder Quasi-Echtzeit innerhalb einer definierten Ansprechzeit zu leisten, werden erfindungsgemäß Abstände vorausberechnet. Die vorausberechneten Abstände werden beispielhaft in einer Nachschlagtabelle (LUT, Lookup Table) gespeichert, wobei aber trotz der Verwendung dieses Begriffs andere Repräsentationen genauso denkbar sind.The distance calculation is a highly computationally intensive process, because for comparison to find the shortest distance between a plurality of spatial points of danger point 26a . 26b and object 28 Distances are to be calculated, and that too for several danger spots 26a . 26b and objects 28 at refresh rates of a few tens of hertz. In order to do this with limited computing resources in real time or quasi-real time within a defined response time, distances are predicted according to the invention. The predicted distances are stored by way of example in a look-up table (LUT), but other representations are equally conceivable despite the use of this term.

Die Vorbereitung von Nachschlagtabellen für eine nachfolgende Betriebsphase geschieht vorzugsweise in mehreren Schritten. Zunächst wird für jede Gefahrenstelle 26a, 26b, die irgendwann im Prozessablauf aktiv werden soll, eine individuelle Nachschlagtabelle erzeugt. Daraus werden für alle Kombinationen von gleichzeitig aktiven Gefahrenstellen 26a, 26b, die im Prozessablauf vorkommen, kombinierte Nachschlagtabellen gebildet. Zur Laufzeit wird für den nachfolgenden Prozessschritt mit den jeweiligen Gefahrenstellen 26a, 26b die passende kombinierte Nachschlagtabelle aktiviert, und mit deren Hilfe werden die kürzesten Abstände effizient berechnet. Dies ist nur eine bevorzugte Ausführungsform, prinzipiell können vorausberechnete Abstände auch auf andere Weise gewonnen und insbesondere individuell erstellt statt aus individuellen Nachschlagtabellen je Gefahrenstelle 26a, 26b kombiniert werden, oder es werden unabhängig vom Prozessablauf sämtliche Kombinationen vorbereitet.The preparation of look-up tables for a subsequent operating phase is preferably done in several steps. First, for every danger spot 26a . 26b , which should become active at some point in the process, generates an individual lookup table. This will apply to all combinations of simultaneously active danger points 26a . 26b that occur in the process flow, formed combined lookup tables. At runtime, for the subsequent process step with the respective danger points 26a . 26b the appropriate combined lookup table is activated and with the help of which the shortest distances are calculated efficiently. This is only a preferred embodiment, in principle, predicted distances can be obtained in other ways and in particular created individually instead of individual lookup tables per point of danger 26a . 26b be combined or regardless of the process flow all combinations are prepared.

Die 4 bis 6 illustrieren den ersten Schritt, mit dem jeweils eine individuelle Nachschlagtabelle für eine einzelne Gefahrenstelle 26a, 26b berechnet wird (HDM, Hazard Distance Map). Vorab der Laufzeit, was hier als Konfigurationszeit bezeichnet wird, erzeugt die Steuer- und Auswertungseinheit 24 selbst beziehungsweise ein Konfigurationsrechner insbesondere in einer Cloud ein 3D-Raster 34. Die Auflösung in lateraler X-Y-Richtung entspricht vorzugsweise derjenigen der Tiefen- oder Detektionskarte, typischerweise in der Größenordnung mehrerer 100 x 100. In der Tiefen- oder Z-Richtung wird eine Tiefendiskretisierung von beispielsweise zehn bis zwanzig Stufen oder mehr gewählt. Das 3D-Raster 34 muss nicht regelmäßig sein wie gezeigt. Insbesondere kann die Höhe der einzelnen Rasterelemente 36 mit dem Tiefenwert, also zunehmender Entfernung von dem 3D-Sensor 10 größer werden. Das entspricht der wachsenden Tiefenungenauigkeit des 3D-Sensors, weshalb eine feine Rasterung in größeren Entfernungen nicht unbedingt sinnvoll ist.The 4 to 6 illustrate the first step, each with an individual lookup table for a single point of danger 26a . 26b is calculated (HDM, Hazard Distance Map). Before the runtime, which is referred to here as the configuration time, generates the control and evaluation unit 24 itself or a configuration computer, in particular in a cloud a 3D grid 34 , The resolution in the lateral XY direction preferably corresponds to that of the depth or detection card, typically of the order of several hundred × 100. In the depth or Z Direction, a depth discretization of, for example, ten to twenty steps or more is selected. The 3D grid 34 does not have to be regular as shown. In particular, the height of the individual grid elements 36 with the depth value, ie increasing distance from the 3D sensor 10 grow. This corresponds to the growing depth inaccuracy of the 3D sensor, which is why a fine screening in larger distances is not necessarily useful.

Das 3D-Raster 34 deckt vorzugsweise, aber nicht notwendigerweise den gesamten Arbeitsbereich des 3D-Sensors 10 ab, wobei der Arbeitsbereich wiederum nur ein Teil des maximal möglichen Sichtbereichs sein kann. Die einzelnen Rasterelemente 36 des 3D-Rasters 34 sind keine regulären Voxel, sondern repräsentieren aufgrund der Zentralperspektive des 3D-Sensors 10 Pyramidenstümpfe. Gespeichert wird das 3D-Raster 34 dennoch als geordnetes Feld mit Indices (x, y, z) oder eine vergleichbare Repräsentation, ohne auf die Form der Pyramidenstümpfe Rücksicht zu nehmen.The 3D grid 34 preferably, but not necessarily, covers the entire working area of the 3D sensor 10 Again, the work area can only be part of the maximum possible viewing area. The individual grid elements 36 of the 3D grid 34 are not regular voxels, but represent based on the central perspective of the 3D sensor 10 Truncated pyramids. The 3D grid is saved 34 nevertheless, as an ordered field with indices (x, y, z) or a comparable representation, without taking into account the shape of the truncated pyramids.

5 zeigt die Rasterelemente 36 längs eines beispielhaften Sichtstrahls 38 des 3D-Sensors 10, der hier vereinfachend mit nur fünf Tiefenwerten diskretisiert ist. Im gezeigten Beispiel wird der Abstand zu einer Gefahrenstelle 26a, 26b für das oberste Rasterelement 36a des Sichtstrahls 38 berechnet. Bei dieser Abstandsbestimmung wird auch der gesamte Sichtstrahls 38 bis zum unteren Ende verwendet. Der vorausberechnete kürzeste Abstand für das Rasterelement 36a kann also zu einem Bereich des Sichtstrahls 38 bestehen, der unterhalb des Rasterelements 36a liegt. Das entspricht einer Berücksichtigung des in 3 gezeigten projektiven Schattens 28a, denn ein Objekt 28 im obersten Rasterelement 36a würde weitere Objekte längs des Sichtstrahls 38 verdecken. Alternativ zu einer Bestimmung von Abständen zum Sichtstrahl 38, d. h. einer im Prinzip unendlich dünnen Linie, kann der Abstand zu dem Sichtstrahlvolumen 40 ab dem Rasterelement 36a nach unten bestimmt werden, wobei das Sichtstrahlvolumen 40 auch als Abschattungsvolumen bezeichnet wird, da es den projektiven Schatten 28a mit umfasst. 5 shows the grid elements 36 along an exemplary sight beam 38 of the 3D sensor 10, which is simplified discretized here with only five depth values. In the example shown, the distance becomes a danger point 26a . 26b for the top raster element 36a of the visual beam 38 calculated. In this distance determination also the entire visual beam 38 used to the lower end. The predicted shortest distance for the grid element 36a So it can become an area of the visual beam 38 exist, which is below the grid element 36a lies. This corresponds to a consideration of the in 3 shown projective shadow 28a , because an object 28 in the top raster element 36a would be more objects along the line of sight 38 cover. Alternatively to a determination of distances to the visual beam 38 , ie a line that is in principle infinitely thin, may be the distance to the viewing beam volume 40 from the grid element 36a be determined down, where the visual beam volume 40 also called shading volume, since it is the projective shadow 28a includes.

Die konkrete geometrische Abstandsbestimmung im dreidimensionalen Raum ist rechenintensiv, zumal vorzugsweise beliebig komplexe Formen der Gefahrenstelle 26a, 26b zugelassen sind. Sie ist aber trotz des erheblichen Aufwands mathematisch elementar und wird hier nicht weiter erklärt. Der gefundene kürzeste Abstand wird in dem Rasterelement 36a abgelegt. Zu beachten ist, dass Diskretisierungsfehler durch die endliche Auflösung des 3D-Rasters 34 stets so behandelt werden müssen, dass die kürzesten Abstände konservativ unterschätzt sind. Das kann in der Form berücksichtigt werden, dass der vorausberechnete Wert dem ungünstigsten Punkt in dem Rasterelement 36 entspricht, oder es wird später bei der Diskretisierung beziehungsweise Einordnung der tatsächlichen Objektpunkte in das 3D-Raster 34 zur Laufzeit berücksichtigt.The concrete geometric distance determination in three-dimensional space is computationally intensive, especially preferably arbitrarily complex forms of the danger spot 26a . 26b allowed are. Despite the considerable effort, however, it is mathematically elementary and will not be explained further here. The shortest distance found is in the grid element 36a stored. It should be noted that discretization errors due to the finite resolution of the 3D grid 34 must always be treated in such a way that the shortest distances are conservatively underestimated. This can be taken into account in the form that the precalculated value is the worst-case point in the raster element 36 corresponds, or it will later in the discretization or classification of the actual object points in the 3D grid 34 taken into account at runtime.

Nachdem der vorausberechnete Abstand für das oberste Rasterelement 36a bestimmt ist, wird das darunterliegende Rasterelement 36 betrachtet und der nun kürzere verbleibende Sichtstrahl 38 bis zum unteren Ende zur Abstandsberechnung verwendet. Nachdem das 3D-Raster 34 auch nach unten hin für die weiteren Rasterelemente 36a des Sichtstrahls 38 mit vorausberechneten Abständen gefüllt ist, wird zum nächsten Sichtstrahl 38 übergegangen, bis das 3D-Raster 34 und damit die Nachschlagtabelle für diese Gefahrenstelle 26a, 26b vollständig ist.After the precalculated distance for the top raster element 36a is determined, the underlying grid element 36 considered and the now shorter remaining visible beam 38 used to the lower end for distance calculation. After the 3D grid 34 also downwards for the other raster elements 36a of the visual beam 38 filled with predicted distances, becomes the next line of sight 38 passed until the 3D grid 34 and hence the lookup table for this danger spot 26a . 26b is complete.

Es ist denkbar, in der Nachschlagtabelle zur Datenkomprimierung inkrementelle Werte zu speichern. Beispielsweise wird nur für die oberste Schicht von Rasterelementen 36a des 3D-Rasters 34 ein Absolutwert gespeichert und für die übrigen Rasterelemente 36 die Änderung zum jeweiligen obersten Rasterelement 36a desselben Sichtstrahls 38, oder kaskadierend zum jeweiligen oberen Nachbarn. Umgekehrt können aber auch Zusatzinformationen zu den vorausberechneten Abständen gespeichert werden, etwa der Bezugspunkt der Gefahrenstelle 26a, 26b der den kürzesten Abstand geliefert hat, der Bezugspunkt innerhalb des Rasterelements 36 oder welcher konkrete Teil der Maschine 26 im kürzesten Abstand liegt und wie gefährlich dieser ist.It is conceivable to store incremental values in the data compression lookup table. For example, only for the top layer of raster elements 36a of the 3D grid 34 stored an absolute value and for the other raster elements 36 the change to the topmost grid element 36a of the same visual ray 38 , or cascading to the respective upper neighbor. Conversely, however, additional information about the predicted distances can be stored, such as the reference point of the danger point 26a . 26b which has supplied the shortest distance, the reference point within the raster element 36 or which concrete part of the machine 26 in the shortest distance and how dangerous this is.

Bisher wurde bei der Abstandsberechnung entweder ein Abstand zu dem im Prinzip unendlich dünnen Geradensegment des Sichtstrahls 38 der genauen pyramidenstumpfförmigen Geometrie des Sichtstrahlvolumens 40 der umgebenden Rasterelemente 36 berechnet. 6 illustriert eine mögliche Approximation in einer weiteren Ausführungsform. Dabei zeigt 6a zunächst noch einmal das Sichtstrahlvolumen 40 eines Sichtstrahls 38 als Pyramidenstumpf. 6b stellt die denkbare Approximation mittels eines Zylinders 42 dar, der an seinen Enden durch Halbkugeln abgeschlossen ist und anschaulich eine Kapsel bildet. Letztlich wird so der Sichtstrahl 38 verbreitert, bis er das Sichtstrahlvolumen 40 einschließt. Praktisch wird für die Abstandsbestimmung einfach von den Werten, die zu dem unendlich dünnen Sichtstrahl 38 selbst bestimmt werden, der Radius des Zylinders 42 abgezogen. Dieser Radius wird aus der Diagonalen der Bodenfläche des Pyramidenstumpfes abgeleitet. Durch den Zylinder 42 ist die geforderte konservative Unterschätzung der vorausberechneten Abstände automatisch und überall mit einer sehr einfachen Rechenvorschrift gewährleistet. Ein weiterer Vorteil dieses Vorgehens ist gegenüber einer Berücksichtigung der genauen pyramidenstumpfförmigen Geometrie des Sichtstrahlvolumens 40 eine vereinfachte Berechnung. Das findet zwar vor der Laufzeit statt, aber auch dafür sind kurze Wartezeiten und einfache Implementierungen von Vorteil.So far, in the distance calculation was either a distance to the principle infinitely thin line segment of the sight beam 38 the exact truncated pyramidal geometry of the viewing beam volume 40 the surrounding grid elements 36 calculated. 6 illustrates a possible approximation in another embodiment. It shows 6a First again the visual beam volume 40 a sight beam 38 as a truncated pyramid. 6b represents the conceivable approximation by means of a cylinder 42 which is closed at its ends by hemispheres and clearly forms a capsule. Ultimately, so will the visual beam 38 widened until he saw the visual beam volume 40 includes. Practically, for the distance determination is easy from the values that to the infinitely thin visual ray 38 itself determined, the radius of the cylinder 42 deducted. This radius is derived from the diagonal of the bottom surface of the truncated pyramid. Through the cylinder 42 the required conservative underestimation of the predicted distances is guaranteed automatically and everywhere with a very simple calculation rule. Another advantage of this approach is over consideration of the exact truncated pyramidal geometry of the viewing beam volume 40 a simplified calculation. Although this takes place before the term, but also for short waiting times and simple implementations of advantage.

Auf die beschriebene Weise wird jeweils eine Nachschlagtabelle oder HDM für jede Gefahrenstelle 26a, 26b erzeugt. Im Betrieb können vorzugsweise mehrere Gefahrenstellen 26a, 26b parallel aktiv sein. Um dann die Ausgabe mehrerer kürzester Abstände jeweils zu mehreren Gefahrenstellen 26a, 26b parallel berechnen zu können, werden nun vorteilhafterweise in einem zweiten Schritt die einzelnen Nachschlagtabellen kombiniert. Wenn eine dynamische Umschaltung der jeweils aktiven Gefahrenstellen 26a, 26b für verschiedene Prozessschritte vorgesehen ist, werden entsprechend mehrere Kombinationen für die möglichen Konfigurationen gleichzeitig aktiver Gefahrenstellen 26a, 26b vorbereitet. Eine solche kombinierte Nachschlagtabelle aus mehreren HDM wird auch als ADM (Activation Distance Map) bezeichnet.In the manner described, one look-up table or HDM is created for each danger point 26a . 26b generated. In operation, preferably several danger spots 26a . 26b be active in parallel. Then the output of several shortest distances in each case to several danger spots 26a . 26b To be able to calculate in parallel, the individual lookup tables are now advantageously combined in a second step. When a dynamic switching of each active danger points 26a . 26b is provided for different process steps, accordingly, several combinations for the possible configurations simultaneously active danger points 26a . 26b prepared. Such a combined lookup table of multiple HDM is also referred to as ADM (Activation Distance Map).

Die kombinierte Nachschlagtabelle beinhaltet gemeinsam alle vorausberechneten Abstände für eine bestimmte Konfiguration aktiver Gefahrenstellen 26a, 26b. Eine denkbare Struktur ist diejenige des 3D-Rasters 34 und damit der einzelnen Nachschlagtabelle (HDM) selbst, nur dass in jedem Rasterelement 36 nicht nur ein Eintrag vorgenommen wird, sondern so viele hintereinander, wie Gefahrenstellen 26a, 26b parallel aktiv sind. Die Speicherstruktur ist dann (x, y, z, i), wobei i die Anzahl der parallel aktiven Gefahrenstellen 26a, 26b ist. Alternativ wird weiterhin nur ein Eintrag je Rasterelement 36 gespeichert, der dem über alle beitragenden einzelnen Nachschlagtabellen konsolidierten Abstand zur nächsten Gefahrenstelle 26a, 26b entspricht. Dann lässt sich natürlich zur Laufzeit nicht mehr differenzieren, zu welcher konkreten Gefahrenstelle 26a, 26b der kürzeste Abstand eines nächsten Objekts 28 besteht, aber der global kürzeste Abstand zu irgendeiner Gefahrenstelle 26a, 26b kann für bestimmte Sicherheitskonzepte genügen.The combined look-up table collectively includes all pre-calculated distances for a particular active hazard location configuration 26a . 26b , A conceivable structure is that of the 3D grid 34 and so the individual lookup table (HDM) itself, except that in each grid element 36 not just one entry is made, but as many in a row as danger spots 26a . 26b are active in parallel. The memory structure is then (x, y, z, i), where i is the number of parallel active danger points 26a . 26b is. Alternatively, still only one entry per grid element 36 saved to the next danger point consolidated across all contributing individual lookup tables 26a . 26b equivalent. Then, of course, at runtime can no longer differentiate, to which concrete danger point 26a . 26b the shortest distance of a next object 28 but the globally shortest distance to any danger point 26a . 26b can be sufficient for certain security concepts.

Die kombinierten Nachschlagtabellen werden beispielsweise noch zur Konfigurationszeit oder beim Booten des Systems aus den einzelnen Nachschlagtabellen fusioniert. Jedenfalls liegt dann für den Betrieb für jede im Prozessablauf benötigte parallele Aktivierung von Gefahrenstellen 26a, 26b eine kombinierte Nachschlagtabelle im Speicher des 3D-Sensors 10 bereit.For example, the combined lookup tables are fused at configuration time or booting the system from the individual lookup tables. In any case, then for operation for each required in the process flow parallel activation of danger points 26a . 26b a combined look-up table in the memory of the 3D sensor 10 ready.

Zur Laufzeit wird dann zunächst mit den aktiven Gefahrenstellen 26a, 26b auch die zugehörige kombinierte Nachschlagtabelle aktiviert. Bei einer Umschaltung zur Laufzeit auf eine andere Kombination von Gefahrenstellen 26a, 26b wird einfach auf den Speicherbereich umgeschaltet, in dem die passende kombinierte Nachschlagtabelle liegt.At runtime is then first with the active danger spots 26a . 26b also activates the associated combined lookup table. When switching at runtime to another combination of danger points 26a . 26b is simply switched to the memory area where the matching combined lookup table resides.

Jeder Objektpunkt der erfassten, relevanten Objekte 28 beziehungsweise jeder Eintrag in der Detektionskarte wird entsprechend dem 3D-Raster 34 diskretisiert. Wenn dessen laterale X-Y-Auflösung der Auflösung der Tiefen- beziehungsweise Detektionskarte entspricht, beschränkt sich die Diskretisierung auf den Tiefenwert. Dann wird der vorausberechnete Abstand zu jeder aktiven Gefahrenstelle 26a, 26b aus dem Rasterelement 36 der kombinierten Nachschlagtabelle herausgelesen, das der Diskretisierung des betrachteten Objektpunkts entspricht. Der so ermittelte, passende vorausberechnete Abstand wird entweder direkt als kürzester Abstand für diesen Objektpunkt verwendet, oder er dient als Grundlage für eine feinere Abstandsberechnung, etwa der Bestimmung des nächsten Sichtstrahls 38, und der Abstand wird damit nur einmal exakt berechnet.Each object point of the detected, relevant objects 28 or each entry in the detection map will be according to the 3D grid 34 discretized. If its lateral XY resolution corresponds to the resolution of the depth or detection map, the discretization is limited to the depth value. Then the precalculated distance to each active hazard location 26a . 26b from the grid element 36 of the combined lookup table corresponding to the discretization of the considered object point. The thus calculated, suitable pre-calculated distance is either directly as shortest Distance used for this object point, or it serves as the basis for a finer distance calculation, such as the determination of the next visual beam 38 , and the distance is thus calculated only once exactly.

Ein einfacher Vergleich der so aufgefundenen kürzesten Abstände je Objektpunkt, der auch schon sukzessive in dem Durchgang durch die Objektpunkte zum jeweiligen Nachschlagen beziehungsweise Berechnen von deren Abstand zur nächsten Gefahrenstelle 26a, 26b durchgeführt werden kann, liefert dann sehr schnell den gesuchten kürzesten Abstand zwischen den einzelnen Gefahrenstellen 26a, 26b und dem jeweils nächsten Objekt 28.A simple comparison of the thus found shortest distances per object point, which already successively in the passage through the object points for each lookup or calculating their distance to the next point of danger 26a . 26b can be performed, then provides very quickly the sought shortest distance between the individual danger spots 26a . 26b and the next object 28 ,

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 2007156372 A1 [0013]
EP 3200122 A1 [0050, 0051]

Zitierte Nicht-PatentliteraturCited non-patent literature

ISO 10218 [0006]
ISO 15066 [0006]
ISO 13855 [0006]
ISO 13857 [0006]
D.G. Bailey, "An efficient euclidean distance transform." International workshop on combinatorial image analysis. Springer, Berlin, Heidelberg, 2004, p. 394-408 [0010]
T. Schouten et al. "Fast-accurate Euclidean distance (FEED) transformation." Pattern Recognition, 2004. ICPR 2004 [0011]

Claims

3D sensor (10), in particular 3D camera, for monitoring a monitoring area (12), wherein the 3D sensor (10) at least one light receiver (16a-b) for generating a received signal from received light from the monitoring area (12) and a Control and evaluation unit (24), which is designed to detect by evaluating the received signal objects (28) in the monitoring area (12) and the shortest distance of the detected objects (28) to at least one reference volume (26a, 26b) determine, characterized in that the control and evaluation unit (24) has a memory and is further adapted for the determination of the respective shortest distance of a detected object (28) at least one precalculated distance to the reference volume (26a, 26b) of a Memory to read.

3D sensor (10) after Claim 1 wherein the reference volume (26a, 26b) is a danger location which secures a machine (26).

3D sensor (10) after Claim 1 or 2 , wherein the control and evaluation unit (24) is implemented as an embedded system.

3D sensor (10) according to any one of the preceding claims, wherein the control and evaluation unit (24) is adapted to read a pre-calculated distance to an intermediate reference region from the memory and to determine therefrom the shortest distance.

3D sensor (10) according to any one of the preceding claims, wherein the control and evaluation unit (24) is adapted for different areas of the monitoring area (12) to calculate the shortest distances to the reference volume (26a, 26b) and store in the memory ,

3D sensor (10) according to any one of the preceding claims, wherein in the memory precalculated distances in a 3D grid (34) of the monitoring area (12) are stored.

3D sensor (10) after Claim 6 wherein raster elements (36) of the 3D grid (34) become higher with increasing distance from the 3D sensor (10).

3D sensor (10) after Claim 6 or 7 wherein, in determining a predicted distance of a raster element (36) of the 3D raster (34), the shortest distance to a line of sight (38) from the 3D sensor (10) by the raster element (36) itself and from the 3D view Sensor (10) behind it part of the line of sight (38), in particular a Abschattungsvolumen (40) from the grid element (36) itself and in the viewing direction of the 3D sensor (10) underlying raster elements (36) is determined.

3D sensor (10) after Claim 8 in that the shading volume (40) for the determination of a predicted distance is enveloped by a cylinder (42) with end-side hemispheres.

A 3D sensor (10) according to any one of the preceding claims, wherein discretization errors of the predicted distances are conservatively underestimated.

A 3D sensor (10) according to any one of the preceding claims, wherein one set of predicted distances per reference volume (26a, 26b) is stored.

A 3D sensor (10) according to any one of the preceding claims, wherein reference volumes (26a, 26b) are activatable and precalculated distances to at least one combination of parallel active reference volumes (26a, 26b) are computed from predicted distances per reference volume (26a, 26b) in particular, the control and evaluation unit (24) is adapted to switch to another combination of active reference volumes (26a, 26b).

A 3D sensor (10) according to any one of the preceding claims, wherein additional memory is stored in the memory at a predicted distance further characterizing the distance or reference point to which the distance exists and / or wherein at least some of the predicted distances are relative stored at other pre-calculated intervals.