DE202014000433U1

DE202014000433U1 - Device for detecting and displaying three-dimensional objects

Info

Publication number: DE202014000433U1
Application number: DE201420000433
Authority: DE
Original assignee: IPO PLAN GmbH; IPOPLAN GmbH
Current assignee: IPO PLAN GmbH; IPOPLAN GmbH
Priority date: 2013-01-22
Filing date: 2014-01-21
Publication date: 2014-02-07
Anticipated expiration: 2024-01-22
Also published as: DE102013000964A1

Abstract

Vorrichtung zum Erfassen und Darstellen von dreidimensionalen, zumindest zeitweise ruhenden Objekten (7) in einer festlegbaren Umgebung, mit einem zumindest einen Tiefensensor (Sensor 19) aufweisenden Sensorsystem (9), einem gegenüber den zu erfassenden Objekten (7) relativ bewegbaren Sensorträger (13), der vorzugsweise einen Antrieb aufweist, einer Datenverarbeitungseinrichtung (26) für Sensordaten, um ein digitales dreidimensionales Modell (29') von zumindest einem der erfassten Objekte (7) erzeugen zu können, und mit einer Darstellungseinrichtung (30) für das digitale Modell (29).Device for detecting and displaying three-dimensional, at least temporarily stationary objects (7) in a definable environment, with a sensor system (9) having at least one depth sensor (sensor 19), a sensor carrier (13) that is relatively movable relative to the objects (7) to be detected. , which preferably has a drive, a data processing device (26) for sensor data in order to be able to generate a digital three-dimensional model (29 ') of at least one of the detected objects (7), and a display device (30) for the digital model (29 ).

Description

Die Erfindung betrifft eine Vorrichtung zum Erfassen und Darstellen von dreidimensionalen, zumindest zeitweise ruhenden Objekten in einer festlegbaren Umgebung.The invention relates to a device for detecting and displaying three-dimensional, at least temporarily stationary objects in a definable environment.

Aus der DE 103 31 460 A1 ist ein Roboter bekannt, an dessen Roboterarm ein Projektor und eine Kamera in einem Raum bewegbar angeordnet sind. Ferner ist ein Objektträger beschrieben, der eine zu der Kamera und dem Projektor kalibreite, relative Position einnimmt. Mit dem Projektor wird ein auf dem Objektträger angeordnetes Objekt beleuchtet und mit der Kamera werden einzelne Punkte auf der Oberfläche des Objektes aufgezeichnet. Um das dreidimensionale Objekt erfassen zu können, musst die Kamera in verschiedene, kalibrierte Relativpositionen zu dem Objekt gebracht werden. Aus vielen aufgezeichneten Punkten wird mit Hilfe des Triangulationsprinzips die Gestalt des dreidimensionalen Objekts ermittelt.From the DE 103 31 460 A1 For example, a robot is known on whose robot arm a projector and a camera are movably arranged in a room. Further, a slide is described which occupies a kalibreite relative to the camera and the projector, relative position. The projector illuminates an object on the slide and uses the camera to record individual points on the surface of the object. To capture the three-dimensional object, the camera must be brought into various calibrated relative positions to the object. From many recorded points, the shape of the three-dimensional object is determined by means of the triangulation principle.

Ein solcher Roboter ist für die Erfassung von mehreren Objekten ungeeignet, da einerseits die Erfassung und Ermittlung nach dem Triangulationsprinzip relativ lange dauert und andererseits jeweils eine kalibrierte Position zu dem zu erfassenden Objekt eingestellt werden muss.Such a robot is unsuitable for the detection of multiple objects, since on the one hand the detection and detection according to the triangulation principle takes a relatively long time and on the other hand a calibrated position must be set to the object to be detected.

Aufgabe der Erfindung ist es, eine Vorrichtung der eingangs genannten Art anzugeben, die diese Nachteile nicht aufweist.The object of the invention is to provide a device of the type mentioned, which does not have these disadvantages.

Gelöst wird diese Aufgabe mit einer Vorrichtung zum Erfassen und Darstellen von dreidimensionalen, zumindest zeitweise ruhenden Objekten in einer festlegbaren Umgebung, mit den Merkmalen des Patentanspruchs 1. Vorteilhafte Ausgestaltungen, Weiterbildungen und Ausführungsbeispiele der Erfindung sind Gegenstand der abhängigen Ansprüche.This object is achieved with a device for detecting and displaying three-dimensional, at least temporarily stationary objects in a definable environment, with the features of claim 1. Advantageous embodiments, developments and embodiments of the invention are the subject of the dependent claims.

Die erfindungsgemäße Vorrichtung nach Anspruch 1 zeichnet sich dadurch aus, dass dreidimensionale, zumindest zeitweise ruhende Objekte in einer festlegbaren Umgebung erfasst und dargestellt werden können, wobei hierfür ein Sensorsystem mit zumindest einem Tiefensensor zum Erfassen der Objekte gegenüber diesen Objekten und einem Sensorträger relativ bewegt wird. Eine Datenverarbeitungseinrichtung erzeugt aus den erfassten Sensordaten zumindest ein digitales, dreidimensionales Modell von zumindest einem der erfassten Objekte, und auf einer Darstellungseinrichtung wird das digitale Modell abgebildet.The inventive device according to claim 1 is characterized in that three-dimensional, at least temporarily stationary objects can be detected and displayed in a definable environment, for which purpose a sensor system with at least one depth sensor for detecting the objects relative to these objects and a sensor carrier is relatively moved. A data processing device generates from the acquired sensor data at least one digital, three-dimensional model of at least one of the detected objects, and the digital model is imaged on a display device.

Der Tiefensensor arbeitet nach einem ersten Ausführungsbeispiel vorzugsweise nach dem Prinzip der Lichtlaufzeitmessung. Der Tiefensensor besitzt zumindest eine Lichtquelle, beispielsweise Infrarotlichtquelle, und einen Empfangssensor, vorzugsweise eine Kamera, der das von einem Objekt bzw. von einem Objektpunkt reflektierte Licht der Lichtquelle erfasst. Solche Sensoren werden auch als TOF-Kamera (Time-of-Flight) bezeichnet. Die Zeitdauer zwischen der Aussendung des Lichts und dem Empfang des reflektierten Lichts in der Kamera wird für einzelne Objektpunkte ermittelt, wodurch der Abstand der einzelnen Objektpunkte zum Sensor und aus der Bewegung des Sensors der Abstand einzelner Objektpunkte zueinander bestimmt werden kann. Es kann dadurch vorzugsweise eine so genannte gerichtete Punktewolke (Voxelspace), allgemein Sensordaten, ermittelt werden, die zum Erzeugen eines digitalen dreidimensionalen Modells dient, das das erfasste Objekt zumindest vereinfacht darstellt. Es wird also vorzugsweise ein digitales Modell aus der Geometrie des zu erfassenden dreidimensionalen Objekts anhand eines Flächen- und Volumenmodells erzeugt. Das digitale dreidimensionale Modell wird auf der Darstellungseinrichtung, wie beispielsweise einem Display oder Bildschirm, angezeigt bzw. abgebildet. Der Tiefensensor kann nach einem anderen Ausführungsbeispiel mit strukturiertem Licht arbeiten.The depth sensor works according to a first embodiment, preferably according to the principle of the time of flight measurement. The depth sensor has at least one light source, for example an infrared light source, and a reception sensor, preferably a camera, which detects the light of the light source reflected by an object or by an object point. Such sensors are also referred to as TOF camera (Time-of-Flight). The time duration between the emission of the light and the reception of the reflected light in the camera is determined for individual object points, whereby the distance of the individual object points to the sensor and from the movement of the sensor the distance of individual object points from each other can be determined. It can thereby preferably a so-called directional point cloud (voxel space), generally sensor data, are determined, which is used to generate a digital three-dimensional model, which represents the detected object at least simplified. Thus, a digital model is preferably generated from the geometry of the three-dimensional object to be detected on the basis of a surface and volume model. The digital three-dimensional model is displayed on the display device, such as a display or screen. The depth sensor can work with structured light according to another embodiment.

Damit bei einem solchen Sensorsystem Sensordaten erzeugt werden können, durch die das digitale dreidimensionale Modell erzeugt werden kann, wird erfindungsgemäß der Sensor relativ zu dem zu erfassenden Objekt bewegt.In order for sensor data to be generated in such a sensor system, by means of which the digital three-dimensional model can be generated, according to the invention the sensor is moved relative to the object to be detected.

Die mit einem Tiefensensor erzeugte Datenmenge ist vorzugsweise geringer im Vergleich zu einer Datenmenge, die mit an sich bekannten Laserscannern erzeugt wird. Die erfindungsgemäße Vorrichtung kann damit in Echtzeit arbeiten.The amount of data generated by a depth sensor is preferably lower compared to a data volume generated by laser scanners known per se. The device according to the invention can thus work in real time.

Die erfindungsgemäße Vorrichtung eignet sich insbesondere zur Erzeugung eines dreidimensionalen Abbildes von Gegenständen (Objekten) in einer festlegbaren Umgebung, wie beispielsweise einer Lager- oder Fertigungshalle, einer Wohnung oder einer Verkaufsstätte. Die zu erfassenden dreidimensionalen Objekte sind also beispielsweise Einrichtungsgegenstände, wie beispielsweise Regale, Ablageflächen, Ständer, Produktionseinrichtungen oder dergleichen. Darüber hinaus können auf den Einrichtungsgegenständen abgelegte dreidimensionale Objekte mit der erfindungsgemäßen Vorrichtung erfasst werden.The device according to the invention is particularly suitable for generating a three-dimensional image of objects (objects) in a definable environment, such as a warehouse or production hall, an apartment or a sales outlet. The three-dimensional objects to be detected are therefore, for example, furnishing articles, such as, for example, shelves, shelves, stands, production equipment or the like. In addition, three-dimensional objects deposited on the furnishings can be detected with the device according to the invention.

Eine bevorzugte Anwendung der erfindungsgemäßen Vorrichtung ist beispielsweise die Erzeugung eines dreidimensionalen Abbildes von Einrichtungsgegenständen in Produktionsstätten, in denen entlang einer Fertigungsstraße Regale und/oder Ablageflächen und/oder Produktionseinrichtungen vorhanden sind, die mit Bauteilen etc. für die Fertigung bestückt sind. Die Bauteile können vorzugsweise in so genannten Ladungsträgern (LT), beispielsweise Kleinladungsträgern (KLT), oder anderen Verpackungseinheiten angeordnet sein, wobei diese LT auf den Regalen oder Ablageflächen, gegebenenfalls auch gestapelt und/oder nebeneinander bzw. in Reihe zueinander, bis zur Entnahme abgestellt sind. Mit dem erfindungsgemäßen Verfahren können somit die Regale und Ablageflächen sowie die LT und/oder Verpackungseinheiten in Form digitaler dreidimensionaler Modell erfasst und als gesamtes Abbild abgebildet werden. Dies erleichtert die Materialwirtschaft und die Planung der Produktionsstätten, wodurch Wege für Werker optimiert werden können.A preferred application of the device according to the invention is, for example, the production of a three-dimensional image of furnishings in production facilities in which along a production line shelves and / or shelves and / or production facilities are present, which are equipped with components, etc. for manufacturing. The components can preferably be arranged in so-called charge carriers (LT), for example, small load carriers (KLT), or other packaging units, these LT are placed on the shelves or shelves, possibly also stacked and / or next to each other or in series, until removal. With the method according to the invention, the shelves and shelves as well as the LT and / or packaging units can thus be recorded in the form of digital three-dimensional model and imaged as an entire image. This facilitates the materials management and the planning of the production sites, which can be optimized paths for workers.

Eine andere bevorzugte Anwendung der erfindungsgemäßen Vorrichtung besteht beispielsweise darin, eine Wohnung mit den darin angeordneten Einrichtungsgegenständen (Objekten) zu digitalisieren und entsprechend darzustellen.Another preferred application of the device according to the invention is, for example, to digitize an apartment with the furnishings arranged therein (objects) and to represent accordingly.

Eine weitere bevorzugte Anwendung der erfindungsgemäßen Vorrichtung kann darin bestehen, eine Inventur in Lagerstätten und/oder Verkaufsräumen automatisiert durchführen zu können, da mit der erfindungsgemäßen Vorrichtung nicht nur die Regale bzw. Ablageflächen als Objekte, sondern auch die darin bzw. darauf abgelegten Produkte als Objekte der Anzahl nach erfasst werden können.A further preferred application of the device according to the invention may be to be able to carry out an automated inventory in storage facilities and / or sales rooms, since with the device according to the invention not only the shelves or storage surfaces as objects, but also the products stored therein or on them as objects the number can be recorded.

Nach einer Weiterbildung der Erfindung, die in Anspruch 2 angegeben ist, ist vorgesehen, dass zusätzlich die Farbe des zumindest einen dreidimensionalen Objekts erfasst wird. Hierfür ist insbesondere ein weiterer Sensor dem Sensorsystem zugeordnet. Dabei kann es sich um eine Farbkamera handeln. Damit ist es möglich, nicht nur das dreidimensionale Objekt in seiner Gestalt zu erfassen, vielmehr können auch mehrere Objekte mit identischer Gestalt, jedoch unterschiedlicher Farbgebung erfasst und unterschieden werden. Mit Hilfe des weiteren Sensors können beispielsweise auch auf den Objekten angebrachte Strichcodes, QR-Codes und/oder Beschriftungen etc. gelesen bzw. erfasst werden, so dass eine weitere Identifizierung bzw. Attributierung der erfassten dreidimensionalen Objekte möglich ist. So kann beispielsweise durch entsprechende Codes oder Beschriftungen auf den Inhalt einer Verpackung oder eines LT geschlossen werden. Vorzugsweise umfasst die Attributierung des Objektes dessen Größe, dessen Inhalt und die Art des Gegenstandes, so dass beispielsweise auf einen bestimmten LT mit einem oder mehreren darin abgelegten Bauteilen rückgeschlossen werden kann.According to a development of the invention, which is specified in claim 2, it is provided that in addition the color of the at least one three-dimensional object is detected. For this purpose, in particular a further sensor is assigned to the sensor system. It can be a color camera. Thus, it is possible not only to capture the three-dimensional object in its shape, but also several objects with identical shape, but different colors can be detected and distinguished. By means of the further sensor, for example, bar codes, QR codes and / or labels etc. attached to the objects can also be read or recorded, so that further identification or attribution of the detected three-dimensional objects is possible. Thus, for example, can be closed by appropriate codes or labels on the contents of a package or a LT. Preferably, the attribution of the object includes its size, its content and the nature of the object, so that, for example, a specific LT can be deduced with one or more components deposited therein.

Nach einer Weiterbildung der Erfindung mit den in Anspruch 4 angegebenen Merkmalen ist vorgesehen, dass das erzeugte digitale dreidimensionale Modell mit einer mehrere Referenzobjekte enthaltenden Objektbibliothek bzw. Objektdatenbank verglichen und bei einer Übereinstimmung des digitalen Modells mit einem Referenzobjekt das, vorzugsweise dreidimensionale, Referenzobjekt anstelle des digitalen Modells auf der Darstellungseinrichtung lagerichtig bzw. in der entsprechenden Position im Raum abgebildet wird. Der Vergleich zwischen digitalem Modell und den Referenzobjekten kann als so genannter semantischer und/oder geometrischer Vergleich erfolgen. Vorzugsweise ist die Objektbibliothek mit bekannten Objekten als weitere Referenzobjekte erweiterbar.According to a further development of the invention with the features specified in claim 4, it is provided that the generated digital three-dimensional model is compared with an object library or object database containing a plurality of reference objects and if the digital model matches a reference object the, preferably three-dimensional, reference object instead of the digital one Model is displayed on the display device in the correct position or in the corresponding position in space. The comparison between the digital model and the reference objects can be done as a so-called semantic and / or geometric comparison. Preferably, the object library can be expanded with known objects as further reference objects.

Nach einem bevorzugten Ausführungsbeispiel gemäß Anspruch 5 ist vorgesehen, dass bei einer Nichtübereinstimmung des digitalen Modells mit einem der Referenzobjekte der Objektbibliothek das digitale Modell als Flächen- und Volumenmodell auf der Darstellungseinrichtung abgebildet wird. Vorzugsweise kann ein entsprechend zugeordnetes Referenzobjekt der Objektbibliothek später hinzugefügt werden. Das zumindest eine Referenzobjekt kann in Form einer Vektorgrafik, beispielsweise aus gängigen CAD-Systemen, abgespeichert sein.According to a preferred embodiment according to claim 5, it is provided that in the case of a mismatch of the digital model with one of the reference objects of the object library, the digital model is imaged on the display device as a surface and volume model. Preferably, a correspondingly assigned reference object can be added to the object library later. The at least one reference object can be stored in the form of a vector graphic, for example from common CAD systems.

Nach einer Weiterbildung der Erfindung mit den in Anspruch 6 genannten Merkmalen ist vorgesehen, dass das ermittelte Referenzobjekt und/oder das digitale dreidimensionale Modell bzw. Flächen- und Volumenmodell lagerichtig auf der Darstellungseinrichtung abgebildet wird.According to a development of the invention with the features mentioned in claim 6 is provided that the determined reference object and / or the digital three-dimensional model or surface and volume model is displayed in the correct position on the display device.

Nach einem besonders bevorzugten Ausführungsbeispiel gemäß Anspruch 7 wird das ermittelte Referenzobjekt und/oder das Flächen- und Volumenmodell in der lagerichtigen Position in der festlegbaren Umgebung dargestellt und vorzugsweise mit einer Soll-Anordnung von Referenzobjekten und/oder Flächen- und Volumenmodellen in der festlegbaren Umgebung abgeglichen. In besonders vorteilhafter Weise ist es dadurch möglich, Unterschiede zwischen dem Soll-Zustand, der zuvor mit dem erfindungsgemäßen Verfahren ermittelt wurde, und dem Ist-Zustand der Ablageflächen und/oder Regale entlang einer Produktionsstraße festzustellen, so dass gegebenenfalls falsch abgelegte Objekte oder eine falsche Anzahl der abgelegten Objekte festgestellt und manuell Abhilfe geschaffen werden kann. Während der Produktion kann somit der Produktionsablauf optimiert werden, so dass beispielsweise immer genügend Bauteile und auch die tatsächlich benötigten Bauteile entlang der Produktionsstraße bereitgestellt werden können.According to a particularly preferred embodiment according to claim 7, the determined reference object and / or the surface and volume model is displayed in the position in the correct position in the determinable environment and preferably aligned with a desired arrangement of reference objects and / or surface and solid models in the determinable environment , In a particularly advantageous manner, this makes it possible to determine differences between the desired state, which was previously determined by the method according to the invention, and the actual state of the storage surfaces and / or shelves along a production line, so that optionally incorrectly deposited objects or a wrong Number of dropped objects can be detected and manually remedied. During production, the production process can thus be optimized so that, for example, always enough components and also the components actually required along the production line can be provided.

Besonders bevorzugt wird ein Ausführungsbeispiel mit den in Anspruch 8 angegebenen Merkmalen, bei dem das Sensorsystem in der festlegbaren Umgebung entlang einer Reihe von Objekten bewegbar ist. Damit kann beispielsweise eine Vielzahl von Objekten entlang der Fertigungsstraße erfasst und dargestellt werden. Alternativ wäre es möglich, einem oder mehreren zu erfassenden Objekten jeweils ein fest montiertes Sensorsystem zuzuordnen, bei dem lediglich der zumindest eine Sensor bewegt wird.Particularly preferred is an embodiment having the features specified in claim 8, wherein the sensor system is movable in the determinable environment along a series of objects. Thus, for example, a plurality of objects along the production line can be detected and displayed. Alternatively, it would be possible to have one or more objects to be detected each assign a permanently mounted sensor system, in which only the at least one sensor is moved.

In einer bevorzugten Ausführungsform, die in Anspruch 9 angegeben ist, ist das Sensorsystem automatisiert in der Umgebung bewegbar. Vorzugsweise kann das Sensorsystem selbstfahrend ausgebildet sein. Dafür kann eine Streckenführung verwendet werden, die das selbstfahrende Sensorsystem roboterähnlich durch die Umgebung steuert. Die Streckenführung kann als eine so genannte Liniensteuerung (linienartige Markierungen auf der zu befahrenden Oberfläche), wie in Anspruch 15 angegeben, oder alternativ Marker gesteuert ausgeführt sein, so dass ein oder mehrere Referenzpunkte der Streckenführung angesteuert werden können. Grundsätzlich wäre es alternativ denkbar, das Sensorsystem manuell entlang der Objekte zu bewegen. Somit können entlang einer Produktionsstraße die bereitgestellten Objekte erfasst und dargestellt werden.In a preferred embodiment set forth in claim 9, the sensor system is automatically movable in the environment. Preferably, the sensor system can be self-propelled. For this, a routing can be used, which controls the self-propelled sensor system robot-like by the environment. The routing can be executed as a so-called line control (line-like markings on the surface to be traveled), as indicated in claim 15, or alternatively markers controlled, so that one or more reference points of the route can be controlled. In principle, it would alternatively be conceivable to move the sensor system manually along the objects. Thus, the provided objects can be detected and displayed along a production line.

Ein bevorzugtes Ausführungsbeispiel mit den in Anspruch 10 angegebenen Merkmalen zeichnet sich dadurch aus, dass der zumindest eine Sensor des Sensorsystems relativ zu einem Sensorträger bewegt wird. Damit wird unabhängig von der Bewegung des Sensorsystems entlang von Objekten die notwendige Relativbewegung von dem Sensor zu dem zu erfassenden Objekt erreicht. Insbesondere wird dabei der Sensor bzw. das Sensorsystem in einer Ebene bewegt, die etwa parallel zu einer Ebene der zu erfassenden Objekte verläuft. Umfasst das Sensorsystem mehrere Sensoren (Anspruch 20), werden diese vorzugsweise gleichartig bewegt, wie dies nach weiteren Ausführungsbeispielen gemäß den Ansprüchen 11 und/oder 13 vorgesehen ist. Grundsätzlich kann der zumindest eine Sensor hin und her gehende Pendel- und/oder Drehbewegungen und/oder lineare hin und her gehende und/oder auf und ab gehende Bewegungen ausführen, wie dies in den Ansprüchen 12 und/oder 15 angegeben ist. Das heißt, die Bewegung des zumindest einen Sensors ist entlang der oder um die x- und/oder y- und/oder z-Achse möglich. Nach einer alternativen Ausführungsform ist es prinzipiell möglich, mehrere Sensoren entlang einer Achse (x, y, z) nebeneinander anzuordnen und die Bewegung durch getaktete Aktivierung und Deaktivierung der Sensoren nacheinander bzw. der Reihe nach zu simulieren.A preferred embodiment with the features specified in claim 10 is characterized in that the at least one sensor of the sensor system is moved relative to a sensor carrier. Thus, regardless of the movement of the sensor system along objects, the necessary relative movement from the sensor to the object to be detected is achieved. In particular, the sensor or the sensor system is moved in a plane which runs approximately parallel to a plane of the objects to be detected. If the sensor system comprises a plurality of sensors (claim 20), they are preferably moved identically, as is provided according to further embodiments according to claims 11 and / or 13. In principle, the at least one sensor can perform reciprocating pendulum and / or rotational movements and / or linear reciprocating and / or reciprocating movements, as indicated in claims 12 and / or 15. That is, the movement of the at least one sensor is possible along or around the x and / or y and / or z axis. According to an alternative embodiment, it is in principle possible to arrange a plurality of sensors along an axis (x, y, z) next to one another and to simulate the movement by clocked activation and deactivation of the sensors in succession or in succession.

Vorzugsweise wird die Lage der Sensoren zueinander eingestellt, wenn mehrere Sensoren am Sensorsystem angebracht sind.Preferably, the position of the sensors is adjusted to each other when a plurality of sensors are mounted on the sensor system.

Ein besonders bevorzugtes Ausführungsbeispiel nach Anspruch 16 zeichnet sich dadurch aus, dass eine Datenübertragung von Sensordaten des Sensorsystems zu einer Leiteinrichtung erfolgt, wobei vorzugsweise in der Leiteinrichtung die Objektbibliothek mit den Referenzobjekten vorhanden ist. Die Datenübertragung erfolgt vorzugsweise über eine drahtlose Schnittstelle. An bzw. in der Leiteinrichtung können anhand der ermittelten digitalen dreidimensionalen Modelle die entsprechenden Referenzobjekte ausgewählt und in der festlegbaren Umgebung lagerichtig dargestellt werden. Damit lässt sich ein gesamtes Abbild der entlang der Produktionsstraße angeordneten Gegenstände (Regale, Ablageflächen, Bauteile, LT, KLT, etc.) lagerichtig erfassen und darstellen.A particularly preferred embodiment according to claim 16 is characterized in that a data transmission of sensor data of the sensor system takes place to a guide, wherein preferably in the guide the object library with the reference objects is present. The data transmission preferably takes place via a wireless interface. On or in the guide, the corresponding reference objects can be selected on the basis of the determined digital three-dimensional models and displayed in the correct position in the correct position. In this way, an entire image of the objects arranged along the production line (shelves, shelves, components, LT, KLT, etc.) can be recorded and displayed in the correct position.

Entsprechend kann nach einem bevorzugten Ausführungsbeispiel nach Anspruch 17 die festlegbare Umgebung als Layout bzw. räumliche Karte zumindest in der Leiteinrichtung hinterlegt sein. Vorzugsweise kann dieses Layout bzw. diese Karte mit dem erfindungsgemäßen Verfahren zuvor erzeugt worden sein.Accordingly, according to a preferred embodiment of claim 17, the definable environment as a layout or spatial map be deposited at least in the guide. Preferably, this layout or this card may have been previously generated by the method according to the invention.

Nach einem weiteren Ausführungsbeispiel mit den in Anspruch 18 angegebenen Merkmalen ist vorgesehen, dass der festlegbaren Umgebung Referenzpunkte zugeordnet sind, anhand derer das Sensorsystem in der festlegbaren Umgebung bewegt wird.According to a further exemplary embodiment with the features specified in claim 18, provision is made for reference points to be associated with the definable environment, by means of which the sensor system is moved in the definable environment.

Die in dieser Anmeldung beschriebenen und/oder gezeigten Merkmale können für sich alleine und in beliebiger Kombination mit einem anderen der beschriebenen und/oder gezeigten Merkmale kombiniert werden. Dies gilt auch für ein Merkmal, welches nur zusammen mit einem anderen beschriebenen und/oder gezeigten Merkmal kombiniert widergegeben ist.The features described and / or shown in this application may be combined alone and in any combination with another of the features described and / or shown. This also applies to a feature which is only combined with another feature described and / or shown combined.

Die Erfindung wird nachfolgend anhand eines Ausführungsbeispiels mit Bezug auf die Zeichnung näher erläutert. Es zeigen:The invention will be explained in more detail using an exemplary embodiment with reference to the drawing. Show it:

1 eine Vorrichtung zum Erfassen und Darstellen von dreidimensionalen Objekten in einer festgelegten Umgebung und 1 a device for detecting and displaying three-dimensional objects in a fixed environment and

2 ein Sensorsystem mit einem selbstfahrenden Sensorträger. 2 a sensor system with a self-propelled sensor carrier.

1 zeigt in einer festgelegten Umgebung 1, beispielsweise einen Raum bzw. eine Halle einer Produktionsstätte, eine Fertigungsstraße 2. Von der Fertigungsstraße 2 ist ein entlang eines hier nicht dargestellten Montagebandes der Fertigungsstraße 2 angeordnetes Lagersystem 3 dargestellt. Das Lagersystem 3 umfasst jeweils ein oder mehrere Regale 4 und/oder Ablageflächen 5, die in Reihe entlang der Fertigungsstraße 2 und/oder hintereinander angeordnet sind. In bzw. auf dem Lagersystem 3 können Produktionsmittel (nicht dargestellt), wie beispielsweise Werkzeuge oder Verbrauchsmaterialien etc., Bauteile (nicht dargestellt), Bauteileaufnahmen bzw. Bauteileträger, wie beispielsweise Kisten bzw. Kleinladungsträger 6 und Verpackungseinheiten, abgelegt werden. Die Produktionsmittel, Bauteile, Bauteileaufnahmen bzw. Bauteileträger, insbesondere Kleinladungsträger 6, und Verpackungseinheiten (nicht dargestellt) können auf den Regalen 4 und/oder Ablageflächen 5 gestapelt und/oder in mehreren Ablageebenen und/oder hintereinander und/oder nebeneinander an der Fertigungsstraße 2 angeordnet sein. Die Produktionsmittel, Bauteile, Bauteileaufnahmen bzw. Bauteileträger, insbesondere Kleinladungsträger 6, und Verpackungseinheiten können verschiedene Größen und/oder Formen und/oder Farben und/oder Beschriftungen und/oder Etiketten und/oder Codes aufweisen. Die Produktionsmittel, Bauteile, Bauteileaufnahmen bzw. Bauteileträger, insbesondere Kleinladungsträger 6, und Verpackungseinheiten und/oder die Regale 4 und/oder Ablageflächen 5 bilden dreidimensionale Objekte 7, die in der Umgebung 1 zumindest zeitweise ruhend angeordnet sind und die von einer nachfolgend beschriebenen Vorrichtung 8 erfasst und dargestellt werden. 1 shows in a fixed environment 1 For example, a room or a hall of a production facility, a production line 2 , From the production line 2 is a along an assembly line of the production line, not shown here 2 arranged storage system 3 shown. The storage system 3 each includes one or more shelves 4 and / or shelves 5 running in series along the production line 2 and / or arranged one behind the other. In or on the storage system 3 can production means (not shown), such as tools or consumables, etc., components (not shown), component recordings or Component carrier, such as boxes or small load carriers 6 and packaging units are stored. The means of production, components, component receptacles or component carriers, in particular small load carriers 6 , and packaging units (not shown) may be on the shelves 4 and / or shelves 5 stacked and / or in several storage levels and / or one behind the other and / or next to each other on the production line 2 be arranged. The means of production, components, component receptacles or component carriers, in particular small load carriers 6 , and packaging units may have different sizes and / or shapes and / or colors and / or labels and / or labels and / or codes. The means of production, components, component receptacles or component carriers, in particular small load carriers 6 , and packaging units and / or shelves 4 and / or shelves 5 form three-dimensional objects 7 in the area 1 at least temporarily resting and are arranged by a device described below 8th be captured and presented.

Die Vorrichtung 8 weist ein Sensorsystem 9 auf, welches auf einer vorgebbaren Streckenführung 10 gegenüber den Objekten 7 bzw. einer Reihe von Objekten 7 relativ bewegt wird, wenn das Sensorsystem 9 entlang der Streckenführung 10 an den Objekten 7 vorbeibewegt wird. Die Streckenführung 10 kann gerade Abschnitte 11 und hier nicht dargestellte Kurvenabschnitte aufweisen. Vorzugsweise wird das Sensorsystem 9 mit Abstand AB < 1 m zu der dem Sensorsystem 9 zugewandten Sichtseite 12 des Lagersystems 3 und etwa parallel zu dieser Sichtseite 12 entlang bewegt, wie der Pfeil PF zeigt. Die Tiefe TL des Lagersystem 3 beträgt typischerweise mehrere Zentimeter bis mehrere Meter und kann entlang der Fertigungsstraße 2 variieren. Entsprechend weißt das Sensorsystem 9 eine Erfassungstiefe ET auf, die der Tiefe TL entspricht, vorzugsweise jedoch größer als die Tiefe TL des Lagersystem 3 ist, so dass auch gegebenenfalls hinter dem Lagersystem 3 befindliche Objekte 7' noch vom Sensorsystem 9 erfasst werden können. Sofern lediglich Teilabschnitte des Lagersystem 3 erfasst werden sollen, kann die Erfassungstiefe ET auch kleiner als die größte Tiefe TL des Lagersystem 3 sein.The device 8th has a sensor system 9 on, which on a specifiable route 10 opposite the objects 7 or a series of objects 7 is relatively moved when the sensor system 9 along the route 10 on the objects 7 is moved past. The route 10 can straight sections 11 and have curve sections not shown here. Preferably, the sensor system 9 at a distance AB <1 m to that of the sensor system 9 facing visible side 12 of the storage system 3 and approximately parallel to this viewing side 12 along moves, as the arrow PF shows. The depth TL of the storage system 3 is typically several inches to several feet and can be along the production line 2 vary. Accordingly, the sensor system knows 9 a detection depth ET corresponding to the depth TL, but preferably greater than the depth TL of the storage system 3 is, so also possibly behind the storage system 3 located objects 7 ' still from the sensor system 9 can be detected. If only sections of the storage system 3 to be detected, the capture depth ET may also be smaller than the largest depth TL of the storage system 3 be.

Anhand der 1 und 2 wird das Sensorsystem 9 nachfolgend näher erläutert. Es weist einen Sensorträger 13 auf, der eine Fahreinheit 14 mit einem hier nicht dargestellten gesteuerten Antrieb und vorzugsweise einer gesteuerten Lenkeinrichtung umfasst. Die Lenkeinrichtung führt das fahrbare Sensorsystem 9 auf der Streckenführung 10. Die Fahreinheit 14 bildet einen Fuß des Sensorträgers 13. Von dem Fuß geht eine aufrechte Tragsäule 15 aus, die höhenverstellbar (Pfeil 16) ausgebildet sein kann, beispielsweise durch teleskopartig ausgebildete Säulenabschnitte 17, 18. Für die Höhenverstellbarkeit kann ein hier nicht dargestellter gesteuerter Antrieb vorgesehen sein. Etwa am oberen Ende der Tragsäule 15 ist zumindest einen Sensor 19 angeordnet, der als Tiefensensor ausgebildet und der zu der Tragsäule 15 relativ bewegbar an der Tragsäule 15 aufgehängt ist, so dass der Sensor 19 in einem vorgegebenen Bewegungsfeld eine hin und her gehende Bewegung ausführen kann, was durch einen Pfeil 20 angedeutet ist. Diese Bewegung kann eine Pendelbewegung sein, sie kann aber auch eine lineare Bewegung sein, so dass der Sensor 19 entsprechend Pfeil 16 auf und ab bewegt wird. Denkbar wäre auch eine überlagerte Bewegung aus einer Pendelbewegung und einer linearen Bewegung. Die Bewegung des Sensors 19 erfolgt vorzugsweise in einer Ebene 21, die vorzugsweise parallel und mit Abstand zu der Sichtseite 12 liegt.Based on 1 and 2 becomes the sensor system 9 explained in more detail below. It has a sensor carrier 13 on, the one driving unit 14 comprising a controlled drive, not shown here, and preferably a controlled steering device. The steering device guides the mobile sensor system 9 on the route 10 , The driving unit 14 forms a foot of the sensor carrier 13 , From the foot goes an upright support column 15 out, the height adjustable (arrow 16 ) may be formed, for example by telescopically formed column sections 17 . 18 , For the height adjustment, a controlled drive not shown here may be provided. At the top of the support column 15 is at least one sensor 19 arranged, which formed as a depth sensor and the support column 15 relatively movable on the support column 15 is suspended, so the sensor 19 can perform a reciprocating motion in a given field of motion, indicated by an arrow 20 is indicated. This movement can be a pendulum movement, but it can also be a linear movement, so that the sensor 19 according to arrow 16 is moved up and down. Another possibility would be a superimposed movement of a pendulum movement and a linear movement. The movement of the sensor 19 preferably takes place in a plane 21 preferably parallel and spaced from the visible side 12 lies.

Vorzugsweise ist der Sensor 19 an einem an der Tragsäule 15 bewegbar und gesteuert antreibbar angelenkten Tragarm 22 mit seitlichem Abstand zur Tragsäule 15 befestigt. Der Sensor 19 kann entlang des Tragarms 22 verschiedene Positionen einnehmen. Für die oben beschriebene Bewegung des Sensors 19 relativ zu den Objekten 7 könnte der Sensor 19 in der Ebene 21 auch entlang des Tragarms 22 hin und her bewegt werden, wie dies durch einen Pfeil 20' angedeutet ist. Vorzugsweise ist die Position des Sensors 19 auf dem Tragarm 22 jedoch fest eingestellt, kann aber variiert werden.Preferably, the sensor 19 at one on the support column 15 movable and controlled drivable hinged support arm 22 with lateral distance to the support column 15 attached. The sensor 19 can along the support arm 22 take different positions. For the movement of the sensor described above 19 relative to the objects 7 could be the sensor 19 in the plane 21 also along the support arm 22 to be moved back and forth, as indicated by an arrow 20 ' is indicated. Preferably, the position of the sensor 19 on the support arm 22 but fixed, but can be varied.

Zusätzlich oder alternativ zu den zuvor beschriebenen Relativbewegungen kann der Sensor 19 eine ihn aus der Ebene 21 heraus verlagernde und wieder zurück gerichtete Relativbewegung ausführen. Beispielsweise könnte der Sensor 19 um eine aufrechte, auf dem Tragarm 22 stehende Achse 19'' des Sensors 19 eine hin und her gehende Drehbewegung als Relativbewegung ausführen, wie dies anhand des Pfeils 20'' angedeutet ist. Zusätzlich oder alternativ kann der Sensor 19 eine vor und zurück gerichtete Bewegung aus der Ebene 21 heraus und wieder zurück ausführen, was durch einen Pfeil 20''' dargestellt ist, wofür eine entsprechend orientierte Schiene SC vom Tragarm 22 bzw. 23 ausgehen kann. Ein bloßes Ausfahren des Sensors 19 in Richtung des Pfeils 20''' verringert seinen Abstand zu der Sichtseite 12, wodurch eine detailliertere Erfassung zumindest eines Objekts 7, 7' und/oder eine Erfassung des Inhalts des zumindest einen Objekts 7, 7' möglich ist. Zusätzlich oder alternativ könnte der Tragarm 22 bzw. 23 um seine Längsachse geschwenkt werden (Pfeil LA) wodurch der Sensor 19 um diese Längsachse hin und her pendelt.Additionally or alternatively to the relative movements described above, the sensor 19 take him out of the plane 21 perform shifting out and directed back relative movement. For example, the sensor could 19 around an upright, on the support arm 22 standing axis 19 '' of the sensor 19 perform a reciprocating rotary motion as a relative movement, as indicated by the arrow 20 '' is indicated. Additionally or alternatively, the sensor 19 a back and forth movement out of the plane 21 out and back again, giving an arrow 20 ''' is shown, for which a correspondingly oriented rail SC from the support arm 22 respectively. 23 can go out. A mere extension of the sensor 19 in the direction of the arrow 20 ''' reduces its distance to the visible side 12 , whereby a more detailed detection of at least one object 7 . 7 ' and / or a detection of the content of the at least one object 7 . 7 ' is possible. Additionally or alternatively, the support arm could 22 respectively. 23 be pivoted about its longitudinal axis (arrow LA) causing the sensor 19 commutes back and forth around this longitudinal axis.

Die zuvor beschriebene Pendelbewegung gemäß Pfeil 20 in der Ebene 21 könnte durch ein auf und ab gehendes Schwenken des Tragarms 22 an der Tragsäule 15 erzeugt werden. Alternativ oder zusätzlich könnte eine analoge Pendelbewegung 20'''' des Sensors 19 um eine gestrichelt angedeutete Achse 19''', die etwa rechtwinklig auf der Ebene 21 steht, ausgeführt werden, so dass die Pendelbewegung 20'''' in der Ebene 21 ausgeführt wird.The pendulum movement described above according to arrow 20 in the plane 21 could be due to an up and down panning of the support arm 22 at the support column 15 be generated. Alternatively or additionally, an analog pendulum motion could 20 '''' of the sensor 19 around a dashed line indicated axis 19 ''' that is roughly perpendicular to the plane 21 stands, be executed, so that the pendulum motion 20 '''' in the plane 21 is performed.

Sämtliche der vorstehend beschriebenen Relativbewegungen des Sensors 19 können zur Erhöhung der Erfassungsgenauigkeit und/oder Variation der Erfassungstiefe ET verwendet werden und einzeln oder in beliebiger Kombination miteinander von dem Sensor 19 ausgeführt werden.All of the relative movements of the sensor described above 19 may be used to increase the detection accuracy and / or variation of the detection depth ET and individually or in any combination with each other from the sensor 19 be executed.

Nach einer alternativen Ausführungsform ist es möglich, zumindest eine der beschriebenen Relativbewegungen des Sensors 19 zu simulieren. Hierfür könnten entlang zumindest einer Achse x, y, z mehrere Sensoren 19 nebeneinander oder übereinander in Reihe angeordnet werden, wie dies durch zumindest zwei Sensorpositionen S1, S2, S3 usw. in 2 angedeutet ist. Durch getaktete Aktivierung und Deaktivierung der Sensoren 19 nacheinander bzw. der Reihe nach lässt sich die Sensorbewegung simulieren. Es ist möglich, simulierte und tatsächliche Relativbewegungen miteinander zu kombinieren.According to an alternative embodiment, it is possible for at least one of the described relative movements of the sensor 19 to simulate. For this purpose, along at least one axis x, y, z several sensors 19 be arranged side by side or one above the other in series, as by at least two sensor positions S1, S2, S3, etc. in 2 is indicated. By clocked activation and deactivation of the sensors 19 successively or in sequence, the sensor movement can be simulated. It is possible to combine simulated and actual relative movements.

Dem etwa waagerechten Tragarm 22 gegenüberliegend ist an der Tragsäule 15 ein weiterer Tragarm 23 bewegbar und gesteuert antreibbar angelenkt, der einen weiteren Sensor 19 trägt, der als Tiefensensor ausgebildet ist. Das zu dem rechten Sensor 19 am Tragarm 22 und zu dem Tragarm 22 selbst Gesagte gilt in gleicher Weise auch für den am linken Tragarm 23 angebrachten Sensor 19.The approximately horizontal arm 22 Opposite is at the support pillar 15 another support arm 23 movable and controlled driven driven, the another sensor 19 carries, which is designed as a depth sensor. That to the right sensor 19 on the support arm 22 and to the support arm 22 Even what has been said applies in the same way to that on the left arm 23 attached sensor 19 ,

Denkbar wäre es, einen oder mehrere hier nicht dargestellte weitere Tragarme in identischer bzw. komplementäre Weise an der Tragsäule 15 anzubringen bzw. anzulenken. Denkbar wäre es auch, an zumindest einem der Tragarme 22, 23 zumindest einen weiteren Sensor 19, der als Tiefensensor ausgebildet ist, anzubringen. Vorzugsweise werden die Sensoren 19 paarweise an dem Sensorträger 13 angebracht, es sind also vorzugsweise zwei, vier oder mehr Sensoren 19 an den Tragarmen 22, 23 vorhanden.It would be conceivable, one or more further support arms not shown here in an identical or complementary manner to the support column 15 to attach or to steer. It would also be possible to at least one of the support arms 22 . 23 at least one more sensor 19 , which is designed as a depth sensor to install. Preferably, the sensors 19 in pairs on the sensor carrier 13 attached, so it is preferably two, four or more sensors 19 on the support arms 22 . 23 available.

Bei dem zumindest einen Sensor 19 handelt es sich – wie erwähnt – um einen so genannten Tiefensensor, der vorzugsweise nach dem Prinzip der Lichtlaufzeitmessung arbeitet. Dabei wird in einem kreissektorförmigen Erfassungsbereich EB1, EB2 zumindest ein vom Sensor 19 in Richtung der Objekte 7 ausgestrahlter Lichtstrahl 24, 25 (1) an den bzw. dem Objekt(en) 7 bzw. an zumindest einem Objektpunkt reflektiert und der reflektierte Anteil des Lichtstrahls 24, 25 am Sensor 19 wieder empfangen. Um eine Doppelerfassung eines Objekts 7 in einem Schnittbereich SB der Erfassungsbereiche EB1, EB2 zu vermeiden, kann der Schnittbereich SB entsprechend gefiltert werden, wenn zwei oder mehr Sensoren 19 verwendet werden.In the at least one sensor 19 it is - as mentioned - a so-called depth sensor, which preferably operates on the principle of light transit time measurement. In this case, at least one of the sensor is in a circular sector-shaped detection range EB1, EB2 19 in the direction of the objects 7 emitted light beam 24 . 25 ( 1 ) on the object (s) 7 or reflected at least one object point and the reflected portion of the light beam 24 . 25 on the sensor 19 received again. To double-capture an object 7 in an intersection area SB of the detection areas EB1, EB2, the intersection area SB can be filtered accordingly if two or more sensors 19 be used.

Eine Datenverarbeitungseinrichtung 26, die am Sensorträger 13 angeordnet sein kann, ist mit dem zumindest einen Sensor 19 verbunden und ermittelt die Laufzeit, die das ausgestrahlte Licht benötigt, um den Weg zwischen Sensor 19 und dem Objekt 7 und wieder zurück zum Sensor 19 zurückzulegen. Aus diesen Laufzeit- bzw. Sensordaten wird der Abstand eines oder mehrerer Punkte am Objekt 7 zum Sensor 19 von der Datenverarbeitungseinrichtung 26 ermittelt. So können verschiedene Punkte an dem zumindest einen Objekt erfasst werden. Die so ermittelten unterschiedlichen Abstände mehrerer Punkte an einem Objekt 7 werden als Rohdaten vorzugsweise von der Datenverarbeitungseinrichtung 26 erfasst und zumindest vorübergehend gespeichert und verarbeitet. Vorzugsweise kann die Datenverarbeitungseinrichtung 26 anhand dieser Rohdaten zumindest ein digitales dreidimensionales Modell des erfassten Objekts 7 erzeugen und das jeweilige digitale Modell eines erfassten Objekt 7 über eine, vorzugsweise drahtlose, Schnittstelle 27 zu einer Leiteinrichtung 28 übertragen. In einer alternativen Ausführungsform können auch die Rohdaten an die Leiteinrichtung 28 übertragen werden, so dass in der Leiteinrichtung 28 das digitale dreidimensionale Modell eines erfassten Objekts 7 erzeugt wird.A data processing device 26 on the sensor carrier 13 can be arranged with the at least one sensor 19 Connects and determines the transit time that the emitted light needs to travel between the sensor 19 and the object 7 and back to the sensor 19 to cover. From this runtime or sensor data, the distance of one or more points on the object 7 to the sensor 19 from the data processing device 26 determined. Thus, different points on the at least one object can be detected. The thus determined different distances of several points on an object 7 are preferably as raw data from the data processing device 26 recorded and at least temporarily stored and processed. Preferably, the data processing device 26 on the basis of this raw data, at least one digital three-dimensional model of the detected object 7 generate and the respective digital model of a detected object 7 via a, preferably wireless, interface 27 to a guide 28 transfer. In an alternative embodiment, the raw data to the guide 28 be transferred, so that in the guide 28 the digital three-dimensional model of a detected object 7 is produced.

Wie vorstehend erwähnt, bilden auch die Regale 4 bzw. Ablageflächen 5 Objekte 7, die mit dem Sensorsystem 9 erfasst werden können. Die auf den Regalen bzw. Ablageflächen angeordneten Objekte 7 werden somit lagerichtig im dreidimensionalen Raum der Umgebung 1 erfasst, so dass ein vollständiges Abbild des bestückten Lagersystem 3 als ein vollständiges digitales dreidimensionales Gesamtmodell bzw. Abbild mit mehreren einzelnen digitalen Modellen der erfassten Objekte 7, insbesondere in der Leiteinrichtung 28, erzeugt werden kann.As mentioned above, also form the shelves 4 or storage surfaces 5 objects 7 that with the sensor system 9 can be detected. The arranged on the shelves or shelves objects 7 are thus in the correct position in the three-dimensional space of the environment 1 captured, giving a complete picture of the stocked storage system 3 as a complete digital three-dimensional overall model or image with several individual digital models of the detected objects 7 , in particular in the guide 28 , can be generated.

Die Leiteinrichtung 28 speichert eine Objektbibliothek mit vorzugsweise mehreren Referenzobjekten, die dem jeweiligen realen Objekt 7 zugeordnet sind. Anhand des erzeugten digitalen dreidimensionalen Modells eines erfassten Objekts 7 kann aus der Objektbibliothek gegebenenfalls ein passendes Referenzobjekt ausgewählt werden. Entsprechend kann auf dem vollständigen Abbild nicht nur das digitale Modell, sondern ersatzweise das passende Referenzobjekt 29 dargestellt werden. Dazu weist die Vorrichtung 8 eine Darstellungseinrichtung 30 auf, die an der Leiteinrichtung 28 und/oder der Datenverarbeitungseinrichtung 26 vorhanden sein kann.The guide 28 stores an object library with preferably several reference objects that correspond to the respective real object 7 assigned. Based on the generated digital three-dimensional model of a detected object 7 If necessary, a suitable reference object can be selected from the object library. Accordingly, not only the digital model but also the matching reference object can replace the complete image 29 being represented. For this purpose, the device 8th a presentation device 30 on that at the guide 28 and / or the data processing device 26 can be present.

Die Leiteinrichtung 28 ist insbesondere als Computer mit Bildschirm ausgebildet. Die Datenverarbeitungseinrichtung 26 kann als so genannter Tablet-PC ausgebildet sein. Die Schnittstelle 27 kann in alternativer Ausführung eine Lade- und Dockingstation 31 für den Sensorträger sein, die von dem Sensorträger 13 angefahren werden kann und die mit der Leiteinrichtung 28 über eine Schnittstelle 27' verbunden sein kann. Die Schnittstelle 27' kann drahtgebunden oder drahtlos ausgeführt sein.The guide 28 is designed in particular as a computer with a screen. The data processing device 26 can be designed as a so-called tablet PC. the interface 27 can in alternative embodiment, a charging and docking station 31 for the sensor carrier, that of the sensor carrier 13 can be approached and with the guide 28 via an interface 27 ' can be connected. the interface 27 ' can be wired or wireless.

Für den Fall, dass einem digitalen dreidimensionalen Modell kein Referenzobjekt 29 aus der Objektbibliothek zugeordnet werden kann, kann auf der Darstellungseinrichtung 30 das digitale Modell 29' als Flächen- und Volumenmodell lagerichtig abgebildet werden. Sowohl jedes ermittelte Referenzobjekt 29 als auch das Flächen- und Volumenmodell 29' wird nicht nur bezüglich des Lagersystems 3 lagerichtig auf der Darstellungseinrichtung 30 abgebildet, sondern es kann auch das gesamte Abbild des Lagersystems 3 mit den als Objekten 7 erfassten Regalen 4 und/oder Ablageflächen lagerichtig in der Umgebung 1 angezeigt werden. Dazu ist insbesondere vorgesehen, dass das Layout der Umgebung 1 zumindest in der Leiteinrichtung 28 abgelegt ist. Das Layout der Umgebung 1 kann in bevorzugter Ausführungsform mit der Vorrichtung 8 erfasst und auf der Darstellungseinrichtung 30 angezeigt werden.In the event that a digital three-dimensional model is not a reference object 29 can be assigned from the object library can on the presentation device 30 the digital model 29 ' be represented as area and volume model in the correct position. Each determined reference object 29 as well as the area and volume model 29 ' is not just about the storage system 3 in the correct position on the display device 30 but it can also be the entire image of the storage system 3 with the as objects 7 covered shelves 4 and / or shelves in the correct position in the area 1 are displayed. This is especially provided that the layout of the environment 1 at least in the guide 28 is stored. The layout of the environment 1 may in a preferred embodiment with the device 8th recorded and on the presentation device 30 are displayed.

Der Sensorträger 13 kann zusätzlich zu dem zumindest einen Sensor 19, der als Tiefensensor ausgebildet ist, zumindest einen weiteren Farbsensor 19', vorzugsweise in Form einer Farbkamera, aufweisen, mit dem die Farbe und/oder Beschriftungen bzw. Etiketten der Objekte 7 erfasst werden können. Die daraus gewonnenen Sensordaten können zusammen mit dem digitalen Modell für die Bestimmung des zugehörigen Referenzobjekts verwendet werden. Die Farbkamera bzw. der Farbsensor kann Bestandteil der Datenverarbeitungseinrichtung 26 sein. Jeweils ein Farbsensor kann einem Sensor 19 bzw. jedem Sensor 19 kann eine Farbsensor 19' zugeordnet bzw. Bestandteil eines Sensors 19 sein. Der zumindest eine Farbsensor 19' kann an einem der Tragarme 22, 23 befestigt sein.The sensor carrier 13 may be in addition to the at least one sensor 19 , which is designed as a depth sensor, at least one further color sensor 19 ' , preferably in the form of a color camera, with which the color and / or labels or labels of the objects 7 can be detected. The sensor data obtained from this can be used together with the digital model for the determination of the associated reference object. The color camera or the color sensor can be part of the data processing device 26 be. Each color sensor can be a sensor 19 or each sensor 19 can be a color sensor 19 ' assigned or component of a sensor 19 be. The at least one color sensor 19 ' can be attached to one of the support arms 22 . 23 be attached.

Die Vorrichtung 8 zum Erfassen und Darstellen von dreidimensionalen, zumindest zeitweise ruhenden bzw. abgelegten bzw. abgestellten Objekten 7 in einer festlegbaren Umgebung 1 umfasst das Sensorsystem 9, die Datenverarbeitungseinrichtung 26, die im Übrigen eine Steuereinrichtung für den selbstfahrenden Sensorträger 13 umfassen kann, den Sensorträger 13 und die Datenverarbeitungseinrichtung 26 sowie vorzugsweise die Leiteinrichtung 28, gegebenenfalls die Dockingstation 31 und die Schnittstellen 27 bzw. 27'.The device 8th for detecting and displaying three-dimensional, at least temporarily resting or deposited or parked objects 7 in a definable environment 1 includes the sensor system 9 , the data processing device 26 , which incidentally a control device for the self-propelled sensor carrier 13 may include the sensor carrier 13 and the data processing device 26 and preferably the guide 28 , if necessary, the docking station 31 and the interfaces 27 respectively. 27 ' ,

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11: UmgebungSurroundings
22: Fertigungsstraßeproduction line
33: Lagersystemstorage system
44: Regalshelf
55: Ablageflächeshelf
66: KleinladungsträgerSmall carriers
7, 7'7, 7 ': Objektobject
88th: Vorrichtungcontraption
99: Sensorsystemsensor system
1010: Streckenführungroute
1111: gerader Abschnittstraight section
1212: SichtseiteMain page
1313: Sensorträgersensor support
1414: Fahreinheitdriving unit
1515: Tragsäulesupport column
1616: Pfeilarrow
1717: Säulenabschnittcolumn section
1818: Säulenabschnittcolumn section
1919: Sensorsensor
19'19 ': Farbsensorcolor sensor
19'', 19'''19 '', 19 '' ': Achseaxis
2020: Pfeilarrow
20', 20''20 ', 20' ': Pfeilarrow
20''', 20''''20 '' ', 20' '' ': Pfeilarrow
2121: Ebenelevel
2222: TragarmBeam
2323: TragarmBeam
2424: Lichtstrahlbeam of light
2525: Lichtstrahlbeam of light
2626: DatenverarbeitungseinrichtungData processing device
27, 27'27, 27 ': Schnittstelleinterface
2828: Leiteinrichtungguide
2929: Referenzobjektreference object
29'29 ': digitales dreidimensionales Modelldigital three-dimensional model
3030: Darstellungseinrichtungdisplay means
3131: Lade- und DockingstationCharging and docking station
ABFROM: Abstanddistance
ETET: Erfassungstiefedetection depth,
PFPF: Pfeilarrow
SBSB: Schnittbereichcutting area
EB1, EB2EB1, EB2: Erfassungsbereichdetection range
SCSC: Schienerail
LALA: Längsachselongitudinal axis
S1–S7S1-S7: Sensorpositionsensor position

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 10331460 A1 [0002]

Claims

Device for detecting and displaying three-dimensional, at least temporarily stationary objects ( 7 ) in a definable environment, with at least one depth sensor (sensor 19 ) having sensor system ( 9 ), one opposite the objects to be detected ( 7 ) relatively movable sensor carrier ( 13 ), which preferably has a drive, a data processing device ( 26 ) for sensor data to create a digital three-dimensional model ( 29 ' ) of at least one of the detected objects ( 7 ) and with a display device ( 30 ) for the digital model ( 29 ).

Apparatus according to claim 1, characterized in that of the sensor system ( 9 ) additionally the color of the at least one object ( 7 ) is detectable.

Apparatus according to claim 1 or 2, characterized in that of the sensor system ( 9 ) additionally a bar code and / or QR code and / or a label or a label of the object to be detected ( 7 ) is readable.

Device according to one of the preceding claims, characterized in that the digital model ( 29 ' ) with a plurality of reference objects ( 29 ) and when the digital model matches ( 29 ' ) with a reference object ( 29 ) the reference object ( 29 ) on the display device ( 30 ) is mapped.

Device according to one of the preceding claims, characterized in that in case of a mismatch of the digital model ( 29 ' ) with a reference object ( 29 ) the object library the digital model ( 29 ' ) as a surface and volume model on the presentation device ( 30 ) is mapped.

Device according to one of the preceding claims, characterized in that the determined reference object ( 29 ) and / or the area and volume model of the digital model ( 29 ' ) in the correct position in the definable environment ( 1 ) on the display device ( 30 ).

Device according to one of the preceding claims, characterized in that the determined reference object ( 29 ) and / or the area and volume model of a digital model ( 29 ' ) in their correct position in the determinable environment ( 1 ) is mapped and preferably with a desired arrangement of reference objects and / or area and volume models in the same determinable environment ( 1 ).

Device according to one of the preceding claims, characterized in that the sensor system ( 9 ) in the definable environment ( 1 ) along a series of objects ( 7 ) is movable.

Device according to one of the preceding claims, characterized in that the sensor system in ( 9 ) is designed to be automatically movable or self-propelled.

Device according to one of the preceding claims, characterized in that the at least one sensor ( 19 ) of the sensor system ( 9 ) while capturing an object ( 7 ) relative to a sensor carrier ( 13 ) is movable.

Device according to one of the preceding claims, characterized in that the at least one sensor ( 19 ) of the sensor system ( 9 ) in one level ( 21 ) is movable, which is approximately parallel to a plane (visible side 12 ) of the objects to be detected ( 7 ) runs.

Apparatus according to claim 11, characterized in that the at least one sensor ( 19 ) of the sensor system ( 9 ) in the plane ( 21 ) in a pendulum motion (arrow 20 , Arrow 20 '''' ) and / or in a linear up-and-down motion (arrow 16 ) and / or in a reciprocating motion (arrow 20 ' ) is movable.

Apparatus according to claim 10, characterized in that the at least one sensor ( 19 ) of the sensor system ( 9 ) from one level ( 21 ) is movable out, which is approximately parallel to a plane (visible side 12 ) of the objects to be detected ( 7 ) runs.

Apparatus according to claim 13, characterized in that the at least one sensor ( 19 ) of the sensor system ( 9 ) out of the plane ( 21 ) out by a rotary motion (arrow 20 '' ) is movable.

Apparatus according to claim 13, characterized in that the at least one sensor ( 19 ) of the sensor system ( 9 ) out of the plane ( 21 ) out through a translatory movement (arrow 20 ''' ) is movable.

Device according to one of the preceding claims, characterized in that a data transmission from the sensor system ( 9 ) to a guidance device ( 28 ), which the object library may have, via a wireless interface ( 27 ) he follows.

Device according to one of the preceding claims, characterized in that the definable environment ( 1 ) as a layout at least in the guide ( 28 ) is deposited.

Device according to one of the preceding claims, characterized in that the determinable environment ( 1 ) Reference points (route guidance 10 ) are assigned, by means of which the sensor system ( 9 ) in the definable environment ( 1 ) is movable.

Device according to one of the preceding claims, characterized in that the sensor system ( 9 ) based on a line control (routing 10 ) in the definable environment ( 1 ) is movable.

Device according to one of the preceding claims, characterized in that the sensor system ( 9 ) at least two sensors ( 19 ), which detects the same movement, in particular relative movement, during the detection of the at least one object ( 7 ) To run.