DE102018125266B3 - Method and robot system for entering a workspace - Google Patents

Method and robot system for entering a workspace Download PDF

Info

Publication number
DE102018125266B3
DE102018125266B3 DE102018125266.8A DE102018125266A DE102018125266B3 DE 102018125266 B3 DE102018125266 B3 DE 102018125266B3 DE 102018125266 A DE102018125266 A DE 102018125266A DE 102018125266 B3 DE102018125266 B3 DE 102018125266B3
Authority
DE
Germany
Prior art keywords
image
points
laser
robot system
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102018125266.8A
Other languages
German (de)
Inventor
Matthias König
Dennis Sprute
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
FACHHOCHSCHULE BIELEFELD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FACHHOCHSCHULE BIELEFELD filed Critical FACHHOCHSCHULE BIELEFELD
Priority to DE102018125266.8A priority Critical patent/DE102018125266B3/en
Priority to CN201980066721.3A priority patent/CN112789570A/en
Priority to PCT/EP2019/077635 priority patent/WO2020074722A1/en
Application granted granted Critical
Publication of DE102018125266B3 publication Critical patent/DE102018125266B3/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process

Abstract

Robotersystem (15) zur Eingabe eines Arbeitsbereichs (4) in einem Überwachungsbereich (14), wobei das Robotersystem (15) als eine Eingabeeinheit einen Laserpointer (2) zur Eingabe von Laserpunkten (3) durch einen Benutzer (1) aufweist,
wobei das Robotersystem (15) eine erste Kamera (6) zur Aufnahme eines ersten Bilds des Überwachungsbereichs (14) aus einem ersten Blickwinkel aufweist,
wobei das Robotersystem (15) eine mobile Robotereinheit (9) mit einer zweiten Kamera (10) zur Aufnahme eines zweiten Bilds des Überwachungsbereichs (14) aus einem zweiten Blickwinkel aufweist,
wobei das Robotersystem (15) eine erste Bildanalyseeinheit (7) zur Erkennung von Laserpunkten (3) in dem ersten Bild und in dem zweiten Bild oder eine erste Bildanalyseeinheit (7) zur Erkennung von Laserpunkten in dem ersten Bild und eine zweite Bildanalyseeinheit (11) zur Erkennung von Laserpunkten in dem zweiten Bild aufweist,
dadurch gekennzeichnet, dass das Robotersystem (15) eine Auswerteeinheit (13) zur Ermittlung einer den Arbeitsbereich bestimmenden Polygonkette (5, 33) aus den erkannten Laserpunkten (3) aufweist.

Figure DE102018125266B3_0000
A robot system (15) for inputting a work area (4) in a surveillance area (14), said robot system (15) having as an input unit a laser pointer (2) for input of laser spots (3) by a user (1),
the robot system (15) having a first camera (6) for taking a first image of the surveillance area (14) from a first viewing angle,
the robot system (15) having a mobile robot unit (9) with a second camera (10) for taking a second image of the surveillance area (14) from a second viewing angle,
wherein the robot system (15) comprises a first image analysis unit (7) for detecting laser spots (3) in the first image and in the second image or a first image analysis unit (7) for detecting laser spots in the first image and a second image analysis unit (11) for detecting laser spots in the second image,
characterized in that the robot system (15) has an evaluation unit (13) for determining a working region determining polygon chain (5, 33) from the detected laser points (3).
Figure DE102018125266B3_0000

Description

Die Erfindung geht aus von einem System oder Verfahren zur Eingabe eines Arbeitsbereichs für einen mobilen Roboter nach Gattung der unabhängigen Ansprüche.The invention is based on a system or method for entering a work area for a mobile robot according to the preamble of the independent claims.

Aus der DE 102 15 167 C1 ist bereits eine Anordnung zur Kommandierung eines semiautonomen Systems in einem Arbeitsfeld bekannt. Dabei dient eine Kamera zur Überwachung des Arbeitsfelds und ein Laserpointer zur Markierung von Objektpunkten im Arbeitsfeld.From the DE 102 15 167 C1 An arrangement for commanding a semi-autonomous system in a working field is already known. A camera serves to monitor the working field and a laser pointer to mark object points in the working field.

Aus der US 4 887 223 A ist ein System zum Materialtransport bekannt, das mobile Roboter steuert. Dabei wertet ein visuelles Navigationssystem für die Steuerung der mobilen Roboter Bilder aus, welche mittels über den mobilen Robotern angebrachten Kameras aufgenommen werden.From the US 4 887 223 A For example, a material handling system that controls mobile robots is known. In the process, a visual navigation system for controlling the mobile robots evaluates images which are recorded by means of cameras mounted on the mobile robots.

Aus der Veröffentlichung „Optical Guidance System für Multiple Mobile Robots“ (Proceedings of the 2001 IEEE International Conference on Robotics & Automation, Seoul, Korea, 2001 IEEE) ist bereits ein optisches Leitsystem für mobile Roboter bekannt. Dabei wird ein Laserpointer eingesetzt, der Zielpositionen für die mobilen Roboter auf den Boden projiziert.An optical guidance system for mobile robots is already known from the publication "Optical Guidance System for Multiple Mobile Robots" (Proceedings of the 2001 IEEE International Conference on Robotics and Automation, Seoul, Korea, 2001 IEEE). A laser pointer is used, which projects target positions for the mobile robots onto the ground.

Aus der Veröffentlichung „This Far, No Further: Introducing Virtual Borders to Mobile Robots Using a Laser Pointer“ (Arxiv preprint arxiv: 1708.06274, 2017) ist bereits ein Verfahren bekannt, bei dem ein Arbeitsbereich für einen mobilen Roboter durch einen Laserpointer eingegeben wird.From the publication "This Far, No Further: Introducing Virtual Borders to Mobile Robots Using a Laser Pointer" (Arxiv preprint arxiv: 1708.06274, 2017), there is already known a method in which a work area for a mobile robot is input through a laser pointer.

DE 10 2016 224 693 A1 betrifft ein tragbares Handbediengerät, zum Fernsteuern eines Manipulators, wobei das tragbare Handbediengerät eine optische Strahlenquelle zur Erzeugung eines gebündelten Lichtstrahls aufweist und wobei der gebündelte Lichtstrahl zum Koppeln des tragbaren Handbediengeräts mit einem Manipulator eingerichtet ist. Andere Aspekte der Erfindung betreffen ein tragbares Handbediengerät mit einem Jogwheel, einen Sensor zum Erfassen eines gebündelten Lichtstrahls eines tragbaren Handbediengeräts, ein Kopplungsanzeigemittel zur Visualisierung des Kopplungszustands eines tragbaren Handbediengeräts mit einem Manipulator, ein System zum Koppeln eines tragbaren Handbediengeräts mit einem Manipulator und ein Verfahren zum Koppeln eines tragbaren Handbediengeräts mit einem Manipulator. DE 10 2016 224 693 A1 relates to a portable handheld terminal for remotely controlling a manipulator, the portable handheld terminal having an optical radiation source for generating a collimated light beam, and wherein the collimated light beam is configured to couple the portable handheld with a manipulator. Other aspects of the invention relate to a portable hand-held device with a jogwheel, a sensor for detecting a bundled light beam of a portable hand-held device, a coupling display means for visualizing the coupling state of a portable hand-held device with a manipulator, a system for coupling a portable hand-held device with a manipulator and a method for Pair a portable handheld with a manipulator.

Ein optoelektronischer Sensor gemäß DE 20 2009 012 589 U1 zur Überwachung und optischen Erfassung eines flächigen oder volumenförmigen Schutzbereichs weist eine Empfangseinheit zum Empfang von Empfangslichtstrahlen aus dem Schutzbereich und Erzeugung von Empfangssignalen in Abhängigkeit vom Empfangslicht auf sowie eine Steuer- und Auswerteeinheit zur Erzeugung eines einem Schaltzustand „Objekt im Schutzbereich“ entsprechenden Objektfeststellungssignals in Abhängigkeit der Empfangssignale. Erfindungsgemäß ist wenigstens ein Lichtsender vorgesehen, mit dem der Schaltzustand „Objekt im Schutzbereich“ im Schutzbereich visuell erkennbar darstellbar ist, wobei der Lichtsender zur Schaltzustandsanzeige einen sichtbaren Sendelichtstrahl in der Richtung, in der das Objekt liegt, aussendet.An optoelectronic sensor according to DE 20 2009 012 589 U1 for monitoring and optical detection of a flat or volume-shaped protection area has a receiving unit for receiving received light beams from the protected area and generating received signals in response to the received light and a control and evaluation for generating a switching state "object in the protected area" corresponding object detection signal in dependence receive signals. According to the invention, at least one light transmitter is provided, with which the switching state "object in the protected area" in the protected area can be displayed visually recognizable, wherein the light transmitter for switching status display emits a visible transmitted light beam in the direction in which the object is located.

DE 10 2008 054 863 A1 offenbart ein Verfahren zur Steuerung eines Roboters anhand von Lichtmarken, bei dem mittels einer Lichtquelle eine Lichtmarke erzeugt wird, wobei ein Kamerasystem die Lichtmarke erfasst, die Lichtmarke mit kleiner oder gleich der halben Bildwiederholfrequenz des Kamerasystems Hell/Dunkel getastet und durch Auswertung der vom Kamerasystem erfassten Bilder erkannt wird. DE 10 2008 054 863 A1 discloses a method for controlling a robot based on light marks, in which a light mark is generated by means of a light source, wherein a camera system detects the light mark, the light mark with less than or equal to half the refresh rate of the camera system light / dark and scanned by evaluation of the detected by the camera system Images is detected.

AT 512 350 B1 betrifft eine Computeranlage, welche eine Datenverarbeitungsanlage und ein frei bewegliches Eingabegerät umfasst, das mindestens einen Positionsänderungssensor enthält, von welchem Informationen an die Datenverarbeitungsanlage sendbar sind. Informationen über die absolute Position des Eingabegerätes sind durch die Datenverarbeitungsanlage erfassbar, indem diese mit einer lichtempfindlichen positionssensitiven Eingabefläche in Datenverbindung ist und das Eingabegerät einen Lichtstrahl aussendet, dessen Auftreffort an der Eingabefläche durch diese detektierbar ist. AT 512 350 B1 relates to a computer system which comprises a data processing system and a freely movable input device which contains at least one position change sensor, from which information can be sent to the data processing system. Information about the absolute position of the input device can be detected by the data processing system in that it is in data communication with a photosensitive position-sensitive input surface and the input device emits a light beam whose impact location on the input surface can be detected by it.

US 2008 / 0 063 400 A1 offenbart ein System und Verfahren zum Steuern eines entfernten Fahrzeugs umfasst eine Handsteuerung mit einem Lasergenerator zum Erzeugen eines Laserstrahls. Die Handsteuerung ist manipulierbar, um den Laserstrahl auszurichten und auszulösen, um ein Ziel für das entfernte Fahrzeug zu bestimmen. Das entfernte Fahrzeug erfasst eine Reflexion des Laserstrahls und bewegt sich auf das gewünschte Ziel zu. Die Handsteuerung ermöglicht die Einhandbedienung des entfernten Fahrzeugs und einer oder mehrerer seiner Nutzlasten. US 2008/0 063 400 A1 discloses a system and method for controlling a remote vehicle includes a hand controller with a laser generator for generating a laser beam. The hand control is manipulable to align and trigger the laser beam to determine a target for the remote vehicle. The remote vehicle detects a reflection of the laser beam and moves toward the desired destination. The hand control allows one-handed operation of the remote vehicle and one or more of its payloads.

Einen Ansatz für die Integration einer direkten multimodalen Mensch-Roboter-Interaktion mit einem Laserpointer und Sprache in eine experimentelle Multi-Roboter-Steuerungsstation beschreibt TROUVAIN, Boris A.; SCHNEIDER, Frank E.; WILDERMUTH, Dennis. Integrating a multimodal human-robot interaction method into a multi-robot control station. In: Proceedings 10th IEEE International Workshop on Robot and Human Interactive Communication. ROMAN 2001 (Cat. No. 01TH8591). IEEE, 2001. S. 468-472 .Describes an approach for integrating a direct multimodal human-robot interaction with a laser pointer and speech into an experimental multi-robot control station TROUVAIN, Boris A .; SCHNEIDER, Frank E .; WILDERMUTH, Dennis. Integrating a multimodal human-robot interaction method into a multi-robot control station. In: Proceedings 10th IEEE International Workshop on Robotics and Human Interactive Communication. ROMAN 2001 (Cat No. 01TH8591). IEEE, 2001, pp. 468-472 ,

Das erfindungsgemäße Robotersystem zur Eingabe eines Arbeitsbereichs in einem Überwachungsbereich mit den Merkmalen des unabhängigen Anspruchs 1 hat demgegenüber den Vorteil, dass es eine Auswerteeinheit zur Ermittlung einer den Arbeitsbereich bestimmenden Polygonkette aus Laserpunkten aufweist, die durch einen Benutzer mit einem Laserpointer eingegeben werden und die in mit einer ersten Kamera aus einem ersten Blickwinkel und einer zweiten Kamera aus einem zweiten Blickwinkel aufgenommenen Bildern erkannt werden. Denn mit der ersten Kamera und der zweiten Kamera, die mit einem mobilen Roboter verbunden ist, kann ein größerer Überwachungsbereich überwacht werden, in dem der Arbeitsbereich eingegeben werden kann.
Das erfindungsgemäße Verfahren zur Eingabe eines Arbeitsbereichs für einen mobilen Roboter mit den Verfahrensschritten des unabhängigen Anspruchs 2 hat zudem den Vorteil, dass aus Laserpunkten durch eine Projektion in einen dreidimensionalen Koordinatenraum eine Punktmenge in dem dreidimensionalen Koordinatenraum ermittelt wird, und aus der Punktmenge eine Polygonkette zur Bestimmung des Arbeitsbereichs ermittelt und ausgewertet wird. Denn so kann ein Benutzer den Arbeitsbereich komfortabel durch Einzeichnen mit dem Laserpointer in einem Überwachungsbereich eingeben. The inventive robot system for entering a work area in a surveillance area with the features of independent claim 1 has the advantage that it has an evaluation unit for determining a work area determining polygon chain of laser points that are entered by a user with a laser pointer and in with a first camera from a first viewing angle and a second camera from a second angle recorded images are detected. Because with the first camera and the second camera, which is connected to a mobile robot, a larger surveillance area can be monitored, in which the work area can be entered.
The inventive method for entering a workspace for a mobile robot with the method steps of the independent claim 2 also has the advantage that a point set in the three-dimensional coordinate space is determined from laser points by a projection in a three-dimensional coordinate space, and from the set of points a polygon chain for determination of the work area is determined and evaluated. This allows a user to conveniently enter the workspace by drawing with the laser pointer in a surveillance area.

Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der in den unabhängigen Ansprüchen angegebenen Vorrichtung möglich.The measures listed in the dependent claims advantageous refinements and improvements of the device specified in the independent claims are possible.

Es ist vorteilhaft, wenn das erfindungsgemäße Verfahren für den Überwachungsbereich Belegungswahrscheinlichkeiten festlegt. Denn somit kann der mobile Roboter die Belegungswahrscheinlichkeiten des Überwachungsbereichs zur Navigationsplanung verwenden. Ferner ist es vorteilhaft, wenn eine Auswertung der Belegungswahrscheinlichkeiten des Überwachungsbereichs in eine Verbotszone oder eine Erlaubniszone den Arbeitsbereich ergeben, damit für den mobilen Roboter Grenzen seines Bewegungsgebiets festgelegt werden. It is advantageous if the method according to the invention specifies occupancy probabilities for the surveillance area. For thus, the mobile robot can use the occupancy probabilities of the surveillance area for navigation planning. Furthermore, it is advantageous if an evaluation of the occupancy probabilities of the surveillance area in a prohibition zone or a permission zone result in the working area so that borders of its movement area are defined for the mobile robot.

Zudem ist es vorteilhaft, wenn zur Bestimmung des Arbeitsbereichs ein Kontrollpunkt aus den Laserpunkten ermittelt wird, wobei der Kontrollpunkt eine Änderung einer Belegungswahrscheinlichkeit des Arbeitsbereichs herbeiführt. Denn so können über eine Eingabe mit einem Laserpointer eine Verbotszone oder Erlaubniszone festgelegt werden, welche zur Ermittlung des Arbeitsbereichs ausgewertet werden.In addition, it is advantageous if a control point from the laser points is determined to determine the work area, wherein the control point brings about a change in an occupancy probability of the work area. This is because a prohibition zone or permission zone can be defined via an input with a laser pointer, which are evaluated to determine the work area.

Ferner ist es vorteilhaft, wenn das erfindungsgemäße Verfahren bei der Projektion in den dreidimensionalen Koordinatenraum ein Ebenenmodell verwendet. Denn somit wird die Berechnung der Projektion vereinfacht.Furthermore, it is advantageous if the method according to the invention uses a plane model when projecting into the three-dimensional coordinate space. Because thus the calculation of the projection is simplified.

Ferner ist es vorteilhaft, wenn bei dem erfindungsgemäßen Verfahren, das fortlaufend ein erstes Bild und ein zweites Bild erfasst, das erste Bild und/oder das zweite Bild Tiefeninformationen enthält. Denn somit werden Positionsberechnungen der Laserpunkte verbessert.Furthermore, it is advantageous if, in the method according to the invention, which continuously acquires a first image and a second image, the first image and / or the second image contains depth information. Because thus position calculations of the laser points are improved.

Besonders vorteilhaft ist es, wenn das erfindungsgemäße Verfahren bei der Ermittlung der Polygonkette eine Gruppierung von Punkten aus der Punktmenge durchführt. Denn somit können falsch erkannte oder falsch eingegebene Laserpunkte für die Ermittlung der Polygonkette herausgenommen werden.It is particularly advantageous if the method according to the invention carries out a grouping of points from the set of points when determining the polygon chain. Because thus wrongly recognized or incorrectly entered laser points for the determination of the polygon chain can be taken out.

Besonders vorteilhaft ist es, wenn das erfindungsgemäße Verfahren bei der Ermittlung der Polygonkette eine Ausdünnung von Punkten aus der Punktmenge durchführt. Denn somit können räumlich redundante Punkte für die Ermittlung der Polygonkette aussortiert werden.It is particularly advantageous if the method according to the invention performs thinning out of points in the determination of the polygon chain. Because thus spatially redundant points for the determination of the polygon chain can be sorted out.

Besonders vorteilhaft ist es, wenn das erfindungsgemäße Verfahren bei der Ermittlung der Polygonkette eine Untermenge von Punkten aus der Punktmenge verwendet. Denn somit kann eine schnelle Berechnung der Polygonkette erfolgen.It is particularly advantageous if the method according to the invention uses a subset of points from the point set in the determination of the polygon chain. Because thus a fast calculation of the polygon chain can take place.

Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert.Embodiments of the invention are illustrated in the drawings and explained in more detail in the following description.

Es zeigen

  • 1 eine schematische Ansicht einer Ausführungsform eines erfindungsgemäßen Robotersystems,
  • 2 ein erfindungsgemäßes Verfahren, und
  • 3 eine beispielhafte Illustration eines Verfahrensschritts des erfindungsgemäßen Verfahrens.
Show it
  • 1 a schematic view of an embodiment of a robot system according to the invention,
  • 2 a method according to the invention, and
  • 3 an exemplary illustration of a method step of the method according to the invention.

In der 1 ist eine Ausführungsform eines erfindungsgemäßen Robotersystems dargestellt. Das erfindungsgemäße Robotersystem 15 zur Eingabe eines Arbeitsbereichs 4 in einem Überwachungsbereich 14 weist einen Laserpointer 2, eine erste Kamera 6, einen mobilen Roboter 9 mit einer zweiten Kamera 10, eine erste Bildanalyseeinheit 7, eine zweite Bildanalyseeinheit 11, eine erste Schnittstelle 8 zur Kommunikation, eine zweite Schnittstelle 12 zur Kommunikation und eine Auswerteeinheit 13 auf. Der Laserpointer 2 ist als Eingabeeinheit zur Eingabe von Laserpunkten 3 durch einen Benutzer 1 ausgelegt.In the 1 an embodiment of a robot system according to the invention is shown. The robot system according to the invention 15 to enter a workspace 4 in a surveillance area 14 has a laser pointer 2 , a first camera 6 , a mobile robot 9 with a second camera 10 , a first image analysis unit 7 , a second image analysis unit 11 , a first interface 8th for communication, a second interface 12 for communication and an evaluation unit 13 on. The laser pointer 2 is as an input unit for entering laser points 3 by a user 1 designed.

Der Benutzer 1 hält den Laserpointer 2 als Eingabeeinheit für das Robotersystem 15 in einer Hand und leuchtet Laserpunkte 3 auf einen Boden des Überwachungsbereichs 14. Indem der Benutzer 1 mit dem Laserpointer 2 die Laserpunkte 3 auf dem Boden zeichnet, gibt der Benutzer 1 die Grenzen des Arbeitsbereichs 4 in das Robotersystem 15 ein. Der Benutzer 1 kann weiterhin einen Kontrollpunkt mit dem Laserpointer 2 eingeben, der festlegt, auf welcher Seiten der Grenze der Arbeitsbereich 4 liegt.The user 1 Holds the laser pointer 2 as input unit for the robot system 15 in a Hand and lights up laser points 3 on a floor of the surveillance area 14 , By the user 1 with the laser pointer 2 the laser points 3 draws on the floor, gives the user 1 the boundaries of the workspace 4 into the robot system 15 on. The user 1 can continue a checkpoint with the laser pointer 2 enter, which determines on which sides of the border the work area 4 lies.

Die erste Kamera 6 nimmt ein erstes Bild des Überwachungsbereichs 14 aus einem ersten Blickwinkel auf. Die erste Kamera 6 ist stationär an einer Wand angebracht und nimmt das erste Bild aus einer Ansicht von oben auf. Die erste Kamera 6 ist verbunden mit einer ersten Bildanalyseeinheit 7 zur Erkennung der Laserpunkte 3 in dem ersten Bild. Die Bildanalyseeinheit 7 ist verbunden mit der ersten Schnittstelle 8 zur Kommunikation, beispielsweise über eine Funkverbindung, im Robotersystem 15. Beispielsweise ist die erste Kamera 6 eine RGB-Kamera zur Farbbildaufnahme oder eine RGBD-Kamera zur kombinierten Farbbild- und Tiefenbildaufnahme.The first camera 6 takes a first picture of the surveillance area 14 from a first perspective. The first camera 6 is stationary mounted on a wall and takes the first image from a top view. The first camera 6 is connected to a first image analysis unit 7 to detect the laser spots 3 in the first picture. The image analysis unit 7 is connected to the first interface 8th for communication, for example via a radio link, in the robot system 15 , For example, the first camera 6 an RGB camera for color image recording or an RGBD camera for combined color image and depth image recording.

Der mobile Roboter 9 weist die zweite Kamera 10, die zweite Bildanalyseeinheit 11, die zweite Schnittstelle 12 und die Auswerteeinheit 13 auf. Die zweite Kamera 10 ist zur Aufnahme eines zweiten Bilds des Überwachungsbereichs 14 aus einem zweiten Blickwinkel ausgelegt. Die zweite Bildanalyseeinheit 11 ist zur Erkennung der Laserpunkte 3 in dem zweiten Bild ausgelegt und verbunden mit der zweiten Kamera 10. Die zweite Schnittstelle 12 ist verbunden mit der zweiten Bildanalyseeinheit 11 und der Auswerteeinheit 13. Die zweite Schnittstelle 12 ist zur Kommunikation im Robotersystem 15 ausgelegt, beispielsweise über eine Funkverbindung. Die Auswerteeinheit 13 ist ausgelegt zur Ermittlung einer den Arbeitsbereich 4 bestimmenden Polygonkette 5 aus den erkannten Laserpunkten 3. Beispielsweise ist die zweite Kamera 10 eine RGB-Kamera zur Farbbildaufnahme oder eine RGBD-Kamera zur kombinierten Farbbild- und Tiefenbildaufnahme.The mobile robot 9 assigns the second camera 10 , the second image analysis unit 11 , the second interface 12 and the evaluation unit 13 on. The second camera 10 is for taking a second image of the surveillance area 14 designed from a second angle. The second image analysis unit 11 is for detecting the laser spots 3 in the second image and connected to the second camera 10 , The second interface 12 is connected to the second image analysis unit 11 and the evaluation unit 13 , The second interface 12 is for communication in the robot system 15 designed, for example via a radio link. The evaluation unit 13 is designed to identify a work area 4 determining polygon chain 5 from the detected laser points 3 , For example, the second camera 10 an RGB camera for color image recording or an RGBD camera for combined color image and depth image recording.

In der 2 ist ein erfindungsgemäßes Verfahren 20 zur Eingabe eines Arbeitsbereichs für einen mobilen Roboter in einem Überwachungsbereich dargestellt. Das Verfahren 20 weist sechs Verfahrensschritte 21, 22, 23, 24, 25, 26 auf.In the 2 is a method according to the invention 20 for entering a work area for a mobile robot in a surveillance area. The procedure 20 has six process steps 21 . 22 . 23 . 24 . 25 . 26 on.

Im ersten Verfahrensschritt 21 wird fortlaufend ein erstes Bild aus einer ersten Ansicht und ein zweites Bild aus einer zweiten Ansicht erfasst. Im zweiten Verfahrensschritt 22 werden Laserpunkte 3 in dem ersten Bild und/oder dem zweiten Bild erkannt. Im dritten Verfahrensschritt 23 wird aus den Laserpunkten 3 durch eine Projektion in einen dreidimensionalen Koordinatenraum eine Punktmenge in dem dreidimensionalen Koordinatenraum ermittelt. Beispielsweise enthält das erste Bild und/oder das zweite Bild Grauwerte, Farbwerte und/oder Tiefenwerte. Beispielsweise wird für die Projektion ein Ebenenmodell verwendet.In the first process step 21 a first image from a first view and a second image from a second view are continuously recorded. In the second process step 22 become laser points 3 recognized in the first image and / or the second image. In the third process step 23 gets out of the laser spots 3 determined by a projection into a three-dimensional coordinate space, a set of points in the three-dimensional coordinate space. For example, the first image and / or the second image contains gray values, color values and / or depth values. For example, a layer model is used for the projection.

Im vierten Verfahrensschritt 24 wird aus der Punktmenge eine Polygonkette 5 ermittelt. Beispielsweise wird in dem vierten Verfahrensschritt 24 mit Punkten aus der Punktmenge eine Gruppierung oder ein Clustering durchgeführt, bei dem Punkte herausgefiltert werden, die keiner Gruppe mit vielen Punkten zugewiesen werden. Beispielsweise wird zur Gruppierung der DBSCAN-Algorithmus durchgeführt.In the fourth process step 24 the point set becomes a polygon chain 5 determined. For example, in the fourth process step 24 Grouping or clustering with points from the set of points, filtering out points that are not assigned to a group with many points. For example, grouping of the DBSCAN algorithm is performed.

Beispielsweise wird in dem vierten Verfahrensschritt 24 eine Ausdünnung oder ein Thinning von Punkten aus der Punktmenge durchgeführt. Beispielsweise werden lokal benachbarte Punkte durch einen Punkt ersetzt, der aus deren Mittelwerten gebildet wird.For example, in the fourth process step 24 thinning or thinning of points from the set of points. For example, locally adjacent points are replaced by a point formed from their averages.

Beispielsweise wird in dem vierten Verfahrensschritt 24 aus der Punktmenge oder einer Untermenge der Punktmenge, die sich aus der Gruppierung und Filterung oder der Ausdünnung ergibt, die Polygonkette 5 wie folgt gebildet. Ausgehend von einem Startpunkt wird eine Verbindung zu einem Endpunkt gezogen, der sich dahingehend aus der Punktmenge ergibt, dass er dem Startpunkt am nächsten liegt. Der Endpunkt ist dann der nächste, aktuelle Startpunkt und es wird eine Verbindung zu einem nächsten, aktuellen Endpunkt gezogen, der sich wiederum aus der Punktmenge ergibt, dem aktuellen Startpunkt am nächsten liegt und der noch nicht der Polygonkette 5 zugeordnet wurde. Dieser Endpunkt wird der nächste, aktuelle Startpunkt und das Ziehen von Verbindungen läuft entsprechend weiter, bis zur Bildung der Polygonkette 5 alle Punkte berücksichtigt wurden. Die Polygonkette 5 kann beispielsweise offen oder geschlossen sein.For example, in the fourth process step 24 from the set of points or a subset of the set of points resulting from the grouping and filtering or the thinning, the polygon chain 5 formed as follows. Starting from a starting point, a connection is made to an end point that results from the point set being closest to the starting point. The endpoint is then the next, current starting point and a connection is made to a next, current endpoint, which in turn results from the set of points closest to the current starting point and not yet the polygon chain 5 was assigned. This endpoint will be the next, current starting point, and the dragging of connections will continue accordingly until the formation of the polygon chain 5 all points were taken into account. The polygon chain 5 may be open or closed, for example.

In einem fünften Verfahrensschritt 25 wird die Polygonkette 5 zur Bestimmung des Arbeitsbereichs 4 ausgewertet. Beispielsweise wird für den Überwachungsbereich 14 ein Gitter mit Zellen mit Belegungswahrscheinlichkeiten erstellt. Dabei können Einträge für eine Zelle des Gitters angeben, ob die Zelle als frei, belegt oder mit einer gewissen Wahrscheinlichkeit belegt bzw. frei ist. Beispielsweise kann die geschlossene Polygonkette 5 eine äußere Grenze des Arbeitsbereichs 4 bestimmen, wenn die Belegungswahrscheinlichkeiten der Zellen, welche durch die Polygonkette 5 eingegrenzt sind und innerhalb der Polygonkette 5 liegen, als frei gekennzeichnet sind und die Belegungswahrscheinlichkeiten der Zellen, die außerhalb der Polygonkette 5 liegen, als belegt gekennzeichnet sind. Damit ist ein Bereich innerhalb der Polygonkette 5 als eine Erlaubniszone und ein Bereich außerhalb der Polygonkette als eine Verbotszone angegeben, so dass der Arbeitsbereich 4 als der innerhalb der Polygonkette 5 liegende Bereich festgelegt wird. Der mobile Roboter 5 würde sich bei der Durchführung einer Aufgabe nur innerhalb des Arbeitsbereich 4 bewegen dürfen. Für ein anderes Beispiel könnte der Bereich innerhalb der Polygonkette 5 mit der Belegungswahrscheinlich belegt und außerhalb mit frei gekennzeichnet sein, so dass als der Arbeitsbereich 4 der Überwachungsbereich 14 ohne den Bereich innerhalb der Polygonkette 5 festgelegt wird.In a fifth process step 25 becomes the polygon chain 5 to determine the work area 4 evaluated. For example, for the surveillance area 14 created a grid with cells with occupancy probabilities. In this case, entries for a cell of the grid can specify whether the cell is free, occupied, or with a certain probability is occupied or free. For example, the closed polygon chain 5 an outer boundary of the workspace 4 determine if the occupancy probabilities of the cells passing through the polygon chain 5 are limited and within the polygon chain 5 lie, as are freely marked and the occupancy probabilities of cells outside the polygon chain 5 lie, are marked as occupied. This is an area within the polygon chain 5 specified as a permission zone and an area outside the polygon chain as a prohibition zone, so that the work area 4 as the inside of the polygon chain 5 lying area is set. The mobile robot 5 would be when performing a task only within the workspace 4 allowed to move. For another example, the area could be within the polygon chain 5 Probably occupied with the occupancy and outside with freely marked, so that as the work area 4 the surveillance area 14 without the area inside the polygon chain 5 is determined.

In einem sechsten Verfahrensschritt 26 wird ein Kontrollpunkt aus den Laserpunkten 3 ermittelt, der eine Änderung einer Belegungswahrscheinlichkeit des Arbeitsbereichs 4 herbeiführt. Beispielsweise kann der Kontrollpunkt über seine Position angeben, ob ein Bereich, in dem der Kontrollpunkt liegt, als Verbotszone oder als Erlaubniszone gekennzeichnet wird, und somit gegebenenfalls eine Änderung des Arbeitsbereichs 4 bewirken, indem Erlaubniszone und Verbotszone ausgetauscht werden könnten.In a sixth process step 26 becomes a control point from the laser spots 3 determines a change in occupancy probability of the workspace 4 causes. For example, the control point can indicate via its position whether an area in which the control point lies is marked as a prohibited zone or as a permission zone, and thus possibly a change of the working area 4 effect by exchanging the permit zone and the prohibition zone.

3 illustriert ein Beispiel des fünften Verfahrensschritts 25. Eine aus Laserpunkten erkannte und in einen dreidimensionalen Koordinatenraum projizierte Punktmenge dient als Ausgangsmenge 30. Nach einem Clustering und einer Filterung der Ausgangsmenge 30 liegt eine reduzierte Punktmenge 31 vor. Eine Durchführung eines Thinning auf der reduzierten Punktmenge 31 führt zu einer ausgedünnten Punktmenge 32. Aus der ausgedünnten Punktmenge 32 wird ein Polygonzug 33 generiert. 3 illustrates an example of the fifth method step 25 , A set of points recognized from laser points and projected into a three-dimensional coordinate space serves as the output quantity 30 , After clustering and filtering the output quantity 30 is a reduced amount of points 31 in front. Performing a thinning on the reduced point set 31 leads to a thinned point quantity 32 , From the thinned point set 32 becomes a polygon 33 generated.

Claims (10)

Robotersystem (15) zur Eingabe eines Arbeitsbereichs (4) in einem Überwachungsbereich (14), wobei das Robotersystem (15) als eine Eingabeeinheit einen Laserpointer (2) zur Eingabe von mehreren Laserpunkten (3) zum Markieren des Arbeitsbereichs (4) durch einen Benutzer (1) aufweist, wobei das Robotersystem (15) eine erste Kamera (6) zur Aufnahme eines ersten Bilds des Überwachungsbereichs (14) aus einem ersten Blickwinkel aufweist, wobei das Robotersystem (15) eine mobile Robotereinheit (9) mit einer zweiten Kamera (10) zur Aufnahme eines zweiten Bilds des Überwachungsbereichs (14) aus einem zweiten Blickwinkel aufweist, wobei die genauen Positionen der beiden Kameras (6, 10) im Raum dem Robotersystem (15) bekannt sind, die beiden Bilder die gleichen Laserpunkte (3) vom Laserpointer (2) aufnehmen und wobei das Robotersystem (15) eine erste Bildanalyseeinheit (7) zur Erkennung von Laserpunkten (3) in dem ersten Bild und in dem zweiten Bild oder eine erste Bildanalyseeinheit (7) zur Erkennung von Laserpunkten in dem ersten Bild und eine zweite Bildanalyseeinheit (11) zur Erkennung von Laserpunkten in dem zweiten Bild aufweist, dadurch gekennzeichnet, dass das Robotersystem (15) eine Auswerteeinheit (13) zur Ermittlung (24) einer Punktmenge (30) in einem dreidimensionalen Koordinatenraum durch Projektion der erkannten Laserpunkte (3) in den Koordinatenraum und Auswertung (25) einer den Arbeitsbereich bestimmenden Polygonkette (5, 33) aus der Punktmenge (30) aufweist.A robot system (15) for inputting a work area (4) in a surveillance area (14), the robot system (15) having as an input unit a laser pointer (2) for inputting a plurality of laser spots (3) for marking the work area (4) by a user (1), wherein the robot system (15) has a first camera (6) for taking a first image of the surveillance area (14) from a first viewing angle, wherein the robot system (15) comprises a mobile robot unit (9) with a second camera (15). 10) for taking a second image of the surveillance area (14) from a second viewing angle, wherein the exact positions of the two cameras (6, 10) in space are known to the robot system (15), the two images the same laser points (3) from Receiving laser pointer (2) and wherein the robot system (15) comprises a first image analysis unit (7) for detecting laser spots (3) in the first image and in the second image or a first image analysis unit (7) for Er identification of laser spots in the first image and a second image analysis unit (11) for detecting laser spots in the second image, characterized in that the robot system (15) has an evaluation unit (13) for determining (24) a set of points (30) in one Having three-dimensional coordinate space by projection of the detected laser points (3) in the coordinate space and evaluation (25) of the work area determining polygon chain (5, 33) from the set of points (30). Verfahren (20) zur Eingabe eines von einem Benutzer (1) mit einem Laserpointer (2) durch mehrere Laserpunkte (3) markierten Arbeitsbereichs (4) für einen mobilen Roboter (9) in einem Überwachungsbereich (14), wobei fortlaufend ein erstes Bild aus einer dem Roboter (9) bekannten ersten Ansicht und ein zweites Bild aus einer dem Roboter (9) bekannten zweiten Ansicht erfasst wird (21), wobei die gleichen Laserpunkte (3) in dem ersten Bild und dem zweiten Bild erkannt werden (22), wobei aus den Laserpunkten (3) durch eine Projektion in einen dreidimensionalen Koordinatenraum eine Punktmenge (30) in dem dreidimensionalen Koordinatenraum ermittelt wird (23), dadurch gekennzeichnet, dass aus der Punktmenge (30) eine Polygonkette (5, 33) zur Bestimmung des Arbeitsbereiches (4) ausgewertet wird (25).Method (20) for inputting a working area (4) marked by a user (1) with a laser pointer (2) by a plurality of laser points (3) for a mobile robot (9) in a surveillance area (14), wherein a first image continuously emerges a first view known to the robot (9) and a second view from a second view known to the robot (9) is detected (21), the same laser points (3) being recognized in the first image and the second image (22), wherein from the laser points (3) by a projection into a three-dimensional coordinate space a set of points (30) in the three-dimensional coordinate space is determined (23), characterized in that from the point set (30) a polygon chain (5, 33) for determining the working area (4) is evaluated (25). Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der Überwachungsbereich (14) mit Belegungswahrscheinlichkeiten versehen wird.Method according to Claim 2 , characterized in that the monitoring area (14) is provided with occupancy probabilities. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass eine Auswertung der Belegungswahrscheinlichkeiten in eine Verbotszone oder eine Erlaubniszone den Arbeitsbereich (4) ergeben.Method according to Claim 3 , characterized in that an evaluation of the occupancy probabilities in a prohibition zone or a permission zone the work area (4). Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass zur Bestimmung des Arbeitsbereichs (4) ein Kontrollpunkt aus den Laserpunkten (3) ermittelt wird, wobei der Kontrollpunkt eine Änderung einer Belegungswahrscheinlichkeit des Arbeitsbereichs (4) herbeiführt.Method according to Claim 4 , characterized in that for determining the working area (4) a check point from the laser points (3) is determined, wherein the control point causes a change in an occupancy probability of the work area (4). Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass bei der Projektion in den dreidimensionalen Koordinatenraum ein Ebenenmodell verwendet wird.Method according to Claim 2 , characterized in that a plane model is used in the projection into the three-dimensional coordinate space. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das erste Bild oder das zweite Bild Tiefeninformationen enthält.Method according to Claim 2 , characterized in that the first image or the second image contains depth information. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass bei der Ermittlung der Polygonkette (5, 33) eine Gruppierung von Punkten aus der Punktmenge (30) erfolgt.Method according to Claim 2 , characterized in that in the determination of the polygon chain (5, 33) takes place a grouping of points from the set of points (30). Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass bei der Ermittlung der Polygonkette (5, 33) eine Ausdünnung von Punkten aus der Punktmenge (30) erfolgt. Method according to Claim 2 , characterized in that in the determination of the polygon chain (5, 33) a thinning of points from the point set (30). Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Polygonkette (5, 33) aus einer Untermenge der Punktmenge (30) ermittelt wird.Method according to Claim 2 , characterized in that the polygon chain (5, 33) is determined from a subset of the point set (30).
DE102018125266.8A 2018-10-12 2018-10-12 Method and robot system for entering a workspace Active DE102018125266B3 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102018125266.8A DE102018125266B3 (en) 2018-10-12 2018-10-12 Method and robot system for entering a workspace
CN201980066721.3A CN112789570A (en) 2018-10-12 2019-10-11 Method and robot system for inputting work area
PCT/EP2019/077635 WO2020074722A1 (en) 2018-10-12 2019-10-11 Method and robot system for inputting a work area

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018125266.8A DE102018125266B3 (en) 2018-10-12 2018-10-12 Method and robot system for entering a workspace

Publications (1)

Publication Number Publication Date
DE102018125266B3 true DE102018125266B3 (en) 2019-11-28

Family

ID=68242675

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018125266.8A Active DE102018125266B3 (en) 2018-10-12 2018-10-12 Method and robot system for entering a workspace

Country Status (3)

Country Link
CN (1) CN112789570A (en)
DE (1) DE102018125266B3 (en)
WO (1) WO2020074722A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019126903B3 (en) * 2019-10-07 2020-09-24 Fachhochschule Bielefeld Method and robot system for entering a work area
WO2023220556A1 (en) * 2022-05-09 2023-11-16 Continental Autonomous Mobility US, LLC User-assisted drive-able area detection
DE102022205884A1 (en) 2022-06-09 2023-12-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein System and method for recording elements of a workpiece using a pointing device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4887223A (en) * 1985-08-30 1989-12-12 Texas Instruments Incorporated Visual navigation system for a mobile robot having capabilities of regenerating of hidden images
DE10215167C1 (en) * 2002-04-05 2003-06-18 Daimler Chrysler Ag Command apparatus for semiautonomous system such as remote-controlled mobile robot detects beams from visible and infrared laser pointer held in operator's hand
US20080063400A1 (en) * 2006-05-12 2008-03-13 Irobot Corporation Method and Device for Controlling a Remote Vehicle
DE102008054863A1 (en) * 2008-12-18 2010-07-01 Ifm Electronic Gmbh System for controlling robot based on light spots for sorting luggage pieces, has camera for detection of light spots, and light source designed such that light spots with less than or equal to half refresh rate of camera appear bright
DE202009012589U1 (en) * 2009-09-16 2011-02-03 Sick Ag Optoelectronic sensor
AT512350B1 (en) * 2011-12-20 2017-06-15 Isiqiri Interface Tech Gmbh COMPUTER PLANT AND CONTROL PROCESS THEREFOR
DE102016224693A1 (en) * 2016-12-12 2018-06-14 Kuka Roboter Gmbh Apparatus and method for coupling a portable handheld with a manipulator

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101251784B (en) * 2008-04-03 2010-06-30 上海交通大学 Laser pen indication and luminescent spot track recognizing method
EP3084538B1 (en) * 2013-12-19 2017-11-01 Aktiebolaget Electrolux Robotic cleaning device with perimeter recording function
CN204790564U (en) * 2015-06-23 2015-11-18 现代富博（天津）智能装备科技有限公司 Delimitation device of trajectory of independently walking
CN105955255B (en) * 2016-04-26 2020-05-26 联想(北京)有限公司 Control method, device, controller and control system
DE102017203055A1 (en) * 2017-02-24 2018-08-30 Robert Bosch Gmbh Method for detecting at least one working area of an autonomous implement
DE102017104428A1 (en) * 2017-03-02 2018-09-06 RobArt GmbH Method for controlling an autonomous, mobile robot

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4887223A (en) * 1985-08-30 1989-12-12 Texas Instruments Incorporated Visual navigation system for a mobile robot having capabilities of regenerating of hidden images
DE10215167C1 (en) * 2002-04-05 2003-06-18 Daimler Chrysler Ag Command apparatus for semiautonomous system such as remote-controlled mobile robot detects beams from visible and infrared laser pointer held in operator's hand
US20080063400A1 (en) * 2006-05-12 2008-03-13 Irobot Corporation Method and Device for Controlling a Remote Vehicle
DE102008054863A1 (en) * 2008-12-18 2010-07-01 Ifm Electronic Gmbh System for controlling robot based on light spots for sorting luggage pieces, has camera for detection of light spots, and light source designed such that light spots with less than or equal to half refresh rate of camera appear bright
DE202009012589U1 (en) * 2009-09-16 2011-02-03 Sick Ag Optoelectronic sensor
AT512350B1 (en) * 2011-12-20 2017-06-15 Isiqiri Interface Tech Gmbh COMPUTER PLANT AND CONTROL PROCESS THEREFOR
DE102016224693A1 (en) * 2016-12-12 2018-06-14 Kuka Roboter Gmbh Apparatus and method for coupling a portable handheld with a manipulator

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Boris A Trouvain, Frank E. Schneider, Dennis Wildermuth; Integrating a multimodal human-robot interaction method into a multi-robot control station; IEEE International Workshop on Robot and Human Interacitve Communication; 2001, Seiten 468 - 472; ISBN 0-7803-7222-0/01 *
PAROMTCHIK, I. E. ; ASAMA, H.: Optical guidance system for multiple mobile robots. In: Proceedings 2001 ICRA. IEEE International Conference on Robotics and Automation, Bd. 3, 2001, S. 2935-2940. - ISSN 1050-4729 (p). DOI: 10.1109/ROBOT.2001.933067. URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=933067 [abgerufen am 2019-01-04]. *
SPRUTE, Dennis ; TÖNNIES, Klaus ; KÖNIG, Matthias; Cornell University: This far, no further: Introducing virtual borders to mobile robots using a laser pointer. 21-08-2017. arXiv:1708.06274. S. 1-8. URL: https://arxiv.org/pdf/1708.06274 [abgerufen am 2019-01-04]. *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019126903B3 (en) * 2019-10-07 2020-09-24 Fachhochschule Bielefeld Method and robot system for entering a work area
WO2023220556A1 (en) * 2022-05-09 2023-11-16 Continental Autonomous Mobility US, LLC User-assisted drive-able area detection
DE102022205884A1 (en) 2022-06-09 2023-12-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein System and method for recording elements of a workpiece using a pointing device
DE102022205884B4 (en) 2022-06-09 2024-01-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein System and method for recording elements of a workpiece using a pointing device

Also Published As

Publication number Publication date
WO2020074722A1 (en) 2020-04-16
CN112789570A (en) 2021-05-11

Similar Documents

Publication Publication Date Title
DE102018125266B3 (en) Method and robot system for entering a workspace
DE102017120614B4 (en) Robot system with a programming pendant that communicates with a robot controller
DE102017128543B4 (en) NOISE ZONE ADJUSTMENT DEVICE FOR A MOBILE ROBOT
DE112017008358B3 (en) Vision-based robot control system
DE102015015503A1 (en) A robotic system having an augmented reality compatible display
DE10164278A1 (en) Cleaning robot, cleaning robot system and method for controlling it
DE102019122760A1 (en) SELF-DRIVING MOBILE ROBOTS USING HUMAN-ROBOT INTERACTIONS
EP3680648A1 (en) Port machinery inspection device and inspection method
DE102017118383A1 (en) Method for operating a self-propelled cleaning device
DE102017202782A1 (en) security scanners
DE102018116065A1 (en) Method for operating a self-propelled service device
DE102021103726B4 (en) Measurement parameter optimization method and device and computer control program
DE102019212452A1 (en) Interference avoidance device and robot system
DE102017108194A1 (en) Method for operating a self-propelled vehicle
DE10215885A1 (en) Automatic process control
DE102019001036A1 (en) Object monitoring device using a sensor
DE102021114424A1 (en) Driver assistance device, driver assistance method and driver assistance program
DE102016008553A1 (en) System comprising a motor vehicle and an unmanned aerial vehicle and method for detecting conditions in an environment of a motor vehicle
DE102017001707A1 (en) Notification of an estimated movement path of a vehicle
DE102018008282A1 (en) Device and method for detecting flying objects
DE102017100885B4 (en) METHOD AND DEVICE FOR GENERATING AND PROJECTING A 3D THERMOGRAM COMPLETE WITH DATA ON THE RECORDING CONDITIONS
EP3428759B1 (en) Method for operating an automatically moving service device
EP4043914A1 (en) Six-dof measuring aid
DE102019126903B3 (en) Method and robot system for entering a work area
DE102018217834A1 (en) Method and system for operating a detection and display device

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R081 Change of applicant/patentee

Owner name: ROBERT BOSCH GMBH, DE

Free format text: FORMER OWNER: FACHHOCHSCHULE BIELEFELD, 33619 BIELEFELD, DE

R082 Change of representative
R020 Patent grant now final