EP3555722A1 - Mobiler manipulator und verfahren zum steuern eines mobilen manipulators - Google Patents

Mobiler manipulator und verfahren zum steuern eines mobilen manipulators

Info

Publication number
EP3555722A1
EP3555722A1 EP17825420.7A EP17825420A EP3555722A1 EP 3555722 A1 EP3555722 A1 EP 3555722A1 EP 17825420 A EP17825420 A EP 17825420A EP 3555722 A1 EP3555722 A1 EP 3555722A1
Authority
EP
European Patent Office
Prior art keywords
image
camera
manipulator
mobile
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP17825420.7A
Other languages
English (en)
French (fr)
Inventor
Kirill SAFRONOV
Sarah GILLET
Uwe Zimmermann
Javier CIVERA
Jose LAMARCA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KUKA Deutschland GmbH
Original Assignee
KUKA Deutschland GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KUKA Deutschland GmbH filed Critical KUKA Deutschland GmbH
Publication of EP3555722A1 publication Critical patent/EP3555722A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Definitions

  • the present invention relates to a mobile manipulator, in particular a manipulator operating on a mobile, i. movable, platform is mounted, as well as a method for controlling such a mobile manipulator.
  • a manipulator is a freely programmable, program-controlled one
  • a mobile manipulator i. a manipulator that can change not only its orientation but also its location can be designed as a manipulator on a mobile platform.
  • a commercial manipulator can be placed on a mobile platform to change its overall location.
  • the movement of the mobile platform may be via wheels, rails, air bags or similar movement techniques.
  • Mobile manipulators are used, for example, as driverless transport systems (FTS) in department stores for transporting objects and goods. The manipulator usually moves independently in the department store, attacks the
  • Such areas can be lethal areas, such as a burning house or the surrounding area during a bomb disposal, or they can be areas that are very difficult or impossible to reach for humans, such as the surfaces of distant planets or the deep sea.
  • the environment is usually unknown in such areas, so that the movement of the mobile manipulator can not be predetermined, ie preprogrammed. In these cases, the mobile manipulator must independently determine its position and direction so that it can perform the tasks assigned to it.
  • SLAM Simultaneous Localization and Mapping
  • Manipulator which has a mobile platform, a manipulator, which is arranged on the mobile platform, at least one camera, which on the mobile Manipulator is attached and provides a first image of an area of an environment at a first time, a controller that is configured to check whether the first image has sufficient features of the environment to perform an active SLAM method based on the first image wherein the controller adjusts the viewing range of the camera if the first image does not have sufficient features to provide, by the first camera, a second image having sufficient features to provide an active SLAM at a second time subsequent to the first time Method, and the controller is adapted to perform an active SLAM method using the first or second picture.
  • the at least one camera is preferably pivotally mounted on the mobile manipulator, it can be independent of the direction of movement of the mobile
  • Be aligned manipulator Thus, areas of the environment that are relevant to image processing can be viewed or searched for without the entire mobile manipulator having to be moved or rotated. This increases the flexibility of the mobile manipulator.
  • the controller of the mobile manipulator is arranged to autonomously control the at least one camera in terms of its field of view in order to always ensure that a suitable image is available to the controller for carrying out the SLAM method.
  • the viewing area of the at least one camera has to be adjusted in order to obtain an image that is suitable for carrying out the SLAM method. If the captured first image contains sufficient features for a SLAM method, that image is used. If there are not enough features in the first picture so that the SLAM method does not provide reliable results, then the viewing range of the camera is adjusted.
  • the SLAM process is then performed on the second image that contains sufficient features for the SLAM process.
  • the number of extracted features or their relevance can serve as a decision criterion. Fixed or dynamic thresholds can be set for the decision. Relevant features may be corners, edges, lines, circles, textures, colors, or other features used in image recognition feature recognition.
  • Manipulators determine the position of the mobile manipulator and create a 3D map of the environment. This is particularly advantageous if positioning by means of a satellite-based positioning system such as GPS, GLONASS or Galileo is not possible. In buildings, deep houses or mountain canyons, the deep sea or on distant planets, the time signals of the positioning system satellites often can not or insufficiently received, whereby a satellite-based positioning system such as GPS, GLONASS or Galileo is not possible. In buildings, deep houses or mountain canyons, the deep sea or on distant planets, the time signals of the positioning system satellites often can not or insufficiently received, whereby a satellite-based positioning system such as GPS, GLONASS or Galileo is not possible. In buildings, deep houses or mountain canyons, the deep sea or on distant planets, the time signals of the positioning system satellites often can not or insufficiently received, whereby a satellite-based positioning system such as GPS, GLONASS or Galileo is not possible. In buildings, deep houses or mountain canyons, the deep
  • the SLAM method performs positioning based on image data of the environment, which is also executable in areas without the above-mentioned timing signals. Position determination is thus possible by the SLAM method.
  • creating a map is very helpful for another future "tour" of the area, and the elevation information contained in the created 3D map also provides additional useful information and a realistic view of the area.
  • the viewing area of the camera for capturing the second image is aligned with the area of the environment exhibited by a zeroth image which has been provided at a zeroth time which is prior to the first time.
  • the zeroth image is known to have sufficient features for a SLAM process.
  • a "look back" of the camera to this area of the environment ensures that sufficient features for a SLAM method are again present in the following second recording and the SLAM method thus provides reliable results.
  • the controller may execute at least one main activity of the mobile platform and / or the manipulator as well as the active SLAM method simultaneously.
  • the simultaneous execution of the above activities allows a Main activity that requires a determination of position, can be carried out without interruptions, as the position is determined simultaneously using the SLAM method.
  • the mobile manipulator can perform its tasks continuously and effectively.
  • the main activity comprises moving the mobile platform, the manipulator, or both.
  • a mobile manipulator such as underwater or in space
  • Simultaneous execution here does not necessarily mean absolutely mathematically at the same time, but allows a so-called soft real time, i. an execution in certain minimum periods of time, but perceived by a viewer as simultaneously.
  • a control priority of the main activity is higher than the
  • Main activity continues to be performed during the adjustment of the gaze area of the first camera and / or the execution of the active SLAM process. Higher prioritization of the main activity ensures that this activity is given priority, as it is usually more important than the execution of the SLAM procedure.
  • the main activity is given priority.
  • at least one first camera is pivotally attached to the manipulator and at least one second camera is pivotally attached to the mobile platform.
  • two individual cameras two different viewing areas can be recorded and analyzed simultaneously. This increases the flexibility of the system and allows for quick positioning and mapping, given the likelihood is increased, the at least one camera provides an image with sufficient features for the SLAM method.
  • the cameras can be motorized both in a plane, as well as multi-dimensionally moved and adjusted, ie panned, tilted or zoomed.
  • a camera can look for new images with distinctive features, e.g. in the direction of movement of the mobile manipulator, while the other camera remains aligned with an area of the many-feature environment to provide the SLAM method with meaningful images even when the mobile manipulator moves. If necessary, you can switch between the cameras.
  • the viewing range of the first camera can be adjusted by using the possibilities of movement of the manipulator in addition to the movement space of the camera itself to bring the camera in a specific position. If, for example, the arm of the manipulator is moved upwards, a significantly increased camera position in relation to the mobile platform allows, for example, a wider viewing area of this camera in comparison to a camera which in
  • the first and the second camera takes pictures in the visible spectrum as a 2D, ToF (Time of Flight) or stereo camera. Cameras in the visible
  • Spectral range have the advantage that they are very inexpensive, small and well available or exchangeable.
  • a review of the recorded image for a human observer is easily possible. In a training or a subsequent analysis so a viewer could meaningfully interfere with the control, without the complex image processing, i. Visualization techniques are necessary.
  • the second camera provides a third image that has sufficient features for the SLAM process, and then the controller adjusts the gaze range of the first camera such that at a fourth time, that after the third time a fourth image is provided from the first camera showing the area surrounding the third image.
  • a camera can be set up by the use of two cameras, images of new areas of the environment, preferably in
  • Movement direction of the mobile manipulator to pick up with sufficient features whereupon then the controller aligns the camera, which was previously focused on an area of the environment with sufficient features, on the new area. It is thus achieved that images suitable for the SLAM process are captured from regions of the environment as near as possible and in a clearly visible manner.
  • the mobile manipulator may "shimmy" from one image with sufficient features to a next image with sufficient features, preferably in the direction of movement of the mobile manipulator, allowing the camera to switch between the cameras, providing uninterrupted reliable positioning and mapping throughout the camera Locomotion of the mobile
  • Manipulator can be achieved this way.
  • a method for controlling a mobile manipulator wherein the mobile manipulator comprises a mobile platform, a manipulator mounted on this mobile platform, and at least one camera, and wherein the method comprises the steps of: a. Capturing by the camera a first image of a region of an environment at a first time; and b. Extract features from the first image; c. Determining whether the features extracted from the first image are sufficient to perform an active SLAM method based on the first image; d.
  • Adjusting the field of view of the camera by controlling the mobile manipulator to provide, at a second time, subsequent to the first time, a second image having sufficient features of the environment to perform the active SLAM method based on the second image if the extracted features in the first image are insufficient.
  • the adjustment of the viewing area can be done by motor control by driving the at least one camera by the controller.
  • the at least one camera can be rotated, tilted or tilted to change their viewing area.
  • the viewing area can also be changed by mechanical or digital zooming.
  • the viewing area can be adjusted by, for example, "looking back" to areas of the environment known to have sufficient features there, and by orienting the camera's viewing area in a direction in which most of the current image is oriented It is also possible to initiate a free scan of the camera to areas of the environment that show sufficient features
  • Movement of the camera in the free search can be predetermined after one
  • the method further comprises the following step: adjusting the
  • the second and zeroth image will not be coincident, but will largely show the same area of the environment. However, since most of the relevant features should be located in a wide area of the center of the image, the two images are approximately in number and relevance of the extracted
  • the method further comprises the step of performing an active SLAM method to determine the position of the mobile manipulator and to create a 3D map of the environment.
  • the positioning of the SLAM method by means of optical sensors has the advantage of being satellite-based
  • Positioning can be dispensed with.
  • the method further comprises simultaneously executing a
  • the main activity comprises at least moving the mobile platform, the manipulator, or both.
  • the mobile manipulator comprises at least a first camera and at least one second camera, and the method further comprises the following steps: Providing, by the second camera, a third image at a third time, the third image having sufficient features to perform an active SLAM process, and
  • Fig. 1 is a schematic representation of an embodiment of a
  • Figure 2 is a schematic image taken by a camera on the mobile manipulator and showing an object with many features from the environment of the mobile manipulator;
  • 3a-3c are each a schematic diagram of Fig. 2 to different
  • FIG. 1 shows an embodiment of a mobile manipulator 1, which has a mobile platform 10 and a manipulator 20 arranged thereon.
  • Manipulator 20 is freely pivotable along its axes in all three spatial directions, taking into account predetermined limit parameters.
  • An end effector and / or a camera 30 can be attached to the end effector receptacle of the manipulator 20.
  • the end effector may be, for example, a gripping tool for gripping objects.
  • a second camera 31 may be attached to the mobile platform.
  • Both the first 30 and the second camera 31 can be adjustable, in particular pivotable, in two or three dimensions and can be designed, for example, as a tiltable and tiltable and zoom-capable camera.
  • An adjustment of the viewing range of the camera 30, 31 can be done by moving, rotating, panning and / or tilting the camera or by zooming.
  • the movement of the camera 30, 31 is calculated by the controller 12 at runtime of the control process of the main activity of the mobile manipulator.
  • the SLAM method may be performed based on images of the first 30 or the second camera 31 or both.
  • the wheel-driven mobile manipulator 1 in this embodiment can move freely, for example in a direction V.
  • the movement forms a main activity of the mobile manipulator 1, especially during exploration, and this is done primarily, if the computer resources permit, preferably simultaneously, to the SLAM method.
  • FIG. 2 shows a schematic image taken by a camera 30, 31 and showing a region of the environment around the mobile manipulator 1.
  • the object 100 which is clearly visible in the image and fills large areas of the image, has many relevant features 40.
  • Relevant features 40 may be edges, lines, circles, ORB features, or other features used for feature extraction in image processing. For visualization purposes, extracted features and feature regions 40 have been exemplified by the white ones
  • a SLAM method is preferably a DPPTAM (Dense Piecewise Planar Tracking and Mapping) or an ORB-SLAM method.
  • FIGS. 3a to 3c show images 60, 61, 62 of a camera 30, 31, for example the first camera 30, which were recorded at different times to, ti, t2 in different viewing directions.
  • Fig. 3a represents the zeroth image 60 taken at a zeroth time to.
  • the object 100 and the extracted features 40 are clearly and completely recognizable.
  • the extracted features 40 are for the SLAM method for positioning and Mapping meaningful.
  • the position of the mobile manipulator 1 can be determined and a mapping of the surroundings can take place.
  • the mobile manipulator 1 moves by way of example in a direction V.
  • the viewing direction of the camera 30 is initially maintained unchanged.
  • the first image 61 shown in FIG. 3b is recorded.
  • the object 100 is now only partly visible at the edge of the first image 61. Therefore, only a few relevant features 40 can be extracted from the first image 61.
  • the majority of the first image 61 now forms a region 50 without relevant features 40.
  • Such an area 50 can be, for example, a monochrome, textureless wall or surface.
  • the extracted features 40 are now no longer sufficient for a SLAM method. Reliable positioning is therefore not possible on the basis of the first image 61 from FIG. 3b.
  • the controller 12 may change the viewing area of the camera 30 or, for example, switch to another, second camera 31 to review an image taken by this second camera 31 and, if it has sufficient features, that image for the SIAM process to use.
  • the algorithms that the controller 12 uses to check the images of the cameras 30, 31 can estimate, based on certain parameters, whether a
  • the parameters may include, for example, the number of features 40 detected in an image, the spatial distribution of features 40, the change of features 40 relative to a temporally earlier image, the distance of features 40 from each other, etc.
  • the viewing range of the corresponding camera 30, 31 can then also be directed to the area of the environment that the zeroth image 60 already showed.
  • the second image 62 recorded in this way is shown in FIG. 3c. As can be seen, zeroth 60 and second image 62 must and will at least roughly coincide. Nevertheless, a vast number of relevant extracted features 40 in FIG both form 60, 62 match or at least be present.
  • the second image 62 can then be supplied to the SLAM method and the position of the mobile manipulator 1 can be reliably determined.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

Die vorliegende Erfindung betrifft einen mobilen Manipulator (1), aufweisend eine mobile Plattform (10), einen Manipulator (20), der auf der mobilen Plattform (10) angeordnet ist, zumindest eine Kamera (30, 31), die an dem mobilen Manipulator (1) befestigt ist und die zu einem ersten Zeitpunkt t1 ein erstes Bild (61) eines Bereichs einer Umgebung bereitstellt, eine Steuerung (12), die eingerichtet ist zu überprüfen, ob das erste Bild (61) ausreichend Merkmale (40) der Umgebung aufweist, um ein aktives SLAM-Verfahren basierend auf dem ersten Bild (61) durchzuführen, wobei die Steuerung (12) den Blickbereich der Kamera (30, 31) anpasst, wenn das erste Bild (61) nicht ausreichend Merkmale (40) aufweist, um zu einem zweiten Zeitpunkt t2, der nach dem ersten Zeitpunkt t1 liegt, mittels der Kamera (30, 31) ein zweites Bild (62) bereitzustellen, das ausreichend Merkmale (40) aufweist, um ein aktives SLAM-Verfahren durchzuführen, und die Steuerung (12) eingerichtet ist, ein aktives SLAM-Verfahren mittels des ersten (6) oder zweiten Bildes (62) durchzuführen.

Description

Mobiler Manipulator und Verfahren zum Steuern eines mobilen
Manipulators l. Technisches Gebiet
Die vorliegende Erfindung betrifft einen mobilen Manipulator, insbesondere einen Manipulator, der auf einer mobilen, d.h. beweglichen, Plattform montiert ist, sowie ein Verfahren zum Steuern eines solchen mobilen Manipulators.
2. Stand der Technik
Ein Manipulator ist ein frei programmierbares, programmgesteuertes
Handhabungsgerät. Ein mobiler Manipulator, d.h. ein Manipulator, der nicht nur seine Ausrichtung, sondern auch seinen Standort verändern kann, kann als ein Manipulator auf einer mobilen Plattform ausgebildet sein. So kann ein handelsüblicher Manipulator auf einer mobilen Plattform angeordnet werden, um insgesamt seinen Standort zu wechseln. Die Bewegung der mobilen Plattform kann über Räder, Schienen, Luftkissen oder ähnliche Bewegungstechniken erfolgen. Mobile Manipulatoren werden zum Beispiel als Führerlose Transport Systeme (FTS) in Warenhäusern zum Transport von Objekten und Gütern verwendet. Der Manipulator bewegt sich dabei in der Regel selbstständig in dem Warenhaus, greift die
entsprechenden Waren und bringt diese Waren an einen anderen Ort, z.B. eine
Warenausgabe. Durch die bekannte Umgebung kann der mobile Manipulator weitgehend vorprogrammiert sein, um ein zuverlässiges und sicheres Arbeiten zu gewährleisten.
Andere Einsatzmöglichkeiten für mobile Manipulatoren sind zum Beispiel die
Exploration oder das Arbeiten in einem unbekannten oder schwer zugänglichen Gebiet. Solche Gebiete können lebensgefährliche Gebiete sein, wie etwa ein brennendes Haus oder die Umgebung bei einer Bombenentschärfung, oder es können auch Gebiete sein, die für Menschen nur sehr schwer bis unmöglich zu erreichen sind, wie die Oberflächen von fernen Planeten oder der Tiefsee. Die Umgebung ist in solchen Gebieten meist unbekannt, so dass die Bewegung des mobilen Manipulators nicht vorbestimmt, d.h. vorprogrammiert, werden kann. In diesen Fällen, muss der mobile Manipulator seine Position und Bewegungsrichtung selbstständig bestimmen, damit er die ihm aufgetragenen Aufgaben erfüllen kann.
Zur Positionsbestimmung und Kartierung der Umgebung mittels optischer Sensoren können sogenannte SLAM-(Simultaneous Localization and Mapping)-Verfahren verwendet werden. Diese Verfahren ermitteln aus den aufgenommenen Bilddaten der Umgebung markante Merkmale, anhand derer sie die Position eines sich durch die Umgebung bewegenden Objekts bestimmen und eine Kartierung durchführen können. Fehlen diese Merkmale in einem Bild oder sind sie nur unzureichend vorhanden, so ist eine Positionierung und Kartierung nur sehr ungenau bzw. gar nicht möglich.
Bei diesen SLAM -Verfahren werden große Datenmengen, in der Regel in Echtzeit, verarbeitet. Dies stellt enorme Anforderungen an die Rechenleistung. Die an-Bord Rechenleistung von sich bewegenden Objekten ist aber meist nur sehr begrenzt und hauptsächlich für die Bewegung des Objekts ausgelegt. Ein Bereitstellen von zusätzlichen Computereinheiten auf dem sich bewegenden Objektes würde aber zu einem höheren Stromverbrauch, höherer Wärmeentwicklung, weiterem benötigten Platz usw. führen, was vermieden werden soll.
Es ist daher die Aufgabe der vorliegenden Erfindung einen mobilen Manipulator bereitzustellen, der seine Position zuverlässig bestimmt und eine Kartierung der Umgebung durchführt. Weiterhin soll ein entsprechendes Verfahren zur Steuerung eines mobilen Manipulators bereitgestellt werden.
3. Zusammenfassung der Erfindung
Die oben genannten Probleme werden erfindungsgemäß durch einen mobilen
Manipulator gemäß Anspruch 1 und ein Verfahren zum Steuern eines mobilen
Manipulators gemäß Anspruch 10 gelöst.
Insbesondere werden die genannten Probleme gelöst, durch einen mobilen
Manipulator, welcher eine mobile Plattform aufweist, einen Manipulator, der auf der mobilen Plattform angeordnet ist, zumindest eine Kamera, die an dem mobilen Manipulator befestigt ist und die zu einem ersten Zeitpunkt ein erstes Bild eines Bereichs einer Umgebung bereitstellt, eine Steuerung, die eingerichtet ist, zu überprüfen, ob das erste Bild ausreichend Merkmale der Umgebung aufweist, um ein aktives SLAM -Verfahren basierend auf dem ersten Bild durchzuführen, wobei die Steuerung den Blickbereich der Kamera anpasst, wenn das erste Bild nicht ausreichend Merkmale aufweist, um zu einem zweiten Zeitpunkt, der nach dem ersten Zeitpunkt liegt, mittels der ersten Kamera ein zweites Bild bereitzustellen, das ausreichend Merkmale aufweist, um ein aktives SLAM -Verfahren durchzuführen, und die Steuerung eingerichtet ist, ein aktives SLAM -Verfahren mittels des ersten oder zweiten Bildes durchzuführen.
Da die zumindest eine Kamera bevorzugt schwenkbar am mobilen Manipulator angebracht ist, kann sie unabhängig von der Bewegungsrichtung des mobilen
Manipulators ausgerichtet werden. So können für die Bildverarbeitung relevante Bereiche der Umgebung betrachtet werden oder es kann nach ihnen gesucht werden, ohne dass der gesamte mobile Manipulator bewegt bzw. gedreht werden muss. Dies erhöht die Flexibilität des mobilen Manipulators.
Bei einem aktiven SLAM -Verfahren ist die Steuerung des mobilen Manipulators eingerichtet, eigenständig die mindestens eine Kamera hinsichtlich ihres Blickbereichs zu steuern, um zu bewirken, dass immer ein geeignetes Bild zur Durchführung des SLAM -Verfahrens der Steuerung zur Verfügung steht. So kann das SLAM -Verfahren stabil und zuverlässig ablaufen. Weiterhin wird durch die Überprüfung der aufgenommenen Bilder in der Steuerung überprüft, ob der Blickbereich der mindestens einen Kamera angepasst werden muss, um ein Bild zu erhalten, das zur Durchführung des SLAM -Verfahrens geeignet ist. Wenn das aufgenommene erste Bild ausreichend Merkmale für ein SLAM -Verfahren enthält, wird dieses Bild verwendet. Sollten sich in dem ersten Bild nicht ausreichend Merkmale befinden, so dass das SLAM -Verfahren keine zuverlässigen Ergebnisse liefert, so wird der Blickbereich der Kamera angepasst. Das SLAM -Verfahren wird dann auf dem zweiten Bild durchgeführt, dass ausreichend Merkmale für das SLAM- Verfahren enthält. Bei der Überprüfung kann die Anzahl an extrahierten Merkmalen oder deren Relevanz als Entscheidungskriterium dienen. Es können für die Entscheidung feste oder dynamische Schwellenwerte gesetzt werden. Relevante Merkmale können Ecken, Kanten, Linien, Kreise, Texturen, Farben oder andere, in der Merkmalserkennung der Bildverarbeitung genutzte Merkmale sein.
Mit Hilfe eines aktiven SLAM -Verfahrens kann die Steuerung des mobilen
Manipulators die Position des mobilen Manipulators ermitteln und eine 3D-Karte der Umgebung erstellen. Dies ist insbesondere vorteilhaft, wenn eine Positionierung mittels eines satellitengestützten Positionierungssystems wie GPS, GLONASS oder Galileo nicht möglich ist. In Gebäuden, tiefen Häuser- oder Gebirgsschluchten, der Tiefsee oder auf entfernten Planeten können die Zeitsignale der Positionierungssystem- Satelliten oft nicht oder nur unzureichend empfangen werden, wodurch eine
Positionsbestimmung dann nicht möglich ist.
Das SLAM -Verfahren führt eine Positionierung anhand von Bilddaten der Umgebung durch, was auch in Gebieten ohne die oben genannten Zeitsignale ausführbar ist. Eine Positionsbestimmung ist somit durch das SLAM -Verfahren möglich. Daneben ist das Erstellen einer Karte sehr hilfreich für eine weitere, zukünftige„Begehung" des Gebiets. Die in der erstellten 3D-Karte enthaltenen Höheninformationen geben zudem weitere nützliche Informationen und einen realitätsnahen Eindruck über das Gebiet.
Bevorzugt wird der Blickbereich der Kamera zur Aufnahme des zweiten Bildes auf den Bereich der Umgebung ausgerichtet, den ein nulltes Bild zeigt, das zu einem nullten Zeitpunkt, der vor dem ersten Zeitpunkt liegt, bereitgestellt wurde. Beim nullten Bild ist bekannt, dass es ausreichend Merkmale für ein SLAM -Verfahren aufweist. Somit stellt ein„Zurückblicken" der Kamera auf diesen Bereich der Umgebung sicher, dass in der folgenden zweiten Aufnahme wieder ausreichend Merkmale für ein SLAM- Verfahren vorhanden sind und das SLAM -Verfahren somit zuverlässige Ergebnisse liefert.
Bevorzugt kann die Steuerung zumindest eine Haupttätigkeit der mobilen Plattform und/oder des Manipulators sowie das aktive SLAM -Verfahren gleichzeitig ausführen. Das gleichzeitige Ausführen der genannten Tätigkeiten ermöglicht es, dass eine Haupttätigkeit, die eine Bestimmung der Position erfordert, ohne Unterbrechungen ausgeführt werden kann, da die Position gleichzeitig mit Hilfe des SLAM -Verfahrens bestimmt wird. Somit kann der mobile Manipulator ununterbrochen und effektiv seine Aufgaben ausführen.
Bevorzugt umfasst die Haupttätigkeit das Bewegen der mobilen Plattform, des Manipulators oder beider. In bestimmten Anwendungsbereichen eines mobilen Manipulators, wie zum Beispiel unter Wasser oder im Weltall, muss permanent eine Steuerung der Bewegung der mobilen Plattform erfolgen, um zum Beispiel einer Drift entgegen zu wirken. Daher ist es vorteilhaft, wenn die Bewegungssteuerung und die Positionsbestimmung gleichzeitig ausgeführt werden.
Ähnlich verhält es sich bei Aufgaben, die eine Bewegung des Manipulators umfassen, und zum richtigen Greifen, Legen, etc., eine aktuelle Positionsbestimmung benötigen.
Gleichzeitiges Ausführen bedeutet hier nicht zwingend absolut mathematisch gleichzeitig, sondern erlaubt eine sogenannte weiche Echtzeit, d.h. eine Ausführung in bestimmten minimalen Zeitspannen, die von einem Betrachter aber als gleichzeitig wahrgenommen werden.
Bevorzugt ist eine Steuerungspriorität der Haupttätigkeit höher, als die
Steuerungspriorität des aktiven SLAM -Verfahrens, und die Aufgaben der
Haupttätigkeit werden während der Anpassung des Blickbereichs der ersten Kamera und/oder der Ausführung des aktiven SLAM -Verfahrens weiter ausgeführt. Die Höher- Priorisierung der Haupttätigkeit stellt sicher, dass diese Tätigkeit vorrangig ausgeführt wird, da sie in der Regel wichtiger ist, als die Ausführung des SLAM -Verfahrens.
Besonders im Fall, dass Computerressourcen knapp sind, wird die Haupttätigkeit vorrangig ausgeführt. Bevorzugt ist zumindest eine erste Kamera schwenkbar an dem Manipulator befestigt und ist zumindest eine zweite Kamera schwenkbar an der mobilen Plattform befestigt. Durch zwei individuelle Kameras können gleichzeitig zwei verschiedene Blickbereiche aufgenommen und analysiert werden. Das erhöht die Flexibilität des Systems und ermöglicht eine schnelle Positionierung und Kartierung, da die Wahrscheinlichkeit erhöht wird, das zumindest eine Kamera ein Bild mit ausreichend Merkmale für das SLAM -Verfahren bereitstellt. Die Kameras können motorisch sowohl in einer Ebene, als auch mehrdimensional bewegt und eingestellt, d.h. geschwenkt, geneigt oder gezoomt, werden.
Dabei kann eine Kamera nach neuen Bildern mit markanten Merkmalen, z.B. in Bewegungsrichtung des mobilen Manipulators, suchen, während die andere Kamera auf einen Bereich der Umgebung mit vielen Merkmalen ausgerichtet bleibt, um dem SLAM -Verfahren auch bei einer Bewegung des mobilen Manipulators aussagekräftige Bilder zu liefern. Bei Bedarf kann zwischen den Kameras gewechselt werden.
Daneben kann der Blickbereich der ersten Kamera angepasst werden, indem die Bewegungsmöglichkeiten des Manipulators zusätzlich zum Bewegungsraum der Kamera selbst verwendet werden, um die Kamera in eine bestimmte Position zu bringen. Wird der Arm des Manipulators zum Beispiel nach oben bewegt, so ermöglicht eine deutlich erhöhte Kameraposition gegenüber der mobilen Plattform etwa, einen weiteren Blickbereich dieser Kamera im Vergleich zu einer Kamera, die in
unmittelbarer Höhe der mobilen Plattform angebracht ist. Bevorzugt nimmt die erste und die zweite Kamera Bilder im sichtbaren Spektrum als 2D-, ToF-(Time of Flight) oder Stereokamera auf. Kameras im sichtbaren
Spektralbereich haben den Vorteil, dass sie sehr kostengünstig, klein und gut verfügbar bzw. austauschbar sind. Außerdem ist eine Überprüfung des aufgenommenen Bildes für einen menschlichen Betrachter leicht möglich. Bei einem Training oder einer nachträglichen Analyse könnte so ein Betrachter sinnvoll in die Steuerung eingreifen, ohne das aufwendige Bildaufbereitungen, d.h. Visualisierungstechniken, notwendig sind.
Bevorzugt stellt die zweite Kamera zu einem dritten Zeitpunkt, ein drittes Bild bereit, das für das SLAM -Verfahren ausreichend Merkmale aufweist, und dann wird durch die Steuerung der Blickbereich der ersten Kamera so angepasst, dass zu einem vierten Zeitpunkt, der nach dem dritten Zeitpunkt liegt, ein viertes Bild von der ersten Kamera bereitgestellt wird, welches den Bereich der Umgebung des dritten Bildes zeigt. Wie bereits oben beschrieben, kann durch den Einsatz von zwei Kameras eine Kamera eingerichtet sein, Bilder von neuen Bereichen der Umgebung, bevorzugt in
Bewegungsrichtung des mobilen Manipulators, mit ausreichend Merkmalen aufzunehmen, woraufhin dann die Steuerung die Kamera, die bisher auf einen Bereich der Umgebung mit ausreichend Merkmalen ausgerichtet war, auf den neuen Bereich ausrichtet. Somit wird erreicht, dass für das SLAM-Verfahren geeignete Bilder von Bereichen der Umgebung möglichst relativ nah und gut sichtbar aufgenommen werden. Bei der Exploration kann sich der mobile Manipulator von einem Bild mit ausreichend Merkmalen zu einem nächsten Bild mit ausreichend Merkmalen „hangeln", bevorzugt in Richtung der Bewegung des mobilen Manipulators. Hierbei kann zwischen den Kameras gewechselt werden. Eine ununterbrochene zuverlässige Positionsbestimmung und Kartierung während der Fortbewegung des mobilen
Manipulators kann so erreicht werden.
Insbesondere werden die oben genannten Probleme auch gelöst durch ein Verfahren zum Steuern eines mobilen Manipulators, wobei der mobile Manipulator eine mobile Plattform, einen auf dieser mobilen Plattform montierten Manipulator und zumindest eine Kamera aufweist, und wobei das Verfahren die folgenden Schritte aufweist: a. Aufnehmen eines ersten Bildes eines Bereichs einer Umgebung zu einem ersten Zeitpunkt, durch die Kamera; und b. Extrahieren von Merkmalen aus dem ersten Bild; c. Ermitteln, ob die aus dem ersten Bild extrahierten Merkmale ausreichend sind, um ein aktives SLAM-Verfahren basierend auf dem ersten Bild durchführen zu können; d. Anpassen des Blickbereichs der Kamera, durch eine Steuerung des mobilen Manipulators, um zu einem zweiten Zeitpunkt, der nach dem ersten Zeitpunkt liegt, ein zweites Bild bereitzustellen, das ausreichend Merkmale der Umgebung aufweist, um das aktive SLAM-Verfahren basierend auf dem zweiten Bild durchzuführen, wenn die extrahierten Merkmale in dem ersten Bild nicht ausreichend sind. Indem relevante Merkmale aus einem aufgenommenen Bild extrahiert werden und ermittelt wird, ob die extrahierten Merkmale in ihrer Anzahl und/oder Relevanz und/oder Verteilung auf dem Bild ausreichend sind, um zuverlässige Ergebnisse aus dem SLAM -Verfahren zu erhalten, bevor das SLAM -Verfahren durchgeführt wird, findet eine Vorverarbeitung bzw. Voranalyse statt. Somit kann festgestellt werden, ob der Blickbereich der Kamera verändert werden muss, um aussagekräftige Bilder der Umgebung zu erhalten, oder nicht. Zudem kann die zu verarbeitende Datenmenge signifikant reduziert werden und das Verfahren insgesamt beschleunigt werden, da nicht alle, insbesondere keine ungeeigneten Bilder dem SLAM -Verfahren zugeführt werden.
Die Anpassung des Blickbereichs kann motorisch durch Ansteuern der mindestens einen Kamera durch die Steuerung erfolgen. Die mindestens eine Kamera kann gedreht, geschwenkt oder geneigt werden, um ihren Blickbereich zu verändern.
Weiterhin kann der Blickbereich auch durch mechanisches oder digitales Zoomen verändert werden.
Die Anpassung des Blickbereichs kann erfolgen, indem zum Beispiel auf Bereiche der Umgebung„zurückgeblickt" wird, von denen bekannt ist, dass dort ausreichend Merkmale vorzufinden sind. Weiterhin kann der Blickbereich der Kamera in eine Richtung ausgerichtet werden, in welcher im aktuellen Bild die meisten oder relevantesten Merkmale liegen. Es kann zudem ein freier Suchlauf der Kamera initiiert werden nach Bereichen der Umgebung, die ausreichend Merkmale zeigen. Die
Bewegung der Kamera bei dem freien Suchlauf kann vorbestimmt nach einem
Suchmuster oder zufällig erfolgen. Es kann auch auf mindestens eine weitere Kamera umgeschaltet werden, und das Verfahren ab dem Ermittlungsschritt auf diesem Kamerabild durchgeführt werden. Bevorzugt weist das Verfahren weiterhin den folgenden Schritt auf: Anpassen des
Blickbereichs der Kamera für das zweite Bild so, dass er auf den Bereich der Umgebung zeigt, den ein nulltes Bild zeigt, das zu einem nullten Zeitpunkt, der vor dem ersten Zeitpunkt liegt, bereitgestellt wurde. Damit wird erreicht, dass die Kamera einen Bereich der Umgebung aufnimmt, von dem bekannt ist, dass dort ausreichend Merkmale zu finden sind, um Bilder für zuverlässige Ergebnisse aus dem SLAM -Verfahren zu erhalten. Aufgrund der Bewegung des mobilen Manipulators kann der Blickwinkel des zweiten Bildes auf diesen Bereich der
Umgebung verschieden sein, verglichen mit dem Blickwinkel des nullten Bildes. Daher werden das zweite und das nullte Bild nicht deckungsgleich sein, werden jedoch in großen Teilen den gleichen Bereich der Umgebung zeigen. Da sich die meisten relevanten Merkmale aber in einem weiten Bereich der Bildmitte befinden sollten, werden die beiden Bilder in etwa in der Anzahl und Relevanz der extrahierten
Merkmale übereinstimmen, so dass für das SLAM-Verfahren ein aussagekräftiges Bild bereitgestellt wird.
Bevorzugt weist das Verfahren weiterhin den Schritt des Durchführens eines aktiven SLAM -Verfahrens auf, um die Position des mobilen Manipulators zu ermitteln und um eine 3D-Karte der Umgebung zu erstellen.
Wie bereits oben beschrieben, hat das SLAM-Verfahren durch die Positionierung mittels optischer Sensoren den Vorteil, dass auf satellitengestützte
Positionierungsverfahren verzichtet werden kann. Neben den oben genannten
Vorteilen kann damit auch eine entsprechende Hardware (z.B. ein GPS-Empfänger) am mobilen Manipulator eingespart werden.
Bevorzugt weist das Verfahren weiterhin ein gleichzeitiges Ausführen einer
Haupttätigkeit, der Anpassung des Blickbereichs der Kamera und des aktiven SLAM- Verfahrens durch die Steuerung des mobilen Manipulators auf.
Bevorzugt umfasst die Haupttätigkeit zumindest das Bewegen der mobilen Plattform, des Manipulators oder beider. Bevorzugt weist der mobile Manipulator zumindest eine erste Kamera und zumindest eine zweite Kamera auf, und das Verfahren weist weiterhin die folgenden Schritte auf: Bereitstellen eines dritten Bildes zu einem dritten Zeitpunkt, durch die zweite Kamera, wobei das dritte Bild ausreichend Merkmale aufweist, um ein aktives SLAM -Verfahren durchzuführen, und
Anpassen des Blickbereichs der ersten Kamera so, dass ein viertes Bild zu einem vierten Zeitpunkt, der nach dem dritten Zeitpunkt liegt, durch die erste Kamera bereitgestellt wird, wobei das vierte Bild den Bereich der Umgebung des dritten Bildes zeigt.
4. Kurze Beschreibung der Figuren
Im Folgenden werden bevorzugte Ausführungsformen der vorliegenden Erfindung anhand der beigefügten Figuren dargestellt. Dabei zeigt:
Fig. 1 eine schematische Darstellung einer Ausführungsform eines
erfindungsgemäßen mobilen Manipulators;
Fig. 2 ein schematisches Bild, das von einer Kamera am mobilen Manipulator aufgenommen wurde, und das ein Objekt mit vielen Merkmalen aus der Umgebung des mobilen Manipulators zeigt; und
Fig. 3a - 3c jeweils ein schematisches Bild der Fig. 2 zu unterschiedlichen
Zeitpunkten mit unterschiedlichen Blickrichtungen.
5. Detaillierte Beschreibung bevorzugter Ausführungsformen
Fig. 1 zeigt eine Ausführungsform eines mobilen Manipulators 1, der eine mobile Plattform 10 und einen darauf angeordneten Manipulator 20 aufweist. Der
Manipulator 20 ist entlang seiner Achsen frei schwenkbar in alle drei Raumrichtungen unter Berücksichtigung von vorbestimmten Grenzparametern. An der Endeffektor- Aufnahme des Manipulators 20 kann ein Endeffektor und/oder eine Kamera 30 angebracht sein. Der Endeffektor kann zum Beispiel ein Greifwerkzeug, zum Greifen von Objekten, sein. Weiterhin kann an der mobilen Plattform eine zweite Kamera 31 angebracht sein. Sowohl die erste 30 als auch die zweite Kamera 31 kann in zwei oder drei Dimensionen einstellbar, insbesondere schwenkbar sein und beispielsweise als schwenk- und neigbare und zoom-fähige Kamera ausgebildet sein. Eine Anpassung des Blickbereichs der Kamera 30, 31 kann durch Bewegen, Drehen, Schwenken und/oder Neigen der Kamera oder auch durch Zoomen erfolgen. Die Bewegung der Kamera 30, 31 wird durch die Steuerung 12 zur Laufzeit des Steuerungsprozesses der Haupttätigkeit des mobilen Manipulators berechnet. Das SLAM -Verfahren kann basierend auf Bildern der ersten 30 oder der zweiten Kamera 31 oder beiden durchgeführt werden.
Der in dieser Ausführungsform radgetriebene mobile Manipulator 1 kann sich frei, beispielsweise in eine Richtung V, bewegen. Die Bewegung bildet vor allem bei der Exploration eine Haupttätigkeit des mobilen Manipulators 1 und diese wird vorrangig, wenn es die Computerressourcen zulassen, bevorzugt gleichzeitig, zum SLAM- Verfahren durchgeführt.
Fig. 2 zeigt ein schematisches Bild, das von einer Kamera 30, 31 aufgenommen wurde und einen Bereich der Umgebung um den mobilen Manipulator 1 herum zeigt. Das Objekt 100, dass deutlich in dem Bild zu erkennen ist und große Bereiche des Bildes ausfüllt, weist viele relevante Merkmale 40 auf. Relevante Merkmale 40 können Kanten, Linien, Kreise, ORB-Merkmale oder andere zur Merkmalsextration in der Bildverarbeitung verwendete Merkmale sein. Für Visualisierungszwecke wurden extrahierte Merkmale und Merkmalsbereiche 40 beispielhaft durch die weißen
Quadrate markiert. Es wird beispielhaft angenommen, dass die Anzahl und Relevanz der Merkmale für ein SLAM -Verfahren ausreichend ist. Ein SLAM -Verfahren ist dabei bevorzugt ein DPPTAM (Dense Piecewise Planar Tracking and Mapping) oder ein ORB- SLAM-Verfahren.
Die Figuren 3a bis 3c zeigen Bilder 60, 61, 62 einer Kamera 30, 31, beispielsweise der ersten Kamera 30, die zu unterschiedlichen Zeitpunkten to, ti, t2 in unterschiedlichen Blickrichtungen aufgenommen wurden. Fig. 3a repräsentiert das nullte Bild 60, das zu einem nullten Zeitpunkt to aufgenommen wurde. In diesem nullten Bild 60 sind das Objekt 100 und die extrahierten Merkmale 40 deutlich und komplett zu erkennen. Die extrahierten Merkmale 40 sind für das SLAM -Verfahren zur Positionierung und Kartierung aussagekräftig. So kann anhand dem Bild 60 aus Fig. 3a die Position des mobilen Manipulators 1 bestimmt werden und eine Kartierung der Umgebung erfolgen.
In der Folge bewegt sich der mobile Manipulator 1 beispielhaft in eine Richtung V. Dabei wird die Blickrichtung der Kamera 30 zunächst unverändert beibehalten. Zu einem späteren ersten Zeitpunkt ti wird das in Fig. 3b dargestellte erste Bild 61 aufgenommen. Das Objekt 100 ist nun nur noch teilweise am Rand des ersten Bildes 61 sichtbar. Daher können auch nur wenige relevante Merkmale 40 aus dem ersten Bild 61 extrahiert werden. Den Großteil des ersten Bildes 61 bildet nun ein Bereich 50 ohne relevante Merkmale 40. Solch ein Bereich 50 kann beispielsweise eine einfarbige, texturlose Wand oder Oberfläche sein. Die extrahierten Merkmale 40 sind nun nicht mehr ausreichend für ein SLAM -Verfahren. Eine zuverlässige Positionierung ist daher anhand des ersten Bildes 61 aus Fig. 3b nicht möglich. Bei der Überprüfung des ersten Bildes 61 stellt die Steuerung 12 anhand von
Algorithmen fest, dass der Blickbereich der Kamera 30 geändert werden muss, um ein Bild zu erhalten, das ausreichend Merkmale 40 aufweist. Daraufhin kann die Steuerung 12 den Blickbereich der Kamera 30 verändern oder zum Beispiel auf eine weitere, zweite Kamera 31 wechseln, um ein von dieser zweiten Kamera 31 aufgenommenes Bild zu überprüfen und dieses Bild, wenn es ausreichend Merkmale aufweist, für das SIAM- Verfahren zu benutzen.
Die Algorithmen, die die Steuerung 12 zur Überprüfung der Bilder der Kameras 30, 31 verwendet, können anhand bestimmter Parameter abschätzen, ob sich ein
aufgenommenes Bild für das SLAM -Verfahren eignet. Zu den Parametern können beispielsweis zählen, die Anzahl der in einem Bild erkannten Merkmale 40, die räumliche Verteilung der Merkmale 40, die Änderung der Merkmale 40 bezogen auf ein zeitlich früheres Bild, der Abstand der Merkmale 40 untereinander, etc. Der Blickbereich der entsprechenden Kamera 30, 31 kann dann auch auf den Bereich der Umgebung gerichtet werden, den das nullte Bild 60 bereits zeigte. Das so aufgenommene zweite Bild 62 ist in Figur 3c dargestellt. Wie ersichtlich müssen und werden das nullte 60 und das zweite Bild 62 lediglich zumindest grob übereinstimmen. Dennoch wird eine überwiegende Anzahl an relevanten extrahierten Merkmalen 40 in beiden Bilden 60, 62 übereinstimmen oder zumindest vorhanden sein. Das zweite Bild 62 kann dann dem SLAM -Verfahren zugeführt werden und die Position des mobilen Manipulators 1 kann zuverlässig bestimmt werden.
Dieses„Zurückblicken" für die jeweils zweite Aufnahme 62 wird solange durchgeführt, bis eine neue erste Aufnahme 61 mit ausreichend Merkmalen 40 zur Verfügung steht. Hierbei kann sich der mobile Manipulator 1 weiterbewegen und die Kamera 30, 31 wird entsprechend bewegt, um einen geeigneten Blickbereich zu erfassen. Dadurch läuft das SLAM-Verfahren stabil.
Bezugszeichenliste:
1 mobiler Manipulator
10 mobile Plattform
20 Manipulator
30 erste Kamera
31 zweite Kamera
40 Merkmal/Merkmalspunkt
50 Gebiet mit wenig Merkmalen
100 Objekt mit vielen Merkmalen
V Bewegungsrichtung des mobilen Manipulators

Claims

Patentansprüche 1 bis 14
1. Mobiler Manipulator (1) aufweisend: a. eine mobile Plattform (10); b. einen Manipulator (20), der auf der mobilen Plattform (10) angeordnet ist; c. zumindest eine Kamera (30, 31), die an dem mobilen Manipulator (1)
befestigt ist und die zu einem ersten Zeitpunkt (ti) ein erstes Bild (61) eines Bereichs einer Umgebung bereitstellt; d. eine Steuerung (12), die eingerichtet ist zu überprüfen, ob das erste Bild (61) ausreichend Merkmale (40) der Umgebung aufweist, um ein aktives SLAM -Verfahren basierend auf dem ersten Bild (61) durchzuführen, wobei e. die Steuerung (12) den Blickbereich der Kamera (30, 31) anpasst, wenn das erste Bild (61) nicht ausreichend Merkmale (40) aufweist, um zu einem zweiten Zeitpunkt (t2), der nach dem ersten Zeitpunkt (ti) liegt, mittels der Kamera (30, 31) ein zweites Bild (62) bereitzustellen, das ausreichend Merkmale (40) aufweist, um ein aktives SLAM -Verfahren durchzuführen, und f. die Steuerung (12) eingerichtet ist, ein aktives SLAM -Verfahren mittels des ersten (61) oder zweiten Bildes (62) durchzuführen.
2. Mobiler Manipulator gemäß Anspruch 1, wobei der Blickbereich der Kamera (30, 31) zur Aufnahme des zweiten Bildes (62) auf den Bereich der Umgebung ausgerichtet wird, den ein nulltes Bild (60) zeigt, das zu einem nullten Zeitpunkt (to), der vor dem ersten Zeitpunkt (ti) liegt, bereitgestellt wurde. Mobiler Manipulator gemäß Anspruch l oder 2, wobei die Steuerung (12) zumindest eine Haupttätigkeit der mobilen Plattform (10) und/oder des
Manipulators (20) sowie das aktive SLAM -Verfahren gleichzeitig ausführen kann.
Mobiler Manipulator gemäß Anspruch 3, wobei die Haupttätigkeit das Bewegen der mobilen Plattform (10), des Manipulators (20) oder beider umfasst.
Mobiler Manipulator gemäß Anspruch 3 oder 4, wobei eine Steuerungspriorität der Haupttätigkeit höher ist, als die Steuerungspriorität des aktiven SLAM- Verfahrens, und die Aufgaben der Haupttätigkeit während der Anpassung des Blickbereichs der Kamera (30, 31) und/oder der Ausführung des aktiven SLAM- Verfahrens weiter ausgeführt werden.
Mobiler Manipulator gemäß einem der Ansprüche 1 - 5, wobei zumindest eine erste Kamera (30) schwenkbar an dem Manipulator (20) befestigt ist und zumindest eine zweite Kamera (31) schwenkbar an der mobilen Plattform (10) befestigt ist.
Mobiler Manipulator gemäß Anspruch 6, wobei die erste (30) und die zweite Kamera (31) Bilder (60, 61, 62) im sichtbaren Spektrum als 2D-, ToF- oder Stereokamera aufnehmen.
Mobiler Manipulator gemäß Anspruch 6 oder 7, wobei die zweite Kamera (31) zu einem dritten Zeitpunkt, ein drittes Bild bereitstellt, das für das SLAM -Verfahren ausreichend Merkmale (40) aufweist, und dann durch die Steuerung (12) der Blickbereich der ersten Kamera (30) so angepasst wird, dass zu einem vierten Zeitpunkt, der nach dem dritten Zeitpunkt liegt, ein viertes Bild von der ersten Kamera (30) bereitgestellt wird, welches den Bereich der Umgebung des dritten Bildes zeigt.
Verfahren zum Steuern eines mobilen Manipulators (1), wobei der mobile Manipulator (1) eine mobile Plattform (10), einen auf dieser mobilen Plattform (10) angeordneten Manipulator (20) und mindestens eine Kamera (30, 31) aufweist, und wobei das Verfahren die folgenden Schritte aufweist: a. Aufnehmen eines ersten Bildes (61) eines Bereichs einer Umgebung zu einem ersten Zeitpunkt (ti), durch die Kamera (30, 31); und b. Extrahieren von Merkmalen (40) aus dem ersten Bild (61); c. Ermitteln, ob die aus dem ersten Bild (61) extrahierten Merkmale (40) ausreichend sind, um ein aktives SLAM -Verfahren basierend auf dem ersten Bild (61) durchführen zu können; d. Anpassen des Blickbereichs der Kamera (30, 31), durch eine Steuerung (12) des mobilen Manipulators (1), um zu einem zweiten Zeitpunkt (t2), der nach dem ersten Zeitpunkt (ti) liegt, ein zweites Bild (62) bereitzustellen, das ausreichend Merkmale (40) der Umgebung aufweist, um das aktive SLAM -Verfahren basierend auf dem zweiten Bild (62) durchzuführen, wenn die extrahierten Merkmale (40) in dem ersten Bild (61) nicht ausreichend sind.
10. Verfahren gemäß Anspruch 9, wobei das Verfahren weiterhin den folgenden
Schritt aufweist:
Anpassen des Blickbereichs der Kamera (30, 31) für das zweite Bild (62) so, dass der Blickbereich auf den Bereich der Umgebung zeigt, den ein nulltes Bild (60) zeigt, das zu einem nullten Zeitpunkt (to), der vor dem ersten Zeitpunkt (ti) liegt, bereitgestellt wurde.
11. Verfahren gemäß einem der Ansprüche 9 oder 10, wobei das Verfahren weiterhin den folgenden Schritt aufweist: Durchführen eines aktiven SLAM -Verfahrens, um die Position des mobilen
Manipulators (1) zu ermitteln und um eine 3D-Karte der Umgebung zu erstellen.
12. Verfahren gemäß einem der Ansprüche 9 - 11, wobei das Verfahren weiterhin aufweist: Gleichzeitiges Ausführen einer Haupttätigkeit, der Anpassung des Blickbereichs der Kamera (30, 31) und des aktiven SLAM -Verfahrens durch die Steuerung (12) des mobilen Manipulators (1).
13. Verfahren gemäß Anspruch 12, wobei die Haupttätigkeit zumindest das Bewegen der mobilen Plattform (10), des Manipulators (20) oder beider umfasst.
14. Verfahren gemäß einem der Ansprüche 9 - 13, wobei der mobile Manipulator (1) mindestens eine erste (30) und mindestens eine zweite Kamera (31) aufweist, und das Verfahren weiterhin die folgenden Schritte aufweist: a. Bereitstellen eines dritten Bildes zu einem dritten Zeitpunkt, durch die zweite Kamera (31), wobei das dritte Bild ausreichend Merkmale (40) aufweist, um ein aktives SLAM -Verfahren durchzuführen, und b. Anpassen des Blickbereichs der ersten Kamera (30) so, dass ein viertes Bild zu einem vierten Zeitpunkt, der nach dem dritten Zeitpunkt liegt, durch die erste Kamera (30) bereitgestellt wird, wobei das vierte Bild den Bereich der Umgebung des dritten Bildes zeigt.
EP17825420.7A 2016-12-16 2017-12-12 Mobiler manipulator und verfahren zum steuern eines mobilen manipulators Withdrawn EP3555722A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016225310.7A DE102016225310A1 (de) 2016-12-16 2016-12-16 Mobiler Manipulator und Verfahren zum Steuern eines mobilen Manipulators
PCT/EP2017/082333 WO2018108867A1 (de) 2016-12-16 2017-12-12 Mobiler manipulator und verfahren zum steuern eines mobilen manipulators

Publications (1)

Publication Number Publication Date
EP3555722A1 true EP3555722A1 (de) 2019-10-23

Family

ID=60935787

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17825420.7A Withdrawn EP3555722A1 (de) 2016-12-16 2017-12-12 Mobiler manipulator und verfahren zum steuern eines mobilen manipulators

Country Status (3)

Country Link
EP (1) EP3555722A1 (de)
DE (1) DE102016225310A1 (de)
WO (1) WO2018108867A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020077481A1 (en) * 2018-10-15 2020-04-23 Lingdong Technology (Beijing) Co. Ltd Self-driving vehicle system with steerable camera and indicator
HU4993U (hu) 2018-11-14 2019-05-28 Obudai Egyetem Szerelõsori szállítórobot

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9104202B2 (en) * 2010-05-11 2015-08-11 Irobot Corporation Remote vehicle missions and systems for supporting remote vehicle missions
KR20120070291A (ko) * 2010-12-21 2012-06-29 삼성전자주식회사 보행 로봇 및 그의 동시 위치 인식 및 지도 작성 방법
US8958911B2 (en) * 2012-02-29 2015-02-17 Irobot Corporation Mobile robot
DE102013211414A1 (de) * 2013-06-18 2014-12-18 Kuka Laboratories Gmbh Fahrerloses Transportfahrzeug und Verfahren zum Betreiben einesfahrerlosen Transportfahrzeugs
US9427874B1 (en) * 2014-08-25 2016-08-30 Google Inc. Methods and systems for providing landmarks to facilitate robot localization and visual odometry
US9751210B2 (en) * 2014-11-26 2017-09-05 Irobot Corporation Systems and methods for performing occlusion detection

Also Published As

Publication number Publication date
DE102016225310A1 (de) 2018-06-21
WO2018108867A1 (de) 2018-06-21

Similar Documents

Publication Publication Date Title
DE102014102943B4 (de) Robotersystem mit Funktionalität zur Ortsbestimmung einer 3D- Kiste
DE112005000929B4 (de) Automatisches Abbildungsverfahren und Vorrichtung
DE212018000178U1 (de) Objekterkennungssystem mit einem 2D-Farbbildsensor und einem 3D-Bildsensor
DE102015111080B4 (de) Robotervorrichtung mit maschinellem Sehen
DE112018001050T5 (de) System und verfahren zur virtuell erweiterten visuellen gleichzeitigen lokalisierung und kartographierung
EP2927844A1 (de) Positions- und lagebestimmung von 3d objekten
WO2017088997A1 (de) System zum einparken eines fahrzeugs
DE102019131261A1 (de) Robotermanipulation unter verwendung eines unabhängig betätigten visionssystems, eines gegensteuerschemas und einer multi-tasking-architektur für tiefgehendes lernen
DE102019007001A1 (de) FAHRZEUGBILDVERARBEITUNGSVORRICHTUNG, FAHRZEUGBILDVERARBEITUNGSVERFAHREN, PROGRAMM und SPEICHERMEDIUM
WO2018108867A1 (de) Mobiler manipulator und verfahren zum steuern eines mobilen manipulators
EP2381207A1 (de) 3D-Zielvermessung und Zieleinweisung aus IR-Daten
WO2020078615A1 (de) Verfahren und vorrichtung zur bestimmung einer umgebungskarte
AT511460B1 (de) Verfahren zur bestimmung der position eines luftfahrzeugs
EP1915239B1 (de) Verfahren zum erzeugen eines umgebungsbildes
DE102022201279B3 (de) Verfahren zum Erfassen einer Umgebung eines Fahrzeugs, Kameravorrichtung und Fahrzeug
EP2884746A1 (de) Überwachungskameravorrichtung mit Tiefeninformationsbestimmung
EP3200154B1 (de) Verfahren zum bestimmen einer position eines objekts
DE112020005735T5 (de) Positionsabschätzungsvorrichtung, Fahrzeug, Positionsabschätzungsverfahren und Positionsabschätzungsprogramm
DE102020127797B4 (de) Sensorverfahren zum optischen Erfassen von Nutzungsobjekten zur Detektion eines Sicherheitsabstandes zwischen Objekten
DE112019001454T5 (de) Autonomes mobiles endgerät und autonomes mobiles system
EP3089076A1 (de) Verfahren zum ausrichten einer wirkmitteleinheit auf ein zielobjekt
DE102022206041A1 (de) Verfahren zum Bestimmen von Objekten in einer Umgebung für SLAM
DE102022204515A1 (de) Verfahren zum Bestimmen von Punktgruppen, die von einem vorgegebenen Betrachtungspunkt sichtbar oder nicht sichtbar sind
EP3871191A1 (de) Vorrichtung und verfahren zur positionsbestimmung in einem 3d-modell einer umgebung
EP4229597A1 (de) Verfahren und vorrichtung zum kartieren einer einsatzumgebung für zumindest eine mobile einheit sowie zur lokalisation zumindest einer mobilen einheit in einer einsatzumgebung und lokalisationssystem für eine einsatzumgebung

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190704

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20200604

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20220301

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230528