EP4493360A1 - Prüfen einer vorgegebenen bahn eines roboters - Google Patents

Prüfen einer vorgegebenen bahn eines roboters

Info

Publication number
EP4493360A1
EP4493360A1 EP23711436.8A EP23711436A EP4493360A1 EP 4493360 A1 EP4493360 A1 EP 4493360A1 EP 23711436 A EP23711436 A EP 23711436A EP 4493360 A1 EP4493360 A1 EP 4493360A1
Authority
EP
European Patent Office
Prior art keywords
path
robot
section
distance
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23711436.8A
Other languages
English (en)
French (fr)
Inventor
Jürgen Blume
Ingo KRESSE
Pascal Caprano
Marcus Hofmann
Fabian Jennrich
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KUKA Deutschland GmbH
KUKA Systems GmbH
Original Assignee
KUKA Deutschland GmbH
KUKA Systems GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE102022202562.8A external-priority patent/DE102022202562B4/de
Priority claimed from DE102022202564.4A external-priority patent/DE102022202564B4/de
Priority claimed from DE102022202569.5A external-priority patent/DE102022202569B3/de
Priority claimed from DE102022202563.6A external-priority patent/DE102022202563B3/de
Priority claimed from DE102022202571.7A external-priority patent/DE102022202571B3/de
Application filed by KUKA Deutschland GmbH, KUKA Systems GmbH filed Critical KUKA Deutschland GmbH
Publication of EP4493360A1 publication Critical patent/EP4493360A1/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1628—Program controls characterised by the control loop
    • B25J9/163—Program controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1656—Program controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Program controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1656—Program controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Program controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1674—Program controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1694—Program controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35506—Camera images overlayed with graphics, model
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36167—Use camera of handheld device, pda, pendant, head mounted display
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39443—Portable, adapted to handpalm, with joystick, function keys, display
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39449—Pendant, pda displaying camera images overlayed with graphics, augmented reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39451—Augmented reality for robot programming
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40202—Human robot coexistence
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40298—Manipulator on vehicle, wheels, mobile
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40317—For collision avoidance and detection

Definitions

  • the present invention relates to a method and system for checking a predetermined path of a robot and a computer program or computer program product for carrying out the method.
  • Robot paths can be specified in particular with the help of a simulated environment and/or by teaching, in particular of path points.
  • a real robot should preferably be checked in advance whether a real robot could or would collide with its real environment when traveling along a given path, which may differ from the simulated environment or the real environment as it was during learning.
  • the object of the present invention is to improve the operation of robots, in particular (by) checking predetermined paths.
  • Claims 14, 15 represent a system or computer program or
  • a method for checking a predetermined path of a robot comprises the steps:
  • an all-clear is issued (instead) for one, in particular this, section of the railway if the distance determined for this section is within a predetermined all-clear range.
  • a test person can reliably and/or quickly check the specified path for the risk of possible collisions with the real environment.
  • the railway is checked, preferably by the test person, with the help of or on the basis of the visualized virtual representation and the issued warning and/or all-clear.
  • one or more sections for which (each ) a warning is issued specifically, in particular in depth, precisely and / or separately checked, in particular for possible collisions of the robot with the environment, and the path, in particular at least this section (s), if necessary modified.
  • the robot has a robot arm with three or more, preferably at least six, in one embodiment at least seven, joints, in a further development, swivel joints that connect movable members of the robot to one another and are movable by drives, in particular motors, of the robot, and / or a mobile base that can be moved, in particular with the help of at least one drive, in particular a motor, of the robot.
  • the invention is particularly advantageous for such robots, particularly due to the complex paths that are possible with it.
  • a robot-guided tool or workpiece forms a (distal) movable member of the robot in the sense of the present invention or the model of the robot (also) has a model of a robot-guided tool or workpiece.
  • the path is specified by program technology or by a work program and is, in particular, specified in a further training using a simulated environment and / or by teaching or teaching, in particular of path points.
  • the three-dimensional environment model includes, in particular permanently or temporarily stored data, which indicates or . describe.
  • the model of the robot includes, in particular, permanently or temporarily stored data which indicates or describes the three-dimensional contour(s) or geometry(s) of the (real) robot, in particular one or more of its movable members.
  • a robot-guided tool or workpiece forms a (distal) movable member of the robot in the sense of the present invention or the model of the robot (also) has a model of a robot-guided tool or workpiece.
  • a section of the path for which a warning or all-clear is issued can consist of a (path) point or be a (path) point for which the distance is determined.
  • a section of the path for which a warning or all-clear is issued extends beyond a (path) point on one or both sides or has several (path) points; it can be continuous or discrete, in particular a continuous or discrete sequence of points.
  • the distance of a selected one of these points for example a start, end or middle point of this section (as the distance of this section) is determined and in a further development the section having several points is determined accordingly or colored depending on the determined distance of this point. This means that the test can be carried out more quickly in one version.
  • the distances between two or more discrete, in particular selected, points of this section for example a starting point and a End point of this section, a starting point, an end point and a middle point of this section or the like, and the smallest of these distances is determined as the distance of this section. This means that the test can be carried out quickly and precisely in one version.
  • the minimum distance or the distance to the point closest to the environment model is determined as the distance of this section. This means that the test can be carried out more precisely in one version.
  • a section in particular a section consisting of one or more points, is colored correspondingly or depending on the determined distance.
  • a point or section in particular a single point or a section having several points, is colored red to issue a warning and/or colored green to issue an all-clear.
  • the coloring can also be multi-level and/or discretized differently, for example in ⁇ red, yellow, green ⁇ or the like, in particular with other colors and/or discretized more finely, or can change continuously with the relevant, in particular smallest, distance, for example from red for (too) small distances to green for (sufficiently) large distances or the like.
  • the method includes the step:
  • a real environment of the robot can advantageously be taken into account during the test and the risk of a collision with it can be checked particularly reliably.
  • the detection device is arranged on the visualization device, in a further development integrated or detachable.
  • the environmental model can advantageously be determined in situ or promptly before visualization and can therefore be particularly up-to-date and the test can therefore be particularly reliable or meaningful.
  • the acquisition device is moved relative to the real environment translationally and/or rotationally and/or manually, in particular by a test person handling the visualization device, for acquiring the data.
  • a larger area of the environment and/or the environment can be recorded more precisely and the test can therefore be particularly reliable or meaningful.
  • the detection device has one or more non-contact measuring distance meters, in a further development one or more radar distance meters, one or more ultrasonic distance meters and / or one or more lidar distance meters.
  • the environmental model can be determined precisely in one embodiment and the test can therefore be particularly reliable or meaningful.
  • Lidar distance meters are particularly advantageous because they are compact and measure precisely.
  • the detection device has one or more cameras, in a further development a 3D camera system, which in one embodiment has at least two or stereo cameras, a triangulation system in which at least one light source images a defined pattern on the environment and at least one Camera records this pattern, preferably from a different angle, has at least one TOF camera, at least one interferometry camera, at least one light field camera or the like, and / or an image evaluation.
  • a 3D camera system which in one embodiment has at least two or stereo cameras, a triangulation system in which at least one light source images a defined pattern on the environment and at least one Camera records this pattern, preferably from a different angle, has at least one TOF camera, at least one interferometry camera, at least one light field camera or the like, and / or an image evaluation.
  • the environment model in one embodiment is based on specified target data, in a further development CAD data, of the environment determined. By taking such data into account, the environmental model can be determined more quickly and/or precisely in one embodiment.
  • the model of the robot is determined on the basis of predetermined target data, in a further development on the basis of the predetermined path of the robot and/or on the basis of CAD data of the robot, and/or a measurement of the robot. By taking such data into account, the model of the robot can be determined more quickly and/or precisely in one embodiment.
  • the model of the robot has or indicates a pose of the robot members relative to one another and/or a reference system fixed in the surroundings for the various sections, in particular points, of the path.
  • a pose or position in the sense of the present invention includes a one-, two- or three-dimensional position and/or a one-, two- or three-dimensional orientation.
  • a robot-guided tool or workpiece forms a movable member of the robot in the sense of the present invention.
  • the model of the robot has a computer-implemented model of a robot-guided tool or workpiece as a movable member of the robot.
  • the risk of a collision between a robot-guided tool or workpiece and the environment can advantageously be checked.
  • the model of the robot is determined on the basis of specified target data, in a further development CAD data, the tool or workpiece, and/or a measurement of the tool or workpiece.
  • the environmental model has one or more geometry primitives in a predetermined relation, in particular spatial position, to a real environmental obstacle, in particular to several real environmental obstacles, at least one geometry primitive in a predetermined relation, in particular spatial position, to this real environmental obstacle.
  • the model of the robot has one or more geometry primitives in a predetermined relation, in particular spatial position, to a limb of the robot, in particular i.e. to several members of the robot, preferably at least one end effector, each with at least one geometry primitive in a predetermined relation, in particular spatial position, to this robot member. This allows the distance(s) to be determined quickly in one embodiment.
  • a geometry primitive in the sense of the present invention is a polyhedron, in particular a prism, in particular a cuboid, or a cylinder, cone, ellipsoid, in particular a sphere, or the like. This means that the distance(s) can be determined particularly quickly in one embodiment.
  • the environmental model is determined using at least one approximation of features detected using the detection device, in particular points, particularly preferably a point cloud detected using the detection device, in a further development using one or more grids and / or one or more approximation surfaces, in particular flat approximation surfaces and/or single or multiple curved approximation surfaces, such grids or approximation surfaces being determined in one embodiment by compensation, in particular interpolation or extrapolation, smoothing and/or other fitting functions of points detected using the detection device, in particular this can
  • Environmental model has this approximation. Through such an approximation, the environment in one embodiment can be modeled particularly advantageously, in particular quickly and/or precisely.
  • the environmental model is determined on the basis of the robot, in particular with the aid of data from the robot recorded, in particular by the detection device, and/or on the basis of the model of the robot.
  • the robot that may have been captured when data from the robot's real environment is captured using the capture device is at least partially eliminated or hidden. This allows the environment model to be improved in one embodiment.
  • the environmental model is determined based on a selection of an environmental area by a test person. In a further training an environmental area selected by the examiner is not taken into account by the environmental model, in a further training it is not taken into account with the help of the Detection device detected, and / or only an environmental area selected by the test person is taken into account by the environmental model, in a further development only this environmental area is detected using the detection device.
  • the environmental model can be improved and/or determined more quickly.
  • the distance between the model of the robot and the environment model for one or more of the different sections of the path is each based on a minimum distance between
  • an imaginary envelope of a selected sub-area of this environment or envelope can in particular be the corresponding distance.
  • such an imaginary shell is at least partially formed by the model of the robot or environment model, in one embodiment one or more of the geometry primitives of the robot model and/or one or more of the geometry primitives of the environment model and/or the approximation of points detected using the detection device , by means of which the environment model is determined or which the environment model has, can in particular be determined at least partially by surfaces, corners, edges, nodes, coordinate lines or the like of the geometry primitives or the approximation, in particular of the grid(s) or the approximation surface(s), and/or a predetermined, in particular average, minimum and/or maximum, distance from the robot (member) or a surface of the environment or the surrounding area and/or a predetermined, in particular average, have a minimum and/or maximum distance from the geometry primitive(s), grid(s) or approximation surface(s) or be defined or specified accordingly.
  • An imaginary shell can in particular be continuous or discrete.
  • the minimum distance between corners, edges and / or surfaces of a geometry primitive of the robot model in the form of a cuboid and a grid or an approximation surface of the environmental model can be used to determine a distance between the model of the robot and the environmental model.
  • the determination can be carried out quickly, in particular on a prima facie basis relevant area should be limited.
  • the test can be carried out more reliably, in particular Several different collision possibilities can also be taken into account.
  • the visualization device is a mobile, in particular portable (by a person, preferably with one hand), visualization device; in one embodiment it has a handheld device, preferably a handheld, tablet, smartphone, a laptop or the like, and / or glasses , especially A(ugmented)R(eality) glasses.
  • the visualization device is set up (hardware and/or software) to control the robot or is (also) used for this purpose. As a result, commissioning can be carried out more quickly and/or safely in one version.
  • the (visualized) virtual representation of the path has a, in one embodiment, continuous path of a robot-fixed reference point, preferably an end effector of the robot, and / or a representation of one or more, in particular all, movable members of the robot, in an embodiment using or through geometry primitives of the model of the robot.
  • the representation of the robot's limb(s) changes during the visualization according to the predetermined path; accordingly, the virtual representation can in particular have a virtual simulation of the robot or representation of the movement of one or more of its limbs when traveling along the path.
  • issuing a warning or all-clear includes highlighting, preferably coloring and/or illuminating, the corresponding path or path section in accordance with the distance determined for this purpose, different highlights, preferably colors or lighting, being able to be assigned to different distances, For example, all distances in the warning area the color red and all distances in the all-clear area the color green, or all distances in the warning area the color red, smaller distances in the all-clear area the color yellow and larger distances in the all-clear area the color green, or even a color that is with the determined distance changes continuously or in several discrete stages, and / or path or path sections with distances in the warning area are shown luminous and path or path sections with distances in the all-clear area are shown non-luminous or the lighting changes with the distances.
  • issuing a warning or all-clear can include highlighting, preferably coloring and/or illuminating, the representation of one or more, in particular all, movable members of the robot in accordance with the distance determined for the respective section, with different highlights being given at different distances , preferably colors and / or lighting, can be assigned as described above.
  • the display turns red for or along sections with (too) small distances and for or along sections with (sufficiently) large distances colored green, equally the color of the display can change continuously or in several discrete stages with the determined distance, and/or the display can be shown luminous for distances in the warning area and non-luminous in the all-clear area or the illumination of which changes with the distances.
  • highlighting or issuing a warning or all-clear in one embodiment can include a style of the corresponding path or path section or the representation corresponding to the distance determined for this purpose, whereby different styles can be assigned to different distances, for example all distances in the warning area and/or solid lines and thin and/or dashed lines at all distances in the all-clear area, although of course a variety of other styles can also be used, for example a line thickness can change continuously with the distance or in discrete steps or the like.
  • a test person can quickly check or assess the path, intuitively by highlighting, in particular coloring and/or lighting, the representation of the robot limb(s). (er), by varying the style, the visualization can be simplified and/or its recognizability can be improved.
  • a first virtual representation is used to visualize a section of the path if the distance determined for this section is in the warning range, and a second virtual representation different from this is used to visualize this section of the path if the distance determined for this section The determined distance is in the all-clear zone.
  • a first virtual representation can be used to visualize a section of the path, which has a red-colored path section of a robot-fixed reference point if the distance determined for this section is in the warning area, and for visualizing this Section of the path, a different second virtual representation can be used, which has a green-colored path section of the robot-fixed reference point if the distance determined for this section is in the all-clear area.
  • a first virtual representation is used to visualize a section of the path if the distance determined for this section is in part of the warning area, and a different first virtual representation is used to visualize this section of the path if the distance determined for this section The distance determined in this section is in another part of the warning area.
  • a second virtual representation is used for visualizing a section of the track if the distance determined for this section is in part of the all-clear zone, and a different second virtual representation is used for visualizing this section of the track if the distance determined for this section is in another part of the all-clear zone.
  • a first virtual representation can be used, which has a thick and / or red-colored path section of a robot-fixed reference point, if the distance determined for this section is in the warning range, another first virtual representation can be used, which has a thinner and/or orange-colored path section of the reference point, if the distance determined for this section is larger but is still in the warning range, a second virtual representation can be used which has a thick and/or yellow-colored path section of the reference point, if the distance determined for this section is in the all-clear area, and another second virtual representation is used which has a thinner and / or green-colored path section of the reference point, if the distance determined for this section is in the warning area but is larger.
  • one or more parameters of the path are output; in one embodiment, a speed and/or at least one parameter, for example a speed, for at least one section, in particular a point, selected, in particular by a test person, the train and/or at least one Parameters, for example a speed, for a section, in particular a point, of the path that has just been or is currently being simulated during visualization.
  • a speed and/or at least one parameter for example a speed, for at least one section, in particular a point, selected, in particular by a test person, the train and/or at least one Parameters, for example a speed, for a section, in particular a point, of the path that has just been or is currently being simulated during visualization.
  • a value of the determined distance for at least a section of the path in particular a globally minimum distance and / or a distance for a section, in particular a point, of the path and / or, selected, in particular by a test person output for a section of the path that has just been or is currently simulated during visualization, in particular a point that has been approached in a simulated manner.
  • a parameter and/or a distance value is output numerically, acoustically and/or symbolically.
  • a direction of travel can be output by an arrow, a TCP speed by a corresponding number, a distance value symbolically by a corresponding line, in particular a dimension line with ends symbolized, for example by arrows, cross lines or the like, and / or numerically by a corresponding number , and/or a parameter or distance value acoustically, in particular through different pitches in relation to a reference tone, in particular a reference tone which corresponds to a zero value of the parameter or distance value.
  • one or more of the above-mentioned features allow an inspector to check or assess the web more quickly and/or reliably.
  • the track is modified in one version, in further training by (inputs or specifications by) the test person or automatically. Then a method described here can be carried out again for or with the modified path in order to check this modified path in an analogous manner, with data from the real environment being recorded again in a further development and the environment model being rebuilt on the basis of this data is determined, which can advantageously take changes in the real environment into account, in another development the previously used environmental model is instead continued to be used or (re)provided, which can advantageously reduce effort and time required.
  • the invention can be carried out with particular advantage when or for commissioning the robot to travel along the specified path, since safety can be particularly advantageously increased and/or effort and/or time can be reduced, but it is not limited to this.
  • a system in particular hardware and/or software, in particular program technology, is set up to carry out a method described here and/or has:
  • a visualization device for visualizing a virtual representation of the path in an augmented reality for checking the path, with this visualization issuing a warning for a section of the path if the distance determined for this section is in a predetermined warning range, and for a section An all-clear is issued on the railway if the distance determined for this section is within a specified all-clear range.
  • system or its means has:
  • the capture device in one embodiment the visualization device is arranged and/or has at least one non-contact measuring distance meter, in particular at least one lidar, radar or ultrasonic distance meter, and/or at least one camera, in particular a 3D camera system, and/or an image evaluation; and or
  • Means for outputting at least one parameter of the path in particular a speed and/or for at least a selected section of the path and/or for a section simulated during visualization, in particular a point, of the path, and/or a value of the determined distance for at least a section of the path, in particular a globally minimum distance and / or a distance for a selected section of the path and / or for a section, in particular point, of the path that was simulated during visualization, in particular a point, of the path, when visualizing the virtual Representation of the trajectory, especially numerically and/or symbolically; and or
  • a system and/or a means in the sense of the present invention can be designed in terms of hardware and/or software technology, in particular at least one processing unit, in particular a microprocessor unit, preferably connected to a memory and/or bus system with data or signals, in particular digital processing unit ( CPU), graphics card (GPU) or the like, and/or one or more programs or program modules.
  • the processing unit can be designed to process commands that are implemented as a program stored in a memory system, to detect input signals from a data bus and/or to deliver output signals to a data bus.
  • a storage system can have one or more, in particular different, storage media, in particular optical, magnetic, solid-state and/or other non-volatile media.
  • a computer program product can have, in particular, a storage medium, in particular a computer-readable and/or non-transitory storage medium, for storing a program or instructions or with a program or with instructions stored thereon.
  • executing this program or these instructions by a system or a controller causes the system or the controller, in particular the computer or computers, to implement a method described here or to carry out one or more of its steps, or the program or the instructions are set up for this purpose.
  • one or more, in particular all, steps of the method are carried out completely or partially automatically, in particular by the system or its means.
  • the system has the robot.
  • the warning area is or is specified in such a way that a collision between the robot and the environment is present or is likely, and/or the All-clear area is specified in such a way that there is no collision between the robot and the environment or is less likely.
  • the method comprises the step:
  • the path can advantageously be checked with the real robot, with moving after checking in augmented reality advantageously increasing the safety when moving with the robot.
  • system or its means has:
  • the method also includes operating the robot by traveling along the tested path with the robot, and can therefore in particular be a method for operating a robot.
  • the system in one embodiment can also be a system for operating a robot.
  • Fig. 1 a system for checking a predetermined path of a robot according to an embodiment of the present invention.
  • Fig. 2 a method for checking the predetermined path of the robot according to an embodiment of the present invention.
  • Fig. 1 shows a system for checking a predetermined path of a robot 1 using a visualization device in the form of an AR device 2 or a tablet 3 by a test person 4.
  • a real environment 6 of the robot is created using a detection device 5A or 5B arranged on the visualization device 2 or 3, preferably integrated or detachable, for example a 3D camera system, lidar sensor or the like recorded and in a step S20 using this
  • a computer-implemented environment model is determined.
  • the environment model can additionally or alternatively be created on the basis of target data of the environment or can only be provided, for example retrieved from a memory.
  • a distance between a computer-implemented model of the robot and the environmental model is determined for different sections, in one embodiment points, of the path, the path being specified, for example, using a simulated environment or by teaching.
  • the robot model can have geometry primitives in the form of cuboids, cylinders or the like, which are each assigned to one of the movable members of the robot and whose pose or position changes accordingly according to the respective section or path point or when the robot simulates the path changes.
  • the environment model can, for example, have a grid or an approximation surface that approximates a point cloud captured when capturing the real environment. The minimum distance between all these geometry primitives and the grid or the approximation surface is then determined as the distance between the robot and the environment model.
  • a virtual representation of the path is visualized using the visualization device 2 or 3 in an augmented reality for checking the path, for example the path of the TCP as a line and/or the geometry primitives when the path is simulated.
  • a warning is issued for a section of the railway if the distance determined for this section is in a predetermined warning range
  • an all-clear is issued for a section of the railway if the distance determined for this section is in a predetermined all-clear range, for example in the manner described above by highlighting corresponding sections or the like.
  • the tested path can be traversed with the real robot in a step S60.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

Ein Verfahren zum Prüfen einer vorgegebenen Bahn eines Roboters (1) umfasst die Schritte: Ermitteln (S20) oder Bereitstellen eines computerimplementierten dreidimensionalen Umgebungsmodells; Ermitteln (S30) eines Abstands zwischen einem computerimplementierten Modell des Roboters und dem Umgebungsmodell für verschiedene Abschnitte der Bahn; und Visualisieren (S40) einer virtuellen Repräsentation der Bahn mithilfe einer Visualisierungsvorrichtung (2; 3) in einer augmentierten Realität zum Prüfen der Bahn, wobei bei dieser Visualisierung für einen Abschnitt der Bahn eine Warnung ausgegeben wird, wenn der für diesen Abschnitt ermittelte Abstand in einem vorgegebenen Warnbereich liegt, und für einen Abschnitt der Bahn eine Entwarnung ausgegeben wird, wenn der für diesen Abschnitt ermittelte Abstand in einem vorgegebenen Entwarnbereich liegt.

Description

Beschreibung
Prüfen einer vorgegebenen Bahn eines Roboters
Die vorliegende Erfindung betrifft ein Verfahren und System zum Prüfen einer vorgegebenen Bahn eines Roboters sowie ein Computerprogramm bzw. Computerprogrammprodukt zur Durchführung des Verfahrens.
Roboterbahnen können insbesondere mithilfe einer simulierten Umgebung und/oder durch Einlernen („Teachen“), insbesondere von Bahnpunkten, vorgegeben werden.
Insbesondere zur Inbetriebnahme soll vorzugsweise vorab geprüft werden, ob ein realer Roboter beim Abfahren einer vorgegebenen Bahn mit seiner realen Umgebung kollidieren könnte oder würde, die sich von der simulierten Umgebung oder der realen Umgebung, wie sie beim Einlernen war, unterscheiden kann.
Aufgabe der vorliegenden Erfindung ist es, den Betrieb von Robotern, insbesondere (durch) das Prüfen vorgegebener Bahnen, zu verbessern.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Ansprüche 14, 15 stellen ein System bzw. Computerprogramm bzw.
Computerprogrammprodukt zur Durchführung eines hier beschriebenen Verfahrens, unter Schutz. Die Unteransprüche betreffen vorteilhafte Weiterbildungen.
Nach einer Ausführung der vorliegenden Erfindung umfasst ein Verfahren zum Prüfen einer vorgegebenen Bahn eines Roboters („Roboterbahn“) die Schritte:
Ermitteln oder Bereitstellen eines computerimplementierten dreidimensionalen Umgebungsmodells;
Ermitteln eines Abstands zwischen
- einem computerimplementierten Modell des Roboters und
- dem Umgebungsmodell für verschiedene Abschnitte der Bahn; und
Visualisieren einer virtuellen Repräsentation der Bahn mithilfe einer Visualisierungsvorrichtung in einer augmentierten Realität zum Prüfen der Bahn, wobei bei dieser Visualisierung - für einen Abschnitt der Bahn eine Warnung ausgegeben wird, wenn der für diesen Abschnitt ermittelte Abstand in einem vorgegebenen Warnbereich liegt, und
- für einen, insbesondere diesen, Abschnitt der Bahn (stattdessen) eine Entwarnung ausgegeben wird, wenn der für diesen Abschnitt ermittelte Abstand in einem vorgegebenen Entwarnbereich liegt.
Dadurch kann in einer Ausführung eine Prüfperson die vorgegebene Bahn zuverlässig(er) und/oder rasch(er) auf die Gefahr möglicher Kollisionen mit der realen Umgebung hin (über)prüfen. In einer Ausführung wird die Bahn, vorzugsweise durch die bzw. eine Prüfperson, mithilfe bzw. auf Basis der visualisierten virtuellen Repräsentation und der ausgegebenen Warnung und/oder Entwarnung geprüft, in einer Weiterbildung werden ein oder mehrere Abschnitte, für den bzw. die (jeweils) eine Warnung ausgegeben wird, speziell, insbesondere eingehend(er), genau(er) und/oder gesondert geprüft, insbesondere auf mögliche Kollisionen des Roboters mit der Umgebung, und die Bahn, insbesondere wenigstens diese(r) Abschnitt(e), gegebenenfalls modifiziert.
Der Roboter weist in einer Ausführung einen Roboterarm mit drei oder mehr, vorzugsweise wenigstens sechs, in einer Ausführung wenigstens sieben, Gelenken, in einer Weiterbildung Drehgelenken, die bewegliche Glieder des Roboters miteinander verbinden und durch Antriebe, insbesondere Motoren, des Roboters beweglich sind, und/oder eine mobile, insbesondere mithilfe wenigstens eines Antriebs, insbesondere Motors, des Roboters, verfahrbare Basis auf. Für solche Roboter ist die Erfindung, insbesondere aufgrund der damit möglichen komplexen Bahnen, besonders vorteilhaft. In einer Ausführung bildet ein robotergeführtes Werkzeug oder Werkstück ein (distales) bewegliches Glied des Roboters im Sinne der vorliegenden Erfindung bzw. weist das Modell des Roboters (auch) ein Modell eines robotergeführten Werkzeugs oder Werkstücks auf.
Die Bahn ist in einer Ausführung programmtechnisch bzw. durch ein Arbeitsprogramm vorgegeben und ist, insbesondere wird, in einer Weiterbildung mithilfe einer simulierten Umgebung und/oder durch Einlernen bzw. Teachen, insbesondere von Bahnpunkten, vorgegeben. Das dreidimensionale Umgebungsmodell umfasst in einer Ausführung, insbesondere dauerhaft oder temporär abgespeicherte Daten, die eine bzw. mehrere dreidimensionale Kontur(en) bzw. Geometrie(n) einer realen Umgebung des Roboters, insbesondere einer Roboterzelle, Fertigungs- oder Lagerhalle oder dergleichen, angeben bzw. beschreiben.
Das Modell des Roboters umfasst in einer Ausführung, insbesondere dauerhaft oder temporär abgespeicherte Daten, die die dreidimensionale(n) Kontur(en) bzw. Geometrie(n) des (realen) Roboters, insbesondere eines oder mehrerer seiner beweglichen Glieder angeben bzw. beschreiben. Wie vorstehend erwähnt, bildet in einer Ausführung ein robotergeführtes Werkzeug oder Werkstück ein (distales) bewegliches Glied des Roboters im Sinne der vorliegenden Erfindung bzw. weist das Modell des Roboters (auch) ein Modell eines robotergeführten Werkzeugs oder Werkstücks auf.
Ein Abschnitt der Bahn, für den eine Warnung bzw. Entwarnung ausgegeben wird, kann aus einem (Bahn)Punkt bestehen bzw. ein (Bahn)Punkt sein, für den der Abstand ermittelt wird.
In einer Ausführung erstreckt sich ein Abschnitt der Bahn, für den eine Warnung bzw. Entwarnung ausgegeben wird, ein- oder beidseitig über einen (Bahn)Punkt hinaus bzw. weist mehrere (Bahn)Punkte auf, er kann dabei kontinuierlich oder diskret sein, insbesondere eine kontinuierliche oder diskrete Punktefolge.
In einer Ausführung wird zum Ermitteln des Abstands für einen mehrere Punkte aufweisenden Abschnitt der Abstand eines ausgewählten dieser Punkte, beispielsweise eines Anfangs-, End- oder mittleren Punktes dieses Abschnitts (als Abstand dieses Abschnitts) ermittelt und in einer Weiterbildung der mehrere Punkte aufweisende Abschnitt entsprechend bzw. in Abhängigkeit von dem ermittelten Abstand dieses Punktes eingefärbt. Dadurch kann in einer Ausführung die Prüfung rasch(er) durchgeführt werden.
In einer Ausführung werden zum Ermitteln des Abstands für einen mehrere Punkte aufweisenden Abschnitt die Abstände von zwei oder mehr diskreter, insbesondere ausgewählter, Punkte dieses Abschnitts, beispielsweise eines Anfangs- und eines Endpunktes dieses Abschnitts, eines Anfangspunktes, eines Endpunktes und eines mittleren Punktes dieses Abschnitts oder dergleichen, ermittelt und der kleinste dieser Abstände als Abstand dieses Abschnitts ermittelt. Dadurch kann in einer Ausführung die Prüfung gleichermaßen rasch und präzise durchgeführt werden.
In einer Ausführung wird zum Ermitteln des Abstands für einen mehrere Punkte aufweisenden Abschnitt, insbesondere einen kontinuierlichen Abschnitt, der minimale Abstand bzw. der Abstand zu dem umgebungsmodellnächsten Punkt als Abstand dieses Abschnitts ermittelt. Dadurch kann in einer Ausführung die Prüfung präzise(r) durchgeführt werden.
In einer Weiterbildung wird ein Abschnitt, insbesondere ein aus einem oder mehreren Punkten bestehender, Abschnitt entsprechend bzw. in Abhängigkeit von dem ermittelten Abstand eingefärbt. Hierdurch kann in einer Ausführung die Präzision der Prüfung verbessert werden. Beispielsweise wird ein Punkt bzw. Abschnitt, insbesondere also ein einzelner Punkt oder ein mehrere Punkte aufweisender Abschnitt, rot eingefärbt, um eine Warnung auszugeben, und/oder grün eingefärbt, um eine Entwarnung auszugeben. Gleichermaßen kann die Färbung auch mehrstufig und/oder anders diskretisiert sein, beispielsweise in {rot, gelb, grün} oder dergleichen, insbesondere mit anderen Farben und/oder feiner diskretisiert, oder sich kontinuierlich mit dem maßgeblichen, insbesondere kleinsten, Abstand ändern, beispielsweise von rot für (zu) kleine Abstände hin zu grün für (ausreichend) große Abstände oder dergleichen.
In einer Ausführung umfasst das Verfahren den Schritt:
- Erfassen von Daten einer realen Umgebung des Roboters mithilfe einer, in einer Ausführung mobilen, in einer Weiterbildung, insbesondere von einer Person, tragbaren, Erfassungsvorrichtung; wobei das Umgebungsmodell auf Basis dieser erfassten Daten ermittelt wird.
Dadurch kann in einer Ausführung eine reale Umgebung des Roboters vorteilhaft bei der Prüfung berücksichtigt und so die Gefahr einer Kollision mit dieser besonders zuverlässig geprüft werden. In einer Ausführung ist die Erfassungsvorrichtung an der Visualisierungsvorrichtung, in einer Weiterbildung integriert oder lösbar, angeordnet. Dadurch kann in einer Ausführung vorteilhaft das Umgebungsmodell in situ bzw. zeitnah vor dem Visualisieren ermittelt werden und damit besonders aktuell und dadurch die Prüfung besonders zuverlässig bzw. aussagefähig sein.
In einer Ausführung wird die Erfassungsvorrichtung zum Erfassen der Daten relativ zu der realen Umgebung translatorisch und/oder rotatorisch und/oder manuell, insbesondere durch eine die Visualisierungsvorrichtung handhabenden Prüfperson, bewegt. Dadurch kann in einer Ausführung ein größerer Bereich der Umgebung und/oder die Umgebung präzise(r) erfasst werden und so die Prüfung besonders zuverlässig bzw. aussagefähig sein.
In einer Ausführung weist die Erfassungsvorrichtung einen oder mehrere berührungslos messende Abstandsmesser auf, in einer Weiterbildung einen oder mehrere Radar-Abstandsmesser, einen oder mehrere Ultraschall-Abstandsmesser und/oder einen oder mehrere Lidar-Abstandsmesser. Hierdurch kann in einer Ausführung das Umgebungsmodell präzise(r) ermittelt werden und so die Prüfung besonders zuverlässig bzw. aussagefähig sein. Dabei sind Lidar-Abstandsmesser besonders vorteilhaft, da diese kompakt bauen und präzise messen.
Zusätzlich oder alternativ weist die Erfassungsvorrichtung in einer Ausführung einen oder mehrere Kameras, in einer Weiterbildung ein 3D-Kamerasystem, welches in einer Ausführung wenigstens zwei bzw. Stereokameras, ein Triangulationssystem, bei dem wenigstens eine Lichtquelle ein definiertes Muster auf die Umgebung abbildet und wenigstens eine Kamera dieses Muster, vorzugsweise aus einem anderen Blickwinkel, aufnimmt, wenigstens eine TOF-Kamera, wenigstens eine Interferometrie-Kamera, wenigstens eine Lichtfeldkamera oder dergleichen aufweist, und/oder eine Bildauswertung auf. Hierdurch kann in einer Ausführung die Umgebung rasch(er) erfasst werden und so die Prüfung besonders rasch durchgeführt und/oder eine größere Umgebung berücksichtigt werden.
Alternativ oder besonders bevorzugt zusätzlich zur Ermittlung auf Basis der erfassten Daten der realen Umgebung wird das Umgebungsmodell in einer Ausführung auf Basis vorgegebener Soll-Daten, in einer Weiterbildung CAD-Daten, der Umgebung ermittelt. Durch die Berücksichtigung solcher Daten kann in einer Ausführung das Umgebungsmodell rasch(er) und/oder präzise(r) ermittelt werden.
In einer Ausführung wird das Modell des Roboters auf Basis vorgegebener Soll-Daten, in einer Weiterbildung auf Basis der vorgegebenen Bahn des Roboters und/oder auf Basis von CAD-Daten des Roboters, und/oder einer Vermessung des Roboters ermittelt. Durch die Berücksichtigung solcher Daten kann in einer Ausführung das Modell des Roboters rasch(er) und/oder präzise(r) ermittelt werden. In einer Ausführung weist das Modell des Roboters für die verschiedenen Abschnitte, insbesondere Punkte, der Bahn jeweils eine durch die vorgegebene Bahn vorgegebene Pose der Roboterglieder zueinander und/oder einem umgebungsfesten Bezugssystem, auf bzw. gibt eine solche an. Eine Pose bzw. Lage im Sinne der vorliegenden Erfindung umfasst in einer Ausführung eine ein-, zwei- oder dreidimensionale Position und/oder eine ein-, zwei- oder dreidimensionale Orientierung.
Wie vorstehend erläutert, bildet in einer Ausführung ein robotergeführtes Werkzeug oder Werkstück ein bewegliches Glied des Roboters im Sinne der vorliegenden Erfindung. Entsprechend weist in einer Ausführung das Modell des Roboters ein computerimplementiertes Modell eines robotergeführten Werkzeugs oder Werkstücks als bewegliches Glied des Roboters auf. Dadurch kann in einer Ausführung vorteilhaft die Gefahr einer Kollision eines robotergeführten Werkzeugs oder Werkstücks mit der Umgebung geprüft werden. Entsprechend wird in einer Ausführung das Modell des Roboters auf Basis vorgegebener Soll-Daten, in einer Weiterbildung CAD-Daten, des Werkzeugs oder Werkstücks, und/oder einer Vermessung des Werkzeugs oder Werkstücks ermittelt.
In einer Ausführung weist das Umgebungsmodell ein oder mehrere Geometrieprimitive in einer vorgegebenen Relation, insbesondere räumlichen Lage, zu einem realen Umgebungshindernis, insbesondere also zu mehreren realen Umgebungshindernissen jeweils wenigstens ein Geometrieprimitiv in einer vorgegebenen Relation, insbesondere räumlichen Lage, zu diesem realen Umgebungshindernis, auf. Zusätzlich oder alternativ weist in einer Ausführung das Modell des Roboters ein oder mehrere Geometrieprimitive in einer vorgegebenen Relation, insbesondere räumlichen Lage, zu einem Glied des Roboters, insbesondere also zu mehreren Gliedern des Roboters, vorzugsweise wenigstens einem Endeffektor, jeweils wenigstens ein Geometrieprimitiv in einer vorgegebenen Relation, insbesondere räumlichen Lage, zu diesem Roboterglied, auf. Dadurch können in einer Ausführung der bzw. die Abstände rasch(er) ermittelt werden. Ein Geometrieprimitiv im Sinne der vorliegenden Erfindung ist in einer Ausführung ein Polyeder, insbesondere Prisma, insbesondere Quader, oder ein Zylinder, Kegel, Ellipsoid, insbesondere eine Kugel, oder dergleichen. Dadurch können in einer Ausführung der bzw. die Abstände besonders rasch ermittelt werden.
In einer Ausführung wird das Umgebungsmodell mithilfe wenigstens einer Approximation von mithilfe der Erfassungsvorrichtung erfassten Merkmalen, insbesondere Punkten, besonders bevorzugt einer mithilfe der Erfassungsvorrichtung erfassten Punktewolke, ermittelt, in einer Weiterbildung mithilfe eines oder mehrerer Gitter und/oder einer oder mehrerer Approximationsflächen, insbesondere ebener Approximationsflächen und/oder ein- oder mehrfach gekrümmter Approximationsflächen, wobei solche Gitter bzw. Approximationsflächen in einer Ausführung durch Ausgleichs-, insbesondere Inter- bzw. Extrapolations-, Glättungs- und/oder andere Fittingfunktionen von mithilfe der Erfassungsvorrichtung erfassten Punkten ermittelt werden, insbesondere kann das Umgebungsmodell diese Approximation aufweisen. Durch eine solche Approximation kann die Umgebung in einer Ausführung jeweils besonders vorteilhaft, insbesondere rasch und/oder präzise, modelliert werden.
In einer Ausführung wird das Umgebungsmodell auf Basis des Roboters, insbesondere mithilfe von einer, insbesondere der, Erfassungsvorrichtung erfassten Daten des Roboters, und/oder auf Basis des Modells des Roboters ermittelt. In einer Weiterbildung wird dabei der gegebenenfalls bei der Erfassung von Daten der realen Umgebung des Roboters mithilfe der Erfassungsvorrichtung miterfasste Roboter wenigstens teilweise eliminiert bzw. ausgeblendet. Dadurch kann in einer Ausführung das Umgebungsmodell verbessert werden.
In einer Ausführung wird das Umgebungsmodell auf Basis einer Auswahl eines Umgebungsbereichs durch eine Prüfperson ermittelt. In einer Weiterbildung wird dabei ein durch die Prüfperson ausgewählter Umgebungsbereich durch das Umgebungsmodell nicht berücksichtigt, in einer Weiterbildung bereits nicht mithilfe der Erfassungsvorrichtung erfasst, und/oder nur ein durch die Prüfperson ausgewählter Umgebungsbereich durch das Umgebungsmodell berücksichtigt, in einer Weiterbildung nur dieser Umgebungsbereich mithilfe der Erfassungsvorrichtung erfasst. Dadurch kann in einer Ausführung das Umgebungsmodell verbessert und/oder rasch(er) ermittelt werden.
In einer Ausführung wird der Abstand zwischen dem Modell des Roboters und dem Umgebungsmodell für einen oder mehrere der verschiedenen Abschnitte der Bahn jeweils auf Basis eines minimalen Abstands zwischen
- einer imaginären Hülle eines ausgewählten beweglichen Glieds des Roboters, in einer Ausführung eines robotergeführten Werkzeugs oder Werkstücks, oder
- einer imaginären Hülle mehrerer, in einer Ausführung aller, beweglichen Glieder des Roboters, in einer Ausführung entsprechend inklusive eines robotergeführten Werkzeugs oder Werkstücks, und
- einer imaginären Hülle der gesamten durch das Umgebungsmodell beschriebenen Umgebung des Roboters oder
- einer imaginären Hülle eines ausgewählten Teilbereichs dieser Umgebung bzw. Hülle ermittelt, kann insbesondere der entsprechende Abstand sein.
Eine solche imaginäre Hülle ist in einer Ausführung wenigstens teilweise durch das Modell des Roboters bzw. Umgebungsmodell, in einer Ausführung ein oder mehrere der Geometrieprimitive des Robotermodells und/oder ein oder mehrere der Geometrieprimitive des Umgebungsmodells und/oder die Approximation von mithilfe der Erfassungsvorrichtung erfassten Punkten, mithilfe der das Umgebungsmodell ermittelt wird bzw. die das Umgebungsmodell aufweist, bestimmt, kann insbesondere wenigstens teilweise durch Oberflächen, Ecken, Kanten, Knoten, Koordinatenlinien oder dergleichen der Geometrieprimitive bzw. der Approximation, insbesondere des bzw. der Gitter(s) bzw. der Approximationsfläche(n) gebildet sein, und/oder einen vorgegebenen, insbesondere mittleren, minimalen und/oder maximalen, Abstand zu dem Roboter(glied) bzw. einer Oberfläche der Umgebung bzw. des Umgebungsbereichs und/oder einen vorgegebenen, insbesondere mittleren, minimalen und/oder maximalen, Abstand zu dem bzw. den Geometrieprimitiv(en), Gitter(n) bzw. Approximationsfläche(n) aufweisen bzw. entsprechend definiert bzw. vorgegeben sein bzw. werden. Eine imaginäre Hülle kann insbesondere kontinuierlich oder auch diskret sein. Somit kann beispielsweise der minimale Abstand zwischen Ecken, Kanten und/oder Flächen eines Geometrieprimitives des Robotermodells in Form eines Quaders und einem Gitter oder einer Approximationsfläche des Umgebungsmodells zum Ermitteln eines Abstands zwischen dem Modell des Roboters und dem Umgebungsmodell verwendet werden.
Indem der Abstand auf Basis eines minimalen Abstands einer imaginären Hülle eines ausgewählten beweglichen Glieds des Roboters bzw. eines ausgewählten Teilbereichs der gesamten durch das Umgebungsmodell beschriebenen Umgebung des Roboters ermittelt wird, kann in einer Ausführung die Ermittlung rasch(er) durchgeführt, insbesondere auf prima facie relevante Bereich beschränkt werden.
Indem der Abstand auf Basis eines minimalen Abstands einer imaginären Hülle mehrerer, in einer Ausführung aller, beweglichen Glieder des Roboters bzw. der gesamten durch das Umgebungsmodell beschriebenen Umgebung des Roboters ermittelt wird, kann in einer Ausführung die Prüfung zuverlässig(er) durchgeführt werden, insbesondere können auch mehrere verschiedene Kollisionsmöglichkeiten berücksichtigt werden.
In einer Ausführung ist die Visualisierungsvorrichtung eine mobile, insbesondere (durch eine Person, vorzugsweise mit einer Hand) tragbare, Visualisierungsvorrichtung, in einer Ausführung weist sie ein Handgerät, vorzugsweise ein Handheld, Tablet, Smartphone, einen Laptop oder dergleichen, und/oder eine Brille, insbesondere A(ugmented)R(eality)-Brille, auf. Dadurch kann in einer Ausführung die Prüfung in situ bzw. vor Ort durchgeführt und damit verbessert werden. In einer Ausführung ist die Visualisierungsvorrichtung (hard- und/oder softwaretechnisch) zum Steuern des Roboters eingerichtet bzw. wird (auch) hierzu verwendet. Dadurch kann in einer Ausführung eine Inbetriebnahme rasch(er) und/oder sicher(er) durchgeführt werden.
In einer Ausführung weist die (visualisierte) virtuelle Repräsentation der Bahn einen, in einer Ausführung kontinuierlichen, Weg eines roboterfesten Referenzpunkts, vorzugsweise eines Endeffektors des Roboters, und/oder eine Darstellung von einem oder mehreren, insbesondere allen, beweglichen Gliedern des Roboters auf, in einer Ausführung mittels bzw. durch Geometrieprimitive des Modells des Roboters. Die Darstellung des bzw. der Glieder des Roboters ändert sich in einer Ausführung während der Visualisierung entsprechend der vorgegebenen Bahn, entsprechend kann die virtuelle Repräsentation insbesondere eine virtuelle Simulation des Roboters bzw. Darstellung der Bewegung eines oder mehrerer seiner Glieder beim Abfahren der Bahn aufweisen.
Durch die Visualisierung des Wegs kann in einer Ausführung die Prüfung rasch(er) und/oder zuverlässig(er) durchgeführt werden, insbesondere eine Prüfperson die Bahn einfach(er), intuitiv(er) und/oder rasch(er) prüfen bzw. beurteilen. In einer Ausführung umfasst das Ausgeben einer Warnung bzw. Entwarnung das Hervorheben, vorzugsweise Einfärben und/oder Beleuchten, des entsprechenden Bahn- bzw. Wegabschnitts entsprechend des hierfür ermittelten Abstands, wobei verschiedenen Abständen unterschiedliche Hervorhebungen, vorzugsweise Farben bzw. Beleuchtungen, zugeordnet sein können, beispielsweise allen Abständen im Warnbereich die Farbe Rot und allen Abständen im Entwarnbereich die Farbe Grün, oder auch allen Abständen im Warnbereich die Farbe Rot, kleineren Abständen im Entwarnbereich die Farbe Gelb und größeren Abständen im Entwarnbereich die Farbe Grün, oder auch eine Farbe, die sich mit dem ermittelten Abstand kontinuierlich oder in mehreren diskreten Stufen ändert, und/oder Bahn- bzw. Wegabschnitte mit Abständen im Warnbereich leuchtend und Bahn- bzw. Wegabschnitte mit Abständen im Entwarnbereich nicht-leuchtend dargestellt werden bzw. sich die Beleuchtung mit den Abständen ändert.
Zusätzlich oder alternativ kann das Ausgeben einer Warnung bzw. Entwarnung das Hervorheben, vorzugsweise Einfärben und/oder Beleuchten, der Darstellung von einem oder mehreren, insbesondere allen, beweglichen Gliedern des Roboters entsprechend des für den jeweiligen Abschnitt ermittelten Abstands umfassen, wobei verschiedenen Abständen unterschiedliche Hervorhebungen, vorzugsweise Farben und/oder Beleuchtungen, zugeordnet sein können wie vorstehend beschrieben. Beispielsweise wird die Darstellung für bzw. längs Abschnitte(n) mit (zu) geringen Abständen rot und für bzw. längs Abschnitte(n) mit (ausreichend) großen Abständen grün eingefärbt, gleichermaßen kann sich die Farbe der Darstellung mit dem ermittelten Abstand kontinuierlich oder in mehreren diskreten Stufen ändern, und/oder die Darstellung für Abstände im Warnbereich leuchtend und im Entwarnbereich nichtleuchtend dargestellt werden bzw. sich deren Beleuchtung mit den Abständen ändert.
Gleichermaßen kann das Hervorheben bzw. Ausgeben einer Warnung bzw. Entwarnung in einer Ausführung eine Stilart des entsprechenden Bahn- bzw. Wegabschnitts bzw. der Darstellung entsprechend des hierfür ermittelten Abstands umfassen, wobei verschiedenen Abständen unterschiedliche Stile zugeordnet sein können, beispielsweise allen Abständen im Warnbereich dicke und/oder durchgezogene Linien und allen Abständen im Entwarnbereich dünne und/oder gestrichelte Linien, wobei natürlich auch eine Vielzahl anderer Stile verwendet werden kann, beispielsweise eine Strichstärke sich mit dem Abstand kontinuierlich oder in diskreten Stufen ändern kann oder dergleichen.
Durch die Hervorhebung, insbesondere Färbung und/oder Beleuchtung, des Wegs kann in einer Ausführung eine Prüfperson die Bahn rasch(er) prüfen bzw. beurteilen, durch die Hervorhebung, insbesondere Färbung und/oder Beleuchtung, der Darstellung des bzw. der Roboterglieder i ntuitiv(er), durch die Variation der Stilart die Visualisierung vereinfacht und/oder ihre Erkennbarkeit verbessert werden.
In einer Ausführung wird für das Visualisieren eines Abschnitts der Bahn eine erste virtuelle Repräsentation verwendet, wenn der für diesen Abschnitt ermittelte Abstand in dem Warnbereich liegt, und für das Visualisieren dieses Abschnitts der Bahn eine hiervon verschiedene zweite virtuelle Repräsentation verwendet, wenn der für diesen Abschnitt ermittelte Abstand in dem Entwarnbereich liegt. Beispielsweise kann, wie an anderer Stelle erläutert, für das Visualisieren eines Abschnitts der Bahn eine erste virtuelle Repräsentation verwendet werden, die einen rot gefärbten Wegabschnitt eines roboterfesten Referenzpunkts aufweist, wenn der für diesen Abschnitt ermittelte Abstand in dem Warnbereich liegt, und für das Visualisieren dieses Abschnitts der Bahn eine hiervon verschiedene zweite virtuelle Repräsentation verwendet werden, die einen grün gefärbten Wegabschnitt des roboterfesten Referenzpunkts aufweist, wenn der für diesen Abschnitt ermittelte Abstand in dem Entwarnbereich liegt. In einer Weiterbildung wird für das Visualisieren eines Abschnitts der Bahn eine erste virtuelle Repräsentation verwendet, wenn der für diesen Abschnitt ermittelte Abstand in einem Teil des Warnbereichs liegt, und für das Visualisieren dieses Abschnitts der Bahn eine andere erste virtuelle Repräsentation verwendet, wenn der für diesen Abschnitt ermittelte Abstand in einem anderen Teil des Warnbereichs liegt. Zusätzlich oder alternativ wird in einer Weiterbildung für das Visualisieren eines Abschnitts der Bahn eine zweite virtuelle Repräsentation verwendet, wenn der für diesen Abschnitt ermittelte Abstand in einem Teil des Entwarnbereichs liegt, und für das Visualisieren dieses Abschnitts der Bahn eine andere zweite virtuelle Repräsentation verwendet, wenn der für diesen Abschnitt ermittelte Abstand in einem anderen Teil des Entwarnbereichs liegt.
Beispielsweise kann für das Visualisieren eines Abschnitts der Bahn eine erste virtuelle Repräsentation verwendet werden, die einen dicken und/oder rot gefärbten Wegabschnitt eines roboterfesten Referenzpunkts aufweist, wenn der für diesen Abschnitt ermittelte Abstand in dem Warnbereich liegt, eine andere erste virtuelle Repräsentation verwendet werden, die einen dünneren und/oder orange gefärbten Wegabschnitt des Referenzpunkts aufweist, wenn der für diesen Abschnitt ermittelte Abstand größer ist, aber noch in dem Warnbereich liegt, eine zweite virtuelle Repräsentation verwendet werden, die einen dicken und/oder gelb gefärbten Wegabschnitt des Referenzpunkts aufweist, wenn der für diesen Abschnitt ermittelte Abstand in dem Entwarnbereich liegt, und eine andere zweite virtuelle Repräsentation verwendet werden, die einen dünneren und/oder grün gefärbten Wegabschnitt des Referenzpunkts aufweist, wenn der für diesen Abschnitt ermittelte Abstand in dem Warnbereich liegt, aber größer ist.
Die oben genannten Farben, Beleuchtungen bzw. Stilarten und Einteilungen sind natürlich nur exemplarisch, wobei eine Vielzahl anderer Diskretisierungen und/oder Warnungen bzw. Entwarnungen möglich sind.
In einer Ausführung werden beim Visualisieren der virtuellen Repräsentation der Bahn ein oder mehrere Parameter der Bahn ausgegeben, in einer Ausführung eine Geschwindigkeit und/oder wenigstens ein Parameter, beispielsweise eine Geschwindigkeit, für wenigstens einen, insbesondere von einer Prüfperson, ausgewählten Abschnitt, insbesondere Punkt, der Bahn und/oder wenigstens ein Parameter, beispielsweise eine Geschwindigkeit, für einen beim Visualisieren gerade bzw. aktuell simuliert ab- bzw. angefahrenen Abschnitt, insbesondere Punkt, der Bahn.
Zusätzlich oder alternativ wird beim Visualisieren in einer Ausführung ein Wert des ermittelten Abstands für wenigstens einen Abschnitt der Bahn, insbesondere eines global minimalen Abstands und/oder eines Abstands für einen, insbesondere von einer Prüfperson, ausgewählten Abschnitt, insbesondere Punkt, der Bahn und/oder für einen beim Visualisieren gerade bzw. aktuell simuliert abgefahrenen Abschnitt, insbesondere simuliert angefahrenen Punkt, der Bahn, ausgegeben.
Die Ausgabe eines Parameters und/oder eines Abstandswertes erfolgt in einer Ausführung numerisch, akustisch und/oder symbolisch. Beispielsweise kann eine Fahrtrichtung durch einen Pfeil ausgegeben werden, eine TCP-Geschwindigkeit durch eine entsprechende Zahlenangabe, ein Abstandswert symbolisch durch eine entsprechende Linie, insbesondere Bemaßungslinie mit, beispielsweise durch Pfeile, Querstriche oder dergleichen, symbolisierten Enden, und/oder numerisch durch eine entsprechende Zahlenangabe, und/oder ein Parameter bzw. Abstandswert akustisch, insbesondere durch verschiedene Tonhöhen in Bezug auf einen Referenzton, insbesondere einen Referenzton, der einem Nullwert des Parameters bzw. Abstandswerts entspricht.
Durch eines oder mehrere der vorstehend genannten Merkmale kann in einer Ausführung eine Prüfperson die Bahn rasch(er) und/oder zuverlässig(er) prüfen bzw. beurteilen.
Je nach Ergebnis der Prüfung wird die Bahn in einer Ausführung modifiziert, in einer Weiterbildung durch (Ein- bzw. Vorgaben durch) die Prüfperson oder auch automatisch. Dann kann ein hier beschriebenes Verfahren für die bzw. mit der modifizierte(n) Bahn erneut durchgeführt werden, um in analoger Weise diese modifizierte Bahn zu prüfen, wobei dabei in einer Weiterbildung erneut Daten der realen Umgebung erfasst und das Umgebungsmodell auf Basis dieser Daten erneut ermittelt wird, was vorteilhaft Veränderungen der realen Umgebung berücksichtigen kann, in einer anderen Weiterbildung stattdessen das zuvor verwendete Umgebungsmodell weiterverwendet bzw. (erneut) bereitgestellt wird, was vorteilhaft Aufwand und Zeitbedarf reduzieren kann. Die Erfindung kann mit besonderem Vorteil beim bzw. zum Inbetriebnehmen des Roboters zum Abfahren der vorgegebenen Bahn durchgeführt werden, da hier besonders vorteilhaft die Sicherheit erhöht und/oder Aufwand und/oder Zeit reduziert werden kann, sie ist jedoch nicht hierauf beschränkt.
Nach einer Ausführung der vorliegenden Erfindung ist ein System, insbesondere hard- und/oder software-, insbesondere programmtechnisch, zur Durchführung eines hier beschriebenen Verfahrens eingerichtet und/oder weist auf:
- Mittel zum Ermitteln oder Bereitstellen eines computerimplementierten dreidimensionalen Umgebungsmodells;
- Mittel zum Ermitteln eines Abstands zwischen einem computerimplementierten Modell des Roboters und dem Umgebungsmodell für verschiedene Abschnitte der Bahn; und
- eine Visualisierungsvorrichtung zum Visualisieren einer virtuellen Repräsentation der Bahn in einer augmentierten Realität zum Prüfen der Bahn, wobei bei dieser Visualisierung für einen Abschnitt der Bahn eine Warnung ausgegeben wird, wenn der für diesen Abschnitt ermittelte Abstand in einem vorgegebenen Warnbereich liegt, und für einen Abschnitt der Bahn eine Entwarnung ausgegeben wird, wenn der für diesen Abschnitt ermittelte Abstand in einem vorgegebenen Entwarnbereich liegt.
In einer Ausführung weist das System bzw. sein(e) Mittel auf:
- eine, insbesondere mobile, insbesondere tragbare, Erfassungsvorrichtung zum Erfassen von Daten einer realen Umgebung des Roboters und Mittel zum Ermitteln des Umgebungsmodells auf Basis dieser erfassten Daten, insbesondere mithilfe wenigstens einer Approximation von mithilfe der Erfassungsvorrichtung erfassten Punkten, wobei die Erfassungsvorrichtung in einer Ausführung an der Visualisierungsvorrichtung angeordnet ist und/oder wenigstens einen berührungslos messenden Abstandsmesser, insbesondere wenigstens einen Lidar-, Radar- oder Ultraschall-Abstandsmesser, und/oder wenigstens eine Kamera, insbesondere ein 3D-Kamerasystem, und/oder eine Bildauswertung aufweist; und/oder
- Mittel zum Ermitteln des Umgebungsmodells auf Basis vorgegebener Soll-Daten, insbesondere CAD-Daten, der Umgebung und/oder auf Basis des Roboters, insbesondere mithilfe einer, insbesondere der, Erfassungsvorrichtung erfassten Daten des Roboters, und/oder auf Basis des Modells des Roboters und/oder auf Basis einer Auswahl eines Umgebungsbereichs durch eine Prüfperson; und/oder
- Mittel zum Ermitteln des Modells des Roboters auf Basis vorgegebener Soll-Daten, insbesondere der vorgegebenen Bahn des Roboters und/oder CAD-Daten des Roboters, und/oder einer Vermessung des Roboters; und/oder
- Mittel zum Ermitteln des Abstands zwischen dem Modell des Roboters und dem Umgebungsmodell für wenigstens einen der verschiedenen Abschnitte der Bahn auf Basis eines minimalen Abstands zwischen einer imaginären Hülle eines ausgewählten beweglichen Glieds des Roboters oder einer imaginären Hülle mehrerer, insbesondere aller, beweglichen Glieder des Roboters und einer imaginären Hülle der gesamten durch das Umgebungsmodell beschriebenen Umgebung des Roboters oder eines ausgewählten Teilbereichs hiervon; und/oder
- Mittel zum Verwenden einer ersten virtuellen Repräsentation für das Visualisieren eines Abschnitts der Bahn, wenn der für diesen Abschnitt ermittelte Abstand in dem Warnbereich, insbesondere einem Teil des Warnbereichs, liegt, und einer hiervon verschiedenen zweiten virtuellen Repräsentation, wenn der für diesen Abschnitt ermittelte Abstand in dem Entwarnbereich, insbesondere einem Teil des Entwarnbereichs, liegt, insbesondere einer anderen ersten virtuellen Repräsentation, wenn der für diesen Abschnitt ermittelte Abstand in einem anderen Teil des Warnbereichs liegt, und/oder einer anderen zweiten virtuellen Repräsentation, wenn der für diesen Abschnitt ermittelte Abstand in einem anderen Teil des Entwarnbereichs liegt; und/oder
- Mittel zum Ausgeben wenigstens eines Parameters der Bahn, insbesondere einer Geschwindigkeit und/oder für wenigstens einen ausgewählten Abschnitt der Bahn und/oder für einen beim Visualisieren simuliert ab- bzw. angefahrenen Abschnitt, insbesondere Punkt, der Bahn, und/oder eines Werts des ermittelten Abstands für wenigstens einen Abschnitt der Bahn, insbesondere eines global minimalen Abstands und/oder eines Abstands für einen ausgewählten Abschnitt der Bahn und/oder für einen beim Visualisieren simuliert ab- bzw. angefahrenen Abschnitt, insbesondere Punkt, der Bahn, beim Visualisieren der virtuellen Repräsentation der Bahn, insbesondere numerisch und/oder symbolisch; und/oder
- Mittel zum Modifizieren der Bahn. Ein System und/oder ein Mittel im Sinne der vorliegenden Erfindung kann hard- und/oder softwaretechnisch ausgebildet sein, insbesondere wenigstens eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbesondere Mikroprozessoreinheit (CPU), Graphikkarte (GPU) oder dergleichen, und/oder ein oder mehrere Programme oder Programmmodule aufweisen. Die Verarbeitungseinheit kann dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten, Eingangssignale von einem Datenbus zu erfassen und/oder Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere, insbesondere verschiedene, Speichermedien, insbesondere optische, magnetische, Festkörper- und/oder andere nicht-flüchtige Medien aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, sodass die Verarbeitungseinheit die Schritte solcher Verfahren ausführen kann und damit insbesondere die virtuelle Repräsentation der Bahn visualisieren bzw. die Warnung bzw. Entwarnung ausgeben kann. Ein Computerprogrammprodukt kann in einer Ausführung ein, insbesondere computerlesbares und/oder nicht-flüchtiges, Speichermedium zum Speichern eines Programms bzw. von Anweisungen bzw. mit einem darauf gespeicherten Programm bzw. mit darauf gespeicherten Anweisungen aufweisen, insbesondere sein. In einer Ausführung veranlasst ein Ausführen dieses Programms bzw. dieser Anweisungen durch ein System bzw. eine Steuerung, insbesondere einen Computer oder eine Anordnung von mehreren Computern, das System bzw. die Steuerung, insbesondere den bzw. die Computer, dazu, ein hier beschriebenes Verfahren bzw. einen oder mehrere seiner Schritte auszuführen, bzw. sind das Programm bzw. die Anweisungen hierzu eingerichtet.
In einer Ausführung werden ein oder mehrere, insbesondere alle, Schritte des Verfahrens vollständig oder teilweise automatisiert durchgeführt, insbesondere durch das System bzw. sein(e) Mittel.
In einer Ausführung weist das System den Roboter auf. In einer Ausführung ist bzw. wird der Warnbereich so bzw. derart vorgegeben, dass bei diesem eine Kollision zwischen Roboter und Umgebung vorliegt oder wahrscheinlich(er) ist, und/oder der Entwarnbereich so bzw. derart vorgegeben, dass bei diesem keine Kollision zwischen Roboter und Umgebung vorliegt oder wenig(er) wahrscheinlich ist.
In einer Ausführung weist das Verfahren den Schritt auf:
- Abfahren der geprüften Bahn mit dem Roboter.
Dadurch kann die Bahn in einer Ausführung vorteilhaft mit dem realen Roboter überprüft werden, wobei das Abfahren nach dem Prüfen in der augmentierten Realität vorteilhafterweise die Sicherheit beim Abfahren mit dem Roboter erhöht.
Entsprechend weist in einer Ausführung das System bzw. sein(e) Mittel auf:
- Mittel zum Abfahren der geprüften Bahn mit dem Roboter.
In einer Ausführung umfasst das Verfahren auch ein Betreiben des Roboters mit Abfahren der geprüften Bahn mit dem Roboter, kann also insbesondere ein Verfahren zum Betreiben eines bzw. des Roboters sein. Entsprechend kann auch das System in einer Ausführung ein System zum Betreiben eines bzw. des Roboters sein.
Weitere Vorteile und Merkmale ergeben sich aus den Unteransprüchen und den Ausführungsbeispielen. Hierzu zeigt, teilweise schematisiert:
Fig. 1 : ein System zum Prüfen einer vorgegebenen Bahn eines Roboters nach einer Ausführung der vorliegenden Erfindung; und
Fig. 2: ein Verfahren zum Prüfen der vorgegebenen Bahn des Roboters nach einer Ausführung der vorliegenden Erfindung.
Fig. 1 zeigt ein System zum Prüfen einer vorgegebenen Bahn eines Roboters 1 mithilfe einer Visualisierungsvorrichtung in Form einer AR-Bri Ile 2 oder eines T ablets 3 durch eine Prüfperson 4.
In einem Schritt S10 (vgl. Fig.2) wird mithilfe einer an der Visualisierungsvorrichtung 2 bzw. 3, vorzugsweise integriert oder lösbar, angeordneten Erfassungsvorrichtung 5A bzw. 5B, beispielsweise einem 3D-Kamerasystem, Lidarsensor oder dergleichen, eine reale Umgebung 6 des Roboters erfasst und in einem Schritt S20 mithilfe dieser Daten ein computerimplementiertes Umgebungsmodell ermittelt. In einer nicht dargestellten Abwandlung kann das Umgebungsmodell zusätzlich oder alternativ auf Basis von Soll-Daten der Umgebung erstellt oder nur bereitgestellt, beispielsweise aus einem Speicher abgerufen, werden.
In einem Schritt S30 werden für verschiedene Abschnitte, in einer Ausführung Punkte, der Bahn jeweils ein Abstand zwischen einem computerimplementierten Modell des Roboters und dem Umgebungsmodell ermittelt, wobei die Bahn beispielsweise mithilfe einer simulierten Umgebung oder durch Einlernen bzw. Teachen vorgegeben wurde.
Beispielsweise kann das Robotermodell Geometrieprimitive in Form von Quadern, Zylindern oder dergleichen aufweisen, die jeweils einem der beweglichen Glieder des Roboters zugeordnet sind und deren Pose bzw. Lage sich entsprechend des jeweiligen Abschnitts bzw. Bahnpunkts bzw. beim simulierten Abfahren der Bahn durch den Roboter entsprechend ändert. Das Umgebungsmodell kann beispielsweise ein Gitter oder eine Approximationsfläche aufweisen, das bzw. die eine beim Erfassen der realen Umgebung erfasste Punktewolke approximiert. Als Abstand zwischen Roboter- und Umgebungsmodell wird dann beispielsweise der minimale Abstand zwischen all diesen Geometrieprimitiven und dem Gitter bzw. der Approximationsfläche ermittelt.
In einem Schritt S40 wird eine virtuelle Repräsentation der Bahn mithilfe der Visualisierungsvorrichtung 2 bzw. 3 in einer augmentierten Realität zum Prüfen der Bahn visualisiert, beispielsweise der Weg des TCPs als Linie und/oder die Geometrieprimitive beim simulierten Abfahren der Bahn.
Bei dieser Visualisierung wird für einen Abschnitt der Bahn eine Warnung ausgegeben, wenn der für diesen Abschnitt ermittelte Abstand in einem vorgegebenen Warnbereich liegt, und für einen Abschnitt der Bahn eine Entwarnung ausgegeben, wenn der für diesen Abschnitt ermittelte Abstand in einem vorgegebenen Entwarnbereich liegt, beispielsweise in vorstehend beschriebener Weise mittels Hervorheben von entsprechenden Abschnitten oder dergleichen. Mithilfe dieser visualisierten virtuellen Repräsentation und der ausgegebenen Warnungen bzw. Entwarnungen kann die Prüfperson 4 in Schritt S40 prüfen, ob die Gefahr einer Kollision des Roboters 1 mit der Umgebung beim Abfahren der vorgegebenen Bahn vorliegt bzw. wie groß diese ist.
Dabei kann sie sich vorteilhaft auf die Abschnitte beschränken bzw. konzentrieren, für die eine Warnung ausgegeben wird, und diese genaue(er) prüfen und die Bahn gegebenenfalls, insbesondere in solchen Abschnitten, in einem Schritt S50 modifizieren, woraufhin die Schritte S30, S40 und gegebenenfalls S50 erneut durchgeführt werden können.
Die geprüfte Bahn kann in einem Schritt S60 mit dem realen Roboter abgefahren werden.
Obwohl in der vorhergehenden Beschreibung exemplarische Ausführungen erläutert wurden, sei darauf hingewiesen, dass eine Vielzahl von Abwandlungen möglich ist. Außerdem sei darauf hingewiesen, dass es sich bei den exemplarischen Ausführungen lediglich um Beispiele handelt, die den Schutzbereich, die Anwendungen und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die Umsetzung von mindestens einer exemplarischen Ausführung gegeben, wobei diverse Änderungen, insbesondere in Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten Merkmalskombinationen ergibt.
Bezuqszeichenliste
1 Roboter
2 AR-Brille 3 T ablet
4 Prüfperson
5A; 5B Erfassungsvorrichtung
6 Umgebung
TCP Tool Center Point

Claims

Patentansprüche
1. Verfahren zum Prüfen einer vorgegebenen Bahn eines Roboters (1), mit den Schritten:
- Ermitteln (S20) oder Bereitstellen eines computerimplementierten dreidimensionalen Umgebungsmodells;
- Ermitteln (S30) eines Abstands zwischen einem computerimplementierten Modell des Roboters und dem Umgebungsmodell für verschiedene Abschnitte der Bahn; und
- Visualisieren (S40) einer virtuellen Repräsentation der Bahn mithilfe einer Visualisierungsvorrichtung (2; 3) in einer augmentierten Realität zum Prüfen der Bahn, wobei bei dieser Visualisierung für einen Abschnitt der Bahn eine Warnung ausgegeben wird, wenn der für diesen Abschnitt ermittelte Abstand in einem vorgegebenen Warnbereich liegt, und für einen Abschnitt der Bahn eine Entwarnung ausgegeben wird, wenn der für diesen Abschnitt ermittelte Abstand in einem vorgegebenen Entwarnbereich liegt.
2. Verfahren nach dem vorhergehenden Anspruch, gekennzeichnet durch den Schritt:
- Erfassen (S10) von Daten einer realen Umgebung des Roboters mithilfe einer, insbesondere mobilen, insbesondere tragbaren, Erfassungsvorrichtung; wobei das Umgebungsmodell auf Basis dieser erfassten Daten ermittelt wird, insbesondere mithilfe wenigstens einer Approximation von mithilfe der Erfassungsvorrichtung erfassten Merkmalen, insbesondere Punkten.
3. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die Erfassungsvorrichtung an der Visualisierungsvorrichtung angeordnet ist und/oder zum Erfassen der Daten relativ zu der realen Umgebung translatorisch und/oder rotatorisch und/oder manuell bewegt wird und/oder wenigstens einen berührungslos messenden Abstandsmesser, insbesondere wenigstens einen Lidar-, Radar- oder Ultraschall-Abstandsmesser, und/oder wenigstens eine Kamera, insbesondere ein 3D-Kamerasystem, und/oder eine Bildauswertung aufweist.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Umgebungsmodell auf Basis vorgegebener Soll-Daten, insbesondere CAD-Daten, der Umgebung ermittelt wird und/oder wenigstens ein dreidimensionales Geometrieprimitiv in einer vorgegebenen Relation zu einem realem Umgebungshindernis aufweist und/oder das Modell des Roboters auf Basis vorgegebener Soll-Daten, insbesondere der vorgegebenen Bahn des Roboters und/oder CAD-Daten des Roboters, und/oder einer Vermessung des Roboters ermittelt wird und/oder wenigstens ein dreidimensionales Geometrieprimitiv in einer vorgegebenen Relation zu einem Glied des Roboters aufweist und/oder das Modell des Roboters ein computerimplementiertes Modell eines robotergeführten Werkzeugs oder Werkstücks als bewegliches Glied des Roboters aufweist. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Umgebungsmodell auf Basis des Roboters, insbesondere mithilfe einer, insbesondere der, Erfassungsvorrichtung erfassten Daten des Roboters, und/oder auf Basis des Modells des Roboters und/oder auf Basis einer Auswahl eines Umgebungsbereichs durch eine Prüfperson ermittelt wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Abstand zwischen dem Modell des Roboters und dem Umgebungsmodell für wenigstens einen der Abschnitte der Bahn auf Basis eines minimalen Abstands zwischen einer imaginären Hülle eines ausgewählten beweglichen Glieds des Roboters oder einer imaginären Hülle mehrerer, insbesondere aller, beweglichen Glieder des Roboters und einer imaginären Hülle der gesamten durch das Umgebungsmodell beschriebenen Umgebung des Roboters oder eines ausgewählten Teilbereichs hiervon ermittelt wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Visualisierungsvorrichtung eine mobile, insbesondere tragbare, Visualisierungsvorrichtung ist, insbesondere ein Handgerät, insbesondere ein Smartphone, und/oder eine Brille aufweist, und/oder die Visualisierungsvorrichtung zum Steuern des Roboters eingerichtet ist. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die virtuelle Repräsentation der Bahn einen, insbesondere kontinuierlichen, Weg eines roboterfesten Referenzpunkts, insbesondere eines Endeffektors, und/oder eine Darstellung von einem oder mehreren, insbesondere allen, beweglichen Gliedern des Roboters, insbesondere eine Simulation des Roboters beim Abfahren der Bahn, aufweist.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für das Visualisieren eines Abschnitts der Bahn eine erste virtuelle Repräsentation verwendet wird, wenn der für diesen Abschnitt ermittelte Abstand in dem Warnbereich, insbesondere einem Teil des Warnbereichs, liegt, und für das Visualisieren dieses Abschnitts der Bahn eine hiervon verschiedene zweite virtuelle Repräsentation verwendet wird, wenn der für diesen Abschnitt ermittelte Abstand in dem Entwarnbereich, insbesondere einem Teil des Entwarnbereichs, liegt.
10. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass für das Visualisieren dieses Abschnitts der Bahn eine andere erste virtuelle Repräsentation verwendet wird, wenn der für diesen Abschnitt ermittelte Abstand in einem anderen Teil des Warnbereichs liegt, und/oder für das Visualisieren dieses Abschnitts der Bahn eine andere zweite virtuelle Repräsentation verwendet wird, wenn der für diesen Abschnitt ermittelte Abstand in einem anderen Teil des Entwarnbereichs liegt.
11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass beim Visualisieren der virtuellen Repräsentation der Bahn wenigstens ein Parameter der Bahn, insbesondere eine Geschwindigkeit und/oder für wenigstens einen ausgewählten Abschnitt der Bahn und/oder für einen beim Visualisieren simuliert ab- bzw. angefahrenen Abschnitt, insbesondere Punkt, der Bahn, und/oder ein Wert des ermittelten Abstands für wenigstens einen Abschnitt der Bahn, insbesondere eines global minimalen Abstands und/oder eines Abstands für einen ausgewählten Abschnitt der Bahn und/oder für einen beim Visualisieren simuliert ab- bzw. angefahrenen Abschnitt, insbesondere Punkt, der Bahn, insbesondere numerisch und/oder akustisch und/oder symbolisch, ausgegeben wird.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bahn mithilfe der visualisierten virtuellen Repräsentation und der ausgegebenen Warnung und/oder Entwarnung geprüft wird, insbesondere ein Abschnitt, für den eine Warnung ausgegeben wird, speziell geprüft wird und/oder die Bahn, insbesondere wenigstens dieser Abschnitt, gegebenenfalls modifiziert wird (S50) und/oder die geprüfte Bahn mit dem Roboter abgefahren wird (S60).
13. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass eine virtuelle Repräsentation der modifizierten Bahn mithilfe der Visualisierungsvorrichtung in der augmentierten Realität zum Prüfen der modifizierten Bahn visualisiert wird (S40), wobei bei dieser Visualisierung für einen Abschnitt der modifizierten Bahn eine Warnung ausgegeben wird, wenn der für diesen Abschnitt ermittelte Abstand in einem vorgegebenen Warnbereich liegt, und für einen Abschnitt der modifizierten Bahn eine Entwarnung ausgegeben wird, wenn der für diesen Abschnitt ermittelte Abstand in einem vorgegebenen Entwarnbereich liegt.
14. System zum Prüfen einer vorgegebenen Bahn eines Roboters (1), das zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist und/oder aufweist:
- Mittel zum Ermitteln oder Bereitstellen eines computerimplementierten dreidimensionalen Umgebungsmodells;
- Mittel zum Ermitteln eines Abstands zwischen einem computerimplementierten Modell des Roboters und dem Umgebungsmodell für verschiedene Abschnitte der Bahn; und
- eine Visualisierungsvorrichtung (2; 3) zum Visualisieren einer virtuellen Repräsentation der Bahn in einer augmentierten Realität zum Prüfen der Bahn, wobei bei dieser Visualisierung für einen Abschnitt der Bahn eine Warnung ausgegeben wird, wenn der für diesen Abschnitt ermittelte Abstand in einem vorgegebenen Warnbereich liegt, und für einen Abschnitt der Bahn eine Entwarnung ausgegeben wird, wenn der für diesen Abschnitt ermittelte Abstand in einem vorgegebenen Entwarnbereich liegt.
15. Computerprogramm oder Computerprogrammprodukt, wobei das Computerprogramm oder Computerprogrammprodukt, insbesondere auf einem computerlesbaren und/oder nicht-flüchtigen Speichermedium gespeicherte, Anweisungen enthält, die bei der Ausführung durch einen oder mehrere Computer oder ein System nach Anspruch 14 den oder die Computer oder das System dazu veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 13 durchzuführen.
EP23711436.8A 2022-03-15 2023-03-13 Prüfen einer vorgegebenen bahn eines roboters Pending EP4493360A1 (de)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
DE102022202562.8A DE102022202562B4 (de) 2022-03-15 2022-03-15 Ermitteln wenigstens einer Grenze für ein Betreiben eines Roboters
DE102022202564.4A DE102022202564B4 (de) 2022-03-15 2022-03-15 Prüfen einer Sicherheitskonfiguration eines Roboters
DE102022202569.5A DE102022202569B3 (de) 2022-03-15 2022-03-15 Prüfen einer vorgegebenen Bahn eines Roboters
DE102022202563.6A DE102022202563B3 (de) 2022-03-15 2022-03-15 Planen einer Bahn eines Roboters
DE102022202571.7A DE102022202571B3 (de) 2022-03-15 2022-03-15 Prüfen einer vorgegebenen Bahn eines Roboters
PCT/EP2023/056355 WO2023174873A1 (de) 2022-03-15 2023-03-13 Prüfen einer vorgegebenen bahn eines roboters

Publications (1)

Publication Number Publication Date
EP4493360A1 true EP4493360A1 (de) 2025-01-22

Family

ID=85685110

Family Applications (5)

Application Number Title Priority Date Filing Date
EP23711437.6A Pending EP4493361A1 (de) 2022-03-15 2023-03-13 Ermitteln wenigstens einer grenze für ein betreiben eines roboters
EP23711438.4A Pending EP4493362A1 (de) 2022-03-15 2023-03-13 Planen einer bahn eines roboters
EP23711439.2A Withdrawn EP4494106A1 (de) 2022-03-15 2023-03-13 Prüfen einer vorgegebenen bahn eines roboters
EP23711436.8A Pending EP4493360A1 (de) 2022-03-15 2023-03-13 Prüfen einer vorgegebenen bahn eines roboters
EP23711435.0A Pending EP4494105A1 (de) 2022-03-15 2023-03-13 Prüfen einer sicherheitskonfiguration eines roboters

Family Applications Before (3)

Application Number Title Priority Date Filing Date
EP23711437.6A Pending EP4493361A1 (de) 2022-03-15 2023-03-13 Ermitteln wenigstens einer grenze für ein betreiben eines roboters
EP23711438.4A Pending EP4493362A1 (de) 2022-03-15 2023-03-13 Planen einer bahn eines roboters
EP23711439.2A Withdrawn EP4494106A1 (de) 2022-03-15 2023-03-13 Prüfen einer vorgegebenen bahn eines roboters

Family Applications After (1)

Application Number Title Priority Date Filing Date
EP23711435.0A Pending EP4494105A1 (de) 2022-03-15 2023-03-13 Prüfen einer sicherheitskonfiguration eines roboters

Country Status (4)

Country Link
US (2) US20250196352A1 (de)
EP (5) EP4493361A1 (de)
CN (2) CN119212831A (de)
WO (5) WO2023174876A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023134416B3 (de) * 2023-12-08 2025-03-27 Kuka Deutschland Gmbh Konfigurieren und/oder Prüfen einer Begrenzung für einen Roboter oder Teil eines Roboters
US20250196365A1 (en) * 2023-12-14 2025-06-19 Cherkam Ltd. Control of a spray painting robot with a painting trajectory optimized for energy consumption and process time
CN118809614B (zh) * 2024-08-21 2025-02-11 北京人形机器人创新中心有限公司 机器人运动控制方法、装置及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5144785B2 (ja) * 2011-04-18 2013-02-13 ファナック株式会社 ロボットの着目部位と周辺物との干渉を予測する方法及び装置
US10888998B2 (en) * 2013-10-07 2021-01-12 Abb Schweiz Ag Method and device for verifying one or more safety volumes for a movable mechanical unit
US9283678B2 (en) * 2014-07-16 2016-03-15 Google Inc. Virtual safety cages for robotic devices
US9919427B1 (en) * 2015-07-25 2018-03-20 X Development Llc Visualizing robot trajectory points in augmented reality
US10956739B2 (en) * 2016-06-27 2021-03-23 Autodesk, Inc. Augmented reality robotic system visualization
DE102017001131C5 (de) * 2017-02-07 2022-06-09 Kuka Deutschland Gmbh Verfahren und System zum Betreiben eines Roboters
DE102017010718A1 (de) * 2017-11-17 2019-05-23 Kuka Deutschland Gmbh Verfahren und Mittel zum Betreiben einer Roboteranordnung
US10606269B2 (en) * 2017-12-19 2020-03-31 X Development Llc Semantic obstacle recognition for path planning
DE112019003204T5 (de) * 2018-06-26 2021-03-11 Fanuc America Corporation Visualisierung und modifizierung von arbeitsrandbereichen unter verwendung von erweiterter realität
US10970929B2 (en) * 2018-07-16 2021-04-06 Occipital, Inc. Boundary detection using vision-based feature mapping
DE102019103349B3 (de) * 2019-02-11 2020-06-18 Beckhoff Automation Gmbh Industrierobotersystem und Verfahren zur Steuerung eines Industrieroboters
US12420419B2 (en) * 2019-08-23 2025-09-23 Symbotic Llc Motion planning and task execution using potential occupancy envelopes
JP7396872B2 (ja) * 2019-11-22 2023-12-12 ファナック株式会社 拡張現実を用いたシミュレーション装置及びロボットシステム
CN112091973A (zh) * 2020-08-27 2020-12-18 广东技术师范大学天河学院 一种机械臂防护门防撞检测方法及系统
CN113119109A (zh) * 2021-03-16 2021-07-16 上海交通大学 基于伪距离函数的工业机器人路径规划方法和系统

Also Published As

Publication number Publication date
CN119212831A (zh) 2024-12-27
EP4494105A1 (de) 2025-01-22
WO2023174872A1 (de) 2023-09-21
CN119233879A (zh) 2024-12-31
EP4494106A1 (de) 2025-01-22
US20250196338A1 (en) 2025-06-19
WO2023174875A1 (de) 2023-09-21
EP4493361A1 (de) 2025-01-22
WO2023174876A1 (de) 2023-09-21
EP4493362A1 (de) 2025-01-22
US20250196352A1 (en) 2025-06-19
WO2023174874A1 (de) 2023-09-21
WO2023174873A1 (de) 2023-09-21

Similar Documents

Publication Publication Date Title
EP4493360A1 (de) Prüfen einer vorgegebenen bahn eines roboters
DE102015002760B4 (de) Robotersimulationssystem, das den Prozess des Entnehmens von Werkstücken simuliert
DE102019122865B4 (de) Erfassungssystem, Arbeitssystem, Anzeigeverfahren für ein Erweiterte-Realität-Bild und Programm
EP3438901A1 (de) Testfahrtszenario-datenbanksystem für realitätsnahe virtuelle testfahrtszenarien
DE102018207962B4 (de) Mischrealitätssimulationsvorrichtung und Mischrealitätssimulationsprogramm
DE102017116952A1 (de) System und verfahren für verbessertes scoring von 3d-lagen und entfernen von störpunkten in 3d-bilddaten
WO2009129916A1 (de) Darstellung von ergebnissen einer vermessung von werkstücken in abhängigkeit der erfassung der geste eines nutzers
WO2001088471A1 (de) Verfahren und vorrichtung zum bestimmen der 3d-form eines objektes
DE102019119319A1 (de) Abtastsystem, Arbeitssystem, Verfahren zum Anzeigen von Augmented-Reality-Bildern, Verfahren zum Speichern von Augmented-Reality-Bildern und Programme dafür
EP2019283A2 (de) Verfahren und Vorrichtung zur Vermessung von Ist-Messdaten eines Bauteils
DE102020134680B4 (de) Verfahren und Anordnung zur Qualitätsprüfung eines Objekts
EP3775764A1 (de) Fahrzeugerfassungssystem
DE69702067T2 (de) Verfahren zur anzeige eines 2-d designs auf einem 3-d objekt
DE102022202569B3 (de) Prüfen einer vorgegebenen Bahn eines Roboters
DE102019125075A1 (de) Verfahren zur computerimplementierten Simulation eines LIDAR-Sensors in einer virtuellen Umgebung
EP3814983B1 (de) Visualisierungseinrichtung und verfahren zum visualisieren des inneren oder äusseren eines fahrzeugs
DE102022202571B3 (de) Prüfen einer vorgegebenen Bahn eines Roboters
DE102022202564B4 (de) Prüfen einer Sicherheitskonfiguration eines Roboters
WO2019185079A1 (de) 3-d-objekt-erfassungssystem
DE102024104183B3 (de) Verfahren zum betreiben eines roboters
DE102019112200A1 (de) Computerimplementiertes Verfahren zum Test von Steuergeräten
EP3299801A2 (de) Verfahren und vorrichtung zur darstellung von fehlern an werkstücken
DE10240392A1 (de) System und Verfahren zur Bestimmung von Abständen virtueller Objekte zu realen Objekten durch den Einsatz der Augmented Reality Technology
DE102005014979B4 (de) Verfahren und Anordnung zur Planung von Fertigungseinrichtungen
DE102022202562B4 (de) Ermitteln wenigstens einer Grenze für ein Betreiben eines Roboters

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240909

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

P01 Opt-out of the competence of the unified patent court (upc) registered

Free format text: CASE NUMBER: APP_7391/2025

Effective date: 20250213

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)