EP4494106A1 - Prüfen einer vorgegebenen bahn eines roboters - Google Patents

Prüfen einer vorgegebenen bahn eines roboters

Info

Publication number
EP4494106A1
EP4494106A1 EP23711439.2A EP23711439A EP4494106A1 EP 4494106 A1 EP4494106 A1 EP 4494106A1 EP 23711439 A EP23711439 A EP 23711439A EP 4494106 A1 EP4494106 A1 EP 4494106A1
Authority
EP
European Patent Office
Prior art keywords
robot
path
section
model
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP23711439.2A
Other languages
English (en)
French (fr)
Inventor
Jürgen Blume
Ingo KRESSE
Pascal Caprano
Marcus Hofmann
Fabian Jennrich
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KUKA Deutschland GmbH
KUKA Systems GmbH
Original Assignee
KUKA Deutschland GmbH
KUKA Systems GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE102022202562.8A external-priority patent/DE102022202562B4/de
Priority claimed from DE102022202564.4A external-priority patent/DE102022202564B4/de
Priority claimed from DE102022202569.5A external-priority patent/DE102022202569B3/de
Priority claimed from DE102022202563.6A external-priority patent/DE102022202563B3/de
Priority claimed from DE102022202571.7A external-priority patent/DE102022202571B3/de
Application filed by KUKA Deutschland GmbH, KUKA Systems GmbH filed Critical KUKA Deutschland GmbH
Publication of EP4494106A1 publication Critical patent/EP4494106A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1628—Program controls characterised by the control loop
    • B25J9/163—Program controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1656—Program controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Program controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1656—Program controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Program controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1674—Program controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1694—Program controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35506—Camera images overlayed with graphics, model
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36167—Use camera of handheld device, pda, pendant, head mounted display
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39443—Portable, adapted to handpalm, with joystick, function keys, display
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39449—Pendant, pda displaying camera images overlayed with graphics, augmented reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39451—Augmented reality for robot programming
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40202—Human robot coexistence
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40298—Manipulator on vehicle, wheels, mobile
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40317—For collision avoidance and detection

Definitions

  • the present invention relates to a method and system for checking a predetermined path of a robot and a computer program or computer program product for carrying out the method.
  • Robot paths can be specified in particular with the help of a simulated environment and/or by teaching, in particular of path points.
  • a real robot should preferably be checked in advance whether a real robot could or would collide with its real environment when traveling along a given path, which may differ from the simulated environment or the real environment as it was during learning.
  • the object of the present invention is to improve the operation of robots, in particular (by) checking predetermined paths.
  • Claims 12, 13 represent a system or computer program or
  • a method for checking a predetermined path of a robot comprises the steps:
  • a test person can reliably and/or quickly check the specified path for the risk of possible collisions with the real environment.
  • the web is checked, preferably by the test person, using or based on the visualized virtual representation and the issued warning and/or all-clear.
  • the robot has a robot arm with three or more, preferably at least six, in one embodiment at least seven, joints, in a further development, swivel joints that connect movable members of the robot to one another and are movable by drives, in particular motors, of the robot, and / or a mobile base that can be moved, in particular with the help of at least one drive, in particular a motor, of the robot.
  • the invention is particularly advantageous for such robots, particularly due to the complex paths that are possible with it.
  • a robot-guided tool or workpiece forms a (distal) movable member of the robot in the sense of the present invention or the model of the robot (also) has a model of a robot-guided tool or workpiece.
  • the path is specified by program technology or by a work program and is, in particular, specified in a further training using a simulated environment and / or by teaching or teaching, in particular of path points.
  • the three-dimensional environment model includes, in particular permanently or temporarily stored data, which contains one or more three-dimensional contour(s) or geometry(s) of a real environment of the Specify or describe a robot, in particular a robot cell, production or warehouse or the like.
  • the model of the robot includes, in particular, permanently or temporarily stored data, which represents the three-dimensional contour(s) or
  • a robot-guided tool or workpiece forms a (distal) movable member of the robot in the sense of the present invention or the model of the robot (also) has a model of a robot-guided tool or workpiece.
  • a section of the path for which a warning or all-clear is issued can consist of a (path) point or be a (path) point for which an intersection of the convex hull is determined.
  • a convex shell is here preferably defined as the, in particular smallest, convex quantity which comprises at least a part of the robot, in particular at least a part of one or more of its movable members, in a pose which is assigned to at least one (path) point or . can be to understand. If the section of the path comprises two or more (path) points, then the convex shell is preferably to be understood in such a way that the, in particular smallest, convex quantity contains at least a part of the robot, in particular at least a part of one or more of its movable members includes the poses that are assigned to the two or more (path) points of the path section.
  • a section of the path for which a warning or all-clear is issued extends beyond a (path) point on one or both sides or has several (path) points; it can be continuous or discrete, in particular a continuous or discrete sequence of points.
  • the part of the convex shell of the section having several points is colored accordingly. This means that the test can be carried out more quickly in one version.
  • a minimum distance or the distance to the point closest to the environment model is determined as the distance of this section. If the distance in a further development is within a predetermined and/or specified range, the section, in particular the section of the convex shell, can be colored accordingly. This means that the test can be carried out more precisely in one version.
  • a section in particular a section consisting of one or more points, in particular the section of the path, the section of the convex shell and/or the section of the at least one part or the at least one link of the robot, is correspondingly or colored depending on the determined distance if the distance is within a predetermined range.
  • a section in particular a section having a single point or a multi-point section, is colored red to issue a warning and/or colored green to issue an all-clear.
  • the coloring can also be multi-level and/or discretized differently, for example in ⁇ red, yellow, green ⁇ or the like, in particular with other colors and/or discretized more finely, or can change continuously with the relevant, in particular smallest, distance, for example from red for (too) small distances to green for (sufficiently) large distances or the like.
  • the method includes the step:
  • a real environment of the robot can advantageously be taken into account during the test and the risk of a collision with it can be checked particularly reliably.
  • the detection device is arranged on the visualization device, in a further development integrated or detachable.
  • the environmental model can advantageously be determined in situ or promptly before visualization and can therefore be particularly up-to-date and the test can therefore be particularly reliable or meaningful.
  • the capture device is moved translationally and/or rotationally relative to the real environment to capture the data.
  • a larger area of the environment and/or the environment can be recorded more precisely and the test can therefore be particularly reliable or meaningful.
  • the detection device has one or more non-contact measuring distance meters, in a further development one or more radar distance meters, one or more ultrasonic distance meters and / or one or more lidar distance meters.
  • the environmental model can be recorded precisely in one embodiment and the test can therefore be particularly reliable and meaningful.
  • Lidar distance meters are particularly advantageous because they are compact and measure precisely.
  • the detection device has one or more cameras, in a further development a 3D camera system, which in one embodiment has at least two or stereo cameras, a triangulation system in which at least one light source images a defined pattern on the environment and at least one Camera records this pattern, preferably from a different angle, has at least one TOF camera, at least one interferometry camera, at least one light field camera or the like, and / or an image evaluation.
  • a 3D camera system which in one embodiment has at least two or stereo cameras, a triangulation system in which at least one light source images a defined pattern on the environment and at least one Camera records this pattern, preferably from a different angle, has at least one TOF camera, at least one interferometry camera, at least one light field camera or the like, and / or an image evaluation.
  • the environmental model is determined in one embodiment based on specified target data, in a further development CAD data, of the environment. By taking such data into account, the environmental model can be determined more quickly and/or precisely in one embodiment.
  • the model of the robot is determined on the basis of predetermined target data, in a further development on the basis of the predetermined path of the robot and/or on the basis of CAD data of the robot, and/or a measurement of the robot. By taking such data into account, the model of the robot can be determined more quickly and/or precisely in one embodiment.
  • the model of the robot has or indicates a pose of the robot members relative to one another and/or a reference system fixed in the surroundings for the various sections, in particular points, of the path.
  • a pose or position in the sense of the present invention includes a one-, two- or three-dimensional position and/or a one-, two- or three-dimensional orientation.
  • the determination of the convex shell is based on discrete or continuous, in particular on interpolated discrete, poses of the robot model; in particular, in a further development, the time-discrete poses of the robot, in particular a robot model that moves with the robot or a robot model that moves independently of the robot, used to determine a convex hull over the (orbit) points of the section of the orbit and/or over time.
  • a robot-guided tool or workpiece forms a movable member of the robot in the sense of the present invention.
  • the model of the robot has a computer-implemented model of a robot-guided tool or workpiece as a movable member of the robot.
  • the risk of a collision of a robot-guided tool or workpiece with the environment can be advantageously checked, in particular a collision of a convex shell that includes the convex shell of the robot-guided tool or workpiece.
  • the model of the robot is based on specified target data, In further training, CAD data, the tool or workpiece, and/or a measurement of the tool or workpiece is determined.
  • the environmental model has one or more geometry primitives in a predetermined relation, in particular spatial position, to a real environmental obstacle, in particular to several real environmental obstacles, each at least geometry primitives in a predetermined relation, in particular spatial position, to this real environmental obstacle.
  • the model of the robot has one or more geometry primitives in a predetermined relation, in particular spatial position, to a link of the robot, in particular to several links of the robot, preferably at least one end effector, each at least geometry primitive in a predetermined relation , in particular spatial position, to this robot limb. This means that the existence of an intersection can be determined more quickly in one execution.
  • a geometry primitive in the sense of the present invention is a polyhedron, in particular a prism, in particular a cuboid, or a cylinder, cone, ellipsoid, in particular a sphere, or the like. This means that the existence of an intersection can be determined particularly quickly in one embodiment.
  • the environmental model is determined using at least one approximation of features detected using the detection device, in particular points, particularly preferably a point cloud detected using the detection device, in a further development using one or more grids and / or one or more approximation surfaces, in particular flat approximation surfaces and/or single or multiple curved approximation surfaces, such grids or approximation surfaces being determined in one embodiment by compensation, in particular interpolation or extrapolation, smoothing and/or other fitting functions of points detected using the detection device, in particular this can
  • Environmental model has this approximation. Through such an approximation, the environment in one embodiment can be modeled particularly advantageously, in particular quickly and/or precisely.
  • the environmental model is determined on the basis of the robot, in particular with the aid of data from the robot recorded, in particular by the detection device, and/or on the basis of the model of the robot.
  • the robot that may have been captured when data from the robot's real environment is captured using the capture device is at least partially eliminated or hidden. This allows the environment model to be improved in one embodiment.
  • the environmental model is determined based on a selection of an environmental area by a test person.
  • an environmental area selected by the test person is not taken into account by the environmental model, in a further development it is not detected using the detection device, and/or only an environmental area selected by the test person is taken into account by the environmental model, in a further development only this environmental area is taken into account using the Detection device detected.
  • the environmental model can be improved and/or determined more quickly.
  • intersection between the convex shell, in particular the model of the robot, and the environment model for one or more of the different sections of the path is each based on an intersection between
  • Covering determined can in particular be the corresponding intersection.
  • such an imaginary shell is at least partially formed by the model of the robot or environment model, in one embodiment one or more of the geometry primitives of the robot model and/or one or more of the geometry primitives of the environment model and/or the approximation of points detected using the detection device , by means of which the environment model is determined or which the environment model has, can in particular be determined at least partially by surfaces, corners, edges, nodes, coordinate lines or the like of the geometry primitives or the approximation, in particular of the grid(s) or the approximation surface(s), and/or a predetermined, in particular average, minimum and/or maximum, distance from the robot (member) or a surface of the environment or the surrounding area and/or a predetermined, in particular average, minimum and/or maximum distance from the geometry primitive(s), grid(s) or approximation surface(s) or be defined or specified accordingly.
  • An imaginary shell can in particular be continuous or discrete.
  • the intersection between corners, edges and/or surfaces of a geometry primitive of the robot model and a grid or an approximation surface of the environment model can be used to determine an intersection between the convex hull based on the imaginary hull of the model of the robot and the environment model.
  • the determination can be carried out quickly , in particular limited to prima facie relevant areas.
  • the test can be carried out reliably in one embodiment, in particular several different collision possibilities can also be possible be taken into account.
  • the visualization device is a mobile, in particular portable (by a person, preferably with one hand), visualization device, in one embodiment it has a handheld device, preferably a handheld, tablet, smartphone, laptop or the like, and / or glasses, in particular A(ugmented)R(eality)- or (Vi rtual) R(eality) Bri Ile. This means that in one version the test can be carried out in situ or on site and thus improved.
  • the visualization device is set up (hardware and/or software) to control the robot or is (also) used for this purpose. As a result, commissioning can be carried out more quickly and/or safely in one version.
  • the (visualized) virtual representation of the convex shell of the path has a, in one embodiment, continuous, path of a robot-fixed reference point, preferably an end effector of the robot, and/or a representation of one or more, in particular all, movable members of the robot on, in one embodiment using or through geometry primitives of the model of the robot.
  • the representation of the limb(s) of the robot changes during the visualization according to the predetermined path; accordingly, the virtual representation can in particular be a virtual simulation of the robot or representation of the movement, in particular by means of the convex shell, of one or more of its limbs when the train departs.
  • the test can be carried out quickly and/or reliably, in particular a test person can view the path easily and intuitively (he) and/or quickly (he) check or assess.
  • issuing a warning or all-clear includes highlighting, preferably coloring and/or illuminating, the corresponding path or path section in accordance with the existence of an intersection determined for this purpose, with the presence or absence of an intersection having different highlights, preferably colors or .
  • Illuminations can be assigned, for example the presence of an intersection the color red and the absence of an intersection the color green, or even a determined intersection the color red, smaller distances (especially the imaginary or convex envelope) in the all-clear area the color yellow and larger distances in the all-clear area the color green, or a color that changes continuously or in several discrete stages with the determined distance of the imaginary or convex envelope from an environmental model, and / or path - or path sections with intersections and / or distances in the warning area are illuminated and path or path sections with distances, in particular without intersections, are shown non-luminous in the all-clear area or the lighting changes with the distances.
  • issuing a warning or all-clear can include highlighting, preferably coloring and/or illuminating, the representation of one or more, in particular all, movable members of the robot in accordance with the distance of the imaginary or convex shell from the surrounding model determined for the respective section include, wherein different highlights, preferably colors and / or lighting, can be assigned to different distances, as described above.
  • the representation is colored red for or along sections with (too) small distances and green for or along sections with (sufficiently) large distances.
  • the color of the representation can change continuously with the determined distance change in several discrete stages, and/or the display for distances in the warning area is shown luminous and non-luminous in the all-clear area, or the lighting changes with the distances.
  • a test person can quickly check or assess the path, intuitively by highlighting, in particular coloring and/or lighting, the representation of the robot limb(s). (er), simplified and/or their recognizability improved.
  • a first virtual representation is used to visualize the imaginary or convex hull of a section of the path if the distance determined for this section is in the warning range or an intersection exists, and a second virtual representation that is different from this is used to visualize this section of the path Virtual representation is used if the distance determined for this section is in the all-clear area or no intersection exists.
  • a first virtual representation can be used to visualize a section of the path, which shows a red-colored path section of a robot-fixed reference point, in particular a plurality of robot-fixed reference points, further in particular robot-fixed reference point(s), which is/are in the imaginary or convex shell is/are included if the distance determined for this section is in the warning range, and a second virtual representation different from this is used to visualize this section of the path, which has a green-colored path section of the robot-fixed reference point, in particular several robot-fixed reference points, further in particular robot-fixed reference point (s), which is/are included in the imaginary or convex shell, if the distance determined for this section is in the all-clear area.
  • a first virtual representation is used to visualize the imaginary or convex envelope of a section of the path if the distance determined for this section is in part of the warning area or an intersection exists, and a different one is used to visualize this section of the path The first virtual representation is used if the distance determined for this section is in another part of the warning area, in particular if no intersection exists.
  • a second virtual representation is used for visualizing a section of the track if the distance determined for this section is in part of the all-clear zone, and a different second virtual representation is used for visualizing this section of the track if the distance determined for this section is in another part of the all-clear zone.
  • a first virtual representation can be used, which has a thick and / or red-colored path section of a robot-fixed reference point, if the distance determined for this section is in the warning range, another first virtual representation can be used, which has a thinner and/or orange-colored path section of the reference point, if the distance determined for this section is larger but is still in the warning range, a second virtual representation can be used which has a thick and/or yellow-colored one Path section of the reference point if the distance determined for this section is in the all-clear area, and another second virtual representation can be used which has a thinner and / or green-colored path section of the reference point if the distance determined for this section is in the warning area , but is bigger.
  • Visualizing by means of a robot-fixed reference point in particular by means of several robot-fixed reference points, more particularly all robot-fixed reference points, can in one embodiment result in the visualization of the convex shell; in a further development with points spaced apart from the robot-fixed reference points in the normal direction, which form an imaginary shell.
  • the imaginary or the convex hull can be visualized in a way that, in particular, allows the test person to test a given path more quickly.
  • the visualization of the imaginary or the convex hull can include a transparent or semi-transparent representation in the augmented reality. In this way, in one embodiment, an intersection can be recorded more quickly, especially by the test person.
  • one or more parameters of the web are output; in one embodiment, a speed and/or at least one parameter, for example a speed, for at least one person, in particular by a test person , selected section, in particular point or pose, of the path and / or at least one parameter, for example a speed, for a section, in particular point or pose, of the path that has just or currently been simulated during visualization.
  • a speed and/or at least one parameter for example a speed, for at least one person, in particular by a test person , selected section, in particular point or pose, of the path and / or at least one parameter, for example a speed, for a section, in particular point or pose, of the path that has just or currently been simulated during visualization.
  • a value of the determined distance of the imaginary hull or the convex hull from Environmental model for at least a section of the path in particular a globally minimum distance and / or a distance for a section, in particular point, of the path, selected in particular by a test person, and / or for a section that has just been or is currently simulated during visualization, in particular simulates the point reached, the path.
  • a parameter and/or a distance value is output numerically, acoustically and/or symbolically.
  • a direction of travel can be output by an arrow, a TCP speed by a corresponding number, a distance value symbolically by a corresponding line, in particular a dimension line with ends symbolized, for example by arrows, cross lines or the like, and / or numerically by a corresponding number .
  • the output of a parameter can be visualized in an embodiment outside the imaginary hull or the convex hull.
  • one or more of the above-mentioned features allow an inspector to check or assess the web more quickly and/or reliably.
  • the track is modified in one version, in further training by (inputs or specifications by) the test person or automatically. Then a method described here can be carried out again for or with the modified path in order to check this modified path in an analogous manner, with data from the real environment being recorded again in a further development and the environment model being rebuilt on the basis of this data is determined, which can advantageously take changes in the real environment into account, in another development the previously used environmental model is instead continued to be used or (re)provided, which can advantageously reduce effort and time required.
  • a system in particular hardware and/or software, in particular program technology, is set up to carry out a method described here and/or has:
  • a visualization device for visualizing a virtual representation of the convex hull of the path in an augmented reality for checking the path, with this visualization issuing a warning for a section of the path if at least one intersection exists for this section of the path, in particular for The distance determined in this section is within a specified warning range.
  • an all-clear can be issued for a section of the track if no intersection exists for this section of the track, in particular if the distance determined for this section is in a predetermined all-clear range.
  • the system or its means has: a, in particular mobile, in particular portable, recording device for recording data from a real environment of the robot and means for determining the environmental model on the basis of this recorded data, in particular using at least one approximation points captured using the capture device; and/or at least one non-contact measuring distance meter, in particular at least one lidar, radar or ultrasonic distance meter, and/or at least one camera, in particular a 3D camera system, and/or an image evaluation; and or
  • Means for outputting at least one parameter of the path in particular a speed and / or for at least a selected section of the path and / or for a visualized, in particular simulated during visualization, section, in particular a point or pose, of the path, and / or a value of the determined distance for at least one section of the path, in particular a globally minimum distance and / or a distance for a selected section of the path and / or for a visualized, in particular simulated during visualization, section traveled or approached, in particular Point or pose, of the trajectory, when visualizing the virtual representation of the trajectory, especially numerically, acoustically and/or symbolically.
  • a system and/or a means in the sense of the present invention can be designed in terms of hardware and/or software technology, in particular at least one processing unit, in particular a microprocessor unit, preferably connected to a memory and/or bus system with data or signals, in particular digital processing unit ( CPU), graphics card (GPU) or the like, and/or one or more programs or program modules.
  • the processing unit can be designed to process commands that are implemented as a program stored in a memory system, to detect input signals from a data bus and/or to deliver output signals to a data bus.
  • a storage system can have one or more, in particular different, storage media, in particular optical, magnetic, solid-state and/or other non-volatile media.
  • a computer program product can have, in particular, a storage medium, in particular a computer-readable and/or non-transitory storage medium, for storing a program or instructions or with a program or with instructions stored thereon.
  • executing this program or these instructions by a system or a controller causes the system or the controller, in particular the computer or computers, to implement a method described here or to carry out one or more of its steps, or the program or the instructions are set up for this purpose.
  • one or more, in particular all, steps of the method are carried out completely or partially automatically, in particular by the system or its means.
  • the system has the robot.
  • the warning area is or is predefined in such a way that a collision between the robot and the environment is or is likely, and/or the all-clear area is predefined in such a way that there is no collision between the robot and environment exists or is less likely.
  • the method comprises the step:
  • the path can advantageously be checked with the real robot, with moving after checking in augmented reality advantageously increasing the safety when moving with the robot.
  • system or its means has:
  • Fig. 1 a system for checking a predetermined path of a robot according to an embodiment of the present invention.
  • Fig. 2 a convex hull of a portion of a path of a robot according to an embodiment of the present invention.
  • Fig. 3 a method for checking the predetermined path of the robot according to an embodiment of the present invention.
  • Fig. 1 shows a system for checking a predetermined path of a robot 1 using a visualization device in the form of an AR device 2 or a tablet 3 by a test person 4.
  • FIG. 2 shows a robot 1 that performs a movement with part of its limbs that runs along a section of a predetermined path.
  • the movement is discretely represented in time-successive poses together result in the movement along the section of the specified path.
  • the movement is shown as a convex hull 8 and an imaginary hull 9 spaced from the convex hull. Both the convex hull 8 and the imaginary hull 9 have an intersection with the environment 6.
  • the existence of an intersection can be represented by issuing a warning, particularly a visual warning. Based on the warning, a test person can, for example, modify the specified path until a path is found that does not intersect with the environment 6 and accordingly no warning is issued.
  • a real environment 6 of the robot is created using a detection device 5A or 5B arranged on the visualization device 2 or 3, preferably integrated or detachable, for example a 3D camera system, lidar sensor or the like recorded and in a step S20 a computer-implemented environment model is determined using this data.
  • the environment model can additionally or alternatively be created on the basis of target data of the environment or can only be provided, for example retrieved from a memory.
  • a step S30 an intersection between a computer-implemented model of the robot and the environmental model is determined for various sections, in one embodiment points, of the convex hull, in particular the imaginary hull, of the path, the path being determined, for example, using a simulated environment or by teaching or teaching was specified.
  • the robot model can have geometry primitives in the form of cuboids, cylinders or the like, which are each assigned to one of the movable members of the robot and whose pose or position changes accordingly according to the respective section or path point or when the robot simulates the path changes.
  • the environment model can, for example, have a grid or an approximation surface that approximates a point cloud captured when capturing the real environment. The minimum distance between all these geometry primitives and the grid or the approximation surface is then determined as the distance between the robot and the environment model. As an intersection between robot and The environment model is then used to determine, for example, an overlap between all of these geometry primitives and the grid or the approximation surface, or points, in particular volumes, that are simultaneously occupied by the robot model and the environment model.
  • a virtual representation of the convex shell of the path is visualized using the visualization device 2 or 3 in an augmented reality for testing the path, for example a shell around the poses of the robot or its model (via the time), whereby the hull can be or is a convex hull or where the hull can be or is an imaginary hull, which is in particular spaced from the convex hull.
  • a warning is issued for a section of the path if an intersection exists for this section, in particular if the distance determined for this section between the convex hull, in particular the imaginary hull, and the environmental model is in a predetermined warning range, and for an all-clear is issued for a section of the path if there is no intersection for this section, in particular if the distance determined for this section is in a predetermined all-clear range, for example in the manner described above by highlighting corresponding sections or the like.
  • test person 4 can check in step S40 whether there is a risk of the robot 1 colliding with the environment when traveling along the specified path or how great this is.
  • step S50 It can advantageously limit or concentrate on the sections for which a warning is issued, check them more closely and, if necessary, modify the path, especially in such sections, in a step S50, whereupon steps S30, S40 and If necessary, S50 can be carried out again.
  • the tested path can be traversed with the real robot in a step S60.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

Ein Verfahren zum Prüfen einer vorgegebenen Bahn eines Roboters (1) umfasst die Schritte: Ermitteln (S20) oder Bereitstellen eines computerimplementierten dreidimensionalen Umgebungsmodells; Ermitteln (S30) eines Abstands zwischen einem computerimplementierten Modell des Roboters und dem Umgebungsmodell für verschiedene Abschnitte der Bahn; und Visualisieren (S40) einer virtuellen Repräsentation der Bahn mithilfe einer Visualisierungsvorrichtung (2; 3) in einer augmentierten Realität zum Prüfen der Bahn, wobei bei dieser Visualisierung für einen Abschnitt der Bahn eine Warnung ausgegeben wird, wenn der für diesen Abschnitt ermittelte Abstand in einem vorgegebenen Warnbereich liegt, und für einen Abschnitt der Bahn eine Entwarnung ausgegeben wird, wenn der für diesen Abschnitt ermittelte Abstand in einem vorgegebenen Entwarnbereich liegt.

Description

Beschreibung
Prüfen einer vorgegebenen Bahn eines Roboters
Die vorliegende Erfindung betrifft ein Verfahren und System zum Prüfen einer vorgegebenen Bahn eines Roboters sowie ein Computerprogramm bzw. Computerprogrammprodukt zur Durchführung des Verfahrens.
Roboterbahnen können insbesondere mithilfe einer simulierten Umgebung und/oder durch Einlernen („Teachen“), insbesondere von Bahnpunkten, vorgegeben werden.
Insbesondere zur Inbetriebnahme soll vorzugsweise vorab geprüft werden, ob ein realer Roboter beim Abfahren einer vorgegebenen Bahn mit seiner realen Umgebung kollidieren könnte oder würde, die sich von der simulierten Umgebung oder der realen Umgebung, wie sie beim Einlernen war, unterscheiden kann.
Aufgabe der vorliegenden Erfindung ist es, den Betrieb von Robotern, insbesondere (durch) das Prüfen vorgegebener Bahnen, zu verbessern.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Ansprüche 12, 13 stellen ein System bzw. Computerprogramm bzw.
Computerprogrammprodukt zur Durchführung eines hier beschriebenen Verfahrens, unter Schutz. Die Unteransprüche betreffen vorteilhafte Weiterbildungen.
Nach einer Ausführung der vorliegenden Erfindung umfasst ein Verfahren zum Prüfen einer vorgegebenen Bahn eines Roboters („Roboterbahn“) die Schritte:
Ermitteln oder Bereitstellen eines computerimplementierten dreidimensionalen Umgebungsmodells;
Ermitteln einer konvexen Hülle für wenigstens einen Abschnitt der Bahn; Ermitteln einer Schnittmenge der konvexen Hülle mit dem Umgebungsmodel; und
Visualisieren einer virtuellen Repräsentation der konvexen Hülle der Bahn mithilfe einer Visualisierungsvorrichtung in einer augmentierten Realität zum Prüfen der Bahn, wobei bei dieser Visualisierung für einen Abschnitt der Bahn eine Warnung ausgegeben wird, wenn wenigstens eine Schnittmenge existiert für einen, insbesondere diesen, Abschnitt der Bahn (stattdessen) eine Entwarnung ausgegeben wird, wenn keine Schnittmenge existiert.
Dadurch kann in einer Ausführung eine Prüfperson die vorgegebene Bahn zuverlässig(er) und/oder rasch(er) auf die Gefahr möglicher Kollisionen mit der realen Umgebung hin (über)prüfen. In einer Ausführung wird die Bahn, vorzugsweise durch die bzw. eine Prüfperson, mithilfe bzw. auf Basis der visualisierten virtuellen Repräsentation und der ausgegebenen Warnung und/oder Entwarnung geprüft, in einer Weiterbildung werden ein oder mehrere Abschnitte der konvexen Hülle der Bahn, für den bzw. die (jeweils) eine Warnung ausgegeben wird, speziell, insbesondere eingehend(er), genau(er) und/oder gesondert geprüft, insbesondere auf mögliche Kollisionen des Roboters mit der Umgebung, und die Bahn, insbesondere wenigstens diese(r) Abschnitt(e), gegebenenfalls modifiziert.
Der Roboter weist in einer Ausführung einen Roboterarm mit drei oder mehr, vorzugsweise wenigstens sechs, in einer Ausführung wenigstens sieben, Gelenken, in einer Weiterbildung Drehgelenken, die bewegliche Glieder des Roboters miteinander verbinden und durch Antriebe, insbesondere Motoren, des Roboters beweglich sind, und/oder eine mobile, insbesondere mithilfe wenigstens eines Antriebs, insbesondere Motors, des Roboters, verfahrbare Basis auf. Für solche Roboter ist die Erfindung, insbesondere aufgrund der damit möglichen komplexen Bahnen, besonders vorteilhaft. In einer Ausführung bildet ein robotergeführtes Werkzeug oder Werkstück ein (distales) bewegliches Glied des Roboters im Sinne der vorliegenden Erfindung bzw. weist das Modell des Roboters (auch) ein Modell eines robotergeführten Werkzeugs oder Werkstücks auf.
Die Bahn ist in einer Ausführung programmtechnisch bzw. durch ein Arbeitsprogramm vorgegeben und ist, insbesondere wird, in einer Weiterbildung mithilfe einer simulierten Umgebung und/oder durch Einlernen bzw. Teachen, insbesondere von Bahnpunkten, vorgegeben.
Das dreidimensionale Umgebungsmodell umfasst in einer Ausführung, insbesondere dauerhaft oder temporär abgespeicherte Daten, die eine bzw. mehrere dreidimensionale(n) Kontur(en) bzw. Geometrie(n) einer realen Umgebung des Roboters, insbesondere einer Roboterzelle, Fertigungs- oder Lagerhalle oder dergleichen, angeben bzw. beschreiben.
Das Modell des Roboters umfasst in einer Ausführung, insbesondere dauerhaft oder temporär abgespeicherte Daten, die die dreidimensionale(n) Kontur(en) bzw.
Geometrie(n) des (realen) Roboters, insbesondere eines oder mehrerer seiner beweglichen Glieder angeben bzw. beschreiben. Wie vorstehend erwähnt, bildet in einer Ausführung ein robotergeführtes Werkzeug oder Werkstück ein (distales) bewegliches Glied des Roboters im Sinne der vorliegenden Erfindung bzw. weist das Modell des Roboters (auch) ein Modell eines robotergeführten Werkzeugs oder Werkstücks auf.
Ein Abschnitt der Bahn, für den eine Warnung bzw. Entwarnung ausgegeben wird, kann aus einem (Bahn)Punkt bestehen bzw. ein (Bahn)Punkt sein, für den eine Schnittmenge der konvexen Hülle ermittelt wird.
Eine konvexe Hülle ist hierin vorzugsweise als die, insbesondere kleinste, konvexe Menge, die wenigstens einen Teil des Roboters, insbesondere wenigstens einen Teil des einen oder der mehreren seiner beweglichen Glieder, in einer Pose umfasst, die wenigstens einem (Bahn)Punkt zugeordnet ist bzw. sein kann, zu verstehen. Umfasst der Abschnitt der Bahn zwei oder mehr (Bahn)Punkte, dann ist die konvexe Hülle vorzugsweise derart zu verstehen, dass die, insbesondere kleinste, konvexe Menge wenigstens einen Teil des Roboters, insbesondere wenigstens einen Teil des einen oder der mehreren seiner beweglichen Glieder in den Posen umfasst, die den zwei oder mehr (Bahn)Punkten des Bahnabschnitts zugeordnet sind.
In einer Ausführung erstreckt sich ein Abschnitt der Bahn, für den eine Warnung bzw. Entwarnung ausgegeben wird, ein- oder beidseitig über einen (Bahn)Punkt hinaus bzw. weist mehrere (Bahn)Punkte auf, er kann dabei kontinuierlich oder diskret sein, insbesondere eine kontinuierliche oder diskrete Punktefolge.
In einer Ausführung wird zum Ermitteln einer Schnittmenge der konvexen Hülle mit dem Umgebungsmodell für einen mehrere Punkte aufweisenden Abschnitt ermittelt, ob wenigstens ein Teil der konvexen Hülle und wenigstens ein Teil des Umgebungsmodells einen gemeinsamen Punkt, eine gemeinsame Fläche teilen und/oder gemeinsam ein Volumen einnehmen und in einer Weiterbildung der Teil der konvexen Hülle des mehrere Punkte aufweisende Abschnitts entsprechend eingefärbt. Dadurch kann in einer Ausführung die Prüfung rasch(er) durchgeführt werden.
In einer Ausführung wird zum Ermitteln einer Schnittmenge für einen mehrere (Bahn)Punkte aufweisenden Abschnitt, insbesondere einen kontinuierlichen Abschnitt, ein minimaler Abstand bzw. der Abstand zu dem umgebungsmodellnächsten Punkt als Abstand dieses Abschnitts ermittelt. Wenn sich der Abstand in einer Weiterbildung innerhalb eines vorbestimmten und/oder vorgegebenen Bereichs befindet, kann der Abschnitt, insbesondere der Abschnitt der konvexen Hülle entsprechend eingefärbt werden. Dadurch kann in einer Ausführung die Prüfung präzise(r) durchgeführt werden.
In einer Weiterbildung wird ein Abschnitt, insbesondere ein aus einem oder mehreren Punkten bestehender, Abschnitt, insbesondere der Abschnitt der Bahn, der Abschnitt der konvexen Hülle und/oder der Abschnitt des wenigstens einen Teils bzw. des wenigstens einen Glieds des Roboters, entsprechend bzw. in Abhängigkeit von dem ermittelten Abstand eingefärbt, wenn sich der Abstand innerhalb eines vorbestimmten Bereichs befindet. Hierdurch kann in einer Ausführung die Präzision der Prüfung verbessert werden. Beispielsweise wird Abschnitt, insbesondere also ein einen einzelnen Punkt oder ein mehrere Punkte aufweisender Abschnitt, rot eingefärbt, um eine Warnung auszugeben, und/oder grün eingefärbt, um eine Entwarnung auszugeben. Gleichermaßen kann die Färbung auch mehrstufig und/oder anders diskretisiert sein, beispielsweise in {rot, gelb, grün} oder dergleichen, insbesondere mit anderen Farben und/oder feiner diskretisiert, oder sich kontinuierlich mit dem maßgeblichen, insbesondere kleinsten, Abstand ändern, beispielsweise von rot für (zu) kleine Abstände hin zu grün für (ausreichend) große Abstände oder dergleichen.
In einer Ausführung umfasst das Verfahren den Schritt:
- Erfassen von Daten einer realen Umgebung des Roboters mithilfe einer, in einer Ausführung mobilen, in einer Weiterbildung, insbesondere von einer Person, tragbaren, Erfassungsvorrichtung; wobei das Umgebungsmodell auf Basis dieser erfassten Daten ermittelt wird. Dadurch kann in einer Ausführung eine reale Umgebung des Roboters vorteilhaft bei der Prüfung berücksichtigt und so die Gefahr einer Kollision mit dieser besonders zuverlässig geprüft werden.
In einer Ausführung ist die Erfassungsvorrichtung an der Visualisierungsvorrichtung, in einer Weiterbildung integriert oder lösbar, angeordnet. Dadurch kann in einer Ausführung vorteilhaft das Umgebungsmodell in situ bzw. zeitnah vor dem Visualisieren ermittelt werden und damit besonders aktuell und dadurch die Prüfung besonders zuverlässig bzw. aussagefähig sein.
In einer Ausführung wird die Erfassungsvorrichtung zum Erfassen der Daten relativ zu der realen Umgebung translatorisch und/oder rotatorisch bewegt. Dadurch kann in einer Ausführung ein größerer Bereich der Umgebung und/oder die Umgebung präzise(r) erfasst werden und so die Prüfung besonders zuverlässig bzw. aussagefähig sein.
In einer Ausführung weist die Erfassungsvorrichtung einen oder mehrere berührungslos messende Abstandsmesser auf, in einer Weiterbildung einen oder mehrere Radar-Abstandsmesser, einen oder mehrere Ultraschall-Abstandsmesser und/oder einen oder mehrere Lidar-Abstandsmesser. Hierdurch kann in einer Ausführung das Umgebungsmodell präzise(r) erfasst werden und so die Prüfung besonders zuverlässig bzw. aussagefähig sein. Dabei sind Lidar-Abstandsmesser besonders vorteilhaft, da diese kompakt bauen und präzise messen.
Zusätzlich oder alternativ weist die Erfassungsvorrichtung in einer Ausführung einen oder mehrere Kameras, in einer Weiterbildung ein 3D-Kamerasystem, welches in einer Ausführung wenigstens zwei bzw. Stereokameras, ein Triangulationssystem, bei dem wenigstens eine Lichtquelle ein definiertes Muster auf die Umgebung abbildet und wenigstens eine Kamera dieses Muster, vorzugsweise aus einem anderen Blickwinkel, aufnimmt, wenigstens eine TOF-Kamera, wenigstens eine Interferometrie-Kamera, wenigstens eine Lichtfeldkamera oder dergleichen aufweist, und/oder eine Bildauswertung auf. Hierdurch kann in einer Ausführung das Umgebungsmodell rasch(er) erfasst werden und so die Prüfung besonders rasch durchgeführt und/oder eine größere Umgebung berücksichtigt werden. Alternativ oder besonders bevorzugt zusätzlich zur Ermittlung auf Basis erfassten Daten der realen Umgebung wird das Umgebungsmodell in einer Ausführung auf Basis vorgegebener Soll-Daten, in einer Weiterbildung CAD-Daten, der Umgebung ermittelt. Durch die Berücksichtigung solcher Daten kann in einer Ausführung das Umgebungsmodell rasch(er) und/oder präzise(r) ermittelt werden.
In einer Ausführung wird das Modell des Roboters auf Basis vorgegebener Soll- Daten, in einer Weiterbildung auf Basis der vorgegebenen Bahn des Roboters und/oder auf Basis von CAD-Daten des Roboters, und/oder einer Vermessung des Roboters ermittelt. Durch die Berücksichtigung solcher Daten kann in einer Ausführung das Modell des Roboters rasch(er) und/oder präzise(r) ermittelt werden. In einer Ausführung weist das Modell des Roboters für die verschiedenen Abschnitte, insbesondere Punkte, der Bahn jeweils eine durch die vorgegebene Bahn vorgegebene Pose der Roboterglieder zueinander und/oder einem umgebungsfesten Bezugssystem, auf bzw. gibt eine solche an. Eine Pose bzw. Lage im Sinne der vorliegenden Erfindung umfasst in einer Ausführung eine ein-, zwei- oder dreidimensionale Position und/oder eine ein-, zwei- oder dreidimensionale Orientierung. In einer Ausführung beruht das Ermitteln der konvexen Hülle auf diskreten oder kontinuierlich, insbesondere auf interpolierten diskreten, Posen des Robotermodells, insbesondere werden in einer Weiterbildung die zeitlich diskreten Posen des Roboters, insbesondere eines sich mit dem Roboter oder eines sich unabhängig vom Roboter bewegendes Robotermodells, zum Ermitteln einer konvexen Hülle über die (Bahn)Punkte des Abschnitts der Bahn und/oder über die Zeit verwendet.
Wie vorstehend erläutert, bildet in einer Ausführung ein robotergeführtes Werkzeug oder Werkstück ein bewegliches Glied des Roboters im Sinne der vorliegenden Erfindung. Entsprechend weist in einer Ausführung das Modell des Roboters ein computerimplementiertes Modell eines robotergeführten Werkzeugs oder Werkstücks als bewegliches Glied des Roboters auf. Dadurch kann in einer Ausführung vorteilhaft die Gefahr einer Kollision eines robotergeführten Werkzeugs oder Werkstücks mit der Umgebung geprüft werden, insbesondere einer Kollision einer konvexen Hülle, die die konvexe Hülle robotergeführten Werkzeugs oder Werkstücks umfasst. Entsprechend wird in einer Ausführung das Modell des Roboters auf Basis vorgegebener Soll-Daten, in einer Weiterbildung CAD-Daten, des Werkzeugs oder Werkstücks, und/oder einer Vermessung des Werkzeugs oder Werkstücks ermittelt.
In einer Ausführung weist das Umgebungsmodell ein oder mehrere Geometrieprimitive in einer vorgegebenen Relation, insbesondere räumlichen Lage, zu einem realem Umgebungshindernis, insbesondere also zu mehreren realen Umgebungshindernissen jeweils wenigstens Geometrieprimitiv in einer vorgegebenen Relation, insbesondere räumlichen Lage, zu diesem realem Umgebungshindernis, auf. Zusätzlich oder alternativ weist in einer Ausführung das Modell des Roboters ein oder mehrere Geometrieprimitive in einer vorgegebenen Relation, insbesondere räumlichen Lage, zu einem Glied des Robotes, insbesondere also zu mehreren Gliedern des Roboters, vorzugsweise wenigstens einem Endeffektor, jeweils wenigstens Geometrieprimitiv in einer vorgegebenen Relation, insbesondere räumlichen Lage, zu diesem Roboterglied, auf. Dadurch können in einer Ausführung die Existenz einer Schnittmenge rasch(er) ermittelt werden. Ein Geometrieprimitiv im Sinne der vorliegenden Erfindung ist in einer Ausführung ein Polyeder, insbesondere Prisma, insbesondere Quader, oder ein Zylinder, Kegel, Ellipsoid, insbesondere eine Kugel, oder dergleichen. Dadurch können in einer Ausführung die Existenz einer Schnittmenge besonders rasch ermittelt werden.
In einer Ausführung wird das Umgebungsmodell mithilfe wenigstens einer Approximation von mithilfe der Erfassungsvorrichtung erfassten Merkmalen, insbesondere Punkten, besonders bevorzugt einer mithilfe der Erfassungsvorrichtung erfassten Punktewolke, ermittelt, in einer Weiterbildung mithilfe eines oder mehrerer Gitter und/oder einer oder mehrerer Approximationsflächen, insbesondere ebener Approximationsflächen und/oder ein- oder mehrfach gekrümmter Approximationsflächen, wobei solche Gitter bzw. Approximationsflächen in einer Ausführung durch Ausgleichs-, insbesondere Inter- bzw. Extrapolations-, Glättungs- und/oder andere Fittingfunktionen von mithilfe der Erfassungsvorrichtung erfassten Punkten ermittelt werden, insbesondere kann das Umgebungsmodell diese Approximation aufweisen. Durch eine solche Approximation kann die Umgebung in einer Ausführung jeweils besonders vorteilhaft, insbesondere rasch und/oder präzise, modelliert werden. In einer Ausführung wird das Umgebungsmodell auf Basis des Roboters, insbesondere mithilfe einer, insbesondere der, Erfassungsvorrichtung erfassten Daten des Roboters, und/oder auf Basis des Modells des Roboters ermittelt. In einer Weiterbildung wird dabei der gegebenenfalls bei der Erfassung von Daten der realen Umgebung des Roboters mithilfe der Erfassungsvorrichtung miterfasste Roboter wenigstens teilweise eliminiert bzw. ausgeblendet. Dadurch kann in einer Ausführung das Umgebungsmodell verbessert werden.
In einer Ausführung wird das Umgebungsmodell auf Basis einer Auswahl eines Umgebungsbereichs durch eine Prüfperson ermittelt. In einer Weiterbildung wird dabei ein durch die Prüfperson ausgewählter Umgebungsbereich durch das Umgebungsmodell nicht berücksichtigt, in einer Weiterbildung bereits nicht mithilfe der Erfassungsvorrichtung erfasst, und/oder nur ein durch die Prüfperson ausgewählter Umgebungsbereich durch das Umgebungsmodell berücksichtigt, in einer Weiterbildung nur dieser Umgebungsbereich mithilfe der Erfassungsvorrichtung erfasst. Dadurch kann in einer Ausführung das Umgebungsmodell verbessert und/oder rasch(er) ermittelt werden.
In einer Ausführung wird die Schnittmenge zwischen der konvexen Hülle, insbesondere des Modells des Roboters, und dem Umgebungsmodell für einen oder mehrere der verschiedenen Abschnitte der Bahn jeweils auf Basis einer Schnittmenge zwischen
- einer imaginären Hülle eines ausgewählten beweglichen Glieds des Roboters, in einer Ausführung eines robotergeführten Werkzeugs oder Werkstücks, die die konvexe Hülle umfasst bzw. aufweist, oder
- einer imaginären Hülle mehrerer, in einer Ausführung aller, beweglichen Glieder des Roboters, in einer Ausführung entsprechend inklusive eines robotergeführten Werkzeugs oder Werkstücks, die die konvexe Hülle umfasst bzw. aufweist, und
- einer imaginären Hülle der gesamten durch das Umgebungsmodell beschriebenen Umgebung des Roboters oder
- einer imaginären Hülle eines ausgewählten Teilbereichs dieser Umgebung bzw.
Hülle ermittelt, kann insbesondere die entsprechende Schnittmenge sein.
Eine solche imaginäre Hülle ist in einer Ausführung wenigstens teilweise durch das Modell des Roboters bzw. Umgebungsmodell, in einer Ausführung ein oder mehrere der Geometrieprimitive des Robotermodells und/oder ein oder mehrere der Geometrieprimitive des Umgebungsmodells und/oder die Approximation von mithilfe der Erfassungsvorrichtung erfassten Punkten, mithilfe der das Umgebungsmodell ermittelt wird bzw. die das Umgebungsmodell aufweist, bestimmt, kann insbesondere wenigstens teilweise durch Oberflächen, Ecken, Kanten, Knoten, Koordinatenlinien oder dergleichen der Geometrieprimitive bzw. der Approximation, insbesondere des bzw. der Gitter(s) bzw. der Approximationsfläche(n) gebildet sein, und/oder einen vorgegebenen, insbesondere mittleren, minimalen und/oder maximalen, Abstand zu dem Roboter(glied) bzw. einer Oberfläche der Umgebung bzw. des Umgebungsbereichs und/oder einen vorgegebenen, insbesondere mittleren, minimalen und/oder maximalen, Abstand zu dem bzw. den Geometrieprimitiv(en), Gitter(n) bzw. Approximationsfläche(n) aufweisen bzw. entsprechend definiert bzw. vorgegeben sein bzw. werden. Eine imaginäre Hülle kann insbesondere kontinuierlich oder auch diskret sein. Somit kann beispielsweise die Schnittmenge zwischen Ecken, Kanten und/oder Flächen eines Geometrieprimitives des Robotermodells und einem Gitter oder einer Approximationsfläche des Umgebungsmodells zum Ermitteln einer Schnittmenge zwischen der konvexen Hülle basierend auf der imaginären Hülle des Modell des Roboters und dem Umgebungsmodell verwendet werden.
Indem die Schnittmenge einer imaginären Hülle, die insbesondere von der konvexen Hülle beabstandet ist, eines ausgewählten beweglichen Glieds des Roboters bzw. eines ausgewählten Teilbereichs der gesamten durch das Umgebungsmodell beschriebenen Umgebung des Roboters ermittelt wird, kann in einer Ausführung die Ermittlung rasch(er) durchgeführt, insbesondere auf prima facie relevante Bereich beschränkt werden.
Indem die Schnittmenge einer imaginären Hülle mehrerer, in einer Ausführung aller, beweglicher Glieder des Roboters bzw. der gesamten durch das Umgebungsmodell beschriebenen Umgebung des Roboters ermittelt wird, kann in einer Ausführung die Prüfung zuverlässig(er) durchgeführt werden, insbesondere können auch mehrere verschiedene Kollisionsmöglichkeiten berücksichtigt werden. In einer Ausführung ist die Visualisierungsvorrichtung eine mobile, insbesondere (durch eine Person, vorzugsweise mit einer Hand) tragbare, Visualisierungsvorrichtung, in einer Ausführung weist sie ein Handgerät, vorzugsweise ein Handheld, Tablet, Smartphone, Laptop oder dergleichen, und/oder eine Brille, insbesondere A(ugmented)R(eality)- oder (Vi rtual) R(eality) Bri Ile, auf. Dadurch kann in einer Ausführung die Prüfung in situ bzw. vor Ort durchgeführt und damit verbessert werden. In einer Ausführung ist die Visualisierungsvorrichtung (hard- und/oder softwaretechnisch) zum Steuern des Roboters eingerichtet bzw. wird (auch) hierzu verwendet. Dadurch kann in einer Ausführung eine Inbetriebnahme rasch(er) und/oder sicher(er) durchgeführt werden.
In einer Ausführung weist die (visualisierte) virtuelle Repräsentation der konvexen Hülle der Bahn einen, in einer Ausführung kontinuierlichen, Weg eines roboterfesten Referenzpunkts, vorzugsweise eines Endeffektors des Roboters, und/oder eine Darstellung von einem oder mehreren, insbesondere allen, beweglichen Gliedern des Roboters auf, in einer Ausführung mittels bzw. durch Geometrieprimitive des Modells des Roboters. Die Darstellung des bzw. der Glieder des Roboters ändert sich in einer Ausführung während der Visualisierung entsprechend der vorgegebenen Bahn, entsprechend kann die virtuelle Repräsentation insbesondere eine virtuelle Simulation des Roboters bzw. Darstellung der Bewegung, insbesondere mittels der konvexen Hülle, eines oder mehrerer seiner Glieder beim Abfahren der Bahn aufweisen.
Durch die Visualisierung des Wegs, insbesondere der Hülle des Wegs als Volumen der Bewegung entlang des Wegs, kann in einer Ausführung die Prüfung rasch(er) und/oder zuverlässig(er) durchgeführt werden, insbesondere eine Prüfperson die Bahn einfach(er), intuitiv(er) und/oder rasch(er) prüfen bzw. beurteilen. In einer Ausführung umfasst das Ausgeben einer Warnung bzw. Entwarnung das Hervorheben, vorzugsweise Einfärben und/oder Beleuchten, des entsprechenden Bahn- bzw. Wegabschnitts entsprechend der hierfür ermittelten Existenz einer Schnittmenge, wobei das Vorhandensein oder das Fehlen einer Schnittmenge unterschiedliche Hervorhebungen, vorzugsweise Farben bzw. Beleuchtungen, zugordnet sein können, beispielsweise das Vorhandensein einer Schnittmenge die Farbe Rot und das Fehlen einer Schnittmenge die Farbe Grün, oder auch einer ermittelten Schnittmenge die Farbe Rot, kleineren Abständen (insbesondere der imaginären oder konvexen Hülle) im Entwarnbereich die Farbe Gelb und größeren Abständen im Entwarnbereich die Farbe Grün, oder auch eine Farbe, die sich mit dem ermittelten Abstand der imaginären oder konvexen Hülle von einem Umgebungsmodell kontinuierlich oder in mehreren diskreten Stufen ändert, und/oder Bahn- bzw. Wegabschnitte mit Schnittmengen und/oder Abständen im Warnbereich leuchtend und Bahn- bzw. Wegabschnitte mit Abständen, insbesondere ohne Schnittmengen, im Entwarnbereich nicht-leuchtend dargestellt werden bzw. sich die Beleuchtung mit den Abständen ändert.
Zusätzlich oder alternativ kann das Ausgeben einer Warnung bzw. Entwarnung das Hervorheben, vorzugsweise Einfärben und/oder Beleuchten, der Darstellung von einem oder mehreren, insbesondere allen, beweglichen Glieder des Roboters entsprechend des für den jeweiligen Abschnitt ermittelten Abstands der imaginären oder konvexen Hülle vom Umgebungsmodell umfassen, wobei verschiedenen Abständen unterschiedliche Hervorhebungen, vorzugsweise Farben und/oder Beleuchtungen, zugeordnet sein können wie vorstehend beschrieben. Beispielsweise wird die Darstellung für bzw. längs Abschnitte(n) mit (zu) geringen Abständen rot und für bzw. längs Abschnitte(n) mit (ausreichend) großen Abständen grün eingefärbt, gleichermaßen kann sich die Farbe der Darstellung mit dem ermittelten Abstand kontinuierlich oder in mehreren diskreten Stufen ändern, und/oder die Darstellung für Abstände im Warnbereich leuchtend und im Entwarnbereich nicht-leuchtend dargestellt werden bzw. sich deren Beleuchtung mit den Abständen ändert.
Durch die Hervorhebung, insbesondere Färbung und/oder Beleuchtung, des Wegs kann in einer Ausführung eine Prüfperson die Bahn rasch(er) prüfen bzw. beurteilen, durch die Hervorhebung, insbesondere Färbung und/oder Beleuchtung, der Darstellung des bzw. der Roboterglieder i ntuitiv(er), vereinfacht und/oder ihre Erkennbarkeit verbessert werden.
In einer Ausführung wird für das Visualisieren der imaginären oder konvexen Hülle eines Abschnitts der Bahn eine erste virtuelle Repräsentation verwendet, wenn der für diesen Abschnitt ermittelte Abstand in dem Warnbereich liegt oder eine Schnittmenge existiert, und für das Visualisieren dieses Abschnitts der Bahn eine hiervon verschiedene zweite virtuelle Repräsentation verwendet, wenn der für diesen Abschnitt ermittelte Abstand in dem Entwarnbereich liegt oder keine Schnittmenge existiert. Beispielsweise kann, wie an anderer Stelle erläutert, für das Visualisieren eines Abschnitts der Bahn eine erste virtuelle Repräsentation verwendet werden, die einen rot gefärbten Wegabschnitt eines roboterfesten Referenzpunkts, insbesondere mehrerer roboterfester Referenzpunkt, weiter insbesondere roboterfester Referenzpunkt(e), der/die in der imaginären oder konvexen Hülle umfasst ist/sind, aufweist, wenn der für diesen Abschnitt ermittelte Abstand in dem Warnbereich liegt, und für das Visualisieren dieses Abschnitts der Bahn eine hiervon verschiedene zweite virtuelle Repräsentation verwendet werden, die einen grün gefärbten Wegabschnitt des roboterfesten Referenzpunkts, insbesondere mehrerer roboterfester Referenzpunkte, weiter insbesondere roboterfester Referenzpunkt(e), der/die in der imaginären oder konvexen Hülle umfasst ist/sind, aufweist, wenn der für diesen Abschnitt ermittelte Abstand in dem Entwarnbereich liegt.
In einer Weiterbildung wird für das Visualisieren der imaginären oder konvexen Hülle eines Abschnitts der Bahn eine erste virtuelle Repräsentation verwendet, wenn der für diesen Abschnitt ermittelte Abstand in einem Teil des Warnbereichs liegt oder eine Schnittmenge existiert, und für das Visualisieren dieses Abschnitts der Bahn eine andere erste virtuelle Repräsentation verwendet, wenn der für diesen Abschnitt ermittelte Abstand in einem anderen Teil des Warnbereichs liegt, insbesondere keine Schnittmenge existiert. Zusätzlich oder alternativ wird in einer Weiterbildung für das Visualisieren eines Abschnitts der Bahn eine zweite virtuelle Repräsentation verwendet, wenn der für diesen Abschnitt ermittelte Abstand in einem Teil des Entwarnbereichs liegt, und für das Visualisieren dieses Abschnitts der Bahn eine andere zweite virtuelle Repräsentation verwendet, wenn der für diesen Abschnitt ermittelte Abstand in einem anderen Teil des Entwarnbereichs liegt.
Beispielsweise kann für das Visualisieren eines Abschnitts der Bahn eine erste virtuelle Repräsentation verwendet werden, die einen dicken und/oder rot gefärbten Wegabschnitt eines roboterfesten Referenzpunkts aufweist, wenn der für diesen Abschnitt ermittelte Abstand in dem Warnbereich liegt, eine andere erste virtuelle Repräsentation verwendet werden, die einen dünneren und/oder orange gefärbten Wegabschnitt des Referenzpunkts aufweist, wenn der für diesen Abschnitt ermittelte Abstand größer ist, aber noch in dem Warnbereich liegt, eine zweite virtuelle Repräsentation verwendet werden, die einen dicken und/oder gelb gefärbten Wegabschnitt des Referenzpunkts aufweist, wenn der für diesen Abschnitt ermittelte Abstand in dem Entwarnbereich liegt, und eine andere zweite virtuelle Repräsentation verwendet werden, die einen dünneren und/oder grün gefärbten Wegabschnitt des Referenzpunkts aufweist, wenn der für diese Abschnitt ermittelte Abstand in dem Warnbereich liegt, aber größer ist. Das Visualisieren mittels eines roboterfesten Referenzpunkt, insbesondere mittels mehrerer roboterfester Referenzpunkte, weiter insbesondere aller roboterfester Referenzpunkte, kann in einer Ausführung das Visualisieren der konvexen Hülle ergeben; in einer Weiterbildung mit von den roboterfesten Referenzpunkten in normaler Richtung beabstandeten Punkten, die imaginäre Hülle ergeben.
Hierdurch kann in einer Ausführung die imaginäre oder die konvexe Hülle auf eine Weise visualisiert werden, die es insbesondere der Prüfperson erlaubt eine vorgegebene Bahn schnell(er) zu prüfen.
Ferner kann in einer Weiterbildung das Visualisieren der imaginären oder der konvexen Hülle eine transparente bzw. halbtransparente Darstellung in der augmentierten Realität umfassen. Hierdurch kann in einer Ausführung eine Schnittmenge schnell(er) erfasst werden, insbesondere von der Prüfperson.
Die oben genannten Farben, Beleuchtungen bzw. Stilarten, Transparenz und Einteilungen sind natürlich nur exemplarisch, wobei eine Vielzahl anderen Diskretisierungen und/oder Warnungen bzw. Entwarnungen möglich sind.
In einer Ausführung werden beim Visualisieren der virtuellen Repräsentation der imaginären Hülle oder der konvexen Hülle der Bahn ein oder mehrere Parameter der Bahn ausgegeben, in einer Ausführung eine Geschwindigkeit und/oder wenigstens ein Parameter, beispielsweise eine Geschwindigkeit, für wenigstens einen, insbesondere von einer Prüfperson, ausgewählten Abschnitt, insbesondere Punkt oder Pose, der Bahn und/oder wenigstens ein Parameter, beispielsweise eine Geschwindigkeit, für einen beim Visualisieren gerade bzw. aktuell simuliert ab- bzw. angefahrenen Abschnitt, insbesondere Punkt oder Pose, der Bahn.
Zusätzlich oder alternativ wird beim Visualisieren in einer Ausführung ein Wert des ermittelten Abstands der imaginären Hülle oder der konvexen Hülle vom Umgebungsmodell für wenigstens einen Abschnitt der Bahn, insbesondere eines global minimalen Abstands und/oder eines Abstands für einen, insbesondere von einer Prüfperson, ausgewählten Abschnitt, insbesondere Punkt, der Bahn und/oder für einen beim Visualisieren gerade bzw. aktuell simuliert abgefahrenen Abschnitt, insbesondere simuliert angefahrenen Punkt, der Bahn, ausgegeben.
Die Ausgabe eines Parameters und/oder eines Abstandswertes erfolgt in einer Ausführung numerisch, akustisch und/oder symbolisch. Beispielsweise kann eine Fahrtrichtung durch einen Pfeil ausgegeben werden, eine TCP-Geschwindigkeit durch eine entsprechende Zahlenangabe, ein Abstandswert symbolisch durch eine entsprechende Linie, insbesondere Bemaßungslinie mit, beispielsweise durch Pfeile, Querstriche oder dergleichen, symbolisierten Enden, und/oder numerisch durch eine entsprechende Zahlenangabe. Die Ausgabe eines Parameters kann in einer Ausführung außerhalb der imaginären Hülle oder der konvexen Hülle visualisiert sein bzw. werden.
Durch eines oder mehrere der vorstehend genannten Merkmale kann in einer Ausführung eine Prüfperson die Bahn rasch(er) und/oder zuverlässig(er) prüfen bzw. beurteilen.
Je nach Ergebnis der Prüfung wird die Bahn in einer Ausführung modifiziert, in einer Weiterbildung durch (Ein- bzw. Vorgaben durch) die Prüfperson oder auch automatisch. Dann kann ein hier beschriebenes Verfahren für die bzw. mit der modifizierte(n) Bahn erneut durchgeführt werden, um in analoger Weise diese modifizierte Bahn zu prüfen, wobei dabei in einer Weiterbildung erneut Daten der realen Umgebung erfasst und das Umgebungsmodell auf Basis dieser Daten erneut ermittelt wird, was vorteilhaft Veränderungen der realen Umgebung berücksichtigen kann, in einer anderen Weiterbildung stattdessen das zuvor verwendete Umgebungsmodell weiterverwendet bzw. (erneut) bereitgestellt wird, was vorteilhaft Aufwand und Zeitbedarf reduzieren kann.
Die Erfindung kann mit besonderem Vorteil beim bzw. zum Inbetriebnehmen des Roboters zum Abfahren der vorgegebenen Bahn durchgeführt werden, da hier besonders vorteilhaft die Sicherheit erhöht und/oder Aufwand und/oder Zeit reduziert werden kann, sie ist jedoch nicht hierauf beschränkt. Nach einer Ausführung der vorliegenden Erfindung ist ein System, insbesondere hard- und/oder software-, insbesondere programmtechnisch, zur Durchführung eines hier beschriebenen Verfahrens eingerichtet und/oder weist auf:
- Mittel zum Ermitteln oder Bereitstellen eines computerimplementierten dreidimensionalen Umgebungsmodells;
- Mittel zum Ermitteln einer konvexen Hülle für wenigstens einen Abschnitt der Bahn;
- Mittel zum Ermitteln einer Schnittmenge der konvexen Hülle mit dem Umgebungsmodell , insbesondere für verschiedene Abschnitte der Bahn; und
- eine Visualisierungsvorrichtung zum Visualisieren einer virtuellen Repräsentation der konvexen Hülle der Bahn in einer augmentierten Realität zum Prüfen der Bahn, wobei bei dieser Visualisierung für einen Abschnitt der Bahn eine Warnung ausgegeben wird, wenn wenigstens eine Schnittmenge für diesen Abschnitt der Bahn existiert, insbesondere der für diesen Abschnitt ermittelte Abstand in einem vorgegebenen Warnbereich liegt. Zusätzlich oder alternativ kann in einer Ausführung für einen Abschnitt der Bahn eine Entwarnung ausgegeben werden, für diesen Abschnitt der Bahn keine Schnittmenge existiert, insbesondere wenn der für diesen Abschnitt ermittelte Abstand in einem vorgegebenen Entwarnbereich liegt.
In einer Ausführung weist das System bzw. sein(e) Mittel auf: eine, insbesondere mobile, insbesondere tragbare, Erfassungsvorrichtung zum Erfassen von Daten einer realen Umgebung des Roboters und Mittel zum Ermitteln des Umgebungsmodells auf Basis dieser erfassten Daten, insbesondere mithilfe wenigstens einer Approximation von mithilfe der Erfassungsvorrichtung erfassten Punkten; und/oder wenigstens einen berührungslos messenden Abstandsmesser, insbesondere wenigstens einen Lidar-, Radar- oder Ultraschall-Abstandsmesser, und/oder wenigstens eine Kamera, insbesondere ein 3D-Kamerasystem, und/oder eine Bildauswertung; und/oder
Mittel zum Ermitteln des Umgebungsmodells auf Basis vorgegebener Soll-Daten, insbesondere CAD-Daten, der Umgebung und/oder auf Basis des Roboters, insbesondere mithilfe einer, insbesondere der, Erfassungsvorrichtung erfassten Daten des Roboters, und/oder auf Basis des Modells des Roboters und/oder auf Basis einer Auswahl eines Umgebungsbereichs durch eine Prüfperson; und/oder
Mittel zum Ermitteln des Modells des Roboters auf Basis vorgegebener Soll-Daten, insbesondere der vorgegebenen Bahn des Roboters und/oder CAD-Daten des Roboters, und/oder einer Vermessung des Roboters;
Mittel zum Ermitteln einer Schnittmenge der konvexen Hülle (und/oder der imaginären Hülle) zwischen dem Modell des Roboters und dem Umgebungsmodell für wenigstens einen der verschiedenen Abschnitte der Bahn auf Basis einer Schnittmenge zwischen einer imaginären Hülle eines ausgewählten beweglichen Glieds des Roboters oder einer imaginären Hülle mehrerer, insbesondere aller, beweglichen Glieder des Roboters und einer imaginären Hülle der gesamten durch das Umgebungsmodell beschriebenen Umgebung des Roboters oder eines ausgewählten Teilbereichs hiervon; und/oder
Mittel zum Verwenden einer ersten virtuellen Repräsentation für die Visualisieren der konvexen oder imaginären Hülle eines Abschnitts der Bahn, wenn für diesen Abschnitt eine Schnittmenge existiert, insbesondere wenn der für diesen Abschnitt ermittelte Abstand der konvexen Hülle oder der imaginären Hülle in dem Warnbereich, insbesondere einem Teil des Warnbereichs, liegt, und einer hiervon verschiedenen zweiten virtuellen Repräsentation, wenn für diesen Abschnitt keine Schnittmenge, insbesondere wenn der für diesen Abschnitt ermittelte Abstand der konvexen Hülle oder der imaginären Hülle in dem Entwarnbereich, insbesondere einem Teil des Entwarnbereichs, liegt, insbesondere einer anderen ersten virtuellen Repräsentation, wenn der für diesen Abschnitt ermittelte Abstand in einem anderen Teil des Warnbereichs liegt, und/oder einer anderen zweiten virtuellen Repräsentation, wenn der für diesen Abschnitt ermittelte Abstand in einem anderen Teil des Entwarnbereichs liegt; und/oder
Mittel zum Ausgeben wenigstens eines Parameters der Bahn, insbesondere einer Geschwindigkeit und/oder für wenigstens einen ausgewählten Abschnitt der Bahn und/oder für einen visualisierten, insbesondere beim Visualisieren simuliert ab- bzw. angefahrenen, Abschnitt, insbesondere Punkt oder Pose, der Bahn, und/oder eines Werts des ermittelten Abstands für wenigstens einen Abschnitt der Bahn, insbesondere eines global minimalen Abstands und/oder eines Abstands für einen ausgewählten Abschnitt der Bahn und/oder für einen visualisierten, insbesondere beim Visualisieren simuliert ab- bzw. angefahrenen, Abschnitt, insbesondere Punkt oder Pose, der Bahn, beim Visualisieren der virtuellen Repräsentation der Bahn, insbesondere numerisch, akustisch und/oder symbolisch.
Ein System und/oder ein Mittel im Sinne der vorliegenden Erfindung kann hard- und/oder softwaretechnisch ausgebildet sein, insbesondere wenigstens eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbesondere Mikroprozessoreinheit (CPU), Graphikkarte (GPU) oder dergleichen, und/oder ein oder mehrere Programme oder Programmmodule aufweisen. Die Verarbeitungseinheit kann dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten, Eingangssignale von einem Datenbus zu erfassen und/oder Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere, insbesondere verschiedene, Speichermedien, insbesondere optische, magnetische, Festkörper- und/oder andere nicht-flüchtige Medien aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, sodass die Verarbeitungseinheit die Schritte solcher Verfahren ausführen kann und damit insbesondere die virtuelle Repräsentation der Bahn visualisieren bzw. die Warnung bzw. Entwarnung ausgeben kann. Ein Computerprogrammprodukt kann in einer Ausführung ein, insbesondere computerlesbares und/oder nicht-flüchtiges, Speichermedium zum Speichern eines Programms bzw. von Anweisungen bzw. mit einem darauf gespeicherten Programm bzw. mit darauf gespeicherten Anweisungen aufweisen, insbesondere sein. In einer Ausführung veranlasst ein Ausführen dieses Programms bzw. dieser Anweisungen durch ein System bzw. eine Steuerung, insbesondere einen Computer oder eine Anordnung von mehreren Computern, das System bzw. die Steuerung, insbesondere den bzw. die Computer, dazu, ein hier beschriebenes Verfahren bzw. einen oder mehrere seiner Schritte auszuführen, bzw. sind das Programm bzw. die Anweisungen hierzu eingerichtet.
In einer Ausführung werden ein oder mehrere, insbesondere alle, Schritte des Verfahrens vollständig oder teilweise automatisiert durchgeführt, insbesondere durch das System bzw. sein(e) Mittel. In einer Ausführung weist das System den Roboter auf. In einer Ausführung ist bzw. wird der Warnbereich so bzw. derart vorgegeben, dass bei diesem eine Kollision zwischen Roboter und Umgebung vorliegt oder wahrscheinlich(er) ist, und/oder der Entwarnbereich so bzw. derart vorgegeben, dass bei diesem keine Kollision zwischen Roboter und Umgebung vorliegt oder wenig(er) wahrscheinlich ist.
In einer Ausführung weist das Verfahren den Schritt auf:
- Abfahren der geprüften Bahn mit dem Roboter.
Dadurch kann die Bahn in einer Ausführung vorteilhaft mit dem realen Roboter überprüft werden, wobei das Abfahren nach dem Prüfen in der augmentierten Realität vorteilhafterweise die Sicherheit beim Abfahren mit dem Roboter erhöht.
Entsprechend weist in einer Ausführung das System bzw. sein(e) Mittel auf:
- Mittel zum Abfahren der geprüften Bahn mit dem Roboter.
Weitere Vorteile und Merkmale ergeben sich aus den Unteransprüchen und den Ausführungsbeispielen. Hierzu zeigt, teilweise schematisiert:
Fig. 1 : ein System zum Prüfen einer vorgegebenen Bahn eines Roboters nach einer Ausführung der vorliegenden Erfindung; und
Fig. 2: eine konvexe Hülle eines Abschnitts einer Bahn eines Roboters nach einer Ausführung der vorliegenden Erfindung; und
Fig. 3: ein Verfahren zum Prüfen der vorgegebenen Bahn des Roboters nach einer Ausführung der vorliegenden Erfindung.
Fig. 1 zeigt ein System zum Prüfen einer vorgegebenen Bahn eines Roboters 1 mithilfe einer Visualisierungsvorrichtung in Form einer AR-Bri Ile 2 oder eines T ablets 3 durch eine Prüfperson 4.
Fig. 2 zeigt einen Roboter 1 , der mit einem T eil seiner Glieder eine Bewegung durchführt, die entlang eines Abschnitts einer vorgegebenen Bahn verläuft. Die Bewegung ist in zeitlich aufeinanderfolgenden Posen diskret dargestellt, die zusammen die Bewegung entlang des Abschnitts der vorgegebenen Bahn ergeben. Die Bewegung ist als konvexe Hülle 8 und als imaginäre Hülle 9, die von der konvexen Hülle beabstandet ist, dargestellt. Sowohl die konvexe Hülle 8 als auch die imaginäre Hülle 9 weisen eine Schnittmenge mit der Umgebung 6 auf. Die Existenz einer Schnittmenge kann mit dem Ausgeben einer Warnung, insbesondere einer visuellen Warnung, dargestellt werden. Anhand der Warnung kann eine Prüfperson beispielsweise die vorgegebene Bahn modifizieren, bis eine Bahn gefunden wird, die keine Schnittmenge mit der Umgebung 6 aufweist und entsprechend keine Warnung ausgegeben wird.
In einem Schritt S10 (vgl. Fig. 3) wird mithilfe einer an der Visualisierungsvorrichtung 2 bzw. 3, vorzugsweise integriert oder lösbar, angeordneten Erfassungsvorrichtung 5A bzw. 5B, beispielsweise einem 3D-Kamerasystem, Lidarsensor oder dergleichen, eine reale Umgebung 6 des Roboters erfasst und in einem Schritt S20 mithilfe dieser Daten ein computerimplementiertes Umgebungsmodell ermittelt. In einer nicht dargestellten Abwandlung kann das Umgebungsmodell zusätzlich oder alternativ auf Basis von Soll-Daten der Umgebung erstellt oder nur bereitgestellt, beispielsweise aus einem Speicher abgerufen, werden.
In einem Schritt S30 werden für verschiedene Abschnitte, in einer Ausführung Punkte, der konvexen Hülle, insbesondere der imaginären Hülle, der Bahn jeweils eine Schnittmenge zwischen einem computerimplementierten Modell des Roboters und dem Umgebungsmodell ermittelt, wobei die Bahn beispielsweise mithilfe einer simulierten Umgebung oder durch Einlernen bzw. Teachen vorgegeben wurde.
Beispielsweise kann das Robotermodell Geometrieprimitive in Form von Quadern, Zylindern oder dergleichen aufweisen, die jeweils einem der beweglichen Glieder des Roboters zugeordnet sind und deren Pose bzw. Lage sich entsprechend des jeweiligen Abschnitts bzw. Bahnpunkts bzw. beim simulierten Abfahren der Bahn durch den Roboter entsprechend ändert. Das Umgebungsmodell kann beispielsweise ein Gitter oder eine Approximationsfläche aufweisen, das bzw. die eine beim Erfassen der realen Umgebung erfasste Punktewolke approximiert. Als Abstand zwischen Roboter- und Umgebungsmodell wird dann beispielsweise der minimale Abstand zwischen all diesen Geometrieprimitiven und dem Gitter bzw. der Approximationsfläche ermittelt. Als Schnittmenge zwischen Roboter- und Umgebungsmodell wird dann beispielsweise eine Überschneidung zwischen all diesen Geometrieprimitiven und dem Gitter bzw. der Approximationsfläche ermittelt, bzw. Punkte, insbesondere Volumina, die gleichzeitig von Robotermodell und Umgebungsmodell eingenommen werden.
In einem Schritt S40 wird eine virtuelle Repräsentation der konvexen Hülle der Bahn mithilfe der Visualisierungsvorrichtung 2 bzw. 3 in einer augmentierten Realität zum Prüfen der Bahn visualisiert, beispielsweise eine Hülle um die beim simulierten Abfahren der Bahn eingenommenen Posen des Roboters bzw. seines Modells (über die Zeit), wobei die Hülle eine konvexe Hülle sein kann bzw. ist oder wobei die Hülle eine imaginäre Hülle sein kann bzw. ist, die insbesondere von der konvexen Hülle beabstandet ist.
Bei dieser Visualisierung wird für einen Abschnitt der Bahn eine Warnung ausgegeben, wenn für diesen Abschnitt eine Schnittmenge existiert, insbesondere wenn der für diesen Abschnitt ermittelte Abstand zwischen der konvexen Hülle, insbesondere der imaginären Hülle, und dem Umgebungsmodell in einem vorgegebenen Warnbereich liegt, und für einen Abschnitt der Bahn eine Entwarnung ausgegeben, wenn für diesen Abschnitt keine Schnittmenge existiert, insbesondere wenn der für diesen Abschnitt ermittelte Abstand in einem vorgegebenen Entwarnbereich liegt, beispielsweise in vorstehend beschriebener Weise mittels Hervorheben von entsprechenden Abschnitten oder dergleichen.
Mithilfe dieser visualisierten virtuellen Repräsentation und der ausgegebenen Warnungen bzw. Entwarnungen kann die Prüfperson 4 in Schritt S40 prüfen, ob die Gefahr einer Kollision des Roboters 1 mit der Umgebung beim Abfahren der vorgegebenen Bahn vorliegt bzw. wie groß diese ist.
Dabei kann sie sich vorteilhaft auf die Abschnitte beschränken bzw. konzentrieren, für die eine Warnung ausgegeben wird, und diese genaue(er) prüfen und die Bahn gegebenenfalls, insbesondere in solchen Abschnitten, in einem Schritt S50 modifizieren, woraufhin die Schritte S30, S40 und gegebenenfalls S50 erneut durchgeführt werden können. Die geprüfte Bahn kann in einem Schritt S60 mit dem realen Roboter abgefahren werden.
Obwohl in der vorhergehenden Beschreibung exemplarische Ausführungen erläutert wurden, sei darauf hingewiesen, dass eine Vielzahl von Abwandlungen möglich ist. Außerdem sei darauf hingewiesen, dass es sich bei den exemplarischen Ausführungen lediglich um Beispiele handelt, die den Schutzbereich, die Anwendungen und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die Umsetzung von mindestens einer exemplarischen Ausführung gegeben, wobei diverse Änderungen, insbesondere in Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten Merkmalskombinationen ergibt.
Bezuqszeichenliste
1 Roboter
2 AR-Brille 3 Tablet
4 Prüfperson
5A; 5B Erfassungsvorrichtung
6 Umgebung
7 konvexe Hülle 8 imaginäre Hülle
TCP Tool Center Point

Claims

Patentansprüche
1. Verfahren zum Prüfen einer vorgegebenen Bahn eines Roboters (1), mit den Schritten:
- Ermitteln (S20) oder Bereitstellen eines computerimplementierten dreidimensionalen Umgebungsmodells;
- Ermitteln (S30) einer konvexen Hülle für wenigstens einen Abschnitt der Bahn;
- Ermitteln einer Schnittmenge der konvexen Hülle mit dem Umgebungsmodell; und
- Visualisieren (S40) einer virtuellen Repräsentation der konvexen Hülle der Bahn mithilfe einer Visualisierungsvorrichtung (2; 3) in einer augmentierten Realität zum Prüfen der Bahn, wobei bei dieser Visualisierung für einen Abschnitt der Bahn eine Warnung ausgegeben wird, wenn wenigstens eine Schnittmenge existiert und für einen Abschnitt der Bahn eine Entwarnung ausgegeben wird, wenn der für diesen Abschnitt keine Schnittmenge existiert.
2. Verfahren nach dem vorhergehenden Anspruch, gekennzeichnet durch den Schritt:
- Erfassen (S10) von Daten einer realen Umgebung des Roboters mithilfe einer, insbesondere mobilen, insbesondere tragbaren, Erfassungsvorrichtung; wobei das Umgebungsmodell auf Basis dieser erfassten Daten ermittelt wird, insbesondere mithilfe wenigstens einer Approximation von mithilfe der Erfassungsvorrichtung erfassten Merkmalen, insbesondere Punkten.
3. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die Erfassungsvorrichtung an der Visualisierungsvorrichtung angeordnet ist und/oder zum Erfassen der Daten relativ zu der realen Umgebung translatorisch und/oder rotatorisch bewegt wird und/oder wenigstens einen berührungslos messenden Abstandsmesser, insbesondere wenigstens einen Lidar-, Radar- oder Ultraschall-Abstandsmesser, und/oder wenigstens eine Kamera, insbesondere ein 3D-Kamerasystem, und/oder eine Bildauswertung aufweist.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Umgebungsmodell auf Basis vorgegebener Soll-Daten, insbesondere CAD-Daten, der Umgebung ermittelt wird und/oder wenigstens ein dreidimensionales Geometrieprimitiv in einer vorgegebenen Relation zu einem realem Umgebungshindernis aufweist und/oder das Modell des Roboters auf Basis vorgegebener Soll-Daten, insbesondere der vorgegebenen Bahn des Roboters und/oder CAD-Daten des Roboters, und/oder einer Vermessung des Roboters ermittelt wird und/oder wenigstens ein dreidimensionales Geometrieprimitiv in einer vorgegebenen Relation zu einem Glied des Robotes aufweist und/oder das Modell des Roboters ein computerimplementiertes Modell eines robotergeführten Werkzeugs oder Werkstücks als bewegliches Glied des Roboters aufweist.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Umgebungsmodell auf Basis des Roboters, insbesondere mithilfe einer, insbesondere der, Erfassungsvorrichtung erfassten Daten des Roboters, und/oder auf Basis des Modells des Roboters und/oder auf Basis einer Auswahl eines Umgebungsbereichs durch eine Prüfperson ermittelt wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Schnittmenge zwischen der konvexen Hülle und dem Umgebungsmodell für den wenigstens einen Abschnitt der Bahn auf Basis einer Schnittmenge zwischen einer imaginären Hülle eines ausgewählten beweglichen Glieds des Roboters oder einer imaginären Hülle mehrerer, insbesondere aller, beweglichen Glieder des Roboters und einer imaginären Hülle der gesamten durch das Umgebungsmodell beschriebenen Umgebung des Roboters oder eines ausgewählten Teilbereichs hiervon ermittelt wird.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Visualisierungsvorrichtung eine mobile, insbesondere tragbare, Visualisierungsvorrichtung ist, insbesondere ein Handgerät, insbesondere ein Smartphone, und/oder eine Brille aufweist, und/oder die Visualisierungsvorrichtung zum Steuern des Roboters eingerichtet ist.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die virtuelle Repräsentation der konvexen Hülle der Bahn eine, insbesondere kontinuierliche, Darstellung von einem oder mehreren, insbesondere allen, beweglichen Glieder des Roboters, insbesondere einer Simulation des Roboters, beim Abfahren der Bahn, aufweist. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass beim Visualisieren der virtuellen Repräsentation der konvexen Hülle wenigstens ein Parameter der Bahn, insbesondere eine Geschwindigkeit und/oder für wenigstens einen ausgewählten Abschnitt der Bahn und/oder für einen beim Visualisieren simuliert ab- bzw. angefahrenen Abschnitt, insbesondere Punkt, der Bahn, und/oder für einen beim Visualisieren simuliert ab- bzw. angefahrenen Abschnitt, insbesondere Punkt, der Bahn, insbesondere numerisch, akustisch und/oder symbolisch, ausgegeben wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bahn mithilfe der visualisierten virtuellen Repräsentation und der ausgegebenen Warnung geprüft wird, insbesondere ein Abschnitt der virtuellen Repräsentation, für den eine Warnung ausgegeben wird, speziell geprüft wird und/oder die Bahn, insbesondere wenigstens dieser Abschnitt, gegebenenfalls modifiziert wird (S50) und/oder die geprüfte Bahn mit dem Roboter abgefahren wird (S60). Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass eine virtuelle Repräsentation der konvexen Hülle der modifizierten Bahn mithilfe der Visualisierungsvorrichtung in der augmentierten Realität zum Prüfen der modifizierten Bahn visualisiert wird (S40), wobei bei dieser Visualisierung für einen Abschnitt der modifizierten Bahn eine Warnung ausgegeben wird, wenn für diesen Abschnitt wenigstens eine Schnittmenge der konvexen Hülle der modifizierten Bahn mit dem Umgebungsmodell existiert. System zum Prüfen einer vorgegebenen Bahn eines Roboters (1), das zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist und/oder aufweist:
- Mittel zum Ermitteln oder Bereitstellen eines computerimplementierten dreidimensionalen Umgebungsmodells;
- Mittel zum Ermitteln einer konvexen Hülle für wenigstens einen Abschnitt der Bahn - Mittel zum Ermitteln einer Schnittmenge der konvexen Hülle mit dem Umgebungsmodell; und
- eine Visualisierungsvorrichtung (2; 3) zum Visualisieren (S40) einer virtuellen Repräsentation der konvexen Hülle der Bahn in einer augmentierten Realität zum Prüfen der Bahn, wobei bei dieser Visualisierung für einen Abschnitt der
Bahn eine Warnung ausgegeben wird, wenn wenigstens eine Schnittmenge existiert. Computerprogramm oder Computerprogrammprodukt, wobei das Computerprogramm oder Computerprogrammprodukt, insbesondere auf einem computerlesbaren und/oder nicht-flüchtigen Speichermedium gespeicherte, Anweisungen enthält, die bei der Ausführung durch einen oder mehrere Computer oder ein System nach Anspruch 12 den oder die Computer oder das System dazu veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 11 durchzuführen.
EP23711439.2A 2022-03-15 2023-03-13 Prüfen einer vorgegebenen bahn eines roboters Withdrawn EP4494106A1 (de)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
DE102022202562.8A DE102022202562B4 (de) 2022-03-15 2022-03-15 Ermitteln wenigstens einer Grenze für ein Betreiben eines Roboters
DE102022202564.4A DE102022202564B4 (de) 2022-03-15 2022-03-15 Prüfen einer Sicherheitskonfiguration eines Roboters
DE102022202569.5A DE102022202569B3 (de) 2022-03-15 2022-03-15 Prüfen einer vorgegebenen Bahn eines Roboters
DE102022202563.6A DE102022202563B3 (de) 2022-03-15 2022-03-15 Planen einer Bahn eines Roboters
DE102022202571.7A DE102022202571B3 (de) 2022-03-15 2022-03-15 Prüfen einer vorgegebenen Bahn eines Roboters
PCT/EP2023/056358 WO2023174876A1 (de) 2022-03-15 2023-03-13 Prüfen einer vorgegebenen bahn eines roboters

Publications (1)

Publication Number Publication Date
EP4494106A1 true EP4494106A1 (de) 2025-01-22

Family

ID=85685110

Family Applications (5)

Application Number Title Priority Date Filing Date
EP23711437.6A Pending EP4493361A1 (de) 2022-03-15 2023-03-13 Ermitteln wenigstens einer grenze für ein betreiben eines roboters
EP23711438.4A Pending EP4493362A1 (de) 2022-03-15 2023-03-13 Planen einer bahn eines roboters
EP23711439.2A Withdrawn EP4494106A1 (de) 2022-03-15 2023-03-13 Prüfen einer vorgegebenen bahn eines roboters
EP23711436.8A Pending EP4493360A1 (de) 2022-03-15 2023-03-13 Prüfen einer vorgegebenen bahn eines roboters
EP23711435.0A Pending EP4494105A1 (de) 2022-03-15 2023-03-13 Prüfen einer sicherheitskonfiguration eines roboters

Family Applications Before (2)

Application Number Title Priority Date Filing Date
EP23711437.6A Pending EP4493361A1 (de) 2022-03-15 2023-03-13 Ermitteln wenigstens einer grenze für ein betreiben eines roboters
EP23711438.4A Pending EP4493362A1 (de) 2022-03-15 2023-03-13 Planen einer bahn eines roboters

Family Applications After (2)

Application Number Title Priority Date Filing Date
EP23711436.8A Pending EP4493360A1 (de) 2022-03-15 2023-03-13 Prüfen einer vorgegebenen bahn eines roboters
EP23711435.0A Pending EP4494105A1 (de) 2022-03-15 2023-03-13 Prüfen einer sicherheitskonfiguration eines roboters

Country Status (4)

Country Link
US (2) US20250196352A1 (de)
EP (5) EP4493361A1 (de)
CN (2) CN119212831A (de)
WO (5) WO2023174876A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023134416B3 (de) * 2023-12-08 2025-03-27 Kuka Deutschland Gmbh Konfigurieren und/oder Prüfen einer Begrenzung für einen Roboter oder Teil eines Roboters
US20250196365A1 (en) * 2023-12-14 2025-06-19 Cherkam Ltd. Control of a spray painting robot with a painting trajectory optimized for energy consumption and process time
CN118809614B (zh) * 2024-08-21 2025-02-11 北京人形机器人创新中心有限公司 机器人运动控制方法、装置及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5144785B2 (ja) * 2011-04-18 2013-02-13 ファナック株式会社 ロボットの着目部位と周辺物との干渉を予測する方法及び装置
US10888998B2 (en) * 2013-10-07 2021-01-12 Abb Schweiz Ag Method and device for verifying one or more safety volumes for a movable mechanical unit
US9283678B2 (en) * 2014-07-16 2016-03-15 Google Inc. Virtual safety cages for robotic devices
US9919427B1 (en) * 2015-07-25 2018-03-20 X Development Llc Visualizing robot trajectory points in augmented reality
US10956739B2 (en) * 2016-06-27 2021-03-23 Autodesk, Inc. Augmented reality robotic system visualization
DE102017001131C5 (de) * 2017-02-07 2022-06-09 Kuka Deutschland Gmbh Verfahren und System zum Betreiben eines Roboters
DE102017010718A1 (de) * 2017-11-17 2019-05-23 Kuka Deutschland Gmbh Verfahren und Mittel zum Betreiben einer Roboteranordnung
US10606269B2 (en) * 2017-12-19 2020-03-31 X Development Llc Semantic obstacle recognition for path planning
DE112019003204T5 (de) * 2018-06-26 2021-03-11 Fanuc America Corporation Visualisierung und modifizierung von arbeitsrandbereichen unter verwendung von erweiterter realität
US10970929B2 (en) * 2018-07-16 2021-04-06 Occipital, Inc. Boundary detection using vision-based feature mapping
DE102019103349B3 (de) * 2019-02-11 2020-06-18 Beckhoff Automation Gmbh Industrierobotersystem und Verfahren zur Steuerung eines Industrieroboters
US12420419B2 (en) * 2019-08-23 2025-09-23 Symbotic Llc Motion planning and task execution using potential occupancy envelopes
JP7396872B2 (ja) * 2019-11-22 2023-12-12 ファナック株式会社 拡張現実を用いたシミュレーション装置及びロボットシステム
CN112091973A (zh) * 2020-08-27 2020-12-18 广东技术师范大学天河学院 一种机械臂防护门防撞检测方法及系统
CN113119109A (zh) * 2021-03-16 2021-07-16 上海交通大学 基于伪距离函数的工业机器人路径规划方法和系统

Also Published As

Publication number Publication date
CN119212831A (zh) 2024-12-27
EP4494105A1 (de) 2025-01-22
WO2023174872A1 (de) 2023-09-21
CN119233879A (zh) 2024-12-31
US20250196338A1 (en) 2025-06-19
WO2023174875A1 (de) 2023-09-21
EP4493361A1 (de) 2025-01-22
WO2023174876A1 (de) 2023-09-21
EP4493362A1 (de) 2025-01-22
US20250196352A1 (en) 2025-06-19
EP4493360A1 (de) 2025-01-22
WO2023174874A1 (de) 2023-09-21
WO2023174873A1 (de) 2023-09-21

Similar Documents

Publication Publication Date Title
EP4494106A1 (de) Prüfen einer vorgegebenen bahn eines roboters
DE102015002760B4 (de) Robotersimulationssystem, das den Prozess des Entnehmens von Werkstücken simuliert
DE112019003204T5 (de) Visualisierung und modifizierung von arbeitsrandbereichen unter verwendung von erweiterter realität
DE102020201375B3 (de) Verfahren zur Überprüfung eines Sicherheitsbereichs eines Roboters
EP3438901A1 (de) Testfahrtszenario-datenbanksystem für realitätsnahe virtuelle testfahrtszenarien
EP3578321B1 (de) Verfahren zum verwenden mit einer maschine zum erstellen einer erweiterte-realität-anzeigeumgebung
DE102019122865A1 (de) Erfassungssystem, arbeitssystem, anzeigeverfahren für ein erweiterte-realität-bild und programm
WO2009129916A1 (de) Darstellung von ergebnissen einer vermessung von werkstücken in abhängigkeit der erfassung der geste eines nutzers
DE102022202569B3 (de) Prüfen einer vorgegebenen Bahn eines Roboters
EP2019283A2 (de) Verfahren und Vorrichtung zur Vermessung von Ist-Messdaten eines Bauteils
WO2024027082A1 (zh) 一种飞机出入库碰撞预警方法、装置、设备及介质
DE102019125075A1 (de) Verfahren zur computerimplementierten Simulation eines LIDAR-Sensors in einer virtuellen Umgebung
CN106200958A (zh) 一种动态调整用户认知负荷的智能空间增强现实方法
EP3814983B1 (de) Visualisierungseinrichtung und verfahren zum visualisieren des inneren oder äusseren eines fahrzeugs
EP3640767B1 (de) Verfahren zum bestimmen mindestens eines bereichs in mindestens einem eingabemodell für mindestens ein zu platzierendes element
DE102022202564B4 (de) Prüfen einer Sicherheitskonfiguration eines Roboters
DE102022202563B3 (de) Planen einer Bahn eines Roboters
DE102022202571B3 (de) Prüfen einer vorgegebenen Bahn eines Roboters
DE102024104183B3 (de) Verfahren zum betreiben eines roboters
DE102023134416B3 (de) Konfigurieren und/oder Prüfen einer Begrenzung für einen Roboter oder Teil eines Roboters
DE102022100301A1 (de) Systeme und verfahren zur verwendung eines digitalen zwillings zur interaktion mit einem stadtmodell
EP3299801A2 (de) Verfahren und vorrichtung zur darstellung von fehlern an werkstücken
DE102005014979B4 (de) Verfahren und Anordnung zur Planung von Fertigungseinrichtungen
DE102022202562B4 (de) Ermitteln wenigstens einer Grenze für ein Betreiben eines Roboters
DE102020204677A1 (de) Trackingsystem und Verfahren zur Kompensation von Sichtschatten bei der Nachverfolgung von Messobjekten

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240909

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

P01 Opt-out of the competence of the unified patent court (upc) registered

Free format text: CASE NUMBER: APP_7391/2025

Effective date: 20250213

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20250423