EP4351842A1 - Bewertung beliebig vorgebbarer kollisionen zwischen beliebigen körperstellen von lebewesen und beliebig geformten objekten - Google Patents

Bewertung beliebig vorgebbarer kollisionen zwischen beliebigen körperstellen von lebewesen und beliebig geformten objekten

Info

Publication number
EP4351842A1
EP4351842A1 EP22734902.4A EP22734902A EP4351842A1 EP 4351842 A1 EP4351842 A1 EP 4351842A1 EP 22734902 A EP22734902 A EP 22734902A EP 4351842 A1 EP4351842 A1 EP 4351842A1
Authority
EP
European Patent Office
Prior art keywords
imprint
pixel
image
collision
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22734902.4A
Other languages
English (en)
French (fr)
Inventor
Roland Behrens
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Publication of EP4351842A1 publication Critical patent/EP4351842A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1656—Program controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Program controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1656—Program controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Program controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/23—Design optimisation, verification or simulation using finite element methods [FEM] or finite difference methods [FDM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40198—Contact with human allowed if under pain tolerance limit
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40201—Detect contact, collision with human
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/14—Force analysis or force optimisation, e.g. static or dynamic forces

Definitions

  • the invention relates to a method for evaluating an arbitrarily specified collision, in particular with regard to a risk of injury, between any arbitrarily specified part of the body of a living being and an arbitrarily specified object.
  • the living being can be a human being and/or the object can be a robotic device, for example a collaborative robot.
  • the invention also relates to a corresponding collision evaluation device for specifying limit speeds that prevent the robotic device from being able to injure in the event of a collision with a living being, for example a human being.
  • the method or the device can also be referred to as a method or device for iteratively determining safe robot speeds and can be understood as such.
  • the biomechanical relationship between reaction force and deformation path is highly non-linear due to the hyper-elastic and viscous behavior of human, animal, or plant tissue.
  • the course of a force-deformation characteristic curve which describes the biomechanical response or response behavior ("biomechanical response") of the tissue, is similar to an exponential function that assumes an almost linear gradient above a certain threshold value. shown by way of example in FIG.
  • the specific course of a force-deformation characteristic curve, which is relevant for a given collision, is largely dependent on the part of the body involved and the shape of the impacting object as well as its impact speed.
  • the decisive force-deformation characteristic curve plays a key role in assessing the risk of injury on a robot. If the characteristic curve for the affected part of the body and the contact point on the robot is known, the course of a collision can be determined using the characteristic curve and a robot model, and the maximum contact forces with the assigned maximum deformations can be calculated using the physical parameters of the robot and the speed of the robot . Accordingly, it can be shown that the (simulated) collision poses a relevant risk of injury if the calculated contact forces exceed the biomechanical limit values applicable to the robot under consideration.
  • a safe speed can also be calculated iteratively, which the object, in this case the robotic device, must not exceed for the time under consideration in order to avoid exceeding the limit values at this time due to a collision with a living being and thus injury to life to avoid.
  • the model-based risk assessment is of particular interest for collaborative robotics, since the versatile movements of the robots can lead to numerous contact situations with a high risk potential for humans. Due to the large number of possibilities for different contact situations, only one metrological method for the safety test of collaborative robots has been available so far. Due to high costs and technical limitations, however, the metrological method stands in the way of the widespread use of these robots in industry and other areas such as care.
  • a predetermined collision can be evaluated using the finite element method, FEM, with an associated force-deformation characteristic curve being determined by numerical calculation.
  • FEM finite element method
  • tissue deformation models soft tissue deformation models
  • contact models contact models
  • this method is generally very high, which is why this method is not suitable for being integrated into the control of robotic devices, since it is necessary to evaluate the collisions in realistic scenarios, the necessary characteristics within short Time, at least in less than 1 minute, to calculate the speed of the robot or other safety-related parameters based on this, which then prevent injury in the event of a collision.
  • the task is therefore to quickly and precisely evaluate collisions between body parts of living beings and any objects, which can be specified in any way, and to automatically and preferably immediately make settings on the robot based on the evaluation result, such as the robot speed, which reduces the risk of injury, for example, an operator enperson reduce, preferably reduce to an acceptable level.
  • One aspect relates to a method for (automatic and/or real-time capable regulation of a robotic device) evaluating an (arbitrarily) specified collision, in particular with regard to a risk of injury, between an (arbitrarily) specified part of the body of a living being and an (arbitrarily) specified object.
  • the living being can be a human and/or an animal and/or a plant.
  • the object is preferably an object that is hard in comparison to the part of the body under consideration, ie an object that does not deform in the collision.
  • the object can be an (arbitrarily) specified part of a robotic device, a robot.
  • the collision may include impact and/or pinching.
  • the process comprises a series of process steps.
  • One method step is the provision of a geometric volume model of the specified object, which meets the observed part of the body.
  • This model can be in a file format that is common for BD models and is provided to a computing unit.
  • Another method step is providing a geometric shell network grid model given body part to a computing unit.
  • the geometric shell network grid model of the observed body part can also be referred to as a body part model.
  • the shell or shell of the shell mesh model resembles a three-dimensional mesh structure, with each field Fij of the associated mesh of the shell mesh model being square.
  • each field of the network grid as a two-dimensional sub-manifold of the three-dimensional space is unambiguously determined or can be determined by indices i, j. All square fields preferably have the same edge lengths, so that the indices can then specify columns and rows of the network grid, as is known from matrices.
  • a stress-strain characteristic is specified for each field Fij of the grid.
  • the stress-deformation characteristic can also be specified in a modified form, for example as a surface-adapted stress-deformation characteristic in the form of a respective force-deformation characteristic.
  • the multiplication of the determined voltage values mentioned below is therefore preferred, and thus respective force values are determined for the imprint pixels Pij according to the respectively associated force-deformation characteristic curve and the respective pixel value Pw. Since the commutative law applies to the multiplication, the use of the stress-deformation characteristic with later multiplication by the respective areas is equivalent to using the surface-adapted stress-deformation characteristic in the form of a respective force-deformation characteristic.
  • stress values in the method step of detecting described below also includes “force values”, which correspond to the product of the stress value with the areas from the method step of calculating the acting force.
  • force values which correspond to the product of the stress value with the areas from the method step of calculating the acting force. The method steps described therefore do not have to be carried out in the order specified (in the claims), although this is possible.
  • the square basic shape of the fields or network elements Fij means that the 3D or volume model can only be curved around one axis. Correspondingly, non-square network structures do not work with the proposed method.
  • the edge length of the network elements has a significant influence on the accuracy of the model, ie the smaller the edge length, the more precisely the specified collision can be quantified and evaluated. For example, the edge length is less than 2 mm or be less than 1 mm or less than 0.5 mm.
  • the voltage-deformation characteristics for the individual quadratic network elements Fij can then be stored in a database.
  • the stress-strain curve reflects the strain behavior of the finite surface on the body site represented by the quadratic mesh element or field Fij. It can be determined, for example, by subject tests or FEM analyses.
  • the arithmetic unit now aligns the provided BD model and the provided shell network grid model in a virtual space.
  • the relative arrangement of the two models to each other corresponds to the relative arrangement of the object and part of the body in the given collision in real space.
  • Alignment is advantageously carried out in such a way that, after alignment, the distance between the two models is at least one contact point of the two models, i.e. at one or more contact points of the two models, the point at which the object and the part of the body are in the collision as touch first, is zero.
  • the computing unit in the virtual space gradually shifts the BD model and the shell mesh model into one another according to a collision direction determined by the predetermined collision. This preferably takes place up to an expected maximum deformation path.
  • the impacting object is shifted in discrete steps, in particular steps that are as small as possible, so that it dips geometrically into the three-dimensional shell model of the part of the body.
  • the shifting can correspondingly be carried out iteratively, but it is also possible for only a single shifting step to be carried out.
  • an imprint image with the respective imprint pixels in Pij is generated for each (iteration) step k of the incremental displacement.
  • a respective pixel value w of the print pixel Pij represents a print depth of the 3D model in a field Fij of the grid of the shell grid model associated with the respective print pixel Pij.
  • a further method step is a determination of the respective stress values for the imprint pixels Pij, ideally only for the imprint pixels Pij with an entry other than zero, for the or at least one of the imprint images, preferably the imprint images, according to the stress-deformation-value assigned to the corresponding field Fij characteristic curve and the respective pixel value Pw.
  • the fields Fij and imprint pixels Pij with the identical indices i, j can be associated with one another. This considerably simplifies the calculation steps and is possible because, according to the method, the consideration is effectively reduced to two dimensions.
  • a force F k acting on the specified part of the body is calculated by summing up the products of the voltage values determined for the imprint pixels with the areas Aij of the assigned fields Fij of the network grid, for step k corresponding to at least one imprint image, preferably for many or all of the the steps k correspond to the imprint images.
  • o(Pij k ) designates the voltage specified by the respective voltage-deformation characteristic at the pixel Pij and thus field Fij by the pixel value Pw.
  • the collision can be evaluated based on a result of one of the previous method steps, in particular based on the calculated acting force in step k and/or a force-deformation characteristic curve derived from the calculated acting forces and/or analogous results, for example a energy derived from the force or the force-deformation characteristic, in particular particular a maximum allowable kinetic energy for the object or the robot.
  • the collision under consideration can then be calculated using the force-deformation characteristic curve and a physical model of the robot. The calculation is then repeated with a different initial speed until the calculated contact force corresponds to the limit value applicable to the collision.
  • the bisection method is preferably used as the iteration method. The initial speed calculated by iteration then corresponds to the limit speed that the robot must not exceed.
  • the limit speed can be used either to regulate the movement speed of the robot ( Figure 1) or to parameterize a monitoring device, a collision evaluation device for a model-based safety assessment of robotic devices (Figure 2), which switches off the robot as soon as it exceeds the limit speed.
  • the proposed method is able to calculate biomechanical force-deformation characteristics or equivalent quantifications of a collision.
  • the method presented enables significantly reduced computing times for the quantified assessment of a collision, for example to calculate force-deformation characteristics for further processing steps or even individual limit values for forces or energies that occur. This is explained further below. Due to its efficiency, it is particularly suitable for model-based, i. H. quantified assessment of risks emanating from collisions and crushing when people work with collaborative robots.
  • the method presented enables a collision evaluation device, for example for a robot controller, to calculate within a short time a soft tissue deformation at a part of the body, such as occurs when an object of any shape is struck.
  • the proposed method uses a geometric shell model, which is realized by a grid of square surface elements that is as regularly shaped as possible. Only through the use of square network elements and thus a restriction to one-dimensional curvatures for the body part is it possible to transfer the model surface to a two-dimensional image with little computational effort.
  • the deformed points can be represented as pixels in the two-dimensional impression image, with each pixel value corresponding to the deformation value at the associated point on the shell model, which in turn causes the displacement of the associated network element compared to the initial state indicates.
  • each network element is linked to a specific, i.e. preferably individual, stress-deformation characteristic curve
  • a contact force can be calculated from the deformation values indicated by the pixels, specifically resolved according to the discrete steps of the deformation. This contact force can already be used to evaluate the collision.
  • the calculated force In combination with the position of the robot, the calculated force then corresponds to a point in the force-deformation characteristic sought for the subsequent calculation.
  • the entire characteristic can be calculated for each position step of the robot, which corresponds to the gradual displacement of the object in virtual space, and then used for further evaluation of the collision with the aid of a physical robot model.
  • the method can also include g) compiling a force-deformation characteristic curve by mapping the forces calculated from method step f) (calculating a force F acting on the specified part of the body) to the forces calculated in method step d) (step-by-step shifting of the BD model and shell mesh model into each other) used discrete displacement path, as well as h) evaluating the collision with the force-deformation characteristic and a physical model of the object, in particular the robotic device, with variation of the initial speed of the object, in particular the robotic device, using the bisection process until the initial velocity of the object results in a collision force equal to the limit applicable to that collision; and i) transmitting the calculated initial speed to the robot controller for setting or monitoring the robot speed, and preferably setting and/or monitoring the robot speed in accordance with the transmitted initial speed.
  • one advantageous embodiment provides for the respective voltage values for the imprint pixels Pij to be determined for a large number of imprint images, in particular all imprint images, and for the force F acting on the given part of the body to be determined for a large number of steps k corresponding to the respective imprint images , in particular for all steps k, and to generate a force-deformation characteristic for the specified collision of the specified object with the specified part of the body based on the determined forces.
  • the collision can then also be evaluated using the generated force-deformation characteristic curve, preferably with a specification of a permissible, i.e. predetermined, maximum energy and/or a permissible maximum deformation and/or permissible maximum force for one of the collisions movement of the object.
  • the evaluation can supply a limit for a speed, in particular for a robot speed, which the object or robot must not exceed.
  • the limit for the speed the robotic device can be controlled or monitored.
  • the energy transferred from the object to the part of the body, which must not exceed the permissible maximum energy is given by an integral of the force-deformation characteristic from zero to a corresponding deformation (distance) value. If the collision is evaluated with a specification of the permissible maximum deformation, it is not necessary to generate and use the force-deformation characteristic.
  • the generated (original) imprint image(s) is/are filtered.
  • This filtering can be carried out in particular using at least one image-based filter known from image processing and/or filtering based on machine learning methods.
  • the determination then becomes corresponding of the respective stress values and the calculation of the acting force or forces based on the filtered impression image, ie the pixel values Pw of the filtered impression image(s).
  • the filtering has the advantage that deformations of network elements or fields which border on the fields actually deformed by direct contact with the object can be taken into account. It has been found that even relatively simple filters, such as a blur filter, represent or mimic well the environment of the fields on the body surface deformed by direct contact. The filters can thus set a more realistic deformation image, as would happen in reality if an object were to act on the body part in the collision under consideration. With the geometry of the shell-mesh model and suitably selected parameters of the filters, especially the image-based filters, it is possible to imitate the natural deformation pattern in the filtered imprint image. The corresponding parameters for the selected filter can be determined empirically.
  • the aim of the filtering is therefore to smooth the impression images obtained beforehand, so that the smoothed impression images, which are then transferred back to the shell model, reproduce the realistic, softly running deformation image on the skin, as would typically occur in humans in the contact zone under consideration.
  • Each pixel value in the filtered imprint images thus corresponds to a realistic displacement of the associated network element Fij, which is why the retransfer to the shell model results in a realistic three-dimensional image of the skin deformation.
  • the filtering can be done in two steps.
  • each individual pixel is then filtered in a separate filter process in a first step before the results of the separate filter processes are combined in a second step and the filtered replica image is generated.
  • a copy of the associated footprint image is generated within a shift step k, and the pixel values Pw of all other pixels Pij are recorded in the copy of the footprint image set to zero.
  • a corresponding filter for example a blur filter, is then applied to the respective remaining one pixel with non-zero pixel value Pw in the respective copies of the replica image.
  • the imitation of the influence of the neighboring body surface takes place through the contact point selected in each case in the form of the pixel with a non-zero pixel value Pw.
  • a filtered replica image is generated from the replicas of the replica image to which the filter has been applied, the filtered replicas.
  • the value Pw of each pixel Pij of the filtered print image is chosen to be the largest value Pw which occurs for all pixels Pij associated with the same field Fij in all copies of the print image to which the filter has been applied.
  • the Pw value of each pixel Pij in the filtered print image is compared with the Pw value of the corresponding pixel in the original print image, and the Pw value of the respective pixel in the filtered print image is set to zero if the two values deviate from one another by more than a predetermined tolerance value, and remain at the value Pw if the two values deviate from one another by the tolerance value or less than the predetermined tolerance value, ie are equal or substantially equal.
  • This filtered replica image is then used in place of the original replica image in subsequent steps.
  • each individual pixel value in the imprint image is smoothed in a separate filter process. Since the copying or filtering process is carried out for all pixels in the print image with a value >0, if there are n pixels whose value is >0, there are also n copies or n filtered print images which contain the filter result of the individual filtered pixels . Then, from all n filtered impression images, the intermediate images, the pixel at position i, j with the highest pixel value is taken over in the filtered impression image. If the value of the pixel Pij in the filtered print image now corresponds to the value of the pixel Pij in the original print image, it can be assumed that the impacting object actually touches the part of the human body at this point. Where there is no touch, the associated pixels in the filtered footprint image do not meet the condition, and the pixels in the resulting image are therefore given the value 0.
  • the filtering described has the advantage that the quantification of the Collision takes place more precisely and in particular an overestimation of the forces occurring is prevented.
  • a correspondingly controlled robotic device can be operated at higher working speeds and still be safe.
  • the determined voltage values for the imprint pixels Pij are compared with the respectively assigned pixel values Vij of the additional factor matrix image.
  • a further factor matrix image is generated with pixel values Wij, and the voltage values determined for the imprint pixels Pij are multiplied by the respectively assigned pixel values Wij of the further factor matrix image before the collision is evaluated.
  • the further factor matrix image is generated by using the value Pw of the imprint pixel Pij assigned to the pixel value Wij and a collision speed specified for the collision to determine a respective expansion rate of the imprint pixels Pij and thus the assigned field Fij, and based on the respective strain rate using the pixel value Wij is determined from a predetermined strain rate characteristic for the field Fij assigned to the respective imprint pixel Pij.
  • the further factor matrix image is in each case individual like the additional factor matrix image
  • the strain rate characteristics of the panels Fij can be identical or individually specified for each panel Fij or groups of panels Fij.
  • 20 xels Pij of the footprint image is calculated by passing a straight line parallel to the normal vector through the midpoint of each field Fij, and determining whether or not the straight line intersects the surface of the object and, if so, the distance between the intersection point the straight line and the surface of the object and the center of the respective field Fij as an imprint
  • 25 depth is set if the distance corresponds to an intrusion of the object into the living being, for example in a suitable definition of the distance is ⁇ 0.
  • a suitable definition of the distance is, for example, choosing the normal vector to point outwards with respect to the body part. With a reverse definition of the directions, however, it is also possible, for example
  • the channel ten of each field Fij of the grid are of equal length or a natural multiple Ches of the same length.
  • the size of each field is therefore a natural multiple of a unit size, but not necessarily the same.
  • One aspect also relates to a method for controlling a robotic device, in which a collision is preferably calculated using the force-deformation characteristic.
  • the force-deformation characteristic was previously determined with the procedural ren according to one of the described embodiments.
  • the result of the calculation is then used to control or monitor the robotic device, ie the robotic device is controlled depending on an evaluation result of the method.
  • a further aspect relates to a collision evaluation device, which is designed to align a provided BD model of a given object and a provided shell mesh model of a given body location in a virtual space, the relative arrangement of the two models to each other being the relative correspond to the arrangement of the object and body location in a given collision, and wherein each field Fij of the lattice of the shell lattice model is square and a stress-strain characteristic is given for each field Fij of the lattice.
  • the collision evaluation device is further designed to gradually shift the BD model and the shell network grid model into each other in the virtual space according to a collision direction determined by the specified collision, where a print image with print pixels in Pij is generated at each step k of the stepwise shift , and a respective pixel value Pw of the footprint pixels Pij represents a footprint depth of the 3D model in a field Fij of the grid of the shell grid model associated with the respective footprint pixel Pij.
  • Each print pixel Pij is preferably assigned exactly one field Fij and vice versa.
  • the step-by-step displacement corresponds to the movement of the object, for example the robotic device, at the collision point under consideration.
  • the movement is present as an initial condition and thus determines the collision direction and/or collision speed.
  • the motion of the object may change as the increasing contact force acts.
  • the change in the movement with the (contact) force calculated by the method or device described can be carried out iteratively in methods or device are taken into account, but it does not have to be.
  • the collision evaluation device is also designed to determine the respective stress values for the imprint pixels Pij for the or at least one of the imprint images, in particular the imprint images, according to the stress-deformation characteristic curve assigned to the corresponding field Fij and the respective pixel value Pw, and for calculating at least one force F acting on the specified part of the body with a summation of the products of the voltage values determined for the imprint pixels Pij with the areas Aij of the associated fields Fij of the network grid, for step k corresponding to the at least one imprint image.
  • Another aspect also relates to a robotic device with such a collision evaluation device and/or a control device for a robotic device, which has such a collision evaluation device and is designed to control the robotic device depending on an evaluation result, in particular depending on the calculated force acting on the specified part of the body and/or depending on the permissible maximum energy and/or depending on the permissible maximum deformation and/or depending on the permissible maximum force.
  • FIG. 2 shows an exemplary situation for an SD model of an object and shell network lattice model of a given part of the body aligned in accordance with a collision in a virtual space
  • FIG. 1 shows an exemplary course of a force-deformation characteristic f, determined here for the forearm muscle under the action of a cylinder with a diameter of 25 mm.
  • the applied force F in Newton is plotted here against the deformation D of the tissue in millimeters. It is typical that the force-deformation characteristic curve F runs exponentially up to a limit value, in this case a deformation of around IS mm, and then linearly.
  • the object 1 is represented here by a pyramid-shaped 3D model, which places a tip at a point of contact B on a predetermined body 2, which is represented by a (flat) shell network grid model.
  • body location 2 is one palm.
  • the shell network lattice model has a large number of fields Fij in its network lattice, which are square and in this case also of identical size.
  • object 1 moves in collision direction K to body part 2.
  • Each field Fij is assigned a stress-deformation characteristic s, which assigns a respective stress s to a given deformation D.
  • a strain rate characteristic d is also assigned for each field, which assigns a value W to a predetermined strain rate D/v.
  • D denotes the deformation
  • v denotes the speed at which the deformation D takes place.
  • the characteristic curves must be specified consistently according to the specified strain rate.
  • the strain rate characteristic can be used to simulate a strain rate dependency of the sensitivity of biological tissue as a factor matrix image.
  • An impression image AB with 6 ⁇ 6 pixels Pij in the present case has values Pw different from zero in the case of, for example, 4 pixels Pij. In the example shown, these are the four pixels P33 "O", and P44 "D". Each of the four pixels has an individual shading which represents the respective pixel value Pw, with darker shadings corresponding to a larger pixel value Pw and thus to a larger deformation.
  • each of the pixels Pij here the pixels P33, P34, P43 and P44, is filtered in a separate filtering process.
  • a corresponding copy AB- 33, AB-34, AB-43, AB-44 of the associated imprint image AB is generated, in which the pixel values of all other pixels Pij are set to zero .
  • a corresponding filter in this case a blurring filter, is then applied to the remaining pixel Pij with the non-zero value Pw.
  • a filtered footprint image AB' is then generated by choosing as the value Pw of each pixel Pij of the filtered footprint image AB' the largest value Pw which is for all the same Pixel Pij assigned to field Fij, ie in the present case all pixels Pij with the identical indices i, j, in all filtered copies AB-33', AB-34', AB-43', AB-44' for the pixels Pij with identical indices i , j occurs.
  • the global maximum of the pixel value Pw is thus determined for the pixels Pij, which are assigned to the same field Fij across the different filtered copies, and only this global maximum is further considered for the corresponding pixels Pij. These maxima are marked with "O”, "V”, or "D”.
  • the filtered impression image AB' thus contains the pixel values Pw from the copy AB-33' for the pixels P22, P23, the pixel values Pw from the copy AB-34' for the pixels P24, P25, P34, P35, for the Pixels P32, P33, P42, P43, P52, P53 the pixel values Pw from replica AB-43' and for pixels P44, P45, P54, P55 the pixel values Pw from replica AB-44'.
  • FIG. 4 now shows the second step of the exemplary filtering.
  • the pixel value Pw of each pixel Pij in the filtered imprint image AB' is compared with the value Pw of the corresponding pixel Pij in the original imprint image AB in order to obtain a final filtered imprint image AB".
  • the filtered imprint image AB' from the first step can be used as an intermediate imprint image and the filtered imprint image AB" from the second step can be referred to as the result imprint image.
  • the value Pw of the respective pixel in the filtered print image AB' is set to zero if it deviates by more than a predetermined tolerance value from the value PW of the respective pixel in the original print image AB, and to the value Pw Leave if the two values deviate by the tolerance value or less than the specified tolerance value.
  • the pixels whose pixel values Pw in imprint image AB and imprint image AB' deviate from each other by the tolerance value or less than the specified tolerance value, i.e. essentially the same are marked in Fig. 4 with a diamond "0".
  • FIG. 5 shows exemplary impression images AB, AB', AB" for the collision also shown in FIG. AB", again darker shades correspond to larger deformations.
  • the intermediate impression image AB′ is generated here in a first step ® analogously to the first step of filtering shown in FIG. 3 .
  • the result impression AB" is generated accordingly. It is immediately clear from the result impression, but above all it can be quantified, that when the pyramid-shaped object collides with the palm of the hand, the deformations occurring at the edges of the object are decisive for evaluating the collision, in particular the resulting risk of injury.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Manipulator (AREA)

Abstract

Die Erfindung betrifft ein Bewerten einer Kollision zwischen einer Körperstelle eines Lebewesens und einem Objekt, mit den Verfahrensschritten: a) Bereitstellen eines 3D-Modells des Objektes an eine Recheneinheit; b) Bereitstellen eines Schalen-Netzgittermodells der Körperstelle an die Recheneinheit, wobei für jedes Feld des Netzgitters eine Spannungs-Deformations-Kennlinie vorgegeben ist; c) Ausrichten des 3D-Modells und des Schalen-Netzgittermodells; d) schrittweises Schieben von 3D-Modell und Schalen-Netzgittermodell ineinander, wobei für jeden Schritt des Verschiebens ein Abdruckbild mit Abdrucks-Pixeln erzeugt wird, und ein Pixel-Wert der Abdrucks-Pixel eine Abdrucktiefe des 3D-Modells in einem Feld des Netzgitters repräsentiert; e) Ermitteln der Spannungswerte für die Abdruck-Pixel gemäß der Spannungs-Deformations-Kennlinie und dem Pixel-Wert; f) Berechnen einer auf die Körperstelle wirkende Kraft mit einem Aufsummieren der Produkte der Spannungswerte mit den Flächen der Felder des Netzgitters.

Description

Bewertung beliebig vorgebbarer Kollisionen zwischen beliebigen Körperstellen von Lebewesen und beliebig geformten Objekten
Die Erfindung betrifft ein Verfahren zum Bewerten einer beliebig vorgegebenen Kollision, insbesondere hinsichtlich eines Verletzungsrisikos, zwischen einer be liebig vorgegebenen Körperstelle eines Lebewesens und einem beliebig vorge gebenen Objekt. Insbesondere kann es sich bei dem Lebewesen um einen Men schen und/oder bei dem Objekt um ein robotisches Gerät, beispielsweise um einen kollaborativen Roboter handeln. Die Erfindung betrifft auch eine entspre chende Kollisions-Bewertungs-Vorrichtung zur Vorgabe von Grenzgeschwindig keiten, die verhindern, dass das robotische Geräte im Falle einer Kollision mit einem Lebewesen, beispielweise mit einem Menschen, verletzen kann. Das Verfahren bzw. die Vorrichtung kann auch als Verfahren bzw. Vorrichtung zur iterativen Bestimmung sicherer Robotergeschwindigkeiten bezeichnet und da mit verstanden werden.
Bei der Kollision eines Objektes, beispielsweise eines Roboters, mit einem Le bewesen, beispielsweise einem Menschen, kommt es an der betroffenen Kör perstelle des Lebewesens zu Deformationen von Haut und dem darunter lie genden Gewebe. Die Deformation oder Eindringtiefe geht dabei einher mit ei ner Reaktionskraft, mit der das Gewebe dem auftreffenden Objekt entgegen wirkt. Überschreitet die Reaktionskraft oder die Deformation eine bestimmte Schwelle, können ernsthafte Verletzungen auftreten. Für industriell einge setzte robotische Geräte, welche sich im Umfeld von Menschen ohne zusätzli che Schutzmaßnahmen bewegen, sog. kollaborative Roboter (auch „Cobots"), schreiben ISO 10218 und ISO/TS 15066 biomechanische Grenzwerte vor, die verhindern, dass bei Kollisionen mit dem Roboter Verletzungen auftreten.
Der biomechanische Zusammenhang zwischen Reaktionskraft und Deformati onsweg ist aufgrund des hyper-elastischen und viskosen Verhaltens von menschlichem, tierischem oder pflanzlichem Gewebe stark nichtlinear. Der Verlauf einer Kraft-Deformations-Kennlinie, welche das biomechanische Ant wort- oder Ansprechverhalten („biomechanical response") des Gewebes be schreibt, ähnelt einer exponentiellen Funktion, die oberhalb eines bestimmten Schwellenwerts eine nahezu lineare Steigung annimmt. Dies ist mit einem bei- spielhaften Verlauf in Fig. 1 gezeigt. Der konkrete Verlauf einer Kraft-Deforma- tions-Kennlinie, die für eine vorgegebene Kollision relevant ist, ist maßgeblich von der involvierten Körperstelle und der Form des auftreffenden Objektes so wie dessen Aufprallgeschwindigkeit abhängig.
Für das Bewerten eines Verletzungsrisikos an einem Roboter nimmt die maß gebliche Kraft-Deformations-Kennlinie eine Schlüsselrolle ein. Ist die Kennlinie für die betroffene Körperstelle und die Kontaktstelle am Roboter bekannt, kann der Ablauf einer Kollision anhand der Kennlinie und eines Robotermodells be stimmt werden und die maximalen Kontaktkräfte mit den zugeordneten maxi malen Deformationen anhand physikalischer Parameter des Roboters und der Geschwindigkeit des Roboter berechnet werden. Entsprechend kann so gezeigt werden, dass durch die (simulierte) Kollision ein relevantes Verletzungsrisiko besteht, falls die berechneten Kontaktkräfte die für den betrachteten Roboter geltenden biomechanischen Grenzwerte übersteigen. Alternativ kann auch eine sichere Geschwindigkeit iterativ berechnet werden, die das Objekt, vorlie gend das robotische Gerät, für den jeweils betrachteten Zeitpunkt nicht über schreiten darf, um eine Überschreitung der Grenzwerte zu diesem Zeitpunkt durch eine Kollision mit einem Lebewesen und somit die Verletzung des Lebe wesens zu vermeiden.
Die modellbasierte Risikobewertung ist für die kollaborative Robotik von be sonderem Interesse, da es aufgrund der vielseitigen Bewegungen der Roboter zu zahlreichen Kontaktsituationen mit hohem Gefährdungspotential für den Menschen kommen kann. Bislang steht aus dem Grund der großen Anzahl an Möglichkeiten für unterschiedliche Kontaktsituationen nur eine messtechni sche Methode für die Sicherheitsprüfung von kollaborativen Robotern zur Ver fügung. Aufgrund hoher Kosten und technischer Einschränkungen steht die messtechnische Methode aber dem breiten Einzug dieser Roboter in Industrie und anderen Bereichen wie beispielsweise der Pflege entgegen.
Das Bewerten einer vorgegebenen Kollision kann im Stand der Technik mittels der Finite-Elemente-Methode, FEM, erfolgen, wobei eine zugehörige Kraft-De- formations-Kennlinie per numerischer Berechnung bestimmt wird. Der Rechen aufwand bei der Verwendung der FEM mit entsprechenden Weichgewebe-De- formationsmodellen („tissue deformation models") und Kontaktmodellen („contact models") ist allerdings im Allgemeinen sehr hoch, weshalb sich diese Methode nicht dazu eignet, in die Steuerung von robotischem Gerät integriert zu werden, da es für ein Bewerten der Kollisionen in realistischen Szenarien er forderlich ist, die notwendigen Kennlinien innerhalb kurzer Zeit, jedenfalls in unter 1 Minute, zu berechnen, um darauf basierend die Geschwindigkeit des Roboters oder andere sicherheitsrelevante Parameter einzustellen , die dann eine Verletzung bei einer Kollision verhindern.
Es stellt sich somit die Aufgabe, beliebig vorgebbare Kollisionen zwischen Kör perstellen von Lebewesen und beliebigen Objekten schnell und genau zu be werten und anhand eines Bewertungs-Ergebnisses automatisch und bevorzugt unmittelbar Einstellungen am Roboter vorzunehmen, wie beispielsweise die Robotergeschwindigkeit, die das Verletzungsrisikos beispielsweise einer Bedi enperson reduzieren, bevorzugter Weise auf ein zulässiges Maß reduzieren.
Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen ergeben sich aus den abhängigen Pa tentansprüchen, der Beschreibung und den Figuren.
Ein Aspekt betrifft ein Verfahren zum (automatischen und/oder echtzeitfähigen Regeln eines robotischen Gerätes geeignetes) Bewerten einer (beliebig) vorge gebenen Kollision, insbesondere hinsichtlich eines Verletzungsrisikos, zwischen einer (beliebig) vorgegebenen Körperstelle eines Lebewesens und einem (be liebig) vorgegebenen Objekt. Bei dem Lebewesen kann es sich um einen Men schen und/oder ein Tier und/oder eine Pflanze handeln. Das Objekt ist bevor zugt ein im Vergleich zur betrachteten Körperstelle hartes, also sich bei der Kol lision nicht verformendes Objekt. Beispielsweise kann es sich bei dem Objekt um einen (beliebig) vorgegebenen Teil eines robotischen Gerätes, eines Robo ters, handeln. Die Kollision kann einen Stoß und/oder eine Klemmung umfas sen. Das Verfahren umfasst dabei eine Reihe von Verfahrensschritten.
Ein Verfahrensschritt ist das Bereitstellen eines geometrischen Volumenmo dells des vorgegebenen Objektes, welches auf die betrachtete Körperstelle trifft. Dieses Modell kann in einem für BD-Modelle gängigen Dateiformat vor liegen und wird an eine Recheneinheit bereitgestellt. Ein weiterer Verfahrens schritt ist ein Bereitstellen eines geometrischen Schalen-Netzgittermodells der vorgegebenen Körperstelle an eine Recheneinheit. Das geometrische Schalen- Netzgitter-Modell der betrachteten Körperstelle kann auch als Körperteilmo dell bezeichnet werden. Die Schale oder Hülle des Schalen-Netzgittermodells gleicht dabei ähnlich wie bei der FEM einer dreidimensionalen Netzgitter-Struk- tur, wobei jedes Feld Fij des zugehörigen Netzgitters des Schalen-Netzgittermo dells quadratisch ist. Entsprechend ist durch Indices i, j jedes Feld des Netzgit ters als zweidimensionale Untermannigfaltigkeit des dreidimensionalen Rau mes eindeutig bestimmt oder bestimmbar. Bevorzugter Weise haben alle quad ratischen Felder die gleichen Kantenlängen, sodass die Indices dann wie von Matrizen bekannt Spalten und Zeilen des Netzgitters spezifizieren können.
Für jedes Feld Fij des Netzgitters ist dabei eine Spannungs-Deformations-Kenn- linie vorgegeben. Die Spannungs-Deformations-Kennlinie kann auch in modifi zierter Form, beispielsweise als flächenangepasste Spannungs-Deformations- Kennlinie in Form einer jeweiligen Kraft-Deformations-Kennlinie vorgegeben sein. Damit wird das unten noch genannte Multiplizieren der ermittelten Span nungswerte vorgezogen, und somit für die Abdruck-Pixel Pij gemäß der jeweils zugeordneten Kraft-Deformations-Kennlinie und dem jeweiligen Pixelwert Pw jeweilige Kraftwerte ermittelt. Da für die Multiplikation das Kommutativgesetz gilt ist das Nutzen von Spannungs-Deformations-Kennlinie mit späterem Multi plizieren mit den jeweiligen Flächen äquivalent zum Verwenden der flächenan- gepassten Spannungs-Deformations-Kennlinie in Form einer jeweiligen Kraft- Deformations-Kennlinie. Daher umfasst der Begriff der „Spannungswerte" beim unten beschriebenen Verfahrensschritt des Erfassens auch „Kraftwerte", welche dem Produkt von Spannungswert mit den Flächen aus dem Verfahrens schritt des Berechnens der wirkenden Kraft entsprechen. Die beschriebenen Verfahrensschritte müssen also nicht in der (in den Ansprüchen) vorgegebenen Reihenfolge durchgeführt werden, wenngleich das möglich ist.
Die quadratische Grundform der Felder oder Netzelemente Fij hat zur Folge, dass das 3D- oder Volumenmodell nur um eine Achse gekrümmt werden kann. Entsprechend funktionieren nicht-quadratische Netzstrukturen mit dem vorge schlagenen Verfahren nicht. Dabei hat die Kantenlänge der Netzelemente ei nen signifikanten Einfluss auf die Genauigkeit des Modells, d. h. je kleiner die Kantenlänge, desto genauer kann die vorgegebene Kollision quantifiziert und bewertet werden. Beispielsweise kann die Kantenlänge weniger als 2 mm oder weniger als 1 mm oder weniger als 0,5 mm betragen. Die Spannungs-Deforma- tions-Kennlinien für die einzelnen quadratischen Netzelemente Fij können da bei in einer Datenbank abgespeichert werden. Die Spannungs-Deformations- Kennlinie gibt das Dehnungsverhalten der finiten Fläche auf der Körperstelle wieder, die von dem quadratischen Netzelement oder Feld Fij repräsentiert wird. Sie kann beispielsweise durch Probandenversuche oder F EM -Analysen er mittelt werden.
Mittels der Recheneinheit erfolgt nun in einem virtuellen Raum ein Ausrichten des bereitgestellten BD-Modells und des bereitgestellten Schalen-Netzgitter- modells. Dabei entspricht die relative Anordnung der beiden Modelle zueinan der der relativen Anordnung von Objekt und Körperstelle bei der vorgegebenen Kollision im realen Raum. Vorteilhafterweise erfolgt das Ausrichten derart, dass nach dem Ausrichten der Abstand der beiden Modelle voneinander an zumin dest einem Kontaktpunkt der beiden Modelle, also an einem oder mehreren Kontaktpunkten der beiden Modelle, dem Punkt, an dem sich das Objekt und die Körperstelle bei der Kollision als erstes berühren, null ist.
Nach diesem Verfahrensschritt erfolgt durch die Recheneinheit in dem virtuel len Raum ein schrittweises Verschieben von BD-Modell und Schalen-Netzgitter- Modell ineinander entsprechend einer durch die vorgegebene Kollision be stimmten Kollisionsrichtung. Bevorzugt erfolgt dies bis zu einem erwarteten maximalen Deformationsweg. Beispielsweise wird das aufprallende Objekt in diskreten, insbesondere möglichst kleinen Schritten verschoben, so dass es ge ometrisch in das dreidimensionale Schalenmodell der Körperstelle eintaucht. Das Verschieben kann entsprechen iterativ erfolgen, es kann aber auch nur ein einziger Verschiebungsschritt durchgeführt werden. Nach jedem Verschie bungsschritt wird dabei für jeden (Iterations-) Schritt k des schrittweisen Ver- schiebens ein Abdruckbild mit jeweiligen Abdruckpixein Pij erzeugt. Ein jeweili ger Pixel-Wert w der Abdruckpixel Pij repräsentiert dabei eine Abdrucktiefe des 3D-Modells in einem mit dem jeweiligen Abdruckpixel Pij zugeordneten Feld Fij des Netzgitters des Schalen-Netzgittermodells. Wird das Abdruckbild wie unten noch beschrieben gefiltert, gewichtet, oder sonst wie bearbeitet, wird das zu nächst oder ursprünglich erzeugte Abdruckbild auch als „ursprüngliches Ab druckbild" referenziert, das weiter verarbeitete Abdruckbild als „gefiltertes Ab- druckbild". Wie die Oberfläche der Körperstelle, die Schale, ist also das Ab druckbild ein zweidimensionales Bild. Damit liegt zu jedem Verschiebungs schritt (genau) ein zweidimensionales Abdruckbild vor, dessen Pixel durch die Indices i, j anzeigen, an welchen Stellen das auftreffende Objekt das Körpermo dell deformiert, und durch die zugeordneten Pixel-Werte Pw auch wie stark das Körpermodell an diesen Stellen deformiert wird. Das schrittweise Verschieben des Objekts im virtuellen Raum kann wiederholt (iteriert) werden, bis eine vor eingestellte maximale Verschiebungs-Wegstrecke erreicht ist. Die Abdrucktiefe und damit der Pixel-Wert Pw kann dabei auf unterschiedliche Weisen ermittelt werden, eine beispielhafte Ausführungsform wird weiter unten noch erläutert.
Ein weiterer Verfahrensschritt ist ein Ermitteln der jeweiligen Spannungswerte für die Abdruckpixel Pij, idealerweise nur für die Abdruckpixel Pij mit von Null verschiedenem Eintrag, für das oder zumindest eines der Abdruckbilder, bevor zugt die Abdruckbilder, gemäß der dem entsprechenden Feld Fij zugeordneten Spannungs-Deformations-Kennlinie und dem jeweiligen Pixel-Wert Pw. Prakti scherweise können die Felder Fij und Abdruckpixel Pij mit den identischen In dices i, j einander zugeordnet sein. Dies vereinfacht die Rechenschritte erheb lich und ist möglich da gemäß dem Verfahren effektiv die Betrachtung auf zwei Dimensionen reduziert wird.
Schließlich erfolgt ein Berechnen einer auf die vorgegebene Körperstelle wir kenden Kraft Fk mit einem Aufsummieren der Produkte derfürdie Abdruckpixel ermittelten Spannungswerte mit den Flächen Aij der zugeordneten Felder Fij des Netzgitters, für den dem zumindest einem Abdruckbild entsprechenden Schritt k, bevorzugt für viele oder sämtliche der den Schritten k entsprechen den Abdruckbilder. Dies kann durch die Formel F =2i,j o(Pijk) x Aij ausgedrückt werden. Dabei bezeichnet o(Pijk) die durch die jeweilige Spannungs-Deforma- tions-Kennlinie am Pixel Pij und damit Feld Fij durch den Pixel-Wert Pw vorge gebene Spannung. Abschließend kann dann ein Bewerten der Kollision anhand eines Ergebnisses eines der vorhergehenden Verfahrensschritte durchgeführt werden, insbesondere anhand der hier berechneten wirkenden Kraft im Schritt k und/oder einer aus den berechneten wirkenden Kräften abgeleiteten Kraft- Deformations-Kennlinie und/oder analogen Ergebnissen, beispielsweise einer von der Kraft oder der Kraft-Deformations-Kennlinie abgeleiteten Energie, ins- besondere einer maximal zulässigen kinetischen Energie für das Objekt bezie hungsweise den Roboter.
Anschließend kann mit der Kraft-Deformations-Kennlinie und einem physikali- sehen Modell des Roboters die betrachtete Kollision berechnet werden. Die Be rechnung wird dann unter veränderter Anfangsgeschwindigkeit so oft wieder holt, bis die berechnete Kontaktkraft dem für die Kollision geltenden Grenzwert entspricht. Als Iterationsverfahren kommt bevorzugt das Bisektionsverfahren zum Einsatz. Die durch Iteration berechnete Anfangsgeschwindigkeit entspricht dann der Grenzgeschwindigkeit, die der Roboter nicht überschreiten darf. Die
Grenzgeschwindigkeit kann nach ihrer Berechnung wahlweise dafür genutzt werden, um die Bewegungsgeschwindigkeit des Roboters zu regeln (Bild 1) o- der eine Überwachungseinrichtung, eine Kollisions-Bewertungs-Vorrichtung für eine modellbasierte Sicherheitsbewertung von robotischen Geräten, zu pa- rametrieren (Bild 2), die den Roboter abschaltet, sobald er die Grenzgeschwin digkeit überschreitet.
Oberfläche des Gefährdete Kollisionsobjekts Körperstelle
Geschwindigkeit
Bild 1: Geschwindigkeitssteuerung Oberfläche des Gefährdete Kollisionsobjekts Körperstelle Geschwindigkeit
Bild 2: Geschwindigkeitsüberwachung
Das vorgeschlagene Verfahren ist analog zur FEM in der Lage, biomechanische Kraft-Deformations-Kennlinien oder äquivalente Quantifizierungen einer Kolli sion zu berechnen. Im Unterschied zur FEM ermöglicht das vorgestellte Verfah ren deutlich verringerte Rechenzeiten für das quantifizierte Bewerten einer Kollision, beispielsweise um Kraft-Deformations-Kennlinien für weitere Verar beitungsschritte oder auch nur einzelne Grenzwerte für auftretende Kräfte o- der Energien zu berechnen. Dies wird im Folgenden noch weiter erläutert. Auf grund seiner Effizienz eignet es sich insbesondere für die modellbasierte, d. h. quantifizierte Bewertung von Risiken, die von Kollisionen und Quetschungen bei der Zusammenarbeit von Menschen mit kollaborativen Robotern ausgehen.
Das vorgestellte Verfahren versetzt entsprechend eine Kollisions-Bewertungs- Vorrichtung, beispielsweise für eine Robotersteuerung, in die Lage, eine Weich gewebedeformation an einer Körperstelle, wie sie sich beim Auftreffen eines beliebig geformten Objektes einstellt, innerhalb kurzer Zeit zu berechnen. Im Unterschied zu den bekannten Ansätzen der Finite-Elemente-Methoden ver wendet das vorgeschlagene Verfahren ein geometrisches Schalenmodell, wel ches durch ein möglichst regelmäßig geformtes Netzgitter aus quadratischen Flächenelementen realisiert ist. Erst durch den Einsatz quadratischer Netzele mente und somit einer Beschränkung auf eindimensionale Krümmungen für den Körperteil ist eine Übertragung der Modelloberfläche auf ein zweidimensi onales Bild mit geringem Rechenaufwand möglich. Bei der Deformation des Schalenmodells durch ein dreidimensionales Objekt lassen sich die deformier ten Stellen als Pixel im zweidimensionalen Abdruckbild darstellen, wobei jeder Pixel-Wert dem Deformationswert an der zugehörigen Stelle auf dem Schalen modell entspricht, der wiederum die Verschiebung des zugehörigen Netzele mentes gegenüber dem Ausgangszustand anzeigt. Da jedes Netzelement mit einer spezifischen, bevorzugt also individuellen, Spannungs-Deformations- Kennlinie verknüpft ist, kann aus den durch die Pixel angezeigten Deformati onswerten eine Kontaktkraft berechnet werden, und zwar aufgelöst nach den diskreten Schritten der Deformation. Diese Kontaktkraft kann bereits zum Be werten der Kollision genutzt werden. In Kombination mit der Position des Ro boters entspricht die berechnete Kraft dann einem Punkt in der für die nachge lagerte Berechnung gesuchten Kraft-Deformations-Kennlinie. Durch die wie derholte Anwendung des Verfahrens kann somit für jeden Positionsschritt des Roboters, welcher dem schrittweisen Verschieben des Objektes im virtuellen Raum entspricht, die gesamte Kennlinie berechnet werden und dann für die weitere Bewertung der Kollision unter Zuhilfenahme eines physikalischen Ro botermodells verwendet werden.
Das Verfahren kann weiterhin umfassen ein g) Zusammenstellen einer Kraft- Deformations-Kennlinie durch Abbilden der aus Verfahrensschritt f) (Berech nen einer auf die vorgegebene Körperstelle wirkende Kraft F) berechneten Kräfte auf den in Verfahrensschritt d) (schrittweises Schieben von BD-Modell und Schalen-Netzgittermodell ineinander) verwendeten diskreten Verschiebe weg, sowie ein h) Bewerten der Kollision mit der Kraft-Deformations-Kennlinie und einem physikalischen Modell des Objekts, insbesondere des robotischen Geräts, bei Variation der Anfangsgeschwindigkeit des Objekts, insbesondere des robotischen Geräts, mithilfe des Bisektionsverfahrens bis die Anfangsge schwindigkeit des Objekts zu einer Kollisionskraft führt, die den für diese Kolli sion geltende Grenzwert entspricht; und ein i) Übertragen der berechneten Anfangsgeschwindigkeit auf die Robotersteuerung zur Einstellung oder Über wachung der Robotergeschwindigkeit, sowie bevorzugt ein Einstellen und/o der Überwachen der Robotergeschwindigkeit entsprechend der übertragenen Anfangsgeschwindigkeit.
Entsprechend ist in einer vorteilhaften Ausführungsform vorgesehen, die jewei ligen Spannungswerte für die Abdruckpixel Pij für eine Vielzahl von Abdruckbil dern, insbesondere alle Abdruckbilder, zu ermitteln und die auf die vorgege bene Körperstelle wirkende Kraft F für eine Vielzahl von den jeweiligen Ab druckbildern entsprechenden Schritten k, insbesondere für alle Schritte k, zu berechnen und für die vorgegebenen Kollision des vorgegebenen Objektes mit der vorgegebenen Körperstelle basierend auf den ermittelten Kräften eine Kraft-Deformations-Kennlinie zu erzeugen. Bevorzugt kann dann auch ein Be werten der Kollision anhand der erzeugten Kraft-Deformations-Kennlinie vor genommen werden, bevorzugt mit einem Vorgeben einer zulässigen, d.h. vor gegebenen, Maximalenergie und/oder einer zulässigen Maximaldeformation und/oder zulässigen Maximalkraft für eine der Kollision zugrunde liegenden Be wegung des Objektes. Das Bewerten kann als Bewertungsergebnis eine Grenze für eine Geschwindigkeit liefern, insbesondere für eine Robotergeschwindig keit, welche von dem Objekt bzw. Roboter nicht überschritten werden darf. Entsprechend kann als Teil des Verfahrens basierend auf Bewertungsergebnis, dann der Grenze für die Geschwindigkeit, ein Steuern oder Überwachen des robotischen Geräts erfolgen. Die von dem Objekt auf die Körperstelle übertra gene Energie, welche dann die zulässige Maximalenergie nicht überschreiten darf, ist durch ein Integral der Kraft-Deformations-Kennlinie von null bis zu ei nem entsprechenden Deformations(strecken)wert gegeben. Wird die Kollision mit einem Vorgeben der zulässigen Maximaldeformation bewertet, so ist das Erzeugen und Nutzen der Kraft-Deformations-Kennlinie nicht erforderlich.
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass vor dem Ermitteln der jeweiligen Spannungswerte für die Abdruckpixel Pij ein Filtern des oder der erzeugten (ursprünglichen) Abdruckbilder erfolgt. Dieses Filtern kann insbesondere unter Verwendung zumindest eines aus der Bildverarbeitung be kannten bildbasierten Filters und/oder auf maschinellen Lernverfahren basie rendem Filterns durchgeführt werden. Entsprechend wird dann das Ermitteln der jeweiligen Spannungswerte und das Berechnen der wirkendenden Kraft o- der Kräfte basierend auf dem gefilterten Abdruckbild, d.h. den Pixel-Werten Pw des oder der gefilterten Abdruckbildes/-bilder durchgeführt.
Das Filtern hat den Vorteil, dass Deformationen von Netzelementen oder Fel dern, welche an die tatsächlich durch direkten Kontakt mit dem Objekt defor mierten Felder angrenzen, berücksichtigt werden können. Es hat sich heraus gestellt, dass bereits relativ einfache Filter, wie beispielsweise ein Weichzeich nungsfilter, die Umgebung der durch direkten Kontakt deformierten Felder auf der Körperoberfläche gut repräsentieren oder nachahmen. Durch die Filter kann sich somit ein realistischeres Verformungsbild einstellen, wie es bei der Einwirkung eines Objektes auf dem Körperteil in der betrachteten Kollision in der Realität geschehen würde. Mit der Geometrie des Schalen-Netzgitter-Mo- dells und geeignet gewählten Parametern der Filter, insbesondere der bildba sierten Filter, ist es dabei möglich, das natürliche Verformungsbild im gefilter ten Abdruckbild gut nachzuahmen. Die entsprechenden Parameter für den ge wählten Filter können dabei empirisch ermittelt werden.
Das Filtern hat also das Ziel, die zuvor erzielten Abdruckbilder zu glätten, so dass die geglätteten und dann auf das Schalenmodell zurückübertragene Ab druckbilder das realistische, weich verlaufende Verformungsbild auf der Haut wiedergeben, wie es sich typischerweise beim Menschen in der betrachteten Kontaktzone einstellen würde. Jeder Pixel-Wert in den gefilterten Abdruckbil dern entspricht somit einer realistischen Verschiebung des zugehörigen Netze lementes Fij, weshalb die Rückübertragung auf das Schalenmodell ein realisti sches dreidimensionales Abbild der Hautdeformation ergibt.
Beispielsweise kann das Filtern in zwei Schritten erfolgen. In dieser Ausfüh rungsform wird dann in einem ersten Schritt jedes einzelne Pixel in einem se paraten Filterprozess gefiltert, bevor in einem zweiten Schritt die Ergebnisse der separaten Filterprozesse zusammengeführt werden und das gefilterte Ab druckbild erzeugt wird. Dabei wird vorliegend zunächst für jedes zu filternde Pixel, d.h. für jedes Pixel mit von Null verschiedenem Pixel-Wert Pw innerhalb eines Verschiebeschrittes k eine Kopie des zugehörigen Abdruckbildes erzeugt, und in der Kopie des Abdruckbild die Pixel-Werte Pw aller anderen Pixel Pij auf null gesetzt. Dann wird in den jeweiligen Kopien des Abdruckbildes ein entspre chender Filter, beispielsweise ein Weichzeichnungsfilter, auf das jeweilige ver bleibende eine Pixel mit von Null verschiedenem Pixel-Wert Pw angewandt. Hier erfolgt also das Nachahmen der Beeinflussung der benachbarten Körper fläche durch den jeweils in Form des durch das Pixel mit von Null verschiede nem Pixel-Wert Pw gewählten Kontaktpunkt. Schließlich wird aus den Kopien des Abdruckbildes, auf welche der Filter angewandt wurde, den gefilterten Ko pien, ein gefiltertes Abdruckbild erzeugt. Dafür wird als Wert Pw jedes Pixels Pij des gefilterten Abdruckbildes der größte Wert Pw gewählt, welcher für alle demselben Feld Fij zugeordneten Pixel Pij in allen Kopien des Abdruckbildes, auf welche der Filter angewandt wurde, auftritt. In dem zweiten Schritt des Fil- terns wird der Wert Pw jedes Pixels Pij in dem gefilterten Abdruckbild mit dem Wert Pw des korrespondierenden Pixels im ursprünglichen Abdruckbild vergli chen, und der Wert Pw des jeweiligen Pixels im gefilterten Abdruckbild auf null gesetzt, falls die beiden Werte um mehr als einen vorgegebenen Toleranzwert voneinander abweichen, und auf dem Wert Pw belassen, falls die beiden Werte um den Toleranzwert oder weniger als den vorgegebenen Toleranzwert vonei nander abweichen, also gleich oder im Wesentlichen gleich sind. Dieses gefil terte Abdruckbild wird dann anstelle des ursprünglichen Abdruckbildes in den nachfolgenden Schritten verwendet.
In Filterstufe 1 wird also vorliegend jeder einzelne Pixel-Wert im Abdruckbild in einem separaten Filterprozess geglättet. Da der Kopier- bzw. Filtervorgang für alle Pixel im Abdruckbild mit einem Wert > 0 durchgeführt wird, liegen somit bei n Pixeln, deren Wert > 0 ist, auch n Kopien bzw. n gefilterte Abdruckbilder vor, welche das Filterergebnis der einzelnen gefilterten Pixel enthalten. An schließend wird aus allen n gefilterten Abdruckbildern, den Zwischenbildern, das Pixel an der Position i, j mit dem höchsten Pixel-Wert in das gefilterte Ab druckbild übernommen. Entspricht nun der Wert des Pixel Pij im gefilterten Ab druckbild dem Wert des Pixels Pij im ursprünglichen Abdruckbild, ist davon aus zugehen, dass das auftreffende Objekt die Körperstelle des Menschen an dieser Stelle tatsächlich berührt. An den Stellen, wo keine Berührung vorliegt, erfüllen die zugehörigen Pixel im gefilterten Abdruckbild die Bedingung nicht, weshalb die Pixel im Ergebnisbild den Wert 0 erhalten.
Das beschriebene Filtern hat somit den Vorteil, dass die Quantifizierung der Kollision genauer erfolgt und insbesondere eine Überschätzung der auftreten den Kräfte verhindert wird. Dadurch kann beispielsweise ein entsprechend ge steuertes robotisches Gerät mit höheren Arbeitsgeschwindigkeiten betrieben werden und dennoch sicher sein.
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass ein zu sätzliches Faktormatrixbild mit Pixelwerten Vij erzeugt wird, indem oder wobei auf das ursprüngliche Abdruckbild eine Kantendetektion durchgeführt wird, wobei das zusätzliche Faktormatrixbild derart angepasst wird, dass es an Kan ten-Orten einen Pixel-Wert > 1 aufweist und an Nicht-Kanten-Orten einen Pixel- Wert = 1. Dies kann beispielsweise vorgenommen werden, indem auf in einem Ergebnisbild der Kantentdetektion auf jeden Pixelwert der Wert 1 addiert wird. Bei Ermitteln der jeweiligen Spannungswerte für die Abdruckpixel Pij oder, ma thematisch äquivalent, bei Berechnen der auf die vorgegebenen Körperstellen wirkenden Kraft F, also bevor ein Bewerten der Kollision erfolgt, werden die ermittelten Spannungswerte für die Abdruckpixel mit den jeweils zugeordne ten Pixel-Werten Vij des zusätzlichen Faktormatrixbildes multipliziert. Entspre chend kann die für einen Schritt k berechnete Kraft somit durch die Formel F = i,j Vijk x o(Pijk) x Aij gegeben sein.
Das hat den Vorteil, dass Lokalisierungseffekte von Objekten mit harten Kanten berücksichtigt werden, da an Kanten typischerweise erhöhte mechanische Spannungen auf den Körperteil wirken. Damit können die mit den restlichen Verfahrensschritten ermittelten mechanischen Spannungen im Randbereich nachträglich erhöht werden und eine realistischere Bewertung erzeugt werden.
In einer anderen vorteilhaften Ausführungsform ist vorgesehen, dass ein wei teres Faktormatrixbild mit Pixelwerten Wij erzeugt wird, und die ermittelten Spannungswerte für die Abdruck-Pixel Pij mit den jeweils zugeordneten Pixel werten Wij des weiteren Faktormatrixbildes multipliziert werden bevor ein Be werten der Kollision erfolgt. Insbesondere wird das weitere Faktormatrixbild erzeugt, indem anhand des Wertes Pw des jeweils dem Pixelwert Wij zugeord neten Abdruck-Pixels Pij und einer für die Kollision vorgegebenen Kollisionsge schwindigkeit eine jeweilige Dehnrate die Abdruck-Pixel Pij und damit das zu geordnete Feld Fij bestimmt wird, und anhand der jeweiligen Dehnrate mittels einer für das dem jeweiligen Abdruck-Pixel Pij zugeordneten Feld Fij vorgege benen Dehnraten-Kennlinie der Pixelwert Wij ermittelt wird. Die Werte der Dehnraten-Kennlinie und damit die Pixelwerte Wij sind dabei >= 1. Das weitere Faktormatrixbild ist dabei wie das zusätzliche Faktormatrixbild jeweils einzeln
5 für einen, mehrerer oder alle Schritte k vorgegeben. Die Dehnraten-Kennlinien der Felder Fij können identisch oderfürjedes Feld Fij oderGruppen von Feldern Fij individuell vorgegeben sein. Entsprechend kann die für einen Schritt k be rechnete Kraft somit durch die Formel Fk= i,j Wijk x o(Pijk) x Aij gegeben sein oder, falls das weitere Faktormatrixbild mit dem zusätzlichen Faktormatrixbild
10 kombiniert angewandt wird, durch die Formel Fk= i,j Wijk x Vijk x o(Pijk) x Aij.
Das hat den Vorteil, dass die Dehnratenabhängigkeit der Empfindlichkeit von biologischem Gewebe nachgebildet wird, das heißt die Abhängigkeit des Ver letzungsrisikos von der Eindringgeschwindigkeit des auftreffenden Objekts, und
15 somit mit der von der Kollisionsgeschwindigkeit abhängigen weiteren Faktor matrix eine genauere Bewertung der Kollision vorgenommen wird.
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass die je weilige Abdrucktiefe, der Pixel-Wert Pw eines einem Feld Fij zugeordneten Pi
20 xels Pij des Abdruckbildes, berechnet wird, indem durch den Mittelpunkt des jeweiligen Feldes Fij parallel zum Normalenvektor eine Gerade gelegt wird, und ermittelt wird, ob die Gerade die Oberfläche des Objektes trifft oder nicht, und, falls ja, der Abstand zwischen dem Schnittpunkt der Geraden und der Oberflä che des Objektes und dem Mittelpunkt des jeweiligen Feldes Fij als Abdruck
25 tiefe festgelegt wird, falls der Abstand einem Eindringen des Objektes in das Lebewesen entspricht, beispielsweise in einer geeigneten Definition der Ab stand < 0 ist. Eine solche geeignete Definition ist beispielsweise die Wahl des Normalenvektors so, dass er in Bezug auf das Körperteil nach außen weist. Bei einer umgekehrten Definition der Richtungen kann jedoch auch beispielsweise
BO ein positiver Abstand einem Eindringen des Objektes in das Lebewesen ent sprechen. Diese Definition der Abdrucktiefe hat sich als vorteilhaft im Sinne des rechnerischen Aufwands und der erzielbaren Genauigkeit der Ergebnisse her ausgestellt.
35 In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass die Kan- ten jedes Feldes Fij des Netzgitters gleich lang sind oder ein natürliches Vielfa ches der gleichen Länge. Die Größe jedes Feldes ist also ein natürliches Vielfa ches einer Einheitsgröße, aber nicht zwingend gleich.
Ein Aspekt betrifft auch ein Verfahren zum Steuern eines robotischen Gerätes, bei welchem eine Kollision bevorzugt mit der Kraft-Deformations-Kennlinie be rechnet wird. Die Kraft-Deformations-Kennlinie wurde zuvor mit dem Verfah ren gemäß einer der beschriebenen Ausführungsformen bestimmt. Das Ergeb nis aus dem Berechnen wird dann zur Steuerung oder Überwachung des robo tischen Geräts verwendet, also das robotische Gerät in Abhängigkeit eines Be wertungs-Ergebnisses des Verfahrens gesteuert.
Ein weiterer Aspekt betrifft eine Kollisions-Bewertungs-Vorrichtung, welche ausgebildet ist zum Ausrichten eines bereitgestellten BD-Modells eines vorge gebenen Objektes und eines bereitgestellten Schalen-Netzgittermodells einer vorgegebenen Körperstelle in einem virtuellen Raum, wobei die relative Anord nung der beiden Modelle zueinander der relativen Anordnung von Objekt und Körperstelle bei einer vorgegebenen Kollision entsprechen, und wobei jedes Feld Fij des Netzgitters des Schalen-Netzgittermodells quadratisch ist und für jedes Feld Fij des Netzgitters eine Spannungs-Deformations-Kennlinie vorgege ben ist. Die Kollisions-Bewertungs-Vorrichtung ist weiterhin ausgebildet zum schrittweisen Verschieben von BD-Modell und Schalen-Netzgittermodell in dem virtuellen Raum ineinander entsprechend einer durch die vorgegebene Kollision bestimmten Kollisionsrichtung, wo bei jedem Schritt k des schrittwei sen Verschiebens ein Abdruckbild mit Abdruckpixein Pij erzeugt wird, und ein jeweiliger Pixel-Wert Pw der Abdruckpixel Pij eine Abdrucktiefe des 3D-Modells in einem dem jeweiligen Abdruckpixel Pij zugeordneten Feld Fij des Netzgitters des Schalen-Netzgittermodells repräsentiert. Bevorzugt ist dabei jedem Ab druckpixel Pij genau ein Feld Fij zugeordnet und umgekehrt. Das schrittweise Verschieben entspricht der Bewegung des Objekts, beispielsweise des roboti schen Gerätes, am betrachteten Kollisionspunkt. Die Bewegung liegt als An fangsbedingung vor und bestimmt somit die Kollisionsrichtung und/oder Kolli sionsgeschwindigkeit. Die Bewegung des Objektes kann sich insbesondere mit dem Wirken der zunehmenden Kontaktkraft ändern. Die Veränderung der Be wegung mit der durch das beschriebene Verfahren oder die beschriebene Vor richtung berechneten (Kontakt-) Kraft kann in iterativer Form in Verfahren bzw. Vorrichtung berücksichtigt werden, muss es jedoch nicht.
Ferner ist die Kollisions-Bewertungs-Vorrichtung auch ausgebildet zum Ermit teln der jeweiligen Spannungswerte für die Abdruckpixel Pij für das oder zumin dest eines der Abdruckbilder, insbesondere die Abdruckbilder, gemäß der dem entsprechenden Feld Fij zugeordneten Spannungs-Deformations-Kennlinie und dem jeweiligen Pixel-Wert Pw, sowie zum Berechnen zumindest einer auf die vorgegebene Körperstelle wirkende Kraft F mit einem Aufsummieren der Pro dukte der für die Abdruckpixel Pij ermittelten Spannungswerte mit den Flächen Aij der zugeordneten Felder Fij des Netzgitters, für den dem zumindest einem Abdruckbild entsprechenden Schritt k.
Noch ein Aspekt betrifft auch ein robotisches Gerät mit solch einer Kollisions- Bewertungs-Vorrichtung und/oder ein Steuergerät für ein robotisches Gerät, welches solch eine Kollisions-Bewertungs-Vorrichtung aufweist und ausgebil det ist das robotische Gerät in Abhängigkeit eines Bewertungsergebnisses zu steuern, insbesondere in Abhängigkeit der berechneten auf die vorgegebene Körperstelle wirkenden Kraft und/oder in Abhängigkeit der zulässigen Maxima lenergie und/oder in Abhängigkeit der zulässigen Maximaldeformation und/o der in Abhängigkeit der zulässigen Maximalkraft.
Vorteile und vorteilhafte Ausführungsformen der Kollisions-Bewertungs-Vor- richtung entsprechen dabei Vorteilen und vorteilhaften Ausführungsformen des beschriebenen Verfahrens und umgekehrt.
Die vorstehend in der Beschreibung, auch im einleitenden Teil, genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
Anhand der nachfolgenden Figuren soll der erfindungsgemäße Gegenstand nä her erläutert werden, ohne diesen auf die hier gezeigten spezifischen Ausfüh rungsformen einschränken zu wollen.
Dabei zeigen:
Fig. 1 eine beispielhafte Kraft-Deformations-Kennlinie;
Fig. 2 eine beispielhafte Situation für ein entsprechend einer Kollision in einen virtuellen Raum ausgerichtetes SD-Modell eines Objektes und Schalen- Netzgittermodells einer vorgegebenen Körperstelle;
Fig. S und Fig. 4: beispielhafte Schritte eines Filterns eines Abdruckbildes.
In den Figuren sind gleiche und funktionsgleiche Elemente mit den identischen Bezugszeichen versehen.
Fig. 1 zeigt einen beispielhaften Verlauf einer Kraft-Deformations-Kennlinie f, vorliegend ermittelt für den Unterarmmuskel bei Einwirkung eines Zylinders mit einem Durchmesser von 25 mm. Aufgetragen ist hier über der Deformation D des Gewebes in Millimeter die aufgewandte Kraft F in Newton. Typisch ist, dass die Kraft-Deformations-Kennlinie F bis zu einem Grenzwert, vorliegend ei ner Deformation von rund IS mm, exponentiell verläuft, und danach linear.
Fig. 2 zeigt eine beispielhafte Anordnung eines 3D-Modells eines Objektes und eines Schalen-Netzgittermodells einer vorgegebenen Körperstelle. Das Objekt 1 ist vorliegend durch ein pyramidenförmiges 3D-Modell repräsentiert, welches mit einer Spitze an einem Berührungspunkt B auf einer vorgegebenen Körper stelle 2 auf, welche durch ein (flächiges) Schalen-Netzgittermodell repräsen tiert ist. Bei der Körperstelle 2 handelt es sich beim gezeigten Beispiel um eine Handinnenfläche. Das Schalen-Netzgittermodell weist in seinem Netzgitter eine Vielzahl von Feldern Fij auf, welche quadratisch und vorliegend auch identisch groß sind. Bei der Kollision bewegt sich das Objekt 1 in Kollisionsrichtung K in die Körperstelle 2.
Jedem Feld Fij ist hier eine Spannungs-Deformations-Kennlinie s zugeordnet, welche einer vorgegebenen Deformation D eine jeweilige Spannung s zuordnet. Im gezeigten Beispiel ist zusätzlich auch für jedes Feld eine Dehnraten-Kennlinie d zugeordnet, welche einer vorgegebenen Dehnrate D/v einen Wert W zuord net. Dabei bezeichnet D die Deformation und v die Geschwindigkeit, mit wel cher die Deformation D erfolgt. Die Dehnrate kann auch anders vorgegeben sein, beispielsweise sein als e' = d/dt L(t)/Lo, wobei Lo die Ausgangslänge des Materials ist und L(t) die Länge zum Zeitpunkt t. Die Kennlinien müssen selbst verständlich entsprechend der vorgegebenen Dehnrate konsistent vorgegeben sein. Durch die Dehnraten-Kennlinie kann als Faktormatrixbild eine Dehnraten abhängigkeit der Empfindlichkeit von biologischem Gewebe nachgebildet wer den.
Fig. 3 zeigt einen ersten Schritt eines beispielhaften Filterns eines erzeugten Abdruckdruckbildes. Ein Abdruckbild AB mit vorliegend 6x6 Pixeln Pij weist da bei an beispielhaft 4 Pixeln Pij von Null verschiedene Werte Pw auf. Im gezeig ten Beispiel handelt es sich um die vier Pixel P33 „O", und P44 „D". Jedes der vier Pixel weist dabei eine individuelle Schattierung auf, welche den jeweiligen Pixelwert Pw repräsentiert, wobei dunklere Schattierun gen einem größeren Pixelwert Pw und damit einer größeren Verformung ent sprechen.
In dem ersten Schritt des Filterns wird jedes einzelne der Pixel Pij, hier der Pixel P33, P34, P43 und P44, in einem separaten Filterprozess gefiltert. Dafür wird für jedes zu filternde Pixel P33, P34, P43 und P44 eine entsprechende Kopie AB— 33, AB-34, AB-43, AB-44 des zugehörigen Abdruckbildes AB erzeugt, in welchem die Pixelwerte aller anderen Pixel Pij auf null gesetzt werden. In den jeweiligen Kopien AB-33, AB-34, AB-43, AB-44 wird dann ein entsprechender Filter, vorliegend ein Weichzeichnungsfilter, auf das verbleibende Pixel Pij mit dem von null verschiedenen Wert Pw angewandt. Aus den gefilterten Kopien AB-BB', AB-34', AB-43', AB-44' wird dann ein gefiltertes Abdruckbild AB' er zeugt, indem als Wert Pw jedes Pixels Pij des gefilterten Abdruckbildes AB' der größte Wert Pw gewählt wird, welcherfüralle demselben Feld Fij zugeordneten Pixel Pij, also vorliegend allen Pixeln Pij mit den identischen Indices i, j, in allen gefilterten Kopien AB-33', AB-34', AB-43', AB-44' für die Pixel Pij mit identischen Indices i, j auftritt. Es wird somit für die Pixel Pij, welche dem selben Feld Fij zugeordnet sind über die unterschiedlichen gefilterten Kopien hinweg das glo bale Maximum des Pixelwertes Pw bestimmt und für die entsprechenden Pixel Pij nur dieses globale weiter betrachtet. Diese Maxima sind in den Kopien AB- 33', AB-34', AB-43', AB-44' jeweils mit „O", „V", bzw. „D" gekennzeich net.
Das gefilterte Abdruckbild AB' enthält somit im gezeigten Beispiel für die Pixel P22, P23 die Pixelwerte Pw aus der Kopie AB-33', für die Pixel P24, P25, P34, P35 die Pixelwerte Pw aus der Kopie AB-34', für die Pixel P32, P33, P42, P43, P52, P53 die Pixelwerte Pw aus der Kopie AB-43' und für die Pixel P44, P45, P54, P55 die Pixelwerte Pw aus der Kopie AB-44'.
In Fig. 4 ist nun der zweite Schritt des beispielhaften Filterns gezeigt. Dabei wird der Pixelwert Pw jedes Pixels Pij in dem gefilterten Abdruckbild AB' mit dem Wert Pw des korrespondierenden Pixels Pij im ursprünglichen Abdruckbild AB verglichen um ein finales gefiltertes Abdruckbild AB" zu erhalten. Entsprechend kann das gefilterte Abdruckbild AB' aus dem ersten Schritt als Zwischen-Ab- druckbild und das gefilterte Abdruckbild AB" aus dem zweiten Schritt als Ergeb nis-Abdruckbild bezeichnet werden.
Für das Ergebnis-Abdruckbild AB" wird der Wert Pw des jeweiligen Pixels im gefilterten Abdruckbild AB' auf null gesetzt, falls er um mehr als einen vorgege benen Toleranzwert vom Wert PW des jeweiligen Pixels im ursprünglichen Ab druckbild AB abweicht, und auf dem Wert Pw belassen, falls die beiden Werte um den Toleranzwert oder weniger als den vorgegebenen Toleranzwert vonei nander abweichen. Die Pixel, deren Pixelwerte Pw in Abdruckbild AB und Ab druckbild AB' um den Toleranzwert oder weniger als den vorgegebenen Tole ranzwert voneinander abweichen, also im Wesentlichen gleich sind, sind in Fig. 4 mit einer Raute „0" gekennzeichnet. Nur an diesen Pixeln Pij, hier den Pixeln PB4, P4B, P44, bzw. den zugeordneten Feldern Fij, ist die Deformation tatsäch lich auf den direkten Druck des Objektes auf den Körperteil zurückzuführen, diese Stellen sind also maßgeblich für ein Bewerten der Kollision, insbesondere hinsichtlich eines Verletzungsrisikos.
Im gezeigten Beispiel haben die Pixel P43, P43, P44 die Pixelwerte 0,5, 1 und 0,75, entsprechen also einer Deformation von 0,5mm, 1mm und 0,75mm. Da die Pixel Pij vorliegend Feldern Fij mit der Fläche Aij=lcm2 zugeordnet sind, lässt sich mittels einer hinterlegten Spannungs-Deformationskennlinie s eine Kon taktkraft F berechnen. Im gezeigten Beispiel ergibt sich die Kraft mit F= [s(0,5mm)+s(0,75mm)+s(lmm)]N/cm2*lcm2=[26+71+160]N/cm2*lcm2 zu 257N.
In Fig. 5 sind beispielhafte Abdruckbilder AB, AB', AB" für die auch in Fig. 2 dar gestellte Kollision gezeigt, sowie eine perspektivische Darstellung und eine Schnittdarstellung des in die Körperstelle 2 eingetauchten Objektes 1. In den Abdruckbildern AB, AB', AB" entsprechen wieder dunklere Schattierungen grö ßeren Deformationen. Ausgehend von dem ursprünglichen Abdruckbild AB wird hier in einem ersten Schritt ® analog zu dem in Fig. 3 gezeigten ersten Schritt des Filterns das Zwischen-Abdruckbild AB' erzeugt. In einem zweiten Schritt © wird entsprechend das Ergebnis-Abdruckbild AB" erzeugt. Es wird aus dem Ergebnis-Abdruckbild unmittelbar, vor allem jedoch quantifizierbar klar, dass bei der Kollision des pyramidenförmigen Objektes mit der Handfläche die an den Kanten des Objektes auftretenden Deformationen maßgeblich für das Bewerten der Kollision, insbesondere eines resultierenden Verletzungsrisikos, sind.

Claims

Patentansprüche
1. Verfahren zum Bewerten einer vorgegebenen Kollision zwischen einer vorgegebenen Körperstelle (2) eines Lebewesens und einem vorgege benen Objekt (1), insbesondere zum Bewerten einer Kollision zwischen einer vorgegebenen Körperstelle eines Menschen und einem vorgege benen Teil eines robotischen Gerätes, mit den Verfahrensschritten: a) Bereitstellen eines BD-Modells des vorgegebenen Objektes (1) an eine Recheneinheit; b) Bereitstellen eines Schalen-Netzgittermodells der vorgegebenen Körperstelle (2) an eine Recheneinheit, wobei jedes Feld Fij des Netz gitters des Schalen-Netzgittermodells quadratisch ist, und für jedes Feld Fij des Netzgitters eine Spannungs-Deformations-Kennlinie (s) vorgegeben ist; c) Ausrichten des bereitgestellten BD-Modells und des bereitgestellten Schalen-Netzgittermodells in einem virtuellen Raum mittels der Re cheneinheit, wobei die relative Anordnung der beiden Modelle zuei nander der relativen Anordnung von Objekt und Körperstelle bei der vorgegebenen Kollision entspricht; d) schrittweises Schieben von 3D-Modell und Schalen-Netzgittermo- dell ineinander entsprechend einer durch die vorgegebene Kollision bestimmten Kollisionsrichtung (K), in dem virtuellen Raum, durch die Recheneinheit, wobei für jeden Schritt k des schrittweisen Verschie- bens ein Abdruckbild (AB) mit Abdrucks-Pixeln Pij erzeugt wird, und ein jeweiliger Pixel-Wert Pw der Abdrucks-Pixel Pij eine Abdrucktiefe des 3D-Modells in einem dem jeweiligen Abdrucks-Pixel Pij zugeordne ten Feld Fij des Netzgitters des Schalen-Netzgittermodells repräsen tiert; e) Ermitteln der jeweiligen Spannungswerte für die Abdruck-Pixel Pij für das oder zumindest eines der Abdruckbilder (AB, AB', AB") gemäß der dem entsprechenden Feld Fij zugeordneten Spannungs-Deforma- tions-Kennlinie (s) und dem jeweiligen Pixel-Wert Pw; f) Berechnen einer auf die vorgegebene Körperstelle (2) wirkende Kraft F mit einem Aufsummieren der Produkte der für die Abdruck-Pixel Pij ermittelten Spannungswerte mit den Flächen Aij der zugeordneten Felder Fij des Netzgitters, für den dem zumindest einen Abdruckbild (AB, AB', AB") entsprechendem Schritt k des Verschiebens.
2. Verfahren nach dem vorhergehenden Anspruch, gekennzeichnet durch ein
- Ermitteln der jeweiligen Spannungswerte für die Abdruck-Pixel Pij für eine Vielzahl von Abdruckbildern (AB, AB', AB"), insbesondere alle Ab druckbilder (AB, AB', AB"), in Verfahrensschritt e) und Berechnen der auf die vorgegebene Körperstelle (2) wirkende Kraft F für eine Vielzahl von den jeweiligen Abdruckbildern (AB, AB', AB") entsprechenden Schritten k, insbesondere für alle Schritte k, in Verfahrensschritt f); ein
- Erzeugen einer Kraft-Deformations-Kennlinie (f) für die vorgegebene Kollision des vorgegebenen Objektes (1) mit der vorgegebenen Körper stelle (2); sowie insbesondere ein
- Bewerten der Kollision anhand der erzeugten Kraft-Deformations- Kennlinie (f), bevorzugt mit einem Vorgeben einer zulässigen Maxima lenergie oder zulässigen Maximal kraft für eine der Kollision zu Grunde liegende Bewegung des Objektes (1).
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass vor dem Ermitteln der jeweiligen Spannungswerte für die Abdruck-Pi xel Pij in Verfahrensschritt e) ein Filtern des oder der erzeugten Ab druckbilder (AB) erfolgt, welches insbesondere unter Verwendung zu mindest eines bildbasierten Filters und/oder auf maschinellen Lernver fahren basierenden Filters, und der Verfahrensschritt e) des Ermittelns und f) des Berechnens basierend auf dem gefilterten Abdruckbild (AB', AB") durchgeführt wird.
4. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass bei dem Filtern in einem ersten Schritt jedes einzelne Pixel in einem separaten Filterprozess gefiltert wird, in dem zunächst
- für jedes zu filternde Pixel eine Kopie (AB-33, AB-34, AB-43, AB-44) des zugehörigen Abdruckbildes (AB) aus Verfahrensschritt d) erzeugt wird, in welchem die Pixelwerte Pw aller anderen Pixel Pij auf null ge setzt werden; dann
- in den jeweiligen Kopien des Abdruckbildes ein entsprechender Filter, insbesondere ein Weichzeichnungsfilter, auf das jeweilige Pixel ange wandt wird; und schließlich
- aus den Kopien (AB-33', AB-34', AB-43', AB-44') des Abdruckbildes, auf welche der Filter angewandt wurde, ein gefiltertes Abdruckbild er zeugt wird, indem als Wert Pw jedes Pixels Pij des gefilterten Abdruck bildes (AB') der größte Wert Pw gewählt wird, welcher für alle demsel ben Feld Fij zugeordneten Pixel Pij in allen Kopien des Abdruckbildes dieses Pixel Pij, auf welche der Filter angewandt wurde, auftritt; und bei dem Filtern in einem zweiten Schritt der Wert Pw jedes Pixels Pij in dem gefilterten Abdruckbild (AB') mit dem Wert Pw des korrespondie renden Pixels Pij im Abdruckbild (AB) aus Verfahrensschritt d) vergli chen wird, und der Wert Pw des jeweiligen Pixels im gefilterten Ab druckbild (AB") auf null gesetzt wird, falls die beiden Werte um mehr als einen vorgegebenen Toleranzwert voneinander abweichen, und auf dem Wert Pw belassen wird, falls die beiden Werte um den Toleranz wert oder weniger als den vorgegebenen Toleranzwert voneinander abweichen .
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein zusätzliches Faktormatrixbild mit Pixelwerten Vij erzeugt wird, in dem auf das Abdruckbild (AB) aus Verfahrensschritt d) eine Kantende tektion durchgeführt wird, wobei das zusätzliche Faktormatrixbild der art angepasst wird, dass es an Kanten-Orten einen Pixelwert größer eins aufweist und an Nicht-Kanten-Orten einen Pixelwert gleich eins, und die ermittelten Spannungswerte für die Abdruck-Pixel Pij mit den jeweils zugeordneten Pixelwerten Vij des zusätzlichen Faktormatrixbil des multipliziert werden.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein weiteres Faktormatrixbild mit Pixelwerten Wij erzeugt wird, und die ermittelten Spannungswerte für die Abdruck-Pixel Pij mit den je weils zugeordneten Pixelwerten Wij des weiteren Faktormatrixbildes multipliziert werden, wobei das weitere Faktormatrixbild insbesondere erzeugt wird, indem anhand des Wertes Pw des jeweils dem Pixelwert Wij zugeordneten Abdruck-Pixels Pij und einer vorgegebenen Kollisi onsgeschwindigkeit eine jeweilige Dehnrate bestimmt wird, und an hand der jeweiligen Dehnrate mittels einer für das dem jeweiligen Ab druck-Pixel Pij zugeordneten Feld Fij vorgegebenen Dehnraten-Kennli- nie (d) der Pixelwert Wij ermittelt wird.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die jeweilige Abdrucktiefe berechnet wird, indem durch den Mittel punkt des jeweiligen Feldes Fij parallel zum Normalenvektor eine Ge rade gelegt wird, und ermittelt wird ob die Gerade die Oberfläche des Objektes (1) trifft oder nicht, und, falls ja, der Abstand zwischen dem Schnittpunkt der Geraden und der Oberfläche des Objektes (1) und dem Mittelpunkt des jeweiligen Feldes Fij als Abdrucktiefe festgelegt wird, falls der Abstand einem Eindringen des Objekts (1) in das Lebe wesen entspricht.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass nach dem Ausrichten der Abstand der beiden Modelle voneinander an zumindest einem Kontaktpunkt (B) der beiden Modelle Null ist.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kanten jedes Feldes Fij des Netzgitters gleich lang sind oder ein na türliches Vielfaches der gleichen Länge sind.
10. Verfahren zum Steuern eines robotischen Gerätes, bei welchem eine Kollision mit dem Verfahren gemäß einem der Ansprüche 1 bis 8 be wertet wird, und das robotische Gerät in Abhängigkeit eines Bewer tungs-Ergebnisses des Verfahrens gesteuert wird.
11. Kollisions-Bewertungs-Vorrichtung, welche ausgebildet ist zum: a) Ausrichten eines bereitgestellten BD-Modells eines vorgegebenen Objektes (1) und eines bereitgestellten Schalen-Netzgittermodells ei ner vorgegebenen Körperstelle (2) in einem virtuellen Raum, wobei die relative Anordnung der beiden Modelle zueinander der relativen An ordnung von Objekt (1) und Körperstelle (2) bei einer vorgegebenen Kollision entsprechen; und wobei jedes Feld Fij des Netzgitters des Schalen-Netzgittermodells quadratisch ist, und für jedes Feld Fij des Netzgitters eine Spannungs-Deformations-Kennlinie vorgegeben ist; d) schrittweisen Schieben von BD-Modell und Schalen-Netzgittermo- dell ineinander entsprechend einer durch die vorgegebene Kollision bestimmten Kollisionsrichtung (K), in dem virtuellen Raum, wobei für jeden Schritt k des schrittweisen Verschiebens ein Abdruckbild (AB) mit Abdrucks-Pixeln Pij erzeugt wird, und ein jeweiliger Pixel-Wert Pw der Abdrucks-Pixel Pij eine Abdrucktiefe des 3D-Modells in einem dem jeweiligen Abdrucks-Pixel Pij zugeordneten Feld Fij des Netzgitters des Schalen-Netzgittermodells repräsentiert; e) Ermitteln der jeweiligen Spannungswerte für die Abdruck-Pixel Pij für das oder zumindest eines der Abdruckbilder (AB, AB', AB") gemäß der dem entsprechenden Feld Fij zugeordneten Spannungs-Deforma- tions-Kennlinie (s) und dem jeweiligen Pixel-Wert Pw; f) Berechnen einer auf die vorgegebene Körperstelle (2) wirkende Kraft F mit einem Aufsummieren der Produkte der für die Abdruck-Pixel Pij ermittelten Spannungswerte mit den Flächen Aij der zugeordneten Felder Fij des Netzgitters, für den dem zumindest einen Abdruckbild (AB, AB', AB") entsprechendem Schritt k.
EP22734902.4A 2021-06-10 2022-06-10 Bewertung beliebig vorgebbarer kollisionen zwischen beliebigen körperstellen von lebewesen und beliebig geformten objekten Pending EP4351842A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021205876.0A DE102021205876A1 (de) 2021-06-10 2021-06-10 Bewertung beliebig vorgebbarer Kollisionen zwischen beliebigen Körperstellen von Lebewesen und beliebig geformten Objekten
PCT/EP2022/065903 WO2022258836A1 (de) 2021-06-10 2022-06-10 Bewertung beliebig vorgebbarer kollisionen zwischen beliebigen körperstellen von lebewesen und beliebig geformten objekten

Publications (1)

Publication Number Publication Date
EP4351842A1 true EP4351842A1 (de) 2024-04-17

Family

ID=82308416

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22734902.4A Pending EP4351842A1 (de) 2021-06-10 2022-06-10 Bewertung beliebig vorgebbarer kollisionen zwischen beliebigen körperstellen von lebewesen und beliebig geformten objekten

Country Status (6)

Country Link
US (1) US20240232473A9 (de)
EP (1) EP4351842A1 (de)
JP (1) JP2024522641A (de)
KR (1) KR20240019347A (de)
DE (1) DE102021205876A1 (de)
WO (1) WO2022258836A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120002680B (zh) * 2025-04-21 2025-08-01 中铁十四局集团有限公司 多自由度机械臂的动态调节系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013212887B4 (de) 2012-10-08 2019-08-01 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zum Steuern einer Robotereinrichtung,Robotereinrichtung, Computerprogrammprodukt und Regler
DE102016200455A1 (de) 2016-01-15 2017-07-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sicherheitsvorrichtung und -verfahren zum sicheren Betrieb eines Roboters

Also Published As

Publication number Publication date
JP2024522641A (ja) 2024-06-21
KR20240019347A (ko) 2024-02-14
US20240135068A1 (en) 2024-04-25
US20240232473A9 (en) 2024-07-11
WO2022258836A1 (de) 2022-12-15
DE102021205876A1 (de) 2022-12-15

Similar Documents

Publication Publication Date Title
DE112017002498B4 (de) Robotervorgang-auswertungseinrichtung, robotervorgang-auswertungsverfahren und robotersystem
DE102007053500A1 (de) Verfahren zur Bewertung wenigstens eines zur Verwendung bei Kraftfahrzeugen vorgesehenen vorausschauenden Sicherheitssystems zur Unfallvermeidung und/oder Unfallfolgenminderung
DE102015012232A1 (de) Mit Menschen kollaborierendes Robotersystem
EP1906281B1 (de) Verfahren und System zur Auslegung und Überprüfung von Sicherheitsbereichen eines Roboters
DE60201923T2 (de) Materialverbiegungssimulationsgerät inbesondere für weiche Körpergewebe
DE102015108010B3 (de) Steuern und Regeln von Aktoren eines Roboters unter Berücksichtigung von Umgebungskontakten
WO2014008929A1 (de) Roboteranordnung und verfahren zum steuern eines roboters
WO2016107679A1 (de) Haptik-vorrichtungen und -verfahren
DE102016119600A1 (de) Sicherheitsüberwachungsvorrichtung für einen Roboter
WO2014056833A1 (de) Verfahren zum steuern einer robotereinrichtung, robotereinrichtung und computerprogrammprodukt
DE102012212754A1 (de) Verfahren zum Betreiben eines Sensorsystems sowie Sensorsystem
WO2021165105A1 (de) Steuerung eines robotermanipulators bei kontakt mit einer person
DE102020103857B4 (de) Kraftbegrenzung bei Kollision eines Robotermanipulators
WO2022258836A1 (de) Bewertung beliebig vorgebbarer kollisionen zwischen beliebigen körperstellen von lebewesen und beliebig geformten objekten
EP4272907B1 (de) Verfahren zur verbesserung eines vorgeplanten bewegungsablaufs für die ansteuerung eines roboters
DE102019108390B3 (de) Vorgeben von sicheren Geschwindigkeiten für einen Robotermanipulator
DE19537010C2 (de) Lernverfahren und -anordnung zur Nachbildung eines dynamischen Prozesses
DE4333820A1 (de) Verfahren zur Steuerung der Bewegung eines vielgliedrig ausgebildeten Manipulators
DE102020103853B4 (de) Graphisch unterstützte Anpassung von Roboter-Steuerprogrammen
EP4212287A1 (de) Projektierung einer sicherheitsgerichteten überwachung für eine mehrachskinematik mit mehreren beweglichen segmenten
EP4106959A1 (de) Aufstellort eines robotermanipulators
DE102023119130B3 (de) Aktuatorsystem sowie Verfahren zur Federsteifigkeitsanpassung in einem Aktuatorsystem
DE102023117654B4 (de) Verfahren zur Überwachung eines Schutzbereichs basierend auf einem Modellobjektdatensatz mit mindestens einem 3D-Modellobjekt
WO2001023968A1 (de) Verfahren zur simulation eines systems
DE10313890A1 (de) Verfahren und Vorrichtung zum Handhaben und Positionieren von Objekten

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20231228

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS