EP4399675A1 - Verfahren zum beurteilen einer oberfläche eines karosseriebauteils sowie verfahren zum trainieren eines künstlichen neuronalen netzes - Google Patents

Verfahren zum beurteilen einer oberfläche eines karosseriebauteils sowie verfahren zum trainieren eines künstlichen neuronalen netzes

Info

Publication number
EP4399675A1
EP4399675A1 EP22762073.9A EP22762073A EP4399675A1 EP 4399675 A1 EP4399675 A1 EP 4399675A1 EP 22762073 A EP22762073 A EP 22762073A EP 4399675 A1 EP4399675 A1 EP 4399675A1
Authority
EP
European Patent Office
Prior art keywords
variable
polygon
characterizing
curvature
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22762073.9A
Other languages
English (en)
French (fr)
Inventor
Philipp Craighero
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of EP4399675A1 publication Critical patent/EP4399675A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/64—Analysis of geometric attributes of convexity or concavity
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Definitions

  • the invention relates to a method for assessing a surface of a body part of a motor vehicle according to patent claim 1.
  • the invention also relates to a method for training an artificial neural network according to patent claim 6.
  • Such a method for assessing a surface of a body component of a motor vehicle and such a method for training an artificial neural network can be taken from the general prior art as known.
  • the surface of the body component can be examined or checked, in particular manually.
  • the surface can be checked for any surface defects.
  • the surface defects can be used to assess the surface.
  • the object of the invention is to create a method for assessing a surface of a body component of a motor vehicle and a method for training an artificial neural network, so that the amount of work and costs for producing the body component can be kept particularly low.
  • this object is achieved by a method for assessing a surface of a body component of a motor vehicle having the features of patent claim 1 and by a method for training an artificial neural network having the features of patent claim 6 .
  • Advantageous embodiments of the invention are the subject of the dependent patent claims and the description.
  • a first aspect of the invention relates to a method for assessing a surface of a body component of a motor vehicle.
  • the motor vehicle can be designed, for example, as a passenger car, commercial vehicle or truck.
  • the body component can be understood in particular as a component of a body of the motor vehicle.
  • the body can in particular be a act self-supporting body of the motor vehicle.
  • the body component is preferably an outer skin component of the body or of the motor vehicle.
  • the outer skin component can in particular be understood to mean that the body component is a component of an outside of the motor vehicle that delimits the motor vehicle to the outside.
  • the body component can be formed from sheet metal, for example. As a result, the body component can be referred to in particular as a body panel.
  • At least one virtual polygon mesh of the surface of the body component is created in the method.
  • at least one virtual image of the surface of the body component is created or formed, with the virtual image being in the form of a polygon network.
  • the virtual image can be understood in particular as a virtual model of the surface.
  • the polygon network can be understood in particular as points connected to edges, with the polygon network comprising a multiplicity of polygons which can be designed, for example, as a triangle or as a square.
  • the respective polygon comprises a plurality of points, referred to in particular as nodes, which are connected to one another via edges of the polygon.
  • the surface of the body component is approximated by the virtual polygon mesh.
  • the respective node can in particular be referred to as a “vertex”.
  • the nodes form respective corners of the respective polygon.
  • the polygon mesh is preferably three-dimensional.
  • the polygon mesh can be two-dimensional.
  • the polygon mesh is preferably an STL mesh.
  • STL mesh the surface of the body component is described or approximated by triangular facets.
  • Each triangle facet can be characterized by three corner points and an associated surface normal of the triangle.
  • the STL network is in particular a polygon network which has a format referred to in particular as the STL format.
  • At least one variable characterizing a curvature of the polygon mesh is determined at at least one node of the polygon mesh.
  • at least one variable characterizing a curvature at at least one node of the polygon network is determined.
  • the at least one variable characterizing the curvature of at least one partial area of the surface is determined as a function of the polygon network.
  • the curvature characterizing variable can be calculated, for example.
  • the variable characterizing the curvature can be understood in particular as a measure or a value by means of which the curvature of the polygon network, in particular at the respective node, can be characterized or described.
  • the curvature of the polygon network in particular at the respective nodes, or the curvature of the surface of the body component can be inferred.
  • the variable characterizing the curvature of the polygon mesh is preferably determined at or for all nodes of the polygon mesh.
  • a mapping referred to in particular as a Weingarten mapping can be calculated.
  • a matrix referred to in particular as a vineyard matrix or vineyard curvature matrix can be calculated for the respective node.
  • Eigenvalues of the vineyard map or the vineyard matrix correspond to the principal curvatures of the polygon mesh, evaluated at the respective node.
  • the main curvatures can be referred to as K1 and K2.
  • the main curvature can generally be understood as a curvature of a flat curve, which results from a normal section.
  • the normal section can in particular be a section of a surface with a plane determined by a surface normal vector of the surface and a tangential direction of the surface.
  • the principal curvatures are then a minimum value and a maximum value of these curvatures.
  • Directions of the eigenvectors can in particular be referred to as main directions of curvature.
  • the main directions of curvature can be understood to mean, in particular, tangential directions.
  • One of the main curves can in particular be referred to as the so-called first main curve.
  • the other main curvature can in particular be referred to as the so-called second main curvature.
  • the vineyard mapping can be calculated at at least one node, in particular at all nodes, of the polygon mesh. This can be done, for example, as follows:
  • a normal vector is first calculated or approximated at at least one of the nodes, in particular at all nodes, of the polygon network.
  • the normal vector corresponds to or approximates a normal of the polygon mesh, in particular an area of the polygon mesh, in the respective node.
  • Two vectors which are orthonormal to one another and which are perpendicular to the respective normal vector are then calculated at at least one of the nodes, in particular at all nodes, of the polygon network.
  • the vectors and the normal vector are used as a local, orthonormal coordinate system at the respective node.
  • the vineyard image or the vineyard curvature matrix is then calculated in at least one of the nodes, in particular in all nodes, of the polygon network, expressed in the respective local coordinate system.
  • the main curvatures and/or the main directions of curvature can be used as the variable characterizing the curvature.
  • the main curvatures and/or the main directions of curvature can be determined as the variable characterizing the curvature at at least one, in particular at all, nodes of the polygon network.
  • the Weinberg image can be calculated for at least one, in particular for all nodes of the polygon network, from which the main curvatures and/or the main directions of curvature can be calculated.
  • the virtual polygon network is preferably stored in an electronic computing device after it has been created.
  • the variable characterizing the curvature is preferably stored in the electronic computing device or in a second electronic computing device that is configured separately from the electronic computing device.
  • at least one output variable characterizing a surface defect of the surface is determined at least indirectly, in particular directly, by means of an artificial neural network for assessing the surface.
  • the variable characterizing the curvature is an input variable of the neural network, with the neural network determining the output variable, which is a variable characterizing the surface defect of the surface, as a function of the variable characterizing the curvature.
  • the output variable characterizing the surface defect of the surface is an output variable of the neural network.
  • the neural network can be referred to in particular as a neural network.
  • the artificial neural network can be understood in particular as a software code which is stored on a computer-readable storage medium and represents one or more networked artificial neurons or can simulate their function.
  • the software code can in particular contain a number of software code components which can have different functions, for example.
  • an artificial neural network can implement a non-linear model or algorithm that maps an input to an output.
  • the input can be an input feature vector or an input sequence.
  • the output can include, for example, an output category for a classification task, one or more precessed values, or a precessed sequence.
  • the entry or input can include the variable that characterizes the curvature.
  • the output or output can include the variable that characterizes the surface defect.
  • the neural network is preferably a trained neural network.
  • the surface defect can be understood in particular as a deviation between an actual state of the surface of the body component and a target state of the surface of the body component.
  • the surface defect can thus be a deviation between a target surface of the body component and an actual surface of the body component.
  • the desired state or the desired surface can be understood in particular as a defined, desired state of the surface. This state can be provided during the manufacture of the surface of the body component.
  • the actual state or the actual surface can be understood in particular as a real state of the surface of the body part, with the real State after the manufacture of the body component or the surface is present. The deviation or a difference between the target surface and the actual surface can thus result from the manufacture of the body component, in particular a manufacturing error or a manufacturing inaccuracy.
  • the surface defect can be a dent, for example.
  • the surface defect can be a waviness of the surface, for example. It can be provided that the deviation between the target surface and the actual surface is only a surface defect or is regarded as the surface defect when the deviation exceeds a predefined threshold value.
  • the output variable characterizing the surface defect can be understood in particular as any measure or any value which characterizes or describes the surface defect.
  • the surface defect can be inferred by means of the output variable characterizing the surface defect.
  • the output variable characterizing the surface defect can assume or have at least two, in particular discrete, values.
  • a first of the values can mean, for example, that the respective surface has the surface defect.
  • the second value can mean, for example, that the respective surface does not have the surface defect and is therefore free of defects.
  • the output variable that characterizes the surface defect can include a plurality of defect classes that differ from one another.
  • the output variable that characterizes the surface defect can assume at least one of several different values, with the respective value characterizing the respective defect class of the surface defect.
  • the values can in particular be referred to as error class values.
  • the dent in the surface can be one of the defect classes.
  • the wavy surface can be another of the defect classes.
  • a first of the error class values is determined by means of the artificial neural network if the respective surface of the body component has a surface error of a first error class.
  • the artificial neural network is used to determine a second error class value that differs from the first error class value if the respective surface of the body component has a surface error of the second error class.
  • the output variable characterizing the surface defect can include at least one measure for characterizing a defect severity of the surface defect.
  • the artificial neural network is used to determine a first intensity value of the output variable that characterizes the surface defect if the respective surface of the respective body component has a first surface defect, and the neural network is used to determine a second intensity value, which is greater than the first intensity value, of the output variable that characterizes the surface defect , if the respective surface of the respective body component has a second surface defect that is more severe than the first surface defect.
  • the output variable that characterizes the surface defect has at least one measure for characterizing a position of the defect on the surface of the body component.
  • the output variable that characterizes the surface defect includes coordinates for this, the coordinates describing the position or location of the surface defect on the surface of the respective body component.
  • body components can usually be produced by means of forming.
  • Forming tools are used for this.
  • a surface defect occurs.
  • the forming tool to produce test parts of the body component, referred to in particular as test impressions.
  • test impressions can then be painted, in particular black, and checked manually, in particular by experts, for surface defects. In this case, development of the forming tool can usually already be completed.
  • any changes or adjustments to the forming tool can be particularly time-consuming and particularly cost-intensive.
  • the development of the forming tool it is usually only possible to identify insufficiently whether body components to be produced using the forming tool tend to have surface defects or whether differences between a target geometry and an actual geometry of the body component represent a relevant surface defect.
  • This problem can, for example, in a Process step of the development of the forming tool exist, in which the forming tool is developed by means of simulation, in particular finite element simulation.
  • the problem can alternatively or additionally exist during the incorporation of tool sets in tool construction of or for the forming tool.
  • the method according to the invention can already be used to identify the surface defect or defects during the development of the forming tool.
  • the surface defect is evaluated or evaluated using the neural network.
  • the expert can be emulated by the neural network.
  • necessary measures can be taken at an early stage during the development of the forming tool.
  • the measures can be understood, for example, as measures by means of which the forming tool can be adapted or improved, so that the surface defects occurring during the production of the respective body component can be avoided or reduced.
  • costs, in particular manufacturing costs and effort, in particular manufacturing effort, of the body component can be kept particularly low.
  • the optical detection device is preferably a camera, in particular a stereo camera, for example a GOM stereo camera.
  • the virtual polygon mesh is created as a function of at least one simulation result of an in particular structural-mechanical and/or thermomechanical simulation of at least one step of a simulated manufacturing process of the body component.
  • the simulation is used to simulate at least one step of the manufacturing process or the entire manufacturing process of the body component.
  • the simulation result is calculated.
  • the simulation can be structural and/or thermo-mechanical.
  • the simulation can also include other effects.
  • the simulation result can be, for example, a virtual model or a virtual image of the surface of the body component, it being possible for the virtual image to be deformed or deformed in relation to the target surface of the body component, for example.
  • This deformation is a consequence of the, in particular simulated, manufacturing process of the body component.
  • the virtual polygon mesh of the surface is created from the simulation result or from the simulated image of the surface.
  • a virtual or simulated surface of the body component can be assessed using the neural network.
  • the assessment can take place, for example, at a particularly early stage of a development process for the body component or the forming tool.
  • a respective smoothing of the respective polygon network is carried out before the determination of the respective variable characterizing the curvature.
  • the variable that characterizes the curvature of the polygon mesh can thus be determined at the at least one node of the smoothed polygon mesh.
  • noise can be suppressed in the polygon meshes or in the variable characterizing the curvature.
  • the smoothing can in particular be referred to as filtering.
  • the image can include disturbances referred to as image noise in particular.
  • the disturbances cannot be related to the desired image content of the image, namely the image of the surface.
  • the polygon mesh Due to the fact that the polygon mesh is created or has been created depending on the image, the polygon mesh can have the image noise or the disturbances.
  • a position of at least one node of the polygon network can have no relation to the real surface.
  • coordinates of the node can differ significantly from the respective coordinates of the surface of the body component.
  • the polygon mesh can be smoothed.
  • a position or coordinates of at least one node of the polygon network can be shifted, in particular in a respective normal direction, whereby the image noise can be reduced.
  • An example smoothing method can be found in the literature: Fleishman, Shachar and Drori, Iddo and Cohen-Or, Dabniel (2003). Bilateral mesh denoising, ACM Transactions on Graphics, https://doi.org/10.1145/1201775.882368.
  • Another embodiment provides that at least one two-dimensional geometric image of the polygon network is formed, with the output variable characterizing the surface defect being determined at least indirectly, in particular directly, by means of the artificial neural network as a function of the geometric image.
  • the polygon network is transformed as a geometric image into a two-dimensional plane, with the geometric image being used as an input or as an input variable of the neural network.
  • the geometric mapping can be understood in particular to mean that a respective point in the two-dimensional plane is assigned to each point of the polygon network.
  • a respective node or point can be assigned to at least one or each node of the polygon network in the two-dimensional plane.
  • a respective edge in the two-dimensional plane can be assigned to at least one or each edge of the polygon mesh.
  • the polygon network thus enters the neural network indirectly as an input variable or as an input via the geometric mapping.
  • the geometric mapping is a particularly well suited input variable of the neural network.
  • memory requirements and learning complexity can be kept particularly low in the neural network.
  • the geometric mapping can in particular be referred to as geometry mapping.
  • the geometric mapping can resemble a two-dimensional matrix, for example.
  • the geometric mapping is an authalic spherical parameterization.
  • An exemplary geometric mapping or an exemplary method for performing such a geometric mapping can be taken from the literature: Sinha, Ayan and Bai, Jing and Ramani, Karthik (2016). Deep Learning 3D Shape Surfaces Using Geometry Images, European Conference on Computer Vision, pp 223-240, https://doi.org/10.1007/978-3-319-46466-4_14.
  • a different from the geometric mapping and in particular a two-dimensional geometric image of the polygon network can be created by parameterizing a three-dimensional shape, in particular of the polygon network.
  • the intermediate image can be mapped or scanned onto an octahedron.
  • the octahedron can then be cut or cut off along its edges to create the geometric image.
  • the authalic parameterization can be understood in particular as an area-preserving parameterization.
  • the spherical authalic parameterization can be understood in particular as a combination of the spherical parameterization and the authalic parameterization.
  • spatial distortions can be iteratively minimized in the polygon mesh used as the input variable of the authalic spherical parameterization and a bijective image can be created on a spherical surface.
  • At least one pixel of the geometric image is assigned the respective variable characterizing the curvature
  • the output variable characterizing the surface defect being at least indirectly determined by means of the artificial neural network as a function of the at least one pixel in particular directly, is determined.
  • the respective pixel in the geometric mapping is assigned to at least one, in particular each, node of the polygon network, with the variable characterizing the curvature of the respective node or for the respective node being assigned to the respective pixel of the geometric mapping .
  • the output variable characterizing the surface defect is determined by means of the artificial neural network as a function of the pixel and the variable associated with the respective pixel that characterizes the curvature.
  • the output variable characterizing the surface defect is determined by means of the artificial neural network as a function of the geometric image, which includes the respective variable characterizing the curvature.
  • variable characterizing the curvature is assigned to the respective pixel of the geometric image
  • the geometric image or the pixel is encoded, in particular colored, with the respective variable characterizing the curvature.
  • the variable that characterizes the curvature can be characterized or represented as a function of a color or a color intensity of the geometric image, in particular of the pixel.
  • the variable that characterizes the curvature can, for example, include a number of sub-variables. Provision can be made for a respective two-dimensional geometric image of the polygon network to be formed for each of the partial variables, the respective partial variable characterizing the curvature being assigned to at least one pixel, in particular all pixels, of the respective geometric image. Alternatively, it can be provided that a, in particular exactly one, two-dimensional geometric image of the polygon network is formed, with at least one pixel, in particular all pixels, of the geometric image being assigned all the respective partial variables characterizing the curvature.
  • a first of the part sizes can be the first principal curvature.
  • a second of the part sizes can be the second principal curvature.
  • the respective variable characterizing the curvature can, for example, include at least one extended curvature value.
  • the extended curvature value can be, for example, a shape index of curvature and/or an intensity index of curvature.
  • the shape index and/or the curvature index can be used as the variable that characterizes the curvature.
  • a third of the part quantities can be the shape index.
  • a fourth of the sub-variables can be the intensity index.
  • the variable characterizing the curvature can include the first main curvature and/or the second main curvature and/or the shape index and/or the intensity index.
  • shape index shape index
  • intensity index curvedness intensity
  • a shape, in particular a geometric shape, of the curvature can be characterized or described by means of the shape index.
  • the shape index can be calculated depending on the principal curvatures (ki, k2).
  • the curvature shape by exactly one parameter, namely the shape index, to be characterized.
  • the shape index (s) can be calculated as follows:
  • the shape index preferably assumes values between -1 and 1.
  • the form index can be used to describe or characterize convex, concave and hyperbolic surfaces.
  • convex and concave surfaces can each be located on different sides or areas (in particular with different signs) of the scale. For example, a value pair that differs from one another only with regard to its respective sign characterizes two surfaces designed to correspond to one another, for example a punch and a die.
  • an intensity or a strength of the curvature can be characterized or described by means of the intensity index.
  • the intensity index can be calculated as a function of the principal curvatures (ki, k2).
  • the curvature intensity can be characterized by precisely one parameter, namely the curvature index.
  • the index of curvature (c) can be calculated as follows:
  • the intensity index corresponds to a magnitude of a reciprocal of a radius of the sphere.
  • the artificial neural network is preferably a neural network designed as a convolutional neural network (CNN).
  • CNN network can be referred to as a convolutional neural network.
  • the neural network is preferably an artificial neural network designed as a region-based convolutional neural network (R-CNN).
  • R-CNN region-based convolutional neural network
  • the two-dimensional mapping is particularly well suited for use as an input variable in the CNN network or R-CNN network, in particular compared to the three-dimensional polygon network. The same applies to training the CNN network or R-CNN network. Memory requirements and learning complexity can be kept particularly low in the CNN network or R-CNN network.
  • the R-CNN network is preferably designed as a Fast R-CNN network or as a Faster R-CNN network.
  • a neural network is described, for example, in the following references:
  • the output variable that characterizes the respective surface defect comprises at least one bounding box, which completely surrounds the respective at least one pixel in the respective geometric image, at which a respective surface defect has been determined.
  • the output variable that characterizes the respective surface defect includes at least one piece of position information or location information that characterizes or describes a position of the bounding box in the geometric image.
  • the bounding box is thus an indication of the location or position of the surface defect in the geometric image.
  • the output variable that characterizes the surface defect can include coordinates that describe or form the respective bounding box.
  • the bounding box can completely surround a number of pixels for which a respective surface defect has been determined.
  • the output variable characterizing the respective surface defect is preferably assigned to the respective pixel of the respective geometric image.
  • the output variable characterizing the respective surface defect is assigned to the respective node of the polygon network, with the respective node of the polygon network being the node to which the respective pixel is assigned. This allows the respective surface defects or the Position of the respective surface defect on the surface are shown particularly clearly on the respective polygon mesh.
  • a second aspect of the invention relates to a method for training an artificial neural network.
  • Advantages and advantageous configurations of the first aspect of the invention are to be regarded as advantages and advantageous configurations of the second aspect of the invention and vice versa.
  • a respective virtual polygon mesh is created for at least one respective surface of a multiplicity of body components.
  • a respective digital image of the respective surface of the body components is formed, with the digital image being in the form of the virtual polygon network.
  • a first virtual polygon mesh is created for at least one respective surface of a first of the body components.
  • a second virtual polygon mesh which is different from the first virtual polygon mesh, is created on at least one respective surface of a second one of the body parts, which is different from the first body part.
  • the body components can be structurally identical or differ from one another in terms of their respective design, in particular their geometry.
  • the respective surface or the body components are preferably real components.
  • the respective surface of the respective body component is preferably arranged in a detection range of an optical detection device, with at least one image of the respective surface arranged in the detection range of the optical detection device being detected by means of the optical detection device and with the respective polygon network being created as a function of the detected image.
  • the respective virtual polygon network is preferably stored in an electronic computing device, in particular a database of the electronic computing device.
  • the artificial neural network is trained at least indirectly, in particular directly, using the variables characterizing the curvature.
  • a learning process of the artificial neural network referred to in particular as learning, is carried out by means of the variables characterizing the curvature.
  • At least one respective variable characterizing a respective surface defect of the respective surface of the respective body component is determined, in particular manually.
  • the manual determination can preferably be carried out by experts.
  • the respective surfaces can be examined and evaluated by the experts.
  • the body components can be installed, i. H. are in the installation position in the motor vehicle, or are available as individual parts and can be stored in any way.
  • the presence as an individual part can be understood in particular as meaning that the respective body part is not in its respective installed position in the motor vehicle.
  • variable that characterizes the surface defect can be understood in particular as any measure or any value that characterizes or describes the surface defect.
  • the surface defect can be inferred by means of the variable characterizing the surface defect.
  • the variable characterizing the surface defect can assume or have at least two, in particular discrete, values.
  • a first of the values can mean, for example, that the respective surface has the surface defect.
  • the second value can mean, for example, that the respective surface does not have the surface defect and is therefore free of defects.
  • the variable that characterizes the surface defect can include a number of defect classes that differ from one another.
  • the variable that characterizes the surface defect can assume at least one of a plurality of mutually different values, with the respective value characterizing the respective defect class of the surface defect.
  • the values can in particular be referred to as error class values.
  • the dent in the surface can be one of the defect classes.
  • the wavy surface can be another of the defect classes.
  • a first of the error class values is determined, in particular manually, if the respective surface of the body component has a surface error of a first error class.
  • a second error class value that differs from the first error class value is determined, in particular manually, if the respective surface of the body component has a surface error of the second error class.
  • variable that characterizes the surface defect can include at least one measure for characterizing a defect severity of the surface defect. For example, a first intensity value of the variable characterizing the surface defect is determined, in particular manually, if the respective surface of the respective body component has a first surface defect, and a second intensity value, which is greater than the first intensity value, of the variable characterizing the surface defect is determined, in particular manually, if the respective surface of the respective body component has a second surface defect that is more severe than the first surface defect.
  • variable that characterizes the surface defect has at least one measure for characterizing a position of the defect on the surface of the body component.
  • the variable that characterizes the surface defect includes coordinates for this, the coordinates describing the position or location of the surface defect on the surface of the respective body component.
  • the respective variable characterizing the respective surface defect of the surface of the respective body component is assigned to at least one respective polygon of the respective polygon network, in particular an area and/or a node and/or an edge of the polygon.
  • the variable characterizing the respective surface defect is assigned to the respective polygon or polygons that determine the position of the respective surface defects on the respective polygon mesh, in particular as best as possible.
  • the variable characterizing the respective surface defect of the surface of the respective body component is preferably stored in the electronic computing device, in particular in the database.
  • the respective determined surface defect or a position of the respective surface defect can be marked on the, in particular real, respective surface of the body component.
  • the respective marked surface defects can be detected when detecting the respective surface using the optical detection device.
  • the respective detected surface defects or the respective detected positions of the respective surface defects can then be assigned to the respective virtual polygon mesh, in particular to the respective node and/or the respective area and/or the respective edge.
  • the respective surface defects or the respective position of the respective surface defects on the respective polygon, in particular respective nodes and/or or the respective surface and/or respective edge of the respective polygon, of the polygon network is marked, in particular manually, and is thereby assigned to the respective polygon.
  • At least one two-dimensional geometric image of the respective polygon network is formed, with at least one pixel, in particular several pixels, of the respective geometric image being assigned the variable characterizing the respective surface defect, and with the artificial neural network being at least indirectly, in particular is trained directly, by means of the geometric mapping comprising the respective surface defect.
  • the respective polygon network is transformed as a geometric image into a two-dimensional plane, with the respective variable characterizing the respective surface defect being assigned to the at least one pixel of the respective geometric image.
  • the neural network is trained by means of the geometric images and the variables that characterize the surface defects and are assigned to the pixels. As a result, the neural network can be trained particularly advantageously, as a result of which it can make particularly precise predictions.
  • At least one pixel of the geometric image is assigned the variable characterizing the respective curvature and the artificial neural network is trained at least indirectly, in particular directly, by means of the geometric image, which includes the variable characterizing the curvature.
  • at least one two-dimensional geometric image of the respective polygon network is formed, with at least one pixel of the geometric image being assigned the variable that characterizes the respective curvature, and with the artificial neural network being curvature characterizing size includes, is trained.
  • the bounding box surrounding the respective pixel in particular a plurality of pixels, is formed in the respective geometric image, the variable characterizing the respective surface defect being assigned to the respective pixel.
  • the neural network is trained using the respective geometric mapping that includes the bounding box.
  • the neural network can be trained with position or location information of the respective surface defect.
  • the position or attitude information can be predicted by means of the neural network.
  • the respective pixel which is enclosed by the bounding frame, is preferably a respective pixel at which the surface of the respective body component has a surface defect.
  • the variable characterizing the respective surface defect assigned to the respective pixel has a value which corresponds to an existing surface defect.
  • Bounding box specifically coordinates of the bounding box, in which electronic computing device, in particular the database, stored.
  • the surface defects marked in the respective polygon network are surrounded by the bounding box in the geometric image, the coordinates of which are stored in the electronic computing device, in particular in the database.
  • a respective virtual desired polygon mesh is created for at least one respective surface of a respective virtual desired geometry of the respective body component.
  • the respective virtual desired polygon network which approximates the virtual desired geometry, is created from the respective virtual desired geometry.
  • the target geometry can be, for example, a CAD geometry of the surface of the respective body component.
  • the target geometry has no manufacturing-related surface defects and is therefore free of the manufacturing-related surface defects.
  • the target geometry is thus a desired ideal geometry of the surface of the respective body component.
  • the target polygon mesh is preferably an STL polygon mesh.
  • the respective target polygon mesh can be stored in the electronic computing device, in particular in the database.
  • At least the variable characterizing a respective curvature at at least one node of the respective target polygon mesh is determined.
  • the at least one variable characterizing the curvature of the target polygon mesh is determined at the at least one node of the target polygon mesh.
  • At least one respective two-dimensional geometric image of the respective target polygon network is preferably formed, with the artificial neural network being trained at least indirectly, in particular directly, by means of the respective geometric image.
  • the respective target polygon network is transformed as a geometric image into a two-dimensional plane, with the neural network being trained by means of the respective geometric image.
  • the neural network can learn the ideal geometry of the target polygon network, as a result of which precise predictions with regard to the surface defects can be made possible by means of the neural network.
  • FIG. 2 shows a schematic perspective view of a body component on which a method according to the invention can be carried out
  • Fig. 3 is a schematic perspective view of a virtual polygon mesh of
  • Fig. 4 is a schematic perspective view of a virtual polygon mesh of
  • Fig. 5 is a schematic representation of a two-dimensional geometric
  • Fig. 6 is a schematic process diagram of a process for
  • FIG. 1 shows a schematic method diagram of a method for training 1 an artificial neural network 2.
  • the artificial neural network 2 is preferably a region-based convolutional neural network (R-CNN).
  • FIG. 2 shows a body component 3 of a motor vehicle in a schematic perspective view.
  • the body component 3 is designed as a side frame of the motor vehicle or a body of the motor vehicle.
  • the body component 3 is an outer skin component of the body of the motor vehicle.
  • the body component 3 shown in FIG. 2 is an exemplary body component, since the method is carried out for a large number of such body components 3 .
  • an assessment 4 is first carried out for the body components 3 .
  • Rating 4 can in particular be referred to as an assessment.
  • at least one respective surface 5 of the respective body component 3 is examined, in particular manually, for surface defects 6 in the track.
  • the assessment 4 or the examination is preferably carried out by experts.
  • the respective surface defect 6 can be understood in particular as a deviation between a target state of the respective surface 5 and an actual state of the respective surface 5 .
  • the respective surface defect 6 can be a dent or a waviness of the surface 5, for example.
  • the respective body component 3 is preferably a body component 3 that is painted, in particular black.
  • variable 7 characterizing the respective surface defect 6 of the respective surface 5 of the respective body component 3 is determined, in particular manually.
  • size 7 can be referred to as a defect size.
  • the variable 7 characterizing the respective surface defect 6 can, for example, comprise a respective parameter which describes whether the respective surface 5 has a surface defect 6 or whether the respective surface 5 is free of the surface defect 6 .
  • the variable 7 characterizing the respective surface defect 6 can include at least one parameter which characterizes a respective defect class of the respective surface defect 6 .
  • the respective defect class can be the dent or the waviness of the respective surface 5, for example.
  • variable 7 characterizing the respective surface defect 6 can comprise at least one parameter which characterizes a defect severity of the respective surface defect 6, referred to in particular as defect intensity.
  • the variable 7 characterizing the respective surface defect 6 can comprise at least one parameter which characterizes or describes a respective location or respective position of the respective surface defect 6 on the respective surface 5 .
  • At least one respective image 9 of the respective surface 5 arranged in a detection region 10 of the optical detection device 8 is detected by means of an optical detection device 8 .
  • a respective virtual polygon mesh 11 of the respective surface 5 of the respective body component 3 is created as a function of the respective recorded image 9 .
  • the body components 3 on which the evaluation 4 was carried out are digitized as a polygon network 11 by means of the optical detection device 8 .
  • Fig. 3 shows a schematic perspective view of the polygon network 11 of the surface 5 of the body component 3.
  • the respective polygon network 11 comprises a plurality of polygons 12.
  • Fig. 4 shows a schematic perspective view of the polygon network 11, wherein in a partial view A respective polygons 12 are illustrated.
  • the respective variable 7 characterizing the respective surface defect 6 of the respective surface 5 of the respective body component 3 is assigned to a respective polygon 12 of the respective polygon network 11 .
  • the variable 7 can be assigned, for example, to at least one respective area 13 and/or at least one respective node 14 and/or at least one respective edge 15 of the respective polygon 12 .
  • the assignment of the respective variable 7 characterizing the respective surface defect 6 can be carried out in two variants, for example.
  • the respective polygon 12 or a respective region 16, which comprises a plurality of the respective polygons 12, is marked in the respective polygon network 11.
  • the area 16 corresponds to a respective area 17 or approximates the respective area 17 in which the respective surface defect 6 on the real component has been identified.
  • the area 16 is a virtual image of the area 17.
  • the marking can be carried out manually.
  • the respective area 17, which includes the respective surface defect 6, is marked on the body component 3 and thus on the real component.
  • the image 9 captured by means of the optical capture device 8 also includes the marked area 17.
  • the respective virtual polygon network 11 is created, depending on the image 9, which includes in particular the area 17, the respective polygon 12 or the respective virtual area 16 , In particular automatically, are marked when creating the respective polygon mesh 11 .
  • the respective polygon mesh 11 and the respective variable 7 are preferably stored in an electronic computing device, in particular a database.
  • the polygon meshes 11 are preferably smoothed, that is to say the polygon meshes 11 can be smoothed.
  • the smoothed polygon meshes 11 can be stored in the electronic computing device, in particular the database. It is possible that further method steps, in particular all further method steps, can be carried out using the smoothed polygon meshes 11 or the unsmoothed polygon meshes 11 .
  • the variable 18 characterizing the respective curvature can include, for example, main curvatures k1, k2 and/or main directions of curvature and/or a shape index s and/or an intensity index c of the respective node 14 or at the respective node 14.
  • variable 18 that characterizes the curvature can include a plurality of partial variables 18a-d, which in particular can be referred to as partial information.
  • a first of the partial sizes 18a can be a first of the main curvatures K1.
  • a second of the part sizes 18b can be the second main curvature K2.
  • a third of the part sizes 18c can be the shape index s.
  • the fourth partial quantity 18d can be the intensity index c.
  • the main curvatures k1, k2 and the main directions of curvature can be calculated, for example, by means of a mathematical mapping referred to in particular as a Weingarten mapping as a function of the respective polygon network 11, in particular the nodes 14.
  • the form index s and the intensity index c can be calculated, for example, as a function of the main curvatures k1, k2 and/or the main directions of curvature.
  • the respective variable 18 of the polygon meshes 11, which is referred to in particular as curvature information and characterizes the curvature, is preferably stored in the electronic computing device, in particular the database.
  • At least one two-dimensional geometric image 19 of the respective polygon network 11 is formed.
  • 5 shows the two-dimensional geometric image 19 in a schematic representation.
  • the respective geometric image 19 comprises a multiplicity of pixels 20, with each of the pixels 20 being assigned at least one node 14 of the respective polygon network 11.
  • the respective geometric image 19 can have at least one partial area 21 to which no polygon 12 or node 14 of the respective polygon network 11 is assigned.
  • the partial area 21 is an image of an image area of the respective image 9 , the image area, if the image 9 were to be displayed, not showing the respective surface 5 of the body component 3 .
  • the partial area 21 can thus, for example, characterize or correspond to a recess in the body component 3 .
  • the sub-area 21 differs from the remaining areas of the geometric image 19 in that the sub-area 21 does not have any networks or does not depict the polygon network 11 .
  • Several of the partial areas 21 are shown in FIG. 5 . These correspond to the respective door areas or window areas of the motor vehicle or depict the respective door areas or window areas.
  • the geometric image 19 is preferably formed from the respective polygon mesh 11 by means of authenic spherical parameterization.
  • the variable 18 characterizing the respective curvature is assigned to at least one of the pixels 20 of the respective geometric image 19 .
  • the geometric image 19, in particular the pixels 20, can be colored depending on the variable characterizing the curvature.
  • exactly one of the geometric images 19 can be formed for each of the polygon meshes 11, with the at least one pixel 20 of exactly one geometric image 19 being assigned several, in particular all, of the partial variables 18a-d of the variable 18 characterizing the respective curvature.
  • a plurality of geometric images 19 can be formed for each of the polygon meshes 11, with each of the plurality of geometric images 19 being assigned precisely one of the partial variables 18a-d at at least one of the pixels 20.
  • the geometric images 19 are preferably stored in the electronic computing device, in particular in the database.
  • the artificial neural network 2 can be trained using the respective geometric image 19 which includes the respective variable 7 characterizing the respective surface defect 6 .
  • At least one bounding box 22 is created, which completely surrounds the respective at least one pixel 20 to which the variable 7 characterizing the respective surface defect 6 is assigned.
  • the artificial neural network 2 is trained using the respective bounding frame 22 or using the respective geometric image 19 which includes the respective bounding frame 22 .
  • a respective virtual desired polygon mesh 23 of at least one respective surface 24 of a respective virtual desired geometry 25 of the respective body component 3 is created.
  • the virtual target geometry 25 is preferably a CAD geometry of the respective surface 5 or of the respective body component 3.
  • the target geometry 25 preferably does not include any production-related surface defects 6.
  • the virtual target polygon mesh 23 can be stored in the electronic computing device, in particular in the database.
  • variable 18 characterizing the respective curvature is preferably determined on the respective virtual target polygon meshes 23 . It is therefore preferably provided that the at least one respective variable 18 characterizing the curvature of the respective target polygon mesh 23 is determined at at least one node 14 of the respective target polygon mesh 23 .
  • the geometric image 26 differs in particular from the geometric image 19 in that the geometric image 26 does not include the manufacturing-related surface defects 6 or the bounding box 22 .
  • the geometric image 26 is free from the manufacturing-related surface defects 6 and the bounding box 22.
  • At least one pixel of the geometric image 26 is assigned the variable 18 characterizing the respective curvature of the target polygon network 23, the artificial neural network 2 using the geometric image 26, which includes the variable 18 characterizing the curvature of the virtual target polygon network 23, is trained.
  • the respective geometric image 26 can be stored in the electronic computing device.
  • Data stored in the electronic computing device, in particular in the database, are preferably used for training 1 of the artificial neural network 2 .
  • the data include the geometric image 19, in particular the variable 18 of the polygon mesh 11 characterizing the curvature and/or the variable 7 characterizing the respective surface defect 6 and/or the respective bounding box 22, and/or the geometric image 26, in particular the respective the Variable 18 characterizing the curvature of the target polygon mesh 23.
  • the first principal curvature k1 and/or the second principal curvature k2 and/or the shape index s and/or the intensity index c can be used as the variable 18 characterizing the curvature.
  • the aim of training 1 is for the trained neural network 2 to be able to detect the respective surface defects 6, in particular already during a development of the Body component 3 and / or the forming tool to predict or to recognize.
  • neural network 2 can be used to localize and/or classify respective surface defects 6 in polygon networks, in particular in target polygon network 23 .
  • the manufacturing effort and manufacturing costs of the body components 3 can be kept particularly low, in particular compared to manual localization or classification of the surface defects 6.
  • Fig. 6 shows a schematic method diagram of a method for assessing 27 the respective surface 5 of the body component 3 of the motor vehicle using the trained artificial neural network 2.
  • the optical detection device 8 uses the optical detection device 8 to create 5 of the body component 3 is detected.
  • the virtual polygon mesh 11 of the surface 5 is created as a function of the captured image 9 .
  • the polygon network 11 can thus be generated by digitizing the body component 3 using the detection device 8 .
  • the virtual polygon mesh 11 can be created as a function of at least one simulation result 28 of an in particular structural-mechanical and/or thermomechanical simulation 29 of at least one step of a simulated manufacturing process 30 of the body component 3 .
  • the simulation 29 is preferably a finite element simulation (FEM), in particular a three-dimensional one.
  • FEM finite element simulation
  • the simulation 29 is carried out with a target geometry 25 of the body part 3 .
  • the virtual polygon network 11 is preferably stored in the electronic computing device, in particular in the database.
  • variable 18 characterizing the curvature for the virtual polygon mesh 11 is determined. Provision is thus made for the at least one variable 18 characterizing the curvature of the polygon mesh 11 to be determined at at least one node 14 of the virtual polygon mesh 11 .
  • Variable 18 of polygon mesh 11 that characterizes the curvature is preferably stored in the electronic computing device, in particular in the database.
  • At least one two-dimensional geometric image 31 of the polygon network 11 is formed, with depending on the geometric image 31 using the artificial neural network 2 at least one output variable 32 characterizing a surface defect 6 of the surface 5 is determined.
  • Fig. 7 shows a schematic illustration of the neural network 2 and a prediction of the output variable 32 as a function of the geometric image 31. It is preferably provided that at least one pixel 20 of the geometric image 31 has the respective curvature of the polygon network 11 characterizing size 18 is assigned.
  • the geometric image 31 differs in particular from the geometric image 19 in that the geometric image 31 does not include the surface defects 6 or the bounding box 22 .
  • the geometric mapping 31 is free from the surface defects 6 and the bounding box 22.
  • the geometric mapping 31 can be used as an input variable of the artificial neural network 2.
  • exactly one geometric image 31 can be formed for the polygon mesh 11, with the at least one pixel 20 of the precisely one geometric image 31 being assigned several, in particular all, of the partial variables 18a-d of the variable 18 characterizing the respective curvature.
  • a plurality of geometric images 31 can be formed for the polygon mesh 11, with each of the plurality of geometric images 31 being assigned to at least one of the pixels 20 exactly one of the part sizes 18a-d.
  • the first partial variable 18a in particular the first principal curvature k1
  • a second of the geometric images 31 can be assigned the second partial variable 18b, in particular the second principal curvature k2, on at least one of the pixels 20.
  • a third of the geometric images 31 can be assigned to at least one of the pixels 20 the third partial variable 18c, in particular the shape index s.
  • the fourth partial variable 18d in particular the intensity index c, can be assigned to a fourth of the geometric images 31 on at least one of the pixels 20 . This is illustrated in FIG.
  • the artificial neural network 2 is used to generate the output variable 32 that characterizes the surface defect 6 is determined.
  • the at least one output variable 32 characterizing the surface defect 6 of the surface 5 for assessing 27 the surface 5 is determined at least indirectly as a function of the variable 18 characterizing the curvature by means of the artificial neural network 2 .
  • digital or digitized body parts 3, in particular from tool incorporation, can be assessed or evaluated with regard to surface defects 6 by means of the trained neural network 2.
  • any surface defects 6 can be identified, in particular localized or classified, for example in a particularly early development phase of the body component 3 .
  • the manufacturing effort and manufacturing costs of the body components 3 can thus be kept particularly low, in particular compared to manual localization or classification of the surface defects 6.
  • the output variable 32 is preferably a vector referred to in particular as a result vector.
  • the initial variable 32 can be identical to the variable 7 characterizing the surface defect 6, or the initial variable 32 and the variable 7 can be at least partially different from one another.
  • the result vector preferably includes a plurality of components 33.
  • at least one of the components 33 includes coordinates of the bounding box 22.
  • the position of the surface defect 6, which has been predicted by means of the artificial neural network 2 can thus be localized using the output variable 32.
  • at least one of the components includes the classification of the respective surface defect 6.
  • the class of the surface defect 6 referred to as the defect type and/or the defect severity of the surface defect 6, referred to in particular as the defect intensity, can be predicted by means of the artificial neural network 2.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Beurteilen (27) einer Oberfläche (5) eines Karosseriebauteils (3) eines Kraftwagens, wobei ein virtuelles Polygonnetz (11) der Oberfläche (5) erstellt wird, wenigstens eine eine Krümmung des Polygonnetzes (11) charakterisierende Größe (18) an wenigstens einem Knoten (14) des Polygonnetzes (11) ermittelt wird und in Abhängigkeit von der die Krümmung charakterisierenden Größe (18) mittels eines künstlichen neuronalen Netzes (2) wenigstens eine einen Oberflächenfehler (6) der Oberfläche (5) charakterisierende Ausgangsgröße (32) zum Beurteilen (27) der Oberfläche (5) ermittelt wird.

Description

Verfahren zum Beurteilen einer Oberfläche eines Karosseriebauteils sowie Verfahren zum Trainieren eines künstlichen neuronalen Netzes
Die Erfindung betrifft ein Verfahren zum Beurteilen einer Oberfläche eines Karosseriebauteils eines Kraftwagens gemäß dem Patentanspruch 1. Des Weiteren betrifft die Erfindung ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes gemäß dem Patentanspruch 6.
Ein solches Verfahren zum Beurteilen einer Oberfläche eines Karosseriebauteils eines Kraftwagens und ein solches Verfahren zum Trainieren eines künstlichen neuronalen Netzes ist aus dem allgemeinen Stand der Technik als bekannt zu entnehmen. Dabei kann die Oberfläche des Karosseriebauteils, insbesondere manuell, begutachtet bzw. geprüft werden. Beispielsweise kann die Oberfläche auf etwaige Oberflächenfehler hin geprüft werden. Die Oberflächenfehler können zum Beurteilen der Oberfläche herangezogen werden.
Es ist Aufgabe der Erfindung ein Verfahren zum Beurteilen einer Oberfläche eines Karosseriebauteils eines Kraftwagens sowie ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes zu schaffen, sodass Arbeitsaufwand und Kosten zur Herstellung des Karosseriebauteils besonders geringgehalten werden können.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren zum Beurteilen einer Oberfläche eines Karosseriebauteils eines Kraftwagens mit den Merkmalen des Patentanspruchs 1 sowie durch ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes mit den Merkmalen des Patentanspruchs 6 gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche und der Beschreibung.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Beurteilen einer Oberfläche eines Karosseriebauteils eines Kraftwagens. Der Kraftwagen kann beispielsweise als Personenkraftwagen, Nutzkraftwagen oder Lastkraftwagen ausgebildet sein. Unter dem Karosseriebauteil kann insbesondere ein Bauteil einer Karosserie des Kraftwagens verstanden werden. Bei der Karosserie kann es sich insbesondere um eine selbsttragende Karosserie des Kraftwagens handeln. Das Karosseriebauteil ist vorzugsweise ein Außenhautbauteil der Karosserie bzw. des Kraftwagens. Unter dem Außenhautbauteil kann insbesondere verstanden werden, dass das Karosseriebauteil ein Bauteil einer den Kraftwagen nach außen hin begrenzenden Außenseite des Kraftwagens ist. Das Karosseriebauteil kann beispielsweise aus einem Blech gebildet sein. Dadurch kann das Karosseriebauteil insbesondere als Karosserieblech bezeichnet werden.
Bei dem Verfahren wird wenigstens ein virtuelles Polygonnetz der Oberfläche des Karosseriebauteils erstellt. Mit anderen Worten ausgedrückt wird wenigstens ein virtuelles Abbild der Oberfläche des Karosseriebauteils erstellt bzw. gebildet, wobei das virtuelle Abbild als Polygonnetz ausgebildet ist. Unter dem virtuellen Abbild kann insbesondere ein virtuelles Modell der Oberfläche verstanden werden. Unter dem Polygonnetz können insbesondere mit Kanten verbundene Punkte verstanden werden, wobei das Polygonnetz eine Vielzahl von Polygonen umfasst, welche beispielsweise als Dreieck oder als Viereck ausgebildet sein können. Das jeweilige Polygon umfasst mehrere, insbesondere als Knoten bezeichnete Punkte, welche über Kanten des Polygons miteinander verbunden sind. Durch das virtuelle Polygonnetz wird die Oberfläche des Karosseriebauteils approximiert.
Der jeweilige Knoten kann insbesondere als „Vertex“ bezeichnet werden. Die Knoten bilden in der Geometrie des Polygonnetzes jeweilige Ecken des jeweiligen Polygons. Vorzugsweise ist das Polygonnetz dreidimensional. Alternativ kann das Polygonnetz zweidimensional sein.
Vorzugsweise ist das Polygonnetz ein STL-Netz. Bei dem STL-Netz wird die Oberfläche des Karosseriebauteils durch Dreiecksfacetten beschrieben bzw. approximiert. Jede Dreiecksfacette kann durch jeweils drei Eckpunkte und eine zugehörige Flächennormale des Dreiecks charakterisiert werden. Bei dem STL-Netz handelt es sich insbesondere um ein Polygonnetz, welches ein insbesondere als STL-Format bezeichnetes Format aufweist.
Es ist vorgesehen, dass wenigstens eine eine Krümmung des Polygonnetzes charakterisierende Größe an wenigstens einem Knoten des Polygonnetzes ermittelt wird. Mit anderen Worten wird wenigstens eine eine Krümmung an wenigstens einem Knoten des Polygonnetzes charakterisierende Größe ermittelt. Mit anderen Worten ausgedrückt wird in Abhängigkeit von dem Polygonnetz die wenigstens eine die Krümmung zumindest eines Teilbereichs der Oberfläche charakterisierende Größe ermittelt. Die die Krümmung charakterisierende Größe kann beispielsweise berechnet werden. Unter der die Krümmung charakterisierenden Größe kann insbesondere ein Maß bzw. ein Wert verstanden werden, mittels welchem die Krümmung des Polygonnetzes, insbesondere an dem jeweiligen Knoten, charakterisiert bzw. beschrieben werden kann. Somit kann in Abhängigkeit von der die Krümmung charakterisierenden Größe auf die Krümmung des Polygonnetzes, insbesondere an den jeweiligen Knoten, bzw. auf die Krümmung der Oberfläche des Karosseriebauteils geschlossen werden. Vorzugsweise wird die die Krümmung des Polygonnetzes charakterisierende Größe an bzw. für alle Knoten des Polygonnetzes ermittelt.
Beispielsweise kann zum Ermitteln der die Krümmung charakterisierenden Größe an bzw. für den wenigstens einen Knoten, insbesondere alle Knoten, des Polygonnetzes eine insbesondere als Weingartenabbildung bezeichnete Abbildung berechnet werden. Dabei kann für den jeweiligen Knoten eine insbesondere als Weingartenmatrix bzw. Weingartenkrümmungsmatrix bezeichnete Matrix berechnet werden. Eigenwerte der Weingartenabbildung bzw. der Weingartenmatrix entsprechen Hauptkrümmungen des Polygonnetzes, ausgewertet an dem jeweiligen Knoten. Die Hauptkrümmungen können insbesondere als K1 und K2 bezeichnet werden. Unter der Hauptkrümmung kann allgemein eine Krümmung einer ebenen Kurve verstanden werden, welche sich durch einen Normalschnitt ergibt. Unter dem Normalschnitt kann insbesondere ein Schnitt einer Fläche mit einer durch einen Flächennormalenvektor der Fläche und eine Tangentialrichtung der Fläche bestimmten Ebene. Die Hauptkrümmungen sind dann ein Minimalwert und ein Maximalwert dieser Krümmungen. Richtungen der Eigenvektoren können insbesondere als Hauptkrümmungsrichtungen bezeichnet werden. Unter den Hauptkrümmungsrichtungen können insbesondere Tangentialrichtungen verstanden werden. Eine der Hauptkrümmungen kann insbesondere als sogenannte erste Hauptkrümmung bezeichnet werden. Die andere Hauptkrümmung kann insbesondere als sogenannte zweite Hauptkrümmung bezeichnet werden.
Ein Beispiel zur Berechnung der Weingartenabbildung bzw. der Hauptkrümmungen und Hauptkrümmungsrichtungen kann aus der Literatur entnommen werden: Goldfeather, Jack und Interrante, Victoria (2004). A novel cubic-order algorithm for approximating principal direction vectors, ACM Transaction on Graphics, Volume 23, Issue 1 , pp 45-63, https://doi.org/10.1145/966131.966134. Beispielweise kann an wenigstens einem Knoten, insbesondere an allen Knoten, des Polygonnetzes die Weingartenabbildung berechnet werden. Dies kann beispielweise folgendermaßen durchgeführt werden:
Zunächst wird an wenigstens einem der Knoten, insbesondere an allen Knoten, des Polygonnetzes ein Normalenvektor berechnet oder approximiert. Der Normalenvektor entspricht beziehungsweise approximiert eine Normale des Polygonnetzes, insbesondere einer Fläche des Polygonnetzes, im jeweiligen Knoten. Anschließend werden an wenigstens einem der Knoten, insbesondere an allen Knoten, des Polygonnetzes zwei orthonormal zueinander verlaufende Vektoren berechnet, welche senkrecht zum jeweiligen Normalenvektor verlaufen. Die Vektoren und der Normalenvektor werden an dem jeweiligen Knoten als lokales, orthonormales Koordinatensystem verwendet. Anschließen wird in wenigstens einem der Knoten, insbesondere in allen Knoten, des Polygonnetzes die Weingartenabbildung beziehungsweise die Weingartenkrümmungsmatrix berechnet, ausgedrückt in dem jeweiligen lokalen Koordinatensystem. Dies kann beispielweise mittels einer insbesondere als normal curvature approximation method bezeichneten Methode oder mittels einer insbesondere als quadratic surface approximation method bezeichneten Methode oder mittels einer insbesondere als adjacent-normal cubic approximation method bezeichneten Methode oder mittels insbesondere als higher order methods bezeichneten Methoden durchgeführt werden.
Die Hauptkrümmungen und/oder die Hauptkrümmungsrichtungen können als die die Krümmung charakterisierende Größe verwendet werden. Mit anderen Worten ausgedrückt können an wenigstens einem, insbesondere an allen, Knoten des Polygonnetzes die Hauptkrümmungen und/oder die Hauptkrümmungsrichtungen als die die Krümmung charakterisierende Größe ermittelt werden. Wieder mit anderen Worten ausgedrückt können für wenigstens einen, insbesondere für alle Knoten des Polygonnetzes die Weingartenabbildung berechnet werden, aus welcher die Hauptkrümmungen und/oder die Hauptkrümmungsrichtungen berechnet werden können.
Vorzugsweise wird das virtuelle Polygonnetz nach dem Erstellen in einer elektronischen Recheneinrichtung gespeichert. Vorzugsweise wird die die Krümmung charakterisierende Größe in der elektronischen Recheneinrichtung oder in einer separat von der elektronischen Recheneinrichtung ausgebildeten, zweiten elektronischen Recheneinrichtung gespeichert. Um Kosten des Karosseriebauteils besonders gering halten zu können, ist es vorgesehen, dass in Abhängigkeit von der die Krümmung charakterisierenden Größe mittels eines künstlichen neuronalen Netzes wenigstens eine einen Oberflächenfehler der Oberfläche charakterisierende Ausgangsgröße zum Beurteilen der Oberfläche zumindest mittelbar, insbesondere direkt, ermittelt wird. Mit anderen Worten ausgedrückt ist die die Krümmung charakterisierende Größe eine Eingangsgröße des neuronalen Netzes, wobei mittels des neuronalen Netzes in Abhängigkeit von der die Krümmung charakterisierenden Größe die Ausgangsgröße ermittelt wird, welche eine den Oberflächenfehler der Oberfläche charakterisierende Größe ist. Die den Oberflächenfehler der Oberfläche charakterisierende Ausgangsgröße ist eine Ausgangsgröße des neuronalen Netzes.
Das neuronale Netz kann insbesondere als neuronales Netzwerk bezeichnet werden. Unter dem künstlichen neuronalen Netz kann insbesondere ein Softwarecode verstanden werden, welche auf einem computerlesbaren Speichermedium gespeichert ist und eines oder mehrere vernetzte künstliche Neuronen repräsentiert bzw. deren Funktion nachbilden kann. Der Softwarecode kann insbesondere mehrere Softwarecodekomponenten beinhalten, die beispielsweise unterschiedliche Funktionen haben können. Insbesondere kann ein künstliches neuronales Netz ein nichtlineares Modell oder einen nichtlinearen Algorithmus implementieren, das bzw. der eine Eingabe auf eine Ausgabe abbildet. Die Eingabe kann durch einen Eingangsmerkmalsvektor oder eine Eingangssequenz gegeben sein. Die Ausgabe kann beispielsweise eine ausgegebene Kategorie für eine Klassifizierungsaufgabe, einen oder mehrere präzedierte Werte oder eine präzedierte Sequenz beinhalten. Somit kann der Eingang beziehungsweise die Eingabe die die Krümmung charakterisierende Größe umfassen. Die Ausgabe beziehungsweise der Ausgang kann die den Oberflächenfehler charakterisierende Größe umfassen. Vorzugsweise handelt es sich bei dem neuronalen Netz um ein trainiertes neuronales Netz.
Unter dem Oberflächenfehler kann insbesondere eine Abweichung zwischen einem Ist- Zustand der Oberfläche des Karosseriebauteils und einem Soll-Zustand der Oberfläche des Karosseriebauteils verstanden werden. Der Oberflächenfehler kann somit eine Abweichung zwischen einer Soll-Oberfläche des Karosseriebauteils und einer Ist- Oberfläche des Karosseriebauteils sein. Unter dem Soll-Zustand bzw. der Soll-Oberfläche kann insbesondere ein definierter, gewünschter Zustand der Oberfläche verstanden werden. Dieser Zustand kann bei der Herstellung der Oberfläche des Karosseriebauteils vorgesehen sein. Unter dem Ist-Zustand bzw. der Ist-Oberfläche kann insbesondere ein realer Zustand der Oberfläche des Karosseriebauteils verstanden werden, wobei der reale Zustand nach der Herstellung des Karosseriebauteils bzw. der Oberfläche vorliegt. Die Abweichung bzw. ein Unterschied zwischen der Soll-Oberfläche und der Ist-Oberfläche kann somit aus der Herstellung des Karosseriebauteils, insbesondere eines Herstellfehlers bzw. einer Herstellungsungenauigkeit, resultieren. Der Oberflächenfehler kann beispielsweise eine Delle sein. Alternativ kann der Oberflächenfehler beispielsweise eine Welligkeit der Oberfläche sein. Es kann vorgesehen sein, dass die Abweichung zwischen der Soll-Oberfläche und der Ist-Oberfläche erst dann ein Oberflächenfehler ist bzw. als der Oberflächenfehler angesehen wird, wenn die Abweichung einen vordefinierten Schwellenwert überschreitet.
Unter der den Oberflächenfehler charakterisierenden Ausgangsgröße kann insbesondere ein beliebiges Maß bzw. ein beliebiger Wert verstanden werden, welcher den Oberflächenfehler charakterisiert bzw. beschreibt. Somit kann mittels der den Oberflächenfehler charakterisierenden Ausgangsgröße auf den Oberflächenfehler geschlossen werden. Beispielsweise kann die den Oberflächenfehler charakterisierende Ausgangsgröße wenigstens zwei, insbesondere diskrete, Werte annehmen bzw. aufweisen. Ein erster der Werte kann beispielsweise bedeuten, dass die jeweilige Oberfläche den Oberflächenfehler aufweist. Der zweite Wert kann beispielsweise bedeuten, dass die jeweilige Oberfläche den Oberflächenfehler nicht aufweist und somit fehlerfrei ist.
Beispielsweise kann die den Oberflächenfehler charakterisierende Ausgangsgröße mehrere, voneinander unterschiedliche, Fehlerklassen umfassen. Mit anderen Worten ausgedrückt kann die den Oberflächenfehler charakterisierende Ausgangsgröße wenigstens einen von mehreren, voneinander unterschiedlichen Werten annehmen, wobei der jeweilige Wert die jeweilige Fehlerklasse des Oberflächenfehlers charakterisiert. Die Werte können dabei insbesondere als Fehlerklassenwerte bezeichnet werden. Beispielsweise kann die Delle der Oberfläche eine der Fehlerklassen sein. Beispielsweise kann die wellige Oberfläche eine andere der Fehlerklassen sein. Beispielsweise wird mittels des künstlichen neuronalen Netzes ein erster der Fehlerklassenwerte ermittelt, wenn die jeweilige Oberfläche des Karosseriebauteils einen Oberflächenfehler einer ersten der Fehlerklasse aufweist. Beispielsweise wird mittels des künstlichen neuronalen Netzes ein von dem ersten Fehlerklassenwert unterschiedlicher, zweiter Fehlerklassenwert ermittelt, wenn die jeweilige Oberfläche des Karosseriebauteils einen Oberflächenfehler der zweiten Fehlerklasse aufweist. Alternativ oder zusätzlich kann die den Oberflächenfehler charakterisierende Ausgangsgröße wenigstens ein Maß zur Charakterisierung einer Fehlerschwere des Oberflächenfehlers umfassen. Beispielsweise wird mittels des künstlichen neuronalen Netzes ein erster Intensitätswert der den Oberflächenfehler charakterisierenden Ausgangsgröße ermittelt, wenn die jeweilige Oberfläche des jeweiligen Karosseriebauteils einen ersten Oberflächenfehler aufweist, und mittels des neuronalen Netzes wird ein gegenüber dem ersten Intensitätswert größerer, zweiter Intensitätswert der den Oberflächenfehler charakterisierenden Ausgangsgröße ermittelt, wenn die jeweilige Oberfläche des jeweiligen Karosseriebauteils einen gegenüber dem ersten Oberflächenfehler schwereren, zweiten Oberflächenfehler aufweist.
Alternativ oder zusätzlich weist die den Oberflächenfehler charakterisierende Ausgangsgröße wenigstens ein Maß zur Charakterisierung einer Position des Fehlers auf der Oberfläche des Karosseriebauteils auf. Beispielsweise umfasst die den Oberflächenfehler charakterisierende Ausgangsgröße hierfür Koordinaten, wobei die Koordinaten die Position bzw. eine Lage des Oberflächenfehlers auf der Oberfläche des jeweiligen Karosseriebauteils beschreiben.
Der Erfindung liegen insbesondere die folgenden Erkenntnisse und Überlegungen zugrunde: Karosseriebauteile können üblicherweise mittels Umformen hergestellt werden. Dabei werden Umformwerkzeuge verwendet. Dabei kann es bei der Herstellung der Karosseriebauteile mittels des Umformwerkzeugs passieren, dass ein Oberflächenfehler auftritt. Um dies zu verhindern und somit eine Tauglichkeit des Umformwerkzeugs, insbesondere für eine Serienfertigung, beispielsweise im Presswerk, des Karosseriebauteils zu überprüfen, kann es vorgesehen sein, die Oberfläche des Karosseriebauteils zu überprüfen. Dabei ist es prinzipiell denkbar, mittels des Umformwerkzeugs insbesondere als Versuchsabpressungen bezeichnete Versuchsteile des Karosseriebauteils herzustellen. Diese Versuchsbauteile können anschließend, insbesondere schwarz, lackiert werden und manuell, insbesondere durch Experten, subjektiv auf Oberflächenfehler hin überprüft werden. Dabei kann üblicherweise eine Entwicklung des Umformwerkzeugs bereits abgeschlossen sein. Dadurch können etwaige Änderungen bzw. Anpassungen des Umformwerkzeugs besonders zeitintensiv und besonders kostenintensiv sein. Während der Entwicklung des Umformwerkzeugs kann üblicherweise nur unzureichend erkannt werden, ob mittels des Umformwerkzeugs herzustellende Karosseriebauteile zu Oberflächenfehlern neigen bzw. ob Differenzen zwischen einer Soll-Geometrie und einer Ist-Geometrie des Karosseriebauteils einen relevanten Oberflächenfehler darstellen. Diese Problematik kann beispielsweise in einem Prozessschritt der Entwicklung des Umformwerkzeugs bestehen, in welchem das Umformwerkzeug mittels Simulation, insbesondere Finite-Elemente-Simulation, entwickelt wird. Die Problematik kann alternativ oder zusätzlich während einer Einarbeit von Werkzeugsätzen in Werkzeugbauten des bzw. für das Umformwerkzeug bestehen.
Demgegenüber kann mittels des erfindungsgemäßen Verfahrens bereits während der Entwicklung des Umformwerkzeugs der bzw. die Oberflächenfehler erkannt werden. Anstelle des manuellen Überprüfens bzw. Bewertens, insbesondere durch die Experten, wird bei dem erfindungsgemäßen Verfahren der Oberflächenfehler mittels des neuronalen Netzes bewertet bzw. beurteilt. Der Experte kann dabei durch das neuronale Netzwerk emuliert werden. Dadurch können notwendige Maßnahmen bereits frühzeitig während der Entwicklung des Umformwerkzeugs vorgenommen werden. Unter den Maßnahmen können beispielsweise Maßnahmen verstanden werden, mittels welchen das Umformwerkzeug angepasst bzw. verbessert werden kann, sodass der bei der Herstellung des jeweiligen Karosseriebauteils auftretende Oberflächenfehler vermieden oder vermindert werden kann. Insbesondere dadurch, dass bei dem erfindungsgemäßen Verfahren Maßnahmen in einem besonders frühen Entwicklungsstadium des Karosseriebauteils bzw. des Umformwerkzeugs getroffen bzw. umgesetzt werden können, können Kosten, insbesondere Herstellkosten und Aufwand, insbesondere Herstellungsaufwand, des Karosseriebauteils besonders gering gehalten werden.
In weiterer Ausgestaltung ist es vorgesehen, dass mittels einer optischen Erfassungseinrichtung wenigstens ein Bild der in einem Erfassungsbereich der optischen Erfassungseinrichtung angeordneten Oberfläche des Karosseriebauteils erfasst wird, wobei in Abhängigkeit von dem Bild das virtuelle Polygonnetz erstellt wird. Mit anderen Worten ausgedrückt wird die in dem Erfassungsbereich der optischen Erfassungseinrichtung angeordnete Oberfläche mittels der optischen Erfassungseinrichtung erfasst, wobei die erfasste Oberfläche als das virtuelle Polygonnetz digitalisiert wird. Dadurch kann eine reale Oberfläche des Karosseriebauteils mittels des neuronalen Netzes beurteilt werden. Bei der optischen Erfassungseinrichtung handelt es sich vorzugsweise um eine Kamera, insbesondere eine Stereokamera, beispielsweise eine GOM-Stereokamera.
In weiterer Ausgestaltung ist es vorgesehen, dass das virtuelle Polygonnetz in Abhängigkeit von wenigstens einem Simulationsergebnis einer, insbesondere strukturmechanischen und/oder thermomechanischen, Simulation wenigstens eines Schrittes eines simulierten Herstellungsprozesses des Karosseriebauteils erstellt wird. Darunter kann insbesondere Folgendes verstanden werden: Mittels der Simulation wird wenigstens ein Schritt des Herstellungsprozesses oder der vollständige Herstellungsprozess des Karosseriebauteils simuliert. Bei dieser Simulation wird das Simulationsergebnis berechnet. Die Simulation kann strukturmechanisch und/oder thermomechanisch sein. Dabei kann die Simulation zusätzlich weitere Effekte umfassen. Das Simulationsergebnis kann beispielsweise ein virtuelles Modell bzw. ein virtuelles Abbild der Oberfläche des Karosseriebauteils sein, wobei das virtuelle Abbild beispielsweise gegenüber der Soll-Oberfläche des Karosseriebauteils deformiert bzw. verformt sein kann. Diese Verformung ist eine Folge des, insbesondere simulierten, Herstellungsprozesses des Karosseriebauteils. Aus dem Simulationsergebnis bzw. aus dem simulierten Abbild der Oberfläche wird das virtuelle Polygonnetz der Oberfläche erstellt. Dadurch kann mittels des neuronalen Netzes eine virtuelle bzw. simulierte Oberfläche des Karosseriebauteils beurteilt werden. Dadurch kann die Beurteilung beispielsweise in einem besonders frühen Stadium eines Entwicklungsprozesses des Karosseriebauteils bzw. des Umformwerkzeugs stattfinden.
In einer weiteren Ausführungsform ist es vorgesehen, vor dem Ermitteln der jeweiligen die Krümmung charakterisierenden Größe eine jeweilige Glättung des jeweiligen Polygonnetzes durchgeführt wird. Somit kann die die Krümmung des Polygonnetzes charakterisierende Größe an dem wenigstens einen Knoten des geglätteten Polygonnetzes ermittelt werden. Dadurch kann in den Polygonnetzen bzw. bei der die Krümmung charakterisierenden Größe ein Rauschen unterdrückt werden. Die Glättung kann insbesondere als Filterung bezeichnet werden.
Beispielweise kann das Bild insbesondere als Bildrauschen bezeichnete Störungen umfassen. Die Störungen können keinen Bezug zum gewünschten Bildinhalt des Bilds haben, nämlich dem Abbild der Oberfläche. Dadurch, dass das Polygonnetz in Abhängigkeit von dem Bild erstellt wird beziehungsweise erstellt worden ist, kann das Polygonnetz das Bildrauschen beziehungsweise die Störungen aufweisen. Bei einer solchen Störung kann beispielweise eine Position wenigstens eines Knotens des Polygonnetzes keinen Bezug zu der realen Oberfläche haben. Dabei können sich beispielweise Koordinaten des Knotens deutlich von jeweiligen Koordinaten der Oberfläche des Karosseriebauteils unterscheiden. Um das Bildrauschen beziehungsweise die Störungen zu vermindern beziehungsweise zu kompensieren, kann die Glättung des Polygonnetzes durchgeführt werden. Dabei können beispielweise eine Position beziehungsweise Koordinaten wenigstens eines Knotens des Polygonnetzes, insbesondere in eine jeweilige normale Richtung, verschoben werden, wodurch das Bildrauschen vermindert werden kann. Eine beispielhafte Methode zur Glättung kann aus der Literatur entnommen werden: Fleishman, Shachar und Drori, Iddo und Cohen-Or, Dabniel (2003). Bilateral mesh denoising, ACM Transactions on Graphics, https://doi.Org/10.1145/1201775.882368.
In einer weiteren Ausführungsform ist es vorgesehen, dass wenigstens eine zweidimensionale geometrische Abbildung des Polygonnetzes gebildet wird, wobei in Abhängigkeit von der geometrischen Abbildung mittels des künstlichen neuronalen Netzes die den Oberflächenfehler charakterisierende Ausgangsgröße zumindest mittelbar, insbesondere direkt, ermittelt wird. Mit anderen Worten ausgedrückt wird das Polygonnetz als geometrische Abbildung in eine zweidimensionale Ebene transformiert, wobei die geometrische Abbildung als Eingang bzw. als Eingangsgröße des neuronalen Netzes verwendet wird.
Unter der geometrischen Abbildung kann insbesondere verstanden werden, dass jedem Punkt des Polygonnetzes ein jeweiliger Punkt in der zweidimensionalen Ebene zugeordnet wird. Beispielsweise kann wenigstens einem oder jedem Knoten des Polygonnetzes in der zweidimensionalen Ebene ein jeweiliger Knoten bzw. Punkt zugeordnet werden. Beispielsweise kann wenigstens einer oder jeder Kante des Polygonnetzes eine jeweilige Kante in der zweidimensionalen Ebene zugeordnet werden. Das Polygonnetz geht somit über die geometrische Abbildung indirekt als Eingangsgröße bzw. als Eingang in das neuronale Netz ein. Dabei ist die geometrische Abbildung eine besonders gut geeignete Eingangsgröße des neuronalen Netzes. Dadurch können in dem neuronalen Netz Speicherbedarf und Lernkomplexität besonders gering gehalten werden. Die geometrische Abbildung kann insbesondere als Geometrieabbildung bezeichnet werden. Die geometrische Abbildung kann beispielsweise einer zweidimensionalen Matrix gleichen.
Vorzugsweise ist die geometrische Abbildung eine authalische sphärische Parametrisierung. Eine beispielhafte geometrische Abbildung bzw. ein beispielhaftes Verfahren zur Durchführung einer solchen geometrischen Abbildung kann aus der aus Literatur entnommen werden: Sinha, Ayan und Bai, Jing und Ramani, Karthik (2016). Deep Learning 3D Shape Surfaces Using Geometry Images, European Conference on Computer Vision, pp 223-240, https://doi.org/10.1007/978-3-319-46466-4_14.
Unter der sphärischen Parametrisierung kann insbesondere folgendes verstanden werden: Zunächst kann eine von der geometrischen Abbildung unterschiedliche und insbesondere als Zwischenschritt oder als Zwischenabbildung bezeichnete zweidimensionale geometrische Abbildung des Polygonnetzes durch Parametrisieren einer dreidimensionalen Form, insbesondere des Polygonnetzes, erstellt werden. Dann kann die Zwischenabbildung auf einen Oktaeder abgebildet beziehungsweise abgetastet werden. Anschließend kann der Oktaeder zum Erstellen der geometrischen Abbildung entlang seiner Kanten geschnitten beziehungsweise abgeschnitten werden.
Unter der authalischen Parametrisierung kann insbesondere eine flächenerhaltende Parametrisierung verstanden werden. Unter der sphärischen authalischen Parametrisierung kann insbesondere eine Kombination der sphärischen Parametrisierung und der authalischen Parametrisierung verstanden werden. Bei der authalischen sphärischen Parametrisierung können bei dem als Eingangsgröße der authalischen sphärischen Parametrisierung verwendeten Polygonnetz räumliche Verzerrungen iterativ minimiert werden und eine bijektive Abbildung auf einer Kugeloberfläche erstellt werden.
In weiterer Ausgestaltung ist es vorgesehen, dass wenigstens einem Bildpunkt der geometrischen Abbildung die jeweilige die Krümmung charakterisierende Größe zugeordnet wird, wobei in Abhängigkeit von dem wenigstens einen die die Krümmung charakterisierende Größe zugeordneten Bildpunkt mittels des künstlichen neuronalen Netzes die den Oberflächenfehler charakterisierende Ausgangsgröße zumindest mittelbar, insbesondere direkt, ermittelt wird. Mit anderen Worten ausgedrückt wird bei der geometrischen Abbildung wenigstens einem, insbesondere jedem, Knoten des Polygonnetzes der jeweilige Bildpunkt in der geometrischen Abbildung zugeordnet, wobei die die Krümmung charakterisierende Größe des jeweiligen Knotens bzw. für den jeweiligen Knoten dem jeweiligen Bildpunkt der geometrischen Abbildung zugeordnet wird. In Abhängigkeit von dem Bildpunkt und der dem jeweiligen Bildpunkt zugeordneten die Krümmung charakterisierenden Größe wird mittels des künstlichen neuronalen Netzes die den Oberflächenfehler charakterisierende Ausgangsgröße ermittelt. Wieder mit anderen Worten ausgedrückt wird in Abhängigkeit von der geometrischen Abbildung, welche die jeweilige die Krümmung charakterisierende Größe umfasst, mittels des künstlichen neuronalen Netzes die den Oberflächenfehler charakterisierende Ausgangsgröße ermittelt.
Darunter, dass dem jeweiligen Bildpunkt der geometrischen Abbildung die jeweilige die Krümmung charakterisierende Größe zugeordnet wird kann insbesondere verstanden werden, dass die geometrische Abbildung bzw. der Bildpunkt mit der jeweiligen die Krümmung charakterisierenden Größe codiert, insbesondere eingefärbt, wird. Dadurch kann die die Krümmung charakterisierende Größe beispielsweise in Abhängigkeit von einer Farbe bzw. einer Farbintensität der geometrischen Abbildung, insbesondere des Bildpunkts, charakterisiert bzw. dargestellt werden.
Die die Krümmung charakterisierende Größe kann beispielsweise mehrere Teilgrößen umfassen. Es kann vorgesehen sein, dass für jede der Teilgrößen eine jeweilige zweidimensionale geometrische Abbildung des Polygonnetzes gebildet wird, wobei wenigstens einem Bildpunkt, insbesondere allen Bildpunkten, der jeweiligen geometrischen Abbildung die jeweilige die Krümmung charakterisierende Teilgröße zugeordnet wird. Alternativ kann es vorgesehen sein, dass eine, insbesondere genau eine zweidimensionale geometrische Abbildung des Polygonnetzes gebildet wird, wobei wenigstens einem Bildpunkt, insbesondere allen Bildpunkten, der geometrischen Abbildung alle jeweiligen die Krümmung charakterisierenden Teilgrößen zugeordnet werden. Beispielsweise kann eine erste der Teilgröße die erste Hauptkrümmung sein. Beispielsweise kann eine zweite der Teilgrößen die zweite Hauptkrümmung sein.
Die jeweilige die Krümmung charakterisierende Größe kann beispielsweise wenigstens einen erweiterten Krümmungswert umfassen. Der erweiterte Krümmungswert kann beispielsweise ein Formindex der Krümmung und/oder ein Intensitätsindex der Krümmung sein. Mit anderen Worten ausgedrückt kann der Formindex und/oder der Krümmungsindex als die die Krümmung charakterisierende Größe verwendet werden. Beispielsweise kann eine dritte der Teilgrößen der Formindex sein. Beispielsweise kann eine vierte der Teilgrößen der Intensitätsindex sein. Somit kann die die Krümmung charakterisierende Größe die erste Hauptkrümmung und/oder die zweite Hauptkrümmung und/oder den Formindex und/oder den Intensitätsindex umfassen.
Der Formindex (Shape-Index) und der Intensitätsindex (Curvedness Intensity) sind beispielweise in folgender Literaturstelle beschrieben: Koenderink, Jan und Doorn, Andrea (1992). Surface shape and curvature scales, Image and Vision Computing, Volume 10, Issue 8, October 1992, Pages 557-564, https://doi.org/10.1016/0262- 8856(92)90076-F.
Mittels des Formindex kann eine, insbesondere geometrische, Form der Krümmung charakterisiert bzw. beschrieben werden. Der Formindex kann in Abhängigkeit von den Hauptkrümmungen (ki, k2) berechnet werden. Somit kann, insbesondere anstelle der Hauptkrümmungen, die Krümmungsform durch genau einem Parameter, nämlich dem Formindex, charakterisiert werden. Vorzugsweise kann der Formindex (s) folgendermaßen berechnet werden:
Vorzugsweise nimmt der Formindex Werte zwischen -1 und 1 an. Mittels des Formindex können konvexe und konkave und hyperbolische Flächen beschrieben beziehungsweise charakterisiert werden. Dabei können sich konvexe und konkave Flächen jeweils auf voneinander unterschiedlichen Seiten beziehungsweise Bereichen, insbesondere mit unterschiedlichem Vorzeichen) der Skala befinden. Beispielweise charakterisiert ein Wertepaar, welches sich nur hinsichtlich seines jeweiligen Vorzeichens voneinander unterscheidet, zwei korrespondierend zueinander ausgebildete Flächen, beispielweise Stempel und Matritze.
Mittels des Intensitätsindex kann eine Intensität bzw. eine Stärke der Krümmung charakterisiert bzw. beschrieben werden. Der Intensitätsindex kann in Abhängigkeit von den Hauptkrümmungen (ki, k2) berechnet werden. Somit kann, insbesondere anstelle der Hauptkrümmungen, die Krümmungsintensität durch genau einem Parameter, nämlich dem Krümmungsindex, charakterisiert werden. Vorzugsweise kann der Krümmungsindex (c) folgendermaßen berechnet werden:
Im Falle einer Kugel entspricht der Intensitätsindex einem Betrag eines reziproken Werts eines Radius der Kugel.
Vorzugsweise handelt es sich bei dem künstlichen neuronalen Netzwerk um ein als Convolutional Neural Network (CNN) ausgebildetes neuronales Netz. Das CNN-Netz kann insbesondere als faltendes neuronales Netzwerk bezeichnet werden. Vorzugsweise handelt es sich bei dem neuronalen Netzwerk um ein als Region Based Convolutional Neural Network (R-CNN) ausgebildetes künstliches neuronales Netz. Ein solches neuronales Netz ist beispielsweise in folgender Literaturstelle beschrieben: Girshick, Ross und Donahue, Jeff und Darrell, Trevor und Malik, J (2014). Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation, 2014 IEEE Conference on Computer Vision and Pattern Recognition, pages 580-587, https://doi.Org/10.1109/CVPR.2014.81. Die zweidimensionale Abbildung ist, insbesondere gegenüber dem dreidimensionalen Polygonnetz, besonders gut zur Verwendung als Eingangsgröße in dem CNN-Netz beziehungsweise R-CNN-Netz geeignet. Gleiches gilt für das Trainieren des CNN-Netzes beziehungsweise R-CNN-Netzes. Dabei können in dem CNN-Netz beziehungsweise R- CNN-Netz Speicherbedarf und Lernkomplexität besonders gering gehalten werden.
Vorzugsweise ist das R-CNN Netz als Fast R-CNN Netz bzw. als Faster R-CNN Netz ausgebildet. Ein solches neuronales Netz ist beispielsweise in folgenden Literaturstellen beschrieben:
• Girshick, Ross. (2015). Fast R-CNN, https://doi.org/10.1109/ICCV.2015.169
• Ren, Shaoqing & He, Kaiming & Girshick, Ross & Sun, Jian. (2016). Faster R- CNN: Towards Real-Time Object Detection with Region Proposal Networks, IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume 39, Issue 6, Pages 1137-1149, http://dx.doi.org/10.1109/TPAMI.2016.2577031
Vorzugsweise umfasst die den jeweiligen Oberflächenfehler charakterisierende Ausgangsgröße wenigstens einen Begrenzungsrahmen, welcher in der jeweiligen geometrischen Abbildung den jeweiligen wenigstens einen Bildpunkt, bei welchem ein jeweiliger Oberflächenfehler ermittelt worden ist, vollständig umgibt. Mit anderen Worten ausgedrückt umfasst die den jeweiligen Oberflächenfehler charakterisierende Ausgangsgröße wenigstens eine Lageinformation bzw. Ortsinformation, welche eine Position des Begrenzungsrahmens in der geometrischen Abbildung charakterisiert bzw. beschreibt. Der Begrenzungsrahmen ist somit eine Ort- bzw. Positionsangabe des Oberflächenfehlers in der geometrischen Abbildung. Beispielsweise kann die den Oberflächenfehler charakterisierende Ausgangsgröße Koordinaten umfassen, welche den jeweiligen Begrenzungsrahmen beschreiben bzw. bilden. Der Begrenzungsrahmen kann in der jeweiligen geometrischen Abbildung mehrere Bildpunkte, bei welchen ein jeweiliger Oberflächenfehler ermittelt worden ist, vollständig umgeben.
Vorzugsweise ist die den jeweiligen Oberflächenfehler charakterisierende Ausgangsgröße dem jeweiligen Bildpunkt der jeweiligen geometrischen Abbildung zugeordnet. Beispielsweise kann es vorgesehen sein, dass die den jeweiligen Oberflächenfehler charakterisierende Ausgangsgröße dem jeweiligen Knoten des Polygonnetzes zugeordnet wird, wobei der jeweilige Knoten des Polygonnetzes derjenige Knoten ist, welchem der jeweilige Bildpunkt zugeordnet ist. Dadurch kann der jeweilige Oberflächenfehler bzw. die Position des jeweiligen Oberflächenfehlers auf der Oberfläche besonders anschaulich an dem jeweiligen Polygonnetz dargestellt werden.
Ein zweiter Aspekt der Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes. Vorteile und vorteilhafte Ausgestaltungen des ersten Aspekts der Erfindung sind als Vorteile und vorteilhafte Ausgestaltungen des zweiten Aspekts der Erfindung anzusehen und umgekehrt.
Bei dem Verfahren wird ein jeweiliges virtuelles Polygonnetz wenigstens einer jeweiligen Oberfläche einer Vielzahl von Karosseriebauteilen erstellt. In anderen Worten ausgedrückt wird ein jeweiliges digitales Abbild der jeweiligen Oberfläche der Karosseriebauteile gebildet, wobei das digitale Abbild als das virtuelle Polygonnetz ausgebildet ist.
Beispielweise wird ein erstes virtuelles Polygonnetz wenigstens einer jeweiligen Oberfläche eines ersten der Karosseriebauteile erstellt. Beispielweise wird ein von dem ersten virtuellen Polygonnetz unterschiedliches, zweites virtuelles Polygonnetz wenigstens einer jeweiligen Oberfläche eines von dem ersten Karosserieteil unterschiedlichen, zweiten der Karosseriebauteile erstellt. Die Karosseriebauteile können baugleich sein oder sich hinsichtlich ihrer jeweiligen Bauart, insbesondere ihrer Geometrie, voneinander unterscheiden. Bei der jeweiligen Oberfläche bzw. bei den Karosseriebauteilen handelt es sich vorzugsweise um Realbauteile.
Vorzugsweise wird die jeweilige Oberfläche des jeweiligen Karosseriebauteils in einem Erfassungsbereich einer optischen Erfassungseinrichtung angeordnet, wobei mittels der optischen Erfassungseinrichtung wenigstens ein Bild der in dem Erfassungsbereich der optischen Erfassungseinrichtung angeordneten jeweiligen Oberfläche erfasst wird und wobei in Abhängigkeit von dem erfassten Bild das jeweilige Polygonnetz erstellt wird. Vorzugsweise wird das jeweilige virtuelle Polygonnetz in einer elektronischen Recheneinrichtung, insbesondere einer Datenbank der elektronischen Recheneinrichtung, gespeichert.
Es ist vorgesehen, dass wenigstens eine jeweilige eine Krümmung an wenigstens einem Knoten des jeweiligen Polygonnetzes charakterisierende Größe ermittelt wird. Mit anderen Worten ausgedrückt wird die jeweilige die Krümmung des jeweiligen Polygonnetzes charakterisierende Größe an dem wenigstens einen Knoten, insbesondere an allen Knoten, des jeweiligen Polygonnetzes ermittelt. Vorzugsweise werden die die Krümmung charakterisierenden Größen in der elektronischen Recheneinrichtung, insbesondere in der Datenbank, gespeichert. Beispielsweise kann es vorgesehen sein, dass vor dem Erfassen der jeweiligen Oberflächen mittels der optischen Erfassungseinrichtung die jeweiligen Oberflächen, insbesondere weiß beziehungsweise matt weiß, lackiert werden.
Um Kosten des jeweiligen Karosseriebauteils besonders gering halten zu können, wird das künstliche neuronale Netz zumindest mittelbar, insbesondere direkt, mittels der die Krümmung charakterisierenden Größen trainiert. Mit anderen Worten ausgedrückt wird mittels der die Krümmung charakterisierenden Größen ein insbesondere als Lernen bezeichneter Lernprozess des künstlich neuronalen Netzes durchgeführt.
Es kann vorgesehen sein, dass insbesondere vor und/oder nach dem Erfassen der jeweiligen Oberfläche mittels der optischen Erfassungseinrichtung wenigstens eine jeweilige einen jeweiligen Oberflächenfehler der jeweiligen Oberfläche des jeweiligen Karosseriebauteils charakterisierende Größe, insbesondere manuell, ermittelt wird. Das manuelle Ermitteln kann dabei vorzugsweise durch Experten durchgeführt werden. Mit anderen Worten ausgedrückt können die jeweiligen Oberflächen durch die Experten untersucht und bewertet werden. Bei dem Untersuchen können die Karosseriebauteile verbaut sein, d. h. sich in Einbaulage in dem Kraftwagen befinden, oder als Einzelteil vorliegen und dabei beliebig gelagert sein. Unter dem Vorliegen als Einzelteil kann insbesondere verstanden werden, dass sich jeweilige Karosserieteil nicht in seiner jeweiligen Einbaulage in dem Kraftwagen befindet.
Unter der den Oberflächenfehler charakterisierenden Größe kann insbesondere ein beliebiges Maß bzw. ein beliebiger Wert verstanden werden, weicher den Oberflächenfehler charakterisiert bzw. beschreibt. Somit kann mittels der den Oberflächenfehler charakterisierenden Größe auf den Oberflächenfehler geschlossen werden. Beispielsweise kann die den Oberflächenfehler charakterisierende Größe wenigstens zwei, insbesondere diskrete, Werte annehmen bzw. aufweisen. Ein erster der Werte kann beispielsweise bedeuten, dass die jeweilige Oberfläche den Oberflächenfehler aufweist. Der zweite Wert kann beispielsweise bedeuten, dass die jeweilige Oberfläche den Oberflächenfehler nicht aufweist und somit fehlerfrei ist.
Beispielsweise kann die den Oberflächenfehler charakterisierende Größe mehrere, voneinander unterschiedliche, Fehlerklassen umfassen. Mit anderen Worten ausgedrückt kann die den Oberflächenfehler charakterisierende Größe wenigstens einen von mehreren, voneinander unterschiedlichen Werten annehmen, wobei der jeweilige Wert die jeweilige Fehlerklasse des Oberflächenfehlers charakterisiert. Die Werte können dabei insbesondere als Fehlerklassenwerte bezeichnet werden. Beispielsweise kann die Delle der Oberfläche eine der Fehlerklassen sein. Beispielsweise kann die wellige Oberfläche eine andere der Fehlerklassen sein. Beispielsweise wird ein erster der Fehlerklassenwerte, insbesondere manuell, ermittelt, wenn die jeweilige Oberfläche des Karosseriebauteils einen Oberflächenfehler einer ersten der Fehlerklasse aufweist. Beispielsweise wird ein von dem ersten Fehlerklassenwert unterschiedlicher, zweiter Fehlerklassenwert, insbesondere manuell, ermittelt, wenn die jeweilige Oberfläche des Karosseriebauteils einen Oberflächenfehler der zweiten Fehlerklasse aufweist.
Alternativ oder zusätzlich kann die den Oberflächenfehler charakterisierende Größe wenigstens ein Maß zur Charakterisierung einer Fehlerschwere des Oberflächenfehlers umfassen. Beispielsweise wird ein erster Intensitätswert der den Oberflächenfehler charakterisierenden Größe, insbesondere manuell, ermittelt, wenn die jeweilige Oberfläche des jeweiligen Karosseriebauteils einen ersten Oberflächenfehler aufweist, und ein gegenüber dem ersten Intensitätswert größerer, zweiter Intensitätswert der den Oberflächenfehler charakterisierenden Größe wird, insbesondere manuell, ermittelt, wenn die jeweilige Oberfläche des jeweiligen Karosseriebauteils einen gegenüber dem ersten Oberflächenfehler schwereren, zweiten Oberflächenfehler aufweist.
Alternativ oder zusätzlich weist die den Oberflächenfehler charakterisierende Größe wenigstens ein Maß zur Charakterisierung einer Position des Fehlers auf der Oberfläche des Karosseriebauteils auf. Beispielsweise umfasst die den Oberflächenfehler charakterisierende Größe hierfür Koordinaten, wobei die Koordinaten die Position bzw. eine Lage des Oberflächenfehlers auf der Oberfläche des jeweiligen Karosseriebauteils beschreiben.
In weiterer Ausgestaltung ist es vorgesehen, dass die jeweilige den jeweiligen Oberflächenfehler der Oberfläche des jeweiligen Karosseriebauteils charakterisierende Größe wenigstens einem jeweiligen Polygon des jeweiligen Polygonnetzes, insbesondere einer Fläche und/oder einem Knoten und/oder einer Kante des Polygons, zugeordnet wird. Mit anderen Worten ausgedrückt wird in Abhängigkeit von der Position des jeweiligen Oberflächenfehlers an dem jeweiligen Karosseriebauteil die den jeweiligen Oberflächenfehler charakterisierende Größe dem jeweiligen Polygon beziehungsweise den jeweiligen Polygonen zugeordnet, welches beziehungsweise welche die Position des jeweiligen Oberflächenfehlers an dem jeweiligen Polygonnetz, insbesondere bestmöglich, approximieren. Vorzugsweise wird die den jeweiligen Oberflächenfehler der Oberfläche des jeweiligen Karosseriebauteils charakterisierende Größe in der elektronischen Recheneinrichtung, insbesondere in der Datenbank gespeichert.
Insbesondere dann, wenn das Ermitteln der den jeweiligen Oberflächenfehler charakterisierenden Größe vor dem Erfassen der jeweiligen Oberfläche mittels der optischen Erfassungseinrichtung durchgeführt wird, können die jeweiligen ermittelten Oberflächenfehler bzw. eine Position der jeweiligen Oberflächenfehler an der, insbesondere realen, jeweiligen Oberfläche des Karosseriebauteils markiert werden. Dadurch können die jeweiligen markierten Oberflächenfehler beim Erfassen der jeweiligen Oberfläche mittels der optischen Erfassungseinrichtung erfasst werden. Anschließend können die erfassten jeweiligen Oberflächenfehler bzw. die jeweiligen erfassten Positionen der jeweiligen Oberflächenfehler dem jeweiligen virtuellen Polygonnetz, insbesondere jeweiligem Knoten und/oder der jeweiligen Fläche und/oder der jeweiligen Kante, zugeordnet werden.
Insbesondere dann, wenn das Ermitteln der jeweiligen Oberflächenfehler nach dem optischen Erfassen der jeweiligen Oberflächen mittels der optischen Erfassungseinrichtung durchgeführt wird, kann es vorgesehen sein, dass die jeweiligen Oberflächenfehler bzw. die jeweilige Position der jeweiligen Oberflächenfehler an dem jeweiligen Polygon, insbesondere jeweiligen Knoten und/oder jeweiligen Fläche und/oder jeweiligen Kante des jeweiligen Polygons, des Polygonnetzes, insbesondere manuell, markiert wird und dadurch dem jeweiligen Polygon zugeordnet wird.
In weiterer Ausgestaltung ist es vorgesehen, dass wenigstens eine zweidimensionale geometrische Abbildung des jeweiligen Polygonnetzes gebildet wird, wobei wenigstens einem Bildpunkt, insbesondere mehreren Bildpunkten, der jeweiligen geometrischen Abbildung die den jeweiligen Oberflächenfehler charakterisierende Größe zugeordnet wird und wobei das künstlich neuronale Netz zumindest mittelbar, insbesondere direkt, mittels der den jeweiligen Oberflächenfehler umfassenden geometrischen Abbildung trainiert wird. Mit anderen Worten ausgedrückt wird das jeweilige Polygonnetz als geometrische Abbildung in eine zweidimensionale Ebene transformiert, wobei die jeweilige den jeweiligen Oberflächenfehler charakterisierende Größe dem wenigstens einen Bildpunkt der jeweiligen geometrischen Abbildung zugeordnet wird. Mittels den geometrischen Abbildungen und den den Bildpunkten zugeordneten die Oberflächenfehler charakterisierenden Größen wird das Trainieren des neuronalen Netzes durchgeführt. Dadurch kann das neuronale Netz besonders vorteilhaft trainiert werden, wodurch es besonders präzise Vorhersagen treffen kann.
Vorzugsweise ist es vorgesehen, dass wenigstens einem Bildpunkt der geometrischen Abbildung die die jeweilige Krümmung charakterisierende Größe zugeordnet wird und das künstliche neuronale Netz mittels der geometrischen Abbildung, welche die die Krümmung charakterisierende Größe umfasst, zumindest mittelbar, insbesondere direkt, trainiert wird. Mit anderen Worten ausgedrückt kann es vorgesehen sein, dass wenigstens eine zweidimensionale geometrische Abbildung des jeweiligen Polygonnetzes gebildet wird, wobei wenigstens einem Bildpunkt der geometrischen Abbildung die die jeweilige Krümmung charakterisierende Größe zugeordnet wird und wobei das künstliche neuronale Netz mittels der geometrischen Abbildung, welche die die Krümmung charakterisierende Größe umfasst, trainiert wird.
Vorzugsweise ist es vorgesehen, dass in der jeweiligen geometrischen Abbildung wenigstens ein Begrenzungsrahmen erstellt wird, weicher den jeweiligen wenigstens einen Bildpunkt, welchem die den jeweiligen Oberflächenfehler charakterisierende Größe zugeordnet ist, vollständig umgibt, wobei das neuronale Netz mittels des Begrenzungsrahmens trainiert wird. Mit anderen Worten ausgedrückt wird in der jeweiligen geometrischen Abbildung der den jeweiligen Bildpunkt, insbesondere mehrere Bildpunkte, umgebende Begrenzungsrahmen gebildet, wobei dem jeweiligen Bildpunkt die den jeweiligen Oberflächenfehler charakterisierende Größe zugeordnet ist. Das neuronale Netz wird mittels der jeweiligen geometrischen Abbildung, welche den Begrenzungsrahmen umfasst, trainiert. Dadurch kann das neuronale Netz mit einer Positions- beziehungsweise Lageinformation des jeweiligen Oberflächenfehlers trainiert werden. Dadurch kann mittels des neuronalen Netzes die Positions- beziehungsweise Lageinformation vorhergesagt werden.
Vorzugsweise ist der jeweilige Bildpunkt, welcher von dem Begrenzungsrahmen umschlossen wird, ein jeweiliger Bildpunkt, an welchem die Oberfläche des jeweiligen Karosseriebauteils einen Oberflächenfehler aufweist. Mit anderen Worten ausgedrückt weist die dem jeweiligen Bildpunkt zugeordnete den jeweiligen Oberflächenfehler charakterisierende Größe einen Wert auf, welcher einem vorhandenen Oberflächenfehler entspricht.
Vorzugsweise werden die jeweilige geometrische Abbildung und der jeweilige
Begrenzungsrahmen, insbesondere Koordinaten des Begrenzungsrahmens, in der elektronischen Recheneinrichtung, insbesondere der Datenbank, gespeichert. Mit anderen Worten ausgedrückt werden die im jeweiligen Polygonnetz markierten Oberflächenfehler in der geometrischen Abbildung mit dem Begrenzungsrahmen umgeben, dessen Koordinaten in der elektronischen Recheneinrichtung, insbesondere in der Datenbank, gespeichert werden.
In weiterer Ausgestaltung ist es vorgesehen, dass ein jeweiliges virtuelles Soll- Polygonnetz wenigstens einer jeweiligen Oberfläche einer jeweiligen virtuellen Soll- Geometrie des jeweiligen Karosseriebauteils erstellt wird. Darunter kann insbesondere Folgendes verstanden werden: Aus der jeweiligen virtuellen Soll-Geometrie wird das jeweilige virtuelle Soll-Polygonnetz erstellt, welches die virtuelle Soll-Geometrie approximiert. Die Soll-Geometrie kann beispielsweise eine CAD-Geometrie der Oberfläche des jeweiligen Karosseriebauteils sein. Die Soll-Geometrie weist keinen herstellungsbedingten Oberflächenfehler auf und ist somit frei von dem herstellungsbedingten Oberflächenfehler. Somit ist die Soll-Geometrie eine gewünschte ideale Geometrie der Oberfläche des jeweiligen Karosseriebauteils. Bei dem Soll- Polygonnetz handelt es sich vorzugsweise um ein STL-Polygonnetz. Das jeweilige Soll- Polygonnetz kann in der elektronischen Recheneinrichtung, insbesondere in der Datenbank, gespeichert werden.
Vorzugsweise wird wenigstens die eine jeweilige Krümmung an wenigstens einem Knoten des jeweiligen Soll-Polygonnetzes charakterisierende Größe ermittelt. Mit anderen Worten ausgedrückt kann es vorgesehen sein, dass die wenigstens eine die Krümmung des Soll- Polygonnetzes charakterisierende Größe an dem wenigstens einen Knoten des Soll- Polygonnetzes ermittelt wird.
Vorzugsweise wird wenigstens eine jeweilige zweidimensionale geometrische Abbildung des jeweiligen Soll-Polygonnetzes gebildet, wobei das künstliche neuronale Netz mittels der jeweiligen geometrischen Abbildung zumindest mittelbar, insbesondere direkt, trainiert wird. Mit anderen Worten ausgedrückt wird das jeweilige Soll-Polygonnetz als geometrische Abbildung in eine zweidimensionale Ebene transformiert, wobei das Trainieren des neuronalen Netzes mittels der jeweiligen geometrischen Abbildung durchgeführt wird. Dadurch kann das neuronale Netz die ideale Geometrie des Soll- Polygonnetzes erlernen, wodurch mittels des neuronalen Netzes präzise Vorhersagen hinsichtlich der Oberflächenfehler ermöglicht werden können. Vorzugsweise ist es vorgesehen, dass wenigstens einem Bildpunkt der jeweiligen geometrischen Abbildung des Soll-Polygonnetzes die jeweilige die Krümmung charakterisierende Größe zugeordnet wird, wobei das neuronale Netz mittels dem jeweiligen wenigstens einen die Krümmung charakterisierenden Größe zugeordneten Bildpunkt der geometrischen Abbildung zumindest mittelbar, insbesondere direkt, trainiert wird.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar.
Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die Zeichnungen näher erläutert. Es zeigen:
Fig. 1 ein schematisches Verfahrensdiagramm eines erfindungsgemäßen
Verfahrens zum Trainieren eines künstlich neuronalen Netzes; und
Fig. 2 eine schematische Perspektivansicht eines Karosseriebauteils, an welchem ein erfindungsgemäßes Verfahren durchgeführt werden kann; und
Fig. 3 eine schematische Perspektivansicht eines virtuellen Polygonnetzes des
Karosseriebauteils aus Fig. 2; und
Fig. 4 eine schematische Perspektivansicht eines virtuellen Polygonnetzes des
Karosseriebauteils aus Fig. 2 zur Veranschaulichung von Krümmungsinformationen; und
Fig. 5 eine schematische Darstellung einer zweidimensionalen geometrischen
Abbildung eines virtuellen Polygonnetzes; und
Fig. 6 ein schematisches Verfahrensdiagramm eines Verfahrens zum
Beurteilen einer Oberfläche eines Karosseriebauteils; und Fig. 7 eine schematische Veranschaulichung einer Vorhersage mittels eines künstlich neuronalen Netzes mittels eines erfindungsgemäßen Verfahrens.
In den Figuren sind gleiche oder funktionsgleiche Elemente mit gleichen Bezugszeichen versehen.
Fig. 1 zeigt ein schematisches Verfahrensdiagramm eines Verfahrens zum Trainieren 1 eines künstlichen neuronalen Netzes 2. Bei dem künstlich neuronalen Netz 2 handelt es sich vorzugsweise um ein Region Based Convolutional Neural Network (R-CNN). Fig. 2 zeigt in einer schematischen Perspektivansicht ein Karosseriebauteil 3 eines Kraftwagens. Das Karosseriebauteil 3 ist in dem Ausführungsbeispiel als Seitenrahmen des Kraftwagens bzw. einer Karosserie des Kraftwagens ausgebildet. Das Karosseriebauteil 3 ist in dem Ausführungsbeispiel ein Außenhautbauteil der Karosserie des Kraftwagens. Das in Fig. 2 gezeigte Karosseriebauteil 3 ist ein exemplarisches Karosseriebauteil, da das Verfahren für eine Vielzahl solcher Karosseriebauteile 3 durchgeführt wird.
Bei dem Verfahren wird für die Karosseriebauteile 3 zunächst eine Bewertung 4 durchgeführt. Die Bewertung 4 kann insbesondere als Beurteilung bezeichnet werden. Bei der Bewertung 4 wird wenigstens eine jeweilige Oberfläche 5 des jeweiligen Karosseriebauteils 3, insbesondere manuell, auf Oberflächenfehler 6 im Strack untersucht. Das Bewerten 4 bzw. das Untersuchen wird vorzugsweise von Experten durchgeführt. Unter dem jeweiligen Oberflächenfehler 6 kann insbesondere eine Abweichung zwischen einem Soll-Zustand der jeweiligen Oberfläche 5 und einem Ist- Zustand der jeweiligen Oberfläche 5 verstanden werden. Der jeweilige Oberflächenfehler 6 kann beispielsweise eine Delle oder eine Welligkeit der Oberfläche 5 sein. Das jeweilige Karosseriebauteil 3 ist vorzugsweise ein, insbesondere schwarz, lackiertes Karosseriebauteil 3.
Bei dem Bewerten 4 wird vorzugsweise wenigstens eine jeweilige den jeweiligen Oberflächenfehler 6 der jeweiligen Oberfläche 5 des jeweiligen Karosseriebauteils 3 charakterisierende Größe 7, insbesondere manuell, ermittelt. Die Größe 7 kann insbesondere als Fehlergröße bezeichnet werden. Die den jeweiligen Oberflächenfehler 6 charakterisierende Größe 7 kann beispielsweise einen jeweiligen Parameter umfassen, welcher beschreibt ob die jeweilige Oberfläche 5 einen Oberflächenfehler 6 aufweist oder ob die jeweilige Oberfläche 5 frei von dem Oberflächenfehler 6 ist. Alternativ oder zusätzlich kann die den jeweiligen Oberflächenfehler 6 charakterisierende Größe 7 wenigstens einen Parameter umfassen, welcher eine jeweilige Fehlerklasse des jeweiligen Oberflächenfehlers 6 charakterisiert. Die jeweilige Fehlerklasse kann beispielsweise die Delle oder die Welligkeit der jeweiligen Oberfläche 5 sein. Alternativ oder zusätzlich kann die den jeweiligen Oberflächenfehler 6 charakterisierende Größe 7 wenigstens einen Parameter umfassen, welcher eine insbesondere als Fehlerintensität bezeichnete Fehlerschwere des jeweiligen Oberflächenfehlers 6 charakterisiert. Alternativ oder zusätzlich kann die den jeweiligen Oberflächenfehler 6 charakterisierende Größe 7 wenigstens einen Parameter umfassen, welcher eine jeweilige Lage bzw. jeweilige Position des jeweiligen Oberflächenfehlers 6 auf der jeweiligen Oberfläche 5 charakterisiert bzw. beschreibt.
Mittels einer optischen Erfassungseinrichtung 8 wird wenigstens ein jeweiliges Bild 9 der in einem Erfassungsbereich 10 der optischen Erfassungseinrichtung 8 jeweiligen angeordneten Oberfläche 5 erfasst. In Abhängigkeit von dem jeweiligen erfassten Bild 9 wird ein jeweiliges virtuelles Polygonnetz 11 der jeweiligen Oberfläche 5 des jeweiligen Karosseriebauteils 3 erstellt. Mit anderen Worten ausgedrückt werden die Karosseriebauteile 3, an welchen die Bewertung 4 vorgenommen wurde, mittels der optischen Erfassungseinrichtung 8 als Polygonnetz 11 digitalisiert. Fig. 3 zeigt in einer schematischen Perspektivansicht das Polygonnetz 11 der Oberfläche 5 des Karosseriebauteils 3. Das jeweilige Polygonnetz 11 umfasst jeweils eine Vielzahl an Polygonen 12. Fig. 4 zeigt in einer schematischen Perspektivansicht das Polygonnetz 11, wobei in einer Teilansicht A jeweilige Polygone 12 veranschaulicht sind.
In weiterer Ausgestaltung ist es vorgesehen, dass die jeweilige den jeweiligen Oberflächenfehler 6 der jeweiligen Oberfläche 5 des jeweiligen Karosseriebauteils 3 charakterisierende Größe 7 einem jeweiligen Polygon 12 des jeweiligen Polygonnetzes 11 zugeordnet wird. Die Größe 7 kann beispielsweise wenigstens einer jeweiligen Fläche 13 und/oder wenigstens einem jeweiligen Knoten 14 und/oder wenigstens einer jeweiligen Kante 15 des jeweiligen Polygons 12 zugeordnet werden.
Das Zuordnen der jeweiligen den jeweiligen Oberflächenfehler 6 charakterisierenden Größe 7 kann beispielsweise auf zwei Varianten durchgeführt werden. Bei einer ersten Variante wird bei dem jeweiligen Polygonnetz 11 das jeweilige Polygon 12 bzw. ein jeweiliger Bereich 16, welcher mehrere der jeweiligen Polygone 12 umfasst, markiert. Der Bereich 16 entspricht dabei einem jeweiligen Bereich 17 beziehungsweise approximiert den jeweiligen Bereich 17, bei welchem der jeweilige Oberflächenfehler 6 am Realbauteil identifiziert worden ist. Mit anderen Worten ausgedrückt ist der Bereich 16 ein virtuelles Abbild des Bereich 17. Das Markieren kann manuell durchgeführt werden.
Bei der zweiten Variante wird der jeweilige Bereich 17, welcher den jeweiligen Oberflächenfehler 6 umfasst, an dem Karosseriebauteil 3 und somit am Realbauteil markiert. Dadurch umfasst das mittels der optischen Erfassungseinrichtung 8 erfasste Bild 9 auch den markierten Bereich 17. Dadurch kann beim Erstellen des jeweiligen virtuellen Polygonnetzes 11 in Abhängigkeit von dem, insbesondere dem Bereich 17 umfassenden, Bild 9 das jeweilige Polygon 12 bzw. der jeweilige virtuelle Bereich 16, insbesondere automatisch, beim Erstellen des jeweiligen Polygonnetzes 11 markiert werden.
Vorzugsweise werden das jeweilige Polygonnetz 11 und die jeweilige Größe 7 in einer elektronischen Recheneinrichtung, insbesondere einer Datenbank, gespeichert.
Vorzugsweise werden die Polygonnetze 11 geglättet, das heißt, es kann eine Glättung der Polygonnetze 11 durchgeführt werden. Die geglätteten Polygonnetze 11 können in der elektronischen Recheneinrichtung, insbesondere der Datenbank, gespeichert werden. Es ist möglich, dass weitere Verfahrensschritte, insbesondere alle weiteren Verfahrensschritte, mit den geglätteten Polygonnetzen 11 oder den ungeglätteten Polygonnetzen 11 durchgeführt werden können.
Es ist vorgesehen, dass bei dem, insbesondere in der elektronischen Recheneinrichtung gespeicherten, jeweiligen Polygonnetz 11 wenigstens eine jeweilige eine Krümmung des jeweiligen Polygonnetzes 11 charakterisierende Größe 18 an wenigstens einem der Knoten 14 des jeweiligen Polygonnetzes 11 ermittelt wird. Vorzugsweise wird dies für sämtliche in der elektronischen Recheneinrichtung gespeicherten Polygonnetze 11 durchgeführt. Vorzugsweise wird dies an allen Knoten 14 des jeweiligen Polygonnetzes 11 durchgeführt. Die die jeweilige Krümmung charakterisierende Größe 18 kann beispielsweise Hauptkrümmungen k1, k2 und/oder Hauptkrümmungsrichtungen und/oder einen Formindex s und/oder einen Intensitätsindex c des jeweiligen Knotens 14 bzw. an dem jeweiligen Knoten 14 umfassen. Mit anderen Worten ausgedrückt kann die die Krümmung charakterisierende Größe 18 mehrere Teilgrößen 18a - d umfassen, welche insbesondere als Teilinformationen bezeichnet werden können. Beispielsweise kann eine erste der Teilgrößen 18a eine erste der Hauptkrümmungen K1 sein. Beispielsweise kann eine zweite der Teilgrößen 18b die zweite Hauptkrümmung K2 sein. Beispielsweise kann eine dritte der Teilgrößen 18c der Formindex s sein. Beispielsweise kann die vierte Teilgröße 18d der Intensitätsindex c sein. Die Hauptkrümmungen k1, k2 und die Hauptkrümmungsrichtungen können beispielsweise mittels einer insbesondere als Weingartenabbildung bezeichneten mathematischen Abbildung in Abhängigkeit von dem jeweiligen Polygonnetz 11, insbesondere den Knoten 14, berechnet werden. Der Formindex s und der Intensitätsindex c kann beispielsweise in Abhängigkeit von den Hauptkrümmungen k1, k2 und/oder den Hauptkrümmungsrichtungen berechnet werden. Vorzugsweise wird die insbesondere als Krümmungsinformation bezeichnete jeweilige die Krümmung charakterisierende Größe 18 der Polygonnetze 11 in der elektronischen Recheneinrichtung, insbesondere der Datenbank, gespeichert.
Es ist vorgesehen, dass wenigstens eine zweidimensionale geometrische Abbildung 19 des jeweiligen Polygonnetzes 11 gebildet wird. Fig. 5 zeigt in einer schematischen Darstellung die zweidimensionale geometrische Abbildung 19. Die jeweilige geometrische Abbildung 19 umfasst eine Vielzahl an Bildpunkten 20, wobei jedem der Bildpunkte 20 wenigstens ein Knoten 14 des jeweiligen Polygonnetzes 11 zugeordnet ist bzw. zugeordnet wird. Die jeweilige geometrische Abbildung 19 kann wenigstens einen Teilbereich 21 aufweisen, welchem kein Polygon 12 bzw. kein Knoten 14 des jeweiligen Polygonnetzes 11 zugeordnet ist. Der Teilbereich 21 ist eine Abbildung eines Bildbereichs des jeweiligen Bilds 9, wobei der Bildbereich, wenn man das Bild 9 darstellen würde, nicht die jeweilige Oberfläche 5 des Karosseriebauteils 3 zeigt. Der Teilbereich 21 kann somit beispielsweise eine Ausnehmung des Karosseriebauteils 3 charakterisieren bzw. entsprechen. Mit anderen Worten ausgedrückt unterscheidet sich der Teilbereich 21 von den restlichen Bereichen der geometrischen Abbildung 19, dass der Teilbereich 21 keine Netze aufweist beziehungsweise nicht das Polygonnetz 11 abbildet. In Fig. 5 sind mehrere der Teilbereiche 21 dargestellt. Diese entsprechen jeweiligen Türbereichen beziehungsweise Fensterbereichen des Kraftwagens beziehungsweise bilden die jeweiligen Türbereiche beziehungsweise Fensterbereiche ab. Die geometrische Abbildung 19 wird vorzugsweise mittels authalischer sphärischer Parametrisierung aus dem jeweiligen Polygonnetz 11 gebildet.
In weiterer Ausgestaltung ist es vorgesehen, dass die die jeweilige Krümmung charakterisierende Größe 18 wenigstens einem der Bildpunkte 20 der jeweiligen geometrischen Abbildung 19 zugeordnet wird. Beispielweise kann die geometrische Abbildung 19, insbesondere die Bildpunkte 20, in Abhängigkeit von der die Krümmung charakterisierenden Größe eingefärbt werden. Beispielsweise kann für jedes der Polygonnetze 11 genau eine der geometrischen Abbildungen 19 gebildet werden, wobei den wenigstens einen Bildpunkt 20 der genau einen geometrischen Abbildung 19 mehrere, insbesondere alle, der Teilgrößen 18a - d der die jeweilige Krümmung charakterisierenden Größe 18 zugeordnet wird. Alternativ können für jedes der Polygonnetze 11 mehrere geometrische Abbildungen 19 gebildet werden, wobei jeder der mehreren geometrischen Abbildungen 19 an wenigstens einem der Bildpunkte 20 genau eine der Teilgrößen 18a - d zugeordnet wird.
Vorzugsweise werden die geometrischen Abbildungen 19 in der elektronischen Recheneinrichtung, insbesondere in der Datenbank, gespeichert.
Es ist vorgesehen, dass das künstliche neuronale Netz 2, mittels den geometrischen Abbildungen 19, welche die die Krümmung charakterisierende Größe 18, insbesondere wenigstens eine der Teilgrößen 18a - d umfasst, trainiert wird. Somit ist es vorgesehen, dass das künstliche neuronale Netz 2 zumindest mittelbar mittels der die Krümmung charakterisierenden Größen 18 trainiert wird.
Vorzugsweise ist es vorgesehen, dass wenigstens einem der Bildpunkte 20 der jeweiligen geometrischen Abbildung 19 die jeweilige den jeweiligen Oberflächenfehler 6 charakterisierende Größe 7 zugeordnet wird. Das künstliche neuronale Netz 2 kann mittels der jeweiligen geometrischen Abbildung 19, welche die jeweilige den jeweiligen Oberflächenfehler 6 charakterisierende Größe 7 umfasst, trainiert werden.
In weiterer Ausgestaltung ist es vorgesehen, dass in der jeweiligen geometrischen Abbildung 19 wenigstens ein Begrenzungsrahmen 22 erstellt wird, welcher den jeweiligen wenigstens einen Bildpunkt 20 vollständig umgibt, welchem die den jeweiligen Oberflächenfehler 6 charakterisierende Größe 7 zugeordnet ist. Das künstliche neuronale Netz 2 wird mittels des jeweiligen Begrenzungsrahmens 22 bzw. mittels der jeweiligen geometrischen Abbildung 19, welche den jeweiligen Begrenzungsrahmen 22 umfasst, trainiert.
In einer weiteren Ausführungsform ist es vorgesehen, dass ein jeweiliges virtuelles Soll- Polygonnetz 23 wenigstens einer jeweiligen Oberfläche 24 einer jeweiligen virtuellen Soll- Geometrie 25 des jeweiligen Karosseriebauteils 3 erstellt wird. Die virtuelle Soll- Geometrie 25 ist vorzugsweise eine CAD-Geometrie der jeweiligen Oberfläche 5 bzw. des jeweiligen Karosseriebauteils 3. Die Soll-Geometrie 25 umfasst vorzugsweise keine herstellungsbedingten Oberflächenfehler 6. Das virtuelle Soll-Polygonnetz 23 kann in der elektronischen Recheneinrichtung, insbesondere in der Datenbank, gespeichert werden.
Vorzugsweise wird die die jeweilige Krümmung charakterisierende Größe 18 an den jeweiligen virtuellen Soll-Polygonnetzen 23 ermittelt. Somit ist es vorzugsweise vorgesehen, dass die wenigstens eine jeweilige die Krümmung des jeweiligen Soll- Polygonnetzes 23 charakterisierende Größe 18 an wenigstens einem Knoten 14 des jeweiligen Soll-Polygonnetzes 23 ermittelt wird.
Vorzugsweise ist es vorgesehen, dass wenigstens eine jeweilige zweidimensionale geometrische Abbildung 26 des jeweiligen Soll-Polygonnetzes 23 gebildet wird. Die geometrische Abbildung 26 unterscheidet sich insbesondere dadurch von der geometrischen Abbildung 19, dass die geometrische Abbildung 26 nicht die herstellungsbedingten Oberflächenfehler 6 bzw. den Begrenzungsrahmen 22 umfasst. Somit ist die geometrische Abbildung 26 frei von den herstellungsbedingten Oberflächenfehlern 6 bzw. dem Begrenzungsrahmen 22.
Vorzugsweise wird wenigstens einem Bildpunkt der geometrischen Abbildung 26 die die jeweilige Krümmung des Soll-Polygonnetzes 23 charakterisierende Größe 18 zugeordnet, wobei das künstlich neuronale Netz 2 mittels der geometrischen Abbildung 26, welche die die Krümmung charakterisierende Größe 18 des virtuellen Soll-Polygonnetzes 23 umfasst, trainiert wird. Die jeweilige geometrische Abbildung 26 kann in der elektronischen Recheneinrichtung gespeichert werden.
Vorzugsweise werden in der elektronischen Recheneinrichtung, insbesondere in der Datenbank, gespeicherte Daten zum Trainieren 1 des künstlichen neuronalen Netzes 2 verwendet. Die Daten umfassen dabei die geometrische Abbildung 19, insbesondere die die Krümmung charakterisierende Größe 18 des Polygonnetzes 11 und/oder die den jeweiligen Oberflächenfehler 6 charakterisierende Größe 7 und/oder den jeweiligen Begrenzungsrahmen 22, und/oder die geometrische Abbildung 26, insbesondere die jeweilige die Krümmung charakterisierende Größe 18 des Soll-Polygonnetzes 23. Als die die Krümmung charakterisierende Größe 18 kann die erste Hauptkrümmung k1 und/oder die zweite Hauptkrümmung k2 und/oder der Formindex s und/oder der Intensitätsindex c verwendet werden.
Ziel des Trainierens 1 ist es, dass das trainierte neuronale Netz 2 in der Lage ist, die jeweiligen Oberflächenfehler 6, insbesondere bereits während einer Entwicklung des Karosseriebauteils 3 und/oder des Umformwerkzeugs, vorherzusagen bzw. zu erkennen. Mit anderen Worten ausgedrückt kann das neuronale Netz 2 nach dem Trainieren 1 zur Lokalisierung und/oder Klassifizierung von jeweiligen Oberflächenfehlern 6 in Polygonnetzen, insbesondere in dem Soll-Polygonnetz 23, verwendet werden. Dadurch können Herstellungsaufwand und Herstellungskosten der Karosseriebauteile 3 besonders gering gehalten werden, insbesondere gegenüber manueller Lokalisierung beziehungsweise Klassifizierung der Oberflächenfehler 6.
Fig. 6 zeigt ein schematisches Verfahrensdiagramm eines Verfahrens zum Beurteilen 27 der jeweiligen Oberfläche 5 des Karosseriebauteils 3 des Kraftwagens mittels des trainierten künstlichen neuronalen Netzes 2. Mittels der optischen Erfassungseinrichtung 8 wird wenigstens ein Bild 9 der in dem Erfassungsbereich 10 der optischen Erfassungseinrichtung 8 angeordneten Oberfläche 5 des Karosseriebauteils 3 erfasst. In Abhängigkeit von dem erfassten Bild 9 wird das virtuelle Polygonnetz 11 der Oberfläche 5 erstellt. Somit kann das Polygonnetz 11 durch Digitalisierung des Karosseriebauteils 3 mittels der Erfassungseinrichtung 8 erzeugt werden.
Alternativ kann das virtuelle Polygonnetz 11 in Abhängigkeit von wenigstens einem Simulationsergebnis 28 einer, insbesondere strukturmechanischen und/oder thermomechanischen, Simulation 29 wenigstens eines Schrittes eines simulierten Herstellungsprozesses 30 des Karosseriebauteils 3 erstellt werden. Die Simulation 29 ist dabei vorzugsweise eine, insbesondere dreidimensionale, Finite-Elemente-Simulation (FEM). Die Simulation 29 wird dabei mit einer Soll-Geometrie 25 des Karosseriebauteils 3 durchgeführt. Das virtuelle Polygonnetz 11 wird vorzugsweise in der elektronischen Recheneinrichtung, insbesondere in der Datenbank, gespeichert.
Nach dem Erstellen des virtuellen Polygonnetzes 11 der Oberfläche 5 wird die die Krümmung charakterisierende Größe 18 für das virtuelle Polygonnetz 11 ermittelt. Somit ist es vorgesehen, dass die wenigstens eine die Krümmung des Polygonnetzes 11 charakterisierende Größe 18 an wenigstens einem Knoten 14 des virtuellen Polygonnetzes 11 ermittelt wird. Die die Krümmung charakterisierende Größe 18 des Polygonnetzes 11 wird vorzugsweise in der elektronischen Recheneinrichtung, insbesondere in der Datenbank, gespeichert.
In weiterer Ausgestaltung ist es vorgesehen, dass wenigstens eine zweidimensionale geometrische Abbildung 31 des Polygonnetzes 11 gebildet wird, wobei in Abhängigkeit von der geometrischen Abbildung 31 mittels des künstlichen neuronalen Netzes 2 wenigstens eine einen Oberflächenfehler 6 der Oberfläche 5 charakterisierende Ausgangsgröße 32 ermittelt wird. Fig. 7 zeigt in einer schematischen Darstellung eine Veranschaulichung des neuronalen Netzes 2 bzw. eine Vorhersage der Ausgangsgröße 32 in Abhängigkeit von der geometrischen Abbildung 31. Vorzugsweise ist es vorgesehen, dass wenigstens einem Bildpunkt 20 der geometrischen Abbildung 31 die jeweilige die Krümmung des Polygonnetzes 11 charakterisierende Größe 18 zugeordnet wird.
Die geometrische Abbildung 31 unterscheidet sich insbesondere dadurch von der geometrischen Abbildung 19, dass die geometrische Abbildung 31 nicht die Oberflächenfehler 6 bzw. den Begrenzungsrahmen 22 umfasst. Somit ist die geometrische Abbildung 31 frei von den Oberflächenfehlern 6 bzw. dem Begrenzungsrahmen 22. Dadurch kann die geometrische Abbildung 31 als Eingangsgröße des künstlichen neuronalen Netzes 2 verwendet werden.
Beispielsweise kann für das Polygonnetz 11 genau eine geometrische Abbildung 31 gebildet wird, wobei dem wenigstens einen Bildpunkt 20 der genau einen geometrischen Abbildung 31 mehrere, insbesondere alle, der Teilgrößen 18a - d der die jeweilige Krümmung charakterisierenden Größe 18 zugeordnet werden. Alternativ können für das Polygonnetze 11 mehrere geometrische Abbildungen 31 gebildet werden, wobei jeder der mehreren geometrischen Abbildungen 31 an wenigstens einem der Bildpunkte 20 jeweils genau eine der T eilgrößen 18a - d zugeordnet wird.
Beispielsweise kann einer ersten der geometrischen Abbildungen 31 an wenigstens einem der Bildpunkte 20 die erste Teilgröße 18a, insbesondere die erste Hauptkrümmung k1, zugeordnet werden. Alternativ oder zusätzlich kann einer zweiten der geometrischen Abbildungen 31 an wenigstens einem der Bildpunkte 20 die zweite Teilgröße 18b, insbesondere die zweite Hauptkrümmung k2, zugeordnet werden. Alternativ oder zusätzlich kann einer dritten der geometrischen Abbildungen 31 an wenigstens einem der Bildpunkte 20 die dritte Teilgröße 18c, insbesondere der Formindex s, zugeordnet werden. Alternativ oder zusätzlich kann einer vierten der geometrischen Abbildungen 31 an wenigstens einem der Bildpunkte 20 die vierte Teilgröße 18d, insbesondere der Intensitätsindex c, zugeordnet werden. Dies ist in Fig. 7 veranschaulicht.
In Abhängigkeit von dem wenigstens einen die die Krümmung charakterisierende Größe
18, welche insbesondere wenigstens eine der Teilgrößen 18a - d umfasst, zugeordneten Bildpunkt 20 wird mittels des künstlichen neuronalen Netzes 2 die den Oberflächenfehler 6 charakterisierende Ausgangsgröße 32 ermittelt. Mit anderen Worten ausgedrückt wird in Abhängigkeit von der geometrischen Abbildung 31 beziehungsweise den geometrischen Abbildungen 31 , welche die die Krümmung charakterisierende Größe 18, insbesondere wenigstens eine der Teilgrößen 18a - d, umfasst, mittels des künstlichen neuronalen Netzes 2 die den Oberflächenfehler 6 charakterisierende Ausgangsgröße 32 ermittelt wird. Somit wird zumindest mittelbar in Abhängigkeit von der die Krümmung charakterisierenden Größe 18 mittels des künstlichen neuronalen Netzes 2 die wenigstens eine den Oberflächenfehler 6 der Oberfläche 5 charakterisierende Ausgangsgröße 32 zum Beurteilen 27 der Oberfläche 5 ermittelt. Dadurch können digitale beziehungsweise digitalisierte Karosserieteile 3, insbesondere aus Werkzeugeinarbeit, mittels des trainierten neuronalen Netzes 2 hinsichtlich der Oberflächenfehler 6 beurteilt beziehungsweise bewertet werden. Dadurch können etwaige Oberflächenfehler 6 beispielweise in einer besonders frühen Entwicklungsphase des Karosseriebauteils 3 identifiziert, insbesondere lokalisiert beziehungsweise klassifiziert, werden. Somit können Herstellungsaufwand und Herstellungskosten der Karosseriebauteile 3 besonders gering gehalten werden, insbesondere gegenüber manueller Lokalisierung beziehungsweise Klassifizierung der Oberflächenfehler 6.
Die Ausgangsgröße 32 ist vorzugsweise ein insbesondere als Ergebnisvektor bezeichneter Vektor. Die Ausgangsgröße 32 kann identisch zu der den Oberflächenfehler 6 charakterisierenden Größe 7 sein oder die Ausgangsgröße 32 und die Größe 7 können zumindest teilweise unterschiedlich voneinander sein. Der Ergebnisvektor umfasst vorzugsweise mehrere Komponenten 33. Vorzugsweise umfasst wenigstens eine der Komponenten 33 Koordinaten des Begrenzungsrahmens 22. Somit kann mittels der Ausgangsgröße 32 die Lage bzw. Position des Oberflächenfehlers 6, welcher mittels des künstlichen neuronalen Netzes 2 vorhergesagt worden ist, lokalisiert werden. Vorzugsweise umfasst wenigstens eine der Komponenten die Klassifizierung des jeweiligen Oberflächenfehlers 6. Dadurch kann beispielsweise insbesondere als Fehlerart bezeichnete Klasse des Oberflächenfehlers 6 und/oder insbesondere als Fehlerintensität bezeichnete Fehlerschwere des Oberflächenfehlers 6 mittels des künstlichen neuronalen Netzes 2 vorhergesagt werden. Bezugszeichenliste
Trainieren neuronales Netz
Karosseriebauteil
Bewertung
Oberfläche
Oberflächenfehler
Größe
Erfassungseinrichtung
Bild
Erfassungsbereich
Polygonnetz
Polygon
Fläche
Knoten
Kante
Bereich
Bereich
Größe a erste Teilgröße b zweite Teilgröße c dritte Teilgröße d vierte Teilgröße
Abbildung
Bildpunkt
Teilbereich
Begrenzungsrahmen
Soll-Polygonnetz
Oberfläche
Soll-Geometrie
Abbildung
Beurteilen
Simulationsergebnis
Simulation
Herstellungsprozess 31 Abbildung
32 Ausgangsgröße
33 Komponenten
A Detailansicht c Intensitätsindex k1 erste Hauptkrümmung k2 zweite Hauptkrümmung s Formindex

Claims

33
Patentansprüche Verfahren zum Beurteilen (27) einer Oberfläche (5) eines Karosseriebauteils (3) eines Kraftwagens, wobei:
• ein virtuelles Polygonnetz (11) der Oberfläche (5) erstellt wird,
• wenigstens eine eine Krümmung des Polygonnetzes (11) charakterisierende Größe (18) an wenigstens einem Knoten (14) des Polygonnetzes (11) ermittelt wird und
• in Abhängigkeit von der die Krümmung charakterisierenden Größe (18) mittels eines künstlichen neuronalen Netzes (2) wenigstens eine einen Oberflächenfehler (6) der Oberfläche (5) charakterisierende Ausgangsgröße (32) zum Beurteilen (27) der Oberfläche (5) ermittelt wird. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass mittels einer optischen Erfassungseinrichtung (8) wenigstens ein Bild (9) der in einem Erfassungsbereich (10) der optischen Erfassungseinrichtung (8) angeordneten Oberfläche (5) erfasst wird, wobei in Abhängigkeit von dem Bild (9) das virtuelle Polygonnetz (11) erstellt wird. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das virtuelle Polygonnetz (11) in Abhängigkeit von wenigstens einem Simulationsergebnis (28) einer Simulation (29) wenigstens eines Schrittes eines Herstellungsprozesses (30) des Karosseriebauteils (3) erstellt wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass wenigstens eine zweidimensionale geometrische Abbildung (31) des Polygonnetzes (11) gebildet wird, wobei in Abhängigkeit von der geometrischen Abbildung (31) mittels des künstlichen neuronalen Netzes (2) die den Oberflächenfehler (6) charakterisierende Ausgangsgröße (32) ermittelt wird. 34 Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass wenigstens einem Bildpunkt (20) der geometrischen Abbildung (31) die jeweilige die Krümmung charakterisierende Größe (18) zugeordnet wird, wobei in Abhängigkeit von dem wenigstens einen die die Krümmung charakterisierende Größe (18) zugeordneten Bildpunkt (20) mittels des künstlichen neuronalen Netzes (2) die den Oberflächenfehler (6) charakterisierende Ausgangsgröße (32) ermittelt wird. Verfahren zum Trainieren (1) eines künstlichen neuronalen Netzes (2), dadurch gekennzeichnet, dass
• ein jeweiliges virtuelles Polygonnetz (11) wenigstens einer jeweiligen Oberfläche (5) einer Vielzahl von Karosseriebauteilen (3) erstellt wird,
• wenigstens eine jeweilige eine Krümmung des jeweiligen Polygonnetzes (11) charakterisierende Größe (18) an wenigstens einem Knoten (14) des jeweiligen Polygonnetzes (11) ermittelt wird und
• das künstliche neuronale Netz (2) mittels der die Krümmung charakterisierenden Größen (18) trainiert wird. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass eine jeweilige einen jeweiligen Oberflächenfehler (6) einer Oberfläche (5) des jeweiligen Karosseriebauteils (3) charakterisierende Größe (7) einem jeweiligen Polygon (12) des jeweiligen Polygonnetzes (11) zugeordnet wird. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass wenigstens eine zweidimensionale geometrische Abbildung (19) des jeweiligen Polygonnetzes (11) gebildet wird, wobei wenigstens einem Bildpunkt (20) der geometrischen Abbildung (19) die den jeweiligen Oberflächenfehler (6) charakterisierende Größe (7) zugeordnet wird und wobei das künstliche neuronale Netz (2) mittels der den jeweiligen Oberflächenfehler (6) umfassenden geometrischen Abbildung (19) trainiert wird. Verfahren nach Anspruch 8, in der jeweiligen geometrischen Abbildung (19) wenigstens ein Begrenzungsrahmen (22) erstellt wird, welcher den jeweiligen Bildpunkt (20), welchem die den jeweiligen Oberflächenfehler (6) charakterisierende Größe (7) zugeordnet ist, vollständig umgibt, wobei das neuronale Netz (2) mittels des Begrenzungsrahmens (22) trainiert wird. Verfahren nach einem der Ansprüche 6 bis 9, dadurch gekennzeichnet, dass ein jeweiliges virtuelles Soll-Polygonnetz (23) wenigstens einer jeweiligen Oberfläche (24) einer jeweiligen virtuellen Soll-Geometrie (25) des jeweiligen Karosseriebauteils (3) erstellt wird und wenigstens eine jeweilige zweidimensionale geometrische Abbildung (26) des jeweiligen Soll-Polygonnetzes (23) gebildet wird, wobei das künstliche neuronale Netz (2) mittels der jeweiligen geometrischen Abbildung (26) trainiert wird.
EP22762073.9A 2021-09-06 2022-08-10 Verfahren zum beurteilen einer oberfläche eines karosseriebauteils sowie verfahren zum trainieren eines künstlichen neuronalen netzes Pending EP4399675A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021122939.1A DE102021122939B4 (de) 2021-09-06 2021-09-06 Verfahren zum Beurteilen einer Oberfläche eines Karosseriebauteils sowie Verfahren zum Trainieren eines künstlichen neuronalen Netzes
PCT/EP2022/072442 WO2023030842A1 (de) 2021-09-06 2022-08-10 Verfahren zum beurteilen einer oberfläche eines karosseriebauteils sowie verfahren zum trainieren eines künstlichen neuronalen netzes

Publications (1)

Publication Number Publication Date
EP4399675A1 true EP4399675A1 (de) 2024-07-17

Family

ID=83151600

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22762073.9A Pending EP4399675A1 (de) 2021-09-06 2022-08-10 Verfahren zum beurteilen einer oberfläche eines karosseriebauteils sowie verfahren zum trainieren eines künstlichen neuronalen netzes

Country Status (5)

Country Link
US (1) US20240311991A1 (de)
EP (1) EP4399675A1 (de)
CN (1) CN117501308A (de)
DE (1) DE102021122939B4 (de)
WO (1) WO2023030842A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240067420A (ko) * 2022-11-09 2024-05-17 현대자동차주식회사 사이드 아우터 추출 시스템 및 사이드 아우터 추출 방법
CN117952954B (zh) * 2024-02-26 2024-12-27 河南许继仪表有限公司 应用bp神经网络的配电箱体数据解析系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR102016028266A2 (pt) 2016-12-01 2018-06-19 Autaza Tecnologia Ltda - Epp Método e sistema para a inspeção automática de qualidade de materiais
US10346969B1 (en) 2018-01-02 2019-07-09 Amazon Technologies, Inc. Detecting surface flaws using computer vision
DE102018207411A1 (de) 2018-05-14 2019-11-14 Audi Ag Verfahren zur Ermittlung von Messinformationen in einem optischen Koordinatenmessgerät
MX2021007733A (es) 2018-12-25 2021-08-05 Jfe Steel Corp Metodo de generacion de modelo aprendido, modelo aprendido, metodo de inspeccion de defectos de superficie, metodo de fabricacion de acero, metodo de determinacion de pasa/no pasa, metodo de determinacion de grado, programa de determinacion de defectos de superficie, programa de determinacion de pasa/no pasa, sistema de determinacion y equipo de fabricacion de acero.

Also Published As

Publication number Publication date
US20240311991A1 (en) 2024-09-19
DE102021122939A1 (de) 2023-03-09
WO2023030842A1 (de) 2023-03-09
DE102021122939B4 (de) 2023-06-01
CN117501308A (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
DE102018129425B4 (de) System zur Erkennung eines Bearbeitungsfehlers für ein Laserbearbeitungssystem zur Bearbeitung eines Werkstücks, Laserbearbeitungssystem zur Bearbeitung eines Werkstücks mittels eines Laserstrahls umfassend dasselbe und Verfahren zur Erkennung eines Bearbeitungsfehlers eines Laserbearbeitungssystems zur Bearbeitung eines Werkstücks
EP1173749B1 (de) Bildbearbeitung zur vorbereitung einer texturanalyse
DE69838581T2 (de) Verfahren zur determinierung von fehlern im form einer willkürlichen krummen oberflache
EP2753897B1 (de) Verfahren und vorrichtung zum erkennen von abweichungen einer oberfläche eines objekts
EP2284795A2 (de) Quantitative Analyse, Visualisierung und Bewegungskorrektur in dynamischen Prozessen
DE102016100101A1 (de) System zum maschinellen sehen und analytisches verfahren zur segmentierung planarer oberflächen
DE102021122939B4 (de) Verfahren zum Beurteilen einer Oberfläche eines Karosseriebauteils sowie Verfahren zum Trainieren eines künstlichen neuronalen Netzes
DE112023000151T5 (de) Inspektionsunterstützungssystem, inspektionsunterstützungsverfahren und inspektionsunterstützungsprogramm
DE102019120696B4 (de) Vorrichtung und Verfahren zur Reifenprüfung
WO2018206225A1 (de) Computerimplementiertes verfahren zur vermessung eines objekts aus einer digitalen darstellung des objekts
EP1882232B1 (de) Verfahren und vorrichtung zum bestimmen von materialgrenzen eines prüfobjekts
DE102020208474B4 (de) Messung der Empfindlichkeit von Klassifikatoren anhand zusammenwirkender Störungen
DE102009056467A1 (de) Verfahren zur Bestimmung von Oberflächen in Voxeldaten
DE112019007961T5 (de) Modellgenerator und aufnahmeroboter
DE10023377A1 (de) Verfahren zur Erhöhung der Leistungsfähigkeit einer Computereinrichtung bei Finite-Elemente-Simulationen und eine solche Computereinrichtung
DE102023209685A1 (de) Verfahren zum Bewerten eines Trainingsdatensatzes für ein Maschinenlernmodell
EP4202850A1 (de) Verfahren zur erfassung eines schadens an einem fahrzeug
EP1435065A1 (de) Automatische ermittlung von geometrischen modellen für optische teilerkennungen
EP3685349B1 (de) Verfahren zur erkennung einer geometrie eines teilbereichs eines objekts
EP4121950A1 (de) Verfahren zum analysieren eines bauteils, verfahren zum trainieren eines systems, vorrichtung, computerprogramm und computerlesbares speichermedium
WO2024132592A1 (de) Verfahren und vorrichtung zur erzeugung von anomaliekarten von fertigungsobjekten
EP4660574A1 (de) Verfahren zur generierung synthetischer daten von objekten, vorzugsweise von produkten
DE102019118924A1 (de) Verfahren und Vorrichtung zur Generierung von Trainingsdaten für ein maschinelles Lernverfahren zum Bestimmen von Merkmalen von Strukturauffälligkeiten eines räumlich ausgedehnten Objekts
DE102019208864A1 (de) Erkennungssystem, Arbeitsverfahren und Trainingsverfahren
DE102020212005B4 (de) Verfahren zur Bestimmung der für einen Bildklassifikator entscheidungsrelevanten Bildanteile

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240312

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20251022