EP4338135A1 - Bauteilklassifizierungsvorrichtung, verfahren zum klassifizieren von bauteilen und verfahren zum trainieren einer bauteilklassifizierungsvorrichtung - Google Patents

Bauteilklassifizierungsvorrichtung, verfahren zum klassifizieren von bauteilen und verfahren zum trainieren einer bauteilklassifizierungsvorrichtung

Info

Publication number
EP4338135A1
EP4338135A1 EP22719794.4A EP22719794A EP4338135A1 EP 4338135 A1 EP4338135 A1 EP 4338135A1 EP 22719794 A EP22719794 A EP 22719794A EP 4338135 A1 EP4338135 A1 EP 4338135A1
Authority
EP
European Patent Office
Prior art keywords
component
predetermined
classification device
features
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22719794.4A
Other languages
English (en)
French (fr)
Inventor
Fabian Steinhart
Rolf Burmeister
Ali-Reza Rahnama
Steffen Claus
Timo Pohl
Semih Dinc
Nico Koppold
Dominik Kugler
Sebastian Plamauer
Robin DEHDE
Verena Lang
Benjamin Braun
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MTU Aero Engines AG
Original Assignee
MTU Aero Engines AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE102021123761.0A external-priority patent/DE102021123761A1/de
Application filed by MTU Aero Engines AG filed Critical MTU Aero Engines AG
Publication of EP4338135A1 publication Critical patent/EP4338135A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • Component classification device method for classifying components and method for training a component classification device
  • the invention relates to a component classification device according to the features of the preamble of claim 1, a method for classifying components according to the features of the preamble of claim 9 and a method for training a component classification device according to the features of the preamble of claim 10.
  • US Pat. No. 9,934,563 B2 discloses a 3D object-based mechanical parts selection using 2D image processing.
  • the method provides for the generation of automatically rotated two-dimensional images of target objects to be recognized, such as machine parts, from a number of two-dimensional images of a target object.
  • a three-dimensional image of the target object is generated from the rotated two-dimensional images. This makes it possible to ensure image recognition even under insufficient lighting by performing the image recognition process for multiple images and learning the successful recognition results. 2
  • EP 1 942443 A1 discloses a method and a component classification device for identifying components.
  • the method provides for individual features of a component, which were formed by chance during its manufacture and/or processing, to be determined in defined areas and to be stored as a set of features for this component. It is provided that, in order to identify the component, it is examined in the defined areas for the presence of the individual features and the set of features of the component determined in the process is compared with the stored sets of features in order to identify the component in the event of identity or high similarity to identify.
  • the component classification apparatus for performing comprises an evaluation device for evaluating the quality of an object by comparing at least one actual dimensional parameter of the actual dimensional shape of the object with a corresponding desired parameter of the desired shape.
  • the component classification device includes an evaluation unit that is set up to determine a density of the object from a weight supplied by a weighing device and a volume of a nominal dimensional shape.
  • the object is achieved according to the invention by a component classification device according to the features of claim 1, a method for classifying components according to the features of claim 9 and a method for training a
  • a first aspect of the invention relates to a component classification device that is set up to classify components into predetermined component classes.
  • the component classification device includes a camera device that is set up to generate image data of the component to be classified.
  • the camera device of the component classification device is provided to record image data, which include images of the component to be classified, of the component.
  • the camera device can have one or more cameras which are set up to record images in the visible spectrum and/or in the infrared spectrum and/or in the ultraviolet spectrum of the component from respective perspectives.
  • the component classification device has a weighing device that is set up to generate weight data for the component to be classified. In other words, the weighing device is set up to record a weight of the component and to provide the weight in the weight data. 4
  • the component classification device has an expansion device which is set up to generate predetermined image features from the image data according to a predetermined image feature extraction method.
  • the evaluation device can include a processor and/or microcontroller, by means of which the predetermined image feature extraction methods can be executed.
  • the predetermined image feature extraction methods may include machine vision methods and/or predetermined image processing steps. Provision can be made for the image features to include edge profiles, curves or dimensions such as lengths or areas of the component, which are extracted from the image data using the image feature extraction method.
  • the evaluation device is also set up to feed the image data to a pre-trained first neural network and to generate predetermined bottleneck features of the image data from a bottleneck layer of the first neural network.
  • the evaluation device is set up to evaluate the image data with the first neural network and to extract the predetermined bottleneck features from the predetermined bottleneck layer of the first neural network.
  • the first neural network can in particular be a pre-trained neural network.
  • it can be a pre-trained convolutional neural network (CNN), such as the VGG16.
  • CNN convolutional neural network
  • transfer learning in particular can be used. In transfer learning, a neural network trained on a significantly larger dataset is used as the basis.
  • the first neural network can have several layers, so-called layers. The last layers are then cut off from this first neural network.
  • the last remaining layer of the pre-trained first neural network contains a high-dimensional, in particular 512-dimensional or more than 512-dimensional, representation of abstract information about the underlying image. This layer is the said bottleneck layer.
  • the bottleneck features include the described abstract information of the image data.
  • an artificial neural network can be understood as software code running on a 5 is stored on a computer-readable storage medium and represents one or more networked artificial neurons or can simulate their function.
  • the software code can also contain a number of software code components, which can have different functions, for example.
  • an artificial neural network can implement a nonlinear model or algorithm that maps an input to an output, where the input is given by an input feature vector or an input sequence and the output is, for example, an output category for a classification task, one or more may include predicted values or a predicted sequence.
  • the bottleneck features can be output features of the bottleneck layer of the first neural network.
  • the benefits and nature of the bottleneck layer and the bottleneck features are known from the neural network literature.
  • the bottleneck layer can be a middle or inner layer of the first neural network and can be arranged between two layers of the first neural network.
  • the bottleneck layer may differ from other of the layers of the first neural network by a smaller number of neurons and/or passed features. For this reason, the output features of the bottleneck layer, said bottleneck features, can have a smaller dimensionality than output features of the other layers of the first neural network.
  • the bottleneck features can thus enable a low-dimensional representation of the input data, for example the image data, which is supplied to the first neural network.
  • Bottleneck features can, for example, be based on image features, e.g. on edges, textures, homogeneous surface areas. In contrast, the bottleneck features do not yet represent a final classification result.
  • the component classification device also includes a classification device that is set up to the component according to a predetermined classification method, based on the weight data, the image features and the bottleneck features at least one of 6 to assign a plurality of predetermined component classes which describe predetermined component groups and/or components.
  • the classification device is set up to determine which of the predetermined component classes can be assigned to the component.
  • the component classes can include different taxonomic levels and include, for example, component groups, component subgroups or specific component identification numbers. It can be provided, for example, that the component classes describe component groups such as screws, nuts or metal sheets or specific components.
  • the classification method can be understood as a computer algorithm that is able to identify the component to be classified in the image features, the bottleneck features and the weight data and assigns a corresponding component class to the component to be classified, the component classes from a predefined Set of component classes can be selected.
  • the assignment of a component class to the component to be classified can be understood in such a way that a corresponding confidence value or a probability that the component to be classified belongs to the corresponding component class is provided.
  • the algorithm for a component to be classified can provide such a confidence value or a probability for each of the component classes.
  • the assignment of the component class can include, for example, selecting or providing the component class with the highest confidence value or the greatest probability.
  • the classification method and/or the classification device can also be referred to as a classifier.
  • the advantage resulting from the invention is that the classification device is set up to generate a number of input features for the classification of the component, which include weight features, image features and the bottleneck features. This results in the advantage that a more reliable categorization of components is possible than is the case, for example, with categorizations that are only based on image features.
  • the invention also includes developments that result in further advantages.
  • the predetermined classification method includes an assignment by a second neural network.
  • the classification device is set up to carry out the classification method, the classification method including an assignment of the component to one of the predetermined component groups by means of a second neural network.
  • the bottleneck features, the image features and the weight features are provided as input variables to a neural network and the assignment to possible, predetermined component classes and/or components is performed by the second neural network. Provision can be made, for example, for the layers ignored in the first neural network to be replaced by new layers in the second neural network.
  • the bottleneck features, which are generated by the first neural network, the image features and the weight data can be supplied to these layers.
  • the layers of the second neural network can then be trained on an actual data set for categorizing the components.
  • the second neural network can learn, for example from the image information already preprocessed by the first neural network, the bottleneck features, to predict the component classes of components to be categorized.
  • this pre-processing significantly reduces the complexity and is therefore several orders of magnitude more resource-efficient than naive approaches.
  • the training of the second neural network can thus be carried out on a terminal such as a laptop. This can be advantageous in particular for training the classification device in order to save on more complex hardware.
  • a development of the invention provides that the classification device is set up to determine a respective probability value of the at least one component class in the predetermined classification method, which describes the probability with which the component is assigned to the component class. Provision can be made, for example, for the component to be assigned in a last layer of the second neural network. In this case, the respective probability value can be output by the last layer for at least some of the predetermined component classes, with which probability the component is assigned to the respective component class by the last layer of the second neural network. 8th
  • a development of the invention provides that the component classification device has a user interface, the component classification device being set up to output the at least one component class on the user interface.
  • the user interface can have, for example, a screen with an input device and/or a connection for communication with a computing unit.
  • a development of the invention provides that the component classification device is set up to receive predetermined assessment data relating to the component class or a manually specified component class at the user interface, with the component classification device being set up to reference the second neural network as a function of the assessment data to the determined component class and/or the specified manual component class.
  • the component classification device is set up to receive the assessment data which assesses the outputted accuracy of the component class.
  • the user interface may be possible for the user interface to have tactile devices or a touchscreen, which enables the user to enter an evaluation of the result of the classification by means of user inputs. Provision can be made, for example, for the user interface to enable a user to evaluate an output result as correct or incorrect.
  • the classification device is set up to use the assessment data or the manually specified component class as an input value for training the second neural network.
  • the second neural network is trained using the assessment data and/or the manually specified component class.
  • the user interface can thus fulfill two goals. On the one hand, it facilitates the validation of the results by a user for entering the assessment data into the component classification device, on the other hand, it allows training data to be generated. Accordingly, the component classifier may be retrained by the user, such as automatically or manually initiated. For example, training of the second neural network can be initiated. During training, for example, regression testing can be used to check whether the new model is at least as good as the previous version. 9
  • a development of the invention provides that the component classification device is set up to increase a data quantity of the image data according to a predetermined data augmentation method.
  • the component classification device is set up to supplement the captured image data with derived image data, which are generated from the captured image data.
  • the component classification device is set up to apply the predetermined data augmentation method, which can also be referred to as data expansion, to the captured image data in order to increase a data quantity of the image data.
  • the component classification device is set up, for example, to supplement the captured image data with the derived image data, the derived image data being derived from the captured image data.
  • the component classification device can be set up to supplement the image data with the derived image data in order to increase the amount of data in the image data. This results in the advantage that a larger amount of data can be provided for detecting the component or for training the second neural network of the component classification device.
  • a development of the invention provides that the component classification device is set up to generate the image features using a machine vision method.
  • the image classification data are generated by image processing and/or machine vision methods. It can be provided, for example, that edges, radii, dimensions and/or orientations can be extracted as the image features by methods of image processing and/or machine vision.
  • the predetermined image feature extraction method can include, for example, a Hough transformation, a segmentation, a Radon transformation, a silhouette intersection method and/or photogrammetric method steps. 10
  • a development of the invention provides that the component classification device is set up to detect edges and/or radii of curvature of the component as image features.
  • the image features can include edge lengths, radii of curvature or other geometric parameters. This results in the advantage that, for example, recorded dimensions can be used to determine the component class.
  • the predetermined classification method includes a random forest method.
  • at least one method step of the predetermined classification method includes a classification that takes place using a number of uncorrelated decision trees that may have developed during training of the classification method.
  • the second neural network has a feed-forward neural network architecture.
  • the second neural network is designed as a feedforward neural network. This means that information between layers of the second neural network is only passed on in one direction, the processing direction. As a result, the layers of the second neural network do not have any recurrent or feedback connections in which information is forwarded between the layers in the opposite direction to the processing direction.
  • a second aspect of the invention relates to a method for classifying a component by a component classification device. It is provided that image data of a component to be classified is generated by a camera device. Weight data of the component to be identified are generated by a weighing device. An evaluation device generates predetermined image features from the image data according to a predetermined image feature extraction method and the image data is fed to a pre-trained first neural network and bottleneck features of the image data are generated from a predetermined bottleneck layer of the first neural network. It is provided that at least one component class with regard to the component is assigned to the component by a classification device 11 is assigned according to a predetermined classification method based on the weight data, the image features and the bottleneck features from a plurality of predetermined component classes.
  • a third aspect of the invention relates to a method for training a component classification device.
  • image data of a component to be classified are generated by a camera device and weight data of the component to be classified are generated by a weighing device.
  • predetermined image feature extraction method predetermined image features are generated from the image data by an evaluation device.
  • the image data are fed to a pre-trained, first neural network by the evaluation device, and bottleneck features of the image data are generated from a bottleneck layer of the first neural network.
  • At least one predetermined component class is assigned to the component by a classification device according to a predetermined classification method, based on the weight data, the image features and the bottleneck features.
  • Evaluation data and/or a manually specified component class are received through a user interface of the component classification device and the predetermined classification method is adapted according to a predetermined adaptation method.
  • FIG. 1 shows a schematic representation of a component classification device
  • FIG. 2 shows a schematic representation of a method for classifying a component
  • FIG. 3 shows a schematic representation of a method for classifying a component
  • FIG. 4 shows a schematic representation of a neural network
  • FIG. 5 shows a schematic representation of images of the image data.
  • FIG. 1 shows a schematic representation of a component classification device.
  • the component classification device 1 can comprise a housing 2 in which the component 3 to be classified is to be arranged.
  • the component classification device 1 can have a weighing device 4 in the housing 2 which can be set up to record weight data 5 of the component 3 .
  • the component classification device 1 can also have a camera device 6 which can be set up to generate image data 7 of the component 3 .
  • the image data 7 can include images which can be recorded by cameras 8 of the camera device 6 from different perspectives of the component 3 . In order to be able to generate comparable image data 7 and weight data 5 of the component 3, it may be necessary to ensure constant recording conditions for the weight data 5 and the image data 7.
  • a storage surface 9 can be arranged, on which the component 3 can be arranged, for example, at a predetermined position 10 .
  • This enables the weight data 5 to be recorded accurately and uniformly.
  • the cameras 8 of the camera device 6 can be installed at different positions within the 13
  • the component classification device 1 can have an illumination device 11 which can illuminate the component 3 in the housing 2 .
  • the provision of the housing 2 and the lighting device 11 can ensure that light conditions or light tones can be constant for different detections.
  • the component classification device 1 can have an evaluation device 12 which can be set up to receive the image data 7 and to generate predetermined image features 13 from the image data 7 according to a predetermined image feature extraction method.
  • the predetermined image features 13 can have, for example, edge profiles and/or lengths, curves, radii of curvature, area dimensions, coordinates of bores or other detectable features.
  • the image features 13 can be extracted from the image data by machine vision and/or classic image processing.
  • the evaluation device is also set up to feed the image data 12 to a first pre-trained neural network.
  • the first neural network 23 can be trained on image data of different components or other objects, which does not have to include the component 3 . Provision can be made for the first neural network 23 to be trained on an image data set, which includes objects whose number and variations can be greater than that of the components 3 to be detected.
  • the component classification device 1 can have a classification device 15 which can be set up to receive the image features 13 , bottleneck features 14 and weight data 5 .
  • the classification device 15 can supply the received features to a predetermined classification method in order to classify the component 3 according to the predetermined classification method based on the weight data 5, the image features 13 and the bottleneck features 14.
  • the classification method can include the second neural network, for example, it being possible for the features described to be provided to the second neural network.
  • the second neural network can be provided for assigning at least one of a plurality of component classes 16 to the component 3 .
  • the component classes 16 can be predetermined and respective component class groups, subgroups 14 or describe specific components.
  • the second neural network can access the training data of the first neural network 23 in order to enable the component 3 to be classified. It is provided that the second neural network is trained on components 3, which are to be categorized below. It may be that the classification device 15 is set up to assign respective probabilities 17 to the determined component classes 16 , which indicate the probability with which the component 3 can be assigned to the respective component classes 16 .
  • the component classification device 1 can have a user interface 18 which is set up to output the determined component classes 15 and the probability values 17 to a user of the component classification device 1 .
  • the user interface 18 can have a touch screen, for example.
  • the user interface 18 can be set up to record predetermined user inputs and/or to receive predetermined assessment data or manually specified component classes 16 of the component 3 . This can make it possible for a user to replace the assigned component class 16 with a manually specified category if the component 3 has been incorrectly classified by the component classification device 1 .
  • the assessment data 19 can be used to assess whether a classification is incorrect or correct.
  • the received assessment data 19 can be fed to the evaluation device 12 and/or the classification device 15 .
  • the classification device 15 can train the second neural network based on the assessment data 19 . This makes it possible for further components 3 to be added for detection and/or for the accuracy of the second neural network to be increased.
  • the component classification device 1 can have, for example, nine cameras 8 which can be arranged in the housing 2 .
  • the cameras 8 can be provided for generating the image data 7 .
  • the weighing device 4 as an additional sensor system is used to determine the weight of the respective component 3.
  • the component to be recognized is placed on the shelf in the box and then recognized via geometry and weight comparison.
  • the detection process time is around 1 second. Cooling is installed outside the box to ensure the temperature of the processor. Playback of the recognized 15
  • the part number occurs on a separate screen with a user interface, the user interface 18.
  • the component classification device 1 can reproduce suggestions for possible part numbers and/or component classes 16 with a percentage hit probability as probability values 17 in this interface.
  • FIG. 2 shows a schematic representation of a method for classifying a component (3). It can be provided that at the beginning of the classification method, an image recording S1 is carried out to generate the image data 7 and a weight measurement S2 is carried out to generate the weight data (5). Provision can be made for the image data 7 generated during the image recording S1 to be transformed using a predetermined data augmentation method S3 in order to generate transformed image data 7 .
  • the data augmentation method can determine predetermined transformations, which can include, for example, filters, rotations, reflections, occlusions of the individual images 20 . As a result, the images 20 are varied and the number of images 20 provided is thus increased.
  • the additionally generated image data 7 can be added to the image data 7 in a step S4.
  • a step S5 it can be provided that the image data 7 is transformed in order to minimize the images 20 to an area tailored to the component 3 .
  • the area in which the component 3 to be detected is located is detected in the individual images. Areas in which the component 3 is not located can be separated during the method step S6, so that the amount of data in the images 20 can be minimized.
  • the image data 7 can be evaluated in two subsequent method steps S7 and S8 in order to extract the bottleneck features 14 (S9) and to recognize the image features 13 (S10).
  • the image data 7 can be supplied to a pre-trained first neural network 23 to provide the bottleneck features 14.
  • the features provided in this layer can be extracted as bottleneck features 14 in a predetermined bottleneck layer 26 of the first neural network 24 .
  • an image feature of the extraction method S8 can be carried out, which can extract predetermined image features 13 from the image data 7 .
  • the predetermined image features 13 can include, for example, positions or lengths of edges, curves or bores.
  • the image features 13, the bottleneck features 14 and the weight data 5 can be transferred to a classifier in the classification device 15. 16 which can then assign at least one of several predetermined component classes 16 to the component 3 .
  • FIG. 3 shows a schematic representation of a method for classifying a component.
  • the weight data 5 can be provided by the weighing device 4 .
  • Image data 7 can be provided by the camera device 6 .
  • the image data 7 can be present as raw data.
  • transformed images 20 can be generated, which can be supplied to the image data set.
  • the images 20 can be cropped in order to only pass on a relevant area of the image. Pruning S6 can also be referred to as cropping.
  • a cropped image 21 is thereby generated.
  • the cropped image 21 can be fed to the process S8, which can recognize and extract the predetermined image features.
  • the image data can also be supplied to the first neural network (S7) in order to enable the bottleneck features to be extracted from a predetermined bottleneck layer.
  • Steps S6 to S8 can be regarded as pre-processing and describe how a recorded image 20 of the image data 7 can be processed so that the image features 13 and the bottleneck features 14 can be provided to the classification device 15 .
  • 9 images can be recorded as image data 7 and the weight data 5 from the component 3 at the same time.
  • the predetermined augmentation method can be used to obtain more images of the component 3 .
  • the existing image data 7 is expanded with new images, in that the new images are generated randomly through transformations of the captured images 20 .
  • an image 21 can be recreated by rotation, mirroring, or displacement.
  • the model receives new image data for training, but the classification process does not receive two completely identical images.
  • the component 3 is recognized in the image 30 using a bounding box detection and cropped to form an image 21 . 17
  • FIG. 4 shows a possible structure of the first neural network.
  • the first neural network may be provided 23 to provide the bottleneck features.
  • the image data or a cropped image can now be fed to a pre-trained Convolutional Neural Network (CNN) (first neural network) and an OpenCV.
  • the pre-trained CNN can be the VGG16, which is pre-trained on the ImageNet data set and can accept 224 ⁇ 224 images as input data. Therefore, the cropped image 24 can be scaled to the same size and then passed to the VGG16 architecture.
  • the first neural network may include multiple layers 25, also known as a convolution block. After a final convolution block, which may be the bottleneck layer 26, global average pooling may be applied.
  • the bottleneck features come out as an output.
  • the learned representations are used to extract interesting features from new samples and transfer them to the new classifier. A total of 512 individual elements of the bottleneck features are taken and fed to the classifier (classification process).
  • FIG. 5 shows a schematic representation of images of the image data. It can also extract some image features of the image data about the part's mask, including width and height in pixels, area of convex hull, and more. A total of 19 extracted features can be obtained as image features from the openCV and also transferred to the classifier classification process. The classifier also receives information about the weight of the component. The images 21 can be rotated and masked to form the respective images 22 so that the image features such as lengths or radii can then be extracted from them.
  • Components can be classified based on their weight data, their image features and their bottleneck features, i.e. assigned to a predicted class.
  • two different classifiers can be trained as classification methods.
  • the classification method can have a random forest method and/or a dense layer (feed forward neural network) as the second neural network.
  • feed forward neural network feed forward neural network
  • both the training and the classification time can play a role.
  • the training time describes how long the algorithm needs to learn the relationships between properties and component classes.
  • the training time will 18 determined by the process and the amount of data used. While the classification time defines how long it takes the algorithm to perform a classification based on the properties. It depends on the procedure and the number of properties.
  • a training database is required, which has to be set up beforehand.
  • metaclasses can be programmed that contain special features to better recognize similar components.
  • the user can first enter the engine type in the user interface, which reduces the solution space to components that are only available in the engine type entered
  • the suggested part number of the component is then displayed as a result in the user interface with the determination of the hit probability and its affiliation to a referenced parts list.
  • OCR optical character regognition
  • Machine vision and classic image processing are preferred solutions for very different components for a small solution space.
  • the component classification device 1 can make it possible to automate some processes in engine disassembly (for example bulk material kitting). The components could be detected quickly and safely without human intervention.
  • the components can be captured based on their geometry using machine vision and classic image processing using machine leasing.
  • the image is recorded by several cameras.
  • the weight of the component is recorded by a weight sensor under the support surface.
  • the collected data is processed by the trained machine learning model, compared with the learned components of the given engine type and a classification is made automatically.
  • the system set up in this way learns through feedback from employees and is able to record new component numbers in a short time by retraining the system.
  • the component classification device 1 can be used to recognize the part number of the component; serial numbers can additionally be recognized in one embodiment of the component classification device.
  • a qualified appraisal of the components must be carried out in previous or subsequent processes, since no damage can be detected by the component classification device. Due to their dimensions, the housing 2 of the component classification device 1 designed for the current machine vision process can only recognize components with a maximum size of 80 mm ⁇ 80 mm ⁇ 50 mm. The maximum component weight is limited to 10 kg.
  • the component classification device 1 recognizes components with a probability of up to 98% if the component has been trained approximately 4-5 times. Ideally, the user should train the same component (i.e. different individuals/instances) 4-5 times. The performance can still change due to the new hardware structure and changed classification in the machine leasing algorithm. 20
  • the components should be automatically recognized by the camera device and other sensor systems. If, in addition to a camera device, which may also include several cameras, other sensors are required for reliable detection of the component, these are included in the decision-making process.
  • the user can confirm the decision or, in the event of a tie, select the correct class from up to three component classes.
  • the components can be roughly divided according to the three dimensions "component condition: new/old”, “geometry: identical, similar, different” and “component number: available/not available”.
  • the data set obtained can include camera and sensor recordings of individual components and the associated component class.
  • the accuracy of the developed system can be evaluated based on the accuracy (percentage of predictions in which the actual component class is within the predicted class or in the three most likely component classes).
  • a technically simple possibility can also be implemented to integrate new part numbers (components) into the system. 21
  • the classification can be based on deep learning.
  • transfer learning can be used here, since the data set consists of only a few hundred images.
  • a neural network trained on a significantly larger dataset is used as the basis.
  • the last "layers” are then cut off from this and replaced by new layers, which are then trained on the actual data set.
  • the validated hypothesis here is that the first layers of a neural network are particularly relevant for feature extraction, for example edge and corner filtering.
  • the last remaining layer of the pre-trained network then contains a high-dimensional (usually 512-dimensional) representation of abstract information about the underlying image. You only have to learn to predict the component classes from this already pre-processed image information.
  • this pre-processing significantly reduces the complexity and is therefore several orders of magnitude more resource-efficient than naive approaches.
  • the training can be carried out on any device, including a laptop. This will be particularly relevant for the self-learning component of the model to be developed, so that no unnecessarily expensive or complex hardware is required
  • a large number of component classes can be differentiated by the component classification device. For this piercing, this amount is reduced to a fraction (less than five hundred).
  • Hierarchical classifications for example, can be used for this. This allows a decision tree to be traversed to determine the correct component class, rather than distinguishing between thousands of components with a single measurement. The advantage here is that you can use different criteria, methods and models depending on the level in the decision tree. At least a two-stage classification seems sensible, since neural networks can get problems with such extremely high-dimensional (one dimension per possible class, i.e. over ten thousand).
  • the additional sensor data can be used in pre-sorting or to resolve uncertainties in the prediction.
  • Possible approaches to automatic generation 22 of such a decision tree when adding new component classes can: be generated on the basis of existing metadata, i.e. hierarchical information by assignment in object groups; by pre-sorting the object properties, such as weight or other properties; a classification without mapping the actual target class in the model and taking over the predominant object group of the predicted component classes for the object previously unknown to the system. Based on this generated tree, the parameters of the underlying models and decision threshold values can then be retrained/defined automatically as well. If necessary, only a small part of the overall model can be modified, which should significantly reduce the computational effort.
  • a form of regression testing can be used, for example, in which a predefined test data set is generated on which the initial model achieves a certain level of accuracy.
  • this new version is evaluated on the same test data set and only accepted if the model quality is at least as good as that of the predecessor.
  • the program code can be developed in Python, for example, due to the wide availability of helpful frameworks and libraries in the field of artificial intelligence and computer vision.
  • the model which can be formed by the second neural network, for example, can in principle be further improved and expanded in two ways: (manual) addition of new component classes. This can optimally be enabled by the user interface so that a user can add new component classes himself. Data points for the new component class could then be recorded manually by input or automatically by sensor/camera measurements; (Automated) further learning of the model: the user interface can fulfill two goals: On the one hand, it facilitates the validation of the image analysis by the user for input into the target system, on the other hand, it allows the continuous generation of training data. Accordingly, the system can be retrained regularly (automatically or manually triggered). Quality assurance is important here, by checking (e.g. through the regression testing mentioned above) whether the new model is at least as good as the previous version. 23

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft eine Bauteilklassifizierungsvorrichtung (1) zur Klassifizierung von Bauteilen (3) in vorbestimmte Bauteilklassen (16), aufweisend eine Kameraeinrichtung (6), eingerichtet zur Generierung von Bilddaten (7) eines zu klassifizierenden Bauteils (3), eine Wiegeeinrichtung (4), eingerichtet zur Generierung von Gewichtsdaten (5) des zu klassifizierenden Bauteils (3). Die Bauteilklassifizierungsvorrichtung (1) weist eine Auswerteeinrichtung (12) auf, die dazu eingerichtet ist, vorbestimmte Bildmerkmale (13) nach einem vorbestimmten Bildmerkmalsextraktionsverfahren aus den Bilddaten (7) zu generieren, und die Bilddaten (7) einem vortrainierten, ersten neuronalen Netz zuzuführen, und Bottleneckmerkmale (14) der Bilddaten (7) aus einer vorbestimmten Bottleneckschicht (25) des ersten neuronalen Netzes (23) zu generieren. Die Bauteilklassifizierungsvorrichtung (1) weist eine Klassifizierungseinrichtung (15) auf, die dazu eingerichtet ist, dem Bauteil (3) nach einem vorbestimmten Klassifizierungsverfahren, basierend auf den Gewichtsdaten (5), den Bildmerkmalen (13) und den Bottleneckmerkmalen (14), zumindest eine von mehreren vorbestimmten Bauteilklassen (16), welche vorbestimmte Bauteilgruppen und/oder Bauteile (3) beschreiben zuzuweisen.

Description

1
Bauteilklassifizierungsvorrichtung, Verfahren zum Klassifizieren von Bauteilen und Verfahren zum Trainieren einer Bauteilklassifizierungsvorrichtung
Beschreibung
Die Erfindung betrifft eine Bauteilklassifizierungsvorrichtung gemäß den Merkmalen des Oberbegriffs des Anspruchs 1, ein Verfahren zum Klassifizieren von Bauteilen gemäß den Merkmalen des Oberbegriffs des Anspruchs 9 sowie ein Verfahren zum Trainieren einer Bauteilklassifizierungsvorrichtung gemäß den Merkmalen des Oberbegriffs des Anspruchs 10.
Bei einer Demontage eines Geräts wie beispielsweise einer Flugzeugturbine fällt eine Vielzahl an Bauteilen der Flugzeugturbine an. Um einen Aufwand bei der Kategorisierung der dabei angefallenen Bauteile zu ermöglichen, ist es üblich, Schrifterkennungsverfahren anzuwenden, welche es ermöglichen, eine an dem Bauteil bereitgestellte Teilenummer oder Seriennummer zu erfassen. Dabei ergibt sich jedoch das Problem, dass aufgrund von Abnutzungen, Verschmutzungen oder aufgrund der metallischen Eigenschaften eine automatisierte Texterfassung nur eingeschränkt möglich ist. Eine andere Möglichkeit, die Kategorisierung von Bauteilen zu vereinfachen, besteht in einer Anwendung von Verfahren klassischer Bildverarbeitung und/oder Verfahren maschinellen Sehens. Aufgrund einer großen Anzahl von Klassen der Bauteile und relativ geringen Abweichungen zwischen den Bauteilen reichen Verfahren maschinellen Sehens jedoch nicht aus, um eine zuverlässige Kategorisierung der Bauteile zu ermöglichen.
In der US 9,934,563 B2 ist eine 3D-objektbasierte mechanische Teileauswahl durch 2D- Bildverarbeitung offenbart. In dem Verfahren ist es vorgesehen, aus einer Anzahl von zweidimensionalen Bildern eines Zielobjekts automatisch gedrehte zweidimensionale Bilder von zu erkennenden Ziel Objekten wie zum Beispiel Maschinenteilen zu generieren. Aus den gedrehten zweidimensionalen Bildern wird ein dreidimensionales Bild des Ziel Objekts generiert. Dadurch ist es möglich, eine Bilderkennung auch bei unzureichender Beleuchtung sicherzustellen, indem der Bilderkennungsprozess für mehrere Bilder durchgeführt und die erfolgreichen Erkennungsergebnisse gelernt werden. 2
In der EP 1 942443 Al sind ein Verfahren und eine Bauteilklassifizierungsvorrichtung zum Identifizieren von Bauteilen offenbart. In dem Verfahren ist es vorgesehen, individuelle Merkmale eines Bauteils, welche zufällig bei seiner Herstellung und/oder Bearbeitung ausgebildet wurden, in definierten Bereichen zu ermitteln und als ein Satz von Merkmalen für dieses Bauteil zu speichern. Es ist vorgesehen, dass zur Identifikation des Bauteils, dieses in den definierten Bereichen auf das Vorhandensein der individuellen Merkmale untersucht wird und der dabei ermittelte Satz von Merkmalen des Bauteils jeweils mit den gespeicherten Sätzen von Merkmalen verglichen wird, um bei Identität oder hoher Ähnlichkeit das Bauteil zu identifizieren.
In der DE 195 27 147 Al sind ein Verfahren und eine Bauteilklassifizierungsvorrichtung zur Qualitätsprüfung von geformten Teilen offenbart. Die Bauteilklassifizierungsvorrichtung zur Durchführung der umfasst eine Bewertungseinrichtung zur Bewertung der Qualität eines Gegenstandes durch Vergleich mindestens eines tatsächlichen Maßparameters der tatsächlichen Maßform des Gegenstandes mit einem entsprechenden gewünschten Parameter der gewünschten Form. Die Bauteilklassifizierungsvorrichtung umfasst eine Auswerteeinheit, die dazu eingerichtet ist, eine Dichte des Gegenstands aus einem von einer Wiegeeinrichtung gelieferten Gewicht und einem Volumen einer Sollmaßform zu bestimmen.
In der an der Uni Gießen vorgelegten Dissertation „Automatisierte Detektion und Extraktion von Elektroschrottkomponenten mit Methoden der Bildverarbeitung und des maschinellen Lernens im Hinblick auf das Tantal -Recycling“ von Johannes Rücker ist ein Verfahren beschrieben, in welchem durch ein Erkennungssystem Leiterplatten mit bildgebenden Sensoren vermessen werden und die damit gewonnenen Daten mit Verfahren des maschinellen Lernens und der Bildverarbeitung ausgewertet werden. Dabei werden die Daten segmentiert und anschließend klassifiziert.
In einer Veröffentlichung SUN, Weichen, et al. Small sample parts recognition and localization from unfocused images in precision assembly Systems using relative entropy. Precision Engineering, 2021, 68. Jg., S. 206-217; ist eine Bauteilerkennungs- und Lokalisierungsmethode beschrieben, welche auf relativer Entropie basiert und auf kleine Proben angewandt werden kann. Dabei ist es vorgesehen, dass ein Vorlagenbild, basierend auf Konturen eines Bauteils 3 generiert wird und in mehrere Regionen unterteilt wird. Eine Intensitätsverteilung der Regionen wurde aufgenommen, um Vorlagenmerkmale zu generieren.
In einer Veröffentlichung JAIN, Tushar; MEENU, Dr HK. Machine Vision System for Industrial Parts Recognition; ist ein Verfahren maschinellen Sehens zur Erkennung industrieller Bauteile offenbart.
Es ist eine Aufgabe der Erfindung, eine zuverlässige, automatisierte Klassifizierung von Bauteilen zu ermöglichen.
Die Aufgabe wird erfindungsgemäß durch eine Bauteilklassifizierungsvorrichtung gemäß den Merkmalen des Anspruchs 1, ein Verfahren zum Klassifizieren von Bauteilen gemäß den Merkmalen des Anspruchs 9 sowie ein Verfahren zum Trainieren einer
Bauteilklassifizierungsvorrichtung gemäß den Merkmalen des Anspruchs 10 gelöst. Vorteilhafte Ausgestaltungen mit zweckmäßigen Weiterbildungen der Erfindung sind in den jeweiligen Unteransprüchen angegeben, wobei vor-teilhafte Ausgestaltungen jedes Erfmdungsaspekts als vorteilhafte Ausgestaltungen der jeweils anderen Erfmdungsaspekte anzusehen sind.
Ein erster Aspekt der Erfindung betrifft eine Bauteilklassifizierungsvorrichtung, die zur Klassifizierung von Bauteilen in vorbestimmte Bauteilklassen eingerichtet ist. Die Bauteilklassifizierungsvorrichtung umfasst eine Kameraeinrichtung, die dazu eingerichtet ist, Bilddaten des zu klassifizierenden Bauteils zu generieren. Mit anderen Worten ist die Kameraeinrichtung der Bauteilklassifizierungsvorrichtung dazu vorgesehen, Bilddaten, welche Bilder des zu klassifizierenden Bauteils umfassen, von dem Bauteil aufzunehmen. Die Kameraeinrichtung kann eine oder mehrere Kameras aufweisen, welche dazu eingerichtet sind, Bilder im sichtbaren Spektrum und/oder im Infrarotspektrum und/oder im ultravioletten Spektrum von dem Bauteil aus jeweiligen Perspektiven aufzunehmen. Die Bauteilklassifizierungsvorrichtung weist eine Wiegeeinrichtung auf, die dazu eingerichtet ist, Gewichtsdaten des zu klassifizierenden Bauteils zu generieren. Mit anderen Worten ist die Wiegeeinrichtung dazu eingerichtet, ein Gewicht des Bauteils zu erfassen und das Gewicht in den Gewichtsdaten bereitzustellen. 4
Die Bauteilklassifiziemngsvorrichtung weist eine Ausweiteeinrichtung auf, die dazu eingerichtet ist, vorbestimmte Bildmerkmale nach einem vorbestimmten Bildmerkmalsextraktionsverfahren aus den Bilddaten zu generieren. Die Auswerteeinrichtung kann einen Prozessor und/oder Microcontroller umfassen, durch welche die vorbestimmten Bildmerkmalsextraktionsverfahren ausgeführt werden können. Die vorbestimmten Bildmerkmalsextraktionsverfahren können Verfahren maschinellen Sehens und/oder vorbestimmte Bildverarbeitungsschritte umfassen. Es kann vorgesehen sein, dass die Bildmerkmale Kantenverläufe, Rundungen oder Abmessungen wie beispielsweise Längen oder Flächen des Bauteils umfassen können, welche mittels des Bildmerkmalsextraktionsverfahrens aus den Bilddaten extrahiert sind.
Die Auswerteeinrichtung ist zudem dazu eingerichtet, die Bilddaten einem vortrainierten ersten neuronalem Netz zuzuführen und vorbestimmte Bottleneckmerkmale der Bilddaten aus einer Bottleneckschicht des ersten neuronalen Netzes zu generieren. Mit anderen Worten ist die Auswerteeinrichtung dazu eingerichtet, die Bilddaten mit dem ersten neuronalen Netz auszuwerten und aus der vorbestimmten Bottleneckschicht des ersten neuronalen Netzes die vorbestimmten Bottleneckmerkmale zu extrahieren. Bei dem ersten neuronalen Netz kann es sich insbesondere um ein vortrainiertes neuronales Netz handeln. Es kann beispielsweise ein vortrainiertes Convolutional neuronal Network (CNN) sein, wie beispielsweise das VGG16. Dadurch kann insbesondere Transfer Learning angewendet werden. Beim Transfer Learning wird ein auf einem deutlich größeren Datensatz trainiertes neuronales Netz als Basis verwendet. Die ist vorteilhaft, wenn ein Datensatz von Bilddaten zu erkennender Bauteile und/oder zu erkennender Bauteilgruppen nur aus wenigen hundert Bildern besteht, welche nicht zu einem Trainieren eines neuronalen Netzes ausreichen würden. Das erste neuronale Netz kann mehrere Schichten, sogenannte Layer aufweisen. Von diesem ersten neuronalen Netz werden dann die letzten Schichten abgeschnitten. Eine validierte Hypothese hierbei ist, dass insbesondere die ersten Schichten eines neuronalen Netzes für die Merkmalsextraktion, also zum Beispiel eine Kanten- und Eckenfilterung, relevant sind. Die letzte verbleibende Schicht des vortrainierten ersten neuronalen Netzes enthält eine hochdimensionale, insbesondere 512- dimensionale oder mehr als 512-dimensionale, Repräsentation von abstrakten Informationen über das zugrundeliegende Bild. Diese Schicht ist die besagte Bottleneckschicht. Die Bottleneckmerkmale umfassen die beschriebenen abstrakten Informationen der Bilddaten. Hier und im Folgenden kann ein künstliches neuronales Netzwerk als Softwarecode verstanden werden, der auf einem 5 computerlesbaren Speichermedium gespeichert ist und eines oder mehrere vernetzte künstliche Neuronen repräsentiert beziehungsweise deren Funktion nachbilden kann. Der Softwarecode kann dabei auch mehrere Softwarecodekomponenten beinhalten, die beispielsweise unterschiedliche Funktionen haben können. Insbesondere kann ein künstliches neuronales Netzwerk ein nichtlineares Modell oder einen nichtlinearen Algorithmus implementieren, das beziehungsweise der eine Eingabe auf eine Ausgabe abbildet, wobei die Eingabe durch einen Eingangsmerkmalsvektor oder eine Eingangssequenz gegeben ist und die Ausgabe beispielsweise eine ausgegebenen Kategorie für eine Klassifizierungsaufgabe, einen oder mehrere prädizierte Werte oder eine prädizierte Sequenz beinhalten kann.
Die Bottleneckmerkmale können Ausgangsmerkmale der Bottleneckschicht des ersten neuronalen Netzes sein. Die Vorteile und Beschaffenheit der Bottleneckschicht und der Bottleneckmerkmale sind aus der Fachliteratur zu neuronalen Netzen bekannt. Die Bottleneckschicht kann eine mittlere oder innere Schicht des ersten neuronalen Netzes sein und zwischen zwei Schichten des ersten neuronalen Netzes angeordnet sein. Die Bottleneckschicht kann sich von anderen der Schichten des ersten neuronalen Netzes durch eine geringere Anzahl an Neuronen und/oder übergebener Merkmale unterscheiden. Die Ausgangsmerkmale der Bottleneckschicht, die besagten Bottleneckmerkmale, können aus diesem Grund eine kleinere Dimensionalität aufweisen als Ausgangsmerkmale der anderen Schichten des ersten neuronalen Netzes. Die Bottleneckmerkmale können somit eine niedrigdimensionale Darstellung der Eingabedaten, beispielsweise den Bilddaten, ermöglichen, welche dem ersten neuronalen Netz zugeführt sind. Es kann in der Erfindung auch vorgesehen sein, Ausgabemerkmale einer beliebigen Schicht des ersten neuronalen Netzes als Bottleneckmerkmale zu verstehen. Dies kann beispielsweise vorgesehen sein, wenn eine vorbestimmte Schicht des ersten neuronalen Netzes Ausgangsmerkmale ausgibt, welche zu einer Klassifizierung des Bauteils geeignet sind. Bottleneckmerkmale können beispielsweise auf Bildmerkmalen beruhen, z.B. auf Kanten, Texturen, homogenen Flächenbereichen. Dagegen stellen die Bottleneckmerkmale noch kein finales Klassifizierungsergebnis dar.
Die Bauteilklassifizierungsvorrichtung umfasst auch eine Klassifizierungseinrichtung, die dazu eingerichtet ist, dem Bauteil nach einem vorbestimmten Klassifizierungsverfahren, basierend auf den Gewichtsdaten, den Bildmerkmalen und den Bottleneckmerkmalen zumindest eine von 6 mehreren vorbestimmten Bauteilklassen, welche vorbestimmte Bauteilgruppen und/oder Bauteile beschreiben, zuzuweisen. Mit anderen Worten ist es die Klassifizierungseinrichtung dazu eingerichtet, zu ermitteln, welche der vorbestimmten Bauteilklassen dem Bauteil zugeordnet werden können. Die Bauteilklassen können unterschiedliche taxonomische Stufen umfassen und beispielsweise Bauteilgruppen, Bauteiluntergruppen oder konkrete Bauteilerkennungsnummem umfassen. Es kann beispielsweise vorgesehen sein, dass durch die Bauteilklassen Bauteilgruppen wie beispielsweise Schrauben, Muttern oder Bleche beschrieben sind oder konkrete Bauteile.
Hier und im Folgenden kann das Klassifizierungsverfahren als ein Computeralgorithmus verstanden werden, der in der Lage ist, das zu klassifizierende Bauteil in den Bildmerkmalen, den Bottleneckmerkmalen und den Gewichtsdaten zu identifizieren und dem zu klassifizierenden Bauteil eine entsprechende Bauteilklasse zuordnet, wobei die Bauteilklassen aus einem vordefinierten Satz von Bauteilklassen ausgewählt werden können. Dabei kann die Zuweisung einer Bauteilklasse zu dem zu klassifizierenden Bauteil derart verstanden werden, dass ein entsprechender Konfidenzwert oder eine Wahrscheinlichkeit dafür, dass das zu klassifizierende Bauteil zu der entsprechenden Bauteilklasse gehört, bereitgestellt wird. Zum Beispiel kann der Algorithmus für ein zu klassifizierendes Bauteil für jede der Bauteilklassen einen solchen Konfidenzwert oder eine Wahrscheinlichkeit bereitstellen. Die Zuweisung der Bauteilklasse kann zum Beispiel die Auswahl oder Bereitstellung der Bauteilklasse mit dem größten Konfidenzwert oder der größten Wahrscheinlichkeit beinhalten. Das Klassifizierungsverfahren und/oder die Klassifizierungseinrichtung können auch als Klassifikator bezeichnet werden.
Durch die Erfindung ergibt sich der Vorteil, dass die Klassifizierungsvorrichtung dazu eingerichtet ist, zur Klassifizierung des Bauteils mehrere Eingangsmerkmale zu generieren, welche Gewichtsmerkmale, Bildmerkmale und die Bottleneckmerkmale umfassen. Dadurch ergibt sich der Vorteil, dass eine zuverlässigere Kategorisierung von Bauteilen möglich ist, als es beispielsweise bei Kategorisierungen, die lediglich auf Bildmerkmalen basieren, der Fall ist.
Die Erfindung umfasst auch Weiterbildungen, durch die sich weitere Vorteile ergeben.
Eine Weiterbildung der Erfindung sieht vor, dass das vorbestimmte Klassifizierungsverfahren eine Zuordnung durch ein zweites neuronales Netz umfasst. Mit anderen Worten ist es dazu 7 vorgesehen, dass die Klassifizierungseinrichtung dazu eingerichtet ist, das Klassifizierungsverfahren durchzuführen, wobei das Klassifizierungsverfahren eine Zuordnung des Bauteils in eine der vorbestimmten Bauteilgruppen mittels eines zweiten neuronalen Netzes umfasst. Es ist beispielsweise vorgesehen, dass die Bottleneckmerkmale, die Bildmerkmale und die Gewichtsmerkmale als Eingangsgrößen einem neuronalen Netz bereitgestellt sind und die Zuordnung zu möglichen, vorbestimmte Bauteilklassen und/oder Bauteilen durch das zweite neuronale Netz erfolgt. Es kann beispielsweise vorgesehen sein, dass die von bei dem ersten neuronalen Netz ignorierten Schichten durch neue Schichten des zweiten neuronalen Netzes ersetzt sein können. Diesen Schichten können die Bottleneckmerkmale, welche durch das erste neuronalen Netz generiert sind, die Bildmerkmale und die Gewichtsdaten zugeführt werden. Die Schichten des zweiten neuronalen Netzes können, dann auf einem eigentlichen Datensatz zur Kategorisierung der Bauteile trainiert sein. Dadurch kann das zweite neuronale Netz beispielsweise aus den bereits von dem ersten neuronalem Netz vorverarbeiteten Bildinformation, den Bottleneckmerkmalen lernen, die Bauteilklassen von zu kategorisierenden Bauteilen vorherzusagen. Gegenüber einem Bild, das aus mehreren hunderttausenden oder Millionen Pixeln besteht, reduziert diese Vorverarbeitung die Komplexität deutlich und ist damit auch um mehrere Größenordnungen ressourcenschonender als naive Ansätze. So kann das Training des zweiten neuronalen Netzes auf einem Endgerät, wie einem Laptop, ausgeführt werden. Dies kann insbesondere für ein Training der Klassifizierungsvorrichtung vorteilhaft sein, um aufwändigere Hardware einzusparen.
Eine Weiterbildung der Erfindung sieht vor, dass die Klassifizierungseinrichtung dazu eingerichtet ist, in dem vorbestimmten Klassifizierungsverfahren einem jeweiligen Wahrscheinlichkeitswert der zumindest einen Bauteilklasse zu ermitteln, welcher beschreibt, mit welcher Wahrscheinlichkeit das Bauteil der Bauteilklasse zugeordnet ist. Es kann beispielsweise vorgesehen sein, dass eine Zuordnung des Bauteils in einer letzten Schicht des zweiten neuronalen Netzes erfolgt. Dabei kann durch die letzte Schicht für zumindest einige der vorbestimmten Bauteilklassen der jeweilige Wahrscheinlichkeitswert ausgegeben sein, mit welcher Wahrscheinlichkeit das Bauteil der jeweiligen Bauteilklasse durch die letzte Schicht des zweiten neuronalen Netzes zugeordnet ist. 8
Eine Weiterbildung der Erfindung sieht vor, dass die Bauteilklassifizierungsvorrichtung eine Benutzerschnittstelle aufweist, wobei die Bauteilklassifizierungsvorrichtung dazu eingerichtet ist, die zumindest eine Bauteilklasse an der Benutzerschnittstelle auszugeben. Die Benutzerschnittstelle kann beispielsweise einen Bildschirm mit Eingabevorrichtung und/oder ein Anschluss zur Kommunikation mit einer Recheneinheit aufweisen.
Eine Weiterbildung der Erfindung sieht vor, dass die Bauteilklassifizierungsvorrichtung dazu eingerichtet ist, an der Benutzerschnittstelle vorbestimmte Beurteilungsdaten in Bezug auf die Bauteilklasse oder eine manuell vorgegebene Bauteilklasse zu empfangen, wobei die Bauteilklassifizierungsvorrichtung dazu eingerichtet ist, das zweite neuronale Netz in Abhängigkeit von den Beurteilungsdaten in Bezug auf die ermittelte Bauteilklasse und/oder der vorgegebenen manuellen Bauteilklasse anzupassen. Mit anderen Worten ist die Bauteilklassifizierungsvorrichtung dazu eingerichtet, die Beurteilungsdaten zu empfangen, welche die ausgegebene Genauigkeit der Bauteilklasse bewerten. Es kann beispielsweise möglich sein, dass die Benutzerschnittstelle Tasteinrichtungen oder einen Touchscreen aufweist, wodurch es dem Benutzer möglich ist, mittels Benutzereingaben eine Bewertung des Ergebnisses der Klassifizierung einzugeben. Es kann beispielsweise vorgesehen sein, dass durch die Benutzerschnittstelle ermöglicht ist, dass ein Benutzer ein ausgegebenes Ergebnis als richtig oder falsch bewertet. Es kann auch möglich sein, dass ein Benutzer mittels der Benutzerschnittstelle eine Genauigkeit des Ergebnisses bewerten kann und/oder Korrekturen durchführen kann. Die Klassifizierungsvorrichtung ist dazu eingerichtet, die Beurteilungsdaten oder die manuell vorgegebene Bauteilklasse als Eingangswert zum Trainieren des zweiten neuronalen Netzes anzuwenden. Mit anderen Worten ist es vorgesehen, dass das zweite neuronale Netz unter Einbeziehung der Beurteilungsdaten und/oder der manuell vorgegebenen Bauteilklasse trainiert wird. Die Benutzerschnittstelle kann somit zwei Ziele erfüllen. Auf der einen Seite erleichtert es die Validierung der Ergebnisse durch einen Nutzer für die Eingabe der Beurteilungsdaten in die Bauteilklassifizierungsvorrichtung, auf der anderen Seite erlaubt es ein Generieren von Trainingsdaten. Dementsprechend kann die Bauteilklassifizierungsvorrichtung durch den Nutzer, beispielsweise automatisch oder manuell eingeleitet, neu trainiert werden. Es kann beispielsweise ein Training des zweiten neuronalen Netzes eingeleitet werden. Bei dem Training kann zum Beispiel durch ein Regression Testing geprüft werden, ob das neue Modell mindestens genauso gut ist wie die Vorgängerversion. 9
Eine Weiterbildung der Erfindung sieht vor, dass die Bauteilklassifizierungsvorrichtung dazu eingerichtet ist, eine Datenmenge der Bilddaten nach einem vorbestimmten Datenaugmentationsverfahren zu vergrößern. Mit anderen Worten ist die Bauteilklassifizierungsvorrichtung dazu eingerichtet, die erfassten Bilddaten um abgeleitete Bilddaten zu ergänzen, welche aus den erfassten Bilddaten generiert sind. Mit weiteren anderen Worten ist die Bauteilklassifizierungsvorrichtung dazu eingerichtet das vorbestimmte Datenaugmentationsverfahren, welches auch als Datenerweiterung bezeichnet werden kann, auf die erfassten Bilddaten anzuwenden, um eine Datenmenge der Bilddaten zu vergrößern. Die Bauteilklassifizierungsvorrichtung ist beispielsweise dazu eingerichtet, die erfassten Bilddaten um die abgeleiteten Bilddaten zu ergänzen, wobei die abgeleiteten Bilddaten von den erfassten Bilddaten abgeleitet sind. Es kann beispielsweise vorgesehen sein, dass die Bauteilklassifizierungsvorrichtung dazu eingerichtet ist, Bilder der erfassten Bilddaten durch ein vorbestimmtes Transformationsverfahren zu drehen, zu spiegeln, teilweise zu verdecken, zu verzerren oder in ähnlicher bekannter Weise zu verändern, um die von den erfassten Bilddaten abgeleiteten Bilddaten zu generieren. Die Bauteilklassifizierungsvorrichtung kann dazu eingerichtet sein, die Bilddaten um die abgeleiteten Bilddaten zu ergänzen, um die Datenmenge der Bilddaten zu vergrößern. Dadurch ergibt sich der Vorteil, dass eine größere Datenmenge für eine Erfassung des Bauteils oder ein Training des zweiten neuronalen Netzes der Bauteilklassifizierungsvorrichtung bereitgestellt sein kann.
Eine Weiterbildung der Erfindung sieht vor, dass die Bauteilklassifizierungsvorrichtung dazu eingerichtet ist, die Bildmerkmale durch ein Verfahren maschinellen Sehens zu generieren. Mit anderen Worten werden die Bildklassifikationsdaten durch Verfahren der Bildverarbeitung und/oder des maschinellen Sehens generiert. Es kann beispielsweise vorgesehen sein, dass durch Verfahren der Bildverarbeitung und/oder des maschinellen Sehens beispielsweise Kanten, Radien, Abmessungen und/oder Orientierungen als die Bildmerkmale extrahiert werden können. Das vorbestimmte Bildmerkmalsextraktionsverfahren kann beispielsweise eine Hough- Transformation, eine Segmentierung, eine Radon Transformation, ein Silhouetten- Schnittverfahren und/oder photogrammetrische Verfahrensschritte umfassen. 10
Eine Weiterbildung der Erfindung sieht vor, dass die Bauteilklassifizierungsvorrichtung dazu eingerichtet ist, Kanten und/oder Krümmungsradien des Bauteils als Bildmerkmale zu erfassen. Mit anderen Worten ist es vorgesehen, dass die Bildmerkmale Kantenlängen, Krümmungsradien oder andere geometrische Größen umfassen können. Dadurch ergibt sich der Vorteil, dass beispielsweise erfasste Abmessungen zur Ermittlung der Bauteilklasse verwendet werden können.
Eine Weiterbildung der Erfindung sieht vor, dass das vorbestimmte Klassifizierungsverfahren ein Random Forest Verfahren umfasst. Mit anderen Worten ist es vorgesehen, dass zumindest ein Verfahrensschritt des vorbestimmten Klassifizierungsverfahrens, eine Klassifizierung umfasst, welche durch mehrere unkorrelierte entscheidungsbäume erfolgt, welche sich bei einem Training des Klassifizierungsverfahrens entwickelt haben können. Durch die Weiterbildung ergibt sich der Vorteil, dass ein Klassifikator eingesetzt sein kann, der insbesondere für eine große Anzahl an Bauteilklassen geeignet ist.
Eine Weiterbildung der Erfindung sieht vor, dass das zweite neuronale Netz eine Feed Forward Neural Net Architektur aufweist. Mit anderen Worten ist das zweite neuronale Netz als Feedforward neural network ausgebildet. Dies bedeutet, dass Informationen zwischen Schichten des zweiten Neuronalen Netzes nur in einer Richtung, der Verarbeitungsrichtung, weitergegeben werden. Die Schichten des zweiten neuronale Netzes weisen dadurch keine rekurrente oder rückgekoppelte Verbindungen auf, bei denen Informationen entgegen der Verarbeitungsrichtung zwischen den Schichten weitergeleitet werden.
Ein zweiter Aspekt der Erfindung betrifft ein Verfahren zur Klassifizierung eines Bauteils durch eine Bauteilklassifizierungsvorrichtung. Es ist vorgesehen, dass durch eine Kameraeinrichtung Bilddaten eines zu klassifizierenden Bauteils generiert werden. Durch eine Wiegeeinrichtung werden Gewichtsdaten des zu identifizieren Bauteils generiert. Durch eine Auswerteeinrichtung werden nach einem vorbestimmten Bildmerkmalsextraktionsverfahren vorbestimmte Bildmerkmale aus den Bilddaten generiert und die Bilddaten werden einem vortrainierten ersten neuronalen Netz zugeführt und Bottleneckmerkmale der Bilddaten aus einer vorbestimmten Bottleneckschicht des ersten neuronalen Netzes generiert. Es ist vorgesehen, dass durch eine Klassifizierungseinrichtung dem Bauteil zumindest eine Bauteilklasse bezüglich des Bauteils 11 nach einem vorbestimmten Klassifizierungsverfahren basierend auf den Gewichtsdaten, den Bildmerkmalen und den Bottleneckmerkmalen aus mehreren vorbestimmten Bauteilklassen zugewiesen wird.
Weitere Merkmale und deren Vorteile sind den Beschreibungen des ersten Erfindungsaspekts zu entnehmen.
Ein dritter Aspekt der Erfindung betrifft ein Verfahren zum Trainieren einer Bauteilklassifizierungsvorrichtung, Es ist vorgesehen, dass in dem Verfahren durch eine Kameraeinrichtung, Bilddaten eines zu klassifizierenden Bauteils generiert werden, und durch eine Wiegeeinrichtung, Gewichtsdaten des zu klassifizierenden Bauteils generiert werden. Durch eine Auswerteeinrichtung werden nach einem vorbestimmten Bildmerkmalsextraktionsverfahren, vorbestimmte Bildmerkmale aus den Bilddaten generiert. Durch die Auswerteeinrichtung werden die Bilddaten einem vortrainierten, ersten neuronalen Netz zugeführt, und Bottleneckmerkmale der Bilddaten aus einer Bottleneckschicht des ersten neuronalen Netzes generiert. Durch eine Klassifizierungseinrichtung, wird dem Bauteil zumindest eine vorgegebenen Bauteilklasse nach einem vorbestimmten Klassifizierungsverfahren, basierend auf den Gewichtsdaten, den Bildmerkmalen und den Bottleneckmerkmalen, zugewiesen. Durch eine Benutzerschnittstelle der Bauteilklassifizierungsvorrichtung werden Bewertungsdaten und/oder eine manuell vorgegebene Bauteilklasse empfangen und das vorbestimmte Klassifizierungsverfahren nach einem vorbestimmten Anpassungsverfahren angepasst.
Weitere Merkmale und deren Vorteile sind den Beschreibungen des ersten und des zweiten Erfindungsaspekts zu entnehmen.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, 12 jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen. Dabei zeigt:
FIG. 1 eine schematische Darstellung einer Bauteilklassifizierungsvorrichtung;
FIG. 2 eine schematische Darstellung eines Verfahrens zur Klassifizierung eines Bauteils;
FIG. 3 eine schematische Darstellung eines Verfahrens zur Klassifikation eines Bauteils;
FIG. 4 eine schematische Darstellung eines neuronalen Netzes; und FIG. 5 eine schematische Darstellung von Bildern der Bilddaten.
FIG. 1 zeigt eine schematische Darstellung einer Bauteilklassifizierungsvorrichtung. Die Bauteilklassifizierungsvorrichtung 1 kann ein Gehäuse 2 umfassen, in welchem das zu klassifizierende Bauteil 3 anzuordnen ist. Die Bauteilklassifizierungsvorrichtung 1 kann in dem Gehäuse 2 eine Wiegeeinrichtung 4 aufweisen, welche dazu eingerichtet sein kann, Gewichtsdaten 5 des Bauteils 3 zu erfassen. Die Bauteilklassifizierungsvorrichtung 1 kann auch eine Kameraeinrichtung 6 aufweisen, welche dazu eingerichtet sein kann, Bilddaten 7 des Bauteils 3 zu generieren. Die Bilddaten 7 können Bilder aufweisen, welche durch Kameras 8 der Kameraeinrichtung 6 aus unterschiedlichen Perspektiven von dem Bauteil 3 aufgenommen sein können. Elm vergleichbare Bilddaten 7 und Gewichtsdaten 5 des Bauteils 3 generieren zu können, kann es erforderlich sein, konstante Erfassungsbedingungen der Gewichtsdaten 5 und der Bilddaten 7 sicherzustellen. Zu diesem Zweck kann eine Ablagefläche 9 angeordnet sein, auf welcher das Bauteil 3 beispielsweise an einer vorbestimmten Position 10 anzuordnen ist. Dadurch kann eine genaue und einheitliche Erfassung der Gewichtsdaten 5 ermöglicht sein. Die Kameras 8 der Kameraeinrichtung 6 können an unterschiedlichen Positionen innerhalb des 13
Gehäuses 2 angeordnet sein und auf die vorbestimmte Position 10 zur Ablage des Bauteils 3 ausgerichtet sein. Dadurch kann es möglich sein, das Bauteil aus unterschiedlichen Winkeln erfassen zu können. Damit eine einheitliche Belichtung des Bauteils 3 während verschiedener Klassifizierungsverfahren ermöglicht ist, kann die Bauteilklassifizierungsvorrichtung 1 eine Beleuchtungseinrichtung 11 aufweisen, welche das Bauteil 3 in dem Gehäuse 2 beleuchten kann. Durch die Bereitstellung des Gehäuses 2 und der Beleuchtungseinrichtung 11 kann sichergestellt sein, dass Lichtverhältnisse oder Lichttöne für unterschiedliche Erfassungen konstant sein können. Die Bauteilklassifizierungsvorrichtung 1 kann eine Auswerteeinrichtung 12 aufweisen, die dazu eingerichtet sein kann, die Bilddaten 7 zu empfangen und vorbestimmte Bildmerkmale 13 nach einem vorbestimmten Bildmerkmalsextraktionsverfahren aus den Bilddaten 7 zu generieren. Die vorbestimmten Bildmerkmale 13 können beispielsweise Kantenverläufe und/oder Längen, Rundungen, Krümmungsradien, Flächenausmaße, Koordinaten von Bohrungen oder andere erfassbare Merkmale aufweisen. Die Bildmerkmale 13 können durch maschinelles Sehen und/oder klassische Bildverarbeitung aus den Bilddaten extrahiert werden. Die Auswerteeinrichtung ist zudem dazu eingerichtet, die Bilddaten 12 einem ersten vortrainierten neuronalen Netz zuzuführen. Das erste neuronale Netz 23 kann an Bilddaten unterschiedlicher Bauteile oder anderen Objekten trainiert sein, welches nicht das Bauteil 3 umfassen muss. Es kann vorgesehen sein, dass das erste neuronale Netz 23 an einem Bilddatensatz trainiert wurde, welcher Objekte umfasst, deren Anzahl und Variationen größer sein können als die der zu erfassenden Bauteile 3. Es ist jedoch möglich, die an den Bilddaten erlernten Merkmale auf die zu erfassenden Bauteile zu übertragen, indem sogenannte Bottleneckmerkmale 14 aus einer vorbestimmten Bottleneckschicht 26 des ersten neuronalen Netzwerks 23 extrahiert werden. Die Bauteilklassifizierungsvorrichtung 1 kann eine Klassifizierungseinrichtung 15 aufweisen, die dazu eingerichtet sein kann, die Bildmerkmale 13, Bottleneckmerkmale 14 und Gewichtsdaten 5 zu empfangen. Die Klassifizierungseinrichtung 15 kann die empfangenen Merkmale einem vorbestimmten Klassifizierungsverfahren zuführen, um das Bauteil 3 nach dem vorbestimmten Klassifizierungsverfahren basierend auf den Gewichtsdaten 5, den Bildmerkmalen 13 und den Bottleneckmerkmalen 14 zu klassifizieren. Das Klassifizierungsverfahren kann beispielsweise das zweite neuronales Netz umfassen, wobei die beschriebenen Merkmale dem zweiten neuronalen Netz bereitgestellt werden können. Das zweite neuronale Netz kann dazu vorgesehen sein, dem Bauteil 3 zumindest eine von mehreren Bauteilklassen 16 zuzuweisen. Die Bauteilklassen 16 können vorbestimmt sein und jeweilige Bauteilklassengruppen, -Untergruppen 14 oder konkrete Bauteile beschreiben. Das zweite neuronale Netz kann dabei auf die Trainingsdaten des ersten neuronalen Netzes 23 zurückgreifen, um eine Klassifizierung des Bauteils 3 zu ermöglichen. Dabei ist es vorgesehen, dass das zweite neuronale Netz an Bauteilen 3 trainiert wird, welche es im Folgenden zu kategorisieren gilt. Es kann sein, dass die Klassifizierungseinrichtung 15 dazu eingerichtet ist, den ermittelten Bauteilklassen 16 jeweilige Wahrscheinlichkeiten 17 zuzuordnen, welche angeben, mit welcher Wahrscheinlichkeit das Bauteil 3 der jeweiligen Bauteilklassen 16 zuzuordnen ist.
Die Bauteilklassifizierungsvorrichtung 1 kann eine Benutzerschnittstelle 18 aufweisen, welche dazu eingerichtet ist, einem Nutzer der Bauteilklassifizierungsvorrichtung 1 die ermittelten Bauteilklassen 15 und die Wahrscheinlichkeitswerte 17 auszugeben. Die Benutzerschnittstelle 18 kann beispielsweise einen Touchscreen aufweisen. Die Benutzerschnittstelle 18 kann dazu eingerichtet sein, vorbestimmte Benutzereingaben zu erfassen und/oder vorbestimmte Beurteilungsdaten oder manuell vorgegebene Bauteilklassen 16 des Bauteils 3 entgegenzunehmen. Dadurch kann es ermöglicht sein, dass ein Benutzer die zugewiesene Bauteilklasse 16 durch eine manuell vorgegebene Kategorie ersetzen kann, falls eine Fehlklassifizierung des Bauteils 3 durch die Bauteilklassifizierungsvorrichtung 1 erfolgt ist. Es kann auch vorgesehen sein, dass durch die Beurteilungsdaten 19 bewertet werden kann, ob eine Klassifizierung falsch oder richtig ist. Die empfangenen Beurteilungsdaten 19 können der Auswerteeinrichtung 12 und/oder der Klassifizierungseinrichtung 15 zugeführt werden. Die Klassifizierungseinrichtung 15 kann basierend auf den Beurteilungsdaten 19 das zweite neuronale Netz trainieren. Dadurch ist es möglich, dass weitere Bauteile 3 zur Erfassung hinzugefügt werden können und/oder eine Genauigkeit des zweiten neuronalen Netzes erhöht werden kann.
Die Bauteilklassifizierungsvorrichtung 1 kann beispielsweise neun Kameras 8 aufweisen, die in dem Gehäuse 2 angeordnet sein können. Die Kameras 8 können zur Generierung der Bilddaten 7 vorgesehen sein. Die Wiegeeinrichtung 4 als zusätzliche Sensorik dient zur Gewichtsbestimmung des jeweiligen Bauteils 3. Das zu erkennende Bauteil wird auf der Ablage in der Box gelegt und anschließend über Geometrie- und Gewichtsabgleich erkannt. Die Prozesszeit der Erkennung liegt bei ca. 1 Sekunde. Außerhalb der Box ist eine Kühlung installiert um die Temperierung des Prozessors sicher zu stellen. Die Wiedergabe der erkannten 15
Partnummer erfolgt auf einem separaten Bildschirm mit User Interface, der Benutzerschnittstelle 18. Die Bauteilklassifizierungsvorrichtung 1 kann in diesem Interface Vorschläge zu möglichen Partnummem und/oder Bauteilklassen 16 mit einer prozentualen Trefferwahrscheinlichkeit als Wahrscheinlichkeitswerte 17 wiedergeben.
FIG. 2 zeigt eine schematische Darstellung eines Verfahrens zur Klassifizierung eines Bauteils (3). Es kann vorgesehen sein, dass zu Beginn des Klassifizierungsverfahrens eine Bildaufnahme S1 zur Generierung der Bilddaten 7 und eine Gewichtsmessung S2 zur Generierung der Gewichtsdaten (5) durch-geführt werden. Es kann vorgesehen sein, dass die während der Bildaufnahme S1 generierten Bilddaten 7 mittels eines vorbestimmten Datenaugmentationsverfahrens S3 transformiert werden, um transformierte Bilddaten 7 zu generieren. Das Datenaugmentationsverfahren kann vorbestimmte Transformationen bestimmen, welche beispielsweise Filter, Rotationen, Spiegelungen, Verdeckungen der einzelnen Bilder 20 umfassen können. Dadurch werden die Bilder 20 variiert und somit eine Anzahl der bereitgestellten Bilder 20 erhöht. Die zusätzlich generierten Bilddaten 7 können in einem Schritt S4 den Bilddaten 7 zugefügt werden. In einem Schritt S5 kann es vorgesehen sein, dass die Bilddaten 7 transformiert werden, um die Bilder 20 auf einen auf das Bauteil 3 zugeschnittenen Bereich zu minimieren. Mit anderen Worten kann es vorgesehen sein, dass in den einzelnen Bildern erfasst wird, in welchem Bereich sich das zu erfassende Bauteil 3 befindet. Bereiche, in denen sich das Bauteil 3 nicht befindet, können während des Verfahrensschritts S6 abgetrennt werden, sodass ein Datenumfang der Bilder 20 minimiert werden kann. Die Bilddaten 7 können in zwei folgenden Verfahrensschritten S7 und S8 ausgewertet werden, um die Bottleneckmerkmale 14 zu extrahieren (S9) und die Bildmerkmale 13 zu erkennen (S10). In dem Verfahrensschritt S7 können zur Bereitstellung der Bottleneckmerkmale 14 die Bilddaten 7 einem vortrainierten ersten neuronalen Netz 23 zugeführt werden. In einer vorbestimmten Bottleneckschicht 26 des ersten neuronalen Netzes 24 können die in dieser Schicht bereitgestellten Merkmale als Bottleneckmerkmale 14 extrahiert werden. Zusätzlich kann ein Bildmerkmal des Extraktionsverfahrens S8 ausgeführt werden, welches aus den Bilddaten 7 vorbestimmte Bildmerkmale 13 extrahieren kann. Die vorbestimmten Bildmerkmale 13 können beispielsweise Lagen oder Längen von Kanten, Rundungen oder Bohrungen umfassen. In einem Verfahrensschritt S12 können die Bildmerkmale 13, die Bottleneckmerkmale 14 und die Gewichtsdaten 5 einem Klassifikator in der Klassifizierungseinrichtung 15 übergeben werden, 16 welcher dann dem Bauteil 3 zumindest eine von mehreren vorbestimmten Bauteilklassen 16 zuordnen kann.
FIG. 3 zeigt eine schematische Darstellung eines Verfahrens zur Klassifikation eines Bauteils. Gezeigt werden Verfahrensschritte und Beispiele der bearbeiteten Bilddaten 7. Durch die Wiegeeinrichtung 4 können die Gewichtsdaten 5 bereitgestellt werden. Durch die Kameraeinrichtung 6 können Bilddaten 7 bereitgestellt werden. Die Bilddaten 7 können als Rohdaten vorliegen. Es kann vorgesehen sein, dass die Bilddaten 7 in den vorbestimmten Augmentierungsverfahren S4 bearbeitet werden, um weitere Bilddaten basierend auf den ursprünglichen Bilddaten zu generieren. Dabei können transformierte Bilder 20 generiert werden, welche dem Bilddatensatz zugeführt werden können. In dem Verfahrensschritt S6 können die Bilder 20 beschnitten werden, um lediglich einen relevanten Bereich des Bildes weiterzugeben. Das Beschneiden S6 kann auch als Cropping bezeichnet werden. Letztendlich wird dadurch ein zurechtgeschnittenes Bild 21 generiert. Das zurechtgeschnittene Bild 21 kann dem Verfahren S8 zugeführt werden, welches die vorbestimmten Bildmerkmale erkennen und extrahieren kann. Die Bilddaten können auch dem ersten neuronalen Netz zugeführt werden (S7), um eine Extraktion der Bottleneckfeatures aus einer vorbestimmten Bottleneckschicht zu ermöglichen.
Die Schritte S6 bis S8 können als Vorverarbeitung angesehen werden und beschreiben, wie ein aufgenommenes Bild 20 der Bilddaten 7 verarbeitet werden kann, damit die Bildmerkmale 13 und die Bottleneckmerkmale 14 der Klassifizierungseinrichtung 15 bereitgestellt werden können.
Es können beispielsweise 9 Bilder als Bilddaten 7 und die Gewichtsdaten 5 gleichzeitig von dem Bauteil 3 aufgenommen werden. Um mehr Bilder des Bauteils 3 zu gewinnen, kann das vorbestimmte Augmentationsverfahren genutzt werden. Mit Hilfe der Datenaugmentation werden die vorhandenen Bilddaten 7 durch neue Bilder erweitert, indem die neuen Bilder zufällig durch Transformationen der erfassten Bilder 20 erzeugt werden. Beispielsweise kann ein Bild 21 durch Rotation, Spiegelung oder Verschiebung neu erzeugt werden. Dadurch erhält das Modell neue Bilddaten für ein Training, des Klassifizierungsverfahrens aber keine zwei völlig identischen Bilder. Im nächsten Schritt wird das Bauteil 3 auf dem Bild 30 anhand einer Bounding Box detection erkannt und zu einem Bild 21 zurechtgeschnitten. 17
FIG. 4 zeigt einen möglichen Aufbau des ersten neuronalen Netzes. Das erste neuronale Netz kann 23 dazu vorgesehen sein, die Bottleneckmerkmale bereitzustellen. Die Bilddaten oder ein ausgeschnittenes Bild können nun einem vortrainierten Convolutional neuronal Network (CNN) (erstes neuronales Netz) und einem OpenCV zugeführt werden. Beim vortrainierten CNN kann es sich um das VGG16 handeln, welches auf dem ImageNet Datensatz vortrainiert ist und Bilder der Größe 224 x 224 als Eingangsdaten entgegennehmen kann. Deshalb kann das zugeschnittene Bild 24 auf die gleiche Größe skaliert werden und kann dann an die VGG16-Architektur übergeben werden. Das erste neuronale Netz kann mehrere Schichten 25 umfassen, die auch als Faltungsblock bekannt sind. Nach einem letzten Faltungsblock, welcher die Bottleneckschicht 26 sein kann, kann ein globales Durchschnittspooling angewendet werden. Dabei kommen als Ausgabe die Bottleneckmerkmale heraus. Die erlernten Repräsentationen dienen dazu, die bei neuen Samples interessanten Merkmale zu entnehmen und in den neuen Klassifikator zu transferieren. Insgesamt werden 512 einzelne Elemente der Bottleneckmerkmale entnommen und dem Klassifikator (Klassifizierungsverfahren) zugeführt.
FIG. 5 zeigt eine schematische Darstellung von Bildern der Bilddaten. Es können auch einige Bildmerkmale der Bilddaten über die Maske des Bauteils extrahiert werden, einschließlich Breite und Höhe in Pixeln, Fläche der konvexen Hülle und mehr. Insgesamt können 19 Extracted Features als Bildmerkmale aus dem openCV gewonnen und ebenfalls dem Klassifikator Klassifizierungsverfahren übergeben werden. Des Weiteren erhält der Klassifikator die Information über das Gewicht des Bauteils. Die Bilder 21 können zu jeweiligen Bildern 22 gedreht und maskiert werden, um aus diesen dann die Bildmerkmale wie Längen oder Radien entnommen werden können.
Bauteile können anhand ihrer Gewichtsdaten, ihrer Bildmerkmale und ihrer Bottleneckmerkmale klassifiziert werden, das bedeutet einer Predicted Class zugeordnet. Es können beispielsweise zwei verschiedene Klassifikatoren als Klassifikationsverfahren trainiert werden. Das Klassifikationsverfahren kann ein Random Forest Verfahren und/oder ein Dense Layer (Feed Forward Neural Net) als zweites neuronales Netz aufweisen. Bei der Wahl des Klassifikationsverfahrens können sowohl die Trainings- als auch die Klassifikationszeit eine Rolle spielen. Die Trainingszeit beschreibt, wie lange der Algorithmus benötigt, um Zusammenhänge zwischen Eigenschaften und Bauteilklassen zu lernen. Die Trainingszeit wird 18 vom Verfahren und der Menge an genutzten Daten bestimmt. Während die Klassifikationszeit definiert wird, wie lange der Algorithmus braucht, um eine Klassifizierung anhand der Eigenschaften durchzuführen. Abhängig ist sie vom Verfahren und der Anzahl der Eigenschaften.
Damit die Bauteilerfassungseinrichtung 1 anfangen kann Bauteile zu erkennen, ist eine Trainingsdatenbank notwendig, die es zuvor aufzubauen gilt. Je kleiner der Lösungsraum ist aus dem die Bauteilerfassungseinrichtung 1 ein Bauteil erkennen soll, desto höher ist die Wahrscheinlichkeit die richtige Teilenummer zu erkennen. Aus diesem Grund kann es vorteilhaft sein, den Lösungsraum so klein wie möglich zu halten. Zur optimierten Erkennung können Metaklassen programmiert werden, die spezielle Features beinhalten um ähnliche Bauteile besser zu erkennen.
Der Anwender kann zunächst den Triebwerkstyp in die Benutzerschnittstelle eintragen, hierdurch verkleinert sich der Lösungsraum auf Bauteile die nur in dem jeweils eingetragenen Triebwerkstyp
Vorkommen können. In einer Metaklasse werden Algorithmen zum Tragen kommen die speziell auf diesen vorab erkannten Bauteiltyp angewandt werden. Hier fokussiert sich die KI z.B. zwischen unterschiedliche Längen von Schrauben oder unterschiedlichen Dicken von Unterlegscheiben. Zur Information für den Anwender wird dann als Resultat in der Benutzerschnittstelle die Vorgeschlagene Teilnummer des Bauteils mit der Ermittlung der Trefferwahrscheinlichkeit und deren Zugehörigkeit zu einer referenzierten Stückliste dargestellt.
Es gibt bisher Lösungen zur Klassifizierung von Bauteilen auf Basis von optical character regognition (OCR), klassischer Bilderverarbeitung, oder Machine Vision. OCR funktioniert bei metallischen und dreckigen Bauteilen nur sehr schlecht. Machine Vision und klass. Bildverarbeitung sind präferierte Lösungen für sehr unterschiedliche Bauteile für einen kleinen Lösungsraum.
Die Zahl der Bauteilklassen ist zu groß und die Unterschiede von Triebwerksbauteilen zu klein, um diese allein mit den oben genannten Technologien zu Unterscheiden. Zusätzlich erschweren Verschmutzung und Abnutzung der Bauteile die Erfassung 19
Die Verfahren zum maschinellen Lernen im Bereich der Klassifizierung von Objekten sind bekannt. Die Kombination aus optischen und Gewichtsdaten für die Erkennung von optisch sehr ähnlichen Bauteilen ist neu.
Durch die Bauteilklassifizierungsvorrichtung 1 kann es ermöglicht werden, einige Prozesse in der Triebwerksdemontage (zum Beispiel Schüttwarenkitting) zu automatisieren. Eine Erfassung der Bauteile könnte schnell und sicher ohne menschlichen Eingriff erfolgen.
Die Bauteile können anhand ihrer Geometrie über Machine Vision und klassischer Bildverarbeitung mithilfe von Machine Leaming erfasst. Die Bildaufnahme erfolgt dabei über mehrere Kameras. Gleichzeitig wird das Gewicht des Bauteils mittels eines Gewichtssensors unter der Auflagefläche erfasst. Die gesammelten Daten werden von dem trainierten Machine Learning Modell verarbeitet, mit den gelernten Bauteilen des gegebenen Triebwerkstyps abgeglichen und eine Klassifizierung wird automatisch vorgenommen. Das so aufgebaute System lernt durch die Rückmeldung der Mitarbeiter dazuund ist in der Lage, neue Bauteilnummem mittels Re-training des Systmems in kurzer Zeit zu erfassen.
Die Bauteilklassifizierungsvorrichtung 1 kann zur Teilenummernerkennung des Bauteils verwendet werden, Serialnummern können zusätzlich in einer Ausführungsform der Bauteilklassifizierungsvorrichtung erkannt werden. Eine qualifizierte Befundung der Bauteile muss in vorangegangenen beziehungsweise nachlaufenden Prozessen erfolgen, da keine Schäden durch die Bauteilklassifizierungsvorrichtung erkannt werden können. Die für den derzeitigen Machine Vision Process konstruierten Gehäuse 2 der Bauteilklassifizierungsvorrichtung 1 können aufgrund ihrer Abmaße nur Bauteile mit der maximalen Größe 80 mm x 80 mm x 50 mm erkennen. Das maximale Bauteilgewicht ist mit 10 Kg begrenzt.
Die Bauteilklassifizierungsvorrichtung 1 erkennt Bauteile mit einer Wahrscheinlichkeit von bis zu 98%, wenn das Bauteil ca. 4-5 mal eintrainiert wurde. Hierbei soll der Anwender idealerweise das gleiche Bauteil (also unterschiedliche Individuen/Instanzen) 4-5 mal eintrainieren. Die Performance kann sich noch durch den neuen Hardwareaufbau und veränderte Klassifizierung im Machine Leaming Algorithmus verändern. 20
In der Demontage von Triebwerksteilen müssen die Einzelteile in einem digitalen System erfasst werden. Derzeit wird dies durch das manuelle Ablesen von Bauteilnummern durch Mitarbeiter und ein anschließendes manuelles Übertragen umgesetzt. In der Vergangenheit gab es bereits Bemühungen die Bauteilnummem per Schrifterkennung auf den Bauteilen zu identifizieren. Aufgrund der generell schlechten Lesbarkeit und teilweise hohen Verschmutzungsgrade ist dies jedoch nicht mit einer zufriedenstellenden Genauigkeit möglich gewesen. Um die manuelle Arbeit und die Fehlerquote zu reduzieren, soll diese Bauteilerkennung teilautomatisiert oder vollautomatisiert werden.
In Zukunft sollen die Bauteile durch die Kameraeinrichtung und weitere Sensorsysteme automatisch erkannt werden. Falls neben einer Kameraeinrichtung, die gegebenenfalls auch mehrere Kameras umfassen kann, weitere Sensoren zur zuverlässigen Erkennung des Bauteils benötigt werden, so werden diese in die Entscheidungsfindung miteinbezogen.
Der Nutzer kann die Entscheidung bestätigen oder bei einer Unentschiedenheit aus bis zu drei Bauteilklassen die korrekte Klasse auswählen. Dies erlaubt ein, auch regelmäßig erfolgendes automatisches Verbessern des trainierten Modells, da kontinuierlich neue Datenpunkte generiert werden. Die Bauteile lassen sich grob nach den drei Dimensionen "Bauteilzustand: neu/alt", "Geometrie: identisch, ähnlich, unterschiedlich" und "Bauteilnummer: vorhanden/nicht vorhanden" unterteilen.
Der gewonnene Datensatz kann hierbei Kamera- und Sensoraufnahmen einzelner Bauteile und der zugehörigen Bauteilklasse umfassen.
Auf Basis dieses Bauteilspektrums kann die Genauigkeit des entwickelten Systems anhand der Genauigkeit (Prozentualer Anteil der Vorhersagen bei denen die tatsächliche Bauteilklasse den vorhergesagten Klasse bzw. in den drei wahrscheinlichsten Bauteilklassen liegt) evaluiert werden. Es kann außerdem eine technisch einfache Möglichkeit umgesetzt sein, neue Teilenummem (Bauteile) in das System zu integrieren. 21
Die Klassifizierung kann auf Grundlage von Deep Learning erfolgen. Dabei kann insbesondere Transfer Learning angewendet werden, da der Datensatz nur aus wenigen hundert Bildern besteht. Beim Transfer Learning wird ein auf einem deutlich größeren Datensatz trainiertes neuronales Netz als Basis verwendet. Von diesem werden dann die letzten "Layer" abgeschnitten, und durch neue Layer ersetzt, die dann auf dem eigentlichen Datensatz trainiert werden. Die validierte Hypothese hierbei ist, dass insbesondere die ersten Layer eines neuronalen Netzes für die Feature Extraction, also zum Beispiel die Kanten- und Eckenfilterung, relevant sind. Das letzte verbleibende Layer des vortrainierten Netzes enthält dann also ein hochdimensionale (meist 512- dimensional) Repräsentation von abstrakten Informationen über das zugrundeliegende Bild. So muss man lediglich aus dieser bereits vorverarbeiteten Bildinformation lernen, die Bauteilklassen vorherzusagen. Gegenüber einem Bild, das aus mehreren hunderttausenden oder Millionen Pixeln besteht, reduziert diese Vorverarbeitung die Komplexität deutlich und ist damit auch um mehrere Größenordnungen ressourcenschonender als naive Ansätze. So kann das Training auf einem beliebigen Endgerät, wie auch einem Laptop, ausgeführt werden. Dies wird insbesondere für die selbstlernende Komponente des zu entwickelnden Modells relevant sein, um keine unnötig teure oder aufwändige Hardware zu benötigen
Es können durch die Bauteilklassifizierungsvorrichtung sehr viele Bauteilklassen (potentiell über zehntausend Stück) unterschieden werden. Für diesen Durchstich wird diese Menge auf einen Bruchteil (weniger als fünfhundert) reduziert. Dafür kommen beispielsweise hierarchische Klassifizierungen infrage. Hierbei kann ein Entscheidungsbaum durchlaufen werden, um die korrekte Bauteilklasse zu bestimmen, anstatt mit einer einzelnen Messung zwischen tausenden Bauteilen zu unterscheiden. Vorteilhaft ist hier, dass man je nach Stufe im Entscheidungsbaum unterschiedliche Kriterien, Methoden und Modelle verwenden kann. Zumindest eine zweistufige Klassifizierung erscheint sinnvoll, da neuronale Netze mit so extrem hochdimensionalen (eine Dimension pro möglicher Klasse, also über zehntausend) Probleme bekommen können. Die zusätzlichen Sensordaten können in der Vorsortierung oder für die Auflösung von Unsicherheiten bei der Vorhersage dienen.
Abschließend kann immer ein Mitarbeiter die finale Entscheidung treffen, weshalb eine Benutzerschnittstelle vorgesehen sein kann. Mögliche Ansätze zur automatischen Generierung 22 solch eines Entscheidungsbaumes beim Hinzufügen neuer Bauteilklassen können: auf Basis von vorliegenden Metadaten, also hierarchischer Informationen durch Zuordnung in Objektgruppengeneriert werden; durch die Vorsortierung der Objekteigenschaften, also beispielsweise Gewicht oder andere Eigenschaften; eine Klassifizierung ohne die eigentliche Zielklasse im Modell abzubilden und das Übernehmen der überwiegenden Objektgruppe der vorhergesagten Bauteilklassen für das bisher für das System unbekannte Objekt Basierend auf diesem generierten Baum können dann die Parameter der zugrundeliegenden Modelle und Entscheidungsschwellwerte ebenso automatisiert neu trainiert/festgelegt werden. Gegebenenfalls kann sogar nur ein kleiner Teil des Gesamtmodells modifiziert werden, was die Rechenaufwände deutlich reduzieren sollte. Um die Qualität des Modells sicherzustellen, kann beispielsweise eine Form von Regression Testing verwendet werden, bei dem ein vordefinierter Testdatensatz generiert wird, auf dem das initiale Modell eine gewisse Genauigkeit erreicht. Beim automatischen Generieren eines Modells wird diese neue Version auf demselben Testdatensatz evaluiert und nur akzeptiert, wenn die Modellqualität wenigstens gleich gut ist, wie die des Vorgängers.
Der Programmcode kann beispielsweise, aufgrund der breiten Verfügbarkeit von hilfreichen Frameworks und Bibliotheken im Bereich Artificial Intelligence und Computer Vision in Python entwickelt sein. Das Modell, welches beispielsweise durch das zweite neuronale Netz gebildet sein kann, kann prinzipiell auf zwei Arten weiter verbessert und erweitert werden: (manuelles) Hinzufügen neuer Bauteilklassen. Dies kann optimalerweise durch die Benutzerschnittstelle ermöglicht sein, damit ein Nutzer selbst neue Bauteilklassen hinzufügen kann. Hierbei könnten dann manuell per Eingabe oder durch Sensor-/Kameramessungen automatisiert Datenpunkte für die neue Bauteilklasse aufgenommen werden; (automatisiertes) Weiterlemen des Modells: die Benutzerschnittstelle kann zwei Ziele erfüllen: Auf der einen Seite erleichtert es die Validierung der Bildanalyse durch den Nutzer für die Eingabe in das Zielsystem, auf der anderen Seite erlaubt es das kontinuierliche Generieren von Trainingsdaten. Dementsprechend kann das System regelmäßig (automatisch oder manuell getriggert) neu trainiert werden. Wichtig ist hierbei die Qualitätssicherung, indem (z.B. durch das oben genannte Regression Testing) geprüft wird, ob das neue Modell mindestens genauso gut ist wie die Vorgängerversion. 23
B ezugszei chenli ste :
1 Bauteilklassifiziemngsvorrichtung
2 Gehäuse
3 Bauteil
4 Wiegeeinrichtung
5 Gewichtsdaten
6 Kameraeinrichtung
7 Bilddaten
8 Kamera
9 Ablagefläche
10 Position
11 Beleuchtungseinrichtung
12 Auswerteeinrichtung
13 Bildmerkmale
14 Bottleneckmerkmale
15 Klassifizierungseinrichtung
16 Bauteilklasse
17 Wahrscheinlichkeitswerte
18 Benutzerschnittstelle
19 Beurteilungsdaten
20 Bild
21 Bild
22 Bild
23 Erstes neuronales Netz
24 Schicht des ersten Neuronalen Netzes
25 Bottleneckschicht
S1 - S12 Verfahrensschritte

Claims

24 Patentansprüche
1. Bauteilklassifizierungsvorrichtung (1) zur Klassifizierung von Bauteilen (3) in vorbestimmte Bauteilklassen (16), aufweisend
- eine Kameraeinrichtung (6), eingerichtet zur Generierung von Bilddaten (7) eines zu klassifizierenden Bauteils (3),
- eine Wiegeeinrichtung (4), eingerichtet zur Generierung von Gewichtsdaten (5) des zu klassifizierenden Bauteils (3),
- eine Auswerteeinrichtung (12), die dazu eingerichtet ist, vorbestimmte Bildmerkmale (13) nach einem vorbestimmten Bildmerkmalsextraktionsverfahren aus den Bilddaten (7) zu generieren, und die Bilddaten (7) einem vortrainierten, ersten neuronalen Netz zuzuführen, und Bottleneckmerkmale (14) der Bilddaten (7) aus einer vorbestimmten Bottleneckschicht (25) des ersten neuronalen Netzes (24) zu generieren,
- eine Klassifizierungseinrichtung (15), die dazu eingerichtet ist, dem Bauteil (3) nach einem vorbestimmten Klassifizierungsverfahren, basierend auf den Gewichtsdaten (5), den Bildmerkmalen (13) und den Bottleneckmerkmalen (14), zumindest eine von mehreren vorbestimmten Bauteilklassen (16), welche vorbestimmte Bauteilgruppen und/oder Bauteile (3) beschreiben, zuzuweisen.
2. Bauteilklassifizierungsvorrichtung (1) nach Anspruch 1, dadurch gekennzeichnet, dass das vorbestimmten Klassifizierungsverfahren eine Zuweisung der vorbestimmten Bauteilklassen (16) durch ein zweites neuronales Netz umfasst.
3. Bauteilklassifizierungsvorrichtung (1) nach Anspruch 2, dadurch gekennzeichnet, dass die Klassifizierungseinrichtung (15) dazu eingerichtet ist, in dem vorbestimmten Klassifizierungsverfahren, einen jeweiligen Wahrscheinlichkeitswert (17) der zumindest einen vorbestimmten Bauteilklasse zu ermitteln, welcher beschreibt, mit welcher Wahrscheinlichkeit die Bauteilklassen (16) dem Bauteil (3) zugeordnet ist. 25
4. Bauteilklassifizierungsvorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bauteilklassifizierungsvorrichtung (1) eine Benutzer Schnittstelle (18) aufweist, wobei die Bauteilklassifizierungsvorrichtung (1) dazu eingerichtet ist, die zumindest eine zugewiesenen vorbestimmte Bauteilklasse an der Benutzerschnittstelle (18) auszugeben.
5. Bauteilklassifizierungsvorrichtung (1) nach Anspruch 4 in dessen Rückbezug auf Anspruch 2 oder Anspruch 3, dadurch gekennzeichnet, dass die Bauteilklassifizierungsvorrichtung (1) dazu eingerichtet ist, an der Benutzerschnittstelle (18) vorbestimmte Beurteilungsdaten (19) in Bezug auf die zumindest eine Bauteilklasse und/oder eine manuell vorgegebene Bauteilklasse zu empfangen, wobei die Bauteilklassifizierungsvorrichtung (1) dazu eingerichtet ist, das zweite neuronale Netz in Abhängigkeit von den Beurteilungsdaten (19) in Bezug auf die Bauteilklasse und/oder der manuell vorgegebenen Bauteilklasse anzupassen.
6. Bauteilklassifizierungsvorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bauteilklassifizierungsvorrichtung (1) dazu eingerichtet ist, eine Menge der Bilddaten (7) durch ein vorbestimmtes Datenaugmentationsverfahren zu erweitern.
7. Bauteilklassifizierungsvorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bauteilklassifizierungsvorrichtung (1) dazu eingerichtet ist, die Bildmerkmale (13) durch ein Verfahren maschinellen Sehens zu generieren.
8. Bauteilklassifizierungsvorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das vorbestimmte Klassifizierungsverfahren ein Random Forest Verfahren umfasst.
9. Bauteilklassifizierungsvorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das zweite neuronale Netz eine Feed Forward Neural Net Architektur aufweist.
10. Verfahren zur Klassifizierung eines Bauteils (3) durch eine B auteilkl as sifizi erungsvorri chtung ( 1 ), 26 dadurch gekennzeichnet, dass
- durch eine Kameraeinrichtung (6) der Bauteilklassifizierungsvorrichtung (1), Bilddaten (7) eines zu klassifizierenden Bauteils (3) generiert werden,
- durch eine Wiegeeinrichtung (4) der Bauteilklassifizierungsvorrichtung (1), Gewichtsdaten (5) des zu klassifizierenden Bauteils (3) generiert werden,
- durch eine Auswerteeinrichtung (12) der Bauteilklassifizierungsvorrichtung (1) nach einem vorbestimmten Bildmerkmalsextraktionsverfahren, vorbestimmte Bildmerkmale (13) aus den Bilddaten (7) generiert werden, und
- durch die Auswerteeinrichtung (12) der Bauteilklassifizierungsvorrichtung (1) die Bilddaten (7) einem vortrainierten, erstem neuronalen Netz zugeführt werden, und Bottleneckmerkmale (14) der Bilddaten (7) aus einer vorbestimmten Bottleneckschicht (25) des ersten neuronalen Netzes (24) generiert werden, und
- dem zu klassifizierendem Bauteil (3) durch eine Klassifizierungseinrichtung (15) der Bauteilklassifizierungsvorrichtung (1), nach einem vorbestimmten Klassifizierungsverfahren, basierend auf den Gewichtsdaten (5), den Bildmerkmalen (13) und den Bottleneckmerkmalen (14), zumindest eine von mehreren vorbestimmten Bauteilklassen (16), welche vorbestimmte Bauteilgruppen und/oder Bauteile (3) beschreiben, zugewiesen wird.
11. Verfahren zum Trainieren einer Bauteilklassifizierungsvorrichtung (1), dadurch gekennzeichnet, dass
- durch eine Kameraeinrichtung (6) der Bauteilklassifizierungsvorrichtung (1), Bilddaten (7) eines zu klassifizierenden Bauteils (3) generiert werden,
- durch eine Wiegeeinrichtung (4) der Bauteilklassifizierungsvorrichtung (1), Gewichtsdaten (5) des zu klassifizierenden Bauteils (3) generiert werden,
- durch eine Auswerteeinrichtung (12) der Bauteilklassifizierungsvorrichtung (1) nach einem vorbestimmten Bildmerkmalsextraktionsverfahren, vorbestimmte Bildmerkmale (13) aus den Bilddaten (7) generiert werden, und
- durch die Auswerteeinrichtung (12) der Bauteilklassifizierungsvorrichtung (1) die Bilddaten (7) einem vor-trainierten, erstem neuronalen Netz zugeführt werden, und Bottleneckmerkmale (14) der Bilddaten (7) aus einer Bottleneckschicht (25) des ersten neuronalen Netzes (24) generiert werden, und 27
- dem zu klassifizierendem Bauteil (3) durch eine Klassifizierungseinrichtung (15) der Bauteilklassifizierungsvorrichtung (1), nach einem vorbestimmten Klassifizierungsverfahren, basierend auf den Gewichtsdaten (5), den Bildmerkmalen (13) und den Bottleneckmerkmalen (14), zumindest eine von mehreren vorbestimmten Bauteilklassen (16), welche vorbestimmte Bauteilgruppen und/oder Bauteile (3) beschreiben, zugewiesen wird,
- durch eine Benutzerschnittstelle (18) der Bauteilklassifizierungsvorrichtung (1) Bewertungsdaten und/oder eine manuell vorgegebene Bauteilklasse empfangen werden, und
- durch die Klassifizierungseinrichtung (15) das vorbestimmte Klassifizierungsverfahren nach einem vorbestimmten Anpassungsverfahren angepasst wird, um den Gewichtsdaten (5), den Bildmerkmalen (13) und den Bottleneckmerkmalen (14) die manuell vorgegebene Bauteilklasse zuzuweisen.
EP22719794.4A 2021-05-10 2022-04-21 Bauteilklassifizierungsvorrichtung, verfahren zum klassifizieren von bauteilen und verfahren zum trainieren einer bauteilklassifizierungsvorrichtung Pending EP4338135A1 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102021112068 2021-05-10
DE102021123761.0A DE102021123761A1 (de) 2021-05-10 2021-09-14 Bauteilklassifizierungsvorrichtung, Verfahren zum Klassifizieren von Bauteilen und Verfahren zum Trainieren einer Bauteilklassifizierungsvorrichtung
PCT/DE2022/100303 WO2022237930A1 (de) 2021-05-10 2022-04-21 Bauteilklassifizierungsvorrichtung, verfahren zum klassifizieren von bauteilen und verfahren zum trainieren einer bauteilklassifizierungsvorrichtung

Publications (1)

Publication Number Publication Date
EP4338135A1 true EP4338135A1 (de) 2024-03-20

Family

ID=81449076

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22719794.4A Pending EP4338135A1 (de) 2021-05-10 2022-04-21 Bauteilklassifizierungsvorrichtung, verfahren zum klassifizieren von bauteilen und verfahren zum trainieren einer bauteilklassifizierungsvorrichtung

Country Status (2)

Country Link
EP (1) EP4338135A1 (de)
WO (1) WO2022237930A1 (de)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19527147A1 (de) 1994-10-10 1996-04-11 Laeis & Bucher Gmbh Verfahren und Vorrichtung zur Qualitätsprüfung von Formteilen
EP1942443A1 (de) 2007-01-05 2008-07-09 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum Identifizieren von Bauteilen
US9934563B2 (en) 2015-10-29 2018-04-03 Empire Technology Development Llc 3D object rotation-based mechanical parts selection through 2D image processing

Also Published As

Publication number Publication date
WO2022237930A1 (de) 2022-11-17

Similar Documents

Publication Publication Date Title
DE102018129425B4 (de) System zur Erkennung eines Bearbeitungsfehlers für ein Laserbearbeitungssystem zur Bearbeitung eines Werkstücks, Laserbearbeitungssystem zur Bearbeitung eines Werkstücks mittels eines Laserstrahls umfassend dasselbe und Verfahren zur Erkennung eines Bearbeitungsfehlers eines Laserbearbeitungssystems zur Bearbeitung eines Werkstücks
DE102018109392A1 (de) Verfahren zum erfassen optischer codes, automatisierungssystem und computerprogrammprodukt zum durchführen des verfahrens
DE19634769A1 (de) Neurales Netzwerk zur Lokalisierung und Erkennung eines verformbaren Objekts
EP3847578A1 (de) Verfahren und vorrichtung zur klassifizierung von objekten
DE112017005651T5 (de) Vorrichtung zur Klassifizierung von Daten
DE102017220307A1 (de) Vorrichtung und Verfahren zum Erkennen von Verkehrszeichen
DE112017005011T5 (de) Verfahren zum Erzeugen eines eingelernten Modells, Vorrichtung zum Erzeugen eines eingelernten Modells, Verfahren zum Unterscheiden von Signaldaten, Vorrichtung zum Unterscheiden von Signaldaten und Programm zum Unterscheiden von Signaldaten
DE112019002848T5 (de) System und verfahren zum auffinden und klassifizieren von mustern in einem bild mit einem bildverarbeitungssystem
DE112019000093T5 (de) Diskriminierungsvorrichtung und Maschinenlernverfahren
DE102020126554A1 (de) Mikroskopiesystem und verfahren zum überprüfen von eingabedaten
DE102021201124A1 (de) Trainieren von bildklassifizierernetzen
DE4407998C2 (de) Verfahren und Vorrichtung zur Erkennung eines Musters auf einem Beleg
DE102020208474B4 (de) Messung der Empfindlichkeit von Klassifikatoren anhand zusammenwirkender Störungen
DE102020209080A1 (de) Bildverarbeitungssystem
WO2022237930A1 (de) Bauteilklassifizierungsvorrichtung, verfahren zum klassifizieren von bauteilen und verfahren zum trainieren einer bauteilklassifizierungsvorrichtung
DE102021123761A1 (de) Bauteilklassifizierungsvorrichtung, Verfahren zum Klassifizieren von Bauteilen und Verfahren zum Trainieren einer Bauteilklassifizierungsvorrichtung
WO2018007619A1 (de) Verfahren und einrichtung zur kategorisierung einer bruchfläche eines bauteils
DE69928320T2 (de) Verfahren und Vorrichtung zur Erkennung eines Musters auf einem präsentierten Gegenstand
DE1549893A1 (de) Verfahren und Anordnung zur elektronischen Klassierung von Bildvorlagen
DE102019209228A1 (de) Verfahren und Vorrichtung zum Überprüfen der Robustheit eines künstlichen neuronalen Netzes
DE102005028252A1 (de) Verfahren zur rechnergestützten Verarbeitung von digitalen Daten
EP0469315B1 (de) Verfahren zur visuellen Inspektion zwei- oder dreidimensionaler Bilder
DE10009538B4 (de) Verfahren zur Analyse von Fingerabdruckbildern
WO2023072775A1 (de) Personenverifikation in porträtgemälden
WO2023046653A1 (de) Verfahren zum bestimmen, ob ein vorgegebenes transportgut in einem überwachungsbereich angeordnet ist

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20231114

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR