EP4659190A1 - Computer-implementiertes verfahren und vorrichtung zum prüfen einer korrektheit eines zusammenbaus - Google Patents

Computer-implementiertes verfahren und vorrichtung zum prüfen einer korrektheit eines zusammenbaus

Info

Publication number
EP4659190A1
EP4659190A1 EP23838143.8A EP23838143A EP4659190A1 EP 4659190 A1 EP4659190 A1 EP 4659190A1 EP 23838143 A EP23838143 A EP 23838143A EP 4659190 A1 EP4659190 A1 EP 4659190A1
Authority
EP
European Patent Office
Prior art keywords
model
actual
assembly
target
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23838143.8A
Other languages
English (en)
French (fr)
Inventor
Matthias Karl
Ghazal GHAZAEI
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss AG
Original Assignee
Carl Zeiss AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss AG filed Critical Carl Zeiss AG
Publication of EP4659190A1 publication Critical patent/EP4659190A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Program-control systems
    • G05B19/02—Program-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32368—Quality control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35134—3-D cad-cam
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Definitions

  • the present disclosure relates to a computer-implemented method that is designed to check the correctness of an assembly. Furthermore, a data processing device is provided that is designed to at least partially carry out the method. Furthermore, a computer program is provided that includes instructions that, when the program is executed by a computer, cause the computer to at least partially carry out the method. Furthermore, a computer-readable medium is provided that includes instructions that, when the instructions are executed by a computer, cause the computer to at least partially carry out the method.
  • assemblies are therefore manually evaluated by one or more human quality inspectors (so-called end-of-line test) to assess the quality of the assembly in terms of whether the correct components have been assembled, whether the assembled components are complete (ie whether all components have been assembled) and whether alignment of all involved components, e.g. to each other, is correct.
  • end-of-line test a human quality inspector
  • US 9,187,188 B2 relates to a method for inspecting an assembly of components in an aircraft structure.
  • the method comprises capturing a visual representation of at least a portion of the structure comprising a plurality of components, storing an electronic file of the visual representation on a computer-readable medium, and accessing a three-dimensional model of the structure, the three-dimensional model containing information about a correct or desired position of each of the plurality of components within the structure.
  • the method further comprises comparing the captured visual representation with the three-dimensional design using a computer by graphically overlaying an image related to the visual representation with a second image related to the three-dimensional design to determine whether each of the plurality of components included in the visual representation is in a correct position in the structure as determined by a position of each corresponding component included in the three-dimensional design.
  • the method finally comprises generating feedback indicating a result of the comparison.
  • US 10,242,438 B2 describes a method for determining whether an assembly of an assembly was successful or not, and, as part of this method, a method for determining the position and orientation of components of the assembly.
  • the method for determining whether an assembly of an assembly was successful or not comprises the following steps: three steps. In a first step, a grayscale image and a range image (i.e. an image with depth information) of the assembly are recorded. In a second step, the position and orientation of the components of the assembly are determined based on the two recorded images and a 3D model of the assembly. In a third step, it is determined whether the assembly of the assembly was successful or not based on the determined position and orientation.
  • edges extracted from the recorded grayscale image and depth points contained in the range image are iteratively matched as best as possible with the 3D model of the assembly, so that based on this, a deviation of the shape of the assembly from the 3D model is determined, so that by comparing the determined deviation with a limit value in the subsequent third step of the method, it can be determined whether the assembly of an assembly was successful or not.
  • a disadvantage of the procedure according to US 9,187,188 B2 as well as US 10,242,438 B2 is that, according to the teaching of both, the assembly can only be viewed from one perspective, so that this described procedure reaches its limits for complex assemblies, as is usually the case in mechanical and plant engineering, in that the method for such complex assemblies would have to be carried out for a large number of different perspectives, which in turn is very time- and computationally intensive. Since both methods use perspective projections on a 2D image plane, which do not fully depict 3D reality, inspection poses that do not allow for quick or intuitive use or implementation typically have to be predefined so that the number of perspectives required for the inspection can be kept to a minimum.
  • DE102020 134680 A1 relates to a method for quality control of an object in a real environment using a camera, an optical display device and a processing device.
  • the method comprises the following steps: definition of a test geometry and a reference geometry within a computer-aided data model, definition of a test pose in which the camera is to be placed by a user as a target position for a quality check of the object to be tested, and visualization of the test pose on the optical display device.
  • a second phase at least one image of the real environment is captured by the camera, the pose of which is in an area that includes the test pose, and the test geometry and reference geometry are tracked in the image.
  • a pose of the tracked test geometry is determined in relation to the reference geometry and at least one parameter is determined based on how the pose of the stretched test geometry relates to a target pose of the test geometry defined in the data model. Furthermore, a quality indicator is determined based on the at least one parameter and output to the user via a human-machine interface.
  • an object of the present disclosure can be seen in specifying a device and/or a method which are each suitable for enriching the prior art.
  • a concrete embodiment of the disclosure can solve the problem of providing a possibility for automated checking of the correctness of a complex assembly, as is the case, for example, in mechanical and plant engineering.
  • the problem is solved by the features of the independent claim.
  • the subordinate claims and subclaims each contain, in combination, optional further developments of the disclosure.
  • the problem is then solved by a computer-implemented method that is designed to check the correctness of an assembly.
  • the method includes determining an actual 3D model of the assembly based on image data of the assembly, and comparing the determined actual 3D model with a target 3D model of the assembly to check the correctness of the assembly.
  • a computer-implemented method can be understood to mean a method in which one step, several steps or all steps of the method are or are carried out at least partially by a data processing device or a computer.
  • the image data initially represents 2D or 2.5D information regarding the assembly, which is then converted into 3D information.
  • the image data includes depth information (e.g. as a depth map) and/or images (e.g. RGB images). Both can be captured or recorded from one or more perspectives. Depth images (even with inaccurate depth resolution) can resolve ambiguous scenes and/or depth scaling ambiguity when using a single camera. Synchronous recording of depth images with image data can therefore complement a perspective estimate of a (mobile) camera in order to achieve a more robust or faster convergence.
  • one or more mobile and compact sensors such as an RGB-D depth camera (RGB-D can be understood as a colored point cloud), a solid-state lidar or similar, is/are used.
  • the image data acquisition can take place in different modalities, e.g. using a monochrome and/or color camera, a depth sensor, a lidar/ToF sensor and/or other or additional 3D sensors that, for example, use a pattern Z-stripe projection and/or include a laser scanner.
  • a monochrome and/or color camera e.g. using a depth sensor, a lidar/ToF sensor and/or other or additional 3D sensors that, for example, use a pattern Z-stripe projection and/or include a laser scanner.
  • the use of 2D/RGB information has - inter alia - the advantage that sensitivity to 3D sensor noise is comparatively low, so that even relatively dark, small and/or shiny components can be reliably captured. It should also be noted that dark areas and small components can be easily captured or accessed with a mobile camera. For shiny objects, using different perspectives can be advantageous.
  • the assembly is an object that exists in the real world.
  • the assembly is an assembly (known as a group in DIN 199), which is a self-contained object consisting of two or more parts or assemblies of a lower order, which can usually be dismantled again.
  • An individual part on the other hand, can be distinguished from the assembly in that it cannot be dismantled without causing damage (see DIN 199 Technical Product Documentation).
  • the assembly has several individual parts, which can be grouped together in sub-assemblies if necessary.
  • component used below therefore refers both to an individual part and to sub-assemblies comprising several individual parts, each of which is part of the assembly.
  • correctness may be understood broadly in relation to the assembly in view of the above definition of assembly and may refer - inter alia - to a completeness of the assembly with regard to the individual components making up the assembly.
  • the correctness of the installed components can be checked with regard to whether the correct component is installed at all and/or whether the installed component is installed correctly, i.e. whether the installed component is installed in the right place or position. By checking whether the correct component is installed, it can also be ensured that no component has been mixed up. Since similar components with slightly different dimensions are typically available in assembly for other series or processes, excluding mix-ups in this way is advantageous.
  • the correctness is defined or specified by the target state.
  • a preceding target such as in the target 3D model (also used below for position and alignment), therefore indicates the desired state that is to be represented or achieved by the actual state, so that the test of correctness can be affirmed if the actual state and the target state match and denied if the above deviates. Consequently, the actual state describes the actual physical state of the assembly in the real world, e.g. achieved by assembling the assembly.
  • the comparison step can therefore also be understood as a target-actual comparison, in which the correctness of the assembly is checked.
  • the method according to the disclosure offers a number of advantages.
  • the method allows a three-dimensional (3D) inspection of the assembly for correctness and is therefore also suitable for the inspection of complex assemblies where conventional methods reach their limits.
  • a model can be understood here as a computer model which - as a so-called "digital twin" - represents a simplified image of reality or the assembly.
  • the model used according to the disclosure is at least three-dimensional, ie it contains the external dimensions of the assembly spatially. Therefore, the assembly can be viewed from different perspectives or angles and thus also inspected from different angles.
  • the conventional methods described at the beginning use a perspective 2D model (ie an image) in the case of US 9,187,188 B2 and a 2.5D model (ie an image paired with depth information) of the assembly in the case of US 10,242,438 B2, whereby only that part of the assembly that is in the field of view (FoV) of the camera used can be checked for correctness.
  • a perspective 2D model ie an image
  • a 2.5D model ie an image paired with depth information
  • the use of the 3D model offers, inter alia, compared to the use of the 2D or 2.5D model, for example, the technical effect that in order to check the correctness of a complex assembly part or a complex assembly from several perspectives, only a single target-actual comparison step can be carried out using a single calculated (virtual or digital) model of the assembly to be checked.
  • image data can be captured, e.g. in the form of a video stream or one or more individual images, of the assembly.
  • individual parts (the visible shell) of the assembly can be recognized and identified in 2D.
  • This can include a prediction of a 2D object center and a pose (e.g. by means of a rotation matrix) as well as a 2D segmentation mask in the video image or in the individual image recording.
  • the predicted object position can be optimized based on several (perspective) predictions.
  • the most similar CAD model can be selected from a database based on a similarity in an appearance embedding space and the position of the identified component can be recognized in relation to other components in the environment of the identified component. This can be repeated for all recognized components.
  • the assembly can now be created virtually as a 3D model with all recognized components and their poses in relation to each other. Finally, the virtual 3D model can be compared with the digital 3D model of the assembly, and missing, misaligned and incorrect components of the assembly can be identified.
  • the method may include identifying a plurality of components forming the assembly in the image data, and determining an actual position and actual orientation of the identified components relative to each other and/or with respect to a predetermined camera perspective from which the image data was acquired based on the image data.
  • the presence of an object or a component can be recognized in the image data and it can be determined what type or, more specifically, which component from a large number of previously known or predetermined components it is.
  • the presence can be understood, for example, in the sense that the respective component to be identified can be seen when the image data is visualized and can or should therefore be recognized using an algorithm, e.g. an object recognition algorithm.
  • An actual position can be understood as the position, e.g. of a geometric center and/or a center of mass, of a component in space in the real world.
  • An actual orientation can be understood as an orientation of this component in space in the real world.
  • a camera perspective can be understood as a camera's angle of view on the assembly.
  • the method is not limited to a variation of the camera perspective, but in addition or alternatively a field of view of the camera can also be defined in one size (ie the assembly can be viewed partially and/or completely) and/or the distance between the camera and the assembly can be varied (e.g. virtually via a zoom and/or physically by actually reducing or increasing the distance between the camera and the assembly).
  • Identifying the components and determining their actual position and orientation has - inter alia - the technical effect of enabling a check of the correctness of each of the components that make up the assembly.
  • the correctness of the assembly can be checked component by component, so that - which is particularly advantageous for complex assemblies - it can not only be indicated that the target 3D model as a whole does not match the actual 3D model, but it can also be indicated which components are faulty. This enables targeted rework and/or targeted manual checking of the assembly (e.g. as part of a guided user interaction).
  • the identification of the components follows a multi-stage approach. This can mean that in a first step, components that are larger than a predefined threshold are identified. Then, in a second step, objects that are smaller than the predefined threshold can be identified. To do this, image data can be used in the second step that was captured at a higher zoom level or with a smaller distance between the camera and the assembly compared to the image data used in the first step. The first and second steps can take place one after the other or at least partially simultaneously.
  • the identification of the multiple components and/or the determination of the position and orientation of the identified components can be carried out by means of an optionally single model based on artificial intelligence (e.g. comprising one or more artificial neural networks).
  • the model can be trained to identify individual components from the image data of the assembly, optionally simultaneously. To identify components from a pool of components and/or to determine their actual position and orientation.
  • the model can be used, for example, to perform 2D instance segmentation of components that are available in a pool of possible components.
  • the pool of possible components defines the so-called embedding space.
  • Components can be recognized and segmented using the trained model, which is made possible by prior learning from 2D projections (views) of 3D CAD models of the components.
  • Methods such as multi-object recognition, including the recognition of object poses (i.e. actual position and actual orientation), can be used, whereby the model can be trained in such a way that it can identify the respective components even if the components are partially obscured in the image data based on the assembly state of the component during assembly and/or a respective camera perspective, and can determine their actual position and actual orientation.
  • the model is further designed or trained in such a way that it can determine an uncertainty or ambiguity of a result of identifying and determining the actual position and the actual orientation of the individual components, i.e. a probability that the component and its actual position and orientation were correctly identified.
  • an ML network in addition to identification and/or pose, can also learn how certain or probable a result is. This can correspond to a reliability value between 0 and 1. For example, a component can be seen with a high degree of probability from a certain perspective. recognized, but worse from a different perspective or with partial shading or partial occlusion. This uncertainty can be taken into account when generating the actual 3D model.
  • the degree of reliability can be taken into account when object identifications and/or poses from different directions or perspectives are merged. It is conceivable that the result with the greatest reliability is used. However, it is also conceivable that a suitable fusion of the various (partial) information on object identifications and/or poses takes place. It is also conceivable that the expected object identifications and poses (from the target 3D model) are used, for example, to nevertheless include results with an insufficient confidence value or to confirm their correctness, and optionally to display them with a different preparation or a predetermined color in the feedback for the user.
  • the model can be trained to identify objects within or adjacent to components that do not match the expected or corresponding objects in the CAD pool. This allows for a further check of the actual 3D model for correctness in that incorrectly over-assembled components can be detected.
  • the determination of the actual orientation and position described above can be understood in a possible concrete embodiment as a prediction of the 3D properties of each identified component, which - as already described above - can be carried out together with the identification of the component.
  • a 2D projection of a 3D center of the component onto an image plane of the image data and a shape code vector of the component can be estimated or determined to determine the position of the component, which represents an embedding according to a 3D model (e.g. 3D CAD model) that corresponds to the identified component.
  • a 3D model e.g. 3D CAD model
  • the position in the 2D image from The 3D position can be determined from different perspectives, whereby orientation can be determined through (pixel-by-pixel) segmentation and object identification using the silhouette.
  • the shape code vector can correspond to the identification in the embedding space and thus indicate the assignment of which component is involved, which is initially independent of its pose.
  • the position of the individual component in space can also be estimated in relation to other components or in relation to a known camera perspective.
  • a model based on artificial intelligence can be understood as a model created by machine learning, which in this case is designed to identify individual components from a pool of components from the image data of the assembly and/or to determine their actual position and orientation.
  • Machine learning can be understood as an "artificial" generation of knowledge from experience, in which an artificial system learns from examples and can generalize them after the learning phase has ended. This means that the examples are not simply learned by heart, but patterns and regularities are recognized in the learning data. In this way, the trained model can also evaluate unknown data (so-called learning transfer).
  • the pool of components can be understood as a database that contains an identifier (e.g. M12 screw) and an associated 3D model for a certain number of predetermined components.
  • the model can only be specifically trained to recognize the components contained in the pool of components in the image data. For this purpose, To train the model, (synthetic) image data of the respective components are used.
  • the model can be a so-called deep learning model.
  • deep learning model generally require a large amount of training data to train, i.e. a large number of 2D CAD pairs, in order to obtain a robust model suitable for generalization.
  • realistic 2D CAD pairs with embedded/assembled 3D components can be generated in an automated way using synthetic rendered images and their extensions, which leads to an increase in the available training data and makes the high number of training data easier to achieve.
  • the disclosure also relates to a method for training the artificial intelligence-based model described herein.
  • the use of the artificial intelligence-based model described above offers - inter alia - the technical effect that the method can be used across assemblies, i.e. for assemblies of different types, as long as these assemblies contain or consist of components from the pool of components. This offers flexibility in the use of the method, so that it is also suitable for small series, since a model does not have to be retrained for each new assembly or assembly that differs from previous assemblies.
  • the method may include obtaining a respective 3D model for each of the identified components, and determining the actual 3D model of the assembly by assembling the obtained 3D models based on their determined actual positions and actual orientations.
  • the assembly can be understood as a digital reconstruction of the assembly, so that the actual 3D model results.
  • This offers - inter alia - the technical effect that the resulting actual 3D model is compatible with conventionally constructed 3D models, which can then be used as target 3D models.
  • 3D models are regularly constructed using CAD programs (computer-aided design), i.e. computer-aided.
  • CAD programs computer-aided design
  • Such 3D models like the actual 3D model, are made up of individually constructed models of individual components.
  • the compatibility of the actual 3D model with the target 3D model which comes from a development phase of assembly, for example, means that additional steps for adapting the actual 3D model can be avoided and the target-actual comparison can therefore be carried out with comparatively low computing power.
  • Obtaining the 3D model may include loading the respective associated 3D model from the pool of components, which includes a respective associated 3D model for each component of the pool.
  • the target 3D model can be composed of 3D models of individual components that make up the assembly. Comparing the determined actual 3D model with the target 3D model of the assembly to check the correctness of the assembly can include a component-by-component comparison of the 3D models that make up the target 3D model with the 3D models that make up the actual 3D model.
  • the component-wise comparison of the 3D models forming the target 3D model with the 3D models forming the actual 3D model can result in a comparison of the respective 3D models of the target 3D model and the actual 3D model itself in order to identify 3D models of individual components that are missing in the actual 3D model compared to the target 3D model and/or 3D models of individual components that are present in the actual 3D model but not in the target 3D model.
  • the component-by-component comparison of the 3D models forming the target 3D model with the 3D models forming the actual 3D model can include comparing a target position and target orientation with the actual position and actual orientation of the respective 3D models of the target 3D model and the actual 3D model in order to identify 3D models of individual components that are arranged differently in the actual 3D model than the target 3D model.
  • this can mean that a comparison of the actual 3D model, i.e. the virtual 3D replica of the assembly, with the target 3D model, i.e. the digital 3D model of the assembly (e.g. a 3D CAD model of the assembly), is carried out, including a part-related or component-related assessment of correctness.
  • This component-related assessment of correctness can include identifying missing components, identifying misaligned components and/or identifying incorrect components (based on inconsistent features of the 3D models).
  • the actual 3D model can be determined taking into account the 3D models contained in the target 3D model themselves and/or the target position and target orientation of the 3D models contained in the target 3D model.
  • assembling the actual 3D model from the individual loaded 3D models of the identified components can be simplified by taking into account not only the actual alignments and positions known from the image data, but also the desired target positions and target alignments of the individual 3D models of the identified components known from the target 3D model.
  • the target 3D model can serve as an initialization; all parts of the target 3D model that were not identified in the actual 3D model can be hidden.
  • Determining the actual 3D model can include identifying at least one component of the assembly contained in the image data but incorrectly not identified based on an initially determined actual 3D model.
  • the method can further include determining an actual position and actual orientation of the at least one component contained in the image data but incorrectly not identified relative to the remaining identified components and/or with respect to the predetermined camera perspective with which the image data was captured based on the image data.
  • the method can obtain an associated 3D model of the at least one component contained in the image data but incorrectly not identified and adapting the initially determined actual 3D model by adding the 3D model of the at least one component contained in the image data but incorrectly not identified based on their determined actual position and actual orientation in order to obtain the actual 3D model.
  • determining the actual 3D model may include performing a plausibility check of the determined actual positions and the actual orientations of the identified components based on an initially determined actual 3D model.
  • the method may include adapting the initially determined actual 3D model by adapting the positions and orientations of the 3D models contained in the initial actual 3D model based on a result of the plausibility check.
  • the digital 3D reconstruction described above can initially lead to an unsatisfactory result, the so-called initial actual 3D model, because individual components in the image data may not have been identified at all or their actual position and orientation may have been incorrectly determined.
  • this can be identified, for example, with a plausibility check based on the initial actual 3D model, e.g.
  • the initial actual 3D model can be optimized, e.g. based on the target 3D model, in order to obtain the (final) actual 3D model to be used for the target-actual comparison.
  • Neural Radiance Fields can be used to resolve ambiguities in the identification of individual components, e.g. due to glare or unfavorable lighting and/or challenging surface finishes of the assembly.
  • a (local) 3D reconstruction of the assembly is used if ambiguities in the 2D CAD matching cannot be resolved, i.e. if components contained in the image data cannot be assigned unambiguously or with sufficient certainty to one of the 3D models in the pool.
  • This can in particular include a 3D reconstruction of certain shapes/objects that cannot otherwise be resolved.
  • a 3D comparison with the target 3D model can then be carried out in various data formats, e.g. by displaying the component as a point cloud, with a mesh and/or as a voxel grid.
  • the method can include capturing the image data of the assembly, advantageously from several perspectives.
  • capturing image data from several or different perspectives compared to capturing image data from a single perspective i.e. compared to a single image, for example, has the advantage that an ambiguity with regard to the size of components along an image axis that arises from a projection from 3D to 2D can be resolved.
  • the method additionally or alternatively, includes determining a respective perspective (e.g. using SLAM (simultaneous localization and mapping) and/or odometry (e.g. motion data integrated from IMU acceleration data)) from which the image data was recorded or captured.
  • SLAM simultaneous localization and mapping
  • odometry e.g. motion data integrated from IMU acceleration data
  • the method may comprise outputting information comprising a result of comparing the determined actual 3D model with the target 3D model, optionally auditorily and/or visually, optionally by controlling a display device.
  • this can mean that feedback is given to a user.
  • an interface can be provided, e.g. in the form of a display, which can be controlled as disclosed.
  • feedback of evaluation values of the 3D comparison described above can be given, e.g. by means of a visualization for the human user, e.g. including a recommendation for rework and/or additional human testing.
  • the interface is not limited to such a human machine interface (HMI), but can, in addition or alternatively, be a data interface via which a result of the target-actual comparison can be provided for a data processing device that is, e.g., connected to the interface by wire and/or wirelessly.
  • HMI human machine interface
  • the possibility of interacting with the user is not limited to the presentation of the result of the procedure, but the user can be supported by appropriate information output, for example as part of a guided user interaction when capturing the image data, e.g. by displaying advantageous camera positions, etc. It is conceivable that this will enable a hierarchical approach. This can extend the approach described above to provide a better view of hidden components of the assembly and/or opportunities to zoom in on small or not easily identifiable components of the assembly. To this end, the uncertainty metrics described above from the output of the artificial intelligence-based model can be used to interact with the user about which parts should be captured again with changed or adapted image capture settings (e.g.
  • the comparison of the 3D data depends largely on the actual 3D model, which can, however, contain different confidence values/reliability scores, it is conceivable that the actual 3D model is prepared as a visualization using color coding (e.g. green for all components with a confidence value greater than 90%, yellow for all components with confidence values up to 65% and red for all other components that are not recognized or are recognized with deviations).
  • color coding e.g. green for all components with a confidence value greater than 90%, yellow for all components with confidence values up to 65% and red for all other components that are not recognized or are recognized with deviations.
  • the disclosure relates to a data processing device which is designed to at least partially carry out the method described above.
  • the data processing device can be a computer.
  • the data processing device can be a distributed system, and there can be several individual, physically separate separate data processing devices are connected together, e.g. via the Internet, and carry out the process jointly.
  • the data processing device can be part of a data processing system which, in addition to the data processing device, has one or more sensors for capturing the image data and/or one or more interfaces, e.g. for user interaction.
  • the disclosure relates to a computer program comprising instructions which, when the program is executed by a computer, cause the computer to at least partially carry out the method described above.
  • the computer program can be software, e.g. comprising firmware and/or application software.
  • Firmware can be understood as software that is (permanently) embedded in electronic devices, such as a sensor for image data acquisition, and performs basic functions there.
  • the firmware can take an intermediate position between the hardware of the device (i.e. the physical parts of the device) and any application software that may be present (the possibly replaceable programs of the device).
  • the application software which carries out the evaluation of the acquired image data as disclosed, can be executable on a computer connected to the sensor, e.g. a personal computer, a tablet, a smartphone, etc.
  • the disclosure relates to a computer-readable medium, e.g. a computer-readable storage medium and/or a data signal, comprising instructions which, when executed by a computer, cause the computer to at least partially carry out the method described above.
  • a computer-readable medium comprising the computer program described above can be provided.
  • the computer-readable medium can be any digital data storage device, such as a USB stick, a hard disk, a flash memory, a CD-ROM, an SD card or an SSD card.
  • the computer program does not necessarily have to be stored on such a computer-readable storage medium in order to be made available to the computer, but can also be obtained as a data signal via the Internet or otherwise externally.
  • Fig. 1 schematically shows a data processing system designed to carry out a computer-implemented method according to the disclosure, which in turn is designed to check the correctness of an assembly, and
  • Fig. 2 shows a schematic flow diagram of this procedure.
  • Figure 1 schematically shows an assembly 1, in this case consisting of several individual components 2 - 5 in a side view.
  • Figure 1 also schematically shows a sensor 6, which is designed to capture image data of the assembly 1 (FoV shown with a dashed line), a computer 7 connected to the sensor 6 and a display 8 connected to the computer 7.
  • the latter units 6 - 8 are part of a data processing system, which is designed to carry out the method described in detail below.
  • This method is a computer-implemented method, which is designed to ensure the correctness of the Assembly 1.
  • a flow chart of the process is shown schematically in Figure 2.
  • image data of the assembly 1 are recorded by means of the sensor 6, e.g. a camera, and output to the computer 7.
  • a second step S2 of the method an actual 3D model of the assembly is determined based on the image data of the assembly 1 acquired in the first step S1 by means of a computer program stored in a memory 72 of the computer 7, which is executed by a processor 71 of the computer 7.
  • the second step S2 is explained in more detail below.
  • a first sub-step S21 of the second step S2 the components 2 - 5 that form the assembly are identified in the image data recorded by the sensor 6 and an actual position and actual orientation of the identified components 2 - 5 are determined based on the image data.
  • the actual position and actual orientation of the identified components 2 - 5 can be determined, for example, relative to one another and/or with respect to a predetermined camera perspective with which the image data was recorded, in particular an image axis Z.
  • the identification of the multiple components 2 - 5 and the determination of the actual position and actual orientation of the identified components 2 - 5 takes place in the first sub-step S21 using a single model based on artificial intelligence.
  • the model is trained and thus designed to identify from the image data of the assembly 1 at the same time both individual components 2 - 5 of the assembly 1 that belong to components from a pool of Components correspond and to determine their actual position and orientation.
  • a respective associated 3D model is obtained for each of the identified components 2 - 5 by loading the respective associated 3D model from the pool of components which is stored in the memory of the computer 7 and which comprises a respective associated 3D model for each component of the pool.
  • an initial or first actual 3D model of the assembly 1 is determined by assembling the related 3D models based on their determined actual positions and actual orientations and taking into account 3D models contained in a target 3D model of the assembly and/or the target position and target orientation of the 3D models contained in the target 3D model (which in turn can refer to the 3D models corresponding to the individual components 3 - 5 relative to one another or (absolutely) to the camera perspective).
  • the target 3D model is composed of 3D models of individual components 2 - 5 forming the assembly and includes information about the respective target position and target orientation of these 3D models.
  • an actual position and actual orientation of the respectively loaded 3D model in the actual 3D model (which in turn can refer to the 3D models corresponding to the individual components 3 - 5 relative to each other or (absolutely) to the camera perspective) can be set equal to the determined actual position and actual orientation of the respective, determined individual components 2 - 5.
  • the target 3D model can be taken into account, for example, in that actual positions and actual orientations of 3D models in the first actual 3D model that deviate slightly or within a predetermined tolerance range are adjusted based on the target positions and target orientations of the individual 3D models contained in the target 3D model in order to create a coherent first actual 3D model.
  • This generated initial or first actual 3D model can now be (further) optimized as described below.
  • a component 4 of the assembly 1 contained in the image data but incorrectly not identified is present and, if so, this is identified (see first sub-step S21 of the second step S2).
  • the component 4 was not identified or was not recognized with sufficient reliability.
  • the initial actual 3D model can, for example, be subjected to a plausibility check.
  • the first actual 3D model can, for example, be compared with a target 3D model, as described in detail below with reference to a third step S3 of the method, and if it is determined that the component 4 is not contained in the actual 3D model but is already contained in the target 3D model, the image data can be examined again specifically for the component 4. If this verification is sufficiently successful (i.e. has a sufficiently high confidence value), this component 4 can be treated in the same way as the previously clearly identified components. This is just one example of the plausibility check and other procedures are also conceivable.
  • a fifth sub-step S25 of the second step S2 an actual position and actual orientation of the incorrectly unidentified component 4 relative to the remaining identified components 2, 3, 5 and/or with respect to the predetermined camera perspective with which the image data were captured are determined based on the image data (see first sub-step S21 of the second step S2).
  • a sixth sub-step S26 an associated 3D model of the incorrectly unidentified components 4 is obtained (see second sub-step S22 of the second step S2).
  • the initially determined actual 3D model is adapted by adding the loaded 3D model of the incorrectly unidentified component 4 based on its determined actual position and actual orientation (see third sub-step S23 of the second step S2) in order to obtain a second actual 3D model.
  • a plausibility check is carried out on the determined actual positions and the actual orientations of the identified components 2 - 5 based on an initially determined actual 3D model.
  • the second actual 3D model can be compared with the target 3D model, for example, as described in detail below with reference to the third step S3 of the method. If it is determined that a 3D model of one of the components 2 - 5, e.g. the 3D model of component 4, is arranged differently from the 3D model of component 4 in the target 3D model, then the image data can be examined again specifically for this component 4. This is just one example of the plausibility check and other methods are also conceivable.
  • the second determined actual 3D model is adapted by adapting the actual positions and actual orientations of the 3D models contained in the second actual 3D model based on a result of the eighth sub-step S28.
  • this can mean that the actual position and actual orientation of the 3D model corresponding to component 4 in the second actual 3D model is updated on the basis of the adapted actual position and actual orientation of said second 3D model determined in the eighth sub-step S28 of the second step 2.
  • the actual 3D model determined in the second step S2 is compared with the target 3D model of the assembly 1 stored in the memory 72 to check the correctness of the assembly 1, again using the computer program stored in the memory 72 and executed by the processor 71, component by component, i.e. 3D model by 3D model of the two 3D models of the assembly 1.
  • component by component i.e. 3D model by 3D model of the two 3D models of the assembly 1.
  • comparing the determined actual 3D model with the target 3D model of the assembly 1 to check the correctness of the assembly 1 comprises comparing component by component the 3D models forming the target 3D model with the 3D models forming the actual 3D model.
  • the target 3D model is composed of 3D models of individual components 2 - 5 that make up the assembly and includes information regarding the target alignment and the target position of the individual 3D models.
  • the third step S3 is explained in more detail below.
  • the results from the optimization steps S24 - S 29 described above can optionally be used in part.
  • a comparison is made between the respective 3D models of the target 3D model and the actual 3D model itself, in order to find missing 3D models of individual components 2 - 5 and/or to identify 3D models of individual components 2 - 5 that are present in the actual 3D model but not in the target 3D model.
  • a second sub-step S32 of the third step S3, i.e. the component-wise comparison the target position and target orientation are compared with the actual position and actual orientation of the respective 3D models of the target 3D model and the actual 3D model in order to identify 3D models of individual components 2 - 5 that are arranged differently in the actual 3D model than the target 3D model.
  • a fourth step S4 of the method information comprising a result of comparing the determined actual 3D model with the target 3D model, i.e. the result of the third step S3, is output visually in this case by controlling the display device 8 (comprising generating a corresponding control signal by means of the computer program stored in the memory 72 and executed by the processor 72).
  • steps S1 - S4 and sub-steps S21 - S29, S31, S32 described above represent a possible sequence of the method, although deviating sequences are also conceivable.
  • the individual steps S1 - S4 and sub-steps S21 - S29, S31, S32 do not necessarily have to be implemented as separate steps S1 - S4 and sub-steps S21 - S29, S31, S32 using software. Rather, several steps S1 - S4 and/or sub-steps S21 - S29, S31, S32 can be combined.
  • the sub-steps S24 - S26 of the second step S2 can be combined into a single (sub-)step.
  • Display device e.g. display

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Bereitgestellt wird ein computer-implementiertes Verfahren, das ausgestaltet ist, um eine Korrektheit eines Zusammenbaus zu prüfen, das Verfahren umfassend Bestimmen eines Ist-3D-Modells des Zusammenbaus basierend auf Bilddaten des Zusammenbaus, und Vergleichen des bestimmten Ist-3D-Modells mit einem Soll-3D-Modell des Zusammenbaus zur Prüfung der Korrektheit des Zusammenbaus.

Description

COMPUTER-IMPLEMENTIERTES VERFAHREN UND VORRICHTUNG ZUM PRÜFEN EINER KORREKTHEIT EINES ZUSAMMENBAUS
Die vorliegende Offenbarung betrifft ein computer-implementiertes Verfahren, das ausgestaltet ist, um eine Korrektheit eines Zusammenbaus zu prüfen. Ferner wird eine Vorrichtung zur Datenverarbeitung bereitgestellt, die ausgestaltet ist, um das Verfahren zumindest teilweise auszuführen. Ferner wird ein Computerprogramm bereitgestellt, das Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren zumindest teilweise auszuführen. Ferner wird ein computerlesbares Medium bereitgestellt, das Befehle umfasst, die bei der Ausführung der Befehle durch einen Computer diesen veranlassen, das Verfahren zumindest teilweise auszuführen.
Die Erörterung zum Stand der Technik in der Beschreibung ist keinesfalls als Eingeständnis zu werten, dass dieser Stand der Technik allgemein bekannt ist oder zum allgemeinen Fachwissen auf dem technischen Gebiet der vorliegenden Offenbarung gehört.
Bei einem Montageverfahren, insbesondere eines komplexen Zusammenbaus, wie es beispielsweise im Maschinen- und Anlagenbau häufig der Fall ist, kann es zu Fehlem bei der Montage der den Zusammenbau bildenden Komponenten kommen. Ein solcher Fehler kann je nach Anwendungsfall und Gerät zu Produktionsausfällen und, unter anderem nach Auslieferung des Zusammenbaus an einen Kunden, einen erheblichen Nachbearbeitungsaufwand für einen Hersteller des Zusammenbaus nach sich ziehen.
Herkömmlich werden daher Zusammenbauten manuell von einem oder mehreren menschlichen Qualitätsprüfern bewertet (sog. engl. end-of-line test), um die Qualität der Montage dahingehend zu beurteilen, ob die richtigen bzw. korrekten Komponenten montiert wurden, ob die montierten Komponenten vollständig sind (d. h. ob alle Komponenten montiert wurden) und ob eine Ausrichtung aller beteiligten Komponenten, z. B. zueinander, korrekt ist. Ein solches manuelles Verfahren ist zeitaufwendig und kann fehleranfällig sein.
Daher sind im Stand der Technik automatisierte Lösungen zur Überprüfung der Korrektheit eines Zusammenbaus beschrieben.
In diesem Zusammenhang sei auf US 9,187,188 B2 und US 10,242,438 B2 verwiesen.
US 9,187,188 B2 betrifft ein Verfahren zur Inspektion eines Zusammenbaus von Komponenten in einer Flugzeugstruktur. Das Verfahren umfasst ein Erfassen einer visuellen Darstellung von mindestens einem Teil der Struktur, der eine Vielzahl von Komponenten umfasst, ein Speichern einer elektronischen Datei der visuellen Darstellung auf einem computerlesbaren Medium und ein Zugreifen auf ein dreidimensionales Modell der Struktur, wobei das dreidimensionale Modell Informationen über eine richtige bzw. gewünschte Position jeder der Vielzahl von Komponenten innerhalb der Struktur enthält. Ferner umfasst das Verfahren ein Vergleichen der erfassten visuellen Darstellung mit dem dreidimensionalen Entwurf unter Verwendung eines Computers durch grafisches Überlagern eines Bildes, das sich auf die visuelle Darstellung bezieht, mit einem zweiten Bild, das sich auf den dreidimensionalen Entwurf bezieht, um zu bestimmen, ob sich jede der mehreren Komponenten, die von der visuellen Darstellung umfasst sind, in einer richtigen Position in der Struktur befindet, wie durch eine Position jeder entsprechenden Komponente bestimmt, die in dem dreidimensionalen Entwurf umfasst ist. Das Verfahren umfasst letztlich ein Erzeugen einer Rückmeldung, die ein Ergebnis des Vergleichs angibt.
Die US 10,242,438 B2 beschreibt ein Verfahren zum Bestimmen, ob eine Montage eines Zusammenbaus erfolgreich war oder nicht, sowie, als Teil dieses Verfahren, ein Verfahren zum Ermitteln von Position und Orientierung von Bauteilen des Zusammenbaus. Das Verfahren zum Bestimmen, ob eine Montage eines Zusammenbaus erfolgreich war oder nicht, umfasst die nachfolgend beschriebenen drei Schritte. In einem ersten Schritt erfolgt ein Aufnehmen eines Graustufenbilds und eines range image (d. h. ein Bild mit Tiefeninformationen) des Zusammenbaus. In einem zweiten Schritt erfolgt ein Ermitteln der Position und der Orientierung der Bauteile des Zusammenbaus basierend auf den beiden aufgenommen Bildern sowie einem 3D-Modell des Zusammenbaus. In einem dritten Schritt erfolgt das Bestimmen, ob die Montage des Zusammenbaus erfolgreich war oder nicht, basierend auf der bestimmten Position und Orientierung. In dem zweiten Schritt werden zum Ermitteln von Position und Orientierung der Bauteile des Zusammenbaus aus dem aufgenommen Graustufenbild extrahierte Kanten sowie in dem range image enthaltene Tiefenpunkte iterativ mit dem 3D Modell des Zusammenbaus bestmöglich in Übereinstimmung gebracht, sodass basierend darauf eine Abweichung der Form des Zusammenbaus von dem 3D Modell bestimmt, sodass über einen Vergleich der bestimmten Abweichung mit einem Grenzwert in dem nachfolgenden dritten Schritt des Verfahrens bestimmt werden kann, ob die Montage eines Zusammenbaus erfolgreich war oder nicht.
Ein Nachteil des Vorgehens gemäß der US 9,187,188 B2 als auch der US 10,242,438 B2 ist, dass der Zusammenbau gemäß der Lehre beider nur aus einer Perspektive betrachtet werden kann, sodass dieses beschriebene Vorgehen bei komplexen Zusammenbauten, wie es z. B. im Maschinen- und Anlagenbau zumeist der Fall ist, insofern an seine Grenzen stößt, als dass das Verfahren für solche komplexen Zusammenbauten für eine Vielzahl verschiedener Perspektiven durchzuführen wäre, was wiederum sehr zeit- und rechenintensiv ist. Da beide Verfahren perspektivische Projektionen auf 2D-Bildebene nutzen, welche die 3D- Realität nicht vollständig abbilden, müssen Inspektionsposen, die keine schnelle oder intuitive Nutzung oder Implementierung erlauben, typischerweise vordefiniert werden, damit eine Anzahl an benötigten Perspektiven für die Inspektion gering gehalten werden kann.
Die DE102020 134680 A1 betrifft ein Verfahren zur Qualitätsprüfung eines Objekts einer realen Umgebung unter Verwendung einer Kamera, einer optischen Darstellungseinrichtung und einer Verarbeitungsvorrichtung. Das Verfahren weist die folgenden Schritte auf: Definition einer Prüfgeometrie und einer Referenzgeometrie innerhalb eines computergestützten Datenmodells, Definition einer Prüfpose, in der die Kamera von einem Benutzer für eine durchzuführende Qualitätsprüfung des zu prüfenden Objekts als Soll-Positionierung zu platzieren ist, und Visualisierung der Prüfpose auf der optischen Darstellungseinrichtung. In einer zweiten Phase wird wenigstens eine Abbildung der realen Umgebung durch die Kamera erfasst, deren Pose sich in einem Bereich befindet, der die Prüfpose umfasst, und die Prüfgeometrie und Referenzgeometrie in der Abbildung getrackt. Weiterhin wird eine Pose der getrackten Prüfgeometrie in Relation zur Referenzgeometrie sowie wenigstens ein Parameter auf Basis dessen bestimmt, wie die Pose der getreckten Prüfgeometrie zu einer im Datenmodell definierten Soll- Pose der Prüfgeometrie in Relation ist. Ferner wird ein Qualitätsindikator auf Basis des wenigstens einen Parameters bestimmt und über eine Mensch-Maschine- Schnittstelle an den Benutzer ausgegeben.
Die Lehre der DE10 2020 134 680 A1 benötigt demnach, ebenso wie die US 9,187,188 B2 als auch der US 10,242,438 B2, in Abhängigkeit des konkret zu prüfenden Bauteils vordefinierte Beobachtungsperspektiven bzw. Inspektionsposen, was ein Einsatzgebiet des Verfahrens limitiert bzw. einen Einsatz davon unflexibel macht.
Vor dem Hintergrund dieses Standes der Technik kann eine Aufgabe der vorliegenden Offenbarung darin gesehen werden, eine Vorrichtung und/oder ein Verfahren anzugeben, welche jeweils geeignet sind, den Stand der Technik zu bereichern.
Eine konkrete Ausgestaltung der Offenbarung kann die Aufgabe lösen, eine Möglichkeit zur automatisierten Überprüfung einer Korrektheit eines komplexen Zusammenbaus, wie es beispielsweise im Maschinen- und Anlagenbau der Fall ist, bereitzustellen. Gelöst wird die Aufgabe durch die Merkmale des unabhängigen Anspruchs. Die nebengeordneten Ansprüche und Unteransprüche haben jeweils und in Kombination optionale Weiterbildungen der Offenbarung zum Inhalt.
Danach wird die Aufgabe durch ein computer-implementiertes Verfahren gelöst, das ausgestaltet ist, um eine Korrektheit eines Zusammenbaus zu prüfen. Das Verfahren umfasst ein Bestimmen eines Ist-3D-Modells des Zusammenbaus basierend auf Bilddaten des Zusammenbaus, und ein Vergleichen des bestimmten Ist-3D-Modells mit einem Soll-3D-Modell des Zusammenbaus zur Prüfung der Korrektheit des Zusammenbaus.
Unter einem computer-implementierten Verfahren kann ein Verfahren verstanden werden, bei dem ein Schritt, mehrere Schritte oder alle Schritte des Verfahrens zumindest teilweise von einer Vorrichtung zur Datenverarbeitung bzw. einem Computer ausgeführt bzw. durchgeführt wird bzw. werden.
Es wird folglich eine automatisierte Lösung zum Prüfen eines Zusammenbaus vorgeschlagen. Denkbar ist dabei, dass der betreffende Zusammenbau ebenfalls automatisiert und/oder manuell, z. B. unter Nutzung eines mobilen Geräts, gescannt wird und automatisiert eine Rückmeldung über die Qualität der Montage, z. B. über ein Display des mobilen Endgeräts, ausgegeben werden kann.
Die Bilddaten stellen zunächst 2D bzw. 2,5D Informationen betreffend den Zusammenbau dar, welche dann in 3D Informationen umgewandelt werden. Denkbar ist, dass die Bilddaten Tiefen-Informationen (z. B. als Tiefenkarte, engl. depth map) und/oder Bilder (z. B. RGB-Bilder) umfassen. Beide können aus einer oder mehreren Perspektiven erfasst bzw. aufgenommen werden. Tiefenbilder (auch mit ungenauer Tiefenauflösung) können uneindeutige Szenen und/oder Tiefen- Skalierungs-Uneindeutigkeit bei einer Verwendung einer Einzelkamera auflösen. Eine synchrone Aufnahme von Tiefenbildern mit Bilddaten kann daher eine Perspektivenschätzung einer (mobilen) Kamera ergänzen, um so eine robustere bzw. schnellere Konvergenz zu erhalten. Denkbar ist, dass dazu einer oder mehrere mobile und kompakte Sensoren, wie z. B. eine RGB-D Tiefenkamera (unter RGB-D kann ein farbige Punktwolke verstanden werden), ein Solid-State-Lidar oder Ähnliches, verwendet wird/werden. Mit anderen Worten, die Bilddatenerfassung kann in verschiedenen Modalitäten erfolgen, z. B. mittels einer Monochrom- und/oder Farbkamera, eines Tiefensensors, eines Lidar/ToF-Sensors und/oder anderen bzw. weiteren 3D-Sensoren, die z. B. eine Muster-ZStreifenprojektion nutzen und/oder einen Laserscanner umfassen. Die Verwendung von 2D/RGB- Informationen hat - inter alia - den Vorteil, dass eine Empfindlichkeit gegenüber 3D-Sensorrauschen vergleichsweise gering ist, sodass insbesondere auch relativ dunkle, kleine und/oder glänzende Komponenten zuverlässig erfasst werden können. Ergänzend sei angemerkt, dass dunkle Bereiche und kleine Komponenten mit einer mobilen Kamera leicht erfasst bzw. zugänglich sein können. Für glänzende Objekte kann eine Verwendung verschiedener Perspektiven vorteilhaft sein.
Der Zusammenbau ist ein in der realen Welt existierendes Objekt. Bei dem Zusammenbau handelt es sich um eine Baugruppe (It. DIN 199 kurz Gruppe genannt), welche ein in sich geschlossener, aus zwei oder mehr Teilen oder Baugruppen niederer Ordnung bestehender Gegenstand ist, der in der Regel wieder zerlegbar ist. Ein Einzelteil dagegen kann vorliegend von dem Zusammenbau insofern abgegrenzt werden, als dass dieses nicht zerstörungsfrei zerlegt werden kann (s. DIN 199 Technische Produktdokumentation). Mit anderen Worten, der Zusammenbau weist mehrere Einzelteile auf, die ggf. in Unterbaugruppen zusammengefasst sein können.
Der nachfolgend verwendete Terminus „Komponente“ bezieht sich daher sowohl auf ein Einzelteil als auch auf mehrere Einzelteile umfassende Unter- bzw. Subbaugruppen, welche jeweils Teil des Zusammenbaus sind.
Der Terminus „Korrektheit“ kann in Bezug auf den Zusammenbau angesichts der obigen Definition des Zusammenbaus breit verstanden werden und sich - inter alia - auf eine Vollständigkeit des Zusammenbaus hinsichtlich der einzelnen, den Zusammenbau bildenden Komponenten beziehen. Zusätzlich oder alternativ kann eine Korrektheit der verbauten Komponenten hinsichtlich dessen, ob überhaupt die korrekte Komponente verbaut ist und/oder ob die verbaute Komponente korrekt verbaut ist, d. h. z. B. ob die verbaute Komponente an der richtigen bzw. korrekten Stelle bzw. Position verbaut ist, geprüft werden. Mit einer Prüfung darauf, ob die korrekte Komponente verbaut ist, kann auch sichergestellt werden, dass keine Komponente verwechselt wurde. Da typischerweise in der Montage ähnliche Komponenten mit leicht anderen Dimensionen für andere Baureihen oder Prozesse verfügbar sind, ist ein solches Ausschließen von Vertauschungen vorteilhaft.
Die Korrektheit wird vorliegenden über den Soll-Zustand definiert bzw. festgelegt. Ein vorangestelltes Soll-, wie z. B. bei dem Soll-3D-Modell (nachfolgend auch bei Position und Ausrichtung verwendet), kennzeichnet daher den gewünschten Zustand der durch den Ist-Zustand abgebildet bzw. erreicht werden soll, sodass die Prüfung der Korrektheit bei Übereinstimmung von Ist-Zustand und Soll-Zustand bejaht und bei Abweichung der vorgenannten verneint werden kann. Folglich beschreibt der Ist-Zustand den tatsächlichen, z. B. durch die Montage des Zusammenbaus erreichten, physischen Zustand des Zusammenbaus in der realen Welt.
Der Schritt des Vergleichens kann daher auch als Soll-Ist-Vergleich verstanden werden, bei dem die Prüfung der Korrektheit des Zusammenbaus erfolgt.
Im Unterschied zum Stand der Technik bietet das offenbarungsgemäße Verfahren eine Reihe von Vorteilen. Unter anderem erlaubt das Verfahren eine dreidimensionale (3D) Prüfung des Zusammenbaus auf Korrektheit und eignet sich daher auch für die Prüfung komplexer Zusammenbauten, bei welchen herkömmliche Verfahren an ihre Grenzen stoßen.
Im Detail: Unter einem Modell kann vorliegend ein Computermodell verstanden werden, welches - als ein sog. „digital twin“ - ein vereinfachtes Abbild der Wirklichkeit bzw. des Zusammenbaus darstellt. Dabei ist das offenbarungsgemäß genutzte Modell zumindest dreidimensional, d. h. es gibt die Außenabmessungen des Zusammenbaus räumlich im Wesentlichen wieder. Daher kann der Zusammenbau aus verschiedenen Perspektiven bzw. Blickwinkeln betrachtet und damit auch aus verschiedenen Blickwinkeln geprüft werden. Die eingangs beschriebenen herkömmlichen Verfahren nutzen hingegen im Falle der US 9,187,188 B2 ein perspektivisches 2D-Modell (d. h. ein Bild) und im Falle der US 10,242,438 B2 ein 2.5D-Modell (d. h. ein Bild gepaart mit Tiefeninformationen) des Zusammenbaus, wodurch jeweils nur der Teil des Zusammenbaus auf Korrektheit überprüft werden kann, der sich im Blickfeld (engl. Field-of-View (FoV)) der jeweils verwendeten Kamera befindet. Will man das zu prüfende Objekt bzw. den Zusammenbau mit herkömmlichen Verfahren aus zwei verschiedenen Richtungen bzw. Perspektiven, z. B. eine Vorderseite und eine Rückseite des Zusammenbaus, prüfen, so muss das jeweilige herkömmliche Verfahren zweimal komplett, einmal mit Blick der Kamera auf die Vorderseite und einmal mit Blick auf die Rückseite, unter jeweiliger Berechnung des 2D- bzw. 2,5D Modells durchgeführt werden. Davon abweichend ist es offenbarungsgemäß ausreichend, das 3D-Modell des Zusammenbaus nur ein einziges Mal zu erzeugen, um eine umfassende Prüfung des Zusammenbaus aus verschiedenen Perspektiven durch Vergleich des lst-3D- Modells mit dem Soll-3D-Modell durchführen zu können, wobei auch der Schritt des Vergleichens mit dem offenbarungsgemäßen Verfahren nur ein einziges Mal und nicht wie herkömmlich für jede Perspektive separat durchgeführt werden muss.
Die Verwendung des 3D-Modells bietet, inter alia, z. B. gegenüber der Verwendung des 2D- oder 2,5D-Modells, den technischen Effekt, dass zur Überprüfung der Korrektheit eines komplexen Zusammenbauteils bzw. eines komplexen Zusammenbaus aus mehreren Perspektiven nur ein einziger Soll-Ist- Vergleichsschritt unter Verwendung eines einzigen zu berechnenden (virtuellen bzw. digitalen) Modells des zu prüfenden Zusammenbaus erfolgen kann.
Ausgehend vom Stand der Technik kann der Fachmann folglich vor der objektiv technischen Aufgabe stehen, aus dem Stand der Technik bekannte Verfahren - wie z. B. in der US 9, 187, 188 B2 oder der US 10,242,438 B2 beschrieben - dahingehend zu modifizieren, als dass ein komplexer Zusammenbau aus mehreren Perspektiven mit nur einem einzigem Soll-Ist-Vergleichsschritt unter Verwendung eines einzigen zu berechnenden (virtuellen bzw. digitalen) Modells des zu prüfenden Zusammenbaus geprüft werden kann.
Dies wird, wie oben im Detail erläutert, offenbarungsgemäß zumindest durch die Verwendung des 3D-Modells erzielt. Ein solches Vorgehen bzw. die offenbarungsgemäße Lösung ist weder aus dem Stand der Technik bekannt, noch wird der Fachmann dazu angeregt.
Das oben Beschriebene lässt sich wie nachfolgend als für die Offenbarung nicht einschränkend beschreiben und auf eine konkrete Ausgestaltung der offenbarungsgemäßen Lehre bezogen zusammenfassen: Zunächst kann ein Erfassen von Bilddaten, z. B. in Form eines Videostreams oder einer oder mehreren einzelnen Bildern, des Zusammenbaus erfolgen. Anschließend kann ein Erkennen und Identifizieren von Einzelteilen (der sichtbaren Hülle) des Zusammenbaus in 2D erfolgen. Dies kann eine Vorhersage eines 2D-Objektzentrums und einer Pose (z. B. mittels einer Rotationsmatrix) sowie einer 2D-Segmentierungsmaske im Videobild oder in der einzelnen Bildaufnahme umfassen. Insbesondere wenn ein Videostream verfügbar ist, kann eine Optimierung der vorhergesagten Objektposition basierend auf mehreren (perspektivischen) Vorhersagen erfolgen. Es kann das jeweils ähnlichste CAD-Modell aus einer Datenbank basierend auf einer Ähnlichkeit in einem Erscheinungsbild-Einbettungsraum ausgewählt werden und eine Erkennung der Position der identifizierten Komponente in Bezug auf andere Bauteile in der Umgebung des identifizierten Bauteils erfolgen. Dies kann für alle erkannten Komponenten wiederholt werden. Nun kann eine virtuelle Erstellung des Zusammenbaus als 3D-Modell mit allen erkannten Komponenten und deren Posen zueinander erfolgen. Abschließend kann ein Vergleich des virtuellen 3D-Modells mit dem digitalen 3D-Modell des Zusammenbaus erfolgen und so können fehlende, falsch ausgerichtete und falsche Komponenten des Zusammenbaus identifiziert werden. Nachfolgend werden mögliche Weiterbildungen des obigen Verfahrens im Detail erläutert, wobei diese Weiterbildungen für sich, aber auch in Kombination die oben beschriebenen Vorteile des Verfahrens zumindest verstärken.
Das Verfahren kann ein Identifizieren mehrerer Komponenten, die den Zusammenbau bilden, in den Bilddaten, und ein Bestimmen einer Ist-Position und Ist-Ausrichtung der identifizierten Komponenten relativ zueinander und/oder bezüglich einer vorbestimmten Kameraperspektive, aus der die Bilddaten erfasst wurden, basierend auf den Bilddaten umfassen.
Im Rahmen des Identifizierens kann ein Vorhandensein eines Objekts bzw. einer Komponente, z. B. eines einzelnen Bauteils und/oder eine mehrere Bauteile umfassende Baugruppe des Zusammenbaus, in den Bilddaten erkannt werden und es kann bestimmt werden, um welche Art oder konkreter um welche Komponente aus einer Vielzahl vorbekannter bzw. vorbestimmter Komponenten es sich handelt. Das Vorhandensein kann konkreter ausgedrückt beispielsweise insofern verstanden werden, als dass die jeweilige zu identifizierende Komponente bei einer Visualisierung der Bilddaten zu sehen ist und daher mittels eines Algorithmus, z. B. eines Objekterkennungsalgorithmus, erkannt werden kann bzw. soll.
Unter einer Ist-Position kann die Position, z. B. eines geometrischen Zentrums und/oder eines Masseschwerpunkts, einer Komponente im Raum in der realen Welt verstanden werden. Unter einer Ist-Ausrichtung kann eine Ausrichtung dieser Komponente im Raum in der realen Welt verstanden werden. Das zuvor Beschriebene gilt analog für die Soll-Position und die Soll-Ausrichtung, welche in dem Soll-3D-Modell als Informationen enthalten sind und direkt oder zumindest indirekt mittels des Verfahrens aus diesem extrahiert werden können.
Unter einer Kameraperspektive kann ein Blickwinkel einer Kamera auf den Zusammenbau verstanden werden. Dabei ist das Verfahren nicht auf eine Variation der Kameraperspektive beschränkt, vielmehr kann zusätzlich oder alternativ auch ein Blickfeld der Kamera in einer Größe (d. h. es kann der Zusammenbau ausschnittsweise und/oder komplett betrachtet werden) und/oder ein Abstand der Kamera zum Zusammenbau (z. B. virtuell über einen Zoom und/oder physisch durch eine tatsächliche Verringerung oder Vergrößerung des Abstands der Kamera zum Zusammenbau) variiert werden.
Das Identifizieren der Komponenten sowie das Bestimmen von deren Ist-Position und Ist-Ausrichtung bietet - inter alia - den technischen Effekt, dass damit für jede der den Zusammenbau bildenden Komponenten eine Prüfung der Korrektheit ermöglicht wird. Das heißt, es kann (wie nachfolgend weiter im Detail erläutert) komponentenweise auf Korrektheit des Zusammenbaus geprüft werden, sodass - was insbesondere bei komplexen Zusammenbauten vorteilhaft ist - nicht nur angegeben werden, dass das Soll-3D-Modell als Ganzes nicht mit dem lst-3D- Modell übereinstimmt, sondern es kann vielmehr angegeben werden, welche Komponente fehlerhaft sind. Dies ermöglicht eine gezielte Nacharbeit und/oder eine gezielte manuelle Überprüfung des Zusammenbaus (z. B. im Rahmen einer geführten Nutzerinteraktion).
Denkbar ist, dass das Identifizieren der Komponenten einem mehrstufigen Ansatz folgt. Dies kann bedeuten, dass in einem ersten Schritt zunächst Komponenten identifiziert werden, die größer sind als ein vordefinierter Schwellenwert. Anschließend können in einem zweiten Schritt Objekte identifiziert werden, die kleiner sind als der vordefinierter Schwellenwert. Hierzu können in dem zweiten Schritt Bilddaten verwendet werden, die im Vergleich zu den im ersten Schritt verwendeten Bilddaten mit einer höheren Zoomstufe oder mit einem geringeren Abstand der Kamera zum Zusammenbau erfasst wurden. Der erste und der zweite Schritt können nacheinander oder zumindest teilweise simultan ablaufen.
Das Identifizieren der mehreren Komponenten und/oder das Bestimmen der Position und Ausrichtung der identifizierten Komponenten kann mittels eines, optional einzigen, auf künstlicher Intelligenz beruhenden Modells (z. B. aufweisend ein oder mehrere künstliche neuronale Netze) erfolgen. Das Modell kann trainiert sein, um aus den Bilddaten des Zusammenbaus, optional simultan, einzelne Komponenten aus einem Pool von Komponenten zu identifizieren und/oder deren Ist-Position und Ist-Ausrichtung zu bestimmen.
Konkreter ausgedrückt kann mit dem Modell beispielsweise eine 2D- Instanzsegmentierung von Komponenten, die in einem Pool möglicher Komponenten zur Verfügung stehen, erfolgen. Der Pool möglicher Komponenten definiert dabei den sog. Einbettungsraum (engl. embedding space). Es kann eine Erkennung und Segmentierung von Komponenten mittels des trainierten Modells erfolgen, welche durch vorheriges Lernen aus 2D-Projektionen (Ansichten) von 3D- CAD-Modellen der Komponenten ermöglicht wird. Dabei können Methoden wie Multi-Objekt-Erkennung einschließlich der Erkennung von Objektposen (d. h. Ist- Position und Ist-Ausrichtung) genutzt werden, wobei das Modell so trainiert sein kann, dass dieses die jeweiligen Komponenten auch bei teilweiser Verdeckung der Komponenten in den Bilddaten aufgrund eines Montagezustands der Komponente am Zusammenbau und/oder einer jeweiligen Kameraperspektive identifizieren und deren Ist-Position und Ist-Ausrichtung bestimmen kann.
Denkbar ist, dass zur Objektposenschätzung (bzw. zur Bestimmung der Ist- Ausrichtung) zuvor trainierte Schlüsselpunkte (engl. keypoints) in Ansichten geschätzt werden, die z. B. die 3D-Boundingbox des Objekts beschreiben. Diese geschätzten Schlüsselpunkte können ein Zwischenergebnis darstellen, mit dem letztlich die Objektperspektive bzw. Objektpose bestimmt wird.
Denkbar ist, dass das Modell ferner so ausgestaltet bzw. trainiert ist, dass es eine Unsicherheit bzw. Mehrdeutigkeit eines Ergebnisses des Identifizierens und des Bestimmens der Ist-Position und der Ist-Ausrichtung der einzelnen Komponenten, d. h. z. B. eine Wahrscheinlichkeit dafür, dass die Komponente sowie deren Ist- Position und Ist-Ausrichtung richtig erkannt wurde, zu bestimmen. Mit anderen Worten, ein ML-Netz kann neben der Identifikation und/oder der Pose auch lernen wie sicher bzw. wahrscheinlich ein Ergebnis ist. Dies kann einem Zuverlässigkeitswert zwischen 0 und 1 entsprechen. So kann beispielsweise eine Komponente mit hoher Wahrscheinlichkeit aus einer bestimmten Perspektive erkannt werden, aus einer anderen Perspektive oder mit Teilverschattung bzw. Teilverdeckung jedoch schlechter. Diese Unsicherheit kann beim Erzeugen des Ist- 3D-Modells berücksichtigt werden. Konkret kann das Maß der Zuverlässigkeit berücksichtigt werden, wenn Objektidentifikationen und/oder Posen aus unterschiedlichen Richtungen bzw. Perspektiven zusammengeführt werden. Denkbar ist, dass das Ergebnis mit der größten Zuverlässigkeit verwendet wird. Es ist aber auch denkbar, dass eine geeignete Fusion der verschiedenen (Teil-) Informationen zu Objektidentifikationen und/oder Pose erfolgt. Weiterhin ist denkbar, dass die erwarteten Objektidentifikationen und -posen (aus dem Soll-3D- Modell) genutzt werden, um z. B. Ergebnisse mit einem unzureichenden Konfidenzwert dennoch einzubeziehen bzw. deren Korrektheit zu bestätigen, und optional mit einer anderen Aufbereitung bzw. einer vorbestimmten Farbe im Feedback für den User anzuzeigen.
Zusätzlich kann das Modell trainiert sein, um Objekte innerhalb von oder angrenzend an Komponenten zu identifizieren, die nicht zu den erwarteten bzw. entsprechenden Objekten im CAD-Pool passen. Dies ermöglicht eine weitergehende Überprüfung des Ist-3D-Modells auf Korrektheit insofern, als dass fälschlicherweise zu viel verbaute Komponenten des Zusammenbaus erkannt werden können.
Das oben beschriebene Bestimmen der Ist-Ausrichtung und Ist-Position kann in einer möglichen konkreten Ausgestaltung als Vorhersage der 3D-Eigenschaften einer jeden identifizierten Komponente verstanden werden, welche - wie oben bereits beschrieben - zusammen mit dem Identifizieren der Komponente erfolgen kann. Dabei kann neben einer Rotationsmatrix, die die Ausrichtung der Komponente im 3D-Raum angibt, auch eine 2D-Projektion eines 3D-Zentrums der Komponente auf eine Bildebene der Bilddaten und ein Formcode-Vektor (engl. shape code vector) der Komponente zur Bestimmung der Position der Komponente geschätzt bzw. bestimmt werden, der eine Einbettung (engl. embedding) entsprechend einem 3D-Modell (z. B. 3D-CAD-Modell) darstellt, das der identifizierten Komponente entspricht. Mit anderen Worten, durch Bestimmung der Position im 2D-Bild aus verschiedenen Perspektiven kann die 3D-Position ermittelt werden, wobei durch (pixelweise) Segmentierung und der Objektidentifikation mittels der Silhouette eine Orientierungsbestimmung möglich ist. Der Formcode-Vektor kann der Identifizierung im Embedding Space entsprechen und demnach die Zuweisung angeben, um welche Komponente es sich handelt, was zunächst unabhängig von deren Pose ist. Es kann auch eine Schätzung der Lage der einzelnen Komponente im Raum in Bezug auf andere Komponenten oder in Bezug auf eine bekannte Kameraperspektive erfolgen.
Unter einem auf künstliche Intelligenz beruhenden Modell kann ein durch maschinelles Lernen erzeugtes Modell verstanden werden, das im vorliegenden Fall ausgestaltet ist, um aus den Bilddaten des Zusammenbaus einzelne Komponenten aus einem Pool von Komponenten zu identifizieren und/oder deren Ist-Position und Ist-Ausrichtung zu bestimmen. Das maschinelle Lernen kann als eine „künstliche“ Generierung von Wissen aus Erfahrung verstanden werden, bei dem ein künstliches System aus Beispielen lernt und diese nach Beendigung der Lernphase verallgemeinern kann. Das heißt, es werden nicht einfach die Beispiele auswendig gelernt, sondern Muster und Gesetzmäßigkeiten in den Lerndaten erkannt. So kann das trainierte Modell auch unbekannte Daten beurteilen (sog. Lerntransfer).
Denkbar ist, dass das Identifizieren und Bestimmen der Ist-Position und Ist- Ausrichtung simultan erfolgen, d. h. mittels eines einzigen Modells. Dies kann durch ein sog. End-zu-Ende-Lernen (engl. End-2-End (E2E)) erreicht werden, bei dem alle für das Ergebnis notwendigen Zwischenschritte in einem einheitlichen Modell integriert sind.
Unter dem Pool von Komponenten kann eine Datenbank verstanden werden, welche für eine bestimmte Anzahl an vorbestimmten Komponenten einen Identifikator (z. B. M12-Schraube) und ein zugehöriges 3D-Modell umfasst. Das Modell kann nur speziell darauf trainiert sein, die in dem Pool von Komponenten enthaltenen Komponenten in den Bilddaten zu erkennen. Dafür können zum Trainieren des Modells (synthetische) Bilddaten der jeweiligen Komponenten verwendet werden.
Bei dem Modell kann es sich insbesondere um ein sog. Deep-Learning-Modell handeln. Diese benötigen zum Trainieren im Allgemeinen eine große Menge an Trainingsdaten, d. h. eine große Anzahl von 2D-CAD-Paaren, um ein robustes und zur Verallgemeinerung taugliches Modell zu erhalten. Realistische 2D-CAD-Paare mit eingebetteten/zusammengebauten 3D-Komponenten können jedoch auf automatisierte Weise mit synthetischen gerenderten Bildern und deren Erweiterungen generiert werden, was zu einer Erhöhung der verfügbaren Trainingsdaten führt und die hohe Anzahl an Trainingsdaten leichter erreichen lässt.
Dabei sei angemerkt, dass sich die Offenbarung auch auf ein Verfahren zum Trainieren des hierin beschriebenen auf künstlicher Intelligenz beruhenden Modells bezieht.
Die Verwendung des oben beschriebenen auf künstlicher Intelligenz beruhenden Modells bietet - inter alia - den technischen Effekt, als dass das Verfahren Zusammenbau übergreifend, d. h. für Zusammenbauten verschiedener Art, verwendet werden kann, solange diese Zusammenbauten Komponenten aus dem Pool von Komponenten aufweisen oder daraus bestehen. Dies bietet eine Flexibilität des Einsatzes des Verfahrens, sodass sich dieses auch für Kleinserien eignet, da nicht für jeden neuen bzw. von vorherigen Zusammenbauten abweichenden Zusammenbau ein Modell neu trainiert werden muss.
Das Verfahren kann ein Beziehen eines jeweils zugehörigen 3D-Modells für jede der identifizierten Komponenten, und ein Bestimmen des Ist-3D-Modells des Zusammenbaus durch Zusammensetzen der bezogenen 3D-Modelle basierend auf deren bestimmter Ist-Positionen und Ist-Ausrichtungen umfassen.
Unter dem Zusammensetzen kann ein digitales Nachbauen des Zusammenbaus verstanden werden, sodass das Ist-3D-Modell resultiert. Dies bietet - inter alia - den technischen Effekt, dass das resultierende Ist-3D-Modell mit herkömmlich konstruierten 3D-Modellen, die folglich als Soll-3D-Modelle verwendet werden können, kompatibel ist. Mit anderen Worten, 3D-Modelle werden regelmäßig mit CAD-Programmen (computer-aided design), d. h. rechnergestützt, konstruiert. Solche 3D-Modelle setzen sich, wie das Ist-3D-Modelle aus einzeln konstruierten Modellen einzelner Komponenten zusammen. Durch die Kompatibilität von lst-3D- Modell mit dem Soll-3D-Modell, das z. B. aus einer Entwicklungsphase des Zusammenbaus stammt, können zusätzliche Schritte des Adaptierens des lst-3D- Modells vermieden werden und damit kann der Soll-Ist-Vergleich mit vergleichsweise geringer Rechenleistung durchgeführt werden.
Das Beziehen des 3D-Modells kann ein Laden des jeweils zugehörigen 3D-Modells aus dem Pool von Komponenten umfassen, der für jede Komponente des Pools ein jeweils zugehöriges 3D-Modell umfasst.
Dies bietet den Vorteil, dass der Pool von 3D-Modellen unabhängig, insbesondere unabhängig von einem etwaig verwendeten auf künstlicher Intelligenz beruhenden Modells, verwaltet werden und angepasst werden kann.
Das Soll-3D-Modell kann aus 3D-Modellen einzelner, den Zusammenbau bildenden Komponenten zusammengesetzt sein. Das Vergleichen des bestimmten lst-3D- Modells mit dem Soll-3D-Modell des Zusammenbaus zur Prüfung der Korrektheit des Zusammenbaus kann ein komponentenweises Vergleichen der das Soll-3D- Modell bildenden 3D-Modelle mit den das Ist-3D-Modell bildenden 3D-Modellen umfassen.
Hier wird auf die oben, mit Bezug zum Bestimmen des Ist-3D-Modells, beschriebenen Vorteile verwiesen.
Das komponentenweise Vergleichen der das Soll-3D-Modell bildenden 3D-Modelle mit den das Ist-3D-Modell bildenden 3D-Modellen kann ein Vergleichen der jeweiligen 3D-Modelle des Soll-3D-Modells und des Ist-3D-Modells an sich umfassen, um so in dem Ist-3D-Modell im Vergleich zum Soll-3D-Modell fehlende 3D-Modelle einzelner Komponenten und/oder im Ist-3D-Modell aber nicht im Soll- 3D-Modell vorhandene 3D-Modelle einzelner Komponenten zu identifizieren. Zusätzlich oder alternativ kann das komponentenweise Vergleichen der das Soll- 3D-Modell bildenden 3D-Modelle mit den das Ist-3D-Modell bildenden 3D-Modellen ein Vergleichen einer Soll-Position und Soll-Ausrichtung mit der Ist-Position und Ist- Ausrichtung der jeweiligen 3D-Modelle des Soll-3D-Modells und des Ist-3D-Modells umfassen, um im Ist-3D-Modell vom Soll-3D-Modell abweichend angeordnete 3D- Modelle einzelner Komponenten zu identifizieren.
Konkret kann dies bedeuten, dass ein Vergleich des Ist-3D-Modells, also des virtuellen 3D-Nachbaus des Zusammenbaus, mit dem Soll-3D-Modell, also dem digitalen 3D-Modell des Zusammenbaus (z. B. ein 3D-CAD-Modell des Zusammenbaus), umfassend eine bauteilbezogene bzw. komponentenbezogene Bewertung der Korrektheit erfolgt. Diese komponentenbezogene Bewertung der Korrektheit kann ein Identifizieren fehlender Komponenten, ein Identifizieren von falsch ausgerichteten Komponenten und/oder ein Identifizieren falscher Komponenten (anhand nicht übereinstimmender Merkmale der 3D-Modelle) umfassen.
Hier wird auf die oben, mit Bezug zum komponentenweisen Vergleich des lst-3D- Modells beschriebenen Vorteile verwiesen. Weiterhin bietet diese spezielle Ausgestaltung - inter alia - den technischen Effekt, dass nicht nur ein Fehler betreffend im Zusammenbau vorhandener Komponenten hinsichtlich deren Position und Ausrichtung, sondern auch eine Vollständigkeitsprüfung ermöglicht wird.
Das Bestimmen des Ist-3D-Modells kann unter Berücksichtigung der in dem Soll- 3D-Modell enthaltenen 3D-Modelle an sich und/oder der Soll-Position und Soll- Ausrichtung der in dem Soll-3D-Modell enthaltenen 3D-Modelle erfolgen.
Mit anderen Worten, das Zusammenbauen des Ist-3D-Modells aus den einzelnen geladenen 3D-Modellen der identifizierten Komponenten kann dahingehend vereinfacht werden, dass neben den aus den Bilddaten bekannten Ist- Ausrichtungen und Ist-Positionen auch die aus dem Soll-3D-Modell bekannten gewünschten Soll-Positionen und Soll-Ausrichtungen der einzelnen 3D-Modelle der identifizierten Komponenten berücksichtigt werden. Das Soll-3D-Modell kann als Initialisierung dienen; wobei alle Teile des Soll-3D-Modells ausgeblendet werden können, die im Ist-3D-Modell nicht identifiziert wurden.
Das Bestimmen des Ist-3D-Modells kann ein Identifizieren von zumindest einer in den Bilddaten enthaltenen, aber fälschlicherweise nicht identifizierten Komponente des Zusammenbaus basierend auf einem initial bestimmten Ist-3D-Modell umfassen. Das Verfahren kann ferner ein Bestimmen einer Ist-Position und Ist- Ausrichtung der zumindest einen in den Bilddaten enthaltenen, aber fälschlicherweise nicht identifizierten Komponente relativ zu den restlichen, identifizierten Komponenten und/oder bezüglich der vorbestimmten Kameraperspektive, mit der die Bilddaten erfasst wurden, basierend auf den Bilddaten, umfassen. Das Verfahren kann ein Beziehen eines zugehörigen 3D- Modells der zumindest einen in den Bilddaten enthaltenen, aber fälschlicherweise nicht identifizierten Komponenten, und ein Anpassen des initial bestimmten lst-3D- Modells unter Hinzufügen des 3D-Modells der zumindest einen in den Bilddaten enthaltenen, aber fälschlicherweise nicht identifizierten Komponenten basierend auf deren bestimmter Ist-Position und Ist-Ausrichtung, um das Ist-3D-Modell zu erhalten.
Zusätzlich oder alternativ kann das Bestimmen des Ist-3D-Modells ein Durchführen einer Plausibilitätsprüfung der bestimmten Ist-Positionen und der Ist-Ausrichtungen der identifizierten Komponenten basierend auf einem initial bestimmten lst-3D- Modell umfassen. Das Verfahren kann ein Anpassen des initial bestimmten lst-3D- Modells unter Anpassen der Positionen und Ausrichtungen der in dem initialen Ist- 3D-Modell enthaltenen 3D-Modelle basierend auf einem Ergebnis der Plausibilitätsprüfung umfassen. Mit anderen Worten, die oben bereits beschriebene digitale 3D-Rekonstruktion kann zunächst zu einem unbefriedigenden Ergebnis führen, dem sog. initialen lst-3D- Modell, da ggf. einzelne Komponenten in den Bilddaten gar nicht identifiziert oder deren Ist-Position und Ist-Ausrichtung zunächst falsch bestimmt wurden. In einem Nachbearbeitungsschritt kann dies z. B. mit einer Plausibilitätsprüfung basierend auf dem initialen Ist-3D-Modell, z. B. wegen Lücken im initialen Ist-3D-Modell und/oder sich überschneidenden/überlappenden einzelnen 3D-Modellen des Ist- 3D-Modells, erkannt werden. Es kann dann eine eingehendere Analyse u.a. der Bilddaten erfolgen und/oder es kann, z. B. auch anhand des Soll-3D-Modells, eine Optimierung des initialen Ist-3D-Modells erfolgen, um so das (finale) für den Soll- Ist-Vergleich zu verwendende Ist-3D-Modell zu erhalten.
Denkbar ist auch, dass zum Auflösen von Mehrdeutigkeiten bei der Identifizierung der einzelnen Komponenten, z. B. aufgrund von Blendung bzw. ungünstiger Beleuchtung und/oder anspruchsvoller Oberflächenbeschaffenheit des Zusammenbaus, erscheinungsbasierter Überlegungen, wie Verfahren, die Neural Radiance Fields (NeRF) verwenden, genutzt werden können.
Weiterhin ist denkbar, dass eine (lokale) 3D-Rekonstruktion des Zusammenbaus verwendet wird, wenn Mehrdeutigkeiten des 2D-CAD-Matchings nicht gelöst werden können, d. h. wenn in den Bilddaten enthaltene Komponenten nicht eindeutig bzw. mit ausreichender Sicherheit einem der 3D-Modelle des Pools zugeordnet werden können. Dies kann insbesondere ein 3D-Rekonstruktion von bestimmten Formen/Objekten umfassen, die sonst nicht auflösbar sind. Es kann dann ein 3D-Vergleich mit dem Soll-3D-Modell in verschiedenen Datenformaten erfolgen, z. B. u.a. durch Darstellung der Komponente als Punktwolke, mit einem Netz und/oder als Voxel-Gitter.
Das Verfahren kann ein Erfassen der Bilddaten des Zusammenbaus, vorteilhafterweise aus mehreren Perspektiven, umfassen. Diesbezüglich wird zunächst auf die obigen Ausführungen zu den Bilddaten und deren Erfassung verwiesen. Ferner weist das Erfassen von Bilddaten aus mehreren bzw. verschiedenen Perspektiven gegenüber dem Erfassen von Bilddaten aus einer einzigen Perspektive, also gegenüber z. B. einem Einzelbild, u.a. den Vorteil auf, dass eine durch eine Projektion von 3D auf 2D entstehende Mehrdeutigkeit hinsichtlich einer Größe von Komponenten entlang einer Bildachse aufgelöst werden kann. Denkbar ist, dass das Verfahren, zusätzlich oder alternativ, ein Bestimmen einer jeweiligen Perspektive (z. B. mittels SLAM (engl. für Simultaneous Localization and Mapping) und/oder Odometrie (z. B. Bewegungsdaten aufintegriert aus IMU-Daten der Beschleunigung)), aus der die Bilddaten aufgenommen bzw. erfasst wurden, umfasst.
Das Verfahren kann ein Ausgeben einer ein Ergebnis des Vergleichens des bestimmten Ist-3D-Modells mit dem Soll-3D-Modell umfassenden Information, optional auditiv und/oder visuell, optional durch Ansteuern einer Anzeigevorrichtung, umfassen.
Konkret kann dies bedeuten, dass eine Rückmeldung an einen Nutzer ausgegeben wird. Dafür kann eine Schnittstelle, z. B. in Form eines Displays, vorgesehen sein, welches offenbarungsgemäß angesteuert werden kann. Optional kann so eine Rückmeldung von Bewertungswerten des oben beschriebenen 3D-Vergleichs, z. B. mittels einer Visualisierung für den menschlichen Benutzer, z. B. umfassend eine Empfehlung zur Nacharbeit und/oder zusätzlichen menschlichen Prüfung, ausgegeben werden. Die Schnittstelle ist jedoch nicht auf ein solches Human Machine Interface (HMI) beschränkt, sondern es kann sich, zusätzlich oder alternativ, um eine Datenschnittstelle handeln, über welche ein Ergebnis des Soll- Ist-Vergleichs für eine Datenverarbeitungsvorrichtung, die z. B. drahtgebunden und/oder drahtlos zur Schnittstelle verbunden ist, bereitgestellt werden kann.
Dabei beschränkt sich die Möglichkeit zur Interaktion mit dem Nutzer nicht nur auf die Präsentation des Ergebnisses des Verfahren, sondern der Nutzer kann durch eine entsprechende Informationsausgabe beispielsweise im Rahmen einer geführten Nutzerinteraktion bei dem Erfassen der Bilddaten, z. B. durch Anzeige von vorteilhaften Kameraposition usw., unterstützt werden. Denkbar ist, dass damit ein hierarchischer Ansatz realisiert wird. Dieser kann den oben beschriebenen Ansatz insofern erweitern, als dass damit eine bessere Sicht auf verdeckte Komponenten des Zusammenbaus und/oder Möglichkeiten zum Zoomen auf kleine oder nicht leicht zu identifizierende Komponenten des Zusammenbaus geschaffen werden können. Dazu können die oben beschriebenen Unsicherheitsmetriken aus der Ausgabe des auf künstlicher Intelligenz beruhenden Modells verwendet werden, um mit dem Nutzer darüber zu interagieren, welche Teile nach einer ersten Erfassung von Bilddaten nochmals mit geänderten bzw. angepassten Bilderfassungseinstellungen (z. B. geänderte Perspektive oder geänderter Zoom bzw. Abstand der Kamera zum Zusammenbau) im Rahmen einer zweiten bzw. weiteren Bilderfassung erfasst werden sollen. Mit anderen Worten, da der Vergleich der 3D-Daten wesentlich vom Ist-3D-Modell abhängt, welches jedoch unterschiedliche Konfidenzwerte/Zuverlässigkeitsscores beinhalten kann, ist es denkbar, dass das Ist-3D-Modell als Visualisierung farbkodiert aufbereitet wird (z. B. grün für alle Komponenten mit Konfidenzwert größer 90%, gelb für alle Komponenten mit Konfidenzwerten bis 65% und für alle anderen nicht erkannten oder mit Abweichungen erkannten Komponenten rot). Denkbar wäre auch eine Ergebnisliste mit Prozentangaben.
Weiterhin sei darauf verwiesen, dass das oben beschriebene Verfahren zwar auf die Verwendung eines 3D-Modells abzielt, jedoch eine zusätzliche Verwendung aus dem Stand der Technik bekannter konturbasierter Prüfmethoden, wie z. B. in der US 9,187,188 B2 und US 10,242,438 B2 beschrieben, nicht ausschließt.
Ferner betrifft die Offenbarung eine Vorrichtung zur Datenverarbeitung, die ausgestaltet ist, um das oben beschriebene Verfahren zumindest teilweise auszuführen.
Bei der Vorrichtung zur Datenverarbeitung kann es sich um einen Computer handeln. Dabei kann es sich bei der Vorrichtung zur Datenverarbeitung um ein verteiltes System handeln, es können mehrere einzelne physisch voneinander getrennte Vorrichtungen zur Datenverarbeitung, z. B. über das Internet, zusammengeschlossen werden und das Verfahren gemeinsam ausführen.
Die Vorrichtung zur Datenverarbeitung kann Teil eines Systems zur Datenverarbeitung sein, das neben der Vorrichtung zur Datenverarbeitung einen oder mehrere Sensoren zur Erfassung der Bilddaten und/oder eine oder mehrere Schnittstellen, z. B. zur Nutzerinteraktion, aufweist.
Denkbar ist, dass ein embedding space zentral auf einem Server vorgehalten wird, während lediglich object shape vectors ausgetauscht werden, die eine Identifizierung der Komponenten erlauben.
Ferner betrifft die Offenbarung ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das oben beschriebene Verfahren zumindest teilweise auszuführen.
Bei dem Computerprogramm kann es sich um eine Software, z. B. umfassend eine Firmware und/oder Anwendungssoftware, handeln. Unter Firmware kann eine Software verstanden werden, die in elektronischen Geräten, wie hier einem Sensor zur Bilddatenerfassung, (fest) eingebettet ist und dort grundlegende Funktionen leistet. Die Firmware kann eine Zwischenstellung zwischen einer Hardware des Geräts (also den physischen Anteilen des Geräts) und einer etwaig vorhandenen Anwendungssoftware (den ggf. austauschbaren Programmen des Geräts) einnehmen. Die Anwendungssoftware, welche die offenbarungsgemäße Auswertung der erfassten Bilddaten übernimmt, kann auf einem zu dem Sensor verbundenen Computer, z. B. einem Personal Computer, einem Tablet, einem Smartphone usw., ausführbar sein.
Ferner betrifft die Offenbarung ein computerlesbares Medium, z. B. ein computerlesbares Speichermedium und/oder ein Datensignal, umfassend Befehle, die bei der Ausführung der Befehle durch einen Computer diesen veranlassen, das oben beschriebene Verfahren zumindest teilweise auszuführen. Es kann insbesondere ein computerlesbares Medium umfassend das oben beschriebene Computerprogramm bereitgestellt werden.
Bei dem computerlesbaren Medium kann es sich um ein beliebiges digitales Datenspeichergerät handeln, wie zum Beispiel einen USB-Stick, eine Festplatte, einen Flash-Speicher, eine CD-ROM, eine SD-Karte oder eine SSD-Karte.
Das Computerprogramm muss nicht zwingend auf einem solchen computerlesbaren Speichermedium gespeichert sein, um dem Computer zur Verfügung gestellt zu werden, sondern kann auch als Datensignal über das Internet oder anderweitig extern bezogen werden.
Nachfolgend wird eine optionale Ausführungsform mit Bezug zu Figuren 1 und 2 beschrieben.
Fig. 1 zeigt schematisch ein System zur Datenverarbeitung, das ausgestaltet ist, um ein offenbarungsgemäßes computer-implementiertes Verfahren auszuführen, das wiederum ausgestaltet ist, um eine Korrektheit eines Zusammenbaus zu prüfen, und
Fig. 2 zeigt schematisch ein Ablaufdiagramm dieses Verfahrens.
In Figur 1 ist schematisch ein Zusammenbau 1 aufweisend, vorliegend bestehend aus, mehreren einzelnen Komponenten 2 - 5 in einer Seitenansicht gezeigt. Ferner ist in Figur 1 schematisch ein Sensor 6, der ausgestaltet ist, um Bilddaten des Zusammenbaus 1 zu erfassen (FoV mit gestrichelter Linie dargestellt), ein zum Sensor 6 verbundener Computer 7 und ein zum Computer 7 verbundenes Display 8 gezeigt. Letztgenannte Einheiten 6 - 8 sind Teil eines Systems zur Datenverarbeitung, welches ausgestaltet ist, um das nachfolgend im Detail beschriebene Verfahren auszuführen. Bei diesem Verfahren handelt es sich um ein computer-implementiertes Verfahren, das ausgestaltet ist, um eine Korrektheit des Zusammenbaus 1 zu prüfen. Ein Ablaufdiagramm des Verfahrens ist in Figur 2 schematisch und dargestellt.
Wie sich aus Figur 2 ergibt, lässt sich das Verfahren grob in vier Schritte S1 -S4 untergliedern.
In einem ersten Schritt S1 des Verfahrens werden mittels des Sensors 6, z. B. einer Kamera, Bilddaten des Zusammenbaus 1 (optional aus mehreren Perspektiven, hier in Figur 1 zur Einfachheit ist nur eine Perspektive dargestellt) erfasst und an den Computer 7 ausgegeben.
In einem zweiten Schritt S2 des Verfahrens wird ein Ist-3D-Modell des Zusammenbaus basierend auf den in dem ersten Schritt S1 erfassten Bilddaten des Zusammenbaus 1 mittels eines in einem Speicher 72 des Computers 7 hinterlegten Computerprogramms, das von einem Prozessor 71 des Computers 7 ausgeführt wird, bestimmt. Nachfolgend wird der zweite Schritt S2 weiter im Detail erläutert.
In einem ersten Teilschritt S21 des zweiten Schritts S2 erfolgt ein Identifizieren der Komponenten 2 - 5, die den Zusammenbau bilden, in den von dem Sensor 6 aufgenommenen Bilddaten sowie ein Bestimmen einer Ist-Position und Ist- Ausrichtung der identifizierten Komponenten 2 - 5 basierend auf den Bilddaten. Die Ist-Position und Ist-Ausrichtung der identifizierten Komponenten 2 - 5 kann z. B. relativ zueinander und/oder bezüglich einer vorbestimmten Kameraperspektive, mit der die Bilddaten erfasst wurden, insbesondere einer Bildachse Z, erfolgen.
Das Identifizieren der mehreren Komponenten 2 - 5 und das Bestimmen der Ist- Position und Ist-Ausrichtung der identifizierten Komponenten 2 - 5 erfolgt in dem ersten Teilschritt S21 mittels einem einzigen auf künstlicher Intelligenz beruhenden Modells. Das Modell ist trainiert und damit ausgestaltet, um aus den Bilddaten des Zusammenbaus 1 zur gleichen Zeit sowohl einzelne Komponenten 2 - 5 des Zusammenbaus 1 zu identifizieren, die zu Komponenten aus einem Pool von Komponenten korrespondieren, und deren Ist-Position und Ist-Ausrichtung zu bestimmen.
In einem zweiten Teilschritt S22 des zweiten Schritts S2 erfolgt ein Beziehen eines jeweils zugehörigen 3D-Modells für jede der identifizierten Komponenten 2 - 5 durch Laden des jeweils zugehörigen 3D-Modells aus dem Pool von Komponenten, der in dem Speicher des Computers 7 gespeichert ist und der für jede Komponente des Pools ein jeweils zugehöriges 3D-Modell umfasst.
In einem dritten Teilschritt S23 des zweiten Schritts S2 erfolgt ein Bestimmen eines initialen bzw. ersten Ist-3D-Modells des Zusammenbaus 1 durch Zusammensetzen der bezogenen 3D-Modellen basierend auf deren bestimmter Ist-Positionen und Ist- Ausrichtungen sowie unter Berücksichtigung von in einem Soll-3D-Modell des Zusammenbaus enthaltenen 3D-Modellen an sich und/oder der Soll-Position und Soll-Ausrichtung der in dem Soll-3D-Modell enthaltenen 3D-Modelle (welche sich wiederum auf die zu den einzelnen Komponenten 3 -5 korrespondierenden 3D- Modelle relativ zueinander oder (absolut) auf die Kameraperspektive beziehen können). Das Soll-3D-Modell ist aus 3D-Modellen einzelner, den Zusammenbau bildenden Komponenten 2 - 5 zusammengesetzt und umfasst eine Information über die jeweilige Soll-Position und Soll-Ausrichtung dieser 3D-Modelle.
Genauer gesagt kann eine Ist-Position und Ist-Ausrichtung des jeweils geladenen 3D-Modells in dem Ist-3D-Modell (welche sich wiederum auf die zu den einzelnen Komponenten 3 -5 korrespondierenden 3D-Modelle relativ zueinander oder (absolut) auf die Kameraperspektive beziehen können) gleich der bestimmten Ist- Position und Ist-Ausrichtung der jeweiligen, bestimmten einzelnen Komponenten 2 - 5 gesetzt werden. Dabei kann das Soll-3D-Modell beispielsweise insofern berücksichtigt werden, als dass leicht bzw. innerhalb eines vorbestimmten Toleranzbereichs abweichende Ist-Positionen und Ist-Ausrichtungen von 3D- Modellen in dem ersten Ist-3D-Modell basierend auf den in dem Soll-3D-Modell enthaltenen Soll-Positionen und Soll-Ausrichtungen der einzelnen 3D-Modelle angepasst werden, um so ein stimmiges erstes Ist-3D-Modell zu erzeugen. Dieses erzeugte initiale bzw. erste Ist-3D-Modell kann nun wie nachfolgend beschrieben (weiter) optimiert werden.
Dazu wird in einem vierten Teilschritt S24 des zweiten Schritts S2 basierend auf dem initial bestimmten Ist-3D-Modell geprüft, ob eine in den Bilddaten enthaltene, aber fälschlicherweise nicht identifizierte Komponente 4 des Zusammenbaus 1 vorliegt und falls ja, wird diese identifiziert (s. erster Teilschritt S21 des zweiten Schritts S2). Hier wird beispielhaft davon ausgegangen, dass die Komponente 4 nicht identifiziert bzw. nicht hinreichend zuverlässig erkannt wurde. Zum Identifizieren der nicht identifizierte Komponente 4 des Zusammenbaus 1 kann das initiale Ist-3D-Modell beispielsweise einer Plausibilitätsprüfung unterzogen werden. Dabei kann das erste Ist-3D-Modell beispielsweise, wie nachfolgend mit Bezug zu einem dritten Schritt S3 des Verfahrens im Detail beschrieben, mit einem Soll-3D- Modell vergleichen werden und wenn festgestellt wird, dass die Komponente 4 in dem Ist-3D-Modell nicht, aber in dem Soll-3D-Modell schon enthalten ist, dann können die Bilddaten nochmals gezielt auf die Komponente 4 hin untersucht werden. Falls diese Verifizierung hinreichend erfolgreich ist (d. h. einen ausreichend hohen Konfidenzwert aufweist), kann mit dieser Komponente 4 genauso verfahren werden wie mit den zuvor eindeutig identifizierten Komponenten. Dies ist nur ein Beispiel der Plausibilitätsprüfung und es sind auch andere Verfahren denkbar.
In einem fünften Teilschritt S25 des zweiten Schritts S2 erfolgt basierend auf den Bilddaten ein Bestimmen einer Ist-Position und Ist-Ausrichtung der fälschlicherweise nicht identifizierten Komponente 4 relativ zu den restlichen, identifizierten Komponenten 2, 3, 5 und/oder bezüglich der vorbestimmten Kameraperspektive mit der die Bilddaten erfasst wurden (s. erster Teilschritt S21 des zweiten Schritts S2).
In einem sechsten Teilschritt S26 erfolgt ein Beziehen eines zugehörigen 3D- Modells der fälschlicherweise nicht identifizierten Komponenten 4 (s. zweiter Teilschritt S22 des zweiten Schritts S2). In einem siebten Teilschritt S27 erfolgt ein Anpassen des initial bestimmten lst-3D- Modells unter Hinzufügen des geladenen 3D-Modells der fälschlicherweise nicht identifizierten Komponente 4 basierend auf deren bestimmter Ist-Position und Ist- Ausrichtung (s. dritter Teilschritt S23 des zweiten Schritts S2), um ein zweites Ist- 3D-Modell zu erhalten.
Oben wurde die Prüfung des initialen Ist-3D-Modells der Vollständigkeit halber beschrieben. Zusätzlich oder alternativ kann auch eine Prüfung dahingehend erfolgen, ob die zwar identifizierten Komponenten 2 - 5 des Zusammenbaus 1 im erzeugten Ist-3D-Modell korrekt angeordnet sind. Vorliegend erfolgt dies basierend auf dem zweiten, angepassten Ist-3D-Modell. Denkbar wäre aber auch, einen nachfolgend beschriebenen achten und neunten Teilschritt S28, S29 des zweiten Schritts S2 basierend auf dem ersten bzw. initial erzeugten Ist-3D-Modell durchzuführen.
In dem achten Teilschritt S28 des zweiten Schritts S2 erfolgt ein Durchführen einer Plausibilitätsprüfung der bestimmten Ist-Positionen und der Ist-Ausrichtungen der identifizierten Komponenten 2 - 5 basierend auf einem initial bestimmten lst-3D- Modell. Genauer gesagt kann das zweite Ist-3D-Modell beispielsweise, wie nachfolgend mit Bezug zu dem dritten Schritt S3 des Verfahrens im Detail beschrieben, mit dem Soll-3D-Modell vergleichen werden. Wenn festgestellt wird, dass ein 3D-Modell einer der Komponenten 2 - 5, z. B. das 3D-Modell der Komponente 4, abweichend von dem 3D-Modell der Komponente 4 in dem Soll-3D- Modell angeordnet ist, dann können die Bilddaten nochmals gezielt auf diese Komponente 4 hin untersucht werden. Dies ist nur ein Beispiel der Plausibilitätsprüfung und es sind auch andere Verfahren denkbar. Es kann dann ein Bestimmen einer angepassten Ist-Position und Ist-Ausrichtung der Komponente 4 und damit einer angepassten Ist-Position und Ist-Ausrichtung des zur Komponente 4 in dem zweiten Ist-3D-Modell korrespondierenden 3D-Modells in oben beschriebener Weise erfolgen (s. dritter Teilschritt S23 des zweiten Schritts S2). In dem neunten Teilschritt S29 des zweiten Schritts S2 erfolgt ein Anpassen des zweiten bestimmten Ist-3D-Modells unter Anpassen der Ist-Positionen und Ist- Ausrichtungen der in dem zweiten Ist-3D-Modell enthaltenen 3D-Modelle basierend auf einem Ergebnis des achten Teilschritts S28. Bei dem vorliegenden Beispiel kann dies bedeuten, dass die Ist-Position und Ist-Ausrichtung des zu der Komponente 4 korrespondierenden 3D-Modells in dem zweiten Ist-3D-Modell auf Basis der in dem achten Teilschritt S28 des zweiten Schritts 2 bestimmten angepassten Ist-Position und Ist-Ausrichtung des besagten zweiten 3D-Modells aktualisiert wird. Daraus resultiert ein finales bzw. drittes Ist-3D-Modell, welches nachfolgend als das lst-3D- Modell bezeichnet wird.
In dem dritten Schritt S3 des Verfahrens wird das in dem zweiten Schritt S2 bestimmte Ist-3D-Modell mit dem in dem Speicher 72 hinterlegten Soll-3D-Modell des Zusammenbaus 1 zur Prüfung der Korrektheit des Zusammenbaus 1 wiederum mittels des in dem Speicher 72 hinterlegten und von dem Prozessor 71 ausgeführten Computerprogramms komponentenweise, d. h. 3D-Modell für 3D- Modell der beiden 3D-Modelle des Zusammenbaus 1 , verglichen. Mit anderen Worten, das Vergleichen des bestimmten Ist-3D-Modells mit dem Soll-3D-Modell des Zusammenbaus 1 zur Prüfung der Korrektheit des Zusammenbaus 1 umfasst ein komponentenweises Vergleichen der das Soll-3D-Modell bildenden 3D-Modelle mit den das Ist-3D-Modell bildenden 3D-Modellen. Das Soll-3D-Modell ist dafür, wie oben beschrieben, aus 3D-Modellen einzelner, den Zusammenbau bildenden Komponenten 2 - 5 zusammengesetzt und umfasst die Information bezüglich der Soll-Ausrichtung und der Soll-Position der einzelnen 3D-Modelle. Nachfolgend wird der dritte Schritt S3 weiter im Detail erläutert. Dabei kann optional teilweise auf die Ergebnisse aus den oben beschriebenen Optimierungsschritten S24 - S 29 zurückgegriffen werden.
In einem ersten Teilschritt S31 des dritten Schritts S3, d. h. des komponentenweisen Vergleichens, erfolgt ein Vergleichen der jeweiligen 3D-Modelle des Soll-3D- Modells und des Ist-3D-Modells an sich, um so in dem Ist-3D-Modell im Vergleich zum Soll-3D-Modell fehlende 3D-Modelle einzelner Komponenten 2 - 5 und/oder im Ist-3D-Modell aber nicht im Soll-3D-Modell vorhandene 3D-Modelle einzelner Komponenten 2 - 5 zu identifizieren.
In einem zweiten Teilschritt S32 des dritten Schritts S3, d. h. des komponentenweisen Vergleichens, erfolgt ein Vergleichen der Soll-Position und Soll-Ausrichtung mit der Ist-Position und Ist-Ausrichtung der jeweiligen 3D-Modelle des Soll-3D-Modells und des Ist-3D-Modells, um im Ist-3D-Modell vom Soll-3D- Modell abweichend angeordnete 3D-Modelle einzelner Komponenten 2 - 5 zu identifizieren.
In einem vierten Schritt S4 des Verfahrens wird eine ein Ergebnis des Vergleichens des bestimmten Ist-3D-Modells mit dem Soll-3D-Modell umfassende Information, d. h. das Ergebnis des dritten Schritts S3, vorliegend visuell durch Ansteuern der Anzeigevorrichtung 8 (umfassend ein Erzeugen eines entsprechend Steuersignals mittels des in dem Speicher 72 hinterlegten und von dem Prozessor 72 ausgeführten Computerprogramms) ausgegeben.
Die oben beschriebenen Schritte S1 - S4 und Teilschritte S21 - S29, S31 , S32 repräsentieren einen möglichen Ablauf des Verfahrens, wobei auch davon abweichende Abläufe denkbar sind. Die einzelnen Schritte S1 - S4 und Teilschritte S21 - S29, S31 , S32 müssen dabei nicht notwendigerweise als separate Schritte S1 - S4 und Teilschritte S21 - S29, S31 , S32 mittels Software implementiert werden. Vielmehr können auch mehrere Schritte S1 - S4 und/oder Teilschritte S21 - S29, S31 , S32 zusammengefasst werden. Beispielsweise können die Teilschritte S24 - S26 des zweiten Schritts S2 in einem einzigen (Teil-) Schritt zusammengefasst werden. Bezugszeichenliste
1 Zusammenbau
2 - 5 Komponenten des Zusammenbaus 6 Sensor, z. B. Kamera
7 Computer
71 Prozessor
72 Speicher
8 Anzeigevorrichtung, z. B. Display
S1 - S4 Verfahrensschritte

Claims

Patentansprüche
1. Computer-implementiertes Verfahren, das ausgestaltet ist, um eine Korrektheit eines Zusammenbaus (1 ) zu prüfen, dadurch gekennzeichnet, dass das Verfahren umfasst:
- Bestimmen (S2) eines Ist-3D-Modells des Zusammenbaus (1 ) basierend auf Bilddaten des Zusammenbaus (1 ), und
- Vergleichen (S3) des bestimmten Ist-3D-Modells mit einem Soll-3D- Modell des Zusammenbaus (1 ) zur Prüfung der Korrektheit des Zusammenbaus (1 ).
2. Computer-implementiertes Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das Verfahren ein Erfassen (S1 ) der Bilddaten des Zusammenbaus (1 ), vorzugsweise aus mehreren Perspektiven, umfasst.
3. Computer-implementiertes Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Verfahren umfasst:
- Identifizieren (S21 ) mehrerer Komponenten (2 - 5), die den Zusammenbau (1 ) bilden, in den Bilddaten, und
- Bestimmen (S21 ) einer Ist-Position und Ist-Ausrichtung der identifizierten Komponenten (2 - 5) relativ zueinander und/oder bezüglich einer vorbestimmten Kameraperspektive, mit der die Bilddaten erfasst wurden, basierend auf den Bilddaten.
4. Computer-implementiertes Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das Identifizieren (S21 ) der mehreren Komponenten (2 - 5) und/oder das Bestimmen der Ist-Position und Ist- Ausrichtung der identifizierten Komponenten (2 - 5) mittels einem, optional einzigen, auf künstlicher Intelligenz beruhenden Modells erfolgt, das trainiert ist, um aus den Bilddaten des Zusammenbaus (1 ), optional simultan, einzelne Komponenten (2 - 5) aus einem Pool von Komponenten zu identifizieren und/oder deren Ist-Position und Ist-Ausrichtung zu bestimmen.
5. Computer-implementiertes Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass das Verfahren umfasst:
- Beziehen (S22) eines jeweils zugehörigen 3D-Modells für jede der identifizierten Komponenten (2 - 5), und
- Bestimmen (S23) des Ist-3D-Modells des Zusammenbaus (1 ) durch Zusammensetzen der bezogenen 3D-Modellen basierend auf deren bestimmten Ist-Positionen und Ist-Ausrichtungen.
6. Computer-implementiertes Verfahren nach Anspruch 5, soweit auf Anspruch 3 rückbezogen, dadurch gekennzeichnet, dass das Beziehen (S21 ) der 3D-Modelle ein Laden des jeweils zugehörigen 3D-Modells aus dem Pool von Komponenten umfasst, der für jede Komponente des Pools ein jeweils zugehöriges 3D-Modell umfasst.
7. Computer-implementiertes Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass:
- das Soll-3D-Modell aus 3D-Modellen einzelnen, den Zusammenbau bildenden Komponenten (2 - 5) zusammengesetzt ist, und
- das Vergleichen (S3) des bestimmten Ist-3D-Modells mit dem Soll- 3D-Modell des Zusammenbaus (1 ) zur Prüfung der Korrektheit des Zusammenbaus (1 ) ein komponentenweises Vergleichen der das Sol I- 3D-Modell bildenden 3D-Modelle mit den das Ist-3D-Modell bildenden 3D-Modellen umfasst.
8. Computer-implementiertes Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass das komponentenweise Vergleichen der das Soll- 3D-Modell bildenden 3D-Modelle mit den das Ist-3D-Modell bildenden 3D- Modellen umfasst: - Vergleichen (S31 ) der jeweiligen 3D-Modelle des Soll-3D-Modells und des Ist-3D-Modells an sich, um so in dem Ist-3D-Modell im Vergleich zum Soll-3D-Modell fehlende 3D-Modelle einzelner Komponenten (2 - 5) und/oder im Ist-3D-Modell aber nicht im Soll-3D- Modell vorhandene 3D-Modelle einzelner Komponenten (2 - 5) zu identifizieren, und/oder
- Vergleichen (S32) einer Soll-Position und Soll-Ausrichtung mit einer Ist-Position und Ist-Ausrichtung der jeweiligen 3D-Modelle des Soll- 3D-Modells und des Ist-3D-Modells, um im Ist-3D-Modell vom Soll-3D- Modell abweichend angeordnete 3D-Modelle einzelner Komponenten (2 - 5) zu identifizieren.
9. Computer-implementiertes Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass das Bestimmen (S2) des Ist-3D-Modells unter Berücksichtigung der in dem Soll-3D-Modell enthaltenen 3D-Modelle an sich und/oder der Soll-Position und Soll-Ausrichtung der in dem Soll-3D- Modell enthaltenen 3D-Modelle erfolgt.
10. Computer-implementiertes Verfahren nach einem der Ansprüche 5 bis 9, soweit auf Anspruch 2 rückbezogen, dadurch gekennzeichnet, dass das Bestimmen (S2) des Ist-3D-Modells umfasst:
- Identifizieren (S24) von zumindest einer in den Bilddaten enthaltenen, aber fälschlicherweise nicht identifizierten Komponenten (4) des Zusammenbaus (1 ) basierend auf einem initial bestimmten Ist- 3D-Modell,
- Bestimmen (S25) einer Ist-Position und Ist-Ausrichtung der zumindest einen in den Bilddaten enthaltenen, aber fälschlicherweise nicht identifizierten Komponente (4) relativ zu den restlichen, identifizierten Komponenten (2, 3, 5) und/oder bezüglich der vorbestimmten Kameraperspektive, mit der die Bilddaten erfasst wurden, basierend auf den Bilddaten, - Beziehen (S26) eines zugehörigen 3D-Modells der zumindest einen in den Bilddaten enthaltenen, aber fälschlicherweise nicht identifizierten Komponenten (4), und
- Anpassen (S27) des initial bestimmten Ist-3D-Modells unter Hinzufügen des 3D-Modells der zumindest einen in den Bilddaten enthaltenen, aber fälschlicherweise nicht identifizierten Komponenten (4) basierend auf deren bestimmter Ist-Position und Ist-Ausrichtung, um das Ist-3D-Modell zu erhalten.
11. Computer-implementiertes Verfahren nach einem der Ansprüche 5 bis 10, soweit auf Anspruch 2 rückbezogen, dadurch gekennzeichnet, dass das Bestimmen (S2) des Ist-3D-Modells umfasst:
- Durchführen (S28) einer Plausibilitätsprüfung der bestimmten Ist- Positionen und der Ist-Ausrichtungen der identifizierten Komponenten (2 - 5) basierend auf einem initial bestimmten Ist-3D-Modell,
- Anpassen (S29) des initial bestimmten Ist-3D-Modells unter Anpassen von Ist-Positionen und Ist-Ausrichtungen der in dem initialen Ist-3D-Modell enthaltenen 3D-Modelle basierend auf einem Ergebnis der Plausibilitätsprüfung.
12. Computer-implementiertes Verfahren nach einem der Ansprüche 1 bis 11 , dadurch gekennzeichnet, dass das Verfahren ein Ausgeben (S4) einer ein Ergebnis des Vergleichens des bestimmten Ist-3D-Modells mit dem Sol I- 3D-Modell umfassenden Information, optional auditiv und/oder visuell, optional durch Ansteuern einer Anzeigevorrichtung (8), umfasst.
13. Vorrichtung zur Datenverarbeitung (7), dadurch gekennzeichnet, dass die Vorrichtung (7) ausgestaltet ist, um das Verfahren nach einem der Ansprüche 1 bis 12 auszuführen.
14. Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 12 durchzuführen.
15. Computerlesbares Medium, umfassend Befehle, die bei der Ausführung der
Befehle durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 12 durchzuführen.
EP23838143.8A 2023-01-30 2023-12-28 Computer-implementiertes verfahren und vorrichtung zum prüfen einer korrektheit eines zusammenbaus Pending EP4659190A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023102196.6A DE102023102196A1 (de) 2023-01-30 2023-01-30 Computer-implementiertes verfahren und vorrichtung zum prüfen einer korrektheit eines zusammenbaus
PCT/EP2023/087908 WO2024160456A1 (de) 2023-01-30 2023-12-28 Computer-implementiertes verfahren und vorrichtung zum prüfen einer korrektheit eines zusammenbaus

Publications (1)

Publication Number Publication Date
EP4659190A1 true EP4659190A1 (de) 2025-12-10

Family

ID=89542101

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23838143.8A Pending EP4659190A1 (de) 2023-01-30 2023-12-28 Computer-implementiertes verfahren und vorrichtung zum prüfen einer korrektheit eines zusammenbaus

Country Status (5)

Country Link
US (1) US20250341823A1 (de)
EP (1) EP4659190A1 (de)
CN (1) CN120569755A (de)
DE (1) DE102023102196A1 (de)
WO (1) WO2024160456A1 (de)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9187188B2 (en) 2013-07-02 2015-11-17 Premium Aerotec Gmbh Assembly inspection system and method
JP6677522B2 (ja) 2016-02-15 2020-04-08 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
DE102020134680B4 (de) 2020-12-22 2023-01-19 Visometry GmbH Verfahren und Anordnung zur Qualitätsprüfung eines Objekts

Also Published As

Publication number Publication date
US20250341823A1 (en) 2025-11-06
CN120569755A (zh) 2025-08-29
WO2024160456A1 (de) 2024-08-08
DE102023102196A1 (de) 2024-08-01

Similar Documents

Publication Publication Date Title
DE102021201124A1 (de) Trainieren von bildklassifizierernetzen
EP2381207B1 (de) 3D-Zielvermessung und Zieleinweisung aus IR-Daten
WO2018077745A1 (de) Analyseverfahren für objektmarkierungen in bildern auf basis von modellen
EP3584748A1 (de) Verfahren zur erzeugung eines testdatensatzes, verfahren zum testen, verfahren zum betreiben eines systems, vorrichtung, steuerungssystem, computerprogrammprodukt, computerlesbares medium, erzeugung und verwendung
WO2024160456A1 (de) Computer-implementiertes verfahren und vorrichtung zum prüfen einer korrektheit eines zusammenbaus
DE102018218611B4 (de) Verfahren und Recheneinrichtung zum Erzeugen eines dreidimensionalen CAD-Modells
DE212017000139U1 (de) System zur Ausrichtung eines virtuellen Modells an einem realen Objekt
EP3953862B1 (de) Verfahren zum bereitstellen einer objektverfolgungsfunktion
DE102015010264A1 (de) Verfahren zur Erstellung einer 3D-Repräsentation und korrespondierende Bildaufnahmevorrichtung
DE102015013943B4 (de) Testen eines Navigationssystems eines Kraftfahrzeugs
EP4485348B1 (de) Computer-implementiertes verfahren und werkzeug zur optischen qualitätskontrolle von zwischen- oder endprodukten von produktionsanlagen sowie produktionsanlagensteuerung
AT516306B1 (de) Verfahren zum Erstellen einer dreidimensionalen Dokumentation
EP4418150A1 (de) Verfahren zum erzeugen von trainingsdaten für ein objekt zum anlernen einer künstlichen intelligenz, computerprogrammprodukt, computerlesbares speichermedium sowie trainingssystem
DE102015120927A1 (de) Verfahren zur Darstellung einer Simulationsumgebung
DE102024204834A1 (de) Verfahren zum Trainieren eines maschinellen Lernmodells zum Erzeugen von Trainingsbilddaten
WO2026078172A1 (de) Vorrichtung und computerimplementiertes verfahren zur herstellung eines künstlichen neuronalen netzes insbesondere zur verarbeitung von sensordaten
DE102009001870A1 (de) Bildverarbeitungsvorrichtung, Überwachungssystem mit der Bildverarbeitungsvorrichtung, Verfahren sowie Computerprogramm
DE102023003663A1 (de) Verfahren, System und Computerprogrammprodukt zum Erzeugen und Manipulieren von Bilddaten
EP4660574A1 (de) Verfahren zur generierung synthetischer daten von objekten, vorzugsweise von produkten
DE102024109712A1 (de) Verfahren und Vorrichtung zur Defekterfassung bei der additiven Fertigung
DE102023203085A1 (de) Computerimplementiertes verfahren zur erzeugung eines test-datensatzes zum testen eines körperpose-schätz-algorithmus
DE102023110170A1 (de) Computerimplementiertes Verfahren zur automatisierten Innenreinrichtung und Visualisierung eines Raumes
DE102023206547A1 (de) Verfahren zum Prüfen und Bereitstellen einer Funktion
WO2025125589A1 (de) Rechnerimplementiertes objekterkennungsverfahren
DE102024202172A1 (de) Verfahren und Vorrichtung zum Detektieren von fehlenden Verbindungselementen in 3D Fahrzeuggeometriedaten eines digitalen Zwillings für den Aufbau von einem Fahrzeug

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250611

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR