DE10013137A1

DE10013137A1 - Image-controlled technical testing and/or processing method of products or parts, involves matching classified products with respective characteristics, by computer aided graphical interaction

Info

Publication number: DE10013137A1
Application number: DE10013137A
Authority: DE
Inventors: Peter Edelmann
Original assignee: Individual
Current assignee: Individual
Priority date: 2000-03-17
Filing date: 2000-03-17
Publication date: 2001-10-25
Anticipated expiration: 2020-03-18
Also published as: DE10013137B4

Abstract

Characteristics of the products to be tested or processed, are determined. Products are then classified, and are subjected to post-processing accordingly. Classified products are matched with their respective characteristics, by computer aided graphical interaction.

Description

1.1 Technical area

Die Erfindung betrifft ein "Verfahren zur bildgesteuerten Prüfung und Bearbeitung von Produkten". Das Verfahren eignet sich z. B. für eine bildgesteuerte Qualitätssicherung.The invention relates to a "method for image-controlled testing and processing of products". The method is suitable for. B. for image-controlled quality assurance.

Das programmbezogenen Verfahren verarbeitet die Bildsignale eines Frame Grabbers. Es vermisst z. B. die verschiedenen Bauteile eines komplexen Produktes, prüft sie auf unterschiedlichste Beschädigungen und steuert Roboter zur Nachbearbeitung der als fehlerhaft erkannten Bauteile.The program-related process processes the image signals of a frame grabber. Missing it e.g. B. the various components of a complex product, checks them for the most varied Damage and controls robots for reworking the components identified as defective.

1.2 Problems with known methods

In bekannten Verfahren zur bildgesteuerten Prüfung und Bearbeitung von Produkten werden die für eine Vermessung oder eine Erkennung von Beschädigungen einzelner Bauteile erforderlichen Verfahrensschritte in einem speziell auf das Produkt zugeschnittenen Programmcode abgelegt. Die Verfahrensschritte basieren auf Informationen über die Struktur des Produktes, die Struktur der möglichen Fehler, die interessierenden Eigenschaften des Produktes und seiner Bauteile, die daraus resultierenden Produktklassen und die damit verbundenen Nachbearbeitungen.In known methods for image-controlled testing and processing of products, the for a measurement or detection of damage to individual components required Process steps are stored in a program code specially tailored to the product. The process steps are based on information about the structure of the product, the structure of the possible errors, the interesting properties of the product and its components that result from it resulting product classes and the associated post-processing.

Kürzere Entwicklungszyklen führen zu einer immer schnelleren Änderung der Struktur des Produktes, indem etwa neue Bauteile mit neuen Fehlermöglichkeiten hinzukommen.Shorter development cycles lead to an ever faster change in the structure of the product, by adding new components with new possibilities for error.

Wachsende Qualitätsanforderungen erfordern zusätzliche Vermessungen und die Erkennung zusätzlicher Fehler und deren Nachbearbeitung durch Roboter.Growing quality requirements require additional measurements and detection additional errors and their post-processing by robots.

Einfach bedienbare Skript- oder Dialogschnittstellen zum Anwender ermöglichen keine wirklich grundlegenden Änderungen der Verfahrensschritte für das Prüf- und Bearbeitungssystem.Easy-to-use script or dialog interfaces to the user do not really make it possible fundamental changes in the procedural steps for the testing and processing system.

Eine Modifikation der Produktstruktur oder der Fehlerstrukturen erfordert daher eine Änderung der auf das Produkt zugeschnittenen programmbezogenen Verfahrensschritte.A modification of the product structure or the error structures therefore requires a change to the product tailored program-related process steps.

Diese Änderungen können in der Regel nur von IT-Fachleuten vorgenommem werden und sind mit einem erheblichem Entwicklungs- und Testaufwand verbunden.These changes can usually only be made by IT specialists and are included a considerable development and testing effort.

1.3 Solution concept

Das neue Verfahren zur bildgesteuerten Prüfung und Bearbeitung von Produkten, ergibt sich aus der Verwendung eines neuartigen Systems grafisch interaktiv kombinierbarer Komponenten.The new process for image-controlled testing and processing of products results from the Use of a new system of components that can be combined graphically.

Die Komponenten kapseln Kameras, Roboter und Verfahrensschritte. Sie sind speziell für solche Prüf- und Bearbeitungsaufgaben geeignet, die im Wesentlichen über eine Klassifikation der zu prüfenden Produkte und Bauteile gelöst werden können. Sie repräsentieren die in diesem Problembereich für den Anwender relevanten Konzepte, wie z. B. Beschädigungen, Flächen, Winkel, Bauteile, Produkte, Produktgruppen, Kameras, Roboter und deren Beziehungen.The components encapsulate cameras, robots and process steps. They are specially designed for such and processing tasks, which are essentially based on a classification of the test items Products and components can be solved. They represent those in this problem area for concepts relevant to the user, such as B. damage, surfaces, angles, components, products, Product groups, cameras, robots and their relationships.

Das Komponentensystem enthält Segment-, Merkmals- und Aktionskomponenten. Diese werden durch Relationskomponenten miteinander kombiniert. Zu jedem Komponententyp existieren unterschiedliche spezifische Ausprägungen.The component system contains segment, feature and action components. These will combined with each other through relationship components. Exist for each component type different specific forms.

Die Segmentkomponenten repräsentieren die Verfahrensschritte für eine Selektion bzw. Klassifikation z. B. von Bildpunkten, Kanten, Winkel, Formen, Beschädigungen, Produktbauteilen, Produkten oder Produktgruppen.The segment components represent the process steps for a selection or classification e.g. B. of pixels, edges, angles, shapes, damage, product components, products or Product groups.

Die Merkmalkomponenten repräsentieren Sensoren zur direkten Ermittlung der Merkmale, wie z. B. den Frame Grabber zur Ermittlung der Grauwerte, oder die Verfahrensschritte für eine Berechnung der Merkmale aus zuvor ermittelten Merkmalen wie z. B. den Gradienten eines Bildpunktes, den Kontrast eines Bildbereiches, die Fläche eines Blobs, die Anzahl der Beschädigungen eines Produktes, die Form eines Produktes oder dessen Zugehörigkeit zu einer Fehlerklasse. The feature components represent sensors for the direct determination of the features, such as. B. the frame grabber for determining the gray values, or the procedural steps for a calculation the characteristics from previously determined characteristics such. B. the gradient of a pixel, the Contrast of an image area, the area of a blob, the number of damage to one Product, the form of a product or its belonging to a defect class.

Die Aktionskomponenten kapseln die Roboter, z. B. zum Nachpolieren oder Nachlackieren der beschädigten Produkte, oder Verfahrensschritte zur indirekten Bearbeitung, die sich auf Roboteraktionen abstützen.The action components encapsulate the robots, e.g. B. for polishing or repainting the damaged products, or procedural steps for indirect processing that affect Support robot actions.

Die Komponenten werden über den Typ und einen symbolischen Namen identifiziert und sind grafisch interaktiv kombinierbar.The components are identified by the type and a symbolic name and are graphic can be combined interactively.

Sie unterstützen eine Darstellung als Icon, ggf. eine Pixeldarstellung im Rahmen des untersuchten Bildes sowie das Laden und Abspeichern der relevanten Daten wie Schwellwerte, Untersuchungsergebnisse, Kamera oder Roboterparameter.They support a representation as an icon, possibly a pixel representation within the scope of the examined Image as well as loading and saving the relevant data such as threshold values, Examination results, camera or robot parameters.

Die für ein produktspezifisches Prüf- und Bearbeitungssystem erforderlichen Verfahrensschritte zur Vermessung, Erkennung der Beschädigungen, Klassifikation der Bauteile und des Produktes, sowie zur Ermittlung der zugehörigen Merkmale und zur Steuerung der Bearbeitungsaktionen resultieren daher aus dem produktspezifischen semantischen Netzwerk welches sich durch Kombination der Segment-, Merkmal- und Aktionskomponenten mittels Relationskomponenten ergibt.The process steps required for a product-specific testing and processing system Measurement, detection of damage, classification of components and the product, as well to determine the associated characteristics and to control the processing actions therefore from the product-specific semantic network, which is created by combining the Segment, feature and action components result from relation components.

Dieses aus den Komponenten bestehende semantische Netzwerk spezifiziert die Struktur des Produktes, die Struktur der auftretenden Fehler, die Produktklassen, die zur Klassifizierung verwendeten Merkmale (einschließlich der Frame Grabber) und die zur Bearbeitung vorgesehenen Aktionen (einschließlich der Roboter).This semantic network consisting of the components specifies the structure of the Product, the structure of the errors occurring, the product classes used for classification features used (including the frame grabber) and those intended for editing Actions (including the robots).

Die Erstellung bzw. Anpassung eines produktspezifischen Prüf- und Bearbeitungssystemes erfolgt grafisch interaktiv mit einem Editor im Wesentlichen durch Drag und Drop.The creation or adaptation of a product-specific testing and processing system takes place graphically interactive with an editor essentially by drag and drop.

Der Editor ermöglicht das interaktive Prüfen von Teilen des zu untersuchenden Produktes, das Editieren von Schwellwerten für Fehlertoleranzen, das Ansehen der Prüfergebnisse und die Definition von interessierenden Untersuchungsbereichen.The editor enables the interactive testing of parts of the product to be examined, the Editing of threshold values for fault tolerances, viewing the test results and definition of areas of interest.

Der Editor erlaubt die Darstellung der durch die Frame Grabber ermittelten und der bearbeiteten Bilder, die Abspeicherung Des Netzwerkes und der Ergebnisse in einer Datenbank sowie die Modifikation der Parametereinstellungen für Frame Grabber und Roboter.The editor allows the display of those determined by the frame grabbers and those processed Images, the storage of the network and the results in a database as well as the Modification of the parameter settings for frame grabbers and robots.

Aus der Verwendung des Komponentensystems ergeben sich die folgenden Schritte des erfindungsgemäßen Verfahrens. The following steps result from the use of the component system inventive method.

Verfahrensschritte im Rahmen der Erstellung oder Modifikation eines Prüf- und Bearbeitungssystems
Process steps in the context of creating or modifying a testing and processing system

- Recording of the error images by the frame grabber
- Complementing the component system with product-specific components
- Modeling the product structure with classification and relation components
- Modeling the error structure with classification and relation components
- Determine the errors and adjust the threshold values
- Modeling the defect characteristics with characteristic and relation components
- Calculate the error characteristics and adjust the threshold values
- Modeling the features of the product with feature and relation components
- Modeling the defect classes of the product with classification and relation components
- Classify the product and adjust the threshold values
- Modeling the processing sections with action and relation components
- Execution of the editing actions and adjustment of the action parameters

Verfahrensschritte im Rahmen der Prüfung und Bearbeitung des Produktes
Process steps in the course of testing and processing the product

- Assigning the action components with the processing of the modeled error classes
- Assigning the classification components with the product classification
- Assignment of the feature components with the calculation
- Capture the image to be checked by the frame grabber
- Determine the errors using classification components
- Calculate the feature components
- Classify the product using classification components
- Execution of the action components for processing by robots

Umfangreiche Prüf- und Bearbeitungssysteme erfordern Wiederholungen gewisser Sequenzen von Verfahrensschritten.Comprehensive testing and processing systems require repetitions of certain sequences of Procedural steps.

1.4 Advantages of the invention

Die Verwendung vieler kleiner durch Drag und Drop kombinierbarer Komponenten für den Aufbau eines produktspezifischen Verfahrens führt zu einer leichten Anpassbarkeit an modifizierte Produktstrukturen oder zunehmende Qualitätsanforderungen. Die Vermessung eines neuen Bauteils oder die Erkennung und Bearbeitung eines neuen Fehlers erfordern in der Regel lediglich die Ergänzung einiger Segment-, Merkmal- und Aktionskomponenten und damit wenige Mausclicks. Dies ermöglicht eine schnelle und damit kostengünstige Umstellung auf unterschiedlichste Firmenprodukte oder Qualitätsnormen.The use of many small components that can be combined by drag and drop for the construction a product-specific process leads to easy adaptability to modified Product structures or increasing quality requirements. The measurement of a new component or the detection and processing of a new error usually only require the Addition of some segment, feature and action components and thus few mouse clicks. This enables a quick and therefore inexpensive changeover to the most varied Company products or quality standards.

Auch bei völlig neuen Produkten verringert sich die Entwicklungszeit für das Prüf- und Bearbeitungssystem erheblich.Even with completely new products, the development time for testing and Machining system considerably.

Dies gilt sogar in den Fällen, in denen das vorhandene Komponentensystem durch firmen- oder produktspezifische Komponenten erweitert werden muss.This is true even in cases where the existing component system by company or product-specific components must be expanded.

Da die Icons der Komponenten die relevanten Konzepte und die Beziehungen des semantische Netzwerk die relevanten Strukturen widerspiegeln, werden die Prüf- und Bearbeitungsschritte für Kunden und Mitarbeiter ohne Studium des zugrundeliegenden Codes nachvollziehbar.Since the icons of the components the relevant concepts and the relationships of the semantic Network reflect the relevant structures, the testing and processing steps for Customers and employees understandable without studying the underlying code.

Die Verwendung der Komponenten führt zu einer klaren sauberen objektorientierten Struktur des produktspezifischen Prüf- und Bearbeitungssystems mit entsprechender Wiederverwendbarkeit und geringer Fehlerrate. The use of the components leads to a clear, clean, object-oriented structure of the product-specific testing and processing system with corresponding reusability and low error rate.

1.5 Industrial applicability

Das Verfahren eignet sich z. B. für eine flexible bildgesteuerte Qualitätssicherung.The method is suitable for. B. for flexible image-controlled quality assurance.

In diesem Fall werden basierend auf den Bildsignalen eines Frame Grabbers z. B. die verschiedenen Bauteile eines Produktes vermessen, auf Beschädigungen geprüft und Roboter zur Nachbearbeitung gesteuert.In this case, based on the image signals of a frame grabber z. B. the different Measure components of a product, check for damage and robots for post-processing controlled.

Mit dem skizzierten Verfahren können Bauteile optisch erfasst, auf ihre Form untersucht und formspezifisch bearbeitet werden.With the method outlined, components can be optically recorded, examined for their shape and are processed in a form-specific manner.

Ebenso kann das Verfahren zur flexiblen Steuerung von Düngungs- oder Unkrautbekämpfungssystemen verwendet werden, basiernd auf der optischen Erfassung und Klassifizierung landwirtschaftlicher Flächen.Likewise, the method for flexible control of fertilization or Weed control systems are used, based on optical detection and Classification of agricultural areas.

Nach einer Erweiterung der Bilder auf 3 dimensionale Informationsstrukturen können mit dem Verfahren etwa Gewebeveränderungen in 3 dimensionalen medizinischen CT-Bildern erkannt und ggf. behandelt werden.After expanding the images to 3-dimensional information structures, you can use the Methods, such as tissue changes in 3-dimensional medical CT images, recognized and possibly be treated.

Die Klassifizierung ist in ihrer allgemeinen Form nicht auf Eingangsinformationen in Form von Bilder begrenzt. An Stelle von Bildpunkten sind beliebige Informationen verarbeitbar. Z. B. können Geräusche oder Gerüche von Sensoren erfasst und in Form einer Merkmalsmenge abgelegt werden. Diese Merkmalsmenge kann dann auf bestimmte Geräusch- oder Geruchssegmente inspiziert werden, der Geräusch- oder Geruchserzeuger kann klassifiziert und die entsprechende Reaktion in Form von Aktionen angestoßen werden.The classification in its general form is not based on input information in the form of images limited. Any information can be processed instead of pixels. For example, you can Noises or smells from sensors are recorded and stored in the form of a set of features. This set of features can then be inspected for specific noise or smell segments the noise or odor generator can be classified and the corresponding reaction in Form of actions to be initiated.

1.6 Exemplary embodiment of the claimed invention 1.6.1 The component system 1.6.1.1 Overview

Die Kernidee des Verfahrens besteht in der Abstraktion der im Rahmen konkreter Bildanalysen, Bauteilklassifizierungen und -bearbeitungen verwendeten Verfahrensschritte zu einem System grafisch interaktiv kombinierbarer Komponenten.The core idea of the process is the abstraction of the within the framework of concrete image analyzes, Component classifications and processing used procedural steps for a system Components that can be combined graphically.

So werden etwa Bildpunkte, Kanten, Winkel, Beschädigungen, Produktteile, das Produkt selbst und sogar ganze Produktgruppen mittels in einem gewissen Sinne einheitlicher Segmentkomponenten modelliert.For example, pixels, edges, angles, damage, product parts, the product itself and even entire product groups using, in a sense, uniform segment components modeled.

Ein Segment bezeichnet zunächst eine gewisse selektierte Menge von Bildpunkten eines Bildes.A segment initially denotes a certain selected set of pixels of an image.

Die folgenden Beispiele erläutern wie dieser Begriff und damit die entsprechende Komponente des Komponentensystems verallgemeinert werden kann.The following examples explain how this term and thus the corresponding component of the Component system can be generalized.

- An edge finder creates a segment of pixels that belong to the edge. All these Pixels have a high gray value gradient as a characteristic. From an abstract The edge finder checks the characteristics of pixels, classifies or selects them Pixels whose feature exceeds a certain threshold value and combines them into one Edge segment together.
- An edge classifier checks e.g. B. the length of outbreaks and selects those edges, whose outbreaks are above a certain threshold. From an abstract point of view, the Edge classifier features of the edge segments and creates a segment from edges with big outbreaks.
- An angle can be viewed as a segment that consists of two edge segments. In this case, however, the segment formation is usually not by the system but by made to the user. The user selects two edge segments from the set of all edges and assigns them to an angle segment. The checking of an angle segment exists from an abstract point of view, the calculation for each of the two edge segments the regression line as features and for the angular segment the calculation of the difference to initiate the gradients as a characteristic. Then again all angle segments, which are within a certain interval, to a segment of good angles summarized.
- A toy car is created as a product by removing a certain amount from a warehouse Components are selected and assembled into a new whole. The one to be examined From an abstract point of view, the product is created by selecting certain components from the crowd all components of a warehouse and by combining these components into one Product segment.
- The amount of cars that need to be refinished before delivery is created by certain cars can be selected from the quantity of all cars manufactured. On Product classifier initiates e.g. B. the calculation of such features as the number of large ones Damage or the mean value of the edge chipping. He selects those Products whose number or mean exceeds a certain threshold and includes them a segment of defective products. Finally, he initiates a certain one Postprocessing action.

In allen betrachten Fällen wird die Berechnung von Merkmalen initiiert und es werden basierend auf den Merkmalen Segmente aus einer Menge selektiert bzw. klassifiziert und zu einem neuen Segment zusammengefasst.In all cases considered, the calculation of characteristics is initiated and based on the characteristics segments selected from a quantity or classified and a new segment summarized.

Daher können etwa Kanten, die Menge der fehlerhaften Kanten, ein Winkel, das Produkt Auto, die Menge der fehlerhaften Autos im Wesentlichen unter Verwendung derselben Verfahrensschritte klassifiziert werden.Therefore, about edges, the amount of faulty edges, an angle, the product car, the Quantity of faulty cars using essentially the same process steps be classified.

Diese Verfahrensschritte sind in der Segmentkomonente zusammengefasst.These process steps are summarized in the segment component.

Schließlich werden für die erhaltenen Segmente Aktionen initiiert. Z. B. muss die Menge der als defekt erkannten Spielzeugautos nachlackiert, nachpoliert oder entfernt werden.Finally, actions are initiated for the segments received. For example, the amount of the defect Recognized toy cars are repainted, polished or removed.

Das Komponentensystem definiert daher Aktionskomponenten, welche an ein Segment gekoppelt werden.The component system therefore defines action components that are coupled to a segment become.

Eine solche Aktionskomponente repräsentiert etwa die Verfahrensschritte zur Nachbearbeitung der defekten Autos. Sie stützt sich in der Regel auf Aktionen, die für die Subsegmente, im Beispiel die Autos, durchzuführen sind.Such an action component represents, for example, the process steps for post-processing broken cars. It is usually based on actions for the subsegments, in the example the Cars to be carried.

Die Aktionskomponente für die Autos nutzt dann wieder Aktionen, die für die einzelnen Bauteile des Autos durchzuführen sind, bis schließlich etwa eine Aktionskomponente zur Ausführung kommt, die den Lackier-Roboter oder den Polier-Roboter repräsentiert.The action component for the cars then uses actions again for the individual components of the Cars are to be carried out until an action component is finally executed that represents the painting robot or the polishing robot.

Im Rahmen der Ausführung dieser Komponente werden dann Treiber für den Polier- oder Lackier- Roboter aufgerufen und die erkannten Fehlerregionen bearbeitet.As part of the execution of this component, drivers for the polishing or painting Robot called and processed the identified error regions.

Die Aktionskomponenten hängen in stärkerem Maße von dem spezifischen Produkt und seinem Umfeld ab als die Segment-, Merkmals- und Relationskomponenten. Daher kann ein Teil dieser Komponenten in der Regel erst in Absprache mit konkreten Firmen und Kunden entwickelt werden. Den Firmen ermöglichen die Aktionskomponenten dann dieselbe Flexibilität, wie die übrigen Komponenten, da die firmen- und produktspezifischen Aktionen dann ebenfalls grafisch interaktiv kombinierbar sind.The action components depend to a greater extent on the specific product and its Environment as the segment, feature and relationship components. Hence part of this Components are usually only developed in consultation with specific companies and customers. The promotional components then give companies the same flexibility as the others Components, since the company and product-specific actions are also graphically interactive can be combined.

Ingesamt ergeben sich folgende Basiskomponenten:
Overall, the following basic components result:

- The segment components represent the process steps for a selection or Classification z. B. of pixels, edges, angles, shapes, damage, product components, Products or product groups.
- The feature components represent sensors for the direct determination of the features, such as e.g. B. the frame grabber for determining the gray values, or the method steps for a Calculation of the characteristics from previously determined characteristics such as B. the gradient of one Pixel, the contrast of an image area, the area of a blob, the number of Damage to a product, the shape of a product or its affiliation with one Error class.
- The action components encapsulate the robots, e.g. B. for polishing or repainting the damaged products, or procedural steps for indirect processing that affect Support robot actions.
- The relationship components represent diverse relationships between the others Components. You save e.g. B. Information about the nature of the relationship or its representation as part of the graphical editor.

Die Komponenten sind speziell für Prüf- und Bearbeitungsaufgaben geeignet und repräsentieren die in diesem Aufgabenbereich für den Anwender relevanten Konzepte.The components are especially suitable for testing and machining tasks and represent the concepts relevant to the user in this area of responsibility.

Sie unterstützen eine Darstellung als Icon, ggf. eine Pixeldarstellung im Rahmen des untersuchten Bildes sowie das Editieren, Laden und Abspeichern der komponentenspezifischen Daten wie Schwellwerte, Merkmalswerte, Kamera- und Roboter-Parameter.They support a representation as an icon, possibly a pixel representation within the scope of the examined Image as well as editing, loading and saving of component-specific data such as Threshold values, characteristic values, camera and robot parameters.

Aus diesen Komponenten kann dann für ein konkretes Problem ein problemspezifisches semantisches Netzwerk zur Klassifikation und Bearbeitung grafisch interaktiv durch Drag und Drop erstellt werden.These components can then be used for a specific problem to create a problem-specific one semantic network for classification and editing graphically interactive by drag and drop to be created.

Der Aufbau des semantischen Netzwerkes spiegelt dabei die Struktur und die Eigenschaften des zu untersuchenden Produktes und seiner Bauteile, der zu erwartenden Fehler und der zu unterscheidenden Produktklassen wider.The structure of the semantic network reflects the structure and properties of the investigating product and its components, the expected errors and the differing product classes.

Um undurchführbare oder fehlerhafte Prüf- und Bearbeitungssysteme weitgehend zu verhindern, wird das semantische Netzwerk vor der Ausführung einer Konsistenzprüfung unterzogen.In order to largely prevent unworkable or faulty testing and processing systems subject the semantic network to a consistency check prior to execution.

Z. B. dürfen manchen Segmenten keine gewöhnlichen Segmente als Subsegmente zugeordnet werden. Es darf keine zyklischen Subsegmentbeziehungen geben.For example, some segments may not be assigned ordinary segments as sub-segments become. There must be no cyclical subsegment relationships.

Solche Beziehungsregeln können ebenfalls um firmen- oder produktspezifische Regeln erweitert werden.Such relationship rules can also be expanded to include company or product-specific rules become.

1.6.1.2 Examples of segments

- Segment: represents the basic component. All other segment components inherit the Properties of this component. Such a segment can e.g. B. represent a car the user has assigned the sub-segments chassis and engine. Chassis and engine are also modeled using simple segment components. It can be an angle represent to whom the user has assigned two edge segments as subsegments. It can represent a set of error segments that the user has a particular Has assigned component.
- ImagePointSetSegment: Represents the set of all pixels. One pixel is in the two-dimensional case only defined by its (x, y) coordinate. The gray value of the Pixel is its characteristic.
- BinarySegment: Represents a set of pixels given by a binary image. This can be, for example, those pixels that belong to an edge or that belong to a contaminated area of the component. It receives a grayscale image and an input Threshold.
- AreaOfInterestSegment: Represents a subset of the Pixels. This area can e.g. B. by a coordinate rectangle, a vector parallelogram or a binary image.
- ObjectSeparatingSetSegment: Generates a from a segment given by a binary image Set of segments for the individual separated objects.
- IntervalSegment: Represents a set of segments whose characteristics are in a real one Interval. The characteristic and the interval limits as threshold values can be changed by the user be specified or also calculated at runtime from other characteristics.
- CubeSegment: represents a set of segments whose feature vector in an n- dimensional cube lies.
- AndSegment: Receives several segments as input, each with a set of subsegments have. It selects those subsegments that are contained in all quantities.
- OrSegment: Receives several segments as input, each with a number of subsegments have. It selects those subsegments that contain at least one of the quantities are.
- NtupeIGeneratingSetSegment: Generates all N-tuples of a set of Segments. This is e.g. B. useful if about segment tuples with certain positional relationships should be found
- FuzzySetSegment: Represents a classification of segments using the Fuzzy logic. For example, the fuzzy set segment could have a number of subsegments that each represent a fuzzy set. In a learning phase, the fuzzy set segment for each of its fuzzy sets of characteristic feature vectors is a center vector Calculate and in the classification phase it would be due to its feature vector calculated segment to calculate the membership of the fuzzy sets.
- NeuroNetSegment: Represents a classification of segments using a neural network.

1.6.1.3 Examples of characteristics

- RGBSetMark: Represents a frame grabber for determining the gray value or color image together with the determined image. The gray value of a pixel is a characteristic of Pixel. The RGB feature of a pixel is e.g. B. by an RGB triple or Pallet index given. The RGBSetMark encapsulates the RGB features in addition to the frame grabber all pixels.
- BinaryMark: represents a binary image. Each pixel is therefore characteristic 0 or 1 assigned.
- SobelSetMark: Represents the result of using the Sobel operator z. B. on a RGBMark. Used for example for direction-dependent edge detection.
- LaplaceSetMark: Represents the result of using the Laplace operator z. B. on an RGBMark. Used for example for direction-independent edge detection.
- ErosionSetMark: Represents the result of an application of erosion e.g. B. on a RGBMark.
- DilatationSetMark: Represents the result of applying a dilation e.g. B. on a RGBMark.
- OpeningSetMark: Represents the result of using an opening operation e.g. B. on an RGBMark.
- ClosingSetMark: Represents the result of using a closing operation e.g. B. on an RGBMark.
- AndSetMark: Receives two BinaryMarks as input. Represents the result of a wound two binary images.
- OrSetMark: Receives two BinaryMarks as input. Represents the result of an orodization two binary images.
- HistogramMark: Represents the result of a histogram calculation e.g. B. for an RGBMark.
- ContrastMark: Represents the result of a contrast calculation in one by one BinaerSegment given area.
- GreyValueProfileMark: Represents the result of a calculation of the gray value profile e.g. B. for an RGBMark.
- ObjectSeparatingMark: Receives a binary image as input and generates an image with separated ones Objects.
- RegressionLineMark: Receives the binary image of an edge as input and calculates the associated one Regression line.
- AngleMark: Receives two RegressionLineMarks as input and calculates the angle between the Straight lines.
- DistanceProfileMark: Computed for an object given by a binary segment using the center of gravity the distance profile (distance between center of gravity and body edge). This serves z. B. the shape recognition via a correlation with known Profiles.
- CorelationMark: Calculates e.g. B. the correlation between profiles.
- CentreOfGravityMark: Receives a binary image as input and calculates the focus.
- SizeMark: Receives a binary image as input and calculates the area.
- CountMark: Counts the number of subsegments of a segment.
- FourierMark: represents the result of an application of the Fourier operator z. B. on a RGBMark. Used, for example, to prepare examinations in the impulse room.
- CLiftSegmentMark: Transports the value of a characteristic from one subsegment to one segment above. These features allow access to features in the semantic network one or more levels below the one currently to be calculated Feature or segment.
- MinusMark: Receives two real-valued characteristics as input and calculates the difference. You can use it to calculate the difference between two angles. (For other algebraic Operations analog)
- DistanceMark: Receives as input two features that have points as a result and calculates the Euclidean removal of the points. Serves e.g. B. to calculate the distance between two focal points.

1.6.1.4 Examples of actions

- Action: represents the basic component. All other actions inherit the properties this component. This component triggers the execution of all actions that you use are assigned to an ActionActionUsesRelation.
- PaintAction: Represents the painting robot for reworking faulty paint spots. The Company-specific action component gets from it via a SegmentActionHasRelation assigned segment and processed the binary image describing the damaged area this area by painting. The action component uses the driver calls for the painting robot.

1.6.1.5 Examples of relationships between the components

- MarkMarkUsesRelation: Marks usually require other marks for the calculation. E.g. the SizeMark needs a BinaryMark as input.
- SegmentMarkHasRelation: A segment has or has several marks.
- SegmentMarkUsesRelation: A segment uses or uses one or more marks for Selection.
- SegmentSegmentFilterRelation: A segment selects its subsegments from one by one other segment given amount. It thus filters this set of segments.
- SegmentSegmentHasRelation: A segment has or has subsegments.
- SegmentActionHasRelation: A segment has or has associated actions.
- ActionActionUsesRelation: An action uses other actions

1.6.2 Steps in the process of creating a testing and processing system

Die Verfahrensschritte werden am Beispiel der Untersuchung und Nachbearbeitung eines Spielzeugautos erläutert.The procedural steps are based on the example of the examination and post-processing of a Toy cars explained.

Das Prüf- und Bearbeitungssystem wird so gestaltet, dass genau ein Spielzeugauto optisch erfasst und das Dach auf Fehler untersucht wird.The testing and processing system is designed so that exactly one toy car is optically recorded and the roof is checked for defects.

Im Falle einer Verschmutzung wird nachpoliert und im Falle einer hinreichend großen Beschädigung wird nachlackiert.In the event of contamination, polishing is carried out and in the event of sufficiently large damage is repainted.

Die Darstellung des semantischen Netzwerkes ist in der vorliegenden Form sicher noch gewöhnungsbedürftig.The presentation of the semantic network is certainly still in its present form getting used to.

Der grafische Editor soll eine Unterscheidung zwischen Segmenten, Merkmalen, Aktionen und den vielfältigen Relationen durch Farbe und Form unterstützen. Das hier zur Erstellung der Zeichnungen verwendete Case-Tool erlaubt diese Unterscheidungen jedoch nicht.The graphical editor is intended to differentiate between segments, characteristics, actions and support diverse relationships through color and shape. This here for creating the drawings However, the case tool used does not allow these distinctions.

Der grafische Editor soll unterschiedliche Ansichten eines semantischen Netzwerkes in Verbindung mit dem Ausblenden unwesentlicher Segmente oder Beziehungen unterstützen.The graphical editor is intended to connect different views of a semantic network support by hiding insignificant segments or relationships.

Das hier zur Erstellung der Zeichnungen verwendete Case-Tool unterstützt dies jedoch nicht.However, the case tool used here to create the drawings does not support this.

1.6.2.1 Recording the error images by the frame grabber

Mittels Frame Grabber werden Bilder von solchen Spielzeugautos erzeugt, bei denen das Ausmaß der Verschmutzungen oder Lackfehler knapp über bzw. unter der Toleranzschwelle liegt.Frame grabbers are used to generate images of such toy cars in which the extent of the Soiling or paint defects is just above or below the tolerance threshold.

1.6.2.2 Supplementing the component system with product-specific components

In diesem Verfahrensschritt wird das Komponentensystem um eine Aktionskomponente PaintAction zum Nachlackieren ergänzt. Die Aktionskomponente PaintAction holt sich von ihrem Segment das den beschädigten Bereich beschreibende Binärbild und steuert den Lackier-Roboter. Die Aktionskomponente kapselt damit die Treiberaufrufe für den Lackier-Roboter.In this step, the component system is a paintAction action component added for repainting. The action component PaintAction gets the from its segment damaged area descriptive binary image and controls the painting robot. The The action component encapsulates the driver calls for the painting robot.

Eine entsprechende Ergänzung erfolgt durch eine Aktionskomponente zum Nachpolieren.A corresponding addition is made by an action component for polishing.

1.6.2.3 Modeling the product structure with classification and relation components

(Vgl. Zeichnung 1.6.2.3)(See drawing 1.6.2.3)

In diesem Verfahrensschritt wird die Struktur des Spielzeugautos unter Verwendung von Segments und SegmentHasRelations modelliert. Auf diese Weise wird spezifiziert, welche Bauteile des Autos geprüft und ggf. nachbearbeitet werden sollen.In this step, the structure of the toy car is made using segments and SegmentHasRelations modeled. In this way it is specified which components of the car checked and, if necessary, reworked.

Im Beispiel besteht die Baumstruktur des Autos lediglich aus Dach und Motorhaube.In the example, the tree structure of the car only consists of the roof and bonnet.

1.6.2.4 Modeling the error structure with classification and relation components

(Vgl. Zeichnung 1.6.2.4)(See drawing 1.6.2.4)

In diesem Verfahrensschritt wird die Fehlerregion des Daches modelliert.In this step, the fault region of the roof is modeled.

Für das Dach werden zunächst die zu untersuchenden Bereiche mittels zweier AreaOfInterestSegments "dachRegion1" und "dachRegion2" spezifiziert. Die Abmessungen der AreaOfInterestSegments können in einem Dialog editiert oder durch direktes Positionieren der zugehörigen Rechtecke im Bild festgelegt werden.For the roof, the areas to be examined are first identified using two AreaOfInterestSegments "dachRegion1" and "dachRegion2" specified. The dimensions of the AreaOfInterestSegments can be edited in a dialog or by directly positioning the associated rectangles in the image.

Die gesamte fehlerhafte Region "dachFehlerRegion" wird unter Verwendung eines BinarySegmentes modelliert.The entire faulty region "dachFehlerRegion" is using a binary segment modeled.

Diesem Segment wird ein BinaryMark "dachFehlerBinaerBild" zur Aufnahme des Ergebnisses in Form eines Binärbildes zugeordnet. Die Zuordnung erfolgt mit einer SegmentMarkUsesRelation. Ferner wird dem "dachFehlerRegion" Segment das zur Selektion der Bildpunkte zu verwendende Merkmal zugeordnet. Im Beispiel handelt es sich um das RGBSetMark. Dieses Merkmal repräsentiert das von der Kamera erzeugte Grauwertbild.This segment is a binary mark "dachFehlerBinaerBild" to record the result in the form assigned to a binary image. The assignment is made with a SegmentMarkUsesRelation. Furthermore, the "dachFehlerRegion" segment is used to select the pixels Characteristic assigned. In the example it is the RGBSetMark. This characteristic represents the grayscale image generated by the camera.

In einem zum BinarySegment gehörenden Dialog wird ein vorläufiges Schwellwertintervall für die Selektion der Bildpunkte des RGBSetMarks festgelegt. In a dialog belonging to the BinarySegment, a preliminary threshold value interval for the Selection of the pixels of the RGBSetMark defined.

Schließlich werden dem BinarySegment "dachFehlerRegion" die beiden AreaOfInterestSegmente über eine SegmentSegmentFilterRelation zugeordnet. Auf diese Weise erfährt das BinarySegment, in welchen Bereichen der Grauwert der Bildpunkte mit dem vorgegebenen Schwellwertintervall verglichen werden soll.Finally, the BinarySegment "dachFehlerRegion" over the two AreaOfInterestSegmente assigned a SegmentSegmentFilterRelation. In this way, the binary segment, in which areas the gray value of the pixels with the predetermined threshold value interval to be compared.

1.6.2.5 Determining the errors and adjusting the threshold values

In diesem Verfahrensschritt wird die Selektion der Bildpunkte gemäß dem eingestellten Schwellwert angestoßen. Das die Fehlerregion des Daches repräsentierende BinarySegment "dachFehlerRegion" selektiert diejenigen Bildpunkte, die in den interessierenden Bereichen liegen und deren Grauwerte in dem eingestellten Schwellwertintervall liegen. Diese Bildpunkte werden in dem Binärbild als "schwarz" markiert. Die übrigen Bildpunkte werden als "weiss" markiert. Das Ergebnis der Selektion wird von dem Ersteller des Prüfsystemes direkt am erzeugten Binärbild geprüft.In this step, the selection of the pixels according to the set threshold initiated. The binary segment "dachFehlerRegion" which represents the fault region of the roof selects those pixels that are in the areas of interest and their gray values in the set threshold value interval. These pixels are shown in the binary image as "black" marked. The remaining pixels are marked as "white". The result of the selection is from checked by the creator of the test system directly on the generated binary image.

Das Schwellwertintervall wird ggf. modifiziert und die Ausführung der Selektion widerholt. Am Ende dieses Prozesses entspricht die als "schwarz" markierte Region des Daches dem als fehlerhaft eingestuften Bereich.If necessary, the threshold value interval is modified and the execution of the selection is repeated. At the end In this process, the region of the roof marked as "black" corresponds to that as faulty classified area.

1.6.2.6 Modeling the defect characteristics with characteristic and relation components

(Vgl. Zeichnung 1.6.2.6)(See drawing 1.6.2.6)

Im Hinblick auf eine quantitative Bewertung der Fehlerregion werden in diesem Verfahrensschritt geeignete Merkmale modelliert. Im Beispiel wird ein SizeMark "groesse" zur Ermittlung der beschädigten oder verschmutzten Fläche erzeugt. Ein ContrastMark "kontrast" soll im Beispiel zur Unterscheidung zwischen kontrastreichen Beschädigungen und kontrastarmen Verschmutzungen dienen. Die Merkmale sind dem Segment "dachFehlerRegion" mittels einer SegmentMarkHasRelation zugeordnet.With a view to a quantitative assessment of the error region, this process step modeled suitable features. In the example, a SizeMark is used to determine the "size" damaged or dirty surface. A ContrastMark "contrast" should be used in the example Differentiation between high-contrast damage and low-contrast contamination serve. The characteristics are the segment "dachFehlerRegion" by means of a SegmentMarkHasRelation assigned.

1.6.2.7 Calculate the characteristics and adjust the threshold values

In diesem Verfahrensschritt wird die Berechnung der Merkmale angestoßen. Die Merkmale initiieren die Selektion der Bildpunkte durch das Segment "dachFehlerRegion". Das Ergebnis der Merkmalsberechnung kann in einem merkmalspezifischen Dialog abgelesen werden Ggf. wird die Berechnung mit modifiziertem Schwellwert wiederholt.In this step, the calculation of the characteristics is triggered. Initiate the characteristics the selection of the pixels by the segment "roof error region". The result of Characteristic calculation can be read in a characteristic-specific dialog. will the Calculation repeated with modified threshold.

1.6.2.8 Modeling the features of the product with feature and relation components

(Vgl. Zeichnung 1.6.2.8)(See drawing 1.6.2.8)

In diesem Verfahrensschritt werden die berechneten Fehlermerkmale über spezielle LiftMarks entlang der Kind-Vater Beziehungenen zwischen Fehlerregion, Dach und Auto nach oben transportiert und so zu Merkmalen des untersuchten Autos befördert. Über diese Technik können Merkmale verschiedener Fehler in unterschiedlichen Bauteilen zu einem Merkmalsvektor des Autos emporgehoben werden. Die Merkmale sind über MarkMarkUsesRelations miteinander verkettet.In this process step, the calculated error characteristics are moved along using special LiftMarks the child-father transports relationships between the fault region, roof and car up and so on promoted to features of the examined car. Using this technique, features can be different Defects in different components can be raised to a feature vector of the car. The features are linked together via MarkMarkUsesRelations.

Im Beispiel werden Groesse und Kontrast der Fehlerregion nach oben transportiert. Durch Anstoßen der Berechnung des LiftMarks "autoDachFehlerRegionGroesse" kann der Transport kontrolliert werden. Der Dialog des LiftMarks zeigt nach der Berechnung den richtigen Wert.In the example, the size and contrast of the error region are transported upwards. By toasting The transport can be checked by calculating the lift mark "autoDachFehlerRegionGroesse" become. The dialog of the LiftMark shows the correct value after the calculation.

1.6.2.9 Modeling the defect classes of the product with classification and Relationship components

(Vgl. Zeichnung 1.6.2.9)(See drawing 1.6.2.9)

In diesem Verfahrensschritt wird die Klassifizierung der untersuchten Autos vorbereitet. Dazu wird die Menge aller Autos mit einem Segment "autoMenge" modelliert und die Menge der Autos mit einer hinreichend großen Fehlerregion auf dem Dach mit einem IntervalSegment "autoMengeMitDachFehler".In this step, the classification of the examined cars is prepared. To do this, the amount of all cars is modeled with a segment "autoMenge" and the amount of cars with a sufficiently large error region on the roof with an interval segment "autoMengeMitDachFehler".

Das IntervalSegment wird mit dem Segment, welches die Menge aller Autos repräsentiert, über eine SegmentSegmentFilterRelation verbunden. Für das IntervalSegment ist ein vorläufiger Schwellwert für die Größe der Fehlerregion auf dem Dach mittels zugehörigem Dialog zu spezifizieren. Ferner wird diesem IntervalSegment mitgeteilt, welches reellwertige Merkmal zur Selektion verwendet werden soll. The IntervalSegment is over a with the segment, which represents the amount of all cars SegmentSegmentFilterRelation connected. There is a provisional threshold for the IntervalSegment to specify the size of the fault region on the roof using the associated dialog. Furthermore, communicated to this interval segment which real-valued characteristic is to be used for the selection.

Im Beispiel wird das Merkmal des Rutos verwendet, welches die Größe der Fehlerregion auf dem Dach beschreibt.In the example, the feature of the rutos is used, which is the size of the error region on the Roof describes.

Außerdem werden die Mengen der Autos mit einer Verschmutzung bzw. einer Beschädigung auf dem Dach durch IntervalSegmente "autoMengeMitDachVerschmutzung" bzw. "autoMengeMitDachBeschaedigung" modelliert. Beide Segmente werden über eine SegmentSegmentFilterRelation mit dem IntervalSegment "autoMengeMitDachFehler" verbunden. Im Beispiel verwenden diese Segmente zur Selektion den Kontrast der Fehlerregion. Für beide Segmente müssen per Dialog geeignete vorläufige Schwellwertintervalle spezifiziert werden.In addition, the amount of cars with pollution or damage on the Roof due to interval segments "autoMengeMitDachStürlung" or "AutoMengeMitDachDeschaedigung" modeled. Both segments are over one SegmentSegmentFilterRelation connected to the interval segment "autoMengeMitDachFehler". in the For example, these segments use the contrast of the error region for selection. For both Suitable preliminary threshold value intervals must be specified by dialog.

1.6.2.10 Classify the product and adjust the threshold values

(Vgl. Zeichnung 1.6.2.10)(See drawing 1.6.2.10)

In diesem Verfahrensschritt wird die Ausführung der Selektion für das IntervalSegment nautoMengeMitDachBeschaedigung" angestoßen. Entsprechend den angegebenen Schwellwerten wird im dargestellten Beispiel das Segment "auto" selektiert und dem IntervalSegment "autoMengeMitDachFehler" sowie dem IntervalSegment "autoMengeMitDachBeschaedigung" als Subsegment zugeordnet.In this step the execution of the selection for the interval segment is carried out nautoMengeMitDachDamaedigung "initiated. According to the specified threshold values In the example shown, the segment "auto" is selected and the interval segment "autoMengeMitDachFehler" and the interval segment "autoMengeMitDachDeschaedigung" as Assigned sub-segment.

Die Selektion wird ggf. mit modifizierten Schwellwerten wiederholt, bis die Zuordnung in der gewünschten Weise erfolgt.If necessary, the selection is repeated with modified threshold values until the assignment in the desired way.

Im Hinblick auf eine verfeinerte Klassifizierung werden die Verfahrensschritte "Modellieren der Fehlerstruktur mit Klassifizierungs- und Relationskomponenten" bis "Klassifizieren des Autos und Anpassen der Schwellwerte" erneut durchlaufen:With a view to refining the classification, the process steps "Modeling the Error structure with classification and relation components "to" classifying the car and Adjust the threshold values "again:

1.6.2.11 Modeling the error structure with classification and relation components

(Vgl. Zeichnung 1.6.2.11.1)(See drawing 1.6.2.11.1)

In diesem Verfahrensschritt wird die Menge der einzelnen Beschädigungen der Dachfläche mit einem ObjectSeparatingSegment "dachFehlerBlobMenge" modelliert. Dieses Segment wird mit der gesamten Fehlerregion über eine SegmentSegmentFilterRelation verbunden.In this process step, the amount of individual damage to the roof area with a ObjectSeparatingSegment "dachFehlerBlobMenge" modeled. This segment is with the whole Error region connected via a SegmentSegmentFilterRelation.

(Vgl. Zeichnung 1.6.2.11.2)(See drawing 1.6.2.11.2)

Das ObjectSeparatingSegment erzeugt eine Menge von BinarySegmenten, welche die separierten Fehlerblobs und damit die einzelnen Beschädigungen repräsentieren. Im Beispiel werden zur besseren Veranschaulichung 3 Subsegmente des ObjectSeparatingSegments dargestellt. Der grafische Editor zeigt jedoch defaultmäßig nur ein Subsegment und notiert die Mächtigkeit der Subsegmentmenge in Form einer Zahl.The ObjectSeparatingSegment creates a set of binary segments that separate the Error blobs and thus represent the individual damages. In the example better illustration 3 sub-segments of the ObjectSeparatingSegments shown. The By default, the graphical editor only shows one subsegment and notes the thickness of the Sub-segment set in the form of a number.

Die Menge der großen Blobs wird mit einem IntervalSegment "dachFehlerGrosseBlobMenge" modelliert.The amount of large blobs is calculated with an interval segment "roof error big blob amount" modeled.

Es wird über eine SegmentSegmentFilterRelation mit dem ObjectSeparatingSegment verbunden.It is connected to the ObjectSeparatingSegment via a SegmentSegmentFilterRelation.

Diesem IntervalSegment "dachFehlerGrosseBlobMenge" wird im Rahmen des zugehörigen Dialogs mitgeteilt, welches reellwertige Merkmal zur Selektion verwendet werden soll. Im Beispiel wird die Fläche der Blobs als Merkmal verwendet.This interval segment "dachFehlerGrosseBlobMenge" is part of the associated dialog communicated which real-valued characteristic is to be used for the selection. In the example, the Area of the blobs used as a characteristic.

Ferner ist für dieses Segment ein vorläufiges Schwellwertintervall für die Fläche der Blobs zu spezifizieren.In addition, a preliminary threshold value interval for the area of the blobs is closed for this segment specify.

1.6.2.12 Modeling the defect characteristics with characteristic and relation components

(Vgl. Zeichnung 1.6.2.12)(See drawing 1.6.2.12)

Im Hinblick auf eine quantitative Bewertung der Beschädigungen werden in diesem Verfahrensschritt geeignete Merkmale modelliert.With a view to a quantitative assessment of the damage, this process step modeled suitable features.

Im Beispiel werden SizeMarks zur Ermittlung der Fläche der Blobs verwendet. Diese sind den Fehlerblobs mittels einer SegmentMarkHasRelation zugeordnet.In the example, SizeMarks are used to determine the area of the blobs. These are the Error blobs assigned using a SegmentMarkHasRelation.

Zur Erfassung der Anzahl der großen Blobs wird dem IntervalSegment "dachFehlerGrosseBlobMenge" ein CountMark "anzahlGrosseBlobs" zugeordnet. Dieses zählt die Anzahl der Subsegmente des IntervalSegmentes und ermittelt daher die Anzahl der großen Blobs. The interval segment is used to record the number of large blobs "dachFehlerGrosseBlobMenge" a CountMark "anzahlGrosseBlobs" assigned. This counts Number of subsegments of the IntervalSegment and therefore determines the number of large blobs.

1.6.2.13 Calculate the error characteristics and adjust the threshold values

(Vgl. Zeichnung 1.6.2.13)(See drawing 1.6.2.13)

In diesem Verfahrensschritt wird die Berechnung des CountMarks angestoßen.In this process step, the calculation of the CountMark is initiated.

Das CountMark beauftragt das IntervalSegment "dachFehlerGrosseBlobMenge" mit der Ausführung der Selektion. Dieses IntervalSegment initiiert die Ausführung des ObjectSeparatingSegments "dachFehlerBlobMenge" und damit die Generierung der Blobs.The CountMark commissions the interval segment "dachFehlerGrosseBlobMenge" with the execution the selection. This IntervalSegment initiates the execution of the ObjectSeparatingSegments "dachFehlerBlobMenge" and thus the generation of the blobs.

Das IntervalSegment "dachFehlerGrosseBlobMenge" beauftragt anschließend für jeden Blob die Berechnung der Fläche und selektiert diejenigen Blobs, deren Fläche oberhalb des spezifizierten Schwellwertes liegt.The interval segment "dachFehlerGrosseBlobMenge" then orders the for each blob Calculate the area and select those blobs whose area is above the specified Threshold is.

Der Verfahrensschritt wird mit modifizierten Schwellwerten solange wiederholt, bis die Anzahl der großen Blobs mit der erwarteten Anzahl übereinstimmt.The process step is repeated with modified threshold values until the number of large blobs matches the expected number.

Im Beispiel wurden 2 der 3 Blobs als hinreichend groß eingestuft und die zugehörigen BinarySegmente dem Segment "dachFehlerGrosseBlobMenge" als Subsegmente zugeordnet. Der zum CountMark "anzahlGrosseBlobs" gehörende Dialog zeigt daher den Wert 2.In the example, 2 of the 3 blobs were classified as sufficiently large and the corresponding ones BinarySegmente assigned to the "dachFehlerGrosseBlobMenge" segment as sub-segments. The The dialog belonging to the CountMark "anzahlGrosseBlobs" shows the value 2.

1.6.2.14 Modeling the features of the product with feature and relation components

(Vgl. Zeichnung 1.6.2 14)(See drawing 1.6.2 14)

In diesem Verfahrensschritt wird das CountMark "anzahlGrosseBlobs" über spezielle LiftMarks entlang der Kind-Vater Beziehungen zwischen Menge der großen Blobs, Dach und Auto nach oben transportiert und so zu einem Merkmal des untersuchten Autos befördert.In this step, the CountMark "numberBigBlueBlobs" along special LiftMarks the child-father relationships between lot of big blobs, roof and car up transported and thus transported to a characteristic of the examined car.

Durch Anstoßen der Berechnung des LiftMarks "autoDachAnzahlGrosseBlobs" kann der Transport kontrolliert werden. Der Dialog dieses LiftMarks zeigt nach der Berechnung die richtige Anzahl, im Beispiel also 2.The transport can be started by triggering the calculation of the lift mark "autoDachAnzahlGrossseBlobs" to be controlled. The dialog of this LiftMark shows the correct number after calculation Example 2.

1.6.2.15 Modeling the defect classes of the product with classification and Relationship components

(Vgl. Zeichnung 1.6.2.15)(See drawing 1.6.2.15)

In diesem Verfahrensschritt wird die Klassifizierung des untersuchten Autos weiter verfeinert. Zu diesem Zweck werden die Mengen der Autos mit kleiner bzw. großer Beschädigung des Daches mittels der IntervalSegmente "autoMengeMitKleinerDachBeschaedigung" bzw. "autoMengeMitGrosserDachBeschaedigung" modelliert. Beide Segmente verwenden zur Selektion das Merkmal "autoDachAnzahlGrosseBlobs". Im Rahmen der zugehörigen Dialoge werden vorläufige Schwellwertintervalle spezifiziert.In this step, the classification of the examined car is further refined. For this purpose, the amount of cars with small or large damage to the roof by means of the interval segments "autoMengeMitKleinerDachDeschaedigung" or "AutoMengeMitGrosserDachDeschaedigung" modeled. Both segments use for selection the characteristic "autoDachAnzahlGrossseBlobs". As part of the associated dialogues, preliminary Threshold intervals specified.

1.6.2.16 Classify the product and adjust the threshold values

(Vgl. Zeichnung 1.6.2.16)(See drawing 1.6.2.16)

In diesem Verfahrensschritt wird die Ausführung der Selektion angestoßen.In this step, the execution of the selection is triggered.

Das Auto, dessen Bild für die Erstellung des Prüf- und Bearbeitungssystemes verwendet wurde, wird im Beispiel dem IntervalSegment "autoMengeMitGrosserDachBeschaedigung" als Subsegment zugeordnet. Die Ausführung der Selektion wird ggf. mit modifizierten Schwellwerten wiederholt. The car, the image of which was used for the creation of the testing and processing system, is in the example the interval segment "autoMengeMitGrosserDachDeschaedigung" as a sub-segment assigned. The execution of the selection may be repeated with modified threshold values.

1.6.2.17 Modeling the processing sections with action and relation components

(Vgl. Zeichnung 1.6.2.17)(See drawing 1.6.2.17)

Dem IntervalSegment "autoMengeMitGrosserDachBeschaedigung" wird die Aktion "IackiereAutoDaecher" mittels SegmentActionHasRelation zugeordnet. Sie beauftragt lediglich die ihr über eine ActionActionUsesRelation zugeordnete Aktion "IackiereAutoDach" des Segmentes "auto" mit der Ausführung. In der gleichen Weise beauftragt diese Aktion die dem Segment "dach" zugeordnete PaintAction "lackiereDachFehlerRegion". Diese Aktion wurde vor der Erstellung des Prüf- und Bearbeitungssystemes dem vorhandenen Komponentensystem hinzugefügt. Die Aktion repräsentiert die Lackierung eines durch ein BinarySegment gegebenen Bereiches. Im Beispiel ist dieser Bereich durch das BinarySegment "dachFehlerRegion" bestimmt.The action is the interval segment "autoMengeMitGrosserDachDeschaedigung" "IackiereAutoDaecher" assigned using SegmentActionHasRelation. She only hires her Action "IackiereAutoDach" assigned to the "auto" segment via an ActionActionUsesRelation the execution. In the same way, this action orders the one assigned to the "roof" segment PaintAction "LackiereDachFehlerRegion". This action was taken before the test and Machining system added to the existing component system. The action represents the painting of an area given by a binary segment. This area is in the example determined by the binary segment "dachFehlerRegion".

Die Aktion erlaubt es, per Dialog bestimmte Parametereinstellungen für die Nachbearbeitung, wie etwa den Lacktyp oder den Sprühabstand einzustellen.The action allows certain parameter settings for post-processing, such as such as setting the paint type or spraying distance.

1.6.2.18 Execute the machining actions and adjust the action parameters

In diesem Verfahrensschritt wird die Ausführung der Aktion "lackiereAutoDaecher" angestoßen. Der Verfahrensschritt wird solange mit modifizierten Aktionsparametern wiederholt bis die Nachbearbeitung das gewünschte Ergebnis zeigt.In this step, the execution of the "paintAutoDaecher" action is triggered. The process step is repeated with modified action parameters until the Post-processing shows the desired result.

1.6.2.19 The complete testing and processing system

Im Folgenden wird noch einmal eine Übersicht über den in obigen Verfahrensschritten besprochenen Teil des Prüf- und Bearbeitungssystemes für das Spielzeugauto gegeben.An overview of those discussed in the above process steps is again given below Part of the testing and processing system for the toy car.

(Vgl. Zeichnung 1.6.2.19)(See drawing 1.6.2.19)

Wie oben bereits erwähnt unterstützt der grafische Editor die Erstellung einzelner Ansichten, das Ausblenden nicht relevanter Beziehungen und die optische Trennung der verschiedenen Komponenten und Relationen durch Farbe und Form.As mentioned above, the graphical editor supports the creation of individual views, the Hiding irrelevant relationships and the visual separation of the different ones Components and relations through color and shape.

Eine "vollständige" Darstellung des semantischen Netzwerkes ist bei umfangreicheren Prüf- und Bearbeitungssystemen nicht mehr sinnvoll.A "complete" representation of the semantic network is with more extensive testing and Machining systems no longer make sense.

Auch in dieser Übersicht wird z. B. auf eine Darstellung der Untersuchungen für die Motorhaube verzichtet.In this overview z. B. on a representation of the tests for the hood waived.

Die hier dargestellte Übersicht läßt jedoch noch einmal den an den relevanten Konzepten orientierten objektorientierten Aufbau des Prüf- und Bearbeitungssystemes aus wenigen einheitlichen Komponenten erkennen.The overview presented here, however, leaves the one based on the relevant concepts again Object-oriented structure of the testing and processing system from a few uniform Recognize components.

Im mittleren Bereich des Bildes wird die meist baumartige Struktur des Produktes sichtbar, im Beispiel besteht das Auto lediglich aus Dach und Motorhaube.The mostly tree-like structure of the product is visible in the middle of the picture, in the example the car consists only of roof and bonnet.

Darunter baut sich von links nach rechts die Struktur der zu prüfenden Fehler auf.Below this, the structure of the errors to be checked is built up from left to right.

Das AreaOfInterestSegment "dachRegion" repräsentiert die zu untersuchende Region, das BinarySegment "dachFehlerRegion" repräsentiert den gesamten erkannten Fehlerbereich und das IntervalSegment "dachFehlerGrosseBlobMenge" repräsentiert schließlich einzelne selektierte Blobs. Hier sind eine Vielzahl weiterer Fehlerstrukturen denkbar.The AreaOfInterestSegment "dachRegion" represents the region to be examined, the BinarySegment "dachFehlerRegion" represents the entire detected error area and that IntervalSegment "dachFehlerGrosseBlobMenge" represents finally selected blobs. A variety of other error structures are conceivable here.

Die Fehlersegmente haben jeweils einen Link zu den korrespondierenden Binärbildern. Diese Binärbilder enthalten Grauwerte von Pixel und repräsentieren damit Merkmale von Bildpunkten. Daher sind sie als Merkmale dem ImagePointSetSegment mittels SegmentMarkHasRelation zugeordnet.The error segments each have a link to the corresponding binary images. This Binary images contain gray values of pixels and thus represent features of pixels. Therefore they are assigned as characteristics to the ImagePointSetSegment using SegmentMarkHasRelation.

Das aufgebaute Netzwerk aus Fehlersegmenten bildet die Basis für die Berechnung von Merkmalen zur Quantifizierung. Im Beispiel sind dies die Größe der Fehlerregion, der Kontrast, die Größen der einzelnen Blobs und die gesamte Anzahl der großen Blobs.The built-up network of error segments forms the basis for the calculation of features for quantification. In the example, these are the size of the error region, the contrast, the sizes of the individual blobs and the total number of large blobs.

Diese Merkmale werden über spezielle LiftMarks entlang der Kind-Vater Beziehungen innerhalb des semantischen Netzes nach oben transportiert und so zu Merkmalen des untersuchten Autos befördert. Die nach oben transportierten Merkmale einzelner Bauteile des untersuchten Autos ermöglichen dann dessen Klassifizierung. These features are identified using special LiftMarks along the child-father relationships within the semantic network transported upwards and thus conveyed to features of the examined car. The characteristics of individual components of the examined car that are transported upwards then enable its classification.

Die verschiedenen Fehlerklassen findet man im oberen Bereich des Prüf- und Bearbeitungssystemes. Die Segmente zur Klassifizierung des Produktes bilden mit ihren Filterbeziehungen einen Entscheidungsbaum, der das Expertenwissen über die Abfolge der durchzuführenden Untersuchungen repräsentiert.The various error classes can be found in the upper area of the testing and processing system. The segments for classifying the product with their filter relationships form one Decision tree, which is the expert knowledge about the sequence of to be carried out Investigations represented.

Durchläuft das Produkt diesen Entscheidungsbaum, so werden je nach Pfad unterschiedliche Merkmale für die einzelnen Bauteile berechnet.If the product goes through this decision tree, it will differ depending on the path Characteristics calculated for the individual components.

Insbesondere sind damit nachfolgende Untersuchungen, d. h. Berechnungen von Merkmalen, abhängig von dem Ergebnis vorangegangener Untersuchungen. Die Untersuchungskette wird also dynamisch gesteuert. Z. B. wird die Berechnung des Merkmals "autoDachAnzahlGrosseBlobs" nur angestoßen, wenn das Auto dem IntervalSegment "autoMengeMitDachBeschädigung" zugeordnet wird. Die Berechnung des Merkmals "autoDachAnzahlGrosseBlobs" wird nicht angestoßen, wenn das Auto dem IntervalSegment "autoMengeMitDachVerschmutzung" zugeordnet wird.In particular, subsequent investigations, i. H. Feature calculations, depending on the result of previous investigations. So the investigation chain is dynamically controlled. For example, the calculation of the feature "autoDachAnzahlGrosseBlobs" only triggered when the car is assigned to the interval segment "autoMengeMitDachBeschamigung" becomes. The calculation of the characteristic "autoDachAnzahlGrosseBlobs" is not triggered if that Auto is assigned to the interval segment "autoMengeMitDachVchamination".

Die vorgenommenen Klassifizierungen bilden schließlich die Grundlage für die verschiedenen Aktionen zur Behebung der erkannten Fehler. The classifications made ultimately form the basis for the various Actions to correct the detected errors.

1.6.3 Process steps in the course of testing and processing the product

Im Folgenden werden die Verfahrensschritte beschrieben, die während der Ausführung des Prüf- und Bearbeitungssystemes durchgeführt werden. Diese Verfahrensschritte repräsentieren die innerhalb des semantischen Netzwerkes ablaufende Dynamik.The following describes the procedural steps that take place during the execution of the test and Machining system are carried out. These process steps represent those within dynamics of the semantic network.

1.6.3.1 Commissioning the action components to process the modeled Error classes

Das System stößt in diesem Verfahrensschritt für alle modellierten Fehlerklassen die zugehörigen Nachbearbeitungsaktionen an.In this step, the system encounters the associated error classes for all modeled Postprocessing actions.

Im betrachteten Beispiel wird also etwa die Aktion "lackiereAutoDaecher" für das IntervalSegment "autoMengeMitGrosserDachBeschaedigung" angestoßen.In the example under consideration, the "paint car auto daucher" action for the interval segment is used "AutoMengeMitGrosserDachDeschaedigung" initiated.

1.6.3.2 Commissioning the classification components with the product classification

Die Aktion "lackiereAutoDaecher" beauftragt in diesem Verfahrensschritt ihr Segment "autoMengeMitGrosserDachBeschaedigung", die zugehörigen Autos zu ermitteln. Dieses Segment bereitet daher die Selektion der Subsegmente vor. Zu diesem Zweck beauftragt es wiederum das davorliegende Segment "autoMengeMitDachBeschädigung", die zugehörigen Autos zu ermitteln.In this process step, the "LackiereAutoDaecher" campaign commissions its segment "autoMengeMitGrosserDachDeschaedigung" to determine the associated cars. This segment therefore prepares the selection of the subsegments. For this purpose it instructs again the preceding segment "autoMengeMitDachBeschamigung", the associated cars determine.

So pflanzt sich der Auftrag zur Ermittlung der zugehörigen Autos von Fehlerklasse zu Fehlerklasse entlang des Entscheidungsbaumes fort. In unserem Beispiel endet die Aufragskette am Segment "autoMenge". Dieses Segment hat im betrachteten Beispiel lediglich ein Subsegment, welches bereits bei der Modellierung zugeordnet wurde.This is how the order to determine the associated cars is planted from defect class to defect class along the decision tree. In our example, the order chain ends at the segment "auto quantity". In the example considered, this segment has only one subsegment, which already assigned during modeling.

1.6.3.3 Commissioning the feature components with the calculation

Die Fehlerklasse "autoMengeMitDachFehler" beginnt als erste mit der Selektion der zugehörigen Autos. Dazu beauftragt sie die Berechnung des LiftMarks "autoDachFehlerRegionGroesse" für das Segment "auto". Dieses LiftMark beauftragt daraufhin die Berechnung des LiftMarks "dachFehlerRegionGroesse" des Segmentes "dach".The error class "autoMengeMitDachFehler" begins with the selection of the corresponding one Cars. For this purpose, she instructs the calculation of the lift mark "autoDachFehlerRegionGroesse" for the Auto segment. This LiftMark then orders the calculation of the LiftMark "dachFehlerRegionGroesse" of the segment "dach".

Daraufhin beauftragt dieses LiftMark die Berechnung des SizeMarks "groesse" des BinarySegmentes "dachFehlerRegion".This LiftMark then orders the calculation of the size mark "size" of the binary segment "roof error region".

Das SizeMark "groesse" beauftragt das BinarySegment "dachFehlerRegion" mit der Ermittlung der Fehlerregion.The SizeMark "groesse" instructs the binary segment "dachFehlerRegion" to determine the Error region.

Für die AreaOfInterestSegmente wurde die Selektion der Subsegmente in Form der zugehörigen Bildpunkte bereits im Rahmen der Modellierung durch den Anwender vorgenommen.For the AreaOfInterestSegmente, the selection of the subsegments was made in the form of the corresponding Pixels already made by the user as part of the modeling.

Das BinarySegment "dachFehlerRegion" beauftragt das RGBSetMark "autoGrauWertBild" mit der Ermittlung des Grauwertbildes.The binary segment "dachFehlerRegion" orders the RGBSetMark "autoGrauWertBild" with the Determination of the gray scale image.

1.6.3.4 Acquisition of the image to be checked by the frame grabber

Der Frame Grabber erzeugt mit der für das Produkt spezifischen Kameraeinstellung das Grauwertbild des aktuell zu untersuchenden und ggf. nachzubearbeitenden Autos.The frame grabber generates the grayscale image with the camera setting specific to the product of the car currently to be examined and possibly reworked.

1.6.3.5 Determining the errors using classification components

Das BinarySegment "dachFehlerRegion" erstellt unter Verwendung des RGBSetMarks "autoGrauWertBild" und der durch die AreaOfInterestSegmente gegebenen Bereiche das BinaryMark "dachFehlerBinaerBild".The binary segment "dachFehlerRegion" created using the RGBSetMark "autoGrauWertBild" and the areas given by the AreaOfInterestSegmente the BinaryMark "dachFehlerBinaerBild".

1.6.3.6 Calculating the feature components

In diesem Verfahrensschritt erfolgt die Berechnung des SizeMarks "groesse", des LiftMarks "dachFehlerRegionGroesse" und des LiftMarks "autoDachFehlerRegionGroesse".In this process step, the size mark "size", the lift mark, is calculated "dachFehlerRegionGroesse" and the LiftMark "autoDachFehlerRegionGroesse".

Das gesuchte Merkmal wird also nach oben zum Auto transportiert. The feature you are looking for is transported up to the car.

1.6.3.7 Classifying the product using classification components

Das IntervalSegment "autoMengeMitDachFehler" prüft in diesem Verfahrensschritt das LiftMark "autoDachFehlerRegionGroesse" und fügt im betrachteten Beispiel das Segment "auto" aus den Subsegmenten des Segments "autoMenge" seinen eigenen Subsegmenten hinzu.The interval segment "autoMengeMitDachFehler" checks the LiftMark in this step "autoDachFehlerRegionGroesse" and in the example considered adds the segment "auto" from the Add sub-segments of the "autoMenge" segment to its own sub-segments.

1.6.3.8 Commissioning the feature components with the calculation

Die Fehlerklasse "autoMengeMitDachBeschädigung" beauftragt die Berechnung des LiftMarks "autoDachFehlerRegionKontrast" für das Segment "auto". Dieses LiftMark beauftragt daraufhin die Berechnung des LiftMarks "dachFehlerRegionKontrast" des Segmentes "dach".The error class "autoMengeMitDachBeschamigung" instructs the calculation of the LiftMark "autoDachFehlerRegionKontrast" for the segment "auto". This LiftMark then commissions the Calculation of the lift mark "dachFehlerRegionKontrast" of the segment "dach".

Daraufhin beauftragt dieses LiftMark die Berechnung des ContrastMarks "kontrast" des BinarySegmentes "dachFehlerRegion".This LiftMark then orders the calculation of the ContrastMark "contrast" of the BinarySegmentes "dachFehlerRegion".

1.6.3.9 Calculate the feature components

Das BinaryMark "dachFehlerBinaerBild" existiert bereits.The BinaryMark "dachFehlerBinaerBild" already exists.

Daher erfolgt in diesem Verfahrensschritt die Berechnung des ContrastMarks "kontrast", des LiftMarks "dachFehlerRegionKontrast" und des LiftMarks "autoDachFehlerRegionKontrast".Therefore, in this process step, the contrast mark "contrast", the lift mark, is calculated "dachFehlerRegionKontrast" and the LiftMark "autoDachFehlerRegionKontrast".

Das gesuchte Merkmal wird also nach oben zum Auto transportiert.The feature you are looking for is transported up to the car.

1.6.3.10 Classifying the product using classification components

Das IntervalSegment "autoMengeMitDachBeschädigung" prüft das LiftMark "autoDachFehlerRegionKontrast" und fügt im betrachteten Beispiel das Segment "auto" aus den Subsegmenten des Segments "autoMengeMitDachFehler" seinen eigenen Subsegmenten hinzu.The LiftMark checks the interval segment "autoMengeMitDachDämigung" "autoDachFehlerRegionKontrast" and in the example considered adds the segment "auto" from the Add sub-segments of the "autoMengeMitDachFehler" segment to its own sub-segments.

1.6.3.11 Commissioning the feature components with the calculation

Die Fehlerklasse "autoMengeMitGrosserDachBeschädigung" beauftragt die Berechnung des Merkmals "autoDachAnzahlGrosseBlobs" für das Segment "auto". Dieses LiftMark beauftragt daraufhin die Berechnung des LiftMarks "dachAnzahlGrosseßlobs" des Segmentes "dach". Daraufhin beauftragt dieses LiftMark die Berechnung des CountMarks "anzahlGrosseBlobs" des IntervalSegmentes "dachFehlerGrosseBlobMenge".The error class "autoMengeMitGrosserDachBeschamigung" instructs the calculation of the Feature "autoDachAnzahlGrossseBlobs" for the segment "auto". This LiftMark instructed thereupon the calculation of the lift mark "dachAnzahlGrossseßlobs" of the segment "dach". Thereupon this LiftMark commissions the calculation of the CountMark "anzahlGrosseBlobs" of the IntervalSegmentes "dachFehlerGrossseBlobMenge".

1.6.3.12 Determining the errors using classification components

Das CountMark "anzahlGrosseBlobs" beauftragt in diesem Verfahrensschritt sein IntervalSegment "dachFehlerGrosseBlobMenge" mit der Selektion der großen Blobs.The CountMark "anzahlGrosseBlobs" orders its interval segment in this step "dachFehlerGrosseBlobMenge" with the selection of the large blobs.

Das IntervalSegment stößt daher die Ausführung des über eine Filterbeziehung zugeordneten ObjectSeparatingSegments "dachFehlerBlobMenge" an. Dieses Segment generiert BinarySegmente "blobi".The IntervalSegment therefore triggers the execution of the assigned via a filter relationship ObjectSeparatingSegments "dachFehlerBlobMenge". This segment generates binary segments "blobi".

Das IntervalSetSegment "dachFehlerGrosseBlobMenge" initiiert die Berechnung der SizeMarks für die Blobs und selektiert diejenigen, deren Größe über dem spezifizierten Schwellwert liegt.The IntervalSetSegment "dachFehlerGrosseBlobMenge" initiates the calculation of the SizeMarks for the Blobs and selects those whose size is above the specified threshold.

1.6.3.13 Calculate the feature components

Im nächsten Schritt erfolgt die Berechnung des zum IntervalSegment gehörenden CountMarks "anzahlGrosseBlobs", des LiftMarks "dachAnzahlGrosseBlobs" und des LiftMarks "autoDachAnzahlGrosseBlobs". Das gesuchte Merkmal wird also nach oben zum Auto transportiert.In the next step, the CountMark belonging to the IntervalSegment is calculated "numberLargeBlobs", the LiftMark "roofNumberLargeBlobs" and the LiftMark "autoRoofNumberBigBlobs". The feature you are looking for is transported up to the car.

1.6.3.14 Classifying the product using classification components

Das IntervalSegment "autoMengeMitGrosserDachBeschädigung" prüft das Merkmal "autoDachAnzahlGrosseBlobs" und und fügt im betrachteten Beispiel das Segment "auto" aus den Subsegmenten des Segments "autoMengeMitDachBeschädigung" seinen eigenen Subsegmenten hinzu. The interval segment "autoMengeMitGrosserDachBädigung" checks the characteristic "autoDachAnzahlGrossseBlobs" and and in the example considered adds the segment "auto" from the Sub-segments of the "autoMengeMitDachBeschamigung" segment with its own sub-segments added.

1.6.3.15 Execution of the action components for processing

In diesem Verfahrensschritt wird schließlich die zur Fehlerklasse gehörende Aktion angestoßen. Im betrachteten Beispiel kommt die Aktion "lackiereAutoDaecher" zur Ausführung.In this step, the action belonging to the error class is finally triggered. in the In the example under consideration, the "LackiereAutoDaecher" action is carried out.

Sie beauftragt die ihr zugeordnete Aktion "lackiereAutoDach" des Segmentes "auto" mit der Ausführung. In der gleichen Weise beauftragt diese Aktion die dem Segment "dach" zugeordnete Aktion "lackiereDachFehlerRegion". Diese Aktion steuert den Lackier-Roboter z. B. unter Verwendung des für die Fehlerregion ermittelten Binärbildes.It commissions the "paint car roof" action assigned to it in the "auto" segment with the Execution. In the same way, this action orders the one assigned to the "roof" segment Action "paint roof error region". This action controls the painting robot e.g. B. using the binary image determined for the error region.

1.6.3.16 The dynamics at a glance

Nach der Darstellung der einzelnen Verfahrensschritte erfolgt noch einmal ein Überblick über die dynamischen Vorgänge:After the individual process steps have been presented, an overview of the dynamic processes:

Die Zuordnung des Segmentes "auto" pflanzt sich entlang des durch die Fehlerklassen modellierten Entscheidungsbaumes fort. Jede Fehlerklasse initiiert dabei die Berechnung eines bestimmten Merkmals des zu untersuchenden Produktes. Diese Merkmalsberechnung führt zu einer im semantischen Netzwerk nach unten laufenden Kaskade von Merkmalsberechnungen für die einzelnen Bauteile des Produktes bzw deren spezifische Fehler. Die Merkmalsberechnungen münden schließlich etwa im Rahmen der Binärbilderzeugung in der Ermittlung des Grauwertbildes durch den Frame Grabber und Bildverarbeitungsoperationen zur Ermittlung der Fehler. Nach Beendigung dieser Bildverarbeitungsoperationen werden die ermittelten Merkmale dann im Netzwerk nach oben transportiert und für eine Klassifizierung des Produktes verwendet.The assignment of the segment "auto" is based on the modeled by the error classes Decision tree. Each error class initiates the calculation of a specific one Characteristic of the product to be examined. This feature calculation leads to an im semantic network downward cascade of feature calculations for the individual Components of the product or their specific defects. The feature calculations open finally, for example in the context of binary image generation in the determination of the gray value image by the Frame grabber and image processing operations to determine the errors. After completion of these image processing operations, the determined features are then in the Network transported upwards and used for a classification of the product.

Nach erfolgter Klassifikation bewirkt die zur Fehlerklasse gehörende Aktion eine der ersten vergleichbare zweite Kaskade innerhalb des semantischen Netzwerkes von oben nach unten. Diese hat jedoch nun das Ziel Roboter-Aktionen für die einzelnen Bauteile zur Behebung der erkannten Fehler auszulösen.After classification, the action belonging to the error class causes one of the first comparable second cascade within the semantic network from top to bottom. This However, the goal now is robot actions for the individual components to correct the detected ones Trigger errors.

Wenn das Produkt den Entscheidungsbaum durchläuft, werden je nach Pfad unterschiedliche Merkmale für die einzelnen Bauteile berechnet. Insbesondere sind damit nachfolgende Untersuchungen abhängig von dem Ergebnis vorangegangener Untersuchungen. Die Untersuchungskette wird also dynamisch gesteuert.When the product goes through the decision tree, it changes depending on the path Characteristics calculated for the individual components. In particular, the following are Investigations depending on the result of previous investigations. The The investigation chain is controlled dynamically.

Die Zuordnung eines Autos zu einer bestimmten Fehlerklasse wird für den Anwender grafisch direkt sichtbar. Die Werte der Merkmale können angezeigt werden. So kann die korrekte Funktion des Prüf- und Bearbeitungssystemes Schritt für Schritt nachvollzogen und ggf. durch Korrigieren der Schwellwerte beeinflußt werden. The assignment of a car to a specific error class is graphically direct for the user visible. The values of the characteristics can be displayed. The correct functioning of the test and processing system step by step and if necessary by correcting the Threshold values are influenced.

1.6.4 Further examples of product-specific processing systems Image AutoClassification Angle

(Vgl. Zeichnung 1.6.4.1)(See drawing 1.6.4.1)

Die AreaOfInterestSegmente spezifizieren den Bereich, in dem nach einer Kante gesucht werden soll. Die BinaerSegmente "kantei" repräsentieren die Menge der Kantenpunkte mit ihren Eigenschaften. Sie sind jeweils einem Binärbild zugeordnet, in welchem für jedes Pixel durch den Merkmalswert 0 oder 1 beschrieben wird, ob er zur Kante gehört oder nicht. Das Winkelsegment ensteht indem der Anwender aus der Menge aller Kanten zwei selektiert und dem Winkelsegment als Subsegment zuordnet. Das Merkmal "winkelWert" initiiert die Berechnung der beiden Regressionsgeraden. Diese sind Merkmale der zugehörigen Kanten. Das Produkt wird schließlich wieder je nach Qualität das gemessenen Winkels klassifiziert und ggf. nachbearbeitet.The AreaOfInterestSegmente specify the area in which to search for an edge. The Binaer segments "kantei" represent the set of edge points with their properties. They are each assigned to a binary image, in which the characteristic value 0 for each pixel or 1 is described whether it belongs to the edge or not. The angular segment is created by the Users selected two from the set of all edges and the angle segment as a sub-segment assigns. The characteristic "angle value" initiates the calculation of the two regression lines. This are characteristics of the associated edges. The product will eventually become that again depending on the quality classified measured angle and reworked if necessary.

Eine analoge Vorgehensweise ergibt sich bei der Bestimmung von Entfernungen zwischen Kantenpaaren.An analogous procedure results when determining distances between Edge pairs.

Daher können Produkte in flexibler Weise optisch vermessen werden.Products can therefore be optically measured in a flexible manner.

Die Vermessung zweier zusätzlicher Kanten zieht lediglich die grafisch interaktive Ergänzung des semantischen Netzwerkes um zwei Kantensegmente nach sich.The measurement of two additional edges only draws the graphically interactive addition to the semantic network around two edge segments.

Die Merkmale des ImagePointSetSegmentes und ihre Nutzungsbeziehungen als unterste Ebene des semantischen Netzwerkes spiegeln die bekannten Datenflußdarstellungen von verketteten Bildbearbeitungsoperationen wider. Im Beispiel wird etwa die Laplace Operation auf das Grauwertbild CRGBMark angewendet. Dies drückt sich durch eine Nutzungsbeziehung zwischen dem RGBSetMark und dem LaplaceSetMark aus.The characteristics of the ImagePointSetSegment and their usage relationships as the lowest level of the semantic network reflect the well-known data flow representations of chained Image editing operations. In the example, the Laplace operation is performed on the gray scale image CRGBMark applied. This is expressed through a usage relationship between the RGBSetMark and the LaplaceSetMark.

Daher findet ein an die herkömmliche Datenflußdarstellung von Bildbearbeitungsoperationen gewöhnter Anwender an dieser Stelle einen Anknüpfungspunkt an die gewohnte Sichtweise.Therefore, one finds the conventional data flow representation of image processing operations used users here a link to the usual view.

Image AutoClassificationForm

(Vgl. Zeichnung 1.6.4.2)(See drawing 1.6.4.2)

In diesem Beispiel wird dargelegt, wie etwa unterschiedliche Aktionen in Abhängigkeit von der erkannten Form ausgeführt werden können.This example shows how different actions depending on the recognized form can be executed.

Darüberhinaus zeigt das Beispiel die Lernfähigkeit des Systems.The example also shows the system's ability to learn.

Der Anwender legt dem dargestellten Prüfsystem zunächst ein Bild eines Autos der Form A vor und initiiert die partielle Ausführung des Prüfsystemes, hier insbesondere die Erzeugung des Binärbildes für das Auto mit der bekannten Form A, die Berechnung des Schwerpunktes und die Ermittlung des Abstandsprofiles "autoReferenceProfileA". Dieses soll für nachfolgende Bilder als Muster dienen. Daher wird sein Wert vom Anwender "eingefroren", d. h. dieses Merkmal wird bei der Vorlage weiterer Bilder nicht neu ermittelt.The user first presents an image of a Form A car to the test system shown initiates the partial execution of the test system, in particular the generation of the binary image for the car with the known form A, the calculation of the center of gravity and the determination of the Distance profiles "autoReferenceProfileA". This should serve as a model for the following pictures. Therefore, its value is "frozen" by the user, i.e. H. this feature will be further upon submission Pictures not redetermined.

Analog verfährt der Anwender mit einem Bild der Form B.The user proceeds analogously with an image of the form B.

Nun wird das vollständige semantische Netzwerk auf ein Auto unbekannter Form angewendet. Von den drei Abstandsprofilen wird nun nur das Merkmal "autoProfile" neu berechnet, da die beiden anderen eingefroren wurden. Aufbauend hierauf werden die Merkmale "korrelationFormA" und "korrelationFormB" berechnet. Entsprechend dem Ergebnis wird das Auto nun etwa vom Segment "autoMengeFormA" selektiert oder auch nicht. Basierend auf dieser Klassifizierung werden wiederum unterschiedliche Aktionen ausgelöst.Now the complete semantic network is applied to a car of unknown form. Of The three distance profiles now only recalculate the "autoProfile" characteristic, since the two others were frozen. Building on this, the characteristics "correlationFormA" and "correlationFormB" calculated. According to the result, the car is now approximately from the segment "autoMengeFormA" selected or not. In turn, based on this classification different actions triggered.

Image AutoClassificationAndOr

(Vgl. Zeichnung 1.6.4.3)(See drawing 1.6.4.3)

Das Beispiel zeigt ansatzweise wie mit Hilfe der And- und OrSegmente Produktklassen logisch verknüpft werden können.The example shows how the product classes are logical, using the And and Or segments can be linked.

Image AutoClassification2Tuple

(Vgl. Zeichnung 1.6.4.4)(See drawing 1.6.4.4)

Das Beispiel zeigt wie etwa Gruppen von Bauteilen, die in einer gewissen Beziehung zueinander stehen, selektiert werden können. The example shows how about groups of components that are in a certain relationship to each other stand, can be selected.

1.6.5 The graphical editor Image user interface

(Vgl. Zeichnung 1.6.5)(See drawing 1.6.5)

Der Editor erlaubt eine interaktive Erstellung von produktspezifischen Prüf- und Bearbeitungssystemen.The editor allows an interactive creation of product-specific test and Machining systems.

Das semantische Netzwerk aus Segment-, Merkmal- und Aktionskomponenten spezifiziert wie oben beschrieben die Struktur des Produktes, die Struktur der auftretenden Fehler, die Produktklassen, die zur Klassifizierung verwendeten Merkmale und die zur Bearbeitung vorgesehenen Aktionen.The semantic network of segment, feature and action components specified as above described the structure of the product, the structure of the errors that occurred, the product classes that Characteristics used for classification and the actions intended for processing.

Die Komponenten werden durch in Form und Farbe typspezifische Icons dargestellt. Die Relationen werden durch in Form und Farbe typspezifische gerichtete Pfeile dargestellt.The components are represented by type-specific icons in form and color. The relations are shown by type-specific directional arrows in shape and color.

Während der Erstellung kann der Anwender die Berechnung von Merkmalen, die Selektion von Subsegmenten durch ein Segment oder auch die Ausführung einer Aktion durch Markieren der Komponente und Aktivieren des entsprechenden Menuepunktes anstoßen.During the creation, the user can calculate features, the selection of Sub-segments by a segment or the execution of an action by marking the Initiate the component and activate the corresponding menu item.

Er kann anschließend direkt den Wert eines Merkmals prüfen, indem er den zugehörigen Dialog aktiviert. An den generierten Relationen kann er erkennen, welche der Subsegmente von einem Segment ausgewählt werden. Die Auswirkung einer Schwellwertänderung wird daher sofort sichtbar. Damit hat er die Möglichkeit, das Prüf- und Bearbeitungssystem interaktiv und inkrementell aus den Komponenten aufzubauen.He can then check the value of a characteristic directly by using the corresponding dialog activated. From the generated relations, he can recognize which of the sub-segments of a Segment can be selected. The effect of a threshold change is therefore immediately visible. This gives him the option of interactively and incrementally checking the testing and processing system Build components.

Der grafische Editor erlaubt das Ausblenden von Komponenten und unterstützt die Erstellung mehrerer Ansichten von einem produktspezifischen Prüf- und Bearbeitungssystem.The graphic editor allows components to be hidden and supports the creation multiple views of a product-specific testing and processing system.

Damit kann sich der Anwender besser auf die eigentlich wesentlichen Strukturen des Prüfsystemes konzentrieren.This enables the user to better understand the essential structures of the test system focus.

Der Plan für das korrekt funktionierende Prüfsystem kann zunächst in der Datenbank des Systems abgelegt werden und später bei Bedarf für die Prüfung oder Bearbeitung eines Produktes etwa in Abhängigkeit vom Typ des Produktes geladen und ausgeführt werden.The plan for the correctly functioning test system can first be found in the system database are stored and later, if necessary, for testing or processing a product, for example in Depending on the type of product loaded and executed.

Die Komponenten des Frameworks erlauben für viele Probleme eine rein grafisch interaktive Lösung. Das System unterstützt darüberhinaus die Erstellung produkt- oder firmenspezifischer Komponenten durch einen Wizzard, der Code Rahmen für neue Komponenten generiert. Die neuen Komponenten ermöglichen zusammen mit den Basiskomponenten für nachfolgende Probleme dann wieder eine rein grafische interaktive Erstellung oder Modifizierung der produktspezifischen Prüfsysteme. The components of the framework allow a purely graphically interactive solution for many problems. The system also supports the creation of product- or company-specific components through a wizzard that generates code frames for new components. The new components together with the basic components for subsequent problems then enable a clean one graphical interactive creation or modification of the product-specific test systems.

1.6.6 The overall system Overall system picture

(Vgl. Zeichnung 1.6.6)(See drawing 1.6.6)

Auf Wunsch werden die Ergebnisse der Prüfung in der Datenbank des Systems abgelegt.Upon request, the results of the test can be stored in the system database.

Auf diese Weise wird die grafische Darstellung der Fehlertrends ermöglicht.This enables the graphical representation of the error trends.

Damit ist etwa eine schnelle Reaktion auf eine Veränderung der Produktionsbedingungen möglich.This enables a quick reaction to a change in production conditions, for example.

Das System unterstützt die parallele Prüfung bzw. Bearbeitung mehrerer Produkte durch die Verwaltung eines Pools von mehreren entfernten Inspektionssystemen, mehreren Kameras und mehreren Roboter.The system supports parallel testing or processing of multiple products by the Management of a pool of multiple remote inspection systems, multiple cameras and several robots.

Das System ist ausfallsicher, da die Inspektions PCs mit zwei Steuer PCs zusammenarbeiten. Fällt ein Steuer PC aus, übernimmt der andere die Steuerung.The system is fail-safe because the inspection PCs work together with two control PCs. Falls one control PC off, the other takes over control.

Über geeignete Aktionen und Merkmale können die Bewegungen und Einstellungen der Kameras in Abhängigkeit von Inspektionsergebnissen gesteuert werden können.The movements and settings of the cameras can be adjusted using suitable actions and features Dependency on inspection results can be controlled.

Z. B. kann nach einer Erkennung eines bestimmten Fehlers die Kamera zu einer Nahaufnahme veranlasst werden.For example, after detecting a certain error, the camera can take a close-up be initiated.

Zur Erkennung der Fehler können z. B. mehrere Bilder mit unterschiedlicher Tiefenschärfe herangezogen werden.To detect the errors such. B. multiple images with different depth of field be used.

Claims

1. Process for image-controlled technical testing and / or technical processing of products or product parts

with first process components (M, feature components) for the direct determination of the features of the product to be checked or processed or parts thereof,
with second process components (S, segment components) for classifying the products to be checked or processed or parts thereof,
- With third process components (A, action components) for processing, (post) treating and / or handling the products or parts thereof and
- With fourth process components (R, relation components) for computer-aided, graphically interactive combination of at least two process components (M, S and / or A).

2. The method according to claim 1, characterized in that the Process components (M, S, A, R) a the structure of the product, the structure of the occurring errors, the product classes used for classification Characteristics and / or specifying the actions intended for processing form a semantic network, which in the problem area of the user relevant concepts, such as B. damage, surfaces, angles, components, products, Product groups, cameras, robots and their relationships.

3. The method according to claim 1 or 2, characterized in that the Feature components (M) process steps for controlling devices, for example sensors, for determining the characteristics of the to be checked or processing product or parts thereof, for example the control a frame grabber to determine a grayscale image, or process steps for calculating features from previously determined features, for example the calculation of the gradient of a pixel from the previous one determined gray value image, the calculation of the contrast of an image area, the Area of a defect area, the number of damage to a product, the Size of a noise level or the shape of a product.

4. The method according to any one of claims 1 to 3, characterized in that the segment components (S) process steps for a classification of the products to be checked or processed, or parts thereof, for example procedural steps for the classification of pixels, edges, angles, Shapes, colors, damage, smells, noises, components, products or Product groups.

5. The method according to claim 4, characterized in that the classification is based on the fact that a classifying segment component (S) selects a subset (T) from a definable set of segment components (S1, S2, S3,... Sn) to be classified establishes a direct relationship to these selected segment components (T1, T2,... Tn) by means of a relationship component (R), the quantity of the segment components (S1, S2, S3,... Sn) to be classified by the segment component (S) Segment component (SM) is represented, which is directly connected to the segment components to be classified (S1, S2, S3,... Sn) as well as to the classifying segment component (S) by means of relation components (R) (see Figure 2.5).

6. The method according to claim 5, characterized in that the selection by the classifying segment component (S) on a rating of Feature components (M) for the segment components to be classified (S1, S2, S3,. . . Sn) based.

7. The method according to claim 6, characterized in that the evaluation of the Feature components (M) using one- or multi-dimensional threshold value methods, by means of a neural network or a fuzzy classification.

8. The method according to any one of claims 1 to 7, characterized in that the action components (A) processing, processing, handling machines u. Like.

9. The method according to any one of claims 1 to 8, characterized in that the action components (A) are robots.

10. The method according to any one of claims 1 to 9, characterized in that the action components (A) process steps for controlling the processing, processing, handling machines and. Like. or robots include, for example, necessary process steps for polishing or painting damaged products, or process steps for controlling other action components (A1, A2, ... An) (see Figure 2.10).

11. The method according to any one of claims 1 to 10, characterized in that the relation components (R) those segment components (T1, T2,... Tn) specify which have been selected by a segment component (S).

12. The method according to any one of claims 1 to 11, characterized in that the relation components (R) the feature components (M) one Specify segment component (S).

13. The method according to any one of claims 1 to 12, characterized in that specify the relation components (R) feature components (M1, M2,... Mn), which a feature component (M) needs for its calculation.

14. The method according to any one of claims 1 to 13, characterized in that specify the relation components (R) feature components (M1, M2,... Mn), which a segment component (3) for the selection of to be classified Segment components (S1, S2, S3, ... Sn) used.

15. The method according to any one of claims 1 to 14, characterized in that specify the relationship components (R) segment components (3M) which the Quantity of the to be classified by the segment component (S) Segment components (S1, S2, S3,... Sn) represented.

16. The method according to any one of claims 1 to 15, characterized in that the relation components (R) those to be executed for the segment component (S) Specify action component (A).

17. The method according to any one of claims 1 to 16, characterized in that the relation components (R) to be controlled by an action component (A) Specify action components (A1, A2,... On).

18. The method according to any one of claims 1 to 17, characterized in that each process component (M, S, A, R) identified by a symbolic name and on a display device, e.g. B. a screen that can be graphically displayed for example as an icon.

19. The method according to any one of claims 1 to 18, characterized in that the process components (M, S, A, R) can be generated by drag and drop and can be combined with each other.

20. The method according to any one of claims 1 to 19, characterized in that the creation and / or adaptation of the testing and processing method using a Editors (E) graphically interactive.

21. The method according to any one of claims 1 to 20, characterized in that different views of the semantic network can be represented.

22. The method according to claim 21, characterized in that immaterial Views of the semantic network can be hidden.

23. The method according to any one of claims 1 to 22, characterized in that subject the semantic network to a consistency check before each execution becomes.

24. The method according to any one of claims 1 to 23, characterized in that State and parameter values of each process component (M, S, A, R) on the Screen can be displayed. For example, characteristic values, threshold values, Camera or robot parameters can be displayed in a dialog.

25. The method according to claim 24, characterized in that the Parameter values by means of an input device (E), for example an editor, can be specified.

26. The method according to any one of claims 1 to 25, characterized in that the process components (M, S, A, R) and their specific states and Parameters can be stored in a memory.

27. A method for the creation or modification of a testing and processing system according to one of claims 1 to 26, characterized by the following method steps:

- Supplementing the component system (M, S, A, R) with product-specific components,
- Modeling the product structure using segment and relation components (S, R),
- Modeling the error structure using segment and relation components (S, R),
Recording the features of the product or parts thereof by at least one feature component (M) (e.g. gray scale image),
Determining the errors using the segment components (S) and adapting the threshold values (P),
- Modeling the error features and the associated threshold values (P) using feature and relation components (M, R),
- calculating the characteristic values using characteristic components (M) and adapting the threshold values (P),
- Modeling the features of the product with feature and relation components (M, R),
- Modeling the error classes of the product with segment and relation components (S, M),
- Classification of the product using segment components (S) and adaptation of the threshold values (P),
- Modeling the processing actions with action and relation components (A, R) and
- Execution of the editing actions and adjustment of the action parameters.

28. Process in the course of testing and processing the product according to one of claims 1 to 27, characterized by the following process steps:

Commissioning the action components (A) to process the modeled error classes (S),
- commissioning the segment components (S) with the product classification,
- commissioning the feature components (M) with the calculation,
Recording the image to be checked by the frame grabber using feature component (M),
- Determining the errors using segment components (S),
- Calculating the characteristic values for the defects and the product using characteristic components (M)
- Classify the product using segment components (S) and
- Execution of the action components (A) for processing by robots.