EP4348581A1 - Verfahren und vorrichtung zum überwachen des zustandes eines bauteils - Google Patents

Verfahren und vorrichtung zum überwachen des zustandes eines bauteils

Info

Publication number
EP4348581A1
EP4348581A1 EP22762021.8A EP22762021A EP4348581A1 EP 4348581 A1 EP4348581 A1 EP 4348581A1 EP 22762021 A EP22762021 A EP 22762021A EP 4348581 A1 EP4348581 A1 EP 4348581A1
Authority
EP
European Patent Office
Prior art keywords
component
image
individual images
individual
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22762021.8A
Other languages
English (en)
French (fr)
Inventor
Leonid KOSTRYKIN
Claus Rohr
Karl ROHR
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Energy Global GmbH and Co KG
Original Assignee
Siemens Energy Global GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Energy Global GmbH and Co KG filed Critical Siemens Energy Global GmbH and Co KG
Publication of EP4348581A1 publication Critical patent/EP4348581A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Definitions

  • the present invention relates to a method and a device for monitoring the condition of a component.
  • the invention also relates to computer-implemented methods, a computer program product, a computer-readable data carrier and a data carrier signal.
  • Regular visual inspections are required to ensure the functionality and maintenance of machines, especially electrical generators. This also includes the inspection of components or surfaces that may be difficult to access. In particular, components that are cooled as part of their intended use and have cooling holes for this purpose must be checked regularly with regard to the functionality of the cooling holes.
  • the visual inspections described are usually carried out manually, but this is very time-consuming, expensive and a monotonous task for the person carrying out the inspection.
  • Efforts are therefore being made to carry out this process automatically and to regularly create videos using a dynamically moving small robot.
  • the field of view is usually relatively small.
  • a composite image of the entire area of the component to be inspected for example an entire rotor wedge to be inspected, can be generated from the created video and a panoramic view can be obtained in this way.
  • This can be achieved by methods for image merging, which comprise two steps, namely the image adjustment of the individual images in a first step and the image mixing or image fusion of individual images of the video into a single large-format composite image in a second step.
  • the challenge is to find optimal geometric transformations of the individual images into a global coordinate system.
  • the dependent claims contain further advantageous developments of the invention.
  • the method according to the invention for monitoring in particular for visually monitoring the condition, in particular the mechanical condition of a component, in particular the component of a machine, comprises the following steps: in a In the first step, a video, i.e. a sequence of individual images captured one after the other, is created in which an area to be monitored, for example a surface area, of the component is shown.
  • a defined number n of consecutively captured individual images of the video is combined to form an overall image that depicts a defined area, for example the surface of the component.
  • a single overall image assembled from the individual images is generated from a large number of individual images.
  • the overall image generated can preferably be evaluated with regard to defects or the condition of the component, ie it depicts them in a corresponding quality.
  • a graph is constructed that represents a specified function E(G,P), referred to in the context of the present invention as an energy function.
  • the energy function depends on the intensity data G and on the matrix P of the transformation parameters.
  • the energy function E(G,P) is minimized and the optimal matrix P is thus determined.
  • step (d) the individual images are aligned with the help of the determined matrix P in a global or also common coordinate system by means of Euclidean transformations or converted into such, in other words, a transformation of local coordinates of each individual frames into a global coordinate system.
  • u k :R 2 ⁇ R 2 be the coordinate transformation of a single image k.
  • the transformation of the frame k into a global coordinate system can be evaluated with regard to possible defects in the component. This can be done manually or using suitable image recognition software.
  • the method described has the advantage that it enables the generation of high-quality combined overall images, i.e.
  • panoramic views, of a component to be examined which makes reliable inspection of components that are particularly difficult to access or very time-consuming in the context of a manual inspection scanned areas of a component based on video recordings.
  • the conversion of individual images of a video into a panorama image or into a single overall image is not possible with the previously known methods in the quality that can be achieved with the present invention.
  • components can therefore be inspected quickly, inexpensively and reliably with regard to possible defects using, for example, automatically generated video scans.
  • the video is recorded by means of a device, for example a robot, which has a camera ra includes, performed. In this way, corresponding video material can be created automatically.
  • a number of corresponding devices can be used to simultaneously scan different areas of a component.
  • the camera is preferably moved along the component by means of the device mentioned, for example by means of the robot, during the recording of the video and individual images are recorded dynamically or individual images are recorded statically at different positions of the component. This is preferably done automatically. In addition or as an alternative to this, manual recording of the video is of course also possible.
  • the Euclidean transformation can include translation and/or rotation.
  • the energy function preferably comprises a data term D(G,P) which is dependent on the intensity data G comprising the image intensities and on the matrix P of the transformation parameters.
  • the data term quantifies the similarity of the intensities of consecutive frames depending on the transformation parameters. This enables the various individual images to be matched to one another with the aid of the intensities.
  • the energy function can include at least one regularization term that maps or characterizes at least one physical feature of the movement of the robot guiding the camera.
  • the regularization term can include a sum of a binary regularization term and/or a unary regularization term. The characteristic of the movement of a robot guiding the camera or of a corresponding device can be taken into account by means of the regularization term.
  • Each column p k of the matrix P is a vector that parameterizes the Euclidean transformation u(p k ).
  • D is a data term
  • S is a binary regularization term
  • P is a unary regularization term
  • ⁇ , ⁇ ⁇ 0 are regularization parameters.
  • the data term D quantifies the intensity similarities of consecutive frames by (2) with and (3) NCC(g,h) is the normalized cross-correlation of g and h.
  • the weighted average of g and h based on a Gaussian function can be used to focus on the local image information and to deal with inhomogeneous exposures.
  • the regularization terms S and P take into account physical features of the movement of the robot during image acquisition. For example, since the robot forms an inertial mass, its movement cannot change abruptly. Since the video is created with an essentially constant frame capture rate, corresponding transformations should not change abruptly either. For this reason will introduced a binary regularization term S that prefers smooth transitions between consecutive transformations. Since the robot motion is usually straight, the expression (4) can be used, where ⁇ k represents the vertical translation. Since the robot is typically in motion and very small translations are unlikely, a unary regularization term P of the form (5) be used.
  • the parameter ⁇ > 0 controls the limit for which translations are considered too small and therefore less preferred.
  • the minimization of the energy function according to formula (1) determines the global solution for the parameters using all frames of the video.
  • the global minimization of the energy function can be performed using a graph-based shortest path search method.
  • a local optimality condition for the data term D can be introduced (6) which gives a constrained minimization problem.
  • the solution can be found using a three-step scheme described below. Based on the finding that the calculation of image rotations and translations can be separated, the relative rotation between consecutive individual images is determined by calculating the logarithmic amplitude spectra in Fourier representation of all images. Such spectra are translation invariant.
  • the phase correlation of the logarithmic amplitude spectra in polar coordinates yields the rotation matrix R k ⁇ R 2 ⁇ 2 for each frame k ⁇ 2 in Reference to frame k-1.
  • This induces the rotation r k (x) R k x, where x ⁇ R 2 is a pixel of the frame k.
  • a graph-based formulation of the minimization of Equation 1 with constraint according to Equation 6 is used. All pairs of individual images (g k-1 , g k ⁇ r k ) for k ⁇ 2 are considered and the phase correlation matrix M k is calculated.
  • Each local maximum value of M k corresponds to a translation of the image g k ⁇ r k , which gives a locally maximum NCC term and thus satisfies Equation 6.
  • the translation vectors will now be considered tet, which correspond to the m k maximum values of each row of the matrix M k .
  • tet corresponds to the m k maximum values of each row of the matrix M k .
  • the shortest path can be calculated using Dijkstra's algorithm, which is globally optimal, and can be found according to equation 7. This finds the best of all feasible solutions.
  • the graph has Nodes and edges, where m is the image height in pixels and n is the number of frames.
  • the image width is equal to the number of columns of the matrix M k and therefore linearly influences the running time of the calculation of the nodes v k , but does not influence the structure of the graph.
  • the shortest path is calculated in time due to the structure of , which is linear with respect to the number of frames n. Since all three steps or three stages of the presented scheme described above are carried out linearly in terms of time, the entire running time is also linear in relation to the number of individual images. In particular, the method described avoids an accumulation of translation errors, which represents a fundamental problem in methods that match and combine individual images in pairs.
  • the image adjustment method described provides the global transformations for all frames of a video.
  • a non-linear image mixing method with prior radiometric correction of the individual images by local normalization of the image intensity distribution can be used to generate a combined overall image. Let it be in the RGB Color space (red, green, blue) the intensity values of the single image k. The RGB value of each pixel x ⁇ R 2 of the combined image can then be calculated as the weighted average of the transformed images, for which is in the domain of .
  • potentially defective cooling holes or other defects in the component can be detected in the example of cooling holes to be examined in a component of a generator. This can be done, for example, using supervised machine learning. For this purpose, the cooling holes can be detected and potential defects in the cooling holes or other defects can be identified.
  • a non-linear image mixing method can be used to combine the individual images and/or the individual individual images can be corrected radiometrically by local normalization of the image intensity distribution.
  • the device according to the invention for monitoring preferably for visually monitoring the condition, in particular the mechanical condition of a component, in particular a component of a machine, comprises a camera and an evaluation device.
  • the device is designed to carry out a previously described method according to the invention.
  • the device according to the invention has the features and advantages already mentioned above of the method according to the invention already described.
  • the component can be a component of an electrical machine, for example a component of a motor and/or a generator.
  • the component may include a number of cooling holes.
  • the component can be, for example, a rotor, in particular a rotor wedge, and/or a stator, in particular stator teeth.
  • the computer-implemented method comprises instructions which, when the program is executed by a computer, cause the computer to carry out steps (a) to (d) of a method according to the invention described above or a method according to the invention described above.
  • the computer program product includes instructions which, when the program is executed by a computer, cause the computer to carry out steps (a) to (d) of a method according to the invention described above or a method according to the invention described above.
  • a computer program product according to the invention is stored on the computer-readable data carrier according to the invention.
  • the data carrier signal according to the invention transmits a computer program product according to the invention.
  • the term "and/or" when used in a series of two or more items means that each of the listed items can be used alone, or it can be used in any combination of two or more of the listed items become. For example, if a composition is described that contains components A, B, and/or C, composition A alone; B alone; C alone; A and B in combination; A and C in combination; B and C in combination; or A, B, and C in combination.
  • 1 schematically shows an embodiment variant of a method according to the invention in the form of a flow chart.
  • FIG. 1 schematically shows an embodiment variant of a method according to the invention in the form of a flow chart.
  • a video is created in step 1 using a camera, in which an area to be monitored, for example a surface, of the component is shown.
  • a specified number n of successively captured individual images of the video is combined to form an overall image, which depicts a specified area, for example the surface of the component.
  • the overall picture is evaluated with regard to possible defects in the component.
  • the video is preferably created in step 1 using a robot that includes a camera.
  • step 2 ie the merging of the individual images to form an overall image, a subroutine consisting of four sub-steps is carried out.
  • the individual transformations are parameterized by means of a parameter vector p k per individual image, which defines the respective Euclidean transformations.
  • a matrix P is formed from the parameters p k of the transformation u(p k ), which matrix includes the individual transformation parameters in the order of the individual images, the individual images having a fixed order.
  • a graph is constructed which represents a specified energy function which is dependent on the intensity data G and the matrix P of the transformation parameters. This can be done using formulas (1) to (7) given above.
  • FIG. 2 shows a schematic of a device according to the invention for monitoring the condition of a component.
  • the device 5 comprises a camera 6 and an evaluation device 7.
  • the evaluation device 7 is designed to process videos captured by the camera 6 according to the method according to the invention, ie to record a specified number of captured individual images of the video to put together an overall picture.
  • the device according to the invention is designed overall to carry out a previously described method, for example a method described with reference to FIG.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Es wird ein Verfahren zum Überwachen des Zustandes eines Bauteils beschrieben, das folgende Schritte umfasst: Erstellen eines Videos, in welchem ein zu überwachender Bereich des Bauteils dargestellt ist, (1); Zusammenfügen einer festgelegten Anzahl n von erfassten Einzelbildern des Videos zu einem Gesamtbild, das einen festgelegten Bereich des Bauteils abbildet, (2); wobei das Zusammenfügen folgende Schritte umfasst: Parametrisieren der einzelnen Transformationen mittels jeweils eines Vektors pro Einzelbild, der die jeweilige euklidische Transformation definiert, und Bilden einer Matrix P, welche die einzelnen Transformationsparameter in der Reihenfolge der Einzelbilder umfasst, wobei die Einzelbilder eine festgelegte Reihenfolge aufweisen (21); Konstruktion eines Graphen, der eine festgelegte Energie-Funktion E(G,P) repräsentiert, die abhängig ist von den Intensitätsdaten G, welche die Intensitäten der einzelnen Bilder umfassen, und von der Matrix P der Transformationsparameter (22); Minimierung der festlegten Energie-Funktion mit Hilfe des konstruierten Graphen, d.h. simultane Anpassung einer festgelegten Anzahl n von Einzelbildern des Videos, zur Bestimmung der optimalen Matrix P der Transformationsparameter (23); Ausrichten der Einzelbilder in einem globalen Koordinatensystem mittels euklidischer Transformationen und der zuvor bestimmten optimalen Matrix P der Transformationsparameter (24).

Description

Beschreibung Verfahren und Vorrichtung zum Überwachen des Zustandes eines Bauteils Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Überwachen des Zustandes eines Bauteils. Die Erfindung betrifft darüber hinaus computerimplementierte Ver- fahren, ein Computerprogrammprodukt, einen computerlesbaren Datenträger und ein Datenträgersignal. Zum Sicherstellen der Funktionsfähigkeit und zur Wartung von Maschinen, insbesondere von elektrischen Generatoren, sind regelmäßige visuelle Inspektionen erforderlich. Dies umfasst auch die Inspektion von unter Umständen schwer zugänglichen Bauteilen oder Oberflächen. Insbesondere Bauteile, die im Rahmen ihrer bestimmungsgemäßen Nutzung gekühlt werden und hierzu Kühllöcher aufweisen, müssen regelmäßig im Hinblick auf die Funktionsfähigkeit der Kühllöcher überprüft werden. Die beschriebenen visuellen Inspektionen werden üblicherweise manuell durchgeführt, was jedoch sehr zeitaufwendig, kost- spielig und für die durchführende Person eine eintönige Tä- tigkeit ist. Es wird daher angestrebt, diesen Prozess automatisiert durch- zuführen und hierzu regelmäßig Videos mittels eines sich dy- namisch bewegenden kleinen Roboters zu erstellen. Allerdings ist das Sichtfeld hierbei in der Regel relativ klein. Im Fal- le eines Rotors kann nur ein kleiner Bereich des Bauteils in einem Bild erfasst werden. Dies erschwert die Auswertung der Videoaufnahmen. Zur Beschleunigung und Vereinfachung der In- spektion kann ein zusammengefügtes Bild des gesamten zu in- spizierenden Bereichs des Bauteils, beispielsweise eines ge- samten zu untersuchenden Rotorkeils, aus dem erstellten Video generiert werden und auf diese Weise eine Panoramaansicht er- langt werden. Dies kann durch Verfahren zur Bildzusammenfü- gung erreicht werden, welche zwei Schritte umfassen, nämlich die Bildanpassung der Einzelbilder in einem ersten Schritt und die Bildmischung bzw. Bildfusion von Einzelbildern des Videos in ein einzelnes großformatiges zusammengefügtes Bild in einem zweiten Schritt. Im Zusammenhang mit der Bildanpassung besteht die Herausfor- derung darin, optimale geometrische Transformationen der in- dividuellen Einzelbilder in ein globales Koordinatensystem zu finden. Insbesondere in Anwendungen, in denen das Bauteil keine spezifische Struktur aufweist und starke Bildartefakte, einschließlich Spiegelungen, und eine inhomogene Beleuchtung vorliegen, stellt dies eine große Herausforderung dar. Insbe- sondere Spiegelreflexe und optische Artefakte führen zu feh- lerhaften Intensitäts- und Bewegungsinformationen, was die Anpassung von repräsentativen Einzelbildern und deren Auswer- tung erschwert. Vor diesem Hintergrund ist es Aufgabe der vorliegenden Erfin- dung, ein vorteilhaftes Verfahren zum Überwachen, insbesonde- re zum visuellen Überwachen, des Zustandes eines Bauteils zur Verfügung zu stellen. Weitere Aufgaben bestehen darin, eine vorteilhafte Vorrichtung zum Überwachen des Zustandes eines Bauteils, ein computerimplementiertes Verfahren, ein Compu- terprogrammprodukt, einen computerlesbaren Datenträger und ein Datenträgersignal zur Verfügung zu stellen. Diese Aufga- ben werden durch ein Verfahren zum Überwachen des Zustandes eines Bauteils gemäß Patentanspruch 1, eine Vorrichtung zum Überwachen des Zustandes eines Bauteils gemäß Patentanspruch 12, ein computerimplementiertes Verfahren gemäß Patentan- spruch 15, ein Computerprogrammprodukt gemäß Patentanspruch 16, einen computerlesbaren Datenträger gemäß Patentanspruch 17 und ein Datenträgersignal gemäß Patentanspruch 18 gelöst. Die abhängigen Ansprüche enthalten weitere vorteilhafte Aus- gestaltungen der Erfindung. Das erfindungsgemäße Verfahren zum Überwachen, insbesondere zum visuellen Überwachen des Zustandes, insbesondere des me- chanischen Zustandes eines Bauteils, insbesondere des Bau- teils einer Maschine, umfasst folgende Schritte: In einem ersten Schritt wird ein Video, also eine Sequenz von nachei- nander erfassten Einzelbildern, erstellt, in denen ein zu überwachender Bereich, beispielsweise ein Oberflächenbereich, des Bauteils dargestellt ist. In einem zweiten Schritt wird eine festgelegte Anzahl n von nacheinander erfassten Einzel- bildern des Videos zu einem Gesamtbild zusammengefügt, das einen festgelegten Bereich, beispielsweise der Oberfläche des Bauteils abbildet. Es wird also, mit anderen Worten, aus ei- ner Vielzahl von Einzelbildern ein einzelnes, aus den Einzel- bildern zusammengefügtes Gesamtbild generiert. Das generierte Gesamtbild ist vorzugsweise in Bezug auf Defekte bzw. auf den Zustand des Bauteils auswertbar, bildet diese also in einer entsprechenden Qualität ab. Das Zusammenfügen der Einzelbilder umfasst folgende Schritte: In Schritt (a) werden die einzelnen Koordinatentransformatio- nen uk:ℝ2→ ℝ2 eines Einzelbildes k in das Koordinatensystem des Einzelbildes k-1 mittels jeweils eines Vektors pk pro Einzelbild parametrisiert, d.h. uk=u(pk), wobei der Vektor pk die jeweilige euklidische Transformation u(pk) (auch als starre Transformationen bezeichnet) definiert und u1 die Identitätstransformation ist. Weiterhin wird eine Matrix P gebildet, welche die einzelnen Transformationsparameter um- fasst, vorzugsweise in der festgelegten Reihenfolge der Ein- zelbilder, zum Beispiel in der Form P=[ p1 ... pn]. In Schritt (b) wird ein Graph konstruiert, der eine festge- legte Funktion E(G,P), die im Zusammenhang mit der vorliegen- den Erfindung als Energie-Funktion bezeichnet wird, repräsen- tiert. Die Energie-Funktion ist abhängig von den Intensitäts- daten G und von der Matrix P der Transformationsparameter. Die Intensitätsdaten G umfassen die Bildintensitäten der Ein- zelbilder, vorzugsweise in der festgelegten Reihenfolge der Einzelbilder. Beispielsweise sei gk:ℝ2→ ℝ die Funktion der Bildintensitäten des Einzelbildes k. Für ein Video von n Ein- zelbildern repräsentiert dann G=[ g1 ... gn] die Intensitäts- daten des gesamten Videos und P=[ p1 ... pn]alle Transformati- onsparameter. In Schritt (c) wird die Energie-Funktion E(G,P) minimiert und damit die optimale Matrix P ermittelt. Dabei wird eine fest- gelegte Anzahl n von Einzelbildern des Videos simultan ausge- wertet. In Schritt (d) werden die Einzelbilder mit Hilfe der ermit- telten Matrix P in einem globalen oder auch gemeinsamen Koor- dinatensystem mittels euklidischer Transformationen ausge- richtet oder in ein solches überführt, mit anderen Worten, erfolgt eine Transformation von lokalen Koordinaten der je- weiligen Einzelbilder in ein globales Koordinatensystem. Bei- spielsweise sei uk:ℝ2 → ℝ2 die Koordinatentransformation eines Einzelbildes k. Dann ist die Transformation des Einzelbildes k in ein globales Koordinatensystem. In einem optionalen dritten Schritt kann das generierte zu- sammengefügte Gesamtbild in Bezug auf mögliche Defekte des Bauteils ausgewertet werden. Dies kann manuell oder mittels geeigneter Bilderkennungssoftware erfolgen. Das beschriebene Verfahren hat den Vorteil, dass es das Gene- rieren von qualitativ sehr hochwertigen zusammengefügten Ge- samtbildern, also Panoramaansichten, eines zu untersuchenden Bauteils ermöglicht, welches eine zuverlässige Inspektion von insbesondere schwer zugänglichen oder im Rahmen einer manuel- len Inspektion sehr zeitaufwendig zu scannenden Bereichen ei- nes Bauteils anhand von Videoaufnahmen ermöglicht. Das Über- führen von Einzelbildern eines Videos in ein Panoramabild bzw. in ein einzelnes Gesamtbild ist mit den bisher bekannten Methoden in der mit der vorliegenden Erfindung erreichbaren Qualität nicht möglich. Mittels der vorliegenden Erfindung können also Bauteile mittels beispielsweise automatisiert er- stellter Videoscans schnell, kostengünstig und zuverlässig im Hinblick auf mögliche Defekte inspiziert werden. Vorteilhafterweise wird das Erfassen des Videos mittels einer Vorrichtung, beispielsweise eines Roboters, welche eine Kame- ra umfasst, durchgeführt. Auf diese Weise lässt sich entspre- chendes Videomaterial automatisiert erstellen. Es kann bei- spielsweise eine Mehrzahl an entsprechenden Vorrichtungen zum gleichzeitigen Scannen verschiedener Bereiche eines Bauteils zum Einsatz kommen. Auf diese Weise kann eine Maschine oder ein spezifisches Bauteil in sehr kurzer Zeit inspiziert wer- den. Vorzugsweise wird die Kamera mittels der genannten Vor- richtung, beispielsweise mittels des Roboters, während des Erfassens des Videos entlang des Bauteils bewegt und Einzel- bilder werden dabei dynamisch erfasst oder Einzelbilder wer- den an verschiedenen Positionen des Bauteils statisch er- fasst. Dies erfolgt vorzugsweise automatisiert. Zusätzlich oder alternativ dazu ist selberverständlich auch ein manuel- les Erfassen des Videos möglich. Die euklidische Transformation kann Translation und/oder Ro- tation umfassen. Die Energie-Funktion umfasst vorzugsweise einen Datenterm D(G,P), der abhängig ist von den Intensitätsdaten G, welche die Bildintensitäten umfassen, und von der Matrix P der Transformationsparameter. Der Datenterm quantifiziert die Ähnlichkeit der Intensitäten von aufeinanderfolgenden Einzel- bildern in Abhängigkeit der Transformationsparameter. Hier- durch wird die Anpassung der verschiedenen Einzelbilder anei- nander mit Hilfe der Intensitäten ermöglicht. Die Energie-Funktion kann mindestens einen Regularisierungs- term umfassen, der mindestens ein physikalisches Merkmal der Bewegung des die Kamera führenden Roboters abbildet oder cha- rakterisiert. Der Regularisierungsterm kann eine Summe aus einem binären Regularisierungsterm und/oder einem unären Re- gularisierungsterm umfassen. Mittels des Regularisierungs- terms kann die Charakteristik der Bewegung eines die Kamera führenden Roboters bzw. einer entsprechenden Vorrichtung be- rücksichtigt werden. In einer bevorzugten Variante ist die Energie-Funktion E(G,P) gemäß der folgenden Formel festgelegt: (1) Für ein Video aus n Einzelbildern repräsentiert G=[ g1 ... gn] die Intensitäten der Bilddaten des gesamten Videos und P = [ p1 ... pn ]alle Transformationsparameter. Jede Spalte pk der Matrix P ist dabei ein Vektor, der die euklidische Transfor- mation u(pk) parametrisiert. D ist ein Datenterm, S ist ein binärer Regularisierungsterm, P ist unärer Regularisierungs- term und λ,µ ≥ 0 sind Regularisierungsparameter. Der Datenterm D quantifiziert die Intensitätsähnlichkeiten von aufeinanderfolgenden Einzelbildern durch (2) mit und (3) NCC(g,h) ist die normalisierte Kreuzkorrelation von g und h. Zur Fokussierung auf die lokalen Bildinformationen und zum Umgang mit inhomogenen Belichtungen kann zum Beispiel das ge- wichtete Mittel von g und h basierend auf einer Gaußfunktion verwendet werden. Die Regularisierungsterme S und P berücksichtigen physikali- sche Merkmale der Bewegung des Roboters während der Bilder- fassung. Da beispielsweise der Roboter eine träge Masse bil- det, kann sich seine Bewegung nicht abrupt verändern. Da das Video mit einer im Wesentlichen kontanten Einzelbilderfas- sungsrate erstellt wird, sollten sich also auch entsprechende Transformationen nicht abrupt ändern. Aus diesem Grund wird ein binärer Regularisierungsterm S eingeführt, der weiche Übergänge zwischen aufeinanderfolgenden Transformationen be- vorzugt. Da die Roboterbewegung üblicherweise geradeaus ver- läuft, kann der Ausdruck (4) verwendet werden, wobei νk die vertikale Translation dar- stellt. Da sich der Roboter typischerweise in Bewegung befindet und sehr kleine Translationen unwahrscheinlich sind, kann ein unärer Regularisierungsterm P in der Form (5) verwendet werden. Der Parameter κ > 0 regelt die Grenze, für welche Translationen als zu klein betrachtet werden und daher weniger bevorzugt werden. Die Minimierung der Energie- Funktion gemäß Formel (1) bestimmt die globale Lösung für die Parameter unter Verwendung aller Einzelbilder des Videos. Das globale Minimieren der Energie-Funktion kann mittels ei- nes graph-basierten Verfahrens für die Suche nach dem kürzes- ten Pfad durchgeführt werden. Insbesondere kann eine lokale Optimalitätsbedingung für den Datenterm D eingeführt werden (6) welche ein Minimierungsproblem mit Nebenbedingung ergibt. Die Lösung kann mittels eines im Folgenden beschriebenen dreistu- figen Schemas ermittelt werden. Ausgehend von der Feststellung, dass die Berechnung von Bild- Rotationen und -Translationen separierbar ist, wird die rela- tive Rotation zwischen aufeinanderfolgenden Einzelbildern durch Berechnung der logarithmierten Amplitudenspektren in Fourier-Darstellung aller Bilder bestimmt. Solche Spektren sind translationsinvariant. Daher ergibt die Phasenkorrelati- on der logarithmierten Amplitudenspektren in Polarkoordinaten die Rotationsmatrix Rk ∈ ℝ2×2 für jedes Einzelbild k ≥ 2 in Bezug auf das Einzelbild k-1. Dies induziert die Rotation rk(x)= Rkx, wobei x∈ ℝ2 ein Bildpunkt des Einzelbildes k ist. In der zweiten Stufe wird eine graph-basierte Formulierung der Minimierung von Gleichung 1 mit Nebenbedingung gemäß Gleichung 6 verwendet. Es werden alle Paare von Einzelbildern (gk-1,gk∘rk) für k ≥ 2 betrachtet und die Phasenkorrelations- matrix Mk berechnet. Jeder lokale Maximalwert von Mk ent- spricht einer Translation des Bildes gk∘rk, was einen lokal- maximalen NCC-Term ergibt und damit Gleichung 6 erfüllt. Es werden nun die Translationsvektoren betrach- tet, welche den mk Maximalwerten jeder Zeile der Matrix Mk entsprechen. Diese werden den Knoten des Graphen zugeordnet. Die Kanten vi-1×v i werden hinzugefügt und jede Kante wird mittels der Summe aus f(gk-1,gk∘uk) und den Re- gularisierungstermen S und P unter Verwendung der Transforma- tionen, welche durch Rotationen Rk und Translationen und hervorgerufen werden, gewichtet. Anschließend wird der Knoten v0 = {0} zu dem Graphen hinzugefügt. Unter Verwendung der Rotationsmatrizen R2...Rn, die im ersten Schritt bzw. der ersten Stufe bestimmt wurden, erzeugt jeder Pfad π=( v1,...,vn) die Transformationsparameter (7), wobei PT die transponierte Matrix zu P kennzeichnet, 0 der Nullvektor ist und I die Einheitsmatrix, so dass Gleichung 1 gleich ist der Summe der Gewichte entlang des Pfades π. Daher ist das Bestimmen des kürzesten Pfades äquivalent zu der globalen Minimierung von Gleichung 1 unter Voraussetzung der Rotationen R2 ...Rn und der lokalen Optimalitätsbedingung gemäß Gleichung 6. Der kürzeste Pfad kann unter Verwendung des Dijkstra- Algorithmus berechnet werden, welcher global optimal ist, und kann gemäß Gleichung 7 ermittelt werden. Damit wird die beste aller zulässigen Lösungen gefunden. Der Graph besitzt Knoten und Kanten, wobei m die Bildhöhe in Pixeln und n die Anzahl der Einzelbilder ist. Die Bildbreite ist gleich der Anzahl an Spalten der Matrix Mk und beein- flusst daher linear die Laufzeit der Berechnung der Knoten vk, beeinflusst aber nicht die Struktur des Graphen. Die Be- rechnung des kürzesten Pfades erfolgt in Zeit auf- grund der Struktur von , welche linear in Bezug auf die An- zahl der Einzelbilder n ist. Da alle zuvor beschriebenen drei Schritte bzw. drei Stufen des vorgestellten Schemas zeitlich linear durchgeführt werden, ist die gesamte Laufzeit eben- falls linear in Bezug auf die Anzahl der Einzelbilder. Das beschriebene Verfahren vermeidet insbesondere eine Akku- mulation von Translationsfehlern, was ein grundsätzliches Problem bei Verfahren darstellt, die Einzelbilder paarweise anpassen und zusammenfügen. Die beschriebene Bildanpassungsmethode liefert die globalen Transformationen für alle Einzelbilder eines Videos. Zum Generieren eines zusammengefügten Gesamtbildes kann eine nicht-lineare Bildmischungsmethode mit vorheriger radiometri- scher Korrektur der Einzelbilder durch lokales Normalisieren der Bildintensitätsverteilung erfolgen. Es seien im RGB- Farbraum (Rot, Grün, Blau) die Intensitätswerte des Einzel- bildes k. Der RGB-Wert jedes Pixels x∈ ℝ2 des zusammengefüg- ten Gesamtbildes kann dann als gewichtetes Mittel der trans- formierten Bilder berechnet werden, für welche im Definitionsbereich von liegt. Unter Verwendung des so generierten zusammengefügten Gesamt- bildes können in dem Beispiel von zu untersuchenden Kühllö- chern eines Bauteils eines Generators potenziell defekte Kühllöcher oder andere Defekte des Bauteils detektiert wer- den. Dies kann zum Beispiel mittels überwachtem maschinellen Lernen erfolgen. Hierzu können die Kühllöcher erkannt und po- tenzielle Defekte der Kühllöcher oder andere Defekte identi- fiziert werden. Zum Zusammenfügen der Einzelbilder kann ein nicht-lineares Bildmischungsverfahren verwendet werden und/oder eine radio- metrische Korrektur der individuellen Einzelbilder durch lo- kales Normalisieren der Bildintensitätsverteilung durchge- führt werden. Die erfindungsgemäße Vorrichtung zum Überwachen, vorzugsweise zum visuellen Überwachen des Zustandes, insbesondere des me- chanischen Zustandes eines Bauteils, insbesondere eines Bau- teils einer Maschine, umfasst eine Kamera und eine Auswer- tungseinrichtung. Die Vorrichtung ist dazu ausgelegt, ein zu- vor beschriebenes erfindungsgemäßes Verfahren auszuführen. Die erfindungsgemäße Vorrichtung hat die oben bereits genann- ten Merkmale und Vorteile des bereits beschriebenen erfin- dungsgemäßen Verfahrens. Bei dem Bauteil kann es sich um ein Bauteil einer elektrischen Maschine, beispielsweise ein Bau- teil eines Motors und/oder eines Generators handeln. Das Bau- teil kann eine Anzahl an Kühllöchern umfassen. Es kann sich bei dem Bauteil zum Beispiel um einen Rotor, insbesondere ei- nen Rotorkeil, und/oder einen Stator, insbesondere Statorzäh- ne, handeln. Das computerimplementierte Verfahren umfasst Befehle, die bei der Ausführung des Programms durch einen Computer diesen ver- anlassen, die Schritte (a) bis (d) eines oben beschriebenen erfindungsgemäßen Verfahrens oder ein oben beschriebenes er- findungsgemäßes Verfahren auszuführen. Das Computerprogramm- Produkt umfasst Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte (a) bis (d) eines oben beschriebenen erfindungsgemäßen Verfahrens oder ein oben beschriebenes erfindungsgemäßes Verfahren aus- zuführen. Auf dem erfindungsgemäßen computerlesbaren Daten- träger ist ein erfindungsgemäßes Computerprogramm-Produkt ge- speichert. Das erfindungsgemäße Datenträgersignal überträgt ein erfindungsgemäßes Computerprogramm-Produkt. Das erfin- dungsgemäße computerimplementierte Verfahren, das erfindungs- gemäße Computerprogramm-Produkt, der erfindungsgemäße compu- terlesbare Datenträger und das erfindungsgemäße Datenträger- Signal haben die im Zusammenhang mit dem erfindungsgemäßen Verfahren bereits genannten Merkmale und Vorteile. Die Erfindung wird im Folgenden anhand von Ausführungsbei- spielen unter Bezugnahme auf die beigefügten Figuren näher erläutert. Obwohl die Erfindung im Detail durch die bevorzug- ten Ausführungsbeispiele näher illustriert und beschrieben wird, so ist die Erfindung nicht durch die offenbarten Bei- spiele eingeschränkt und andere Variationen können vom Fach- mann hieraus abgeleitet werden, ohne den Schutzumfang der Er- findung zu verlassen. Die Figuren sind nicht notwendigerweise detailgetreu und maß- stabsgetreu und können vergrößert oder verkleinert darge- stellt sein, um einen besseren Überblick zu bieten. Daher sind hier offenbarte funktionale Einzelheiten nicht ein- schränkend zu verstehen, sondern lediglich als anschauliche Grundlage, die dem Fachmann auf diesem Gebiet der Technik An- leitung bietet, um die vorliegende Erfindung auf vielfältige Weise einzusetzen. Der hier verwendete Ausdruck „und/oder“, wenn er in einer Reihe von zwei oder mehreren Elementen benutzt wird, bedeu- tet, dass jedes der aufgeführten Elemente alleine verwendet werden kann, oder es kann jede Kombination von zwei oder mehr der aufgeführten Elemente verwendet werden. Wird beispiels- weise eine Zusammensetzung beschrieben, die die Komponenten A, B und/oder C, enthält, kann die Zusammensetzung A alleine; B alleine; C alleine; A und B in Kombination; A und C in Kom- bination; B und C in Kombination; oder A, B, und C in Kombi- nation enthalten. Fig. 1 zeigt schematisch eine Ausführungsvariante eines erfindungsgemäßen Verfahrens in Form eines Flussdi- agramms. Fig. 2 zeigt schematisch eine erfindungsgemäße Vorrichtung zum Überwachen des Zustandes eines Bauteils. Die Figur 1 zeigt schematisch eine Ausführungsvariante eines erfindungsgemäßen Verfahrens in Form eines Flussdiagramms. Im Rahmen des Verfahrens zum visuellen Überwachen des mechani- schen Zustandes eines Bauteils einer Maschine wird in einem Schritt 1 mittels einer Kamera ein Video erstellt, in welchem ein zu überwachender Bereich, zum Beispiel eine Oberfläche, des Bauteils dargestellt ist. In einem zweiten Schritt 2 wird eine festgelegte Anzahl n an nacheinander erfassten Einzel- bildern des Videos zu einem Gesamtbild zusammengefügt, welche einen festgelegten Bereich, beispielsweise die Oberfläche des Bauteils abbildet. In einem optionalen dritten Schritt 3 wird das Gesamtbild in Bezug auf mögliche Defekte des Bauteils ausgewertet. Das Erstellen des Videos in Schritt 1 erfolgt vorzugsweise mittels eines Roboters, welcher eine Kamera umfasst. Dabei wird die Kamera vorzugsweise entlang des Bauteils bewegt. Im Rahmen des Schritts 2, also des Zusammenfügens der Einzel- bilder zu einem Gesamtbild, wird eine Subroutine aus vier Teilschritten durchgeführt. In einem ersten Schritt 21 werden die einzelnen Transformationen mittels jeweils eines Parame- tervektors pk pro Einzelbild, der die jeweiligen euklidischen Transformationen definiert, parametrisiert. Aus den Parame- tern pk der Transformation u(pk) wird eine Matrix P gebildet, welche die einzelnen Transformationsparameter in der Reihen- folge der Einzelbilder umfasst, wobei die Einzelbilder eine festgelegte Reihenfolge aufweisen. In einem nächsten Schritt 22 wird ein Graph konstruiert, der eine festgelegte Energie- Funktion repräsentiert, welche abhängig ist von den Intensi- tätsdaten G und der Matrix P der Transformationsparameter. Dies kann mittels der oben angegebenen Formeln (1) bis (7) erfolgen. In einem nächsten Schritt 23 wird die durch den Graphen repräsentierte Energie-Funktion bezüglich der Matrix P minimiert, d.h. eine festgelegte Anzahl von Einzelbildern des Videos wird simultan angepasst. Dadurch wird die optimale Matrix P der Transformationsparameter bestimmt. In Schritt 24 werden die Einzelbilder in einem globalen (d.h. gemeinsamen) Koordinatensystem mittels euklidischer Transformationen und der zuvor bestimmten optimalen Transformationsparameter aus- gerichtet bzw. in ein solches überführt. Die Figur 2 zeigt schematisch eine erfindungsgemäße Vorrich- tung zum Überwachen des Zustandes eines Bauteils. Die Vor- richtung 5 umfasst eine Kamera 6 und eine Auswertungseinrich- tung 7. Die Auswertungseinrichtung 7 ist dazu ausgelegt, mit- tels der Kamera 6 erfasste Videos gemäß dem erfindungsgemäßen Verfahren zu verarbeiten, also eine festgelegte Anzahl an er- fassten Einzelbildern des Videos zu einem Gesamtbild zusam- menzufügen. Die erfindungsgemäße Vorrichtung ist insgesamt dazu ausgelegt, ein zuvor beschriebenes Verfahren, beispiels- weise ein anhand der Figur 1 beschriebenes Verfahren auszu- führen.

Claims

Patentansprüche 1. Verfahren zum Überwachen des Zustandes eines Bauteils, welches folgende Schritte umfasst: - Erstellen eines Videos, in welchem ein zu überwachender Bereich des Bauteils dargestellt ist, (1); - Zusammenfügen einer festgelegten Anzahl n an erfassten Einzelbildern des Videos zu einem Gesamtbild, das einen festgelegten Bereich des Bauteils abbildet, (2); wobei das Zusammenfügen folgende Schritte umfasst: (a) Parametrisieren der einzelnen Transformationen mit- tels jeweils eines Vektors pro Einzelbild, der die jeweilige euklidische Transformation definiert, und Bilden einer Matrix P, welche die einzelnen Trans- formationsparameter in der Reihenfolge der Einzel- bilder umfasst, wobei die Einzelbilder eine festge- legte Reihenfolge aufweisen (21), (b) Konstruktion eines Graphen zur Repräsentation einer festgelegten Energie-Funktion E(G,P), die abhängig ist von den Intensitätsdaten G, welche die Intensi- täten der einzelnen Bilder umfassen, und von der Matrix P der Transformationsparameter (22), (c) Minimieren der Energie-Funktion E(G,P), d.h. Be- stimmung der optimalen Matrix P, durch simultane Auswertung einer festgelegten Anzahl n von Einzel- bildern des Videos (23), (d) Ausrichten der Einzelbilder in einem globalen Koor- dinatensystem mittels euklidischer Transformationen und der zuvor bestimmten optimalen Transformations- parameter (24). 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Erstellen des Videos mittels einer Vorrichtung, welche eine Kamera (6) umfasst, durchgeführt wird. 3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Kamera (6) mittels der Vorrichtung während des Erstellens entlang des Bauteils bewegt wird und Einzelbilder dabei dyna- misch erfasst werden oder Einzelbilder an verschiedenen Posi- tionen des Bauteils statisch erfasst werden. 4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die euklidische Transformation Translation und/oder Rotation umfasst. 5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Energie-Funktion E(G,P) einen Datenterm D(G,P) umfasst, welcher die Ähnlichkeit der Intensitäten von aufeinanderfol- genden Einzelbildern quantifiziert und welcher abhängig ist von dem Vektor G der Bildintensitäten und von der Matrix P der Transformationsparameter. 6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Energie-Funktion E(G,P) mindestens einen Regularisie- rungsterm umfasst, der mindestens ein physikalisches Merkmal der Bewegung des Roboters während der Bilderfassung berück- sichtigt. 7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass der Regularisierungsterm eine Summe aus einem binären Regula- risierungsterm und/oder einem unären Regularisierungsterm um- fasst. 8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Energie-Funktion E(G,P) festgelegt ist gemäß wobei gk die Funktion der Bildintensitäten des Einzelbildes k ist, G=[ g1 ... gn] die Intensitäten der Bilddaten des gesam- ten Videos und P=[ p1 ... pn]alle Transformationsparameter be- zeichnen, wobei pk ein Vektor ist, der die euklidische Trans- formation u (pk) parametrisiert, D ein Datenterm ist, S ein binärer Regularisierungsterm ist, P ein unärer Regularisie- rungsterm ist und λ,µ ≥ 0 Regularisierungsparameter sind. 9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass ein Datenterm D gemäß der Formel mit uk = u(pk) und f(g,h)=max { 0;1- NCC(g,ℎ)}, wobei NCC(g,h) die normalisierte Kreuzkorrelation von g und h ist, gebildet wird und/oder ein Regularisierungsterm S gemäß der Formel verwendet wird, wobei νk die vertikale Translation darstellt, und/oder ein Regularisierungsterm P gemäß der Formel mit κ>0 verwendet wird. 10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass das Minimieren der Energie-Funktion E(G,P) mittels eines graph-basierten Verfahrens für die Suche nach dem kürzesten Pfad durchgeführt wird. 11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass zum Zusammenfügen der Einzelbilder eine nicht-lineare Bildmi- schungsmethode verwendet wird und/oder eine radiometrische Korrektur der individuellen Einzelbilder durch lokales Norma- lisieren der Bildintensitätsverteilung durchgeführt wird. 12. Vorrichtung zum Überwachen des Zustandes eines Bauteils (5), welche eine Kamera (6) und eine Auswertungseinrichtung (7) umfasst, und dazu ausgelegt ist, ein Verfahren nach einem der Ansprüche 1 bis 11 auszuführen. 13. Verfahren nach einem der Ansprüche 1 bis 11 oder Vorrich- tung nach Anspruch 12, dadurch gekennzeichnet, dass es sich bei dem Bauteil um ein Bauteil einer elektrischen Ma- schine handelt. 14. Verfahren oder Vorrichtung nach Anspruch 13, dadurch gekennzeichnet, dass es sich bei dem Bauteil um ein Bauteil eines Motors und/oder eines Generators handelt. 15. Computerimplementiertes Verfahren, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte (a) bis (d) eines Verfahrens gemäß einem der Ansprüche 1 bis 11 oder ein Verfahren nach einem der Ansprüche 1 bis 11 auszuführen. 16. Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veran- lassen, die Schritte (a) bis (d) eines Verfahrens gemäß einem der Ansprüche 1 bis 11 oder ein Verfahren nach einem der An- sprüche 1 bis 11 auszuführen. 17. Computerlesbarer Datenträger, auf dem das Computerpro- grammprodukt nach Anspruch 16 gespeichert ist. 18. Datenträgersignal, welches das Computerprogrammprodukt nach Anspruch 16 überträgt.
EP22762021.8A 2021-08-25 2022-08-05 Verfahren und vorrichtung zum überwachen des zustandes eines bauteils Pending EP4348581A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021209325.6A DE102021209325A1 (de) 2021-08-25 2021-08-25 Verfahren und Vorrichtung zum Überwachen des Zustandes eines Bauteils
PCT/EP2022/072113 WO2023025570A1 (de) 2021-08-25 2022-08-05 Verfahren und vorrichtung zum überwachen des zustandes eines bauteils

Publications (1)

Publication Number Publication Date
EP4348581A1 true EP4348581A1 (de) 2024-04-10

Family

ID=83151638

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22762021.8A Pending EP4348581A1 (de) 2021-08-25 2022-08-05 Verfahren und vorrichtung zum überwachen des zustandes eines bauteils

Country Status (5)

Country Link
US (1) US12450758B2 (de)
EP (1) EP4348581A1 (de)
CN (1) CN117916770A (de)
DE (1) DE102021209325A1 (de)
WO (1) WO2023025570A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118570707B (zh) * 2024-08-01 2024-10-08 东方电子股份有限公司 基于图像处理的隔离开关刀闸运动状态分析方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530230A (zh) * 2016-11-09 2017-03-22 湖南文理学院 一种pcb光电图像获取与预处理的方法
CN108076338B (zh) * 2016-11-14 2022-04-08 北京三星通信技术研究有限公司 图像视觉处理方法、装置及设备

Also Published As

Publication number Publication date
DE102021209325A1 (de) 2023-03-02
WO2023025570A1 (de) 2023-03-02
US12450758B2 (en) 2025-10-21
CN117916770A (zh) 2024-04-19
US20240296573A1 (en) 2024-09-05

Similar Documents

Publication Publication Date Title
DE112016005905B4 (de) Verfahren und System zum Verschmelzen erfasster Messungen
DE69919464T2 (de) Elektronische Vorrichtung zur Bildausrichtung
DE102008034979B4 (de) Verfahren und Einrichtung zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern
DE102019127282A1 (de) System und Verfahren zum Analysieren einer dreidimensionalen Umgebung durch tiefes Lernen
DE102019100575A1 (de) Verfahren und system zum erzeugen eines bereichsbildes unter verwendung von daten mit geringer tiefe
DE102021201124A1 (de) Trainieren von bildklassifizierernetzen
WO2019166361A1 (de) Verfahren zum aufteilen eines oder mehrerer bilder einer probe in nach farbstoffen aufgeteilte bilddaten, computerprogrammprodukt, computerlesbares medium, auf dem das computerprogrammprodukt gespeichert ist, und system zum aufteilen eines oder mehrerer bilder einer probe in nach farbstoffen aufgeteilte bilddaten
DE102022214336A1 (de) Verfahren zur Erzeugung mindestens einer Darstellung aus der Vogelperspektive von mindestens einem Teil der Umgebung eines Systems
DE102021002363B3 (de) Gerät für eine lageunabhängige optische Oberflächeninspektion
EP4348581A1 (de) Verfahren und vorrichtung zum überwachen des zustandes eines bauteils
EP4540014A1 (de) SYSTEM UND VERFAHREN ZUR FEHLERKONTROLLE VON LASERSCHWEIßPROZESSEN
DE102018114231A1 (de) Verfahren und System zum Erfassen von Objekten unter Verwendung mindestens eines Bildes eines Bereichs von Interesse (ROI)
DE102022214330A1 (de) Verfahren zur Erzeugung mindestens einer Ground Truth aus der Vogelperspektive
EP4371084B1 (de) Verfahren zum bereitstellen von trainings-bilddaten zum trainieren einer funktion
DE112021003723T5 (de) Informationsverarbeitungsverfahren, korrekturverfahren und programm
DE102022208757A1 (de) Verfahren für eine Selbstkalibrierung wenigstens einer Kamera
DE3842636A1 (de) Verfahren zur ueberpruefung von bauteilen
DE102021130505B4 (de) Verfahren zur Bestimmung einer Beleuchtungsfarbe, Bildverarbeitungsvorrichtung und Aufnahmesystem
EP3518180B1 (de) Verfahren zur erstellung einer bildstapel-datenstruktur
DE102021100512A1 (de) Verfahren und system zum erkennen von in einem bild anhand einer punktwolke repräsentierten objekten
EP4033452B1 (de) Domänenunabhängiges training von bildklassifikatoren
DE102023213095A1 (de) Computerimplementiertes Verfahren und Vorrichtung zum Generieren von Trainingsdaten und zum Trainieren auf Basis der generierten Trainingsdaten
DE102023205832A1 (de) Computerimplementiertes Verfahren und Vorrichtung zum Generieren von Trainingsdaten und zum Trainieren auf Basis der generierten Trainingsdaten
DE102024201292A1 (de) Verfahren und Vorrichtung zum Trainieren eines maschinellen Lernmodells
DE102023206196A1 (de) Verfahren zum Detektieren eines Freiraums in einer Verkehrsszene

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240103

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)