DE102006041028B3

DE102006041028B3 - Testing part `s original image registering method for use during x-ray trans-illumination process, involves determining transfer parameters between original image and selected actual reference image and applying to original image

Info

Publication number: DE102006041028B3
Application number: DE102006041028A
Authority: DE
Inventors: Tobias Frommfeld; Frank Herold
Original assignee: Yxlon International X Ray GmbH
Current assignee: Yxlon International X Ray GmbH
Priority date: 2006-09-01
Filing date: 2006-09-01
Publication date: 2007-11-15
Anticipated expiration: 2026-09-02

Abstract

The method involves providing a set of actual reference images of a reference part in different positions in addition to a global reference image of the reference part. The image registration of an original image takes place on an actual reference image. The transfer parameters between the original image and a selected actual reference image are determined and applied to the original image to mark overlapping of the outlines of a testing part on the original image with the outlines of the reference part on the global reference image.

Description

Die Erfindung befasst sich mit einem Verfahren zur Bildregistrierung eines Originalbildes eines Prüfteils bei einem Röntgendurchleuchtungsverfahren auf ein Referenzbild eines fehlerfreien baugleichen Referenzteils.The This invention relates to a method of image registration an original image of a test piece in an X-ray fluoroscopy method to a reference image of a defect-free identical reference part.

Unter Bildregistrierung wird die räumliche Anpassung eines Bildes an ein zweites, dem System vorher bekanntes Bild bezeichnet. Hierbei wird versucht, Bereiche der beiden Bilder mit identischem Bildinhalt durch die Bildregistrierung in eine räumliche Überdeckung zu bringen, so dass im Idealfall die übereinander liegenden Bildpunkte in beiden Bildern denselben Punkt am aufgenommenen Objekt repräsentieren.Under Image registration becomes the spatial adaptation of an image to a second image previously known to the system. This attempts to identify areas of the two images with identical To bring image content through the image registration in a spatial coverage, so that ideally the one above the other lying pixels in both images the same point on the recorded Represent object.

Bei der Prüfung im „non-distructive testing"-Bereich (NDT-Bereich) werden bislang zwei unterschiedliche Verfahren zur Bildregistrierung verwendet. Zum einen ist es bekannt, die Positionsabweichungen mit Hilfe von neuronalen Netzen auszugleichen. Hierbei fällt jedoch ein erheblicher Zeitaufwand für die Einrichtung des neuronalen Netzes an. Anschließend werden für eine Feinkorrektur bekannte Punkte im vorkorrigierten Bild gesucht. Bei diesem Verfahren findet weder eine Erfolgsüberprüfung noch eine Zeitüberprüfung für die Durchführung des Verfahrens statt.at The examination in the "non-distructive testing "area (NDT area) So far, two different methods used for image registration. On the one hand it is known, the position deviations with the help of neural networks. However, this is a considerable Time required for the establishment of the neural network. Then be for one Fine correction Known points in the pre-corrected image searched. at There is neither a success check nor a time check for the execution of the procedure Procedure instead.

Darüber hinaus ist auch ein numerisches Optimierungsverfahren zur Bildregistrierung bekannt. Hierbei werden bestimmte, vom Benutzer vorgegebene Punkte des Referenzbildes im Originalbild gesucht. Dabei wird das Minimum des Abstandsmaßes vom Optimierungsverfahren iterativ in Parameterform der verwendeten Transformation gesucht. Das verwendete Abstandsmaß hat einen erheblichen Einfluss auf die Ausführungsgeschwindigkeit. Dieses Verfahren führt jedoch nur dann zu einem akzeptablen Ergebnis, wenn das Abstandsmaß nicht in ein lokales Minimum – also einer Stelle im Parameterraum, an der die Bilder stark ähnlicher sind als in der Umgebung dieser Stelle – hineinläuft. Ist dieses Verfahren erfolgreich, so kann eine entsprechende Transformation errechnet werden, mit der das Originalbild über das Referenzbild gelegt werden kann. Unter einem Abstandsmaß wird im Rahmen dieser Anmeldung eine Distanzfunktion oder ein Ähnlichkeitsmaß verstanden, wie sie dem Fachmann bekannt ist. Beispielsweise fallen hierunter die Minkowski-Metrik (mit ihren Spezialfällen City-Block-Distanz, Euklidische Distanz und Maximum-Distanz), die Mahalanobis-Distanz aber auch alle anderen, dem Fachmann bekannten Metriken. Die Abstandsmaße beschreiben den Grad der Übereinstimmung von Vektoren. Ein solches iteratives Bildregistrierungsverfahren ist für den Bereich medizinischer 2-D/3-D-Bilder aus der DE 10 2004 046 237 A1 bekannt.In addition, a numerical optimization method for image registration is also known. Here, certain specified by the user points of the reference image are searched in the original image. The minimum of the distance measure is searched by the optimization method iteratively in the parameter form of the transformation used. The distance measure used has a considerable influence on the execution speed. However, this method leads to an acceptable result only if the distance measure does not run into a local minimum - that is, a location in the parameter space where the images are much more similar than in the vicinity of this location. If this procedure is successful, then a corresponding transformation can be calculated with which the original image can be overlaid on the reference image. In the context of this application, a distance measure is understood to mean a distance function or a measure of similarity, as is known to the person skilled in the art. For example, this includes the Minkowski metric (with its special cases city block distance, Euclidean distance and maximum distance), but the Mahalanobis distance also includes all other metrics known to those skilled in the art. The distance measures describe the degree of agreement of vectors. Such an iterative image registration method is for the field of medical 2-D / 3-D images of the DE 10 2004 046 237 A1 known.

In der Literatur beschreibt Lisa Gottesfeld Brown: „A Survey of Image Registration Techniques"; ACM Computing Surveys, Vol. 24, No. 4; December 1992; in Kapitel 3.1 ein einstufiges Template-Matching. Hierbei wird die Cross-Korrelation zwischen dem Originalbild und dem Template für jede zulässige Transformation des Templates berechnet. Diejenige Transformation, für die die Cross-Korrelation am größten ist, gibt an, wie das Template am besten mit dem Originalbild registriert werden kann.In Lisa Gottesfeld Brown describes the literature: "A Survey of Image Registration Techniques "; ACM Computing Surveys, Vol. 24, no. 4; December 1992; in chapter 3.1 a one-step template matching. This is the cross-correlation between the original image and the template for every permissible transformation of the template calculated. The transformation for which the cross-correlation is greatest, Specifies how the template best registers with the original image can be.

Aufgabe der Erfindung ist es, ein Verfahren zur Verfügung zu stellen, mit dem auch sehr starke Positionsabweichungen von Objekten während eines Röntgendurchleuchtungsverfahrens – und somit deren Originalbilder – von einem Referenzbild bei der industriellen Röntgenprüfung ausgeglichen werden können. Ein solches Verfahren muss aus Praktikabilitätsgründen auf alle Fälle unter Echtzeitbedingungen ausgeführt werden können.task The invention is to provide a method with which also very strong positional deviations of objects during a fluoroscopy procedure - and thus their original pictures - from a reference image in the industrial X-ray inspection can be compensated. One For reasons of practicability, such a procedure must be under all circumstances Real-time conditions executed can be.

Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 gelöst. Dadurch, dass mehrere lokale Referenzbilder vorhanden sind, wird regelmäßig ein Re ferenzbild gefunden, dem das aufgenommene Originalbild des Prüfteils sehr nahe kommt. Dadurch ist eine sehr einfache und schnelle Berechnung der Überführungsparameter des Originalbildes in das am nächsten liegende lokale Referenzbild möglich, da das Verfahren sehr schnell konvergiert, anders als bei einem eventuell sehr weit vom Originalbild entfernten globalen Referenzbild. Darüber hinaus wird vermieden, dass bei Prüfteilen, die regelmäßig wiederkehrende Strukturen aufweisen – wie beispielsweise Autofelgen –, überhaupt keine Bildregistrierung auf das globale Referenzbild möglich ist oder die Bildregistrierung in ein lokales Minimum hineinläuft, so dass keine Überdeckung mit dem Originalbild er folgt. Da die Überführungsparameter zwischen allen lokalen Referenzbildern – und somit auch dem im Einzelfall ausgewählten lokalen Referenzbild, welches dem Originalbild am nächsten ist – zum globalen Referenzbild bekannt sind, ist nach der Bestimmung der sehr geringen Überführungsparameter zwischen dem gewählten lokalen Referenzbild und dem Originalbild die Berechnung der Überführungsparameter des Originalbilds auf das globale Referenzbild sehr einfach möglich. Durch die geringeren Abweichungen zwischen dem gewählten lokalen Referenzbild und dem Originalbild wird eine spürbare Zeitersparnis gegenüber der Bestimmung der Überführungsparameter zwischen einem weit entfernten Originalbild vom globalen Referenzbild erreicht. Das Röntgendurchleuchtungsverfahren kann mit der Bildregistrierung in Echtzeit betrieben werden. Darüber hinaus wird durch das erfindungsgemäße Verfahren die Registrierung deutlich stabiler; bei schwierigen Bauteilen wird dadurch die Registrierung sogar erst ermöglicht.The The object is achieved by a Method solved with the features of claim 1. Thereby, that there are several local reference images is regularly entered Re ference picture found that the recorded original image of the test part very comes close. This is a very simple and fast calculation the transfer parameter of the original image in the closest lying local reference image possible, because the process converges very fast, unlike one possibly very far from the original image removed global reference image. About that It also avoids testing items that are regularly recurring Have structures - like for example, car rims -, at all no image registration to the global reference image is possible or the image registration runs into a local minimum, so that no overlap he follows with the original picture. Because the transfer parameters between all local reference pictures - and thus also the local reference image selected on a case-by-case basis, which is closest to the original image is for global reference image is known after the determination of the very low transfer parameters between the chosen local reference image and the original image the calculation of the transfer parameters the original image on the global reference image very easy. By the smaller deviations between the selected local reference image and the original image is a noticeable time savings over the Determination of the transfer parameters between a distant original image from the global reference image reached. The fluoroscopy method can be operated with image registration in real time. Furthermore is by the inventive method the Registration much more stable; with difficult components thereby even allowing the registration.

Eine vorteilhafte Weiterbildung der Erfindung sieht vor, dass zumindest ein Teil der lokalen Referenzbilder automatisch aus dem globalen Referenzbild generiert wird. Dadurch sind die jeweiligen Überführungsparameter zwischen einem lokalen Referenzbild und dem globalen Referenzbild bekannt, ohne dass weitere Berechnungen angestellt werden müssen. Allerdings werden dabei nicht alle in der Realität vorkommenden Änderungen in allen Parametern berücksichtigt, beispielsweise bei der Drehung eines Prüfteils (aufgrund der Abbildungsgeometrie erfolgt dabei meist eine weitere Änderung, beispielsweise eine überlagerte geringe Rotation um eine Achse).A advantageous development of the invention provides that at least a part of the local reference images automatically from the global Reference image is generated. As a result, the respective transfer parameters between a local reference image and the global reference image known, without further calculations must be made. Indeed not all changes occurring in reality are considered in all parameters, for example, during the rotation of a test part (due to the imaging geometry is done usually another change, for example, a superimposed slight rotation about one axis).

Eine weitere vorteilhafte Weiterbildung der Erfindung sieht vor, dass zumindest ein Teil der lokalen Referenzbilder direkt aufgenommen wird, indem das Referenzteil in unterschiedlichen Positionen aufgenommen wird. Dadurch werden die zur automatischen Generierung von lokalen Referenzbildern angegebenen Nachteile überwunden, da es sich im vorliegenden Fall um die Generierung von realen Bildern in der Röntgendurch leuchtungsanlage handelt. In diesem Fall ist es allerdings nötig, die jeweiligen Überführungsparameter zwischen lokalen Referenzbildern und dem globalen Referenzbild zu bestimmen, da diese nicht, wie bei der automatischen Generierung, von vornherein bekannt sind. Dies kann jedoch im Vorhinein, also bevor Prüfteile zur Bildregistrierung in die Röntgendurchleuchtungsanlage eingefördert werden, für alle lokalen Referenzbilder berechnet und abgespeichert werden. Im Laufe des Bildregistrierungsverfahrens ist dann lediglich nach der Festlegung, welches lokale Referenzbild verwendet wird, auf eine Tabelle mit den darin abgelegten Überführungsparametern zurückzugreifen.A Further advantageous development of the invention provides that at least part of the local reference pictures taken directly is recorded by placing the reference part in different positions becomes. This will automatically generate local Reference images specified disadvantages overcome, since it is in the present Case for the generation of real images in the X-ray system is. In this case, it is necessary, the respective transfer parameters between local reference images and the global reference image because they are not, as in automatic generation, are known from the outset. However, this may be in advance, so before test parts for image registration in the X-ray fluoroscopy system conveyed be, for all local reference images are calculated and stored. In the course of the image registration process is then only after the Define which local reference image is used on a Table with the transfer parameters stored therein.

Eine weitere vorteilhafte Weiterbildung der Erfindung sieht vor, dass die jeweiligen Überführungsparameter zwischen jedem lokalen Referenzbild und dem globalen Referenzbild dadurch erhalten werden, dass das lokale Referenzbild mit dem geringsten Abstandsmaß zum globalen Referenzbild bestimmt wird, dessen Überführungsparameter zum globalen Referenzbild bestimmt werden und danach dieses Verfahren für jeweils das lokale Referenzbild wiederholt wird, dessen Abstandsmaß möglichst gering zum vorher bestimmten lokalen Referenzbild ist, und die jeweiligen Überführungsparameter zwischen diesen beiden lokalen Referenzbildern bestimmt werden. Dadurch werden schon beim Festlegen der Überführungsparameter zwischen den lokalen Referenzbildern und dem globalen Referenzbild jeweils nur die geringsten Abweichungen herangezogen, so dass eine möglichst schnelle Bestimmung dieser jeweiligen Überführungsparameter erfolgen kann. Für die daran anschließenden lokalen Referenzbilder kann in einem zweischrittigen Verfahren der gesamte Überführungsparameter in das globale Referenzbild dadurch generiert werden, dass die Überführungsparameter zwischen dem aktuellen lokalen Referenzbild und dem daneben liegenden lokalen Referenzbild bestimmt werden und dazu die bekannten Überführungsparameter dieses lokalen Referenzbildes zum globalen Referenzbild addiert werden.A Further advantageous development of the invention provides that the respective transfer parameters between each local reference image and the global reference image be obtained by having the lowest reference local image Distance measure to global reference image whose transfer parameter is global Reference image are determined and then this procedure for each the local reference image is repeated, the distance as possible is low to the predetermined local reference image, and the respective transfer parameters be determined between these two local reference images. As a result, when setting the transfer parameters between the local reference pictures and the global reference picture respectively only the slightest deviations used, so that as possible rapid determination of these respective transfer parameters can be done. For the adjoining it local reference images can be in a two-step process of entire transfer parameters into the global reference image generated by the transfer parameters between the current local reference image and the adjacent one local reference image are determined and the well-known transfer parameters of this local reference image is added to the global reference image become.

Eine weitere vorteilhafte Weiterbildung der Erfindung sieht vor, dass die Referenzbilder in verkleinerter Form abgespeichert werden und der Vergleich zwischen dem Originalbild und diesen verkleinerten Referenzbildern erfolgt. Da auf dieser Stufe mit den verkleinerten Referenzbildern weniger Informationen zum Originalbild abzugleichen sind, kann eine schnellere Bestimmung des nächstliegenden lokalen Referenzbildes erfolgen. Hierbei handelt es sich um eine grobe Bestimmung, die anschließend dadurch verfeinert werden kann, dass ein Feinabgleich mit dem vollständigen – d.h. nicht in verkleinerter Form abgespeicherten – lokalen Referenzbild erfolgt. Durch dieses Verfahren ist eine noch schnellere Bildregistrierung zu erreichen.A Further advantageous development of the invention provides that the reference pictures are stored in reduced form and the comparison between the original image and these miniaturized Reference pictures takes place. Because at this level with the miniaturized Compare reference images less information to the original image may be a faster determination of the nearest local reference image respectively. This is a rough determination that subsequently by can be refined, that a fine adjustment with the complete -. Not stored in a reduced form - local reference image takes place. This process provides even faster image registration to reach.

Im Folgenden wird die erfindungsgemäße Lehre in Verbindung mit vorteilhaften Weiterbildungen zusammengefasst beschrieben.in the The following is the teaching of the invention summarized in conjunction with advantageous developments described.

Durch das erfindungsgemäße Konstrukt der lokalen Referenzbilder wird der effektive Konvergenzbereich des Verfahrens erweitert und gleichzeitig die Registrierungsgeschwindigkeit erhöht. Die dahinter steckende erfinderische Idee ist, Punkte im Parameterraum auszuwählen und dem System entsprechend diesen Punkten mehrere lokale Referenzbilder zur Auswahl zu geben, anstatt – wie im Stand der Technik – lediglich ein einziges globales Referenzbild. Das lokale Referenzbild, das dem Originalbild bezüglich des Abstandsmaßes am nächsten kommt, wird für den Registrierungsprozess verwendet. Der Abstand im Parameterraum vom Originalbild zu dem am nächsten liegenden Referenzbild ist somit bekannt. Da die Lage dieses Referenzbildes hinsichtlich des globalen Referenzbildes vor Durchführung des Registrierungsprozesses bestimmt wurde (beispielsweise durch die automatische Erzeugung der lokalen Referenzbilder aus dem globalen Referenzbild bzw. die Aufnahme von realen lokalen Referenzbildern und vorherige Bestimmung der jeweiligen Überführungsparameter in das globale Referenzbild), lässt sich somit auch die Lage des Originalbildes be züglich des globalen Referenzbildes bestimmen. Die während des Registrierungsprozesses zu überwindende Distanz im Parameterraum und damit die Wahrscheinlichkeit in ein lokales Minimum zu laufen, wird dadurch deutlich verringert. Es muss lediglich das richtige lokale Referenzbild ausgewählt werden.By the construct according to the invention The local reference image becomes the effective convergence region of the procedure and at the same time the registration speed elevated. The underlying inventive idea is points in parameter space select and the system corresponding to these points several local reference images for To give choice, instead of - how in the prior art - only a single global reference image. The local reference image, the with respect to the original image the distance measure the next comes, will for used the registration process. The distance in parameter space from the original image to the closest lying reference image is thus known. Because the location of this reference picture in terms of the global reference image before performing the Registration process was determined (for example by the automatic generation of local reference images from the global Reference image or the recording of real local reference images and prior determination of the respective transfer parameters in the global Reference image), lets Thus, the location of the original image with reference to the global reference image determine. The while of the registration process Distance in the parameter space and thus the probability in to run local minimum, this is significantly reduced. It all you have to do is select the correct local reference image.

Zum Auffinden des entsprechenden lokalen Referenzbildes werden ausgewählte Punkte herangezogen. Die lokalen Referenzbilder werden schon bei der Einrichtung des Registrierungssystems von der Röntgenprüfanlage mit aufgenommen. Dadurch existiert eine Menge von lokalen Referenzbildern, zu denen die genauen Positionen im Parameterraum hinsichtlich des globalen Referenzbildes bestimmt werden müssen.Selected points will be used to find the corresponding local reference image drawn. The local reference images are already included in the setup of the registration system of the X-ray inspection system. As a result, there are a large number of local reference images for which the exact positions in the parameter space with respect to the global reference image must be determined.

Hierbei kann ein Registrierungsalgorithmus verwendet werden, der lediglich in das „richtige" Minimum konvergieren muss. Dies wird dadurch erreicht, dass die dicht am globalen Referenzbild liegenden lokalen Referenzbilder zuerst registriert werden. Die bereits gefundenen Lösungen für die Überführungsparameter werden dann für die Überbrückung größerer Distanzen im Parameterraum benutzt.in this connection For example, a registration algorithm can be used that only converge into the "right" minimum got to. This is achieved by being close to the global reference image lying local reference images are first registered. The already found solutions for the transfer parameters then be for the bridging of larger distances used in parameter space.

Die lokalen Referenzbilder verbessern die Registrierungsleistungen bezüglich des globalen Referenzbilds durch eine Vergrößerung des Konvergenzbereichs für ein bestimmtes Minimum dieses Bildes. Es ist außerdem möglich, mit ihrer Hilfe unterschiedliche Bauteile mit demselben Registrierungsprogramm zu bearbeiten, um beispielsweise identische Regionen für die Fehlererkennung zu verwenden. Darüber hinaus ist es bei einer speziellen Anwendung mit Hilfe einer Datenbank und einer großen Menge lokaler Referenzbilder sogar möglich, zu einer effizienten Fehlererkennungsmethode ohne die Verwendung nachfolgender Fehlererkennungsfilter zu gelangen.The local reference pictures improve the registration services regarding the global reference image by increasing the range of convergence for a certain minimum of this picture. It is also possible with their help different To edit components using the same registry program for example, to use identical regions for error detection. About that In addition, it is in a special application using a database and a large amount local reference images even possible, to an efficient error detection method without the use subsequent error detection filter to arrive.

Claims

A method for image registration of an original image of a test piece in a fluoroscopy method on a reference image of a defect-free identical reference part, characterized in that in addition to a global reference image of the reference part several local reference images of the reference part are present in different positions whose transfer parameters are known to the global reference image, the image registration of Original image on the local reference image takes place at a predetermined distance measure is lowest, the transfer parameters between the original image and the selected local reference image are determined and then in addition to these transfer parameters, the known transfer parameters between the selected local reference image and the global reference image is applied to the original image be so that an overlap of the contours of the test part on the original image with the contours of the reference part au f is the global reference image.

Method according to claim 1, characterized that at least part of the local reference images automatically turn off the global reference image is generated.

Method according to claim 1 or 2, characterized that at least some of the local reference pictures are taken directly is recorded by placing the reference part in different positions becomes.

Method according to claim 3, characterized that the respective transfer parameters between each local reference image and the global reference image be obtained by having the lowest reference local image Distance measure to global reference image whose conversion parameter becomes the global reference image and then this method for each local reference picture is repeated, the distance as small as possible to previously determined local reference image, and the respective transfer parameters between them be determined both local reference images.

Method according to one of the preceding claims, characterized in that the reference images are stored in reduced form and the comparison between the original image and this downsized Reference pictures takes place.

Method according to claim 5, characterized in that that following the rough image registration on the basis of the reduced Reference pictures a finer picture registration based on the comparison of the original image with the previously found local reference image each in original size.