DE112021004192T5 - Fusionsbasiertes Digitalbildkorrelations-Grundgerüst zur Dehnungsmessung - Google Patents

Abstract

Ein Bildverarbeitungsverfahren zum Messen der Verschiebung eines Objekts wird angegeben. Das Verfahren weist Folgendes auf: Erfassen von ersten Sequenzbildern und zweiten Sequenzbilder, wobei zwei aneinandergrenzende Bilder der ersten Sequenzbilder erste Überlappungsbereiche aufweisen, wobei zwei aneinandergrenzenden Bilder der zweiten Sequenzbilder zweite Überlappungsbereiche aufweisen, wobei die ersten Sequenzbilder einer ersten dreidimensionalen (3D-) Oberfläche auf dem Objekt in einem ersten Zustand entsprechen und die zweiten Sequenzbilder einer zweiten 3D-Oberfläche auf dem Objekt in einem zweiten Zustand entsprechen. Das Verfahren weist ferner Folgendes auf: Schärfen der ersten Sequenzbilder und der zweiten Sequenzbilder zum Erhalten von scharfen Brennebenen-Bildern auf der Basis eines blinden Entfaltungs-Verfahrens, Aneinanderheften der geschärften ersten Sequenzbilder und der geschärften zweiten Sequenzbilder in ein erstes scharfes 3D-Bild und ein zweites scharfes 3D-Bild auf der Basis von Kameraposen-Schätzungen durch Lösen jeweils eines perspektivischen n-Punkt-Problems (PnP-Problems) unter Verwendung eines verfeinerten robusten gewichteten Levenberg-Marquardt-Algorithmus (RRWLM-Algorithmus). Das Verfahren weist ferner Folgendes auf: Bilden eines ersten zweidimensionalen (2D) Bildes und eines zweiten 2D-Bildes jeweils durch Auseinanderfalten des ersten scharfen 3D-Bildes und des zweiten scharfen 3D-Bildes; und Erzeugen einer Verschiebungs-(Dehnungs-) Karte aus den ersten 2D-Bildern und den zweiten 2D-Bildern durch Durchführen eines zweidimensionalen Digitalbild-Korrelationsverfahrens (DIC-Verfahrens).

Description

• Technisches Gebiet
• Die vorliegende Erfindung betrifft allgemein eine Vorrichtung und ein Verfahren für ein fusionsbasiertes Digitalbildkorrelations-Grundgerüst zur Dehnungsmessung.
• Stand der Technik
• Eine Dehnungsmessung von Materialien, die Belastungen oder mechanischen Beschädigungen unterzogen werden, ist eine wesentliche Aufgabe bei verschiedenen industriellen Anwendungen. Zur Dehnungsmessung zieht - abgesehen von der weitverbreitet verwendeten punktweisen Dehnungsmesser-Technik - die Digitalbildkorrelation (DIC) als eine kontaktlose und nichtinterferometrische optische Technik viel Aufmerksamkeit auf sich, und zwar wegen ihrer Fähigkeit, eine Vollfeld-Dehnungsverteilung der Oberfläche unter Verwendung eines einfachen experimentellen Aufbaus bereitzustellen. Die DIC wird durchgeführt, indem digitale Graustufen-Intensitätsbilder der Oberfläche vor und nach einer Verformung verglichen werden, wobei die Ableitung der Pixelverschiebung als ein Maß für die Dehnung an dem Pixel verwendet wird.
• In verschiedenen Anwendungen ist es von großem Interesse, eine zweidimensional (2D) Vollfeld-DIC-Analyse auf der gekrümmten Oberfläche von großen 3D-Objekten durchzuführen. DIC hat strikte Anforderungen an die Bilder, die vor und nach der Verzerrung aufgenommen werden, und zwar für eine akkurate Pixelverschiebung, wie z. B. die Bildauflösung, die Bilddeckung und die Kompensation der Kameraobjektiv-Verzerrung usw, da die Verschiebungen unter der Dehnung für die meisten industriellen Materialien allgemein sehr klein bzw. dezent sind. Daher führen die Anforderungen in Ziel-Szenarien zu zwei entmutigenden Beschränkungen für die vorhandene 2D-DIC-Analyse. Zunächst ist das DIC-Verfahren für gewöhnlich auf ein planare 2D-Objekt-Oberflächen beschränkt, und nicht für gekrümmte 3D-Oberflächen geeignet.
• Zweitens ist das DIC-Verfahren für gewöhnlich auf kleine Oberflächen beschränkt, und zwar infolge der sehr hohen Pixel-Auflösungs-Anforderung an die Bilder zur DIC-Analyse. Es wurde bereits viel Aufwand für 3D-DIC-Verfahren auf der Basis von binokularem stereoskopischem Sehen oder einer Mehrkamerasystem-Umgebung betrieben, die eine präzise Kalibrierung und ein Aneinanderheften bzw. Zusammenfügen von Bildern beinhalten, was in verschiedenen Szenarien schwierig zu handhaben ist.
• Bei dieser Arbeit werden die Bilder aneinandergeheftet bzw. aneinandergereiht und zusammengefügt, die von einer einzelnen gewöhnlichen sich bewegenden Kamera und nicht von einem gut kalibrierten Mehrkamerasystem aufgenommen werden.
• Zusammenfassung der Erfindung
• In unserem vorgeschlagenen Grundgerüst bzw. Framework vereinigen wir Bildfusion und eine Kameraposen-Schätzung, so dass automatisch eine große Anzahl von Bildern der gekrümmten Prüfling-Oberfläche aneinandergeheftet wird. Diese Arbeit erweitert den Anwendungsbereich auf der Basis von Bildfusion und Aneinanderheften auf die Dehnungsmessung im Maschinenbau.
• Das vorgeschlagene Grundgerüst zerlegt das Bildfusionsproblem in eine Sequenz von wohlbekannten PnP-Problemen, die verbreitet unter Verwendung sowohl von nichtiterativen, als auch iterativen Verfahren erforscht worden sind. Einige kommen mit einer zusätzlichen Ausreißer-Verwerfung aus oder nehmen die Beobachtungs-Ungewissheits-Information mit auf. Das vorgeschlagene Bildfusionsverfahren, das ein Bündel-Einstellungs-Prinzip und ein iteratives PnP-Verfahren kombiniert, übertrifft vorhandene PnP-Verfahren und erzielt eine geeignete bzw. verwendbare Fusionsgenauigkeit.
• Die vorliegende Erfindung widmet sich dem Problem, eine zweidimensionale Digitalbildkorrelation (DIC) zur Dehnungsmessung auf großen dreidimensionalen Objekten mit gekrümmten Oberflächen zu ermöglichen. Es ist eine Herausforderung, qualifizierte Vollfeld-Bilder der Oberfläche zu erfassen, die für die DIC benötigt werden, und zwar infolge der Unschärfe, der Verzerrung und des schmalen Sehfelds der Oberfläche, die ein einzelnes Bild abdecken kann. Um dieses Problem zu überwinden, schlagen wir ein Ende-zu-Ende-DIC-Grundgerüst vor, das das Bildfusionsprinzip aufnimmt, um eine Vollfeld-Dehnungsmessung über die gekrümmte Oberfläche zu ermöglichen.
• Mit einer Sequenz von unscharfen Bilder als Eingaben stellen wir zunächst scharfe Bilder unter Verwendung von blinder Entfaltung bzw. Dekonvolution wieder her, dann projizieren wir die wiederhergestellten scharfen Bilder auf die gekrümmte Oberfläche unter Verwendung von Kameraposen, die von unserem vorgeschlagenen perspektivischen n-Punkt-Verfahren (PnP-Verfahren) genannt RRWLM geschätzt werden. Bilder auf der gekrümmte Oberfläche werden aneinandergeheftet und dann auseinandergefaltet, und zwar für die Dehnungsanalyse unter Verwendung von DIC. Numerische Experimente werden durchgeführt, um unser Grundgerüst unter Verwendung von RRWLM mit Vergleichen mit vorhandenen Verfahren zu realisieren.
• Einige Ausführungsformen gemäß der vorliegenden Erfindung schlagen ein fusionsbasiertes Ende-zu-Ende-DIC-Grundgerüst vor, um die Dehnungsmessung entlang der gekrümmten Oberflächen des 3D-Objekts mit großer Größe unter Verwendung einer einzelnen Kamera zu ermöglichen. Wir verwenden zunächst eine sich bewegende Kamera über der großen 3D-Oberfläche und erfassen so eine Sequenz von unscharfen 2D-Bildern der Oberflächen-Textur. Mit diesen unscharfen Beobachtungen stellen wir dann die entsprechenden scharfen Bilder unter Verwendung von blinder Entfaltung wieder her und projizieren die Pixel in ihnen auf die 3D-Oberfläche, unter Verwendung von Kameraposen, die von unserem vorgeschlagenen robusten perspektivischen n-Punkt-Verfahren (PnP-Verfahren) zu Bildfusion geschätzt werden.
• Die aneinandergehefteten 3D-Oberflächen-Bilder vor und nach der Verformung werden auseinandergefaltet, und zwar auf jeweils zwei 2D-fusionierte, so dass die 3D-Dehnungsmessung in eine solche in 2D zur weiteren DIC-Analyse konvertiert wird. Da die Verschiebungen dezent bzw. klein sind (typischerweise kleiner als ein Pixel, oder Sub-Pixel), wie oben erwähnt, sind deren Ableitungen und entsprechenden Dehnungen extrem empfindlich auf die fusionierte Bildqualität. Folglich ist die am meisten entmutigende Herausforderung in der Pipeline die stringente Genauigkeits-Anforderung (zumindest Sub-Pixel-Niveau) des Bildfusionsverfahrens zur akkuraten Dehnungsmessung.
• Gemäß einigen Ausführungsformen der vorliegenden Erfindung wird außerdem eine Bildverarbeitungseinrichtung zur Messung der Dehnung eines Objekts angegeben. Die Bildverarbeitungseinrichtung weist Folgendes auf eine Schnittstelle, die so konfiguriert ist, dass sie erste Sequenzbilder und zweite Sequenzbilder erfasst, wobei zwei aneinandergrenzende Bilder der ersten Sequenzbilder erste Überlappungsbereiche aufweisen, wobei zwei aneinandergrenzenden Bilder der zweiten Sequenzbilder zweite Überlappungsbereiche aufweisen, wobei die ersten Sequenzbilder einer ersten dreidimensionalen (3D-) Oberfläche auf dem Objekt in einem ersten Zustand entsprechen und die zweiten Sequenzbilder einer zweiten 3D-Oberfläche auf dem Objekt in einem zweiten Zustand entsprechen (der erste Zustand kann als Anfangsbedingung bezeichnet werden, und der zweite Zustand kann als ein Zustand nach einem Zeitraum von Vorgängen bzw. Betätigungen bezeichnet werden); einen Speicher zum Speichern von computer-ausführbaren Programmen inklusive eines Bildschärfungsverfahrens, eines Posen-Verfeinerungsverfahrens, eines fusioniert-basierten Korrelationsverfahrens, eines Dehnungsmessungsverfahrens und eines Bildkorrekturverfahrens; und einen Prozessor, der so konfiguriert ist, dass er die computer-ausführbaren Programme ausführt, wobei der Prozessor die folgenden Schritte durchführt: Schärfen der ersten Sequenzbilder und der zweiten Sequenzbilder zum Erhalten von scharfe Brennebenen-Bildern auf der Basis eines blinden Kern-Entfaltungs-Verfahrens; Aneinanderheften der geschärften ersten Sequenzbilder und der geschärften zweiten Sequenzbilder in ein erstes scharfes 3D-Bild und ein zweites scharfes 3D-Bild auf der Basis von Kameraposen-Schätzungen durch Lösen jeweils eines perspektivischen n-Punkt-Problems (PnP-Problems) unter Verwendung eines verfeinerten robusten gewichteten Levenberg-Marquardt-Algorithmus (RRWLM-Algorithmus);Bilden eines ersten zweidimensionalen (2D) Bildes und eines zweiten 2D-Bildes jeweils durch Auseinanderfalten des ersten scharfen 3D-Bildes und des zweiten scharfen 3D-Bildes; underzeugen einer Verschiebungs-(Dehnungs-) Karte aus den ersten 2D-Bildern und den zweiten 2D-Bildern durch Durchführen eines zweidimensionalen Digitalbild-Korrelationsverfahrens (DIC-Verfahrens).
• Einige Ausführungsformen der vorliegenden Erfindung stellen ein Ende-zu-Ende-DIC-Grundgerüst bereit, das eine Bildfusion in die Dehnungsmessungs-Pipeline aufnimmt Dies erweitert den Bereich von DIC-basierten Dehnungsmessungs-Anwendungen auf die gekrümmte Oberfläche von 3D-Objekten mit großen Abmessungen.
• Außerdem gibt eine Ausführungsform der vorliegenden Erfindung ein Bildverarbeitungsverfahren zum Messen der Dehnung eines Objekts an. Das Bildverarbeitungsverfahren kann Folgendes umfassen: Erfassen von ersten Sequenzbildern und zweiten Sequenzbilder, wobei zwei aneinandergrenzende Bilder der ersten Sequenzbilder erste Überlappungsbereiche aufweisen, wobei zwei aneinander-grenzenden Bilder der zweiten Sequenzbilder zweite Überlappungsbereiche aufweisen, wobei die ersten Sequenzbilder einer ersten dreidimensionalen (3D-) Oberfläche auf dem Objekt in einem ersten Zustand entsprechen und die zweiten Sequenzbilder einer zweiten 3D-Oberfläche auf dem Objekt in einem zweiten Zustand entsprechen; Schärfen der ersten Sequenzbilder und der zweiten Sequenzbilder zum Erhalten von scharfen Brennebenen-Bildern auf der Basis eines blinden Entfaltungs-Verfahrens; Aneinanderheften der geschärften ersten Sequenzbilder und der geschärften zweiten Sequenzbilder in ein erstes scharfes 3D-Bild und ein zweites scharfes 3D-Bild auf der Basis von Kameraposen-Schätzungen durch Lösen jeweils eines perspektivischen n-Punkt-Problems (PnP-Problems) unter Verwendung eines verfeinerten robusten gewichteten Levenberg-Marquardt-Algorithmus (RRWLM-Algorithmus); Bilden eines ersten zweidimensionalen (2D) Bildes und eines zweiten 2D-Bildes jeweils durch Auseinanderfalten des ersten scharfen 3D-Bildes und des zweiten scharfen 3D-Bildes; und Erzeugen einer Verschiebungs-(Dehnungs-) Karte aus den ersten 2D-Bildern und den zweiten 2D-Bildern durch Durchführen eines zweidimensionalen Digitalbild-Korrelationsverfahrens (DIC-Verfahrens).
• Außerdem können manche Ausführungsformen der vorliegenden Erfindung ein nichtflüchtiges computerlesbares Medium angeben, das Programmanweisungen aufweist, die einen Computer dazu veranlassen, ein Verfahren durchzuführen. In diesem Fall kann das Verfahren die folgenden Schritte umfassen: Erfassen von ersten Sequenzbildern und zweiten Sequenzbilder, wobei zwei aneinandergrenzende Bilder der ersten Sequenzbilder erste Überlappungsbereiche aufweisen, wobei zwei aneinandergrenzenden Bilder der zweiten Sequenzbilder zweite Überlappungsbereiche aufweisen, wobei die ersten Sequenzbilder einer ersten dreidimensionalen (3D-) Oberfläche auf dem Objekt in einem ersten Zustand entsprechen und die zweiten Sequenzbilder einer zweiten 3D-Oberfläche auf dem Objekt in einem zweiten Zustand entsprechen; Schärfen der ersten Sequenzbilder und der zweiten Sequenzbilder zum Erhalten von scharfen Brennebenen-Bildern auf der Basis eines blinden Entfaltungs-Verfahrens; Aneinanderheften der geschärften ersten Sequenzbilder und der geschärften zweiten Sequenzbilder in ein erstes scharfes 3D-Bild und ein zweites scharfes 3D-Bild auf der Basis von Kameraposen-Schätzungen durch Lösen jeweils eines perspektivischen n-Punkt-Problems (PnP-Problems) unter Verwendung eines verfeinerten robusten gewichteten Levenberg-Marquardt-Algorithmus (RRWLM-Algorithmus); Bilden eines ersten zweidimensionalen (2D) Bildes und eines zweiten 2D-Bildes jeweils durch Auseinanderfalten des ersten scharfen 3D-Bildes und des zweiten scharfen 3D-Bildes; und Erzeugen einer Verschiebungs-(Dehnungs-) Karte aus den ersten 2D-Bildern und den zweiten 2D-Bildern durch Durchführen eines zweidimensionalen Digitalbild-Korrelationsverfahrens (DIC-Verfahrens).
• Eine weitere Ausführungsform der vorliegenden Erfindung schlägt ein zweistufiges Verfahren auf der Basis eines PnP-Verfahrens und eines Bündel-Einstellungs-Prinzips zur Bildfusion vor. Unser Verfahren übertrifft die Möglichkeiten gegenüber dem Stand der Technik und erzielt eine geeignete bzw. anwendbare Bildfusionsgenauigkeit zur Dehnungsmessung mittels DIC-Analyse.
• Die beigefügten Zeichnungen, die ein weitergehendes Verständnis der Erfindung ermöglichen, veranschaulichen Ausführungsformen der Erfindung, und sie dienen zusammen mit der Beschreibung zur Erläuterung des Prinzips der Erfindung.
• Figurenliste
• 1 zeigt ein Beispiel, das eine Bildverarbeitungseinrichtung gemäß Ausführungsformen der vorliegenden Erfindung veranschaulicht.
• 2 zeigt ein Blockdiagramm, das Bildverarbeitungs-Schritte zum Erzeugen einer Dehnungskarte veranschaulicht, gemäß Ausführungsformen der vorliegenden Erfindung.
• 3A zeigt ein Blockdiagramm, das ein Bildschärfungsmodul veranschaulicht, das in der Bildverarbeitungseinrichtung verwendet wird, gemäß Ausführungsformen der vorliegenden Erfindung.
• 3B zeigt ein Blockdiagramm, das ein Bild-Aneinanderheftungsmodul veranschaulicht, das in der Bildverarbeitungseinrichtung verwendet wird, gemäß Ausführungsformen der vorliegenden Erfindung.
• 4A zeigt ein Schema, das die Pipeline der Bilderfassung und das Dehnungsmessungs-Grundgerüst veranschaulicht, gemäß Ausführungsformen der vorliegenden Erfindung.
• 4B zeigt ein Schema, das die Pipeline der Bilderfassung und das Dehnungsmessungs-Grundgerüst veranschaulicht, gemäß Ausführungsformen der vorliegenden Erfindung.
• 5 zeigt einen Algorithmus, der ein verfeinertes robustes gewichtetes LM (RRWLM) beschreibt, gemäß Ausführungsformen der vorliegenden Erfindung.
• 6 zeigt die durchschnittlichen Fehler der Kameraposen-Schätzung und das PSNR der Bildfusionsergebnisse, gemäß einer Ausführungsform der vorliegenden Erfindung.
• 7A zeigt einen Vergleich von Dehnungskarten einer kleinen Fläche, gemäß Ausführungsformen der vorliegenden Erfindung.
• 7B zeigt einen Vergleich von Dehnungskarten einer kleinen Fläche, gemäß Ausführungsformen der vorliegenden Erfindung.
• 7C zeigt einen Vergleich von Dehnungskarten einer kleinen Fläche, gemäß Ausführungsformen der vorliegenden Erfindung.
• 8A zeigt einen Vergleich von Oberflächenbildern auf der Basis verschiedener Verfahren, gemäß einer Ausführungsform der vorliegenden Erfindung.
• 8B zeigt einen Vergleich von Oberflächenbildern auf der Basis verschiedener Verfahren, gemäß einer Ausführungsform der vorliegenden Erfindung.
• 8C zeigt einen Vergleich von Oberflächenbildern auf der Basis verschiedener Verfahren, gemäß einer Ausführungsform der vorliegenden Erfindung.
• 9A zeigt einen Vergleich von Dehnungskarten einer großen Fläche, gemäß einer Ausführungsform der vorliegenden Erfindung.
• 9B zeigt einen Vergleich von Dehnungskarten einer großen Fläche, gemäß einer Ausführungsform der vorliegenden Erfindung.
• Beschreibung von Ausführungsformen
• Verschiedene Ausführungsformen der vorliegenden Erfindung werden nachfolgend unter Bezugnahme auf die Figuren beschrieben. Es sei angemerkt, dass die Figuren nicht maßstabsgerecht gezeichnet sind. Elemente ähnlicher Strukturen oder Funktionen sind in den Figuren durchgehend mit gleichen Bezugszeichen versehen. Es sei auch angemerkt, dass es nur beabsichtigt ist, dass die Figuren die Beschreibung spezifischer Ausführungsformen der Erfindung erleichtern.
• Es ist nicht beabsichtigt, dass sie eine erschöpfende Beschreibung der Erfindung oder eine Beschränkung des Umfangs der Erfindung beinhalten. Außerdem ist ein Aspekt, der im Zusammenhang mit einer bestimmten Ausführungsform der Erfindung beschrieben ist, nicht notwendigerweise auf jene Ausführungsform beschränkt, und er kann zusammen mit jeglichen anderen Ausführungsformen der Erfindung in die Praxis umgesetzt werden.
• Wir betrachten die Dehnungsmessung einer Zylinderoberfläche, die in vielen Anwendungen von Interesse ist. Zur Bilderfassung erfasst eine sich bewegende Kamera eine Sequenz von Bildern ${\left\{Y_i\right\}}_{i=1}^p$

  

  für die zylindrische Oberflächentextur U_b vor der Verformung und ${\left\{Y_i^{\text{'}}\right\}}_{i=1}^q$

  

  für U_f nach der Verformung, wie in 4A und 4B veranschaulicht. Jede Sequenz besteht aus p (oder q) Bildern in der Reihenfolge, in der sie mit ihren Nachbarn überlappt. Ohne Beschränkung der Allgemeinheit zeigen wir nur das Modell und die Analyse für die Sequenz ${\left\{Y_i\right\}}_{i=1}^p$

  

  in der folgenden Beschreibung.
• Da die Defokussierungsunschärfe ein übliches Bildverschlechterungs-Phänomen ist, betrachten wir ein Lochkamera-Modell mit sechs Freiheitsgraden (6-DOF) mit einer Punktspreizfunktion (PSF) des Kameraobjektivs (Unschärfe-Kern) K ∈ ℝ^{(2rg+1)×(2rg+1)}, was als ein trunkierter Gausscher Kern angenommen wird: $$K\left(x,y\right)=\{\begin{array}{cc}\frac{1}{C_1}\text{exp}\left(\frac{-\left(x^2+y^2\right)}{2\sigma 2}\right)& \sqrt{x^2+y^2}\le r_g\\ 0& \sqrt{x^2+y^2}>r_g\end{array}.$$

  

  wobei r_g der Radius ist und C₁ der Normierungsterm zum Gewährleisten der Energie der PSF ${\mathrm{\Sigma }}_{x,y}\frac{1}{C_1}\text{exp}\left(\frac{-\left(x^2+y^2\right)}{2\sigma 2}\right)=1$

  

  ist. Dann können die erfassten Bilder ${\left\{Y_i\right\}}_{i=1}^p$

  

  modelliert werden: $$Y_i=K\ast X_i,i=\mathrm{1,2,}\dots ,p.$$

  

  wobei

  

  die Faltungsoperation bezeichnet, X_i ∈ ℝ^m×n das scharfe Kamera-Brennebenen-Bild ist und p die Gesamtanzahl von Bildern ist. Jedes Pixel x = [x, y]^T in X_i wird von einem Pixel $\text{u}={\left[x_u,y_u,z_u\right]}^{\text{T}}$

  

  auf die 3D-Oberfläche projiziert, und zwar gemäß: $$\left[\begin{array}{c}x\\ 1\end{array}\right]=\frac{1}{\nu }{P}_s\left[\begin{array}{cc}R& T\\ 0& 1\end{array}\right]\left[\begin{array}{c}u\\ 1\end{array}\right]=\frac{1}{\nu }\left[\begin{array}{cccc}ƒ& 0& 0& 0\\ 0& ƒ& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& T\\ 0& 1\end{array}\right]\left[\begin{array}{c}{x}_u\\ y_u\\ z_u\\ 1\end{array}\right]$$

  

  wobei R E ℝ^3×3 und T ∈ ℝ³ die Drehmatrix bzw. der Verschiebungsvektor sind, in Abhängigkeit der Kamerapose von X_i, v ein pixelabhängiger Skalar ist, der das Pixel auf die Brennebene projiziert, und P_s die perspektivische Matrix der Kamera ist.
• Jedes Bild $Y_i\left(Y_i^{\text{'}}\right)$

  

  in der Sequenz deckt ein schmales Feld der Zylinderoberfläche U_b (U_f) ab. Unser Ziel ist es, die gesamten auseinandergefalteten Bilder der gekrümmten Oberfläche auf der Basis von ${\left\{Y_i\right\}}_{i=1}^p$

  

  und ${\left\{Y_i^{\text{'}}\right\}}_{i=1}^q$

  

  wiederherzustellen, so dass die Dehnung auf der zylindrischen Oberfläche unter Verwendung von 2D-DIC analysiert werden kann.
• In der folgenden Beschreibung führen wir unser vorgeschlagenes Grundgerüst inklusive Bildschärfung, Bildfusion und DIC ein, wie in 4A bis 4B veranschaulicht.
• Bildschärfung
• Das Ziel dieses Moduls ist es, scharfe Brennebene Bilder ${\left\{X_i\right\}}_{i=1}^p$

  

  und den unbekannten Unschärfe-Kern K gleichzeitig aus den unscharfen Beobachtungen ${\left\{Y_i\right\}}_{i=1}^p$

  

  im Ausdruck (2) wiederherzustellen. Dazu formulieren wir das blinde Entfaltungsproblem als $$\underset{K_i{\left\{X_i\right\}}_{i=1}^p}{{\displaystyle \text{min}}}{\displaystyle \sum _{i=1}^p\left(\frac{\beta }{2}{\Vert Y_i-K\ast X_i\Vert }_F^2+{\displaystyle \sum _{j=1}^{m\cdot n}{\Vert D_j{X}_i\Vert }_2}\right)+I_{\mathcal{G}}}\left(K\right)$$

  

  wobei ||·||_F die Frobenius-Norm einer Matrix bezeichnet, Ig(·) die Indikator-Funktion ist, um zu gewährleisten, dass K ein trunkierter Gausscher Kern ist, D_j die Ableitung von X_i an einem Pixel j sowohl in der x-, als auch in der y-Richtung bezeichnet und β eine Gewichtung in Abhängigkeit des Rauschpegels des Bildes Y_i ist. Der erste Term ist ein Datengüte-Term. Der zweite Term ist ein weitverbreitet verwendeter Regularisierungs-Term für totale Variation (TV) zum Bewahren der Schärfe des Bildes. Ausdruck (4) wird gelöst, indem die Minimierung bezogen auf K und ${\left\{X_i\right\}}_{i=1}^p$

  

  alterniert wird. Insbesondere aktualisieren wir ${\left\{X_i\right\}}_{i=1}^p$

  

  unter Verwendung einer kreisförmigen Faltung mit der periodischen Randannahme auf ${\left\{X_i\right\}}_{i=1}^p$

  

  zur schnellen Berechnung mittels FFT.
• Um eine große bzw. ausgezeichnete Initialisierung K₀ des Unschärfe-Kerns zu erhalten, verwenden wir ein Wiener-Filter durch Minimierung des normierten Dünnbesetztheit-Maßes in der möglichen Region von σ als $$K_0=\underset{K}{{\displaystyle \text{argmin}}}{\displaystyle \sum _{i=1}^L\frac{{\Vert {\nabla }_x{\overline{X}}_i\left(K,Y_i\right)\Vert }_1}{{\Vert {\nabla }_x{\overline{X}}_i\left(K,Y_i\right)\Vert }_2}+\frac{{\Vert {\nabla }_y{\overline{X}}_i\left(K,Y_i\right)\Vert }_1}{{\Vert {\nabla }_y{\overline{X}}_i\left(K,Y_i\right)\Vert }_2}},$$

  

  wobei X̅_i(K, Y_i) = Wiener (K, Y_i) das gefilterte Bild von Y_i mit dem Kern K ist, ∇_x, ∇_y die Ableitungen in der x- bzw. der y-Richtung bezeichnet und L die Anzahl von verwendeten Bildern ist.
• Bildfusion
• In diesem Modul rekonstruieren wir die Superauflösungs-Textur über die gekrümmte Oberfläche des 3D-Objekts unter Verwendung der geschärften Sequenz von Bildern ${\left\{{\widehat{X}}_i\right\}}_{i=1}^p$

  

  zur DIC-Analyse.
• Kameraposen-Schätzung
• Ohne Beschränkung der Allgemeinheit betrachten wir das Problem zum Schätzen einer Kamerapose des geschärften Sollbildes Xi, indem wir es mit einem überlappenden Referenzbild X̂_j registrieren, für das die Kamerapose bekannt ist.
• Zunächst erfassen wir die wohlbekannten SIFT-Merkmalspunkt-Mengen ${\mathrm{\Omega }}_i^{\text{SIFT}}=\left\{x_i\right\}$

  

  im Sollbild X̂_i und ${\mathrm{\Omega }}_j^{\text{SIFT}}=\left\{x_j\right\}$

  

  in der Referenz X̂_j. Dann suchen wir eine Menge von in Übereinstimmung gebrachten Merkmalspunkten
• $A_{\left(j,i\right)}=\left\{\left(x_j^m,x_i^m\right)|x_j^m\in {\mathrm{\Omega }}_j^{\text{SIFT}},x_i^m\in {\mathrm{\Omega }}_i^{\text{SIFT}},m=\mathrm{1,2,}\dots \right\},$

  

  die Folgendes erfüllen: $${\Vert a\left(x_i^m\right)-a\left(x_i^m\right)\Vert }_2\le C_2\cdot \underset{x\in {\mathrm{\Omega }}_j^{\text{SIFT}}/x_j^m}{{\displaystyle \text{min}}}{\Vert a\left(x_i^m\right)-a\left(x\right)\Vert }_2,$$

  

  wobei a(x) den SIFT-Merkmalsvektor am Pixel x bezeichnet, ${\mathrm{\Omega }}_j^{\text{SIFT}}\backslash x_j^m$

  

  die Menge von ${\mathrm{\Omega }}_j^{\text{SIFT}}$

  

  exklusive $x_j^m$

  

  ist und 0 < C₂ ≤ 1 eine Konstante ist, die gewählt wird, um Merkmals-Ausreißer zu entfernen, typischerweise C₂ = 0.7.
• Wie projizieren jeden Merkmalspunkt $x_j^m$

  

  in A_(j,i) auf die 3D-Oberfläche und erhalten die entsprechende Menge von $\left\{u_j^m=\left(x_{uj}^m,y_{uj}^m,z_{uj}^m\right)\right\}$

  

  unter Verwendung von Ausdruck (3) mit der Pose von X̂_j und der Objekt-Geometrie. Dann wird das Kameraposen-Schätzungsproblem zum weitverbreitet bekannten PnP-Problem zum Schätzen der Kamerapose unter Verwendung der Punktmenge $M_{\left(j,i\right)}=\left\{\left(u_j^m,x_i^m\right)\right\}.$

  
• Das PnP-Problem kann für gewöhnlich als eine nichtlineare Summe des Problems der kleinsten Quadrate formuliert werden. Unter Berücksichtigung, dass r₃ = r₁ × r₂ in $R={\left[r_1,r_2,r_3\right]}^{\text{T}}$

  

  gilt, verwenden wir $h={\left[r_1^{\text{T}},r_2^{\text{T}},T^{\text{T}}\right]}^{\text{T}},$

  

  um unbekannte Parameter der Kamerapose zu bezeichnen. Dann kann die Kamerapose h_i, die mit X̂_i zusammenhängt, erzielt werden, indem Folgendes gelöst wird: $$\underset{h}{{\displaystyle \text{min}}}g\left(h|M_{\left(j,i\right)}\right)={\displaystyle \sum _{\left(u_j^m,x_i^m\right)\in M_{\left(j,i\right)}}{w}_m{\Vert {\widehat{x}}_i\left(u_j^m,h\right)-x_i^m\Vert }_2^2{,}_{\text{s}\text{,t}}R{R}^{\text{T}}=I}$$

  

  wobei ${\widehat{x}}_i^m=\left(u_j^m,h\right)$

  

  das Projektionsergebnis vom 3D-Punkt $u_j^m$

  

  zur Kamera-Brennebene von X̂_i bezogen auf die Kamerapose h unter Verwendung von Ausdruck (3) ist, R durch h_i wie oben bestimmt wird und $w_m=\frac{1}{{\Vert {\widehat{x}}_i\left(u_j^m,h\right)-x_i^m\Vert }_2^{\alpha }}$

  

  den Kehrwert des Messfehlers für das m-te Merkmalspaar, für m = 1, ... , |M_(j,i)| und typischerweise für α = 0.5 bezeichnet.
• Um dieses Problem zu lösen, verwenden wir den weitverbreitet verwendeten Levenberg-Marquardt-Algorithmus (LM) in Zusammenhang mit dem Proj ektionsoperator P(·), um die Orthonormalität der Drehmatrix R zu bewahren. Bei gegebener vorliegender Schätzung h^(t) kann die einstufige Aktualisierung h^(t+1) = h^(t) + Δh für Ausdruck (7) durch LM als eine Interpolation des Greedy-Abstiegs und der Gauss-Newton-Aktualisierung mit Folgendem angesehen werden: $$\Delta h={\left(H+\lambda \text{diag}\left(H\right)\right)}^{-1}b,$$

  

  wobei $H={\mathrm{\Sigma }}_{M_{\left(j,i\right)}}{w}_m\frac{\nabla {\widehat{x}}_i\left(u_j^m,h\right)}{\nabla h}{\frac{\nabla {\widehat{x}}_i\left(u_j^m,h\right)}{\nabla h}}^{\text{T}}$

  

  die Hesse-Matrix ist, $b={\mathrm{\Sigma }}_{M_{\left(j,i\right)}}{\frac{\nabla {\widehat{x}}_i\left(u_j^m,h\right)}{\nabla h}}^{\text{T}}\left[x_i^m-{\widehat{x}}_i\left(u_j^m,h\right)\right];$

  

  und λ ein Parameter ist, der mit Iterationen variiert, um das Interpolationsniveau entsprechend zu bestimmen.
• Der Projektionsoperator P(h) ist definiert, um r₁, r₂ zu orthonormalisieren. Wir revidieren das Verfahren, das ungefähr die Hälfte des Fehlers auf $r_1^{\text{'}}$

  

  und $r_2^{\text{'}}$

  

  aufteilt, als $$\left[\begin{array}{c}{r}_1^{\text{'}}\\ r_2^{\text{'}}\end{array}\right]:=\left[\begin{array}{c}{r}_1-\frac{r_2^{\text{T}}{r}_1}{2}\cdot r_2\\ \left[1+\frac{r_1^{\text{T}}{r}_2}{2}\right]r_2-r_1^{\text{T}}{r}_2/2\cdot r_1\end{array}\right],$$

  

  mit der Ausgabe orthonormalisiert r₁, r₂ als $r_1^{\text{'}}/{\Vert r_1^{\text{'}}\Vert }_2,r_2^{\text{'}}/{\Vert r_2^{\text{'}}\Vert }_2.$

  
• Für jedes Bild X̂_i in der Sequenz ${\left\{{\widehat{X}}_i\right\}}_{i=2}^p$

  

  schätzen wir unter Verwendung des vorherigen Bildes X̂_i-1 als das Referenzbild dessen Kamerapose h_i, indem wir die Kamerapose unter Verwendung von Ausdruck (8) mit einer in Übereinstimmung gebrachten Merkmalsmenge $M_{\left(i-\mathrm{1,}i\right)}$

  

  gefolgt von der Projektionsoperation $P(\cdot )$

  

  und einem Auswertungsschritt interativ aktualisieren.
• Kamerapose-Verfeinerung und Bildfusion
• Durch das Bündel-Einstellungs-Prinzip motiviert, schlagen wir weiter ein Verfeinern von Kameraposen-Schätzungen vor, um nützlichere in Übereinstimmung gebrachte Merkmalspaare auszunutzen. Mit dieser Beobachtung suchen wir für das i-te Bild X̂_i Merkmalspaare in sämtlichen der vorherigen Bilder und bilden die Indexmenge $L_i=\left\{l|l<i,{\widehat{X}}_i\cap {\widehat{X}}_i\ne 0\right\}$

  

  von Bildern, die mit X̂_i überlappen. Unter Verwendung der gleichen Bedingung im Ausdruck (6) für das Merkmalspunkt-Inübereinstimmungbringen zwischen dem Sollbild X̂_i und jedem Bild mit dem Index in der Menge $L_i$

  

  erhalten wird die Vereinigung von inübereinstimmunggebrachten Merkmals-Mengen ${\text{U}}_{j\in L_i}{A}_{\left(j,i\right)}.$

  

  5 zeigt einen Algorithmus, der ein verfeinertes robustes gewichtetes LM (RRWLM) beschreibt, gemäß Ausführungsformen der vorliegenden Erfindung.
• Initialisiert mit den geschätzten Kameraposen ${\left\{{\widehat{h}}_i\right\}}_{i=2}^p$

  

  unter Verwendung von Ausdruck (9) aktualisiert das vorgeschlagene Verfahren RRWLM abwechselnd eine Pose, während die übrigen Posen fixiert gehalten werden, wie in 5 zusammengefasst. Mit den akkurat geschätzten Kameraposen für die Sequenz von Bildern ${\left\{{\widehat{X}}_i\right\}}_{i=1}^p({\left\{{\widehat{X}}_i^{\text{'}}\right\}}_{i=1}^q$

  

  nach der Verformung) projizieren wir schließlich sämtliche Pixel in diesen Bildern zurück auf die 3D-Oberfläche und nutzen die lineare Interpolation, um die Superauflösungs-Oberflächentextur Û_b (Û_f) zu erzielen und sie schließlich auf das 2D-Bild ${\widehat{U}}_b^{\text{'}}\left({\widehat{U}}_{ƒ}^{\text{'}}\right)$

  

  auseinanderzufalten.
• DIC
• Aus den vorherigen Modulen erhalten wir jeweils die Referenz ${\widehat{U}}_b^{\text{'}}$

  

  und das verformte Bild ${\widehat{U}}_{ƒ}^{\text{'}}$

  

  großer Sehfelder der 3D-Oberfläche aus zwei Sequenzen von Bildern ${\left\{Y_i\right\}}_{i=1}^p$

  

  und ${\left\{Y_i^{\text{'}}\right\}}_{i=1}^q$

  

  mit schmalen Sehfeldern als Eingaben. Das grundlegende Prinzip von DIC ist das Verfolgen der gewählten Punkte zwischen zwei Bildern, die vor und nach der Verformung aufgenommen werden, zur Verschiebung. Die Unterniveau-Verschiebung bzw. Sub-Niveau-Verschiebung kann berechnet werden, indem Pixel in dem dünnbesetzten Gitter verfolgt werden, das auf dem Referenzbild definiert ist, und zwar dank der Merkmalsverfolgungsverfahren. Unter der Annahme, dass die Verschiebung bei den meisten Ingenieursanwendungen klein ist, ermöglicht unser DIC-Modul die Berechnung der Dehnungsmessung durch Verschiebung in verschiedenen glatten Niveaus auf der Basis der Programmierung.
• Numerische Experimente
• Experimentelle Vorgaben
• Für die 3D-Prüfling-Oberfläche werden zwei Sequenzen von Bildern erfasst, jeweils vor und nach einer Verformung, und zwar mittels einer sich bewegenden Kamera, wie in 4A bis 4B veranschaulicht, wobei angenommen wird, dass die Region außerhalb des Zylinders schwarz ist. Der 3D-Zylinder hat einen Radius r = 500 mm und eine Höhe H = 80 mm. Die Kamera-Bewegungstrajektorie liegt ungefähr in einer runden Oberfläche eines koaxialen virtuellen Zylinders mit dem Radius r₂ = 540 mm. Die Kameraposen für sämtliche erfassten Bilder sind nicht exakt bekannt, ausgenommen des ersten Bildes, infolge von zufälligen Störungen bzw. Perturbationen.
• Zur Superauflösungs-Rekonstruktion der Oberflächentextur bewegt sich die Kamera in einem Schlängel-Abtastmuster, wobei 5 Bilder aufgenommen werden, während sie sich entlang der Axialrichtung bewegt und dann in der Tangentialrichtung für die nächsten 5 Bilder entlang der Axialrichtung bewegt, und so weiter. Wir sammeln insgesamt p = 160 Bilder der Größe m × n = 500 × 600 für jede Sequenz. Beide Sequenzen decken die gleiche Fläche ab, nämlich ungefähr 60° der Zylinderoberfläche mit geringfügig unterschiedlichen Startpositionen vor und nach der Verformung, was direkt auf die 360°-Oberfläche erweitert werden kann.
• Implementierung und Auswertung
• Um unser vorgeschlagenes Grundgerüst und das wesentliche PnP-Verfahren zur Bildfusion zu untersuchen, betrachten wir 5 Basislinie-Verfahren, die aus einem klassischen iterativen Verfahren LHM, vier nichtiterativen Verfahren EPnP + GN, OPnP + LM, ASPnP und REPPnP unter Verwerfung von Ausreißern bestehen. Zum Vergleich bezeichnen wir den nicht-verfeinerten Schätzungsprozess unter Verwendung von Ausdruck (9) als robust gewichtete LM (RWLM) und den verfeinerten robust gewichteten LM als RRWLM in Alg. 1, wie in 5 gezeigt. Sämtliche Basislinie-Verfahren verwenden die Merkmalsmenge zum Inübereinstimmungbringen. Sowohl LHM, als auch RWLM verwenden deren eigene Kameraposen-Schätzung des vorherigen Bildes als Initialisierung für das gegenwärtige Bild.
• RRWLM läuft mit ${\left\{L_i=\left\{l<i,\left|l-i\right|\le 30\right\}\right\}}_{\text{i}=\text{1}}^p,$

  

  M = 20 und anderen Parametern. Um die Genauigkeit der Kameraposen-Schätzung {R̂,T̂} auszuwerten, berechnen wir den rotatorischen und translatorischen Fehler gemeinsam mit der echten Wahrheit {R, T} als ||[R̂ - R, T̂ - T]||₂ und dem weitverbreitet verwendeten PSNR für die Ergebnisse ${\widehat{U}}_b^{\text{'}}$

  

  und ${\widehat{U}}_{ƒ}^{\text{'}}$

  

  des Bild-Aneinanderheftens.
• Unter Verwendung nur der ersten 10 Bilder jeder Sequenz von Bildern, d. h. ${\left\{{\widehat{X}}_i\right\}}_{i=1}^{10}$

  

  und ${\left\{{\widehat{X}}_i^{\text{'}}\right\}}_{i=1}^{10}$

  

  für die Referenz und verformte Textur, zeigen wir zunächst den Durchschnitt des Kameraposen-Schätzungsfehlers und das durchschnittliche PSNR der aneinandergehefteten Oberflächentextur-Bilder ${\widehat{U}}_b^{\text{'}}$

  

  U_b und ${\widehat{U}}_{ƒ}^{\text{'}}$

  

  im Vergleich zu den besten drei Basislinie-Verfahren in 6. Die Dehnungsanalyse-Ergebnisse mittels DIC werden in 7A, 7B und 7C präsentiert. Wir beobachten, dass die vorgeschlagenen Verfahren eine konkurrenzfähige Genauigkeit im Vergleich mit den vorhandenen Verfahren haben, wenn die Anzahl von Bildern zur Fusion relativ klein ist.
• 6 zeigt die durchschnittlichen Fehler der Kameraposen-Schätzung und das PSNR der Bildfusionsergebnisse, gemäß einer Ausführungsform der vorliegenden Erfindung, ${\widehat{U}}_b^{\text{'}}$

  

  und ${\widehat{U}}_{ƒ}^{\text{'}},$

  

  den durchschnittlichen Fehler der Kameraposen-Schätzung und das PSNR der Bildfusionsergebnisse, die sämtliche 160 Bilder oder nur die ersten 10 Bilder in jeder Sequenz verwenden. Die Figur zeigt stattdessen die gleichen Quantitäten unter Verwendung sämtlicher Bilder in der Sequenz der Größe p = q = 160.
• Verglichen mit RWLM verbessert das vorgeschlagene Verfahren RRWLM die Performanz mittels Kamerapose-Verfeinerung, und es übertrifft auch signifikant die Basislinie-Verfahren, wenn eine große Anzahl von Bildern aneinandergeheftet werden. Der Hauptgrund für die Verbesserung ist, dass das vorgeschlagene Verfahren RRWLM die irreversible Kameraposenfehler-Akkumulation in den Zielszenarien verringert.
• Zur Anschauung sind die Bildfusionsergebnisse für das Referenzbild $U_b^{\text{'}}$

  

  über das vorgeschlagene RRWLM in 8B verglichen mit dem idealen Bild gezeigt, das in 8A gezeigt ist, und dem besten Basislinie-Verfahren OPnP + LM in 8C. Da die Bildfusionsergebnisse mittels der vorhandenen Verfahren nicht mehr für eine vernünftige Dehnungsmessung verwendbar sind, vergleichen wir nur das Dehnungsmessungs-Ergebnis mittels DIC unter Verwendung von RRWLM mit der echten Wahrheit in 9A bis 9B (zeigen nur die Dehnung in der xx-Richtung, was dem begrenzten Platz geschuldet ist). Dies impliziert, dass das vorgeschlagene Grundgerüst zumindest eine Sub-Pixel- und anwendbare Genauigkeit der Bildfusionsergebnisse zur Dehnungsmessung erzielt, und zwar selbst bei einer großen Anzahl von Bildern, die zu fusionieren sind.
• Demzufolge stellen einige Ausführungsformen der vorliegenden Erfindung ein fusionsbasiertes Ende-zu-Ende-DIC-Grundgerüst zur 2D Dehnungsmessung entlang der gekrümmten Oberfläche von 3D-Objekten mit großer Größe bereit. Um die Herausforderungen des schmalen Sehfelds der Oberfläche bei einem Einzelbild anzugehen, nehmen wir das Bildfusionsprinzip auf und entkoppeln das Bildfusionsproblem in eine Sequenz von perspektivischen n-Punkt-Problemen (PnP-Problemen).
• Das vorgeschlagene PnP-Verfahren in Zusammenhang mit der Bündel-Einstellung stellt die 3D-Oberflächen-Textur bei einer großen Anzahl von aneinandergehefteten Bildern akkurat wieder her und erzielt eine anwendbare Dehnungsmessung mittels des DIC-Verfahrens. Numerische Experimente werden durchgeführt, um die Überlegenheit im Vergleich zu vorhandenen Verfahren zu zeigen.
• Die oben beschriebenen Ausführungsformen der vorliegenden Erfindung können auf jegliche von zahlreichen Arten implementiert werden. Beispielsweise können die Ausführungsformen unter Verwendung von Hardware, Software oder einer Kombination aus diesen implementiert werden. Wenn sie in Software implementiert werden, kann der Software-Code auf irgendeinem geeigneten Prozessor oder einer Zusammenstellung von Prozessoren ausgeführt werden, unabhängig davon, ob sie als ein einzelner Computer ausgebildet sind oder über mehrere Computer verteilt sind. Solche Prozessoren können als integrierte Schaltungen implementiert werden, wobei einer oder mehrere Prozessoren in einer integrierten Schaltungskomponente vorhanden ist. Ein Prozessor kann aber auch unter Verwendung einer Schaltung in j eglichem geeigneten Format implementiert werden.
• Auch können die Ausführungsformen der Erfindung als ein Verfahren verkörpert werden, von dem ein Beispiel angegeben ist. Die Handlungen, die als ein Teil des Verfahrens durchgeführt werden, können auf jegliche geeignete Weise sortiert werden. Demzufolge können Ausführungsformen realisiert werden, bei denen Handlungen in einer anderen Reihenfolge als dargestellt durchgeführt werden, was ein gleichzeitiges Durchführen einiger Handlungen einschließt, auch wenn sie in den anschaulichen Ausführungsformen als sequenzielle Handlungen gezeigt sind.
• Die Verwendung von Ordnungsbegriffen, wie z. B. „erste“, „zweite“ usw. in den Ansprüchen, um ein Anspruchselement zu modifizieren, bedeuten selbst keine Priorität, keinen Vorrang oder keine Reihenfolge eines Anspruchselements bezüglich eines anderen oder die zeitliche Reihenfolge, in der Handlungen eines Verfahrens durchgeführt werden, sondern sie werden einzig als Bezeichnungen verwendet, um ein Anspruchselement mit einem gewissen Namen von einem anderen Element mit dem gleichen Namen (mit Ausnahme des Ordnungsbegriffs) zu unterscheiden, um die Anspruchselemente zu unterscheiden.
• Obwohl die Erfindung in Form von Beispielen bevorzugter Ausführungsformen beschrieben ist, versteht es sich, dass verschiedenartige weitere Adaptierungen und Modifikationen innerhalb des Geists und Umfangs der Erfindung vorgenommen werden können.
• Daher ist es das Ziel der beigefügten Ansprüche, sämtliche solche Variationen und Modifikationen abzudecken, die in den wahren Geist und Umfang der Erfindung fallen.
• 1 ist ein schematisches Diagramm, das ein Dehnungsmessungssystem 100 zum Erzeugen einer Verschiebungs-Karte einer interessierenden Oberfläche 140 veranschaulicht, gemäß Ausführungsformen der vorliegenden Erfindung. In manchen Fällen kann die Verschiebungs-Karte eine Dehnungskarte sein.
• Das Dehnungsmessungssystem 100 kann einen Netzwerk-Schnittstellencontroller (Schnittstelle) 110 aufweisen, der so konfiguriert ist, dass er Bilder von einer Kamera/einem Sensor 141 empfängt und Bilder anzeigt 142. Die Kamera/der Sensor 141 ist so konfiguriert, dass sie/er überlappte Bilder der interessierenden Oberfläche 140 aufnimmt.
• Außerdem kann das Dehnungsmessungssystem 100 eine Speicher/CPU-Einheit 120 aufweisen, um computer-ausführbare Programme in einem Speicher 200 zu speichern. Die computer-ausführbaren Programme/Algorithmen können eine Bildschärfungseinheit 220, eine Bild-Aneinanderheftungs-Einheit 230, eine Digitalbildkorrelationseinheit (DIC-Einheit) 240 und eine Bild-Verschiebungs-Karten-Einheit 250 aufweisen. Die computer-ausführbaren Programme sind so konfiguriert, dass sie sich mit der Speicher /CPU Einheit 120 verbinden, die auf den Speicher 200 zugreift, um die computer-ausführbaren Programme zu laden.
• Außerdem ist die Speicher/CPU-Einheit 120 so konfiguriert, dass sie Bilder (Daten) von der Kamera/vom Sensor 151 oder einem Bilddatenserver 152 über ein Netzwerk 150 empfängt und die oben diskutierte Verschiebungsmessung 100 durchführt.
• Ferner kann das Dehnungsmessungssystem 100 zumindest eine Kamera aufweisen, die so angeordnet ist, dass sie Bilder der interessierenden Oberfläche 140 erfasst, und die zumindest eine Kamera kann die erfassten Bilder an eine Anzeigeeinrichtung 142 über die Schnittstelle übertragen.
• 2 zeigt ein schematisches Diagramm, das den Speicher 200 zum Erzeugen der Verschiebungs-Karte unter Verwendung von Bildern der Oberfläche angibt, die von der Kamera/vom Sensor erfasst werden, gemäß einiger Ausführungsformen der vorliegenden Erfindung. Das Speicher-Modul 200 verwendet Bilder, die vor und nach der Dehnung erfasst werden, unter Verwendung von Bezeichnungen, die jeweils mit A und B enden, um die Verschiebungs-Karte 250 zu erzeugen. Zunächst werden unscharfe überlappte Bilder 215A durch den Bild-Sammelprozess vor der Dehnung 210A erfasst, und nach dem Bild-Schärfungsprozess 220A sind die Bilder als scharfe überlappte Bilder 225A geschärft.
• Die scharfen überlappten Bilder werden dann aneinandergeheftet, und zwar unter Verwendung des Bild-Aneinanderheftungsprozesses 230A, um ein großes scharfes Oberflächenbild 235A zu bilden. Auf ähnliche Weise werden die Bilder, die nach der Dehnung erfasst werden, mittels Bildschärfung 220B, Bild-Aneinanderheften 230B verarbeitet, so dass ein großes scharfes Oberflächenbild 235B gebildet wird. Die Bilder 235A und 235B werden unter Verwendung von DIC-Analyse 240 verglichen, so dass eine Verschiebungs-Karte 250 erzeugt wird, die die Dehnung angibt, die von der Oberfläche entgegengenommen wird.
• 3A zeigt ein schematisches Diagramm, das das Bildschärfungsmodul 220 zur Schärfung von Bildern der Oberfläche angibt, die von der Kamera/vom Sensor erfasst werden, gemäß einigen Ausführungsformen der vorliegenden Erfindung. Zunächst wird ein anfänglicher Unschärfe-Kern 2201 unter Verwendung eines Wiener-Filters geschätzt, indem das normierte Dünnbesetztheit-Maß minimiert wird, wie im Ausdruck (5) angegeben. Das Bild wird dann geschärft, indem ein iteratives blindes Entfaltungsproblem gemäß Ausdruck (4) gelöst wird. Bei jeder Iteration werden nach dem Entfalten des Unschärfe-Kerns 2202 mit den erfassten Bildern geschärfte Bilder erzeugt und verwendet, um sie mit den vorherigen geschärften Bildern zu vergleichen, um die Konvergenz zu prüfen 2203.
• Falls deren Differenzen (oder relativen Fehler) klein sind, was bedeutet, dass der Algorithmus konvergiert ist, gibt das Bildschärfungsmodul 220 die gegenwärtigen geschärften Bilder als scharfe überlappte Bilder aus. Andernfalls wird der Unschärfe-Kern aktualisiert, indem Ausdruck (4) minimiert wird und für den nächsten Iterations-Entfaltungsprozess 2202 verwendet wird, bis der Algorithmus konvergiert.
• 3B zeigt ein schematisches Diagramm, das das Bild-Aneinanderheftungsmodul 230 zum Aneinanderheften scharfer überlappter Bilder auf ein großes scharfes Oberflächenbild angibt, gemäß einigen Ausführungsformen der vorliegenden Erfindung. Um das i-te Bild mit dessen benachbarten j-ten Bild in seiner Nachbarschafts-Bildmenge Li aneinanderzuheften, wobei die j-te Bildkameraposition h_j bekannt ist, werden Inübereinstimmungbringungs-Punkte bzw. Übereinstimmungspunkte A_j,i unter Verwendung des SIFT-Merkmals bestimmt 2301. Mit der bekannten Kamerapose h_j werden die Inübereinstimmungbringungs-Punkte auf dem j-ten Bild auf die Zylinderoberfläche 2302 projiziert.
• Falls die i-te Bildkameraposition unbekannt ist 2303, wird ein PnP-Problem gelöst 2304, und zwar unter Verwendung von Algorithmus 1, um die Kamerapose hi zu schätzen, die bekannte Kameraposenmenge H wird aktualisiert, indem hi darin aufgenommen wird, und die Nachbarschafts-Bildmenge Li wird aktualisiert, indem das i-te Bild darin aufgenommen wird. Dann wird das (i+1)-te Bild betrachtet, um es an dessen Nachbarschafts-Bilder zu heften. Falls die Kamerapose bestimmt wird, die mit sämtlichen Bildern zusammenhängt, was bedeutet, dass hi unbekannt 2303 nicht wahr ist, werden Bilder unter Verwendung von deren Kamerapose auf die Zylinderoberfläche projiziert und interpoliert 2307, um ein großes scharfes Oberflächenbild 235 zu erzeugen.
• Die oben beschriebenen Ausführungsformen der vorliegenden Erfindung können unter Verwendung von Hardware, Software oder einer Kombination aus Hardware und Software implementiert werden.
• Auch können die Ausführungsformen der Erfindung als ein Verfahren realisiert werden, von dem ein Beispiel angegeben ist. Die Handlungen, die als ein Teil des Verfahrens durchgeführt werden, können auf jegliche geeignete Weise sortiert werden. Demzufolge können Ausführungsformen konstruiert werden, bei denen Handlungen in einer anderen Reihenfolge als dargestellt durchgeführt werden, was ein gleichzeitiges Durchführen einiger Handlungen einschließt, auch wenn sie in den anschaulichen Ausführungsformen als sequenzielle Handlungen gezeigt sind.
• Die Verwendung von Ordnungsbegriffen, wie z. B. „erste“, „zweite“ usw. in den Ansprüchen, um ein Anspruchselement zu modifizieren, bedeuten selbst keine Priorität, keinen Vorrang oder keine Reihenfolge eines Anspruchselements bezüglich eines anderen oder die zeitliche Reihenfolge, in der Handlungen eines Verfahrens durchgeführt werden, sondern sie werden einzig als Bezeichnungen verwendet, um ein Anspruchselement mit einem gewissen Namen von einem anderen Element mit dem gleichen Namen (mit Ausnahme des Ordnungsbegriffs) zu unterscheiden, um die Anspruchselemente zu unterscheiden.

Claims (20)

1. Bildverarbeitungseinrichtung zum Messen der Dehnung eines Objekts, die Folgendes aufweist: - eine Schnittstelle, die so konfiguriert ist, dass sie erste Sequenzbilder und zweite Sequenzbilder erfasst, wobei zwei aneinandergrenzende Bilder der ersten Sequenzbilder erste Überlappungsbereiche aufweisen, wobei zwei aneinandergrenzenden Bilder der zweiten Sequenzbilder zweite Überlappungsbereiche aufweisen, wobei die ersten Sequenzbilder einer ersten dreidimensionalen (3D-) Oberfläche auf dem Objekt in einem ersten Zustand entsprechen und die zweiten Sequenzbilder einer zweiten 3D-Oberfläche auf dem Objekt in einem zweiten Zustand entsprechen; - einen Speicher zum Speichern von computer-ausführbaren Programmen inklusive eines Bildschärfungsverfahrens, eines Posen-Verfeinerungsverfahrens, eines fusioniert-basierten Korrelationsverfahrens, eines Dehnungsmessungsverfahrens und eines Bildkorrekturverfahrens; und - einen Prozessor, der so konfiguriert ist, dass er die computer-ausführbaren Programme ausführt, wobei der Prozessor die folgenden Schritte durchführt: Schärfen der ersten Sequenzbilder und der zweiten Sequenzbilder zum Erhalten von scharfe Brennebenen-Bildern auf der Basis eines blinden Kern-Entfaltungs-Verfahrens; Aneinanderheften der geschärften ersten Sequenzbilder und der geschärften zweiten Sequenzbilder in ein erstes scharfes 3D-Bild und ein zweites scharfes 3D-Bild auf der Basis von Kameraposen-Schätzungen durch Lösen jeweils eines perspektivischen n-Punkt-Problems (PnP-Problems) unter Verwendung eines verfeinerten robusten gewichteten Levenberg-Marquardt-Algorithmus (RRWLM-Algorithmus); Bilden eines ersten zweidimensionalen (2D) Bildes und eines zweiten 2D-Bildes jeweils durch Auseinanderfalten des ersten scharfen 3D-Bildes und des zweiten scharfen 3D-Bildes; und Erzeugen einer Verschiebungs-Karte aus den ersten 2D-Bildern und den zweiten 2D-Bildern durch Durchführen eines zweidimensionalen Digitalbild-Korrelationsverfahrens (DIC-Verfahrens).
2. Bildverarbeitungseinrichtung nach Anspruch 1, wobei der erste Zustand eine Referenzbedingung des Objekts ist, das innerhalb eines Anfangszeitraums nicht betätigt worden ist, und der zweite Zustand ein Nachfolgezustand des Objekts ist, das in einem Betätigungszeitraum betätigt worden ist.
3. Bildverarbeitungseinrichtung nach Anspruch 1, die ferner ein Analysieren der lokalen Dehnung auf der Oberfläche des Objekts unter Verwendung der Verschiebungs-Karte durchführt.
4. Bildverarbeitungseinrichtung nach Anspruch 1, wobei die Kameraposen-Schätzung durchgeführt wird, indem ein perspektivisches n-Punkt-Problem (PnP-Problem) gelöst wird.
5. Bildverarbeitungseinrichtung nach Anspruch 1, wobei das perspektivische n-Punkt-Problem (PnP-Problem) ein Inübereinstimmungbringen von Punkten auf der Basis von skalierungsinvarianten Merkmals-Transformationsmerkmalen (SIFT-Merkmalen) verwendet.
6. Bildverarbeitungseinrichtung nach Anspruch 1, wobei die Schärfung mittels eines blinden Entfaltungsverfahrens durchgeführt wird.
7. Bildverarbeitungseinrichtung nach Anspruch 1, wobei die Verschiebungs-Karte auf der Basis eines Merkmalsverfolgungsverfahrens berechnet wird.
8. Bildverarbeitungseinrichtung nach Anspruch 1, wobei die ersten und zweiten Sequenzbilder von einer gekrümmten Oberfläche des Objekts erfasst werden.
9. Bildverarbeitungseinrichtung nach Anspruch 1, wobei das Objekt eine Zylinderform ist.
10. Bildverarbeitungseinrichtung nach Anspruch 1, wobei die ersten Sequenzbilder erfasst werden, bevor das Objekt verformt wird, und die zweiten Sequenzbilder erfasst werden, nachdem das Objekt verformt worden ist.
11. Bildverarbeitungseinrichtung nach Anspruch 1, wobei eine Kamerapose zumindest eines ersten Bilds der ersten Sequenzbilder bekannt ist, wobei eine Kamerapose zumindest eines ersten Bilds der zweiten Sequenzbilder bekannt ist.
12. Bildverarbeitungseinrichtung nach Anspruch 1, wobei die Kameraposen-Schätzung mittels eines verfeinerten robusten gewichteten Levenberg-Marquardt-Algorithmus (RRWLM-Algorithmus) aktualisiert wird.
13. Bildverarbeitungsverfahren zum Messen der Dehnung eines Objekts, das Folgendes umfasst: - Erfassen von ersten Sequenzbildern und zweiten Sequenzbildern, wobei zwei aneinandergrenzende Bilder der ersten Sequenzbilder erste Überlappungsbereiche aufweisen, wobei zwei aneinandergrenzenden Bilder der zweiten Sequenzbilder zweite Überlappungsbereiche aufweisen, wobei die ersten Sequenzbilder einer ersten dreidimensionalen (3D-) Oberfläche auf dem Objekt in einem ersten Zustand entsprechen und die zweiten Sequenzbilder einer zweiten 3D-Oberfläche auf dem Objekt in einem zweiten Zustand entsprechen; - Schärfen der ersten Sequenzbilder und der zweiten Sequenzbilder zum Erhalten von scharfen Brennebenen-Bildern auf der Basis eines blinden Entfaltungs-Verfahrens; - Aneinanderheften der geschärften ersten Sequenzbilder und der geschärften zweiten Sequenzbilder in ein erstes scharfes 3D-Bild und ein zweites scharfes 3D-Bild auf der Basis von Kameraposen-Schätzungen durch Lösen jeweils eines perspektivischen n-Punkt-Problems (PnP-Problems) unter Verwendung eines verfeinerten robusten gewichteten Levenberg-Marquardt-Algorithmus (RRWLM-Algorithmus); - Bilden eines ersten zweidimensionalen (2D) Bildes und eines zweiten 2D-Bildes jeweils durch Auseinanderfalten des ersten scharfen 3D-Bildes und des zweiten scharfen 3D-Bildes; und - Erzeugen einer Verschiebungs-(Dehnungs-) Karte aus den ersten 2D-Bildern und den zweiten 2D-Bildern durch Durchführen eines zweidimensionalen Digitalbild-Korrelationsverfahrens (DIC-Verfahrens).
14. Verfahren nach Anspruch 13, wobei der erste Zustand eine Referenzbedingung des Objekts ist, das innerhalb eines Anfangszeitraums nicht betätigt worden ist, und der zweite Zustand ein Nachfolgezustand des Objekts ist, das in einem Betätigungszeitraum betätigt worden ist.
15. Verfahren nach Anspruch 13, das ferner ein Analysieren der lokalen Dehnung auf der Oberfläche des Objekts unter Verwendung der Verschiebungs-Karte durchführt.
16. Verfahren nach Anspruch 13, wobei die Kameraposen-Schätzung durchgeführt wird, indem ein perspektivisches n-Punkt-Problem (PnP-Problem) gelöst wird.
17. Nichtflüchtiges computerlesbares Medium, das Programmanweisungen aufweist, die einen Computer dazu veranlassen, ein Verfahren durchzuführen, das Folgendes umfasst: - Erfassen von ersten Sequenzbildern und zweiten Sequenzbilder, wobei zwei aneinandergrenzende Bilder der ersten Sequenzbilder erste Überlappungsbereiche aufweisen, wobei zwei aneinandergrenzenden Bilder der zweiten Sequenzbilder zweite Überlappungsbereiche aufweisen, wobei die ersten Sequenzbilder einer ersten dreidimensionalen (3D-) Oberfläche auf dem Objekt in einem ersten Zustand entsprechen und die zweiten Sequenzbilder einer zweiten 3D-Oberfläche auf dem Objekt in einem zweiten Zustand entsprechen; - Schärfen der ersten Sequenzbilder und der zweiten Sequenzbilder zum Erhalten von scharfen Brennebenen-Bildern auf der Basis eines blinden Entfaltungs-Verfahrens; - Aneinanderheften der geschärften ersten Sequenzbilder und der geschärften zweiten Sequenzbilder in ein erstes scharfes 3D-Bild und ein zweites scharfes 3D-Bild auf der Basis von Kameraposen-Schätzungen durch Lösen jeweils eines perspektivischen n-Punkt-Problems (PnP-Problems) unter Verwendung eines verfeinerten robusten gewichteten Levenberg-Marquardt-Algorithmus (RRWLM-Algorithmus); - Bilden eines ersten zweidimensionalen (2D) Bildes und eines zweiten 2D-Bildes jeweils durch Auseinanderfalten des ersten scharfen 3D-Bildes und des zweiten scharfen 3D-Bildes; und - Erzeugen einer Verschiebungs-(Dehnungs-) Karte aus den ersten 2D-Bildern und den zweiten 2D-Bildern durch Durchführen eines zweidimensionalen Digitalbild-Korrelationsverfahrens (DIC-Verfahrens).
18. Computerlesbares Medium nach Anspruch 17, wobei der erste Zustand eine Referenzbedingung des Objekts ist, das innerhalb eines Anfangszeitraums nicht betätigt worden ist, und der zweite Zustand ein Nachfolgezustand des Objekts ist, das in einem Betätigungszeitraum betätigt worden ist.
19. Computerlesbares Medium nach Anspruch 17, das ferner ein Analysieren der lokalen Dehnung auf der Oberfläche des Objekts unter Verwendung der Verschiebungs-Karte durchführt.
20. Computerlesbares Medium nach Anspruch 17, wobei die Kameraposen-Schätzung durchgeführt wird, indem ein perspektivisches n-Punkt-Problem (PnP-Problem) gelöst wird.

Images