DE102022209992A1 - Vorrichtung und Verfahren für Panoramabildgebung - Google Patents

Abstract

Hierbei werden eine Vorrichtung und ein Verfahren für Panoramabildgebung offenbart, bei denen ein Merkmalpunkt in einem angrenzenden Teil von benachbarten Bildern extrahiert wird, entsprechende Merkmalpunkte, die denselben Teil des aufgenommenen Objekts repräsentieren, in den benachbarten Bildern einander zugeordnet werden, alle Rotationstransformationsparameter und Translationstransformationsparameter in einer als Optimierungsziel für globale Optimierung dienenden Verlustfunktion, in die intrinsische Matrizen der Bildgebungseinrichtungen für die Bilder und Essential-Matrizen zwischen den Bildern eingehen, nicht linear optimiert werden, wobei die Koordinaten aller extrahierten Merkmalpunkte in allen Bildern als Erfassungsdaten verwendet werden, die zu korrigierenden Bilder unter Verwendung der optimierten Rotationstransformationsparameter und Translationstransformationsparameter korrigiert werden, und die korrigierten Bilder auf Panorama abgebildet und zu einem Panoramabild zusammengefügt werden.

Description

• Technisches Gebiet
• Die Anmeldung betrifft eine Vorrichtung und ein Verfahren für Panoramabildgebung mit verbesserter Bildzusammenfügung.
• Stand der Technik
• In den letzten Jahren werden Panoramabildgebungsvorrichtungen, also Fotoapparate und Videoapparate, immer weiter verbreitet. Die Panoramabildgebungstechnologien werden sowohl hinsichtlich persönlicher Foto- und Videoaufnahme als auch in den Bereichen von Robotern, 3D-Druck, Computervision, Virtual-Reality, Überwachung usw. schnell entwickelt.
• Bei der Panoramabildgebung werden mehrere Bilder zusammengefügt. Um die Genauigkeit der Zusammenfügung zu erhöhen, werden verschiedene Techniken für Bildzusammenfügung vorgeschlagen. Viel davon bezieht sich auf die Genauigkeit der homografischen Matrix. Die homografische Matrix enthält die intrinsischen und extrinsischen Parameter der Bildgebungseinrichtung, einschließlich der Rotationsparameter und Translationsparameter. Die intrinsischen Parameter können durch eine intrinsische Matrix K bezeichnet werden, und die Rotationsparameter bzw. Translationsparameter können durch eine Rotationsmatrix R bzw. einen Translationsvektor t bezeichnet werden. Die intrinsischen Parameter können meist vorkalibriert werden und sind bei dauerhafter Nutzung sehr stabil. Bei den herkömmlichen Bildzusammenfügungstechniken wird eine Lösung zur Optimierung einer homografischen Matrix verwendet, in der unter der Annahme, dass die Beeinflussung der intrinsischen Parameter ausgeschlossen werden kann und dass eine einzelne Bildgebungseinrichtung nur in Drehung versetzt wird bzw. mehrere Bildgebungseinrichtungen um ein perfektes Zentrum positioniert sind, ausschließlich die Optimierung der Rotationsparameter durchgeführt wird, um das zusammengefügte Bild zu erhalten. Diese Lösung hat den Vorteil, dass durch den Ausschluss der translatorischen Bewegungen der Rechenaufwand relativ niedrig gehalten werden kann. Jedoch weist sie eine begrenzte Genauigkeit für die Zusammenfügung des Bildes auf.
• Offenbarung der Erfindung
• Eine Aufgabe der Anmeldung besteht darin, einen verbesserten Ansatz für Bildzusammenfügung in der Panoramabildgebung bereitzustellen.
• In einem Aspekt der Anmeldung wird eine Panoramabildgebungsvorrichtung bereitgestellt, umfassend: eine Bildgebungseinheit, die zur Aufnahme mehrerer Bilder eingerichtet ist; und eine Steuereinheit, die dazu eingerichtet ist, einen Merkmalpunkt in einem angrenzenden Teil von benachbarten Bildern zu extrahieren, entsprechende Merkmalpunkte, die denselben Teil des aufgenommenen Objekts repräsentieren, in den benachbarten Bildern einander zuzuordnen, alle Rotationstransformationsparameter und Translationstransformationsparameter in einer als Optimierungsziel für globale Optimierung dienenden Verlustfunktion, in die intrinsische Matrizen der Bildgebungseinrichtungen für die Bilder und Essential-Matrizen zwischen den Bilder eingehen, nicht linear zu optimieren, wobei die Koordinaten aller extrahierten Merkmalpunkte in allen Bildern als Erfassungsdaten verwendet werden, die zu korrigierenden Bilder unter Verwendung der optimierten Rotationstransformationsparameter und Translationstransformationsparameter zu korrigieren, und die korrigierten Bilder auf Panorama abzubilden und zu einem Panoramabild zusammenzufügen.
• In einem Aspekt der Anmeldung wird ein Panoramabildgebungsverfahren bereitgestellt, umfassend: Extrahieren eines Merkmalpunkts in einem angrenzenden Teil von benachbarten Bildern, Zuordnen entsprechender Merkmalpunkte, die denselben Teil des aufgenommenen Objekts repräsentieren, in den benachbarten Bildern, nicht lineares Optimieren aller Rotationstransformationsparameter und Translationstransformationsparameter in einer als Optimierungsziel für globale Optimierung dienenden Verlustfunktion, in die intrinsische Matrizen der Bildgebungseinrichtungen für die Bilder und Essential-Matrizen zwischen den Bildern eingehen, wobei die Koordinaten aller extrahierten Merkmalpunkte in allen Bildern als Erfassungsdaten verwendet werden, Korrigieren der zu korrigierenden Bilder unter Verwendung der optimierten Rotationstransformationsparameter und Translationstransformationsparameter, und Abbilden der korrigierten Bilder auf Panorama und Zusammenfügen zu einem Panoramabild.
• Das Panoramabildgebungsverfahren gemäß der Anmeldung kann durch die Panoramabildgebungsvorrichtung gemäß der Anmeldung oder ihre Steuereinheit durchgeführt werden. Zudem können die Merkmale, die in Bezug auf die Panoramabildgebungsvorrichtung gemäß der Anmeldung oder ihre Steuereinheit beschrieben werden, auch für das Panoramabildgebungsverfahren gemäß der Anmeldung gelten.
• Gemäß der Anmeldung können mittels eines einfachen Verfahrens unter der Verwendung eines globalen Verlusts als Optimierungsziel alle zur Bildzusammenfügung zugehörigen Rotationsparameter und Translationsparameter gleichzeitig optimiert werden. Es ist möglich, dass die sämtlichen 6-dimensionalen Parameter (3 Dimensionen für Rotation + 3 Dimensionen für Translation) global optimiert werden, um eine erhebliche Verbesserung hinsichtlich der Genauigkeit der Bildzusammenfügung mit einem relativ niedrigen Rechenaufwand zu erzielen.
• Figurenliste
• Die obigen und anderen Aspekte der vorliegenden Anmeldung können durch die detaillierte Erklärung in Bezug auf die beigefügten Figuren völlig verstanden und begriffen werden. Es zeigen:
• 1 ein Ablaufdiagramm eines Panoramabildgebungsverfahrens gemäß einer möglichen Ausführungsform der Anmeldung, und
• 2 eine schematische Darstellung eines Punkts eines im Optimierungsverfahren der Anmeldung betroffenen Bildes.
• Ausführliche Ausführungsformen
• Die Anmeldung betrifft allgemein einen Ansatz für Bildzusammenfügung in Panoramabildgebung. Die Panoramabildgebungsvorrichtung der Anmeldung kann entweder eine einzelne Bildgebungseinrichtung (Fotoapparat oder Videoapparat), die um eine Achse um 360° drehbar ist, oder mehrere Bildgebungseinrichtungen (Fotoapparate oder Videoapparate), die im Bereich von 360° um eine Achse oder ein Zentrum verteilt angeordnet sind, umfassen. Unabhängig von der konkreten Form der Panoramabildgebungsvorrichtung kann sie eine Vielzahl von Bildern aufnehmen, die eindimensional oder zweidimensional kontinuierlich sind und durch Zusammenfügung zu einem gesamten Panoramabild fusioniert werden können. Die Panoramabildgebungsvorrichtung der Anmeldung umfasst auch eine Steuereinheit, die zur Ansteuerung der Aufnahme durch die Bildgebungseinrichtung sowie zur Verarbeitung der dadurch aufgenommenen Bilder verwendet wird.
• Es ist aus 1 ersichtlich, dass der von der Steuereinheit der Anmeldung durchgeführte Ansatz für Bildverarbeitung vor allem die folgenden Schritte umfasst:
• S1: Extrahieren eines Merkmalpunkts in einem angrenzenden Teil von benachbarten Bildern,
• S2: Zuordnen entsprechender Merkmalpunkte, die denselben Teil des aufgenommenen Objekts repräsentieren, in den benachbarten Bildern,
• S3: nicht lineares Optimieren aller Rotationstransformationsparameter und Translationstransformationsparameter in einer als Optimierungsziel für globale Optimierung dienenden Verlustfunktion, in die intrinsische Matrizen der Bildgebungseinrichtungen für die Bilder und Essential-Matrizen zwischen den Bildern eingehen, wobei die Koordinaten aller extrahierten Merkmalpunkte in allen Bildern als Erfassungsdaten verwendet werden, und
• S4: Abbilden der korrigierten Bilder auf Panorama und Zusammenfügen zu einem Panoramabild.
• Das Extrahieren eines Eckenmerkmals in einem angrenzenden Teil in Schritt S1 bedeutet, dass ein Merkmal in einem Teil an der Grenze zwischen den benachbarten Bildern, insbesondere ein Eckenmerkmal, extrahiert wird.
• Beim Zuordnen entsprechender Merkmalpunkte, die denselben Teil des aufgenommenen Objekts repräsentieren, in den benachbarten Bildern in Schritt S2 kann durch das Extrahieren des Merkmals und durch die Positionsbeziehung, Helligkeit, Farbe, usw. der einzelnen Pixelpunkte in den benachbarten Bereichen bestimmt werden, dass zwei Merkmale in zwei Bildern dasselbe Merkmal sind, also denselben Teil des aufgenommenen Objekts repräsentieren.
• Schritt S3 wird weiter unten näher beschrieben.
• In Schritt S4 können entweder mehrere eindimensional angeordnete korrigierte Bilder auf ein eindimensionales Panoramabild abgebildet werden, um ein eindimensionales Panoramabild zu erhalten, oder mehrere sphärisch angeordnete Bilder auf ein zweidimensionales Panoramabild abgebildet werden, um ein sphärisch abgebildetes, zweidimensionales Panoramabild, beispielsweise ein 360° x 180° Panoramabild, zu erhalten.
• Nachfolgend werden die Parameter der Posentransformationsmatrix in Schritt S3 näher beschrieben.
• Gemäß der Anmeldung ist vorgesehen, dass die Posentransformationsmatrix (beispielsweise eine homografische Matrix) zwischen aufgenommenen benachbarten Bildern nach den extrahierten entsprechenden Merkmalen in den aufgenommenen benachbarten Bildern anhand des Prinzips der Epipolargeometrie bestimmt wird und dann die Rotations- und Translationsparameter in der Posentransformationsmatrix nicht linear optimiert werden.
• Beispielsweise kann die Positionsbeziehung zwischen dem Bildkoordinatensystem der Bildgebungseinrichtung und dem Weltkoordinatensystem des aufgenommenen Objekts durch die folgende homografische Matrix dargestellt werden: $${\text{X}}^{\text{T}}={\text{H X}}_{\text{w}}{}^{\text{T}}$$

  

  worin X für die zweidimensionale Koordinate eines Pixels im Bildkoordinatensystem der Bildgebungseinrichtung, Xw für die dreidimensionale Koordinate eines Punkts des aufgenommenen Objekts im Weltkoordinatensystem, und H für die homografische Matrix steht. Die homografische Matrix H enthält die intrinsischen Parameter und die extrinsischen Parameter, einschließlich der Rotationsparameter und Translationsparameter, der Bildgebungseinrichtung.
• Andererseits kann für zwei dasselbe aufgenommene Objekt enthaltende aufgenommene Bilder, die entweder von einer einzelnen Bildgebungseinrichtung an unterschiedlichen Rotationspositionen oder von zwei an unterschiedlichen Positionen angeordneten Bildgebungseinrichtungen aufgenommen sind, anhand des Prinzips der Epipolargeometrie die Beziehung zwischen den Pixelkoordinaten für denselben aufgenommenen Punkt in beiden Bildern durch die folgende Fundamental-Matrix dargestellt werden: $${\text{X}}_2{}^{\text{T}}{\text{ F X}}_1{}^{\text{T}}=0$$

  

  worin X₁ für die Pixelkoordinate des aufgenommenen Punkts in einem ersten Bild, X₂ für die Pixelkoordinate desselben aufgenommenen Punkts in einem zweiten Bild, F für die Fundamental-Matrix steht, die wie folgt dargestellt werden kann: $$\text{F}={\text{H}}_1{}^{-\text{T}}{\text{ E H}}_2{}^{-1}$$

  

  worin H₁ und H₂ jeweils für eine entsprechende homografische Matrix der beiden Bilder stehen und E eine Essential-Matrix ist, die wie folgt dargestellt werden kann: $$\text{E}={\text{t}}_{\text{x}}\text{R}$$

  

  worin tx eine Translationsmatrix, die die translatorische Beziehung zwischen den beiden Bildern repräsentiert, ist, und R eine Rotationsmatrix, die die Drehungsbeziehung zwischen den beiden Bildern repräsentiert, ist.
• Gemäß der Anmeldung ist vorgesehen, dass basierend auf den mehreren entsprechenden Punkten in den beiden Bildern mittels der Essential-Matrix E und der intrinsischen Matrix der Bildgebungseinrichtung eine globale Optimierung durchgeführt wird, um genaue Rotationsparameter und Translationsparameter zwischen den beiden Bildern zu erhalten. Nachfolgend wird der konkrete Algorithmus erläutert.
• Zunächst wird eine Verlustfunktion Loss für die globale Optimierung erstellt. Die Verlustfunktion kann zum Vorhersagen des Verlusts der Pixel für die beiden zusammenzufügenden Bilder verwendet werden. Die Optimierung der Verlustfunktion zielt auf die Optimierung des Unterschieds zwischen den beiden Bildern ab, und durch die Verwendung der Verlustfunktion kann die Komplexität bei der Zuordnung während der Zusammenfügung der Bilder reduziert werden und die Genauigkeit der Zusammenfügung erhöht werden. In der Anmeldung wird die Erstellung der Verlustfunktion Loss für globale Optimierung dazu verwendet, die Genauigkeit bei der Zusammenfügung eines Panoramabilds zu optimieren.
• Gemäß der Anmeldung wird die Verlustfunktion Loss für globale Optimierung so definiert: $$Loss={\displaystyle \sum _{i,j\in N}{\displaystyle \sum _{k\in M}{L}_{i,j,k}}}$$

  

  worin L_i,j,k = (K_ix_i,k) E_i,j (K_jx_j,k)^T.
• L_i,j,k steht für einen Verlustfaktor zwischen Bildern und enthält drei Rotationsfaktoren (r₁, r₂, r₃) und drei Translationsfaktoren (t₁, t₂, t₃).
• Dabei steht N für die Gesamtzahl aller Bilder, M für die Gesamtzahl aller ausgewählten Merkmalpunkte in allen N Bildern, i und j für ein benachbartes Bildpaar.
• Es ist aus 2 ersichtlich, dass x_i,k für die Koordinate des Merkmalpunkts (Pixels), welcher das k-te Merkmal P_k des aufgenommenen Objekts in Bild i repräsentiert, steht und in Form (u_i, v_i, 1)^T dargestellt wird, und x_j,k für die Koordinate des Merkmalpunkts (Pixels), welcher auch das k-te Merkmal des aufgenommenen Objekts in Bild j repräsentiert, steht und in Form (u_j, v_j, 1)^T dargestellt wird.
• K_i bzw. K_j steht für die intrinsische Matrix der dem Bild i bzw. j entsprechenden Bildgebungseinrichtung. E_i,j ist eine Essential-Matrix zwischen den Bildern i und j. $${\text{E}}_{\text{i}\text{,j}}=\left[{\text{t}}_{\text{i}\text{,j}}\right]\times {\text{R}}_{\text{i}\text{,j}}$$

  

  worin [t_i,j]_X eine 3 x 3 translatorische schiefsymmetrische Matrix für translatorische Vektoren t_i,j zwischen den Bildern i und j in der folgenden Form ist: $$\left[\begin{array}{ccc}0& -t3& t2\\ t3& 0& -t1\\ -t2& t1& 0\end{array}\right]$$

  

  worin R_i,j eine 3 x 3 Rotationsmatrix für die Drehung zwischen den Bildern i und j in der folgenden Form ist: $$\left[\begin{array}{ccc}r11& r12& r13\\ r21& r22& r23\\ r31& r32& r33\end{array}\right]$$

  
• Es ist zu beachten, dass die Rotationsmatrix R_i,j auf verschiedene Weise erstellt werden kann. Beispielsweise kann bei einem dreidimensionalen othogonalen x-y-z-Koordinatensystem angenommen werden, dass das Koordinatensystem des zweiten Bildes zunächst um die x-Achse um einen ersten Winkel in Bezug auf das Koordinatensystem des ersten Bildes, dann um die geänderte y-Achse um einen zweiten Winkel, und schließlich um die geänderte z-Achse um einen dritten Winkel gedreht wird. Die drei Winkel werden als Eulerwinkel bezeichnet. Daher handelt es sich bei der Rotationsmatrix R_i,j um ein Produkt aus drei eindimensionalen Rotationsmatrizen. Weitere Verfahren zur Erstellung der Rotationsmatrix R_i,j sind auch verwendbar. Die Elemente in der Rotationsmatrix können in Rodrigues'scher Form angegeben werden.
• Gemäß der Anmeldung wird die Verlustfunktion Loss, die einen globalen Verlust repräsentiert, optimiert, um die optimierten Faktoren, also die Rotationstransformationsparameter und die Translationstransformationsparameter, in der Posentransformationsmatrix zwischen den Bildern zu erhalten.
• Die Optimierung der Verlustfunktion Loss kann mittels verschiedener Optimierungsalgorithmen durchgeführt werden. Vorzugsweise wird ein zweidimensionaler Optimierungsalgorithmus verwendet, um die Rechenleistung zu reduzieren. Als ein Algorithmus mit niedrigem Rechenaufwand wird in einer Ausführungsform der Anmeldung die Methode der kleinsten Quadrate eingesetzt.
• In der Anmeldung erfolgt die Optimierung der Verlustfunktion Loss global, so dass die Koordinaten (u, v) der verfügbaren Merkmalpunkte in allen Bildern (die entsprechenden Merkmalpunkte, die denselben Teil des aufgenommenen Objekts repräsentieren, in den benachbarten Bildern) als Erfassungsdaten in dem Optimierungsvorgang eingesetzt werden. Für eine Anzahl an Bildern von N können alle Verlustfaktoren zwischen Bildern eine Matrix der Verlustfaktoren bilden. Die Verwendung von Matrizen ist für den Optimierungsvorgang durch die Methode der kleinsten Quadrate günstig.
• Es wird angenommen, dass in der Reihe in der Matrix der Verlustfaktoren die einzelnen Verlustfaktoren und in der Spalte die Kombinationen unterschiedlicher Bilder aufgezeichnet werden. So umfasst jede Reihe in der Matrix der Verlustfaktoren N x 6 Elemente (also r₁, r₂, r₃, t₁, t₂, t₃). Also beträgt die Anzahl an Spalten N x 6. Jede Spalte in der Matrix der Verlustfaktoren umfasst die Kombination jedes der oben genannten Elemente bei der Kombination unterschiedlicher Bilder. Es wird angenommen, dass M Merkmalpunkte in allen Bildern ausgewählt werden. So beträgt die Anzahl an Spalten M²/2.
• Für ein spezifisches Bild hängen die darin ausgewählten Merkmalpunkte nur von den entsprechenden Merkmalpunkten in den benachbarten Bildern ab. Beispielsweise bestehen für ein eindimensional zusammenzufügendes Bild die entsprechenden Merkmalpunkte nur aus der Kombination dieses Bildes mit dem links bzw. rechts benachbarten Bild. Für ein zweidimensional zusammenzufügendes Bild bestehen die entsprechenden Merkmalpunkte nur in der Kombination dieses Bildes mit dem oben, unten, links, rechts, oben links, oben rechts, unten links bzw. unter rechts benachbarten Bild, also mit 8 Bildern (die Anzahl an Bildern könnte auch kleiner als 8 sein). Für die nicht entsprechenden Merkmalpunkte in den Bildern betragen die Faktoren r₁, r₂, r₃, t₁, t₂, t₃ für die Kombinationen Null. Daher handelt es sich bei der Matrix der Verlustfaktoren wesentlich um eine große dünnbesetzte Matrix.
• Durch die Optimierung der Verlustfunktion Loss, die den globalen Verlust repräsentiert, auf ihr Minimum können nicht nur die optimierten Werte der einzelnen Faktoren in den intrinsischen Matrizen der Bildgebungseinrichtung, die unterschiedlichen Bildern entsprechen und in den homografischen Matrizen zwischen unterschiedlichen Bildern bestimmt werden, sondern auch die optimierten Werte der einzelnen Faktoren in den extrinsischen Matrizen unterschiedlicher Bildgebungseinrichtungen erhalten werden.
• Die so optimierten Rotationsparameter und Translationsparameter werden zum Korrigieren der Posen der Bildgebungseinrichtung, die den Bildern entspricht, sowie zum Korrigieren der Bilder, insbesondere zum Korrigieren der zusammengefügten Stellen, an denen die korrigierten Bilder auf das Panoramabild abgebildet und zu einem Panoramabild zusammengefügt werden, verwendet. Dies ermöglicht eine höhere Qualität der Zusammenfügung.
• Es ist zu beachten, dass weitere Verlustfunktionen, in die die intrinsischen Matrizen der Bildgebungseinrichtungen für die Bilder und die Essential-Matrizen zwischen den Bildern eingehen, hierbei auch verwendbar sind.
• Es ist auch zu beachten, dass während der Optimierung die geschätzten intrinsischen Parameter der Bildgebungseinrichtung als ursprüngliche Werte für den Optimierungsalgorithmus bestimmt werden sollen.
• Gemäß einer Ausführungsform können die ursprünglichen Werte der intrinsischen Parameter der Bildgebungseinrichtung durch systematische Kalibrierung der Panoramabildgebungsvorrichtung ermittelt werden, d. h. die intrinsischen Parameter der einzelnen Bildgebungseinrichtungen in ihren Rotationspositionen, oder die der Bildgebungseinrichtungen in ihren Aufnahmepositionen sind bekannt. Gemäß einer anderen Ausführungsform können durch extrinsische Kalibrierung die intrinsischen Parameter der Bildgebungseinrichtung generiert werden, d. h. die ursprünglichen Werte der intrinsischen Parameter der Bildgebungseinrichtung werden mittels der Informationen über die Positionen unterschiedlicher Merkmalpunkte in jedem Bild nach der Beziehung der homografischen Matrix rückgeschlossen.
• Nachdem die intrinsischen Parameter der Bildgebungseinrichtung bestimmt werden, werden durch den oben genannten Optimierungsvorgang die optimierten Werte für sowohl die Faktoren in der intrinsischen und extrinsischen Matrix der Bildgebungseinrichtung, die den Bildern entspricht, als auch die Faktoren in der Rotationstransformationsmatrix und Translationstransformationsmatrix zwischen Bildern ermittelt.
• Die Anmeldung betrifft auch ein Panoramabildgebungsverfahren, das die oben in Bezug auf die Panoramabildgebungsvorrichtung beschriebenen Schritte, wie die globale Optimierung, nachfolgende Korrektur der Pose der Bildgebungseinrichtung, die Korrektur der Bilder, die Zusammenfügung der Bilder, usw. umfasst. Die Merkmale, die oben in Bezug auf die Panoramabildgebungsvorrichtung oder ihre Steuereinheit beschrieben wurden, gelten auch für das Panoramabildgebungsverfahren gemäß der Anmeldung, und darauf wird hierbei nicht näher eingegangen.
• Gemäß der Anmeldung dient als Optimierungsziel für globale Optimierung die Verlustfunktion, in die die intrinsischen Matrizen der Bildgebungseinrichtungen für die Bilder und die Essential-Matrizen zwischen den Bildern eingehen, so dass die Rotationsparameter und Translationsparameter der in der Zusammenfügung der Bilder betroffenen Bilder und der Bildgebungseinrichtung optimiert werden. Im Vergleich zum Ansatz, in dem nur die homografische Matrix optimiert wird, kann eine höhere Genauigkeit bei der Zusammenfügung der Bilder erzielt werden.
• Es ist zu beachten, dass sich die Optimierung mit der Verlustfunktion, in die die intrinsischen Matrizen und die Essential-Matrizen eingehen, für globale Optimierung vom Ansatz, in dem die homografische Matrix verwendet wird, unterscheidet. Insbesondere für eine homografische Matrix handelt es sich bei der ermittelten Homographie in der Regel um die Homographie zwischen Abbildungen, bei denen sich die aufgenommenen Punkte in einer Abbildungsebene befinden. Wird die Bildgebungseinrichtung translatorisch bewegt, ändert sich die Tiefe des Punkts und damit die Parameter der Abbildungsebene. In diesem Fall führt die Berechnung des entsprechenden Punkts mittels einer homografischen Matrix zu Fehlern und damit zu einer niedrigen Genauigkeit. Die Gründe dafür sind, dass es einerseits der homografischen Matrix an einer Information über die Tiefe mangelt und andererseits neben Drehung auch eine relative translatorische Bewegung der Bildgebungseinrichtungen auftreten kann. Somit findet die homografische Matrix Anwendung bevorzugt unter der Voraussetzung, dass sich alle Merkmalpunkte in einer einzigen Abbildungsebene befinden, oder dass die Bildgebungseinrichtungen ohne translatorische Bewegung ausschließlich gedreht werden.
• Um die Korrespondenz eines dreidimensionalen Punkts in zwei Bildebenen auszudrücken, muss eine Fundamental-Matrix umfassend Parameter für die Ebenen eingeleitet werden. Wenn die Verlustfunktion für globale Optimierung basierend auf der Fundamental-Matrix erstellt wird, ist jedoch die Anzahl an betroffenen Parametern übermäßig hoch, was zu einem zu großen Rechenaufwand führt. Bei der Anmeldung werden zur Erstellung der Verlustfunktion für globale Optimierung die intrinsische Matrix und die Essential-Matrix extrahiert, so dass das Problem einer niedrigen Genauigkeit der Zusammenfügung bei der Optimierung unter Verwendung der homografischen Matrix gelöst wird und gleichzeitig die Anzahl der in der Verlustfunktion betroffenen Variablen begrenzt wird, um die globale Optimierung mit einem kleinen Rechenaufwand zu erzielen.
• Obwohl hierbei die Anmeldung in Bezug auf die detaillierten Ausführungsformen beschrieben wird, soll der Bereich der Anmeldung nicht auf die gezeigten Details beschränkt werden. Die Details können geändert werden, solange sie von dem grundlegenden Prinzip der Anmeldung nicht abweichen.

Claims (11)

1. Panoramabildgebungsvorrichtung, umfassend: eine Bildgebungseinheit, die zur Aufnahme mehrerer Bilder eingerichtet ist; und eine Steuereinheit, die dazu eingerichtet ist, einen Merkmalpunkt in einem angrenzenden Teil von benachbarten Bildern zu extrahieren, entsprechende Merkmalpunkte, die denselben Teil des aufgenommenen Objekts repräsentieren, in den benachbarten Bildern einander zuzuordnen, alle Rotationstransformationsparameter und Translationstransformationsparameter in einer als Optimierungsziel für globale Optimierung dienenden Verlustfunktion, in die intrinsische Matrizen der Bildgebungseinrichtungen für die Bilder und Essential-Matrizen zwischen den Bilder eingehen, nicht linear zu optimieren, wobei die Koordinaten aller extrahierten Merkmalpunkte in allen Bildern als Erfassungsdaten verwendet werden, die zu korrigierenden Bilder unter Verwendung der optimierten Rotationstransformationsparameter und Translationstransformationsparameter zu korrigieren, und die korrigierten Bilder auf Panorama abzubilden und zu einem Panoramabild zusammenzufügen.
2. Panoramabildgebungsvorrichtung nach Anspruch 1, wobei die Verlustfunktion wie folgt ausgebildet ist: $$Loss={\displaystyle \sum _{i,j\in N}{\displaystyle \sum _{k\in M}{L}_{i,j,k}}}$$

   

   worin L_i,j,k = (K_ix_i,k) E_i,j (K_jx_j,k)^T; N für die Gesamtzahl aller Bilder steht, M für die Gesamtzahl aller ausgewählten Merkmalpunkte in allen Bildern steht, i und j für ein benachbartes Bildpaar stehen; x_i,k bzw. x_j,k für die Koordinaten des k-ten Merkmalpunkts im Bild i bzw. j steht; K_i bzw. K_j für die intrinsische Matrix der dem Bild i bzw. j entsprechenden Bildgebungseinrichtung steht; und E_i,j eine Essential-Matrix, die eine Posentransformation zwischen den Bildern i und j repräsentiert, ist.
3. Panoramabildgebungsvorrichtung nach Anspruch 2, wobei die Essential-Matrix E_i,j wie folgt ausgebildet ist: $${\text{E}}_{\text{i}\text{,j}}=\left[{\text{t}}_{\text{i}\text{,j}}\right]\times {\text{R}}_{\text{i}\text{,j}}$$

   

   worin [t_i,j]_X eine 3 x 3 translatorische schiefsymmetrische Matrix für translatorische Vektoren zwischen den Bildern i und j ist, und R_i,j eine 3 x 3 Rotationsmatrix für die Drehung zwischen den Bildern i und j ist, wobei die Elemente in der Rotationsmatrix R_i,j einer Koordinationstransformation mittels Eulerwinkel in Rodrigues'scher Form unterworfen werden.
4. Panoramabildgebungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei die Steuereinheit dazu eingerichtet ist, durch die Methode der kleinsten Quadrate die Verlustfunktion zu optimieren.
5. Panoramabildgebungsvorrichtung nach einem der Ansprüche 1 bis 4, wobei die Steuereinheit dazu eingerichtet ist, in der Verlustfunktion eine große dünnbesetzte Matrix aus allen Rotationstransformationsparametern und Translationstransformationsparametern, die zu allen Merkmalpunkten in allen Bildern zugehörig sind, auszubilden.
6. Panoramabildgebungsvorrichtung nach einem der Ansprüche 1 bis 5, wobei die Steuereinheit dazu eingerichtet ist, einen durch die Kalibrierung der Bildgebungsvorrichtung erhaltenen intrinsischen Parameterwert als ursprünglichen intrinsischen Parameterwert während der Optimierung zu verwenden, oder einen intrinsischen Parameterwert, der unter Verwendung von Informationen über die Positionen unterschiedlicher Merkmalpunkte in jedem Bild rückgeschlossen wird, als ursprünglichen intrinsischen Parameterwert zu verwenden.
7. Panoramabildgebungsvorrichtung nach einem der Ansprüche 1 bis 6, wobei die Steuereinheit dazu eingerichtet ist, durch die Optimierung der Verlustfunktion die den Bildern entsprechenden, optimierten intrinsischen und extrinsischen Parameter der Bildgebungseinrichtung zu erhalten, und gemäß den optimierten intrinsischen und extrinsischen Parametern die Pose der Bildgebungseinrichtung zu korrigieren.
8. Panoramabildgebungsvorrichtung nach Anspruch 7, wobei die Steuereinheit dazu eingerichtet ist, durch die Optimierung der Verlustfunktion weiterhin die optimierten Rotationsparameter und Translationsparameter für die Änderung der Pose zwischen den Bildern zu erhalten, und gemäß den optimierten intrinsischen und extrinsischen Parametern sowie den optimierten Rotationsparametern und Translationsparametern für die Änderung der Pose die Bilder selbst und die Zusammenfügung der benachbarten Bilder zu korrigieren.
9. Panoramabildgebungsvorrichtung nach einem der Ansprüche 1 bis 8, wobei es sich bei der Bildgebungseinheit um entweder eine einzelne Bildgebungseinrichtung, die um eine Drehachse drehbar ist, oder mehrere Bildgebungseinrichtungen, die um eine Drehachse oder ein Zentrum verteilt angeordnet sind, handelt.
10. Panoramabildgebungsvorrichtung nach einem der Ansprüche 1 bis 9, wobei die Steuereinheit dazu eingerichtet ist, entweder mehrere eindimensional angeordnete Bilder zu korrigieren und zu einem sich eindimensional erstreckenden Panoramabild zusammenzufügen, oder mehrere sphärisch angeordnete Bilder zu korrigieren und zu einem sich zweidimensional erstreckenden Panoramabild zusammenzufügen.
11. Panoramabildgebungsverfahren, das optional durch eine Panoramabildgebungsvorrichtung nach einem der Ansprüche 1 bis 10 oder die Steuereinheit in der Panoramabildgebungsvorrichtung durchgeführt wird, umfassend: Extrahieren eines Merkmalpunkts in einem angrenzenden Teil von benachbarten Bildern, Zuordnen entsprechender Merkmalpunkte, die denselben Teil des aufgenommenen Objekts repräsentieren, in den benachbarten Bildern, nicht lineares Optimieren aller Rotationstransformationsparameter und Translationstransformationsparameter in einer als Optimierungsziel für globale Optimierung dienenden Verlustfunktion, in die intrinsische Matrizen der Bildgebungseinrichtungen für die Bilder und Essential-Matrizen zwischen den Bildern eingehen, wobei die Koordinaten aller extrahierten Merkmalpunkte in allen Bildern als Erfassungsdaten verwendet werden, Korrigieren der zu korrigierenden Bilder unter Verwendung der optimierten Rotationstransformationsparameter und Translationstransformationsparameter, und Abbilden der korrigierten Bilder auf Panorama und Zusammenfügen zu einem Panoramabild.

Images