DE112019004844T5

DE112019004844T5 - Stereokalibrierungsverfahren für ein bewegliches Bildverarbeitungssystem

Info

Publication number: DE112019004844T5
Application number: DE112019004844.9T
Authority: DE
Inventors: Kaifang Wang; Dongdong Yang; Xiaolin Zhang; Jiamao Li; Wenhao Wang
Original assignee: Shanghai Eyevolution Tech Co Ltd; Shanghai Eyevolution Technology Co Ltd
Current assignee: Shanghai Eyevolution Tech Co Ltd; Shanghai Eyevolution Technology Co Ltd
Priority date: 2018-09-28
Filing date: 2019-07-18
Publication date: 2021-07-08
Also published as: US20220044444A1; JP2022500956A; WO2020063059A1; JP7185821B2; US11663741B2; CN109242914B; CN109242914A

Abstract

Eine Stereokalibrierungsmethode für ein bewegliches Bildverarbeitungssystem. Das bewegliche Bildverarbeitungssystem, das an dem Verfahren beteiligt ist, umfasst mindestens zwei Bilderfassungskomponenten, mindestens eine Berechnungskomponente und mindestens eine Steuerkomponente. Das Verfahren umfasst: Platzieren einer Kalibrierungsvorlage vor Bilderfassungskomponenten; Rotation der Bilderfassungskomponenten um Bewegungsfreiheitsgrade; Erhalten einer oder mehrerer Sätze von Bildern, die Kalibrierungsvorlage-Merkmale enthalten, und Erhalten entsprechender Positionsinformationen an den Bewegungsfreiheitsgraden, wenn die Bilder erhalten werden; Erhalten, mittels Berechnung, eines Kalibrierungsergebnisses der Bilderfassungskomponenten und der Bewegungsfreiheitsgrade, d.h., eine Rotationsmatrix und eine Translationsmatrix der Rotationsachse an den Bewegungsfreiheitsgraden in Bezug auf die Bilderfassungskomponenten; und dann Erhalten eines Stereokalibrierungsergebnisses in Echtzeit durch Kombinieren des erhaltenen Kalibrierungsergebnisses und der Positionsinformation an den Bewegungsfreiheitsgraden in dem Bildverarbeitungssystem. Das Verfahren implementiert die Stereokalibrierung der Bilderfassungskomponenten in einem beweglichen multiokularen System in einem Bewegungszustand, hat eine gute Echtzeit-Berechnungseigenschaft, eliminiert das Fehlerproblem, das durch mechanische Bearbeitung oder Montage verursacht wird, und hat eine breite Anwendungsperspektive.

Description

Technischer Bereich
Die vorliegende Anmeldung betrifft ein Stereokalibrierungsverfahren für ein Bildverarbeitungssystem und insbesondere ein Stereokalibrierungsverfahren für ein multiokulares Bildverarbeitungssystem (zwei oder mehr Sichtachsen) mit mindestens einem unabhängig beweglichen Bildverarbeitungssystem.
Hintergrund
Bestehende Bildverarbeitungssysteme lassen sich generell nach der Anzahl ihrer Kameras in monokulare und multiokulare Bildverarbeitungssysteme kategorisieren. Abhängig von der Beweglichkeit ihrer Kamera(s) können diese Systeme auch in feste Bildverarbeitungssysteme und bewegliche Bildverarbeitungssysteme eingeteilt werden. Obwohl monokulare Bildverarbeitungssysteme wegen ihrer strukturellen Einfachheit und geringen Kosten weit verbreitet sind, kann die einzelne Kamera keine Tiefeninformationen eines Objekts im Sichtfeld erfassen. Unter den multiokularen Bildverarbeitungssystemen sind die binokularen Systeme am weitesten verbreitet. Ein multiokulares Bildverarbeitungssystem ist in der Lage, stereoskopische Bilder zu erfassen, aber die Berechnung der Tiefeninformation eines Objekts im Sichtfeld erfordert eine vorherige Kalibrierung der intrinsischen Parameter der einzelnen Kameras und der extrinsischen Parameter zwischen ihnen.
Ein festes binokulares Bildverarbeitungssystem hat eine unveränderliche Positionsbeziehung zwischen den beiden Kameras, die durch eine einzige Kalibrierung des Systems bestimmt werden kann. Für solche Bildverarbeitungssysteme gibt es gut etablierte und weit verbreitete Kalibrierungsalgorithmen, wie z. B. die Kamerakalibrierungsalgorithmen, die auf einem 3D-Stereo-Target oder einem 2D-Planar-Target basieren. Als Ergebnis wird ein festes multiokulares Bildverarbeitungssystem abgeleitet. In dem festen multiokularen Bildverarbeitungssystem können die Positionsbeziehungen zwischen den mehreren Kameras durch die Kalibrierung der relativen Positionen jedes Kamerapaares bekannt sein.
In einem beweglichen multiokularen Bildverarbeitungssystem bewegen sich die mehreren Kameras während des Betriebs. Obwohl sich die intrinsischen Parameter der einzelnen Kameras bei Bewegungen der Kameras nicht ändern, können ihre extrinsischen Parameter variieren. In diesem Fall erfordert die Berechnung der Tiefeninformation eines Objekts im Sichtfeld, dass die extrinsischen Parameter der Kameras nach der Bewegung genau bekannt sind.
Darüber hinaus enthält ein bewegliches multiokulares Bildverarbeitungssystem bewegliche mechanische Komponenten in der Konstruktion. Aufgrund der begrenzten Möglichkeiten bestehender mechanischer Bearbeitungs- und Montagetechniken ist es jedoch eine Herausforderung, sicherzustellen, dass sich jede Rotationsachse genau wie vorgesehen bewegt, und es ist schwierig, sicherzustellen, dass Bilderfassungselemente relativ zu den Rotationsachsen exakt positioniert sind. Da das Stereosehen eine hohe Anforderung an die Genauigkeit der Positionsbeziehung zwischen mehreren Kameras stellt, ist es notwendig, Fehler in diesem Aspekt zu eliminieren, um ein gutes Stereosehen zu erreichen.
Obwohl es gut etablierte und weit verbreitete Kalibrierungsalgorithmen für binokulare feste Bildverarbeitungssysteme und daraus abgeleitete multiokulare feste Bildverarbeitungssysteme gibt, wie z. B. die bekannte Kalibrierungsmethode von Zhang (siehe „A Flexible New Technique for Camera Calibration“ von Zhang Zhengyou aus dem Jahr 1998), fehlt es noch an ausgereiften allgemeinen Kalibrierungsmethoden für bewegliche multiokulare Bildverarbeitungssysteme.
Zusammenfassung
Um das Problem zu bewältigen, dass herkömmliche Stereokalibrierungsalgorithmen nicht in der Lage sind, extrinsische Parameter von Kameras im Falle von Bewegungen von Kameras während des Betriebs eines beweglichen multiokularen Bildverarbeitungssystems in Echtzeit zu erhalten, wird in der vorliegenden Anmeldung ein Stereokalibrierungsverfahren eines beweglichen Bildverarbeitungssystems vorgeschlagen, das es ermöglicht, relative Positionsbeziehungen zwischen Bildfassungskomponenten unter Verwendung von Positionsaufzeichnungskomponenten, die an Rotationsachsen befestigt sind, zu berechnen, selbst wenn sich die relativen Positionsbeziehungen zwischen mehreren Bildfassungskomponenten geändert haben und es Fehler in den relativen Positionen der Bildfassungskomponenten und Rotationsachsen gibt, die durch mechanische Bearbeitung, Montage und andere Faktoren entstehen.
Bei dem in der vorliegenden Anmeldung vorgeschlagenen Stereokalibrierungsverfahren eines beweglichen Bildverarbeitungssystems werden die Kalibrierungsparameter des beweglichen multiokularen Bildverarbeitungssystems auf der Grundlage von Sequenzen aufgenommener Bilder und Positionsinformationen jedes Bewegungsfreiheitsgrades berechnet. Anschließend können die extrinsischen Parameter der Bilderfassungskomponenten in Echtzeit auf der Grundlage der Kalibrierungsparameter und der Bewegungsinformationen jedes Bewegungsfreiheitsgrads berechnet werden.
In dem Stereokalibrierungsverfahren für ein bewegliches multiokulares Bildverarbeitungssystem, welches in der vorliegenden Anmeldung vorgeschlagen wird, enthält das bewegliche multiokulare Bildverarbeitungssystem insbesondere:

mindestens zwei Bilderfassungskomponenten, die jeweils mindestens ein Bilderfassungselement umfassen, das in der Lage ist, aufeinanderfolgende Bilder zu erfassen und eine beliebige Anzahl von Bewegungsfreiheitsgraden aufweist, wobei jeder Bewegungsfreiheitsgrad mit einer Positionserfassungsvorrichtung versehen ist, die in der Lage ist, Rotations- oder Translationsinformationen zu erfassen;
mindestens eine Berechnungskomponente, die in der Lage ist, Bildinformationen und Bewegungsinformationen in jedem Bewegungsfreiheitsgrad zu berechnen und zu verarbeiten; mindestens eine Steuerkomponente, die die Bewegung in jedem Bewegungsfreiheitsgrad steuern kann.

Das Stereokalibrierungsverfahren enthält: für jede Bilderfassungskomponente Aufzeichnen von Positionsinformationen der Bilderfassungskomponente in jedem Bewegungsfreiheitsgrad an einer Referenzposition; Erhalten von genauen Parametern über relative Positionen zwischen Bilderfassungselementen durch Ausführen einer Stereokalibrierung an der Referenzposition; Platzieren einer Kalibrierungsvorlage vor den Bilderfassungselementen; Veranlassen, dass sich jedes Bilderfassungselement in einem entsprechenden Bewegungsfreiheitsgrad bewegt; Erfassen eines oder mehrerer Sätze von Bildern, die die vollständige Kalibrierungsvorlage enthalten, durch das entsprechende Bilderfassungselement und gleichzeitiges Aufzeichnen von Positionsinformationen des jeweiligen Bewegungsfreiheitsgrades während des Erfassens der jeweiligen Bilder; und Berechnen von Kalibrierungsergebnissen für das Bilderfassungselement und jeden Bewegungsfreiheitsgrad durch die Berechnungskomponente, wobei die Kalibrierungsergebnisse eine Rotationsmatrix und eine Translationsmatrix jeder Rotationsachse in jeweiligen Bewegungsfreiheitsgraden relativ zum Bilderfassungselement umfassen.
Die Positionserfassungsvorrichtung ist im jeweiligen Bewegungsfreiheitsgrad zur Erfassung von Bewegungsinformationen im jeweiligen Bewegungsfreiheitsgrad vorgesehen.
Insbesondere kann das erwähnte bewegliche Bildverarbeitungssystem in der vorliegenden Anmeldung eine Anzahl von Bilderfassungskomponenten enthalten, die jeweils eine beliebige Anzahl von Freiheitsgraden aufweisen und jeweils mit einer Positionsaufzeichnungskomponente zur Erfassung von Positionsinformationen versehen sind (Szenarien, in denen alle Bilderfassungskomponenten Null-Freiheitsgrade (Zero-DOF, „degree-of-freedom“) aufweisen, sind ausgeschlossen). Bilderfassungselemente, die in den Bilderfassungskomponenten enthalten sind, können aufeinanderfolgende Bilder aufnehmen. Das System kann auch enthalten: eine Berechnungskomponente, die dazu eingerichtet ist, zugehörige Daten zu verarbeiten und gewünschte Ergebnisse zu berechnen; und eine Steuerungskomponente zum Steuern von Bewegungsfreiheitsgraden des Bildverarbeitungssystems und zum Erfassen von Positionsinformationen jedes Bewegungsfreiheitsgrades der Positionserfassungskomponente.
Die vorliegende Anmeldung basiert auf der Stereokalibrierung von binokularen, beweglichen Bildverarbeitungssystemen. Bei beweglichen multiokularen Bildverarbeitungssystemen mit mehr als zwei Sichtachsen kann die Stereokalibrierung in die Einzelkalibrierung jedes Kamerapaares vereinfacht werden. Wenn beispielsweise Stereokalibrierungsergebnisse von zwei Bilderfassungselementen in einem beweglichen multiokularen Bildverarbeitungssystem mit mehr als zwei Bilderfassungselementen benötigt werden, kann eine Stereokalibrierung des binokularen beweglichen Bildverarbeitungssystems für diese beiden Bilderfassungselemente durchgeführt werden. Im Allgemeinen wird eine einzige Referenzposition erfasst. Dann wird für zwei Bildfassungselemente, die eine Stereokalibrierung in Bewegung benötigen, eine binokulare feste Kalibrierung an der Referenzposition durchgeführt, um die Rotations- und Translationsbeziehung der beiden Bildfassungselemente für die binokulare feste Stereokalibrierung abzuleiten. Dann können Stereokalibrierungsergebnisse der beiden Bildfassungselemente in Echtzeit nach Bewegungen der beiden Bildfassungselemente unter Verwendung der nachfolgenden Schritte der vorliegenden Anmeldung erfasst werden.
Die Kalibrierungsvorlage kann eine Kalibrierungsvorlage mit extrahierbaren invarianten Merkmalen mit bekannten Informationen über relative Positionen sein. Bei der Kalibrierungsvorlage kann es sich z. B. um verschiedene künstliche 2D- und 3D-Targets oder einige stationäre natürliche Szenen handeln, die benötigt werden, um die Informationen der invarianten Merkmale durch einen Bildverarbeitungsalgorithmus extrahieren zu können sowie um relative Positionsbeziehungen zwischen den invarianten Merkmalen erfassen zu können. In praktischen Anwendungen wird häufig ein präzisionsgefertigtes stereoskopisches 3D-Target oder ein planares 2D-Target als Kalibrierungsvorlage verwendet, um die Genauigkeit des Kalibrierungsergebnisses zu verbessern und die Schwierigkeit des Kalibrierungsprozesses zu verringern.
Das Stereokalibrierungsverfahren eines beweglichen Bildverarbeitungssystems in der vorliegenden Anmeldung enthält die folgenden Schritte.
Erfassen von Referenzinformationen
Eine bestimmte Position wird als Referenzposition für jeden Bewegungsfreiheitsgrad genommen und die Positionsinformation jedes Bilderfassungselements im entsprechenden Bewegungsfreiheitsgrad relativ zur Referenzposition wird als Referenzpositionsinformation ${θ_{I a}}, a = 1 \dots \sum_{k = 1}^{K} N_{k}$
aufgezeichnet, wobei k eine Laufnummer einer bestimmten Bilderfassungskomponente ist, a eine Laufnummer eines bestimmten Bewegungsfreiheitsgrades ist, die entsprechend einer Verbindungsreihenfolge der jeweiligen Bewegungsfreiheitsgrade nummeriert ist, K die Gesamtzahl der Bilderfassungskomponenten im System ist, N_k die Anzahl der Bewegungsfreiheitsgrade der k -ten Bilderfassungskomponente ist und $\sum_{k = 1}^{K} N_{k}$
die Gesamtzahl der Bewegungsfreiheitsgrade des Systems ist.
Stereokalibrierung
Die Stereokalibrierung für ein multiokulares Bildverarbeitungssystem mit mehr als zwei Sichtachsen wird auf der Grundlage der binokularen Stereokalibrierung durchgeführt und umfasst: Platzieren einer Kalibrierungsvorlage in einem gemeinsamen Sichtfeld der beiden Bilderfassungselemente, die Stereokalibrierung benötigen; Aufzeichnen der erfassten Bildinformationen und Erhalten eines Satzes von binokularen Stereokalibrierungsergebnissen (R_I(x,y),T_I(x,y)) unter Verwendung eines Kalibrierungsalgorithmus für ein binokulares festes Bildverarbeitungssystem, wobei R_I(x,y),T_I(x,y) Rotations- und Translationsmatrizen der beiden Bilderfassungselemente relativ zueinander sind. Dieser Stereokalibrierungsprozess wird für jedes andere Paar von Bilderfassungselementen, die Stereokalibrierung benötigen, wiederholt, und es werden mehrere Sätze von binokularen Stereokalibrierungsergebnissen {R_I(x,y),T_I(x,y)}, 1≤x,y≤K erhalten, wobei K die Gesamtzahl der Bildverarbeitungselemente im System darstellt.
Bewegungsachsenkalibrierung
Während die Kalibrierungsvorlage stationär in einem Sichtfeld eines zu kalibrierenden Bilderfassungselementsgehalten wird, wird die a-te Bewegungsachse mehrmals rotiert, und für jede Rotation wird eine Bildinformation erfasst und eine Positionsinformation jeder Bewegungsachse aufgezeichnet. Eine Berechnung wird anschließend mit Hilfe eines Kalibrierungsalgorithmus und der Sequenz der bei den jeweiligen Rotationen aufgenommenen Bilder durchgeführt, um Rotations- und Translationstransformationsmatrizen {R_aCi,Ta_Ci}, i=1...P_a für jedes aufgenommene Bild relativ zur Position der Kalibrierungsvorlage abzuleiten. Dieser Vorgang wird für eine weitere Bewegungsachse wiederholt, bis alle Bewegungsachsen auf diese Weise prozessiert wurden. Rotationswinkel {0_ail - θ_I1,...,θ_aiN - θ_IN}, i = 1...P_a der Bewegungsachsen relativ zur Referenzposition in den Kalibrierungsergebnissen werden in Rotationsmatrizen ${R_{B a i}}, i = 1 \dots P_{a}, a = 1 \dots \sum_{k = 1}^{K} N_{k}$
umgewandelt, die dann in das folgende Modell eingespeist werden, das eine Beziehung zwischen Bilderfassungselement-Koordinatensystemen und Koordinatensystemen von Rotationsachsen der jeweiligen Bewegungsfreiheitsgrade beschreibt: $\begin{array}{l} W_{a i} = {[\begin{matrix} R_{B C a} & T_{B C a} \\ O & 1 \end{matrix}]}^{- 1} [\begin{matrix} R_{B a i} & 0 \\ O & 1 \end{matrix}] [\begin{matrix} R_{B C a} & T_{B C a} \\ O & 1 \end{matrix}], a = 1 \dots \sum_{k = 1}^{K} N_{k}, i = 1 \dots P_{a} \\ W_{1 i} W_{2 i} \dots W_{N i} = [\begin{matrix} R_{a C i} & T_{a C i} \\ O & 1 \end{matrix}], i = 1 \dots P_{a} \end{array}$
wobei R_BCa,T_BCa Rotations- und Translationsmatrizen der Rotationsachse im a-ten Bewegungsfreiheitsgrad relativ zum Koordinatensystem des Bilderfassungselements sind, N_k die Anzahl der Bewegungsfreiheitsgrade der k -ten Bildkomponente ist, R_Bai die aus dem Rotationswinkel der a-ten Bewegungsachse relativ zur Referenzposition umgerechnete Rotationsmatrix ist, R_aCi,T_aCi Rotations- und Translationstransformationsmatrizen eines Koordinatensystems des i-ten Bildes sind, das während der Bewegung der a-ten Bewegungsachse relativ zur Position der Kalibrierungsvorlage aufgenommen wurde, und P_a die Zahl der validen Bilder ist, die während der Rotationen der a-ten Bewegungsachse bei der Kalibrierung des Systems aufgenommen wurden. Schließlich erhält man mehrere Gleichungssätze. Die optimale Lösung der Gleichungssätze, d. h. die Kalibrierungsergebnisse für jede Bewegungsachse, erhält man durch Lösen folgender Gleichungen: ${R_{B C a}, T_{B C a}}, a = 1 \dots \sum_{k = 1}^{K} N_{k} .$
Berechnung der Kalibrierungsergebnisse
Aus den vorangegangenen Schritten ergeben sich die Referenzinformationen ${θ_{I a}}, a = 1 \dots \sum_{k = 1}^{K} N_{k},$
die Ergebnisse der Stereokalibrierung {R_I(x,y),T_I(x,y)},1≤x,y≤K sowie die Rotations- und Translationsmatrizen ${R_{B C a}, T_{B C a}}, a = 1 \dots \sum_{k = 1}^{K} N_{k}$
für die Bilderfassungselemente und für jede Rotationsachse in den jeweiligen Bewegungsfreiheitsgraden. Für zwei Augen (die beiden Augen im binokularen Bildverarbeitungsteilsystem werden als x,y,1≤x,y≤K bezeichnet, wobei x und y das linke bzw. rechte „Auge“ des Teilsystems darstellen) des beweglichen Bildverarbeitungssystems, für das Ergebnisse der Stereokalibrierung im praktischen Einsatz benötigt werden, werden Positionsinformationen ${θ_{a}}, a = \sum_{k = 1}^{x - 1} N_{k} + 1 \dots \sum_{k = 1}^{x} N_{k}, \sum_{k = 1}^{y - 1} N_{k} + 1 \dots \sum_{k = 1}^{y} N_{k}$
der beiden Augen in jedem Bewegungsfreiheitsgrad erhalten. Gekoppelt mit der Referenz-Positionsinformation können Rotationswinkel ${θ_{I a} - θ_{a}}, a = \sum_{k = 1}^{x - 1} N_{k} + 1 \dots \sum_{k = 1}^{x} N_{k}, \sum_{k = 1}^{y - 1} N_{k} + 1 \dots \sum_{k = 1}^{y} N_{k}$
in jedem Bewegungsfreiheitsgrad erhalten und in entsprechende Matrizen ${R_{a}}, a = \sum_{k = 1}^{x - 1} N_{k} + 1 \dots \sum_{k = 1}^{x} N_{k}, \sum_{k = 1}^{y - 1} N_{k} + 1 \dots \sum_{k = 1}^{y} N_{k}$
umgewandelt werden, die dann in das Modell eingespeist werden, das die Beziehung zwischen dem Koordinatensystem des Bilderfassungselements und dem Koordinatensystem der Rotationsachsen der jeweiligen Bewegungsfreiheitsgrade beschreibt (dieses innovative Modell ist die ursprüngliche Entwicklung der vorliegenden Anwendung): $\begin{array}{l} W_{a} = {[\begin{matrix} R_{B C a} & T_{B C a} \\ O & 1 \end{matrix}]}^{- 1} [\begin{matrix} R_{a} & 0 \\ O & 1 \end{matrix}] [\begin{matrix} R_{B C a} & T_{B C a} \\ O & 1 \end{matrix}], a = \sum_{k = 1}^{x - 1} N_{k} + 1 \dots \sum_{k = 1}^{x} N_{k}, \sum_{k = 1}^{y - 1} N_{k} + 1 \dots \sum_{k = 1}^{y} N_{k} \\ [\begin{matrix} R' & T' \\ O & 1 \end{matrix}] = (\begin{matrix} \sum_{k = 1}^{y} N_{k} \\ Π & W_{a} \\ a = \sum_{k = 1}^{y - 1} N_{k} + 1 \end{matrix}) [\begin{matrix} R_{I (x, y)} & T_{I (x, y)} \\ O & 1 \end{matrix}] {(\begin{matrix} \sum_{k = 1}^{x} N_{k} \\ Π & W_{a} \\ a = \sum_{k = 1}^{x - 1} N_{k} + 1 \end{matrix})}^{- 1} \end{array}$
wobei R' und T' Rotations- und Translationsmatrizen in extrinsischen Parametern der beiden Bildkomponenten nach der Bewegung des binokularen beweglichen Bildverarbeitungsteilsystems sind, R_BCa,T_BCa Rotations- und Translationsmatrizen der a-ten Bewegungsachse relativ zum Koordinatensystem des Bilderfassungselements sind, N_k die Anzahl der Bewegungsfreiheitsgrade der k-ten Bildkomponente ist, x,y die Laufnummern der beiden Bilderfassungskomponenten represäntieren, die „linke Augen“ bzw. „rechte Augen“ in dem beweglichen binokularen Bildverarbeitungsteilsystem sind, R_a die Rotationsmatrix ist, die aus dem Rotationswinkel der a-ten Bewegungsachse relativ zur Referenzposition umgerechnet wird, und R_I(x,y),T_I(x,y) die relativen Rotations- und Translationsmatrizen zwischen den „linken Augen“ und „rechten Augen“ an der Referenzposition sind.
Die Schritte 2 und 3 können in umgekehrter Reihenfolge durchgeführt werden. In Schritt 1 der Stereokalibrierungsmethode der vorliegenden Anwendung werden initiale Informationen gewonnen. Genauer gesagt wird eine Position jedes Bewegungsfreiheitsgrads als Referenzposition ausgewählt, wobei die Referenzposition erfüllt, dass die Bilderfassungselemente, die eine Stereokalibrierung benötigen, ein gemeinsames Sichtfeld haben. Positionsinformationen jeder Bilderfassungskomponente in jedem Bewegungsfreiheitsgrad werden als Referenzpositionsinformationen ${θ_{I a}}, a = 1 \dots \sum_{k = 1}^{K} N_{k}$
aufgezeichnet, wobei k eine Laufnummer einer bestimmten Bilderfassungskomponente ist, K die Anzahl der Bilderfassungskomponenten im gesamten System ist, N_k die Anzahl der Bewegungsfreiheitsgrade der k-ten Bilderfassungskomponente ist und $\sum_{k = 1}^{K} N_{k}$
die Gesamtzahl der Bewegungsfreiheitsgrade des Systems ist.
In Schritt 2 wird ein Stereokalibrierungsprozess durchgeführt. Wie oben erwähnt, folgt die vorliegende Anwendung dem Prinzip, dass die Stereokalibrierung für multiokulare Systeme mit mehr als zwei Augen auf der binokularen Stereokalibrierung basiert. Eine Kalibrierungsvorlage wird im gemeinsamen Sichtfeld der beiden Bilderfassungselemente, die eine Stereokalibrierung benötigen, platziert (bezeichnet als x,y,1 ≤ x,y ≤K, wobei x und y das linke bzw. rechte Auge des binokularen Teilsystems darstellen), und die Bildinformation wird erfasst (je nach dem anschließend verwendeten Algorithmus kann es notwendig sein, mehrere Sätze von Bildern in verschiedenen Ausrichtungen der Kalibrierungsvorlage zu erfassen). Ein Algorithmus zur Kalibrierung eines binokularen festen Bildverarbeitungssystems (z. B. die Kamerakalibrierungsmethode auf Basis eines einzelnen planaren Schachbretts, die von Professor Zhang Zhengyou 1998 vorgeschlagen wurde, oder ein ähnlicher Algorithmus wird verwendet. Da einige der Algorithmen Anforderungen an die Anzahl der Bilder haben, kann es notwendig sein, mehrere Sätze von Bilddaten durch Ändern der Ausrichtung der Kalibrierungsvorlage zu erfassen) wird dann verwendet, um binokulare Stereokalibrierungsergebnisse (R_I(x,y),T_I(x,y)) abzuleiten, wobei R_I(x,y),T_I(x,y) Rotations- und Translationsmatrizen zwischen den beiden Bilderfassungselementen darstellen. Dieser Vorgang wird für jedes andere Paar von Bilderfassungselementen, die eine Stereokalibrierung benötigen, wiederholt, und es werden mehrere Sätze von binokularen Stereokalibrierungsergebnissen {R_I(x,y),T_I(x,y)}, 1≤x,y≤K erhalten, wobei R_I(x,y),T_I(x>y) entsprechend Rotations- und Translationsmatrizen zwischen den beiden Bilderfassungselementen repräsentieren.
In Schritt 3 werden die Bewegungsachsen kalibriert. Genauer gesagt, wird bei stationär gehaltener Kalibrierungsvorlage in einem Sichtfeld eines Bilderfassungselements, das eine Bewegungsachsenkalibrierung benötigt, die a-te Bewegungsachse mehrmals rotiert, und für jede Rotation wird ein Bild durch das mit der Bewegungsachse gekoppelte Bilderfassungselement M_ai erfasst und gleichzeitig eine Positionsinformation der Bewegungsachse aufgezeichnet. Auf diese Weise wird {M_ai,θ_ai1,...,θ_aiN} gewonnen. Basierend auf der Abfolge der in den jeweiligen Rotationen aufgenommenen Bilder (M_a1,M_a2,M_a3,...M_aP), wobei P_a die Gesamtzahl der während der Kalibrierung der a-ten Bewegungsachse aufgenommenen gültigen Bilder darstellt, wird mit Hilfe eines Kalibrierungsalgorithmus (ähnlich z. B. der Kalibrierungsmethode von Zhang Zhengyou) eine Berechnung durchgeführt, um Rotations- und Translationstransformationsmatrizen {R_aCi,T_Ci}, i = 1... P_a jedes aufgenommenen Bildes relativ zur Position der Kalibrierungsvorlage abzuleiten. In Verbindung mit der Positionsinformation der Bewegungsachse, die während der Aufnahme der Bilder aufgezeichnet wurde, erhält man so {R_aCi,T_aCi,θ_ai}i = 1... P_a. Dieser Vorgang wird für eine weitere Bewegungsachse wiederholt, bis alle Bewegungsachsen $a = 1 \dots \sum_{k = 1}^{K} N_{k}$
so bearbeitet wurden. Rotationswinkel {θ_ai1 - θ_I1, ...θ_aiN - θ_IN}i = 1... P_a der Bewegungsachsen relativ zur Referenzposition in den Kalibrierungsergebnissen werden in Rotationsmatrizen ${R_{B a i}}, i = 1 \dots P_{a}, a = 1 \dots \sum_{k = 1}^{K} N_{k}$
umgewandelt, die dann in das folgende Modell eingespeist werden, das eine Beziehung zwischen dem Koordinatensystem des Bilderfassungselements und dem Koordinatensystem der Rotationsachsen in den jeweiligen Bewegungsfreiheitsgraden beschreibt: $\begin{array}{l} W_{a i} = {[\begin{matrix} R_{B C a} & T_{B C a} \\ O & 1 \end{matrix}]}^{- 1} [\begin{matrix} R_{B a i} & 0 \\ O & 1 \end{matrix}] [\begin{matrix} R_{B C a} & T_{B C a} \\ O & 1 \end{matrix}], a = 1 \dots \sum_{k = 1}^{K} N_{k}, i = 1 \dots P_{a} \\ W_{1 i} W_{2 i} \dots W_{N i} = [\begin{matrix} R_{a C i} & T_{a C i} \\ O & 1 \end{matrix}], i = 1 \dots P_{a} \end{array}$
wobei R_BCa,T_BCa Rotations- und Translationsmatrizen für die Rotationsachse im a-ten Bewegungsfreiheitsgrad relativ zum entsprechenden Bilderfassungselement sind, N die Anzahl der Bewegungsfreiheitsgrade im Bildverarbeitungssystem ist, die aus den Rotationswinkeln der a-ten Bewegungsachse relativ zur Referenzposition umgerechnete Rotationsmatrix ist, R_Bai, R_aCi, T_aCi Rotations- und Translationstransformationsmatrizen eines Koordinatensystems des i-ten Bildes sind, das während der Bewegung der a-ten Bewegungsachse relativ zur Position der Kalibrierungsvorlage aufgenommen wurde, und P_a die Gesamtzahl der gültigen Bilder ist, die in den jeweiligen Rotationen der a-ten Bewegungsachse während des Kalibrierungsprozesses aufgenommen wurden. Schließlich erhält man mehrere Gleichungssätze. Diese Gleichungssätze werden gelöst, um die nachstehenden optimalen Lösungen zu erhalten, d. h. Kalibrierungsergebnisse für jede Bewegungsachse. ${R_{B C a}, T_{B C a}}, a = 1 \dots \sum_{k = 1}^{K} N_{k}$
In Schritt 4 werden die Kalibrierungsergebnisse berechnet. Genauer gesagt werden aus den vorherigen Schritten die Referenzinformationen ${θ_{I a}}, a = 1 \dots \sum_{k = 1}^{K} N_{k},$
die Ergebnisse der Stereokalibrierung {R_I(x,y), T_I(x,y)}, 1≤x,y≤K und die Rotations- und Translationsmatrizen ${R_{B C a}, T_{B C a}}, a = 1 \dots \sum_{k = 1}^{K} N_{k} .$
für das Bilderfassungselement und jede Rotationsachse in den jeweiligen Bewegungsfreiheitsgraden erhalten. Für zwei Augen (die beiden Augen im binokularen Bildverarbeitungsteilsystem werden als x,y,1≤x,y≤K bezeichnet, wobei x und y das linke bzw. rechte „Auge“ des Teilsystems darstellen) des beweglichen Bildverarbeitungssystems, das in der praktischen Verwendung Stereokalibrierungsergebnisse benötigt, werden Positionsinformationen ${θ_{a}}, a = \sum_{k = 1}^{x - 1} N_{k} + 1 \dots \sum_{k = 1}^{x} N_{k}, \sum_{k = 1}^{y - 1} N_{k} + 1 \dots \sum_{k = 1}^{y} N_{k}$
der beiden Augen in jedem Bewegungsfreiheitsgrad erhalten. Gekoppelt mit der Referenzpositionsinformation können Rotationswinkel ${θ_{I a} - θ_{a}}, a = \sum_{k = 1}^{x - 1} N_{k} + 1 \dots \sum_{k = 1}^{x} N_{k}, \sum_{k = 1}^{y - 1} N_{k} + 1 \dots \sum_{k = 1}^{y} N_{k}$
in jedem Bewegungsfreiheitsgrad erhalten und in entsprechende Matrizen ${R_{a}}, a = \sum_{k = 1}^{x - 1} N_{k} + 1 \dots \sum_{k = 1}^{x} N_{k}, \sum_{k = 1}^{y - 1} N_{k} + 1 \dots \sum_{k = 1}^{y} N_{k}$
umgewandelt werden, die dann in das Modell eingegeben werden, das die Beziehung zwischen dem Koordinatensystem des Bilderfassungselements und dem Koordinatensystem der Rotationsachsen der jeweiligen Bewegungsfreiheitsgrade beschreibt: $\begin{array}{l} W_{a} = {[\begin{matrix} R_{B C a} & T_{B C a} \\ O & 1 \end{matrix}]}^{- 1} [\begin{matrix} R_{a} & 0 \\ O & 1 \end{matrix}] [\begin{matrix} R_{B C a} & T_{B C a} \\ O & 1 \end{matrix}], a = \sum_{k = 1}^{x - 1} N_{k} + 1 \dots \sum_{k = 1}^{x} N_{k}, \sum_{k = 1}^{y - 1} N_{k} + 1 \dots \sum_{k = 1}^{y} N_{k} \\ [\begin{matrix} R' & T' \\ O & 1 \end{matrix}] = (\begin{matrix} \sum_{k = 1}^{y} N_{k} \\ Π & W_{a} \\ a = \sum_{k = 1}^{y - 1} N_{k} + 1 \end{matrix}) [\begin{matrix} R_{I (x, y)} & T_{I (x, y)} \\ O & 1 \end{matrix}] {(\begin{matrix} \sum_{k = 1}^{x} N_{k} \\ Π & W_{a} \\ a = \sum_{k = 1}^{x - 1} N_{k} + 1 \end{matrix})}^{- 1} \end{array}$
wobei R' und T' Rotations- und Translationsmatrizen in extrinsischen Parametern der beiden Bilderfassungskomponenten sind, nachdem sich das binokulare bewegliche Bildverarbeitungsteilsystem bewegt hat, R_BCa,T_BCa Rotations- und Translationsmatrizen der a-ten Bewegungsachse relativ zum Koordinatensystem des Bilderfassungselements sind, N_k die Anzahl der Bewegungsfreiheitsgrade der k -ten Bilderfassungskomponente ist, x,y die Laufnummern der beiden Bilderfassungskomponenten darstellen, die „linke Augen“ bzw. „rechte Augen“ in dem beweglichen binokularen Bildverarbeitungsteilsystem sind, R_a die Rotationsmatrix ist, die aus dem Rotationswinkel der a-ten Bewegungsachse relativ zur Referenzposition umgerechnet wird, und R_I(x,y), T_I(x,y) entsprechend Rotations- und Translationsmatrizen sind der linken und rechten „Augen“ an der Referenzposition relativ zueinander.
Bei dieser Methode können die Schritte 2 und 3 in umgekehrter Reihenfolge durchgeführt werden.
Das Stereokalibrierungssystem und -Verfahren der vorliegenden Anwendung bietet folgende Vorteile: Es ermöglicht den Erhalt von Informationen über intrinsische und extrinsische Parameter jedes Bilderfassungselements durch Berechnung, selbst wenn sich das Bilderfassungselement im beweglichen System bewegt hat, was bei Berechnungen verwendet werden kann, die bei der stereoskopischen Erfassung und verwandten Algorithmen durchgeführt werden; Das vorgeschlagene Verfahren hat eine gute Leistung bei der Echtzeitberechnung. Das heißt, nach einer einzigen Stereokalibrierung ist die Echtzeitinformation der intrinsischen und extrinsischen Parameter jeder Bildkomponente in der Lage, durch Berechnung der Positionsinformation in jedem Freiheitsgrad in Folge erhalten zu werden. Die vorliegende Anwendung ist in der Lage, unvermeidliche Abweichungen von der theoretischen Vorlage, die durch mechanische Bearbeitung und Montage entstehen, effektiv zu eliminieren.
Figurenliste

1 ist ein schematisches Blockdiagramm einer Stereokalibrierung für ein bewegliches multiokulares Bildverarbeitungssystem der vorliegenden Anmeldung.
2A ist ein Flussdiagramm eines Stereokalibrierungsprozesses für ein bewegliches multiokulares Bildverarbeitungssystem der vorliegenden Anmeldung.
2B ist ein Berechnungsablaufdiagramm für die Echtzeit-Extrinsischen-Parameter eines beweglichen multiokularen Bildverarbeitungssystems der vorliegenden Anmeldung.
3 ist eine perspektivische Ansicht der mechanischen Struktur eines beweglichen binokularen Bildverarbeitungssystems mit sechs Freiheitsgraden (DOF) gemäß der vorliegenden Anmeldung.
4 zeigt, wie ein Koordinatensystem des beweglichen binokularen Sechs-DOF-Bildverarbeitungssystems von 3 definiert ist.
5 zeigt eine schachbrettartige Kalibrierungsvorlage, die in einem Kalibrierungsalgorithmus verwendet wird, der von der vorliegenden Anwendung übernommen wurde.
6 zeigt schematisch das Koordinatensystem der Rotationsachsen der jeweiligen Bewegungsfreiheitsgrade und das Koordinatensystem des Bilderfassungselements.

DETAILLIERTE BESCHREIBUNG
Die vorliegende Anwendung wird mit Bezug auf bestimmte Ausführungsformen, die in den beigefügten Zeichnungen dargestellt sind, näher beschrieben. Der Kürze halber werden bei der Beschreibung der verschiedenen Prozesse, Bedingungen und experimentellen Methoden dieser Ausführungsformen einige in der Technik gut bekannte Details weggelassen, und die vorliegende Anwendung ist insbesondere nicht auf solche Details beschränkt.
Eine detailliertere Beschreibung für Stereokalibrierungsmethoden eines beweglichen multiokularen Bildverarbeitungssystems der vorliegenden Anwendung wird im Folgenden unter Bezugnahme auf die 1 bis 6 gegeben.
Das in der vorliegenden Anmeldung erwähnte bewegliche multiokulare Bildverarbeitungssystem umfasst mindestens zwei Sätze von Bilderfassungskomponenten, mindestens eine Berechnungskomponente und mindestens eine Steuerkomponente. Jede Bilderfassungskomponente kann individuell mit einer Berechnungskomponente und einer Steuerkomponente ausgestattet sein. Alternativ können sich die Erfassungskomponenten eine einzelne Berechnungskomponente und eine einzelne Steuerkomponente teilen. Die Bilderfassungskomponenten, Berechnungskomponenten und Steuerkomponenten sind durch Signalverbindungen gekoppelt. Wie in 1 gezeigt, enthält das System eine Steuerungskomponente, eine Berechnungskomponente und mehrere Sätze von Bilderfassungskomponenten. Die Steuerkomponente ist dazu eingerichtet, dass sie die Bewegungen der Bilderfassungskomponenten in jedem Bewegungsfreiheitsgrad steuert und Positionsinformationen für jeden Bewegungsfreiheitsgrad erhält. Die Berechnungskomponente ist dazu eingerichtet, dass sie Bildinformationen und Informationen über die Bewegung in jedem Bewegungsfreiheitsgrad berechnet und verarbeitet. Jede Bilderfassungskomponente ist dazu eingerichtet, dass sie aufeinanderfolgende Bilder aufnimmt und Informationen der Bilder an die Berechnungskomponente liefert. Jeder der mindestens zwei Sätze von Bilderfassungskomponenten hat eine beliebige Anzahl von Bewegungsfreiheitsgraden (einschließlich null Freiheitsgraden; in diesem Fall ist die Bilderfassungskomponente unbeweglich und kann sich nicht bewegen), und mindestens ein Satz der Bilderfassungskomponenten ist eine bewegliche Komponente in mindestens einem Freiheitsgrad.
Wie in 2A gezeigt, kann die Stereokalibrierungsmethode für das bewegliche multiokulare Bildverarbeitungssystem der vorliegenden Anwendung im Wesentlichen Kalibrierungsschritte und Schritte zur Berechnung extrinsischer Parameter umfassen. Insbesondere können die Kalibrierungsschritte umfassen:

(S11) Erhalten initialer Informationen des Bildverarbeitungssystems;
(S12) Für ein System, das Ergebnisse der binokularen Stereokalibrierung benötigt, Erfassen von Informationen mehrerer Sätze von Bildern der Kalibrierungsvorlage an einer Referenzposition auf der Grundlage einer binokularen Stereokalibrierung;
(S13) Berechnen und Erhalten von Rotations- und Translationsmatrizen zwischen den beiden Bildkomponenten an der Referenzposition unter Verwendung eines vorhandenen Berechnungsalgorithmus für ein binokulares festes Bildverarbeitungssystem;
(S14) Rotieren jeder Bewegungsachse, Erfassen entsprechender Informationen von Bildern der Kalibrierungsvorlage und Aufzeichnen von Positionsinformationen jeder Bewegungsachse;
(S15) basierend auf den in Schritt S14 erfassten Informationen, Berechnen von Rotations- und Translationsmatrizen jeder Bewegungsachse relativ zu einem Bilderfassungskomponenten-Koordinatensystem; und
(S16) Erhalten von Kalibrierungsergebnissen für das bewegliche multiokulare Bildverarbeitungssystem und Beenden des Kalibrierungsvorgangs.

Die Schritte S12 und S13 können mit den Schritten S14 und S15 in der Reihenfolge, in der sie ausgeführt werden, vertauscht werden. Das heißt, es ist auch möglich, dass die Schritte in der folgenden Reihenfolge ausgeführt werden: S11, S14, S15, S12, S13 und S16.
Die Schritte zur Berechnung der extrinsischen Parameter können umfassen:

(S21) Erfassen der Kalibrierungsergebnisse für das bewegliche Bildverarbeitungssystem;
(S22) Erfassen von Positionsinformationen der beiden Bilderfassungskomponenten (zwei Augen), die eine Stereokalibrierung in jedem Bewegungsfreiheitsgrad benötigen; und
(S23) Berechnen von Rotations- und Translationsmatrizen zwischen den beiden Bilderfassungskomponenten durch Einspeisen entsprechender Informationen in das Lösungsmodell für extrinsische Parameter des beweglichen Bildverarbeitungssystems.

3 und 4 sind perspektivische Ansichten der mechanischen Struktur eines beweglichen binokularen Sichtsystems mit sechs Freiheitsgraden (DOF). Wie aus den Figuren ersichtlich ist, ist jedes „Auge“ (d. h. Augapfel) des binokularen Sichtsystems aus einer Bilderfassungskomponente gebildet, und die beiden Bilderfassungskomponenten sind nebeneinander angeordnet, um wie das linke und das rechte Auge zu funktionieren, die jeweils drei Bewegungsfreiheitsgrade haben, die als Nicken, Gieren und Rollen definiert sind. In einem dreidimensionalen rechtwinkligen Koordinatensystem bezieht sich Nicken auf die Rotation um die Y-Achse, Gieren auf die Rotation um die Z-Achse und Rollen auf die Rotation um die X-Achse. Bei einem einzelnen Augapfel sind die drei Freiheitsgrade starr miteinander gekoppelt, so dass die Bewegung in einem Freiheitsgrad die in den übrigen Freiheitsgraden nicht beeinflusst. Optional können die Nick-Motoren für den linken und rechten „Augapfel“ an entsprechenden Positionen, z. B. Basen im Gehäuse, befestigt werden. Für die Roll-Freiheitsgrade der beiden „Augäpfel“ können jeweils Bilderfassungselemente vorgesehen sein, die aufeinanderfolgende Bilder aufnehmen können. Jeder der sechs Bewegungsfreiheitsgrade wird von einem entsprechenden Motor zur Bewegung angetrieben, wobei jeder Motor mit einem Positionsrekorder zur Erfassung der in Echtzeit ausgegebenen Positionsinformation des Motors versehen ist. In diesem Beispiel können die Positionsinformationen von den Motoren als Winkelwerte ausgegeben werden. 4 zeigt, wie das Koordinatensystem des beweglichen binokularen Sechs-DOF-Bildverarbeitungssystems von 3 definiert ist. Die vorliegende Anwendung kann zur stereoskopischen Kalibrierung eines multiokularen Bildverarbeitungssystems mit einer beliebigen Anzahl von Bewegungsfreiheitsgraden verwendet werden, wobei die Bewegungsfreiheitsgrade zwischen mehreren Augen entweder symmetrisch oder asymmetrisch sein können. Die vorliegende Anwendung kann auch für multiokulare Bildverarbeitungssysteme gelten, die mehrere feste Augäpfel (d.h. mit null Freiheitsgraden) und mehrere bewegliche Augäpfel (d.h. mit mindestens einem Bewegungsfreiheitsgrad) enthalten.
BEISPIELE
Die vorliegende Anwendung wird am Beispiel des beweglichen binokularen Bildverarbeitungssystems mit sechs DOFs, wie in 3 und 4 gezeigt, näher beschrieben.
Kalibrierung der initialen Daten
In der vorliegenden Anwendung können ein oder mehrere Kalibrierungsvorlagen verwendet werden, die extrahierbare invariante Merkmale besitzen, wobei die Abstände zwischen ihnen bekannt sind. In der vorliegenden Ausführungsform wird ein Kamera-Kalibrierungsalgorithmus verwendet, der auf einem einzelnen planaren Schachbrett basiert, das von Professor Zhang Zhengyou im Jahr 1998 vorgeschlagen wurde. Insbesondere kann ein gedrucktes Foto eines planaren Schachbretts, das auf eine ebene Platte geklebt ist, als Kalibrierungsvorlage verwendet werden, wie in 5 gezeigt. Die Kalibrierungsvorlage wird dann so in ein gemeinsames Gesichtsfeld des binokularen Bildverarbeitungssystems gelegt, dass die Kalibrierungsvorlage mit dem binokularen Bildverarbeitungssystem vollständig sichtbar ist.
In dieser Ausführungsform wird, um den Schwierigkeitsgrad der Berechnung zu erleichtern, jeder Freiheitsgrad unabhängig kalibriert. Am Beispiel der Kalibrierung der Roll-, Nick- und Gierfreiheitsgrade des linken „Auges“ (entsprechend den Motoren Nr. 1, 2 und 3) wird die Kalibrierungsvorlage so vor dem beweglichen binokularen Bildverarbeitungssystem fixiert, dass die komplette Kalibrierungsvorlage mit dem linken „Augapfel“ Bilderfassungselement gesehen werden kann. Dann wird jeder der Motoren Nr. 1, 2 und 3 mehrmals rotiert, und nach jeder Rotation wird ein Bild M_i mit dem linken „Augapfel“ Bilderfassungselement aufgenommen, und die Positionsinformation {θ_1i,θ_2i,θ_3i}jeder Bewegungsachse, die dem jeweiligen Motor zum Zeitpunkt der Aufnahme der Bilder entspricht, wird aufgezeichnet. Durch Kombination der Bilder mit der Positionsinformation kann {M_i,θ_1i,θ_2i,θ_3i}erhalten werden. Basierend auf derSequenz von Bildern (M₁, M₂, M₃,..., M_P), die nach den jeweiligen Rotationen aufgenommen wurden, können Rotations- und Translations-Transformationsmatrizen {R_Ci,T_Ci}jedes aufgenommenen Bildes in Bezug auf die Position der Kalibrierungsvorlage unter Verwendung der in 3 gezeigten planaren Schachbrett-Kalibrierungsvorlage und des Kalibrierungsalgorithmus von Zhang Zhengyou berechnet werden. Diese Transformationsmatrizen werden mit den zum Zeitpunkt der Bildaufnahme aufgezeichneten Positionsinformationen der Bewegungsachsen kombiniert und ergeben {R_Ci,T_Ci,θ_1i,θ_2i,θ_3i} (i=1...P), wobei P die Gesamtzahl der während der Kalibrierung der Bewegungsachsen aufgenommenen gültigen Bilder darstellt.
Eine Position, bei der die Kameras des binokularen Sichtsystems ein großes gemeinsames Sichtfeld haben, wird dann als Referenzposition für die Stereokalibrierung gewählt, und die aufgezeichneten Positionsinformationen der sechs Motoren im binokularen System werden als (θ_I1,θ_I2,θ_I3,θ_I4,θ_I5,θ_I6), bezeichnet, wobei die Indizes 1 bis 6jeweils für die Freiheitsgrade Roll, Gier und Nick des linken und rechten Auges stehen (dies gilt auch für jedes später aufgenommene Bild).
Um die Genauigkeit der Stereokalibrierung für die Referenzposition zu verbessern, wird in der Praxis bevorzugt, dass ein Satz von Kalibrierungsbildern aufgenommen wird, wenn sich die Kamera in derselben Position befindet. Das heißt, bei stationär gehaltenen Kameras wird die Position des planaren Schachbretts vor den Kameras verändert und mehrere Sätze von Bildern werden aufgenommen. Im Allgemeinen werden 20 Sätze von Bildern aufgenommen.
Stereokalibrierung eines beweglichen binokularen Bildverarbeitungssystems
Unter Verwendung mehrerer Sätze von Bildern der Stereokalibrierungsvorlage, die im vorherigen Schritt an der Referenzposition (θ_I1,θ_I2,θ_I3,θ_I4,θ_I5,θ_I6)aufgenommen wurden, und des in der Technik bekannten Stereokalibrierungsalgorithmus von Zhang kann eine Positionsbeziehung (einschließlich einer Rotationsmatrix R_I und eines Translationsvektors T_I) zwischen den beiden Kameras an der Referenzposition berechnet werden (für weitere Einzelheiten zu den Berechnungsschritten kann auf „A Flexible New Technique for Camera Calibration“ von Zhang Zhengyou aus dem Jahr 1998 verwiesen werden).
Kalibrierung der Bewegungsachse
Begrenzt durch die vorhandenen mechanischen Bearbeitungstechniken ist es schwierig, entweder sicherzustellen, dass das optische Zentrum des beweglichen binokularen Bildverarbeitungssystems auf den Rotationsachsen positioniert ist, oder sicherzustellen, dass das Koordinatensystem der Rotationsachse parallel zu den Kamerakoordinatensystemen ist. Daher ist es notwendig, die Ausrichtungsvariation jedes Kamera-Koordinatensystems basierend auf den Ausgaben der Rotationsachsen-Encoder zu berechnen, was die Kenntnis der Positionsbeziehungen zwischen jeder Rotationsachse und dem Kamera-Koordinatensystem erfordert. Bei einem starren Körper bleiben die Positionsbeziehungen zwischen den einzelnen Rotationsachsen und der Kamera unverändert. Um die Positionsbeziehungen zwischen jeder Rotationsachse und dem Kamerakoordinatensystem zu bestimmen, wird ein mathematisches Modell erstellt, wie in 6 gezeigt. Das Kamera-Koordinatensystem (im Folgenden auch kurz als „System C“ bezeichnet) wird als C{O_c-x_cy_cz_c} bezeichnet. Das vom optischen Zentrum O_c des Kamerakoordinatensystems ausgehende Lot wird eingezeichnet und schneidet die Rotationsachse 1 des Roll-Freiheitsgrades im Punkt O_b. Das Lot verlängert sich zu einem Strahl O_bx_b . Es wird das Rotationsachsen-Koordinatensystem B {O_b-x_by_bz_b} (im Folgenden auch kurz „System B“ genannt) aufgestellt, mit dem O_b als Ursprung, der Rotationsachse O_bx_b als x-Achse, der Rotationsachse als y-Achse und einer nach der Rechten-Hand-Regel bestimmten z-Achse.
Wenn O_cO_b=d (was ein konstanter Wert ist, der durch die mechanische Bearbeitungstechnik bestimmt werden kann), dann kann die Koordinate von O_c im System B dargestellt werden als t = (-d, 0,0)^T. Sei R_BC eine Rotationsmatrix vom Kamera-Koordinatensystem C zum Rotationsachsen-Koordinatensystem B. Für jeden Punkt P im Raum, erfüllt seine Koordinate PC im System C und seine Koordinate PB im System B die Transformationsgleichung P_B =R_BCP_C + t, ausgedrückt in homogenen Koordinaten als: $[\begin{matrix} x_{B} \\ y_{B} \\ z_{B} \\ 1 \end{matrix}] = [\begin{matrix} R_{B C} & t \\ O & 1 \end{matrix}] [\begin{matrix} x_{C} \\ y_{C} \\ z_{C} \\ 1 \end{matrix}],$
wobei $T_{B C} = [\begin{matrix} R_{B C} & t \\ O & 1 \end{matrix}]$
das gewünschte Kalibrierungsergebnis ist, welches eine Transformationsmatrix vom System B nach C für einen beliebigen Punkt P im Raum ist.
Nach einer Rotation um die Rotationsachse um einen Winkel θ werden das Rotationsachsenkoordinatensystem B und das Kamerakoordinatensystem C zu einem neuen Rotationsachsenkoordinatensystem B' und einem neuen Kamerakoordinatensystem C' . Die Rotation um die Rotationsachse ist äquivalent zu einer entsprechenden Rotation des Systems B nach B' um die Achse z_b um den Winkel θ. Für den gleichen Punkt P werden die Koordinate P_B im Systeme und die Koordinate P_B, im System erfüllen B': $P_{B'} = [\begin{matrix} R_{B' B} & O \\ O & 1 \end{matrix}] P_{B},$
wobei $R_{B' B} = [\begin{matrix} cos θ & 0 & sin θ \\ 0 & 1 & 0 \\ - sin θ & 0 & cos θ \end{matrix}]$
(dieser Wert hängt vom Rotationswinkel ab).
Analog dazu dreht sich das Kamerakoordinatensystem um den Winkel θ in das neue Kamerakoordinatensystem C' . Bei der Kalibrierung kann die Transformation des Kamerakoordinatensystems mit Hilfe eines festen Schachbretts berechnet werden. Unter der Annahme, dass ein Punkt P durch eine Koordinate x_w in einem Weltkoordinatensystem des Schachbretts repräsentiert wird, ergeben sich die berechneten extrinsischen Parameter des Schachbretts in den Systemen C und C' zu jeweils T_CW und T_C'W . Da P_C =T_CWx_w und P_C' = T_C'Wx_w, kann die folgende Gleichung erhalten werden: $P_{C'} = T_{C' W} T_{C W}^{- 1} P_{C} = T_{C' C} P_{C} .$
Aufgrund der Natur eines starren Körpers bleibt die relative Lagebeziehung T_BC zwischen den Systemen B und C unverändert bei dem Rotationsprozess. Daher erfüllt der gleiche Punkt im Raum Gl. (1) in den neuen Koordinatensystemen B' und C' und es ergibt sich folgende Gleichung. $P_{B'} = [\begin{matrix} R_{B C} & t \\ O & 1 \end{matrix}] P_{C'} .$
Aus Gleichungen (2), (3) und (4) ergibt sich die folgende Gleichung. ${[\begin{matrix} R_{B C} & t \\ O & 1 \end{matrix}]}^{- 1} [\begin{matrix} R_{B' B} & O \\ O & 1 \end{matrix}] [\begin{matrix} R_{B C} & t \\ O & 1 \end{matrix}] = [\begin{matrix} R_{C' C} & t_{C' C} \\ O & 1 \end{matrix}],$
wobei $[\begin{matrix} R_{B C} & t \\ O & 1 \end{matrix}]$
jene Matrix ist, die bei der Kalibrierung der Rotationsachse gelöst werden muss, $[\begin{matrix} R_{B' B} & O \\ O & 1 \end{matrix}]$
eine Matrix ist, die von Positionssensoren für jede Rotation ausgegeben wird, und $[\begin{matrix} R_{C' C} & t_{C' C} \\ O & 1 \end{matrix}]$
eine Matrix T_C'C ist, die von der Kamera für jede Rotation berechnet wird.
Die für jede Rotation berechnete T_BC, wird zur Kalibrierung der Beziehung zwischen der Rotationsachse und dem Kamerakoordinatensystem verwendet.
Für einen gegebenen Datensatz {R_Ci,T_Ci,θ_1i,θ_2i,θ_3i} i = 1... P ) können die Rotationswinkel für diesen Datensatz relativ zur Referenzposition als {θ_1i-θ_l1,θ_2i-θ_l2,θ_3i-θ_l3} i=1...P) berechnet werden, und die Rotationsmatrizen können wie folgt berechnet werden: ${\begin{array}{l} R_{B' B 1 i} = [\begin{matrix} cos (θ_{1 i} - θ_{I 1}) & - sin (θ_{1 i} - θ_{I 1}) & 0 \\ - sin (θ_{1 i} - θ_{I 1}) & cos (θ_{1 i} - θ_{I 1}) & 0 \\ 0 & 0 & 1 \end{matrix}] \\ R_{B' B 2 i} = [\begin{matrix} 1 & 0 & 0 \\ 0 & cos (θ_{2 i} - θ_{I 2}) & - sin (θ_{2 i} - θ_{I 2}) \\ 0 & sin (θ_{2 i} - θ_{I 2}) & cos (θ_{2 i} - θ_{I 2}) \end{matrix}], i = 1 \dots P \\ R_{B' B 3 i} = [\begin{matrix} cos (θ_{3 i} - θ_{I 3}) & 0 & sin (θ_{3 i} - θ_{I 3}) \\ 0 & 1 & 0 \\ - sin (θ_{3 i} - θ_{I 3}) & 0 & cos (θ_{3 i} - θ_{I 3}) \end{matrix}] \end{array} .$
Setzt man diese in Gl. (5) ein, erhält man die folgenden Gleichungssätze: $\begin{array}{l} W_{a i} = {[\begin{matrix} R_{B C a} & T_{B C a} \\ O & 1 \end{matrix}]}^{- 1} [\begin{matrix} R_{B a i} & 0 \\ O & 1 \end{matrix}] [\begin{matrix} R_{B C a} & T_{B C a} \\ O & 1 \end{matrix}], a = 1 \dots 3, i = 1 \dots P \\ W_{1 i} W_{2 i} W_{3 i} = [\begin{matrix} R_{C i} & T_{C i} \\ O & 1 \end{matrix}], i = 1 \dots P \end{array}$

P Sätze von Gleichungen können erhalten werden, wenn alle Daten in Gleichung (7) eingesetzt werden, und optimale Lösungen {R_Bca,T_BCa} (a = 1...3) können durch Lösen dieser Gleichungen erhalten werden.
Dieser Vorgang wird für die Motoren Nr. 4-6 für den rechten „Augapfel“ wiederholt. Als Ergebnis erhält man die Kalibrierungsergebnisse {R_Bca,T_Bea} (a =1...6) für die Bewegungsachsen der sechs Motoren.
Berechnung der Echtzeit-Kalibrierungsergebnisse
Die Gesamtkalibrierungsergebnisse umfassen die Referenzpositionsinformationen (θ_I1,θ_I2,θ_I3,θ_I4,θ_I5,θ_I6), die Ergebnisse der Stereokalibrierung {R_I,T_I} und die Ergebnisse der Bewegungsachsenkalibrierung {R_BCa,T_BCa}(a=1...6). Wenn jede Kamerakomponente im beweglichen binokularen Bildverarbeitungssystem bewegt wurde, erhält man die Positionsinformation (θ_p1,θ_p2,θ_p3,θ_p4,θ_p5,θ_p6) in den sechs Bewegungsfreiheitsgraden. Die Rotationswinkel in den sechs Freiheitsgraden werden aus der Positionsinformation als (θ_p1-θ_I1,θ_p2-θ_I2,θ_p3-θ_I3,θ_p4-θ_I4,θ_p5-θ_I5,θ_p6-θ_I6), gewonnen, die dann in eine Rotationsmatrix (R_p1,R_p2,R_p3,R_p4,R_p5,R_p6) umgewandelt werden. Diese werden in die folgende Gleichung eingesetzt, um die extrinsischen Parameter (eine Rotationsmatrix R' und eine Translationsmatrix) des beweglichen binokularen Bildverarbeitungssystems mit sechs Freiheitsgraden nach der Bewegung zu erhalten, d. h. die Ergebnisse der Echtzeitkalibrierung: $\begin{array}{l} W_{a} = {[\begin{matrix} R_{B C a} & T_{B C a} \\ O & 1 \end{matrix}]}^{- 1} [\begin{matrix} R_{p a} & 0 \\ O & 1 \end{matrix}] [\begin{matrix} R_{B C a} & T_{B C a} \\ O & 1 \end{matrix}], a = 1 \dots 6 \\ [\begin{matrix} R' & T' \\ O & 1 \end{matrix}] = (W_{4} W_{5} W_{6}) [\begin{matrix} R_{I} & T_{I} \\ O & 1 \end{matrix}] {(W_{4} W_{5} W_{6})}^{- 1} \end{array}$
Das in der vorliegenden Anmeldung beschriebene bewegliche binokulare Bildverarbeitungssystem und die Stereokalibrierungsmethode sind nicht auf die vorstehenden Ausführungsformen beschränkt. Obwohl den Ausführungsformen zusätzliche Schritte zur Erhöhung der Genauigkeit oder zur Verringerung der Rechenkomplexität in der praktischen Anwendung hinzugefügt werden, können andere verschiedene Variationen und Modifikationen vorgenommen werden, ohne von den Prinzipien der vorliegenden Anwendung abzuweichen.
Der Umfang der vorliegenden Anmeldung ist nicht auf die hierin offenbarten Ausführungsformen beschränkt. Vielmehr umfasst er alle Änderungen oder Vorteile, die der Fachmann ableiten kann, ohne von Geist und Umfang des Konzepts dieser Anmeldung abzuweichen. Somit wird der eigentliche Schutzumfang der Anmeldung durch die beigefügten Ansprüche definiert.

Claims

Stereokalibrierungsmethode eines beweglichen multiokularen Bildverarbeitungssystems, wobei das bewegliche multiokulare Bildverarbeitungssystem umfasst: mindestens zwei Bilderfassungskomponenten, jeweils umfassend mindestens ein Bilderfassungselement, das in der Lage ist, aufeinanderfolgende Bilder zu erfassen, und aufweisend eine beliebige Anzahl von Bewegungsfreiheitsgraden, wobei jeder Bewegungsfreiheitsgrad mit einer Positionserfassungsvorrichtung versehen ist, die in der Lage ist, Rotations- oder Translationsinformationen zu erfassen; mindestens eine Berechnungskomponente, die in der Lage ist, Bildinformationen und Bewegungsinformationen in jedem Bewegungsfreiheitsgrad zu berechnen und zu verarbeiten; mindestens eine Steuerkomponente, die die Bewegung in jedem Bewegungsfreiheitsgrad steuern kann, und wobei die Stereokalibrierungsmethode umfasst: für jedes Bilderfassungselement Anordnen einer Kalibrierungsvorlage vor dem Bilderfassungselement; Ansteuern des Bilderfassungselements, damit es sich in jedem Bewegungsfreiheitsgrad bewegt; Erfassen einer Anzahl von Bildern, die die gesamte Kalibrierungsvorlage enthalten, durch das Bilderfassungselement und gleichzeitiges Aufzeichnen von Positionsinformationen des jeweiligen Bewegungsfreiheitsgrads beim Erfassen der jeweiligen Bilder; und Berechnen von Kalibrierungsergebnissen für das Bilderfassungselement und jeden Bewegungsfreiheitsgrad durch die Berechnungskomponente, wobei die Kalibrierungsergebnisse eine Rotationsmatrix und eine Translationsmatrix jeder Rotationsachse in den jeweiligen Bewegungsfreiheitsgraden relativ zu dem Bilderfassungselement umfassen.
Stereokalibrierungsmethode nach Anspruch 1, wobei die Positionserfassungseinrichtung in dem jeweiligen Bewegungsfreiheitsgrad zum Erhalten von Informationen über die Bewegung in dem jeweiligen Bewegungsfreiheitsgrad vorgesehen ist.
Stereokalibrierungsmethode nach Anspruch 1, wobei mindestens eine der Abbildungskomponenten einen oder mehrere Bewegungsfreiheitsgrade aufweist.
Stereokalibrierungsmethode nach Anspruch 1, wobei die Kalibrierungsvorlage entweder eine natürliche statische Szene oder ein künstliches Standard-Target enthält, wobei die natürliche statische Szene, wenn sie als Kalibrierungsvorlage dient, invariante Bildmerkmale und bekannte Informationen über die Positionsbeziehung zwischen den Bildmerkmalen bereitstellt, und wobei das künstliche Standard-Target mindestens eines aus einem zweidimensionalen (2D) planaren Target und einem dreidimensionalen (3D) stereoskopischen Target enthält.
Stereokalibrierungsmethode nach Anspruch 1, umfassend die Schritte: für jede Bilderfassungskomponente, Aufzeichnen von Positionsinformationen der Bilderfassungskomponente in jedem Bewegungsfreiheitsgrad an einer Referenzposition; Erhalten von genauen Parametern über relative Positionen zwischen Bilderfassungselementen durch Ausführen einer Stereokalibrierung an der Referenzposition; Ausführen eines Kalibrierungsprozesses für jeden Bewegungsfreiheitsgrad und Berechnen, durch die Berechnungskomponente, einer Rotationsmatrix und einer Translationsmatrix jeder Rotationsachse in dem jeweiligen Bewegungsfreiheitsgrad relativ zu einem Bilderfassungselement-Koordinatensystem.
Stereokalibrierungsmethode nach Anspruch 1, wobei die Stereokalibrierungsergebnisse Referenzpositionsinformationen, Stereokalibrierungsergebnisse des Bilderfassungselements an der Referenzposition und Rotations- und Translationsbeziehungen jeder Rotationsachse in dem jeweiligen Bewegungsfreiheitsgrad relativ zu einem Bilderfassungselement-Koordinatensystem umfassen, wobei die Stereokalibrierungsergebnisse des Bilderfassungselements an der Referenzposition Rotations- und Translationsbeziehungen zwischen Bilderfassungselementen umfassen.
Stereokalibrierungsmethode nach Anspruch 1, ferner umfassend Berechnen und Erhalten von Rotations- und Translationsmatrizen, die relative Positionsbeziehungen zwischen den Bilderfassungselementen anzeigen, durch Einspeisen der Kalibrierungsergebnisse und Positionsinformationen jedes Bewegungsfreiheitsgrades in ein Beziehungsmodell zwischen einem Bilderfassungselement-Koordinatensystem und einem Koordinatensystem von Rotationsachsen in jeweiligen Bewegungsfreiheitsgraden.
Die Stereokalibrierungsmethode nach Anspruch 7, wobei das Beziehungsmodell ist $\begin{array}{l} W_{a} = {[\begin{matrix} R_{B C a} & T_{B C a} \\ O & 1 \end{matrix}]}^{- 1} [\begin{matrix} R_{a} & 0 \\ O & 1 \end{matrix}] [\begin{matrix} R_{B C a} & T_{B C a} \\ O & 1 \end{matrix}], a = \sum_{k = 1}^{x - 1} N_{k} + 1 \dots \sum_{k = 1}^{x} N_{k}, \sum_{k = 1}^{y - 1} N_{k} + 1 \dots \sum_{k = 1}^{y} N_{k} \\ [\begin{matrix} R' & T' \\ O & 1 \end{matrix}] = (\begin{matrix} \sum_{k = 1}^{y} N_{k} \\ Π & W_{a} \\ a = \sum_{k = 1}^{y - 1} N_{k} + 1 \end{matrix}) [\begin{matrix} R_{I (x, y)} & T_{I (x, y)} \\ O & 1 \end{matrix}] {(\begin{matrix} \sum_{k = 1}^{x} N_{k} \\ Π & W_{a} \\ a = \sum_{k = 1}^{x - 1} N_{k} + 1 \end{matrix})}^{- 1} \end{array}$
wobei R' und T' Rotations- und Translationsmatrizen in Berechnungsergebnissen der extrinsischen Parameter von zwei Bildkomponenten sind, die ein bewegliches binokulares Bildverarbeitungssubsystem an einer aktuellen Position entsprechend bilden, wobei das bewegliche binokulare Bildverarbeitungssubsystem aus zwei beliebigen Bildkomponenten in dem beweglichen multiokularen Bildverarbeitungssystem gebildet ist, R_BCa,T_BCa entsprechend Rotations- und Translationsmatrizen einer Rotationsachse in einem a-ten Bewegungsfreiheitsgrad relativ zum Koordinatensystem des Bilderfassungselements sind, N_k eine Gesamtzahl von Bewegungsfreiheitsgraden in einer k-ten Bildverarbeitungskomponente ist, x,y Seriennummern der beiden Bildverarbeitungskomponenten darstellen, die jeweils „linke Augen“ und „rechte Augen“ in dem beweglichen binokularen Bildverarbeitungssystem sind, R_a eine Rotationsmatrix ist, umgewandelt aus einem Rotationswinkel einer Rotationsachse in dem a-ten Bewegungsfreiheitsgrad relativ zu der Referenzposition; und R_I(x,y),T_I(x,y) relative Rotations- und Translationsmatrizen zwischen den „linken Augen“ und „rechten Augen“ an der Referenzposition sind.