DE102015220031A1

DE102015220031A1 - Method for confidence estimation for optical-visual pose determination

Info

Publication number: DE102015220031A1
Application number: DE102015220031.0A
Authority: DE
Inventors: Josef Alois Birchbauer; Gerhard Kniewasser; Stefan Wakolbinger
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2015-10-15
Filing date: 2015-10-15
Publication date: 2017-04-20

Abstract

Die Erfindung betrifft ein Verfahren zur Abschätzung der Konfidenz einer optisch-visuellen Bestimmung der räumlichen Position und/oder Orientierung zumindest eines optischen Aufnahmegerätes, vorzugsweise einer Kamera, anhand von Aufnahmen des zumindest einen Aufnahmegerätes von dem umgebenden Raum, wobei das Verfahren umfasst: – Iteratives Bestimmen der Position und/oder Orientierung in der Aufnahme mittels RANSAC-Algorithmus als die beste der in den einzelnen RANSAC-Iterationen ermittelten Positionen und/oder Orientierungen; wobei – die in mehreren RANSAC-Iterationen, insbesondere in jeder RANSAC-Iteration, ermittelte Position und/oder Orientierung gespeichert wird, – dass mittels einer Cluster-Analyse ein dominanter Cluster von realistischen Positionen und/oder Orientierungen bestimmt wird, und dass – aus der Menge all dieser mittels der Cluster-Analyse ermittelten realistischen Positionen und/oder Orientierungen eine, vorzugsweise gewichtete, Kovarianz in Bezug zu der besten in den RANSAC-Iterationen ermittelten Position und/oder Orientierung berechnet wird, welche Kovarianz ein Maß für die Konfidenz dieser besten Position und/oder Orientierung ist.The invention relates to a method for estimating the confidence of an optical-visual determination of the spatial position and / or orientation of at least one optical recording device, preferably a camera, based on recordings of the at least one recording device from the surrounding space, the method comprising: - iterative determination the position and / or orientation in the recording by means of the RANSAC algorithm as the best of the positions and / or orientations determined in the individual RANSAC iterations; wherein - the position and / or orientation determined in several RANSAC iterations, in particular in each RANSAC iteration, is stored, - that a dominant cluster of realistic positions and / or orientations is determined by means of a cluster analysis, and that - from the Given that all of these realistic positions and / or orientations determined by the cluster analysis compute a, preferably weighted, covariance with respect to the best position and / or orientation determined in the RANSAC iterations, which covariance is a measure of the confidence of that best position and / or orientation.

Description

GEBIET DER ERFINDUNG FIELD OF THE INVENTION

Die Erfindung betrifft ein Verfahren zur Abschätzung der Konfidenz einer optisch-visuellen Bestimmung der räumlichen Position und/oder Orientierung zumindest eines optischen Aufnahmegerätes, vorzugsweise einer Kamera, anhand von Aufnahmen des zumindest einen Aufnahmegerätes von dem umgebenden Raum, wobei das Verfahren die folgenden Schritte umfasst:

– Erstellung eines 3D-Modells der Umgebung des optischen Aufnahmegerätes zu einem bestimmten Zeitpunkt, vorzugsweise mittels „Structure from Motion“;
– Beschaffen einer Aufnahme des zumindest einen optischen Aufnahmegerätes zu einem beliebigen späteren Zeitpunkt;
– Identifizieren von zumindest drei charakteristischen Punkten, vorzugsweise von mehreren hundert charakteristischen Punkten, in der zu dem beliebigen späteren Zeitpunkt aufgenommenen Aufnahme;
– Identifizieren der zumindest drei charakteristischen Punkte, vorzugsweise aller charakteristischen Punkte, in dem 3D-Modell;
– Zuordnen zueinander korrespondierender charakteristischer Punkte der Aufnahme und des 3D-Modells;
– Iteratives Bestimmen der Position und/oder Orientierung in der Aufnahme mittels RANSAC-Algorithmus als die beste der in den einzelnen RANSAC-Iterationen ermittelten Positionen und/oder Orientierungen.

The invention relates to a method for estimating the confidence of an optical-visual determination of the spatial position and / or orientation of at least one optical recording device, preferably a camera, based on recordings of the at least one recording device from the surrounding space, the method comprising the following steps:

- Creation of a 3D model of the environment of the optical recording device at a given time, preferably by means of "Structure from Motion";
Obtaining a recording of the at least one optical recording device at any later time;
- identifying at least three characteristic points, preferably of several hundred characteristic points, in the picture taken at any later time;
- identifying the at least three characteristic points, preferably all characteristic points, in the 3D model;
- associating with each other corresponding characteristic points of the recording and the 3D model;
Iteratively determining the position and / or orientation in the recording by means of the RANSAC algorithm as the best of the positions and / or orientations determined in the individual RANSAC iterations.

STAND DER TECHNIK STATE OF THE ART

Die Lokalisierung von Objekten gewinnt heutzutage immer mehr an Bedeutung. Gehören Geräte für die Navigationstechnik im Straßen-, See- und Flugverkehr ja bereits zur technischen Standardausrüstung, so stellen viele Aspekte der Indoor-Navigation einen Gegenstand aktueller Forschung dar. In diesem Bereich kann nämlich oft keine Sattelitenverbindung hergestellt werden, wodurch die Navigation mittels GPS hierbei nicht zur Anwendung kommen kann. The localization of objects is becoming more and more important nowadays. If devices for navigation technology in road, sea and air traffic are already part of the standard technical equipment, then many aspects of indoor navigation are an object of current research. In this area, often no satellite connection can be made, which means GPS navigation can not be used.

Auch in anderen Bereichen der Technik spielt Lokalisierung eine wichtige Rolle. Dazu gehören unter anderem die Vermessungstechnik, Asset Management sowie Augmented Reality. Localization also plays an important role in other areas of technology. These include surveying, asset management and augmented reality.

Aus der Vielzahl an technischen Modalitäten, wie etwa Funk oder Inkrementalgeber, befasst sich die vorliegende Erfindung mit dem Bereich der optisch-visuellen Lokalisierung, also der Lokalisierung anhand von Bilddaten aus der räumlichen Umgebung des zu lokalisierenden Objektes bzw. der Kamera, die die Bilder aufgenommen hat. From the variety of technical modalities, such as radio or incremental encoder, the present invention is concerned with the field of optical-visual localization, ie the localization based on image data from the spatial environment of the object to be located or the camera that took the images Has.

Die Bestimmung der Kamerapose, also der Position und/oder Orientierung der Kamera, in 3D ist unter dem Namen „Three Point Perspective Pose Estimation Problem“ bekannt, wobei grundsätzlich zwei Ansätze unterschieden werden, nämlich einerseits die Bestimmung eines Bilddatums in Bezug zu einem bestehenden 3D-Modell, und andererseits die Bestimmung der Kamerapose anhand zeitlich geordneter Bildsequenzen. Letzteres ist unter dem Begriff „Visual Odometry“ bekannt, umfasst darüber hinaus aber auch noch andere Ausprägungen wie beispielsweise „Visual Self-Localisation And Mapping“ (Visual-SLAM). The determination of the camera pose, ie the position and / or orientation of the camera, in 3D is known under the name "Three Point Perspective Pose Estimation Problem", whereby basically two approaches are distinguished, namely the determination of an image datum in relation to an existing 3D Model, and on the other hand, the determination of the camera pose on the basis of temporally ordered image sequences. The latter is known by the term "Visual Odometry", but also includes other forms such as "Visual Self-Localization And Mapping" (Visual-SLAM).

Die Bestimmung der Kamerapose schließt dabei in der Regel die Verwendung des RANSAC-Algorithmus (Random Sample Consensus) ein. Darin werden Parameter eines Modells zur Berechnung der Positionen zueinander korrespondierender charakteristischer Bildmerkmale iterativ bestimmt. Jede Iteration liefert eine Lösung – und damit eine Kamerapose – wobei üblicherweise eine dieser Lösungen als die Beste ausgewählt und die Vielzahl an anderen Lösungen verworfen wird. The determination of the camera pose usually involves the use of the RANSAC algorithm (Random Sample Consensus). In it, parameters of a model for calculating the positions of characteristic image features corresponding to one another are determined iteratively. Each iteration provides a solution - and thus a camera pose - whereby one of these solutions is usually selected as the best and the multitude of other solutions discarded.

In allen Fällen nützlich ist in diesem Zusammenhang jedoch nicht nur die Bestimmung einer besten Lösung bzw. Kamerapose, sondern vor allem auch eine Bestimmung der Konfidenz im Sinne einer Güte dieser Kamerapose. In all cases, however, useful in this context is not only the determination of a best solution or camera pose, but above all a determination of the confidence in the sense of a quality of this camera pose.

AUFGABE DER ERFINDUNG OBJECT OF THE INVENTION

Daher ist es eine Aufgabe der vorliegenden Erfindung, ein Verfahren bereit zu stellen, mittels welchem die Konfidenz einer iterativ bestimmten Position und/oder Orientierung eines Aufnahmegerätes abgeschätzt, insbesondere auch qualitativ dargestellt, werden kann. It is therefore an object of the present invention to provide a method by means of which the confidence of an iteratively determined position and / or orientation of a recording device can be estimated, in particular also qualitatively represented.

DARSTELLUNG DER ERFINDUNG PRESENTATION OF THE INVENTION

Bei einem erfindungsgemäßen Verfahren zur Abschätzung der Konfidenz einer optisch-visuellen Bestimmung der räumlichen Position und/oder Orientierung zumindest eines optischen Aufnahmegerätes, vorzugsweise einer Kamera, anhand von Aufnahmen des zumindest einen Aufnahmegerätes des umgebenden Raumes, wobei das Verfahren die folgenden Schritte umfasst:

– Erstellung eines 3D-Modells der Umgebung des optischen Aufnahmegerätes zu einem bestimmten Zeitpunkt, vorzugsweise mittels des „Structure from Motion“-Verfahrens;
– Beschaffen einer Aufnahme des zumindest einen optischen Aufnahmegerätes zu einem beliebigen späteren Zeitpunkt;
– Identifizieren von zumindest drei charakteristischen Punkten, vorzugsweise von mehreren hundert charakteristischen Punkten, in der zu dem beliebigen späteren Zeitpunkt aufgenommenen Aufnahme;
– Identifizieren der zumindest drei charakteristischen Punkte, vorzugsweise aller charakteristischen Punkte, in dem 3D-Modell;
– Zuordnen zueinander korrespondierender Punkte der Aufnahme und des 3D-Modells;
– Iteratives Bestimmen der Position und/oder Orientierung in der Aufnahme mittels RANSAC-Algorithmus als die beste der in den einzelnen RANSAC-Iterationen ermittelten Positionen und/oder Orientierungen; wird die der Erfindung zu Grunde liegende Aufgabe dadurch gelöst, dass
– die in mehreren RANSAC-Iterationen, insbesondere in jeder RANSAC-Iteration, ermittelte Position und/oder Orientierung gespeichert wird,
– dass mittels einer Cluster-Analyse ein dominanter Cluster von realistischen Positionen und/oder Orientierungen bestimmt wird, und dass
– aus der Menge all dieser mittels der Cluster-Analyse ermittelten realistischen Positionen und/oder Orientierungen eine, vorzugsweise gewichtete, Kovarianz in Bezug zu der besten in den RANSAC-Iterationen ermittelten Position und/oder Orientierung berechnet wird, welche Kovarianz ein Maß für die Konfidenz dieser besten Position und/oder Orientierung ist.

In a method according to the invention for estimating the confidence of an optical-visual determination of the spatial position and / or orientation of at least one optical recording device, preferably a camera, based on recordings of the at least one recording device of the surrounding space, the method comprising the following steps:

- Creation of a 3D model of the environment of the optical recording device at a given time, preferably by means of the "Structure from Motion"method;
Obtaining a recording of the at least one optical recording device at any later time;
Identifying at least three characteristic points, preferably of several hundred characteristic points, in which any recording taken at a later date;
- identifying the at least three characteristic points, preferably all characteristic points, in the 3D model;
- associating with each other corresponding points of the shot and the 3D model;
Iteratively determining the position and / or orientation in the recording by means of the RANSAC algorithm as the best of the positions and / or orientations determined in the individual RANSAC iterations; the object underlying the invention is achieved in that
The position and / or orientation determined in several RANSAC iterations, in particular in each RANSAC iteration, is stored,
- that by means of a cluster analysis a dominant cluster of realistic positions and / or orientations is determined, and that
From the set of all these realistic positions and / or orientations determined by means of the cluster analysis, a, preferably weighted, covariance with respect to the best position and / or orientation determined in the RANSAC iterations is calculated, which covariance is a measure of the confidence this best position and / or orientation is.

Bei gattungsgemäßen Verfahren nach dem Stand der Technik werden die Resultate der einzelnen RANSAC-Iterationen verworfen und nur die beste der in den RANSAC-Iterationen ermittelten Positionen und/oder Orientierungen gespeichert bzw. verwendet. Im Gegensatz dazu ist es erfindungsgemäß vorgesehen, die in jeder RANSAC-Iteration bestimmte Position und/oder Orientierung des zumindest einen Aufnahmegerätes zu speichern und zur Abschätzung der Konfidenz der besten Position und/oder Orientierung zu verwenden. In generic methods according to the prior art, the results of the individual RANSAC iterations are discarded and only the best of the positions and / or orientations determined in the RANSAC iterations are stored or used. In contrast thereto, it is provided according to the invention to store the position and / or orientation of the at least one recording device determined in each RANSAC iteration and to use this to estimate the confidence of the best position and / or orientation.

Bei einem iterativen Verfahren wie dem RANSAC-Algorithmus wird in jeder Iteration eine Lösung des zu lösenden Problems bestimmt. Diese Lösungen werden im RANSAC-Algorithmus sogleich einem Test unterzogen, wodurch bestimmt werden kann, in wie weit die jeweils gefundene Lösung richtige Vorhersagen über die Dynamik des zu beschreibenden Systems erlaubt. Die Lösung derjenigen RANSAC-Iteration, in welcher die beste Vorhersage möglich ist, ist die Lösung des RANSAC-Verfahrens und wird hier als beste Lösung bzw. beste Position und/oder Orientierung bezeichnet. In an iterative method such as the RANSAC algorithm, a solution of the problem to be solved is determined in each iteration. These solutions are immediately subjected to a test in the RANSAC algorithm, whereby it can be determined to what extent the solution found in each case allows correct predictions about the dynamics of the system to be described. The solution of the RANSAC iteration in which the best prediction is possible is the solution of the RANSAC method and is referred to here as best solution or best position and / or orientation.

Der Begriff der Konfidenz ist im Sinne einer Güte der besten Position und/oder Orientierung, in anderen Worten also der Güte der Lösung des RANSAC-Algorithmus, zu verstehen. Dabei werden mittels des RANSAC-Algorithmus zunächst freie Modellparameter eines Modells bestimmt. Dies wird typischerweise durch einen Fit des Modells an eine Teilmenge der identifizierten Punktkorrespondenzen erreicht. Ein in einer RANSAC-Iteration bestimmter Satz solcher Modellparameter entspricht dabei einer bestimmten und zu ebendieser RANSAC-Iteration korrespondierenden Position und/oder Orientierung. The term confidence is to be understood as a quality of the best position and / or orientation, in other words, the quality of the solution of the RANSAC algorithm. First, free model parameters of a model are determined by means of the RANSAC algorithm. This is typically achieved by fitting the model to a subset of the identified point correspondences. A set of such model parameters determined in a RANSAC iteration corresponds to a specific position and / or orientation corresponding to the same RANSAC iteration.

Das so parametrisierte Modell wird nun zur Berechnung aller Punktkorrespondenzen verwendet. Der Fehler des Modells bei dieser Bestimmung aller Punktkorrespondenzen, also bei der Berechnung der Positionen der charakteristischen Punkte in der zu dem beliebigen späteren Zeitpunkt aufgenommenen Aufnahme als Funktion der Positionen der charakteristischen Punkte des 3D-Modells, wird als Rückprojektionsfehler des parametrisierten Modells der jeweiligen RANSAC-Iteration bezeichnet. The parameterized model is now used to calculate all point correspondences. The error of the model in this determination of all point correspondences, ie in the calculation of the positions of the characteristic points in the recorded at any later time recording as a function of the positions of the characteristic points of the 3D model, is called backprojection error of the parameterized model of each RANSAC Iteration called.

Typischerweise wird der iterative Teil des RANSAC-Algorithmus abgebrochen, wenn eine gefundene Lösung ein vorgegebenes Abbruch- bzw. Konvergenzkriterium erfüllt. Diese kann beispielsweise ein genügend kleiner Rückprojektionsfehler des jeweils parametrisierten Modells sein. Diese so bestimmte Position und/oder Orientierung des zumindest einen Aufnahmegerätes der letzten RANSAC-Iteration stellt somit die beste Lösung des RANSAC-Algorithmus dar. Typically, the iterative part of the RANSAC algorithm is aborted when a found solution satisfies a predetermined abort or convergence criterion. This can be, for example, a sufficiently small backprojection error of the respectively parameterized model. This determined position and / or orientation of the at least one recording device of the last RANSAC iteration thus represents the best solution of the RANSAC algorithm.

Um die in allen RANSAC-Iterationen ermittelten Positionen und/oder Orientierungen einer groben Bewertung zu unterziehen, wird eine Cluster-Analyse aller ermittelten Positionen und/oder Orientierungen durchgeführt. Sollte diese Cluster-Analyse ergeben, dass kein dominanter Cluster von Positionen und/oder Orientierungen existiert, beispielsweise dann, wenn die Verteilung der Positionen und/oder Orientierungen bi- oder multimodal ist, muss das Verfahren abgebrochen werden, da aufgrund des zur Verfügung stehenden Bildmaterials keine eindeutige Bestimmung der Position und/oder Orientierung des Aufnahmegerätes möglich ist. Wird hingegen ein dominanter Cluster ermittelt, so werden für die Abschätzung der Konfidenz nur noch diejenigen Positionen und/oder Orientierungen verwendet, welche Teil dieses dominanten Clusters sind. To make a rough evaluation of the positions and / or orientations determined in all RANSAC iterations, a cluster analysis of all determined positions and / or orientations is performed. If this cluster analysis reveals that there is no dominant cluster of positions and / or orientations, for example, if the distribution of positions and / or orientations is bimodal or multimodal, then the method must be aborted because of the available imagery no clear determination of the position and / or orientation of the recording device is possible. If, on the other hand, a dominant cluster is determined, only the positions and / or orientations that are part of this dominant cluster are used to estimate the confidence.

Zur Abschätzung der Konfidenz der besten Lösung wird nun die Kovarianz des dominanten Clusters berechnet. Diese Kovarianz ist ein Maß für die Güte der besten Lösung und kann gegebenenfalls mittels der jeweiligen Rückprojektionsfehler gewichtet werden. To estimate the confidence of the best solution, the covariance of the dominant cluster is now calculated. This covariance is a measure of the quality of the best solution and can optionally be weighted by means of the respective backprojection errors.

Daher ist es bei einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens vorgesehen, dass ein Gewichtungsfaktor zur Berechnung der gewichteten Kovarianz ein Rückprojektionsfehler eines zur jeweiligen Position und/oder Orientierung korrespondierenden parametrisierten Modells einer RANSAC-Iteration ist. It is therefore provided in a preferred embodiment of the method according to the invention that a weighting factor for calculating the weighted covariance is a backprojection error of a respective position and / or Orientation corresponding parameterized model of a RANSAC iteration.

Um offensichtlich falsche Lösungen innerhalb des dominanten Clusters, die beispielsweise durch besonders ungünstige Wahl der für den Fit verwendeten Punktkorrespondenzen stammen können, bei der Abschätzung der Konfidenz nicht berücksichtigen zu müssen, ist es bei einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens vorgesehen, dass offensichtlich falsche Positionen und/oder Orientierungen aus dem dominanten Cluster entfernt werden, bevor die Kovarianz berechnet wird. In order to avoid obviously having to consider wrong solutions within the dominant cluster, which may for example result from particularly unfavorable choice of the point correspondences used for the fit in the estimation of the confidence, it is provided in a preferred embodiment of the method according to the invention that obviously wrong positions and / or orientations are removed from the dominant cluster before covariance is calculated.

Dabei kann es vorgesehen sein, dass offensichtlich falsche Positionen und/oder Orientierungen des dominanten Clusters mittels einer Metrik identifiziert werden. It can be provided that obviously wrong positions and / or orientations of the dominant cluster are identified by means of a metric.

Bei dieser Metrik kann es sich beispielsweise um eine Euklidische Metrik auf dem

handeln, welche den Abstand einer in einer beliebigen Iteration gefundenen Position von der besten Position des zumindest einen Aufnahmegerätes angibt. Offensichtlich falsche Positionen können dann als solche identifiziert werden, wenn ihr Abstand von der besten Position größer als ein vorgegebener Schwellenwert ist. Analog kann ein Maß für die Abweichung der Nick-, Roll- und Gierwinkel der Kamera formuliert werden. For example, this metric may be a Euclidean metric on the

which indicates the distance of a position found in any iteration from the best position of the at least one recording device. Obviously, wrong positions can then be identified as such if their distance from the best position is greater than a predetermined threshold. Analogously, a measure of the deviation of the pitch, roll and yaw angles of the camera can be formulated.

Bei einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens ist es vorgesehen, dass die jeweiligen Positionen und/oder Orientierungen aller RANSAC-Iterationen graphisch dargestellt werden, vorzugsweise in Form eines Histogramms oder eines Streudiagramms, um die Konfidenz der besten in den RANSAC-Iterationen ermittelten Position und/oder Orientierung qualitativ darzustellen. In a further preferred embodiment of the method according to the invention, it is provided that the respective positions and / or orientations of all RANSAC iterations are represented graphically, preferably in the form of a histogram or a scattergram, in order to determine the confidence of the best position determined in the RANSAC iterations / or orientation qualitatively.

Je dichter die Häufung der Lösungen der einzelnen RANSAC-Iterationen um die beste Lösung, als umso besser kann die Konfidenz dieser besten Lösung eingeschätzt werden. Die Streuung der Werte erlaubt zudem eine Abschätzung der Kovarianz. The closer the accumulation of the solutions of the individual RANSAC iterations to the best solution, the better the confidence of this best solution can be assessed. The scattering of the values also allows an estimate of the covariance.

Falls die Erfassung der charakteristischen (Merkmals-)Punkte mit einem betragsmäßig bekannten systematischen Fehler einhergeht, sollte die daraus resultierende Unsicherheit bei der Bestimmung der Modellparameter mittels Fit an die jeweils gewählten Punktkorrespondenzen berücksichtigt werden. If the detection of the characteristic (feature) points is accompanied by a systematically known systematic error, the resulting uncertainty should be taken into account when determining the model parameters by means of Fit to the respectively selected point correspondences.

Daher ist es bei einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens vorgesehen, dass eine Position der in der Aufnahme identifizierten charakteristischen Punkte mit einem statistischen Rauschen versehen wird, um eine sich aus der verwendeten Aufnahmetechnik ergebende Unsicherheit in der Erfassung der charakteristischen Punkte zu berücksichtigen. Therefore, it is provided in a further preferred embodiment of the method according to the invention that a position of the characteristic points identified in the recording is provided with a statistical noise in order to take into account a resulting from the recording technique used uncertainty in the detection of the characteristic points.

Des Weiteren ist ein Computerprogrammprodukt vorgesehen, welches ein Computerprogramm umfasst und direkt in einen Speicher eines Aufnahmegerätes, oder einer dem Aufnahmegerät zugeordneten Recheneinheit ladbar ist, mit Computerprogramm-Mitteln, um alle Schritte des erfindungsgemäßen Verfahrens auszuführen, wenn das Computerprogramm von dem Aufnahmegerät oder der Recheneinheit ausgeführt wird. Furthermore, a computer program product is provided, which comprises a computer program and can be loaded directly into a memory of a recording device or a computing unit associated with the recording device, with computer program means for carrying out all the steps of the method according to the invention, if the computer program is from the recording device or the computing unit is performed.

Da es sich bei dem erfindungsgemäßen Verfahren um ein Verfahren handelt, im Rahmen dessen unter Umständen große Datenmengen verarbeitet werden müssen, bietet sich eine Implementierung des Verfahrens als Computerprogramm an. Since the method according to the invention is a method in which, under certain circumstances, large amounts of data have to be processed, an implementation of the method is suitable as a computer program.

KURZE BESCHREIBUNG DER FIGUR BRIEF DESCRIPTION OF THE FIGURE

Im Folgenden soll der Erfindungsgedanke anhand einer Figur näher erläutert werden. Bei 1 handelt es sich um ein Ablaufdiagramm, welches einen Teil des erfindungsgemäßen Verfahrens darstellt. Nachdem der RANSAC-Algorithmus zur Bestimmung der besten Lösung, also der Position und/oder Orientierung eines Aufnahmegerätes, durchlaufen wurde und die Lösungen aller RANSAC-Iterationen abgespeichert wurden, sieht das erfindungsgemäße Verfahren eine Cluster-Analyse vor. In the following, the concept of the invention will be explained in more detail with reference to a figure. at 1 it is a flowchart, which forms part of the method according to the invention. After the RANSAC algorithm has been run to determine the best solution, ie the position and / or orientation of a recording device, and the solutions of all RANSAC iterations have been stored, the method according to the invention provides a cluster analysis.

Dadurch soll ermittelt werden, ob ein dominanter Cluster an Lösungen existiert oder nicht. Falls dies nicht der Fall ist, wenn also die Lösungen der RANSAC-Iterationen eine bi- oder gar multimodale Verteilung aufweisen, wird das erfindungsgemäße Verfahren an dieser Stelle abgebrochen, da die Position und/oder Orientierung des Aufnahmegerätes nicht eindeutig bestimmt werden kann. This is to determine whether a dominant cluster of solutions exists or not. If this is not the case, ie if the solutions of the RANSAC iterations have a bi- or even multimodal distribution, the method according to the invention is aborted at this point, since the position and / or orientation of the recording device can not be determined unambiguously.

Ist es möglich einen dominanten Cluster zu identifizieren, so können – je nach dem, ob der dominante Cluster offensichtlich falsche Positionen und/oder Orientierungen (Ausreißer) aufweist oder nicht – Ausreißer noch aus dem dominanten Cluster entfernt werden, bevor die Konfidenz basierend auf allen zum Cluster gehörenden Lösungen berechnet wird. If it is possible to identify a dominant cluster, outliers can still be removed from the dominant cluster, depending on whether or not the dominant cluster has wrong positions and / or orientations (outliers), before the confidence based on all Cluster belonging solutions is calculated.

FUNKTIONSWEISE DER ERFINDUNG FUNCTIONING OF THE INVENTION

Im Folgenden soll die Funktionsweise des erfindungsgemäßen Verfahrens anhand eines konkreten Ausführungsbeispiels beschrieben werden. Diese Beschreibung ist beispielhaft und soll den Erfindungsgedanken zwar darlegen, ihn aber keinesfalls einengen oder gar abschließend wiedergeben. In the following, the operation of the method according to the invention will be described with reference to a concrete embodiment. This description is exemplary and is intended to illustrate the inventive idea, but in no way restrict it or even conclusively reproduce it.

Bei einem zumindest einen Aufnahmegerät handelt es sich im konkreten Ausführungsbeispiel um eine Fotokamera, welche auf einem sich durch einen Raum bewegenden Roboter montiert ist und Aufnahmen in Form von Bildern von ihrer Umgebung mit einer Frequenz von 1 Hz aufnimmt. An at least one recording device is involved in the specific exemplary embodiment a photo camera mounted on a robot moving through a room and taking pictures in the form of images of its surroundings at a frequency of 1 Hz.

In einem 3D-Modell, welches aus einer Vielzahl von zu einem bestimmten Zeitpunkt, t_k, aufgenommenen Bildern mittels des „Structure from Motion“-Verfahrens erstellt wurde, werden nun charakteristische Merkmale, sogenannte Features, identifiziert. Bei diesen Features kann es sich um Kanten (Edges), Ecken (Corners/interest points), Bereiche (Blobs/regions of interest), oder Grate (Ridges) handeln, welche mittels bekannter Bildbearbeitungs-Tools erkannt werden können. Zum Zeitpunkt t_k ist eine Position und/oder Orientierung der Kamera bekannt. In a 3D model, which was created from a multiplicity of images recorded at a specific point in time, t _k , by means of the "structure from motion" method, characteristic features, so-called features, are now identified. These features can be Edges, Corners / interest points, Regions (blobs / regions of interest), or Ridges, which can be detected using well-known image editing tools. At the time t _k , a position and / or orientation of the camera is known.

Nun werden in einem von der Kamera zu einem späteren Zeitpunkt, t_k+1, aufgenommenen Bild alle Features identifiziert, welche bereits in dem zu dem Zeitpunkt t_k aufgenommenen Bild identifiziert wurden. Now, in one of the camera at a later time, t _{k + 1,} captured image identified all the features which have been identified in which at the time t _k captured image.

Um Unsicherheiten in der Erfassung der Features berücksichtigen zu können, werden die Positionen der Features (und somit auch die der charakteristischen Punkte – siehe weiter unten) mit statistischen Schwankungen gemäß einer Gauß-Verteilung hinterlegt. In order to be able to take into account uncertainties in the detection of the features, the positions of the features (and thus also of the characteristic points - see below) are stored with statistical fluctuations according to a Gaussian distribution.

Da die Kamera auf dem sich bewegenden Roboter montiert ist, hat sich die Position der Kamera relativ zu derjenigen, die sie zum Zeitpunkt t_k eingenommen hat, verändert. Falls die Kamera schwenkbar auf dem Roboter montiert ist, kann sich auch ihre räumliche Orientierung, im Sinne einer Rotation um ihre Nick-, Roll- und/oder Gierachse, verändert haben. Since the camera is mounted on the moving robot, the position of the camera has taken relative to that which they at time t _k, is changed. If the camera is pivotally mounted on the robot, its spatial orientation, in the sense of a rotation about its pitch, roll and / or yaw axis, may also have changed.

Im konkreten Ausführungsbeispiel handelt es sich bei den beiden Bildern um zwei unmittelbar aufeinanderfolgend aufgenommene Bilder, also t_k+1 – t_k = 1 Sekunde. Theoretisch könnte die Frequenz der Aufnahmen, die die Kamera von ihrer Umgebung macht, auch (viel) niedriger sein bzw. wäre es ebenso möglich, dass nicht jede Aufnahme für die Bestimmung der Position und/oder Orientierung verwendet wird, sondern etwa nur jede Zehnte. Allerdings dient die Bestimmung der Position und/oder Orientierung in der Praxis oft dazu, die Bewegung der Kamera – und somit die des Roboters, auf welchem die Kamera montiert ist – zu bestimmen bzw. abzubilden. Dafür ist es zweckmäßig, dass die zur Bestimmung der Position und/oder Orientierung dienenden Aufnahmen zeitlich nahe beieinander liegen. In the concrete exemplary embodiment, the two images are two images taken in immediate succession, ie t _{k + 1} -t _k = 1 second. Theoretically, the frequency of the images that the camera makes of its surroundings could also be (much) lower or it would also be possible that not every image is used to determine the position and / or orientation, but only every tenth. However, the determination of the position and / or orientation in practice often serves to determine or depict the movement of the camera, and thus of the robot on which the camera is mounted. For this purpose, it is expedient that the recordings serving to determine the position and / or orientation are close in time to one another.

Im nächsten Schritt des erfindungsgemäßen Verfahrens, werden nun die Features des 3D-Modells und diejenigen Features der Aufnahme zum Zeitpunkt t_k+1 einander zugeordnet. Dabei werden individuelle Punkte dieser Features, sogenannte charakteristische Punkte, identifiziert und miteinander in Beziehung gesetzt. Im Resultat liegt nach diesem Verfahrensschritt eine – u.a. von der Genauigkeit des Verfahrens und der Auflösung der Aufnahmen abhängige – Anzahl von Punktkorrespondenzen vor, welche die veränderten Positionen der Features sowie die neue Perspektive, aus der sie erscheinen, widerspiegeln. In the next step of the method according to the invention, the features of the 3D model and those features of the image are now assigned to one another at the time t _{k + 1} . Individual points of these features, so-called characteristic points, are identified and correlated with each other. As a result, after this process step, there is a number of point correspondences dependent on the accuracy of the method and the resolution of the images, which reflect the changed positions of the features as well as the new perspective from which they appear.

Verfahrensgemäß wird nun mittels eines iterativen RANSAC-Verfahrens die Position und/oder Orientierung der Kamera zum Zeitpunkt t_k+1 aus den vorliegenden Punktkorrespondenzen der charakteristischen Punkte des 3D-Modells sowie aus der Position und/oder Orientierung der Kamera zum Zeitpunkt t_k, die ja bekannt ist, bestimmt. According to the method, the position and / or orientation of the camera at time t _{k + 1} from the present point correspondences of the characteristic points of the 3D model as well as from the position and / or orientation of the camera at time t _k , the yes, certainly.

Dazu wird in einer RANSAC-Iteration zunächst eine Teilmenge der vorliegenden Punktkorrespondenzen zufällig ausgewählt, mittels welcher Teilmenge ein Modell, das die Position und/oder Orientierung der Kamera als freie Parameter umfasst, an die Punktkorrespondenzen gefittet werden soll. Diese Teilmenge aller vorhandenen Punktkorrespondenzen ist üblicherweise gerade groß genug, damit das Modell bestimmt ist, eine Überbestimmtheit jedoch vermieden wird. For this purpose, in a RANSAC iteration, first a subset of the present point correspondences is randomly selected, by means of which subset a model which comprises the position and / or orientation of the camera as free parameters is to be fitted to the point correspondences. This subset of all existing point correspondences is usually just large enough for the model to be determined, but over-determining is avoided.

Das mittels der oben genannten Teilmenge von Punktkorrespondenzen parametrisierte Modell wird nun dazu verwendet, um alle Punktkorrespondenzen, also die Positionen aller charakteristischen Punkte zum Zeitpunkt t_k+1, aus den jeweiligen Positionen der charakteristischen Punkte zum Zeitpunkt t_k vorherzusagen. Unter Miteinbeziehung einer vorgegebenen Toleranz werden auf diese Weise diejenigen Punktkorrespondenzen ermittelt, welche durch das Modell ausreichend gut erfasst sind. Diese Punkte bilden die sogenannten „Inliers“ der Iteration und die Menge aller Inliers einer Iteration wird üblicherweise als „Consensus Set“ bezeichnet. Punktkorrespondenzen, deren Dynamik mittels des jeweils parametrisierten Modells nicht abgebildet werden kann, werden als „Outliers“ bezeichnet. The model parameterized by means of the above-mentioned subset of point correspondences is now used to predict all point correspondences, ie the positions of all characteristic points at time t _{k + 1} , from the respective positions of the characteristic points at time t _k . With the inclusion of a predetermined tolerance, in this way those point correspondences are determined which are sufficiently well captured by the model. These points form the so-called "inliers" of the iteration and the set of all inliers of an iteration is commonly referred to as the "consensus set". Point correspondences whose dynamics can not be mapped by means of the respectively parameterized model are referred to as "outliers".

Das erfindungsgemäße Verfahren sieht nun vor, dass jede auf diese Weise gefundene Lösung gespeichert wird. Jede Lösung repräsentiert eine bestimmte Position und/oder Orientierung der Kamera. The inventive method now provides that each found in this way solution is stored. Each solution represents a specific position and / or orientation of the camera.

Der RANSAC-Algorithmus endet, wenn entweder eine maximale Anzahl an Iterationen durchlaufen, oder ein Consensus Set gefunden wurde, welches eine maximale Anzahl an Punktkorrespondenzen innerhalb der erlaubten Abweichung abzubilden im Stande ist. Die zu diesem Consensus Set korrespondierende Lösung ist die Lösung des RANSAC-Verfahrens und wird als beste Lösung bzw. beste Position und/oder Orientierung bezeichnet. The RANSAC algorithm ends when either a maximum number of iterations has been traversed or a consensus set has been found capable of mapping a maximum number of point correspondences within the allowed deviation. The solution corresponding to this consensus set is the solution of the RANSAC method and is referred to as best solution or best position and / or orientation.

Üblicherweise zeichnet sich die beste Lösung auch dadurch aus, dass das entsprechende Consensus Set eine möglichst große Anzahl an Inliers umfasst bzw. dadurch, dass der Rückprojektionsfehler (das Verhältnis von Inliers zu Outliers) möglichst gering ist. Usually, the best solution is also characterized by the fact that the corresponding consensus set comprises the largest possible number of inliers or that the backprojection error (the ratio of inliers to outliers) is as small as possible.

Am Ende des RANSAC-Algorithmus sind die zu jeder Iteration korrespondierenden Positionen und/oder Orientierungen – und insbesondere auch die als solche bestimmte beste Position und/oder Orientierung – abgespeichert. Um nun in weiterer Folge eine zuverlässige Abschätzung der Konfidenz der besten Position und/oder Orientierung der Kamera vornehmen zu können, wird die Gesamtheit aller gefundenen Lösungen (also aller Positionen und/oder Orientierungen, die in den RANSAC-Iterationen ermittelt wurden) einer Cluster-Analyse unterzogen. Dabei soll ermittelt werden, ob es einen dominanten Cluster gibt, in welchen eine, vorzugsweise deutliche, Mehrheit aller ermittelten Positionen und/oder Orientierungen fällt. At the end of the RANSAC algorithm, the positions and / or orientations corresponding to each iteration-and in particular also the best position and / or orientation determined as such-are stored. In order to subsequently be able to make a reliable estimate of the confidence of the best position and / or orientation of the camera, the totality of all solutions found (ie of all positions and / or orientations which were determined in the RANSAC iterations) of a cluster Subjected to analysis. It should be determined whether there is a dominant cluster in which a, preferably clear, majority of all determined positions and / or orientations falls.

Sollte kein dominanter Cluster gefunden werden, ist davon auszugehen, dass das verwendete Bildmaterial und/oder die zur Identifikation der Features verwendeten Methoden nicht geeignet sind, um die Position und/oder Orientierung der Kamera, mit welcher das Bildmaterial aufgenommen wurde, eindeutig zu bestimmen. In diesem Fall muss das erfindungsgemäße Verfahren abgebrochen werden. If no dominant cluster is found, it can be assumed that the image material used and / or the methods used to identify the features are not suitable for unambiguously determining the position and / or orientation of the camera with which the image material was recorded. In this case, the inventive method must be canceled.

Ist es hingegen möglich, einen dominanten Cluster an Lösungen zu identifizieren, so sind zur Berechnung der Konfidenz nur mehr die Lösungen des dominanten Clusters von Bedeutung. Alle Lösungen, die nicht zu dem dominanten Custer gehören, können gelöscht werden. If, on the other hand, it is possible to identify a dominant cluster of solutions, only the solutions of the dominant cluster are of importance for calculating the confidence. All solutions that do not belong to the dominant custer can be deleted.

In weiterer Folge wird nun berechnet, wie groß der Abstand zwischen der besten Position und/oder Orientierung und jeder anderen dem dominanten Cluster zugehörigen Position und/oder Orientierung ist. Offensichtliche Ausreißer in diesen Positionen und/oder Orientierungen, die beispielsweise einer besonders ungünstigen Wahl von zur Parametrisierung verwendeten Punktkorrespondenzen geschuldet sind, können dadurch identifiziert und aus dem dominanten Cluster entfernt werden. Subsequently, it is then calculated how large is the distance between the best position and / or orientation and any other position and / or orientation associated with the dominant cluster. Obvious outliers in these positions and / or orientations, which are due, for example, to a particularly unfavorable choice of point correspondences used for the parameterization, can thereby be identified and removed from the dominant cluster.

Solche ungünstige Punktkorrespondenzen können dabei beispielsweise von Features stammen, die sehr weit von der Kamera entfernt sind und daher nur sehr ungenau identifiziert werden können, oder auch von wiederkehrenden Strukturen in der Aufnahme. Such unfavorable point correspondences can originate, for example, from features that are very far away from the camera and therefore can only be identified very inaccurately, or from recurring structures in the recording.

Im Anschluss wird im konkreten Ausführungsbeispiel eine gewichtete Kovarianz aller Lösungen des dominanten Clusters in Bezug auf die beste Lösung berechnet. Als Gewichtungsfaktor dient dabei der Rückprojektionsfehler der jeweiligen Lösung. Subsequently, in the concrete embodiment, a weighted covariance of all solutions of the dominant cluster with respect to the best solution is calculated. The weighting factor is the backprojection error of the respective solution.

Um die Konfidenz der ermittelten Lösung unmittelbar qualitativ zu bestimmen und darzustellen, werden die Lösungen aller Iterationen im konkreten Ausführungsbeispiel in ein Streudiagramm und in ein N-dimensionales Histogramm eingetragen. In order to directly determine and represent the confidence of the determined solution qualitatively, the solutions of all iterations in the concrete embodiment are entered in a scatter plot and in an N-dimensional histogram.

Je dichter die Anhäufung der Lösungen im Streudiagramm um die beste Lösung, umso zuverlässiger ist die gefundene beste Lösung. Die Streuung der Werte lässt zusätzlich eine qualitative Abschätzung der Kovarianz zu. The closer the accumulation of solutions in the scatterplot to the best solution, the more reliable the best solution found. The scattering of the values additionally allows a qualitative estimation of the covariance.

Analog dazu erlaubt die Anhäufung einer großen Anzahl von Lösungen in einem Bin des Histogramms, welcher auch die beste Lösung enthält, Rückschlüsse auf eine zuverlässige Bestimmung der besten Lösung. Die N Dimensionen des Histogramms entsprechen dabei den jeweils berücksichtigten Freiheitsgraden des Aufnahmegerätes, also beispielsweis N = 6 für die Position im dreidimensionalen Raum sowie je einen Freiheitsgrad für die Rotation des Aufnahmegerätes um seine Nick-, Roll- und Gierachse. Analogously, the accumulation of a large number of solutions in a bin of the histogram, which also contains the best solution, allows conclusions to be drawn about a reliable determination of the best solution. The N dimensions of the histogram correspond to the respectively considered degrees of freedom of the recording device, thus for example N = 6 for the position in three-dimensional space and one degree of freedom for the rotation of the recording device about its pitch, roll and yaw axis.

Bei der Bestimmung der Bewegung der Kamera – und somit des Roboters – wird das oben beschriebene Verfahren vorzugsweise in jedem Paar von zeitlich aufeinanderfolgenden, zur Positionsbestimmung dienenden Aufnahmen durchgeführt. In determining the movement of the camera - and thus of the robot - the method described above is preferably performed in each pair of temporally successive position-determining recordings.

Claims

Method for estimating the confidence of an optical-visual determination of the spatial position and / or orientation of at least one optical recording device, preferably a camera, based on recordings of the at least one recording device from the surrounding space, the method comprising the following steps: - Creating a 3D Model of the environment of the optical recording device at a certain time, preferably by means of the "structure from motion"method; Obtaining a recording of the at least one optical recording device at any later time; - identifying at least three characteristic points, preferably of several hundred characteristic points, in the picture taken at any later time; - identifying the at least three characteristic points, preferably all characteristic points, in the 3D model; - associating with each other corresponding characteristic points of the recording and the 3D model; Iteratively determining the position and / or orientation in the recording by means of the RANSAC algorithm as the best of the positions and / or orientations determined in the individual RANSAC iterations; the method being characterized in that - the position and / or orientation determined in several RANSAC iterations, in particular in each RANSAC iteration, is stored, - that a dominant cluster of realistic positions and / or orientations is determined by means of a cluster analysis and that - from the set of all these realistic positions and / or orientations determined by the cluster analysis, a, preferably weighted, covariance is calculated with respect to the best position and / or orientation determined in the RANSAC iterations, which covariance Measure of the confidence of this best position and / or orientation is.

A method according to claim 1, characterized in that obviously wrong positions and / or orientations are removed from the dominant cluster before the covariance is calculated.

A method according to claim 2, characterized in that obviously false positions and / or orientations of the dominant cluster are identified by means of a metric.

Method according to one of Claims 1 to 3, characterized in that a weighting factor for calculating the weighted covariance is a backprojection error of a parametric model of a RANSAC iteration corresponding to the respective position and / or orientation.

Method according to one of claims 1 to 4, characterized in that the respective positions and / or orientations of all RANSAC iterations are represented graphically, preferably in the form of a histogram or a scattergram, to determine the confidence of the best position determined in the RANSAC iterations and / or orientation qualitatively.

Method according to one of claims 1 to 5, characterized in that a position of the characteristic points identified in the recording is provided with a statistical noise in order to take into account a resulting from the recording technique used uncertainty in the detection of the characteristic points.

A computer program product comprising a computer program and loadable directly into a memory of a recording device, or a computing unit associated with the recording device, comprising computer program means for carrying out all the steps of the method according to one of claims 1 to 6, when the computer program is received by the recording device or the Computing unit is executed.