Die
Erfindung betrifft ein Verfahren und eine Vorrichtung zum sensorbasierten Überwachen
eines Istzustandes einer Umgebung unter Berücksichtigung eines Sollzustandes
der Umgebung.The
The invention relates to a method and a device for sensor-based monitoring
an actual state of an environment taking into account a desired state
the environment.
Bekannt
ist die Überwachung
von zu prüfenden
Umgebungen, beispielsweise Kernkraftwerken, mit hohem manuellem
Aufwand. Es ist darüber
hinaus bekannt, die zu prüfenden
Umgebungen mit speziellen Markern oder anderen Modifikationen zu
präparieren
und dann mittels automatisierter Messmethoden das Vorhandensein
dieser Marker zu überwachen.
Die hierfür
erforderliche Präparierung
ist sehr teuer, mühsam
und auch fehlerträchtig.
Gerade im Bereich sicherheitskritischer Umgebungen können solche
Nachteile nicht akzeptiert werden, da aufgrund der hohen Kosten
die Überprüfungen diese dann
teilweise nicht stattfinden, wenn sie nicht zwingend vorgeschrieben
sind.Known
is the surveillance
from to be tested
Environments, such as nuclear power plants, with high manual
Effort. It is about it
also known to be tested
Environments with special markers or other modifications too
prepare
and then by automated measuring methods the presence
to monitor this marker.
The one for this
required preparation
is very expensive, tedious
and also error prone.
Especially in the field of safety-critical environments, such
Disadvantages are not accepted because of the high cost
the checks then
partially not take place, if not mandatory
are.
Mit
der Erfindung soll ein Verfahren und eine Vorrichtung zum sensorbasierten Überwachen
einer Umgebung bereitgestellt werden, wodurch die Überwachung
unpräparierter
und insbesondere auch sehr großer,
beispielsweise mehrere tausend Quadratmeter großer Umgebungen ermöglicht ist.With
The invention is a method and an apparatus for sensor-based monitoring
be provided to an environment, thereby monitoring
unprepared
and especially very big,
For example, several thousand square meters of environments is possible.
Erfindungsgemäß ist hierzu
ein Verfahren zum sensorbasierten Überwachen eines Istzustandes
einer Umgebung unter Berücksichtigung
eines Sollzustandes der Umgebung bereitgestellt, bei dem folgende
Schritte vorgesehen sind:
Erfassen von Sensormesswerten mit
wenigstens einem Sensor,
Lokalisieren des Sensors und/oder
der Sensormesswerte innerhalb der Umgebung unter Berücksichtigung
eines abgespeicherten Modells der Umgebung und Erstellen von Lokalisierungsdaten,
Erstellen
von simulierten Messwerten unter Berücksichtigung der Lokalisierungsdaten
und des abgespeicherten Modells und
Vergleichen der simulierten
Messwerte und der mittels des wenigstens einen Sensors erfassten
Messwerte.According to the invention, a method is provided for the sensor-based monitoring of an actual state of an environment, taking into account a desired state of the environment, in which the following steps are provided:
Detecting sensor readings with at least one sensor,
Localizing the sensor and / or the sensor readings within the environment, taking into account a stored model of the environment and creating localization data,
Creation of simulated measured values taking into account the localization data and the stored model and
Compare the simulated measured values and the measured values recorded by means of the at least one sensor.
Erfindungsgemäß wird die
gestellte Aufgabe somit dadurch gelöst, dass eine Umgebung mittels Sensoren
insbesondere kontinuierlich abgetastet wird und dann der Sensor
oder die Sensormesswerte lokalisiert werden. Die Sensormesswerte
beschreiben den Istzustand der Umgebung und werden dann simuliert,
und zwar unter Berücksichtigung
der Lokalisierungsdaten und des abgespeicherten Modells und, falls
erforderlich, abgespeicherter Daten über die Sensoren selbst. Man
erhält
dadurch eine Simulation oder Abbildung der Sensormesswerte, wie
diese beschaffen sein müssten,
wenn sich die Umgebung im Sollzustand befände. Die simulierten Messwerte
und die Sensormesswerte werden dann miteinander verglichen, um eventuelle
Veränderungen
der Umgebung, entsprechend Abweichungen des Istzustandes vom Sollzustand,
zu ermitteln. Durch den Lokalisierungsschritt ist der Vergleich
sehr großer
und vor allem nicht präparierter
Umgebungen möglich,
da die Lokalisierung des Sensors oder der Sensormesswerte über das
abgespeicherte Modell Z1 der Umgebung, das beispielsweise eine geografische
Karte sein kann, erfolgt. Dadurch ist der Vergleich von Sensormessdaten
mit simulierten Messdaten an bzw. von einem beliebigen Ort der Umgebung
möglich
und im Unterschied zum Stand der Technik eben nicht nur ein Vergleich
vorher präparierter
Stellen der Umgebung. Der Begriff Umgebung schließt aber
auch Objekte ein, insbesondere bewegliche Objekte wie Flugzeuge,
Schiffe und dergleichen, deren Istzustand überwacht werden soll.According to the invention
posed task thus solved by an environment using sensors
in particular continuously scanned and then the sensor
or the sensor readings are located. The sensor readings
describe the actual state of the environment and are then simulated,
under consideration
the location data and the stored model and, if so
required, stored data about the sensors themselves. Man
receives
thereby simulating or imaging the sensor readings, such as
they had to be
if the environment was in the desired state. The simulated measured values
and the sensor readings are then compared to each other
changes
the environment, according to deviations of the actual state from the nominal state,
to investigate. The localization step is the comparison
very big
and above all not prepared
Environments possible,
because the location of the sensor or the sensor readings on the
stored model Z1 of the environment, for example, a geographical
Card can be done. This is the comparison of sensor measurement data
with simulated measurement data to or from any location of the environment
possible
and unlike the prior art just not just a comparison
previously prepared
Setting the environment. The term environment closes however
objects, especially moving objects such as airplanes,
Ships and the like whose actual state is to be monitored.
Indem
die Messdaten unter Berücksichtigung
der Lokalisierungsdaten und des abgespeicherten Modells simuliert
werden, müssen
lediglich Kenntnisse über
den Sensor und Kenntnisse über den
Sollzustand der Umgebung, nämlich
das Modell Z1, vorgehalten werden. Es ist aber beispielsweise nicht
erforderlich, Sensormesswerte des Sollzustandes abzuspeichern und
vorzuhalten. Das Modell Z1 repräsentiert
dadurch nicht den Sollzustand der Sensormesswerte, sondern den Sollzustand
der Umgebung. Das Modell kann typischerweise räumliche Abmessungen im Sinne
einer geographischen Karte oder eines CAD-Modells, eines Netzes
oder einer Punktwolke enthalten, beispielsweise aber auch Temperaturen,
Gaskonzentrationen oder dergleichen an vorbestimmten räumlichen
Orten. Das Modell muss in einer Form vorliegen, dass sich daraus
eine simulierte Sensoraufnahme zu einem gegebenen Zeitpunkt errechnen
lässt.
Das Modell Z1 kann beispielsweise während eines ersten Durchlaufs
durch die Umgebung erstellt werden.By doing
the measured data under consideration
of the localization data and the stored model
Need to become
only knowledge about
the sensor and knowledge about the
Target state of the environment, namely
the model Z1, be kept. It is not, for example
necessary to store sensor measured values of the nominal state and
reproach. The model Z1 represents
not the nominal state of the sensor measured values, but the desired state
the environment. The model can typically have spatial dimensions in the sense
a geographic map or a CAD model, a network
or a point cloud, for example, but also temperatures,
Gas concentrations or the like at predetermined spatial
Places. The model must be in a form that derives from it
calculate a simulated sensor image at a given time
leaves.
For example, the model Z1 may be during a first pass
be created by the environment.
Weitere
Vorteile der Erfindung sind, dass keine Kalibrierung von Sensorpositionen
und Orientierungen erforderlich ist, wie dies der Fall wäre, wenn Sollwerte
für die
Sensormesswerte abgespeichert wären
und für
den Vergleich herangezogen würden. Die
Simulation der Messwerte bringt beispielsweise den Vorteil, dass
Sensorrauschen auch in der Si mutation berücksichtigt ist. Es ist darüber hinaus
möglich,
Umgebungen mit lediglich einem einzigen Sensor, beispielsweise einem
2-D- oder 3-D-Scanner
abzutasten, die sonst nur mit einer sehr hohen Anzahl von Sensoren
vollständig
erfasst werden könnten. Darüber hinaus
können
mit dem erfindungsgemäßen Verfahren
nach jedem Vergleichsschritt sofort Unterschiede festgestellt und
ausgegeben werden. Es ist dadurch beispielsweise möglich, schon
während
des Durchlaufs durch eine Umgebung Unterschiede zum Sollzustand
auszugeben und auszuwerten. Die Erfindung bietet somit eine kostengünstige,
teil- oder vollautomatisierte und schnelle Lösung mit geringer Fehleranfälligkeit.
Es kann beispielsweise spezielle Sensorik rein zur Lokalisierung
und, je nach Anwendungsfall, verschiedenartigste weitere Sensorik
zum Vergleich mit dem Modell Z1 verwendet werden. Alternativ werden
Sensordaten sowohl zum Lokalisieren als auch zum Vergleichen verwendet.Further advantages of the invention are that no calibration of sensor positions and orientations is required, as would be the case if setpoint values for the sensor measured values were stored and used for the comparison. The simulation of the measured values has the advantage, for example, that sensor noise is also taken into account in the Si mutation. It is also possible to scan environments with only a single sensor, such as a 2-D or 3-D scanner, which would otherwise be completely detectable only with a very large number of sensors. In addition, differences can be detected and output immediately after every comparison step with the method according to the invention. This makes it possible, for example, to output and evaluate differences to the desired state during the passage through an environment. The invention thus provides a low-cost, partial or full Automated and fast solution with low error rate. For example, special sensors can be used purely for localization and, depending on the application, a wide variety of other sensors for comparison with the model Z1. Alternatively, sensor data is used for both locating and comparing.
In
Weiterbildung der Erfindung werden in einer Vergleichseinheit ermittelte
Unterschiede zwischen den simulierten Messwerten und den mittels des
wenigstens einen Sensors erfassten Messwerten ausgegeben.In
Development of the invention are determined in a comparison unit
Differences between the simulated measured values and those using the
at least one sensor detected measured values output.
Beispielsweise
können
die Unterschiede grafisch ausgegeben werden, beispielsweise durch Einzeichnen
der ermittelten Unterschiede in eine Darstellung des Sollzustandes
der Umgebung. Ein Bediener kann dadurch unmittelbar erkennen, wo Veränderungen
an der Umgebung aufgetreten sind. Darüber hinaus können beispielsweise
akustische Signale beim Auftreten von Veränderungen ausgegeben werden.For example
can
the differences are displayed graphically, for example by drawing
the determined differences in a representation of the desired state
the environment. An operator can thereby immediately recognize where changes
occurred on the environment. In addition, for example
acoustic signals are emitted when changes occur.
In
Weiterbildung der Erfindung werden mehrere Sensoren für die Erfassung
von Sensormesswerten verwendet, wobei beim Simulieren in der Simulationseinheit
für alle
Sensoren simulierte Messwerte erstellt werden und beim Vergleichen
in der Vergleichseinheit ein Einzelvergleich der von jedem Sensor
erfassten Sensormesswerte und der für diesen Sensor simulierten
Messwerte und/oder ein Vergleich kombinierter erfasster Sensormesswerte
und kombinierter simulierter Messwerte erfolgt.In
Further development of the invention, several sensors for the detection
used by sensor readings, wherein when simulating in the simulation unit
for all
Sensors simulated readings are created and comparing
in the comparison unit a single comparison of each sensor
measured sensor readings and simulated for this sensor
Measured values and / or a comparison of combined sensed sensor readings
and combined simulated readings.
Auf
diese Weise können
bei der Ermittlung von Unterschieden die Korrelationen verschiedener Sensoren
untereinander in Form von Gewichtungen verwendet werden.On
this way you can
in determining differences, the correlations of different sensors
be used with each other in the form of weights.
In
Weiterbildung der Erfindung werden die Ergebnisse der Vergleichseinheit
in mehrere Klassen klassifiziert, insbesondere unverändert, größer als Sollwert
oder kleiner als Sollwert, und/oder durch Ausgeben eines Konfidenzwerts
klassifiziert, insbesondere einer Wahrscheinlichkeit für die Klassifizierung
in eine Klasse.In
Further development of the invention are the results of the comparison unit
classified into several classes, in particular unchanged, greater than setpoint
or less than the setpoint, and / or by outputting a confidence value
classified, in particular a probability of classification
in a class.
Auf
diese Weise lässt
sich das Vergleichsergebnis differenziert bewerten. Besonders die
Ausgabe eines Konfidenzwertes erleichtert die Beurteilung des Vergleichsergebnisses,
sei es, dass diese Beurteilung durch einen Bediener oder automatisiert
erfolgt, erheblich. Beispielsweise wird ein Konfidenzwert ausgegeben,
dass ein Sensormesswert oder eine einen Bereich der Umgebung repräsentierende Menge
an Sensormesswerten zu 20% geändert
und zu 80% unverändert
sind.On
that way
evaluate the comparison result differentiated. Especially the
Output of a confidence value facilitates the assessment of the comparison result,
be it that this assessment is automated by an operator or
done, considerably. For example, a confidence value is output,
that is, a sensor reading or an amount representing an area of the environment
changed to 20% on sensor readings
and 80% unchanged
are.
In
Weiterbildung der Erfindung erfolgt die Lokalisierung durch Auswerten
der Sensormesswerte in der Lokalisierungseinheit.In
Development of the invention, the localization is carried out by evaluation
the sensor readings in the localization unit.
Auf
diese Weise werden die Sensormesswerte sowohl zur Lokalisierung
in Bezug auf den gegebenen Zustand als auch zum Erkennen von Unterschieden
verwendet, entsprechend für
die Lokalisierung und für
den Vergleich mit den simulierten Messwerten. Separate Navigationssensoren
sind demgemäß nicht
unbedingt erforderlich, da eine Lokalisierung mit für das erfindungsgemäße Verfahren
ausreichender Genauigkeit be reits durch die Sensormesswerte erfolgen
kann. Beispielsweise werden mittels eines Laserscanners Abstände vom
Ort des Scanners zu Zimmerwänden
erfasst. Aufgrund der erfassten Abstände kann der Sensor dann unter
Zuhilfenahme des abgespeicherten Modells des Zimmers innerhalb des
Zimmers lokalisiert werden.On
This way, the sensor readings become both localized
in relation to the given state as well as for recognizing differences
used accordingly for
the localization and for
the comparison with the simulated measured values. Separate navigation sensors
are not accordingly
absolutely necessary, since a localization with for the inventive method
sufficient accuracy is already provided by the sensor readings
can. For example, by means of a laser scanner distances from the
Location of the scanner to room walls
detected. Due to the detected distances, the sensor then under
Using the stored model of the room within the
Rooms are located.
In
Weiterbildung der Erfindung wird beim Erstellen von simulierten
Messwerten ein statistisches Modell der zu erwartenden Messwerte,
insbesondere eine Wahrscheinlichkeitsdichtefunktion der zu erwartenden
Messwerte, ausgegeben.In
Further development of the invention will be simulated when creating
Measured values a statistical model of the expected measured values,
in particular a probability density function of the expected
Measured values, output.
Indem
ein statistisches Modell der zu erwartenden Messwerte ausgegeben
wird, können
Toleranzen ausgeglichen werden, beispielsweise Toleranzen oder Unsicherheiten
bei der Lokalisierung des Sensors und/oder der Sensormesswerte oder Toleranzen
oder Ungenauigkeiten in der abgespeicherten Karte. Dazu wird das
Modell Z1 über
die geometrische Beschreibung hinausgehend durch eine Wahrscheinlichkeitsdichtefunktion
repräsentiert,
aus der sich ein statistisches Modell für die erwarteten Sensormesswerte
ableiten lässt,
beispielsweise in Form eines Erwartungswertes und einer Varianz
oder aber auch durch eine nichtparametrische Verteilung. Beispielsweise
wird diese Verteilung durch ihren Wert an Stützstellen repräsentiert.By doing
issued a statistical model of the expected measurements
will, can
Tolerances are compensated, such as tolerances or uncertainties
in locating the sensor and / or sensor readings or tolerances
or inaccuracies in the stored map. This will be the
Model Z1 over
the geometric description going beyond a probability density function
represents
which is a statistical model of the expected sensor readings
can be deduced
for example in the form of an expected value and a variance
or else by a nonparametric distribution. For example
this distribution is represented by its value at nodes.
In
Weiterbildung der Erfindung werden wenigstens die Schritte des Erfassens
von Sensormesswerten, des Lokalisierens der Sensormesswerte, des
Simulierens von Messwerten und des Vergleichens von Sensormesswerten
und simulierten Messwerten fortlaufend automatisiert für unterschiedliche Sensorpositionen
in der Umgebung durchgeführt.In
Development of the invention are at least the steps of detecting
of sensor readings, locating the sensor readings,
Simulating readings and comparing sensor readings
and simulated measured values continuously automated for different sensor positions
performed in the area.
Durch
diese Maßnahmen
kann der Istzustand einer Umgebung fortlaufend erfasst werden. Durch
geeignete Weiterverarbeitung des Ver gleichsergebnisses kann beispielsweise
auch automatisiert ein Alarm ausgegeben werden, wenn größere Veränderungen
aufgetreten sind.By
these measures
The current status of an environment can be recorded continuously. By
suitable further processing of the comparison result can, for example
Also, an alarm can be automatically issued when major changes occur
appeared.
In
Weiterbildung der Erfindung sind die Schritte des Erfassens, des
Lokalisierens und des Vergleichens in Abhängigkeit eines Vergleichsergebnisses
veränderbar.In
Development of the invention are the steps of detecting the
Localizing and comparing depending on a comparison result
variable.
Beispielsweise
können
bei großen
festgestellten Unterschieden Erfassung und Vergleich mehrfach oder
mit höherer
Präzision
oder auch an wenig voneinander beabstandeten Sensorpositionen durchgeführt werden,
um eine höhere
Sicherheit für das
letztendlich ausgegebene Vergleichsergebnisses zu erhalten. Darüber hinaus
kann beispielsweise auch eine häufigere
Messung an kritischen Positionen, insbesondere vordefinierter Gefahrenzonen, Gefahrenzeiten
oder in Abhängigkeit
sonstiger Prioritäten
vorgesehen sein.For example
can
at big
detected differences detection and comparison multiple times or
with higher
precision
or at slightly spaced sensor positions are performed,
to a higher one
Security for that
to receive the final result of the comparison. Furthermore
For example, a more common
Measurement at critical positions, in particular predefined danger zones, danger times
or depending
other priorities
be provided.
In
Weiterbildung der Erfindung erfolgt das Ausgeben von in der Vergleichseinheit
ermittelten Unterschieden zwischen den simulierten Messwerten und
den mittels des wenigstens einen Sensors erfassten Sensormesswerten
durch Projizieren der simulierten Messwerte und/oder der ermittelten
Unterschiede in den Raum, insbesondere auf die in der Lokalisierungseinheit
ermittelte Position der Sensormesswerte.In
Development of the invention, the output of in the comparison unit
determined differences between the simulated measured values and
the sensed by the at least one sensor measured values
by projecting the simulated measured values and / or the determined
Differences in space, especially in the localization unit
determined position of the sensor measured values.
Durch
diese Maßnahmen
wird die Bewertung von festgestellten Unterschieden durch einen Bediener
ganz erheblich erleichtert. Beispielsweise kann die Abbildung eines
Gegenstandes, dessen Fehlen in einem Raum mittels des erfindungsgemäßen Verfahrens
festgestellt wurde, auf die Stelle im Raum projiziert werden, an
der der Gegenstand sich im Sollzustand befindet. Auf diese Weise
kann ein Bediener in besonders einfacher Weise feststellen, wo im
Raum Unterschiede des Istzustandes zum Sollzustand ermittelt wurden.
Eine solche Projektion kann in den Raum hinein, beispielsweise aber
auch in eine Brille hinein erfolgen, die ein Bediener während des Überwachungsvorgangs
trägt.
Für die
Projektion kann beispielsweise ein Beamer verwendet werden.By
these measures
is the evaluation of detected differences by an operator
considerably relieved. For example, the illustration of a
Item whose absence in a room by means of the method according to the invention
was determined to be projected onto the spot in space
the object is in nominal condition. In this way
an operator can determine in a particularly simple way where in the
Room Differences of the actual state to the desired state were determined.
Such a projection can enter the room, for example
Also be done in a pair of glasses that an operator during the monitoring process
wearing.
For the
Projection, for example, a projector can be used.
Das
der Erfindung zugrundeliegende Problem wird auch durch eine Vorrichtung
zum sensorbasierten Überwachen
eines Istzustandes einer Umgebung unter Berücksichtigung eines Sollzustandes der
Umgebung, insbesondere zum Durchführen des erfindungsgemäßen Verfahrens,
gelöst,
die eine Messeinheit mit wenigstens einem Sensor zum Erfassen von
Sensormesswerten, eine Lokalisierungseinheit zum Lokalisieren des
Sensors und/oder der Sensormesswerte innerhalb der Umgebung unter Berücksichtigung
eines abgespeicherten Modells der Umgebung, eine Simulationseinheit
zum Erstellen von simulierten Messwerten unter Berücksichtigung der
Lokalisierungsdaten und des abgespeicherten Modells und eine Vergleichseinheit
zum Vergleichen der simulierten Messwerte und der Sensormesswerte
aufweist. Vorteilhafterweise kann eine Ausgabeeinheit zum Ausgeben
von in der Vergleichseinheit ermittelten Unterschieden zwischen
den simulierten Messwerten und den Sensormesswerten vorgesehen sein.The
The problem underlying the invention is also due to a device
for sensor-based monitoring
an actual state of an environment taking into account a desired state of the
Environment, in particular for carrying out the method according to the invention,
solved,
the one measuring unit with at least one sensor for detecting
Sensor readings, a localization unit for locating the
Taking into account sensors and / or sensor readings within the environment
a stored model of the environment, a simulation unit
to create simulated readings taking into account the
Location data and the stored model and a comparison unit
for comparing the simulated measured values and the sensor measured values
having. Advantageously, an output unit for outputting
of differences determined in the comparison unit between
be provided to the simulated measured values and the sensor measured values.
Eine
solche Vorrichtung ermöglicht
es schon mit einem oder nur wenigen Sensoren eine große, nicht
präparierte
Umgebung auf Abweichungen des Istzustandes vom Sollzustand hin zu überprüfen. Ein erheblicher
Vorteil der erfindungsgemäßen Vorrichtung
besteht darin, dass lediglich ein Modell, beispielsweise eine Karte,
der zu überwachenden
Umgebung und gegebenenfalls Eigenschaften des verwendeten Sensors
vorgehalten werden müssen, nicht
aber detaillierte Sollwerte für
mögliche
Sensormesswerte. Das Modell muss dabei lediglich so viele Informationen
enthalten, dass einerseits eine Lokalisierung des Sensors und/oder
der Sensormesswerte und andererseits eine Simulation der Messwerte möglich ist.
Insbesondere vorteilhaft ist es, wenn das Modell bei einem ersten
Durchlauf der Vorrichtung durch eine zu überwachende Umgebung erstellt
wird. Es wird also nicht in einem weiteren Durchlauf eine neue Karte
aufgebaut und dann diese Karte mit dem Modell Z1 im Modellraum verglichen,
sondern der Vergleich findet im Raum der Sensormesswerte statt.A
such device allows
it already a large, not with one or only a few sensors
groomed
Check environment for deviations of the actual state from the nominal state. A considerable one
Advantage of the device according to the invention
is that only one model, such as a map,
the one to be monitored
Environment and, where appropriate, properties of the sensor used
not have to be kept
but detailed setpoints for
possible
Sensor readings. The model just has so much information
contain, on the one hand, a localization of the sensor and / or
the sensor measured values and on the other hand a simulation of the measured values is possible.
It is particularly advantageous if the model at a first
Passage of the device created by an environment to be monitored
becomes. It will not be in another pass a new card
and then compared this map with model Z1 in model space,
but the comparison takes place in the area of the sensor measured values.
In
Weiterbildung der Erfindung weist die Vorrichtung eine mobile Basis
auf.In
Development of the invention, the device has a mobile base
on.
Die
mobile Basis kann beispielsweise fahrbar oder tragbar sein und mittels
eines Wagens realisiert sein. Es ist aber beispielsweise auch möglich, die
erfindungsgemäße Vorrichtung
in einem leicht tragbaren Gehäuse, ähnlich einem
Mobiltelefon, zu integrieren. Anstatt die mobile Basis zu verfahren, hält man das
tragbare Gehäuse
in Richtung des zu prüfenden
Objektes an der zu prüfenden
Stelle. In einer Anzeigeinheit im tragbaren Gehäuse können dann eventuell ermittelte
Unterschiede vom Istzustand zum Sollzustand angezeigt werden.The
mobile base can be mobile or portable and by means of, for example
be realized of a car. But it is also possible, for example, the
inventive device
in an easily portable case, similar to one
Mobile phone, integrate. Instead of moving the mobile base, you keep that
portable housing
in the direction of the test
Object at the to be tested
Job. In a display unit in the portable housing can then possibly determined
Differences from the actual state to the nominal state are displayed.
In
Weiterbildung der Erfindung ist die mobile Basis mit Aktuatoren,
insbesondere Antriebsmotoren versehen, die eine selbständige Fortbewegung
der Basis ermöglichen.In
Further development of the invention is the mobile base with actuators,
In particular, drive motors provided, the autonomous locomotion
enable the base.
Auf
diese Weise ist die wenigstens teilautomatisierte Überwachung
von zu prüfenden
Umgebungen möglich,
beispielsweise dadurch, dass die Vorrichtung einen selbsttätig fahrenden
Wagen aufweist, der sich durch eine zu prüfende Umgebung bewegt. Die
mobile Basis kann entweder lediglich die Sensoren zum Erfassen von
Sensormesswerten aufweisen oder auch die vollständige erfindungsgemäße Vorrichtung.
Je nachdem werden dann lediglich die erfassten Sensormesswerte von
der mobilen Basis zu den dann beispielsweise stationären weiteren Einheiten
der erfindungsgemäßen Vorrichtung übertragen
oder lediglich das ermittelte Vergleichsergebnis wird an eine stationäre Überwachungsstation übertragen.On
this way is the at least partially automated monitoring
from to be tested
Environments possible,
for example, the fact that the device is a self-propelled
Carriage, which moves through an environment to be tested. The
mobile base can either be just the sensors for detecting
Have sensor readings or even the complete device according to the invention.
Depending on that, only the acquired sensor measured values of
the mobile base to then then, for example, further stationary units
transferred to the device according to the invention
or only the determined comparison result is transmitted to a stationary monitoring station.
In
Weiterbildung der Erfindung ist eine Navigationseinheit vorgesehen,
die die Aktuatoren ansteuert, wobei die Ansteuerung in Abhängigkeit
der Erfassung von Sensormesswerten in der Messeinheit und/oder in
Abhängigkeit
des Vergleichsergebnisses in der Vergleichseinheit erfolgt.In a further development of the invention, a navigation unit is provided, which drives the actuators controls, wherein the control takes place as a function of the detection of sensor measured values in the measuring unit and / or in dependence of the comparison result in the comparison unit.
Beispielsweise
kann die mobile Basis erst dann weiter fahren, wenn alle Sensormesswerte
erfasst sind. Auch kann die mobile Basis an kritischen Stellen langsamer
fahren oder öfters
anhalten, um mehr Messwerte erfassen zu können. Werden beispielsweise
Unterschiede des Istzustandes zum Sollzustand ermittelt, kann eine
geeignete Sensorposition erneut angefahren werden, um das ermittelte
Vergleichsergebnis abzusichern.For example
the mobile base can not continue until all sensor readings
are recorded. Also, the mobile base at critical points slower
drive or more often
stop to capture more readings. For example
Differences between the actual state and the desired state can be determined by a
Appropriate sensor position can be approached again to the determined
To secure the comparison result.
In
Weiterbildung der Erfindung ist die zu überwachende Umgebung wenigstens
teilweise durch ein in einem Bezugskoordinatensystem bewegliches
Objekt gebildet und wenigstens eine erste Messeinheit ist gemeinsam
mit dem Objekt beweglich angeordnet und wenigstens eine zweite Messeinheit
ist nicht gemeinsam mit dem Objekt beweglich angeordnet.In
Development of the invention is the environment to be monitored at least
partly by a movable in a reference coordinate system
Object formed and at least a first measuring unit is common
movably arranged with the object and at least one second measuring unit
is not arranged together with the object movable.
Indem
also ein Teil der Sensorik nicht in eine bewegliche Plattform integriert
ist und stattdessen das zu untersuchende Objekt auf einer beweglichen Plattform
bzw. die Plattform am zu untersuchenden Objekt befestigt ist, lässt sich
das erfindungsgemäße Verfahren
auch zur Überwachung
von Objekten einsetzen, bei denen es gerade in räumlich engen Umgebungen vorteilhaft
ist, anstatt der Sensorik das Objekt selbst zu bewegen. Die bewegliche
Plattform mit dem Objekt wird mittels der Sensoren der ersten Messeinheit
lokalisiert und bewegt sich im Sichtfeld der Sensoren der zweiten
Messeinheit. Mittels der Sensoren der ersten Messeinheit kann eine
Lokalisierung der beweglichen Plattform mit dem Objekt erfolgen
und darüber
hinaus können
die Daten dieser Sensoren gegebenenfalls zusätzlich für den Vergleich mit dem Sollzustand
herangezogen werden. Die Sensoren der zweiten Messeinheit dienen
primär zum
Erfassen des Istzustandes, der dann mit dem abgespeicherten Sollzustand
des Modells Z1 verglichen wird. In diesem Fall besteht das Modell
Z1 aus zwei Teilen, nämlich
einerseits dem Modell des zu überwachenden
Objektes und andererseits dem Modell der Umgebung, in der die zweite
Messeinheit unbeweglich montiert ist und in der sich die bewegliche Plattform
mit dem Objekt bewegt. Das Modell der Umgebung kann beispielsweise
aus einem zweidimensionalen Grundriss oder einem dreidimensionalen
Modell dieser Umgebung bestehen. Die bewegliche Plattform mit dem
Objekt bewegt sich dann innerhalb des Sichtbereichs der zweiten
Messeinheit. In der Simulationseinheit wird dann das Objekt aus Sicht
der Sensoren der zweiten Messeinheit, beispielsweise einer Kamera,
gerendert. Hierbei werden sowohl die Lokalisierungsdaten relativ
zur Umgebung und von der Umgebung zur Kamera verwendet und mit der
aktuellen Sicht, also den aktuell aufgenommenen Sensordaten verglichen.
Als Sensoren können
eine Kamera oder mehrere Kameras oder auch andere Sensoren installiert
werden, die das Objekt wenigstens teilweise gleichzeitig aus verschiedenen
Blickwinkeln abtasten. Auf diese Weise kann der Vergleich auch beschleunigt
werden.By doing
So some of the sensors are not integrated into a mobile platform
is and instead the object to be examined on a moving platform
or the platform is attached to the object to be examined, can be
the inventive method
also for monitoring
use of objects where it is particularly advantageous in confined spaces
is to move the object itself instead of the sensors. The mobile one
Platform with the object is determined by the sensors of the first measuring unit
located and moves in the field of view of the sensors of the second
Measurement unit. By means of the sensors of the first measuring unit, a
Localization of the movable platform with the object done
and above
can out
If necessary, the data of these sensors additionally for comparison with the nominal state
be used. The sensors of the second measuring unit serve
primarily for
Detecting the actual state, which then with the stored nominal state
of the model Z1 is compared. In this case, the model exists
Z1 consists of two parts, namely
on the one hand the model of the monitored
Object and on the other hand the model of the environment in which the second
Measuring unit is immovably mounted and in which the movable platform
moved with the object. The model of the environment can be, for example
from a two-dimensional floor plan or a three-dimensional
Model of this environment exist. The mobile platform with the
Object then moves within the field of vision of the second
Measurement unit. In the simulation unit, the object then becomes visible
the sensors of the second measuring unit, for example a camera,
rendered. Here, both the localization data become relative
used to the environment and from the environment to the camera and with the
current view, ie compared to the currently recorded sensor data.
As sensors can
a camera or multiple cameras or other sensors installed
be at least partially simultaneously different from the object
Scan angles. In this way, the comparison can also be accelerated
become.
In
Weiterbildung der Erfindung ist die zweite Messeinheit relativ zu
dem Bezugskoordinatensystem unbeweglich angeordnet.In
Further development of the invention is the second measuring unit relative to
arranged immovably to the reference coordinate system.
In
Weiterbildung der Erfindung ist die zweite Messeinheit relativ zu
dem Bezugskoordinatensystem beweglich angeordnet und weist Sensoren
zur Lokalisierung auf.In
Further development of the invention is the second measuring unit relative to
the reference coordinate system arranged movable and has sensors
for localization.
Auf
diese Weise kann auch die zweite Messeinheit auf einer eigenen beweglichen
Plattform angeordnet werden, die eine eigene Lokalisierungseinheit
besitzt oder in jedem Fall Sensormesswerte erfasst, die zur Lokalisierung
dieser beweglichen Plattform verwendet werden können. Auch die weitere bewegliche
Plattform mit der zweiten Messeinheit wird somit zunächst im
Modell Z1 lokalisiert, so dass dann, analog zu den bereits beschriebenen
Ausführungsbeispielen,
eine synthetische Kamera- oder Sensoraufnahme aus Sicht der aktuellen
Position der beweglichen Plattform mit der zweiten Messeinheit erstellt
und mit der aktuellen Aufnahme des Istzustandes verglichen werden
kann.On
This way, the second measuring unit can also move on its own
Platform can be arranged, which has its own localization unit
or, in any case, sensory readings collected for localization
This mobile platform can be used. Also the other moving
Platform with the second measuring unit is thus initially in the
Model Z1 localized, so that then, analogous to those already described
Embodiments,
a synthetic camera or sensor recording from the perspective of the current
Position of the movable platform created with the second measuring unit
and compared with the current recording of the actual state
can.
Alternativ
zur Anordnung von Sensoren auf einer weiteren beweglichen Plattform
können
beispielsweise Kameras auch beweglich, auf einer Schwenk-Neige-Einrichtung
angeordnet werden, wobei sie dann zweckmäßigerweise aufgrund entsprechender
Sensorik (Encoder) dennoch immer eine kalibrierte Position aufweisen,
da die Sensorik der Schwenk-Neige-Einrichtung immer eine Rückmeldung über die
gerade aktuelle Position der Kamera oder der Sensoren liefert. Auf
diese Weise können die
Vorteile einer beweglichen Sensorik, die eine zu untersuchende Umgebung
oder ein zu untersuchendes Objekt aus verschiedenen Blickwinkeln
betrachten kann, genutzt werden, ohne dass ein separater Lokalisierungsschritt
zur Lokalisierung der Kamera oder der Sensoren erforderlich wäre.alternative
for arranging sensors on another movable platform
can
For example, cameras also movable, on a pan-tilt device
are arranged, which then expediently due to appropriate
Sensors (encoders) always have a calibrated position,
because the sensors of the pan-tilt device always provide feedback on the
just current position of the camera or sensors supplies. On
that way you can
Advantages of a movable sensor system, the environment to be examined
or an object to be examined from different angles
can be used without a separate localization step
would be required to locate the camera or sensors.
Weitere
Merkmale und Vorteile der Erfindung ergeben sich aus den Ansprüchen und
der nachfolgenden Beschreibung bevorzugter Ausführungsformen der Erfindung
im Zusammenhang mit den Zeichnungen. Einzelmerkmale unterschiedlicher
Ausführungsformen
lassen sich dabei in beliebiger Weise miteinander kombinieren, ohne
den Rahmen der Erfindung zu verlassen. In den Zeichnungen zeigen:Further
Features and advantages of the invention will be apparent from the claims and
the following description of preferred embodiments of the invention
in connection with the drawings. Individual characteristics of different
embodiments
can be combined in any way, without
to leave the scope of the invention. In the drawings show:
1 ein
Blockschaltbild der erfindungsgemäßen Vorrichtung zur Durchführung des
erfindungsgemäßen Verfahrens, 1 a block diagram of the inventive device for carrying out the inventions method according to the invention,
2 eine
Draufsicht auf eine erfindungsgemäße Vorrichtung, 2 a top view of a device according to the invention,
3 eine
schematische Darstellung einer weiteren bevorzugten Ausführungsform
der Erfindung und 3 a schematic representation of another preferred embodiment of the invention and
4 eine
schematische Darstellung einer noch weiteren bevorzugten Ausführungsform
der Erfindung. 4 a schematic representation of yet another preferred embodiment of the invention.
Die
Darstellung der 1 zeigt eine Blockdarstellung
einer erfindungsgemäßen Vorrichtung, wobei
anhand der 1 auch das erfindungsgemäße Verfahren
erläutert
wird.The presentation of the 1 shows a block diagram of a device according to the invention, wherein based on the 1 the process according to the invention is also explained.
Gemäß dem Blockschaltbild
der 1 weist die erfindungsgemäße Vorrichtung 10 eine
Messeinheit 12, eine Lokalisierungseinheit 14,
eine Simulationseinheit 16, eine Vergleichseinheit 18 und
eine Ausgabeeinheit 20 auf. Die Lokalisierungseinheit 14 und
die Simulationseinheit 16 haben Zugriff auf ein abgespeichertes
Modell Z1, das Informationen über den
Sollzustand der zu überwachenden
Umgebung enthält.
Mittels der Messeinheit 12 wird ein Istzustand Z2 der zu überwachenden
Umgebung erfasst. Dieser Istzustand Z2 der tatsächlichen Umgebung soll mittels
des erfindungsgemäßen Verfahrens überwacht werden
und es wird angenommen, dass der Zustand Z2 zumindest während des
Abtastens annähernd statisch
ist Die Überwachung
soll dahingehend erfolgen, dass festgestellt werden kann, ob gegenüber einem
Sollzustand der Umgebung Veränderungen
eingetreten sind. Der Sollzustand der Umgebung wird durch das Modell
Z1 repräsentiert.According to the block diagram of 1 has the device according to the invention 10 a measurement unit 12 , a localization unit 14 , a simulation unit 16 , a comparison unit 18 and an output unit 20 on. The localization unit 14 and the simulation unit 16 have access to a stored model Z1, which contains information about the nominal state of the environment to be monitored. By means of the measuring unit 12 an actual state Z2 of the environment to be monitored is detected. This actual state Z2 of the actual environment is to be monitored by means of the method according to the invention and it is assumed that the state Z2 is at least approximately static during the sampling. The monitoring should take place in such a way that it can be determined whether changes have occurred with respect to a target state of the environment. The target state of the environment is represented by the model Z1.
Beispielsweise
entspricht das Modell Z1 einer Karte mit räumlichen Informationen eines
Gebäudes,
das bedeutet die Lage der Wände,
Türen,
Einbauten, wie Schränke,
Wandschilder und dergleichen. Treten nun gegenüber dem Sollzustand beim Istzustand
Veränderungen
auf, indem beispielsweise ein Schrank nicht an seinem ursprünglichen
Platz steht oder eine Tür
geöffnet
ist, sollen diese Veränderungen
durch das erfindungsgemäße Verfahren
ermittelt werden.For example
Model Z1 corresponds to a spatial information map
building
that means the location of the walls,
doors,
Fixtures, such as cabinets,
Wall signs and the like. Now occur in relation to the nominal state of the actual state
changes
for example, by not putting a cupboard to its original one
There is space or a door
open
is, should these changes
by the method according to the invention
be determined.
Zu
diesem Zweck werden mittels der Messeinheit 12, die einen
oder mehrere Sensoren aufweist, Sensormesswerte an mehreren räumlichen Positionen
in der tatsächlichen
Umgebung Z2 erfasst. Hierzu werden die Sensoren durch die tatsächliche
Umgebung Z2 bewegt, es ist selbstverständlich aber auch möglich, dass
sich die zu überwachende Umgebung
Z2 bewegt und die Sensoren stillstehen. Die erfassten Sensormesswerte
werden zum einen dazu verwendet, um in der Lokalisierungseinheit 14 die
räumliche
Position oder die räumlichen
Positionen zu ermitteln, an denen die Sensormesswerte akquiriert
wurden. Mit Lokalisierung ist hier gemeint, dass die Koordinaten
für Position
und Orientierung im Bezugssystem des Modells Z1 ermittelt werden.
Sind die erfassten Sensormesswerte beispielsweise Abstandsdaten,
so werden die ermittelten Abstände
des Sensors von Begrenzungen des Gebäudes dazu verwendet, den Standort
und die Ausrichtung des Sensors in dem Modell Z1 festzustellen.For this purpose, by means of the measuring unit 12 comprising one or more sensors, sensing sensor readings at a plurality of spatial locations in the actual environment Z2. For this purpose, the sensors are moved through the actual environment Z2, but it is of course also possible that the environment to be monitored Z2 moves and the sensors are stationary. The acquired sensor readings are used, on the one hand, in the localization unit 14 determine the spatial position or locations where the sensor readings were acquired. Localization means here that the coordinates for position and orientation are determined in the reference system of the model Z1. For example, if the sensed sensor readings are distance data, the detected distances of the sensor from boundaries of the building are used to determine the location and orientation of the sensor in the model Z1.
Die
Lokalisierungseinheit 14 berechnet somit zu jedem Zeitpunkt
die aktuelle Position und Orientierung der Sensoren der Messeinheit 12,
die beispielsweise auf einer mobilen Plattform angeordnet sind. Hierzu
werden sowohl die Sensormesswerte von der Messeinheit als auch das
Modell Z1 verwendet. Die Sensormesswerte werden dabei mit dem Modell
Z1 registriert, wobei das Modell Z1 als Approximation des aktuellen
Istzustandes der Umgebung Z2 verwendet wird. Die Unterschiede zwi schen
dem Istzustand und dem Modell Z1 dürfen dabei nicht so groß sein,
dass keine Lokalisierung mehr möglich
ist.The localization unit 14 calculates the current position and orientation of the sensors of the measuring unit at any time 12 For example, they are located on a mobile platform. Both the sensor readings from the measuring unit and the model Z1 are used for this purpose. The sensor measured values are registered with the model Z1, whereby the model Z1 is used as an approximation of the current actual state of the environment Z2. The differences between the actual state and the model Z1 must not be so great that localization is no longer possible.
Eine
bevorzugte Ausführung
der Erfindung weist beispielsweise in der Messeinheit 12 Sensoren zur
Lokalisierung auf, beispielweise Sensoren zur Wegstreckenmessung,
so dass ausgehend von einer bekannten Anfangsposition der aktuelle
Standort der Sensoren bzw. der Messeinheit 12 stets grob
bestimmt werden kann. Eine auf diese Weise ermittelte grobe Position
wird als Anfangsschätzung
für die
Registrierung mit dem Modell Z1 verwendet. In diesem speziellen
Fall wird mit der Lokalisierungseinheit 14 der Drift dieser
Lokalisierungssensoren korrigiert.A preferred embodiment of the invention, for example, in the measuring unit 12 Sensors for localization, for example, sensors for distance measurement, so that starting from a known initial position of the current location of the sensors or the measuring unit 12 can always be roughly determined. A coarse position determined in this way is used as the initial estimate for registration with the model Z1. In this particular case, using the localization unit 14 corrected the drift of these localization sensors.
Die
Lokalisierung in der Lokalisierungseinheit 14 ist aber
auch ohne spezielle Sensoren zur Lokalisierung möglich, indem ausgehend von
einer bekannten Anfangsposition fortlaufend Sensormesswerte mittels
der Messeinheit 12 erfasst werden, beispielsweise Abstandsdaten,
und diese Sensormesswerte dann zur Lokalisierung in der Lokalisierungseinheit 14 verwendet
werden. Wie bereits ausgeführt wurde,
wird das Modell Z1 als Approximation des aktuellen Zustandes der
Umgebung Z2 verwendet und eventuelle Abweichungen werden in der
Lokalisierungseinheit 14 aufgrund der verwendeten robusten Verfahren
toleriert. Bekannte Verfahren zur Registrierung von Sensormesswerte
in der Lokalisierungseinheit 14 sind in „Peter
Biber and Wolfgang Straßer, The
Normal Distributions Transform: A New Approach to Laser Scan Matching,
IEEE/RJS International Conference on Intelligent Robots and Systems, 2003" und in „Peter
Biber, Sven Fleck and Wolfgang Straßer, A Probabilistic Framework
for Robust and Accurate Matching of Point Clouds, 26th Pattern Recognition
Symposium (DAGM 04), 2004",
beschrieben.The localization in the localization unit 14 but is also possible without special sensors for localization, starting from a known starting position continuously sensor readings by means of the measuring unit 12 for example, distance data, and then these sensor readings for localization in the location unit 14 be used. As already stated, the model Z1 is used as an approximation of the current state of the environment Z2 and possible deviations are in the localization unit 14 tolerated due to the robust method used. Known methods for registering sensor readings in the localization unit 14 are in Peter Beaver and Wolfgang Strasser, The Normal Distributions Transform: A New Approach to Laser Scan Matching, IEEE / RJS International Conference on Intelligent Robots and Systems, 2003, and Peter Biber, Sven Fleck and Wolfgang Strasser, A Probabilistic Framework for Robust and Accurate Matching of Point Clouds, 26th Pattern Recognition Symposium (DAGM 04), 2004 ".
Nachdem
mittels der Lokalisierungseinheit 14 die aktuelle Position
und Orientierung der Sensoren der Messeinheit 12 ermittelt
wurde, werden diese Lokalisierungsdaten mit der Position und der
Orientierung der Sensoren der Messeinheit 12, beispielsweise
die Position und Orientierung einer mobilen Plattform, an die Simulationseinheit 16 weitergegeben.
Die Simulationseinheit 16 greift weiterhin auf das Modell
Z1 zu. Für
jeden Zeitpunkt oder für
jede neue Position der Sensoren der Messeinheit 12 berechnet
die Simulationseinheit 16 aus der aktuellen Position und
Orientierung der Sensoren und dem Modell Z1 eine synthetische Sensoraufnahme
für einen oder
mehrere der in der Messeinheit 12 enthaltenen Sensoren.
Am Beispiel eines Gebäudes,
dessen Begrenzungen im Modell Z1 abgelegt sind und eines Abstandssensors
in der Messeinheit 12 berechnet die Simulationseinheit 16 die
Ausgabe eines Abstandssensors, der sich an der mittels der Lokalisierungseinheit 14 ermittelten
aktuellen Position und Orientierung befindet. Wird beispielsweise
ein zweidimensionaler Scanner mit 360° Erfassungswinkel verwendet,
kann für
mehrere Winkelstellungen, beispielsweise 360 um jeweils ein Grad
verschobene Winkelstellungen, ein Abstand des Sensors von einer Gebäudebegrenzung
oder von einem gemäß dem Modell
Z1 in dem Gebäude
befindlichen Gegenstand ermittelt. Diese mittels des Modells Z1
und den Lokalisierungsdaten ermittelten Abstände werden dann mit den tatsächlichen
Abständen
des Sensors der Messeinheit 12 von der jeweiligen Gebäudebegrenzung,
entsprechend den Sensormessdaten, verglichen, wie sie an dieser
Position ermittelt wurden. Im allgemeinen Fall werden die mittels
der Simulationseinheit 16 simulierten, synthetischen Messwerte
mit den mittels der Sensoren in der Messeinheit 12 erfassten
Sensormesswerten verglichen. Sofern keine Änderungen der Umgebung zwischen
Istzustand Z2 und Sollzustand Z1 vorliegen, entspricht die synthetische,
simulierte Sensoraufnahme der tatsächlichen Sensoraufnahme im
Rahmen des Sensorrauschens.After using the localization unit 14 the current position and orientation of the sensors of the measuring unit 12 was determined, this localization data with the position and orientation of the sensors of the measuring unit 12 For example, the position and orientation of a mobile platform to the simulation unit 16 passed. The simulation unit 16 continues to access the model Z1. For every moment or for every new position of the sensors of the measuring unit 12 calculates the simulation unit 16 from the current position and orientation of the sensors and the model Z1 a synthetic sensor receptacle for one or more of the in the measuring unit 12 contained sensors. The example of a building whose boundaries are stored in the model Z1 and a distance sensor in the measuring unit 12 calculates the simulation unit 16 the output of a distance sensor, which is connected to the localization unit 14 determined current position and orientation. If, for example, a two-dimensional scanner with a 360 ° detection angle is used, a distance of the sensor from a building boundary or from an object located according to the model Z1 in the building can be determined for several angular positions, for example 360 angular positions shifted by one degree. These distances determined by means of the model Z1 and the localization data are then compared with the actual distances of the sensor of the measuring unit 12 from the respective building boundary, according to the sensor measurement data, as determined at that location. In the general case, the means of the simulation unit 16 simulated, synthetic measured values with the means of the sensors in the measuring unit 12 compared sensor measured values. If there are no changes in the environment between actual state Z2 and target state Z1, the synthetic, simulated sensor recording corresponds to the actual sensor recording in the context of the sensor noise.
Der
Vergleich zwischen der synthetischen Sensoraufnahme aus der Simulationseinheit 16 und den
tatsächlich
erfassten Sensordaten aus der Messeinheit 12 erfolgt in
der Vergleichseinheit 18. Die Vergleichseinheit 18 erhält hierzu
sowohl die in der Messeinheit 12 erfassten Sensordaten
als auch die von der Simulationseinheit 16 simulierten,
synthetischen Sensordaten. Das Ergebnis des Vergleichs wird an die
Ausgabeeinheit 20 weitergegeben und dort, beispielsweise
grafisch, ausgegeben. Die Vergleichseinheit 18 berechnet
somit zu jedem Zeitpunkt den Unterschied zwischen der synthetischen
Sensoraufnahme und der tatsächlichen
Sensoraufnahme von der Messeinheit 12. Sie arbeitet somit
in der Repräsentation
jedes Sensors. Neben einem reinen Vergleich, entsprechend einem
Ergebnis geändert oder
nicht geändert,
kann das Vergleichsergebnis von der Vergleichseinheit mit zusätzlichen
Informationen wie einer Konfidenz oder einer weiter aufgeteilten
Klassifizierung versehen werden. Eine solche weitere Klassifizierung
wäre beispielsweise
ein Vergleichsergebnis mit den Klassifizierungen „nicht
geändert", „weiter
entfernt", „weniger
weit entfernt",
entsprechend den Ergebnissen ein Objekt ist „entfernt" oder „hinzugefügt" worden".The comparison between the synthetic sensor recording from the simulation unit 16 and the actual sensed sensor data from the measuring unit 12 takes place in the comparison unit 18 , The comparison unit 18 receives for this both the in the measuring unit 12 captured sensor data as well as that of the simulation unit 16 simulated, synthetic sensor data. The result of the comparison is sent to the output unit 20 passed on and there, for example, graphically output. The comparison unit 18 thus calculates at any time the difference between the synthetic sensor pickup and the actual sensor pickup from the meter unit 12 , It works in the representation of each sensor. In addition to a pure comparison, changed or not changed according to a result, the comparison result of the comparison unit can be provided with additional information such as a confidence or a further divided classification. Such a further classification would be for example a comparison result with the classifications "not changed", "farther away", "less far away", according to the results an object has been "removed" or "added".
Die
Simulationseinheit 16 liefert vorteilhafterweise ein statistisches
Modell der zu erwartenden Sensordaten, beispielsweise eine Wahrscheinlichkeitsdichtefunktion.
Das statistische Modell sollte z.B. aus einem Erwartungswert und
eine Varianz bestehen oder z.B. aus einer nichtparametrischen Verteilung,
die durch ihre Werte an Stützstellen
gegeben ist. Durch die Ausgabe eines statistischen Modells mittels
der Simulationseinheit 16 ist es dann möglich, in der Vergleichseinheit 18 einen
Konfidenzwert für das
Vergleichsergebnis anzugeben. Beispielsweise kann das Vergleichsergebnis
eine Klassifizierung, entsprechend geändert oder nicht geändert und
zusätzlich
einen Konfidenzwert für
jede Klassifizierung enthalten, beispielsweise zu 80% geändert, zu
20% nicht geändert.The simulation unit 16 advantageously provides a statistical model of the expected sensor data, for example a probability density function. For example, the statistical model should consist of an expected value and a variance, or, for example, of a nonparametric distribution given by its values at nodes. By issuing a statistical model using the simulation unit 16 is it possible then in the comparison unit 18 specify a confidence value for the comparison result. For example, the comparison result may include a classification, whether changed or unmodified, and additionally containing a confidence value for each classification, for example, changed to 80%, not changed to 20%.
Indem
bei dem erfindungsgemäßen Verfahren
die Sensoraufnahme simuliert wird, kann beispielsweise ein Sensorrauschen
mit berücksichtigt werden,
wenn der Simulationseinheit 16 entsprechende Informationen über die
Art der in der Messeinheit 12 verwendeten Sensoren vorliegen.
Darüber hinaus
ist ohne weiteres ersichtlich, dass das Modell Z1 lediglich so viele
Informationen enthalten muss, wie zur Lokalisierung in der Lokalisierungseinheit 14 und
zur Simulation in der Simulationseinheit 16 erforderlich
sind. Das Modell Z1 muss aber beispielsweise keine Sollwerte für Sensorsignale
enthalten, die dann mit Sensorsignalen der Sensoren aus der Messeinheit 12 verglichen
werden. Stattdessen werden die Sensorsignale in der Simulationseinheit 16 simuliert, so
dass die Sensoren der Messeinheit 12 nicht an vorher bestimmte,
exakt definierte Punkte gebracht werden müssen, sondern in beliebiger
Weise durch die Umgebung Z2 bewegt werden können.By simulating the sensor recording in the method according to the invention, for example, a sensor noise can be taken into account when the simulation unit 16 appropriate information about the type of in the measuring unit 12 used sensors are present. Moreover, it is readily apparent that the model Z1 only needs to contain as much information as it does for localization in the location unit 14 and for simulation in the simulation unit 16 required are. However, the model Z1 does not have to contain, for example, setpoint values for sensor signals, which then come with sensor signals from the sensors of the measuring unit 12 be compared. Instead, the sensor signals are in the simulation unit 16 simulated so that the sensors of the measuring unit 12 must not be brought to previously determined, precisely defined points, but can be moved in any way by the environment Z2.
Für die Überwachung
einer Umgebung Z2 mit dem erfindungsgemäßen Verfahren muss diese Umgebung
somit weder mittels Markern präpariert werden,
deren Existenz dann abgefragt wird oder die zur Lokalisierung dienen,
noch müssen
die Überwachungssensoren
der Messeinheit 12 an vorher exakt definierte Positionen
gebracht werden, um die Überwachung
zu ermöglichen.For the monitoring of an environment Z2 with the method according to the invention, therefore, this environment need not be prepared by means of markers whose existence is then interrogated or which serve for localization, nor must the monitoring sensors of the measuring unit 12 be brought to previously exactly defined positions to allow the monitoring.
Die
Ausgabeeinheit 20 bereitet die Ergebnisse der Vergleichseinheit 18 auf,
insbesondere textuell oder grafisch, und präsentiert sie dem Benutzer. Vorzugsweise
erfolgt dies in Echtzeit während
der Abtastung mittels der Messeinheit 12. Beispielsweise wird
eine mobile Plattform mit der Messeinheit 12 durch ein
zu überwachendes
Gebäude
bewegt. Einem Bediener, der mit der beweglichen Plattform mitläuft, kann
dann mittels einer grafischen Ausgabe und gegebenenfalls zusätzlichen
Audiosignalen signalisiert werden, wenn sich die zu überwachende Umgebung
verändert
hat. Es ist aber selbstverständlich
auch möglich,
das Vergleichs ergebnis der Vergleichseinheit 18 oder auch
die Ausgabe der Ausgabeeinheit 20 von der mobilen Plattform
zu einem außerhalb
des Gebäudes
stationierten Bediener zu übertragen.
Bewegt sich ein Bediener mit der mobilen Plattform durch ein Gebäude, so
kann die mobile Plattform beispielsweise auch als tragbares Gerät ausgebildet
sein.The output unit 20 prepares the results of the comparison unit 18 on, in particular textually or graphically, and presents them to the user. This is preferably done in real time during the scanning by means of the measuring unit 12 , For example, a mobile platform with the measuring unit 12 moved through a building to be monitored. egg An operator who runs along with the movable platform can then be signaled by means of a graphical output and, if appropriate, additional audio signals, if the environment to be monitored has changed. It is of course also possible, the comparison result of the comparison unit 18 or also the output of the output unit 20 from the mobile platform to an operator stationed outside the building. For example, if an operator moves with the mobile platform through a building, the mobile platform may also be designed as a portable device.
Mittels
der Ausgabeeinheit 20 kann das Vergleichsergebnis von der
Vergleichseinheit 18 in verschiedenster Art und Weise dargestellt
werden. Beispielsweise kann eine grafische Visualisierung erfolgen,
bei der geschätzte
Wahrscheinlichkeiten für eine
aufgetretene Veränderung
durch unterschiedliche Farben, Intensitäten oder Muster codiert dargestellt
werden. Auch können
beispielsweise unterschiedliche Klassifizierungen durch unterschiedliche Farben,
Intensitäten
oder Muster dargestellt werden, beispielsweise in der Art und Weise,
dass lediglich als verändert
erkannte Teile der Umgebung farblich hinterlegt dargestellt werden.
Die Abbildungseinheit 20 kann spezialisierte Hardware,
beispielsweise Grafikprozessoren, aufweisen.By means of the output unit 20 can the comparison result of the comparison unit 18 be presented in a variety of ways. For example, a graphical visualization can be performed in which estimated probabilities for a change that occurred have been coded by different colors, intensities or patterns. Also, for example, different classifications can be represented by different colors, intensities or patterns, for example in such a way that only parts of the environment that have been identified as being changed are represented in a color-coded manner. The imaging unit 20 may include specialized hardware, such as graphics processors.
Die
Messeinheit 12 enthält
einen oder mehrere Sensoren, beispielsweise einen Laserscanner, eine
Stereokamera oder Streifenlichtsensoren, um eine Tiefenmessung zu
ermöglichen.
Die Messeinheit 12 kann darüber hinaus oder alternativ
eine oder mehrere Kameras, beispielsweise Rundumkameras, eine oder
mehrere Wärmebildkameras,
ein oder mehrere Mikrofone, ein oder mehrere chemische Sensoren,
insbesondere Gassensoren, und/oder einen oder mehrere X-Ray-Sensoren/Geigerzähler aufweisen.
Die Art der verwendeten Sensoren ist prinzipiell unerheblich, solange
zumindest ein Teil der erfassten Sensormesswerte im Zusammenspiel
mit einem abgespeicherten, den Sollzustand repräsentierenden Modell Z1 eine
Lokalisierung der Sensoren in einer zu überwachenden Umgebung Z2 ermöglicht.
Wichtig ist weiterhin, dass sich synthetische Messwerte zudem für alle Sensoren
erzeugen lassen, die in der Vergleichseinheit 18 verglichen
werden.The measuring unit 12 includes one or more sensors, such as a laser scanner, a stereo camera, or strip light sensors to allow for depth measurement. The measuring unit 12 In addition, or alternatively, one or more cameras, for example all-round cameras, one or more thermal imaging cameras, one or more microphones, one or more chemical sensors, in particular gas sensors, and / or one or more X-ray sensors / Geiger counters. The type of sensors used is in principle irrelevant, as long as at least some of the detected sensor measured values, in interaction with a stored model Z1 representing the desired state, make it possible to localize the sensors in an environment Z2 to be monitored. It is also important that synthetic measured values can also be generated for all sensors in the comparison unit 18 be compared.
Es
ist ohne weiteres einsichtig, dass dies nicht nur mit Abstandssensoren,
sondern beispielsweise auch mit Temperatursensoren möglich ist, wenn
ein entsprechendes Modell Z1 Temperaturwerte eines Sollzustandes
enthält.It
is quite clear that this is not only possible with distance sensors,
but for example, with temperature sensors is possible, if
a corresponding model Z1 temperature values of a nominal state
contains.
Die
Messeinheit 12, die Lokalisierungseinheit 14,
die Simulationseinheit 16, die Vergleichseinheit 18 und
die Ausgabeeinheit 20 können
in einem Gehäuse
integriert sein, beispielsweise in einem tragbaren Gehäuse in der
Größe eines
Mobiltelefons. Die Ausgabeeinheit 20 kann darüber hinaus
Projektionseinrichtungen aufweisen, um das Vergleichsergebnis in
den Raum hinein zu projizieren, so dass beispielsweise an die Stelle
der Umgebung Z2, an der Veränderungen
festgestellt wurden, Leuchtmarkierungen projiziert werden. Auf diese
Weise kann einem Bediener unmittelbar angezeigt werden, wo sich in
der Umgebung was verändert
hat.The measuring unit 12 , the localization unit 14 , the simulation unit 16 , the comparison unit 18 and the output unit 20 may be integrated in a housing, for example in a portable housing the size of a mobile phone. The output unit 20 In addition, it can have projection devices in order to project the comparison result into the room so that, for example, luminous markings are projected in place of the environment Z2 where changes have been detected. In this way, an operator can immediately see where in the environment something has changed.
Die
Vergleichseinheit 18 kann beispielsweise auch mit zusätzlichen
Funktionen ausgestattet sein, so dass in der Vergleichseinheit 18 erkannt
werden kann, wenn Gegenstände
lediglich von einem Ort zum anderen verschoben sind, beispielsweise
in einem Gebäude
Rollcontainer oder dergleichen lediglich verschoben und gegenüber dem
Sollzustand zwar noch vorhanden aber nicht mehr am vorgesehenen
Ort vorhanden sind.The comparison unit 18 For example, it can also be equipped with additional functions, so that in the comparison unit 18 can be detected when objects are moved only from one place to another, for example, in a building roll container or the like merely moved and compared to the target state while still available but no longer available at the intended location.
Die
Darstellung der 2 zeigt eine Ausführungsform
einer erfindungsgemäßen Vorrichtung
auf einem Wagen 22. Anstelle eines Wagens kann auch jede
andere mobile Plattform eingesetzt werden. Der Wagen 22 ist
mit einer angetriebenen Radachse 24 versehen und mit weiteren,
nicht dargestellten Rädern.
Die lediglich schematische Darstellung derThe presentation of the 2 shows an embodiment of a device according to the invention on a carriage 22 , Instead of a car, any other mobile platform can be used. The car 22 is with a driven wheel axle 24 provided and with other, not shown wheels. The merely schematic representation of
2 soll
andeuten, dass der Wagen 22 automatisch gelenkt und verfahren
werden kann. Die Antriebsachse 24 wird mittels eines Antriebsmotors 26 angetrieben
und mittels eines Lenkservos 27 gelenkt, wobei Antriebsmotor 26 und
Lenkservo 27 wiederum von einer zentralen Steuereinheit 28 angesteuert
wird. Die Steuereinheit 28 steht mit Sensoren in Verbindung,
nämlich
einer Rundumkamera 30, einem Horizontalscanner 32 und
einem Vertikalscanner 34. Die Steuereinheit 28 enthält somit
mit Ausnahme der Sensoren 30, 32, 34 die
Messeinheit 12, die Lokalisierungseinheit 14,
die Simulationseinheit 16, die Vergleichseinheit 18 und
gegebenenfalls sogar die Ausgabeeinheit 20. Das Modell
Z1 ist in einem Speicher der Steuereinheit 28 abgelegt
und kann beispielsweise die Form einer digitalen Karte eines Gebäudes aufweisen.
Die von der Rundumkamera 30, dem Horizontalscanner 32 und
dem Vertikalscanner 34 erfassten Messwerte werden somit, wie
anhand der 1 beschrieben, verarbeitet und mit
dem abgespeicherten Modell Z1, insbesondere der abgespeicherten
Karte, verglichen. Das Vergleichsergebnis kann dann unmittelbar
einem Bediener angezeigt werden oder zweckmäßigerweise zu einem Bediener übertragen
werden, so dass sich der Wagen 22 beispielsweise durch
ein zu überwachendes
Gebäude
bewegen kann, ohne dass ein Bediener selbst durch das Gebäude laufen
muss. Dies ist selbstverständlich
insbesondere bei kontaminierten Umgebungen von größter Bedeutung. 2 should imply that the car 22 can be automatically steered and moved. The drive axle 24 is by means of a drive motor 26 powered and by means of a steering servo 27 steered, being drive motor 26 and steering servo 27 again from a central control unit 28 is controlled. The control unit 28 is associated with sensors, namely a wrap-around camera 30 , a horizontal scanner 32 and a vertical scanner 34 , The control unit 28 thus contains except the sensors 30 . 32 . 34 the measuring unit 12 , the localization unit 14 , the simulation unit 16 , the comparison unit 18 and possibly even the output unit 20 , The model Z1 is in a memory of the control unit 28 stored and may for example have the shape of a digital map of a building. The from the all-round camera 30 , the horizontal scanner 32 and the vertical scanner 34 recorded measured values are thus, as based on the 1 described, processed and compared with the stored model Z1, in particular the stored map. The comparison result can then be displayed directly to an operator or conveniently transferred to an operator, so that the car 22 For example, it is possible to move through a building to be monitored without an operator having to walk through the building himself. Of course, this is of paramount importance especially in contaminated environments.
Die
Steuereinheit weist hierzu eine zusätzliche Navigationseinheit 35 auf,
die eine Ansteuerung des Antriebsmotors 26 so ermöglicht,
dass sich der Wagen 22 selbsttätig durch eine zu überwachende Umgebung
Z2 bewegt. Wie bereits ausgeführt
wurde, stellt diese Navigationseinheit 35 auch Daten zur Ansteuerung
des Lenkservos 27 bereit, um eine im Wesentlichen beliebige
Bewegung des Wagens 22 zu ermöglichen. Die Navigationseinheit 35 in
der Steuereinheit 28 steuert den Antriebsmotor 26 und das
Lenkservo 27 dabei in Abhängigkeit eines Vergleichsergeb nisses
an. Dies erfolgt beispielsweise dahingehend, dass dann, wenn Veränderungen
einer zu überwachenden
Umgebung erkannt werden, dieser Bereich der Umgebung erneut angefahren
und mittels der Sensoren 30, 32, 34 abgetastet
wird, um die Sicherheit des Vergleichsergebnisses zu erhöhen. Auch
kann die Navigationseinheit beispielsweise die Fahrt des Wagens 22 an
bekannten, kritischen Stellen verlangsamen, um eine besonders gründliche Überwachung
in diesen Bereichen zu ermöglichen.The control unit has for this purpose an additional navigation unit 35 on, which is a control of the drive motor 26 so that allows the car 22 automatically moved through a monitored environment Z2. As already stated, this navigation unit provides 35 also data for controlling the steering servo 27 ready to make a substantially arbitrary movement of the car 22 to enable. The navigation unit 35 in the control unit 28 controls the drive motor 26 and the steering servo 27 thereby depending on a comparison result on. This is done, for example, to the extent that when changes in an environment to be monitored are detected, this area of the environment is approached again and by means of the sensors 30 . 32 . 34 is sampled to increase the security of the comparison result. Also, the navigation unit, for example, the drive of the car 22 slow down at known critical points to allow for more thorough monitoring in these areas.
Der
in 2 dargestellte Wagen 22 ist mittels des
Motors 26, des Lenkservos 27 und der Antriebsachse 24,
wobei der Motor 26 und das Lenkservo 27 von der
Steuereinheit 28 angesteuert werden, als autonomer Roboter
einsetzbar. Der Wagen 22 kann autonom die Umgebung ständig auf Änderungen
kontrollieren und diese automatisiert protokollieren. Bei Einsatz
in einem Kraftwerk können
erkannte Änderungen
beispielsweise sofort an den Leitstand eines Kraftwerks übertragen
werden.The in 2 illustrated car 22 is by means of the engine 26 , the steering servo 27 and the drive axle 24 , where the engine 26 and the steering servo 27 from the control unit 28 can be controlled, used as an autonomous robot. The car 22 can autonomously constantly monitor the environment for changes and log them automatically. For example, when used in a power plant, detected changes can be transmitted immediately to the control room of a power plant.
Die Übertragung
des Vergleichsergebnisses von der Steuereinheit 28 kann
an einen Bediener, selbstverständlich
aber auch an einen weiteren Steuerungsrechner erfolgen, der in Abhängigkeit
des Vergleichsergebnisses automatisiert weitere Maßnahmen
ergreift, beispielsweise einen Alarm auslöst oder einen überwachten
Prozess abschaltet.The transmission of the comparison result from the control unit 28 can be done to an operator, but of course also to another control computer, which automatically takes further action depending on the result of the comparison, for example, triggers an alarm or switches off a monitored process.
Mittels
des mobilen Wagens 22 ist es darüber hinaus möglich, das
den Sollzustand repräsentierende
Modells Z1 während
eines ersten Durchlaufs durch die zu überwachende Umgebung zu erfassen. Beispielsweise
kann ein Gebäude
in einem ersten Durchlauf abgetastet und dadurch ein Sollzustand festgestellt
und das Modell Z1 erstellt werden. Weitere Durchläufe des
Wagens 22 dienen dann der Feststellung von Veränderungen
zu dem eingangs ermittelten Sollzustand.By means of the mobile car 22 In addition, it is possible to detect the model Z1 representing the target state during a first pass through the environment to be monitored. For example, a building can be scanned in a first pass, thereby determining a desired state and creating the model Z1. Further runs of the car 22 then serve the determination of changes to the initially determined target state.
Eine
sinnvolle Überwachung
einer Umgebung ist im Übrigen
bereits alleine mit dem Horizontalscanner 32 möglich, der,
wie in 2 schematisch angedeutet ist, einen Erfassungsbereich 32a von etwa
180° hat
und innerhalb dieses Erfassungsbereichs Abstandsdaten ermittelt.
Wenn der Wagen 22 somit durch ein Gebäude fährt, lassen sich auf einer vorbestimmten
Höhe, entsprechend
der Anordnung des Horizontalscanners 32, fortlaufend Abstandsdaten
ermitteln. Diese Abstandsdaten werden dann, wie beschrieben, lokalisiert,
mit dem Modell Z1 verglichen und das Ergebnis des Vergleichs wird
dann ausgegeben.A meaningful monitoring of an environment is incidentally already alone with the horizontal scanner 32 possible, as in 2 is indicated schematically, a detection area 32a of about 180 ° and determines distance data within this detection range. When the car 22 thus driving through a building, can be at a predetermined height, according to the arrangement of the horizontal scanner 32 , continuously determine distance data. These distance data are then localized as described, compared with model Z1, and the result of the comparison is then output.
Das
Modell oder die Karte Z1 besteht in diesem Fall aus dem Grundriss
eines Gebäudes
oder eines Gebäudekomplexes.
Alle relevanten, zu erkennenden Änderungen
müssen
sich in diesem Fall auf einer Ebene mit konstanter Höhe parallel
zum Boden feststellen lassen, wobei diese konstante Höhe, beispielsweise
50 cm, der Höhe
des Horizontalscanners 32 über der Fahrbahn des Wagens 22 entspricht.
In einer Werkhalle lassen sich in einer konstanten Höhe aber
beispielsweise bereits die Position und das Vorhandensein von Maschinen
und sonstigen Fertigungseinrichtungen feststellen.The model or the map Z1 in this case consists of the floor plan of a building or a building complex. In this case, all relevant changes to be detected must be able to be determined on a plane with a constant height parallel to the ground, this constant height, for example 50 cm, of the height of the horizontal scanner 32 above the carriageway of the car 22 equivalent. In a workshop, however, the position and presence of machines and other production equipment can already be established at a constant height.
Der
Horizontalscanner 32 misst also Tiefenwerte oder Abstandswerte
in einer Ebene mit konstanter Höhe
parallel zum Boden. Die Karte Z1 bezeichnet dann ein zweidimensionales
Modell der zu vergleichenden Umgebung, das Wände und Objekte auf einer festen
Höhe enthält. Dieses
Modell oder die Karte Z1 kann manuell erzeugt werden, z.B. aus dem Grundriss
des Gebäudes
oder anderen Plänen,
oder automatisch in einem Durchlauf mit dem Wagen 22 aufgenommen
werden. Die Karte Z1 ist dabei durch eine Menge von Linien und/oder
Punkten repräsentiert.The horizontal scanner 32 So measures depth values or distance values in a plane with a constant height parallel to the ground. The map Z1 then designates a two-dimensional model of the environment to be compared, containing walls and objects at a fixed height. This model or the map Z1 can be generated manually, for example from the layout of the building or other plans, or automatically in one pass with the car 22 be recorded. The map Z1 is represented by a set of lines and / or points.
In
der Steuereinheit 28 werden die erfassten Messwerte des
Horizontalscanners 32 dazu verwendet, die aktuelle Position
und Orientierung des Horizontalscanners 32 und damit des
mobilen Wagens 22 im Bezug auf Z1 festzustellen. Dazu wird
der aktuelle zweidimensionale Laserscan zu jedem Zeitpunkt mit dem
Modell Z1 registriert, indem er in eine Punktwolke transformiert
wird und bekannte Lokalisierungsalgorithmen angewendet werden. Das
Ergebnis der Registrierung sind Lokalisierungsdaten, nämlich die
Position und die Orientierung des Horizontalscanners 32 in
Bezug auf das Modell Z1.In the control unit 28 become the measured values of the horizontal scanner 32 used the current position and orientation of the horizontal scanner 32 and thus the mobile car 22 with regard to Z1. For this purpose, the current two-dimensional laser scan is registered at all times with the model Z1, by transforming it into a point cloud and applying known localization algorithms. The result of the registration is localization data, namely the position and orientation of the horizontal scanner 32 in relation to the model Z1.
In
der Simulationseinheit der Steuereinheit 28 wird eine synthetische
Sensoraufnahme durch Projektion der Punktwolke, die das Modell Z1
repräsentiert,
auf eine synthetische zweidimensionale Laserscanneraufnahme abgebildet.
Die zweidimensionale Laserscanneraufnahme lässt sich durch Umrechnung von
kartesischen auf Polarkoordinaten und anschließende Diskretisierung erzeugen.
Fallen dabei mehrere Distanzwerte auf einen Winkel, so wird die
kleinste Distanz genommen.In the simulation unit of the control unit 28 For example, a synthetic sensor image is projected onto a synthetic two-dimensional laser scanner image by projection of the point cloud representing the model Z1. The two-dimensional laser scanner image can be generated by converting from Cartesian to polar coordinates and subsequent discretization. If several distance values fall on an angle, the smallest distance is taken.
Eine
Vergleichseinheit in der Steuereinheit 28 berechnet zu
jedem Zeitpunkt den Unterschied zwischen der synthetischen zweidimensionalen
Laserscanneraufnahme, die von der Simulationseinheit erzeugt wurde,
und der tatsächlichen
zweidimensionalen Laserscanneraufnahme, die vom Horizontalscanner 32 erzeugt
wurde. Die Vergleichseinheit arbeitet also in der Repräsentation
des zweidimensionalen Laserscanners. Der Vergleich erfolgt punktweise
durch Subtraktion der synthetischen Messung von der tatsächlichen
Messung. Ist der Betrag der Differenz größer als ein Schwellwert, der
abhängig
vom gemessenen Sensorrauschen gewählt wird, wird die zugehörige Tiefenmessung
als geändert
klassifiziert. Unterschieden wird hierbei, ob die als geändert klassifizierte
Tiefenmessung größer oder
kleiner als die durch das Modell Z1 vorgegebene ist. Insgesamt stehen
also pro Sensordatum drei Klassifizierungen zur Verfügung, nämlich „unverändert", „näher" oder „ferner". Die Klassifizierung „näher" entspricht dabei
dem Ergebnis „Objekt
wurde hinzugefügt", die Klassifizierung „ferner" entspricht dem Ergebnis „Objekt
wurde entfernt".A comparison unit in the control unit 28 calculates at any time the difference between the synthetic two-dimensional laser scanner image taken by the simulation unit was generated, and the actual two-dimensional laser scanner image taken by the horizontal scanner 32 was generated. The comparison unit thus operates in the representation of the two-dimensional laser scanner. The comparison is made point by point by subtracting the synthetic measurement from the actual measurement. If the amount of the difference is greater than a threshold that is selected depending on the measured sensor noise, the associated depth measurement is classified as changed. A distinction is made here as to whether the depth measurement classified as modified is greater or smaller than that predefined by the model Z1. In total, three classifications are available for each sensor datum, namely "unchanged", "closer" or "further." The classification "closer" corresponds to the result "object has been added", the classification "further" corresponds to the result "object has been removed ".
Die
in der Steuereinheit 28 enthaltene Ausgabeeinheit zeigt
das Modell Z1, in die zusätzlich
als abweichend klassifizierte Sensordaten als farblich abgesetzte
Punkte eingetragen sind, wobei je nachdem, ob gegenüber Z1 ein
Sensordatum zu fern oder zu nahe klassifiziert wurde, eine andere
Farbe verwendet wird.The in the control unit 28 contained output unit shows the model Z1, in the additionally classified as deviating sensor data are entered as contrasting dots, depending on whether compared to Z1 a sensor date was too far or too close, a different color is used.
Wird
zusätzlich
zum Horizontalscanner 32 der Vertikalscanner 34 eingesetzt,
kann eine dreidimensionale Erfassung einer zu überwachenden Umgebung ermöglicht werden.
Bei Hinzunahme des Vertikalsensors 34 ist das Modell Z1
durch ein dreidimensionales Modell repräsentiert, das das Rendern von
synthetischen zweidimensionalen Laserscanneraufnahmen erlaubt. In
der Abbildungseinheit werden nun synthetische zweidimensionale Laserscanneraufnahmen
aus dem Blickpunkt des vertikal angebrachten Vertikalscanners 34 erzeugt.
In der Ausgabeeinheit erfolgt eine dreidimensionale Ausgabe, indem
das dreidimensionale Modell Z1 durch die als geändert klassifizierten Sensordaten
ergänzt
und mittels bekannter Technologien auf einem Ausgabemedium dargestellt
wird. Die als geändert
klassifizierten Sensordaten werden hierzu in das dreidimensionale
Modell hinein projiziert.Will be in addition to the horizontal scanner 32 the vertical scanner 34 used, a three-dimensional detection of an environment to be monitored can be made possible. With the addition of the vertical sensor 34 Model Z1 is represented by a three-dimensional model that allows the rendering of synthetic two-dimensional laser scanner images. In the imaging unit, synthetic two-dimensional laser scanner images are now taken from the perspective of the vertically mounted vertical scanner 34 generated. In the output unit is a three-dimensional output by the three-dimensional model Z1 supplemented by the sensor data classified as modified and displayed by means of known technologies on an output medium. The sensor data classified as modified are projected into the three-dimensional model for this purpose.
Anstatt
lediglich eines Vertikalscanners 34 können zwei an gegenüberliegenden
Seiten des Wagens 22 angeordnete Vertikalscanners verwendet werden.
Zu jedem Zeitpunkt kann dann eine komplette 360°-Scheibe gemessen werden. Alternativ
zur Verwendung der Scanner 32, 34 kann ein dreidimensionaler
Laserscanner verwendet werden, der bei jeder Messung eine Tiefenkarte
fast der gesamten Hemisphäre
erzeugt.Instead of just a vertical scanner 34 can two on opposite sides of the car 22 arranged vertical scanner can be used. At any time then a complete 360 ° slice can be measured. Alternatively to using the scanner 32 . 34 For example, a three-dimensional laser scanner can be used that produces a depth map of almost the entire hemisphere for each measurement.
Bei
heutigen dreidimensionalen Laserscannern dauern solche Messungen
jedoch vergleichsweise lange und in der Größenordnung ab etwa einer Minute,
so dass der mobile Wagen 22 für jede Messung anhalten muss.
Die Simulationseinheit in der Steuereinheit 28 muss dann
entsprechend Tiefenkarten synthetisieren, die mit den Messwerten
des 3D-Laserscanners
vergleichbar sind. Die Vergleichseinheit arbeitet in entsprechender
Weise wie bereits beschrieben wurde.In today's three-dimensional laser scanners, however, such measurements take comparatively long and on the order of about one minute, so that the mobile car 22 must stop for each measurement. The simulation unit in the control unit 28 must then synthesize corresponding depth maps that are comparable to the measured values of the 3D laser scanner. The comparison unit operates in a similar manner as already described.
Zusätzlich kann
die Kamera 30 eingesetzt werden. Verwendet werden kann
eine Zeilenkamera, eine Flächenkamera,
eine 360°-Kamera,
die beispielsweise durch eine Flächenkamera
mit Panoramaspiegelaufsatz ausgeführt ist oder eine Flächenkamera
mit Fischaugenoptik. Durch Verwendung einer Kamera können auch
visuelle Änderungen
der Umgebung erkannt werden, bei denen sich die Tiefe nicht ändert, beispielsweise
entfernte Warnhinweise, Verkehrsschilder oder dergleichen. Das Modell
Z1 ist in diesem Fall als texturiertes dreidimensionales Modell
aufgebaut, so dass ein Vergleich simulierter Farbbilder mit Kamerabildern
durchgeführt
werden kann. Entsprechend erzeugt die Simulationseinheit dann eine
synthetische Aufnahme aus Sicht der Farbkamera. In der Vergleichseinheit
werden zusätzlich
zum Vergleich von synthetischen und realen zweidimensionalen Laserscanneraufnahmen
die synthetische Farbkameraaufnahme und die reale Farbkameraaufnahme
pro Pixel verglichen. Als Maß wird
hierbei die quadrierte Differenz der Intensitäten der einzelnen Farbkanäle summiert über die
Farbkanäle
verwendet. Auch andere Vergleichsmaße, wie etwa histogrammbasierte
Verfahren und Bhattacharyya-Differenz sind hier möglich.In addition, the camera can 30 be used. Can be used a line camera, an area camera, a 360 ° camera, which is designed for example by a surface camera with panorama mirror attachment or a surface camera with fish-eye optics. By using a camera it is also possible to detect visual changes in the environment in which the depth does not change, for example remote warnings, traffic signs or the like. The model Z1 is constructed in this case as a textured three-dimensional model, so that a comparison of simulated color images with camera images can be performed. Accordingly, the simulation unit then generates a synthetic shot from the point of view of the color camera. In the comparison unit, in addition to the comparison of synthetic and real two-dimensional laser scanner images, the synthetic color camera image and the real color camera image per pixel are compared. In this case, the squared difference of the intensities of the individual color channels summed over the color channels is used as a measure. Other comparative measures, such as histogram-based methods and Bhattacharyya difference are possible here.
Zusätzlich kann
auf dem mobilen Wagen 22 ein Neigungssensor 36 angeordnet
sein, der zu jedem Zeitpunkt die absolute 3D-Orientierung des Wagens 22 und
somit auch aller montierten Sensoren liefert. Damit wird das Einsatzfeld
der Erfindung auf Szenarien erweitert, in denen die O berfläche der
zu kontrollierenden Umgebung, auf der der Wagen 22 sich
bewegt, nicht durch eine Ebene angenommen werden kann. Auf diese
Weise kann der Wagen 22 auch im Gelände eingesetzt werden. Die
Lokalisierungseinheit in der Steuereinheit 28 verwendet
in diesem Fall zusätzlich
die Sensordaten des Neigungssensors, um eine robuste, globale Position
und Orientierung des Wagens 22 zu liefern. Dies ermöglicht es,
eine Invarianz gegenüber
Orientierungsänderungen
des Wagens 22 zu erreichen, indem die Daten der anderen
Sensoren 30, 32, 34 in eine Referenzorientierung überführt werden.Additionally, on the mobile cart 22 a tilt sensor 36 be arranged, at any time the absolute 3D orientation of the car 22 and thus also supplies all mounted sensors. Thus, the field of application of the invention is extended to scenarios in which the O berfläche the controlled environment on which the car 22 moves, can not be accepted by a plane. That way, the car can 22 can also be used in the field. The localization unit in the control unit 28 In this case, it also uses the sensor data of the tilt sensor to provide a robust, global position and orientation of the car 22 to deliver. This allows an invariance to orientation changes of the car 22 to reach by the data of the other sensors 30 . 32 . 34 be converted into a reference orientation.
Die
Steuereinheit auf dem Wagen 22 der 2 kann darüber hinaus
einen Projektor 38 ansteuern, der seine Ausgabe direkt
in die zu überwachende
Umgebung hinein projiziert. Neben den erkannten Änderungen kann dabei auch projiziert
werden, was sich laut dem in der Steuereinheit 28 abgelegten
Modell Z1 dort im Sollzustand befinden müsste. Ist in einem Gebäude beispielsweise
ein Bild von einer Wand entfernt worden, so kann dem Bediener dadurch
angezeigt werden, welche Abmessungen das Bild hatte, gegebenenfalls
sogar wie das Bild im Einzelnen ausgesehen hat.The control unit on the car 22 of the 2 can also have a projector 38 which projects its output directly into the environment to be monitored. In addition to the detected changes can also be projected, which according to the in the control unit 28 stored model Z1 there must be in the desired state te. If, for example, a picture has been removed from a wall in a building, the operator can thus be shown what dimensions the picture had, if necessary even how the picture looked in detail.
3 zeigt
eine weitere Ausführungsform der
Erfindung. Die Messeinheit, Lokalisierungseinheit, Simulationseinheit,
Vergleichseinheit und Ausgabeeinheit sind in einem Gehäuse 40 untergebracht,
in dem in einem geeigneten Speicher auch ein Modell Z1 der zu überwachenden
Umgebung abgelegt ist. Das Gehäuse 40 weist
etwa die Größe eines
Mobiltelefons auf und die Ausgabeeinheit zeigt Änderungen auf einem Bildschirm 42 an.
Das Gehäuse 40 wird
nun in einer zu überwachenden
Umgebung in Richtung des zu prüfenden
Objekts an der zu prüfenden
Stelle gehalten. Das Gehäuse 40 enthält dazu
geeignete Sensoren der Messeinheit, insbesondere Farbkameras, Neigungssensoren,
Wärmebildkameras,
Mikrofone und dergleichen. Alternativ zur Anzeige der Ver gleichsergebnisse
auf dem Bildschirm 42 können
die Vergleichsergebnisse auch in eine Brille 44 eingeblendet
werden, so dass ein Bediener, der die Brille 44 trägt, in besonders
bequemer Weise erkennen kann, an welchen Stellen der zu überwachenden
Umgebung Veränderungen
gegenüber
dem Sollzustand aufgetreten sind. 3 shows a further embodiment of the invention. The measuring unit, localization unit, simulation unit, comparison unit and output unit are housed in one housing 40 accommodated, in which a model Z1 of the environment to be monitored is stored in a suitable memory. The housing 40 is about the size of a mobile phone and the output unit shows changes on a screen 42 at. The housing 40 is now held in an environment to be monitored in the direction of the object to be tested at the site to be tested. The housing 40 contains suitable sensors of the measuring unit, in particular color cameras, inclination sensors, thermal imaging cameras, microphones and the like. Alternatively to displaying the comparison results on the screen 42 the comparison results can also be in glasses 44 be faded in, allowing an operator to wear the glasses 44 carries, can detect in a particularly convenient manner, at which points of the environment to be monitored changes from the target state have occurred.
Auf
dem Bildschirm 42 oder im Gesichtsfeld der Brille 44 können mittels
Augmented-Reality-Techniken auch Veränderungen in einer Abbildung der
tatsächlichen
Umgebung angezeigt werden. Hierzu wird anstatt des Modells Z1 der
Originalbildstrom einer Kamera im Gehäuse 40 angezeigt und als
geändert
klassifizierte Pixel werden mittels Augmented-Reality-Techniken mit diesem Originalbildstrom
gemischt. Das Gehäuse 40 kann
dann auf die zu prüfende
Umgebung gezeigt werden und auf dem Bildschirm 42 wird
der Bildstrom der Kamera im Gehäuse 40 angezeigt
und darüber
hinaus werden die erkannten Änderungen
mit eingeblendet. Alternativ ist das Gehäuse 40 starr mit der
Brille 44 verbunden oder in der Brille 44 integriert,
derart, dass die Kamera im Gehäuse 40 dem
Blickfeld der Augen des Bedieners, der die Brille 44 trägt, entspricht. Änderungen
werden dann mittels Augmented-Reality-Techniken direkt in der Brille 44 eingeblendet.On the screen 42 or in the field of vision of the glasses 44 By means of augmented reality techniques, changes in an image of the actual environment can also be displayed. For this purpose, instead of the model Z1, the original image stream of a camera in the housing 40 are displayed and as modified classified pixels are mixed by means of augmented reality techniques with this original image stream. The housing 40 can then be shown on the environment to be tested and on the screen 42 is the image stream of the camera in the housing 40 and the detected changes are also displayed. Alternatively, the housing 40 rigid with the glasses 44 connected or in the glasses 44 integrated, such that the camera in the housing 40 the field of vision of the operator's eyes, the glasses 44 carries, corresponds. Changes are then made using augmented reality techniques directly in the glasses 44 appears.
Neben
der reinen Anzeige von Veränderungen
kann in der Vergleichseinheit einer erfindungsgemäßen Vorrichtung
durch Verwendung geeigneter Algorithmen auch eine Korrespondenz
zwischen erkannten Änderungen
ermittelt und gegebenenfalls angezeigt werden. Beispielsweise kann
auf diese Weise festgestellt werden, ob Maschinen an einen anderen
Ort verschoben wurden. Hierzu werden nahe beieinanderliegende und
als geändert
klassifizierte Messwerte zu Objekten zusammengefasst, entsprechend
einer Segmentierung. Mittels algorithmischer Suchtechniken wird
im Modell Z1 dann nach solchen Objekten an allen Stellen gesucht.
Wird eine Übereinstimmung
zwischen einem als fehlend oder zusätzlich klassifizierten Objekt
und einem Objekt im Modell Z1 ge funden, so kann die Ausgabeeinheit
diese Korrespondenz, beispielsweise als Verschiebungsvektor, anzeigen.Next
the pure display of changes
can in the comparison unit of a device according to the invention
by using appropriate algorithms also a correspondence
between detected changes
determined and displayed if necessary. For example, can
In this way, it can be determined if machines move to another
Place were moved. For this purpose are close to each other and
as changed
Classified measured values to objects summarized accordingly
a segmentation. Using algorithmic search techniques will
in the model Z1 then searched for such objects in all places.
Will be a match
between an object classified as missing or additionally
and an object found in the model Z1 ge, the output unit
display this correspondence, for example as a displacement vector.
Die
Erfindung kann unter anderem zum Erkennen von Änderungen der tatsächlichen
Umgebung zu elektronischen zweidimensionalen Straßenkarten
oder dreidimensionalen Umgebungsmodellen verwendet werden. Zweidimensionale
elektronische Straßenkarten
werden bereits in großem
Umfang für die
Fahrzeugnavigation eingesetzt. Änderungen
im tatsächlichen
Straßennetz,
beispielsweise im Straßenverlauf,
müssen
zunächst
einmal festgestellt werden und dann in den elektronischen Karten
berücksichtigt
werden. Hierzu ist eine große
Anzahl an Personen erforderlich, die das Straßennetz abfährt und Änderungen meldet. Gemäß der Erfindung
können Änderungen
automatisch erkannt werden und direkt zum Hersteller der zweidimensionalen
Straßenkarte oder
dem dreidimensionalen Umgebungsmodell übertragen werden. Eventuell
kann die Karte oder das Modell direkt an die Änderungen angepasst werden.
Besonders vorteilhaft kann die Erfindung eingesetzt werden, wenn
eine erfindungsgemäße Vorrichtung
in zahlreichen Fahrzeugen eingebaut ist, so dass eine große Wahrscheinlichkeit
dafür besteht, dass
innerhalb eines vorgegebenen Zeitraums im Wesentlichen alle Teile
des Straßennetzes
von wenigstens einem dieser Fahrzeuge befahren werden. Auf diese
Weise kann eine flächendeckende
und zeitnahe Erkennung von Änderungen
der zweidimensionalen Straßenkarten
oder dreidimensionalen Modelle erfolgen und eventuell nötige Anpassungen können ebenfalls
zeitnah vorgenommen werden.The
Among other things, invention can be used to detect changes in the actual
Environment to electronic two-dimensional road maps
or three-dimensional environment models. Two-dimensional
electronic street maps
are already in great
Scope for the
Vehicle navigation used. amendments
in the actual
Road network,
for example, in the course of the road,
have to
first
once detected and then in the electronic maps
considered
become. This is a big one
Number of people required to leave the road network and report changes. According to the invention
can changes
be recognized automatically and directly to the manufacturer of the two-dimensional
Road map or
be transferred to the three-dimensional environment model. Perhaps
the map or model can be adapted directly to the changes.
Particularly advantageous, the invention can be used, if
a device according to the invention
Built in numerous vehicles, so a great chance
insists that
essentially all parts within a given period of time
of the road network
be driven by at least one of these vehicles. To this
Way can be a nationwide
and timely detection of changes
the two-dimensional road maps
or three-dimensional models and possibly necessary adjustments can also
be made promptly.
Die
Erfindung kann beispielsweise aber auch in der chemischen Industrie
eingesetzt werden, wobei in diesem Fall die Vorrichtung der 3 besonders
vorteilhaft einsetzbar ist. In einer Anlage der chemischen Industrie
existieren eine Vielzahl von Rohrleitungen, die alle verschiedene
Temperaturen besitzen und deren Temperaturen kontrolliert und mit Solltemperaturen,
die in einem Plan notiert sind, verglichen werden müssen. Dies
geschieht derzeit manuell durch einen Benutzer: Er muss zuerst zu
jeder Leitung die zugeordnete Leitung im Plan herausfinden, den
darin notierten Solltemperaturbereich ablesen, da pro Leitung und
Position eine andere Temperatur gelten kann. Mit diesem abgelesenen
Solltemperaturbereich muss dann eine vom Benutzer gemessene Temperatur
verglichen werden. Entsprechend der 3 kann das
Gehäuse 40 mit
darin angeordneten Wärmebildkameras
auf die Rohrleitungen gerichtet werden und das Modell Z1 enthält in diesem
Fall auch Solltemperaturen der Rohrleitungen. Tritt dann eine Abweichung
zwischen der aktuell gemessenen Temperatur und der Solltemperatur
im Modell Z1 auf, so kann dies im Bildschirm 42 angezeigt
werden. Die Anzeige kann differenziert beispielsweise erst bei Toleranzüberschreitungen
erfolgen. Auf diese Weise können
alle Leitungen individuell überprüft werden
und es kann automatisiert ein objektives Protokoll erstellt werden.
Defekte Leitungen können
automatisch erkannt werden und beim Vorsehen eines Projektors im
Gehäuse 40 können diese Änderungen
direkt in den Raum hinein projiziert und auf die betroffene Leitung
abgebildet werden.However, the invention can also be used for example in the chemical industry, in which case the device of 3 is particularly advantageous use. A chemical plant has a multitude of pipelines, all of which have different temperatures and their temperatures have to be controlled and compared with setpoint temperatures noted in a plan. This is currently done manually by a user: he must first find the associated line in the plan for each line, read off the nominal temperature range noted therein, since a different temperature can apply per line and position. With this read target temperature range then a user-measured temperature must be compared. According to the 3 can the case 40 with thermal imaging cameras arranged therein, the model Z1 in this case also contains setpoint temperatures of the pipelines. Then occurs a deviation between the current measured temperature and the setpoint temperature in model Z1, this may be in the screen 42 are displayed. The display can be differentiated, for example, only when tolerance exceeded. In this way, all lines can be individually checked and it can be automatically created an objective protocol. Defective lines can be detected automatically and when a projector is installed in the housing 40 These changes can be projected directly into the room and mapped onto the affected line.
Das
Modell Z1 schließt
in diesem Fall alle Rohrleitungen incl. deren Solltemperaturen oder
Solltemperaturbereiche ein. Die Messeinheit weist in diesem Fall
zusätzlich
eine Wärmebildkamera
auf. In der Simulationseinheit wird eine synthetische Aufnahme aus
Sicht der Wärmebildkamera
erzeugt. Die erzeugte synthetische Wärmebildkameraaufnahme wird
mit der realen Wärmebildkameraaufnahme
pro Pixel verglichen. Als Maß wird
hierbei die Differenz der Temperaturintensitäten verwendet. In der Ausgabeeinheit
werden als geänderte
klassifizierte Pixel der Wärmebildkamera
visuell abgesetzt dargestellt, speziell wird auch der Unterschied
zur Solltemperatur farblich codiert dargestellt. Klassifizierungen können in
diesem Fall nach den Kriterien „unverändert", „zu
kalt", „zu heiß" vorgenommen werden.The
Model Z1 closes
in this case all pipelines incl. their nominal temperatures or
Set temperature ranges. The measuring unit points in this case
additionally
a thermal imaging camera
on. In the simulation unit is a synthetic recording
View of the thermal imager
generated. The generated synthetic thermal imaging camera becomes
with the real thermal imaging camera
compared per pixel. As a measure becomes
here the difference of the temperature intensities used. In the output unit
be as changed
classified pixels of the thermal imager
shown visually depreciated, especially the difference
shown color coded to the setpoint temperature. Classifications can be in
In this case, according to the criteria "unchanged", "too
cold, too hot.
Eine
weitere Anwendungsmöglichkeit
für das erfindungsgemäße Verfahren
und die erfindungsgemäße Vorrichtung
ist die Flugzeugwartung. Dabei wird der mobile Wagen 22 dazu
verwendet, Flugzeugtriebwerke zu prüfen. Als Sensoren sind in diesem
Fall zusätzlich
oder alternativ wenigstens eine Wärmebildkamera sowie wenigstens
ein Mikrofon möglich.
Der Wagen 22 wird zur Überwachung
um ein zu prüfendes
Triebwerk eines Flugzeugs herum bewegt. Dies ist selbst auf dem
Flughafen im aktuellen Flugbetrieb möglich, das Flugzeug muss hierzu keine
spezielle Position anfahren. Der Wagen 22 lokalisiert sich
anhand der statischen Teile der Umgebung und des Flugzeuges. Beim
Herumfahren um das Triebwerk wird die Wärmebildsignatur und das Audio-Spektrum
mit den Soll-Daten des Herstellers oder einer vorherigen Aufnahme
verglichen. So können
Abweichungen erkannt und dokumentiert werden. Ebenso kann eine neue
Aufnahme der Signatur vorgenommen werden.Another possible application for the method according to the invention and the device according to the invention is aircraft maintenance. This is the mobile car 22 used to test aircraft engines. In this case additionally or alternatively at least one thermal imaging camera as well as at least one microphone are possible as sensors. The car 22 is moved around a test engine of an aircraft for monitoring. This is possible even at the airport in the current flight operations, the aircraft does not need to approach a specific position for this purpose. The car 22 locates itself based on the static parts of the environment and the aircraft. When driving around the engine, the thermal signature and the audio spectrum are compared with the manufacturer's target data or a previous shot. This allows deviations to be detected and documented. Likewise, a new recording of the signature can be made.
Das
Modell Z1, das in der Steuereinheit 28 abgelegt ist, schließt in diesem
Fall die Wärme-
und Geräuschsignatur
der Triebwerke ein. Außerdem enthält das Modell
Z1 ein CAD-Modell des Flugzeuges, um die Lokalisierung des Wagens 22 zu
ermöglichen.
Die Messeinheit enthält,
wie bereits ausgeführt
wurde, zusätzlich
wenigstens eine Wärmebildkamera
und wenigstens ein Mikrofon. Die Lokalisierungseinheit in der Steuereinheit 28 nimmt
eine Lokalisierung anhand des abgelegten Flugzeugmodells und gegebenenfalls
weiterer statischer Teile der Umgebung vor, die dann natürlich auch
in dem Modell Z1 enthalten sein müssen. Die Abbildungseinheit
in der Steuereinheit 28 liefert in diesem Fall eine synthetische
Aufnahme aus Sicht der Wärmebildkamera
und eine synthetische Aufnahme der Mikrofone. In der Vergleichseinheit
werden die synthetische Wärmebildkameraaufnahme
und die reale Wärmebildkamera aufnahme
pro Pixel verglichen. Als Maß wird
hierbei die Differenz der Temperaturen verwendet. Außerdem wird
die synthetische Audiosignatur mit der real aufgenommenen Audiosignatur
verglichen. Die Ausgabeeinheit stellt dann als geändert klassifizierte Pixel
der Wärmebildkamera
und als geändert
klassifizierte Audiosignale visuell abgesetzt dar.The model Z1, which is in the control unit 28 in this case includes the heat and noise signature of the engines. In addition, the model Z1 includes a CAD model of the aircraft to locate the car 22 to enable. As already stated, the measuring unit additionally contains at least one thermal imaging camera and at least one microphone. The localization unit in the control unit 28 makes a localization on the basis of the deposited aircraft model and possibly other static parts of the environment, which then of course must be included in the model Z1. The imaging unit in the control unit 28 provides in this case a synthetic shot from the point of view of the thermal imager and a synthetic recording of the microphones. The comparison unit compares the synthetic thermal imaging camera and the real thermal imaging camera per pixel. As a measure here the difference of the temperatures is used. In addition, the synthetic audio signature is compared with the actual recorded audio signature. The output unit then displays as modified classified pixels of the thermal imaging camera and classified as modified audio signals visually depreciated.
Die
schematische Darstellung der 4 zeigt
eine weitere erfindungsgemäße Vorrichtung, wobei
hier, im Unterschied zu den bisher beschriebenen Ausführungsbeispielen,
ein zu überwachendes Objekt
Z2 selbst auf einer beweglichen Plattform angeordnet ist. In der
Darstellung der 4 ist ein zu untersuchendes
Objekt Z2, beispielsweise ein Flugzeug, auf einer beweglichen Plattform 50 angeordnet.
Alternativ kann das zu überwachende
Objekt selbstverständlich
selbst beweglich sein, wie beispielsweise auch im Falle eines Flugzeugs.
Auf der beweglichen Plattform 50 mit dem Objekt Z2 ist
ein 2D-Scanner 52 angeordnet, der Abstandsdaten liefert
und speziell Abstandsdaten zu einer Umgebung, die in der schematischen
Darstellung der 4 als rechteckiger Messraum 54 angedeutet
ist. Die Daten des Scanners 52 werden zu einer Steuereinheit 56, beispielsweise
drahtlos, übertragen,
und in der Steuereinheit 56 wird anhand der Abstandsdaten
des Scanners 52 die bewegliche Plattform 50 mit
dem Objekt Z2 innerhalb des Messraums 54 lokalisiert. Die
Steuereinheit 56 erhält
weiterhin Eingangssignale von einer ersten Kamera 58 und
einer zweiten Kamera 60, wobei diese Kameras 58, 60 zur Überwachung
des Istzustandes des Objekts Z2 vorgesehen sind.The schematic representation of 4 shows a further device according to the invention, in which case, in contrast to the previously described embodiments, an object to be monitored Z2 itself is arranged on a movable platform. In the presentation of the 4 is an object Z2 to be examined, for example an aircraft, on a mobile platform 50 arranged. Alternatively, the object to be monitored may, of course, be mobile itself, as for example in the case of an aircraft. On the mobile platform 50 with the object Z2 is a 2D scanner 52 which provides distance data and, in particular, distance data to an environment which is shown schematically in FIG 4 as a rectangular measuring room 54 is indicated. The data of the scanner 52 become a control unit 56 wirelessly, for example, and in the control unit 56 is determined by the distance data of the scanner 52 the mobile platform 50 with the object Z2 within the measuring space 54 localized. The control unit 56 continues to receive input from a first camera 58 and a second camera 60 , these cameras 58 . 60 are provided for monitoring the actual state of the object Z2.
Die
Lokalisierung der Sensormesswerte, d.h. der Signale des Scanners 52 und
der Kameras 58, 60 erfolgt mittels eines in der
Steuereinheit 56 abgespeicherten Modells Z1, wobei in diesem
Fall das Modell Z1 aus zwei Teilen besteht. Zum einen besteht Z1 aus
dem Modell des Objektes Z2, das Informationen über den Sollzustand des Objekts
Z2 enthält.The location of the sensor readings, ie the signals of the scanner 52 and the cameras 58 . 60 takes place by means of a in the control unit 56 stored model Z1, in which case the model Z1 consists of two parts. On the one hand, Z1 consists of the model of the object Z2, which contains information about the desired state of the object Z2.
Zum
anderen besteht Z1 aus einem, beispielsweise zweidimensionalen Grundriss
des Messraumes 54. Wenn sich also die Plattform 50 innerhalb des
Messraums 54 bewegt, kann mittels des Modells Z1 die Position
und Orientierung des Objekts Z2 im Messraum 54 festgestellt
werden. In der Simulationseinheit der Steuereinheit 56 wird
das Objekt Z2 dann aus Sicht der Kameras 58, 60 gerendert,
und zwar unter Verwendung der Lokalisierungsdaten. Die auf diese
Weise simulierten synthetischen Kameraaufnahmen aus Sicht der Kameras 58, 60 werden
dann in der Vergleichseinheit mit den aktuellen Bildern der Kameras 58, 60 verglichen
und, analog zu den bereits beschriebenen Ausführungsformen, werden Veränderungen
am Objekt Z2 angezeigt.On the other hand, Z1 consists of one, for example, two-dimensional ground plan of the measuring space 54 , So if the platform 50 within the measuring room 54 moves, can by means of the model Z1, the position and orientation of the object Z2 in the measuring space 54 be determined. In the simulation unit of the control unit 56 then the object Z2 is from the point of view of the cameras 58 . 60 rendered, and indeed using the localization data. The simulated in this way synthetic camera shots from the perspective of the cameras 58 . 60 are then in the comparison unit with the current pictures of the cameras 58 . 60 compared and, analogous to the embodiments already described, changes to the object Z2 are displayed.
Der
Vorteil der in 4 schematisch dargestellten
Ausführungsform
der Erfindung besteht darin, dass das Objekt Z2 relativ zu den Kameras 58, 60 bewegt
werden kann statt umgekehrt, so dass auch in räumlich engen Umgebungen eine Überwachung durchgeführt werden
kann.The advantage of in 4 schematically illustrated embodiment of the invention is that the object Z2 relative to the cameras 58 . 60 can be moved instead of vice versa, so that even in tight spaces monitoring can be performed.
Die
Kamera 60 ist, wie der Darstellung der 4 zu
entnehmen ist, an einem Schwenkarm 62 angeordnet, so dass
die Position der Kamera 60 relativ zum Messraum 54 geändert werden
kann. Der Schwenkarm 62 ist aber mit einer geeigneten Sensorik
ausgestattet, die eine exakte Rückmeldung über die
gerade aktuelle Position der Kamera 60 liefert. Diese Informationen über die
gerade aktuelle Position der Kamera 60 werden ebenfalls
an die Steuereinheit 56 übertragen, so dass, trotz der
Möglichkeit,
mit der Kamera 60 das Objekt Z2 aus verschiedenen Blickwinkeln
zu betrachten, die Position der Kamera 60 immer kalibriert
ist.The camera 60 is how the representation of the 4 can be seen on a swivel arm 62 arranged so that the position of the camera 60 relative to the measuring room 54 can be changed. The swivel arm 62 but is equipped with a suitable sensor that provides an accurate feedback on the current position of the camera 60 supplies. This information about the current position of the camera 60 are also sent to the control unit 56 transferred, so that, despite the possibility of using the camera 60 To view the object Z2 from different angles, the position of the camera 60 always calibrated.
Eine
weitere bevorzugte Ausführungsform einer
erfindungsgemäßen Vorrichtung
zeigt die schematische Darstellung der 5. Im Unterschied
zur Ausführungsform
der 4 ist hier die zweite Kamera 60 auf einer
weiteren mobilen Plattform 64 angeordnet und die weitere
Platt form 64 ist mit einem Laserscanner 66 zum
Erfassen von Abstandswerten versehen. Die Sensormesswerte des Scanners 64 werden
zur Steuereinheit 56 übertragen,
und in der Steuereinheit 56 wird anhand der Sensormesswerte des
Scanners 64 eine Lokalisierung der weiteren mobilen Plattform 64 vorgenommen.
Wie der 5 zu entnehmen ist, ist die
Kamera 60 auf der weiteren mobilen Plattform 64 mit
der Schwenk-Neige-Einrichtung 62 montiert,
wobei, wie anhand der 4 beschrieben wurde, die Schwenk-Neige-Einrichtung 62 Signale über ihre
aktuelle Stellung direkt an die Steuereinheit 56 überträgt, so dass
die Kamera 60 relativ zur Plattform 64 immer eine
kalibrierte Stellung einnimmt.A further preferred embodiment of a device according to the invention shows the schematic representation of 5 , In contrast to the embodiment of 4 Here is the second camera 60 on another mobile platform 64 arranged and the more flat shape 64 is with a laser scanner 66 provided for detecting distance values. The sensor readings of the scanner 64 become the control unit 56 transferred, and in the control unit 56 is determined by the sensor readings of the scanner 64 a localization of the other mobile platform 64 performed. Again 5 it can be seen, is the camera 60 on the other mobile platform 64 with the pan-tilt device 62 mounted, taking as the basis of 4 has been described, the pan-tilt device 62 Signals about their current position directly to the control unit 56 transfers, leaving the camera 60 relative to the platform 64 always takes a calibrated position.
Ersichtlich
bietet die Ausführungsform
der 5 eine noch größere Flexibilität, um ein
zu überwachendes
Objekt Z2 mittels der auf der beweglichen Plattform 64 angeordneten
Kamera 60 aus verschiedensten Blickwinkeln zu betrachten
und gemäß dem erfindungsgemäßen Verfahren
die dadurch erstellten Aufnahmen des Istzustandes mit dem Sollzustand
des Objekts Z2 zu vergleichen.Obviously, the embodiment of the 5 an even greater flexibility to an object Z2 to be monitored by means of the on the movable platform 64 arranged camera 60 from different perspectives and to compare according to the inventive method, the images of the actual state created by the target state of the object Z2.