DE102018010252A1

DE102018010252A1 - Method and system for dynamic structural analysis

Info

Publication number: DE102018010252A1
Application number: DE102018010252.2A
Authority: DE
Inventors: Daniel Herfert
Original assignee: Angewandter Informatik Ev Gesell zur Forderung; Ges Zur Foerderung Angewandter Informatik Ev
Current assignee: Angewandter Informatik Ev Gesell zur Forderung; Ges Zur Foerderung Angewandter Informatik Ev
Priority date: 2018-02-14
Filing date: 2018-02-14
Publication date: 2019-08-14

Abstract

Ein Verfahren zur dynamischen Strukturanalyse umfasst die folgenden Schritte:
- Bereitstellen (S1) einer Mehrzahl von Schwingungssensoren (10) an dem zu untersuchenden Objekt;
- optisches Erfassen (S2) der Schwingungssensoren mittels einer Videokamera (32) in einem Videobild;
- Für jeden der Schwingungssensoren: Bestimmen (S3) einer Position und einer Orientierung des Schwingungssensors in einem 3D-Weltkoordinatensystem (120) auf Basis eines Abbildes des Schwingungssensors (10) in dem Videobild unter Verwendung extrinsischer Kameraparameter (EKP) und intrinsischer Kameraparameter (IKP) der Videokamera, und
- Visualisieren (S4) mittels der Schwingungssensoren erfasster Schwingungen in einem 2D-Pixelkoordinatensystem (146) auf Basis einer Transformation der 3D-Koordinaten der Schwingungssensoren in dem 3D-Weltkoordinatensystem in das 2D-Pixelkoordinatensystem.

A dynamic structure analysis method includes the following steps:
- providing (S1) a plurality of vibration sensors (10) to the object to be examined;
- Optical detection (S2) of the vibration sensors by means of a video camera (32) in a video image;
For each of the vibration sensors, determining (S3) a position and orientation of the vibration sensor in a 3D world coordinate system based on an image of the vibration sensor in the video image using extrinsic camera parameters and intrinsic camera parameters. the video camera, and
Visualizing (S4) vibrations detected by the vibration sensors in a 2D pixel coordinate system (146) based on a transformation of the 3D coordinates of the vibration sensors in the 3D world coordinate system into the 2D pixel coordinate system.

Description

Die Erfindung betrifft ein Verfahren und ein System zur dynamischen Strukturanalyse. Genauer betrifft die Erfindung ein Verfahren zur Visualisierung von Schwingungsmesswerten im Rahmen einer dynamischen Strukturanalyse sowie einzelne Komponenten eines entsprechenden Systems, wie z.B. geeignet eingerichtete Schwingungssensoren sowie eine das Verfahren steuernde Steuereinrichtung.The invention relates to a method and a system for dynamic structural analysis. More particularly, the invention relates to a method for the visualization of vibration measurements in the context of a dynamic structural analysis as well as individual components of a corresponding system, such as e.g. suitably configured vibration sensors and a control device controlling the method.

Technologischer HintergrundTechnological background

Die strukturdynamische und akustische Systemoptimierung ist für die Entwicklung und Konstruktion von leistungsfähigen und langlebigen Maschinen, Fahrzeugen, Geräten und industriellen Anlagen von wesentlicher Bedeutung. Die strukturdynamische Analyse ist daher in vielen Branchen der Wirtschaft anzutreffen: im Maschinen-, Schiffs- und Fahrzeugbau, in der Luft- und Raumfahrttechnik, in der Wehrtechnik, im Bereich der Haushaltsgeräte und Unterhaltungselektronik. Ein weiteres großes Anwendungsgebiet ist der Bereich des Bauwesens. Bauwerke sind ständig Umgebungseinflüssen ausgesetzt, diese regen Bauwerke (insgesamt oder Teile davon) zu meist unerwünschten und schädlichen Schwingungen an. In immer stärkerem Maße erfolgen solche Anregungen durch Verkehrsströme in der Nähe von Bauwerken oder, z.B. im Falle von Brücken, durch auf dem Bauwerk direkt angeordnete oder mit dem Bauwerk verbundene Technik, wie z.B. Maschinen oder Windkraftgeneratoren.Structural-dynamic and acoustic system optimization is essential for the development and design of high-performance and durable machinery, vehicles, equipment and industrial equipment. The structural analysis is therefore found in many sectors of the economy: in mechanical engineering, ship and vehicle construction, in aerospace engineering, in defense technology, in the field of household appliances and consumer electronics. Another large field of application is the field of civil engineering. Buildings are constantly exposed to environmental influences, these rain structures (total or parts thereof) to mostly unwanted and harmful vibrations. Increasingly, such suggestions are due to traffic flows in the vicinity of structures or, e.g. in the case of bridges, by means of construction directly attached to or connected to the structure, e.g. Machines or wind power generators.

Neben der Entwicklung- und Konstruktionsphase werden dynamische Strukturanalysen auch zur Optimierung bzw. Anpassung von bereits existierenden Strukturen verwendet.In addition to the development and design phase, dynamic structural analyzes are also used to optimize or adapt already existing structures.

Bei der Durchführung einer Modalanalyse zur Konstruktion, Begutachtung oder zur dynamischen Optimierung eines Objekts, z.B. eines Bauwerkes, mittels elektro-mechanischer Sensoren ist gemäß dem gegenwärtigen Stand der Technik großer zeitlicher und personeller Aufwand erforderlich, insbesondere bedingt durch die Einrichtung der Messhardware.When performing a modal analysis to construct, evaluate or dynamically optimize an object, e.g. a building, by means of electro-mechanical sensors according to the current state of the art, a great deal of time and personnel required, in particular due to the establishment of the measuring hardware.

Besonders bei der Modalanalyse von Bauwerken und größeren bzw. komplexen Objekten, wie z.B. Fahrzeugkarosserien, muss ein großer Zeitaufwand ausschließlich für die Vorbereitung der Messung eingeplant werden. In den meisten aktuell durchgeführten Modalanalysen von Bauwerken wird zudem kabelgebundene Messhardware eingesetzt, die neben dem großen zeitlichen Aufwand bei der Einrichtung und wegen der störenden Kabelverbindung nicht überall im Bauwerk angebracht werden kann. Zudem ist damit größerer Aufwand beim Transport der Messhardware verbunden.Especially in the modal analysis of buildings and larger or complex objects, such. Vehicle bodies, a large amount of time must be planned exclusively for the preparation of the measurement. In most currently conducted modal analyzes of buildings also wired measuring hardware is used, which can not be installed anywhere in the building in addition to the great time and effort in the device and the disturbing cable connection. In addition, this is associated with greater effort in the transport of the measurement hardware.

Die meisten Messaufbauten werden aktuell immer noch nicht verteilt vorgenommen, d.h. es müssen alle verwendeten Sensoren an einen zentralen Datenrecorder angeschlossen werden, was zu deutlich mehr Kabelaufwand gegenüber verteilten Messaufbauten führt.Most measurement setups are currently still not distributed, i. All sensors used must be connected to a central data recorder, which leads to significantly more cable expenditure compared to distributed measurement setups.

Die korrekte Durchführung von Messungen ist neben der Sensorauswahl wesentlich für die spätere Durchführung der Modalanalyse. Denn bei ungenügend vorgenommenen Messungen oder schlecht gewählten Sensorpositionen kann es zu starken Abweichungen zwischen den Analyseergebnissen und der Realität kommen. Für die Validierung der Sensorpositionen einer Messung, zur Funktionsprüfung aller Sensoren und zur Bewertung der Ergebnisse der Modalanalyse ist eine Animation von Eigenschwingungsformen des zu untersuchenden Objekts notwendig.The correct execution of measurements, in addition to the sensor selection, is essential for the later execution of the modal analysis. Inadequate measurements or poorly selected sensor positions can lead to strong deviations between the analysis results and the reality. For the validation of the sensor positions of a measurement, for the functional testing of all sensors and for the evaluation of the results of the modal analysis, an animation of natural modes of the object to be examined is necessary.

Die Anzeige der Eigenschwingungsformen ist aber aktuell nur möglich, wenn ein geometrisches 3D-Modell des zu untersuchten Objekts vorliegt und eine Zuordnung der Sensoren zu dem 3D-Modell stattgefunden hat. Aktuell wird eine solche Animation der Eigenschwingungsformen hauptsächlich anhand von abstrakten geometrischen Modellen der Struktur vorgenommen, die aus Knoten, dazugehörigen Linien und Dreiecken bestehen.The display of the natural vibration modes is currently only possible if a geometric 3D model of the object to be examined is present and an assignment of the sensors to the 3D model has taken place. Currently, such an animation of the eigenvibration forms is mainly made on the basis of abstract geometric models of the structure, which consist of nodes, associated lines and triangles.

Solche geometrische 3D-Modelle eines Objekts werden in der Regel mit Hilfe eines Editors manuell oder mittels eines CAD-Programms erstellt. Bei räumlich komplizierten Objekten, z.B. bei sehr stark strukturierten Oberflächen, verursacht diese Herangehensweise einen immensen Zeitaufwand, sodass in den meisten Fällen nur einfache geometrische Modelle angefertigt werden. Der Aufwand wird durch eine zusätzlich erforderliche manuelle Vermessung der Originalstruktur durch einen Ingenieur nochmals erhöht. Durch den großen zeitlichen Aufwand zur Erstellung eines passenden geometrischen Modelles kann eine direkte Animation der Eigenschwingungsformen, direkt am Messort, in den meisten Fällen nicht durchgeführt werden. Fehler bei der Messung sind dann erst im Nachhinein erkennbar.Such geometric 3D models of an object are usually created manually or by means of a CAD program using an editor. For spatially complicated objects, e.g. For highly textured surfaces, this approach requires a great deal of time, so in most cases, only simple geometrical models are made. The effort is further increased by an additionally required manual measurement of the original structure by an engineer. Due to the great amount of time required to create a suitable geometric model, a direct animation of the natural vibration modes, directly at the measuring location, can not be carried out in most cases. Errors in the measurement are then recognizable only afterwards.

Eine präzise Zuordnung von Schwingungssensoren, z.B. elektro-mechanischen Sensoren, hinsichtlich Position und Ausrichtung des Sensors mit Bezug zu dem geometrischen Modell des zu untersuchenden Objektes ist wesentlich, da durch eine ungenaue Zuordnung die Animation der Eigenschwingungsformen an falschen Orten bzw. in falschen Richtungen wiedergegeben werden würden. Somit ist eine genaue Vermessung der Sensorpositionen bzw. eine präzise einheitliche Feststellung der Ausrichtung des Sensors in Relation zu dem zu untersuchenden Objekt notwendig, was besonders bei großen Objekten, wie z.B. Bauwerken, einen großen personellen Aufwand nach sich zieht.A precise assignment of vibration sensors, such as electro-mechanical sensors, with respect to position and orientation of the sensor with respect to the geometric model of the object to be examined is essential, since reproduced by an inaccurate assignment, the animation of the natural vibration modes in wrong places or wrong directions would. Thus, an accurate measurement of the sensor positions or a precise uniform determination of the orientation of the sensor in relation to the object to be examined is necessary, which is particularly in large objects, such as buildings, a large personnel costs entails.

Weiterhin müssen diese an dem zu untersuchenden Objekt festgestellten Sensorpositionen und -ausrichtungen dann manuell in das virtuelle 3D-Modell eingetragen werden, was ebenfalls mit großem Aufwand verbunden ist.Furthermore, these detected on the object to be examined sensor positions and alignments must then be manually entered into the virtual 3D model, which is also associated with great effort.

Aufgabe der vorliegenden Erfindung ist es, ein Verfahren und ein System zur dynamischen Strukturanalyse vorzuschlagen, welche den vorgenannten Nachteilen Rechnung tragen.The object of the present invention is to propose a method and a system for dynamic structural analysis, which take into account the aforementioned disadvantages.

Zusammenfassung der ErfindungSummary of the invention

Diese Aufgabe wird mit einem Verfahren und mit Vorrichtungen mit den Merkmalen der nebengeordneten Ansprüche gelöst. Bevorzugte Ausgestaltungen und Weiterbildungen sind in den abhängigen Ansprüchen angegeben.This object is achieved by a method and with devices having the features of the independent claims. Preferred embodiments and further developments are specified in the dependent claims.

Eine bevorzugte Ausführungsform eines Verfahrens zur dynamischen Strukturanalyse eines Objekts umfasst die folgenden Schritte:

In einem ersten Schritt wird eine Mehrzahl von Schwingungssensoren bereitgestellt.
In einem weiteren Schritt werden die Schwingungssensoren mittels einer eine Videokamera umfassenden Erfassungseinrichtung in einem Videobild optisch erfasst.

A preferred embodiment of a method for dynamic structural analysis of an object comprises the following steps:

In a first step, a plurality of vibration sensors are provided.
In a further step, the vibration sensors are optically detected in a video image by means of a detection device comprising a video camera.

Für jeden der Schwingungssensoren erfolgt dann ein Bestimmen einer Position und einer Orientierung des Schwingungssensors in einem 3D-Weltkoordinatensystem, in welchem ein zu untersuchendes Objekt angeordnet ist, auf Basis eines Abbildes des Schwingungssensors in dem Videobild. Dies geschieht unter Verwendung extrinsischer Kameraparameter und intrinsischer Kameraparameter der Erfassungseinrichtung.For each of the vibration sensors, a position and an orientation of the vibration sensor are then determined in a 3D world coordinate system, in which an object to be examined is arranged, on the basis of an image of the vibration sensor in the video image. This is done using extrinsic camera parameters and intrinsic camera parameters of the detector.

Die extrinsischen Kameraparameter definieren dabei in bekannter Weise eine Koordinatentransformation zwischen dem 3D-Weltkoordinatensystem und einem der Erfassungseinrichtung zugeordneten 3D-Kamerakoordinatensystem. Extrinsische Kameraparameter sind z.B. eine Translation in x-Richtung (Tx), eine Translation in y-Richtung (Ty), eine Translation in z-Richtung (Tz), eine Rotation um die x-Achse mit Winkel alpha (Rx), eine Rotation um die y-Achse mit Winkel beta (Ry) und eine Rotation um die y-Achse mit Winkel gamma (Rz).The extrinsic camera parameters define in a known manner a coordinate transformation between the 3D world coordinate system and a 3D camera coordinate system associated with the detection device. Extrinsic camera parameters are for example a translation in x -Direction ( Tx ), a translation in y -Direction ( Ty ), a translation in z -Direction ( tz ), a rotation around the x -Axis with angle alpha ( Rx ), a rotation around the y -Axis with angle beta ( Ry ) and a rotation around the y -Axis with angle gamma ( March ).

Die intrinsischen Kameraparameter definieren ebenfalls in bekannter Weise eine Koordinatentransformation zwischen dem 3D-Kamerakoordinatensystem und einem dem Videobild zugeordneten 2D-Pixelkoordinatensystem. Intrinsische Kameraparameter sind z.B. eine Brennweite (f) der Videokamera, ein x-Wert eines Bildmittelpunktes (Ox), ein y-Wert des Bildmittelpunktes (Oy), eine Pixelskalierung in x-Richtung (sx) und eine Pixelskalierung in y-Richtung (sy).The intrinsic camera parameters likewise define, in a known manner, a coordinate transformation between the 3D camera coordinate system and a 2D pixel coordinate system assigned to the video image. Intrinsic camera parameters are eg a focal length ( f ) of the video camera, a x Value of an image center ( Ox ), on y Value of the image center ( Oy ), a pixel scaling in x- Direction ( sx ) and a pixel scaling in y -Direction ( sy ).

Extrinsische Kameraparameter und ggf. intrinsische Kameraparameter können in bekannter Weise mittels einer Kamerakalibrierung ermittelt werden, z.B. mit dem Verfahren nach Tsai. Intrinsische Kameraparameter werden in der Regel von der Erfassungseinrichtung selbst bereitgestellt, d.h. können aus einem Speicher der Erfassungseinrichtung ausgelesen werden.Extrinsic camera parameters and possibly intrinsic camera parameters can be determined in a known manner by means of a camera calibration, e.g. with the procedure according to Tsai. Intrinsic camera parameters are typically provided by the detector itself, i. can be read from a memory of the detection device.

In einem weiteren Schritt des Verfahrens können dann mittels der Schwingungssensoren erfasste Schwingungen in dem 2D-Pixelkoordinatensystem, d.h. auf einer Anzeigeeinrichtung, wie z.B. einen Display, auf Basis einer Transformation der 3D-Koordinaten der Schwingungssensoren in dem 3D-Weltkoordinatensystem in das 2D-Pixelkoordinatensystem visualisiert werden.In a further step of the method, vibrations detected in the 2D pixel coordinate system, that is, by the vibration sensors, can then be detected. on a display device, e.g. a display can be visualized based on a transformation of the 3D coordinates of the vibration sensors in the 3D world coordinate system in the 2D pixel coordinate system.

Gemäß einer ersten Ausführungsform wird ein Schwingungssensor bereitgestellt wird, indem dieser an dem zu untersuchenden Objekt angeordnet wird. Das optische Erfassen des Schwingungssenors, zum Bestimmen von Position und Orientierung im 3D-Weltkkordinatensystem, erfolgt somit, nachdem der Schwingungssensor bereits am zu untersuchenden Objekt angeordnet ist.According to a first embodiment, a vibration sensor is provided by being arranged on the object to be examined. The optical detection of the vibration sensor, for determining position and orientation in the 3D world coordinate system, thus takes place after the vibration sensor is already arranged on the object to be examined.

Gemäß einer alternativen Ausführungsform wird ein Schwingungssensor zunächst an einem beliebig wählbaren Ausgangspunkt angeordnet. Nach dem Bestimmen der Position und der Orientierung des Schwingungssensors in dem 3D-Weltkoordinatensystem, auf Basis der Position und Orientierung am Ausgangspunkt, wird der Schwingungssensor erst dann an dem zu untersuchenden Objekt angeordnet. Eine dabei erfolgende Änderung von Position und Orientierung im 3D-Weltkoordinatensystem wird mittels einer inertiale Messeinheit, IMU, des Schwingungssensors erfasst und entsprechend angepasst.According to an alternative embodiment, a vibration sensor is first arranged at an arbitrarily selectable starting point. After determining the position and orientation of the vibration sensor in the 3D world coordinate system, based on the position and orientation at the origin, the vibration sensor is then placed on the object to be examined. A thereby occurring change of position and orientation in the 3D world coordinate system is detected by means of an inertial measurement unit, IMU, the vibration sensor and adjusted accordingly.

Diese Ausführungsform ist vorteilhaft in dem Fall, dass eine einzige Kameraperspektive nicht ausreichen würde, um alle Schwingungssensoren an dem zu untersuchenden Objekt zu erfassen. Es müsste dann, was grundsätzlich möglich wäre, die Videokamera zum vollständigen Erfassen aller Schwingungssensoren am Objekt bewegt werden, was eine Neubestimmung der extrinsischen Kameraparameter notwendig machen würde. Dies kann unterbleiben, wenn alle Schwingungssensoren zunächst an einem geeigneten Ausgangspunkt optisch erfasst werden, welcher eine solche Erfassung ohne Bewegung der Videokamera erlaubt.This embodiment is advantageous in the case that a single camera perspective would not be sufficient to detect all the vibration sensors on the object to be examined. It would then, which would be possible in principle, the video camera to fully capture all the vibration sensors are moved to the object, which would necessitate a redetermination of the extrinsic camera parameters. This can be omitted if all vibration sensors are first optically detected at a suitable starting point, which allows such detection without movement of the video camera.

Das Bestimmen der Position und Orientierung eines Schwingungssensors auf Basis des Videobildes kann auf verschiedenen Wegen erfolgen. Determining the position and orientation of a vibration sensor based on the video image can be done in various ways.

Gemäß einer ersten Ausführungsform erfolgt das Bestimmen der Position eines Schwingungssensors in dem 3D-Weltkoordinatensystem, indem die Position eines Abbildes des Schwingungssensors im Videobild manuell erfasst wird.According to a first embodiment, the position of a vibration sensor in the 3D world coordinate system is determined by manually detecting the position of an image of the vibration sensor in the video image.

In analoger Weise kann das Bestimmen der Orientierung eines Schwingungssensors in dem 3D-Weltkoordinatensystem erfolgen, indem die Orientierung eines Abbildes des Schwingungssensors im Videobild manuell erfasst wird.In an analogous manner, it is possible to determine the orientation of a vibration sensor in the 3D world coordinate system by manually detecting the orientation of an image of the vibration sensor in the video image.

Gemäß einer alternativen Ausführungsform kann das Bestimmen der Position eines Schwingungssensors in dem 3D-Weltkoordinatensystem auf Basis einer markerbasierten Bilderkennung erfolgen. In analoger Weise kann das Bestimmen der Orientierung eines Schwingungssensors in dem 3D-Weltkoordinatensystem auf Basis einer markerbasierten Bilderkennung erfolgen. Beide Verfahren können kombiniert werden. Beispielsweise können einzelne markerbasiert festgestellte Positionen oder Orientierungen manuell nachgebessert oder korrigiert werden.According to an alternative embodiment, the determination of the position of a vibration sensor in the 3D world coordinate system may be based on a marker-based image recognition. In an analogous manner, the determination of the orientation of a vibration sensor in the 3D world coordinate system can be based on a marker-based image recognition. Both methods can be combined. For example, individual marker-based positions or orientations can be corrected or corrected manually.

Damit ist eine erste, vorbereitende Phase des Verfahrens zur dynamischen Strukturanalyse eines Objekts abgeschlossen, welche im Wesentlichen dazu dient, den am Objekt angeordneten Schwingungssensoren in einfacher Weise 3D-Koordinaten und eine Orientierung im 3D-Weltkoordinatensystem zuzuordnen. Der hierfür erforderliche Aufwand ist im Vergleich zu Verfahren des Standes der Technik sehr gering. Eine aufwändige Erstellung eines 3D-Modells des Objekts kann vollständig wegfallen, ebenso wie eine manuelle Zuordnung von Sensorpositionen und -orientierungen zu dem Modell. In dem Fall, dass die Sensorpositionen und -orientierunen markerbasiert erfasst werden, müssen lediglich die Sensoren an dem Objekt angeordnet und einmalig, vor oder nach dem Anordnen am Objekt, mittels der Videokamera erfasst werden.Thus, a first, preparatory phase of the method for the dynamic structural analysis of an object is completed, which serves essentially to assign the vibration sensors arranged on the object in a simple manner 3D coordinates and an orientation in the 3D world coordinate system. The effort required for this is very low compared to prior art methods. An elaborate creation of a 3D model of the object can be completely eliminated, as well as a manual assignment of sensor positions and orientations to the model. In the case that the sensor positions and orientations are detected based on markers, only the sensors need to be arranged on the object and recorded once, before or after the placing on the object, by means of the video camera.

Der Schritt des Visualisierens, der einer zweiten Phase des Verfahrens zur dynamischen Strukturanalyse eines Objekts zuzuordnen ist, kann folgende Teilschritte umfassen:The step of visualization, which is to be assigned to a second phase of the method for dynamic structural analysis of an object, can comprise the following sub-steps:

Zunächst wird das zu untersuchende Objekt zumindest aus der aktuellen Perspektive der Erfassungseinrichtung erfasst und eine das Objekt entsprechend partiell definierende 3D-Punktwolke wird mittels einer 3D-Abtastung des Objekts durch die Erfassungseinrichtung ermittelt. Die Erfassungseinrichtung kann dazu z.B. eine 3D-Tiefenkamera umfassen.First, the object to be examined is detected at least from the current perspective of the detection device and a 3D point cloud corresponding to the object is determined by means of a 3D scan of the object by the detection device. The detection means may be used e.g. include a 3D depth camera.

Jedem Punkt der 3D-Punktwolke wird dabei eine 3D-Koordinate im 3D-Weltkoordinatensystem zugeordnet. Dies erfolgt erneut auf Basis der extrinsischen Kameraparameter der Erfassungseinrichtung.Each point of the 3D point cloud is assigned a 3D coordinate in the 3D world coordinate system. This again takes place on the basis of the extrinsic camera parameters of the detection device.

Danach wird ein Wert, der eine mittels eines Schwingungssensors erfasste Schwingung angibt, einem Punkt der 3D-Punktwolke zugeordnet, welcher Punkt im Wesentlichen der Position des Schwingungssensors im 3D-Weltkoordinatensystem entspricht. Dies dient dem Erstellen einer 3D-Darstellung des Schwingungsverhaltens des Objekts im 3D-Weltkoordinatensystem. Diese 3D-Darstellung kann beispielsweise eine 3D-Farbkarte sein, welche farblich codiert, welche Schwingungswerte von welchen Schwingungssensoren erfasst werden.Thereafter, a value indicative of vibration detected by a vibration sensor is assigned to a point of the 3D point cloud, which point substantially corresponds to the position of the vibration sensor in the 3D world coordinate system. This serves to create a 3D representation of the vibration behavior of the object in the 3D world coordinate system. This 3D representation may, for example, be a 3D color map which codes in color, which vibration values are detected by which vibration sensors.

Diese 3D-Darstellung im 3D-Weltkoordinatensystem wird in einem weiteren Teilschritt in eine 2D-Darstellung, z.B. eine 2D-Farbkarte, des Schwingungsverhaltens des Objekts im 2D-Pixelkoordinatensystem transformiert. Dies geschient auf Basis der intrinsischen Kameraparameter der Erfassungseinrichtung.This 3D representation in the 3D world coordinate system is converted in a further partial step into a 2D representation, e.g. a 2D color map, the vibration behavior of the object transformed in the 2D pixel coordinate system. This is based on the intrinsic camera parameters of the detection device.

Das Verfahren erlaubt verschiedene Visualisierungen.The method allows different visualizations.

Gemäß einer bevorzugten Ausführungsform umfasst das Verfahren die folgenden weiteren Schritte:According to a preferred embodiment, the method comprises the following further steps:

Es wird erneut ein Videobild erfasst, nämlich ein Videobild des zu untersuchenden Objekts, mittels der Videokamera der Erfassungseinrichtung, vorzugsweise gleichzeitig mit dem Erfassen der 3D-Punktwolke.A video image is again recorded, namely a video image of the object to be examined, by means of the video camera of the detection device, preferably simultaneously with the detection of the 3D point cloud.

In der Regel umfasst die Erfassungseinrichtung, z.B. eine 3D-Tiefenkamera, hierbei sowohl die Videokamera als auch eine Einrichtung zum dreidimensionalen Abtasten des Objekts. Wesentlich ist, dass sowohl dem hier erfassten Videobild als auch der erfassten 3D-Punktwolke des Objekts dasselbe 3D-Kamerakoordinatensystem zugrunde wird.As a rule, the detection means, e.g. a 3D depth camera, here both the video camera and a device for three-dimensional scanning of the object. It is essential that both the video image captured here and the detected 3D point cloud of the object are based on the same 3D camera coordinate system.

Dieser Schritt des Erfassens des Videobildes ist nicht zu Verwechseln mit dem optischen Erfassen der Schwingungssensoren in der ersten Phase.This step of capturing the video image is not to be confused with the optical detection of the vibration sensors in the first phase.

In einem weiteren Schritt wird dann das Videobild des Objekts mit der 2D-Darstellung des Schwingungsverhaltens des Objekts überlagert, zum Erhalten einer Augmented Reality Ansicht des Schwingungsverhaltens des Objekts. Mit anderen Worten kann auf diese Weise das Schwingungsverhalten des Objekts mit konkretem Bezug zu dem Objekt selbst, als Überlagerung eines Videobildes des Objekts, visualisiert werden.In a further step, the video image of the object is then overlaid with the 2D representation of the vibration behavior of the object to obtain an augmented reality view of the vibration behavior of the object. In other words, the oscillation behavior of the object with a concrete reference to the object itself, as a superposition of a video image of the object, can be visualized in this way.

Gemäß einer weiteren Ausführungsform kann die Visualisierung aber auch ohne ein Videobild des Objekts erfolgen, und nur ein 3D-Modell des Objekts „unterlegen“. Entsprechend umfasst das Verfahren dann die weiteren Schritte: However, according to another embodiment, the visualization can also take place without a video image of the object, and only "underlay" a 3D model of the object. Accordingly, the method then comprises the further steps:

Es wird ein partielles oder vollständiges 3D-Modell des Objekts auf Basis der 3D-Abtastung des Objekts erstellt. Danach wird der Wert, der eine mittels eines Schwingungssensors erfasste Schwingung angibt, zu einem Punkt des 3D-Modells, anstelle eines Punktes der 3D-Punktwolke, zugeordnet. In der Regel ist das 3D-Modell starr und erlaubt - im Gegensatz zu der Augmented Reality Visualisierung, keine Darstellung einer Bewegung des 3D-Modells.A partial or complete 3D model of the object is created based on the 3D scan of the object. Thereafter, the value indicative of a vibration detected by a vibration sensor is assigned to a point of the 3D model instead of a point of the 3D point cloud. As a rule, the 3D model is rigid and, in contrast to augmented reality visualization, does not allow any movement of the 3D model.

Grundsätzlich erlaubt es das vorstehend beschriebene Verfahren, dass ein Schwingungsverhalten des Objekts mit Bezug zu verschiedenen Ansichten des Objekts in Echtzeit visualisiert werden kann, d.h. die Erfassungseinrichtung kann sich im Schritt des Erfassens der 3D-Punktwolke und im Schritt des Erfassen des Videobildes des Objekts (in der zweiten Phase) z.B. um das Objekt herum bewegen. Wenn sich die Erfassungseinrichtung bewegt, werden die extrinsischen Kameraparameter entsprechend der Bewegung angepasst, basierend auf einer Erfassung der Bewegung der Erfassungseinrichtung mittels einer IMU der Erfassungseinrichtung oder basierend auf an sich bekannten photogrammetrischen Verfahren.Basically, the method described above allows a vibrational behavior of the object with respect to different views of the object to be visualized in real time, ie. the detection means may be in the step of detecting the 3D point cloud and in the step of capturing the video image of the object (in the second phase) e.g. to move around the object. As the detector moves, the extrinsic camera parameters are adjusted according to the motion based on detection of movement of the detector by means of an IMU of the detector or based on photogrammetric methods known in the art.

Ebenso erlaubt es das vorstehend beschriebene Verfahren, dass sich das Objekt in der zweiten Phase, d.h. während der Visualisierung bewegt. Es kann also auch ein Schwingungsverhalten in Echtzeit mit Bezug zu einem sich bewegenden Objekt visualisiert werden. Dazu werden, wenn sich das zu untersuchende Objekt bewegt, die 3D-Koordinaten eines an dem Objekt angeordneten Schwingungssensors im 3D-Weltkoordinatensystem entsprechend der Bewegung des Schwingungssensors mit dem Objekt angepasst, basierend auf einer Erfassung der Bewegung mittels einer IMU des Schwingungssensors.Likewise, the method described above allows the object to be in the second phase, i. moved during the visualization. It is thus also possible to visualize a vibration behavior in real time with reference to a moving object. For this, when the object to be examined moves, the 3D coordinates of a vibration sensor disposed on the object in the 3D world coordinate system corresponding to the movement of the vibration sensor are adjusted with the object based on detection of the movement by means of an IMU of the vibration sensor.

Eine bevorzugte Ausführungsform eines Schwingungssensors zur Verwendung bei einer dynamischen Strukturanalyse eines Objekts, umfasst die folgenden Elemente:

- einen Beschleunigungsaufnehmer;
- eine inertiale Messeinheit, IMU;
- einen Datenrecorder;
- ein Energiespeicherelement, und
- eine Kommunikationseinheit zum drahtlosen Übertragen von in dem Datenrecorder gespeicherten Daten an eine Steuereinrichtung.

A preferred embodiment of a vibration sensor for use in dynamic structural analysis of an object comprises the following elements:

an accelerometer;
an inertial measuring unit, IMU;
- a data recorder;
an energy storage element, and
a communication unit for wirelessly transmitting data stored in the data recorder to a controller.

Die Kommunikationseinheit ist eingerichtet, Daten mit einer Frequenz von zumindest 48 kHz an die Steuereinrichtung zu übertragen, wodurch eine quasi kontinuierliche Übertragung von Messdaten an die Steuereinrichtung ermöglicht wird. Dies ist vorteilhaft insbesondere mit Blick auf eine vorstehend beschriebene Echtzeitvisualisierung des Schwingungsverhaltens eines Objekts.The communication unit is set up to transmit data at a frequency of at least 48 kHz to the control device, thereby enabling quasi-continuous transmission of measurement data to the control device. This is advantageous in particular with regard to a real-time visualization, described above, of the vibration behavior of an object.

Die Kommunikationseinheit ist vorzugsweise eingerichtet, die Daten mittels eines Bluetooth-Kommunikationsprotokolls, vorzugweise mittels des Bluetooth Low Energy, BLE, Kommunikationsprotokolls zu übertragen. Dadurch werden die Energiereserven optimal eingesetzt. Grundsätzlich sind jedoch auch andere Kommunikationsprototolle verwendbar, z.B. WLAN.The communication unit is preferably set up to transmit the data by means of a Bluetooth communication protocol, preferably by means of the Bluetooth low energy, BLE, communication protocol. As a result, the energy reserves are used optimally. In principle, however, other communication protocols are also usable, e.g. WIRELESS INTERNET ACCESS.

Eine bevorzugte Ausführungsform einer Steuereinrichtung zur dynamischen Strukturanalyse eines Objekts ist eingerichtet, drahtlos mit einem Schwingungssensor der vorstehend beschriebenen Art zu kommunizieren.A preferred embodiment of a dynamic structure analysis control device of an object is arranged to communicate wirelessly with a vibration sensor of the type described above.

Die Steuereinrichtung ist weiter eingerichtet, eine Position und eine Orientierung des Schwingungssensors in einem 3D-Weltkoordinatensystem zu bestimmen auf Basis eines mittels einer Videokamera erfassten Videobildes und auf Basis eines Abbildes des Schwingungssensors in dem Videobild unter Verwendung extrinsischer Kameraparameter und intrinsischer Kameraparameter einer die Videokamera umfassenden Erfassungseinrichtung. Diese Bestimmung kann eine automatische markerbasierte Bilderkennung umfassen. Alternativ oder zusätzlich kann die Bestimmung ein Empfangen einer Nutzereingabe umfassen, z.B. betreffend eine Position oder Orientierung eines Abbildes eines Schwingungssensors in dem Videobild.The controller is further configured to determine a position and orientation of the vibration sensor in a 3D world coordinate system based on a video image captured by a video camera and based on an image of the vibration sensor in the video image using extrinsic camera parameters and intrinsic camera parameters of a video camera capture device , This determination may include an automatic marker-based image recognition. Alternatively or additionally, the determination may include receiving a user input, e.g. concerning a position or orientation of an image of a vibration sensor in the video image.

Schließlich ist die Steuereinrichtung eingerichtet, mittels eines Schwingungssensors erfasste Schwingungen in einem 2D-Pixelkoordinatensystem, z.B. auf einem Display einer Anzeigeeinrichtung, auf Basis einer Transformation der 3D-Koordinaten des Schwingungssensors in dem 3D-Weltkoordinatensystem in das 2D-Pixelkoordinatensystem in zumindest einer der vorstehend beschriebenen Weisen zu visualisieren.Finally, the controller is arranged to detect vibrations detected by a vibration sensor in a 2D pixel coordinate system, e.g. on a display of a display device, based on a transformation of the 3D coordinates of the vibration sensor in the 3D world coordinate system in the 2D pixel coordinate system in at least one of the ways described above to visualize.

Eine bevorzugte Ausführungsform eines Systems zur dynamischen Strukturanalyse eines Objekts umfasst eine Mehrzahl von vorstehend beschriebenen Schwingungssensoren, welche eingerichtet sind, an dem Objekt angeordnet zu werden. Weiter umfasst das System eine Erfassungseinrichtung, umfassend eine Videokamera zum Erfassen eines Videobildes und eine 3D-Abtasteinrichtung zum Erfassen einer das Objekt definierenden 3D-Punktwolke, wobei die Erfassungseinrichtung eingerichtet ist, das Videobild und die 3D-Punktwolke an eine vorstehend beschriebene Steuereinrichtung zu übertragen. Schließlich umfasst das System die vorstehend beschriebene Steuereinrichtung.A preferred embodiment of a dynamic structural analysis system of an object includes a plurality of vibration sensors described above configured to be disposed on the object. The system further comprises a detection device comprising a video camera for capturing a video image and a 3D scanning device for capturing a 3D point cloud defining the object, wherein the detection device is set up, the Video image and the 3D point cloud to be transmitted to a control device described above. Finally, the system comprises the control device described above.

Die Erfassungseinrichtung und die Steuereinrichtung sind vorzugsweise in einem gemeinsamen Gerät ausgebildet, z.B. ein Tablet-Computer.The detection device and the control device are preferably formed in a common device, e.g. a tablet computer.

Ein Computerprogrammprodukt umfassend gemäß einer Ausführungsform ein computerlesbares Speichermedium, auf welchem ein Computerprogramm gespeichert ist, welches eingerichtet ist, wenn es auf einem oder mehreren Prozessoren eines vorstehend beschriebenen Systems ausgeführt wird, ein vorstehend beschriebenes Verfahren auszuführen.A computer program product comprising, in one embodiment, a computer-readable storage medium having stored thereon a computer program configured, when executed on one or more processors of a system as described above, to execute a method as described above.

Die Erfindung bietet zahlreiche Vorteile: Das Schwingungsverhalten des Objekts kann, wie bereits erwähnt, in Echtzeit und auch bei sich bewegendem Objekt und/oder sich bewegender Erfassungseinrichtung, in Form einer „Augmented Reality“-Visualisierung, d.h. bei gleichzeitiger Darstellung des Objekts, direkt am Objekt dargestellt werden.The invention offers numerous advantages: the oscillatory behavior of the object can, as already mentioned, be realized in real time and also in the case of a moving object and / or moving detection device, in the form of an "augmented reality" visualization, i. simultaneous representation of the object, are displayed directly on the object.

Dadurch, dass das Objekt räumlich abgetastet wird, kann eine mühevolle manuelle Erstellung eines abstrakten 3D-Modells entfallen. Aus den 3D-Abtastdaten kann, falls erforderlich, in einfacher Weise automatisch ein hinreichendes 3D-Modell erstellt werden.The fact that the object is spatially scanned eliminates the tedious manual creation of an abstract 3D model. If necessary, a sufficient 3D model can be automatically generated from the 3D scanning data in a simple manner.

Vorzugsweise umfassen die Schwingungssensoren jeweils eine inertiale Messeinheit, IMU, mittels welcher eine Bewegung der Schwingungssensoren im Falle einer Bewegung des Objekts, bestimmt werden kann. Damit wird eine Visualisierung des Schwingungsverhaltens am sich bewegenden Objekt ermöglicht.Preferably, the vibration sensors each comprise an inertial measuring unit, IMU, by means of which a movement of the vibration sensors in the event of a movement of the object, can be determined. This makes it possible to visualize the vibration behavior on the moving object.

Die Zuordnung der Positionen und Orientierungen der Schwingungssensoren zu dem 3D-Weltkoordinatensystem kann, wie vorstehend bereits erläutert, ebenfalls nahezu vollständig automatisch erfolgen. Eine manuelle Zuordnung von Sensorposition und -ausrichtung zum 3D-Weltkoordinatensystem über die Auswahl auf dem Videobild bereitet wenig Aufwand und kann dann vollständig unterbleiben, wenn diese Zuordnung markerbasiert, mittels automatischer Bilderkennung durchgeführt wird.The assignment of the positions and orientations of the vibration sensors to the 3D world coordinate system can, as already explained above, also take place almost completely automatically. Manual assignment of sensor position and orientation to the 3D world coordinate system via the selection on the video image takes little effort and can then be completely omitted if this assignment is marker-based, performed by means of automatic image recognition.

Wenn sich die Erfassungseinrichtung bewegt, können die extrinsischen Kameraparameter der Erfassungseinrichtung entsprechend der Bewegung der Erfassungseinrichtung angepasst werden, entweder auf Basis einer IMU der Erfassungseinrichtung oder mittels photogrammetrischer Verfahren Eine Koordinatentransformation zwischen dem 3D-Kamerakoordinatensytstem und dem 3D-Weltkoordinatensystem kann immer dann, wenn sich das Objekt und/oder die Erfassungseinrichtung bewegt, neu berechnet werden, wodurch es erstmals möglich wird, das Schwingungsverhalten des Objekts auch bei sich bewegendem Objekt und/oder bei Betrachtung des Objekts aus verschiedenen Blickwinkeln in Echtzeit zu visualisieren.When the detector moves, the extrinsic camera parameters of the detector can be adjusted according to the movement of the detector, either based on an IMU of the detector or by photogrammetric method Object and / or the detection device moves, be recalculated, making it possible for the first time to visualize the vibration behavior of the object even when moving object and / or when viewing the object from different angles in real time.

Dadurch, dass die Schwingungssensoren erfasste Daten drahtlos an die Steuereinrichtung übertragen, entfällt jede im Stand der Technik in der Regel erforderliche Verkabelung. Auf diese Weise wird nicht nur der Aufwand in der Vorbereitung der Messung erheblich verringert, sondern es wird auch eine Messung der Schwingung am sich bewegenden Objekt erst möglich gemacht, da eine Verkabelung eine ungestörte Bewegung des Objekts zumindest behinderte.As a result of the fact that the vibration sensors transmit acquired data wirelessly to the control device, any cabling that is generally required in the state of the art is eliminated. In this way, not only the effort in the preparation of the measurement is considerably reduced, but it is also a measurement of the vibration on the moving object made possible only because a wiring at least obstructed undisturbed movement of the object.

Aufgrund der Tatsache, dass die Datenrecorder der Schwingungssensoren die erfassten Daten zumindest vorverarbeiten und nur noch erforderliche Daten an die Steuereinrichtung übertragen, wird zum einen ein Kommunikationsnetzwerk entlastet, zum anderen verringert sich der Rechenaufwand in der Steuereinrichtung.Due to the fact that the data recorder of the vibration sensors at least preprocess the acquired data and transmit only necessary data to the control device, on the one hand a communication network is relieved, on the other hand reduces the computational effort in the control device.

Zum Visualisieren von mittels der Schwingungssensoren erfassten Schwingungen in dem 2D-Pixelkoordinatensystem kann, wie erwähnt, eine 2D-Farbkarte verwendet werden, welche mit einem 3D-Modell des Objekts oder einem Videobild des Objekts überlagert werden kann. Dabei wird entsprechenden Punkten im 3D-Weltkoordinatensystem (vor der Transformation in das 2D-Pixelkoordinatensystem) jeweils eine die jeweilige Schwingung anzeigende Farbe zugeordnet, welche Schwingung (Auslenkung) von einem Schwingungssensor an der entsprechenden Position erfasst worden ist.For visualization of vibrations detected by the vibration sensors in the 2D pixel coordinate system, as mentioned, a 2D color map can be used, which can be overlaid with a 3D model of the object or a video image of the object. In this case, respective points in the 3D world coordinate system (before the transformation into the 2D pixel coordinate system) are each assigned a color indicating the respective vibration, which oscillation (deflection) has been detected by a vibration sensor at the corresponding position.

Dabei kann Punkten des 2D-Pixelkoordinatensystem, denen mittels der beschriebenen Koordinatentransformationen nicht unmittelbar eine Position eines Schwingungssensors zugeordnet wird, mittels Interpolation eine Farbe zugeordnet werden. Eine solche Interpolation kann beispielsweise auf Basis von Farben solcher Punkte bestimmt werden, denen mittels der Koordinatentransformationen jeweils eine Position eines Schwingungssensors zugeordnet worden ist.In this case, points of the 2D pixel coordinate system, which are not directly assigned a position of a vibration sensor by means of the described coordinate transformations, can be assigned a color by means of interpolation. Such an interpolation can be determined, for example, on the basis of colors of those points to which a position of a vibration sensor has been assigned in each case by means of the coordinate transformations.

Figurenlistelist of figures

Die Erfindung wird nachfolgend anhand eines Ausführungsbeispiels und dazugehöriger Zeichnungen beispielhaft näher erläutert. Die Figuren zeigen:

1 eine bevorzugte Ausführungsform eines erfindungsgemäßen Schwingungssensors;
2 eine bevorzugte Ausführungsform eines erfindungsgemäßem Systems während einer dynamischen Strukturanalyse an einem zu untersuchenden Objekt;
3 schematisch das Ergebnis eines „Augmented Reality“-Visualisierungsverfahrens gemäß einer Ausführungsform der Erfindung;
4 schematisch Schritte eines solchen Verfahrens, und
5 schematisch dabei verwendete Koordinatensysteme.

The invention will be explained in more detail by way of example with reference to an embodiment and associated drawings. The figures show:

1 a preferred embodiment of a vibration sensor according to the invention;
2 a preferred embodiment of an inventive system during a dynamic structure analysis on an object to be examined;
3 schematically shows the result of an augmented reality visualization method according to an embodiment of the invention;
4 schematically steps of such a method, and
5 schematically used coordinate systems.

Detaillierte Beschreibung der ErfindungDetailed description of the invention

1 zeigt schematisch eine bevorzugte Ausführungsform eines Schwingungssensors 10 in Form eines miniaturisierten energiesparenden Bluetooth-Smart Schwingungssensors 10 mit einem optionalen analogen (nicht gezeigt) und einem digitalen Beschleunigungsaufnehmer 121, mit einer IMU-Einheit 12 zur Bestimmung der Position und der Ausrichtung des Sensors 10 und weiteren Sensoren 15, 16 zur Bestimmung von Umgebungseinflüssen. 1 schematically shows a preferred embodiment of a vibration sensor 10 in the form of a miniaturized energy-saving Bluetooth Smart Vibration Sensor 10 with an optional analog (not shown) and a digital accelerometer 121 , with an IMU unit 12 to determine the position and orientation of the sensor 10 and other sensors 15 . 16 for determining environmental influences.

Dieser miniaturisierte, kabellose und energieeffiziente Schwingungssensor 10 ermöglicht ein komplett dezentralisiertes kabelloses Messsystem. Der Schwingungssensor 10 beinhaltet einen triaxialen analogen und digitalen Beschleunigungssensor 121. Der Schwingungssensor 10 hat folgende Sensoren integriert: Temperatursensor 15 (optional), Feuchtigkeitssensor 16 (optional), einen digitalen, als Bestandteil der IMU 12, und optional zusätzlich einen analogen 3D-Beschleunigungsaufnehmer, ein 3D-Gyroskop 122, als Teil der IMU, und ein 3D-Magnetometer 123, ebenfalls als Teil der IMU. Von den Sensoren 15, 16, 12 erfasste Messwerte können in einem Datenrecorder 18 vorverarbeitet und als Messdaten gespeichert werden. Die Übermittlung der Messdaten erfolgt mittels einer Kommunikationseinheit 17, vorzugweise über Bluetooth Low Energy (BLE). Der Schwingungssensor 10 wird über einen Akku 14 betrieben.This miniaturized, wireless and energy efficient vibration sensor 10 enables a completely decentralized wireless measurement system. The vibration sensor 10 includes a triaxial analog and digital accelerometer 121 , The vibration sensor 10 has integrated the following sensors: Temperature sensor 15 (optional), humidity sensor 16 (optional), a digital, as part of the IMU 12 , and optionally in addition an analog 3D accelerometer, a 3D gyroscope 122 , as part of the IMU, and a 3D magnetometer 123 , also as part of the IMU. From the sensors 15 . 16 . 12 recorded measured values can be stored in a data recorder 18 preprocessed and stored as measured data. The transmission of the measured data takes place by means of a communication unit 17 , preferably via Bluetooth Low Energy (BLE). The vibration sensor 10 is via a battery 14 operated.

Zur Bestimmung der Position und Ausrichtung des Schwingungssensors wurde Sensorik 121, 122, 123 zur Umsetzung einer inertialen Messeinheit, IMU, 12 in den Schwingungssensor 10 integriert. Durch die Miniaturisierung des Schwingungssensor 10 ist erstmals eine Integration des Datenrecorders 18 (inklusive zusätzlichem Beschleunigungsaufnehmer) direkt am Messobjekt möglich. Somit ist eine vollständige Messung komplett ohne den Einsatz von Kabeln möglich. Durch das immer noch geringe Gewicht eines solchen Schwingungssensors 10 (ca. 20 - 50 Gramm, abhängig vom Gewicht des eingesetzten analogen Beschleunigungsaufnehmers) sind praktisch keine Beeinträchtigungen der Schwingungseigenschaften von realen Objekten zu befürchten, auch wenn viele Schwingungssensoren 10 eingesetzt werden. Zur Untersuchung einer Fahrzeugkarosserie können beispielsweise problemlos 16 Sensoren der beschriebenen Art eingesetzt werden.Sensor technology was used to determine the position and orientation of the vibration sensor 121 . 122 . 123 for implementing an inertial measurement unit, IMU, 12 in the vibration sensor 10 integrated. Due to the miniaturization of the vibration sensor 10 is the first time an integration of the data recorder 18 (including additional accelerometer) directly on the DUT possible. Thus, a complete measurement is possible completely without the use of cables. Due to the still low weight of such a vibration sensor 10 (Approximately 20 - 50 grams, depending on the weight of the used analog accelerometer) are virtually no impact on the vibration characteristics of real objects to be feared, even if many vibration sensors 10 be used. For example, 16 sensors of the type described can easily be used to examine a vehicle body.

Der Schwingungssensor 10 ist eingerichtet, Messdaten praktisch kontinuierlich, mit einer Frequenz zumindest 48 kHz, an eine nachfolgend beschriebene Steuereinrichtung zu übermitteln. Durch Sensordatenfusion mit neun Freiheitsgraden, durch das verbaute 3D-Gyroskop 122, den 3D-Beschleunigungsaufnehmer 121 und das 3D-Magnetometer 123, wird die Bewegungsveränderung zu einem vorher definierten Referenzzustand bestimmt. Für die Erfassung der translatorischen Bewegung in x- bzw. y- bzw. z-Achse wird der 3D-Beschleunigungsaufnehmer benötigt, der drei lineare Beschleunigungswerte misst. Aus den Beschleunigungsmesswerten wird nach Kompensation der Erdbeschleunigung, durch Integration der Beschleunigung die dazugehörige Geschwindigkeit und nach nochmaliger Integration die Position im Raum bezogen zu einem vorgegebenen Referenzpunkt berechnet. Zur Erfassung der rotierenden Bewegungen in x- bzw. y- bzw. z-Achse wird das 3D-Gyroskop 122 genutzt, der drei Winkelgeschwindigkeiten liefert. Die Integration der Winkelgeschwindigkeiten ergibt, bezogen zu einem Referenzpunkt, die Orientierung im Raum. Dadurch kann die vollständige Bewegung des Sensors im Raum sehr genau ermittelt werden. Zur Bestimmung der Integrationskonstanten, zum Korrigieren der Sensordrift der Beschleunigungs- und Drehratensensoren und zur Verbesserung der Genauigkeit wird im gezeigten Beispiel ein zusätzlicher 3D-Magnetfeldsensor (Magnetometer) 123 verwendet. Zur Bestimmung der Position und Orientierung der IMU 12 im Raum kann ein Kalman-basierter Filter verwendet werden.The vibration sensor 10 is set up to transmit measured data practically continuously, with a frequency at least 48 kHz, to a control device described below. Through sensor data fusion with nine degrees of freedom, through the built-in 3D gyroscope 122 , the 3D accelerometer 121 and the 3D magnetometer 123 , the motion change is determined to a previously defined reference state. For detecting the translatory movement in x - or. y - or. z -Axis requires the 3D accelerometer, which measures three linear acceleration values. After compensation of the gravitational acceleration, the acceleration value is used to calculate the associated speed by integrating the acceleration and, after further integration, the position in space relative to a given reference point. For detecting the rotating movements in x - or. y - or. z -Axis becomes the 3D gyroscope 122 used, which provides three angular velocities. The integration of the angular velocities gives, relative to a reference point, the orientation in space. As a result, the complete movement of the sensor in the room can be determined very accurately. In the example shown, an additional 3D magnetic field sensor (magnetometer) is used to determine the integration constants, to correct the sensor drift of the acceleration and yaw rate sensors and to improve the accuracy. 123 used. To determine the position and orientation of the IMU 12 in the room a Kalman-based filter can be used.

Da die IMU-Sensoren 121, 122, 123 ausschließlich relative Bewegungen, von einem Referenzzustand ausgehend, erfassen, werden alle Sensorbewegungen von einem geometrisch bekannten Referenzort aus betrachtet. Dieser Referenzort kann frei gewählt werden.Because the IMU sensors 121 . 122 . 123 only detect relative movements, starting from a reference state, all sensor movements are considered from a geometrically known reference location. This reference location can be chosen freely.

In 2 ist schematisch eine bevorzugte Ausführungsform eines erfindungsgemäßen Systems 70 während einer dynamischen Strukturanalyse an einem zu untersuchenden Objekt (Fahrzeugkarosserie) gezeigt. Das System 70 umfasst eine Mehrzahl vorstehend beschriebener Schwingungssensoren 10, eine Erfassungseinrichtung 30 sowie eine Steuereinrichtung 40.In 2 is schematically a preferred embodiment of a system according to the invention 70 during a dynamic structural analysis on an object to be examined (vehicle body). The system 70 includes a plurality of vibration sensors described above 10 , a detection device 30 and a control device 40 ,

Die Erfassungseinrichtung 30 kann z.B. als 3D-Tiefenkamera ausgebildet sein, und ist eingerichtet, das Objekt zum Erstellen einer das Objekt zumindest partiell definierenden 3D-Punktwolke abzutasten, Videobilder der Schwingungssensoren 10 und des Objekts 20 zu erfassen, und entsprechende 3D-Abtastungsdaten und Videobilder an die Steuereinrichtung 40 drahtlos oder kabelgebunden zu übertragen. Es ist auch möglich, dass Erfassungsrichtung 30 und Steuereinrichtung 40 in einem gemeinsamen Gerät ausgebildet sind, z.B. in einem Tablet-Computer.The detection device 30 For example, it can be designed as a 3D depth camera, and is set up to scan the object for creating a 3D point cloud that at least partially defines the object, video images of the vibration sensors 10 and the object 20 and corresponding 3D scan data and video images to the control device 40 wireless or wired. It is also possible that detection direction 30 and control device 40 are formed in a common device, for example in a tablet computer.

Die Steuereinrichtung 40 umfasst einen Prozessor 44 und eine Kommunikationseinheit 42 zur drahtlosen Datenkommunikation mit den Schwingungssensoren 10 sowie vorzugsweise eine Anzeigeeinrichtung 46, wie z.B. ein Display. Die Anzeigeeinrichtung 46 kann aber auch separat ausgebildet sein. Die Funktionsweise der einzelnen Komponenten wird nachfolgend mit Bezug zu den 3 und 4 näher erläutert.The control device 40 includes a processor 44 and a communication unit 42 for wireless data communication with the vibration sensors 10 and preferably a display device 46 , such as a display. The display device 46 but can also be designed separately. The operation of the individual components is described below with reference to the 3 and 4 explained in more detail.

3 zeigt schematisch das Ergebnis eines Verfahrens mit den in 4 angedeuteten Schritten, nämlich eine „Augmented Reality“-Visualisierung des Schwingungsverhaltens eines Objekts 20, im gezeigten Beispiel einer Fahrzeugkarosserie, direkt am Objekt 20, als Überlagerung einer Videoaufnahme des Objekts 20, und in Echtzeit. 3 schematically shows the result of a method with the in 4 indicated steps, namely an "augmented reality" -Visualisierung the vibration behavior of an object 20 , in the example shown a vehicle body, directly on the object 20 , as a superimposition of a video recording of the object 20 , and in real time.

Die Visualisierung erfolgt dadurch, dass ein Videobild des Objekts 20 in vorgegebenen Bereichen von einer 2D-Farbkarte überlagert wird. Eine Farbe F1, F2, F3, F4 der Farbkarte gibt dabei in vorgegebener Weise ein Schwingungsverhalten (Auslenkung) des Objekts wider, welches seitens eines in dem entsprechenden Bereich angeordneten Schwingungssensors 10 (vgl. 2) gemessen worden ist.The visualization is done by making a video image of the object 20 superimposed on a 2D color chart in predefined areas. A color F1 . F2 . F3 . F4 In this case, the color chart reflects, in a predetermined manner, a vibration behavior (deflection) of the object, which is detected by a vibration sensor arranged in the corresponding area 10 (see. 2 ) has been measured.

Wie in 3 angedeutet, kann auch solchen Bildeinheiten des Videobildes eine Farbe zugeordnet werden, die nicht unmittelbar mit der Position eines Schwingungssensors 10 übereinstimmen (vgl. dazu 2), mittels verschiedener Interpolationsverfahren.As in 3 can be assigned to such image units of the video image, a color that is not directly related to the position of a vibration sensor 10 agree (cf 2 ), by means of various interpolation methods.

In 3 ist eine Variante eines solchen Interpolationsverfahrens (stark vereinfacht) dargestellt, bei welchem ein Abbild einer Oberfläche des Objekts 20 in 2D-Pixelkoordinatensystem in Abschnitte unterteilt ist, die jeweils eine unmittelbare Umgebung eines an dem Objekt 20 angeordneten Schwingungssensors 10 ausmachen. Sämtliche Pixel innerhalb eines solchen Abschnitts erhalten dann in der Visualisierung diejenige ein Schwingungsverhalten signalisierende Farbe, die der Farbe entspricht, die dem durch den Sensor des Abschnitts ermittelten Schwingungsverhalten entspricht. Alternativ oder zusätzlich (nicht gezeigt) können kontinuierliche Farbübergänge in der Farbkarte dadurch ermöglich werden, dass für Bildeinheiten zwischen zwei Sensoren (gewichtete) Mittelwerte von an den Sensorpositionen bestimmten Farben berechnet und visualisiert werden. Dies kann beispielsweise auf Basis einer linearen Interpolation erfolgen.In 3 a variant of such an interpolation method (greatly simplified) is shown in which an image of a surface of the object 20 is divided into sections in 2D pixel coordinate system, each one of which is an immediate environment of the object 20 arranged vibration sensor 10 account. All pixels within such a section then receive in the visualization the color indicating a vibration behavior which corresponds to the color corresponding to the vibration behavior determined by the sensor of the section. Alternatively or additionally (not shown), continuous color transitions in the color chart can be made possible by calculating and visualizing (for weighted average values of colors determined at the sensor positions for image units between two sensors. This can be done for example on the basis of a linear interpolation.

Wie in 4 angedeutet, wird in Schritt S1 eine Mehrzahl von Schwingungssensor 10 bereitgestellt, indem diese an dem Objekt 20 angeordnet werden.As in 4 indicated, will step in S1 a plurality of vibration sensor 10 provided by placing these on the object 20 to be ordered.

Zur Bestimmung der Position und Ausrichtung der Schwingungssensoren 10 werden diese in Schritt S2 mittels einer Videokamera 32 einer Erfassungseinrichtung 30 in einem Videobild erfasst. Auf diese Weise wird ein Zusammenhang zwischen dem 3D-Weltkoordinatensystem 120 und dem 3D-Kamerakoordinatensystem 130 hergestellt (vgl. 5).To determine the position and orientation of the vibration sensors 10 These will be in step S2 by means of a video camera 32 a detection device 30 captured in a video image. This creates a relationship between the 3D world coordinate system 120 and the 3D camera coordinate system 130 prepared (cf. 5 ).

Das zu untersuchende Objekt 20 „befindet sich“ im 3D-Weltkoordinatensystem 120, die Position und Orientierung der Erfassungseinrichtung 30 ist durch das 3D-Kamerakoordinatensystem 130 vorgegeben. Um einen Zusammenhang zwischen den beiden 3D-Koordinatensystemen 120, 130 und einem 2D-Pixelkoordinatensystem 146, welches eine 2D-Anzeige einer zu erzeugenden Visualisierung des Schwingungsverhaltens des Objekts 20 definiert, werden zum einen die intrinsischen Kameraparameter IKP aus der Erfassungseinrichtung 30 ausgelesen oder mittels Kamerakalibrierung bestimmt und zum anderen die extrinsischen Kameraparameter EKP mittels Kamerakalibrierung bestimmt. Die extrinsischen Kameraparameter EKP definieren eine Transformation zwischen dem 3D-Weltkoordinatensystem 120 und dem 3D-Kamerakoordinatensystem 130, während die intrinsischen Kameraparameter IKP einen Zusammenhang zwischen dem 3D-Kamerakoordinatensystem 130 und dem 2D-Pixelkoordinatensystem 146 definieren. Eine Projektionsmatrix PM kann aus einer Verkettung der extrinsischen Kameraparameter EKP mit dem intrinsischen Kameraparametern IKP berechnet werden und bestimmt dann eine Transformation zwischen dem 3D-Weltkoordinatensystem 120 und dem 2D-Pixelkoordinatensystem 146.The object to be examined 20 "Is" in the 3D world coordinate system 120 , the position and orientation of the detection device 30 is through the 3D camera coordinate system 130 specified. To connect the two 3D coordinate systems 120 . 130 and a 2D pixel coordinate system 146 , which is a 2D display of a visualization to be generated of the vibration behavior of the object 20 are defined, on the one hand, the intrinsic camera parameters IKP from the detection device 30 read out or determined by means of camera calibration and, secondly, the extrinsic camera parameters EKP determined by means of camera calibration. The extrinsic camera parameters EKP define a transformation between the 3D world coordinate system 120 and the 3D camera coordinate system 130 while the intrinsic camera parameters IKP correlate between the 3D camera coordinate system 130 and the 2D pixel coordinate system 146 define. A projection matrix PM can be calculated from a concatenation of the extrinsic camera parameters EKP with the intrinsic camera parameters IKP and then determines a transformation between the 3D world coordinate system 120 and the 2D pixel coordinate system 146 ,

In Schritt S3 wird für jeden Schwingungssensor 10 eine Position und eine Orientierung in dem 3D-Weltkkordinatensystem 120 bestimmt. Dies kann manuell, durch eine Nutzereingabe auf einer Anzeigeeinrichtung 46 erfolgen, wobei ein Abbild des entsprechenden Schwingungssensors 10 in dem Videobild „angeklickt“ wird, und Angaben zur Orientierung eingegeben werden. Alternativ kann dieser Vorgang auch automatisch erfolgen, indem mittels Bilderkennung auf dem Schwingungssensor 10 angebrachte Marker oder dergleichen erfasst und verarbeitet werden. Dabei kann ein Schwingungssensor 10 eindeutig identifiziert und seine Orientierung festgestellt werden. Damit ist die erste Phase des Verfahrens abgeschlossen.In step S3 is for every vibration sensor 10 a position and an orientation in the 3D world coordinate system 120 certainly. This can be done manually by a user input on a display device 46 take place, wherein an image of the corresponding vibration sensor 10 in the video image is "clicked", and input information for orientation. Alternatively, this process can also be done automatically by means of image recognition on the vibration sensor 10 attached markers or the like are detected and processed. In this case, a vibration sensor 10 clearly identified and its orientation determined. This completes the first phase of the process.

In einer zweiten Phase erfolgt dann in den Schritten S4 bis S8 eine Visualisierung mittels der durch die Schwingungssensoren erfassten Werte in dem 2D-Pixelkoordinatensystem 146, d.h. z.B. auf einem Display 46 eines Tablet-Computers (vgl. 3) auf Basis einer Transformation der 3D-Koordinaten der Schwingungssensoren 10 aus dem 3D-Weltkoordinatensystem 120 in das 2D-Pixelkoordintatensystem.In a second phase then takes place in the steps S4 to S8 a visualization by means of the values detected by the vibration sensors in the 2D pixel coordinate system 146 , ie for example on a display 46 of a tablet computer (cf. 3 ) based on a transformation of the 3D coordinates of the vibration sensors 10 from the 3D world coordinate system 120 into the 2D pixel coordinate system.

In Schritt S4.1 wird eine das zu untersuchende Objekt 20 definierenden 3D-Punktwolke mittels einer 3D-Abtastung des Objekts 20 durch die Erfassungseinrichtung 30 erfasst, wobei jedem Punkt der 3D-Punktwolke eine 3D-Koordinate im 3D-Weltkoordinatensystem 120 zugeordnet wird.In step S4.1 becomes an object to be examined 20 defining 3D point cloud by means of a 3D scan of the object 20 by the detection device 30 captures, with each point of the 3D point cloud a 3D coordinate in the 3D world coordinate system 120 is assigned.

Simultan dazu, d.h. im gleichen Arbeitsgang und unter Verwendung der Videokamera 32 der Erfassungseinrichtung 30 wird in Schritt S4.2 ein Videobild des zu untersuchenden Objekts erfasst. Wichtig dabei ist, dass dem Videobild und der 3D-Punktewolke das gleiche 3D-Kamerakoordinatensystem zugrunde liegt, welches eindeutig korreliert sein muss mit dem 3D-Kamerakoordinatensystem, welches in der ersten Phase, in Schritt S2, das optische Erfassen der Schwingungssensoren 10 definiert hat.Simultaneously, ie in the same operation and using the video camera 32 the detection device 30 will be in step S4.2 captures a video image of the object to be examined. It is important that the video image and the 3D point cloud are based on the same 3D camera coordinate system, which must be clearly correlated with the 3D camera coordinate system, which in the first phase, in step S2 , the optical detection of the vibration sensors 10 has defined.

In Schritt S4.3 wird dann ein Wert, der eine mittels eines Schwingungssensors 10 erfasste Schwingung angibt, einem Punkt der 3D-Punktwolke zugeordnet, welcher Punkt der Position des Schwingungssensors 10 entspricht. Auf dieser Weise kann eine 3D-Darstellung des Schwingungsverhaltens des Objekts 20 im 3D-Weltkoordinatensystem 120 erzeugt werden, quasi eine 3D-Farbkarte des Schwingungsverhaltens.In step S4.3 Then, a value, the one by means of a vibration sensor 10 indicates detected vibration, associated with a point of the 3D point cloud, which point of the position of the vibration sensor 10 equivalent. In this way, a 3D representation of the vibration behavior of the object 20 in the 3D world coordinate system 120 be generated, a kind of 3D color chart of the vibration behavior.

In Schritt S4.4 wird diese 3D-Darstellung im 3D-Weltkoordinatensystem 120 in eine 2D-Darstellung des Schwingungsverhaltens des Objekts 20 im 2D-Pixelkoordinatensystem 146 transformiert, um eine 2-dimensionale Darstellung des Schwingungsverhaltens zu erhalten, z.B. in Form einer 2D-Farbkarte.In step S4.4 becomes this 3D representation in the 3D world coordinate system 120 in a 2D representation of the vibration behavior of the object 20 in the 2D pixel coordinate system 146 transformed to obtain a 2-dimensional representation of the vibration behavior, for example in the form of a 2D color chart.

Diese 2D-Farbkarte wird dann in Schritt S4.5 dem Videobild des Objekts überlagert, wie dies schematisch in 3 angedeutet ist. Auf diese Weise kann eine Augmented Reality Ansicht des Schwingungsverhaltens des Objekts erhalten werden.This 2D color chart will then be in step S4.5 superimposed on the video image of the object, as shown schematically in 3 is indicated. In this way, an augmented reality view of the vibration behavior of the object can be obtained.

Dabei kann das Objekt aus verschiedenen Perspektiven betrachtet werden. Wenn sich die Erfassungseinrichtung 30 bewegt, was in Schritt S7 geprüft wird, so werden in Schritt S8 die extrinsischen Kameraparameter EKP entsprechend der Bewegung neu berechnet. Die Bewegung der Erfassungseinrichtung kann basierend auf einer Erfassung der Bewegung mittels einer IMU der Erfassungseinrichtung 30 oder basierend auf photogrammetrischen Verfahren erfolgen. Die Visualisierung kann dann in Echtzeit aktualisiert werden, wie dies mit dem Rücksprung zu Schritt S4 angedeutet ist.The object can be viewed from different perspectives. When the detection device 30 moves what's in step S7 is checked, so in step S8 the extrinsic camera parameters EKP recalculated according to the movement. The movement of the detection device can be based on a detection of the movement by means of an IMU of the detection device 30 or based on photogrammetric methods. The visualization can then be updated in real time, as with the return to step S4 is indicated.

Alternativ oder zusätzlich ist es möglich, dass sich das zu untersuchende Objekt 20 während der Visualisierung bewegt. Wird eine solche Bewegung erkannt (vgl. Schritt S5, z.B. basierend auf einer Erfassung der Bewegung der Schwingungssensoren 10 an dem Objekt mittels der IMUs 12 der Schwingungssensoren 10), so werden die 3D-Koordinaten der an dem Objekt 20 angeordneten Schwingungssensoren 10 im 3D-Weltkoordinatensystem entsprechend der Bewegung in Schritt S6 angepasst. Auch in diesem Fall kann die Visualisierung dann in Echtzeit aktualisiert werden, wie dies mit dem Rücksprung zu Schritt S4 angedeutet ist.Alternatively or additionally, it is possible that the object to be examined 20 moved during the visualization. If such a movement is detected (see step S5 , eg based on a detection of the movement of the vibration sensors 10 on the object by means of the IMUs 12 the vibration sensors 10 ), so the 3D coordinates of the object 20 arranged vibration sensors 10 in the 3D world coordinate system according to the movement in step S6 customized. Also in this case, the visualization can then be updated in real time, as with the return to step S4 is indicated.

Durch diese vorliegende Erfindung ist es erstmals möglich, die direkte Schwingungssensorantwort auf dem realen Objekt anzuzeigen, und dies in Echtzeit. Somit sind Präsentationen oder Validierungen von Messungen direkt am Messort ohne vorherige Kenntnisse über das geometrische Modell in kurzer Zeit möglich, ohne einen bislang notwendigen immensen Aufwand allein für die Vorbereitung einer Messung. Zudem muss der Anwender keine zusätzlichen Softwareparameter mehr einstellen, sodass der manuelle Aufwand für den Anwender ausschließlich im Positionieren und Befestigen der Schwingungssensoren 10 liegt und er danach automatisiert die „Augmented Reality“ Anwendung nutzen kann.By means of this present invention, it is possible for the first time to display the direct vibration sensor response on the real object, and this in real time. Thus, presentations or validations of measurements directly at the site without prior knowledge of the geometric model in a short time are possible without a hitherto necessary immense effort alone for the preparation of a measurement. In addition, the user no longer needs to adjust any additional software parameters, so that the manual effort for the user only in positioning and mounting the vibration sensors 10 and then he can automatically use the "Augmented Reality" application.

Claims

A vibration sensor (10) for use in dynamic structural analysis of an object (20), comprising: an analog accelerometer and a digital accelerometer (121); an inertial measuring unit, IMU, (12, 121, 122, 123); - a data recorder (18); - An energy storage element (14), and - A communication unit (17) for wireless transmission of data stored in the data recorder (18) data to a control device (40).

Vibration sensor after Claim 1 wherein the communication unit (17) is arranged to transmit data at a frequency of at least 48 kHz to the control device (40).

Vibration sensor (10) after Claim 1 or 2 wherein the communication unit (17) is arranged to transmit the data by means of a Bluetooth communication protocol, preferably by means of the Bluetooth Low Energy, BLE, communication protocol.