DE102020214248A1

DE102020214248A1 - Verfahren zum Bereitstellen von Verformungsdaten für eine Verformungsanalyse, Verfahren zum Steuern einer Verformungsanalyse, Verfahren zum Herstellen zumindest eines vordefinierten punktsymmetrischen Bereichs und Vorrichtung

Info

Publication number: DE102020214248A1
Application number: DE102020214248.3A
Authority: DE
Inventors: Stephan Simon
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-11-12
Filing date: 2020-11-12
Publication date: 2022-05-12
Also published as: CN116686007A; WO2022100961A1

Abstract

Die Erfindung betrifft ein Verfahren zum Bereitstellen von Verformungsdaten (135) für eine Verformungsanalyse. Das Verfahren umfasst einen Schritt des Einlesens von mittels der Kamera (102) bereitgestellten Bilddaten (105) von einer Kamera (102). Die Bilddaten (105) repräsentieren ein Kamerabild von zumindest einem gerade und/oder ungerade vordefinierten punktsymmetrischen Bereich (110). Der zumindest eine vordefinierte punktsymmetrische Bereich (110) ist auf, an oder in einem verformbaren Trägermedium erzeugt. Auch umfasst das Verfahren einen Schritt des Bestimmens zumindest eines Symmetriezentrums (112) des zumindest einen gerade und/oder ungerade punktsymmetrischen Bereichs (110) unter Verwendung der Bilddaten (105) und einer Bestimmungsvorschrift (128) und einen Schritt des Durchführens eines Vergleichs einer Position des Symmetriezentrums (112) in dem Kamerabild mit einer vordefinierten Position eines Referenz-Symmetriezentrums in einem Referenzbild (115), um eine Positionsabweichung (131) zwischen dem Symmetriezentrum (112) und dem Referenz-Symmetriezentrum zu bestimmen, Die Verformungsdaten (135) werden unter Verwendung der Positionsabweichung (131) bereitgestellt.

Description

Stand der Technik
Die Erfindung geht von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche aus. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
Auf dem Gebiet der Verformungsanalyse und Schwingungsanalyse beispielsweise zur Qualitätskontrolle oder Prozesskontrolle von Bauteilen, Erzeugnissen und dergleichen sowie auf dem Gebiet von Filmaufnahmen mittels sogenannter Motion Capture kann ein beträchtlicher Aufwand für Messtechnik entstehen, wobei Schnelligkeit, Effizienz, Genauigkeit und Zuverlässigkeit bisweilen in einem Missverhältnis zum Aufwand stehen können.
Die nachveröffentlichte DE 10 2020 202 160 A1 offenbart ein Verfahren zum Bestimmen einer Symmetrieeigenschaft in Bilddaten und ein Verfahren zum Steuern einer Funktion.
Offenbarung der Erfindung
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren, weiterhin eine Vorrichtung, welche dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
Gemäß Ausführungsformen kann es insbesondere ausgenutzt werden, wenn Punkte oder Objekte in der Welt mit Hilfe von punktsymmetrischen Bereichen markiert sind oder werden, so dass ein System mit bildgebendem Sensor und einem geeigneten hier vorgestellten Verfahren diese punktsymmetrischen Bereiche zum Ausführen einer spezifischen technischen Funktion robust und örtlich hochpräzise detektieren und lokalisieren kann, optional ohne dass der Mensch bzw. ein Lebewesen solche Markierungen als störend wahrnehmen würde.
Es kann beispielsweise vorkommen, dass ein symmetrischer Bereich nicht vollständig ins Kamerabild abgebildet wird, z. B. weil er von einem Objekt teilverdeckt sein kann oder weil er teilweise aus dem Bild herausragen kann oder weil das Muster beschnitten worden sein kann. Vorteilhafterweise kann eine Präzision einer Lokalisierung des Punktsymmetriezentrums dennoch beibehalten werden, denn die Teilverdeckung(en) verfälschen seine Lage nicht: Verbleibende punktsymmetrischen Korrespondenzpaare können trotzdem für das korrekte Symmetriezentrum stimmen. Durch eine Teilverdeckung kann lediglich eine Stärke eines Häufungspunkts in einer Abstimmungsmatrix oder dergleichen reduziert werden, die Position des Symmetriezentrums kann jedoch erhalten bleiben und dennoch präzise und einfach bestimmbar sein. Dies ist ein spezieller Vorteil einer Ausnutzung der Punktsymmetrie.
Weitere Vorteile beim Auffinden von auf Punktsymmetrie basierenden Bereichen oder Mustern können sich insbesondere daraus ergeben, dass die Punktsymmetrie invariant gegenüber Verdrehung zwischen punktsymmetrischem Bereich und Kamera bzw. Bildaufnahme und weitgehend invariant gegenüber einer Perspektive ist. Beispielsweise kann eine punktsymmetrische ebene Fläche invariant gegenüber einer affinen Abbildung sein. Eine Abbildung einer beliebig orientierten Ebene durch eine reale Kamera kann zumindest lokal stets sehr gut durch eine affine Abbildung angenähert werden. Betrachtet man beispielsweise einen kreisförmigen punktsymmetrischen Bereich unter schräger Perspektive, so wird aus der Kreisform eine elliptische Form, wobei die punktsymmetrische Eigenschaft und das Punktsymmetriezentrum erhalten bleiben. Somit braucht der zumindest eine punktsymmetrische Bereich nicht unbedingt aus frontaler Perspektive betrachtet zu werden - auch sehr schräge Perspektiven stellen keine Schwierigkeit dar und eine erzielbare Genauigkeit kann beibehalten werden. Eine solche Invarianz insbesondere gegenüber einer Verdrehung und gegenüber der Perspektive kann ermöglichen, dass auf Vorkehrungen verzichtet werden kann, die Kamera geeignet zum symmetrischen Bereich auszurichten oder umgekehrt. Vielmehr kann es bereits ausreichend sein, wenn der jeweilige punktsymmetrische Bereich im Kamerabild zumindest teilweise erfasst wird, damit er detektiert werden kann. Eine relative Positionsbeziehung bzw. Anordnung zwischen punktsymmetrischen Bereich und Kamera kann hierbei unerheblich oder beinahe unerheblich sein.
Es wird ein Verfahren zum Bereitstellen von Verformungsdaten für eine Verformungsanalyse vorgestellt, wobei das Verfahren folgende Schritte aufweist:

Einlesen von mittels einer Kamera bereitgestellten Bilddaten von einer Schnittstelle zu der Kamera, wobei die Bilddaten ein Kamerabild von zumindest einem vordefinierten gerade und/oder ungerade punktsymmetrischen Bereich in einer Umgebung der Kamera repräsentieren, wobei der zumindest eine vordefinierte punktsymmetrische Bereich auf, an oder in einem verformbaren Trägermedium erzeugt ist;
Bestimmen zumindest eines Symmetriezentrums des zumindest einen gerade und/oder ungerade punktsymmetrischen Bereichs unter Verwendung der Bilddaten und einer Bestimmungsvorschrift;
Durchführen eines Vergleichs einer Position des zumindest einen Symmetriezentrums in dem Kamerabild mit einer vordefinierten Position zumindest eines Referenz-Symmetriezentrums in einem Referenzbild relativ zu einem Bezugskoordinatensystem, um eine Positionsabweichung zwischen dem Symmetriezentrum und dem Referenz-Symmetriezentrum zu bestimmen; und/oder
Ermitteln von Verschiebungsinformationen für zumindest eine Teilmenge von Pixeln des Kamerabildes relativ zu korrespondierenden Pixeln des Referenzbildes unter Verwendung der Positionsabweichung, wobei die Verformungsdaten unter Verwendung der Positionsabweichung und/oder der Verschiebungsinformationen bereitgestellt werden.

Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät oder einer Vorrichtung implementiert sein. Es können im Schritt des Einlesens auch Bilddaten von einer Mehrzahl von Kameras eingelesen werden, wobei die Bilddaten eine Mehrzahl von Kamerabildern des zumindest einen Bereichs repräsentieren. Optional können dabei im Schritt des Durchführens eine Mehrzahl von Referenzbildern verwendet werden. Der zumindest eine vordefinierte punktsymmetrische Bereich kann durch Ausführen einer Variante eines nachstehend beschriebenen Verfahrens zum Herstellen hergestellt sein. Dabei kann der zumindest eine vordefinierte punktsymmetrische Bereich auch an dem verformbaren Trägermedium befestigt sein, ohne bei einer Verformung des Trägermediums selbst mitverformt zu werden. Die Bestimmungsvorschrift kann einer Vorgehensweise ähneln oder entsprechen, die in der nachveröffentlichten DE 10 2020 202 160 der Anmelderin offenbart ist. Das Referenzbild kann den zumindest einen vordefinierten punktsymmetrischen Bereich repräsentieren. Das Referenzbild kann auch durch Referenzdaten ersetzt sein, die zumindest teilweise den Informationen entsprechen bzw. gleichwertig sind, die aus einem Referenzbild gewonnen werden können. Das Arbeiten mit Referenzdaten kann vorteilhaft sein, insbesondere im Sinne eines geringeren Aufwands, wenn die aus einem Referenzbild extrahierbaren Informationen bereits in einer leichter verwertbaren Form in Gestalt der Referenzdaten vorliegen. Die Referenzdaten können das Referenzbild in einer verdichteten Form bzw. Darstellung repräsentieren, beispielsweise als Deskriptorbild, Signaturbild und/oder mit Auflistung aller Koordinaten und Typen von vorhandenen Symmetriezentren. Der optionale Schritt des Ermittelns kann unter Verwendung des optischen Flusses, insbesondere des dichten optischen Flusses durchgeführt werden. Die Verformungsanalyse kann im Rahmen einer Bauteilprüfung, Bauteilüberwachung, Werkstoffprüfung, Qualitätskontrolle, Motion-Capture-Methode oder dergleichen ausgeführt werden. Das Trägermedium kann an einem Objekt angeordnet sein. Das Objekt kann verformbar sein. Das Objekt kann ein Bauteil, Erzeugnis oder dergleichen sein. Bei der Verformungsanalyse kann eine Verformung des Trägermediums und zusätzlich oder alternativ des Objekts analysiert werden. Unter Verformung kann außer einer elastischen Verformung und einer plastischen Verformung auch eine Schwingung verstanden werden. Die Verschiebungsinformationen können Verschiebungsvektoren oder absolute Koordinaten repräsentieren.
Gemäß einer Ausführungsform kann die im Schritt des Bestimmens verwendete Bestimmungsvorschrift ausgebildet sein, um zu bewirken, dass eine Signatur für eine Mehrzahl von Pixeln zumindest eines Ausschnitts des Kamerabilds erzeugt wird, um eine Mehrzahl von Signaturen zu erhalten. Hierbei kann jede der Signaturen unter Verwendung eines Deskriptors mit einer Mehrzahl von unterschiedlichen Filtern erzeugt werden. Jedes Filter kann zumindest eine Symmetrieart aufweisen. Jede der Signaturen kann für jedes Filter des Deskriptors ein Vorzeichen aufweisen. Die Bestimmungsvorschrift kann auch ausgebildet sein, um zu bewirken, dass für die Signatur zumindest eine Spiegelsignatur für zumindest eine Symmetrieart der Filter ermittelt wird. Die Bestimmungsvorschrift kann ferner ausgebildet sein, um zu bewirken, dass ein die Signatur aufweisendes Pixel auf ein Vorliegen zumindest eines weiteren Pixels mit einer der zumindest einen Spiegelsignatur entsprechenden Signatur in einem Suchbereich in einer Umgebung um das Pixel überprüft wird, um bei Vorliegen zumindest eines weiteren Pixels Pixelkoordinaten zumindest eines symmetrischen Signaturpaars aus dem Pixel und einem weiteren Pixel zu ermitteln. Zudem kann die Bestimmungsvorschrift ausgebildet sein, um zu bewirken, dass die Pixelkoordinaten des zumindest einen symmetrischen Signaturpaars ausgewertet werden, um das zumindest eine Symmetriezentrum zu identifizieren. Der Deskriptor kann einen Bildinhalt in einer lokalen Umgebung um ein Pixel oder Referenzpixel in einer kompakten Form beschreiben. Eine Signatur kann einen Wert des Deskriptors für ein Pixel beschreiben, beispielsweise in einer binären Darstellung. Somit kann die zumindest eine Spiegelsignatur unter Verwendung mehrerer berechneter Signaturbilder, z.B. eines mit normalen Filtern, eines mit gerade punktgespiegelten Filtern, und eines mit ungerade punktgespiegelten Filtern, ermittelt werden. Zusätzlich oder alternativ kann zumindest ein Reflektor auf die Vorzeichen einer der Signaturen angewendet werden, um die zumindest eine Spiegelsignatur zu ermitteln. Hierbei kann jeder Reflektor für eine Symmetrieart spezifische und von den Filtern des Deskriptors abhängige Vorschriften zur Modifikation der Vorzeichen aufweisen. Dabei kann der Suchbereich von zumindest einem der angewendeten Reflektoren abhängig sein. Eine solche Ausführungsform bietet den Vorteil, dass eine effiziente und exakte Detektion einer Symmetrieeigenschaft in Bilddaten ermöglicht werden kann. Die Detektion von Symmetrien in Bildern kann hierbei mit minimalem Aufwand erzielt werden.
Dabei kann im Schritt des Bestimmens für jedes bereits bestimmte Symmetriezentrum unter Verwendung der Pixelkoordinaten jedes symmetrischen Signaturpaars, das zum korrekten Identifizieren des Symmetriezentrums beigetragen hat, eine Transformationsvorschrift zum Transformieren von Pixelkoordinaten des Symmetriezentrums und/oder des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs bestimmt werden. Die Transformationsvorschrift kann auf die Pixelkoordinaten des Symmetriezentrums und/oder des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs angewendet werden, um eine verzerrte Perspektive des Kamerabilds zu entzerren. Eine solche Ausführungsform bietet den Vorteil, dass eine zuverlässige und genaue Rekonstruktion des korrekten Rasters bzw. der korrekten Topologie mehrerer punktsymmetrischer Bereiche erreicht werden kann.
Auch kann im Schritt des Bestimmens eine Symmetrieart des zumindest einen Symmetriezentrums bestimmt werden. Die Symmetrieart kann eine gerade Punktsymmetrie und zusätzlich oder alternativ eine ungerade Punktsymmetrie repräsentieren. Zusätzlich oder alternativ kann hierbei im Schritt des Durchführens ein Vergleich der Symmetrieart des zumindest einen Symmetriezentrums in dem Kamerabild mit einer vordefinierten Symmetrieart zumindest eines Referenz-Symmetriezentrums in einem Referenzbild durchgeführt werden, um eine Übereinstimmung zwischen dem zumindest einen Symmetriezentrum und dem zumindest einen Referenz-Symmetriezentrum zu prüfen. Ungerade Punktsymmetrie kann durch eine Punktspiegelung mit Invertierung von Grauwerten bzw. Farbwerten erzeugt sein. Durch eine Verwendung und Identifikation der beiden unterschiedlichen Punktsymmetrien kann ein Informationsgehalt punktsymmetrischer Bereiche und Muster erhöht werden.
Die im Schritt des Einlesens eingelesenen Bilddaten können hierbei ein Kamerabild von zumindest einem Muster aus einer Mehrzahl von vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichen repräsentieren. Dabei kann im Schritt des Bestimmens eine geometrische Anordnung von Symmetriezentren des zumindest einen Musters bestimmt werden, eine geometrische Abfolge von Symmetriearten der Symmetriezentren bestimmt werden und zusätzlich oder alternativ unter Verwendung der Abfolge das Muster aus mehreren vordefinierten Mustern bestimmt werden. Die Anordnung und/oder die Abfolge kann oder können einen Identifikationscode des Musters repräsentieren. Eine solche Ausführungsform bietet den Vorteil, dass eine Sicherheit der Identifikation von Symmetriezentren erhöht werden kann und durch eine Erkennung eines spezifischen Musters weitere Informationen erhalten werden können. Auch kann eine zuverlässige Identifikation von Symmetriezentren für unterschiedliche Entfernungen zwischen Kamera und Muster erreicht werden.
Hierbei kann im Schritt des Bestimmens unter Verwendung der Anordnung der Symmetriezentren des zumindest einen Musters und zusätzlich oder alternativ der Abfolge von Symmetriearten der Symmetriezentren eine implizite Zusatzinformation des zumindest einen Musters oder eine Auslesevorschrift zum Auslesen einer expliziten Zusatzinformation in dem Kamerabild bestimmt werden. Die Anordnung und zusätzlich oder alternativ die Abfolge kann oder können die Zusatzinformation in codierter Form repräsentieren. Die Zusatzinformation kann auf die Verformungsanalyse bezogen sein. Eine solche Ausführungsform bietet den Vorteil, dass durch die Topologie des zumindest einen Musters zusätzliche Informationen kommuniziert werden können.
Auch kann dabei im Schritt des Durchführens abhängig von der bestimmten Anordnung, der bestimmten Abfolge und zusätzlich oder alternativ des bestimmten Musters das Referenzbild aus mehreren gespeicherten Referenzbildern ausgewählt werden oder unter Verwendung einer gespeicherten Erzeugungsvorschrift erzeugt werden. Auf diese Weise kann das korrekte Referenzbild zuverlässig identifiziert werden. Optional kann bei einer Verknüpfung zwischen identifizierte Muster und einer Erzeugungsvorschrift auch ein Speicherbedarf für Referenzbilder minimiert werden, da lediglich Erzeugungsvorschriften gespeichert zu sein brauchen.
Ferner kann oder können dabei der Schritt des Bestimmens und zusätzlich oder alternativ der Schritt des Durchführens unabhängig von der Symmetrieart der Symmetriezentren für alle Symmetriezentren gemeinsam ausgeführt werden oder abhängig von der Symmetrieart der Symmetriezentren für die Symmetriezentren derselben Symmetrieart gesondert ausgeführt werden. Somit kann durch gemeinsame Ausführung ein geringer Speicher- und Zeitbedarf für eine genaue und sichere Identifikation der Symmetriezentren erreicht werden. Optional können insbesondere Verwechslungen mit zufällig in Bildern vorkommenden Mustern durch gesonderte Ausführung minimiert werden.
Es wird auch ein Verfahren zum Steuern einer Verformungsanalyse vorgestellt, wobei das Verfahren folgende Schritte aufweist:

Auswerten von gemäß einer Ausführungsform des vorstehend genannten Verfahrens bereitgestellten Verformungsdaten, um ein von den Verformungsdaten abhängiges Steuersignal zu erzeugen; und
Ausgeben des Steuersignals an eine Schnittstelle zu einer Vorrichtung zum Ausführen der Verformungsanalyse, um die Verformungsanalyse zu steuern.

Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät oder einer Vorrichtung implementiert sein. Das Verfahren zum Steuern kann dabei in Verbindung mit einer Ausführungsform des vorstehend genannten Verfahrens zum Bereitstellen vorteilhaft ausgeführt werden.
Es wird ferner ein Verfahren zum Herstellen zumindest eines vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs zur Verwendung durch eine Ausführungsform eines vorstehend genannten Verfahrens vorgestellt, wobei das Verfahren folgende Schritte aufweist:

Generieren von Entwurfsdaten, die eine grafische Darstellung des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs repräsentieren; und
Erzeugen des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs unter Verwendung der Entwurfsdaten auf, an oder in einem Trägermedium, um den zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereich herzustellen.

Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät oder einer Vorrichtung implementiert sein. Durch Ausführen des Verfahrens zum Herstellen kann zumindest ein vordefinierter gerade und/oder ungerade punktsymmetrischer Bereich hergestellt werden, der im Rahmen einer Ausführungsform eines vorstehend genannten Verfahrens verwendet werden kann.
Gemäß einer Ausführungsform können im Schritt des Generierens Entwurfsdaten generiert werden, die eine grafische Darstellung des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs als ein Kreis, eine Ellipse, ein Quadrat, ein Rechteck, ein Fünfeck, ein Sechseck, ein Polygon oder ein Kreisring repräsentieren. Hierbei kann der zumindest eine vordefinierte gerade und/oder ungerade punktsymmetrische Bereich ein regelmäßiges oder quasi-zufälliges Inhaltsmuster aufweisen. Zusätzlich oder alternativ kann eine erste Hälfte einer Fläche des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs beliebig vorgegeben werden und kann eine zweite Hälfte der Fläche durch Punktspiegelung und optional zusätzlich Invertierung von Grauwerten und zusätzlich oder alternativ Farbwerten konstruiert werden. Zusätzlich oder alternativ kann im Schritt des Erzeugens der zumindest eine vordefinierte gerade und/oder ungerade punktsymmetrische Bereich durch einen additiven Fertigungsprozess, Trennen, Beschichten, Umformen, Urformen oder optisches Anzeigen erzeugt werden. Zusätzlich oder alternativ kann das Trägermedium Stoff, Gummi, Folie, Lack, Blech, Metall, Holz, Sperrholz, Kunststoff, faserverstärkter Kunststoff, Papier, Pappe, Verbundmaterial, beschichtetes Material, Leder, Flüssigkeit, Glas, Stein, Keramik, Beton, Gips oder Lebensmittel aufweisen. Das Trägermedium kann elastisch verformbar sein. Somit kann der zumindest eine vordefinierte gerade und/oder ungerade punktsymmetrische Bereich je nach konkretem Einsatz bzw. je nach konkreter Anwendung und den dort herrschenden Randbedingungen auf genau geeignete Weise hergestellt werden.
Auch können im Schritt des Generierens Entwurfsdaten generiert werden, die eine grafische Darstellung zumindest eines Musters aus einer Mehrzahl von vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichen repräsentieren. Hierbei kann zumindest eine Teilmenge der gerade und/oder ungerade punktsymmetrischen Bereiche an einem regelmäßigen oder unregelmäßigen Raster ausgerichtet sein, direkt aneinander angrenzen und zusätzlich oder alternativ teilweise von mindestens einem benachbarten gerade und/oder ungerade punktsymmetrischen Bereich durch einen Zwischenraum getrennt sein, hinsichtlich ihrer Abmessungen und/oder ihrer Inhaltsmuster identisch zueinander oder unterschiedlich voneinander sein und zusätzlich oder alternativ in einer gemeinsamen Ebene oder in unterschiedlichen Ebenen angeordnet sein. Zusätzlich oder alternativ können im Schritt des Generierens Entwurfsdaten generiert werden, die eine grafische Darstellung zumindest eines Musters mit hierarchischer Symmetrie repräsentieren. Auf diese Weise können unterschiedliche Muster mit spezifischem Informationsgehalt und zusätzlich oder alternativ Muster mit hierarchischen Symmetrien für unterschiedliche Entfernungen zum Muster hergestellt werden.
Insbesondere Menschen fällt die Wahrnehmung der in den Mustern versteckten Symmetrien schwer, selbst wenn bekannt ist, dass eine entsprechende Markierung vorhanden ist. Dies ermöglicht es beispielsweise auch, solche Markierungen zu verstecken. Das kann aus verschiedenen Gründen sinnvoll bzw. gewünscht sein, z. B. insbesondere aus ästhetischen Gründen, weil die technischen Markierungen nicht zu sehen sein sollen oder erwünscht sind, weil z. B. eine Konzentration nicht durch für Menschen unwichtige Markierungen gemindert werden soll, oder weil die Markierungen geheim bleiben sollen. Ästhetische Gründe spielen insbesondere auf dem Gebiet Design eine wichtige Rolle. Beispielsweise in einem Fahrzeuginnenraum, auf einer Außenhaut eines Fahrzeugs, auf ästhetisch gestalteten Gegenständen oder im Bereich der Innen- oder Gebäudearchitektur würden auffällige technische Marker nicht oder kaum akzeptiert. Wären sie jedoch versteckt, z. B. in einem Stoffmuster oder in einem Kunststoff- oder Keramikrelief oder in einem Hologramm oder auf einer bedruckten Fläche, wie es gemäß Ausführungsformen möglich ist, könnten sie gleichzeitig schön und nützlich sein, z. B. um einer Kamera einen oder mehrere Bezugspunkte zur Verfügung zu stellen, z. B. um damit eine relative Kamerapose ermitteln zu können. Der Aspekt des Versteckens kann je nach Anwendung auch irrelevant oder wenig relevant sein. Eine technische Robustheit spricht dann trotzdem für die Verwendung derart gestalteter Muster. Insbesondere kann ein Muster mit Zufallscharakter bzw. Pseudo-Zufallscharakter viele Möglichkeiten bieten, möglichst eindeutige symmetrische Punktepaare finden zu können. Dies kann gemäß Ausführungsformen beispielsweise ausgenutzt werden, insbesondere mit Vorteilen für das Signal-Rausch-Verhältnis eines gemessenen Ansprechens an den Symmetriezentren und damit für eine Robustheit im Sinne ihrer fehlerfreien Detektion und präzisen Lokalisation. Ein Muster kann insbesondere einen oder mehrere punktsymmetrische Bereiche mit ungerader oder gerader Punktsymmetrie umfassen. Diese Bereiche können beispielsweise kreisförmig, sechseckig, quadratisch, elliptisch, polygonal oder auch anders gestaltet sein. Die punktsymmetrischen Bereiche können gleichartig oder unterschiedlich in Form und Größe sein. Sie können lückenlos aneinander anschließen oder voneinander beabstandet sein.
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird. Dabei kann das Verfahren als Hardware-Beschleuniger auf einem SoC oder ASIC implementiert sein.
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

1 eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung zum Bereitstellen, eines Ausführungsbeispiels einer Vorrichtung zum Steuern und einer Kamera;
2 eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung zum Herstellen;
3 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Bereitstellen;
4 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Steuern;
5 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Herstellen;
6 schematische Darstellungen von Trägermedien mit Mustern aus vordefinierten punktsymmetrischen Bereichen gemäß Ausführungsbeispielen;
7 schematische Darstellungen von Trägermedien mit Mustern aus vordefinierten punktsymmetrischen Bereichen gemäß Ausführungsbeispielen;
8 schematische Darstellungen der Trägermedien mit den Mustern aus 7 mit grafischer Hervorhebung der Muster bzw. der vordefinierten punktsymmetrischen Bereiche;
9 schematische Darstellungen von vordefinierten punktsymmetrischen Bereichen gemäß Ausführungsbeispielen;
10 eine schematische Darstellung eines Musters aus vordefinierten punktsymmetrischen Bereichen gemäß einem Ausführungsbeispiel;
11 eine schematische Darstellung zur Verwendung einer Nachschlagtabelle gemäß einem Ausführungsbeispiel;
12 ein schematisches Diagramm zu einer Abstimmungsmatrix gemäß einem Ausführungsbeispiel;
13 eine schematische Darstellung von beispielhaft in Würfelform angeordneten Mustern gemäß einem Ausführungsbeispiel im Hinblick auf eine korrekte Identifikation eines Rasters;
14 eine schematische Darstellung des in der ersten Teildarstellung von 6 gezeigten Musters in schräger Perspektive;
15 das Muster aus der ersten Teildarstellung von 14 mit einer Hervorhebung eines vordefinierten punktsymmetrischen Bereichs;
16 eine schematische Darstellung des Musters aus 15 nach einer perspektivischen Entzerrung gemäß einem Ausführungsbeispiel;
17 eine schematische Darstellung eines Ausführungsbeispiels eines Musters mit hierarchischer Symmetrie;
18 eine schematische Darstellung eines Ausführungsbeispiels eines Musters mit hierarchischer Symmetrie;
19 eine schematische Darstellung eines Ausführungsbeispiels eines Musters mit hierarchischer Symmetrie;
20 schematische Darstellungen von Mustern gemäß Ausführungsbeispielen;
21 eine schematische Darstellung eines Trägermediums mit einem Muster gemäß einem Ausführungsbeispiel;
22 das Trägermedium mit dem Muster aus 21 mit hervorgehobenen vordefinierten punktsymmetrischen Bereichen;
23 das Trägermedium mit dem Muster aus 21 bzw. 22 mit hervorgehobenen Symmetriezentren;
24 eine schematische Darstellung eines Trägermediums mit einem Muster gemäß einem Ausführungsbeispiel; und
25 eine schematische Darstellung eines Trägermediums mit einem Muster gemäß einem Ausführungsbeispiel.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
1 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung 120 zum Bereitstellen, eines Ausführungsbeispiels einer Vorrichtung 140 zum Steuern und einer Kamera 102. In der Darstellung von 1 sind die Vorrichtung 120 zum Bereitstellen bzw. Bereitstellungsvorrichtung 120 und die Vorrichtung 140 zum Steuern bzw. Steuervorrichtung 140 getrennt bzw. außerhalb der Kamera 102 angeordnet gezeigt. Die Bereitstellungsvorrichtung 120 und optional zusätzlich die Steuervorrichtung 140 ist bzw. sind datenübertragungsfähig mit der Kamera 102 verbunden. Gemäß einem anderen Ausführungsbeispiel kann oder können die Bereitstellungsvorrichtung 120 und/oder die Steuervorrichtung 140 auch Teil der Kamera 102 sein und/oder miteinander kombiniert sein.
Die Kamera 102 ist ausgebildet, um ein Kamerabild von einer Umgebung der Kamera 102 aufzunehmen. In der Umgebung der Kamera 102 ist beispielhaft lediglich ein vordefinierter gerade und/oder ungerade punktsymmetrischer Bereich 110 mit einem Symmetriezentrum 112 angeordnet. Auch ist die Kamera 102 ausgebildet, um Bilddaten 105 bereitzustellen bzw. zu erzeugen, die das Kamerabild repräsentieren, wobei das Kamerabild auch den vordefinierten gerade und/oder ungerade punktsymmetrischen Bereich 110 zeigt. Der zumindest eine vordefinierte punktsymmetrische Bereich 110 ist auf, an oder in einem verformbaren Trägermedium erzeugt. Der zumindest eine vordefinierte punktsymmetrische Bereich 110 kann so mit dem Trägermedium verbunden sein, dass er bei Verformung des Trägermediums mitverformt wird oder so, dass er bei Verformung des Trägermediums lediglich mitbewegt wird, dabei selbst jedoch starr bleibt.
Die Bereitstellungsvorrichtung 120 ist ausgebildet, um Verformungsdaten 135 für eine Verformungsanalyse bereitzustellen. Dazu umfasst die Bereitstellungsvorrichtung 120 eine Einleseeinrichtung 124, eine Bestimmungseinrichtung 126, eine Durchführungseinrichtung 130 und optional zusätzlich eine Ermittlungseinrichtung 132. Die Einleseeinrichtung 124 ist ausgebildet, um die Bilddaten 105 von einer Eingangsschnittstelle 122 der Bereitstellungsvorrichtung 120 zu der Kamera 102 einzulesen. Ferner ist die Einleseeinrichtung 124 auch ausgebildet, um die das Kamerabild repräsentierenden Bilddaten 105 an die Bestimmungseinrichtung 126 weiterzugeben.
Die Bestimmungseinrichtung 126 der Bereitstellungsvorrichtung 120 ist ausgebildet, um unter Verwendung der Bilddaten 105 und einer Bestimmungsvorschrift 128 das Symmetriezentrum 112 des zumindest einen punktsymmetrischen Bereichs 110 zu bestimmen. Auf die Bestimmungsvorschrift 128 wird nachfolgend noch detaillierter eingegangen. An dieser Stelle sei darauf hingewiesen, dass die Bestimmungsvorschrift 128 einer Vorgehensweise ähnelt oder entspricht, die in der nachveröffentlichten DE 10 2020 202 160 der Anmelderin offenbart ist. Die Bestimmungseinrichtung 126 ist auch ausgebildet, um das zumindest eine bestimmte Symmetriezentrum 112 an die Durchführungseinrichtung 130 weiterzugeben.
Die Durchführungseinrichtung 130 ist ausgebildet, um einen Vergleich einer Position des zumindest einen Symmetriezentrums 112 in dem Kamerabild mit einer vordefinierten Position zumindest eines Referenz-Symmetriezentrums in einem Referenzbild 115 relativ zu einem Bezugskoordinatensystem durchzuführen, um eine Positionsabweichung 131 zwischen dem Symmetriezentrum 112 und dem Referenz-Symmetriezentrums zu bestimmen. Die Durchführungseinrichtung 130 ist auch ausgebildet, um das Referenzbild 115 bzw. Referenzdaten 115 von einer Speichereinrichtung 150 einzulesen oder zu empfangen. Die Speichereinrichtung 150 kann als ein Teil der Bereitstellungsvorrichtung 120 oder gesondert von derselben ausgeführt sein. Ferner ist die Durchführungseinrichtung 130 gemäß einem Ausführungsbeispiel ausgebildet, um die Positionsabweichung 131 an die Ermittlungseinrichtung 132 weiterzugeben.
Die Ermittlungseinrichtung 132 ist gemäß einem Ausführungsbeispiel ausgebildet, um unter Verwendung der Positionsabweichung 131 dann Verschiebungsinformationen 133 für zumindest eine Teilmenge von Pixeln des Kamerabildes relativ zu korrespondierenden Pixeln des Referenzbildes 115 zu ermitteln.
Die Bereitstellungsvorrichtung 120 ist ausgebildet, um unter Verwendung der Positionsabweichung 131 und/oder der Verschiebungsinformationen 133 die Verformungsdaten 135 bereitzustellen. Genauer gesagt ist die Bereitstellungsvorrichtung 120 ausgebildet, um über eine Ausgangsschnittstelle 138 der Bereitstellungsvorrichtung 120 die Verformungsdaten 135 der Steuervorrichtung 140 bereitzustellen.
Die Steuervorrichtung 140 ist ausgebildet, um die Verformungsanalyse zu steuern. Dazu umfasst die Steuervorrichtung 140 eine Auswerteeinrichtung 144 und eine Ausgabeeinrichtung 146. Die Steuervorrichtung 140 ist ausgebildet, um die Verformungsdaten 135 über eine Eingangsschnittstelle 142 der Steuervorrichtung 140 von der Bereitstellungsvorrichtung 120 zu empfangen bzw. einzulesen. Die Auswerteeinrichtung 144 ist ausgebildet, um die von der Bereitstellungsvorrichtung 120 bereitgestellten Verformungsdaten 135 auszuwerten, um ein von den Verformungsdaten 135 abhängiges Steuersignal 145 zu erzeugen. Die Auswerteeinrichtung 144 ist auch ausgebildet, um das Steuersignal 145 an die Ausgabeeinrichtung 146 weiterzugeben. Die Ausgabeeinrichtung 146 ist ausgebildet, um das Steuersignal 145 an eine Ausgangsschnittstelle 148 zu einer Vorrichtung zum Ausführen der Verformungsanalyse auszugeben, um die Verformungsanalyse zu steuern.
Insbesondere ist die Bestimmungsvorschrift 128 ausgebildet, um zu bewirken, dass eine Signatur für eine Mehrzahl von Pixeln zumindest eines Ausschnitts des Kamerabilds erzeugt wird, um eine Mehrzahl von Signaturen zu erhalten. Hierbei wird jede der Signaturen unter Verwendung eines Deskriptors mit einer Mehrzahl von unterschiedlichen Filtern erzeugt. Jedes Filter weist zumindest eine Symmetrieart auf. Jede der Signaturen umfasst für jedes Filter des Deskriptors ein Vorzeichen. Die Bestimmungsvorschrift 128 ist auch ausgebildet, um zu bewirken, dass zumindest ein Reflektor auf die Vorzeichen einer der Signaturen angewendet wird, um für die Signatur zumindest eine Spiegelsignatur für zumindest eine Symmetrieart der Filter zu ermitteln. Hierbei umfasst jeder Reflektor für eine Symmetrieart spezifische und von den Filtern des Deskriptors abhängige Vorschriften zur Modifikation der Vorzeichen. Die Bestimmungsvorschrift ist ferner ausgebildet, um zu bewirken, dass ein die Signatur aufweisendes Pixel auf ein Vorliegen zumindest eines weiteren Pixels mit einer der zumindest einen Spiegelsignatur entsprechenden Signatur in einem von zumindest einem der angewendeten Reflektoren abhängigen Suchbereich in einer Umgebung um das Pixel überprüft wird, um bei Vorliegen zumindest eines weiteren Pixels Pixelkoordinaten zumindest eines symmetrischen Signaturpaars aus dem Pixel und einem weiteren Pixel zu ermitteln. Zudem ist die Bestimmungsvorschrift ausgebildet, um zu bewirken, dass die Pixelkoordinaten des zumindest einen symmetrischen Signaturpaars ausgewertet werden, um das zumindest eine Symmetriezentrum zu identifizieren.
Gemäß einem Ausführungsbeispiel ist die Bestimmungseinrichtung 126 ausgebildet, um für jedes bereits bestimmte Symmetriezentrum 112 unter Verwendung der Pixelkoordinaten jedes symmetrischen Signaturpaars, das zum korrekten Identifizieren des Symmetriezentrums 112 beigetragen hat, eine Transformationsvorschrift zum Transformieren von Pixelkoordinaten des Symmetriezentrums 112 und/ oder des punktsymmetrischen Bereichs 110 zu bestimmen. Die Transformationsvorschrift wird auf die Pixelkoordinaten des Symmetriezentrums 112 und/ oder des punktsymmetrischen Bereichs 110 angewendet, um eine verzerrte Perspektive des Kamerabilds zu entzerren. Des Weiteren ist es vorteilhaft, weil robuster, genauer und weniger rausch behaftet, eine Transformationsvorschrift anhand mehrerer, insbesondere benachbarter, punktsymmetrischer Bereiche 110 zu bestimmen, insbesondere, wenn diese sich auf einer gemeinsamen Ebene befinden. Die Anwendung der Transformation ist besonders vorteilhaft, wenn eine Anordnung von mehreren Symmetriezentren 112 betrachtet wird.
Gemäß einem Ausführungsbeispiel ist die Bestimmungseinrichtung 126 auch ausgebildet, um eine Symmetrieart des zumindest einen Symmetriezentrums 112 zu bestimmen. Die Symmetrieart repräsentiert eine gerade Punktsymmetrie und zusätzlich oder alternativ eine ungerade Punktsymmetrie. Zusätzlich oder alternativ ist hierbei die Durchführungseinrichtung 130 ausgebildet, um einen Vergleich der Symmetrieart des zumindest einen Symmetriezentrums 112 in dem Kamerabild mit einer vordefinierten Symmetrieart zumindest eines Referenz-Symmetriezentrums in einem Referenzbild 115 durchzuführen, um eine Übereinstimmung zwischen dem zumindest einen Symmetriezentrum 112 und dem zumindest einen Referenz-Symmetriezentrum zu prüfen.
Insbesondere repräsentieren die Bilddaten 105 hierbei ein Kamerabild von zumindest einem Muster aus einer Mehrzahl von vordefinierten punktsymmetrischen Bereichen 110. Dabei ist die Bestimmungseinrichtung 126 ausgebildet, um eine geometrische Anordnung von Symmetriezentren 112 des zumindest einen Musters zu bestimmen, eine geometrische Abfolge von Symmetriearten der Symmetriezentren 112 zu bestimmen und/oder unter Verwendung der Abfolge das korrekte durch die Bilddaten 105 repräsentierte Muster aus mehreren vordefinierten Mustern zu bestimmen. Die Anordnung und/oder die Abfolge kann oder können einen Identifikationscode des Musters repräsentieren. Gemäß einem Ausführungsbeispiel ist die Bestimmungseinrichtung 126 hierbei ausgebildet, um unter Verwendung der Anordnung der Symmetriezentren 112 des zumindest einen Musters und/oder der Abfolge von Symmetriearten der Symmetriezentren 112 eine implizite Zusatzinformation des zumindest einen Musters oder eine Auslesevorschrift zum Auslesen einer expliziten Zusatzinformation in dem Kamerabild zu bestimmen. Die Anordnung und/oder die Abfolge repräsentiert oder repräsentieren die Zusatzinformation in codierter Form. Die Zusatzinformation ist auf die Verformungsanalyse bezogen. Zusätzlich oder alternativ ist hierbei die Durchführungseinrichtung 130 ausgebildet, um abhängig von der bestimmten Anordnung, der bestimmten Abfolge und/oder des bestimmten Musters das Referenzbild 115 aus mehreren gespeicherten Referenzbildern auszuwählen oder unter Verwendung einer gespeicherten Erzeugungsvorschrift zu erzeugen.
2 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung 200 zum Herstellen. Die Vorrichtung 200 zum Herstellen ist ausgebildet, um zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereich 110 zur Verwendung durch die Bereitstellungsvorrichtung aus 1 oder eine ähnliche Vorrichtung und/oder Steuervorrichtung aus 1 oder eine ähnliche Vorrichtung herzustellen. Dazu umfasst die Vorrichtung 200 zum Herstellen eine Generiereinrichtung 202 und eine Erzeugungseinrichtung 206. Die Generiereinrichtung 202 ist ausgebildet, um Entwurfsdaten 204 zu generieren. Die Entwurfsdaten 204 repräsentieren eine grafische Darstellung des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs 110. Die Erzeugungseinrichtung 206 ist ausgebildet, um unter Verwendung der Entwurfsdaten 204 den zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereich 110 auf, an oder in einem Trägermedium zu erzeugen, um denselben herzustellen.
Gemäß einem Ausführungsbeispiel ist die Generiereinrichtung 202 ausgebildet, um Entwurfsdaten 204 zu generieren, die eine grafische Darstellung des zumindest einen vordefinierten punktsymmetrischen Bereichs 110 als ein Kreis, eine Ellipse, ein Quadrat, ein Rechteck, ein Fünfeck, ein Sechseck, ein Polygon oder ein Kreisring repräsentieren, wobei der zumindest eine vordefinierte punktsymmetrische Bereich 110 ein regelmäßiges oder quasi-zufälliges Inhaltsmuster aufweist, und/oder wobei eine erste Hälfte einer Fläche des zumindest einen vordefinierten punktsymmetrischen Bereichs 110 beliebig vorgegeben wird und eine zweite Hälfte der Fläche durch Punktspiegelung und/oder Invertierung von Grauwerten und/oder Farbwerten konstruiert wird. Zusätzlich oder alternativ ist die Erzeugungseinrichtung 206 ausgebildet, um den zumindest einen vordefinierten punktsymmetrischen Bereich 110 durch einen additiven Fertigungsprozess, Trennen, Beschichten, Umformen, Urformen oder optisches Anzeigen zu erzeugen. Zusätzlich oder alternativ weist das Trägermedium hierbei Stoff, Gummi, Folie, Lack, Blech, Metall, Holz, Sperrholz, Kunststoff, faserverstärkter Kunststoff, Papier, Pappe, Verbundmaterial, beschichtetes Material, Leder, Flüssigkeit, Glas, Stein, Keramik, Beton, Gips, Papier, Pappe oder Lebensmittel auf.
Gemäß einem Ausführungsbeispiel ist die Generiereinrichtung 202 ausgebildet, um Entwurfsdaten 204 zu generieren, die eine grafische Darstellung zumindest eines Musters aus einer Mehrzahl von vordefinierten punktsymmetrischen Bereichen 110 repräsentieren, wobei zumindest eine Teilmenge der punktsymmetrischen Bereiche 110 an einem regelmäßigen oder unregelmäßigen Raster ausgerichtet sind, direkt aneinander angrenzen und/oder teilweise von mindestens einem benachbarten punktsymmetrischen Bereich 110 durch einen Zwischenraum getrennt sind, hinsichtlich ihrer Abmessungen und/oder ihrer Inhaltsmuster identisch zueinander oder unterschiedlich voneinander sind und/oder in einer gemeinsamen Ebene oder in unterschiedlichen Ebenen angeordnet sind. Zusätzlich oder alternativ ist die Generiereinrichtung 202 ausgebildet, um Entwurfsdaten 204 zu generieren, die eine grafische Darstellung zumindest eines Musters mit hierarchischer Symmetrie repräsentieren.
3 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 300 zum Bereitstellen von Verformungsdaten für eine Verformungsanalyse. Das Verfahren 300 zum Bereitstellen ist hierbei unter Verwendung der Bereitstellungsvorrichtung aus 1 oder einer ähnlichen Vorrichtung ausführbar. Das Verfahren 300 zum Bereitstellen umfasst einen Schritt 324 des Einlesens, einen Schritt 326 des Bestimmens, einen Schritt 330 des Durchführens und optional zusätzlich einen Schritt 332 des Ermittelns.
In dem Schritt 324 des Einlesens werden mittels einer Kamera bereitgestellte Bilddaten von einer Schnittstelle zu der Kamera eingelesen. Die Bilddaten repräsentieren ein Kamerabild von zumindest einem vordefinierten gerade und/oder ungerade punktsymmetrischen Bereich in einer Umgebung der Kamera. Der zumindest eine vordefinierte punktsymmetrische Bereich ist auf, an oder in einem verformbaren Trägermedium erzeugt. Nachfolgend wird in dem Schritt 326 des Bestimmens unter Verwendung der Bilddaten und einer Bestimmungsvorschrift zumindest ein Symmetriezentrum des zumindest einen punktsymmetrischen Bereichs bestimmt. Wiederum nachfolgend wird in dem Schritt 330 des Durchführens ein Vergleich einer Position des zumindest einen Symmetriezentrums in dem Kamerabild mit einer vordefinierten Position zumindest eines Referenz-Symmetriezentrums in einem Referenzbild relativ zu einem Bezugskoordinatensystem durchgeführt, um eine Positionsabweichung zwischen dem Symmetriezentrum und dem Referenz-Symmetriezentrum zu bestimmen. Nachfolgend werden gemäß einem Ausführungsbeispiel in dem Schritt 332 des Ermittelns unter Verwendung der Positionsabweichung Verschiebungsinformationen für zumindest eine Teilmenge von Pixeln des Kamerabildes relativ zu korrespondierenden Pixeln des Referenzbildes ermittelt. Die Verformungsdaten werden unter Verwendung der Positionsabweichung und/oder der ermittelten Verschiebungsinformationen bereitgestellt.
Die im Schritt 324 des Einlesens eingelesenen Bilddaten repräsentieren gemäß einem Ausführungsbeispiel ein Kamerabild von zumindest einem Muster aus einer Mehrzahl von vordefinierten punktsymmetrischen Bereichen. Dabei wird im Schritt 326 des Bestimmens eine geometrische Anordnung von Symmetriezentren des zumindest einen Musters bestimmt, eine geometrische Abfolge von Symmetriearten der Symmetriezentren bestimmt und/oder unter Verwendung der Abfolge das Muster aus mehreren vordefinierten Mustern bestimmt. Die Anordnung und/oder die Abfolge repräsentiert oder repräsentieren einen Identifikationscode des Musters. Optional werden dabei der Schritt 326 des Bestimmens und/oder der Schritt 330 des Durchführens unabhängig von der Symmetrieart der Symmetriezentren für alle Symmetriezentren gemeinsam ausgeführt oder abhängig von der Symmetrieart der Symmetriezentren für die Symmetriezentren derselben Symmetrieart gesondert ausgeführt.
4 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 400 zum Steuern einer Verformungsanalyse. Das Verfahren 400 zum Steuern ist dabei unter Verwendung der Steuervorrichtung aus 1 oder einer ähnlichen Vorrichtung ausführbar. Auch ist das Verfahren 400 zum Steuern in Verbindung mit dem Verfahren zum Bereitstellen aus 3 oder einem ähnlichen Verfahren ausführbar. Das Verfahren 400 zum Steuern umfasst einen Schritt 444 des Auswertens und einen Schritt 446 des Ausgebens.
In dem Schritt 444 des Auswertens werden gemäß dem Verfahren zum Bereitstellen aus 3 oder einem ähnlichen Verfahren bereitgestellte Verformungsdaten ausgewertet, um ein von den Verformungsdaten abhängiges Steuersignal zu erzeugen. Nachfolgend wird in dem Schritt 446 des Ausgebens das Steuersignal an eine Schnittstelle zu einer Vorrichtung zum Ausführen der Verformungsanalyse ausgegeben, um die Verformungsanalyse zu steuern.
5 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 500 zum Herstellen. Das Verfahren 500 zum Herstellen ist ausführbar, um zumindest einen vordefinierten punktsymmetrischen Bereich zur Verwendung durch das Verfahren zum Bereitstellen aus 3 oder ein ähnliches Verfahren und/oder zur Verwendung durch das Verfahren zum Steuern aus 4 oder ein ähnliches Verfahren herzustellen. Auch ist das Verfahren 500 zum Herstellen in Verbindung mit bzw. unter Verwendung der Vorrichtung zum Herstellen aus 2 oder einer ähnlichen Vorrichtung ausführbar. Das Verfahren 500 zum Herstellen umfasst einen Schritt 502 des Generierens und einen Schritt 506 des Erzeugens.
In dem Schritt 502 des Generierens werden Entwurfsdaten generiert, die eine grafische Darstellung des zumindest einen vordefinierten punktsymmetrischen Bereichs repräsentieren. Nachfolgend wird in dem Schritt 506 des Erzeugens unter Verwendung der Entwurfsdaten der zumindest eine vordefinierte punktsymmetrische Bereich auf, an oder in einem Trägermedium erzeugt, um den zumindest einen vordefinierten punktsymmetrischen Bereich herzustellen.
6 zeigt schematische Darstellungen von Trägermedien 600 mit Mustern 610 aus vordefinierten punktsymmetrischen Bereichen 110A und 110B gemäß Ausführungsbeispielen. Jeder der vordefinierten punktsymmetrischen Bereiche 110A und 110B entspricht oder ähnelt hierbei dem vordefinierten punktsymmetrischen Bereich aus 1. In einer ersten Teildarstellung A ist ein Muster 610 aus lediglich beispielhaft 49 vordefinierten punktsymmetrischen Bereichen 110A und 110B gezeigt und in einer zweiten Teildarstellung B ist ein Muster 610 aus lediglich beispielhaft acht vordefinierten punktsymmetrischen Bereichen 110A und 110B gezeigt. Hierbei weisen erste vordefinierte punktsymmetrische Bereiche 110A als Symmetrieart ungerade Punktsymmetrie auf und weisen zweite vordefinierte punktsymmetrische Bereiche 110B als Symmetrieart gerade Punktsymmetrie auf. Auf jedem der Trägermedien 600 ist hierbei ein rauschartiges Bildmuster mit dem jeweiligen Muster 610 gedruckt.
Anhand von 6 kann eine gemäß Ausführungsbeispielen erfolgende Nutzung von Symmetrien im Bereich des maschinellen Sehens veranschaulicht werden, wobei die Symmetrien für den Menschen nicht oder kaum wahrnehmbar gestaltet sein können, gleichzeitig für Ausführungsbeispiele jedoch robust, örtlich präzise, und mit minimalem Rechenaufwand detektierbar sind. In den Mustern 610 sind hierbei Punktsymmetrien quasi versteckt, die für einen Betrachter kaum erkennbar sind. Durch grafische Hervorhebung der vordefinierten punktsymmetrischen Bereiche 110A und 110B in 6 sind dieselben für einen menschlichen Betrachter in dem rauschartigen Bildmuster auf den Trägermedien 600 erkennbar. In der ersten Teildarstellung A sind 49 beispielhaft kreisförmige symmetrische Bereiche 110A und 110B enthalten, davon lediglich beispielhaft 25 erste Bereiche 110A mit ungerader Punktsymmetrie und 24 zweite Bereich 110B mit gerader Punktsymmetrie. In der zweiten Teildarstellung B sind die symmetrischen Bereiche 110A und 110B, von denen lediglich beispielhaft fünf eine ungerade Punktsymmetrie und lediglich beispielhaft drei eine gerade Punktsymmetrie aufweisen, größer gewählt als in der ersten Teildarstellung A, und damit insbesondere für größere Kamera-Distanzen bzw. niedrigere Bildauflösungen geeignet. Auf den als Platten ausgeführten Trägermedien 600 befinden sich also kreisförmige symmetrische Bereiche 110A und 110B, wobei im Falle von ungerader bzw. negativer Punktsymmetrie, die Punktspiegelung hell auf dunkel abbildet und umgekehrt, während im Falle von gerader bzw. positiver Punktsymmetrie diese Umkehrung nicht stattfindet. Werden mehrere Muster 610 benötigt, können diese unterscheidbar gestaltet werden. Dies kann über die Anordnung der Symmetriezentren der Bereiche 110A und 110B geschehen, wie in 6 zu sehen, in der die erste Teildarstellung A und die zweite Teildarstellung B einfach unterscheidbar sind, oder anhand der Abfolge von negativen bzw. ungeraden und positiven bzw. geraden Punktsymmetrien der Bereiche 110A und 110B innerhalb jeweiliger Muster 610.
7 zeigt schematische Darstellungen von Trägermedien 600 mit Mustern 610 aus vordefinierten punktsymmetrischen Bereichen gemäß Ausführungsbeispielen. Die Muster 610 entsprechen oder ähneln hierbei einem der Muster aus 6, wobei die Muster 610 in der Darstellung von 7 ohne grafische Hervorhebung gezeigt sind. In 7 sind lediglich beispielhaft zehn Trägermedien 600 ähnlich jenen aus 6 gezeigt.
8 zeigt schematische Darstellungen der Trägermedien 600 mit den Mustern 610 aus 7 mit grafischer Hervorhebung von Mustern bzw. vordefinierten punktsymmetrischen Bereichen 110A und 110B. Es sind lediglich beispielhaft auf den zehn Trägermedien 600 hierbei Muster 610 mit vordefinierten punktsymmetrischen Bereichen 110A und 110B angeordnet bzw. grafisch hervorgehoben dargestellt.
Somit zeigen 7 und 8 lediglich beispielhaft zehn auf Unterscheidbarkeit optimierte Muster 610. Jedes Muster 610 weist eine individuelle Anordnung der ungerade und gerade punktsymmetrischen Bereiche 110A und 110B auf. Die Muster 610 sind also durch diese Anordnung codiert. Die Codierungen wurden hier so gewählt und aufeinander abgestimmt und/oder per Training optimiert, dass die zehn Muster 610 selbst dann noch eindeutig erkennbar und unterscheidbar sind, wenn sie rotiert oder gespiegelt oder teilweise verdeckt von der Kamera erfasst werden. In den Mustern 610 aus 7 und 8 sind jeweils die punktsymmetrischen Bereiche 110A und 110B in den vier Ecken jedes Trägermediums 600 absichtlich etwas auffälliger gestaltet. Dies ist für die Funktion an sich irrelevant, bietet aber praktische Vorteile bei der manuellen Montage der Trägermedien 600 mit den Mustern 610. Die Trägermedien 600 mit den Mustern 610 können im Rahmen des bereits beschriebenen Herstellungsverfahrens beliebig arrangiert werden, z. B. dreidimensional oder flach in Reihe oder als Fläche. Die Punktsymmetriezentren der Muster 610 können im Rahmen des bereits beschriebenen Bereitstellungsverfahrens und/oder mittels der bereits beschriebenen Bereitstellungsvorrichtung korrekt und präzise gefunden werden. Die Muster 610 können beispielsweise auf stabile Platten beliebiger Größe gedruckt sein, die optional in teilweise rechtwinkliger Anordnung relativ zueinander platziert sein können. Auch bei unscharfer Abbildung der Muster 610 durch die Kamera können die Symmetriezentren hinreichend gut detektiert werden, um damit die beschriebenen Funktionen zu ermöglichen. Somit ist die Detektion der Punktsymmetriezentren robust gegenüber einer unscharfen Abbildung. Das erweitert den Einsatzbereich auf Situationen, in denen mit geringer Schärfentiefe gearbeitet wird, z. B. Szenen mit wenig Licht, oder in denen der Fokus bzw. Autofokus der Kamera fehlerhaft gesetzt ist oder eine perfekt scharfe Abbildung nicht realisierbar ist, z. B. in flüssigen oder trüben oder bewegten Medien oder im Randbereich eines Objektivs oder während einer Relativbewegung zwischen Muster 610 und Kamera (Bewegungsunschärfe, gerichtete Unschärfe). Auch wenn Punktsymmetrien natürlich und insbesondere in vom Menschen gestalteten Umgebungen vorkommen, sind darauf beruhende etwaige Fehldetektionen jedoch anders örtlich verteilt als die auf korrekten Mustern 610 beruhenden Detektionen und somit lassen sich beide Gruppen leicht voneinander trennen bzw. unterscheiden.
Um zu vermitteln, dass das vorstehend genannte Bereitstellungsverfahren auch für nichtebene und sogar für elastische Oberflächen in Bewegung funktioniert, können die Muster 610 aus 7 und 8 beispielsweise auf Papier gedruckt und zu einer flexiblen Schachtel zusammengefügt werden. Auch bei nichtebenen oder elastischen Oberflächen (wie beispielsweise aus Papier) funktioniert das vorstehend genannte Bereitstellungsverfahren problemlos. Dies ermöglicht die Bestimmung von Bewegungen dieser Oberflächen. Papier erlaubt im Gegensatz zu vielen Stoffen zwar keine Scherung, jedoch ist die Punktsymmetrie auch invariant gegenüber der Scherung, so dass diese keine Schwierigkeit darstellt.
Insbesondere eine Lage der Symmetriezentren in den Kamerabildern kann präzise ermittelt werden. Es kann jedoch in verschiedenen Anwendungen auch von Interesse sein, diese präzise Vermessung auf die gesamte Fläche des Musters 610 auszudehnen. Also für jeden Punkt bzw. Pixel des Musters 610 anzugeben, wo dieser sich im Kamerabild befindet. Das erlaubt dann z. B., kleinste Abweichungen zwischen dem real beobachteten Muster 610 und dem idealen Muster gemäß Konstruktion (Ground Truth) zu ermitteln. Dies ist beispielsweise von Interesse, wenn das Muster 610 auf einer nicht glatten oder nicht starren Oberfläche gedruckt aufgebracht ist und dadurch z. B. veränderliche Falten oder Dellen im Muster 610 entstehen, deren genaue Form ermittelt werden soll. Insbesondere Muster mit Zufallscharakter sind ausgezeichnet geeignet, um korrespondierende Punkte von einem ersten Bild zu einem zweiten Bild zu finden. Dabei können das erste und zweite Bild in zeitlicher Abfolge mit derselben Kamera aufgenommen sein oder von zwei Kameras aus unterschiedlicher Perspektive.
Insbesondere soll nun der Fall betrachtet werden, wenn das erste Bild ein reales Bild von einer Kamera ist und das zweite Bild ein künstlich erzeugtes (gespeichertes) Bild des gegebenen Musters, auch Referenzbild genannt, das z. B. anhand der gefundenen Symmetriezentren so ins zweite Bild platziert wurde (z. B. skaliert, gedreht, affin abgebildet, projiziert), dass es dem realen (ersten) Bild möglichst nahekommt. Beim Referenzbild können ggf. Verarbeitungsschritte übersprungen bzw. eingespart werden, die beim ersten Bild, das von der Kamera kommt, notwendig sind, z. B. Schritte der Bildvorverarbeitung. Dann können nachfolgend bekannte Methoden z. B. des optischen Flusses oder der Disparitätsschätzung angewendet werden, um z. B. für jeden Pixel im Kamerabild die Korrespondenz im Referenzbild zu finden - oder umgekehrt. Damit ergibt sich also ein zweischrittiges Vorgehen: Im ersten Schritt werden die gefundenen Symmetriezentren und ggf. die enthaltene Codierung ausgenutzt, um das reale Bild auf das bekannte Muster zu registrieren oder grob auszurichten. Dies stellt dann die Initialisierung dar, um im zweiten Schritt z. B. mit Methoden des optischen Flusses nochmals die kleinsten Abweichungen im Sinne örtlicher Verschiebungen zwischen registriertem realem Bild und Muster präzise zu ermitteln, und zwar bei Bedarf für jeden Punkt bzw. Pixel des Bildes oder des Musters 610. Der aufzuwendende Rechenaufwand für den zweiten Schritt ist umso kleiner, je kleiner der Suchbereich ist. Hier ist er in der Regel sehr klein - aufgrund der guten Initialisierung aus dem ersten Schritt. Da beide Schritte wenig Rechenaufwand beanspruchen, wird auf üblichen Rechnerplattformen ein hoher Pixel-Durchsatz erreicht, der als Produkt aus Bildwiederholrate [Bilder/s] und Bildgröße [Pixel/Bild] definiert ist. Wenn stellenweise keine Übereinstimmung auffindbar ist, ist dies in der Regel dadurch zu erklären, dass die Sicht auf das Muster 610 durch ein Objekt verdeckt ist. Hieraus können Rückschlüsse auf eine Form bzw. einen Umriss des verdeckenden Objekts gezogen werden.
Für das vorstehend genannte zweischrittige Vorgehen soll das Referenzbild bereitgestellt werden. Das kann so gelöst werden, dass für alle in Frage kommenden Muster 610 das zugehörige Referenzbild in einem Speicher vorgehalten wird. Der hiermit einhergehende Speicheraufwand kann reduziert werden, indem man nur die jeweiligen Parameter speichert, die notwendig sind, um das Referenzbild bei Bedarf neu zu errechnen bzw. zu generieren. Die Muster 610 können beispielsweise nach einfachen Regeln mit Hilfe eines Quasi-Zufallszahlen-Generators erzeugt werden. Das Wort „Quasi“ deutet hier an, dass der Zufallszahlen-Generator in Wirklichkeit nach deterministischen Regeln arbeitet und seine Ergebnisse daher reproduzierbar sind, was hier von Vorteil ist. Unter Regeln ist hier beispielsweise zu verstehen, welchen Durchmesser die symmetrischen Bereiche 110A und 110B haben und wie die Spiegelung durchzuführen ist und wie das Muster 610 aus mehreren Mustern mit unterschiedlichem Detaillierungsgrad gewichtet zusammengesetzt wird, z. B. damit es bei kurzen, mittleren und großen Distanzen gut detektierbar ist. Es genügt dann, nur die Initialisierungsdaten (Seeds) des Quasi-Zufallszahlen-Generators und ggf. die Auswahl der Regeln für den Bau des Musters 610 zu speichern. Mittels dieser Bildungsvorschrift kann das Referenzmuster bei Bedarf immer wieder neu und identisch erzeugt (und anschließend wieder gelöscht) werden.
Zusammengefasst lässt sich das zweischrittige Vorgehen beispielsweise etwa wie folgt darstellen. Im ersten Schritt werden die Symmetriezentren gefunden und ihre Vorzeichen ermittelt. Mit Vorzeichen ist hier die Fallunterscheidung zwischen ungerader und gerader Symmetrie gemeint. Durch einen Vergleich der Abfolge der Vorzeichen wird ermittelt, um welches von mehreren Mustern es sich handelt. Die Abfolge der Vorzeichen des Musters 610 kann auch als Code bezeichnet werden. Dieser ist kompakt beschreibbar und benötigt bei einem Muster 610 mit beispielsweise 8×8 Symmetriezentren höchstens 64 bit. Zum Zweck des Vergleichs sollten alle existierenden bzw. in Frage kommenden Codes gespeichert sein. Aus dieser Menge wird der Code gesucht, der mit der Beobachtung möglichst widerspruchsfrei übereinstimmt. Dieses Ergebnis ist in der Regel eindeutig. Diese Suche ist auch dann noch möglich, wenn die Kamera z. B. wegen Verdeckung nur einen Teil des Musters 610 erfassen kann, denn der Code bietet in diesem Beispiel mit 8×8 Symmetriezentren eine sehr große Zahl von bis zu 2⁶⁴ Möglichkeiten, während die Zahl der gefertigten Muster 610 viel kleiner sein wird, so dass eine hohe Redundanz gegeben ist. Für jeden gespeicherten Code sollten auch die Informationen wie Parameter und Auswahl der Regeln gespeichert sein, die notwendig sind, um das Referenzbild zu erzeugen. Dieses wird für den zweiten Schritt erzeugt, z. B. nach Bedarf, also erst zu dem Zeitpunkt, wenn es benötigt wird, und ggf. nur temporär.
Anhand der im ersten Schritt gefundenen Positionen der Symmetriezentren in den Koordinaten des Kamerabilds und den bekannten, dazu korrespondierenden Positionen im Referenzbild kann eine Transformationsvorschrift errechnet werden, die diese Koordinaten möglichst gut ineinander abbildet, zum Beispiel mit einer projektiven oder affinen Abbildung, die im Sinne der kleinsten Quadrate optimiert wird. Mit dieser Transformation und geeigneter Filterung der Bilddaten können die beiden Bilder in ein gemeinsames Koordinatensystem transformiert (gewarpt) werden, z. B. in das Koordinatensystem des Kamerabilds oder in das Koordinatensystem des Referenzbilds oder in ein beliebiges drittes Koordinatensystem. Die beiden somit bereits aufeinander ausgerichteten Bilder werden anschließend genauer verglichen, z. B. mit Methoden des optischen Flusses. Beispielsweise wird für jedes Pixel des ersten Bildes, vorzugsweise unter Berücksichtigung seiner Umgebung, das beste korrespondierende Pixel, mit Umgebung, des zweiten Bildes gesucht. Die relative Verschiebung der korrespondierenden Positionen kann als Verschiebungsinformation, insbesondere als absolute Koordinaten oder als Verschiebungsvektor ausgedrückt werden. Die Ermittlung eines solchen Verschiebungsvektors kann mit Sub-Pixel-Genauigkeit erfolgen, die Korrespondenz liegt dann in der Regel nicht auf dem Pixelraster, sondern dazwischen. Diese Information erlaubt hochgenaue Analysen auf der gesamten Fläche des im Kamerabild erfassten Musters 610, z. B. um mit elastischen Mustern Verformungen oder Verzerrungen des Musters 610 bzw. seines Trägermediums 600 oder aber bei starren Mustern Abweichungen der Abbildung im optischen Pfad zu analysieren.
Ist eine gesuchte Korrespondenz im erwarteten Bereich nicht auffindbar, kann so auf eine lokale Verdeckung des Musters 610 zurückgeschlossen werden. Ursache der Verdeckung kann z. B. ein Objekt sein, das auf dem Muster 610 liegt, oder ein zweites Muster, das das erste Muster teilweise verdeckt. Aus dieser Verdeckungsanalyse können ebenfalls wertvolle Informationen geschöpft werden, z. B. Masken oder Umrisse der Objekte.
9 zeigt schematische Darstellungen von vordefinierten punktsymmetrischen Bereichen 110A und 110B gemäß Ausführungsbeispielen. Jeder der vordefinierten punktsymmetrischen Bereiche 110A und 110B entspricht oder ähnelt hierbei dem vordefinierten punktsymmetrischen Bereich aus einer der vorstehend beschriebenen Figuren. In einer ersten Teildarstellung A ist ein zweiter punktsymmetrischer bzw. gerade punktsymmetrischer Bereich 110B einschließlich seines Symmetriezentrums 112 gezeigt und in einer zweiten Teildarstellung B ist ein erster punktsymmetrischer bzw. ungerade punktsymmetrischer Bereich 110A einschließlich seines Symmetriezentrums 112 gezeigt. Die vordefinierten punktsymmetrischen Bereiche 110A und 110B repräsentieren hierbei mit Graustufen gebildete Bereiche.
Die Verwendung der Punktsymmetrie hat gegenüber anderen Symmetrieformen die Vorteile, dass sie bei Drehung des Musters und/oder des zumindest einen vordefinierten punktsymmetrischen Bereichs, um die Sichtachse, erhalten bleibt, dass bei Verkippung des Musters und/oder des zumindest einen vordefinierten punktsymmetrischen Bereichs, also unter schrägen Perspektiven, ebenfalls erhalten bleibt. Drehung und Verkippung des Musters /oder des zumindest einen vordefinierten punktsymmetrischen Bereichs stellen kein Problem für die Detektion der ungeraden und geraden Punktsymmetrien dar, denn diese bleiben dabei erhalten. Dadurch ist das vorstehend bereits genannte Verfahren zum Bereitstellen bzw. Bereitstellungsverfahren auch für schräge Perspektiven auf das Muster bzw. den zumindest einen vordefinierten punktsymmetrischen Bereich geeignet. Bei gerader Punktsymmetrie bleibt beispielsweise ein Grau- oder Farbwert bei der Punktspiegelung erhalten.
Punktsymmetrisch zu dem Symmetriezentrum 112 in der ersten Teildarstellung A von 9 findet man zu jedem Grauwert g jeweils denselben Partner-Grauwert g_PG = g. In der zweiten Teildarstellung B von 9 ist ungerade Punktsymmetrie dargestellt, wobei der Grauwert jeweils invertiert wird: Beispielsweise wird weiß zu schwarz und umgekehrt, hellgrau zu dunkelgrau und umgekehrt. In diesem Beispiel mit Grauwerten g im Intervall 0 ≤ g ≤ 1 wurden die punktgespiegelten Grauwerte g_PU auf die einfachstmögliche Weise gemäß g_PU = 1 - g aus den originalen Grauwerten g aus einer in der Darstellung von 9 oben gezeigten Hälfte des Bereichs 110A gebildet. Es können auch Nichtlinearitäten in die Invertierung integriert werden, beispielsweise Gamma-Korrekturen, z. B. um andere Nichtlinearitäten in der Bilddarstellung und Bildaufnahme zu kompensieren. Die Bildung geeigneter ungerader oder gerader punktsymmetrischer Muster ist entsprechend einfach. Beispielsweise wird die in der Darstellung von 9 oben gezeigte Hälfte des jeweiligen Bereichs 110A bzw. 110B beliebig festgelegt oder per Zufall generiert. Die in der Darstellung von 9 unten gezeigte Hälfte ergibt sich dann daraus, und zwar per Punktspiegelung mit Invertierung der Grauwerte für ungerade Punktsymmetrie oder ohne Invertierung der Grauwerte für gerade Punktsymmetrie.
Diese Betrachtung bzw. Erzeugung lässt sich auch auf farbige Muster und/oder vordefinierter punktsymmetrischer Bereiche erweitern. Bei der ungeraden Punktsymmetrie können hierbei die punktgespiegelten RGB-Werte durch Invertierung der einzelnen originalen RGB-Werte gebildet werden, was wieder die einfachste Möglichkeit darstellt, also r_PU = 1 - r (rot), g_PU = 1 - g (g steht hier für grün), b_PU = 1 - b (blau). So wird beispielsweise dunkelviolett auf hellgrün abgebildet und blau auf orange. Farbige Muster können mehr Information als monochrome Muster repräsentieren, was vorteilhaft sein kann. Voraussetzung für die Nutzung dieses Vorteils ist, dass bei der Umwandlung des Originalbilds, d.h. Farbbild einer Kamera oder eines anderen bildgebenden Sensors, in Deskriptoren die Farbinformation auch ausgenutzt wird.
Nachfolgend soll auch unter Bezugnahme auf die vorstehend beschriebenen Figuren auf eine konkrete Ausführung der Muster 610 und/oder des zumindest einen vordefinierten punktsymmetrischen Bereichs 110 bzw. 110A und/oder 110B eingegangen werden.
Hinsichtlich einer Anordnung der Muster 610 und/oder des zumindest einen vordefinierten punktsymmetrischen Bereichs 110 bzw. 110A und/oder 110B können, wie z. B. in 6, die punktsymmetrischen Bereiche 110 bzw. 110A und/oder 110B beispielsweise kreisförmig sein und können diese wiederum meistens in einem regelmäßigen Gitter in dem Muster 610 angeordnet sein. Zwischen den kreisförmigen Bereichen 110 bzw. 110A und/oder 110B können beispielsweise Flächen ungenutzt bleiben. Dazu gibt es Alternativen: Beispielsweise können die Bereiche 110 bzw. 110A und/oder 110B quadratisch sein und lückenlos aneinander anschließen, so dass die gesamte Fläche ausgenutzt wird, oder die symmetrischen Bereiche 110 bzw. 110A und/oder 110B können regelmäßige Sechseckflächen sein, die ebenfalls lückenlos aneinander anschließen, so dass die gesamte Fläche ausgenutzt wird.
10 zeigt in diesem Zusammenhang eine schematische Darstellung eines Musters 610 aus vordefinierten punktsymmetrischen Bereichen 110A und 110B gemäß einem Ausführungsbeispiel. Die vordefinierten punktsymmetrischen Bereiche 110A und 110B entsprechen oder ähneln hierbei den vordefinierten punktsymmetrischen Bereichen aus 1, 6 und/oder 8. Die Bereiche 110A und 110B in 10 sind jeweils kreisförmig und sind auf einem hexagonalen Raster angeordnet. Hierbei kann ein Abstand zwischen Rasterpunkten bzw. Symmetriezentren dem Kreisdurchmesser entsprechen. So kann eine ungenutzte Fläche 1010 zwischen den Bereichen 110A und 110B in dem Muster 610 minimiert werden.
Auch andere Anordnungen und Formen, z. B. Rechtecke, Polygone etc., sind möglich, die auch miteinander in Form und/oder Größe kombiniert werden können. Beispielsweise ein Wechsel von Fünf- und Sechsecken wie auf einem gewöhnlichen Fußball. Auch können die Formen anders angeordnet, z. B. gedreht sein, ggf. mit unsymmetrischen Bereichen dazwischen. Es ist auch möglich, dass das Symmetriezentrum außerhalb des punktsymmetrischen Bereichs selbst liegt. Dies ist beispielsweise bei einem Kreisring als Form der Fall. Es ist auch nicht nötig, dass alle punktsymmetrischen Bereiche in einer gemeinsamen Ebene liegen. Sie können stattdessen auf unterschiedlichen, im Raum angeordneten Flächen liegen, die auch uneben sein dürfen.
Die Muster 610 und/oder der zumindest eine vordefinierte punktsymmetrische Bereich 110 bzw. 110A und/oder 110B kann bzw. können auf unterschiedlichste Art gebildet sein. Nachfolgend sind lediglich einige Beispiele angegeben. Zufallsmuster bzw. Quasi-Zufallsmuster wie Rauschmuster. Diese wurden, durch Einbeziehen niedriger Ortsfrequenzanteile, so gebildet, dass sie auch bei mittleren und größeren Distanzen von der Kamera noch als ausreichend kontrastreiche Rauschmuster wahrgenommen werden. Sogenanntes weißes Rauschen, d. h. unkorrelierte Grauwerte, wäre hierfür ungeeignet. Ästhetische, ggf. regelmäßige Muster, wie Blumenmuster, Rankenmuster (Blätter, Zweige, Blüten), Ornamentmuster, Mosaiken, mathematische Muster, traditionelle Muster, Zwiebelmuster, Muster aus ikonischen Symbolen (Herzen usw.). Nachahmen von Zufallsmustern aus der Natur, z. B. Ackerboden, Waldboden, Rasen, Kiesstrand, Sand, Schüttgut (Schotter, Salz, Reis, Samenkörner), Marmor, Bruchstein, Beton, Ziegelstein, Schiefer, Asphaltoberfläche, Sternenhimmel, Wasseroberfläche, Filz, Hammerschlaglack, rostiges Eisenblech, Schaffell, verstreute Partikel, usw. Fotos von Szenen mit beliebigem Inhalt. Um aus einem solchen Muster einen für die hierin genannten Zwecke geeigneten punktsymmetrischen Bereich und/oder ein Muster zu erzeugen, gibt man eine Hälfte der jeweiligen Fläche beliebig vor und konstruiert die zweite Hälfte durch Punktspiegelung und ggf. Invertierung der Grauwerte bzw. Farbwerte. Siehe hierzu auch 9 als einfaches Beispiel.
Hinsichtlich Material, Oberfläche und Herstellung des Musters 610 und/oder des zumindest einen vordefinierten punktsymmetrischen Bereichs 110 bzw. 110A und/oder 110B kommen zahlreiche Möglichkeiten in Frage. Die folgende Liste erhebt keinen Anspruch auf Vollständigkeit: Schwarzweiß-, Graustufen- oder Mehrfarbdruck auf unterschiedlichste Materialien, Druck auf oder hinter Glas oder transparente Folie, Druck auf oder hinter Mattglas oder semitransparente Folie, Druck oder Relief auf Lack, Blech, Folie, Kunststoff, Gummi, Stoff, Holz, Leder, Glas, Stein, Prägung in Kunststoff oder Papier/Pappe, Ätzung in Glas- oder Metall- oder Keramikoberfläche, Fräsung in Holz, Pappe, Metall, Stein etc., Brandoberfläche in Holz oder Papier, photographische Belichtung von Papier oder anderen Materialien, vergängliche bzw. verrottende bzw. wasserlösliche Muster für Kurzzeit-Anwendungen in pflanzlichem Material, Asche, Sand, Holz, Papier, auf Früchten, Schalen von Lebensmitteln etc., Darstellung als Hologramm, Darstellung auf einem Monitor oder Display, ggf. auch zeitlich veränderlich, Darstellung auf einer LCD-Folie oder einer sonstigen Display-Folie, ggf. auch zeitlich veränderlich, etc.
Hinsichtlich reliefartiger Herstellungsmöglichkeiten, wie auch im Fall von Fräsung, Prägung, Stanzung usw., ist anzumerken, dass der Bereich von der Kamera als ungerade und/oder gerade symmetrisch wahrgenommen werden soll. Daher kann es nötig sein, bereits beim Entwurf z. B. eine spätere Beleuchtung, wie beispielsweise schrägen Lichteinfall auf ein Relief, und Nichtlinearitäten in der optischen Abbildung und sonstige Störungen zu berücksichtigen. Es ist nicht entscheidend, dass die 3D-Form bzw. das Relief an sich die gerade und/oder ungerade Punktsymmetrieart aufweist, sondern das von der Kamera aufgenommene Bild diese Symmetrie zeigt. Dabei sind auch Lichteinfall bzw. Beleuchtungsrichtung und Reflexion des Lichts an der Oberfläche relevant und sollten beim Entwurf mitbedacht werden. Hinsichtlich Bildaufnahme und Beleuchtung sei angemerkt, dass für eine Erfassung des Musters 610 und/oder des zumindest einen vordefinierten punktsymmetrischen Bereichs 110 bzw. 110A und/oder 110B die Aufnahmetechnik geeignet ausgelegt sein sollte. Insbesondere ist es bei schnellen Relativbewegungen zwischen Muster 610 und/oder Bereich(en) 110 bzw. 110A und/oder 110B und Kamera ratsam, eine geeignete Beleuchtung (z.B. Blitzlicht oder Stroboskoplicht oder helles LED-Licht) zu verwenden, damit die Belichtungszeit und somit die Bewegungsunschärfe im Bild klein gehalten werden kann. Für verschiedene Anwendungen ist es sinnvoll, Muster 610 und/oder Bereich(e) 110 bzw. 110A und/oder 110B auf eine transparente oder semitransparente Oberfläche aufzubringen. Dies ermöglicht, Muster 610 und/oder Bereich(e) 110 bzw. 110A und/oder 110B von der einen Seite zu beleuchten und von der anderen Seite zu beobachten. Mit dieser Lösung lassen sich störende Reflexionen der Lichtquelle auf dem Trägermedium wirkungsvoll vermeiden. Für die Anordnung von Muster 610 und/oder Bereich(en) 110 bzw. 110A und/oder 110B, Lichtquelle und Kamera besteht jeweils grundsätzlich die Freiheit, die Vorderseite oder die Rückseite des Trägermediums zu wählen. Bei der Wahl kann auch die Gefahr der Verschmutzung von Muster 610 und/oder Bereich(en) 110 bzw. 110A und/oder 110B oder Kamera oder Abnutzung von Muster 610 und/oder Bereich(en) 110 bzw. 110A und/oder 110B eine Rolle spielen: So kann es z. B. sinnvoll sein, Muster 610 und/oder Bereich(e) 110 bzw. 110A und/oder 110B und Kamera rückseitig anzubringen, weil sie sich dort besser z. B. vor Staub oder Wasser schützen lassen oder weil Muster 610 und/oder Bereich(e) 110 bzw. 110A und/oder 110B dort vor mechanischer Abnutzung geschützt ist bzw. sind.
In der nachveröffentlichten DE 10 2020 202 160 ist ein Verfahren offenbart, das auch in Ausführungsbeispielen genutzt wird, um zuverlässig und mit sehr geringem Rechenaufwand symmetrische Bereiche bzw. Muster in einem Bild zu finden. Hierbei wird das Originalbild, d. h. ein Farbbild oder Grauwertbild einer Kamera oder eines anderen bildgebenden Sensors, in ein Bild von Deskriptoren umgewandelt, wobei ein Deskriptor jeweils anhand einer lokalen Umgebung des Originalbilds gebildet wird. Dabei ist der Deskriptor eine andere Repräsentationsform für den lokalen Bildinhalt, der diesen in einer einfacher zu verarbeitenden Form aufbereitet. Unter einfacher ist dabei unter anderem zu verstehen: enthält Information über die Umgebung des Punkts und nicht nur über den Punkt selbst, weitgehende Invarianz gegenüber Helligkeit bzw. Beleuchtung und deren Änderung und geringere Empfindlichkeit gegenüber Rauschen des Sensors. Das Deskriptorbild kann die gleiche Auflösung wie das Originalbild aufweisen, sodass etwa pro Pixel des Originalbilds ein Deskriptor vorliegt. Andere Auflösungen sind ebenfalls möglich, alternativ oder zusätzlich.
Aus dem jeweiligen Deskriptor, der in einer Rechnereinheit als Binärwort dargestellt ist, oder aus jeweils mehreren benachbarten Deskriptoren wird eine Signatur gebildet, welche die lokale Umgebung des Pixels des Originalbilds möglichst charakteristisch beschreibt. Die Signatur kann auch mit dem Deskriptor oder einem Teil davon identisch sein. Die Signatur wird als Adresse für den Zugriff auf eine Nachschlagetabelle (Lookup-Tabelle) verwendet. Besteht die Signatur aus N bit, kann demnach auf eine Nachschlagetabelle der Größe 2^N (das bedeutet: 2 hoch N) zugegriffen werden. Es ist von Vorteil, die Wortlänge N der Signatur nicht zu groß zu wählen, da der Speicherbedarf für die Tabelle exponentiell mit N wächst: Beispielsweise 8 ≤ N ≤ 32. Die Signatur bzw. der Deskriptor ist so konstruiert, dass Signatur-Symmetrien mit einfachen Operationen, z. B. bit-weises XOR (Exklusiv-Oder) auf einem Teil der Bits, ermittelt werden können. Beispiel: s_P = s ^ R_P, wobei s eine Signatur der Länge N bit darstellt und R_P einen darauf abgestimmten Reflektor (R) für Punktsymmetrie (P). Das Zeichen ^ steht für die bit-weise XOR-Operation. Die Signatur s_P steht also für das punktsymmetrische Gegenstück zur Signatur s. Diese Beziehung gilt auch in umgekehrter Richtung.
Steht die Konstruktion des Deskriptors bzw. der Signatur fest, ist damit automatisch auch der Reflektor festgelegt (und konstant). Durch seine Anwendung auf eine beliebige Signatur kann diese in ihr symmetrisches Gegenstück umgewandelt werden. Es existiert ein Algorithmus, der zur gegebenen Signatur am aktuellen Pixel ein oder mehrere symmetrisches Signatur-Pixel, innerhalb eines optional eingeschränkten Suchfensters, findet. Das Symmetriezentrum liegt dann mittig auf der Verbindungslinie zwischen den Positionen dieser beiden Pixel. Dort oder möglichst in der Nähe wird ein Stimmgewicht abgegeben und in einer Abstimmungsmatrix (voting map) gesammelt. In der Abstimmungsmatrix häufen sich die abgegebenen Stimmgewichte an Orten der gesuchten Symmetriezentren. Diese können somit gefunden werden können, z. B. indem man die Abstimmungsmatrix nach Häufungspunkten durchsucht. Dies funktioniert für Punktsymmetrie, horizontale Achsensymmetrie, vertikale Achsensymmetrie, sowie bei Bedarf weiteren Symmetrien, z. B. Spiegelsymmetrie an weiteren Achsen, sowie Rotationssymmetrie. Eine noch präzisere Lokalisierung mit Sub-Pixel-Genauigkeit ist möglich, wenn bei der Auswertung der Abstimmungsmatrix zur Ermittlung der Häufungspunkte und präzisen Lokalisierung der Symmetriezentren auch jeweils die lokale Umgebung in die Betrachtung einbezogen wird.
In 15 der DE 10 2020 202 160 ist ein Algorithmus illustriert, der punktsymmetrische Korrespondenzen zu der aktuell betrachteten Signatur finden kann. Dabei waren jedoch nur gerade Punktsymmetrien berücksichtigt.
Gemäß Ausführungsbeispielen ist dieser Algorithmus auf ungerade Punktsymmetrien erweitert. Besonders vorteilhaft ist dabei, dass die ungeraden und geraden Symmetrien in nur einem gemeinsamen Durchlauf gleichzeitig ermittelt werden können. Das spart Zeit, weil nur ein Durchlauf durch das Signaturbild erforderlich ist statt zwei Durchläufe, und Latenz. Wenn nur ein Durchlauf (statt zwei) erforderlich ist, kann durch Verarbeitung im Stream-Modus das Ergebnis der Symmetriesuche mit sehr viel geringerer Latenz bereitgestellt werden. Dabei wird die Verarbeitung bereits begonnen, sobald die ersten Pixeldaten von der Kamera ankommen und die Verarbeitungsschritte dicht hintereinander ausgeführt. Das heißt die Signatur wird bereits berechnet, sobald die notwendigen Bilddaten aus der lokalen Umgebung des aktuellen Pixels vorliegen. Für die gerade gebildete Signatur wird umgehend die Suche nach Symmetrien durchgeführt. Sobald Teile der Abstimmungsmatrix fertig sind, was der Fall ist, wenn sie nicht mehr Teil des Suchbereichs sind und dies auch nicht mehr werden, können diese sofort ausgewertet und evtl. gefundene Symmetrien (starke Symmetriezentren) umgehend ausgegeben werden. Dieses Vorgehen führt zu sehr geringen Latenzen, die typischerweise nur wenigen Bildzeilen entsprechen, abhängig von der Höhe des Suchbereichs. Geringe Latenzen sind wichtig, wenn schnell reagiert werden soll, z. B. innerhalb einer Regelschleife, bei der eine Aktuatorik die relative Pose zwischen Symmetrieobjekt und Kamera beeinflusst. Auch kann Speicher gespart werden. Die Abstimmungsmatrix (voting map) kann für beide Symmetrieformen, d.h. gerade Punktsymmetrie und ungerade Punktsymmetrie, gemeinsam genutzt werden, wobei die beiden Symmetrieformen bzw. Symmetriearten mit unterschiedlichem Vorzeichen an der Abstimmung teilnehmen, z. B. Subtraktion des Stimmgewichts bei ungerader Punktsymmetrie und Addition des Stimmgewichts bei gerader Punktsymmetrie. Dies wird nachfolgend noch näher erläutert. Ferner kann durch eingesparten Speicher auch Energie gespart werden. Die oben beschriebene latenzarme Realisierungsmöglichkeit führt auch dazu, dass nur wenige Zwischendaten gespeichert zu werden brauchen, im Gegensatz zu ganzen Bildern. Dieses Arbeiten mit wenig Speicher ist insbesondere für kosten kritische eingebettete Systeme (Embedded Systems) wichtig und führt außerdem zu Einsparungen beim Energiebedarf.
11 zeigt eine schematische Darstellung zur Verwendung einer Nachschlagtabelle 1150 gemäß einem Ausführungsbeispiel. Die Nachschlagtabelle 1150 ist durch die Bestimmungseinrichtung der Vorrichtung zum Bereitstellen aus 1 oder einer ähnlichen Vorrichtung verwendbar. Anders ausgedrückt ist ein Ausführungsbeispiel für ein algorithmisches Vorgehen bei einer Suche nach punktsymmetrischen Korrespondenzen in 11 als Momentaufnahme im Zusammenhang mit der Vorrichtung zum Bereitstellen aus 1 oder einer ähnlichen Vorrichtung und/oder dem Verfahren zum Bereitstellen aus 3 oder einem ähnlichen Verfahren dargestellt. Insbesondere ähnelt die Darstellung in 11 auch 15 der nach veröffentlichten DE 10 2020 202 160 , wobei hier 11 zusätzlich eine Erweiterung um gerade und ungerade Punktsymmetrie umfasst.
Die Nachschlagtabelle 1150 kann hier auch als eine Einstiegstabelle bezeichnet werden. Gezeigt ist ein Pixelgitter 1100, in dem für ein aktuell betrachtetes bzw. bearbeitetes Pixel eine Signatur s mit dem beispielhaften Wert 2412 erzeugt wurde. Anders ausgedrückt zeigt 11 eine Momentaufnahme während einer Bildung einer Verkettung von Pixeln bzw. Pixelkoordinaten mit identischer Signatur s. Zur besseren Übersichtlichkeit sind zwei von bis zu N möglichen Ketten dargestellt, und zwar zur Signatur s_PG=364 und zur Signatur s_PU=3731. In dem Pixelgitter 1100 kann pro Pixel ein Verweis auf die Position der letzten Vorgängersignatur gespeichert werden, die denselben Signaturwert hatte. So entsteht jeweils eine Verkettung der Positionen mit identischer Signatur. Die Signaturwerte selbst brauchen somit nicht gespeichert zu werden. In der Nachschlagtabelle 1150 bzw. Einstiegstabelle mit N Tabellenfeldern ist pro Signaturwert eine entsprechende Einstiegsposition in dem Pixelgitter 1100 gespeichert. Dabei entspricht N einer Anzahl möglicher Signaturwerte. Der gespeicherte Wert kann auch „ungültig“ sein. Der Inhalt der Nachschlagtabelle 1150 bzw. Einstiegstabelle und das Bild von Verweisen (Verkettungsbild) verändern sich dynamisch.
Eine z. B. zeilenweise Bearbeitung Pixel für Pixel in dem Pixelgitter 1100 begann z. B. oben links in 11, wie es durch einen Pfeil veranschaulicht ist, und ist aktuell bis zu einem Pixel fortgeschritten, das die Signatur s = 2412 aufweist. Verkettungen zwischen Pixelpositionen mit jeweils identischer Signatur s sind lediglich für einen ersten Bildbereich 1101 gespeichert. Für einen zweiten Bildbereich 1102 im unteren Bildteil sind die Verkettungen und Signaturen zum dargestellten Zeitpunkt noch nicht bekannt, und für einen dritten Bildbereich 1103 im oberen Bildteil werden die Verkettungen, z. B. aufgrund einer Beschränkung eines Suchbereichs, nicht mehr benötigt, wobei ein Verkettungsspeicher für Pixel in dem dritten Bildbereich 1103 wieder freigegeben werden kann.
Für die soeben gebildete Signatur s wird durch Anwendung eines Reflektors R_PG die gerade punktgespiegelte Signatur s_PG= 364 gebildet. Der Index PG steht für Punktsymmetrie, Gerade. Nachfolgend wird auch der Index PU verwendet, der für Punktsymmetrie, Ungerade, steht. Dieser Wert wird als Adresse in die Nachschlagtabelle 1150 verwendet, um den Einstieg in diejenige Verkettung von Pixelpositionen zu finden, denen derselbe Signaturwert s_PG = 364 zugeordnet ist. Die Nachschlagtabelle 1150 umfasst zum dargestellten Zeitpunkt zwei Elemente: die Einstiegs-Pixelpositionen zur jeweiligen Signatur s mitsamt den durch geschwungene Pfeile veranschaulichten Verweisen darauf. Weitere möglicherweise vorhandene Inhalte der Nachschlagtabelle 1150 sind aus Gründen der Anschaulichkeit nicht dargestellt. Die Verkettung für den Signaturwert s_PG = 364 umfasst hier lediglich beispielhaft drei dargestellte Pixelpositionen. Zwei davon liegen in einem Suchbereich 1104, der auch eine andere als die hier dargestellte Form haben kann, z. B. rechteckig oder kreisförmig. Beim unidirektionalen Durchhangeln entlang der Verkettung, beginnend von unten, werden hier zwei punktsymmetrische Korrespondenz-Kandidaten gefunden, die innerhalb des Suchbereichs 1104 liegen. Die dritte Korrespondenz, welche das erste Element der Verkettung für gerade Punktsymmetrie ist, ist hier nicht von Interesse, da sie außerhalb des Suchbereichs 1104 und damit zu weit von der aktuellen Pixelposition entfernt liegt. Falls die Zahl von Symmetriezentrumskandidaten 1112 nicht zu groß ist, kann pro Symmetriezentrumskandidat 1112 ein Stimmgewicht für die Lage des jeweiligen Symmetriezentrums abgegeben werden. Der Symmetriezentrumskandidat 1112 liegt jeweils in der Mitte auf der Verbindungsachse zwischen der Position der Signatur s und der jeweiligen gerade punktgespiegelten Signatur s_PG. Falls mehr als ein Symmetriezentrumskandidat 1112 vorliegt, kann das Stimmgewicht jeweils reduziert werden, beispielsweise kann der Kehrwert der Anzahl der Symmetriezentrumskandidaten als jeweiliges Stimmgewicht verwendet werden. Dadurch werden uneindeutige Symmetriezentrumskandidaten geringer gewichtet als eindeutige Symmetriezentrumskandidaten.
Nun wird eine Betrachtung und Verwendung einer ungerade punktgespiegelten Signatur vorgenommen. In der in 11 dargestellten Momentaufnahme wird für die soeben gebildete Signatur s durch Anwendung eines weiteren Reflektors R_PU die ungerade punktgespiegelte Signatur s_PU = 3731 gebildet. Analog zum vorstehend beschriebenen Ablauf für die gerade punktgespiegelte Signatur werden dieselben Schritte auch für die ungerade punktgespiegelte Signatur durchgeführt. Der Einstieg in die entsprechende Verkettung wird über dieselbe Nachschlagtabelle 1150 gefunden. Hier verweist die Nachschlagtabelle 1150 auf die für ungerade Punktsymmetrie dargestellte Verkettung für die Signatur 3731. Die ersten beiden Pixelpositionen entlang der Verkettung führen wieder zur Bildung von Symmetriezentrumskandidaten 1112, da sie im Suchbereich 1104 angeordnet sind und weil die Zahl der Symmetriezentrumskandidaten 1112 nicht zu groß ist. Die letzte Pixelposition entlang der Verkettung liegt im dritten Bildbereich 1103. Dieser Bereich wird gar nicht mehr benötigt, da er nicht mehr in den hier zeilenweise gleitenden Suchbereich 1104 kommen kann.
Verweist der nächste Verweis innerhalb einer Verkettung in den dritten Bildbereich 1103, so kann das Durchhangeln entlang der Verkettung abgebrochen werden. Selbstverständlich wird das Durchhangeln ebenfalls abgebrochen, wenn das Ende der Verkettung erreicht ist. In beiden Fällen ist es sinnvoll, die Anzahl der Symmetriezentrumskandidaten 1112 zu beschränken, d. h. bei zu vielen konkurrierenden Symmetriezentrumskandidaten 1112 alle zu verwerfen. Des Weiteren ist es sinnvoll, das Durchhangeln entlang einer Verkettung vorzeitig abzubrechen, wenn nach einer vorgegebenen maximalen Anzahl von Schritten entlang der Verkettung weder ihr Ende noch der dritte Bildbereich 1103 erreicht werden konnte. Auch in diesem Falle sollten alle bis dahin gefundenen Symmetriezentrumskandidaten 1112 verworfen werden.
Speicher für die Verkettung im dritten Bildbereich 1103 kann bereits wieder freigeben werden, so dass lediglich für die Größe des ersten Bildbereichs 1101 Verkettungsspeicher vorgehalten zu werden braucht. Der Verkettungsspeicherbedarf ist also insgesamt gering und hängt hier im Wesentlichen nur von einer Dimension des Suchbereichs 1104, hier Suchbereichshöhe, und von einer Dimension des Signaturbilds, hier Signaturbildbreite, ab.
Es kann sein, dass ein Symmetriezentrumskandidat 1112 bzw. Kandidat für ein Symmetriezentrum nicht immer genau auf eine Pixelposition fällt, sondern es drei weitere Möglichkeiten gibt. Insgesamt gibt es somit vier Möglichkeiten:

1. Punkt bzw. Symmetriezentrumskandidat 1112 fällt auf eine Pixelposition.
2. Punkt bzw. Symmetriezentrumskandidat 1112 fällt mittig zwischen zwei horizontal direkt benachbarte Pixelpositionen.
3. Punkt bzw. Symmetriezentrumskandidat 1112 fällt mittig zwischen zwei vertikal direkt benachbarte Pixelpositionen.
4. Punkt bzw. Symmetriezentrumskandidat 1112 fällt mittig zwischen vier direkt benachbarte Pixelpositionen.

In den mehrdeutigen Fällen 2. bis 4. ist es vorteilhaft, das abzugebende Stimmgewicht gleichmäßig auf die beteiligten Pixelpositionen zu verteilen. Die abgegebenen Stimmgewichte werden in eine Abstimmungsmatrix eingetragen und darin aufsummiert bzw. aufakkumuliert.
Dabei werden nicht nur positive, sondern gleichzeitig auch negative Stimmgewichte verwendet. Insbesondere werden die geraden Symmetrien mit einem anderen Vorzeichen versehen, hier positiv, als die ungeraden Symmetrien, hier negativ. Dies führt zu eindeutigen Ergebnissen: In Bildbereichen ohne Symmetrien, die in der Praxis meistens die Mehrheit darstellen können, halten sich positive und negative Stimmgewichtsabgaben etwa die Waage und heben sich somit in der Abstimmungsmatrix in etwa gegenseitig auf. Im Mittel ergibt sich in der Abstimmungsmatrix also etwa eine Null. Demgegenüber ergeben sich in ungerade symmetrischen oder gerade symmetrischen Bereichen starke Extrema in der Abstimmungsmatrix, und zwar in diesem Ausführungsbeispiel negativwertige Minima bei ungeraden Punktsymmetrien und positivwertige Maxima bei geraden Punktsymmetrien.
Es werden gemäß dem hier dargestellten Ausführungsbeispiel für die ungeraden und geraden Punktsymmetrien dieselben Ressourcen verwendet, d.h. Nachschlagtabelle 1150 bzw. Einstiegstabelle, Verkettungsbild, Abstimmungsmatrix, was insbesondere Speicherbedarf einspart, und es werden beide Symmetrieformen bzw. Symmetriearten in einem gemeinsamen Durchlauf betrachtet, was Zeit und Zwischenspeicher einspart.
12 zeigt ein schematisches Diagramm 1200 zu einer Abstimmungsmatrix gemäß einem Ausführungsbeispiel. Das Diagramm 1200 bezieht sich auf eine Abstimmungsmatrix als 3D-Plot für ein mittels der Vorrichtung zum Bereitstellen aus 1 oder einer ähnlichen Vorrichtung verarbeitetes Kamerabild, in dem das Muster aus der zweiten Teildarstellung von 6 von einer Kamera aufgenommen wurde. In der Abstimmungsmatrix bzw. dem Diagramm 1200 sind deutlich beispielhaft drei Maxima 1210B und fünf Minima 1210A zu erkennen, die für die drei gerade punktsymmetrischen und fünf ungerade punktsymmetrischen Bereiche des Musters aus der zweiten Teildarstellung von 6 stehen. Außerhalb dieser Extrema sind die Werte in der Abstimmungsmatrix nahe Null.
Somit sind die Extrema sehr einfach zu bestimmen und somit die Lagen der Symmetriezentren im Kamerabild eindeutig und präzise zu ermitteln.
12 zeigt, dass diese Extrema sehr deutlich ausgeprägt und somit für die Vorrichtung zum Bereitstellen aus 1 oder eine ähnliche Vorrichtung und/oder das Verfahren zum Bereitstellen aus 3 oder ein ähnliches Verfahren einfach und zweifelsfrei detektierbar sind. Die Information über die Art der Symmetrie, d.h. ungerade oder gerade, ist dabei im Vorzeichen enthalten. Eine hochpräzise Ermittlung der Lage der Symmetriezentren mit Sub-Pixel-Genauigkeit ist möglich, wenn bei der Auswertung der Abstimmungsmatrix auch die lokale Umgebung des jeweiligen Extremums in die Betrachtung einbezogen wird. Hierfür sind dem Fachmann entsprechende Methoden bekannt. Bei geeigneter Konstruktion der Muster konkurrieren ungerade und gerade Punktsymmetrien nicht miteinander. Dann weist ein Bildbereich, wenn überhaupt, entweder die ungerade oder die gerade Punktsymmetrieform auf. Selbst wenn ungerade und gerade punktsymmetrische Bereiche nahe beieinander im Kamerabild liegen, kann dafür gesorgt werden, dass ihre Symmetriezentren trotzdem räumlich voneinander getrennt bzw. unterscheidbar bleiben. Dann entstehen durch die gemeinsame Behandlung von negativen und positiven Symmetrien Vorteile im Hinblick auf Ressourcen und Geschwindigkeit.
Gemäß einem Ausführungsbeispiel kann eine getrennte Behandlung ungerader und gerader Punktsymmetrie vorgesehen sein. Sinnvollerweise erfolgt die Aufspaltung vor dem Eintragen in die Abstimmungsmatrix: Statt einer gemeinsamen, vorzeichenbehafteten Abstimmungsmatrix sind dann zwei vorzeichenlose Abstimmungsmatrizen vorgesehen, wobei die Stimmgewichte für negative Symmetrien in die erste und Stimmgewichte für positive Symmetrien in die zweite Abstimmungsmatrix eingetragen werden. Hierbei entsteht ein potenziell interessanter Vorteil: Es können auch Muster konstruiert und vom Detektionsalgorithmus berücksichtigt werden, die gleichzeitig ungerade und gerade Punktsymmetrie aufweisen und deren Symmetriezentrum örtlich zusammenfällt. Eine solche gemischte Symmetrieform ist zwar sehr ungewöhnlich, aber diese Außergewöhnlichkeit gewährleistet, dass Verwechslungen mit zufällig in den Bildern vorkommenden Mustern äußerst unwahrscheinlich sind. Die beiden Abstimmungsmatrizen sind dann nach Maxima zu durchsuchen, die in beiden Matrizen am gleichen Ort vorliegen. Ein weiterer möglicher Vorteil durch die getrennte Behandlung von ungerader und gerader Punktsymmetrie liegt in der einfacheren Parallelisierbarkeit und dadurch ggf. schnelleren Ausführung. Denn durch die Verwendung von zwei Abstimmungsmatrizen können Zugriffskonflikte beim Eintragen der Stimmgewichte vermieden werden, was Wartezeiten einspart.
13 zeigt eine schematische Darstellung von beispielhaft in Würfelform angeordneten Mustern 610 gemäß einem Ausführungsbeispiel im Hinblick auf eine korrekte Identifikation eines Rasters 1311. Bei den in 13 dargestellten Mustern 610 handelt es sich beispielsweise um Muster aus 7 bzw. 8, von denen drei hier in einer Würfelform angeordnet sind. Von den Mustern 610 sind detektierte bzw. identifizierte Symmetriezentren 112A und 112B jeweiliger vordefinierter punktsymmetrischer Bereiche der Muster 610 gezeigt, wobei optional auch Vorzeichen und Werte der zugehörigen Extrema in der Abstimmungsmatrix bekannt sein können. Hierbei sind erste Symmetriezentren 112A vordefinierten punktsymmetrischen Bereichen mit ungerader Punktsymmetrie zugeordnet und sind zweite Symmetriezentren 112b vordefinierten punktsymmetrischen Bereichen mit gerader Punktsymmetrie zugeordnet. Für eines der Muster 610 ist ein korrektes Raster 1311 eingezeichnet, an dem die vordefinierten punktsymmetrischen Bereiche und somit die Symmetriezentren 112A und 112B ausgerichtet sind. Für die anderen beiden Muster 610 sind die korrekten Raster zu suchen, wobei in 13 ferner falsche Lösungen der Rastersuche durch erste Markierungen 1313 veranschaulicht sind und richtige Lösungen der Rastersuche durch zweite Markierung 1314 veranschaulicht sind.
Das Auffinden der zugehörigen korrekten Raster ist eine Aufgabenstellung mit Mehrdeutigkeiten. Nachdem die ungerade/gerade codierten Symmetriezentren 112A und 112B detektiert worden sind, besteht häufig der nächste Schritt darin, diese zu gruppieren und zu ermitteln, welchem Muster 610 diese Gruppe zuzuordnen ist, da ja im Vorhinein nicht immer bekannt ist, welche und wie viele Muster 610 im Bild enthalten sind. Teil dieser Aufgabe kann das Auffinden der Raster 1311 sein, auf denen die Symmetriezentren 112A und 112B angeordnet sind. Statt quadratischer Raster 1311 kommen auch andere Topologien für die Anordnung der Symmetriezentren 112A und 112B in Frage, z. B. ringförmige konzentrische Anordnungen, siehe z. B. die zweite Teildarstellung in 6. Stellvertretend werden nachfolgend quadratische Raster 1311 betrachtet.
Die Aufgabe, alleine aus den Positionen der Symmetriezentren 112A und 112B in 13 die Lage des korrekten Rasters für alle Muster 610 zu bestimmen, stellt unter Umständen ein mehrdeutiges Problem dar. Betrachtet man in 13 das Muster 610, für welches das korrekte Raster 1311 bereits eingezeichnet ist, fällt es (dem Betrachter) nicht schwer, das korrekte Raster 1311 anzugeben. Bei den beiden anderen Mustern 610, die von der Kamera unter einer deutlich schrägeren Perspektive erfasst werden, wird jedoch klar, dass die Ausgabe uneindeutig sein kann. Es existieren mehrere mögliche Lösungen, wie ein Raster durch die Symmetriezentren 112A und 112B gelegt werden könnte. Dabei ist die zunächst bei lokaler Betrachtung naheliegendste Lösung, nämlich die mit annähernd senkrechten Achsen, nicht die richtige, wie anhand der ersten Markierungen 1313 zu sehen ist. Die zweiten Markierungen 1314 liegen dagegen korrekt auf dem Raster. Dies zeigt, dass ein naives Vorgehen, z. B. das Suchen der nächsten Nachbarn des jeweiligen Symmetriezentrums, bei schräger Perspektive eventuell zu einer falschen Lösung führen kann. In der Praxis scheiden Lösungen mit sehr schräger Perspektive aus, weil die Symmetriezentren 112A und 112B dann nicht mehr auffindbar sind.
14 zeigt eine schematische Darstellung des in der ersten Teildarstellung von 6 gezeigten Musters 610 in schräger Perspektive. In einer ersten Teildarstellung A ist in 14 das Trägermedium 600 mit dem Muster 610 aus den vordefinierten punktsymmetrischen Bereichen 110A und 110B gezeigt. In einer zweiten Teildarstellung B sind in 14 die mittels der Vorrichtung zum Bereitstellen aus 1 oder einer ähnlichen Vorrichtung und/oder des Verfahrens zum Bereitstellen aus 3 oder eines ähnlichen Verfahrens identifizierten bzw. detektierten Symmetriezentren 112A und 112B des Musters 610 gezeigt. Die Symmetriezentren 112A und 112B wurden detektiert und zumindest ihre Positionen stehen bereit.
15 zeigt das Muster 610 aus der ersten Teildarstellung von 14 mit einer Hervorhebung eines vordefinierten punktsymmetrischen Bereichs 110B. Dabei ist lediglich beispielhaft ein vordefinierter gerade punktsymmetrischer Bereich 110B grafisch hervorgehoben, um eine Verzerrung des Musters 610 bzw. der Bereiche 110A und 110B durch die schräge Perspektive zu veranschaulichen. Die hier beispielhaft kreisförmig vordefinierten punktsymmetrischen Bereiche 110A und 110B sind durch die schräge Perspektive zu Ellipsen verzerrt.
Nachfolgend wird unter besonderer Bezugnahme auf 14 und 15 sowie allgemeine Bezugnahme auf die vorstehend beschriebenen Figuren auf eine Rekonstruktion des korrekten Rasters bzw. der Topologie des Musters 610 eingegangen.
Unter schräger Perspektive wird jeder kreisförmige Bereich 110A und 110B, aus dem die Stimmen für das jeweilige Symmetriezentrum 112A und 112B stammen, zu einer Ellipse. Durch Rückverfolgung der Stimmen, die zu dem jeweiligen Symmetriezentrum 112A, 112B, beispielsweise dem in 15 hervorgehobenen Symmetriezentrum 112 B mit gerader Punktsymmetrie, beigetragen haben, kann auf die Form und Orientierung der jeweiligen Ellipse zurückgeschlossen werden. Richtung und Verhältnis der Hauptachsen der Ellipse verraten, wie diese gestreckt bzw. entzerrt werden kann, um sie zurück in einen Kreis zu überführen. Es sei der beispielhaft hervorgehobene vordefinierte gerade punktsymmetrische Bereich 110B des Musters 610 betrachtet, der zu dem hervorgehobenen Punktsymmetriezentrum 112B beiträgt. Per Entwurf bzw. Konstruktion ist dieser Bereich 110B kreisförmig oder näherungsweise kreisförmig, z. B. sechseckig. Unter schräger Perspektive wird dieser Kreis zu einer Ellipse. Bei der Abstimmung zum Identifizieren des Symmetriezentrums 112B tragen symmetrische Punktepaare zur Bildung des Extremums in der Abstimmungsmatrix bei, die innerhalb dieser Ellipse liegen.
Gemäß einem Ausführungsbeispiel wird zurückverfolgt, woher im Kamerabild die Punktepaare stammen, die zur Bildung eines hinreichend starken Extremums geführt haben. Zu diesem Zweck wird ein weiterer Verarbeitungsschritt durchgeführt. Es wird zunächst davon ausgegangen, dass die Abstimmung bereits stattgefunden hat und dass die hinreichend starken Symmetriezentren bereits gefunden wurden. Ausgangspunkt ist also eine Situation, wie sie in der zweiten Teildarstellung B von 14 dargestellt ist. Nachfolgend wird der Prozess der Abstimmung in abgewandelter Form noch einmal durchlaufen. Die bereits existierende Abstimmungsmatrix wird dabei jedoch nicht noch einmal neu gebildet. Stattdessen wird für jedes symmetrische Punktepaar, das einen Beitrag zur Abstimmungsmatrix liefern würde, geprüft, ob der Beitrag zu einem der gefundenen Symmetriezentren 112A, 112B beitragen würde und damit im ersten Durchlauf auch bereits beigetragen hat. Falls dies der Fall ist, werden die beiden Positionen des Punktepaars gespeichert bzw. sofort weiterverrechnet. Vorteilhafterweise wird dabei auch der Index des Symmetriezentrums 112A, 112B gespeichert bzw. verwendet, zu dem das symmetrische Punktepaar beiträgt. Auf diese Weise können nachträglich alle Beiträge zu den erfolgreichen Symmetriezentren ermittelt und (zwischen-)gespeichert oder weiterverwendet werden.
Für den Beginn des weiteren Verarbeitungsschritts muss nicht das Ende des ersten Verarbeitungsschritts, d.h. das Bilden der Abstimmungsmatrix und Ermitteln der Symmetriezentren, abgewartet werden, sondern es kann schon vorher gestartet und die bereits fertigen Zwischenergebnisse, d.h. gefundene Symmetriezentren 112A, 112B, des ersten Verarbeitungsschritts genutzt werden. In den so gebildeten Informationen sind dann für jedes gefundene Symmetriezentrum 112A, 112B alle Bildpositionen ablesbar, die dazu beigetragen haben. Diese Positionen liegen im Wesentlichen bzw. von einigen Ausreißern abgesehen innerhalb der Ellipse, wie in 15 beispielhaft für ein Symmetriezentrum 112B dargestellt.
Für die Ermittlung der Parameter dieser Ellipse sind dem Fachmann Verfahren bekannt. Beispielsweise kann eine Hauptachsentransformation über die Menge aller zu einem Symmetriezentrum 112A, 112B beitragenden Punkte gebildet werden, um die Orientierung der Hauptachsen und die beiden Durchmesser der Ellipse zu bestimmen. Dies ist sogar möglich, ohne dass die beitragenden Bildpositionen zwischengespeichert zu werden brauchen: Sie können stattdessen umgehend nach Bekanntwerden weiterverrechnet werden. Alternativ kann auch die ellipsenförmige Einhüllende um die Punktemenge ermittelt werden, mit der ein möglichst großer Teil der Punktemenge, etwaige Ausreißer ausgeschlossen, möglichst eng umschlossen wird.
Anstatt eine Menge von Punkten im Sinne einer Liste zu speichern, kann alternativ auch ein Index-Bild, gleichbedeutend mit Index-Matrix, erstellt werden. Es dient dem gleichen Zweck, nämlich der Bildung der Parameter aller Ellipsen, es speichert die Informationen jedoch in anderer Form. Das Index-Bild hat idealerweise die gleiche Größe wie das Signaturbild und ist dazu eingerichtet, Indizes zu speichern, und zwar die den gefundenen Symmetriezentren 112A, 112B zugeordneten Indizes. Ein spezieller Index-Wert, z. B. 0, ist vorgesehen, um zu kennzeichnen, dass noch keine Eintragung vorliegt. Wenn beim Durchlaufen des weiteren Verarbeitungsschritts ein symmetrisches Punktepaar bzw. Signaturpaar gefunden wird, das zu einem i-ten Index beiträgt, dann wird an den beiden zugehörigen Orten der jeweiligen Signaturen jeweils der Index i eingetragen. Somit erhält man am Ende des Durchlaufs ein Index-Bild, in dem alle den Symmetriezentren 112A, 112B zugeordneten Indizes jeweils mehrfach vorkommen, wobei diese ellipsenförmige Bereiche ausbilden: Abgesehen von einigen Ausreißern enthält dann jeder ellipsenförmige Bereich nur Einträge mit einem einheitlichen Index, sowie den Index 0 an den nicht benutzten Positionen. Das Index-Bild kann dann leicht ausgewertet werden, um die Parameter der einzelnen Ellipsen zu bestimmen. Im Übrigen ist es nicht notwendig, das Index-Bild vollständig zu speichern. Sobald sich in einem Teilabschnitt des Index-Bilds die Daten nicht mehr ändern, kann dieser Teil bereits ausgewertet und der Speicher anschließend wieder freigegeben werden. Dies führt auch zu einer geringeren zeitlichen Latenz, sodass Zwischenergebnisse früher bereitgestellt werden können.
Mit den bekannten Ellipsenparametern kann dann die zweidimensionale Anordnung der detektierten Symmetriezentren, siehe 14, so entzerrt werden, dass diese anschließend auf dem hier lediglich beispielhaft zumindest annähernd quadratischen Raster des Musters 610 liegen.
16 zeigt eine schematische Darstellung des Musters 610 aus 15 nach einer perspektivischen Entzerrung gemäß einem Ausführungsbeispiel. Anders ausgedrückt zeigt 16 zur Veranschaulichung das Muster 610 aus 15, nachdem es normal bzw. senkrecht zur Richtung der gefundenen Ellipse bzw. des hervorgehobenen elliptisch verzerrten Bereichs 110B um das Verhältnis der beiden Hauptachsenlängen gestreckt wurde. Somit kann das korrekte Raster 1311 auf einfache Weise gefunden werden. Die Ellipse wird im Vergleich mit 15 also so entzerrt, dass die originale Kreisform des Bereichs 110B wiederhergestellt wird. Anschließend ist es einfach, das Raster 1311, auf dem die Symmetriezentren 112A und 112B liegen, zu ermitteln, bzw. die Nachbarschaftsbeziehungen zwischen den Symmetriezentren 112A und 112B fehlerfrei zu ermitteln. Die 16 dient hier nur der Veranschaulichung. In der Praxis ist es nicht notwendig, ein Warping des Bildes vorzunehmen. Da die Informationen über die Lagen der Symmetriezentren 112A und 112B bereits in verdichteter Form vorliegen, ist es sinnvoll, nur mit diesen Daten weiterzuarbeiten und ihre Koordinaten zu transformieren, wobei die Transformationsvorschrift aus den ermittelten Ellipsenparametern gebildet wird, und zwar so, dass die Ellipsen zu Kreisen werden.
Im Falle von Kamerabildern, die mit Telebrennweite aufgenommen sind, kann pro Teilabschnitt eine globale Transformation ausreichend sein, um das Raster 1311 zu ermitteln. Im Falle von Kamerabildern, die mit einem Weitwinkelobjektiv (z. B. Fischaugenobjektiv) aufgenommen sind, kann zumindest in Teilbereichen mit lokalen Transformationen gearbeitet werden. Somit kann die vorstehend genannte Transformationsvorschrift global und/oder lokal angewendet werden. Bei der globalen Variante werden alle Projektionszentren mit derselben, gemeinsamen Transformationsvorschrift transformiert. Das ist in vielen Fällen sinnvoll und ausreichend. Die gemeinsame Transformationsvorschrift kann aus der gemeinsamen Betrachtung aller Ellipsen gebildet werden. Wenn die Symmetriezentren 112A und 112B räumlich auf mehreren Flächen liegen, können die Ellipsen gemäß ihrer Parameter in Gruppen eingeteilt werden. Die zu einer Fläche gehörenden Ellipsen weisen dabei sehr ähnliche Parameter auf - insbesondere wenn die Fläche eben ist. Pro Gruppe kann dann eine globale Transformationsvorschrift ermittelt und angewandt werden. Dieses Vorgehen ist bei Telebrennweite angemessen. Die lokale Transformation ist dann sinnvoll, wenn die Mehrzahl der kreisförmigen Bereiche durch die Abbildung der Kamera in unterschiedlich geformte oder unterschiedlich orientierte Ellipsen abgebildet wird. Das ist insbesondere bei weitwinkligen Kameras oder stark verzerrenden Objektiven der Fall.
Nach Anwendung der Transformation befinden sich die Symmetriezentrumspositionen, die zur selben Fläche gehören, zumindest annähernd auf einem gemeinsamen Raster 1311. Die nächste Aufgabe besteht darin, die Symmetriezentren 112A und 112B den Rasterpositionen zuzuordnen. Dies kann z. B. iterativ in kleinen Schritten durchgeführt werden. Beispielsweise werden für ein Symmetriezentrum 112A, 112B bis zu vier nächste Nachbarn gesucht, die ungefähr gleichen Abstand haben, siehe hierzu auch die Markierungen aus 13. Von den Nachbarn hangelt man sich weiter zu den weiteren Nachbarn, bis alle erfassten Symmetriezentren 112A und 112B, die zu einem Muster 610 gehören, einem gemeinsamen Raster 1311 zugeordnet sind oder davon ausgeschlossen werden können. Trifft man bei dieser Suche nämlich auf Symmetriezentren, die hinsichtlich der Abstände nicht zum gerade betrachteten Raster 1311 passen, werden diese nicht aufgenommen, da es sich wahrscheinlich um Ausreißer handelt oder um Symmetriezentren, die zu anderen Flächen gehören. Diese iterative Suche kann für die anderen Flächen wiederholt werden, sodass am Ende, abgesehen von den Ausreißern, jedes Symmetriezentrum 112A, 112B einer Fläche zugeordnet ist. Für die Flächen kann dann eine Identifizierung der Muster 610 durchgeführt werden, vorzugsweise anhand der mit den Symmetriezentren 112A und 112B verbundenen binären Codierung, die jeweils im Vorzeichen des Extremums enthalten ist.
17 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Musters 1710 mit hierarchischer Symmetrie. Das Muster 1710 entspricht oder ähnelt einem Muster aus den vorstehend beschriebenen Figuren. Genauer gesagt weist das Muster 1710 eine zweistufige Hierarchie aus lediglich beispielhaft vier vordefinierten punktsymmetrischen Bereichen 110A und 110B auf. Gemäß dem hier dargestellten Ausführungsbeispiel weist das Muster 1710 lediglich beispielhaft zwei vordefinierte ungerade punktsymmetrische Bereiche 110A und zwei vordefinierte gerade punktsymmetrische Bereiche 110B auf. Das Muster 1710 insgesamt ist hierbei ungerade punktsymmetrisch aufgebaut. Auf einer ersten Hierarchiestufe stehen die in sich gerade punktsymmetrischen Bereiche 110B und die in sich ungerade punktsymmetrischen Bereiche 110A. Auf einer zweiten Hierarchiestufe steht die Gesamtanordnung des ungerade punktsymmetrischen Musters 610B. Das Symmetriezentrum 112 der zweiten Hierarchiestufe ist mit dem gevierteilten Kreis gekennzeichnet.
18 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Musters 1810 mit hierarchischer Symmetrie. Das Muster 1810 in 18 ähnelt hierbei dem Muster aus 17. Genauer gesagt zeigt 18 ein weiteres Beispiel für eine zweistufige Hierarchie aus vordefinierten punktsymmetrischen Bereichen 110B. In der ersten Hierarchiestufe seien die vordefinierten punktsymmetrischen Bereiche 110B jeweils in sich gerade punktsymmetrisch. In der zweiten Hierarchiestufe liegt auf Ebene des Musters 1810 eine ungerade Punktsymmetrie vor, mit dem Symmetriezentrum 112 in der Mitte eines zur Veranschaulichung gezeigten gesechstelten Sechsecks. Die ungerade Symmetrie äußert sich hier in einer Invertierung der vordefinierten punktsymmetrischen Bereiche 110B, z. B. dunkles Symbol auf hellem Grund spiegelt sich in helles Symbol auf dunklem Grund.
19 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Musters 610 mit hierarchischer Symmetrie. Das Muster 610 ist hierbei aus den Mustern 1710 und 1810 aus 17 und 18 bzw. deren invertierter und/oder punktgespiegelter Form aufgebaut. Das Muster 610 weist eine dreistufige Hierarchie aus lediglich beispielhaft zwei Mustern 1710 aus 17 und zwei Mustern 1810 aus 18 auf. Die Muster 1710 und 1810 sind ungerade und somit invertiert punktgespiegelt am Symmetriezentrum 112 des Musters 610 in der Mitte eines zur Veranschaulichung gezeigten gesechstelten Sechsecks. Beispielsweise ist das unten rechts in 19 gezeigte Muster 1710 eine invertierte Form des Musters 1710 oben links. Dieses hierarchische Prinzip kann beliebig fortgesetzt, also auch eine vierte und fünfte Stufe konstruiert werden, und so weiter.
Unter Bezugnahme auf 17, 18 und 19 wird nachfolgend weiter auf Muster mit hierarchischer Symmetrie eingegangen. Die symmetrischen Muster 610, 1710, 1810 können mehrstufig aufgebaut werden, so dass es beispielsweise in einer ersten Hierarchiestufe kleinere in sich symmetrische Bereiche gibt, deren gemeinsame Betrachtung eine Symmetrie auf der nächsthöheren Hierarchiestufe ergibt. In 17 und 18 ist jeweils beispielhaft gezeigt, wie ein zweistufiges hierarchisches Muster 1710 bzw. 1810 konstruiert sein kann. Darauf aufbauend wird in 19 ein dreistufiges hierarchisches Muster 610 aufgebaut. In dem Beispiel aus 19 sind also drei Hierarchiestufen enthalten. Die dritte Hierarchiestufe ist über die gesamte Fläche des Musters 610 ausgedehnt (gestrichelt eingerahmter Bereich) und umfasst das Symmetriezentrum 112. In der zweiten Hierarchiestufe sind es die vier Muster 1710 und 1810 (jeweils mit durchgezogener Linie eingerahmt) mit jeweils einem Symmetriezentrum in der Mitte (hier nicht explizit bezeichnet). In der ersten Hierarchiestufe sind es gemäß dem hier dargestellten Ausführungsbeispiel folglich 16 vordefinierte punktsymmetrische Bereiche mit jeweils einem Symmetriezentrum. Dabei ist die Symmetrie der dritten Hierarchiestufe bereits aus größerer Entfernung sichtbar. Während einer Annäherung werden auch die vier Symmetrien der zweiten Hierarchiestufe sichtbar. In kürzerer Distanz, bzw. wenn die erfasste Auflösung des Musters 610 ausreicht, werden auch die Symmetrien der ersten Hierarchiestufe sichtbar. Somit kann beispielsweise eine visuelle Steuerung (visual servoing) z. B. eines Roboters z. B. in Richtung des Musters 610 oder in eine andere beliebige Richtung über einen großen Distanzbereich ermöglicht werden. Es ist im Allgemeinen nicht nötig, gröbere bzw. höhere Hierarchiestufen zu erfassen, wenn bereits feinere bzw. niedrigere Hierarchiestufen erfasst werden können. Es ist weiterhin auch nicht nötig, alle Symmetrien der jeweiligen Hierarchiestufe gleichzeitig erfassen zu können, beispielsweise wenn es bei sehr kurzer Distanz gar nicht mehr möglich ist, das gesamte Muster 610 im Kamerabild zu erfassen. Es ist offensichtlich, dass gerade und ungerade Symmetrien teilweise frei gewählt und kombiniert werden dürfen. In dieser Festlegung kann auch Zusatzinformation enthalten sein, insbesondere je ein Bit für die Wahl zwischen ungerader und gerader Symmetrie, wobei eine solche Zusatzinformation auf diese Weise an ein erfassendes System übermittelt werden kann. „Teilweise frei“ bedeutet hier, dass sich der restliche Teil der Symmetrieformen auf der jeweiligen Hierarchiestufe aus der nächsthöheren Hierarchiestufe zwangsläufig ergibt. Mit anderen Worten können z. B. in 18 für die obere Reihe die Muster „X“ und „O“ frei gewählt werden. Die zweite Reihe ergibt sich dann zwangläufig, und zwar hier mit Invertierung, weil auf der nächsten Hierarchiestufe eine negative Punktsymmetrie gewählt ist.
20 zeigt schematische Darstellungen von Mustern 610 gemäß Ausführungsbeispielen. In einer ersten Teildarstellung A ist in 20 ein Muster 610 gezeigt, bei dem es sich beispielhaft um eines der Muster aus 8 handelt. Die erste Teildarstellung A von 20 ist ein Beispiel für eine implizite Zusatzinformation, hier lediglich beispielhaft 8 · 8 = 64 bit, die sich anhand der Symmetrieart bzw. des damit assoziierten Vorzeichens der Punktsymmetrie der vordefinierten punktsymmetrischen Bereiche 110A und 110B des Musters 610 ergibt. In einer zweiten Teildarstellung B ist in 20 ein Muster 610 gezeigt, dass aus lediglich beispielhaft vier vordefinierten punktsymmetrischen Bereichen 110A und 110B aufgebaut ist, hier beispielsweise einem vordefinierten ungerade punktsymmetrischen Bereich 110A und drei vordefinierten gerade punktsymmetrischen Bereichen 110B auf einem quadratischen Raster. Ferner ist in dem Muster 610 hierbei eine Codematrix 2010 für explizite Zusatzinformation angeordnet. Lediglich beispielhaft ist in der Codematrix 2010 die implizite Zusatzinformation aus der ersten Teildarstellung A auf explizite Weise enthalten. Der vordefinierte Bereich 110A mit ungerader Punktsymmetrie kennzeichnet bzw. markiert hier die Anfangszeile der 8 - 8 Matrix, damit eine Auslesereihenfolge eindeutig festgelegt ist.
Nachfolgend wird unter Bezugnahme auf 20 noch weiter auf eine Übermittlung impliziter oder expliziter Zusatzinformation eingegangen.
Es kann sinnvoll oder notwendig sein, anhand des Musters 610 Zusatzinformationen an einen Empfänger, beispielsweise an einen Rechner, autonomen Roboter etc., zu übermitteln. Die Zusatzinformation kann mehr oder weniger umfangreich sein. Einige veranschaulichen Beispiele für Zusatzinformationen umfassen Haltepunkt, Ladung aufnehmen, Position am Ort 52°07'01.9"N 9°53'57.4"E mit Blickrichtung Südwest, Biege nach links ab, Höchstgeschwindigkeit 20 km/h, Ladestation für Rasenmäher etc. Für die Übermittlung mittels des bildgebenden Sensors bzw. der Kamera existieren verschiedene Möglichkeiten. Insbesondere lassen sich implizit und explizit enthaltene Zusatzinformationen unterscheiden, siehe hierzu die beiden Beispiele in 20, bei denen 64 bit an Zusatzinformation einmal implizit und einmal explizit bereitgestellt sind. Implizite Zusatzinformation bedeutet, dass diese in den symmetrischen Mustern 610 selbst auf irgendeine Weise mit enthalten ist, während explizite Zusatzinformation im Allgemeinen gesondert von diesen Mustern 610 gestaltet und erfasst wird.
Eine Möglichkeit zur Übermittlung impliziter Zusatzinformation ist anhand der ersten Teildarstellung A von 20 illustriert: implizite Zusatzinformation als Binärcode. Da bei der Konstruktion des Musters 610 für jeden symmetrischen Bereich 110A und 110B die Wahl zwischen ungerader und gerader Punktsymmetrie getroffen wird, kann somit jeweils eine binäre Zusatzinformation (entsprechend 1 Bit) übermittelt werden. Lässt man zusätzlich auch Muster zu, die gleichzeitig ungerade und gerade punktsymmetrisch sind, so wird aus der binären Zusatzinformation eine ternäre Zusatzinformation, d.h. drei Fälle statt zwei.
Eine weitere Möglichkeit zur Übermittlung von Zusatzinformation ergibt sich durch die Verwendung ungleichmäßiger Abstände zwischen den Symmetriezentren der Bereiche 110A und 110B, d.h. implizite Zusatzinformation anhand der Anordnung. Anders als bei der in 20 dargestellten Anordnung, wo die Symmetriezentren auf einem quadratischen Raster liegen, wären diese dann unregelmäßig angeordnet, wobei die Zusatzinformation oder ein Teil davon in dieser Anordnung codiert ist. Beispiel: Lässt man zu, dass das jeweilige Symmetriezentrum um eine feste Distanz nach links/rechts und oben/unten verschoben sein darf, so ergeben sich 9 mögliche Positionen, womit log₂(9) = 3,17 bit an Zusatzinformation pro Symmetriezentrum codierbar sind. Schräge Perspektiven zwischen bildgebendem Sensor und Muster 610 stellen bei keiner der genannten Möglichkeiten ein Problem dar. Beispielsweise kann ein Teil der Symmetriezentren (beispielsweise die äußersten vier in den Ecken) dazu verwendet werden, ein Koordinatensystem bzw. das regelmäßige Basisraster zu definieren. Die zur Codierung verwendeten Abweichungen oder Binär--/Ternärcodes beziehen sich dann auf dieses Basisraster.
Die symmetrischen Bereiche 110A und 110B für implizite Zusatzinformation sollten nicht zu klein sein, damit sich in der Abstimmungsmatrix ausreichend markante Extrema ausbilden. Soll eine größere Menge an Zusatzinformation (insbesondere statische, ortsgebundene) an den Empfänger (z. B. einen mobilen Roboter) übermittelt werden, kann es vorteilhaft sein, diese explizit zu codieren.
In der zweiten Teildarstellung B von 20 ist gezeigt, wie insbesondere statische, ortsgebundene Zusatzinformation explizit an den Empfänger (z. B. einen mobilen Roboter) übermittelt werden kann: Es kann beispielsweise vereinbart sein, dass sich in einem durch die Symmetriezentren definierten Koordinatensystem an bestimmten Koordinaten weitere Informationen befinden, die z. B. binär (schwarz/weiß) oder in weiteren Abstufungen (Graustufen) oder in Farben codiert sind. Das Vorgehen ist dann zweischrittig: In einem ersten Schritt wird anhand ungerader und gerader Symmetrien ein Feld gefunden, zum Beispiel die Codematrix 2010, in dem weitere Informationen codiert sind. In einem zweiten Schritt wird das Feld und somit die darin vorhandene Information ausgelesen. Schräge Perspektiven zwischen bildgebendem Sensor und Muster 610 stellen dabei kein Problem dar, denn für das Auslesen der expliziten Zusatzinformation ist es weder erforderlich, dass die Basisvektoren des gefundenen Koordinatensystems senkrecht zueinander stehen, noch dass sie gleichlang sind. Optional kann das Bild auch so entzerrt werden, dass anschließend ein kartesisches Koordinatensystem vorliegt. Optional kann in dem Feld mit dem Muster 610 auch ein Display installiert sein, das zusätzlich zu zeitlich statischer Information auch zeitlich veränderliche Information übermitteln kann und/oder das über die zeitliche Veränderung Information übermittelt.
Es kann auch eine hochaufgelöste Zusatzinformation im Muster 610 selbst enthalten sein, mit impliziter Fehlererkennung. Somit besteht eine weitere Möglichkeit der Übermittlung von (insbesondere statischer, ortsgebundener) Zusatzinformation besteht über das Muster 610 selbst: Das heißt, die Zusatzinformation ist in der Abfolge der schwarz-weißen oder farbigen oder graustufigen Musters 610 selbst enthalten. Mit der vorgenannten Klassifizierung wäre diese Zusatzinformation zugleich implizit und explizit. Weil das Muster 610 oder zumindest Teile davon Symmetrien aufweist, ist die Zusatzinformation automatisch redundant enthalten, typischerweise jeweils doppelt. Dies gilt sowohl bei ungerader als auch bei gerader Punktsymmetrie. Diese Tatsache kann zur Fehlerkorrektur bzw. Fehlerdetektion ausgenutzt werden. Ist beispielsweise ein Muster 610 verschmutzt, etwa durch Vogelkot, so ist es mit hoher Sicherheit möglich, den dadurch in der Zusatzinformation entstandenen Fehler zu detektieren, denn an der zugehörigen symmetrischen Position liegt derselbe Fehler höchstwahrscheinlich nicht vor.
21 zeigt eine schematische Darstellung eines Trägermediums 600 mit einem Muster 610 gemäß einem Ausführungsbeispiel. Bei dem Trägermedium 600 handelt es sich hierbei um ein Kleidungsstück, insbesondere um ein T-Shirt für Motion-Capture bzw. ein Motion-Capture-T-Shirt, auf dem das Muster 610 dargestellt ist. Das Muster 610 entspricht oder ähnelt einem Muster aus einer der vorstehend beschriebenen Figuren. Das Muster 610 umfasst eine Mehrzahl von vordefinierten punktsymmetrischen Bereichen. Anders ausgedrückt zeigt 21 ein Beispiel für ein Motion-Capture-T-Shirt als Trägermedium 600 mit zahlreichen, mit bloßem Auge kaum wahrnehmbaren ungeraden und geraden Punktsymmetrien. Dem Trägermedium 600 ist nicht oder nicht ohne weiteres anzusehen, welchem Zweck es dient.
22 zeigt das Trägermedium 600 mit dem Muster 610 aus 21 mit hervorgehobenen vordefinierten punktsymmetrischen Bereichen 110A und 110B. Anders ausgedrückt sind in 22 zur Veranschaulichung die im Trägermedium 600 bzw. hier Motion-Capture-T-Shirt enthaltenen ungeraden und geraden Symmetrien sichtbar gemacht.
23 zeigt das Trägermedium 600 mit dem Muster 610 aus 21 bzw. 22 mit hervorgehobenen Symmetriezentren 112A und 112B. Die Symmetriezentren 112A und 112B korrespondieren mit den in 22 explizit gezeigten vordefinierten punktsymmetrischen Bereichen 110A und 110B. Anders ausgedrückt zeigt 23 ein Ergebnis des Verfahrens zum Bereitstellen aus 3 oder eines ähnlichen Verfahrens für ein Kamerabild des Motion-Capture-T-Shirts bzw. Trägermediums 600 aus 21. Die ungeraden und geraden Symmetrien werden problemlos detektiert, sofern die punktsymmetrischen Bereiche nicht zu stark beschnitten sind.
Nachfolgend wird unter Bezugnahme auf 21, 22 und 23 noch weiter auf das Anwendungsgebiet Motion Capture mit versteckten Symmetrien im Zusammenhang insbesondere mit den 1 bis 5 eingegangen.
Bei herkömmlichen Motion-Capture-Systemen z. B. für Filmindustrie, Spieleindustrie, Virtual-Reality-, Augmented-Reality- oder Sport-Anwendungen trägt beispielsweise der Akteur einen Motion-Capture-Suit - das ist ein meist schwarzer, körperenger Anzug, auf dem retroreflektierende Bälle (Tischtennisballgröße oder kleiner) oder andere meist sehr auffällige Marker angebracht sind. Diese Marker können von einem kamerabasierten System, das meist aus mehreren Kameras besteht, erfasst werden. Daraus kann die Bewegung des Akteurs und seiner Körperteile erfasst werden, um diese dann auf synthetisch gerenderte Figuren zu übertragen oder um Bewegungsstudien durchzuführen. Vor dem Hintergrund von Ausführungsbeispielen kann beispielsweise auf solche unschönen und je nach Bewegung stark störenden bzw. einschränkenden Muster und Anzüge verzichtet werden.
Gemäß Ausführungsbeispielen sind bzw. werden punktsymmetrische Bereiche 110A und 110B direkt auf das Trägermedium 600, hier den Stoff, aufgebracht, z. B. gedruckt oder eingestickt oder eingewebt oder angenäht oder angehaftet oder geklebt. Diese Bereiche 110A und 110B liegen dann wahlweise sehr dicht auf dem Körper, ermöglichen also eine bessere Motion-Capture-Funktion. Alternativ kann der Motion-Capture-Stoff bzw. das Trägermedium 600 wahlweise auch locker am Körper getragen werden, sodass er sich wie ein normales Kleidungsstück verhält und natürliche Falten wirft, die sich im Bewegungsablauf verändern. Dieser dynamische Faltenwurf kann optional ebenfalls mittels der Vorrichtung aus 1 oder einer ähnlichen Vorrichtung bzw. eines der Verfahren aus 3 und 4 oder eines ähnlichen Verfahrens erfasst werden, beispielsweise um den Faltenwurf auf die synthetisch gerenderte Figur zu übertragen. Die erfasste Auflösung der Bewegung kann somit im Vergleich zu herkömmlichen Verfahren erhöht werden. Muster wie das Muster 610 stören den Akteur (im Gegensatz zu den bekannten Mustern) nicht mehr und können auch für Menschen nicht wahrnehmbar gestaltet sein, sodass der Akteur während einer Aufzeichnung fast normal gekleidet sein und sich somit beispielsweise unerkannt durch Menschenmassen bewegen kann. Ein geeignet mit Symmetriemustern bzw. vordefinierten punktsymmetrischen Bereichen 110A und 110B versehener Stoff, bei dem das Muster 610 z. B. aufgedruckt oder eingestickt oder eingewebt oder photographisch belichtet oder per Laser eingebrannt ist, kann auch als übliche Rollenware hergestellt werden, aus der dann Kleidungsstücke für Motion-Capture Anwendungen genäht werden können. Beim Zuschnitt des Stoffes kann darauf geachtet werden, dass die Symmetriezentren 112A und 112B an geeigneten Stellen liegen, beispielsweise symmetrisch bezüglich linker und rechter Körperhälfte. Hierzu können temporäre Hilfsmarkierungen auf den Stoff aufgebacht werden, um den Zuschnitt zu erleichtern. Noch genauer kann der Schnitt erfolgen, wenn Zuschnittroboter mit Hilfe von Kameras das Verfahren zum Bereitstellen aus 3 oder ein ähnliches Verfahren bereits anwenden und die Symmetriezentren 112A und 112B auf dem Stoff erkennen und nutzen, um einen optimierten Zuschnitt festzulegen.
Ein so kreierter Entwurf für ein Trägermedium 600 in Gestalt eines Motion-Capture Kleidungsstücks - hier als beispielsweise graumeliertes T-Shirt - ist in 21 dargestellt. Seine Funktion ist ihm also nicht anzusehen, jedenfalls ist sie nicht offensichtlich. Daher wurden (nur zur Veranschaulichung) die punktsymmetrischen Bereiche in 22 sichtbar gemacht. Hier sind ungerade und gerade punktsymmetrische kreisscheibenförmige Bereiche 110A und 110B eingesetzt. Die Anordnung dieser Bereiche 110A und 110B wurde so gewählt und gegebenenfalls per Training optimiert, dass auch dann eine Identifizierung des beobachteten Körperbereichs noch möglich ist, wenn nur ein Ausschnitt des Stoffs zu sehen ist - beispielsweise, weil der Akteur teilweise von anderen Personen oder Gegenständen verdeckt wird oder weil seine Arme einen Teil des Stoffs verdecken. Die Größe der punktsymmetrischen Bereiche 110A und 110B kann je nach Bedarf bzw. Anforderung gewählt werden, wobei die Detailliertheit der erfassten Körperbewegung umso größer wird, je kleiner die Symmetriebereiche sind. Damit steigen allerdings auch die Anforderungen an das Kamerasystem. Um eine sehr robuste und präzise Erfassung der Symmetriezentren zu gewährleisten, sollten die Symmetriebereiche im Kamerabild beispielsweise mindestens 25 Pixel, besser 50 Pixel, im Durchmesser aufweisen.
Das Verfahren zum Bereitstellen aus 3 oder ein ähnliches Verfahren wurde auf das Bild aus 21 angewendet. Das Ergebnis ist in 23 zu sehen: Alle nicht beschnittenen punktsymmetrischen Bereiche 110A und 110B werden korrekt detektiert und ihre Symmetriezentren 112A und 112B präzise lokalisiert. Selbstverständlich kann ein Symmetriezentrum nicht mehr gefunden werden, wenn bei einem geraden Beschnitt mehr die Hälfte der Kreisfläche fehlt, denn dann ist der jeweilige Symmetriepartner nicht mehr vorhanden und das Abstimmungsverfahren für das Symmetriezentrum kann nicht funktionieren. Sofern jedoch noch ein Teil der symmetrischen Signaturpaare vorhanden ist, kann das Symmetriezentrum 112A, 112B noch korrekt gefunden werden - die Stärke des lokalen Extremums ist lediglich verringert. Diese tatsächlich gemessene Stärke ist in 23 durch die Größe der Kreuze veranschaulicht: Einige kleine Kreuze findet man am Rand des Schnitts. Die gleichen Überlegungen wie für den Beschnitt gelten auch bei Teilverdeckung der symmetrischen Bereiche 110A und 110B.
Ein weiterer entscheidender Vorteil gegenüber einer herkömmlichen Herangehensweise liegt darin, dass bei Teilverdeckung die Genauigkeit der Lokalisierung des Symmetriezentrums 112A, 112B beibehalten werden kann. Denn die nichtverdeckten symmetrisch angeordneten Punktepaare stimmen weiterhin für das korrekte Symmetriezentrum 112A, 112B. Dagegen ist es bei herkömmlichen Methoden häufig praktisch unmöglich, die Mitte eines kreisförmigen Markers zu bestimmen, wenn dieser durch die Perspektive zur Ellipse verzerrt und gleichzeitig von einer nicht bekannten Kontur teilverdeckt ist.
Es sind Anwendungen denkbar, für die die so erreichbare Auflösung nicht ausreicht. Beispielsweise sind auf dem Trägermedium 600 bzw. hier dem T-Shirt aus 23 nur beispielhaft ca. 14 Zeilen von Symmetriezentren 112A und 112B auffindbar. Mit der Empfehlung von ca. 50 Pixel Durchmesser pro Kreis ergibt sich eine Höhe des T-Shirts von ca. 700 Pixel im Bild, was ein realistischer Wert ist. Dass die Anzahl der Symmetriezentren 112A und 112B jedoch unter Umständen nicht ausreicht, um damit den dynamischen Faltenwurf zu erfassen, ist offensichtlich. Hierzu wird bei dem Verfahren zum Bereitstellen aus 3 auch der Schritt des Ermittelns ausgeführt. Zunächst werden die Symmetriezentren 112A und 112B gefunden und das Muster 610 registriert, so dass für jedes gefundene Symmetriezentrum 112A, 112B bekannt ist, wo es sich auf dem Muster 610 befindet. Nachfolgend wird die Textur aus dem Bild, d.h. Grauwertverlauf und/oder Farbverlauf, um das gefundene Symmetriezentrum 112A, 112B verglichen mit der Textur aus dem originalen bekannten Muster bzw. Referenzmuster um das Referenz-Symmetriezentrum. Bei diesem Vergleich wird versucht, die beiden Texturverläufe in Einklang miteinander zu bringen. Dies ist beispielsweise mit der Methode des dichten optischen Flusses möglich, bei der im Idealfall für jeden Pixel aus dem Bild der korrespondierende Pixel aus dem Referenzmuster gefunden wird. Pro Pixel gibt dann der optische Flussvektor, mit Sub-Pixel-Genauigkeit, die Verschiebung zwischen den korrespondierenden Punkten an.
Da nach dem identifizieren der Symmetriezentren 112A und 112B eine grobe Registrierung schon vorhanden ist, brauchen nachfolgend lediglich noch kleine Suchbereiche abgedeckt und der Residuums-Flussvektor gefunden werden. Für solch kleine Suchbereiche ist das Ergebnis der Suche hinreichend eindeutig und der Suchaufwand ist hinreichend klein, so dass der Ansatz sehr praktikabel ist. Somit kann eine hohe Auflösung erreicht werden, beispielsweise die volle Auflösung des Bildsensors der Kamera, welche ausreichend ist, um auch kleinste Variationen auf der Oberfläche - insbesondere den Faltenwurf, oder Bewegungen von Haut, Muskulatur oder Sehnen bei körperengem Anzug - präzise zu erfassen.
24 zeigt eine schematische Darstellung eines Trägermediums 600 mit einem Muster 610 gemäß einem Ausführungsbeispiel. Bei dem Trägermedium 600 handelt es sich hierbei lediglich beispielhaft um einen Teil einer Tragfläche mit Winglet eines Leichtflugzeugs. Die Oberfläche des Trägermediums 600 ist rundum mit dem Muster 600 mit Punktsymmetrien bzw. vordefinierten punktsymmetrischen Bereichen 110 versehen und wird mit hier beispielhaft mehreren Kameras 102 beobachtet, während das Bauteil bzw. Trägermedium 600 beispielsweise in einem Windkanal umströmt und dabei durch grenzwertige Kräfte belastet oder zu Eigenschwingungen angeregt wird. Die vordefinierten punktsymmetrischen Bereiche 110 entsprechen oder ähneln vordefinierten punktsymmetrischen Bereichen aus einer der vorstehend beschriebenen Figuren. Die Symmetriezentren 112 der vordefinierten punktsymmetrischen Bereiche 110 sind ebenfalls eingezeichnet.
25 zeigt eine schematische Darstellung eines Trägermediums 600 mit einem Muster 610 gemäß einem Ausführungsbeispiel. Gezeigt ist beispielhaft eine Anordnung mit einem fest eingespannten elastischen Tuch als Trägermedium 600, das mit dem Muster 610 mit Punktsymmetrien versehen ist, z. B. auf der Unterseite. Das Muster 610 wird durch zumindest eine Kamera 102 beobachtet, während Objekte von dem elastischen Tuch zurückgeschleudert werden. Die Anordnung ermöglicht es, die zeitlich-dynamische Verformung des elastischen Tuchs berührungslos laufend präzise und vollständig zu verfassen. Die vordefinierten punktsymmetrischen Bereiche 110 entsprechen oder ähneln vordefinierten punktsymmetrischen Bereichen aus einer der vorstehend beschriebenen Figuren. Die Symmetriezentren 112 der vordefinierten punktsymmetrischen Bereiche 110 sind ebenfalls eingezeichnet. Ferner ist eine Beleuchtungseinrichtung 2502 zum Beleuchten des Sichtfeldes der Kamera 102 angeordnet.
Nachfolgend wird unter Bezugnahme auf Fig. 24 und 25 noch weiter auf das Anwendungsgebiet Verformungs-/Schwingungsanalyse und Kraftmessung mit punktsymmetrischen Mustern im Zusammenhang insbesondere mit den 1 bis 5 eingegangen. Hierbei werden Muster 610 mit enthaltenen Symmetrien für die Bestimmung einer Form und insbesondere einer Verformung von Oberflächen eingesetzt. Dazu wird die zu beobachtende Oberfläche bzw. das Trägermedium 600 beispielsweise möglichst flächig z. B. mit einer Kunststoff- oder Papier-Folie beklebt oder mit einem Stoff bespannt, auf die/den das Muster 610 vorher aufgedruckt wurde. Alternativ kann das Trägermedium 600 auch unmittelbar mit dem Muster 610 bedruckt werden. Das Muster 610 kann auch durch Eingravieren, Ätzen, Prägen oder Belichten auf die Oberfläche des Trägermediums 600 gebracht werden. Die Oberfläche, deren Form oder Verformung bestimmt werden soll, kann aus unterschiedlichen Materialien bestehen. Es können beispielsweise Teile aus Blech, Kunststoffen, faserverstärkten Kunststoffen, Glas, Gummi, Folien, Stoffe aus Kunstfaser, Leder und anderen Materialien sein. Insbesondere sind Oberflächen von Bauteilen relevant, die z. B. in verschiedenen industriellen oder technischen Anwendungen sowie bei Fahrzeug-, Flugzeug-, Marine- und Raumfahrttechnik vorkommen.
Nachfolgend werden noch einige Anwendungsbeispiele aus dem Bereich Verformungsanalyse bzw. Schwingungsanalyse beschrieben.
Bei einem Crashtest für Straßenfahrzeuge wird die Kollision eines Fahrzeugs mit einer Barriere oder mit einem anderen Fahrzeug beobachtet, um daraus die Sicherheit für die in einem Unfall beteiligten Personen zu bewerten und Rückschlüsse für die Verbesserung der Fahrzeugkonstruktion zu ziehen. Dabei wird der Crashvorgang üblicherweise bei heller Beleuchtung mit Hochgeschwindigkeitskameras außerhalb und innerhalb des Fahrzeugs beobachtet. Die Interpretation des Crashverlaufs anhand der Bildaufnahmen und weiterer Daten erfolgt durch geschultes Fachpersonal. Unter anderem vergleichen diese die beobachteten Ergebnisse mit Ergebnissen der Computersimulation. Die Fahrzeugkarosserie ist teilweise mit Markern beklebt, die ein Vermessen von einigen Längen vor und nach dem Crash sowie im Verlauf anhand der Videobilder zu erlauben. Die Scheiben sind häufig unbehandelt, also transparent.
Gemäß einem Ausführungsbeispiel kann eine Fahrzeugkarosserie insbesondere außen, ggf. teilweise auch im Innenraum, z. B. mit einer dünnen Kunststofffolie foliert werden, auf der die punktsymmetrischen Bereiche 110 als Muster 610 aufgebracht sind. Auch auf die Reifen und Felgen sowie auf den Unterboden können ähnliche Muster 610 aufgebracht werden. Bei Bedarf werden auch die Scheiben und das Glasdach auf diese Weise mit einem Muster 610 versehen. Um die Scheiben weiterhin wenigstens halbdurchsichtig zu lassen, damit die Dummys und der Innenraum von außen beobachtet werden können, kann zur Folierung auch ein nicht zu dicht bedrucktes transparentes Medium verwendet werden. Damit die Folie das Bruchverhalten des Glases nicht beeinflusst, kann sie wieder, ggf. warm, abgezogen werden, wobei sie ihren Aufdruck auf dem Fahrzeug hinterlässt. Aufgrund der mehrdimensionalen Krümmung der Karosserieteile sollte die Folierung beim Auftragen elastisch sein. Dadurch kann das originale Muster verzerrt werden. Dies stellt für das Verfahren kein Problem dar, da die Punktsymmetrie, z.B. bei gerichteter Streckung der Folie, erhalten bleibt. Jedoch empfiehlt es sich, nach dem Aufbringen des Musters zunächst einen Einmessvorgang zur Kalibrierung durchzuführen, bei dem zumindest festgestellt wird, an welchen Stellen genau die Symmetriezentren 110 auf der Oberfläche liegen. Dazu wird das vorstehend beschriebene Verfahren zum Bereitstellen aus 3 oder ein ähnliches Verfahren verwendet. Dies kann unterstützt werden durch die Zuhilfenahme von CAD-Daten des Fahrzeugs oder zusätzlicher Messtechnik, z. B. Stereo-Kamera, Multi-Kamera-System, Laserscanner etc. Noch genauer wird die spätere Messung, wenn beim Einmessvorgang zusätzlich die komplette Textur erfasst und registriert wird, z. B. fotografisch. Falls die entsprechende Technologie zur Verfügung steht, kann das Aufbringen der Muster 610 bzw. punktsymmetrischen Bereiche 110 auch durch Bedrucken mit einem Druckroboter erfolgen, der CAD-gesteuert einen Druckkopf über die Karosserieoberfläche führt.
Für die Crashanalyse kann in jedem einzelnen Bild einer Bildfolge die Lage der Symmetriezentren 112 präzise ermittelt werden. Da in der Regel jeder Symmetriebereich 110 von mehreren Kameras gleichzeitig beobachtet wird und die im Außenraum aufgebauten Kameras unbewegt sind, kann die jeweilige aktuelle 3D-Position des jeweiligen Symmetriezentrums 112 per Triangulation bestimmt werden. Da das Verfahren zum Bereitstellen aus 3 bzw. die Suche der Symmetriezentren 112 wenig Rechenaufwand benötigt, kann es bei geeigneter Rechnerhardware echtzeitfähig implementiert werden, damit auf die Auswertung nicht gewartet zu werden braucht. Bei Bedarf kann dann sogar regelnd Einfluss auf den zeitlichen Ablauf genommen werden, z. B. um Aufbauten vor unnötiger weiterer Beschädigung zu bewahren. Bei der Zuordnung der Symmetriezentren 110 von Bild zu Bild, insbesondere für die Triangulation, ist hilfreich, wenn das Muster 610 codiert ist, d.h. dass es einen Wechsel von ungeraden und geraden Punktsymmetrien unter den Bereichen 110 gibt. Die gebildete Zuordnung kann nur dann richtig sein, wenn alle gebildeten Korrespondenzpaare jeweils vorzeichengleich sind. Dies kann zur Verifikation genutzt werden. Zusätzlich oder alternativ kann die bekannte Epipolargeometrie bei der Korrespondenzbildung genutzt werden, weil sie den Lösungsraum einschränkt: Aus dem zweidimensionalen Problem der Zuordnung wird dann ein eindimensionales.
Nachdem die 2D- bzw. 3D-Positionen der beobachteten Punktsymmetriezentren 112 ermittelt wurden, kann eine zeitlich hochaufgelöste Analyse der Verformung der Karosserie, der Scheiben und der Anbauteile durchgeführt werden. Diese ist genauer und objektiver als bisher verfügbare Methoden und entlastet den Fachmann teilweise von der visuellen Interpretation. Für den Abgleich zwischen Crashtest und Computersimulation und insbesondere für die Rückschlüsse zur Verbesserung der Fahrzeugkonstruktion ergeben sich Vorteile hinsichtlich Genauigkeit und Reichtum an Detailinformation. Die örtliche Auflösung kann bei Bedarf weiter gesteigert werden, wenn nicht nur für die Symmetriezentren 112, sondern für alle Punkte der gemusterten Fläche die 2D- oder 3D-Positionen bestimmt werden. Hierfür kann der Schritt des Ermittelns bei dem Verfahren zum Bereitstellen aus 3 ausgeführt werden, wobei das bekannte Muster als Referenz verwendet wird und viele Korrespondenzen zwischen realer Bildaufnahme und der Referenz ermittelt werden. Noch eine weitere zusätzliche Möglichkeit zur Steigerung der örtlichen Auflösung ergibt sich aus der Stereoskopie. Diese funktioniert bei Mustern 610 mit zufälligem Charakter, z. B. Rauschmustern, wie in vorstehend beschriebenen Figuren zu sehen, besonders gut, d.h. mit hoher Verfügbarkeit und besonders unempfindlich gegenüber systematischen und rauschbedingten Fehlern.
Gemäß einem Ausführungsbeispiel kann unter Verwendung zumindest eines Musters 610 bzw. zumindest eines punktsymmetrischen Bereichs 110 auch ein Schrumpfvorgang von Folien, Verpackungen und Tiefziehteilen überwacht bzw. analysiert werden. Schrumpffolien werden in vielen Bereichen der Verpackungsindustrie eingesetzt. Beispielsweise werden sie als bedruckter Folienschlauch über eine Flasche gestülpt und erwärmt, wobei sie sich an die Form der Flasche anschmiegen. Sie werden auch zum Verschließen von Behältern verwendet oder als bedruckte Hülle um den eigentlichen Verschluss herum. Mehr oder weniger dicke Schrumpffolien werden auch verwendet, um Verpackungen für den einmaligen Gebrauch durch Tiefziehen aus einer planen Folie zu erzeugen. Des Weiteren werden einseitig offene röhrenförmige Rohlinge verwendet, um durch Aufwärmen und Aufblasen Kunststoffflaschen herzustellen. Viele weitere Gegenstände bzw. Bauteile werden durch Tiefziehen oder Aufblasen des Kunststoffes (oder anderer Materialien) erzeugt, wobei dieser z. B. erwärmt und über eine Form gezogen oder in eine Form gepresst oder geblasen wird. Bei all diesen Erzeugnissen ist es wünschenswert, dass das Material so geschrumpft bzw. gezogen bzw. geblasen wird, dass es die gewünschte Form annimmt. Bei der Bedruckung ist es wichtig, dass Schriften und Bilder nach dem Tiefziehen nicht übermäßig verzerrt erscheinen. Außerdem ist es oft wichtig, dass der Kunststoff richtig verteilt ist, also dass er nicht zu dünn ist, um Reißen zu vermeiden und nur dort dick, wo er entsprechende Kräfte aushalten muss.
Gemäß einem Ausführungsbeispiel kann ein solches Ausgangsmaterial, wie beispielsweise eine Schrumpffolie, eine Tiefziehfolie, ein Rohling oder dergleichen, als Trägermedium 600 mit dem Muster 610 mit Symmetrien bedruckt sein bzw. werden. Nachfolgend kann bei Bedarf eine oder mehrere Referenzaufnahmen, z. B. per Kamera oder Scanner, für zumindest ein Referenzbild gemacht werden. Nach Abschluss des Schrumpf- oder Tiefzieh- oder Blasvorgangs werden weitere Aufnahmen bzw. Kamerabilder gemacht. Diese werden durch Ausführen des Verfahrens zum Bereitstellen aus 3 oder eines ähnlichen Verfahrens ausgewertet. Nach Bildung der Korrespondenzen zwischen den Symmetriezentren 112 (Vorher-/Nachher) kann ermittelt werden, wie sich die Folie verformt hat, und zwar lokal für jedes einzelne Symmetriezentrum 112. Daraus kann mit hoher Genauigkeit ermittelt werden, wie die Folie sich während des Vorgangs verformt hat. Optional kann auch der zeitliche Ablauf des Vorgangs beobachtet werden, indem nicht nur zum Ende, sondern fortlaufend während des Schrumpfens oder Tiefziehens oder Aufblasens Aufnahmen gemacht werden, die dann ausgewertet werden können, um den dynamischen Ablauf zu erfassen. Dieses Wissen kann dann genutzt werden, um z. B. die örtliche Verteilung der Erwärmung der Folie besser zu steuern, die örtliche Verteilung der Erwärmung der Form zu optimieren und/oder den zeitlichen Ablauf zu beeinflussen, z. B. durch Steuerung der Umgebungstemperatur, eines Kühlgebläses, der Kräfte, der Wege, usw, oder um das verwendete Material zu optimieren. Für die Optimierung der Prozesssteuerung im Sinne der Bewertung der Beobachtung mit Rückführung auf die Parameter sind Methoden des maschinellen Lernens sehr gut geeignet. Bei Bedarf kann auch das zweischrittige Vorgehen einschließlich des Schrittes des Ermittelns verwendet werden, wenn höhere Ortsauflösungen oder Genauigkeiten gewünscht sind.
Gemäß einem Ausführungsbeispiel können unter Verwendung zumindest eines Musters 610 bzw. zumindest eines punktsymmetrischen Bereichs 110 auch Schwingungen von Maschinengehäusen, Karosserien oder dergleichen als Trägermedien 600 überwacht bzw. analysiert werden. Maschinenteile, wie z. B. Gehäuse von Maschinen, oder Karosserien von Pkw, Lkw, Lokomotiven, Waggons, sowie viele andere technische Gegenstände oder Bauelemente, können im Betrieb zu Schwingungen neigen, die zu Lärm- bzw. Geräuschbelastung und frühem Verschleiß z. B. durch Dauerlastbruch bzw. Materialermüdung führen können. Besonders können große, dünnwandige Bleche betroffen sein. Sie können störende Geräusche emittieren und oder an stark belasteten Stellen frühzeitig brechen. Oft können solche unerwünschten Schwingungen durch einfache Maßnahmen unterdrückt werden, wie Einfügen von Knicken oder Anbringen von Verstärkungen oder Dämpfungsmaterial an geeigneten Stellen.
Dazu kann gemäß einem Ausführungsbeispiel das schwingende Teil als Trägermedium 600 im eingebauten Zustand und unter den gegebenen Schwingungsanregungen, vor und nach der jeweiligen Korrekturmaßnahme, beobachtet werden. Hierfür ist das Verfahren zum Bereitstellen aus 3 und/oder das Verfahren zum Steuern aus 4 geeignet. Das zu untersuchende Teil bzw. Trägermedium 600 wird mit dem Muster 610 beklebt, bespannt oder bedruckt und im Betrieb von einer stationären oder mitbewegten Kamera 102 beobachtet. Die Symmetriezentren 112 werden gefunden und der zeitliche Verlauf ihrer Positionen lässt Rückschlüsse auf die Amplituden und Frequenzen an den jeweiligen Orten zu, sowie auf die vorliegenden Schwingungsmodi. Bei Bedarf kann auch das zweischrittige Vorgehen einschließlich des Schrittes des Ermittelns verwendet werden, wenn höhere Ortsauflösungen oder Genauigkeiten gewünscht sind. Aus der Beobachtung bzw. Verformungsanalyse können dann genaue Rückschlüsse gezogen werden, welche Maßnahme wie erfolgreich bezüglich der Verringerung der Schwingung bzw. Schwingungsmodi ist.
Das Verfahren zum Bereitstellen aus 3 und/oder das Verfahren zum Steuern aus 4 bietet dabei unter anderem folgende Vorteile: Es kann die gesamte (schwingende) Fläche mit einem einzigen Sensor (Kamera 102) erfasst werden. Das Verfahren liefert also ein hochdimensionales Ergebnis, aus dem sich auch komplexe Schwingungsmodi höherer Ordnung ablesen lassen. Das Ergebnis der Analyse kann auch dem Laien leicht veranschaulicht werden, weil es bildhafter Natur ist. Am zu vermessenden Objekt bzw. Trägermedium 600 brauchen keine Messinstrumente, wie z. B. Dehnungsmessstreifen oder Beschleunigungssensoren oder Wegsensoren, und keine Verkabelung angebracht zu werden. Das zu vermessende Objekt bzw. Trägermedium 600 wird durch die Messung kaum beeinflusst, denn das aufgebrachte Muster 610 verändert die Massenverteilung kaum, während das Anbringen von Sensoren (Punktmassen) die Schwingungsmodi verändern würde.
Gemäß einem Ausführungsbeispiel kann unter Verwendung zumindest eines Musters 610 bzw. zumindest eines punktsymmetrischen Bereichs 110 auch eine dynamische Verformung von Windrädern im Betrieb, von Bauteilen im Windkanal oder von anderen Trägermedien 600 erfasst bzw. analysiert werden. Manche Maschinen oder Bauteile sind so groß oder so schlecht zugänglich, dass eine Vermessung ihrer dynamischen Verformung im Betrieb mit alternativen bzw. herkömmlichen Methoden, z. B. Beschleunigungs- oder Wegsensoren, schwierig bis unmöglich sein kann. Beispielsweise kann es interessant sein zu untersuchen, wie die Rotorblätter einer Windkraftanlage als Trägermedien 600 sich während eines Sturms verhalten, also ob z. B. Drehschwingungen auftreten, während sich das Blatt am Turm vorbeibewegt, oder wie sich der Turm unter besonderen Belastungen bewegt. Aus solchen Beobachtungen lassen sich Rückschlüsse ziehen, z. B. ob bzw. bei welcher Windstärke die Windkraftanlage abgeschaltet werden sollte, um Beschädigungen an der Struktur zu vermeiden, ob ein Rotorblatt bereits geschädigt ist, weil es anders schwingt als vorgesehen, oder wie bzw. an welchen Stellen an den Rotorblättern und am Turm die Konstruktion verändert werden kann, z. B. um Material an weniger belasteten Stellen einzusparen zu Gunsten der stärker beanspruchten Stellen. Dazu werden die Rotorblätter und/oder der Turm vor der Montage mit den Mustern 610 versehen. Eine oder mehrere in geeigneter Distanz installierte Kameras 102 beobachten die Windkraftanlage im Betrieb. Die Kameras 102 können bevorzugt an Türmen von benachbarten Windkraftanlagen im selben Windpark angebracht werden, weil sie dort besonders leicht zu vernetzen und mit Strom zu versorgen sind und weil sie dort in geeigneter Höhe angebracht werden können. Anders als bei vorherigen Beispielen bewegen sich die beobachteten Symmetriezentren 112 auf dem jeweiligen Rotorblatt auf Kreisbahnen. Aufgrund der Rotationsinvarianz der Punktsymmetrie können die Symmetriezentren 112 ohne weiteres in der Serie von Kamerabildern gefunden und zeitlich in ihrer Bewegung verfolgt werden. Idealerweise - wenn das Rotorblatt nicht schwingt - ist die jeweilige Kreisbahn ungestört. Aus der Vielzahl der beobachteten Abweichungen vom Idealfall der Kreisbewegung kann auf die Schwingung des jeweiligen Rotorblatts zurückgeschlossen werden. Eventuell unvermeidliche kleine Eigenbewegungen der Kamera in Bezug auf das zu beobachtende Objekt stellen dabei kein Problem dar, da das Muster 610 aufgrund seiner ohnehin vorhandenen Symmetriezentren 112 ein eigenes Referenzsystem mitbringt und weil die Vermessung von Verformungen zwischen diesen Symmetriezentren 112 von Interesse ist und nicht die Messung der Bewegung bezüglich der Kamera.
Dieses Prinzip lässt sich auf weitere Anwendungen übertragen, z. B. auf eine Beobachtung von Bauteilen, z. B. Flugzeugtragflächen, Leitwerke, Spoiler von Rennwagen, Luftleitbleche usw. im Windkanal, wobei das Muster 610 flächig auf das jeweilige Bauteil als Trägermedium 600 aufgebracht ist und mittels einer oder mehrerer beobachtenden Kameras 102 die dynamische Verformung oder Bewegung des Bauteils erfasst wird. Dabei sind insbesondere Eigenschwingungen, z. B. als Torsionsschwingungen, des Bauteils von Interesse, da diese sich aufschaukeln und das Bauteil zerstören könnten. Siehe auch 24. Auch beispielsweise eine Beobachtung von Bauteilen im Wasser oder in anderen Medien, durch eine Kamera 102, die sich im selben Medium befindet, stellt ein Beispiel für eine weitere Anwendung dar. Somit kann insbesondere eine Beobachtung von Schiffspropellern, Kraftwerksturbinen, Pumpen, Flugzeugpropellern oder dergleichen im Betrieb realisiert werden.
Auch beispielsweise eine Analyse von Form und Belastung von Segeln als Trägermedien 600 lässt sich auf die vorstehend genannte Art und Weise realisieren. Bei Segeln z. B. von künftigen umweltfreundlichen Transportschiffen oder schnellen Sportbooten oder Bedachungen, die mit den Mustern 610 bedruckt sind und mit mindestens einer Kamera 102 beobachtet werden, kann während der dynamischen Belastung durch den Wind mittels des Verfahrens aus 3 und/oder 4 die dreidimensionale Form kontinuierlich ermittelt werden. Hieraus können verschiedene Rückschlüsse gezogen und auf unterschiedliche Art Nutzen gezogen werden, beispielsweise zur Erkennung von Überlastung anhand starker Dehnung, um das Segel rechtzeitig schützen zu können, zur Optimierung eines Anstellwinkels des Segels oder des Segelprofils, z. B. durch automatische Veränderung der Spannung der Leinen, oder zur Erkennung und Vermeidung des Flatterns und des Schlagens des Segels.
Gemäß einem Ausführungsbeispiel kann unter Verwendung zumindest eines Musters 610 bzw. zumindest eines punktsymmetrischen Bereichs 110 auch eine dynamische Messung von Gewicht und Krafteinwirkung realisiert werden. Das Verfahren zum Bereitstellen aus 3 und/oder das Verfahren zum Steuern aus 4 ist bzw. sind flexibel einsetzbar und eine Liste möglicher Anwendungen kann hier nicht erschöpfend behandelt werden. Ein weiteres Anwendungsbeispiel soll dies verdeutlichen. Siehe hierzu 25, wo ein elastisches Tuch, z. B. aus Gummifolie, als Trägermedium 600 mit dem Muster 610 mit vielen kleinen punktsymmetrischen Bereichen 110 bedruckt und rundum eingespannt ist, so dass es wie die Membran einer Trommel oder wie die Sprungfläche eines Trampolins gespannt ist. Diese „Trommel“ ist stationär verankert, wie auch mindestens eine Kamera 102, die das Muster 610 auf der Membran beobachtet, und zwar bevorzugt aus einer schrägen Perspektive. Aus einer weiteren schrägen Einfallsrichtung fallen Objekte auf die Membran bzw. das Trägermedium 600, beispielsweise von einem Förderband, werden von der elastischen Membran reflektiert und fliegen weiter. Der dynamische Prozess des Reflektierens des Objekts auf der mit dem Muster 610 versehenen Membran wird von der hinreichend schnellen Kamera 102 beobachtet und mit dem Verfahren zum Bereitstellen aus 3 und/oder dem Verfahren zum Steuern aus 4 ausgewertet.
Das Muster 610 kann auf der Vorder- oder Rückseite der Kamera 102 angebracht sein oder beides, wobei die zumindest eine Kamera 102 die entsprechende Seite bzw. die entsprechenden Seiten beobachtet. Die Kamera-Beobachtung der Rückseite mit einem Muster 610 auf der Rückseite ist vorteilhaft, denn das Muster 610 wird nicht von den Objekten verdeckt, das Muster 610 nutzt sich nicht ab, das Muster 610 und die Kamera 102 können besser vor Verschmutzung geschützt werden, das Muster 610 kann einfacher beleuchtet werden, da ohne Schlagschatten durch Objekte, etc.
Folgende Informationen können aus der Beobachtung des Trägermediums 600 in Gestalt der elastischen Membran beispielsweise gewonnen werden: Bestimmung der Kraft bzw. des dynamischen Kraftverlaufs, die auf die Membran wirkt, anhand der Verformung. Hieraus kann bei bekannter Fallhöhe auf die Masse des Objekts oder bei bekannter Masse auf die Fallhöhe geschlossen werden. Zählung der Objekte. Voraussage der weiteren Flugbahn des jeweiligen Objekts. Dynamische Beeinflussung seiner Flugbahn durch schnelle Veränderung der Ausrichtung oder Spannung der Membran, z. B. für ein Sortier- und Verteilsystem für unterschiedliche Objekte, die von einem Fließband fallen.
Diese Idee lässt sich ohne weiteres variieren und auf andere Anwendungsgebiete übertragen, z. B. ein Matratzenstudio, bei dem die Test-Matratze selbst oder ein Spannbetttuch darauf als Trägermedium 600 mit dem beschriebenen Muster 610 bedruckt ist. Während der Kunde auf der Matratze probeliegt, wird mittels Kameraaufnahmen des nicht verdeckten Teils des Musters 610 die Eindringtiefe und ggf. die Massenverteilung der Person ermittelt, um daraus Empfehlungen für die optimale Matratze und Lattenrost zu ermitteln oder um aus den gewonnenen Daten die Produkte individualisieren zu können.
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102020202160 A1 [0003]
DE 102020202160 [0009, 0033, 0075, 0078, 0080]

Claims

Verfahren (300) zum Bereitstellen von Verformungsdaten (135) für eine Verformungsanalyse, wobei das Verfahren (300) folgende Schritte aufweist: Einlesen (324) von mittels einer Kamera (102) bereitgestellten Bilddaten (105) von einer Schnittstelle (122) zu der Kamera (102), wobei die Bilddaten (105) ein Kamerabild von zumindest einem vordefinierten gerade und/oder ungerade punktsymmetrischen Bereich (110; 110A, 110B) in einer Umgebung der Kamera (102) repräsentieren, wobei der zumindest eine vordefinierte punktsymmetrische Bereich (110; 110A, 110B) auf, an oder in einem verformbaren Trägermedium (600) erzeugt ist; Bestimmen (326) zumindest eines Symmetriezentrums (112; 112A, 112B) des zumindest einen gerade und/oder ungerade punktsymmetrischen Bereichs (110; 110A, 110B) unter Verwendung der Bilddaten (105) und einer Bestimmungsvorschrift (128); Durchführen (330) eines Vergleichs einer Position des zumindest einen Symmetriezentrums (112; 112A, 112B) in dem Kamerabild mit einer vordefinierten Position zumindest eines Referenz-Symmetriezentrums in einem Referenzbild (115) relativ zu einem Bezugskoordinatensystem, um eine Positionsabweichung (131) zwischen dem Symmetriezentrum (112; 112A, 112B) und dem Referenz-Symmetriezentrum zu bestimmen; und/oder Ermitteln (332) von Verschiebungsinformationen (133) für zumindest eine Teilmenge von Pixeln des Kamerabildes relativ zu korrespondierenden Pixeln des Referenzbildes (115) unter Verwendung der Positionsabweichung (131), wobei die Verformungsdaten (135) unter Verwendung der Positionsabweichung (131) und/oder der Verschiebungsinformationen (133) bereitgestellt werden.
Verfahren (300) gemäß Anspruch 1, bei dem die im Schritt (326) des Bestimmens verwendete Bestimmungsvorschrift (128) ausgebildet ist, um zu bewirken, dass eine Signatur (s) für eine Mehrzahl von Pixeln zumindest eines Ausschnitts des Kamerabilds erzeugt wird, um eine Mehrzahl von Signaturen (s) zu erhalten, wobei jede der Signaturen (s) unter Verwendung eines Deskriptors mit einer Mehrzahl von unterschiedlichen Filtern erzeugt wird, wobei jedes Filter zumindest eine Symmetrieart aufweist, wobei jede der Signaturen (s) für jedes Filter des Deskriptors ein Vorzeichen aufweist, dass für die Signatur (s) zumindest eine Spiegelsignatur (s_PG, s_PU) für zumindest eine Symmetrieart der Filter ermittelt wird, dass ein die Signatur (s) aufweisendes Pixel auf ein Vorliegen zumindest eines weiteren Pixels mit einer der zumindest einen Spiegelsignatur (s_PG, s_PU) entsprechenden Signatur (s) in einem Suchbereich (1104) in einer Umgebung um das Pixel überprüft wird, um bei Vorliegen zumindest eines weiteren Pixels Pixelkoordinaten zumindest eines symmetrischen Signaturpaars aus dem Pixel und einem weiteren Pixel zu ermitteln, und dass die Pixelkoordinaten des zumindest einen symmetrischen Signaturpaars ausgewertet werden, um das zumindest eine Symmetriezentrum (112; 112A, 112B) zu identifizieren, und/oder wobei zumindest ein Reflektor (R_PG, R_PU) auf die Vorzeichen einer der Signaturen (s) angewendet wird, um die zumindest eine Spiegelsignatur (s_PG, s_PU) zu ermitteln, wobei jeder Reflektor (R_PG, R_PU) für eine Symmetrieart spezifische und von den Filtern des Deskriptors abhängige Vorschriften zur Modifikation der Vorzeichen aufweist, wobei der Suchbereich (1104) von zumindest einem der angewendeten Reflektoren (R_PG, R_PU) abhängig ist.
Verfahren (300) gemäß Anspruch 2, bei dem im Schritt (326) des Bestimmens für jedes bereits bestimmte Symmetriezentrum (112; 112A, 112B) unter Verwendung der Pixelkoordinaten jedes symmetrischen Signaturpaars, das zum korrekten Identifizieren des Symmetriezentrums (112; 112A, 112B) beigetragen hat, eine Transformationsvorschrift zum Transformieren von Pixelkoordinaten des Symmetriezentrums (112; 112A, 112B) und/ oder des zumindest einen gerade und/oder ungerade punktsymmetrischen Bereichs (110; 110A, 110B) bestimmt wird, wobei die Transformationsvorschrift auf die Pixelkoordinaten des Symmetriezentrums (112; 112A, 112B) und/ oder des zumindest einen gerade und/oder ungerade punktsymmetrischen Bereichs (110; 110A, 110B) angewendet wird, um eine verzerrte Perspektive des Kamerabilds zu entzerren.
Verfahren (300) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (326) des Bestimmens eine Symmetrieart des zumindest einen Symmetriezentrums (112; 112A, 112B) bestimmt wird, wobei die Symmetrieart eine gerade Punktsymmetrie und/oder eine ungerade Punktsymmetrie repräsentiert, und/oder wobei im Schritt (330) des Durchführens ein Vergleich der Symmetrieart des zumindest einen Symmetriezentrums (112; 112A, 112B) in dem Kamerabild mit einer vordefinierten Symmetrieart zumindest eines Referenz-Symmetriezentrums in einem Referenzbild (115) durchgeführt wird, um eine Übereinstimmung zwischen dem zumindest einen Symmetriezentrum (112; 112A, 112B) und dem zumindest einen Referenz-Symmetriezentrum zu prüfen.
Verfahren (300) gemäß Anspruch 4, bei dem die im Schritt (324) des Einlesens eingelesenen Bilddaten (105) ein Kamerabild von zumindest einem Muster (610; 1710, 1810) aus einer Mehrzahl von vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichen (110; 110A, 110B) repräsentiert, wobei im Schritt (326) des Bestimmens eine geometrische Anordnung von Symmetriezentren (112; 112A, 112B) des zumindest einen Musters (610; 1710, 1810) bestimmt wird, eine geometrische Abfolge von Symmetriearten der Symmetriezentren (112; 112A, 112B) bestimmt wird und/oder unter Verwendung der Abfolge das Muster (610; 1710, 1810) aus mehreren vordefinierten Mustern bestimmt wird, wobei die Anordnung und/oder die Abfolge einen Identifikationscode des Musters (610; 1710, 1810) repräsentiert.
Verfahren (300) gemäß Anspruch 5, bei dem im Schritt (326) des Bestimmens unter Verwendung der Anordnung der Symmetriezentren (112; 112A, 112B) des zumindest einen Musters (610; 1710, 1810) und/oder der Abfolge von Symmetriearten der Symmetriezentren (112; 112A, 112B) eine implizite Zusatzinformation des zumindest einen Musters (610; 1710, 1810) oder eine Auslesevorschrift zum Auslesen einer expliziten Zusatzinformation in dem Kamerabild bestimmt wird, wobei die Anordnung und/oder die Abfolge die Zusatzinformation in codierter Form repräsentiert, wobei die Zusatzinformation auf die Verformungsanalyse bezogen ist.
Verfahren (300) gemäß einem der Ansprüche 5 bis 6, bei dem im Schritt (330) des Durchführens abhängig von der bestimmten Anordnung, der bestimmten Abfolge und/oder des bestimmten Musters (610; 1710, 1810) das Referenzbild (115) aus mehreren gespeicherten Referenzbildern ausgewählt wird oder unter Verwendung einer gespeicherten Erzeugungsvorschrift erzeugt wird.
Verfahren (300) gemäß einem der Ansprüche 5 bis 7, bei dem der Schritt (326) des Bestimmens und/oder der Schritt (330) des Durchführens unabhängig von der Symmetrieart der Symmetriezentren (112; 112A, 112B) für alle Symmetriezentren (112; 112A, 112B) gemeinsam ausgeführt wird oder abhängig von der Symmetrieart der Symmetriezentren (112; 112A, 112B) für die Symmetriezentren (112; 112A, 112B) derselben Symmetrieart gesondert ausgeführt wird.
Verfahren (400) zum Steuern einer Verformungsanalyse, wobei das Verfahren (400) folgende Schritte aufweist: Auswerten (444) von nach dem Verfahren (300) gemäß einem der vorangegangenen Ansprüche bereitgestellten Verformungsdaten (135), um ein von den Verformungsdaten (135) abhängiges Steuersignal (145) zu erzeugen; und Ausgeben des Steuersignals (145) an eine Schnittstelle (148) zu einer Vorrichtung zum Ausführen der Verformungsanalyse, um die Verformungsanalyse zu steuern.
Verfahren (500) zum Herstellen zumindest eines vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs (110; 110A, 110B) zur Verwendung durch ein Verfahren (300; 400) gemäß einem der vorangegangenen Ansprüche, wobei das Verfahren (500) folgende Schritte aufweist: Generieren (502) von Entwurfsdaten (204), die eine grafische Darstellung des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs (110; 110A, 110B) repräsentieren; und Erzeugen (506) des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs (110; 110A, 110B) unter Verwendung der Entwurfsdaten (204) auf, an oder in einem Trägermedium (600), um den zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereich (110; 110A, 110B) herzustellen.
Verfahren (500) gemäß Anspruch 10, bei dem im Schritt (502) des Generierens Entwurfsdaten (204) generiert werden, die eine grafische Darstellung des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs (110; 110A, 110B) als ein Kreis, eine Ellipse, ein Quadrat, ein Rechteck, ein Fünfeck, ein Sechseck, ein Polygon oder ein Kreisring repräsentieren, wobei der zumindest eine vordefinierte gerade und/oder ungerade punktsymmetrische Bereich (110; 110A, 110B) ein regelmäßiges oder quasi-zufälliges Inhaltsmuster aufweist, und/oder wobei eine erste Hälfte einer Fläche des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs (110; 110A, 110B) beliebig vorgegeben wird und eine zweite Hälfte der Fläche durch Punktspiegelung und/oder Invertierung von Grauwerten und/oder Farbwerten konstruiert wird, und/oder wobei im Schritt (506) des Erzeugens der zumindest eine vordefinierte gerade und/oder ungerade punktsymmetrische Bereich (110; 110A, 110B) durch einen additiven Fertigungsprozess, Trennen, Beschichten, Umformen, Urformen oder optisches Anzeigen erzeugt wird, und/oder wobei das Trägermedium (600) Stoff, Gummi, Folie, Lack, Blech, Metall, Holz, Sperrholz, Kunststoff, faserverstärkten Kunststoff, Papier, Pappe, Verbundmaterial, beschichtetes Material, Leder, Flüssigkeit, Glas, Stein, Keramik, Beton, Gips oder Lebensmittel aufweist.
Verfahren (500) gemäß einem der Ansprüche 10 bis 11, bei dem im Schritt (502) des Generierens Entwurfsdaten (204) generiert werden, die eine grafische Darstellung zumindest eines Musters (610; 1710, 1810) aus einer Mehrzahl von vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichen (110; 110A, 110B) repräsentieren, wobei zumindest eine Teilmenge punktsymmetrischen Bereiche (110; 110A, 110B) an einem regelmäßigen oder unregelmäßigen Raster (1311) ausgerichtet sind, direkt aneinander angrenzen und/oder teilweise von mindestens einem benachbarten gerade und/oder ungerade punktsymmetrischen Bereich (110; 110A, 110B) durch einen Zwischenraum getrennt sind, hinsichtlich ihrer Abmessungen und/oder ihrer Inhaltsmuster identisch zueinander oder unterschiedlich voneinander sind und/oder in einer gemeinsamen Ebene oder in unterschiedlichen Ebenen angeordnet sind, und/oder wobei im Schritt (502) des Generierens Entwurfsdaten (204) generiert werden, die eine grafische Darstellung zumindest eines Musters (610; 1710, 1810) mit hierarchischer Symmetrie repräsentieren.
Vorrichtung (120; 140; 200), die eingerichtet ist, um die Schritte eines Verfahrens (300; 400; 500) gemäß einem der vorangegangenen Ansprüche in entsprechenden Einheiten (124, 126, 130, 132; 144, 146; 202, 206) auszuführen und/oder anzusteuern.
Computerprogramm, das dazu eingerichtet ist, die Schritte eines Verfahrens (300; 400; 500) gemäß einem der Ansprüche 1 bis 12 auszuführen und/oder anzusteuern.
Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 14 gespeichert ist.