DE102020214249A1

DE102020214249A1 - Verfahren zum Bereitstellen von Navigationsdaten zum Steuern eines Roboters, Verfahren zum Steuern eines Roboters, Verfahren zum Herstellen zumindest eines vordefinierten punktsymmetrischen Bereichs und Vorrichtung

Info

Publication number: DE102020214249A1
Application number: DE102020214249.1A
Authority: DE
Inventors: Stephan Simon
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-11-12
Filing date: 2020-11-12
Publication date: 2022-05-12
Also published as: CN116710975A; WO2022100960A1

Abstract

Die Erfindung betrifft ein Verfahren zum Bereitstellen von Navigationsdaten (135) zum Steuern eines Roboters. Das Verfahren umfasst einen Schritt des Einlesens von mittels einer Kamera (102) bereitgestellten Bilddaten (105) von der Kamera (102). Die Bilddaten (105) repräsentieren ein Kamerabild von zumindest einem vordefinierten punktsymmetrischen Bereich (110), einen Schritt des Bestimmens zumindest eines Symmetriezentrums (112) des zumindest einen punktsymmetrischen Bereichs (110) unter Verwendung der Bilddaten (105) und einer Bestimmungsvorschrift (128), einen Schritt des Durchführens eines Vergleichs einer Position des Symmetriezentrums (112) in dem Kamerabild mit einer vordefinierten Position eines Referenz-Symmetriezentrums in einem Referenzbild (115), um eine Positionsabweichung (131) zwischen dem Symmetriezentrum (112) und dem Referenz-Symmetriezentrum zu bestimmen, und optional zusätzlich einen Schritt des Ermittelns von Verschiebungsvektoren (133) für zumindest eine Teilmenge von Pixeln des Kamerabildes relativ zu korrespondierenden Pixeln des Referenzbildes (115) unter Verwendung der Positionsabweichung (131). Die Navigationsdaten (135) werden unter Verwendung der Positionsabweichung (131) und/oder Verschiebungsvektoren (133) bereitgestellt.

Description

Stand der Technik
Die Erfindung geht von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche aus. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
Auf dem Gebiet der visuellen Robotersteuerung (visual servoing) kann insbesondere eine effiziente und genaue Bestimmung einer Roboterpose bzw. einer Position und Ausrichtung eines Roboters anhand von Bilddaten von Bedeutung sein.
Die nachveröffentlichte DE 10 2020 202 160 A1 offenbart ein Verfahren zum Bestimmen einer Symmetrieeigenschaft in Bilddaten und ein Verfahren zum Steuern einer Funktion.
Offenbarung der Erfindung
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren, weiterhin eine Vorrichtung, welche dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
Gemäß Ausführungsformen kann es insbesondere ausgenutzt werden, wenn Punkte oder Objekte in der Welt mit Hilfe von punktsymmetrischen Bereichen markiert sind oder werden, so dass ein System mit bildgebendem Sensor und einem geeigneten hier vorgestellten Verfahren diese punktsymmetrischen Bereiche zum Ausführen einer spezifischen technischen Funktion robust und örtlich hochpräzise detektieren und lokalisieren kann, optional ohne dass der Mensch bzw. ein Lebewesen solche Markierungen als störend wahrnehmen würde.
Es kann beispielsweise vorkommen, dass ein symmetrischer Bereich nicht vollständig ins Kamerabild abgebildet wird, z. B. weil er von einem Objekt teilverdeckt sein kann oder weil er teilweise aus dem Bild herausragen kann oder weil das Muster beschnitten worden sein kann. Vorteilhafterweise kann eine Präzision einer Lokalisierung des Punktsymmetriezentrums dennoch beibehalten werden, denn die Teilverdeckung(en) verfälschen seine Lage nicht: Verbleibende punktsymmetrischen Korrespondenzpaare können trotzdem für das korrekte Symmetriezentrum stimmen. Durch eine Teilverdeckung kann lediglich eine Stärke eines Häufungspunkts in einer Abstimmungsmatrix oder dergleichen reduziert werden, die Position des Symmetriezentrums kann jedoch erhalten bleiben und dennoch präzise und einfach bestimmbar sein. Dies ist ein spezieller Vorteil einer Ausnutzung der Punktsymmetrie.
Weitere Vorteile beim Auffinden von auf Punktsymmetrie basierenden Bereichen oder Mustern können sich insbesondere daraus ergeben, dass die Punktsymmetrie invariant gegenüber Verdrehung zwischen punktsymmetrischem Bereich und Kamera bzw. Bildaufnahme und weitgehend invariant gegenüber einer Perspektive ist. Beispielsweise kann eine punktsymmetrische ebene Fläche invariant gegenüber einer affinen Abbildung sein. Eine Abbildung einer beliebig orientierten Ebene durch eine reale Kamera kann zumindest lokal stets sehr gut durch eine affine Abbildung angenähert werden. Betrachtet man beispielsweise einen kreisförmigen punktsymmetrischen Bereich unter schräger Perspektive, so wird aus der Kreisform eine elliptische Form, wobei die punktsymmetrische Eigenschaft und das Punktsymmetriezentrum erhalten bleiben. Somit braucht der zumindest eine punktsymmetrische Bereich nicht unbedingt aus frontaler Perspektive betrachtet zu werden - auch sehr schräge Perspektiven stellen keine Schwierigkeit dar und eine erzielbare Genauigkeit kann beibehalten werden. Eine solche Invarianz insbesondere gegenüber einer Verdrehung und gegenüber der Perspektive kann ermöglichen, dass auf Vorkehrungen verzichtet werden kann, die Kamera geeignet zum symmetrischen Bereich auszurichten oder umgekehrt. Vielmehr kann es bereits ausreichend sein, wenn der jeweilige punktsymmetrische Bereich im Kamerabild zumindest teilweise erfasst wird, damit er detektiert werden kann. Eine relative Positionsbeziehung bzw. Anordnung zwischen punktsymmetrischen Bereich und Kamera kann hierbei unerheblich oder beinahe unerheblich sein.
Es wird ein Verfahren zum Bereitstellen von Navigationsdaten zum Steuern eines Roboters vorgestellt, wobei das Verfahren folgende Schritte aufweist:

Einlesen von mittels einer Kamera bereitgestellten Bilddaten von einer Schnittstelle zu der Kamera, wobei die Bilddaten ein Kamerabild von zumindest einem vordefinierten gerade und/oder ungerade punktsymmetrischen Bereich in einer Umgebung der Kamera repräsentieren;

Bestimmen zumindest eines Symmetriezentrums des zumindest einen gerade und/oder ungerade punktsymmetrischen Bereichs unter Verwendung der Bilddaten und einer Bestimmungsvorschrift;
Durchführen eines Vergleichs einer Position des zumindest einen Symmetriezentrums in dem Kamerabild mit einer vordefinierten Position zumindest eines Referenz-Symmetriezentrums in einem Referenzbild relativ zu einem Bezugskoordinatensystem, um eine Positionsabweichung zwischen dem Symmetriezentrum und dem Referenz-Symmetriezentrum zu bestimmen;
und/oder
Ermitteln von Verschiebungsinformationen für zumindest eine Teilmenge von Pixeln des Kamerabildes relativ zu korrespondierenden Pixeln des Referenzbildes unter Verwendung der Positionsabweichung, wobei die Navigationsdaten unter Verwendung der Positionsabweichung und/oder der Verschiebungsinformationen bereitgestellt werden.
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät oder einer Vorrichtung implementiert sein. Es können im Schritt des Einlesens auch Bilddaten von einer Mehrzahl von Kameras eingelesen werden, wobei die Bilddaten eine Mehrzahl von Kamerabildern des zumindest einen Bereichs repräsentieren. Optional können dabei im Schritt des Durchführens eine Mehrzahl von Referenzbildern verwendet werden. Das Referenzbild kann auch durch Referenzdaten ersetzt sein, die zumindest teilweise den Informationen entsprechen bzw. gleichwertig sind, die aus einem Referenzbild gewonnen werden können. Das Arbeiten mit Referenzdaten kann vorteilhaft sein, insbesondere im Sinne eines geringeren Aufwands, wenn die aus einem Referenzbild extrahierbaren Informationen bereits in einer leichter verwertbaren Form in Gestalt der Referenzdaten vorliegen. Die Referenzdaten können das Referenzbild in einer verdichteten Form bzw. Darstellung repräsentieren, beispielsweise als Deskriptorbild, Signaturbild und/oder mit Auflistung aller Koordinaten und Typen von vorhandenen Symmetriezentren. Der zumindest eine vordefinierte punktsymmetrische Bereich kann durch Ausführen einer Variante eines nachstehend beschriebenen Verfahrens zum Herstellen hergestellt sein. Die Bestimmungsvorschrift kann einer Vorgehensweise ähneln oder entsprechen, die in der nachveröffentlichten DE 10 2020 202 160 der Anmelderin offenbart ist. Das Referenzbild kann den zumindest einen vordefinierten punktsymmetrischen Bereich repräsentieren. Der optionale Schritt des Ermittelns kann unter Verwendung des optischen Flusses, insbesondere des dichten optischen Flusses durchgeführt werden. Das Steuern des Roboters kann ein Steuern oder Regeln einer Pose, Lage, Position, Ausrichtung oder dergleichen des Roboters relativ zu einem mit dem zumindest einen vordefinierten punktsymmetrischen Bereich markierten Bezugspunkt oder Bezugsobjekt repräsentieren. Zum Steuern des Roboters kann zumindest ein Aktor des Roboters unter Verwendung des Steuersignals angesteuert werden. Die Verschiebungsinformationen können Verschiebungsvektoren oder absolute Koordinaten repräsentieren.
Gemäß einer Ausführungsform kann die im Schritt des Bestimmens verwendete Bestimmungsvorschrift ausgebildet sein, um zu bewirken, dass eine Signatur für eine Mehrzahl von Pixeln zumindest eines Ausschnitts des Kamerabilds erzeugt wird, um eine Mehrzahl von Signaturen zu erhalten. Hierbei kann jede der Signaturen unter Verwendung eines Deskriptors mit einer Mehrzahl von unterschiedlichen Filtern erzeugt werden. Jedes Filter kann zumindest eine Symmetrieart aufweisen. Jede der Signaturen kann für jedes Filter des Deskriptors ein Vorzeichen aufweisen. Die Bestimmungsvorschrift kann auch ausgebildet sein, um zu bewirken, dass für die Signatur zumindest eine Spiegelsignatur für zumindest eine Symmetrieart der Filter ermittelt wird. Die Bestimmungsvorschrift kann ferner ausgebildet sein, um zu bewirken, dass ein die Signatur aufweisendes Pixel auf ein Vorliegen zumindest eines weiteren Pixels mit einer der zumindest einen Spiegelsignatur entsprechenden Signatur in einem Suchbereich in einer Umgebung um das Pixel überprüft wird, um bei Vorliegen zumindest eines weiteren Pixels Pixelkoordinaten zumindest eines symmetrischen Signaturpaars aus dem Pixel und einem weiteren Pixel zu ermitteln. Zudem kann die Bestimmungsvorschrift ausgebildet sein, um zu bewirken, dass die Pixelkoordinaten des zumindest einen symmetrischen Signaturpaars ausgewertet werden, um das zumindest eine Symmetriezentrum zu identifizieren. Der Deskriptor kann einen Bildinhalt in einer lokalen Umgebung um ein Pixel oder Referenzpixel in einer kompakten Form beschreiben. Eine Signatur kann einen Wert des Deskriptors für ein Pixel beschreiben, beispielsweise in einer binären Darstellung. Somit kann die zumindest eine Spiegelsignatur unter Verwendung mehrerer berechneter Signaturbilder, z.B. eines mit normalen Filtern, eines mit gerade punktgespiegelten Filtern, und eines mit ungerade punktgespiegelten Filtern, ermittelt werden. Zusätzlich oder alternativ kann zumindest ein Reflektor auf die Vorzeichen einer der Signaturen angewendet werden, um die zumindest eine Spiegelsignatur zu ermitteln. Hierbei kann jeder Reflektor für eine Symmetrieart spezifische und von den Filtern des Deskriptors abhängige Vorschriften zur Modifikation der Vorzeichen aufweisen. Dabei kann der Suchbereich von zumindest einem der angewendeten Reflektoren abhängig sein. Eine solche Ausführungsform bietet den Vorteil, dass eine effiziente und exakte Detektion einer Symmetrieeigenschaft in Bilddaten ermöglicht werden kann. Die Detektion von Symmetrien in Bildern kann hierbei mit minimalem Aufwand erzielt werden.
Dabei kann im Schritt des Bestimmens für jedes bereits bestimmte Symmetriezentrum unter Verwendung der Pixelkoordinaten jedes symmetrischen Signaturpaars, das zum korrekten Identifizieren des Symmetriezentrums beigetragen hat, eine Transformationsvorschrift zum Transformieren von Pixelkoordinaten des Symmetriezentrums und/oder des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs bestimmt werden. Die Transformationsvorschrift kann auf die Pixelkoordinaten des Symmetriezentrums und/oder des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs angewendet werden, um eine verzerrte Perspektive des Kamerabilds zu entzerren. Eine solche Ausführungsform bietet den Vorteil, dass eine zuverlässige und genaue Rekonstruktion des korrekten Rasters bzw. der korrekten Topologie mehrerer punktsymmetrischer Bereiche erreicht werden kann.
Auch kann im Schritt des Bestimmens eine Symmetrieart des zumindest einen Symmetriezentrums bestimmt werden. Die Symmetrieart kann eine gerade Punktsymmetrie und zusätzlich oder alternativ eine ungerade Punktsymmetrie repräsentieren. Zusätzlich oder alternativ kann hierbei im Schritt des Durchführens ein Vergleich der Symmetrieart des zumindest einen Symmetriezentrums in dem Kamerabild mit einer vordefinierten Symmetrieart zumindest eines Referenz-Symmetriezentrums in einem Referenzbild durchgeführt werden, um eine Übereinstimmung zwischen dem zumindest einen Symmetriezentrum und dem zumindest einen Referenz-Symmetriezentrum zu prüfen. Ungerade Punktsymmetrie kann durch eine Punktspiegelung mit Invertierung von Grauwerten bzw. Farbwerten erzeugt sein. Durch eine Verwendung und Identifikation der beiden unterschiedlichen Punktsymmetrien kann ein Informationsgehalt punktsymmetrischer Bereiche und Muster erhöht werden.
Die im Schritt des Einlesens eingelesenen Bilddaten können hierbei ein Kamerabild von zumindest einem Muster aus einer Mehrzahl von vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichen repräsentieren. Dabei kann im Schritt des Bestimmens eine geometrische Anordnung von Symmetriezentren des zumindest einen Musters bestimmt werden, eine geometrische Abfolge von Symmetriearten der Symmetriezentren bestimmt werden und zusätzlich oder alternativ unter Verwendung der Abfolge das Muster aus mehreren vordefinierten Mustern bestimmt werden. Die Anordnung und/oder die Abfolge kann oder können einen Identifikationscode des Musters repräsentieren. Eine solche Ausführungsform bietet den Vorteil, dass eine Sicherheit der Identifikation von Symmetriezentren erhöht werden kann und durch eine Erkennung eines spezifischen Musters weitere Informationen erhalten werden können. Auch kann eine zuverlässige Identifikation von Symmetriezentren für unterschiedliche Entfernungen zwischen Kamera und Muster erreicht werden.
Hierbei kann im Schritt des Bestimmens unter Verwendung der Anordnung der Symmetriezentren des zumindest einen Musters und zusätzlich oder alternativ der Abfolge von Symmetriearten der Symmetriezentren eine implizite Zusatzinformation des zumindest einen Musters oder eine Auslesevorschrift zum Auslesen einer expliziten Zusatzinformation in dem Kamerabild bestimmt werden. Die Anordnung und zusätzlich oder alternativ die Abfolge kann oder können die Zusatzinformation in codierter Form repräsentieren. Die Zusatzinformation kann auf das Steuern des Roboters bezogen sein. Eine solche Ausführungsform bietet den Vorteil, dass durch die Topologie des zumindest einen Musters zusätzliche Informationen kommuniziert werden können.
Auch kann dabei im Schritt des Durchführens abhängig von der bestimmten Anordnung, der bestimmten Abfolge und zusätzlich oder alternativ des bestimmten Musters das Referenzbild aus mehreren gespeicherten Referenzbildern ausgewählt werden oder unter Verwendung einer gespeicherten Erzeugungsvorschrift erzeugt werden. Auf diese Weise kann das korrekte Referenzbild zuverlässig identifiziert werden. Optional kann bei einer Verknüpfung zwischen identifizierte Muster und einer Erzeugungsvorschrift auch ein Speicherbedarf für Referenzbilder minimiert werden, da lediglich Erzeugungsvorschriften gespeichert zu sein brauchen.
Ferner kann oder können dabei der Schritt des Bestimmens und zusätzlich oder alternativ der Schritt des Durchführens unabhängig von der Symmetrieart der Symmetriezentren für alle Symmetriezentren gemeinsam ausgeführt werden oder abhängig von der Symmetrieart der Symmetriezentren für die Symmetriezentren derselben Symmetrieart gesondert ausgeführt werden. Somit kann durch gemeinsame Ausführung ein geringer Speicher- und Zeitbedarf für eine genaue und sichere Identifikation der Symmetriezentren erreicht werden. Optional können insbesondere Verwechslungen mit zufällig in Bildern vorkommenden Mustern durch gesonderte Ausführung minimiert werden.
Es wird auch ein Verfahren zum Steuern eines Roboters vorgestellt, wobei das Verfahren folgende Schritte aufweist:

Auswerten von gemäß einer Ausführungsform des vorstehend genannten Verfahrens bereitgestellten Navigationsdaten, um ein von den Navigationsdaten abhängiges Steuersignal zu erzeugen; und
Ausgeben des Steuersignals an eine Schnittstelle zu dem Roboter, um den Roboter zu steuern.

Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät oder einer Vorrichtung implementiert sein. Das Verfahren zum Steuern kann dabei in Verbindung mit einer Ausführungsform des vorstehend genannten Verfahrens zum Bereitstellen vorteilhaft ausgeführt werden.
Es wird ferner ein Verfahren zum Herstellen zumindest eines vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs zur Verwendung durch eine Ausführungsform eines vorstehend genannten Verfahrens vorgestellt, wobei das Verfahren folgende Schritte aufweist:

Generieren von Entwurfsdaten, die eine grafische Darstellung des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs repräsentieren; und

Erzeugen des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs unter Verwendung der Entwurfsdaten auf, an oder in einem Darstellungsmedium, um den zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereich herzustellen.
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät oder einer Vorrichtung implementiert sein. Durch Ausführen des Verfahrens zum Herstellen kann zumindest ein vordefinierter gerade und/oder ungerade punktsymmetrischer Bereich hergestellt werden, der im Rahmen einer Ausführungsform eines vorstehend genannten Verfahrens verwendet werden kann.
Gemäß einer Ausführungsform können im Schritt des Generierens Entwurfsdaten generiert werden, die eine grafische Darstellung des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs als ein Kreis, eine Ellipse, ein Quadrat, ein Rechteck, ein Fünfeck, ein Sechseck, ein Polygon oder ein Kreisring repräsentieren. Hierbei kann der zumindest eine vordefinierte gerade und/oder ungerade punktsymmetrische Bereich ein regelmäßiges oder quasi-zufälliges Inhaltsmuster aufweisen. Zusätzlich oder alternativ kann eine erste Hälfte einer Fläche des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs beliebig vorgegeben werden und kann eine zweite Hälfte der Fläche durch Punktspiegelung und optional zusätzlich Invertierung von Grauwerten und zusätzlich oder alternativ Farbwerten konstruiert werden. Zusätzlich oder alternativ kann im Schritt des Erzeugens der zumindest eine vordefinierte gerade und/oder ungerade punktsymmetrische Bereich durch einen additiven Fertigungsprozess, Trennen, Beschichten, Umformen, Urformen oder optisches Anzeigen erzeugt werden. Zusätzlich oder alternativ kann das Darstellungsmedium Glas, Stein, Keramik, Kunststoff, Gummi, Metall, Beton, Gips, Papier, Pappe, Lebensmittel oder eine optische Anzeigeeinrichtung aufweisen. Somit kann der zumindest eine vordefinierte gerade und/oder ungerade punktsymmetrische Bereich je nach konkretem Einsatz bzw. je nach konkreter Anwendung und den dort herrschenden Randbedingungen auf genau geeignete Weise hergestellt werden.
Auch können im Schritt des Generierens Entwurfsdaten generiert werden, die eine grafische Darstellung zumindest eines Musters aus einer Mehrzahl von vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichen repräsentieren. Hierbei kann zumindest eine Teilmenge der gerade und/oder ungerade punktsymmetrischen Bereiche an einem regelmäßigen oder unregelmäßigen Raster ausgerichtet sein, direkt aneinander angrenzen und zusätzlich oder alternativ teilweise von mindestens einem benachbarten gerade und/oder ungerade punktsymmetrischen Bereich durch einen Zwischenraum getrennt sein, hinsichtlich ihrer Abmessungen und/oder ihrer Inhaltsmuster identisch zueinander oder unterschiedlich voneinander sein und zusätzlich oder alternativ in einer gemeinsamen Ebene oder in unterschiedlichen Ebenen angeordnet sein. Zusätzlich oder alternativ können im Schritt des Generierens Entwurfsdaten generiert werden, die eine grafische Darstellung zumindest eines Musters mit hierarchischer Symmetrie repräsentieren. Auf diese Weise können unterschiedliche Muster mit spezifischem Informationsgehalt und zusätzlich oder alternativ Muster mit hierarchischen Symmetrien für unterschiedliche Entfernungen zum Muster hergestellt werden.
Insbesondere Menschen fällt die Wahrnehmung der in den Mustern versteckten Symmetrien schwer, selbst wenn bekannt ist, dass eine entsprechende Markierung vorhanden ist. Dies ermöglicht es beispielsweise auch, solche Markierungen zu verstecken. Das kann aus verschiedenen Gründen sinnvoll bzw. gewünscht sein, z. B. insbesondere aus ästhetischen Gründen, weil die technischen Markierungen nicht zu sehen sein sollen oder erwünscht sind, weil z. B. eine Konzentration nicht durch für Menschen unwichtige Markierungen gemindert werden soll, oder weil die Markierungen geheim bleiben sollen. Ästhetische Gründe spielen insbesondere auf dem Gebiet Design eine wichtige Rolle. Beispielsweise in einem Fahrzeuginnenraum, auf einer Außenhaut eines Fahrzeugs, auf ästhetisch gestalteten Gegenständen oder im Bereich der Innen- oder Gebäudearchitektur würden auffällige technische Marker nicht oder kaum akzeptiert. Wären sie jedoch versteckt, z. B. in einem Stoffmuster oder in einem Kunststoff- oder Keramikrelief oder in einem Hologramm oder auf einer bedruckten Fläche, wie es gemäß Ausführungsformen möglich ist, könnten sie gleichzeitig schön und nützlich sein, z. B. um einer Kamera einen oder mehrere Bezugspunkte zur Verfügung zu stellen, z. B. um damit eine relative Kamerapose ermitteln zu können. Der Aspekt des Versteckens kann je nach Anwendung auch irrelevant oder wenig relevant sein. Eine technische Robustheit spricht dann trotzdem für die Verwendung derart gestalteter Muster. Insbesondere kann ein Muster mit Zufallscharakter bzw. Pseudo-Zufallscharakter viele Möglichkeiten bieten, möglichst eindeutige symmetrische Punktepaare finden zu können. Dies kann gemäß Ausführungsformen beispielsweise ausgenutzt werden, insbesondere mit Vorteilen für das Signal-Rausch-Verhältnis eines gemessenen Ansprechens an den Symmetriezentren und damit für eine Robustheit im Sinne ihrer fehlerfreien Detektion und präzisen Lokalisation. Ein Muster kann insbesondere einen oder mehrere punktsymmetrische Bereiche mit ungerader oder gerader Punktsymmetrie umfassen. Diese Bereiche können beispielsweise kreisförmig, sechseckig, quadratisch, elliptisch, polygonal oder auch anders gestaltet sein. Die punktsymmetrischen Bereiche können gleichartig oder unterschiedlich in Form und Größe sein. Sie können lückenlos aneinander anschließen oder voneinander beabstandet sein.
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird. Dabei kann das Verfahren als Hardware-Beschleuniger auf einem SoC oder ASIC implementiert sein.
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

1 eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung zum Bereitstellen, eines Ausführungsbeispiels einer Vorrichtung zum Steuern und einer Kamera;
2 eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung zum Herstellen;
3 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Bereitstellen;
4 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Steuern;
5 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Herstellen;
6 schematische Darstellungen von Darstellungsmedien mit Mustern aus vordefinierten punktsymmetrischen Bereichen gemäß Ausführungsbeispielen;
7 schematische Darstellungen von Darstellungsmedien mit Mustern aus vordefinierten punktsymmetrischen Bereichen gemäß Ausführungsbeispielen;
8 schematische Darstellungen der Darstellungsmedien mit den Mustern aus 7 mit grafischer Hervorhebung der Muster bzw. der vordefinierten punktsymmetrischen Bereiche;
9 schematische Darstellungen von vordefinierten punktsymmetrischen Bereichen gemäß Ausführungsbeispielen;
10 eine schematische Darstellung eines Musters aus vordefinierten punktsymmetrischen Bereichen gemäß einem Ausführungsbeispiel;
11 eine schematische Darstellung zur Verwendung einer Nachschlagtabelle gemäß einem Ausführungsbeispiel;
12 ein schematisches Diagramm zu einer Abstimmungsmatrix gemäß einem Ausführungsbeispiel;
13 eine schematische Darstellung von beispielhaft in Würfelform angeordneten Mustern gemäß einem Ausführungsbeispiel im Hinblick auf eine korrekte Identifikation eines Rasters;
14 eine schematische Darstellung des in der ersten Teildarstellung von 6 gezeigten Musters in schräger Perspektive;
15 das Muster aus der ersten Teildarstellung von 14 mit einer Hervorhebung eines vordefinierten punktsymmetrischen Bereichs;
16 eine schematische Darstellung des Musters aus 15 nach einer perspektivischen Entzerrung gemäß einem Ausführungsbeispiel;
17 eine schematische Darstellung eines Ausführungsbeispiels eines Musters mit hierarchischer Symmetrie;
18 eine schematische Darstellung eines Ausführungsbeispiels eines Musters mit hierarchischer Symmetrie;
19 eine schematische Darstellung eines Ausführungsbeispiels eines Musters mit hierarchischer Symmetrie;
20 schematische Darstellungen von Mustern gemäß Ausführungsbeispielen;
21 eine schematische Darstellung einer Anwendungssituation für die Steuervorrichtung aus 1 und/oder das Verfahrens zum Steuern aus 4;
22 eine schematische Darstellung verschiedener Darstellungsmedien mit vordefinierten punktsymmetrischen Bereichen;
23 ein Kamerabild eines Förderbands als Darstellungsmedium mit einem Ausführungsbeispiel eines Musters aus vordefinierten punktsymmetrischen Bereichen und von auf dem Förderband abgelegten Objekten; und
24 das Kamerabild aus 23 nach einer Verarbeitung unter Verwendung des Verfahrens zum Bereitstellen aus 3.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
1 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung 120 zum Bereitstellen, eines Ausführungsbeispiels einer Vorrichtung 140 zum Steuern und beispielhaft lediglich einer Kamera 102. In der Darstellung von 1 sind die Vorrichtung 120 zum Bereitstellen bzw. Bereitstellungsvorrichtung 120 und die Vorrichtung 140 zum Steuern bzw. Steuervorrichtung 140 getrennt bzw. außerhalb der Kamera 102 angeordnet gezeigt. Die Bereitstellungsvorrichtung 120 und die Steuervorrichtung 140 sind datenübertragungsfähig mit der Kamera 102 verbunden. Gemäß einem anderen Ausführungsbeispiel kann oder können die Bereitstellungsvorrichtung 120 und/oder die Steuervorrichtung 140 auch Teil der Kamera 102 sein und/oder miteinander kombiniert sein.
Die Kamera 102 ist ausgebildet, um ein Kamerabild von einer Umgebung der Kamera 102 aufzunehmen. In der Umgebung der Kamera 102 ist beispielhaft lediglich ein vordefinierter gerade und/oder ungerade punktsymmetrischer Bereich 110 mit einem Symmetriezentrum 112 angeordnet. Auch ist die Kamera 102 ausgebildet, um Bilddaten 105 bereitzustellen bzw. zu erzeugen, die das Kamerabild repräsentieren, wobei das Kamerabild auch den vordefinierten gerade und/oder ungerade punktsymmetrischen Bereich 110 zeigt.
Die Bereitstellungsvorrichtung 120 ist ausgebildet, um Navigationsdaten 135 zum Steuern eines Roboters bereitzustellen. Hierbei kann oder können die Kamera 102, die Bereitstellungsvorrichtung 120 und/oder die Steuervorrichtung 140 als Teil des Roboters oder getrennt von denselben ausgeführt sein. Dazu umfasst die Bereitstellungsvorrichtung 120 eine Einleseeinrichtung 124, eine Bestimmungseinrichtung 126, eine Durchführungseinrichtung 130 und optional zusätzlich eine Ermittlungseinrichtung 132. Die Einleseeinrichtung 124 ist ausgebildet, um die Bilddaten 105 von einer Eingangsschnittstelle 122 der Bereitstellungsvorrichtung 120 zu der Kamera 102 einzulesen. Ferner ist die Einleseeinrichtung 124 auch ausgebildet, um die das Kamerabild repräsentierenden Bilddaten 105 an die Bestimmungseinrichtung 126 weiterzugeben.
Die Bestimmungseinrichtung 126 der Bereitstellungsvorrichtung 120 ist ausgebildet, um unter Verwendung der Bilddaten 105 und einer Bestimmungsvorschrift 128 das Symmetriezentrum 112 des zumindest einen punktsymmetrischen Bereichs 110 zu bestimmen. Auf die Bestimmungsvorschrift 128 wird nachfolgend noch detaillierter eingegangen. An dieser Stelle sei darauf hingewiesen, dass die Bestimmungsvorschrift 128 einer Vorgehensweise ähnelt oder entspricht, die in der nachveröffentlichten DE 10 2020 202 160 der Anmelderin offenbart ist. Die Bestimmungseinrichtung 126 ist auch ausgebildet, um das zumindest eine bestimmte Symmetriezentrum 112 an die Durchführungseinrichtung 130 weiterzugeben.
Die Durchführungseinrichtung 130 ist ausgebildet, um einen Vergleich einer Position des zumindest einen Symmetriezentrums 112 in dem Kamerabild mit einer vordefinierten Position zumindest eines Referenz-Symmetriezentrums in einem Referenzbild 115 relativ zu einem Bezugskoordinatensystem durchzuführen, um eine Positionsabweichung 131 zwischen dem Symmetriezentrum 112 und dem Referenz-Symmetriezentrums zu bestimmen. Die Durchführungseinrichtung 130 ist auch ausgebildet, um das Referenzbild 115 bzw. Referenzdaten 115 von einer Speichereinrichtung 150 einzulesen oder zu empfangen. Die Speichereinrichtung 150 kann als ein Teil der Bereitstellungsvorrichtung 120 oder gesondert von derselben ausgeführt sein. Ferner ist die Durchführungseinrichtung 130 gemäß einem Ausführungsbeispiel ausgebildet, um die Positionsabweichung 131 an die Ermittlungseinrichtung 132 weiterzugeben.
Die Ermittlungseinrichtung 132 ist gemäß einem Ausführungsbeispiel ausgebildet, um unter Verwendung der Positionsabweichung 131 dann Verschiebungsinformationen 133 für zumindest eine Teilmenge von Pixeln des Kamerabildes relativ zu korrespondierenden Pixeln des Referenzbildes 115 zu ermitteln.
Die Bereitstellungsvorrichtung 120 ist ausgebildet, um unter Verwendung der Positionsabweichung 131 und/oder der Verschiebungsinformationen 133 die Navigationsdaten 135 bereitzustellen. Genauer gesagt ist die Bereitstellungsvorrichtung 120 ausgebildet, um über eine Ausgangsschnittstelle 138 der Bereitstellungsvorrichtung 120 die Navigationsdaten 135 der Steuervorrichtung 140 bereitzustellen.
Die Steuervorrichtung 140 ist ausgebildet, um den Roboter zu steuern. Dazu umfasst die Steuervorrichtung 140 eine Auswerteeinrichtung 144 und eine Ausgabeeinrichtung 146. Die Steuervorrichtung 140 ist ausgebildet, um die Navigationsdaten 135 über eine Eingangsschnittstelle 142 der Steuervorrichtung 140 von der Bereitstellungsvorrichtung 120 zu empfangen bzw. einzulesen. Die Auswerteeinrichtung 144 ist ausgebildet, um die von der Bereitstellungsvorrichtung 120 bereitgestellten Navigationsdaten 135 auszuwerten, um ein von den Navigationsdaten 135 abhängiges Steuersignal 145 zu erzeugen. Die Auswerteeinrichtung 144 ist auch ausgebildet, um das Steuersignal 145 an die Ausgabeeinrichtung 146 weiterzugeben. Die Ausgabeeinrichtung 146 ist ausgebildet, um das Steuersignal 145 an eine Ausgangsschnittstelle 148 zu dem Roboter auszugeben, um die den Roboter zu steuern.
Insbesondere ist die Bestimmungsvorschrift 128 ausgebildet, um zu bewirken, dass eine Signatur für eine Mehrzahl von Pixeln zumindest eines Ausschnitts des Kamerabilds erzeugt wird, um eine Mehrzahl von Signaturen zu erhalten. Hierbei wird jede der Signaturen unter Verwendung eines Deskriptors mit einer Mehrzahl von unterschiedlichen Filtern erzeugt. Jedes Filter weist zumindest eine Symmetrieart auf. Jede der Signaturen umfasst für jedes Filter des Deskriptors ein Vorzeichen. Die Bestimmungsvorschrift 128 ist auch ausgebildet, um zu bewirken, dass zumindest ein Reflektor auf die Vorzeichen einer der Signaturen angewendet wird, um für die Signatur zumindest eine Spiegelsignatur für zumindest eine Symmetrieart der Filter zu ermitteln. Hierbei umfasst jeder Reflektor für eine Symmetrieart spezifische und von den Filtern des Deskriptors abhängige Vorschriften zur Modifikation der Vorzeichen. Die Bestimmungsvorschrift ist ferner ausgebildet, um zu bewirken, dass ein die Signatur aufweisendes Pixel auf ein Vorliegen zumindest eines weiteren Pixels mit einer der zumindest einen Spiegelsignatur entsprechenden Signatur in einem von zumindest einem der angewendeten Reflektoren abhängigen Suchbereich in einer Umgebung um das Pixel überprüft wird, um bei Vorliegen zumindest eines weiteren Pixels Pixelkoordinaten zumindest eines symmetrischen Signaturpaars aus dem Pixel und einem weiteren Pixel zu ermitteln. Zudem ist die Bestimmungsvorschrift ausgebildet, um zu bewirken, dass die Pixelkoordinaten des zumindest einen symmetrischen Signaturpaars ausgewertet werden, um das zumindest eine Symmetriezentrum zu identifizieren.
Gemäß einem Ausführungsbeispiel ist die Bestimmungseinrichtung 126 ausgebildet, um für jedes bereits bestimmte Symmetriezentrum 112 unter Verwendung der Pixelkoordinaten jedes symmetrischen Signaturpaars, das zum korrekten Identifizieren des Symmetriezentrums 112 beigetragen hat, eine Transformationsvorschrift zum Transformieren von Pixelkoordinaten des Symmetriezentrums 112 und/ oder des punktsymmetrischen Bereichs 110 zu bestimmen. Die Transformationsvorschrift wird auf die Pixelkoordinaten des Symmetriezentrums 112 und/ oder des punktsymmetrischen Bereichs 110 angewendet, um eine verzerrte Perspektive des Kamerabilds zu entzerren. Des Weiteren ist es vorteilhaft, weil robuster, genauer und weniger rausch behaftet, eine Transformationsvorschrift anhand mehrerer, insbesondere benachbarter, punktsymmetrischer Bereiche 110 zu bestimmen, insbesondere, wenn diese sich auf einer gemeinsamen Ebene befinden. Die Anwendung der Transformation ist besonders vorteilhaft, wenn eine Anordnung von mehreren Symmetriezentren 112 betrachtet wird.
Gemäß einem Ausführungsbeispiel ist die Bestimmungseinrichtung 126 auch ausgebildet, um eine Symmetrieart des zumindest einen Symmetriezentrums 112 zu bestimmen. Die Symmetrieart repräsentiert eine gerade Punktsymmetrie und zusätzlich oder alternativ eine ungerade Punktsymmetrie. Zusätzlich oder alternativ ist hierbei die Durchführungseinrichtung 130 ausgebildet, um einen Vergleich der Symmetrieart des zumindest einen Symmetriezentrums 112 in dem Kamerabild mit einer vordefinierten Symmetrieart zumindest eines Referenz-Symmetriezentrums in einem Referenzbild 115 durchzuführen, um eine Übereinstimmung zwischen dem zumindest einen Symmetriezentrum 112 und dem zumindest einen Referenz-Symmetriezentrum zu prüfen.
Insbesondere repräsentieren die Bilddaten 105 hierbei ein Kamerabild von zumindest einem Muster aus einer Mehrzahl von vordefinierten punktsymmetrischen Bereichen 110. Dabei ist die Bestimmungseinrichtung 126 ausgebildet, um eine geometrische Anordnung von Symmetriezentren 112 des zumindest einen Musters zu bestimmen, eine geometrische Abfolge von Symmetriearten der Symmetriezentren 112 zu bestimmen und/oder unter Verwendung der Abfolge das korrekte durch die Bilddaten 105 repräsentierte Muster aus mehreren vordefinierten Mustern zu bestimmen. Die Anordnung und/oder die Abfolge kann oder können einen Identifikationscode des Musters repräsentieren. Gemäß einem Ausführungsbeispiel ist die Bestimmungseinrichtung 126 hierbei ausgebildet, um unter Verwendung der Anordnung der Symmetriezentren 112 des zumindest einen Musters und/oder der Abfolge von Symmetriearten der Symmetriezentren 112 eine implizite Zusatzinformation des zumindest einen Musters oder eine Auslesevorschrift zum Auslesen einer expliziten Zusatzinformation in dem Kamerabild zu bestimmen. Die Anordnung und/oder die Abfolge repräsentiert oder repräsentieren die Zusatzinformation in codierter Form. Die Zusatzinformation ist auf das Steuern des Roboters bezogen. Zusätzlich oder alternativ ist hierbei die Durchführungseinrichtung 130 ausgebildet, um abhängig von der bestimmten Anordnung, der bestimmten Abfolge und/oder des bestimmten Musters das Referenzbild 115 aus mehreren gespeicherten Referenzbildern auszuwählen oder unter Verwendung einer gespeicherten Erzeugungsvorschrift zu erzeugen.
2 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung 200 zum Herstellen. Die Vorrichtung 200 zum Herstellen ist ausgebildet, um zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereich 110 zur Verwendung durch die Bereitstellungsvorrichtung aus 1 oder eine ähnliche Vorrichtung und/oder Steuervorrichtung aus 1 oder eine ähnliche Vorrichtung herzustellen. Dazu umfasst die Vorrichtung 200 zum Herstellen eine Generiereinrichtung 202 und eine Erzeugungseinrichtung 206. Die Generiereinrichtung 202 ist ausgebildet, um Entwurfsdaten 204 zu generieren. Die Entwurfsdaten 204 repräsentieren eine grafische Darstellung des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs 110. Die Erzeugungseinrichtung 206 ist ausgebildet, um unter Verwendung der Entwurfsdaten 204 den zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereich 110 auf, an oder in einem Darstellungsmedium zu erzeugen, um denselben herzustellen.
Gemäß einem Ausführungsbeispiel ist die Generiereinrichtung 202 ausgebildet, um Entwurfsdaten 204 zu generieren, die eine grafische Darstellung des zumindest einen vordefinierten punktsymmetrischen Bereichs 110 als ein Kreis, eine Ellipse, ein Quadrat, ein Rechteck, ein Fünfeck, ein Sechseck, ein Polygon oder ein Kreisring repräsentieren, wobei der zumindest eine vordefinierte punktsymmetrische Bereich 110 ein regelmäßiges oder quasi-zufälliges Inhaltsmuster aufweist, und/oder wobei eine erste Hälfte einer Fläche des zumindest einen vordefinierten punktsymmetrischen Bereichs 110 beliebig vorgegeben wird und eine zweite Hälfte der Fläche durch Punktspiegelung und/oder Invertierung von Grauwerten und/oder Farbwerten konstruiert wird. Zusätzlich oder alternativ ist die Erzeugungseinrichtung 206 ausgebildet, um den zumindest einen vordefinierten punktsymmetrischen Bereich 110 durch einen additiven Fertigungsprozess, Trennen, Beschichten, Umformen, Urformen oder optisches Anzeigen zu erzeugen. Zusätzlich oder alternativ weist das Darstellungsmedium hierbei Glas, Stein, Keramik, Kunststoff, Gummi, Metall, Beton, Gips, Papier, Pappe, Lebensmittel oder eine optische Anzeigeeinrichtung auf.
Gemäß einem Ausführungsbeispiel ist die Generiereinrichtung 202 ausgebildet, um Entwurfsdaten 204 zu generieren, die eine grafische Darstellung zumindest eines Musters aus einer Mehrzahl von vordefinierten punktsymmetrischen Bereichen 110 repräsentieren, wobei zumindest eine Teilmenge der punktsymmetrischen Bereiche 110 an einem regelmäßigen oder unregelmäßigen Raster ausgerichtet sind, direkt aneinander angrenzen und/oder teilweise von mindestens einem benachbarten punktsymmetrischen Bereich 110 durch einen Zwischenraum getrennt sind, hinsichtlich ihrer Abmessungen und/oder ihrer Inhaltsmuster identisch zueinander oder unterschiedlich voneinander sind und/oder in einer gemeinsamen Ebene oder in unterschiedlichen Ebenen angeordnet sind. Zusätzlich oder alternativ ist die Generiereinrichtung 202 ausgebildet, um Entwurfsdaten 204 zu generieren, die eine grafische Darstellung zumindest eines Musters mit hierarchischer Symmetrie repräsentieren.
3 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 300 zum Bereitstellen von Navigationsdaten zum Steuern eines Roboters. Das Verfahren 300 zum Bereitstellen ist hierbei unter Verwendung der Bereitstellungsvorrichtung aus 1 oder einer ähnlichen Vorrichtung ausführbar. Das Verfahren 300 zum Bereitstellen umfasst einen Schritt 324 des Einlesens, einen Schritt 326 des Bestimmens, einen Schritt 330 des Durchführens und optional zusätzlich einen Schritt 332 des Ermittelns.
In dem Schritt 324 des Einlesens werden mittels einer Kamera bereitgestellte Bilddaten von einer Schnittstelle zu der Kamera eingelesen. Die Bilddaten repräsentieren ein Kamerabild von zumindest einem vordefinierten gerade und/oder ungerade punktsymmetrischen Bereich in einer Umgebung der Kamera. Nachfolgend wird in dem Schritt 326 des Bestimmens unter Verwendung der Bilddaten und einer Bestimmungsvorschrift zumindest ein Symmetriezentrum des zumindest einen punktsymmetrischen Bereichs bestimmt. Wiederum nachfolgend wird in dem Schritt 330 des Durchführens ein Vergleich einer Position des zumindest einen Symmetriezentrums in dem Kamerabild mit einer vordefinierten Position zumindest eines Referenz-Symmetriezentrums in einem Referenzbild relativ zu einem Bezugskoordinatensystem durchgeführt, um eine Positionsabweichung zwischen dem Symmetriezentrum und dem Referenz-Symmetriezentrum zu bestimmen. Nachfolgend werden gemäß einem Ausführungsbeispiel in dem Schritt 332 des Ermittelns unter Verwendung der Positionsabweichung Verschiebungsinformationen für zumindest eine Teilmenge von Pixeln des Kamerabildes relativ zu korrespondierenden Pixeln des Referenzbildes ermittelt. Die Navigationsdaten werden unter Verwendung der Positionsabweichung und/oder der ermittelten Verschiebungsinformationen bereitgestellt.
Die im Schritt 324 des Einlesens eingelesenen Bilddaten repräsentieren gemäß einem Ausführungsbeispiel ein Kamerabild von zumindest einem Muster aus einer Mehrzahl von vordefinierten punktsymmetrischen Bereichen. Dabei wird im Schritt 326 des Bestimmens eine geometrische Anordnung von Symmetriezentren des zumindest einen Musters bestimmt, eine geometrische Abfolge von Symmetriearten der Symmetriezentren bestimmt und/oder unter Verwendung der Abfolge das Muster aus mehreren vordefinierten Mustern bestimmt. Die Anordnung und/oder die Abfolge repräsentiert oder repräsentieren einen Identifikationscode des Musters. Optional werden dabei der Schritt 326 des Bestimmens und/oder der Schritt 330 des Durchführens unabhängig von der Symmetrieart der Symmetriezentren für alle Symmetriezentren gemeinsam ausgeführt oder abhängig von der Symmetrieart der Symmetriezentren für die Symmetriezentren derselben Symmetrieart gesondert ausgeführt.
4 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 400 zum Steuern eines Roboters. Das Verfahren 400 zum Steuern ist dabei unter Verwendung der Steuervorrichtung aus 1 oder einer ähnlichen Vorrichtung ausführbar. Auch ist das Verfahren 400 zum Steuern in Verbindung mit dem Verfahren zum Bereitstellen aus 3 oder einem ähnlichen Verfahren ausführbar. Das Verfahren 400 zum Steuern umfasst einen Schritt 444 des Auswertens und einen Schritt 446 des Ausgebens.
In dem Schritt 444 des Auswertens werden gemäß dem Verfahren zum Bereitstellen aus 3 oder einem ähnlichen Verfahren bereitgestellte Navigationsdaten ausgewertet, um ein von den Navigationsdaten abhängiges Steuersignal zu erzeugen. Nachfolgend wird in dem Schritt 446 des Ausgebens das Ansteuersignal an eine Schnittstelle zu dem Roboter ausgegeben, um den Roboter zu steuern.
5 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 500 zum Herstellen. Das Verfahren 500 zum Herstellen ist ausführbar, um zumindest einen vordefinierten punktsymmetrischen Bereich zur Verwendung durch das Verfahren zum Bereitstellen aus 3 oder ein ähnliches Verfahren und/oder zur Verwendung durch das Verfahren zum Steuern aus 4 oder ein ähnliches Verfahren herzustellen. Auch ist das Verfahren 500 zum Herstellen in Verbindung mit bzw. unter Verwendung der Vorrichtung zum Herstellen aus 2 oder einer ähnlichen Vorrichtung ausführbar. Das Verfahren 500 zum Herstellen umfasst einen Schritt 502 des Generierens und einen Schritt 506 des Erzeugens.
In dem Schritt 502 des Generierens werden Entwurfsdaten generiert, die eine grafische Darstellung des zumindest einen vordefinierten punktsymmetrischen Bereichs repräsentieren. Nachfolgend wird in dem Schritt 506 des Erzeugens unter Verwendung der Entwurfsdaten der zumindest eine vordefinierte punktsymmetrische Bereich auf, an oder in einem Darstellungsmedium erzeugt, um den zumindest einen vordefinierten punktsymmetrischen Bereich herzustellen.
6 zeigt schematische Darstellungen von Darstellungsmedien 600 mit Mustern 610 aus vordefinierten punktsymmetrischen Bereichen 110A und 110B gemäß Ausführungsbeispielen. Jeder der vordefinierten punktsymmetrischen Bereiche 110A und 110B entspricht oder ähnelt hierbei dem vordefinierten punktsymmetrischen Bereich aus 1. In einer ersten Teildarstellung A ist ein Muster 610 aus lediglich beispielhaft 49 vordefinierten punktsymmetrischen Bereichen 110A und 110B gezeigt und in einer zweiten Teildarstellung B ist ein Muster 610 aus lediglich beispielhaft acht vordefinierten punktsymmetrischen Bereichen 110A und 110B gezeigt. Hierbei weisen erste vordefinierte punktsymmetrische Bereiche 110A als Symmetrieart ungerade Punktsymmetrie auf und weisen zweite vordefinierte punktsymmetrische Bereiche 110B als Symmetrieart gerade Punktsymmetrie auf. Auf jedem der Darstellungsmedien 600 ist hierbei ein rauschartiges Bildmuster mit dem jeweiligen Muster 610 gedruckt.
Anhand von 6 kann eine gemäß Ausführungsbeispielen erfolgende Nutzung von Symmetrien im Bereich des maschinellen Sehens veranschaulicht werden, wobei die Symmetrien für den Menschen nicht oder kaum wahrnehmbar gestaltet sein können, gleichzeitig für Ausführungsbeispiele jedoch robust, örtlich präzise, und mit minimalem Rechenaufwand detektierbar sind. In den Mustern 610 sind hierbei Punktsymmetrien quasi versteckt, die für einen Betrachter kaum erkennbar sind. Durch grafische Hervorhebung der vordefinierten punktsymmetrischen Bereiche 110A und 110B in 6 sind dieselben für einen menschlichen Betrachter in dem rauschartigen Bildmuster auf den Darstellungsmedien 600 erkennbar. In der ersten Teildarstellung A sind 49 beispielhaft kreisförmige symmetrische Bereiche 110A und 110B enthalten, davon lediglich beispielhaft 25 erste Bereiche 110A mit ungerader Punktsymmetrie und 24 zweite Bereich 110B mit gerader Punktsymmetrie. In der zweiten Teildarstellung B sind die symmetrischen Bereiche 110A und 110B, von denen lediglich beispielhaft fünf eine ungerade Punktsymmetrie und lediglich beispielhaft drei eine gerade Punktsymmetrie aufweisen, größer gewählt als in der ersten Teildarstellung A, und damit insbesondere für größere Kamera-Distanzen bzw. niedrigere Bildauflösungen geeignet. Auf den als Platten ausgeführten Darstellungsmedien 600 befinden sich also kreisförmige symmetrische Bereiche 110A und 110B, wobei im Falle von ungerader bzw. negativer Punktsymmetrie, die Punktspiegelung hell auf dunkel abbildet und umgekehrt, während im Falle von gerader bzw. positiver Punktsymmetrie diese Umkehrung nicht stattfindet. Werden mehrere Muster 610 benötigt, können diese unterscheidbar gestaltet werden. Dies kann über die Anordnung der Symmetriezentren der Bereiche 110A und 110B geschehen, wie in 6 zu sehen, in der die erste Teildarstellung A und die zweite Teildarstellung B einfach unterscheidbar sind, oder anhand der Abfolge von negativen bzw. ungeraden und positiven bzw. geraden Punktsymmetrien der Bereiche 110A und 110B innerhalb jeweiliger Muster 610.
7 zeigt schematische Darstellungen von Darstellungsmedien 600 mit Mustern 610 aus vordefinierten punktsymmetrischen Bereichen gemäß Ausführungsbeispielen. Die Muster 610 entsprechen oder ähneln hierbei einem der Muster aus 6, wobei die Muster 610 in der Darstellung von 7 ohne grafische Hervorhebung gezeigt sind. In 7 sind lediglich beispielhaft zehn Darstellungsmedien 600 ähnlich jenen aus 6 gezeigt.
8 zeigt schematische Darstellungen der Darstellungsmedien 600 mit den Mustern 610 aus 7 mit grafischer Hervorhebung von Mustern bzw. vordefinierten punktsymmetrischen Bereichen 110A und 110B. Es sind lediglich beispielhaft auf den zehn Darstellungsmedien 600 hierbei Muster 610 mit vordefinierten punktsymmetrischen Bereichen 110A und 110B angeordnet bzw. grafisch hervorgehoben dargestellt.
Somit zeigen 7 und 8 lediglich beispielhaft zehn auf Unterscheidbarkeit optimierte Muster 610. Jedes Muster 610 weist eine individuelle Anordnung der ungerade und gerade punktsymmetrischen Bereiche 110A und 110B auf. Die Muster 610 sind also durch diese Anordnung codiert. Die Codierungen wurden hier so gewählt und aufeinander abgestimmt und/oder per Training optimiert, dass die zehn Muster 610 selbst dann noch eindeutig erkennbar und unterscheidbar sind, wenn sie rotiert oder gespiegelt oder teilweise verdeckt von der Kamera erfasst werden. In den Mustern 610 aus 7 und 8 sind jeweils die punktsymmetrischen Bereiche 110A und 110B in den vier Ecken jedes Darstellungsmediums 600 absichtlich etwas auffälliger gestaltet. Dies ist für die Funktion an sich irrelevant, bietet aber praktische Vorteile bei der manuellen Montage der Darstellungsmedien 600 mit den Mustern 610. Die Darstellungsmedien 600 mit den Mustern 610 können im Rahmen des bereits beschriebenen Herstellungsverfahrens beliebig arrangiert werden, z. B. dreidimensional oder flach in Reihe oder als Fläche. Die Punktsymmetriezentren der Muster 610 können im Rahmen des bereits beschriebenen Bereitstellungsverfahrens und/oder mittels der bereits beschriebenen Bereitstellungsvorrichtung korrekt und präzise gefunden werden. Die Muster 610 können beispielsweise auf stabile Platten beliebiger Größe gedruckt sein, die optional in teilweise rechtwinkliger Anordnung relativ zueinander platziert sein können. Auch bei unscharfer Abbildung der Muster 610 durch die Kamera können die Symmetriezentren hinreichend gut detektiert werden, um damit die beschriebenen Funktionen zu ermöglichen. Somit ist die Detektion der Punktsymmetriezentren robust gegenüber einer unscharfen Abbildung. Das erweitert den Einsatzbereich auf Situationen, in denen mit geringer Schärfentiefe gearbeitet wird, z. B. Szenen mit wenig Licht, oder in denen der Fokus bzw. Autofokus der Kamera fehlerhaft gesetzt ist oder eine perfekt scharfe Abbildung nicht realisierbar ist, z. B. in flüssigen oder trüben oder bewegten Medien oder im Randbereich eines Objektivs oder während einer Relativbewegung zwischen Muster 610 und Kamera (Bewegungsunschärfe, gerichtete Unschärfe). Auch wenn Punktsymmetrien natürlich und insbesondere in vom Menschen gestalteten Umgebungen vorkommen, sind darauf beruhende etwaige Fehldetektionen jedoch anders örtlich verteilt als die auf korrekten Mustern 610 beruhenden Detektionen und somit lassen sich beide Gruppen leicht voneinander trennen bzw. unterscheiden.
Um zu vermitteln, dass das vorstehend genannte Bereitstellungsverfahren auch für nichtebene und sogar für elastische Oberflächen in Bewegung funktioniert, können die Muster 610 aus 7 und 8 beispielsweise auf Papier gedruckt und zu einer flexiblen Schachtel zusammengefügt werden. Auch bei nichtebenen oder elastischen Oberflächen (wie beispielsweise aus Papier) funktioniert das vorstehend genannte Bereitstellungsverfahren problemlos. Dies ermöglicht die Bestimmung von Bewegungen dieser Oberflächen. Papier erlaubt im Gegensatz zu vielen Stoffen zwar keine Scherung, jedoch ist die Punktsymmetrie auch invariant gegenüber der Scherung, so dass diese keine Schwierigkeit darstellt.
Insbesondere eine Lage der Symmetriezentren in den Kamerabildern kann präzise ermittelt werden. Es kann jedoch in verschiedenen Anwendungen auch von Interesse sein, diese präzise Vermessung auf die gesamte Fläche des Musters 610 auszudehnen. Also für jeden Punkt bzw. Pixel des Musters 610 anzugeben, wo dieser sich im Kamerabild befindet. Das erlaubt dann z. B., kleinste Abweichungen zwischen dem real beobachteten Muster 610 und dem idealen Muster gemäß Konstruktion (Ground Truth) zu ermitteln. Dies ist beispielsweise von Interesse, wenn das Muster 610 auf einer nicht glatten oder nicht starren Oberfläche gedruckt aufgebracht ist und dadurch z. B. veränderliche Falten oder Dellen im Muster 610 entstehen, deren genaue Form ermittelt werden soll. Insbesondere Muster mit Zufallscharakter sind ausgezeichnet geeignet, um korrespondierende Punkte von einem ersten Bild zu einem zweiten Bild zu finden. Dabei können das erste und zweite Bild in zeitlicher Abfolge mit derselben Kamera aufgenommen sein oder von zwei Kameras aus unterschiedlicher Perspektive.
Insbesondere soll nun der Fall betrachtet werden, wenn das erste Bild ein reales Bild von einer Kamera ist und das zweite Bild ein künstlich erzeugtes (gespeichertes) Bild des gegebenen Musters, auch Referenzbild genannt, das z. B. anhand der gefundenen Symmetriezentren so ins zweite Bild platziert wurde (z. B. skaliert, gedreht, affin abgebildet, projiziert), dass es dem realen (ersten) Bild möglichst nahekommt. Beim Referenzbild können ggf. Verarbeitungsschritte übersprungen bzw. eingespart werden, die beim ersten Bild, das von der Kamera kommt, notwendig sind, z. B. Schritte der Bildvorverarbeitung. Dann können nachfolgend bekannte Methoden z. B. des optischen Flusses oder der Disparitätsschätzung angewendet werden, um z. B. für jeden Pixel im Kamerabild die Korrespondenz im Referenzbild zu finden - oder umgekehrt. Damit ergibt sich also ein zweischrittiges Vorgehen: Im ersten Schritt werden die gefundenen Symmetriezentren und ggf. die enthaltene Codierung ausgenutzt, um das reale Bild auf das bekannte Muster zu registrieren oder grob auszurichten. Dies stellt dann die Initialisierung dar, um im zweiten Schritt z. B. mit Methoden des optischen Flusses nochmals die kleinsten Abweichungen im Sinne örtlicher Verschiebungen zwischen registriertem realem Bild und Muster präzise zu ermitteln, und zwar bei Bedarf für jeden Punkt bzw. Pixel des Bildes oder des Musters 610. Der aufzuwendende Rechenaufwand für den zweiten Schritt ist umso kleiner, je kleiner der Suchbereich ist. Hier ist er in der Regel sehr klein - aufgrund der guten Initialisierung aus dem ersten Schritt. Da beide Schritte wenig Rechenaufwand beanspruchen, wird auf üblichen Rechnerplattformen ein hoher Pixel-Durchsatz erreicht, der als Produkt aus Bildwiederholrate [Bilder/s] und Bildgröße [Pixel/Bild] definiert ist. Wenn stellenweise keine Übereinstimmung auffindbar ist, ist dies in der Regel dadurch zu erklären, dass die Sicht auf das Muster 610 durch ein Objekt verdeckt ist. Hieraus können Rückschlüsse auf eine Form bzw. einen Umriss des verdeckenden Objekts gezogen werden.
Für das vorstehend genannte zweischrittige Vorgehen soll das Referenzbild bereitgestellt werden. Das kann so gelöst werden, dass für alle in Frage kommenden Muster 610 das zugehörige Referenzbild in einem Speicher vorgehalten wird. Der hiermit einhergehende Speicheraufwand kann reduziert werden, indem man nur die jeweiligen Parameter speichert, die notwendig sind, um das Referenzbild bei Bedarf neu zu errechnen bzw. zu generieren. Die Muster 610 können beispielsweise nach einfachen Regeln mit Hilfe eines Quasi-Zufallszahlen-Generators erzeugt werden. Das Wort „Quasi“ deutet hier an, dass der Zufallszahlen-Generator in Wirklichkeit nach deterministischen Regeln arbeitet und seine Ergebnisse daher reproduzierbar sind, was hier von Vorteil ist. Unter Regeln ist hier beispielsweise zu verstehen, welchen Durchmesser die symmetrischen Bereiche 110A und 110B haben und wie die Spiegelung durchzuführen ist und wie das Muster 610 aus mehreren Mustern mit unterschiedlichem Detaillierungsgrad gewichtet zusammengesetzt wird, z. B. damit es bei kurzen, mittleren und großen Distanzen gut detektierbar ist. Es genügt dann, nur die Initialisierungsdaten (Seeds) des Quasi-Zufallszahlen-Generators und ggf. die Auswahl der Regeln für den Bau des Musters 610 zu speichern. Mittels dieser Bildungsvorschrift kann das Referenzmuster bei Bedarf immer wieder neu und identisch erzeugt (und anschließend wieder gelöscht) werden.
Zusammengefasst lässt sich das zweischrittige Vorgehen beispielsweise etwa wie folgt darstellen. Im ersten Schritt werden die Symmetriezentren gefunden und ihre Vorzeichen ermittelt. Mit Vorzeichen ist hier die Fallunterscheidung zwischen ungerader und gerader Symmetrie gemeint. Durch einen Vergleich der Abfolge der Vorzeichen wird ermittelt, um welches von mehreren Mustern es sich handelt. Die Abfolge der Vorzeichen des Musters 610 kann auch als Code bezeichnet werden. Dieser ist kompakt beschreibbar und benötigt bei einem Muster 610 mit beispielsweise 8×8 Symmetriezentren höchstens 64 bit. Zum Zweck des Vergleichs sollten alle existierenden bzw. in Frage kommenden Codes gespeichert sein. Aus dieser Menge wird der Code gesucht, der mit der Beobachtung möglichst widerspruchsfrei übereinstimmt. Dieses Ergebnis ist in der Regel eindeutig. Diese Suche ist auch dann noch möglich, wenn die Kamera z. B. wegen Verdeckung nur einen Teil des Musters 610 erfassen kann, denn der Code bietet in diesem Beispiel mit 8×8 Symmetriezentren eine sehr große Zahl von bis zu 2⁶⁴ Möglichkeiten, während die Zahl der gefertigten Muster 610 viel kleiner sein wird, so dass eine hohe Redundanz gegeben ist. Für jeden gespeicherten Code sollten auch die Informationen wie Parameter und Auswahl der Regeln gespeichert sein, die notwendig sind, um das Referenzbild zu erzeugen. Dieses wird für den zweiten Schritt erzeugt, z. B. nach Bedarf, also erst zu dem Zeitpunkt, wenn es benötigt wird, und ggf. nur temporär.
Anhand der im ersten Schritt gefundenen Positionen der Symmetriezentren in den Koordinaten des Kamerabilds und den bekannten, dazu korrespondierenden Positionen im Referenzbild kann eine Transformationsvorschrift errechnet werden, die diese Koordinaten möglichst gut ineinander abbildet, zum Beispiel mit einer projektiven oder affinen Abbildung, die im Sinne der kleinsten Quadrate optimiert wird. Mit dieser Transformation und geeigneter Filterung der Bilddaten können die beiden Bilder in ein gemeinsames Koordinatensystem transformiert (gewarpt) werden, z. B. in das Koordinatensystem des Kamerabilds oder in das Koordinatensystem des Referenzbilds oder in ein beliebiges drittes Koordinatensystem. Die beiden somit bereits aufeinander ausgerichteten Bilder werden anschließend genauer verglichen, z. B. mit Methoden des optischen Flusses. Beispielsweise wird für jedes Pixel des ersten Bildes, vorzugsweise unter Berücksichtigung seiner Umgebung, das beste korrespondierende Pixel, mit Umgebung, des zweiten Bildes gesucht. Die relative Verschiebung der korrespondierenden Positionen kann als Verschiebungsinformation, insbesondere als absolute Koordinaten oder als Verschiebungsvektor ausgedrückt werden. Die Ermittlung eines solchen Verschiebungsvektors kann mit Sub-Pixel-Genauigkeit erfolgen, die Korrespondenz liegt dann in der Regel nicht auf dem Pixelraster, sondern dazwischen. Diese Information erlaubt hochgenaue Analysen auf der gesamten Fläche des im Kamerabild erfassten Musters 610, z. B. um mit elastischen Mustern Verformungen oder Verzerrungen des Musters 610 bzw. seines Trägers/Darstellungsmediums 600 oder aber bei starren Mustern Abweichungen der Abbildung im optischen Pfad zu analysieren.
Ist eine gesuchte Korrespondenz im erwarteten Bereich nicht auffindbar, kann so auf eine lokale Verdeckung des Musters 610 zurückgeschlossen werden. Ursache der Verdeckung kann z. B. ein Objekt sein, das auf dem Muster 610 liegt, oder ein zweites Muster, das das erste Muster teilweise verdeckt. Aus dieser Verdeckungsanalyse können ebenfalls wertvolle Informationen geschöpft werden, z. B. Masken oder Umrisse der Objekte.
9 zeigt schematische Darstellungen von vordefinierten punktsymmetrischen Bereichen 110A und 110B gemäß Ausführungsbeispielen. Jeder der vordefinierten punktsymmetrischen Bereiche 110A und 110B entspricht oder ähnelt hierbei dem vordefinierten punktsymmetrischen Bereich aus einer der vorstehend beschriebenen Figuren. In einer ersten Teildarstellung A ist ein zweiter punktsymmetrischer bzw. gerade punktsymmetrischer Bereich 110B einschließlich seines Symmetriezentrums 112 gezeigt und in einer zweiten Teildarstellung B ist ein erster punktsymmetrischer bzw. ungerade punktsymmetrischer Bereich 110A einschließlich seines Symmetriezentrums 112 gezeigt. Die vordefinierten punktsymmetrischen Bereiche 110A und 110B repräsentieren hierbei mit Graustufen gebildete Bereiche.
Die Verwendung der Punktsymmetrie hat gegenüber anderen Symmetrieformen die Vorteile, dass sie bei Drehung des Musters und/oder des zumindest einen vordefinierten punktsymmetrischen Bereichs, um die Sichtachse, erhalten bleibt, dass bei Verkippung des Musters und/oder des zumindest einen vordefinierten punktsymmetrischen Bereichs, also unter schrägen Perspektiven, ebenfalls erhalten bleibt. Drehung und Verkippung des Musters /oder des zumindest einen vordefinierten punktsymmetrischen Bereichs stellen kein Problem für die Detektion der ungeraden und geraden Punktsymmetrien dar, denn diese bleiben dabei erhalten. Dadurch ist das vorstehend bereits genannte Verfahren zum Bereitstellen bzw. Bereitstellungsverfahren auch für schräge Perspektiven auf das Muster bzw. den zumindest einen vordefinierten punktsymmetrischen Bereich geeignet. Bei gerader Punktsymmetrie bleibt beispielsweise ein Grau- oder Farbwert bei der Punktspiegelung erhalten.
Punktsymmetrisch zu dem Symmetriezentrum 112 in der ersten Teildarstellung A von 9 findet man zu jedem Grauwert g jeweils denselben Partner-Grauwert g_PG = g. In der zweiten Teildarstellung B von 9 ist ungerade Punktsymmetrie dargestellt, wobei der Grauwert jeweils invertiert wird: Beispielsweise wird weiß zu schwarz und umgekehrt, hellgrau zu dunkelgrau und umgekehrt. In diesem Beispiel mit Grauwerten g im Intervall 0 ≤ g ≤ 1 wurden die punktgespiegelten Grauwerte g_PU auf die einfachstmögliche Weise gemäß g_PU = 1 - g aus den originalen Grauwerten g aus einer in der Darstellung von 9 oben gezeigten Hälfte des Bereichs 110A gebildet. Es können auch Nichtlinearitäten in die Invertierung integriert werden, beispielsweise Gamma-Korrekturen, z. B. um andere Nichtlinearitäten in der Bilddarstellung und Bildaufnahme zu kompensieren. Die Bildung geeigneter ungerader oder gerader punktsymmetrischer Muster ist entsprechend einfach. Beispielsweise wird die in der Darstellung von 9 oben gezeigte Hälfte des jeweiligen Bereichs 110A bzw. 110B beliebig festgelegt oder per Zufall generiert. Die in der Darstellung von 9 unten gezeigte Hälfte ergibt sich dann daraus, und zwar per Punktspiegelung mit Invertierung der Grauwerte für ungerade Punktsymmetrie oder ohne Invertierung der Grauwerte für gerade Punktsymmetrie.
Diese Betrachtung bzw. Erzeugung lässt sich auch auf farbige Muster und/oder vordefinierter punktsymmetrischer Bereiche erweitern. Bei der ungeraden Punktsymmetrie können hierbei die punktgespiegelten RGB-Werte durch Invertierung der einzelnen originalen RGB-Werte gebildet werden, was wieder die einfachste Möglichkeit darstellt, also r_PU = 1 - r (rot), g_PU = 1 - g (g steht hier für grün), b_PU = 1 - b (blau). So wird beispielsweise dunkelviolett auf hellgrün abgebildet und blau auf orange. Farbige Muster können mehr Information als monochrome Muster repräsentieren, was vorteilhaft sein kann. Voraussetzung für die Nutzung dieses Vorteils ist, dass bei der Umwandlung des Originalbilds, d.h. Farbbild einer Kamera oder eines anderen bildgebenden Sensors, in Deskriptoren die Farbinformation auch ausgenutzt wird.
Nachfolgend soll auch unter Bezugnahme auf die vorstehend beschriebenen Figuren auf eine konkrete Ausführung der Muster 610 und/oder des zumindest einen vordefinierten punktsymmetrischen Bereichs 110 bzw. 110A und/oder 110B eingegangen werden.
Hinsichtlich einer Anordnung der Muster 610 und/oder des zumindest einen vordefinierten punktsymmetrischen Bereichs 110 bzw. 110A und/oder 110B können, wie z. B. in 6, die punktsymmetrischen Bereiche 110 bzw. 110A und/oder 110B beispielsweise kreisförmig sein und können diese wiederum meistens in einem regelmäßigen Gitter in dem Muster 610 angeordnet sein. Zwischen den kreisförmigen Bereichen 110 bzw. 110A und/oder 110B können beispielsweise Flächen ungenutzt bleiben. Dazu gibt es Alternativen: Beispielsweise können die Bereiche 110 bzw. 110A und/oder 110B quadratisch sein und lückenlos aneinander anschließen, so dass die gesamte Fläche ausgenutzt wird, oder die symmetrischen Bereiche 110 bzw. 110A und/oder 110B können regelmäßige Sechseckflächen sein, die ebenfalls lückenlos aneinander anschließen, so dass die gesamte Fläche ausgenutzt wird.
10 zeigt in diesem Zusammenhang eine schematische Darstellung eines Musters 610 aus vordefinierten punktsymmetrischen Bereichen 110A und 110B gemäß einem Ausführungsbeispiel. Die vordefinierten punktsymmetrischen Bereiche 110A und 110B entsprechen oder ähneln hierbei den vordefinierten punktsymmetrischen Bereichen aus 1, 6 und/oder 8. Die Bereiche 110A und 110B in 10 sind jeweils kreisförmig und sind auf einem hexagonalen Raster angeordnet. Hierbei kann ein Abstand zwischen Rasterpunkten bzw. Symmetriezentren dem Kreisdurchmesser entsprechen. So kann eine ungenutzte Fläche 1010 zwischen den Bereichen 110A und 110B in dem Muster 610 minimiert werden.
Auch andere Anordnungen und Formen, z. B. Rechtecke, Polygone etc., sind möglich, die auch miteinander in Form und/oder Größe kombiniert werden können. Beispielsweise ein Wechsel von Fünf- und Sechsecken wie auf einem gewöhnlichen Fußball. Auch können die Formen anders angeordnet, z. B. gedreht sein, ggf. mit unsymmetrischen Bereichen dazwischen. Es ist auch möglich, dass das Symmetriezentrum außerhalb des punktsymmetrischen Bereichs selbst liegt. Dies ist beispielsweise bei einem Kreisring als Form der Fall. Es ist auch nicht nötig, dass alle punktsymmetrischen Bereiche in einer gemeinsamen Ebene liegen. Sie können stattdessen auf unterschiedlichen, im Raum angeordneten Flächen liegen, die auch uneben sein dürfen.
Die Muster 610 und/oder der zumindest eine vordefinierte punktsymmetrische Bereich 110 bzw. 110A und/oder 110B kann bzw. können auf unterschiedlichste Art gebildet sein. Nachfolgend sind lediglich einige Beispiele angegeben. Zufallsmuster bzw. Quasi-Zufallsmuster wie Rauschmuster. Diese wurden, durch Einbeziehen niedriger Ortsfrequenzanteile, so gebildet, dass sie auch bei mittleren und größeren Distanzen von der Kamera noch als ausreichend kontrastreiche Rauschmuster wahrgenommen werden. Sogenanntes weißes Rauschen, d. h. unkorrelierte Grauwerte, wäre hierfür ungeeignet. Ästhetische, ggf. regelmäßige Muster, wie Blumenmuster, Rankenmuster (Blätter, Zweige, Blüten), Ornamentmuster, Mosaiken, mathematische Muster, traditionelle Muster, Zwiebelmuster, Muster aus ikonischen Symbolen (Herzen usw.). Nachahmen von Zufallsmustern aus der Natur, z. B. Ackerboden, Waldboden, Rasen, Kiesstrand, Sand, Schüttgut (Schotter, Salz, Reis, Samenkörner), Marmor, Bruchstein, Beton, Ziegelstein, Schiefer, Asphaltoberfläche, Sternenhimmel, Wasseroberfläche, Filz, Hammerschlaglack, rostiges Eisenblech, Schaffell, verstreute Partikel, usw. Fotos von Szenen mit beliebigem Inhalt. Um aus einem solchen Muster einen für die hierin genannten Zwecke geeigneten punktsymmetrischen Bereich und/oder ein Muster zu erzeugen, gibt man eine Hälfte der jeweiligen Fläche beliebig vor und konstruiert die zweite Hälfte durch Punktspiegelung und ggf. Invertierung der Grauwerte bzw. Farbwerte. Siehe hierzu auch 9 als einfaches Beispiel.
Hinsichtlich Material, Oberfläche und Herstellung des Musters 610 und/oder des zumindest einen vordefinierten punktsymmetrischen Bereichs 110 bzw. 110A und/oder 110B kommen zahlreiche Möglichkeiten in Frage. Die folgende Liste erhebt keinen Anspruch auf Vollständigkeit: Schwarzweiß-, Graustufen- oder Mehrfarbdruck auf unterschiedlichste Materialien, Druck auf oder hinter Glas oder transparente Folie, Druck auf oder hinter Mattglas oder semitransparente Folie, Relief in Stein oder Glas oder Kunststoff oder Gummi, Relief in gebrannten Materialien wie Steingut, Terrakotta oder Keramik, Relief-Guss in Metall oder Beton oder Gips, Prägung in Kunststoff oder Papier/Pappe, Ätzung in Glas- oder Metall- oder Keramikoberfläche, Fräsung in Holz, Pappe, Metall, Stein etc., Brandoberfläche in Holz oder Papier, photographische Belichtung von Papier oder anderen Materialien, vergängliche bzw. verrottende bzw. wasserlösliche Muster für Kurzzeit-Anwendungen in pflanzlichem Material, Asche, Sand, Holz, Papier, auf Früchten, Schalen von Lebensmitteln etc., Darstellung als Hologramm, Darstellung auf einem Monitor oder Display, ggf. auch zeitlich veränderlich, Darstellung auf einer LCD-Folie oder einer sonstigen Display-Folie, ggf. auch zeitlich veränderlich, etc.
Hinsichtlich reliefartiger Herstellungsmöglichkeiten, wie auch im Fall von Fräsung, Prägung, Stanzung usw., ist anzumerken, dass der Bereich von der Kamera als ungerade und/oder gerade symmetrisch wahrgenommen werden soll. Daher kann es nötig sein, bereits beim Entwurf z. B. eine spätere Beleuchtung, wie beispielsweise schrägen Lichteinfall auf ein Relief, und Nichtlinearitäten in der optischen Abbildung und sonstige Störungen zu berücksichtigen. Es ist nicht entscheidend, dass die 3D-Form bzw. das Relief an sich die gerade und/oder ungerade Punktsymmetrieart aufweist, sondern das von der Kamera aufgenommene Bild diese Symmetrie zeigt. Dabei sind auch Lichteinfall bzw. Beleuchtungsrichtung und Reflexion des Lichts an der Oberfläche relevant und sollten beim Entwurf mitbedacht werden. Hinsichtlich Bildaufnahme und Beleuchtung sei angemerkt, dass für eine Erfassung des Musters 610 und/oder des zumindest einen vordefinierten punktsymmetrischen Bereichs 110 bzw. 110A und/oder 110B die Aufnahmetechnik geeignet ausgelegt sein sollte. Insbesondere ist es bei schnellen Relativbewegungen zwischen Muster 610 und/oder Bereich(en) 110 bzw. 110A und/oder 110B und Kamera ratsam, eine geeignete Beleuchtung (z.B. Blitzlicht oder Stroboskoplicht oder helles LED-Licht) zu verwenden, damit die Belichtungszeit und somit die Bewegungsunschärfe im Bild klein gehalten werden kann. Für verschiedene Anwendungen ist es sinnvoll, Muster 610 und/oder Bereich(e) 110 bzw. 110A und/oder 110B auf eine transparente oder semitransparente Oberfläche aufzubringen. Dies ermöglicht, Muster 610 und/oder Bereich(e) 110 bzw. 110A und/oder 110B von der einen Seite zu beleuchten und von der anderen Seite zu beobachten. Mit dieser Lösung lassen sich störende Reflexionen der Lichtquelle auf dem Darstellungsmedium wirkungsvoll vermeiden. Für die Anordnung von Muster 610 und/oder Bereich(en) 110 bzw. 110A und/oder 110B, Lichtquelle und Kamera besteht jeweils grundsätzlich die Freiheit, die Vorderseite oder die Rückseite des Trägers bzw. Darstellungsmediums zu wählen. Bei der Wahl kann auch die Gefahr der Verschmutzung von Muster 610 und/oder Bereich(en) 110 bzw. 110A und/oder 110B oder Kamera oder Abnutzung von Muster 610 und/oder Bereich(en) 110 bzw. 110A und/oder 110B eine Rolle spielen: So kann es z. B. sinnvoll sein, Muster 610 und/oder Bereich(e) 110 bzw. 110A und/oder 110B und Kamera rückseitig anzubringen, weil sie sich dort besser z. B. vor Staub oder Wasser schützen lassen oder weil Muster 610 und/oder Bereich(e) 110 bzw. 110A und/oder 110B dort vor mechanischer Abnutzung geschützt ist bzw. sind.
In der nachveröffentlichten DE 10 2020 202 160 ist ein Verfahren offenbart, das auch in Ausführungsbeispielen genutzt wird, um zuverlässig und mit sehr geringem Rechenaufwand symmetrische Bereiche bzw. Muster in einem Bild zu finden. Hierbei wird das Originalbild, d. h. ein Farbbild oder Grauwertbild einer Kamera oder eines anderen bildgebenden Sensors, in ein Bild von Deskriptoren umgewandelt, wobei ein Deskriptor jeweils anhand einer lokalen Umgebung des Originalbilds gebildet wird. Dabei ist der Deskriptor eine andere Repräsentationsform für den lokalen Bildinhalt, der diesen in einer einfacher zu verarbeitenden Form aufbereitet. Unter einfacher ist dabei unter anderem zu verstehen: enthält Information über die Umgebung des Punkts und nicht nur über den Punkt selbst, weitgehende Invarianz gegenüber Helligkeit bzw. Beleuchtung und deren Änderung und geringere Empfindlichkeit gegenüber Rauschen des Sensors. Das Deskriptorbild kann die gleiche Auflösung wie das Originalbild aufweisen, sodass etwa pro Pixel des Originalbilds ein Deskriptor vorliegt. Andere Auflösungen sind ebenfalls möglich, alternativ oder zusätzlich.
Aus dem jeweiligen Deskriptor, der in einer Rechnereinheit als Binärwort dargestellt ist, oder aus jeweils mehreren benachbarten Deskriptoren wird eine Signatur gebildet, welche die lokale Umgebung des Pixels des Originalbilds möglichst charakteristisch beschreibt. Die Signatur kann auch mit dem Deskriptor oder einem Teil davon identisch sein. Die Signatur wird als Adresse für den Zugriff auf eine Nachschlagetabelle (Lookup-Tabelle) verwendet. Besteht die Signatur aus N bit, kann demnach auf eine Nachschlagetabelle der Größe 2^N (das bedeutet: 2 hoch N) zugegriffen werden. Es ist von Vorteil, die Wortlänge N der Signatur nicht zu groß zu wählen, da der Speicherbedarf für die Tabelle exponentiell mit N wächst: Beispielsweise 8 ≤ N ≤ 32. Die Signatur bzw. der Deskriptor ist so konstruiert, dass Signatur-Symmetrien mit einfachen Operationen, z. B. bit-weises XOR (Exklusiv-Oder) auf einem Teil der Bits, ermittelt werden können. Beispiel: s_P = s ^ R_P, wobei s eine Signatur der Länge N bit darstellt und R_P einen darauf abgestimmten Reflektor (R) für Punktsymmetrie (P). Das Zeichen ^ steht für die bit-weise XOR-Operation. Die Signatur s_P steht also für das punktsymmetrische Gegenstück zur Signatur s. Diese Beziehung gilt auch in umgekehrter Richtung.
Steht die Konstruktion des Deskriptors bzw. der Signatur fest, ist damit automatisch auch der Reflektor festgelegt (und konstant). Durch seine Anwendung auf eine beliebige Signatur kann diese in ihr symmetrisches Gegenstück umgewandelt werden. Es existiert ein Algorithmus, der zur gegebenen Signatur am aktuellen Pixel ein oder mehrere symmetrisches Signatur-Pixel, innerhalb eines optional eingeschränkten Suchfensters, findet. Das Symmetriezentrum liegt dann mittig auf der Verbindungslinie zwischen den Positionen dieser beiden Pixel. Dort oder möglichst in der Nähe wird ein Stimmgewicht abgegeben und in einer Abstimmungsmatrix (voting map) gesammelt. In der Abstimmungsmatrix häufen sich die abgegebenen Stimmgewichte an Orten der gesuchten Symmetriezentren. Diese können somit gefunden werden können, z. B. indem man die Abstimmungsmatrix nach Häufungspunkten durchsucht. Dies funktioniert für Punktsymmetrie, horizontale Achsensymmetrie, vertikale Achsensymmetrie, sowie bei Bedarf weiteren Symmetrien, z. B. Spiegelsymmetrie an weiteren Achsen, sowie Rotationssymmetrie. Eine noch präzisere Lokalisierung mit Sub-Pixel-Genauigkeit ist möglich, wenn bei der Auswertung der Abstimmungsmatrix zur Ermittlung der Häufungspunkte und präzisen Lokalisierung der Symmetriezentren auch jeweils die lokale Umgebung in die Betrachtung einbezogen wird.
In 15 der DE 10 2020 202 160 ist ein Algorithmus illustriert, der punktsymmetrische Korrespondenzen zu der aktuell betrachteten Signatur finden kann. Dabei waren jedoch nur gerade Punktsymmetrien berücksichtigt.
Gemäß Ausführungsbeispielen ist dieser Algorithmus auf ungerade Punktsymmetrien erweitert. Besonders vorteilhaft ist dabei, dass die ungeraden und geraden Symmetrien in nur einem gemeinsamen Durchlauf gleichzeitig ermittelt werden können. Das spart Zeit, weil nur ein Durchlauf durch das Signaturbild erforderlich ist statt zwei Durchläufe, und Latenz. Wenn nur ein Durchlauf (statt zwei) erforderlich ist, kann durch Verarbeitung im Stream-Modus das Ergebnis der Symmetriesuche mit sehr viel geringerer Latenz bereitgestellt werden. Dabei wird die Verarbeitung bereits begonnen, sobald die ersten Pixeldaten von der Kamera ankommen und die Verarbeitungsschritte dicht hintereinander ausgeführt. Das heißt die Signatur wird bereits berechnet, sobald die notwendigen Bilddaten aus der lokalen Umgebung des aktuellen Pixels vorliegen. Für die gerade gebildete Signatur wird umgehend die Suche nach Symmetrien durchgeführt. Sobald Teile der Abstimmungsmatrix fertig sind, was der Fall ist, wenn sie nicht mehr Teil des Suchbereichs sind und dies auch nicht mehr werden, können diese sofort ausgewertet und evtl. gefundene Symmetrien (starke Symmetriezentren) umgehend ausgegeben werden. Dieses Vorgehen führt zu sehr geringen Latenzen, die typischerweise nur wenigen Bildzeilen entsprechen, abhängig von der Höhe des Suchbereichs. Geringe Latenzen sind wichtig, wenn schnell reagiert werden soll, z. B. innerhalb einer Regelschleife, bei der eine Aktuatorik die relative Pose zwischen Symmetrieobjekt und Kamera beeinflusst. Auch kann Speicher gespart werden. Die Abstimmungsmatrix (voting map) kann für beide Symmetrieformen, d.h. gerade Punktsymmetrie und ungerade Punktsymmetrie, gemeinsam genutzt werden, wobei die beiden Symmetrieformen bzw. Symmetriearten mit unterschiedlichem Vorzeichen an der Abstimmung teilnehmen, z. B. Subtraktion des Stimmgewichts bei ungerader Punktsymmetrie und Addition des Stimmgewichts bei gerader Punktsymmetrie. Dies wird nachfolgend noch näher erläutert. Ferner kann durch eingesparten Speicher auch Energie gespart werden. Die oben beschriebene latenzarme Realisierungsmöglichkeit führt auch dazu, dass nur wenige Zwischendaten gespeichert zu werden brauchen, im Gegensatz zu ganzen Bildern. Dieses Arbeiten mit wenig Speicher ist insbesondere für kosten kritische eingebettete Systeme (Embedded Systems) wichtig und führt außerdem zur Einsparungen beim Energiebedarf.
11 zeigt eine schematische Darstellung zur Verwendung einer Nachschlagtabelle 1150 gemäß einem Ausführungsbeispiel. Die Nachschlagtabelle 1150 ist durch die Bestimmungseinrichtung der Vorrichtung zum Bereitstellen aus 1 oder einer ähnlichen Vorrichtung verwendbar. Anders ausgedrückt ist ein Ausführungsbeispiel für ein algorithmisches Vorgehen bei einer Suche nach punktsymmetrischen Korrespondenzen in 11 als Momentaufnahme im Zusammenhang mit der Vorrichtung zum Bereitstellen aus 1 oder einer ähnlichen Vorrichtung und/oder dem Verfahren zum Bereitstellen aus 3 oder einem ähnlichen Verfahren dargestellt. Insbesondere ähnelt die Darstellung in 11 auch 15 der nach veröffentlichten DE 10 2020 202 160 , wobei hier 11 zusätzlich eine Erweiterung um gerade und ungerade Punktsymmetrie umfasst.
Die Nachschlagtabelle 1150 kann hier auch als eine Einstiegstabelle bezeichnet werden. Gezeigt ist ein Pixelgitter 1100, in dem für ein aktuell betrachtetes bzw. bearbeitetes Pixel eine Signatur s mit dem beispielhaften Wert 2412 erzeugt wurde. Anders ausgedrückt zeigt 11 eine Momentaufnahme während einer Bildung einer Verkettung von Pixeln bzw. Pixelkoordinaten mit identischer Signatur s. Zur besseren Übersichtlichkeit sind zwei von bis zu N möglichen Ketten dargestellt, und zwar zur Signatur s_PG=364 und zur Signatur s_PU=3731. In dem Pixelgitter 1100 kann pro Pixel ein Verweis auf die Position der letzten Vorgängersignatur gespeichert werden, die denselben Signaturwert hatte. So entsteht jeweils eine Verkettung der Positionen mit identischer Signatur. Die Signaturwerte selbst brauchen somit nicht gespeichert zu werden. In der Nachschlagtabelle 1150 bzw. Einstiegstabelle mit N Tabellenfeldern ist pro Signaturwert eine entsprechende Einstiegsposition in dem Pixelgitter 1100 gespeichert. Dabei entspricht N einer Anzahl möglicher Signaturwerte. Der gespeicherte Wert kann auch „ungültig“ sein. Der Inhalt der Nachschlagtabelle 1150 bzw. Einstiegstabelle und das Bild von Verweisen (Verkettungsbild) verändern sich dynamisch.
Eine z. B. zeilenweise Bearbeitung Pixel für Pixel in dem Pixelgitter 1100 begann z. B. oben links in 11, wie es durch einen Pfeil veranschaulicht ist, und ist aktuell bis zu einem Pixel fortgeschritten, das die Signatur s = 2412 aufweist. Verkettungen zwischen Pixelpositionen mit jeweils identischer Signatur s sind lediglich für einen ersten Bildbereich 1101 gespeichert. Für einen zweiten Bildbereich 1102 im unteren Bildteil sind die Verkettungen und Signaturen zum dargestellten Zeitpunkt noch nicht bekannt, und für einen dritten Bildbereich 1103 im oberen Bildteil werden die Verkettungen, z. B. aufgrund einer Beschränkung eines Suchbereichs, nicht mehr benötigt, wobei ein Verkettungsspeicher für Pixel in dem dritten Bildbereich 1103 wieder freigegeben werden kann.
Für die soeben gebildete Signatur s wird durch Anwendung eines Reflektors R_PG die gerade punktgespiegelte Signatur s_PG= 364 gebildet. Der Index PG steht für Punktsymmetrie, Gerade. Nachfolgend wird auch der Index PU verwendet, der für Punktsymmetrie, Ungerade, steht. Dieser Wert wird als Adresse in die Nachschlagtabelle 1150 verwendet, um den Einstieg in diejenige Verkettung von Pixelpositionen zu finden, denen derselbe Signaturwert s_PG = 364 zugeordnet ist. Die Nachschlagtabelle 1150 umfasst zum dargestellten Zeitpunkt zwei Elemente: die Einstiegs-Pixelpositionen zur jeweiligen Signatur s mitsamt den durch geschwungene Pfeile veranschaulichten Verweisen darauf. Weitere möglicherweise vorhandene Inhalte der Nachschlagtabelle 1150 sind aus Gründen der Anschaulichkeit nicht dargestellt. Die Verkettung für den Signaturwert s_PG = 364 umfasst hier lediglich beispielhaft drei dargestellte Pixelpositionen. Zwei davon liegen in einem Suchbereich 1104, der auch eine andere als die hier dargestellte Form haben kann, z. B. rechteckig oder kreisförmig. Beim unidirektionalen Durchhangeln entlang der Verkettung, beginnend von unten, werden hier zwei punktsymmetrische Korrespondenz-Kandidaten gefunden, die innerhalb des Suchbereichs 1104 liegen. Die dritte Korrespondenz, welche das erste Element der Verkettung für gerade Punktsymmetrie ist, ist hier nicht von Interesse, da sie außerhalb des Suchbereichs 1104 und damit zu weit von der aktuellen Pixelposition entfernt liegt. Falls die Zahl von Symmetriezentrumskandidaten 1112 nicht zu groß ist, kann pro Symmetriezentrumskandidat 1112 ein Stimmgewicht für die Lage des jeweiligen Symmetriezentrums abgegeben werden. Der Symmetriezentrumskandidat 1112 liegt jeweils in der Mitte auf der Verbindungsachse zwischen der Position der Signatur s und der jeweiligen gerade punktgespiegelten Signatur s_PG. Falls mehr als ein Symmetriezentrumskandidat 1112 vorliegt, kann das Stimmgewicht jeweils reduziert werden, beispielsweise kann der Kehrwert der Anzahl der Symmetriezentrumskandidaten als jeweiliges Stimmgewicht verwendet werden. Dadurch werden uneindeutige Symmetriezentrumskandidaten geringer gewichtet als eindeutige Symmetriezentrumskandidaten.
Nun wird eine Betrachtung und Verwendung einer ungerade punktgespiegelten Signatur vorgenommen. In der in 11 dargestellten Momentaufnahme wird für die soeben gebildete Signatur s durch Anwendung eines weiteren Reflektors R_PU die ungerade punktgespiegelte Signatur s_PU = 3731 gebildet. Analog zum vorstehend beschriebenen Ablauf für die gerade punktgespiegelte Signatur werden dieselben Schritte auch für die ungerade punktgespiegelte Signatur durchgeführt. Der Einstieg in die entsprechende Verkettung wird über dieselbe Nachschlagtabelle 1150 gefunden. Hier verweist die Nachschlagtabelle 1150 auf die für ungerade Punktsymmetrie dargestellte Verkettung für die Signatur 3731. Die ersten beiden Pixelpositionen entlang der Verkettung führen wieder zur Bildung von Symmetriezentrumskandidaten 1112, da sie im Suchbereich 1104 angeordnet sind und weil die Zahl der Symmetriezentrumskandidaten 1112 nicht zu groß ist. Die letzte Pixelposition entlang der Verkettung liegt im dritten Bildbereich 1103. Dieser Bereich wird gar nicht mehr benötigt, da er nicht mehr in den hier zeilenweise gleitenden Suchbereich 1104 kommen kann.
Verweist der nächste Verweis innerhalb einer Verkettung in den dritten Bildbereich 1103, so kann das Durchhangeln entlang der Verkettung abgebrochen werden. Selbstverständlich wird das Durchhangeln ebenfalls abgebrochen, wenn das Ende der Verkettung erreicht ist. In beiden Fällen ist es sinnvoll, die Anzahl der Symmetriezentrumskandidaten 1112 zu beschränken, d. h. bei zu vielen konkurrierenden Symmetriezentrumskandidaten 1112 alle zu verwerfen. Des Weiteren ist es sinnvoll, das Durchhangeln entlang einer Verkettung vorzeitig abzubrechen, wenn nach einer vorgegebenen maximalen Anzahl von Schritten entlang der Verkettung weder ihr Ende noch der dritte Bildbereich 1103 erreicht werden konnte. Auch in diesem Falle sollten alle bis dahin gefundenen Symmetriezentrumskandidaten 1112 verworfen werden.
Speicher für die Verkettung im dritten Bildbereich 1103 kann bereits wieder freigeben werden, so dass lediglich für die Größe des ersten Bildbereichs 1101 Verkettungsspeicher vorgehalten zu werden braucht. Der Verkettungsspeicherbedarf ist also insgesamt gering und hängt hier im Wesentlichen nur von einer Dimension des Suchbereichs 1104, hier Suchbereichshöhe, und von einer Dimension des Signaturbilds, hier Signaturbildbreite, ab.
Es kann sein, dass ein Symmetriezentrumskandidat 1112 bzw. Kandidat für ein Symmetriezentrum nicht immer genau auf eine Pixelposition fällt, sondern es drei weitere Möglichkeiten gibt. Insgesamt gibt es somit vier Möglichkeiten:

1. Punkt bzw. Symmetriezentrumskandidat 1112 fällt auf eine Pixelposition.
2. Punkt bzw. Symmetriezentrumskandidat 1112 fällt mittig zwischen zwei horizontal direkt benachbarte Pixelpositionen.
3. Punkt bzw. Symmetriezentrumskandidat 1112 fällt mittig zwischen zwei vertikal direkt benachbarte Pixelpositionen.
4. Punkt bzw. Symmetriezentrumskandidat 1112 fällt mittig zwischen vier direkt benachbarte Pixelpositionen.

In den mehrdeutigen Fällen 2. bis 4. ist es vorteilhaft, das abzugebende Stimmgewicht gleichmäßig auf die beteiligten Pixelpositionen zu verteilen. Die abgegebenen Stimmgewichte werden in eine Abstimmungsmatrix eingetragen und darin aufsummiert bzw. aufakkumuliert.
Dabei werden nicht nur positive, sondern gleichzeitig auch negative Stimmgewichte verwendet. Insbesondere werden die geraden Symmetrien mit einem anderen Vorzeichen versehen, hier positiv, als die ungeraden Symmetrien, hier negativ. Dies führt zu eindeutigen Ergebnissen: In Bildbereichen ohne Symmetrien, die in der Praxis meistens die Mehrheit darstellen können, halten sich positive und negative Stimmgewichtsabgaben etwa die Waage und heben sich somit in der Abstimmungsmatrix in etwa gegenseitig auf. Im Mittel ergibt sich in der Abstimmungsmatrix also etwa eine Null. Demgegenüber ergeben sich in ungerade symmetrischen oder gerade symmetrischen Bereichen starke Extrema in der Abstimmungsmatrix, und zwar in diesem Ausführungsbeispiel negativwertige Minima bei ungeraden Punktsymmetrien und positivwertige Maxima bei geraden Punktsymmetrien.
Es werden gemäß dem hier dargestellten Ausführungsbeispiel für die ungeraden und geraden Punktsymmetrien dieselben Ressourcen verwendet, d.h. Nachschlagtabelle 1150 bzw. Einstiegstabelle, Verkettungsbild, Abstimmungsmatrix, was insbesondere Speicherbedarf einspart, und es werden beide Symmetrieformen bzw. Symmetriearten in einem gemeinsamen Durchlauf betrachtet, was Zeit und Zwischenspeicher einspart.
12 zeigt ein schematisches Diagramm 1200 zu einer Abstimmungsmatrix gemäß einem Ausführungsbeispiel. Das Diagramm 1200 bezieht sich auf eine Abstimmungsmatrix als 3D-Plot für ein mittels der Vorrichtung zum Bereitstellen aus 1 oder einer ähnlichen Vorrichtung verarbeitetes Kamerabild, in dem das Muster aus der zweiten Teildarstellung von 6 von einer Kamera aufgenommen wurde. In der Abstimmungsmatrix bzw. dem Diagramm 1200 sind deutlich beispielhaft drei Maxima 1210B und fünf Minima 1210A zu erkennen, die für die drei gerade punktsymmetrischen und fünf ungerade punktsymmetrischen Bereiche des Musters aus der zweiten Teildarstellung von 6 stehen. Außerhalb dieser Extrema sind die Werte in der Abstimmungsmatrix nahe Null. Somit sind die Extrema sehr einfach zu bestimmen und somit die Lagen der Symmetriezentren im Kamerabild eindeutig und präzise zu ermitteln.
12 zeigt, dass diese Extrema sehr deutlich ausgeprägt und somit für die Vorrichtung zum Bereitstellen aus 1 oder eine ähnliche Vorrichtung und/oder das Verfahren zum Bereitstellen aus 3 oder ein ähnliches Verfahren einfach und zweifelsfrei detektierbar sind. Die Information über die Art der Symmetrie, d.h. ungerade oder gerade, ist dabei im Vorzeichen enthalten. Eine hochpräzise Ermittlung der Lage der Symmetriezentren mit Sub-Pixel-Genauigkeit ist möglich, wenn bei der Auswertung der Abstimmungsmatrix auch die lokale Umgebung des jeweiligen Extremums in die Betrachtung einbezogen wird. Hierfür sind dem Fachmann entsprechende Methoden bekannt. Bei geeigneter Konstruktion der Muster konkurrieren ungerade und gerade Punktsymmetrien nicht miteinander. Dann weist ein Bildbereich, wenn überhaupt, entweder die ungerade oder die gerade Punktsymmetrieform auf. Selbst wenn ungerade und gerade punktsymmetrische Bereiche nahe beieinander im Kamerabild liegen, kann dafür gesorgt werden, dass ihre Symmetriezentren trotzdem räumlich voneinander getrennt bzw. unterscheidbar bleiben. Dann entstehen durch die gemeinsame Behandlung von negativen und positiven Symmetrien Vorteile im Hinblick auf Ressourcen und Geschwindigkeit.
Gemäß einem Ausführungsbeispiel kann eine getrennte Behandlung ungerader und gerader Punktsymmetrie vorgesehen sein. Sinnvollerweise erfolgt die Aufspaltung vor dem Eintragen in die Abstimmungsmatrix: Statt einer gemeinsamen, vorzeichenbehafteten Abstimmungsmatrix sind dann zwei vorzeichenlose Abstimmungsmatrizen vorgesehen, wobei die Stimmgewichte für negative Symmetrien in die erste und Stimmgewichte für positive Symmetrien in die zweite Abstimmungsmatrix eingetragen werden. Hierbei entsteht ein potenziell interessanter Vorteil: Es können auch Muster konstruiert und vom Detektionsalgorithmus berücksichtigt werden, die gleichzeitig ungerade und gerade Punktsymmetrie aufweisen und deren Symmetriezentrum örtlich zusammenfällt. Eine solche gemischte Symmetrieform ist zwar sehr ungewöhnlich, aber diese Außergewöhnlichkeit gewährleistet, dass Verwechslungen mit zufällig in den Bildern vorkommenden Mustern äußerst unwahrscheinlich sind. Die beiden Abstimmungsmatrizen sind dann nach Maxima zu durchsuchen, die in beiden Matrizen am gleichen Ort vorliegen. Ein weiterer möglicher Vorteil durch die getrennte Behandlung von ungerader und gerader Punktsymmetrie liegt in der einfacheren Parallelisierbarkeit und dadurch ggf. schnelleren Ausführung. Denn durch die Verwendung von zwei Abstimmungsmatrizen können Zugriffskonflikte beim Eintragen der Stimmgewichte vermieden werden, was Wartezeiten einspart.
13 zeigt eine schematische Darstellung von beispielhaft in Würfelform angeordneten Mustern 610 gemäß einem Ausführungsbeispiel im Hinblick auf eine korrekte Identifikation eines Rasters 1311. Bei den in 13 dargestellten Mustern 610 handelt es sich beispielsweise um Muster aus 7 bzw. 8, von denen drei hier in einer Würfelform angeordnet sind. Von den Mustern 610 sind detektierte bzw. identifizierte Symmetriezentren 112A und 112B jeweiliger vordefinierter punktsymmetrischer Bereiche der Muster 610 gezeigt, wobei optional auch Vorzeichen und Werte der zugehörigen Extrema in der Abstimmungsmatrix bekannt sein können. Hierbei sind erste Symmetriezentren 112A vordefinierten punktsymmetrischen Bereichen mit ungerader Punktsymmetrie zugeordnet und sind zweite Symmetriezentren 112b vordefinierten punktsymmetrischen Bereichen mit gerader Punktsymmetrie zugeordnet. Für eines der Muster 610 ist ein korrektes Raster 1311 eingezeichnet, an dem die vordefinierten punktsymmetrischen Bereiche und somit die Symmetriezentren 112A und 112B ausgerichtet sind. Für die anderen beiden Muster 610 sind die korrekten Raster zu suchen, wobei in 13 ferner falsche Lösungen der Rastersuche durch erste Markierungen 1313 veranschaulicht sind und richtige Lösungen der Rastersuche durch zweite Markierung 1314 veranschaulicht sind.
Das Auffinden der zugehörigen korrekten Raster ist eine Aufgabenstellung mit Mehrdeutigkeiten. Nachdem die ungerade/gerade codierten Symmetriezentren 112A und 112B detektiert worden sind, besteht häufig der nächste Schritt darin, diese zu gruppieren und zu ermitteln, welchem Muster 610 diese Gruppe zuzuordnen ist, da ja im Vorhinein nicht immer bekannt ist, welche und wie viele Muster 610 im Bild enthalten sind. Teil dieser Aufgabe kann das Auffinden der Raster 1311 sein, auf denen die Symmetriezentren 112A und 112B angeordnet sind. Statt quadratischer Raster 1311 kommen auch andere Topologien für die Anordnung der Symmetriezentren 112A und 112B in Frage, z. B. ringförmige konzentrische Anordnungen, siehe z. B. die zweite Teildarstellung in 6. Stellvertretend werden nachfolgend quadratische Raster 1311 betrachtet.
Die Aufgabe, alleine aus den Positionen der Symmetriezentren 112A und 112B in 13 die Lage des korrekten Rasters für alle Muster 610 zu bestimmen, stellt unter Umständen ein mehrdeutiges Problem dar. Betrachtet man in 13 das Muster 610, für welches das korrekte Raster 1311 bereits eingezeichnet ist, fällt es (dem Betrachter) nicht schwer, das korrekte Raster 1311 anzugeben. Bei den beiden anderen Mustern 610, die von der Kamera unter einer deutlich schrägeren Perspektive erfasst werden, wird jedoch klar, dass die Ausgabe uneindeutig sein kann. Es existieren mehrere mögliche Lösungen, wie ein Raster durch die Symmetriezentren 112A und 112B gelegt werden könnte. Dabei ist die zunächst bei lokaler Betrachtung naheliegendste Lösung, nämlich die mit annähernd senkrechten Achsen, nicht die richtige, wie anhand der ersten Markierungen 1313 zu sehen ist. Die zweiten Markierungen 1314 liegen dagegen korrekt auf dem Raster. Dies zeigt, dass ein naives Vorgehen, z. B. das Suchen der nächsten Nachbarn des jeweiligen Symmetriezentrums, bei schräger Perspektive eventuell zu einer falschen Lösung führen kann. In der Praxis scheiden Lösungen mit sehr schräger Perspektive aus, weil die Symmetriezentren 112A und 112B dann nicht mehr auffindbar sind.
14 zeigt eine schematische Darstellung des in der ersten Teildarstellung von 6 gezeigten Musters 610 in schräger Perspektive. In einer ersten Teildarstellung A ist in 14 das Darstellungsmedium 600 mit dem Muster 610 aus den vordefinierten punktsymmetrischen Bereichen 110A und 110B gezeigt. In einer zweiten Teildarstellung B sind in 14 die mittels der Vorrichtung zum Bereitstellen aus 1 oder einer ähnlichen Vorrichtung und/oder des Verfahrens zum Bereitstellen aus 3 oder eines ähnlichen Verfahrens identifizierten bzw. detektierten Symmetriezentren 112A und 112B des Musters 610 gezeigt. Die Symmetriezentren 112A und 112B wurden detektiert und zumindest ihre Positionen stehen bereit.
15 zeigt das Muster 610 aus der ersten Teildarstellung von 14 mit einer Hervorhebung eines vordefinierten punktsymmetrischen Bereichs 110B. Dabei ist lediglich beispielhaft ein vordefinierter gerade punktsymmetrischer Bereich 110B grafisch hervorgehoben, um eine Verzerrung des Musters 610 bzw. der Bereiche 110A und 110B durch die schräge Perspektive zu veranschaulichen. Die hier beispielhaft kreisförmig vordefinierten punktsymmetrischen Bereiche 110A und 110B sind durch die schräge Perspektive zu Ellipsen verzerrt.
Nachfolgend wird unter besonderer Bezugnahme auf 14 und 15 sowie allgemeine Bezugnahme auf die vorstehend beschriebenen Figuren auf eine Rekonstruktion des korrekten Rasters bzw. der Topologie des Musters 610 eingegangen.
Unter schräger Perspektive wird jeder kreisförmige Bereich 110A und 110B, aus dem die Stimmen für das jeweilige Symmetriezentrum 112A und 112B stammen, zu einer Ellipse. Durch Rückverfolgung der Stimmen, die zu dem jeweiligen Symmetriezentrum 112A, 112B, beispielsweise dem in 15 hervorgehobenen Symmetriezentrum 112 B mit gerader Punktsymmetrie, beigetragen haben, kann auf die Form und Orientierung der jeweiligen Ellipse zurückgeschlossen werden. Richtung und Verhältnis der Hauptachsen der Ellipse verraten, wie diese gestreckt bzw. entzerrt werden kann, um sie zurück in einen Kreis zu überführen. Es sei der beispielhaft hervorgehobene vordefinierte gerade punktsymmetrische Bereich 110B des Musters 610 betrachtet, der zu dem hervorgehobenen Punktsymmetriezentrum 112B beiträgt. Per Entwurf bzw. Konstruktion ist dieser Bereich 110B kreisförmig oder näherungsweise kreisförmig, z. B. sechseckig. Unter schräger Perspektive wird dieser Kreis zu einer Ellipse. Bei der Abstimmung zum Identifizieren des Symmetriezentrums 112B tragen symmetrische Punktepaare zur Bildung des Extremums in der Abstimmungsmatrix bei, die innerhalb dieser Ellipse liegen.
Gemäß einem Ausführungsbeispiel wird zurückverfolgt, woher im Kamerabild die Punktepaare stammen, die zur Bildung eines hinreichend starken Extremums geführt haben. Zu diesem Zweck wird ein weiterer Verarbeitungsschritt durchgeführt. Es wird zunächst davon ausgegangen, dass die Abstimmung bereits stattgefunden hat und dass die hinreichend starken Symmetriezentren bereits gefunden wurden. Ausgangspunkt ist also eine Situation, wie sie in der zweiten Teildarstellung B von 14 dargestellt ist. Nachfolgend wird der Prozess der Abstimmung in abgewandelter Form noch einmal durchlaufen. Die bereits existierende Abstimmungsmatrix wird dabei jedoch nicht noch einmal neu gebildet. Stattdessen wird für jedes symmetrische Punktepaar, das einen Beitrag zur Abstimmungsmatrix liefern würde, geprüft, ob der Beitrag zu einem der gefundenen Symmetriezentren 112A, 112B beitragen würde und damit im ersten Durchlauf auch bereits beigetragen hat. Falls dies der Fall ist, werden die beiden Positionen des Punktepaars gespeichert bzw. sofort weiterverrechnet. Vorteilhafterweise wird dabei auch der Index des Symmetriezentrums 112A, 112B gespeichert bzw. verwendet, zu dem das symmetrische Punktepaar beiträgt. Auf diese Weise können nachträglich alle Beiträge zu den erfolgreichen Symmetriezentren ermittelt und (zwischen-)gespeichert oder weiterverwendet werden.
Für den Beginn des weiteren Verarbeitungsschritts muss nicht das Ende des ersten Verarbeitungsschritts, d.h. das Bilden der Abstimmungsmatrix und Ermitteln der Symmetriezentren, abgewartet werden, sondern es kann schon vorher gestartet und die bereits fertigen Zwischenergebnisse, d.h. gefundene Symmetriezentren 112A, 112B, des ersten Verarbeitungsschritts genutzt werden. In den so gebildeten Informationen sind dann für jedes gefundene Symmetriezentrum 112A, 112B alle Bildpositionen ablesbar, die dazu beigetragen haben. Diese Positionen liegen im Wesentlichen bzw. von einigen Ausreißern abgesehen innerhalb der Ellipse, wie in 15 beispielhaft für ein Symmetriezentrum 112B dargestellt.
Für die Ermittlung der Parameter dieser Ellipse sind dem Fachmann Verfahren bekannt. Beispielsweise kann eine Hauptachsentransformation über die Menge aller zu einem Symmetriezentrum 112A, 112B beitragenden Punkte gebildet werden, um die Orientierung der Hauptachsen und die beiden Durchmesser der Ellipse zu bestimmen. Dies ist sogar möglich, ohne dass die beitragenden Bildpositionen zwischengespeichert zu werden brauchen: Sie können stattdessen umgehend nach Bekanntwerden weiterverrechnet werden. Alternativ kann auch die ellipsenförmige Einhüllende um die Punktemenge ermittelt werden, mit der ein möglichst großer Teil der Punktemenge, etwaige Ausreißer ausgeschlossen, möglichst eng umschlossen wird.
Anstatt eine Menge von Punkten im Sinne einer Liste zu speichern, kann alternativ auch ein Index-Bild, gleichbedeutend mit Index-Matrix, erstellt werden. Es dient dem gleichen Zweck, nämlich der Bildung der Parameter aller Ellipsen, es speichert die Informationen jedoch in anderer Form. Das Index-Bild hat idealerweise die gleiche Größe wie das Signaturbild und ist dazu eingerichtet, Indizes zu speichern, und zwar die den gefundenen Symmetriezentren 112A, 112B zugeordneten Indizes. Ein spezieller Index-Wert, z. B. 0, ist vorgesehen, um zu kennzeichnen, dass noch keine Eintragung vorliegt. Wenn beim Durchlaufen des weiteren Verarbeitungsschritts ein symmetrisches Punktepaar bzw. Signaturpaar gefunden wird, das zu einem i-ten Index beiträgt, dann wird an den beiden zugehörigen Orten der jeweiligen Signaturen jeweils der Index i eingetragen. Somit erhält man am Ende des Durchlaufs ein Index-Bild, in dem alle den Symmetriezentren 112A, 112B zugeordneten Indizes jeweils mehrfach vorkommen, wobei diese ellipsenförmige Bereiche ausbilden: Abgesehen von einigen Ausreißern enthält dann jeder ellipsenförmige Bereich nur Einträge mit einem einheitlichen Index, sowie den Index 0 an den nicht benutzten Positionen. Das Index-Bild kann dann leicht ausgewertet werden, um die Parameter der einzelnen Ellipsen zu bestimmen. Im Übrigen ist es nicht notwendig, das Index-Bild vollständig zu speichern. Sobald sich in einem Teilabschnitt des Index-Bilds die Daten nicht mehr ändern, kann dieser Teil bereits ausgewertet und der Speicher anschließend wieder freigegeben werden. Dies führt auch zu einer geringeren zeitlichen Latenz, sodass Zwischenergebnisse früher bereitgestellt werden können.
Mit den bekannten Ellipsenparametern kann dann die zweidimensionale Anordnung der detektierten Symmetriezentren, siehe 14, so entzerrt werden, dass diese anschließend auf dem hier lediglich beispielhaft zumindest annähernd quadratischen Raster des Musters 610 liegen.
16 zeigt eine schematische Darstellung des Musters 610 aus 15 nach einer perspektivischen Entzerrung gemäß einem Ausführungsbeispiel. Anders ausgedrückt zeigt 16 zur Veranschaulichung das Muster 610 aus 15, nachdem es normal bzw. senkrecht zur Richtung der gefundenen Ellipse bzw. des hervorgehobenen elliptisch verzerrten Bereichs 110B um das Verhältnis der beiden Hauptachsenlängen gestreckt wurde. Somit kann das korrekte Raster 1311 auf einfache Weise gefunden werden. Die Ellipse wird im Vergleich mit 15 also so entzerrt, dass die originale Kreisform des Bereichs 110B wiederhergestellt wird. Anschließend ist es einfach, das Raster 1311, auf dem die Symmetriezentren 112A und 112B liegen, zu ermitteln, bzw. die Nachbarschaftsbeziehungen zwischen den Symmetriezentren 112A und 112B fehlerfrei zu ermitteln. Die 16 dient hier nur der Veranschaulichung. In der Praxis ist es nicht notwendig, ein Warping des Bildes vorzunehmen. Da die Informationen über die Lagen der Symmetriezentren 112A und 112B bereits in verdichteter Form vorliegen, ist es sinnvoll, nur mit diesen Daten weiterzuarbeiten und ihre Koordinaten zu transformieren, wobei die Transformationsvorschrift aus den ermittelten Ellipsenparametern gebildet wird, und zwar so, dass die Ellipsen zu Kreisen werden.
Im Falle von Kamerabildern, die mit Telebrennweite aufgenommen sind, kann pro Teilabschnitt eine globale Transformation ausreichend sein, um das Raster 1311 zu ermitteln. Im Falle von Kamerabildern, die mit einem Weitwinkelobjektiv (z. B. Fischaugenobjektiv) aufgenommen sind, kann zumindest in Teilbereichen mit lokalen Transformationen gearbeitet werden. Somit kann die vorstehend genannte Transformationsvorschrift global und/oder lokal angewendet werden. Bei der globalen Variante werden alle Projektionszentren mit derselben, gemeinsamen Transformationsvorschrift transformiert. Das ist in vielen Fällen sinnvoll und ausreichend. Die gemeinsame Transformationsvorschrift kann aus der gemeinsamen Betrachtung aller Ellipsen gebildet werden. Wenn die Symmetriezentren 112A und 112B räumlich auf mehreren Flächen liegen, können die Ellipsen gemäß ihrer Parameter in Gruppen eingeteilt werden. Die zu einer Fläche gehörenden Ellipsen weisen dabei sehr ähnliche Parameter auf - insbesondere wenn die Fläche eben ist. Pro Gruppe kann dann eine globale Transformationsvorschrift ermittelt und angewandt werden. Dieses Vorgehen ist bei Telebrennweite angemessen. Die lokale Transformation ist dann sinnvoll, wenn die Mehrzahl der kreisförmigen Bereiche durch die Abbildung der Kamera in unterschiedlich geformte oder unterschiedlich orientierte Ellipsen abgebildet wird. Das ist insbesondere bei weitwinkligen Kameras oder stark verzerrenden Objektiven der Fall.
Nach Anwendung der Transformation befinden sich die Symmetriezentrumspositionen, die zur selben Fläche gehören, zumindest annähernd auf einem gemeinsamen Raster 1311. Die nächste Aufgabe besteht darin, die Symmetriezentren 112A und 112B den Rasterpositionen zuzuordnen. Dies kann z. B. iterativ in kleinen Schritten durchgeführt werden. Beispielsweise werden für ein Symmetriezentrum 112A, 112B bis zu vier nächste Nachbarn gesucht, die ungefähr gleichen Abstand haben, siehe hierzu auch die Markierungen aus 13. Von den Nachbarn hangelt man sich weiter zu den weiteren Nachbarn, bis alle erfassten Symmetriezentren 112A und 112B, die zu einem Muster 610 gehören, einem gemeinsamen Raster 1311 zugeordnet sind oder davon ausgeschlossen werden können. Trifft man bei dieser Suche nämlich auf Symmetriezentren, die hinsichtlich der Abstände nicht zum gerade betrachteten Raster 1311 passen, werden diese nicht aufgenommen, da es sich wahrscheinlich um Ausreißer handelt oder um Symmetriezentren, die zu anderen Flächen gehören. Diese iterative Suche kann für die anderen Flächen wiederholt werden, sodass am Ende, abgesehen von den Ausreißern, jedes Symmetriezentrum 112A, 112B einer Fläche zugeordnet ist. Für die Flächen kann dann eine Identifizierung der Muster 610 durchgeführt werden, vorzugsweise anhand der mit den Symmetriezentren 112A und 112B verbundenen binären Codierung, die jeweils im Vorzeichen des Extremums enthalten ist.
17 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Musters 1710 mit hierarchischer Symmetrie. Das Muster 1710 entspricht oder ähnelt einem Muster aus den vorstehend beschriebenen Figuren. Genauer gesagt weist das Muster 1710 eine zweistufige Hierarchie aus lediglich beispielhaft vier vordefinierten punktsymmetrischen Bereichen 110A und 110B auf. Gemäß dem hier dargestellten Ausführungsbeispiel weist das Muster 1710 lediglich beispielhaft zwei vordefinierte ungerade punktsymmetrische Bereiche 110A und zwei vordefinierte gerade punktsymmetrische Bereiche 110B auf. Das Muster 1710 insgesamt ist hierbei ungerade punktsymmetrisch aufgebaut. Auf einer ersten Hierarchiestufe stehen die in sich gerade punktsymmetrischen Bereiche 110B und die in sich ungerade punktsymmetrischen Bereiche 110A. Auf einer zweiten Hierarchiestufe steht die Gesamtanordnung des ungerade punktsymmetrischen Musters 610B. Das Symmetriezentrum 112 der zweiten Hierarchiestufe ist mit dem gevierteilten Kreis gekennzeichnet.
18 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Musters 1810 mit hierarchischer Symmetrie. Das Muster 1810 in 18 ähnelt hierbei dem Muster aus 17. Genauer gesagt zeigt 18 ein weiteres Beispiel für eine zweistufige Hierarchie aus vordefinierten punktsymmetrischen Bereichen 110B. In der ersten Hierarchiestufe seien die vordefinierten punktsymmetrischen Bereiche 110B jeweils in sich gerade punktsymmetrisch. In der zweiten Hierarchiestufe liegt auf Ebene des Musters 1810 eine ungerade Punktsymmetrie vor, mit dem Symmetriezentrum 112 in der Mitte eines zur Veranschaulichung gezeigten gesechstelten Sechsecks. Die ungerade Symmetrie äußert sich hier in einer Invertierung der vordefinierten punktsymmetrischen Bereiche 110B, z. B. dunkles Symbol auf hellem Grund spiegelt sich in helles Symbol auf dunklem Grund.
19 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Musters 610 mit hierarchischer Symmetrie. Das Muster 610 ist hierbei aus den Mustern 1710 und 1810 aus 17 und 18 bzw. deren invertierter und/oder punktgespiegelter Form aufgebaut. Das Muster 610 weist eine dreistufige Hierarchie aus lediglich beispielhaft zwei Mustern 1710 aus 17 und zwei Mustern 1810 aus 18 auf. Die Muster 1710 und 1810 sind ungerade und somit invertiert punktgespiegelt am Symmetriezentrum 112 des Musters 610 in der Mitte eines zur Veranschaulichung gezeigten gesechstelten Sechsecks. Beispielsweise ist das unten rechts in 19 gezeigte Muster 1710 eine invertierte Form des Musters 1710 oben links. Dieses hierarchische Prinzip kann beliebig fortgesetzt, also auch eine vierte und fünfte Stufe konstruiert werden, und so weiter.
Unter Bezugnahme auf 17, 18 und 19 wird nachfolgend weiter auf Muster mit hierarchischer Symmetrie eingegangen. Die symmetrischen Muster 610, 1710, 1810 können mehrstufig aufgebaut werden, so dass es beispielsweise in einer ersten Hierarchiestufe kleinere in sich symmetrische Bereiche gibt, deren gemeinsame Betrachtung eine Symmetrie auf der nächsthöheren Hierarchiestufe ergibt. In 17 und 18 ist jeweils beispielhaft gezeigt, wie ein zweistufiges hierarchisches Muster 1710 bzw. 1810 konstruiert sein kann. Darauf aufbauend wird in 19 ein dreistufiges hierarchisches Muster 610 aufgebaut. In dem Beispiel aus 19 sind also drei Hierarchiestufen enthalten. Die dritte Hierarchiestufe ist über die gesamte Fläche des Musters 610 ausgedehnt (gestrichelt eingerahmter Bereich) und umfasst das Symmetriezentrum 112. In der zweiten Hierarchiestufe sind es die vier Muster 1710 und 1810 (jeweils mit durchgezogener Linie eingerahmt) mit jeweils einem Symmetriezentrum in der Mitte (hier nicht explizit bezeichnet). In der ersten Hierarchiestufe sind es gemäß dem hier dargestellten Ausführungsbeispiel folglich 16 vordefinierte punktsymmetrische Bereiche mit jeweils einem Symmetriezentrum. Dabei ist die Symmetrie der dritten Hierarchiestufe bereits aus größerer Entfernung sichtbar. Während einer Annäherung werden auch die vier Symmetrien der zweiten Hierarchiestufe sichtbar. In kürzerer Distanz, bzw. wenn die erfasste Auflösung des Musters 610 ausreicht, werden auch die Symmetrien der ersten Hierarchiestufe sichtbar. Somit kann beispielsweise eine visuelle Steuerung (visual servoing) z. B. eines Roboters z. B. in Richtung des Musters 610 oder in eine andere beliebige Richtung über einen großen Distanzbereich ermöglicht werden. Es ist im Allgemeinen nicht nötig, gröbere bzw. höhere Hierarchiestufen zu erfassen, wenn bereits feinere bzw. niedrigere Hierarchiestufen erfasst werden können. Es ist weiterhin auch nicht nötig, alle Symmetrien der jeweiligen Hierarchiestufe gleichzeitig erfassen zu können, beispielsweise wenn es bei sehr kurzer Distanz gar nicht mehr möglich ist, das gesamte Muster 610 im Kamerabild zu erfassen. Es ist offensichtlich, dass gerade und ungerade Symmetrien teilweise frei gewählt und kombiniert werden dürfen. In dieser Festlegung kann auch Zusatzinformation enthalten sein, insbesondere je ein Bit für die Wahl zwischen ungerader und gerader Symmetrie, wobei eine solche Zusatzinformation auf diese Weise an ein erfassendes System übermittelt werden kann. „Teilweise frei“ bedeutet hier, dass sich der restliche Teil der Symmetrieformen auf der jeweiligen Hierarchiestufe aus der nächsthöheren Hierarchiestufe zwangsläufig ergibt. Mit anderen Worten können z. B. in 18 für die obere Reihe die Muster „X“ und „O“ frei gewählt werden. Die zweite Reihe ergibt sich dann zwangläufig, und zwar hier mit Invertierung, weil auf der nächsten Hierarchiestufe eine negative Punktsymmetrie gewählt ist.
20 zeigt schematische Darstellungen von Mustern 610 gemäß Ausführungsbeispielen. In einer ersten Teildarstellung A ist in 20 ein Muster 610 gezeigt, bei dem es sich beispielhaft um eines der Muster aus 8 handelt. Die erste Teildarstellung A von 20 ist ein Beispiel für eine implizite Zusatzinformation, hier lediglich beispielhaft 8 · 8 = 64 bit, die sich anhand der Symmetrieart bzw. des damit assoziierten Vorzeichens der Punktsymmetrie der vordefinierten punktsymmetrischen Bereiche 110A und 110B des Musters 610 ergibt. In einer zweiten Teildarstellung B ist in 20 ein Muster 610 gezeigt, dass aus lediglich beispielhaft vier vordefinierten punktsymmetrischen Bereichen 110A und 110B aufgebaut ist, hier beispielsweise einem vordefinierten ungerade punktsymmetrischen Bereich 110A und drei vordefinierten gerade punktsymmetrischen Bereichen 110B auf einem quadratischen Raster. Ferner ist in dem Muster 610 hierbei eine Codematrix 2010 für explizite Zusatzinformation angeordnet. Lediglich beispielhaft ist in der Codematrix 2010 die implizite Zusatzinformation aus der ersten Teildarstellung A auf explizite Weise enthalten. Der vordefinierte Bereich 110A mit ungerader Punktsymmetrie kennzeichnet bzw. markiert hier die Anfangszeile der 8 · 8 Matrix, damit eine Auslesereihenfolge eindeutig festgelegt ist.
Nachfolgend wird unter Bezugnahme auf 20 noch weiter auf eine Übermittlung impliziter oder expliziter Zusatzinformation eingegangen.
Es kann sinnvoll oder notwendig sein, anhand des Musters 610 Zusatzinformationen an einen Empfänger, beispielsweise an einen Rechner, autonomen Roboter etc., zu übermitteln. Die Zusatzinformation kann mehr oder weniger umfangreich sein. Einige veranschaulichen Beispiele für Zusatzinformationen umfassen Haltepunkt, Ladung aufnehmen, Position am Ort 52°07'01.9''N 9°53'57.4''E mit Blickrichtung Südwest, Biege nach links ab, Höchstgeschwindigkeit 20 km/h, Ladestation für Rasenmäher etc. Für die Übermittlung mittels des bildgebenden Sensors bzw. der Kamera existieren verschiedene Möglichkeiten. Insbesondere lassen sich implizit und explizit enthaltene Zusatzinformationen unterscheiden, siehe hierzu die beiden Beispiele in 20, bei denen 64 bit an Zusatzinformation einmal implizit und einmal explizit bereitgestellt sind. Implizite Zusatzinformation bedeutet, dass diese in den symmetrischen Mustern 610 selbst auf irgendeine Weise mit enthalten ist, während explizite Zusatzinformation im Allgemeinen gesondert von diesen Mustern 610 gestaltet und erfasst wird.
Eine Möglichkeit zur Übermittlung impliziter Zusatzinformation ist anhand der ersten Teildarstellung A von 20 illustriert: implizite Zusatzinformation als Binärcode. Da bei der Konstruktion des Musters 610 für jeden symmetrischen Bereich 110A und 110B die Wahl zwischen ungerader und gerader Punktsymmetrie getroffen wird, kann somit jeweils eine binäre Zusatzinformation (entsprechend 1 Bit) übermittelt werden. Lässt man zusätzlich auch Muster zu, die gleichzeitig ungerade und gerade punktsymmetrisch sind, so wird aus der binären Zusatzinformation eine ternäre Zusatzinformation, d.h. drei Fälle statt zwei.
Eine weitere Möglichkeit zur Übermittlung von Zusatzinformation ergibt sich durch die Verwendung ungleichmäßiger Abstände zwischen den Symmetriezentren der Bereiche 110A und 110B, d.h. implizite Zusatzinformation anhand der Anordnung. Anders als bei der in 20 dargestellten Anordnung, wo die Symmetriezentren auf einem quadratischen Raster liegen, wären diese dann unregelmäßig angeordnet, wobei die Zusatzinformation oder ein Teil davon in dieser Anordnung codiert ist. Beispiel: Lässt man zu, dass das jeweilige Symmetriezentrum um eine feste Distanz nach links/rechts und oben/unten verschoben sein darf, so ergeben sich 9 mögliche Positionen, womit log₂(9) = 3,17 bit an Zusatzinformation pro Symmetriezentrum codierbar sind. Schräge Perspektiven zwischen bildgebendem Sensor und Muster 610 stellen bei keiner der genannten Möglichkeiten ein Problem dar. Beispielsweise kann ein Teil der Symmetriezentren (beispielsweise die äußersten vier in den Ecken) dazu verwendet werden, ein Koordinatensystem bzw. das regelmäßige Basisraster zu definieren. Die zur Codierung verwendeten Abweichungen oder Binär--/Ternärcodes beziehen sich dann auf dieses Basisraster.
Die symmetrischen Bereiche 110A und 110B für implizite Zusatzinformation sollten nicht zu klein sein, damit sich in der Abstimmungsmatrix ausreichend markante Extrema ausbilden. Soll eine größere Menge an Zusatzinformation (insbesondere statische, ortsgebundene) an den Empfänger (z. B. einen mobilen Roboter) übermittelt werden, kann es vorteilhaft sein, diese explizit zu codieren.
In der zweiten Teildarstellung B von 20 ist gezeigt, wie insbesondere statische, ortsgebundene Zusatzinformation explizit an den Empfänger (z. B. einen mobilen Roboter) übermittelt werden kann: Es kann beispielsweise vereinbart sein, dass sich in einem durch die Symmetriezentren definierten Koordinatensystem an bestimmten Koordinaten weitere Informationen befinden, die z. B. binär (schwarz/weiß) oder in weiteren Abstufungen (Graustufen) oder in Farben codiert sind. Das Vorgehen ist dann zweischrittig: In einem ersten Schritt wird anhand ungerader und gerader Symmetrien ein Feld gefunden, zum Beispiel die Codematrix 2010, in dem weitere Informationen codiert sind. In einem zweiten Schritt wird das Feld und somit die darin vorhandene Information ausgelesen. Schräge Perspektiven zwischen bildgebendem Sensor und Muster 610 stellen dabei kein Problem dar, denn für das Auslesen der expliziten Zusatzinformation ist es weder erforderlich, dass die Basisvektoren des gefundenen Koordinatensystems senkrecht zueinander stehen, noch dass sie gleichlang sind. Optional kann das Bild auch so entzerrt werden, dass anschließend ein kartesisches Koordinatensystem vorliegt. Optional kann in dem Feld mit dem Muster 610 auch ein Display installiert sein, das zusätzlich zu zeitlich statischer Information auch zeitlich veränderliche Information übermitteln kann und/oder das über die zeitliche Veränderung Information übermittelt.
Es kann auch eine hochaufgelöste Zusatzinformation im Muster 610 selbst enthalten sein, mit impliziter Fehlererkennung. Somit besteht eine weitere Möglichkeit der Übermittlung von (insbesondere statischer, ortsgebundener) Zusatzinformation besteht über das Muster 610 selbst: Das heißt, die Zusatzinformation ist in der Abfolge der schwarz-weißen oder farbigen oder graustufigen Musters 610 selbst enthalten. Mit der vorgenannten Klassifizierung wäre diese Zusatzinformation zugleich implizit und explizit. Weil das Muster 610 oder zumindest Teile davon Symmetrien aufweist, ist die Zusatzinformation automatisch redundant enthalten, typischerweise jeweils doppelt. Dies gilt sowohl bei ungerader als auch bei gerader Punktsymmetrie. Diese Tatsache kann zur Fehlerkorrektur bzw. Fehlerdetektion ausgenutzt werden. Ist beispielsweise ein Muster 610 verschmutzt, etwa durch Vogelkot, so ist es mit hoher Sicherheit möglich, den dadurch in der Zusatzinformation entstandenen Fehler zu detektieren, denn an der zugehörigen symmetrischen Position liegt derselbe Fehler höchstwahrscheinlich nicht vor.
21 zeigt eine schematische Darstellung einer Anwendungssituation für die Steuervorrichtung aus 1 und/oder das Verfahren zum Steuern aus 4. Bei der Anwendungssituation handelt es sich hierbei lediglich beispielhaft um ein Andockmanöver eines als eine bewegliche Gangway 2160 ausgeführten Roboters eines Versorgungsschiffs 2165 an einer Plattform 2170 einer Offshore-Windkraftanlage 2175. An der Gangway 2160 und/oder dem Versorgungsschiff 2165 ist zumindest eine Kamera 102 angeordnet. Im Bereich der Plattform 2170 ist an der Offshore-Windkraftanlage 2175 mindestens ein vordefinierter punktsymmetrischer Bereich 110 und/oder mindestens ein Muster 610 aus zumindest einem vordefinierten punktsymmetrischen Bereich 110 angeordnet. Der zumindest eine vordefinierte punktsymmetrische Bereich 110 entspricht oder ähnelt einem der vorstehend beschriebenen vordefinierten punktsymmetrischen Bereiche aus einer der vorhergehend beschriebenen Figuren. Das Muster 610 entspricht oder ähnelt einem der vorstehend beschriebenen Muster aus einer der vorhergehend beschriebenen Figuren.
Anders ausgedrückt zeigt 21 eine Situation, in der das Versorgungsschiff 2165 mit beweglicher Gangway 2160, die wie durch Pfeile veranschaulicht durch Heben, Schwenken, Nicken und/oder Teleskopieren bewegbar ist, an der Plattform 2170 des Offshore-Windkraftwerks bzw. der Offshore-Windkraftanlage 2175 andocken soll. Dazu sind an der Plattform 2170 die beschriebenen Bereiche 110 und/oder Muster 610 angebracht, während an der Gangway 2160 und am Versorgungsschiff 2165 Kameras 102 installiert sind, die diese Bereiche 110 bzw. Muster 610 beobachten. Unter Verwendung der Steuervorrichtung aus 1 und/oder des Verfahrens zum Steuern aus 4 oder ähnlichen wird laufend die relative Position und Orientierung zwischen Plattform 2170 und Gangway 2160 ermittelt und diese so ausgeregelt, dass zuverlässig und sanft an- und abgedockt und in der Zwischenzeit die Position gehalten werden kann.
Somit ergibt sich eine Verbesserungsmöglichkeit von visueller Robotersteuerung bzw. Visual Servoing mit punktsymmetrischen (versteckten) Bereichen 110 bzw. Mustern 610. Es erfolgt dabei eine Steuerung einer mechanischen Aktuatorik, hier der Gangway 2160, auf Basis der Detektion der symmetrischen Bereiche 110 bzw. Muster 610 in Bildern von Kameras 102 oder anderen bildgebenden Sensoren, wobei die Ansteuerung der Aktuatorik zu einer relativen Bewegung zwischen Muster 610 und Kamera 102 bzw. Sensor führt. Bezogen auf den in 21 dargestellten und erläuterten Anwendungsfall des Andruckmanövers auf See besteht eine Herausforderung darin, dass das Versorgungsschiff 2165 von Wellengang und Wind bewegt wird, während die Plattform 2170, die auch schwimmend sein kann, ebenfalls von Wellen und Wind bewegt wird, jedoch mit anderer Dynamik. Trotzdem soll ein sicherer Übergang von Service-Personal zwischen dem Versorgungsschiff 2165 und der Plattform 2170 erreicht werden, und zwar bei möglichst jedem Wetter.
Die beschriebenen Bereiche 110/oder Muster 610 werden auf der Seite des Windkraftwerks bzw. der Offshore-Windkraftanlage 2175 angebracht, und zwar in direkter Nähe der Andockstelle bzw. Plattform 2170 und darüber. Die Muster 610 sind passiv, benötigen also keinen elektrischen Anschluss und keine Ansteuerung. Das nötige Licht für die Operation bei Nacht kommt vom Versorgungsschiff 2165. Die mindestens eine Kamera 102 und zugehörige Bildverarbeitung befindet sich auf der Schiff-Seite. Beispielsweise ist die Kamera 102 auf der Gangway 2160 montiert und daher mit dieser mitbewegt. Sie kann aber auch weiter weg von der Andockstelle montiert sein, z. B. auf dem hinteren Teil einer Teleskopmechanik, denn z. B. der Ausfahrweg des Teleskops ist ja bekannt und kann bei der Berechnung von relativen Bewegungen berücksichtigt werden. Aus praktischen Gründen werden beispielsweise mehrere Kameras 102 verwendet, die an verschiedenen Orten schiffsseitig montiert sind, sodass es immer mindestens eine Kamera 102 gibt, die günstige Sichtbedingungen (unverdeckte Sicht, günstige Entfernung, günstiger Blickwinkel, keine Blendung) auf das oder die Muster 610 hat. Aus den gleichen Gründen werden beispielsweise mehrere Muster 610 verwendet, die so gestaltet sein können, dass sie voneinander unterscheidbar sind, wie es beispielsweise unter Bezugnahme auf 7 und 8 erläutert ist. Mit mehreren Mustern 610 kann eine Triangulation ermöglicht werden, was die Bestimmung der relativen Orientierung erleichtert bzw. genauer macht.
Da während eines solchen An- bzw. Abdockvorgangs ein Abstand zwischen Kamera 102 und Muster 610 in großen Bereichen variieren kann, werden beispielsweise Muster 610 mit hierarchischer Symmetrie verwendet, wie beispielsweise unter Bezugnahme auf die 17 bis 19 erläutert. Diese umfassen sowohl wenige großflächige Punktsymmetrien, die aus großer Distanz und bei Nebel, Regen- oder Schneefall noch detektierbar sind, als auch viele kleinflächige Punktsymmetrien, die für eine präzise Operation bei geringer Distanz dienen.
Im allgemeinen Fall weist die relative Bewegung zwischen einer Kamera und einem Muster sechs Freiheitsgrade auf, und zwar drei Freiheitsgrade der Rotation sowie drei Freiheitsgrade der Translation. Die Bewegung mit diesen Freiheitsgraden führt zu einer Veränderung des Bildinhalts, und zwar führt die relative Rotation - man stelle sich dazu vor, dass die Kamera um sich selbst, um ihr Projektionszentrum, rotiert - zu einer entfernungsunabhängigen Verschiebung und Rotation des Bildinhalts und führt die relative Translation zu einer entfernungsabhängigen Veränderung des Bildinhalts, insbesondere Größenänderung der abgebildeten Objekte und Änderung der Perspektive.
Es sei angenommen, dass die Anordnung der Symmetrien in dem beobachteten Muster 610 bekannt ist, beispielsweise anhand eines Referenzmusters. Beispielsweise kann ein Muster 610 wie in 7 bzw. 8 dargestellt verwendet werden. Dann wäre beispielsweise bereits bekannt, dass 8×8 Punktsymmetrien vorliegen, die auf einem quadratischen Gitter mit bekanntem Abstand liegen. Optional wäre auch die Abfolge von ungeraden und geraden Punktsymmetrien des Referenzmusters bekannt. Alternativ kann diese Abfolge auch aus der Beobachtung ermittelt werden und ggf. dann durch einen Datenbank-Vergleich festgestellt werden, welches Referenzmuster vorliegt.
Aus jeder Beobachtung des Musters 610, also mit jedem neuen Kamerabild, können die gesuchten sechs Freiheitsgrade ermittelt werden. Dazu werden zunächst die Symmetriezentren der Bereiche 110 des Musters 110 bestimmt. Dann werden diese auf das Referenzmuster registriert, sodass damit für jedes beobachtete Symmetriezentrum die Zuordnung zum korrespondierenden Referenz-Symmetriezentrum bekannt ist. Dabei ist es unproblematisch, wenn ein signifikanter Anteil, z. B. deutlich mehr als die Hälfte, der Symmetriezentren nicht beobachtet werden kann, z. B. wegen Verdeckung, denn die Anordnung der Symmetrien im jeweiligen Muster 610 weist ein genügendes Maß an Redundanz auf, sodass die Registrierung und sogar die eindeutige Identifizierung möglich bleiben. Ist also für hinreichend viele Symmetriezentren die Zuordnung bekannt, können daraus die sechs Freiheitsgrade ermittelt werden. Bei bekannter Geometrie des jeweils starren Teils der Anordnung können die ermittelten sechs Freiheitsgrade, zwischen Kamera 102 und Muster 610, in andere Bezüge transformiert werden, beispielsweise für den Bezug zwischen Andockstelle der Gangway 2160 und Andockstelle der Plattform 2170, oder zwischen einem optionalen zweiten Sensor und dem Muster 610.
Optional kann auch ein Stereo- oder Multikamerasystem verwendet werden, sodass jeweils mehrere Bilder von demselben Muster 610 aus unterschiedlichen Perspektiven aufgenommen und gemeinsam ausgewertet werden können. Ein Stereo- oder Multikamerasystem bietet den Vorteil, dass Entfernungen und Oberflächenorientierungen des Musters 610 per Triangulation ermittelt werden können, was die gewünschte Bestimmung der sechs Freiheitsgrade genauer, einfacher und/oder schneller machen kann.
Gemäß Ausführungsbeispielen ist es möglich, schnell und präzise die relative Anordnung und bei Bedarf die relative Orientierung zwischen Kamera 102 bzw. bildgebendem Sensor und dem Muster 610 zu bestimmen. Dies kann genutzt werden, um eine mechanische Aktuatorik anzusteuern, die diese relative Anordnung bzw. Orientierung verändert. Zum Beispiel die Hydraulik zum Steuern der Gangway 2160 mit allen benötigten Freiheitsgraden. Insbesondere kann dies in eine Regelschleife eingebettet werden.
Das genannte Ausführungsbeispiel von 21 stellt nur eine von vielen denkbaren Anwendungen dar. Im Allgemeinen kann sich die Kamera 102 auf dem von der Aktuatorik mitbewegten Teil befinden und das Muster 610 auf dem nichtbewegten Teil - oder umgekehrt. Ebenso können auch beide Seiten bewegt sein, wie es auch bei dem schwimmenden Windkraftwerk und dem Versorgungsschiff der Fall ist. Damit können verschiedene Aktionen geregelt durchgeführt werden, beispielsweise gezieltes Annähern an einen bestimmten Punkt, Ausrichten an der vorgesehenen Orientierung, und sanftes Andocken, die Umkehrung davon, also Abdocken und gerichtetes und sicheres Entfernen, Parallelbewegung eines Roboters zu einer Oberfläche, Bewegung, relativ zu einem oder mehreren Mustern 610, entlang einer vorgesehenen Bahn mit vorgesehener ortsabhängiger Geschwindigkeit und Orientierung, Einfangen eines mit Muster 610 versehenen Objekts durch einen Roboter, während sich das Objekt bewegt, etc.
Ein weiteres Anwendungsbeispiel ist ein visuelles Andocken eines Kontaktpunkts, z. B. eines elektrischen Kontakts an einen Gegenkontakt oder eines Druckanschlusses oder Tankanschlusses für Gase, Flüssigkeiten, usw. an ein Gegenstück. Beispielsweise für ein Aufladen oder Auftanken von Boden-, Luft-, Wasserfahrzeugen, Robotern oder Drohnen. Da sich das kontaktlose Laden für Elektro- und Elektrohybridfahrzeuge noch nicht durchsetzen konnte und wegen seiner Verlustleistung vielleicht auch nicht durchsetzen wird, bleibt das Aufladen über elektrische Kontakte weiterhin interessant und wichtig. Das manuelle Anstecken (Plug-In) von Steckern bleibt ebenfalls unbeliebt, da umständlich, zeitaufwändig, schmutzige oder kalte Hände, Stolperfallen, Diebstahlgefahr für das Kabel, Gefahr eines Stromschlags bei beschädigtem Kabel. Eine alternative Möglichkeit besteht über einen Kontakt am Boden in Verbindung mit einem System ähnlich jenem aus 21, wobei es beliebig ist, auf welcher Seite sich die Aktuatorik für die Kontaktierung befindet, d.h. entweder am Boden oder am Fahrzeug, und auf welcher jeweiligen Seite sich Kamera bzw. bildgebender Sensor und Muster 610 bzw. zumindest ein symmetrischer Bereich 110 befinden. In einem Anwendungsfall wie diesem kann ein einziger punktsymmetrischer Bereich 110 bereits ausreichend sein. Beispielsweise ist dann der zu suchende Kontaktpunkt in das Symmetriezentrum des Bereichs 110 zu platzieren, denn dieses stellt dann den einzigen ausgezeichneten Ort dar. Für weitere Anwendungen könnte beispielsweise hinter dem Symmetriezentrum etwas versteckt werden, das nur der Roboter finden soll, jedoch nicht der Mensch. Oder das Symmetriezentrum könnte den Ort markieren, auf dem eine Flugdrohne landen soll, ohne dass dieser ausgezeichnete Punkt für den Menschen erkennbar ist.
Ein weiteres Anwendungsbeispiel besteht in einer Navigation in Gebäuden und Anlagen mit Hilfe versteckter Symmetrien unter Verwendung des zumindest einen Bereichs 110 und/oder Musters 610. Hierbei kann eine visuelle Orientierung und Navigation unter Ausnutzung bzw. Verwendung versteckter Symmetrien in Gestalt von Mustern 610 realisiert werden, insbesondere in Gebäuden und Anlagen, unter Tage, aber auch unter freiem Himmel. Dies ermöglicht es Maschinen, insbesondere mobilen Robotern, sowie auch Menschen, die mit Hilfsmitteln wie einem Smartphone mit Kamera ausgestattet sind, sich zu lokalisieren und selbständig zu navigieren.
Besteht Sichtkontakt zum Satelliten, ist ein GPS-basiertes System für viele Anwendungen der Lokalisierung und Navigation meist ausreichend. An vielen Orten entfällt diese Möglichkeit jedoch, z. B. innerhalb von Gebäuden, in Parkhäusern, in Tunneln, im Bergbau oder unter Wasser. Insbesondere in großen, einheitlich gestalteten Gebäuden mit vielen Stockwerken kann eine Orientierung und Navigation für Mensch und Maschine sehr schwierig sein. Alle heute bekannten SLAM-Systeme (SLAM = Simultaneous Localization And Mapping), die sich bei der Bildung und Nutzung ihrer Karten nur auf die in der Umgebung ohnehin vorhandenen Landmarken stützen können, arbeiten dort unter Umständen unzuverlässig und/oder unpräzise. Ihre Nutzung bleibt daher bisher auf wenige einfache Use-Cases und Demonstratoren beschränkt. In der Praxis wird in praktisch allen Anwendungen, bei denen Zuverlässigkeit, hohe Verfügbarkeit und Genauigkeit gefragt ist, mit technischen Markern gearbeitet. Hierfür existieren vielfältige Möglichkeiten, beispielsweise Beacons, unterschiedliche Arten von Tags, z. B. radiofrequente, elektromagnetische oder akustomagnetische, gepulste Leuchten, sowie viele Arten von passiven Markern, z. B. April Tag Marker, ArUco Marker, AR Tag Marker, QR-Codes, usw. All diese Marker sind auffällig. Einige von ihnen sind auch aufwändig zu installieren, wie z. B. Beacons, die in den Boden einzulassen sind, oder instand zu halten.
Muster 610 gemäß Ausführungsbeispielen bieten eine Nicht-Wahrnehmbarkeit, d. h. die Muster 610 werden nicht als Marker wahrgenommen. Sie sind so gestaltet, dass sie für den Menschen besonders schwierig, aber für eine Maschine mit dem Verfahren zum Bereitstellen aus 3 besonders leicht wahrnehmbar sind. Zudem sind sie passiv, benötigen also keine elektrische Energie, keine Vernetzung und keine Instandhaltung. Mit den vorstehend bereits beschriebenen Möglichkeiten der Ausführung der Bereiche 110 und Muster 610 hinsichtlich Material und symmetrischen Muster-Inhalten ergeben sich vielfältige Optionen, um die nützlichen Muster 610 auch ansprechend schön oder zumindest unauffällig zu gestalten und dafür zu sorgen, dass sie sich in eine Umgebung bestmöglich einfügen. Diese Möglichkeiten können beispielsweise von Innenarchitekten, Raumausstattern, Planern von Krankenhäusern, Büros, Hotels, Flughäfen, Bahnhöfen, usw. genutzt werden.
Auch eine nachträgliche Ausrüstung beispielsweise eines mehrstöckigen Gebäudes mit Mustern 610 zur Vorbereitung des Einsatzes von mobilen Robotern kann vorgenommen werden, ohne dass ein solcher Eingriff ein Aussehen der Flure und Räume verändern oder gar beeinträchtigen würde. Dazu können beispielsweise vorhandene Elemente der Wand- oder Deckenverkleidung modifiziert oder ersetzt werden, beispielsweise durch Elemente gleicher Größe und Farbe, jedoch mit z. B. reliefartig eingelassenen, gefrästen, geprägten, gebohrten, gestanzten oder gedruckten, gelaserten oder geätzten Mustern 610. Beispielsweise auch durch das Ersetzen von Akustik-Deckenplatten, bei denen das verwendete Lochmuster lediglich durch ein Lochmuster mit Symmetrieeigenschaften ersetzt wird. Hieraus können auch neue Dienstleistungen und Geschäftsmodelle und ein Expertentum für die Ausstattung von Räumen, Gebäuden und Anlagen mit solchen Mustern 610 ermöglicht werden. Auch in Anwendungsbereichen, wo der Vorteil des Versteckens irrelevant sein mag, wie z. B. in Warenlagern, in Tunneln, im Bergbau, unter Wasser, auf Offshore-Plattformen oder dergleichen, spricht trotzdem die bereits beschriebene Überlegenheit von Mustern 610 aus Bereichen 110 mit Zufallscharakter im Sinne der robusten Detektierbarkeit und Genauigkeit für ihre Verwendung. In diesem Zusammenhang können auf vorteilhafte Weise auch hierarchische Muster 610 verwendet werden, die den unter Bezugnahme auf die 17 bis 19 beschriebenen hierarchischen Mustern entsprechen oder ähneln.
Wird eine Vielzahl von Mustern 610 benötigt, z. B. in einem großen Gebäude wie einem Krankenhaus, kann es vorteilhaft sein, die Muster 610 unterscheidbar zu gestalten oder mit Zusatzinformation auszustatten, wie es insbesondere auch unter Bezugnahme auf 20 erläutert ist. Sollen großflächige Bereiche oder lange Räume mit nur wenigen Mustern 610 abgedeckt werden, sollten diese jeweils in einem großen Entfernungsbereich detektierbar sein. Hierfür ist unter Bezugnahme auf die 17 bis 19 eine Lösung mit hierarchischen Mustern 610 vorgeschlagen, die großflächige Punktsymmetrien für die Detektion aus großer Distanz aufweisen sowie kleinflächige Punktsymmetrien für die präzise Bestimmung der Pose zwischen Roboter und Muster 610 bei kleinen Distanzen.
22 zeigt eine schematische Darstellung verschiedener Darstellungsmedien 600 mit vordefinierten punktsymmetrischen Bereichen 110 gemäß Ausführungsbeispielen. Von den vordefinierten punktsymmetrischen Bereichen 110 sind auch die Symmetriezentren 112 eingezeichnet. Auf, an oder in jedem Darstellungsmedium 600 ist zumindest ein vordefinierter punktsymmetrischer Bereich 110 erzeugt. Bei den Darstellungsmedien 600 handelt es sich hierbei um Landmarkenelemente. In 22 sind als Beispiele für Landmarkenelemente nützliche oder dekorative Gegenstände für den Garten gezeigt. In den Flächen der Landmarkenelemente sind jeweils Punktsymmetrien versteckt, die der Mensch nicht wahrnimmt, die jedoch als Landmarken beispielsweise einen Mähroboter bei der Lokalisation und Navigation unterstützen. Somit handelt es sich bei den Darstellungsmedien 600 um Gegenstände mit versteckten Symmetrien bzw. vordefinierten punktsymmetrischen Bereichen 110 für Garten und Haus zur Unterstützung von mobilen Robotern. Konkrete Beispiele der Darstellungsmedien 600 sind Pflanzkübel, Blumenkübel, Gefäße, Stützen, Begrenzungen, Steine, Bodenplatten, Wandplatten, Gartenleuchten, Regentonnen oder dekorative Elemente.
Somit kann eine vorteilhafte Verwendung von symmetrisch gestalteten Objekten in Garten und Haus als Darstellungsmedien 600 für die Unterstützung einer Selbstlokalisation und Navigation von mobilen Robotern erfolgen, wobei diese Objekte in dem Sinne unauffällig sind, dass man ihnen ihre Funktion nicht ansieht. Optional können auch eventuell vorhandene, in der Regel nicht mobile, Überwachungskameras mit einbezogen werden, wobei eine Unterstützung zwischen Roboter und Überwachungskamera in beide Richtungen erfolgen kann. Besonders die Selbstlokalisation und Navigation von autonomen Rasenmähern als Robotern kann hierbei gemäß Ausführungsbeispielen verbessert bzw. unterstützt werden.
Herkömmlicherweise wird zum Beispiel ein Einfassungsdraht und ggf. ein Führungsdraht verwendet, die im Rasen manuell verlegt werden und die anfällig gegen Beschädigungen sein können, z. B. bei Bodenarbeiten. Außerdem orientiert sich ein Mähroboter eventuell so stark bzw. häufig am Bodendraht, dass dies unschöne Spuren im Rasen hinterlassen kann. Alternative herkömmliche Lösungen können aus unterschiedlichen Gründen ebenfalls unbefriedigend sein. Eine GPS-Lokalisierung in Kombination mit Rasenflächenerkennung kann ungenau sein, insbesondere kann die Unterscheidung von Rasenflächen und Beeten sowie die Einhaltung der Grenze zum Nachbarn unzuverlässig sein. Herkömmliche Lösungen mit batteriebetriebenen Funkbaken, die an mehreren Stellen in die Beete gesteckt werden sollen, bedürfen beispielsweise der Wartung und dürfen nicht verschoben oder umgestoßen werden. Es ist davon auszugehen, dass diese Lösung nicht ohne Weiteres für einen mehrjährigen störungsfreien Betrieb geeignet ist.
Gemäß einem Ausführungsbeispiel ist vorgesehen, dass Elemente wie die Landmarkenelemente bzw. Darstellungsmedien 600 aus 22 im Garten aufgestellt werden, die zwei Funktionen haben, nämlich eine erste Funktion als nicht wahrnehmbare Landmarke und eine zweite Funktion, z. B. als Pflanzkübel, Blumenkübel, Gefäß, Stütze, Begrenzung, Stein, Bodenplatte, Wandplatte, Gartenleuchte, Regentonne oder als dekoratives Element. Für deren Gestaltung hinsichtlich Material, Oberfläche, Textur, Struktur, Farbe existieren vielfältige Möglichkeiten. Auch eine Wandgestaltung am Haus oder an einer Gartenhütte kommt in Frage sowie eine Gestaltung von Geländern, Zäunen oder Sichtschutzelementen mit punktsymmetrischen Bereichen 110. Die Landmarkenelemente bzw. Darstellungsmedien 600 sollten möglichst standfest oder schwer oder im Boden oder am Gebäude oder am Zaun verankert sein, damit ein versehentliches Verschieben unwahrscheinlich ist. Der vorzugsweise mit Kamera oder anderer bildgebender Sensorik ausgestattete Roboter sollte nach Möglichkeit mindestens jeweils ein Landmarkenelement im Blick haben. Besser ist es, wenn er zwei oder mehr Elemente im Blick hat, dann ist auch Triangulation möglich, so dass die Entfernung und die relative Lage des Roboters zu den Landmarkenelementen bzw. Darstellungsmedien 600 genauer bestimmbar werden. Alternativ oder zusätzlich zur Verwendung von vielen Landmarkenelementen bzw. Darstellungsmedien 600 kann der Roboter auch mehrere Sensoren aufweisen, z. B. zwei Kameras oder eine Kamera und einen Laserscanner, um stets eine präzise Entfernungsmessung per Stereoskopie oder Lichtlaufzeitmessung zum jeweiligen Landmarkenelement und ggf. anderen Punkten der Szene zu gewährleisten.
Die Bereiche 110 oder Muster der Landmarkenelemente bzw. Darstellungsmedien 600 können codiert, siehe auch 8, oder mit Zusatzinformationen versehen sein, siehe auch 20, um sie für den Roboter leicht unterscheidbar zu machen. Sollen großflächige Bereiche oder lange Strecken mit nur wenigen Landmarkenelementen bzw. Darstellungsmedien 600 abgedeckt werden, sollten diese jeweils in einem großen Entfernungsbereich detektierbar sein. Hierfür können die unter Bezugnahme auf die 17 bis 19 vorgestellten hierarchischen Muster verwendet werden, die großflächige Punktsymmetrien für die Detektion aus großer Distanz sowie kleinflächige Punktsymmetrien für die präzise Bestimmung der Pose zwischen Roboter und Landmarkenelement bzw. Darstellungsmedium 600 bei kleinen Distanzen aufweisen.
Eine praktische Anwendung gemäß Ausführungsbeispielen könnte wie folgt zusammengefasst werden: Der Anwender kauft sich zu seinem Rasenmähroboter drei kompatible Landmarkenelemente bzw. Darstellungsmedien 600, beispielsweise einen Pflanzkübel, einen Deko-Stein und eine selbstklebende Dekorfolie für die Regentonne, und platziert diese an unterschiedlichen Stellen in seinem Garten. Man kann mit drei Landmarkenelementen bzw. Darstellungsmedien 600 zusätzlich zu einer Ladestation auskommen und eine optimale Platzierung derselben beispielsweise auf einer Website erfahren, wo man wahlweise Fotos von seinem Garten hochladen, seinen Garten bzw. die zu mähenden Fläche skizzieren und/oder seinen Garten auf einer Landkarte markieren kann. Je größer und verwinkelter der Garten ist, desto mehr Landmarkenelemente bzw. Darstellungsmedien 600 werden benötigt.
Nachfolgend führt der Anwender eine manuell gesteuerte Teach-In-Fahrt mit dem Roboter durch. Diesen steuert er wahlweise mit Smartphone, Tablet, Fernsteuerung, Spielekonsolen-Controller, Gestensteuerung oder akustisch durch Zuruf von Kommandos. Die Teach-In-Fahrt dient dazu, dem Roboter die Begrenzungen der zu mähenden Flächen zu zeigen und wie er von einem Gartenabschnitt zum nächsten kommt. Hindernisse erkennt der Roboter automatisch, sie müssen also bei der Teach-In-Fahrt nicht besonders berücksichtigt werden. Die obligatorische Ladestation ist ebenfalls mit punktsymmetrischen Bereichen 110 versehen und dient beispielsweise immer als Landmarkenelement. Während der Teach-In-Fahrt erfasst der Roboter die vom jeweiligen Ort sichtbaren Landmarkenelemente bzw. Darstellungsmedien 600, an denen er sich später orientieren wird.
Nachfolgend kann der Roboter autonom durch den Garten fahren und Bahnen mähen. Dabei orientiert er sich an den bekannten Landmarkenelementen bzw. Darstellungsmedien 600 mit den Bereichen 110 oder Mustern. Zeitweise fehlende bzw. verdeckte Sicht zu den Landmarkenelementen bzw. Darstellungsmedien 600 überbrückt der Roboter optional per Odometrie, Trägheitsnavigation und/oder GPS. Stellt sich während der Teach-In-Fahrt oder während des Mähbetriebs heraus, dass zu wenige Landmarkenelemente bzw. Darstellungsmedien 600 vorhanden sind, so gibt der Roboter (z. B. via Smartphone App) eine Empfehlung ab, wie viele Elemente hinzugefügt und wo diese aufgestellt werden sollten. Wird eine Landmarke bzw. ein Darstellungsmedium 600 mit der Zeit durch Blattwuchs verdeckt, so gibt der Roboter einen entsprechenden Hinweis und fordert auf, die verdeckte Sicht zu befreien. Wurde ein Landmarkenelement bzw. ein Darstellungsmedium 600 versehentlich erheblich verschoben oder verdreht, so erkennt der Roboter, dass die relativen Bezüge zwischen den Landmarkenelementen bzw. Darstellungsmedien 600 verändert sind und fordert den Anwender zu einem Update-Teach-In für den betreffenden Teil des Gartens auf.
Sind auf dem Grundstück auch Überwachungskameras vorhanden, so können diese optional in das System einbezogen werden: Das Verfahren zur Detektion der Bereiche 110 der Landmarkenelemente bzw. Darstellungsmedien 600 läuft auch auf den Überwachungskameras. Die normalerweise festen Positionen der Landmarkenelemente bzw. Darstellungsmedien 600 werden von den Überwachungskameras erfasst. Die Positionen werden gespeichert. Ab und zu, z. B. einmal minütlich, werden die Positionen neu erfasst und mit den gespeicherten Positionen verglichen. Wurde eine Landmarkenposition verändert, z. B. versehentlich, so meldet das mit dem Roboter vernetzte Überwachungskamerasystem die Veränderung der Position an den Roboter. Ein Update-Teach-In kann dann ggf. entfallen. Das Überwachungskamerasystem kann auch die Information bereitstellen, dass nichts verändert wurde und der Mähbetrieb normal stattfinden kann. Umgekehrt können die Überwachungskameras auch vom Vorhandensein der Anordnung von Landmarkenelementen bzw. Darstellungsmedien 600 profitieren: Der Roboter baut während seiner Fahrt eine 2- oder 3-dimensionale digitale Karte seiner Umgebung auf. In dieser Karte haben die Landmarkenelemente bzw. Darstellungsmedien 600 feste Positionen. Die jeweilige Überwachungskamera findet einen Teil der Landmarkenelemente bzw. Darstellungsmedien 600 und kann sich anhand der vom Roboter aufgebauten Karte relativ darin verorten, also selbst lokalisieren. Dies setzt eine Vernetzung von Roboter und Kamera voraus.
Bei nicht vorhandener Vernetzung kann sich die Überwachungskamera immerhin bezüglich der Landmarkenelemente bzw. Darstellungsmedien 600 verorten.
Die Vernetzung kann noch weitergehen: Die vom Roboter gebildete Karte wird auf einen Server zurückgeladen, wo vorher die Planung durchgeführt wurde. Planung und Ist-Zustand können miteinander abgeglichen werden. Der Anwender erhält ein digitales Abbild seines Gartens, in dem er noch genauer auf die Steuerung des Roboters Einfluss nehmen kann. Optional werden bei diesem digitalen Abbild auch Kamerabilder der Roboter-Kamera verwendet, sodass der Anwender sich auch im Nachhinein den Zustand seines Gartens, z. B. über die Jahreszeiten, im Detail in einer Virtual Reality Ansicht ansehen kann. Hersteller können so auf freiwilliger Basis im Gegenzug Daten über alle Gärten der freiwillig teilnehmenden Anwender erhalten und diese Informationen für eine Weiterentwicklung seiner Mähroboter und Landmarkenelemente bzw. Darstellungsmedien 600 nutzen. Die hier für den Garten veranschaulichte Anwendung und Betriebsweise lässt sich auch auf das Innere eines Hauses übertragen, insbesondere für Staubsaugroboter, Bodenputzroboter, Fensterputzroboter, fliegende Überwachungsdrohnen und nichtmobile Überwachungskameras.
23 zeigt ein Kamerabild eines Förderbands als Darstellungsmedium 600 mit einem Ausführungsbeispiel eines Musters 610 aus vordefinierten punktsymmetrischen Bereichen und von auf dem Förderband abgelegten Objekten 2300. Somit ist hierbei ein Förderband mit einem Muster 610 ähnlich oder entsprechend einer der vorstehend beschriebenen Muster versehen. Das Muster 610 ist aus vordefinierten punktsymmetrischen Bereichen mit ungerader und gerader Symmetrie aufgebaut. Von den vordefinierten punktsymmetrischen Bereichen sind in 23 die Symmetriezentren 112A und 112B gezeigt. Anders ausgedrückt zeigt 23 ein Kamerabild mit einer Momentaufnahme des Förderbands in einer Ansicht von oben. Auf dem Band sind Objekte 2300 beispielsweise in Gestalt verschiedener Leuchtmittel mit GU10 Sockel abgelegt. Selbst wenn die Objekte 2300 mehr als die Hälfte des Bandes verdecken, bleibt ein für die Funktion ausreichend großer Teil des Musters 610 sichtbar. Bei der Auswertung des Bildes wurden die eingezeichneten Punktsymmetriezentren 112A und 112B gefunden. Anhand einer Codierung des Musters 610 ist die Ermittlung von absoluten Positionen auf dem Förderband in einem Bandkoordinatensystem eindeutig möglich.
24 zeigt das Kamerabild aus 23 nach einer Verarbeitung unter Verwendung des Verfahrens zum Bereitstellen aus 3. Somit sind in 24 aufgrund der teilweisen Verdeckung des Musters 610 erkannte Umrisse der auf dem Förderband befindlichen Objekte 2300 für das Kamerabild aus 23 gezeigt. Hier wurde, nach Ermittlung des im Kamerabild enthaltenen Koordinatenbereichs des Förderbands das entsprechende bekannte Referenzmuster pixelweise mit dem Kamerabild verglichen. Dort wo Kamerabild und Referenzmuster voneinander abweichen, liegt eine Verdeckung vor. Diese Bereiche sind 24 mittels Aufhellung gekennzeichnet. Somit können die genauen Umrisse der Objekte 2300 sowie deren Position detektiert werden.
Unter Bezugnahme auf 23 und 24 sei angemerkt, dass eine Verwendung der Muster 610 mit enthaltenen Symmetrien für ein bewegtes Band, insbesondere ein Förderband, realisiert werden kann, wobei das Muster 610 auf der Außen- oder Innenseite des Bands aufgebracht ist und mit mindestens einem bildgebenden Sensor, z. B. einer Kamera, beobachtet wird, insbesondere während das Band in Benutzung und in Bewegung ist. Ist beispielsweise eine Oberfläche eines Förderbands für industrielle Produktion mit einem geeigneten Muster 610 versehen, so ergeben sich mögliche Vorteile hieraus für die Beobachtung und Steuerung von Prozessen, die zumindest teilweise durch Roboter ausgeführt werden. Durch die Symmetriezentren 112A und 112B entstehen auf dem Förderband ausgezeichnete Orte, die auch unter mechanischer Dehnung des Bands oder bei unpräzisem Lauf des Bands (z. B. Seitenversatz) oder bei Schwingung des Bands eindeutig bleiben. Diese ausgezeichneten Orte können ein flexibles Koordinatensystem definieren, das fest mit dem Band verbunden ist.
Durch Kenntnis und Ausnutzung der relativen Anordnung der Symmetriezentren 112A und 112B zueinander, insbesondere unter Einbeziehung der ungeraden und geraden Symmetrien, kann anhand der Auswertung des Kamerabildes, das einen Ausschnitt des Förderbands enthält, die absolute Koordinate jeder im Kamerabild sichtbaren Stelle des Bandes im Band-Koordinatensystem ermittelt werden. Dies kann beispielsweise genutzt werden, um ein Objekt 2300 an wohldefinierter Position auf dem Förderband abzulegen, das an anderer Stelle von dort wieder abgenommen werden kann, ohne dass es notwendig ist, das Objekt 2300 detektieren oder erkennen zu müssen. Dazu stellt die mit entsprechender Kamera inklusive Auswertung ausgestattete, ablegende Stelle beispielsweise die Koordinate(n) digital bereit, wo das Objekt 2300 abgelegt wurde. Weitere Zusatzinformationen können mitgeliefert werden, z. B. um welchen Objekttyp es sich handelt, wie das Objekt 2300 auf dem Band orientiert ist, welche Seite unten ist, wo es gegriffen werden kann, usw. An der nächsten abgreifenden Stelle, die ebenfalls mit Kamera inklusive Auswertung ausgestattet ist, stehen die digital übertragenen Daten rechtzeitig bereit.
Durch Beobachtung des Bandes mit der Kamera und (fortlaufende) Auswertung ist die Bandkoordinate und Bandgeschwindigkeit am Ort des Abgreifens ständig bekannt. Im Normalfall liegt das Objekt 2300 zu diesem Zeitpunkt noch exakt an der Bandkoordinate, wo es vorher abgelegt worden ist. Somit kann die Abgreifmechanik rechtzeitig bereitstehen bzw. ein Roboter zuverlässig gesteuert werden, um das Objekt 2300 zielgenau und ohne Ruck vom Band abzugreifen. Dabei ist es nicht nötig, das Objekt 2300 selbst im Kamerabild zu identifizieren oder zu vermessen. Alleine die Kenntnis der digital übertragenen Daten über Typ, Ausrichtung und Lage auf dem Bandkoordinatensystem reicht aus, um die Funktion des zuverlässigen Abgreifens zu realisieren. 23 veranschaulicht das ausgewertete Bild einer Kamera, die das Förderband, auf dem sich Objekte 2300 befinden, von oben beobachtet. Wie zu sehen ist, werden trotz teilweiser Verdeckung eine mehr als ausreichend große Anzahl von Symmetriezentren 112A und 112B gefunden, um den jeweiligen Ort auf dem Bandkoordinatensystem zu ermitteln.
In einer einfachen Ausgestaltung benötigt die Auswerteeinheit bzw. Bestimmungsvorrichtung aus 1 nur sehr wenige Informationen über das auf dem Band aufgebrachte Muster 610, nämlich an welchen Koordinaten sich die Symmetriezentren 112A und 112B befinden sowie deren Vorzeichen, also ob es sich jeweils um eine ungerade (negatives Vorzeichen) oder gerade (positives Vorzeichen) Punktsymmetrie handelt. In einer weiteren Ausgestaltung wird der Auswerteeinheit bzw. Bestimmungsvorrichtung aus 1 zusätzlich das vollständige Referenzmuster zur Verfügung gestellt, z. B. in Form einer Bild-Datei, auch Referenzbild genannt, um damit Vergleiche durchzuführen. Alternativ kann das Referenzmuster auch als Rechenvorschrift zur Verfügung gestellt werden, z. B. in Form der Parameter eines Quasi-Zufallszahlen-Generators, der bei gleicher Initialisierung immer die gleiche Zahlenfolge liefert, und der hier mehrfach aufgerufen wurde, um eine Referenzmuster zu erstellen, das Anteile in mehreren Ortsfrequenzbereichen aufweist, damit es gleichzeitig für kurze, mittlere und weite Distanzen geeignet ist. So kann das Referenzbild (oder ein Teil davon) bei Bedarf ausgerechnet werden und beansprucht bei Nichtgebrauch wenig Speicherplatz.
Mit der Kenntnis des Referenzbilds ist es dann möglich, das Kamerabild, z. B. pixelweise, mit einem entsprechenden Abschnitt des Referenzbilds zu vergleichen. Die dafür erforderliche Skalierungsanpassung und Rotation, sodass die beiden Bilder hinsichtlich Auflösung und Ausrichtung zueinander passen, sei hier vorausgesetzt. Dieser zusätzliche Schritt des Bildvergleichs wird erst ermöglicht bzw. erheblich vereinfacht, weil zuvor die Position im Bandkoordinatensystem bereits, anhand des Musters 610 mit codierten Punktsymmetrien, bestimmt worden ist. Eine dann noch verbleibende Restunsicherheit bezüglich der Position ist sehr gering. Mit anderen Worten sind die beiden zu vergleichenden Bilder bis auf eine kleine örtliche Restunsicherheit bereits sehr gut aufeinander registriert.
Nachfolgend kann eine hochpräzise Auswertung erfolgen, anhand des genauen Vergleichs von Kamerabild und Referenzbild, z. B. um die lokale Verzerrung des Bands aufgrund von aktuellen Lasten oder Alterung oder schlechter Bandführung zu ermitteln. Bei einem leeren und sauberen Förderband sollte dann eine vollflächige nahezu perfekte Übereinstimmung zwischen Kamerabild oder Kamerabildausschnitt und entsprechendem Referenzbildabschnitt feststellbar sein. Befinden sich jedoch Objekte 2300 auf dem Förderband, die das Muster 610 lokal verdecken, ist die Übereinstimmung zwischen Kamerabild und Referenzbild an diesen Stellen bzw. Pixeln nicht mehr gegeben. Aus dieser Information können Masken der Objekte 2300 auf dem Förderband erzeugt werden bzw. die genauen Umrisse der Objekte 2300 hergeleitet werden. Siehe hierzu 24.
Weitere Vorteile werden nachfolgend nicht erschöpfend aufgeführt. Es können weitere Sensoren und zugehörige Verarbeitungsschritte eingespart werden, wie z. B. Lichtschranken, Laserscanner, Time-of-Flight-Sensoren, Ultraschallsensoren, Entfernungsmesser, mechanische Schalter sowie dedizierte Kamera-basierte Algorithmen, die herkömmlicherweise zur Präsenzdetektion, Lokalisation, Vermessung, Klassifikation oder Lageerkennung verwendet werden. Neben den bereits erwähnten Möglichkeiten, anhand der gefundenen Symmetriezentren 112A und 112B eine absolute Position im Bandkoordinatensystem zu ermitteln und aus der zeitlichen Ableitung der Position die Geschwindigkeit zu ermitteln, besteht auch die Möglichkeit, eine Dehnung bzw. Stauchung des Bands zu ermitteln, insbesondere die Dehnung in Längsrichtung. Diese kann z. B. hervorgerufen werden durch Alterung oder Überlastung des Bands, durch schwergängige Laufrollen oder andere Teile der Mechanik, durch Lasten auf dem Band, durch schlecht synchronisierte Antriebseinheiten. Die Ermittlung der Dehnung kann helfen, ungünstige Einflüsse frühzeitig zu detektieren. Wenn das Band seitlich von seiner Soll-Lage abweicht, kann dies ebenfalls rechtzeitig detektiert werden, ohne dass die Kamera dafür den ggf. verdeckten Rand zu beobachten braucht. Eine solche seitliche Abweichung könnte sich ansonsten eventuell negativ auswirken, z. B. auf die Lebensdauer. Längs- oder Querschwingungen des Bands können detektiert werden. Längsschwingungen würden sich als kleine periodische Abweichungen der ermittelten Längsgeschwindigkeit bemerkbar machen. Sie können durch defekte oder schwergängige Lager hervorgerufen sein und zum Verrutschen von Objekten auf dem Förderband führen.
Eine nachträgliche Ausrüstung durch Integration in bestehende Systeme ist relativ einfach möglich. Es muss nur das Band ausgetauscht werden, durch ein Band mit dem Muster 610. Bestehende Kameras, die auf das Band schauen, können ggf. weiterverwendet werden. Die Software oder Embedded Hardware zur Auswertung ihrer Bilder kann ersetzt oder ergänzt werden mit dem Algorithmus zur Detektion der Symmetriezentren und ihrer weiteren Verarbeitung bzw. einem Ausführungsbeispiel eines der vorstehend genannten Verfahren. Das Band kann aus unterschiedlichen Materialien bzw. Bauteilen gefertigt sein, beispielsweise ein Gummiband oder gummiertes Gewebeband oder Kunststoff-Gliederband oder Metallgliederband. Das Muster 610 kann auf der Oberseite des Bands angebracht werden oder auf der Unterseite. Mit Oberseite ist die Seite gemeint, die mit den transportierten Objekten 2300 oder Gütern in Kontakt kommt, während die Unterseite eher mit der Transporttechnik, Transportrollen, usw. in Kontakt kommt. Die Anbringung des Musters 610 auf der Unterseite kann Vorteile bieten, weil es nicht von den transportierten Objekten 2300 verdeckt werden kann und weil Muster 610 und Kamera z. B. in staubiger Umgebung besser vor Verschmutzung geschützt werden können. Das Muster auf der Oberseite kann den Vorteil bieten, eine höhere Genauigkeit zu ermöglichen, auch weil die Objekte 2300 auf der Oberseite platziert werden und gemeinsam mit dem Muster 610 im selben Kamerabild sichtbar sind.
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102020202160 A1 [0003]
DE 102020202160 [0012, 0037, 0079, 0082, 0084]

Claims

Verfahren (300) zum Bereitstellen von Navigationsdaten (135) zum Steuern eines Roboters (2160), wobei das Verfahren (300) folgende Schritte aufweist: Einlesen (324) von mittels einer Kamera (102) bereitgestellten Bilddaten (105) von einer Schnittstelle (122) zu der Kamera (102), wobei die Bilddaten (105) ein Kamerabild von zumindest einem vordefinierten gerade und/oder ungerade punktsymmetrischen Bereich (110; 110A, 110B) in einer Umgebung der Kamera (102) repräsentieren; Bestimmen (326) zumindest eines Symmetriezentrums (112; 112A, 112B) des zumindest einen gerade und/oder ungerade punktsymmetrischen Bereichs (110; 110A, 110B) unter Verwendung der Bilddaten (105) und einer Bestimmungsvorschrift (128); Durchführen (330) eines Vergleichs einer Position des zumindest einen Symmetriezentrums (112; 112A, 112B) in dem Kamerabild mit einer vordefinierten Position zumindest eines Referenz-Symmetriezentrums in einem Referenzbild (115) relativ zu einem Bezugskoordinatensystem, um eine Positionsabweichung (131) zwischen dem Symmetriezentrum (112; 112A, 112B) und dem Referenz-Symmetriezentrum zu bestimmen; und/oder Ermitteln (332) von Verschiebungsinformationen (133) für zumindest eine Teilmenge von Pixeln des Kamerabildes relativ zu korrespondierenden Pixeln des Referenzbildes (115) unter Verwendung der Positionsabweichung (131), wobei die Navigationsdaten (135) unter Verwendung der Positionsabweichung (131) und/oder der Verschiebungsinformationen (133) bereitgestellt werden.
Verfahren (300) gemäß Anspruch 1, bei dem die im Schritt (326) des Bestimmens verwendete Bestimmungsvorschrift (128) ausgebildet ist, um zu bewirken, dass eine Signatur (s) für eine Mehrzahl von Pixeln zumindest eines Ausschnitts des Kamerabilds erzeugt wird, um eine Mehrzahl von Signaturen (s) zu erhalten, wobei jede der Signaturen (s) unter Verwendung eines Deskriptors mit einer Mehrzahl von unterschiedlichen Filtern erzeugt wird, wobei jedes Filter zumindest eine Symmetrieart aufweist, wobei jede der Signaturen (s) für jedes Filter des Deskriptors ein Vorzeichen aufweist, dass für die Signatur (s) zumindest eine Spiegelsignatur (s_PG, s_PU) für zumindest eine Symmetrieart der Filter ermittelt wird, dass ein die Signatur (s) aufweisendes Pixel auf ein Vorliegen zumindest eines weiteren Pixels mit einer der zumindest einen Spiegelsignatur (s_PG, s_PU) entsprechenden Signatur (s) in einem Suchbereich (1104) in einer Umgebung um das Pixel überprüft wird, um bei Vorliegen zumindest eines weiteren Pixels Pixelkoordinaten zumindest eines symmetrischen Signaturpaars aus dem Pixel und einem weiteren Pixel zu ermitteln, und dass die Pixelkoordinaten des zumindest einen symmetrischen Signaturpaars ausgewertet werden, um das zumindest eine Symmetriezentrum (112; 112A, 112B) zu identifizieren, und/oder wobei zumindest ein Reflektor (R_PG, R_PU) auf die Vorzeichen einer der Signaturen (s) angewendet wird, um die zumindest eine Spiegelsignatur (s_PG, s_PU) zu ermitteln, wobei jeder Reflektor (R_PG, R_PU) für eine Symmetrieart spezifische und von den Filtern des Deskriptors abhängige Vorschriften zur Modifikation der Vorzeichen aufweist, wobei der Suchbereich (1104) von zumindest einem der angewendeten Reflektoren (R_PG, R_PU) abhängig ist.
Verfahren (300) gemäß Anspruch 2, bei dem im Schritt (326) des Bestimmens für jedes bereits bestimmte Symmetriezentrum (112; 112A, 112B) unter Verwendung der Pixelkoordinaten jedes symmetrischen Signaturpaars, das zum korrekten Identifizieren des Symmetriezentrums (112; 112A, 112B) beigetragen hat, eine Transformationsvorschrift zum Transformieren von Pixelkoordinaten des Symmetriezentrums (112; 112A, 112B) und/ oder des zumindest einen gerade und/oder ungerade punktsymmetrischen Bereichs (110; 110A, 110B) bestimmt wird, wobei die Transformationsvorschrift auf die Pixelkoordinaten des Symmetriezentrums (112; 112A, 112B) und/ oder des zumindest einen gerade und/oder ungerade punktsymmetrischen Bereichs (110; 110A, 110B) angewendet wird, um eine verzerrte Perspektive des Kamerabilds zu entzerren.
Verfahren (300) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (326) des Bestimmens eine Symmetrieart des zumindest einen Symmetriezentrums (112; 112A, 112B) bestimmt wird, wobei die Symmetrieart eine gerade Punktsymmetrie und/oder eine ungerade Punktsymmetrie repräsentiert, und/oder wobei im Schritt (330) des Durchführens ein Vergleich der Symmetrieart des zumindest einen Symmetriezentrums (112; 112A, 112B) in dem Kamerabild mit einer vordefinierten Symmetrieart zumindest eines Referenz-Symmetriezentrums in einem Referenzbild (115) durchgeführt wird, um eine Übereinstimmung zwischen dem zumindest einen Symmetriezentrum (112; 112A, 112B) und dem zumindest einen Referenz-Symmetriezentrum zu prüfen.
Verfahren (300) gemäß Anspruch 4, bei dem die im Schritt (324) des Einlesens eingelesenen Bilddaten (105) ein Kamerabild von zumindest einem Muster (610; 1710, 1810) aus einer Mehrzahl von vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichen (110; 110A, 110B) repräsentiert, wobei im Schritt (326) des Bestimmens eine geometrische Anordnung von Symmetriezentren (112; 112A, 112B) des zumindest einen Musters (610; 1710, 1810) bestimmt wird, eine geometrische Abfolge von Symmetriearten der Symmetriezentren (112; 112A, 112B) bestimmt wird und/oder unter Verwendung der Abfolge das Muster (610; 1710, 1810) aus mehreren vordefinierten Mustern bestimmt wird, wobei die Anordnung und/oder die Abfolge einen Identifikationscode des Musters (610; 1710, 1810) repräsentiert.
Verfahren (300) gemäß Anspruch 5, bei dem im Schritt (326) des Bestimmens unter Verwendung der Anordnung der Symmetriezentren (112; 112A, 112B) des zumindest einen Musters (610; 1710, 1810) und/oder der Abfolge von Symmetriearten der Symmetriezentren (112; 112A, 112B) eine implizite Zusatzinformation des zumindest einen Musters (610; 1710, 1810) oder eine Auslesevorschrift zum Auslesen einer expliziten Zusatzinformation in dem Kamerabild bestimmt wird, wobei die Anordnung und/oder die Abfolge die Zusatzinformation in codierter Form repräsentiert, wobei die Zusatzinformation auf das Steuern des Roboters (2160) bezogen ist.
Verfahren (300) gemäß einem der Ansprüche 5 bis 6, bei dem im Schritt (330) des Durchführens abhängig von der bestimmten Anordnung, der bestimmten Abfolge und/oder des bestimmten Musters (610; 1710, 1810) das Referenzbild (115) aus mehreren gespeicherten Referenzbildern ausgewählt wird oder unter Verwendung einer gespeicherten Erzeugungsvorschrift erzeugt wird.
Verfahren (300) gemäß einem der Ansprüche 5 bis 7, bei dem der Schritt (326) des Bestimmens und/oder der Schritt (330) des Durchführens unabhängig von der Symmetrieart der Symmetriezentren (112; 112A, 112B) für alle Symmetriezentren (112; 112A, 112B) gemeinsam ausgeführt wird oder abhängig von der Symmetrieart der Symmetriezentren (112; 112A, 112B) für die Symmetriezentren (112; 112A, 112B) derselben Symmetrieart gesondert ausgeführt wird.
Verfahren (400) zum Steuern eines Roboters (2160), wobei das Verfahren (400) folgende Schritte aufweist: Auswerten (444) von nach dem Verfahren (300) gemäß einem der vorangegangenen Ansprüche bereitgestellten Navigationsdaten (135), um ein von den Navigationsdaten (135) abhängiges Steuersignal (145) zu erzeugen; und Ausgeben des Steuersignals (145) an eine Schnittstelle (148) zu dem Roboter (2160), um den Roboter (2160) zu steuern.
Verfahren (500) zum Herstellen zumindest eines vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs (110; 110A, 110B) zur Verwendung durch ein Verfahren (300; 400) gemäß einem der vorangegangenen Ansprüche, wobei das Verfahren (500) folgende Schritte aufweist: Generieren (502) von Entwurfsdaten (204), die eine grafische Darstellung des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs (110; 110A, 110B) repräsentieren; und Erzeugen (506) des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs (110; 110A, 110B) unter Verwendung der Entwurfsdaten (204) auf, an oder in einem Darstellungsmedium (600), um den zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereich (110; 110A, 110B) herzustellen.
Verfahren (500) gemäß Anspruch 10, bei dem im Schritt (502) des Generierens Entwurfsdaten (204) generiert werden, die eine grafische Darstellung des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs (110; 110A, 110B) als ein Kreis, eine Ellipse, ein Quadrat, ein Rechteck, ein Fünfeck, ein Sechseck, ein Polygon oder ein Kreisring repräsentieren, wobei der zumindest eine vordefinierte gerade und/oder ungerade punktsymmetrische Bereich (110; 110A, 110B) ein regelmäßiges oder quasi-zufälliges Inhaltsmuster aufweist, und/oder wobei eine erste Hälfte einer Fläche des zumindest einen vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichs (110; 110A, 110B) beliebig vorgegeben wird und eine zweite Hälfte der Fläche durch Punktspiegelung und/oder Invertierung von Grauwerten und/oder Farbwerten konstruiert wird, und/oder wobei im Schritt (506) des Erzeugens der zumindest eine vordefinierte gerade und/oder ungerade punktsymmetrische Bereich (110; 110A, 110B) durch einen additiven Fertigungsprozess, Trennen, Beschichten, Umformen, Urformen oder optisches Anzeigen erzeugt wird, und/oder wobei das Darstellungsmedium (600) Glas, Stein, Keramik, Kunststoff, Gummi, Metall, Beton, Gips, Papier, Pappe, Lebensmittel oder eine optische Anzeigeeinrichtung aufweist.
Verfahren (500) gemäß einem der Ansprüche 10 bis 11, bei dem im Schritt (502) des Generierens Entwurfsdaten (204) generiert werden, die eine grafische Darstellung zumindest eines Musters (610; 1710, 1810) aus einer Mehrzahl von vordefinierten gerade und/oder ungerade punktsymmetrischen Bereichen (110; 110A, 110B) repräsentieren, wobei zumindest eine Teilmenge punktsymmetrischen Bereiche (110; 110A, 110B) an einem regelmäßigen oder unregelmäßigen Raster (1311) ausgerichtet sind, direkt aneinander angrenzen und/oder teilweise von mindestens einem benachbarten gerade und/oder ungerade punktsymmetrischen Bereich (110; 110A, 110B) durch einen Zwischenraum getrennt sind, hinsichtlich ihrer Abmessungen und/oder ihrer Inhaltsmuster identisch zueinander oder unterschiedlich voneinander sind und/oder in einer gemeinsamen Ebene oder in unterschiedlichen Ebenen angeordnet sind, und/oder wobei im Schritt (502) des Generierens Entwurfsdaten (204) generiert werden, die eine grafische Darstellung zumindest eines Musters (610; 1710, 1810) mit hierarchischer Symmetrie repräsentieren.
Vorrichtung (120; 140; 200), die eingerichtet ist, um die Schritte eines Verfahrens (300; 400; 500) gemäß einem der vorangegangenen Ansprüche in entsprechenden Einheiten (124, 126, 130, 132; 144, 146; 202, 206) auszuführen und/oder anzusteuern.
Computerprogramm, das dazu eingerichtet ist, die Schritte eines Verfahrens (300; 400; 500) gemäß einem der Ansprüche 1 bis 12 auszuführen und/oder anzusteuern.
Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 14 gespeichert ist.