DE102022106278A1 - Robotersensordatenverwaltung - Google Patents

Robotersensordatenverwaltung Download PDF

Info

Publication number
DE102022106278A1
DE102022106278A1 DE102022106278.3A DE102022106278A DE102022106278A1 DE 102022106278 A1 DE102022106278 A1 DE 102022106278A1 DE 102022106278 A DE102022106278 A DE 102022106278A DE 102022106278 A1 DE102022106278 A1 DE 102022106278A1
Authority
DE
Germany
Prior art keywords
robot
sensor data
mode
sensor
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022106278.3A
Other languages
English (en)
Inventor
Rita H. Wouhaybi
Atul Hatalkar
Hassnaa Moustafa
Siew Wen Chin
Sangeeta Manepalli
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of DE102022106278A1 publication Critical patent/DE102022106278A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0077—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements using redundant signals or controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Robotics (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

Ein Roboter kann einen Prozessor beinhalten, ausgelegt zum Arbeiten gemäß einem ersten Betriebsmodus oder einem zweiten Betriebsmodus, wobei der erste Betriebsmodus Durchführen einer Umgebungswahrnehmungsoperation unter Verwendung erster Sensordaten umfasst, wobei die ersten Sensordaten keine Kameradaten umfassen, und wobei der zweite Betriebsmodus Durchführen der Umgebungswahrnehmungsoperation unter Verwendung zweiter Sensordaten umfasst, wobei die zweiten Sensordaten Kameradaten umfassen; während des Arbeitens gemäß dem ersten Betriebsmodus, Ermitteln eines Konfidenzfaktors, der eine Konfidenz der Umgebungswahrnehmungsoperation repräsentiert; Ermitteln, ob der Konfidenzfaktor außerhalb eines Bereichs liegt oder nicht; und falls der Konfidenzfaktor außerhalb des Bereichs liegt, Arbeiten gemäß dem zweiten Betriebsmodus.

Description

  • Technisches Gebiet
  • Verschiedene Aspekte dieser Offenbarung betreffen allgemein die Verwaltung von Sensordaten und insbesondere die Verwaltung der Verwendung von Nichtkamerasensordaten gegenüber Kamerasensordaten im Roboterbetrieb.
  • Hintergrund
  • Bei vielen Implementierungen stützen sich Roboter für ihren Betrieb (z. B. zum Erfassen einer näheren Umgebung des Roboters, zum Detektieren von Objekten, zum Durchführen von Lokalisierungsoperationen usw.) stark auf Kameradaten. Obwohl Kameradaten unter gewissen Umständen schnell eine Fülle von Informationen über die Umgebung eines Roboters bereitstellen können, kann die Abhängigkeit von Kameradaten schlechte Ergebnisse ergeben oder unter anderen Umständen unerwünscht sein. Zum Beispiel können in gewissen Fabrikumgebungen Faktoren, wie etwa schlechte Beleuchtungsbedingungen, Staub, ungünstige Temperaturen, schlechte Luftqualität oder beliebige von diesen, die Nutzbarkeit von Kameradaten beschränken. Darüber hinaus können Kameradaten gewisse Datenschutzanforderungen verletzen, was somit eine Abhängigkeit von Kameradaten unerwünscht machen kann. Schließlich können Kamerabetrieb und Verarbeitung von Kameradaten mit unerwünschten Leistungsanforderungen und/oder Rechenkosten verbunden sein.
  • Figurenliste
  • In den Zeichnungen beziehen sich gleiche Bezugszeichen im Allgemeinen über die verschiedenen Ansichten hinweg auf die gleichen Teile. Die Zeichnungen sind nicht notwendigerweise maßstabsgetreu, vielmehr wird allgemein auf die Veranschaulichung der beispielhaften Prinzipien der Offenbarung Wert gelegt. In der folgenden Beschreibung werden verschiedene Ausführungsbeispiele der Offenbarung unter Bezugnahme auf die folgenden Zeichnungen beschrieben, in denen Folgendes gilt:
    • 1 stellt eine beispielhafte Industrieanlage dar, die einen Roboter und optional menschliche Anwesenheit aufweist;
    • 2 stellt eine Prozedur des Wechselns zwischen dem ersten Betriebsmodus und dem zweiten Betriebsmodus dar;
    • 3 stellt ein Wechseln von dem ersten Betriebsmodus in den zweiten Betriebsmodus und die weitere Auswahl einer Kamera zum Bereitstellen von zweiten Sensordaten basierend auf der Erfassung eines Bereichs von Interesse durch die Kamera dar;
    • 4 stellt eine optionale Roboter-zu-Roboter-Kommunikation zum Teilen von Sensordaten oder aus Sensordaten abgeleitete Bestimmungen dar;
    • 5 stellt eine optionale Anforderung von Sensorinformationen dar;
    • 6 stellt eine Sensorverwaltung/Betriebsmodusverwaltung, wie hier beschrieben, unter Verwendung einer künstlichen Intelligenz dar; und
    • 7 stellt einen Roboter mit verschiedenen optionalen und nicht-optionalen Elementen dar.
  • Beschreibung
  • Die folgende ausführliche Beschreibung bezieht sich auf die begleitenden Zeichnungen, die veranschaulichend beispielhafte Einzelheiten und Ausführungsformen zeigen, in denen Aspekte der vorliegenden Offenbarung umgesetzt werden können.
  • Das Wort „beispielhaft“ wird hierin mit der Bedeutung „als Beispiel, Fall oder Veranschaulichung dienend“ verwendet. Jede Ausführungsform, die hierin als „beispielhaft“ beschrieben ist, ist nicht notwendigerweise als gegenüber anderen Ausführungsformen oder Designs bevorzugt oder vorteilhaft auszulegen.
  • In den Zeichnungen ist anzumerken, dass gleiche Bezugsziffern verwendet werden, um die gleichen oder ähnliche Elemente, Merkmale und Strukturen darzustellen, sofern nichts anderes angegeben ist.
  • Die Ausdrücke „mindestens ein/e“ und „ein/e oder mehrere“ können so verstanden werden, dass sie eine numerische Menge größer oder gleich eins (z. B. eins, zwei, drei, vier, [...] usw.) beinhalten. Der Ausdruck „mindestens eine/r/s von“ bezüglich einer Gruppe von Elementen kann vorliegend verwendet werden, um mindestens ein Element aus der Gruppe, die aus den Elementen besteht, zu bezeichnen. Zum Beispiel kann der Ausdruck „mindestens eine/r/s von“ mit Bezug auf eine Gruppe von Elementen vorliegend verwendet werden, um eine Auswahl von Folgendem zu bedeuten: einem der aufgelisteten Elemente, mehreren von einem der aufgelisteten Elemente, mehreren von einzelnen aufgelisteten Elementen oder mehreren eines Vielfachen einzelner aufgelisteter Elemente.
  • Die Wörter „Vielzahl“ und „mehrere“ in der Beschreibung und in den Ansprüchen beziehen sich ausdrücklich auf eine Menge größer als eins. Dementsprechend beziehen sich jegliche Phrasen, die explizit die oben erwähnten Wörter (z. B. „eine Vielzahl von [Elementen]“, „mehrere [Elemente]“) aufweisen, die sich auf eine Menge von Elementen beziehen, ausdrücklich auf mehr als eines der Elemente. Beispielsweise kann der Ausdruck „mehrere“ so verstanden werden, dass er eine numerische Menge größer oder gleich zwei (z. B. zwei, drei, vier, fünf, [...] usw.) beinhaltet.
  • Die Ausdrücke „Gruppe (von)“, „Satz (von)“, „Sammlung (von)“, „Reihe (von)“, „Sequenz (von)“, „Gruppierung (von)“ usw. beziehen sich in der Beschreibung und in den Ansprüchen, falls vorhanden, auf eine Menge gleich oder größer als eins, d. h. eines oder mehrere. Die Begriffe „echte Teilmenge“, „reduzierte Teilmenge“ und „kleinere Teilmenge“ beziehen sich auf eine Teilmenge einer Menge, die ungleich der Menge ist, veranschaulichend auf eine Teilmenge einer Menge, die weniger Elemente als die Menge enthält.
  • Der Begriff „Daten“, wie hier verwendet, kann so verstanden werden, dass er z. B. Informationen in einer beliebigen geeigneten analogen oder digitalen Form beinhaltet, die als eine Datei, ein Teil einer Datei, ein Satz von Dateien, ein Signal oder ein Strom, ein Teil eines Signals oder Stroms, ein Satz von Signalen oder Strömen und dergleichen bereitgestellt werden. Ferner kann der Begriff „Daten“ auch verwendet werden, um einen Verweis auf Informationen, z. B. in Form eines Zeigers zu bedeuten. Der Begriff „Daten“ ist jedoch nicht auf die oben erwähnten Beispiele beschränkt und kann verschiedene Formen annehmen und beliebige Informationen repräsentieren, wie sie in der Technik verstanden werden.
  • Die Begriffe „Prozessor“ oder „Steuerung“, wie sie zum Beispiel hierin verwendet werden, können als eine beliebige Art von technologischer Entität verstanden werden, die eine Bearbeitung von Daten ermöglicht. Die Daten können gemäß einer oder mehreren spezifischen Funktionen bearbeitet werden, die durch den Prozessor oder die Steuerung ausgeführt werden. Ferner kann ein Prozessor oder eine Steuerung, wie hier verwendet, als eine beliebige Art von Schaltung, z. B. eine beliebige Art von analoger oder digitaler Schaltung verstanden werden. Ein Prozessor oder eine Steuerung kann somit eine analoge Schaltung, eine digitale Schaltung, eine Mischsignalschaltung, eine Logikschaltung, ein Prozessor, ein Mikroprozessor, eine Zentralverarbeitungseinheit (CPU), eine Grafikverarbeitungseinheit (GPU), ein Digitalsignalprozessor (DSP), ein feldprogrammierbares Gate-Array (FPGA), eine integrierte Schaltung, eine anwendungsspezifische integrierte Schaltung (ASIC) usw. oder eine beliebige Kombination davon sein oder diese beinhalten. Jede andere Art von Implementierung der jeweiligen Funktionen, die im Folgenden ausführlicher beschrieben wird, kann auch als ein Prozessor, eine Steuerung oder eine Logikschaltung aufgefasst werden. Es versteht sich, dass zwei beliebige (oder mehr) der vorliegend ausführlich beschriebenen Prozessoren, Steuerungen oder Logikschaltungen als eine einzelne Entität mit äquivalenter Funktionalität oder dergleichen realisiert werden können und umgekehrt jeder einzelne Prozessor, jede einzelne Steuerung oder Logikschaltung, der/die vorliegend aufgeführt wird, als zwei (oder mehr) getrennte Entitäten mit äquivalenter Funktionalität oder dergleichen realisiert werden kann.
  • Wie hier verwendet, wird „Speicher“ als ein computerlesbares Medium (z. B. ein nichtflüchtiges computerlesbares Medium) verstanden, in dem Daten oder Informationen zum Abrufen gespeichert werden können. Hier enthaltene Verweise auf „Speicher“ können somit als sich auf flüchtigen oder nichtflüchtigen Speicher beziehend aufgefasst werden, darunter unter anderem Direktzugriffsspeicher (RAM), Nur-Lese-Speicher (ROM), Flash-Speicher, Halbleiterspeicher, ein Magnetband, eine Festplatte, ein optisches Laufwerk, 3D-XPointTM oder eine beliebige Kombination davon. Register, Schieberegister, Prozessorregister, Datenpuffer sind hierin unter anderem auch von dem Begriff Speicher umfasst. Der Begriff „Software“ verweist auf jeden Typ ausführbarer Anweisungen, einschließlich Firmware.
  • Außer, wenn es ausdrücklich angegeben wird, schließt der Begriff „übertragen“ sowohl direkte (Punkt-zu-Punkt) als auch indirekte Übertragung (über einen oder mehrere Zwischenpunkte) ein. Auf ähnliche Art schließt der Begriff „empfangen“ sowohl direkten als auch indirekten Empfang ein. Des Weiteren schließen die Begriffe „Übertragen“, „Empfangen“, „Kommunizieren“ und andere ähnliche Begriffe sowohl physische Übertragung (z. B. die Übertragung von Funksignalen) als auch logische Übertragung (z. B. die Übertragung digitaler Daten über eine logische Verbindung auf Software-Ebene) ein. Ein Prozessor oder eine Steuerung kann zum Beispiel Daten mit einem anderen Prozessor oder einer anderen Steuerung in Form von Funksignalen über eine Verbindung auf Software-Ebene übertragen oder empfangen, wobei die physische Übertragung und der physische Empfang von Funkschicht-Komponenten, wie RF-Sendeempfänger und Antennen, abgewickelt wird und die logische Übertragung und der logische Empfang über die Verbindung auf Software-Ebene durch die Prozessoren oder Steuerungen ausgeführt werden. Der Begriff „kommunizieren“ umfasst Übertragen und/oder Empfangen, d. h. unidirektionale oder bidirektionale Kommunikation in einer oder beiden der eingehenden und der ausgehenden Richtung. Der Begriff „Berechnen“ umfasst sowohl „direkte“ Berechnungen über einen mathematischen Ausdruck/eine mathematische Formel/Beziehung als auch „indirekte“ Berechnungen über Nachschlage- oder Hash-Tabellen und andere Array-Indexierungs- oder Suchoperationen.
  • Bei einer gegebenen Implementierung beinhaltet ein Roboter einen Prozessor, der dazu ausgelegt ist, gemäß einem ersten Betriebsmodus oder einem zweiten Betriebsmodus zu arbeiten, wobei der erste Betriebsmodus Durchführen einer Umgebungswahrnehmungsoperation unter Verwendung erster Sensordaten beinhaltet, wobei die ersten Sensordaten keine Kameradaten beinhalten, und wobei der zweite Betriebsmodus Durchführen der Umgebungswahrnehmungsoperation unter Verwendung zweiter Sensordaten beinhaltet und wobei die zweiten Sensordaten Kameradaten beinhalten. Wenn der Prozessor gemäß dem ersten Betriebsmodus arbeitet, bestimmt der Prozessor einen Konfidenzfaktor, der eine Konfidenz der Umgebungswahrnehmungsoperation repräsentiert. Der Prozessor bestimmt ferner, ob der Konfidenzfaktor außerhalb eines vorbestimmten Bereichs liegt oder nicht; und falls der Konfidenzfaktor außerhalb des vorbestimmten Bereichs liegt, arbeitet er gemäß dem zweiten Betriebsmodus. Auf diese Weise stützt sich der Roboter auf Nichtkamerasensordaten, bis oder es sei denn, die Konfidenzbestimmung liegt außerhalb eines vorbestimmten Bereichs, wobei der Roboter dann Kameradaten empfängt, was den Effekt des Erhöhens der Konfidenzbestimmung hat. Der Begriff Roboter beinhaltet gemäß vorliegender Verwendung eine beliebige Vorrichtung, die autonom arbeitet. Der Begriff „Roboter“ soll mindestens eine bodengestützte autonome Vorrichtung (z. B. einen Roboter auf Schienen, Rädern oder dergleichen), ein unbemanntes Luftfahrzeug, ein Wasserfahrzeug usw. beinhalten.
  • Die Umgebungswahrnehmungsoperation kann Detektieren eines Objekts in einer näheren Umgebung des Roboters und/oder Detektieren einer Umgebungsbedingung der näheren Umgebung des Roboters beinhalten. Roboter müssen verschiedene Details in ihrer Umgebung detektieren, um einen sicheren und/oder effektiven Betrieb aufrechtzuerhalten. Für diese Umgebungsdetektionsoperationen stützen sich Roboter auf Sensordaten, die Informationen über spezielle Aspekte der Umgebung bereitstellen. Für die Zwecke dieser Offenbarung wird zwischen ersten Sensordaten (z. B. Nichtkameradaten) und zweiten Sensordaten (z. B. Daten von einem Kamerabildsensor) unterschieden. Erste Sensoren können einen beliebigen anderen Sensor als Kameras beinhalten, der Objekte in der Umgebung unter Verwendung entweder direkter Erfassung oder indirekter Erfassung detektieren kann. Eine direkte Erfassung kann als die Ausnutzung von Nichtkamerasensoren verstanden werden, um Objekte in der Umgebung, Bedingungen, Abstand von dem Erfassungsobjekt oder beliebige von diesen zu detektieren. Dies kann beispielsweise unter Verwendung von LIDAR- und/oder Infrarotsensoren durchgeführt werden. Indirekte Erfassung kann als Erfassung verstanden werden, die über WiFi oder eine beliebige Funkkommunikation zur Lokalisierung des Erfassungsobjekts gegenüber seiner Umgebung und/oder durch Roboter-zu-Roboter-Kommunikation durchgeführt wird, um Informationen über die Anwesenheit des Roboters relativ zu dem anderen Roboter und/oder über das Vorhandensein von Hindernissen zu empfangen, die ein Roboter detektieren und anderen Roboter in der Nähe melden kann.
  • Die ersten Sensordaten können Drucksensordaten, Berührungssensordaten, Drehmomentsensordaten, Beschleunigungsmesserdaten, Temperatursensordaten, Schallsensordaten, Entfernungssensordaten, LIDAR-Sensordaten, Nichtkameradaten, die von WiFi abgeleitet sind, Nichtkameradaten, die von Bluetooth abgeleitet sind, Nichtkameradaten, die von einer beliebigen anderen Drahtlosverbindung abgeleitet sind, oder beliebige von diesen beinhalten. Zu Zwecken dieser Offenbarung können die ersten Sensordaten optional beliebige Sensordaten beinhalten, die der Detektion elektromagnetischer Wellen mit einer Wellenlänge außerhalb des Bereichs von 380 nm bis 700 nm entsprechen. Im Gegensatz dazu können zweite Sensordaten optional Sensordaten beinhalten, die der Detektion elektromagnetischer Wellen mit einer Wellenlänge innerhalb des Bereichs von 380 nm bis 700 nm entsprechen.
  • Roboter können eine Vielzahl von Aufgaben unter Verwendung vollständig oder hauptsächlich erster Sensordaten durchführen. Beispielsweise ist es bekannt, dass sich ein Roboter basierend auf einem Referenzpunkt und Beschleunigungsmesserdaten selbst lokalisiert. Auf diese Weise kann der Roboter seinen Standort basierend auf Daten approximieren, die eine Bewegung relativ zu einer Referenzposition widerspiegeln. Andere solche Strategien zur Lokalisierung oder Durchführung anderer Aufgaben basierend auf Nichtkameradaten sind ebenfalls möglich. Zum Beispiel kann ein Roboter Aufgaben nur in Umgebungen gewisser Temperaturen (z. B. einem sicheren Bereich einer Temperatur und einem nicht sicheren Bereich einer anderen Temperatur) basierend auf der Luftqualität (z. B. nur in Gegenwart gewisser Staub-Konzentrationen oder niemals in Gegenwart gewisser Gase), basierend auf Bewegung (z. B. niemals in Gegenwart eines sich bewegenden Objekts, das auf menschliche Anwesenheit hinweist) oder einer beliebigen einer Vielfalt anderer Konstellationen durchführen. Die spezifischen ersten Sensordaten oder Kombinationen von Nichtkamerasensoren, auf die sich für eine gegebene Aufgabe gestützt wird, sind im Wesentlichen unbeschränkt.
  • Bei praktischen Anwendungen kann die Abhängigkeit von ersten Sensordaten jedoch ein unvollständiges Verständnis der Umgebung bereitstellen und zu einem reduzierten Konfidenzfaktor führen. Unter solchen Umständen können zweite Daten (z. B. Kameradaten) ein verbessertes Verständnis der Umgebung des Roboters bereitstellen und/oder können das Verständnis eines Roboters von seiner Umgebung, das nur auf ersten Sensordaten basiert war, bestätigen oder widerlegen. Sollte es zum Beispiel gewünscht sein, eine gewisse Operation nur bei Abwesenheit von Menschen durchzuführen (z. B. eine gefährliche Operation oder eine Operation, deren Nebenprodukte eine Gefahr für menschliche Gesundheit darstellen), kann sich ein Roboter auf erste Sensordaten, wie etwa Temperatur, Infrarot, Schall oder dergleichen stützen, um zu ermitteln, ob ein Mensch anwesend ist. Dies kann jedoch ein unvollständiges Bild bereitstellen, und der Roboter kann zusätzliche Informationen in Form von zweiten Sensordaten einholen, um entweder ein besseres Verständnis der Umgebung des Roboters zu bilden oder eine vorherige Annahme der Umgebung zu bestätigen. Zurückkehrend zu dem Beispiel der Anwesenheit von Menschen reicht häufig ein Kamerabild oder eine kleine Anzahl von Kamerabildern aus, um die Anwesenheit eines Menschen zu bestätigen oder auszuschließen. Gleichermaßen können zweite Sensordaten mehr Informationen über den Standort eines Roboters bereitstellen (z. B. in der Nähe einer/eines oder mehrerer Markierungen oder Orientierungspunkten, Betrachtungskennungen (z. B. QR-Codes oder andere maschinenlesbare Codes) in den Bildern usw. befindlich). Auf diese Weise kann der Roboter hauptsächlich oder sogar ausschließlich unter Verwendung erster Sensordaten arbeiten und dann seine Operationen nur nach Bedarf mit zweiten Sensordaten ergänzen (z. B. um einen Konfidenzfaktor zu verbessern).
  • Eine solche Verwaltung von Sensordatenquellen und daher die erhöhte Fähigkeit, sich auf erste Sensordaten zu stützen, bietet mehrere Vorteile. Erstens gehen zweite Sensordaten trotz ihrer Nutzbarkeit, wie oben beschrieben, mit größerem Energieverbrauch und größeren Rechenanforderungen einher. Kameras selbst können einen höheren Leistungsverbrauch aufweisen als viele Nichtkamerasensoren, die häufig mit sehr geringer Leistung betrieben werden können. Darüber hinaus kann es, sobald die Kameradaten erhalten werden, erhebliche Rechenkosten für die Verarbeitung dieser Daten geben. Aktuelle Verfahren zum Verarbeiten von Bildsensordaten beinhalten zum Beispiel Fotogrammetrie (z. B. zum Erstellen eines dreidimensionalen Modells einer Umgebung aus zweiten Sensordaten), Objektdetektion und -vermeidung und dergleichen. Die Einzelheiten dieser Techniken werden hier nicht beschrieben, sondern es wird lediglich angegeben, dass beliebige bekannte Techniken zum Ableiten von Informationen aus Kameradaten eingesetzt werden können. Diese Techniken können erhebliche Verarbeitungsleistung erfordern, was wiederum zu höheren Leistungsanforderungen zum Betreiben der Prozessoren, höheren Komponentenpreisen, um Prozessoren zu beinhalten, die in der Lage sind, diese Operationen durchzuführen, oder zu beidem führt. Dementsprechend kann das Erhöhen der Stützung auf erste Sensordaten / Verringern der Stützung auf zweite Sensordaten kostensparend und/oder leistungssparend sein.
  • Ein zweiter Vorteil einer erhöhten Stützung auf erste Sensordaten besteht darin, dass zweite Sensordaten unter gewissen Umständen nicht verfügbar oder von eingeschränkter Verwendung sein können und die Fähigkeit zur Stützung auf erste Sensordaten ein vollständigeres Verständnis einer Umgebung bereitstellen kann als eine Stützung auf unvollständige oder reduzierte zweite Sensordaten. Kameras können zum Beispiel eine angemessene Beleuchtung und Luftqualität erfordern, um nützliche zweite Sensordaten bereitzustellen. In Umgebungen mit geringer Beleuchtung, Blendung, besonders heller Beleuchtung, oder in denen die Luft staubig ist oder gewisse Gase enthält, können die von Kameras bereitgestellten Bilder rauschbehaftet oder trübe sein oder anderweitig von eingeschränktem Nutzen sein. In solchen Situationen ist es vorteilhaft, Sensordatenanforderungen derart zu verwalten, dass der Roboter seine Aufgaben hauptsächlich oder vollständig unter Verwendung erster Sensordaten durchführen kann.
  • Ein dritter Vorteil der erhöhten Stützung auf erste Sensordaten ist die Reduzierung oder Beseitigung von Datenschutzbedenken. In einigen Rechtssystemen lösen Bilddaten, die menschliche Bilder enthalten, bestimmte gesetzliche Verantwortungen und/oder Einschränkungen aus. Beispielsweise kann es verboten sein, Bilder eines menschlichen Gesichts ohne ausdrückliche Genehmigung von der jeweiligen Person zu speichern. Des Weiteren kann es andere Datenschutzbedenken oder andere Gründe geben, warum es unerwünscht ist, eine visuelle Aufzeichnung der Anwesenheit oder Handlung von Menschen zu erzeugen. Unabhängig von dem Grund kann eine erhöhte oder hauptsächliche Stützung auf erste Sensordaten das Problem verringern.
  • Der Roboter kann dazu ausgelegt sein, gemäß einem von mehreren Kontextmodi zu arbeiten, um die Stützung auf erste Sensordaten im Gegensatz zu zweiten Sensordaten zu verwalten. Jeder Kontextmodus der mehreren Kontextmodi kann einen eindeutigen vorbestimmten Bereich aufweisen, wobei Ermitteln, ob der Konfidenzfaktor außerhalb des vorbestimmten Bereichs liegt, Ermitteln beinhaltet, ob der Konfidenzfaktor außerhalb des eindeutigen vorbestimmten Bereichs des Kontextmodus liegt, gemäß dem der Roboter arbeitet.
  • Ein beispielhafter Kontextmodus kann ein Sicherheitskontextmodus sein. Natürlich müssen Roboter dazu ausgelegt sein, ihre Handlungen sicher für Menschen in ihrer Umgebung durchzuführen. Unter manchen Umständen, wie etwa bei wahrscheinlichem engen Kontakt mit Robotern, oder wenn die Roboter Aktivitäten durchführen können, die ansonsten für die menschliche Gesundheit gefährlich sein können, kann es notwendig sein, einen Kontextmodus zu implementieren, in dem zusätzliche Sicherheitsmaßnahmen erforderlich sind. Roboter, die sich mit signifikanten Geschwindigkeiten durch eine Fabrikhalle bewegen können, können zum Beispiel einen Sicherheitskontextmodus implementieren, wenn Menschen anwesend sind oder eine spezifische Anzahl von Menschen in der Fabrikhalle erreicht wird; umgekehrt können diese Roboter den Sicherheitskontextmodus verlassen, wenn keine Menschen anwesend sind oder wenn eine Anzahl von Menschen unter einen vorbestimmten Wert fällt. Der Sicherheitskontextmodus kann einen höheren Konfidenzfaktor (z. B. einen Konfidenzfaktor, der einen höheren Konfidenzgrad erfordert und daher zu einer größeren Verwendung von Kameradaten führt) als einen Nichtsicherheitskontextmodus erfordern, der mit einem niedrigeren Konfidenzfaktor erfüllt werden kann. Anders ausgedrückt können zweite Sensordaten/Kameradaten die zuverlässigsten Informationen über die Anwesenheit von Menschen bereitstellen, und wenn es von besonderer Bedeutung ist, Menschen zu umgehen oder anderweitig Menschen zu schützen, kann ein größerer Konfidenzfaktor genutzt werden, so dass zweite Sensordaten/Kameradaten häufiger verwendet werden, was zu einer größeren Konfidenz führt, dass menschlicher Kontakt oder menschlicher Schaden vermieden wird.
  • Ein zweiter beispielhafter Kontextmodus kann ein Leistungssparkontextmodus sein. In diesem Kontextmodus können erste Sensordaten für Leistungssparmaßnahmen gegenüber zweiten Sensordaten stärker bevorzugt sein. Bei vielen Implementierungen sind Roboter auf Batterieleistung angewiesen, um ihre verschiedenen Funktionen durchzuführen. Zumindest aufgrund der Abhängigkeit von der Batterie kann die Leistungseffizienz von signifikanter Bedeutung sein, und es kann wünschenswert sein, Prozeduren zum Erhöhen der Leistungseffizienz der Roboter zu implementieren. Wie an anderer Stelle in dieser Offenbarung besprochen, können erste Sensordaten im Vergleich zu zweiten Sensordaten mit reduziertem Leistungsverbrauch assoziiert sein, und daher kann eine Zunahme der Stützung auf erste Sensordaten und/oder Abnahme der Stützung auf zweite Sensordaten zu Gesamtleistungseinsparungen führen. Auf praktischer Ebene kann ein Roboter seine verfügbare Leistungsspeicherung überwachen und vorhersagen, ob er bis zum Ende seiner Schicht/seines Einsatzes in der Lage sein wird, die Durchführung seiner Aufgaben fortzusetzen (z. B. Restleistung aufweisen wird, um die Durchführung seiner Aufgaben fortzusetzen). Sollte der Roboter ermitteln, dass er unzureichende gespeicherte Leistung aufweist, kann der Roboter durch Verschieben des Schwerpunkts von zweiten Sensordaten zu ersten Sensordaten einen Leistungssparkontext implementieren, um seinen Leistungsverbrauch zu reduzieren. Zusätzlich oder alternativ dazu kann die Fähigkeit, in einen Leistungssparmodus einzutreten, dem Roboter ermöglichen, unter Verwendung einer Batterie mit reduzierter Kapazität und/oder eines Prozessors mit reduzierter Kapazität zu arbeiten, was für gewisse Implementierungen wünschenswert sein kann. Es wird ausdrücklich darauf hingewiesen, dass die Beispiele eines Sicherheitskontextmodus und eines Leistungssparkontextmodus hier zu demonstrativen Zwecken bereitgestellt sind; der hier offenbarte Roboter kann dazu ausgelegt sein, gemäß einem Sicherheitskontextmodus, einem Leistungssparkontextmodus oder beiden zu arbeiten. Der Roboter gemäß dieser Offenbarung kann alternativ oder zusätzlich dazu ausgelegt sein, gemäß einem oder mehreren anderen Kontextmodi zu arbeiten.
  • Ein dritter beispielhafter Kontextmodus kann ein Datenschutzmodus sein. Wie oben angegeben, können bestimmte Rechtssystem die Verwendung und/oder Speicherung von Bildern von Menschen einschränken oder ausschließen, und daher kann es notwendig sein, das Detektieren oder zumindest Speichern von Kameradaten zu vermeiden, wenn Menschen anwesend sind. Des Weiteren kann es Datenschutzbedenken geben, die sich auf die Identität menschlicher Bilder (z. B. Gesichtsbilder, identifizierende Bilder usw.) beziehen. Angesichts dessen kann ein Datenschutzkontextmodus implementiert werden, um die Einhaltung dieser Ziele sicherzustellen. In dem Datenschutzkontextmodus kann sich der Roboter vollständig auf erste Sensordaten stützen und zweite Sensordaten können untersagt oder stark reduziert werden. Alternativ oder zusätzlich kann der Datenschutzkontextmodus ausschließen, dass Bilddaten (zweite Daten) gespeichert werden, außer für eine sehr kurze für die Bildverarbeitung notwendige Speicherung. Alternativ oder zusätzlich können Bilddaten (zweite Daten) ausgewertet werden, um zu ermitteln, ob Menschen in den Bilddaten identifiziert werden können. Falls Menschen identifiziert werden, werden die Daten gelöscht oder isoliert. Falls keine Menschen identifiziert werden, dann können die Daten für Standort, Positionierung usw. verwendet werden.
  • Der Roboter kann dazu ausgelegt sein, Sensorinformationen von einer beliebigen einer Vielzahl von Quellen zu empfangen, einschließlich lokaler Sensorinformationen des Roboters und/oder Sensorinformationen außerhalb des Roboters. Das heißt, der Roboter kann mit einem oder mehreren Sensoren konfiguriert sein, wobei der Roboter nach Bedarf beliebige oder alle seiner eigenen Sensoren aktivieren oder deaktivieren kann. Obgleich der Roboter mit mehreren Sensoren ausgestattet sein kann, kann der Roboter Zugriff auf Sensoren von einer oder mehreren externen Vorrichtungen in seiner Umgebung haben. Das heißt, in vielen Anwendungen arbeitet ein Roboter nicht vollständig isoliert, sondern vielmehr in Verbindung mit oder zumindest neben einer oder mehreren anderen sensorgestützten Maschinen (z. B. anderen Robotern, anderen prozessorgesteuerten Sensoren, die Vorrichtungen enthalten, andere Sensoren, die dazu ausgelegt sind, ihre Daten an den Roboter zu senden, andere Sensoren, die mit Sendern verbunden sind, um die Sensordaten an den Roboter zu senden, oder anderweitig). Der Roboter kann dazu ausgelegt sein, andere Sensoren in seiner Umgebung (z. B. Sensoren, die nicht direkt mit dem Roboter verbunden sind und/oder nicht direkt unter der Steuerung des Roboters stehen) zu entdecken und einen oder mehrere Sensoren zum Empfang ihrer Sensorinformationen auszuwählen.
  • Der Roboter kann dazu ausgelegt sein, Sensorkennungen von den verschiedenen Sensoren in der näheren Umgebung des Roboters zu empfangen. Die Sensorkennungen können eine eindeutige Kennung eines spezifischen Sensors, einen Datentyp, der durch den Sensor bereitgestellt wird, einen Sensortyp, einen Ort des Sensors, einen Ort oder Fokus, der den Sensordaten entspricht, eine Vorgeschichte der Verwendung der Sensordaten durch einen oder mehrere Roboter, eine vorhergesagte Nutzbarkeit der Sensordaten durch diesen Roboter oder beliebige von diesen beinhalten. Das heißt, ein oder mehrere Sensoren können Informationen an einen Roboter in ihrer näheren Umgebung senden, so dass der Roboter in der Lage sein kann, einen oder mehrere der Sensoren (z. B. alle der Sensoren oder eine Teilmenge der Sensoren) zum Empfang ihrer Sensordaten auszuwählen, so dass der Roboter die Sensordaten in seine Verarbeitungsroutinen einbinden kann. Diese von den Sensoren empfangenen Informationen können durch einen oder mehrere Sensoren selbst, einen oder mehrere andere Prozessoren oder Vorrichtungen initiiert werden oder können als Reaktion auf eine Anforderung von dem Roboter sein. Das heißt, der Roboter kann (z. B. beim Eintreten in einen neuen Bereich) eine Anforderung für die verfügbaren Sensordaten senden und als Reaktion darauf kann der Roboter Sensorkennungen von den verschiedenen verfügbaren Sensoren empfangen. Bei Empfang der Sensorinformationen kann der Roboter ferner dazu ausgelegt sein, die Sensorkennungen der Sensoren in der näheren Umgebung des Roboters basierend auf dem Sensortyp als erste Sensordaten oder zweite Sensordaten detektierend zu designieren.
  • Sollte der Roboter einen oder mehrere der Sensoren zum Empfang ihrer Sensordaten auswählen, können die entsprechenden Sensordaten unter Verwendung eines beliebigen bekannten Verfahrens an den Roboter geliefert werden. Solche Verfahren können unter anderem Lieferung über WiFi, Lieferung über Bluetooth, Lieferung über ein optisches Signal, Lieferung über eine elektrisch leitfähige Verbindung (z. B. eine drahtgebundene Verbindung) oder anderes beinhalten. Die empfangenen Sensordaten können erste Sensordaten und/oder zweite Sensordaten sein. Das heißt, die empfangenen Sensordaten können keine Kameradaten beinhalten oder können Kameradaten beinhalten. Sollten die empfangenen Sensordaten keine Kameradaten (z. B. erste Sensordaten) beinhalten, kann der Roboter solche Daten anfordern, um dem Roboter sonst zur Verfügung stehende Sensordaten zu erweitern. Sollte zum Beispiel ein Sensor eines spezifischen Typs nützlich sein, aber von dem Roboter selbst nicht verfügbar sein, kann der Roboter anfordern, dass Sensordaten von dem Sensor des spezifischen Typs an den Roboter geliefert werden. Alternativ oder zusätzlich können die angeforderten Sensordaten Sensordaten sein, die einem Sensortyp entsprechen, der dem Roboter tatsächlich zur Verfügung steht. Bei einem solchen Umstand kann es für den Roboter wünschenswert sein, wie etwa aus Leistungsspargründen, einen spezifischen lokalen (z. B. an dem Roboter befindlichen) Sensor nicht zu aktivieren und stattdessen eine Lieferung von Sensordaten von einer entfernten Quelle anzufordern.
  • Sollten die angeforderten Sensordaten zweite Sensordaten sein oder diese enthalten, kann der Roboter Daten von speziellen Kameras anfordern, von denen angenommen werden kann, dass sie wahrscheinlich nützliche Informationen bereitstellen. Anders ausgedrückt, wenn mehrere Kameras verfügbar sind, werden sie im Allgemeinen auf unterschiedliche Bereiche gerichtet sein oder anderweitig unterschiedliche Fokusbereiche aufweisen. Von daher können die Sensordaten von einer beliebigen Kamera relevanter oder weniger relevant sein als Sensordaten von einer beliebigen anderen Kamera. Der Roboter kann dazu ausgelegt sein, eine Kamera zur Lieferung ihrer Sensordaten basierend auf einer Wahrscheinlichkeit auszuwählen, dass die ausgewählte Kamera Sensordaten bereitstellen wird, die für einen bestimmten Zweck nützlich sind. Beispielsweise kann erwartet werden, dass sich der Roboter selbst lokalisiert oder anderweitig eine Schätzung seiner Position bezüglich eines oder mehrerer Referenzpunkte beibehält. Basierend entweder auf einer aktuellen geschätzten Position des Roboters oder einer erwarteten zukünftigen Position des Roboters kann der Roboter eine oder mehrere Kameras zur Lieferung von Kameradaten auswählen, da eine oder mehrere solche Kameras Informationen über eine aktuelle Position des Roboters, eine erwartete zukünftige Position des Roboters oder einen Fortbewegungsweg zwischen der aktuellen Position und der erwarteten zukünftigen Position bereitstellen.
  • Bei einigen Konfigurationen können der Roboter und/oder ein oder mehrere Prozessoren dazu ausgelegt sein, Sensordaten von den verschiedenen externen Sensoren zu empfangen, und können ferner mit einem neuronalen Netz zum Auswählen eines oder mehrerer externer Sensoren zur Sensordatenlieferung ausgelegt sein. Das neuronale Netz kann dazu ausgelegt sein, Informationen über vorherige Verwendungen verschiedener Sensoren zu empfangen. Das neuronale Netz kann dazu ausgelegt sein, Erfolgsraten (z. B. Nutzbarkeitsgrade der Sensordaten, Änderungen der Konfidenzfaktoren usw., die mit der vorherigen Verwendung von Sensordaten von solchen Sensoren assoziiert sind) früherer Verwendungen eines Sensors zu empfangen, und kann dazu ausgelegt sein, eine Nutzbarkeit von Sensordaten von dem gegebenen Sensor basierend auf den aktuellen Betriebsbedingungen des Roboters (z. B. Roboterstandort, Luftqualität, Beleuchtung, Leistungsverfiigbarkeit, Aufgabenanforderungen oder beliebige von diesen) vorherzusagen. Basierend auf der Vorhersage von dem neuronalen Netz kann der Roboter einen oder mehrere Sensoren zur Datenlieferung auswählen. Das neuronale Netz kann optional ein neuronales Faltungsnetz sein oder beinhalten, das dazu ausgelegt ist, erste Sensordaten zu empfangen und Roboterumgebungsinformationen basierend auf den empfangenen ersten Sensordaten auszugeben, und wobei der Prozessor dazu ausgelegt ist, eine Roboteroperation basierend auf den Roboterumgebungsinformationen durchzuführen.
  • Bei Auswahl eines oder mehrerer externer Sensoren zur Sensordatenlieferung kann der Roboter optional dazu ausgelegt sein, einen Sendeempfänger zu steuern, ein Signal zu senden, das eine Anforderung von Sensorkennungen von Sensoren in einer näheren Umgebung des Roboters repräsentiert. Das heißt, der Roboter kann dazu ausgelegt sein, mit den Sensoren und/oder mit einer oder mehreren Vorrichtungen zu kommunizieren, die mit den Sensoren verbunden sind und/oder diese steuern, um Sensordaten anzufordern. Diese Anforderung kann über ein beliebiges bekanntes Verfahren gesendet werden, sei es drahtgebundene oder drahtlose Kommunikation.
  • Bei manchen Konfigurationen kann die Anforderung zusätzlicher Sensordaten (z. B. externer Sensordaten) eng mit dem Wechsel des Roboters von dem ersten Betriebsmodus in den zweiten Betriebsmodus assoziiert sein. Das heißt, der Roboter ist möglicherweise nicht mit einer Kamera ausgestattet, oder es kann unerwünscht sein, dass der Roboter seine eigene Kamera aktiviert (z. B. aufgrund des verfügbaren Sichtfelds der Kamera, des verfügbaren Fokusbereichs der Kamera, einer Leistungsanforderung der Kamera usw.). In solchen Fällen kann der Roboter Kameradaten von einer oder mehreren externen Kameras anfordern, sodass der Roboter die Kameradaten empfangen kann, um gemäß dem zweiten Betriebsmodus zu arbeiten. Die Anforderung kann optional eine Dauer von zu sendenden Kameradaten, eine Anzahl von zu sendenden Einzelbildern oder anderweitig angeben. Der Roboter kann die optionale Dauer von Kameradaten und/oder die Anzahl von zu sendenden Einzelbildern basierend auf einer geschätzten Menge von Kameradaten berechnen, die notwendig ist, um den Konfidenzfaktor so anzuheben, dass er innerhalb des vorbestimmten Bereichs liegt.
  • 1 stellt eine beispielhafte Industrieanlage dar, die einen Roboter und optional menschliche Anwesenheit aufweist. In dieser Industrieanlage ist ein Roboter 102 anwesend, um eine beliebige einer Vielzahl von Aufgaben durchzuführen. Der Roboter kann gelegentlich oder ständig neben oder in der näheren Umgebung eines oder mehrerer Menschen 104a-c arbeiten. Der Roboter kann im Laufe seiner Arbeit zwischen einem ersten Betriebsmodus und einem zweiten Betriebsmodus wechseln. In dem ersten Betriebsmodus kann der Roboter Nichtkamerasensordaten (durchweg als erste Sensordaten bezeichnet) nutzen, um eine oder mehrere Aufgaben (z. B. Lokalisierung, Bewegung innerhalb der Industrieanlage oder anderweitig) durchzuführen. In dem zweiten Betriebsmodus kann der Roboter Kameradaten (durchweg als zweite Sensordaten bezeichnet) oder eine Kombination von Kameradaten und Nichtkamerasensordaten nutzen, um verschiedene Aufgaben durchzuführen. Unabhängig davon, ob er sich in dem ersten Betriebsmodus oder dem zweiten Betriebsmodus befindet, kann der Roboter 102 unter Verwendung von Sensordaten von lokalen Sensoren des Roboters (z. B. Sensor 102a (andere Sensoren, die als weiße Punkte auf dem Roboter dargestellt sind, aber nicht beschriftet sind), Sensoren außerhalb des Roboters 106a-f oder einer Kombination von diesen arbeiten.
  • 2 stellt eine Prozedur zum Wechseln zwischen dem ersten Betriebsmodus und dem zweiten Betriebsmodus dar. Das heißt, 2 stellt die Verwendung erster Sensordaten mit bedarfsgesteuerter Anforderung zweiter Sensordaten (z. B. Kamera) dar. Der Roboter kann einen Prozessor beinhalten, der dazu ausgelegt sein kann, ein Sensorfusions- und Szenenanalysemodul 202 auszuführen. Das Sensorfusions- und Szenenanalysemodul 202 kann dazu ausgelegt sein, Sensordaten von einem oder mehreren ersten Sensoren 204a-c (das heißt einem oder mehreren Nichtkamerasensoren) zu empfangen und anhand der Sensordaten zu berechnen, ob es ausreichend Szeneninformationen gibt 206. Die Bestimmung, ob es ausreichend Szeneninformationen gibt 206, kann hinsichtlich der Berechnung eines Konfidenzfaktors beschrieben werden, der eine Konfidenz einer Umgebungswahrnehmungsoperation repräsentieren kann. Verschiedene Techniken sind im Stand der Technik (z. B. auf dem Gebiet der Statistik, bei der Objektdetektion, bei der autonomen Navigation) zur Berechnung eines Konfidenzfaktors basierend auf Sensorinformationen bekannt, und eine beliebige solche Technik kann für diesen Zweck verwendet werden. Falls der Roboter bestimmt, dass es ausreichend Szeneninformationen gibt (z. B. ein Konfidenzfaktor innerhalb eines vorbestimmten Bereichs liegt) 206, dann empfängt der Roboter weiterhin erste Sensordaten nur von den ersten Sensoren 204a-c und führt weiterhin eine Sensorfusion und Szenenanalyse 202 durch. Falls der Roboter bestimmt, dass es keine ausreichenden Szeneninformationen gibt 206, dann kann der Roboter eine Erfassung zweiter Sensordaten durch eine oder mehrere Kameras 208 auslösen. Diese Kameras 208 können sich an oder als Teil des Roboters, außerhalb des Roboters oder einer Kombination von diesen befinden.
  • 3 stellt ein Wechseln von dem ersten Betriebsmodus in den zweiten Betriebsmodus und die weitere Auswahl einer Kamera zum Bereitstellen von zweiten Sensordaten basierend auf der Erfassung eines Bereichs von Interesse durch die Kamera dar. Auf diese Weise kann 3 als eine Erfassungspipeline einer direkten Erfassung unter Verwendung erster Sensoren darstellend verstanden werden, die zweite Sensordaten ergänzen kann oder (zumindest vorübergehend) anstelle zweiter Sensordaten verwendet werden kann. In diesem Fall kann der Roboter dazu ausgelegt sein, erste Sensordaten von ersten Sensoren (Nichtkamerasensoren) 302a-b zu empfangen. Obwohl die ersten Sensoren eine beliebige Art von Nichtkamerasensoren sein können, kann eine beispielhafte Konfiguration einen LIDAR-Sensor und einen Infrarotsensor beinhalten. Bei Empfang der ersten Sensorinformationen kann der Roboter die ersten Sensorinformationen verarbeiten, um einen Konfidenzfaktor zu ermitteln. Als Teil der Konfidenzfaktorbestimmung kann der Roboter ermitteln, ob in seinen Sensordaten 304 ein Bereich von Interesse fehlt. Das heißt, der Roboter kann ermitteln, ob ihm Sensordaten fehlen, die einem Ort (z. B. seinem gegenwärtigen Standort und beabsichtigten Standort oder einem Ort zwischen seinem gegenwärtigen Standort und einem beabsichtigten Standort) entsprechen, und kann, falls ja, den Empfang von Kameradaten auslösen. Der Roboter kann mit einem Kameraauslösemodul 306 konfiguriert sein, das eine Anweisung zum Erhalten von Kameradaten und/oder eine Anforderung zum Erhalten von Kameradaten von einer oder mehreren Kameras 308 implementieren kann. Der Roboter kann das Kameraauslösemodul 306 implementieren, sei es in Hardware oder Software, oder alternativ dazu kann das Kameraauslösemodul 306 außerhalb des Roboters implementiert sein, so dass der Roboter eine Anforderung an das Kameraauslösemodul 306 ausgibt, das dann die Sensordaten von den verschiedenen Kameras 308 anfordert.
  • Gemäß einem Aspekt der Offenbarung können Kamera-Streams auf der Host-Plattform verarbeitet werden. Der Roboter kann eine vordefinierte Dauer zum Entdecken eines Bereichs von Interesse in seinen verfügbaren ersten Sensordaten aufweisen. Falls der Roboter innerhalb dieser vordefinierten Zeitdauer keinen Bereich von Interesse entdecken kann oder nicht entdeckt, kann der Roboter die Kameraaktivierung auslösen. Eine oder mehrere Anwendungen auf dem Roboter können die vorbestimmte Dauer definieren. Beim Auslösen der Kameraaktivierung kann der Roboter eine Aufnahmeanforderung an die Kamera senden. Die Aufnahmeanforderung kann eine Aufnahmekonfiguration (z. B. einschließlich eines präzisen Orts, eines Winkels, einer Anzahl von Einzelbildern, einer Dauer eines Kamerabildes oder eines von diesen) beinhalten. Der Roboter kann eine Anwendungsprogrammierschnittstelle (API) für den Kameraaufnahmeauslöser verwenden und/oder einen Steuerkanal eines Softwareentwicklungskits verwenden, wie etwa ein Softwareentwicklungskit für eine oder mehrere Kameras.
  • 4 stellt eine optionale Roboter-zu-Roboter-Kommunikation zum Teilen von Sensordaten oder aus Sensordaten abgeleitete Bestimmungen dar. Die Roboter in einer Anlage können dazu ausgelegt sein, eine Funkkommunikation zur Lokalisierung durchzuführen. Auf diese Weise können die Roboter Beacon-Funkgeräte (z. B. Bluetooth-Funkgeräte) beinhalten, die es einem empfangenden Roboter ermöglichen können, eine Ortskarte zu erstellen, wie etwa durch Verwenden bekannter Standortdurch-Referenz-Algorithmen, die Funk-Beaconing nutzen, um Objekte zu lokalisieren. Falls ein beliebiger Roboter eine Lokalisierungskarte erstellt, kann der Roboter die Lokalisierungskarte oder beliebige verwandte Daten mit einem beliebigen der anderen Roboter in der Anlage teilen. Auf diese Weise kann ein Roboter eine verteilte Ortskarte auf eine aktuelle Weise empfangen. Ein solcher Gebrauch der Ortskarte durch die verschiedenen Roboter ermöglicht es den Robotern, Echtzeitinformationen über die vorhandenen Hindernisse und über andere vorhandene Vorrichtungen mit präziser Lokalisierung zu erhalten.
  • Der Roboter kann eine Roboter-zu-Roboter-Kommunikation unter Verwendung eines beliebigen Drahtloskommunikationsprotokolls durchführen, wie zum Beispiel WiFi, 5G, D2D, V2V und dergleichen. Diese Kommunikation ermöglicht es den Robotern, eine Art von Platooning einzurichten (wobei ein Roboter mit fortschrittlichen Fähigkeiten eine sorgfältige Detektion unter Verwendung diverser taktiler Sensoren durchführt und Warnungen mit anderen Robotern in seiner Nähe teilt und der Nähebereich basierend auf dem Einsatzszenario abgestimmt werden kann).
  • Wie in 4 dargestellt, kann eine Industrieanlage verschiedene Baugeräte 402a-d, mehrere Roboter 406a-c und Bereiche einer drahtlosen Verbindung zwischen den verschiedenen Robotern 404a-d beinhalten. Auf diese Weise können die Roboter miteinander verknüpft sein (wie etwa durch eine drahtlose Verbindung, WiFi, 5G, D2D, V2V oder anderweitig) und können ihre Sensordaten und/oder Berechnungen teilen. Sollte der Roboter 406a zum Beispiel zweite Sensordaten empfangen, kann der Roboter 406a seine zweiten Sensordaten und/oder beliebige Bestimmungen, die aus den zweiten Sensordaten abgeleitet werden (z. B. Objekte, Hindernisse, Punktwolken, Tiefeninformationen, menschlicher Standort, industrielle Gefahren oder anderweitig) über die Drahtlosverbindung 404b mit dem Roboter 406b teilen; gleichermaßen kann der Roboter 406b diese Informationen über die Drahtlosverbindung 404c mit dem Roboter 406c teilen und so weiter. Alternativ oder zusätzlich kann einer dieser Roboter, zum Beispiel der Roboter 406a, zweite Sensordaten von den Baugeräten 402d (z. B. einer montierten Kamera als Teil der Industrieanlage) über die Drahtlosverbindung 404a erhalten. Natürlich können beliebige der Roboter dazu ausgelegt sein, Sensorinformationen oder daraus abgeleitete Bestimmungen von beliebigen der Elemente der Baugeräte 402a-d und/oder von beliebigen der anderen Roboter 406a-c zu empfangen.
  • 5 stellt eine optionale Anforderung von Sensorinformationen dar. Der Roboter kann dazu ausgelegt sein, in eine Umgebung 502 einzutreten und eine Identität und Abfrage nach einem Erfassungsdienst (z. B. eine Abfrage nach einem oder mehreren ersten Sensoren und/oder einem oder mehreren zweiten Sensoren) zu senden 504. Der Roboter kann eine Antwort (wie etwa basierend auf Abfrageberechtigungsnachweisen) empfangen, wobei die Antwort verfügbare Sensoren, verfügbare Dienste, eine vorherige Erfolgsrate oder ein vorheriges Erfolgsverhältnis, einen Sensorkontext, eine Geografie oder eine beliebige dieser beinhaltet 506. Der Roboter kann dazu ausgelegt sein, die Antworten basierend auf dem Kontext 508 zu sortieren, wie etwa basierend auf einem speziellen Kontextmodus (z. B. einem Sicherheitskontextmodus, einem Leistungssparkontextmodus oder anderweitig). Der Roboter kann dazu ausgelegt sein, eine Aktualisierung der Erfolgsquote nach Bedarf anzufordern 510.
  • 6 stellt eine Sensorverwaltung/Betriebsmodusverwaltung, wie hier beschrieben, unter Verwendung einer künstlichen Intelligenz dar. In diesem Fall kann der Roboter mit einer künstlichen Intelligenz (z. B. einem künstlichen neuronalen Netz, einem neuronalen Faltungsnetz usw.) konfiguriert sein und kann dazu ausgelegt sein, für jede durch künstliche Intelligenz gestützte Entscheidung eine Entscheidungsauswertung durchzuführen 602. Beispielsweise kann der Roboter dazu ausgelegt sein, einen Konfidenzfaktor zu ermitteln 604. In einer Konfiguration kann der Roboter den Konfidenzfaktor mit einem Key-Performance-Indicator (z. B. einem Schwellenwert) vergleichen 604. Der Key-Performance-Indicator kann ein Key-Performance-Indicator sein, der für einen Kontext spezifisch ist, in dem der Roboter arbeitet (z. B. einen Sicherheitsmoduskontext oder ein Leistungssparmoduskontext). Bei einer anderen Konfiguration kann der Key-Performance-Indicator ein Bereich anstelle eines Schwellenwerts sein, und der Robotervergleich der Konfidenz mit dem Key-Performance-Indicator kann eine Bestimmung sein, ob die Konfidenz innerhalb eines Bereichs eines Key-Performance-Indicator oder außerhalb eines Bereichs eines Key-Performance-Indicator liegt. Falls der Konfidenzfaktor kleiner als der Key-Performance-Indicator ist oder außerhalb des Bereichs der Key-Performance-Indicators liegt 604, kann der Roboter einen Sensordienst aus einer sortierten Liste von Sensordiensten auswählen 606. Dies kann zum Beispiel eine Liste sein, die der Roboter bei Eintritt in die nähere Umgebung und optional als Reaktion auf die Anforderung des Roboters empfängt. Basierend auf dem ausgewählten Sensordienst aus der sortierten Liste 606 kann der Roboter Daten von einem oder mehreren Sensoren anfordern 608. Diese Datenanforderung kann Datentyp, Datenzeitdauer, Datenkontext oder beliebige von diesen beinhalten. Der Roboter kann eine Antwort auf die Anforderung empfangen, wie etwa eine Genehmigung oder Ablehnung, 610. In vielen Konfigurationen kann Sicherheit von signifikanter Bedeutung sein, und die Sensordaten stehen möglicherweise nur gewissen autorisierten Benutzern und/oder für gewisse Zwecke zur Verfügung. Ein Roboter, der Sensorinformationen anfordert, kann folglich einer oder mehreren Prüfungen oder Authentifizierungs-/Verifizierungsprozeduren unterliegen. Sollte bestimmt werden, dass der Roboter auf die Sensorinformationen zugreifen darf, kann der Roboter eine Anforderung zur Bestätigung empfangen. Falls der Roboter eine Ablehnung der Anforderung empfängt, kann der Roboter einen anderen Sensordienst aus der sortierten Liste auswählen 606. Unter der Annahme, dass der Roboter eine Genehmigung empfängt, kann der Roboter die empfangenen Sensordaten für eine oder mehrere durch künstliche Intelligenz gestützte Entscheidungen verwenden 612. Der Roboter kann ermitteln, ob die empfangenen Daten nützlich waren (z. B. ob sie Informationen über einen fehlenden Ort bereitgestellt haben, ob sie den Roboter beim Treffen einer Entscheidung unterstützt haben oder anderweitig), und basierend darauf kann der Roboter eine Erfolgsrate des Sensordienstes aktualisieren 614. Die Erfolgsrate des Sensordienstes kann eine Rate sein, die in dem Roboter gespeichert und/oder verwaltet wird. Alternativ oder zusätzlich kann die Erfolgsrate des Sensordienstes eine Rate sein, die durch eine externe Vorrichtung (z. B. durch den Sensor, durch einen Prozessor, der den Sensor betreibt, durch einen Zentralprozessor oder anderweitig) gespeichert und/oder verwaltet wird. Unter der Annahme, dass dieses Verhältnis außerhalb des Roboters gespeichert wird, kann der Roboter seine Konfidenzänderung mit dem Sensordienst teilen 616. Diese Prozedur kann für eine beliebige oder alle durch künstliche Intelligenz gestützten Entscheidungen durchgeführt werden.
  • 7 stellt einen Roboter 700 dar, der einen Prozessor 702 beinhaltet. Der Prozessor ist dazu ausgelegt, gemäß einem ersten Betriebsmodus oder einem zweiten Betriebsmodus zu arbeiten. Der erste Betriebsmodus beinhaltet Durchführen einer Umgebungswahrnehmungsoperation unter Verwendung erster Sensordaten, wobei die ersten Sensordaten keine Kameradaten beinhalten. Der zweite Betriebsmodus beinhaltet Durchführen der Umgebungswahrnehmungsoperation unter Verwendung zweiter Sensordaten, wobei die zweiten Sensordaten Kameradaten beinhalten. Diese Daten können von einer internen Kamera und/oder von einer externen Kamera stammen. Während des Betriebs gemäß dem ersten Betriebsmodus bestimmt der Prozessor einen Konfidenzfaktor, der eine Konfidenz der Umgebungswahrnehmungsoperation repräsentiert, bestimmt, ob der Konfidenzfaktor außerhalb eines vorbestimmten Bereichs liegt oder nicht; und arbeitet, falls der Konfidenzfaktor außerhalb des vorbestimmten Bereichs liegt, gemäß dem zweiten Betriebsmodus. In Kombination mit einem oder mehreren beliebigen anderen Merkmalen dieses Absatzes kann die Umgebungswahrnehmungsoperation optional Detektieren eines Objekts in einer näheren Umgebung des Roboters oder Detektieren einer Umgebungsbedingung der näheren Umgebung des Roboters beinhalten. In Kombination mit einem oder mehreren beliebigen anderen Merkmalen dieses Absatzes, wobei der Roboter optional dazu ausgelegt ist, gemäß einem mehrerer Kontextmodi zu arbeiten, wobei jeder Kontextmodus der mehreren Kontextmodi einen eindeutigen vorbestimmten Bereich aufweist; wobei Ermitteln, ob der Konfidenzfaktor außerhalb des vorbestimmten Bereichs liegt, Ermitteln beinhaltet, ob der Konfidenzfaktor außerhalb des eindeutigen vorbestimmten Bereichs des Kontextmodus liegt, gemäß dem der Roboter arbeitet. In Kombination mit einem oder mehreren beliebigen anderen Merkmalen dieses Absatzes können die mehreren Kontextmodi optional einen Sicherheitsmodus und einen Leistungssparmodus beinhalten, und der eindeutige vorbestimmte Bereich des Sicherheitsmodus kann optional einen größeren Konfidenzfaktor als ein Konfidenzfaktor erfordern, der durch den eindeutigen vorbestimmten Bereich des Leistungssparmodus erforderlich ist. In Kombination mit einem oder mehreren beliebigen anderen Merkmalen dieses Absatzes kann der Prozessor optional dazu ausgelegt sein, ein erstes Signal zu empfangen, das Sensorkennungen von Sensoren in einer näheren Umgebung des Roboters repräsentiert. In Kombination mit einem oder mehreren beliebigen anderen Merkmalen dieses Absatzes kann der Prozessor ferner dazu ausgelegt sein, die Sensorkennungen der Sensoren in der näheren Umgebung des Roboters basierend auf dem Sensortyp als erste Sensordaten oder zweite Sensordaten detektierend zu designieren. In Kombination mit einem oder mehreren beliebigen anderen Merkmalen dieses Absatzes kann der Prozessor optional ferner dazu ausgelegt sein, einen Sendeempfänger zu steuern, ein zweites Signal zu senden, das eine Anforderung von Sensorkennungen von Sensoren in einer näheren Umgebung des Roboters repräsentiert, wobei das erste Signal als Reaktion auf das zweite Signal empfangen wird. In Kombination mit einem oder mehreren beliebigen anderen Merkmalen dieses Absatzes kann das erste Signal optional ferner einen Ort in der näheren Umgebung des Roboters repräsentieren, der Sensordaten entspricht, die durch einen Sensor der Sensoren in der näheren Umgebung des Roboters detektiert werden, und wobei Arbeiten gemäß dem zweiten Betriebsmodus Senden eines Signals beinhaltet, das eine Anforderung von Sensordaten eines Sensors der mehreren Sensoren repräsentiert, dessen Sensordaten einem Standort des Roboters entsprechen. In Kombination mit einem oder mehreren beliebigen anderen Merkmalen dieses Absatzes, ist der Prozessor, falls der Prozessor gemäß dem zweiten Betriebsmodus arbeitet, dazu ausgelegt, eine Menge von Kameradaten zu ermitteln, die notwendig ist, um den Konfidenzfaktor in den vorbestimmten Bereich zu bringen, und eine Menge von Kameradaten zu empfangen, die der bestimmten Menge von Kameradaten entspricht. In Kombination mit einem oder mehreren beliebigen anderen Merkmalen dieses Absatzes können die ersten Sensordaten optional Drucksensordaten, Berührungssensordaten, Drehmomentsensordaten, Temperatursensordaten, Schallsensordaten, Entfernungssensordaten, LIDAR-Sensordaten, WiFi-Daten, aus WiFi-Daten abgeleitete Daten, Bluetooth-Daten, aus Bluetooth-Daten abgeleitete Daten oder beliebige von diesen beinhalten. In Kombination mit einem oder mehreren beliebigen anderen Merkmalen dieses Absatzes können die ersten Sensordaten optional ferner Daten eines beliebigen Sensors beinhalten, der zum Detektieren elektromagnetischer Wellen mit einer Wellenlänge außerhalb des Bereichs von 380 nm bis 700 nm konfiguriert ist, und die zweiten Sensordaten können optional Daten eines Sensors beinhalten, der dazu ausgelegt ist, elektromagnetische Wellen mit einer Wellenlänge innerhalb des Bereichs von 380 nm bis 700 nm zu detektieren. In Kombination mit einem oder mehreren beliebigen anderen Merkmalen dieses Absatzes kann der Roboter optional ferner ein neuronales Faltungsnetz beinhalten, das dazu ausgelegt ist, erste Sensordaten zu empfangen und Roboterumgebungsinformationen basierend auf den empfangenen ersten Sensordaten auszugeben, und wobei der Prozessor dazu ausgelegt ist, eine Roboteroperation basierend auf den Roboterumgebungsinformationen durchzuführen. In Kombination mit einem oder mehreren beliebigen anderen Merkmalen dieses Absatzes kann das Betreiben gemäß dem zweiten Betriebsmodus optional ferner Einschalten einer Kamera (z. B. am Roboter) und/oder Bewirken, dass eine Kamera eingeschaltet wird (z. B. eine Kamera außerhalb des Roboters), beinhalten.
  • Kontextmodi können für eine gegebene Implementierung auswählbar sein. Bevor zum Beispiel eine Implementierung eingesetzt wird, kann es wünschenswert sein, einen geeigneten Satz von Kontextmodi (z. B. Sicherheitsmodi, Datenschutzmodi, Leistungssparmodus usw.) zu ermitteln, wie etwa basierend auf einer Vorauswertung der Umgebung. Jeder Modus kann ferner aus mehreren „Betriebszuständen“ bestehen, die eine gewisse Dynamik der Umgebung widerspiegeln. Zu Beginn jeder Fahrt kann jeder Roboter einen Sicherheitsmodus für die Umgebung basierend auf einer aktuellen „Sicherheitsniveaubeurteilung“ empfangen (z. B. zugewiesen bekommen). Beispielsweise kann ein Roboter mit <safety-mode==‚reduced‘> arbeiten (z. B. nicht im Sicherheitskontextmodus, in einer modifizierten Version eines Sicherheitskontextmodus usw.), wenn keine Menschen anwesend sind. Ein gegebener Modus kann für alle Geräte in der Umgebung gelten (z. B. alle Roboter, Automatisierung und/oder andere Umgebungssensoren/-aktuatoren). Kontextmodi können während eines Einsatzes neu beurteilt werden können. Auf diese Weise können der Roboter und/oder ein zugrundeliegendes Steuersystem die Umgebung auf Änderungen beurteilen. Wenn der Roboter oder das Steuersystem eine relevante Änderung detektiert (z. B. Menschen betreten die nähere Umgebung des Roboters), kann der Roboter in den Sicherheitskontextmodus wechseln und kann seine Erfassungsmodalität und/oder andere Sicherheitsparameter seiner Geräte dynamisch neukonfigurieren. Der Roboter kann optional dazu ausgelegt sein, den Einsatz nur dann fortzusetzen, wenn der Roboter eine Bestätigung empfängt, dass seine Geräte bestätigen, dass der Kontextmodus geändert wird.
  • Als ein weiteres optionales Merkmal können ein oder mehrere Kontextmodi als temporär ununterbrechbar verstanden werden, wie etwa für eine vorbestimmte Dauer. Falls zum Beispiel ein Roboter gemäß einem Kontextmodus arbeitet, der eine hochauflösende Kamera erfordert, aber Kameras im Allgemeinen nicht gewünscht sind, wenn Menschen anwesend sind, kann der aktuelle Betriebskontext für eine vorbestimmte Zeitdauer (z. B. bis zum Ende des Kontextmodus) verhindern, dass Menschen eintreten. In einer solchen Situation kann Arbeiten gemäß dem Kontextmodus Steuern oder Bewirken, dass bestimmte Peripherieaktuatoren, wie etwa Türschlösser, dahingehend gesteuert werden, zu verhindern, dass Menschen in den Bereich eintreten, beinhalten.
  • Als ein weiteres optionales Merkmal können die erfassten Daten isoliert (z. B. „sandboxed“) werden, um Sicherheit und/oder Datenschutz zu fördern. Unter Verwenden dieser Taktik können Daten, die während bestimmter Kontextmodi gesammelt werden, separat von anderen Daten markiert und bearbeitet werden. Wenn zum Beispiel die menschliche Privatsphäre ein Bedenken ist, können die Daten von gewissen Sensoren immer dann obfuskiert, verschlüsselt, archiviert oder beliebige von diesen werden, wenn ein Betriebszustand angibt, dass Menschen anwesend sein können.
  • Zusätzliche Aspekte der Offenbarung werden beispielhaft beschrieben:
  • In Beispiel 1, ein Roboter, der einen Prozessor beinhaltet, ausgelegt zum Arbeiten gemäß einem ersten Betriebsmodus oder einem zweiten Betriebsmodus, wobei der erste Betriebsmodus Durchführen einer Umgebungswahrnehmungsoperation unter Verwendung erster Sensordaten beinhaltet, wobei die ersten Sensordaten keine Kameradaten beinhalten, und wobei der zweite Betriebsmodus Durchführen der Umgebungswahrnehmungsoperation unter Verwendung zweiter Sensordaten beinhaltet, wobei die zweiten Sensordaten Kameradaten beinhalten; während des Arbeitens gemäß dem ersten Betriebsmodus, Ermitteln eines Konfidenzfaktors, der eine Konfidenz der Umgebungswahrnehmungsoperation repräsentiert; Ermitteln, ob der Konfidenzfaktor außerhalb eines vorbestimmten Bereichs liegt oder nicht; und falls der Konfidenzfaktor außerhalb des vorbestimmten Bereichs liegt, Arbeiten gemäß dem zweiten Betriebsmodus.
  • In Beispiel 2, der Roboter nach Beispiel 1, wobei die Umgebungswahrnehmungsoperation Detektieren eines Objekts in einer näheren Umgebung des Roboters oder Detektieren einer Umgebungsbedingung der näheren Umgebung des Roboters beinhaltet.
  • In Beispiel 3, der Roboter nach Beispiel 1, wobei der Roboter dazu ausgelegt ist, gemäß einem mehrerer Kontextmodi zu arbeiten, wobei jeder Kontextmodus der mehreren Kontextmodi einen eindeutigen vorbestimmten Bereich aufweist; wobei Ermitteln, ob der Konfidenzfaktor außerhalb des vorbestimmten Bereichs liegt, Ermitteln beinhaltet, ob der Konfidenzfaktor außerhalb des eindeutigen vorbestimmten Bereichs des Kontextmodus liegt, gemäß dem der Roboter arbeitet.
  • In Beispiel 4, der Roboter nach Beispiel 3, wobei die mehreren Kontextmodi einen Sicherheitsmodus und einen Leistungssparmodus beinhalten und wobei der eindeutige vorbestimmte Bereich des Sicherheitsmodus einen größeren Konfidenzfaktor als ein Konfidenzfaktor erfordert, der durch den eindeutigen vorbestimmten Bereich des Leistungssparmodus erforderlich ist.
  • In Beispiel 5, der Roboter nach einem der Beispiele 1 bis 4, wobei der Prozessor ferner dazu ausgelegt ist, ein erstes Signal zu empfangen, das Sensorkennungen von Sensoren in einer näheren Umgebung des Roboters repräsentiert.
  • In Beispiel 6, der Roboter nach Beispiel 5, wobei der Prozessor ferner dazu ausgelegt ist, die Sensorkennungen der Sensoren in der näheren Umgebung des Roboters basierend auf dem Sensortyp als erste Sensordaten oder zweite Sensordaten detektierend zu designieren.
  • In Beispiel 7, der Roboter nach Beispiel 5 oder 6, wobei der Prozessor ferner dazu ausgelegt ist, einen Sendeempfänger zu steuern, ein zweites Signal zu senden, das eine Anforderung von Sensorkennungen von Sensoren in einer näheren Umgebung des Roboters repräsentiert, wobei das erste Signal als Reaktion auf das zweite Signal empfangen wird.
  • In Beispiel 8, der Roboter nach einem der Beispiele 5 bis 7, wobei das erste Signal ferner einen Ort in der näheren Umgebung des Roboters repräsentiert, der Sensordaten entspricht, die durch einen Sensor der Sensoren in der näheren Umgebung des Roboters detektiert werden, und wobei Arbeiten gemäß dem zweiten Betriebsmodus Senden eines Signals beinhaltet, das eine Anforderung von Sensordaten eines Sensors der mehreren Sensoren repräsentiert, dessen Sensordaten einem Standort des Roboters entsprechen.
  • In Beispiel 9, der Roboter nach einem der Beispiele 1 bis 8, wobei der Prozessor, falls der Prozessor gemäß dem zweiten Betriebsmodus arbeitet, dazu ausgelegt ist, eine Menge von Kameradaten zu ermitteln, die notwendig ist, um den Konfidenzfaktor in den vorbestimmten Bereich zu bringen, und eine Menge von Kameradaten zu empfangen, die der bestimmten Menge von Kameradaten entspricht.
  • In Beispiel 10, der Roboter nach einem der Beispiele 1 bis 9, wobei die ersten Sensordaten Drucksensordaten, Berührungssensordaten, Drehmomentsensordaten, Temperatursensordaten, Schallsensordaten, Entfernungssensordaten, LIDAR-Sensordaten oder beliebige von diesen beinhalten.
  • In Beispiel 11, der Roboter nach Beispiel 10, wobei die ersten Sensordaten ferner Daten eines beliebigen Sensors beinhalten, der dazu ausgelegt ist, elektromagnetische Wellen mit einer Wellenlänge außerhalb des Bereichs von 380 nm bis 700 nm zu detektieren.
  • In Beispiel 12, der Roboter nach einem der Beispiele 10 oder 11, wobei die zweiten Sensordaten Daten eines Sensors beinhalten, der dazu ausgelegt ist, elektromagnetische Wellen mit einer Wellenlänge innerhalb des Bereichs von 380 nm bis 700 nm zu detektieren.
  • In Beispiel 13, der Roboter nach einem der Beispiele 1 bis 12, wobei der Roboter ferner ein neuronales Faltungsnetz beinhaltet, das dazu ausgelegt ist, erste Sensordaten zu empfangen und Roboterumgebungsinformationen basierend auf den empfangenen ersten Sensordaten auszugeben, und wobei der Prozessor dazu ausgelegt ist, eine Roboteroperation basierend auf den Roboterumgebungsinformationen durchzuführen.
  • In Beispiel 14, der Roboter nach einem der Beispiele 1 bis 13, wobei Arbeiten gemäß dem zweiten Betriebsmodus ferner Einschalten einer Kamera beinhaltet, wobei die Kamera eine Kamera in oder an dem Roboter ist oder wobei die Kamera eine Kamera außerhalb des Roboters in einer näheren Umgebung des Roboters ist.
  • In Beispiel 15, ein Sensordatenverwaltungssystem, das Folgendes beinhaltet:
    • einen Roboter, der Folgendes beinhaltet:
    • einen Prozessor, ausgelegt zum: Arbeiten gemäß einem ersten Betriebsmodus oder einem zweiten Betriebsmodus, wobei der erste Betriebsmodus Durchführen einer Umgebungswahrnehmungsoperation unter Verwendung erster Sensordaten beinhaltet, wobei die ersten Sensordaten keine Kameradaten beinhalten, und wobei der zweite Betriebsmodus Durchführen der Umgebungswahrnehmungsoperation unter Verwendung zweiter Sensordaten beinhaltet, wobei die zweiten Sensordaten Kameradaten beinhalten; während des Arbeitens gemäß dem ersten Betriebsmodus, Ermitteln eines Konfidenzfaktors, der eine Konfidenz der Umgebungswahrnehmungsoperation repräsentiert; Ermitteln, ob der Konfidenzfaktor außerhalb eines vorbestimmten Bereichs liegt oder nicht; und falls der Konfidenzfaktor außerhalb des vorbestimmten Bereichs liegt, Arbeiten gemäß dem zweiten Betriebsmodus.
  • In Beispiel 16, das Sensordatenverwaltungssystem nach Beispiel 15, wobei die Umgebungswahrnehmungsoperation Detektieren eines Objekts in einer näheren Umgebung des Roboters oder Detektieren einer Umgebungsbedingung der näheren Umgebung des Roboters beinhaltet.
  • In Beispiel 17 das Sensordatenverwaltungssystem nach Beispiel 15, wobei der Roboter dazu ausgelegt ist, gemäß einem mehrerer Kontextmodi zu arbeiten, wobei jeder Kontextmodus der mehreren Kontextmodi einen eindeutigen vorbestimmten Bereich aufweist; wobei Ermitteln, ob der Konfidenzfaktor außerhalb des vorbestimmten Bereichs liegt, Ermitteln beinhaltet, ob der Konfidenzfaktor außerhalb des eindeutigen vorbestimmten Bereichs des Kontextmodus liegt, gemäß dem der Roboter arbeitet.
  • In Beispiel 18, das Sensordatenverwaltungssystem nach Beispiel 17, wobei die mehreren Kontextmodi einen Sicherheitsmodus und einen Leistungssparmodus beinhalten und wobei der eindeutige vorbestimmte Bereich des Sicherheitsmodus einen größeren Konfidenzfaktor als ein Konfidenzfaktor erfordert, der durch den eindeutigen vorbestimmten Bereich des Leistungssparmodus erforderlich ist.
  • In Beispiel 19, das Sensordatenverwaltungssystem nach einem der Beispiele 15 bis 18, das ferner eine externe Sensorschaltung beinhaltet, die sich außerhalb des Roboters befindet und nicht direkt durch diesen gesteuert wird, wobei die externe Sensorschaltung einen externen Sensor beinhaltet; wobei der Roboter ferner dazu ausgelegt ist, ein erstes Signal von der externen Sensorschaltung zu empfangen, das eine Sensorkennung des externen Sensors repräsentiert.
  • In Beispiel 20, das Sensordatenverwaltungssystem nach Beispiel 19, wobei der Roboter ferner dazu ausgelegt ist, die Sensorkennung basierend auf dem Sensortyp als erste Sensordaten oder zweite Sensordaten detektierend zu designieren.
  • In Beispiel 21, das Sensordatenverwaltungssystem nach Beispiel 19 oder 20, wobei der Roboter ferner dazu ausgelegt ist, einen Sendeempfänger zu steuern, ein zweites Signal zu senden, das eine Anforderung einer Sensorkennung eines Sensors in einer näheren Umgebung des Roboters repräsentiert, wobei das erste Signal als Reaktion auf das zweite Signal empfangen wird.
  • In Beispiel 22, das Sensordatenverwaltungssystem nach einem der Beispiele 19 bis 21, wobei das erste Signal ferner einen Ort repräsentiert, der Sensordaten entspricht, die durch den externen Sensor detektiert werden, und wobei Arbeiten gemäß dem zweiten Betriebsmodus Senden eines Signals beinhaltet, das eine Anforderung von Sensordaten des externen Sensors repräsentiert.
  • In Beispiel 23 das Sensordatenverwaltungssystem nach einem der Beispiele 15 bis 22, wobei der Prozessor, falls der Prozessor gemäß dem zweiten Betriebsmodus arbeitet, dazu ausgelegt ist, eine Menge von Kameradaten zu ermitteln, die notwendig ist, um den Konfidenzfaktor in den vorbestimmten Bereich zu bringen, und eine Menge von Kameradaten zu empfangen, die der bestimmten Menge von Kameradaten entspricht.
  • In Beispiel 24, das Sensordatenverwaltungssystem nach einem der Beispiele 15 bis 23, wobei die ersten Sensordaten Drucksensordaten, Berührungssensordaten, Drehmomentsensordaten, Temperatursensordaten, Schallsensordaten, Entfernungssensordaten, LIDAR-Sensordaten, WiFi-Sensordaten, aus WiFi-Sensordaten abgeleitete Daten, Bluetooth-Sensordaten, aus Bluetooth-Sensordaten abgeleitete Daten oder beliebige von diesen beinhalten.
  • In Beispiel 25, das Sensordatenverwaltungssystem nach Beispiel 24, wobei die ersten Sensordaten ferner Daten eines beliebigen Sensors beinhalten, der dazu ausgelegt ist, elektromagnetische Wellen mit einer Wellenlänge außerhalb des Bereichs von 380 nm bis 700 nm zu detektieren.
  • In Beispiel 26, das Sensordatenverwaltungssystem nach einem der Beispiele 24 oder 25, wobei die zweiten Sensordaten Daten eines Sensors beinhalten, der dazu ausgelegt ist, elektromagnetische Wellen mit einer Wellenlänge innerhalb des Bereichs von 380 nm bis 700 nm zu detektieren.
  • In Beispiel 27, das Sensordatenverwaltungssystem nach einem der Beispiele 15 bis 26, wobei der Roboter ferner ein neuronales Faltungsnetz beinhaltet, das dazu ausgelegt ist, erste Sensordaten zu empfangen und Roboterumgebungsinformationen basierend auf den empfangenen ersten Sensordaten auszugeben, und wobei der Prozessor dazu ausgelegt ist, eine Roboteroperation basierend auf den Roboterumgebungsinformationen durchzuführen.
  • In Beispiel 28, das Sensordatenverwaltungssystem nach einem der Beispiele 15 bis 27, wobei Arbeiten gemäß dem zweiten Betriebsmodus ferner Einschalten einer Kamera beinhaltet, wobei die Kamera eine Kamera in oder an dem Roboter ist oder wobei die Kamera eine Kamera außerhalb des Roboters in einer näheren Umgebung des Roboters ist.
  • In Beispiel 29, ein Mittel zur Sensordatenverwaltung, das Folgendes beinhaltet:
    • ein Verarbeitungsmittel, ausgelegt zum: Arbeiten gemäß einem ersten Betriebsmodus oder einem zweiten Betriebsmodus, wobei der erste Betriebsmodus Durchführen einer Umgebungswahrnehmungsoperation unter Verwendung erster Sensordaten beinhaltet,
    • wobei die ersten Sensordaten keine Kameradaten beinhalten, und wobei der zweite Betriebsmodus Durchführen der Umgebungswahrnehmungsoperation unter Verwendung zweiter Sensordaten beinhaltet, wobei die zweiten Sensordaten Kameradaten beinhalten;
    • während des Arbeitens gemäß dem ersten Betriebsmodus, Ermitteln eines Konfidenzfaktors, der eine Konfidenz der Umgebungswahrnehmungsoperation repräsentiert; Ermitteln, ob der Konfidenzfaktor außerhalb eines vorbestimmten Bereichs liegt oder nicht; und falls der Konfidenzfaktor außerhalb des vorbestimmten Bereichs liegt, Arbeiten gemäß dem zweiten Betriebsmodus.
  • In Beispiel 30, das Mittel zur Sensordatenverwaltung nach Beispiel 29, wobei die Umgebungswahrnehmungsoperation Detektieren eines Objekts in einer näheren Umgebung des Roboters oder Detektieren einer Umgebungsbedingung der näheren Umgebung des Roboters beinhaltet.
  • In Beispiel 31, das Mittel zur Sensordatenverwaltung nach Beispiel 29, wobei der Roboter dazu ausgelegt ist, gemäß einem mehrerer Kontextmodi zu arbeiten, wobei jeder Kontextmodus der mehreren Kontextmodi einen eindeutigen vorbestimmten Bereich aufweist; wobei Ermitteln, ob der Konfidenzfaktor außerhalb des vorbestimmten Bereichs liegt, Ermitteln beinhaltet, ob der Konfidenzfaktor außerhalb des eindeutigen vorbestimmten Bereichs des Kontextmodus liegt, gemäß dem der Roboter arbeitet.
  • In Beispiel 32, das Mittel zur Sensordatenverwaltung nach Beispiel 31, wobei die mehreren Kontextmodi einen Sicherheitsmodus und einen Leistungssparmodus beinhalten und wobei der eindeutige vorbestimmte Bereich des Sicherheitsmodus einen größeren Konfidenzfaktor als ein Konfidenzfaktor erfordert, der durch den eindeutigen vorbestimmten Bereich des Leistungssparmodus erforderlich ist.
  • In Beispiel 33, das Mittel zur Sensordatenverwaltung nach einem der Beispiele 29 bis 32, wobei das Verarbeitungsmittel ferner dazu ausgelegt ist, ein erstes Signal zu empfangen, das Sensorkennungen von Sensoren in einer näheren Umgebung des Roboters repräsentiert.
  • In Beispiel 34, das Mittel zur Sensordatenverwaltung nach Beispiel 33, wobei das Verarbeitungsmittel ferner dazu ausgelegt ist, die Sensorkennungen der Sensoren in der näheren Umgebung des Roboters basierend auf dem Sensortyp als erste Sensordaten oder zweite Sensordaten detektierend zu designieren.
  • In Beispiel 35, das Mittel zur Sensordatenverwaltung nach Beispiel 33 oder 34, wobei das Verarbeitungsmittel ferner dazu ausgelegt ist, einen Sendeempfänger zu steuern, ein zweites Signal zu senden, das eine Anforderung von Sensorkennungen von Sensoren in einer näheren Umgebung des Roboters repräsentiert, wobei das erste Signal als Reaktion auf das zweite Signal empfangen wird.
  • In Beispiel 36, das Mittel zur Sensordatenverwaltung nach einem der Beispiele 33 bis 35, wobei das erste Signal ferner einen Ort in der näheren Umgebung des Roboters repräsentiert, der Sensordaten entspricht, die durch einen Sensor der Sensoren in der näheren Umgebung des Roboters detektiert werden, und wobei Arbeiten gemäß dem zweiten Betriebsmodus Senden eines Signals beinhaltet, das eine Anforderung von Sensordaten eines Sensors der mehreren Sensoren repräsentiert, dessen Sensordaten einem Standort des Roboters entsprechen.
  • In Beispiel 37, das Mittel zur Sensordatenverwaltung nach einem der Beispiele 29 bis 36, wobei das Verarbeitungsmittel, falls das Verarbeitungsmittel gemäß dem zweiten Betriebsmodus arbeitet, dazu ausgelegt ist, eine Menge von Kameradaten zu ermitteln, die notwendig ist, um den Konfidenzfaktor in den vorbestimmten Bereich zu bringen, und eine Menge von Kameradaten zu empfangen, die der bestimmten Menge von Kameradaten entspricht.
  • In Beispiel 38, das Mittel zur Sensordatenverwaltung eines der Beispiele 29 bis 37, wobei die ersten Sensordaten Drucksensordaten, Berührungssensordaten, Drehmomentsensordaten, Temperatursensordaten, Schallsensordaten, Entfernungssensordaten, LIDAR-Sensordaten oder beliebige von diesen beinhalten.
  • In Beispiel 39, das Mittel zur Sensordatenverwaltung nach Beispiel 38, wobei die ersten Sensordaten ferner Daten eines beliebigen Sensors beinhalten, der dazu ausgelegt ist, elektromagnetische Wellen mit einer Wellenlänge außerhalb des Bereichs von 380 nm bis 700 nm zu detektieren.
  • In Beispiel 40, das Mittel zur Sensordatenverwaltung nach einem der Beispiele 38 oder 39, wobei die zweiten Sensordaten Daten eines Sensors beinhalten, der dazu ausgelegt ist, elektromagnetische Wellen mit einer Wellenlänge innerhalb des Bereichs von 380 nm bis 700 nm zu detektieren.
  • In Beispiel 41, das Mittel zur Sensordatenverwaltung nach einem der Beispiele 29 bis 40, wobei der Roboter ferner ein neuronales Faltungsnetz beinhaltet, das dazu ausgelegt ist, erste Sensordaten zu empfangen und Roboterumgebungsinformationen basierend auf den empfangenen ersten Sensordaten auszugeben, und wobei das Verarbeitungsmittel dazu ausgelegt ist, eine Roboteroperation basierend auf den Roboterumgebungsinformationen durchzuführen.
  • In Beispiel 42, das Mittel zur Sensordatenverwaltung nach einem der Beispiele 29 bis 41, wobei Arbeiten gemäß dem zweiten Betriebsmodus ferner Einschalten einer Kamera beinhaltet, wobei die Kamera eine Kamera in oder an dem Roboter ist oder wobei die Kamera eine Kamera außerhalb des Roboters in einer näheren Umgebung des Roboters ist.
  • In Beispiel 43, ein nichtflüchtiges computerlesbares Medium, das Anweisungen beinhaltet, die bei Ausführung einen Prozessor zu Folgendem veranlassen: Arbeiten gemäß einem ersten Betriebsmodus oder einem zweiten Betriebsmodus, wobei der erste Betriebsmodus Durchführen einer Umgebungswahrnehmungsoperation unter Verwendung erster Sensordaten beinhaltet, wobei die ersten Sensordaten keine Kameradaten beinhalten, und wobei der zweite Betriebsmodus Durchführen der Umgebungswahrnehmungsoperation unter Verwendung zweiter Sensordaten beinhaltet, wobei die zweiten Sensordaten Kameradaten beinhalten; während des Arbeitens gemäß dem ersten Betriebsmodus, Ermitteln eines Konfidenzfaktors, der eine Konfidenz der Umgebungswahrnehmungsoperation repräsentiert; Ermitteln, ob der Konfidenzfaktor außerhalb eines vorbestimmten Bereichs liegt oder nicht; und falls der Konfidenzfaktor außerhalb des vorbestimmten Bereichs liegt, Arbeiten gemäß dem zweiten Betriebsmodus.
  • In Beispiel 44, das nichtflüchtige computerlesbare Medium nach Beispiel 43, wobei die Umgebungswahrnehmungsoperation Detektieren eines Objekts in einer näheren Umgebung des Roboters oder Detektieren einer Umgebungsbedingung der näheren Umgebung des Roboters beinhaltet.
  • In Beispiel 45, das nichtflüchtige computerlesbare Medium nach Beispiel 43, wobei die Anweisungen ferner dazu ausgelegt sind, den Prozessor zu veranlassen, gemäß einem mehrerer Kontextmodi zu arbeiten, wobei jeder Kontextmodus der mehreren Kontextmodi einen eindeutigen vorbestimmten Bereich aufweist; wobei Ermitteln, ob der Konfidenzfaktor außerhalb des vorbestimmten Bereichs liegt, Ermitteln beinhaltet, ob der Konfidenzfaktor außerhalb des eindeutigen vorbestimmten Bereichs des Kontextmodus liegt, gemäß dem der Roboter arbeitet.
  • In Beispiel 46, das nichtflüchtige computerlesbare Medium nach Beispiel 45, wobei die mehreren Kontextmodi einen Sicherheitsmodus und einen Leistungssparmodus beinhalten und wobei der eindeutige vorbestimmte Bereich des Sicherheitsmodus einen größeren Konfidenzfaktor erfordert als ein Konfidenzfaktor, der durch den eindeutigen vorbestimmten Bereich des Leistungssparmodus erforderlich ist.
  • In Beispiel 47, das nichtflüchtige computerlesbare Medium eines der Beispiele 43 bis 46, wobei die Anweisungen ferner dazu ausgelegt sind, den Prozessor zu veranlassen, ein erstes Signal zu empfangen, das Sensorkennungen von Sensoren in einer näheren Umgebung des Roboters repräsentiert.
  • In Beispiel 48, das nichtflüchtige computerlesbare Medium nach Beispiel 47, wobei die Anweisungen ferner dazu ausgelegt sind, den Prozessor zu veranlassen, die Sensorkennungen der Sensoren in der näheren Umgebung des Roboters basierend auf dem Sensortyp als erste Sensordaten oder zweite Sensordaten detektierend zu designieren.
  • In Beispiel 49, das nichtflüchtige computerlesbare Medium nach Beispiel 47 oder 48, wobei die Anweisungen ferner dazu ausgelegt sind, den Prozessor zu veranlassen, einen Sendeempfänger zu steuern, ein zweites Signal zu senden, das eine Anforderung von Sensorkennungen von Sensoren in einer näheren Umgebung des Roboters repräsentiert, wobei das erste Signal als Reaktion auf das zweite Signal empfangen wird.
  • In Beispiel 50, das nichtflüchtige computerlesbare Medium eines der Beispiele 47 bis 49, wobei das erste Signal ferner einen Ort in der näheren Umgebung des Roboters repräsentiert, der Sensordaten entspricht, die durch einen Sensor der Sensoren in der näheren Umgebung des Roboters detektiert werden, und wobei Arbeiten gemäß dem zweiten Betriebsmodus Senden eines Signals beinhaltet, das eine Anforderung von Sensordaten eines Sensors der mehreren Sensoren repräsentiert, dessen Sensordaten einem Standort des Roboters entsprechen.
  • In Beispiel 51, das nichtflüchtige computerlesbare Medium nach einem der Beispiele 43 bis 50, wobei, falls der Prozessor gemäß dem zweiten Betriebsmodus arbeitet, die Anweisungen ferner dazu ausgelegt sind, den Prozessor zu veranlassen, eine Menge von Kameradaten zu ermitteln, die notwendig ist, um den Konfidenzfaktor in den vorbestimmten Bereich zu bringen, und eine Menge von Kameradaten zu empfangen, die der bestimmten Menge von Kameradaten entspricht.
  • In Beispiel 52, das nichtflüchtige computerlesbare Medium eines der Beispiele 43 bis 51, wobei die ersten Sensordaten Drucksensordaten, Berührungssensordaten, Drehmomentsensordaten, Temperatursensordaten, Schallsensordaten, Entfernungssensordaten, LIDAR-Sensordaten oder beliebige von diesen beinhalten.
  • In Beispiel 53, das nichtflüchtige computerlesbare Medium nach Beispiel 52, wobei die ersten Sensordaten ferner Daten eines beliebigen Sensors beinhalten, der dazu ausgelegt ist, elektromagnetische Wellen mit einer Wellenlänge außerhalb des Bereichs von 380 nm bis 700 nm zu detektieren.
  • In Beispiel 54, das nichtflüchtige computerlesbare Medium nach einem der Beispiele 52 oder 53, wobei die zweiten Sensordaten Daten eines Sensors beinhalten, der dazu ausgelegt ist, elektromagnetische Wellen mit einer Wellenlänge innerhalb des Bereichs von 380 nm bis 700 nm zu detektieren.
  • In Beispiel 55, das nichtflüchtige computerlesbare Medium nach einem der Beispiele 43 bis 54, wobei die Anweisungen ferner dazu ausgelegt sind, den Prozessor zu veranlassen, ein neuronales Faltungsnetz zu betreiben, das dazu ausgelegt ist, erste Sensordaten zu empfangen und Roboterumgebungsinformationen basierend auf den empfangenen ersten Sensordaten auszugeben, und wobei der Prozessor dazu ausgelegt ist, eine Roboteroperation basierend auf den Roboterumgebungsinformationen durchzuführen.
  • In Beispiel 56, das nichtflüchtige computerlesbare Medium nach einem der Beispiele 43 bis 55, wobei Arbeiten gemäß dem zweiten Betriebsmodus ferner Einschalten einer Kamera beinhaltet, wobei die Kamera eine Kamera in oder an dem Roboter ist oder wobei die Kamera eine Kamera außerhalb des Roboters in einer näheren Umgebung des Roboters ist.
  • Obwohl die vorstehenden Beschreibungen und verbundenen Figuren Komponenten als separate Elemente darstellen können, verstehen Fachleute die verschiedenen Möglichkeiten, diskrete Elemente zu einem einzigen Element zu kombinieren oder zu integrieren. Das kann das Kombinieren von zwei oder mehreren Schaltungen zum Bilden einer einzigen Schaltung, das Montieren von zwei oder mehreren Schaltungen auf einen gemeinsamen Chip oder ein gemeinsames Chassis, um ein integriertes Element zu bilden, das Ausführen diskreter Softwarebauelemente auf einem gemeinsamen Prozessorkern usw. beinhalten. Umgekehrt erkennen Fachleute die Möglichkeit, ein einziges Element in zwei oder mehrere diskrete Elemente zu Trennen, wie etwa das Aufteilen einer einzigen Schaltung in zwei oder mehrere getrennte Schaltkreise, das Trennen eines Chips oder eines Chassis in diskrete Elemente, die ursprünglich darauf bereitgestellt wurden, das Trennen einer Softwarekomponente in zwei oder mehrere Abschnitte und das Ausführen von jedem auf einem getrennten Prozessorkern usw.
  • Es versteht sich, dass Implementierungen von Verfahren, die hierin ausführlich beschrieben sind, veranschaulichend sind und somit so verstanden werden, dass sie in einer entsprechenden Vorrichtung implementiert werden können. Gleichermaßen versteht es sich, dass Implementierungen von hier ausführlich beschriebenen Vorrichtungen so verstanden werden, dass sie als ein entsprechendes Verfahren implementiert werden können. Daher versteht es sich, dass eine Vorrichtung, die einem hier ausführlich beschriebenen Verfahren entspricht, eine oder mehrere Komponenten beinhalten kann, die zum Durchführen jedes Aspekts des zugehörigen Verfahrens ausgebildet sind.
  • Alle in der obigen Beschreibung definierten Akronyme gelten zusätzlich in allen hier enthaltenen Ansprüchen.

Claims (10)

  1. Roboter, der Folgendes beinhaltet: einen Prozessor, ausgelegt zum: Arbeiten gemäß einem ersten Betriebsmodus oder einem zweiten Betriebsmodus, wobei der erste Betriebsmodus Durchführen einer Umgebungswahrnehmungsoperation unter Verwendung erster Sensordaten umfasst, wobei die ersten Sensordaten keine Kameradaten umfassen, und wobei der zweite Betriebsmodus Durchführen der Umgebungswahrnehmungsoperation unter Verwendung zweiter Sensordaten umfasst, wobei die zweiten Sensordaten Kameradaten umfassen; während des Arbeitens gemäß dem ersten Betriebsmodus, Ermitteln eines Konfidenzfaktors, der eine Konfidenz der Umgebungswahrnehmungsoperation repräsentiert; Ermitteln, ob der Konfidenzfaktor außerhalb eines Bereichs liegt oder nicht; und falls der Konfidenzfaktor außerhalb des Bereichs liegt, Arbeiten gemäß dem zweiten Betriebsmodus; wobei die Umgebungswahrnehmungsoperation optional Detektieren eines Objekts in einer näheren Umgebung des Roboters oder Detektieren einer Umgebungsbedingung der näheren Umgebung des Roboters umfasst.
  2. Roboter nach Anspruch 1, wobei der Roboter dazu ausgelegt ist, gemäß einem mehrerer Kontextmodi zu arbeiten, wobei jeder Kontextmodus der mehreren Kontextmodi einen eindeutigen Bereich aufweist; wobei Ermitteln, ob der Konfidenzfaktor außerhalb des Bereichs liegt, Ermitteln umfasst, ob der Konfidenzfaktor außerhalb des eindeutigen Bereichs des Kontextmodus liegt, gemäß dem der Roboter arbeitet; wobei die mehreren Kontextmodi optional einen Sicherheitsmodus und einen Leistungssparmodus umfassen und wobei der eindeutige Bereich des Sicherheitsmodus einen größeren Konfidenzfaktor als ein Konfidenzfaktor erfordert, der durch den eindeutigen Bereich des Leistungssparmodus erforderlich ist.
  3. Roboter nach einem der Ansprüche 1 oder 2, wobei der Prozessor ferner dazu ausgelegt ist, ein erstes Signal zu empfangen, das Sensorkennungen von Sensoren in einer näheren Umgebung des Roboters repräsentiert; wobei der Prozessor optional ferner dazu ausgelegt ist, die Sensorkennungen der Sensoren in der näheren Umgebung des Roboters basierend auf dem Sensortyp als erste Sensordaten oder zweite Sensordaten detektierend zu designieren; und/oder wobei der Prozessor optional ferner dazu ausgelegt ist, einen Sendeempfänger zu steuern, ein zweites Signal zu senden, das eine Anforderung von Sensorkennungen von Sensoren in einer näheren Umgebung des Roboters repräsentiert, wobei das erste Signal als Reaktion auf das zweite Signal empfangen wird; und/oder wobei das erste Signal optional ferner einen Ort in der näheren Umgebung des Roboters repräsentiert, der Sensordaten entspricht, die durch einen Sensor der Sensoren in der näheren Umgebung des Roboters detektiert werden, und wobei Arbeiten gemäß dem zweiten Betriebsmodus Senden eines Signals umfasst, das eine Anforderung von Sensordaten eines Sensors der mehreren Sensoren repräsentiert, dessen Sensordaten einem Standort des Roboters entsprechen.
  4. Roboter nach einem der Ansprüche 1 bis 3, wobei der Prozessor, falls der Prozessor gemäß dem zweiten Betriebsmodus arbeitet, dazu ausgelegt ist, eine Menge von Kameradaten zu ermitteln, die notwendig ist, um den Konfidenzfaktor in den Bereich zu bringen, und eine Menge von Kameradaten zu empfangen, die der bestimmten Menge von Kameradaten entspricht.
  5. Roboter nach einem der Ansprüche 1 bis 4, wobei die ersten Sensordaten Drucksensordaten, Berührungssensordaten, Drehmomentsensordaten, Temperatursensordaten, Schallsensordaten, Entfernungssensordaten, LIDAR-Sensordaten oder beliebige von diesen umfassen; wobei die ersten Sensordaten ferner Daten eines beliebigen Sensors umfassen, der dazu ausgelegt ist, elektromagnetische Wellen mit einer Wellenlänge außerhalb des Bereichs von 380 nm bis 700 nm zu detektieren; und/oder wobei die zweiten Sensordaten optional Daten eines Sensors umfassen, der dazu ausgelegt ist, elektromagnetische Wellen mit einer Wellenlänge innerhalb des Bereichs von 380 nm bis 700 nm zu detektieren.
  6. Roboter nach einem der Ansprüche 1 bis 5, wobei der Roboter ferner ein neuronales Faltungsnetz umfasst, das dazu ausgelegt ist, erste Sensordaten zu empfangen und Roboterumgebungsinformationen basierend auf den empfangenen ersten Sensordaten auszugeben, und wobei der Prozessor dazu ausgelegt ist, eine Roboteroperation basierend auf den Roboterumgebungsinformationen durchzuführen; und/oder wobei Arbeiten gemäß dem zweiten Betriebsmodus ferner Einschalten einer Kamera umfasst.
  7. Nichtflüchtiges computerlesbares Medium, das Anweisungen umfasst, die bei Ausführung einen Prozessor zu Folgendem veranlassen: Arbeiten gemäß einem ersten Betriebsmodus oder einem zweiten Betriebsmodus, wobei der erste Betriebsmodus Durchführen einer Umgebungswahrnehmungsoperation unter Verwendung erster Sensordaten umfasst, wobei die ersten Sensordaten keine Kameradaten umfassen, und wobei der zweite Betriebsmodus Durchführen der Umgebungswahrnehmungsoperation unter Verwendung zweiter Sensordaten umfasst, wobei die zweiten Sensordaten Kameradaten umfassen; während des Arbeitens gemäß dem ersten Betriebsmodus, Ermitteln eines Konfidenzfaktors, der eine Konfidenz der Umgebungswahrnehmungsoperation repräsentiert; Ermitteln, ob der Konfidenzfaktor außerhalb eines Bereichs liegt oder nicht; und falls der Konfidenzfaktor außerhalb des Bereichs liegt, Arbeiten gemäß dem zweiten Betriebsmodus.
  8. Nichtflüchtiges computerlesbares Medium nach Anspruch 7, wobei die Umgebungswahrnehmungsoperation Detektieren eines Objekts in einer näheren Umgebung des Roboters oder Detektieren einer Umgebungsbedingung der näheren Umgebung des Roboters umfasst; und/oder wobei die Anweisungen ferner dazu ausgelegt sind, den Prozessor zu veranlassen, gemäß einem mehrerer Kontextmodi zu arbeiten, wobei jeder Kontextmodus der mehreren Kontextmodi einen eindeutigen Bereich aufweist; wobei Ermitteln, ob der Konfidenzfaktor außerhalb des Bereichs liegt, Ermitteln umfasst, ob der Konfidenzfaktor außerhalb des eindeutigen Bereichs des Kontextmodus liegt, gemäß dem der Roboter arbeitet.
  9. Sensordatenverwaltungssystem, das Folgendes umfasst: einen Roboter, der Folgendes umfasst: einen Prozessor, ausgelegt zum Arbeiten gemäß einem ersten Betriebsmodus oder einem zweiten Betriebsmodus, wobei der erste Betriebsmodus Durchführen einer Umgebungswahrnehmungsoperation unter Verwendung erster Sensordaten beinhaltet, wobei die ersten Sensordaten keine Kameradaten beinhalten, und wobei der zweite Betriebsmodus Durchführen der Umgebungswahrnehmungsoperation unter Verwendung zweiter Sensordaten beinhaltet, wobei die zweiten Sensordaten Kameradaten beinhalten; während des Arbeitens gemäß dem ersten Betriebsmodus, Ermitteln eines Konfidenzfaktors, der eine Konfidenz der Umgebungswahrnehmungsoperation repräsentiert; Ermitteln, ob der Konfidenzfaktor außerhalb eines Bereichs liegt oder nicht; und falls der Konfidenzfaktor außerhalb des Bereichs liegt, Arbeiten gemäß dem zweiten Betriebsmodus.
  10. Sensordatenverwaltungssystem nach Anspruch 9, wobei die Umgebungswahrnehmungsoperation Detektieren eines Objekts in einer näheren Umgebung des Roboters oder Detektieren einer Umgebungsbedingung der näheren Umgebung des Roboters beinhaltet; und/oder das Sensordatenverwaltungssystem ferner eine externe Sensorschaltung umfasst, die sich außerhalb des Roboters befindet und nicht direkt durch diesen gesteuert wird, wobei die externe Sensorschaltung einen externen Sensor beinhaltet; wobei der Roboter ferner dazu ausgelegt ist, ein erstes Signal von der externen Sensorschaltung zu empfangen, das eine Sensorkennung des externen Sensors repräsentiert.
DE102022106278.3A 2021-06-23 2022-03-17 Robotersensordatenverwaltung Pending DE102022106278A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/355,213 2021-06-23
US17/355,213 US20210321044A1 (en) 2021-06-23 2021-06-23 Robot sensor data management

Publications (1)

Publication Number Publication Date
DE102022106278A1 true DE102022106278A1 (de) 2022-12-29

Family

ID=78006838

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022106278.3A Pending DE102022106278A1 (de) 2021-06-23 2022-03-17 Robotersensordatenverwaltung

Country Status (3)

Country Link
US (1) US20210321044A1 (de)
CN (1) CN115588098A (de)
DE (1) DE102022106278A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022211255A1 (de) 2022-10-24 2024-04-25 Siemens Healthineers Ag Steuerung von Robotern mit zentralisierter Positionserfassung

Also Published As

Publication number Publication date
US20210321044A1 (en) 2021-10-14
CN115588098A (zh) 2023-01-10

Similar Documents

Publication Publication Date Title
DE102015118489B4 (de) Fernbedienung eines autonomen Fahrzeugs in einer unerwarteten Umgebung
EP2867874B1 (de) Interaktion zwischen einem mobilen roboter und einer alarmanlage
DE102019120265A1 (de) Vorhersage des dynamischen Ansprechens
DE112014001056T5 (de) Kommunikationseinheit und Verfahren zur Kommunikation mit einem autonomen Fahrzeug
DE112021005624T5 (de) Ersatzdaten für autonome Fahrzeuge
DE102022106278A1 (de) Robotersensordatenverwaltung
DE102022104283A1 (de) Kollaborative Multi-Roboter-Aufgaben unter Verwendung von Aktionsprimitiven
DE102016008553B4 (de) System umfassend ein Kraftfahrzeug und ein unbemanntes Luftfahrzeug und Verfahren zum Erfassen von Gegebenheiten in einer Umgebung eines Kraftfahrzeugs
DE102019122394A1 (de) Verfolgung von intelligenten vorrichtungen in fahrzeugen
Dogan et al. Ethics in the Design of Automated Vehicles: The AVEthics project.
DE102021104044A1 (de) Neuronales netzwerk zur positionsbestimmung und objektdetektion
Volodin et al. Autonomous robot control in partially undetermined world via fuzzy logic
DE102022114048A1 (de) Bildentzerrung
Bruemmer et al. Collaborative tools for mixed teams of humans and robots
CN110737276B (zh) 预警方法、巡逻机器人及计算机可读存储介质
DE112018006030T5 (de) Kollisionsschutz für autonome fahrzeuge
DE102021205243A1 (de) Künstliche verfälschung von sensordaten zum auslösen einer sicherheitsmassnahme für ein autonomes fahrzeug
DE102020210213A1 (de) Fernparkvorrichtung und Fernparkverfahren
DE112022002107T5 (de) Systeme, vorrichtungen und verfahren zur entwicklung autonomer roboter
DE102022130178A1 (de) Integritäts- und sicherheitsprüfung für roboter
DE112021004698T5 (de) Steuervorrichtung für ein unbemanntes fluggerät und speichermedium
Hu et al. A hybrid visual-model based robot control strategy for micro ground robots
Cullen et al. Mission support for drones: A policy based approach
DE102020127206A1 (de) Prozess und system zur gemeinsamen nutzung von sensoren für einen autonomen fahrspurwechsel
EP3608622B1 (de) Waffensystem und verfahren zum betreiben eines waffensystems