DE112018005744T5

DE112018005744T5 - Bedienerassistenz-sichtsystem

Info

Publication number: DE112018005744T5
Application number: DE112018005744.5T
Authority: DE
Inventors: Lawrence A. Mianzo; Michael Hoffelder
Original assignee: Caterpillar Inc
Current assignee: Caterpillar Inc
Priority date: 2017-12-01
Filing date: 2018-11-08
Publication date: 2020-07-23
Also published as: WO2019108363A1; US20190168609A1; AU2018375585A1; CA3083732A1; US11173785B2

Abstract

Ein Sichtsystem (200) zur Unterstützung eines Bedieners einer Maschine (100) wird bereitgestellt. Eine Bilderfassungsvorrichtung (120), die an der Maschine (100) montiert ist, ist so konfiguriert, dass sie ein Bild (302) einer Umgebung der Maschine (100) erfasst. Das Sichtsystem (200) beinhaltet eine Steuerung (202), die so konfiguriert ist, dass sie einen Objekterkennungsprozess zum Erkennen eines Objekts (122) in dem Bild (302) anwendet. Die Steuerung (202) ermittelt einen Begrenzungsrahmen (402), der ein oder mehrere Pixel umfasst, die dem Objekt (122) zugeordnet sind. Die Steuerung (202) ermittelt eine Höhe und einen Bereich, die dem Objekt (122) zugeordnet sind, auf Basis des Begrenzungsrahmens (402). Die Steuerung (202) extrahiert die ein oder mehreren Pixel innerhalb des Begrenzungsrahmens (402). Die Steuerung (202) ist ferner so konfiguriert, dass sie eine dreidimensionale (3D) Ansicht (500, 600), die das Objekt (122) umfasst, auf Basis des Bildes erzeugt, das durch die Bilderfassungsvorrichtung (120) erfasst wird. Die Steuerung (202) fügt die ein oder mehreren Pixel als vertikales Einblendelement in Bezug auf eine Bodenebene wieder in die 3D-Ansicht (500, 600) ein. Eine Anzeige (118) ist bereitgestellt, die die 3D-Ansicht (500, 600) dem Bediener der Maschine (100) anzeigt.

Description

Gebiet der Technik
Die vorliegende Offenbarung betrifft Systeme und Verfahren zur Unterstützung eines Bedieners einer Maschine. Insbesondere betrifft die vorliegende Offenbarung ein System und ein Verfahren zur Unterstützung des Bedieners bei der Visualisierung von Objekten, die in einer Umgebung der Maschine vorhanden sind.
Stand der Technik
Maschinen, wie z. B. Radlader, geländefähige Lastkraftwagen, Hydraulikbagger, Motorgrader und andere Arten von erdbewegenden Maschinen werden verwendet, um eine Vielzahl von Aufgaben durchzuführen. Einige dieser Aufgaben besteht in der intermittierenden Bewegung zwischen und Anhalten an bestimmten Orten innerhalb eines Arbeitsorts. Der Arbeitsort kann verschiedene Objekte aufweisen, die für eine Behinderung der Bewegung der Maschinen innerhalb des Arbeitsorts sorgen können. Die Objekte können Menschen, Tiere oder andere Objekte umfassen, wie z. B. eine andere Maschine, Fahrzeuge, Bäume usw.
Allgemein weisen die Maschinen Bilderfassungsvorrichtungen an Bord auf, die Bilder der Umgebung der Maschinen erzeugen können. Diese Bilder werden von einer Steuerung auf Basis herkömmlicher Objekterkennungsprozesse verarbeitet, die das Vorhandensein solcher Objekte in der Umgebung der Maschine erkennen. Die Bilder werden einem Bediener auf einer Anzeige angezeigt, die in einer Bedienerkabine montiert ist. Die erfassten zweidimensionalen Bilder können auch in ein Überkopfansichtsbild oder -video, wie z. B. aus einer Vogelperspektive, zur größeren Sichtbarkeit und Steuerung umgewandelt werden. Die herkömmlichen Techniken zur Erzeugung solcher Ansichten führen jedoch häufig zu einem Verlust an Informationen, die zu den Objekten und deren Positionierung in der Ansicht gehören. Für den Bediener ist es zum Beispiel schwierig, die Tiefe der Objekte in der Ansicht wahrzunehmen, da die vertikalen Objekte häufig verzerrt werden. Darüber hinaus lenken solche Ansichten häufig nicht die Aufmerksamkeit des Bedieners der Maschine auf das erkannte Objekt. Der Bediener kann durch verschiedene Arten von Informationen, die auf der Anzeige dargestellt werden, abgelenkt werden.
US-Patent Nr. 8,233,045 (im Folgenden die Referenz '045) beschreibt ein Bildverbesserungssystem für ein Fahrzeug. Das Bildverbesserungssystem umfasst eine Anzeigeeinheit für das Anzeigen modifizierter Bilder und eine Bildgebungsvorrichtung für das Empfangen erfasster Bilder, die durch das Bildverbesserungssystem verbessert werden. Das Bildverbesserungssystem beinhaltet ferner ein Bildverbesserungsmodul, um Pixel, die sich in den erfassten Bildern befinden, über einen Transfervorgang zu verbessern. Die Referenz '045 offenbart jedoch nicht die Unterstützung des Bedieners des Fahrzeugs in Bezug auf ein Objekt, das in der Umgebung der Maschine erkannt wird.
Kurzdarstellung
In einem Aspekt der vorliegenden Offenbarung wird ein Sichtsystem für die Unterstützung eines Bedieners einer Maschine bereitgestellt. Das Sichtsystem beinhaltet eine Bilderfassungsvorrichtung, die an der Maschine montiert ist. Die Bilderfassungsvorrichtung ist so konfiguriert, dass sie ein Bild einer Umgebung der Maschine erfasst. Das Sichtsystem beinhaltet eine Steuerung, die mit der Bilderfassungsvorrichtung kommunikativ gekoppelt ist. Die Steuerung ist so konfiguriert, dass sie einen Objekterkennungsprozess anwendet, um ein Objekt im Bild zu erkennen. Die Steuerung ist so konfiguriert, dass sie einen Begrenzungsrahmen ermittelt, der ein oder mehrere Pixel umfasst, die dem Objekt zugeordnet sind. Die Steuerung ist so konfiguriert, dass sie eine Höhe und einen Bereich, die dem Objekt zugeordnet sind, auf Basis des Begrenzungsrahmens ermittelt. Die Steuerung ist so konfiguriert, dass sie ein oder mehrere Pixel innerhalb des Begrenzungsrahmens extrahiert. Die Steuerung ist so konfiguriert, dass sie eine dreidimensionale (3D) Ansicht, die das Objekt umfasst, auf Basis des Bildes erzeugt, das durch die Bilderfassungsvorrichtung erfasst wird. Die Steuerung ist so konfiguriert, dass sie die ein oder mehreren Pixel als vertikales Einblendelement in Bezug auf eine Bodenebene wieder an einem Ort des Objekts in der 3D-Ansicht einfügt. Das Sichtsystem beinhaltet ferner eine Anzeige, die mit der Steuerung kommunikativ gekoppelt ist. Die Anzeige ist so konfiguriert, dass sie die 3D-Ansicht, die das Objekt umfasst, dem Bediener der Maschine anzeigt.
In einem weiteren Aspekt der vorliegenden Offenbarung wird ein Verfahren für die Unterstützung des Bedieners der Maschine bereitgestellt. Die Bilderfassungsvorrichtung, die an der Maschine montiert ist, ist so konfiguriert, dass sie ein Bild der Umgebung der Maschine erfasst. Das Verfahren beinhaltet das Anwenden, durch die Steuerung, eines Objekterkennungsprozesses, um ein Objekt im Bild zu erkennen. Das Verfahren beinhaltet das Ermitteln, durch die Steuerung, eines Begrenzungsrahmens, der ein oder mehrere Pixel umfasst, die dem Objekt zugeordnet sind. Das Verfahren beinhaltet das Ermitteln, durch die Steuerung, einer Höhe und eines Bereichs, die dem Objekt zugeordnet sind, auf Basis des Begrenzungsrahmens. Das Verfahren beinhaltet das Extrahieren, durch die Steuerung, der ein oder mehreren Pixel innerhalb des Begrenzungsrahmens. Das Verfahren beinhaltet das Erzeugen, durch die Steuerung, einer dreidimensionalen (3D) Ansicht, die das Objekt umfasst, auf Basis des Bildes, das durch die Bilderfassungsvorrichtung erfasst wird. Das Verfahren beinhaltet das Wiedereinfügen, durch die Steuerung, der ein oder mehreren Pixel als vertikales Einblendelement in Bezug auf eine Bodenebene an einem Ort des Objekts in der 3D-Ansicht.
In noch einem weiteren Aspekt der vorliegenden Offenbarung wird ein Computerprogrammprodukt zur Verwendung in Verbindung mit einer Bilderfassungsvorrichtung und einer Anzeige offenbart. Die Bilderfassungsvorrichtung ist so konfiguriert, dass sie ein Bild einer Umgebung der Maschine erfasst. Das Computerprogrammprodukt umfasst ein nicht transitorisches, computerlesbares Speichermedium mit Anweisungen zum Veranlassen eines Prozessors, einen Objekterkennungsprozess anzuwenden, um ein Objekt in dem Bild zu erkennen. Der Prozessor ist so konfiguriert, dass er einen Begrenzungsrahmen ermittelt, der ein oder mehrere Pixel umfasst, die dem Objekt zugeordnet sind. Der Prozessor ist so konfiguriert, dass er eine Höhe und einen Bereich, die dem Objekt zugeordnet sind, auf Basis des Begrenzungsrahmens ermittelt. Der Prozessor ist so konfiguriert, dass er ein oder mehrere Pixel, die dem Objekt zugeordnet sind, aus dem Bild extrahiert. Der Prozessor ist so konfiguriert, dass er eine dreidimensionale (3D) Ansicht, die das Objekt umfasst, auf Basis des Bildes erzeugt, das durch die Bilderfassungsvorrichtung erfasst wird. Der Prozessor ist so konfiguriert, dass er die ein oder mehreren Pixel als vertikales Einblendelement in Bezug auf eine Bodenebene an einem Ort des Objekts in der 3D-Ansicht wieder einfügt.
Figurenliste

1 zeigt eine perspektivische Ansicht einer exemplarischen Maschine gemäß einem Aspekt der vorliegenden Offenbarung;
2 zeigt schematisch ein Sichtsystem zur Unterstützung eines Bedieners der Maschine gemäß einem Aspekt der vorliegenden Offenbarung;
3 zeigt ein Bild der Umgebung der Maschine, das von einer Bilderfassungsvorrichtung erfasst wird, gemäß einem Aspekt der vorliegenden Offenbarung;
4 zeigt Pixel des Bildes der Umgebung der Maschine, das von der Bilderfassungsvorrichtung erfasst wird, gemäß einem Aspekt der vorliegenden Offenbarung;
5 veranschaulicht ein anderes Bild der Umgebung der Maschine, das von einer Bilderfassungsvorrichtung erfasst wird, gemäß einem Aspekt der vorliegenden Offenbarung;
6 veranschaulicht Pixel der Objekte, die aus dem Bild der Umgebung der Maschine extrahiert wurden, gemäß einem Aspekt der vorliegenden Offenbarung;
7 veranschaulicht eine Vorderansicht der Umgebung der Maschine gemäß einem Aspekt der vorliegenden Offenbarung;
8 veranschaulicht eine andere Vorderansicht der Umgebung der Maschine gemäß einem Aspekt der vorliegenden Offenbarung;
9 veranschaulicht eine Überkopfansicht der Umgebung der Maschine gemäß einem Aspekt der vorliegenden Offenbarung;
10 veranschaulicht eine Seitenansicht der Umgebung der Maschine gemäß einem Aspekt der vorliegenden Offenbarung;
11 zeigt ein Ablaufdiagramm eines Verfahrens zur Unterstützung des Bedieners der Maschine auf Basis des Bildes der Umgebung der Maschine gemäß einem Aspekt der vorliegenden Offenbarung; und
12 veranschaulicht ein Allzweck-Computersystem gemäß einem Aspekt der vorliegenden Offenbarung.

Detaillierte Beschreibung
Soweit wie möglich werden die gleichen Bezugsziffern in den Zeichnungen zum Bezeichnen gleicher oder ähnlicher Teile verwendet. In einer Ausführungsform zeigt 1 eine exemplarische Maschine 100 an einem Arbeitsort 101, an dem ein oder mehrere Maschinen 100 betrieben werden können, um verschiedene Aufgaben durchzuführen. Obwohl die Maschine 100 als Hydraulikbagger dargestellt ist, kann die Maschine 100 jedwede andere Art einer Arbeitsmaschine sein, die verschiedene Arbeitsvorgänge durchführen kann, die Branchen wie Bergbau, Bauwesen, Landwirtschaft, Transport, Landschaftsbau oder dergleichen zugeordnet sind. Beispiele für derartige Maschinen 100 können einen Radlader, eine Hydraulikschaufel, einen Bulldozer und einen Muldenkipper usw. umfassen. Auch wenn die folgende detaillierte Beschreibung einen exemplarischen Aspekt in Bezug auf den Hydraulikbagger beschreibt, sollte selbstverständlich sein, dass die Beschreibung gleichermaßen auch für die Verwendung der vorliegenden Offenbarung in anderen Maschinen gilt.
Die Maschine 100 beinhaltet einen oberen Schwenkkörper 102, der an einem in den Boden eingreifenden Element 104 getragen wird. Obwohl das in den Boden eingreifende Element 104 als kontinuierliche Ketten veranschaulicht ist, kann das in den Boden eingreifende Element 104 jedweden anderen Typ eines in den Boden eingreifenden Elements umfassen, wie zum Beispiel Räder usw. Die Maschine 100 beinhaltet ferner einen Arbeitsmechanismus 106 zum Durchführen von Arbeiten, wie zum Beispiel zum Ausheben von Landseiten oder anderweitig zum Bewegen von Material. Der Arbeitsmechanismus 106 ist ein Aushubmechanismus, der einen Ausleger 108, einen Arm 110 und eine Schaufel 112 beinhaltet, die als Frontanbau dient. Zusätzlich kann der obere Schwenkkörper 102 ein Gegengewicht 114 beinhalten, das an einem hinteren Ende bereitgestellt ist. Die Maschine 100 beinhaltet einen Motor (nicht dargestellt), um Energie bereitzustellen, um die Maschine 100 anzutreiben.
Die Maschine 100 beinhaltet eine Bedienerstation 116, die mit dem oberen Schwenkkörper 102 gekoppelt ist. Die Bedienerstation 116 beinhaltet eine Anzeige 118 und kann andere Hebel oder Steuerung für das Betreiben der Maschine 100 umfassen. Die Maschine 100 beinhaltet ferner eine Bilderfassungsvorrichtung 120, um ein Bild einer Umgebung der Maschine 100 zu erfassen. In der veranschaulichten Ausführungsform von 1 ist nur eine Bilderfassungsvorrichtung 120 dargestellt, es kann jedoch mehrere Bilderfassungsvorrichtungen 120 geben, die an verschiedenen Orten an der Maschine 100 montiert sein können. Die Bilderfassungsvorrichtung 120 kann das Bild einschließlich einer 360-Grad-Ansicht der Umgebung der Maschine 100 erfassen.
In der veranschaulichten Ausführungsform ist die Bilderfassungsvorrichtung 120 am oberen Schwenkkörper 102 montiert. In einer Ausführungsform ist die Bilderfassungsvorrichtung 120 eine monokulare Kamera. Eine monokulare Kamera produziert ein zweidimensionales (2D) Bild und ist ein reiner Lagersensor, das heißt, er stellt keine Bereichsinformationen für irgendein Objekt innerhalb des Bildes bereit. Ausführungsformen der Bilderfassungsvorrichtung 120 können Kameras umfassen, die gegenüber dem visuellen, Infrarot- oder irgendeinem anderen Anteil des elektromagnetischen Spektrums empfindlich sind. In einer Ausführungsform kann die Bilderfassungsvorrichtung 120 eine Kamera sein, die in der Lage ist, sowohl Stand- als auch bewegte Bilder zu erfassen. In einer weiteren Ausführungsform kann die Bilderfassungseinrichtung 120 eine intelligente Kamera oder ein intelligentes Sichtsystem mit einem dedizierten Bordprozessor, einschließlich einer Videoverarbeitungsbeschleunigung, die von einem programmierbaren Zustandsarray (FPGA), einem digitalen Signalprozessor (DSP), einem Allzweck-Grafikprozessor (GP-GPU) oder irgendeinem anderen geeigneten Mikroprozessor mit unterstützender Anwendungssoftware bereitgestellt wird, umfassen. In einer Ausführungsform kann die Bilderfassungsvorrichtung 120 mit der Anzeige 118 elektrisch gekoppelt sein, um es einem Bediener zu ermöglichen, das erfasste Bild auf der Anzeige 118 zu betrachten.
Ferner kann der Arbeitsort 101, an dem die Maschine 100 betrieben wird, ein oder mehrere Objekte 122 aufweisen. Das Objekt 122 kann durch einen Satz von Eigenschaften wie Höhe, Breite oder andere Erscheinungseigenschaften definiert sein. In einer Ausführungsform kann der Satz von Eigenschaften einem Menschen zugeordnet sein. In anderen Ausführungsformen kann der Satz von Eigenschaften anderen Objekten, wie z. B., aber nicht beschränkt auf, Tieren, einer anderen Maschine, einem Fahrzeug, einem Baum und einem Teil des Arbeitsorts 101 usw., zugeordnet sein. Ein Bediener der Maschine 100 muss möglicherweise mittels eines Alarms oder durch Anzeigen einer Warnung auf der Anzeige 118 der Maschine 100 über solche Objekte 122 am Arbeitsort 101 informiert werden.
2 veranschaulicht schematisch ein Sichtsystem 200 zur Unterstützung des Bedieners der Maschine 100. Das Sichtsystem 200 beinhaltet die Bilderfassungsvorrichtung 120, um das Bild der Umgebung der Maschine 100 zu erfassen. Das Sichtsystem 200 beinhaltet ferner eine Steuerung 202, um das Bild der Umgebung der Maschine 100 zu empfangen und anschließend das Bild zu verarbeiten, um das Objekt 122 mit dem vordefinierten Satz von Eigenschaften zu erfassen. Die Steuerung 202 kann ferner eine Bewertung ermitteln, die eine Wahrscheinlichkeit angibt, dass das erkannte Objekt 122 mit dem vordefinierten Satz von Eigenschaften übereinstimmt, wie in der Beschreibung weiter erläutert. Das Sichtsystem 200 beinhaltet auch die Anzeige 118, um dem Bediener die erkannten Objekte 122 anzuzeigen.
Die Steuerung 202 beinhaltet ein Erkennungsmodul 204, das herkömmliche Erkennungsprozesse, die im Stand der Technik bekannt sind, verwenden kann, um ein Vorhandensein des Objekts 122 im Bild zu erkennen. Wie in den exemplarischen Ausführungsformen von 3 und 4 dargestellt, kann das Erkennungsmodul 204 einen Gleitfensterprozess verwenden, um das Objekt 122 in einem Bild 302, das über die Bilderfassungsvorrichtung 120 empfangen wird, zu erkennen. Der Gleitfensterprozess beinhaltet die Verwendung eines rechteckigen Erkennungsfensters 304 einer vorbestimmten Größe, um die Suche von einer Region oben links des Bildes 302 zu beginnen und dann das Erkennungsfenster 304 horizontal und/oder vertikal zu verschieben, um alle Regionen des Bildes 302 abzudecken. Die Größe des Erkennungsfensters 304 kann auf Basis des vordefinierten Satzes von Eigenschaften gewählt werden, die dem spezifischen Typ des Objekts 122 entsprechen, das erfasst werden muss. Wenn der vordefinierte Satz von Eigenschaften des Objekts 122 zum Beispiel einem Menschen zugeordnet ist, kann die Größe des Erkennungsfensters 304 auf Basis einer typischen Größe des Menschen gewählt werden.
Das Erkennungsmodul 204 kann ferner so konfiguriert sein, dass es eine Bewertung ermittelt, die eine Wahrscheinlichkeit angibt, dass das Objekt 122, das in dem Bild 302 erkannt wird, mit dem vordefinierten Satz von Merkmalen übereinstimmt. Das Erkennungsmodul 204 kann die Bewertung verwenden, um die Erkennungsfenster 304 als relevant oder irrelevant zu klassifizieren, abhängig davon, ob ein Erkennungsfenster 304, das das Objekt 122 beinhaltet, mit dem vordefinierten Satz von Eigenschaften übereinstimmt oder nicht. 3 zeigt ein relevantes Erkennungsfenster 306, in dem das Objekt 122 erkannt wurde.
Bezugnehmend auf 2 und 4 beinhaltet die Steuerung 202 ein Begrenzungsrahmen-Ermittlungsmodul 206, das so konfiguriert ist, dass es einen Begrenzungsrahmen 402 ermittelt, der das Objekt 122 definiert, das in dem Erkennungsfenster 306 erkannt wird. Anschließend ermittelt das Begrenzungsrahmen-Ermittlungsmodul 206 ein maximales vertikales Pixel 404 und minimales vertikales Pixel 406 auf Basis des Begrenzungsrahmens 402. In diesem Beispiel hat das Bild 302 eine Pixelauflösung von 30 x 30, was insgesamt 900 Pixel ergibt.
Bezugnehmend auf 2 beinhaltet die Steuerung 202 ferner ein Bereich-Ermittlungsmodul 208 und ein Höhen-Ermittlungsmodul 210, um jeweils einen Bereich und eine Höhe des Objekts 122 zu ermitteln, das in dem Bild 302 erkannt wurde. Zur Ermittlung der Höhe und des Bereichs empfangen das Bereich-Ermittlungsmodul 208 und das Höhen-Ermittlungsmodul 210 ein oder mehrere interne Parameter, die einer intrinsischen Kalibrierung der Bilderfassungsvorrichtung 120 zugeordnet sind, und ein oder mehrere externe Parameter, die der extrinsischen Kalibrierung der Bilderfassungsvorrichtung 120 zugeordnet sind.
Die intrinsische Kalibrierung beinhaltet eine Kalibrierung der Bilderfassungsvorrichtung 120, um die ein oder mehreren internen Parameter zu berechnen, wie z. B. eine Brennweite, ein optisches Zentrum, einen Pixel-Azimuthwinkel und einen Pixel-Elevationswinkel usw. Der extrinsische Kalibrierungsprozess beinhaltet die Kalibrierung der Bilderfassungsvorrichtung 120, um die ein oder mehreren externen Parameter zu berechnen, wie z. B. ein Rollen, ein Nicken, ein Gieren, einen Depressionswinkel in Bezug auf eine Bodenebene, eine horizontale Position und eine vertikale Position der Bilderfassungsvorrichtung 120 usw. Die Kalibrierung kann mithilfe eines Schachbrettmusters bekannter linearer Abmessungen und Winkelabmessungen durchgeführt werden, die in einem Sichtfeld der Bilderfassungsvorrichtung 120 platziert sind. Die Bilderfassungsvorrichtung 120 kann auch eine Kalibrierungssoftware beinhalten, um die Bilder zu verarbeiten, die während der Kalibrierung erfasst werden. Alternativ kann eine externe Kalibrierungssoftware verwendet werden, um die während der Kalibrierung erfassten Bilder zu verarbeiten.
Das Bereich-Ermittlungsmodul 208 kann annehmen, dass das Objekt 122 auf dem Boden steht, und kann demgemäß den Bereich des Objekts 122 mithilfe des minimalen vertikalen Pixels 406, der ein oder mehreren internen Parameter und der ein oder mehreren externen Parameter ermitteln. Das Höhen-Ermittlungsmodul 210 ist ferner so konfiguriert, dass es die Höhe des Objekts 122, das in dem Bild 302 erkannt wird, ermittelt. Das Höhen-Ermittlungsmodul 210 ermittelt die Höhe des Objekts 122 auf Basis des Bereichs, des maximalen vertikalen Pixels 404, des minimalen vertikalen Pixels 406, der ein oder mehreren internen Parameter und der ein oder mehreren externen Parameter. In verschiedenen Ausführungsformen ermittelt die Steuerung 202 die Höhe und den Bereich des Objekts 122 mithilfe verschiedener Objekterkennungsprozesse und vergleicht die Erkenntnisse, um falsch erkannte Objekte zu identifizieren. Dies trägt dazu bei, falsche Alarme der Objekterkennung zu verringern. Die erkannten Objekte 122 werden dem Bediener präsentiert, der die Umgebung der Maschine 100 überwacht.
Bezugnehmend auf 2 beinhaltet die Steuerung 202 ein 3D-Ansichtserzeugungsmodul 212, um eine dreidimensionale (3D) Ansicht der Umgebung der Maschine 100 zu erzeugen. Das 3D-Ansichtserzeugungsmodul 212 ist so konfiguriert, dass es die 3D-Ansicht durch Transformieren des Bildes 302 erzeugt, um einen anderen Blickwinkel widerzuspiegeln. Durchschnittsfachleute auf dem Gebiet werden erkennen, dass es zahlreiche bekannte Techniken für die Durchführung solcher Transformationen gibt. In einer Ausführungsform projiziert das 3D-Ansichtserzeugungsmodul 212 das Bild 302 auf eine horizontale Ebene und eine vertikale Ebene. Verschiedene bekannte Projektionstechniken wie zylindrische Projektion, multiplanare Projektion usw. können verwendet werden, um die 3D-Ansicht zu erzeugen.
Die 3D-Ansicht ermöglicht größere Sichtbarkeit für den Bediener, der die Umgebung der Maschine 100 überwacht. Insbesondere werden die Objekte 122, die in der Umgebung der Maschine 100 erkannt wurden, in der 3D-Ansicht dargestellt, um ein besseres Verständnis des Orts und der relativen Positionierung in Bezug auf andere Objekte zu ermöglichen. Die 3D-Ansicht trägt außerdem dazu bei, dass der Bediener die Tiefe der Objekte 122 wahrnimmt. Während der Transformation des Bildes 302 zur Erzeugung der 3D-Ansicht werden die Inhalte des Bildes 302 häufig verzerrt. Ein oder mehrere vertikale Objekte können zum Beispiel verzerrt aussehen und/oder ein langer Schatten der Objekte 122 kann in der 3D-Ansicht sichtbar sein. Ein oder mehrere Verzerrungskorrekturtechniken, die im Stand der Technik bekannt sind, können angewendet werden, um die Verzerrungsartefakte, die durch die Projektion verursacht werden, zu korrigieren. Ferner kann der Schatten des Objekts 122 durch einen dunklen Schatten ersetzt werden, sodass er wie ein tatsächlicher Schatten des Objekts 122 aussieht.
Um die Darstellung der Objekte 122 in der 3D-Ansicht weiter zu verbessern, werden die Pixel des Objekts 122 aus dem Bild 302 extrahiert und wieder in die 3D-Ansicht, die durch das 3D-Ansichterzeugungsmodul 212 erzeugt wird, eingefügt. Bezugnehmend auf 2 beinhaltet die Steuerung 202 ein Pixelmanipulationsmodul 214, um ein oder mehrere Pixel des Objekts 122 aus dem Begrenzungsrahmen 402 zu extrahieren. In einer Ausführungsform extrahiert das Pixelmanipulationsmodul 214 nur die Pixel, die dem Objekt 122 entsprechen, und entfernt die Hintergrundpixel aus dem Begrenzungsrahmen 402.
5 veranschaulicht ein Bild 500 der Umgebung der Maschine 100 gemäß einer exemplarischen Ausführungsform der vorliegenden Offenbarung. Das Bild 500 ist ein zweidimensionales Bild, das von der Bilderfassungsvorrichtung 120 erfasst wurde. Das Bild 500 beinhaltet Objekte 122, wie z. B. Menschen 502, ein Baum 504 und Autos 506, die in der Umgebung der Maschine 100 vorhanden sind. 6 veranschaulicht die Objekte 122, die aus dem Bild 500 extrahiert wurden, gemäß einer exemplarischen Ausführungsform der vorliegenden Offenbarung. Das Pixelmanipulationsmodul 214 extrahiert die Pixel, die jedem der erkannten Objekte 122 entsprechen, aus dem Bild 500. Die extrahierten Pixel werden verwendet, um das Erscheinungsbild der Objekte in der 3D-Ansicht zu verbessern.
Insbesondere ist das 3D-Ansichtserzeugungsmodul 212 so konfiguriert, dass es die extrahierten Pixel der Objekte 122 erneut in die 3D-Ansicht einfügt. Die extrahierten Pixel werden in der 3D-Ansicht wieder als vertikales Einblendelement in Bezug auf die Bodenebene eingefügt. 7 veranschaulicht eine Vorderansicht 700, die aus der 3D-Ansicht der Umgebung der Maschine 100 erzeugt wurde, gemäß einer exemplarischen Ausführungsform der vorliegenden Offenbarung. Die Vorderansicht 700 beinhaltet verbesserte Objekte 708, wie z. B. Personen 702, den Baum 704 und die Autos 706, die als vertikale Einblendelemente in Bezug auf die Bodenebene dargestellt sind. Insbesondere werden die Pixel, die den verbesserten Objekten 708 entsprechen, aus dem Bild 500 extrahiert und als vertikale Einblendelemente wieder an ihren jeweiligen Orten in der Vorderansicht 700 eingefügt. Die vertikale Einblenddarstellung der verbesserten Objekte 708 verbessert die 3D-Ansicht erheblich und ermöglicht eine bessere Überwachung der Umgebung der Maschine 100 durch den Bediener.
Bezugnehmend auf 2 ist die Steuerung 202 mit der Anzeige 118 kommunikativ gekoppelt, um es dem Bediener zu ermöglichen, die 3D-Ansicht zu visualisieren. Durch das Einfügen des vertikalen Einblendelements wäre der Bediener in der Lage, die Größe des verbesserten Objekts 708 effektiv zu verstehen und seine Tiefe in der 3D-Ansicht wahrzunehmen. Die 3D-Ansicht kann vom Bediener gedreht werden und aus verschiedenen Blickpunkten wie Überkopfansicht, Vorderansicht, Seitenansicht usw. betrachtet werden. 8 veranschaulicht eine weitere Vorderansicht 800, die aus der 3D-Ansicht der Umgebung der Maschine 100 erzeugt wurde, gemäß einer exemplarischen Ausführungsform der vorliegenden Offenbarung.
Um den Bediener zu unterstützen, kann die Steuerung 202 so konfiguriert sein, dass sie die 3D-Ansicht durch Anzeigen der Höhe und der Bereichsinformationen der verbesserten Objekte 708 in der 3D-Ansicht weiter verbessert. 9 veranschaulicht eine Überkopfansicht 900, die aus der 3D-Ansicht der Umgebung der Maschine 100 erzeugt wurde, gemäß einer exemplarischen Ausführungsform der vorliegenden Offenbarung. In diesem Beispiel sind alle verbesserten Objekte 708 mit ihrer Höhe und ihren Bereichsinformationen in der Nähe der Oberseite bzw. des Bodens der Objekte überlagert dargestellt. Dies ermöglicht es dem Bediener, die Größe und den Ort der verbesserten Gegenstände 708 und ihre relative Positionierung in Bezug auf andere verbesserte Objekte 708 zu verstehen.
10 veranschaulicht eine Seitenansicht 1000, die aus der 3D-Ansicht der Umgebung der Maschine 100 erzeugt wurde, gemäß einer exemplarischen Ausführungsform der vorliegenden Offenbarung. Die Seitenansicht 1000 ermöglicht es dem Bediener, die Tiefe der verbesserten Gegenstände 708 wahrzunehmen.
Die 3D-Ansicht kann auch für den Telebetrieb der Maschine 100 verwendet werden, da sie eine Fernsteuerung der Maschine 100 in der Sichtlinie und Nicht-Sichtlinie ermöglicht. In einer Ausführungsform ist die Anzeige 118 mit Bedienoberflächensteuerungen (nicht dargestellt) bereitgestellt, um es dem Bediener zu ermöglichen, die 3D-Ansicht zu drehen und eine Visualisierung aus verschiedenen Blickpunkten zu ermöglichen. In verschiedenen anderen Ausführungsformen kann die Anzeige 118 mit einem entfernten System kommunikativ gekoppelt sein, das so konfiguriert ist, dass es die Umgebung der Maschine 100 aus der Ferne überwacht.
In verschiedenen Ausführungsformen kann die 3D-Ansicht verwendet werden, um den Bediener über die Umgebung der Maschine 100 zu informieren. Die Steuerung 202 kann so konfiguriert sein, dass sie den Bediener der Maschine 100 durch Senden einer Warnung, wenn ein oder mehrere verbesserte Objekte 708 sich in der Nähe der Maschine 100 befinden, warnt. Die Warnung kann eine akustische Warnung oder eine visuelle Warnung auf der Anzeige 118 beinhalten. In einem Beispiel, wenn die Steuerung 202 das verbesserte Objekt 708 in einem Abstand kleiner als ein vorbestimmter Schwellenabstand erkennt, kann die akustische Warnung dem Bediener ankündigen, dass das verbesserte Objekt 708, das im Bild 302 erkannt wird, sich in der Nähe der Maschine 100 befindet, und den Bediener bitten, die nötigen Maßnahmen zu ergreifen. In einer Ausführungsform kann die Steuerung 202 den Bediener durch Hervorheben des verbesserten Objekts 708 auf der Anzeige 118 warnen, wenn sich das verbesserte Objekt 708 in der Nähe der Maschine 100 befindet. In einer anderen Ausführungsform kann die Steuerung 202 den Bediener durch Blinken des verbesserten Objekts 708 auf der Anzeige 118 warnen. Die visuelle Warnung kann die Informationen über das Vorhandensein des verbesserten Objekts 708 neben dem Abstand des verbesserten Objekts 708 von der Maschine 100 zeigen.
Die Steuerung 202 kann ein einzelner Mikroprozessor oder mehrere Mikroprozessoren sein, die Komponenten zum Durchführen von Funktionen beinhalten, die mit der vorliegenden Offenbarung konsistent sind. Zahlreiche kommerziell verfügbare Mikroprozessoren können zum Durchführen der Funktionen der hierin offenbarten Steuerung 202 konfiguriert sein. Es sollte offensichtlich sein, dass die Steuerung 202 problemlos in einem Allzweck-Mikroprozessor enthalten sein kann, der in der Lage ist, zahlreiche Funktionen zu steuern, die jeder der Vorrichtungen zugeordnet sind, die in der Maschine 100 vorhanden sind. Die Steuerung 202 kann außerdem einen Speicher, eine sekundäre Speichervorrichtung und jedwede andere Komponenten zur Ausführung einer Anwendung beinhalten. Verschiedene Schaltungen können der Steuerung 202 zugeordnet sein, wie z. B. eine Stromversorgungsschaltung, eine Magnetspulentreiberschaltung, eine Signalkonditionierungsschaltung, z. B. für eine Analog-Digital-Wandlerschaltung und andere Arten von Schaltungen. Verschiedene Routinen, Algorithmen und/oder Programme können innerhalb der Steuerung 202 für die Ausführung davon programmiert werden. Darüber hinaus sei darauf hingewiesen, dass die hierin offenbarte Steuerung 202 eine eigenständige Steuerung 202 oder so konfiguriert sein kann, dass sie mit bestehenden Prozessoren, zum Beispiel einem elektronischen Steuermodul (ECM) (nicht dargestellt), das in der Maschine 100 bereitgestellt ist, zusammenwirkt, um Funktionen auszuführen, die mit der vorliegenden Offenbarung konsistent sind.
Gewerbliche Anwendbarkeit
Die vorliegende Offenbarung stellt ein Verfahren 1100 bereit, um den Bediener der Maschine 100 auf Basis des Bildes der Umgebung der Maschine 100, das von der Bilderfassungsvorrichtung 120 erfasst wird, wie in 11 dargestellt, zu unterstützen. Insbesondere erzeugt das Verfahren 1100 eine 3D-Ansicht der Umgebung der Maschine 100, wobei die Objekte 122 durch verbesserte Objekte 708 dargestellt werden. Die 3D-Ansicht ermöglicht es dem Bediener, die Umgebung der Maschine 100 aus verschiedenen Blickpunkten wie von oben, von vorne, von der Seite usw. zu visualisieren. Die 3D-Ansicht hilft dem Bediener beim Verständnis der Größe und des Orts der verbesserten Gegenstände 708 und ihrer relativen Positionierung in Bezug auf andere verbesserte Objekte 708.
Die Bilderfassungsvorrichtung 120 erfasst das Bild 302 der Umgebung der Maschine 100. Die Bilderfassungsvorrichtung 120 kann eine Kamera sein. In Block 1102 empfängt die Steuerung 202 das Bild 302 der Umgebung der Maschine 100. In Block 1104 wendet die Steuerung 202 den Objekterfassungsprozess an, um das Objekt 122 in dem Bild 302 zu erkennen, das von der Bilderfassungsvorrichtung 120 erfasst wird. In einer Ausführungsform ist der Objekterkennungsprozess ein Gleitfenstererkennungsprozess. Die Bilderfassungsvorrichtung 120 wird mithilfe der Prozesse kalibriert, die im Stand der Technik bekannt ist, und die Kalibrierungsparameter werden ermittelt. In Block 1106 ermittelt die Steuerung 202 den Begrenzungsrahmen 402, der ein oder mehrere Pixel umfasst, die dem Objekt 122 zugeordnet sind. In Block 1108 ermittelt die Steuerung 202 die Höhe und den Bereich, die dem Objekt 122 zugeordnet sind, auf Basis des Begrenzungsrahmens 1102 und der Kalibrierungsparameter der Bilderfassungsvorrichtung 120.
In Block 1110 extrahiert die Steuerung 202 die ein oder mehreren Pixel, die dem Objekt 122 zugeordnet sind, aus dem Bild 302. In Block 1112 erzeugt die Steuerung 202 die 3D-Ansicht auf Basis des Bildes 302. In Block 1114 fügt die Steuerung 202 die ein oder mehreren Pixel als vertikale Einblendelemente in Bezug auf die Bodenebene an einem Ort des Objekts 122 in der 3D-Ansicht wieder ein. Die Steuerung 202 ist mit der Anzeige 118 kommunikativ gekoppelt, um es dem Bediener zu ermöglichen, die 3D-Ansicht zu visualisieren, die die verbesserten Objekte 708 umfasst. Die 3D-Ansicht kann vom Bediener gedreht und aus verschiedenen Blickpunkten betrachtet werden. Durch die Darstellung des vertikalen Einblendelements wäre der Bediener in der Lage, die Größe des verbesserten Objekts 708 effektiv zu verstehen und seine Tiefe in der 3D-Ansicht wahrzunehmen.
12 bildet ein Allzweck-Computersystem ab, das ein oder mehrere computerzugängliche Medien beinhaltet oder so konfiguriert ist, dass es auf diese zugreift. In dem veranschaulichten Aspekt kann ein Computergerät 1200 ein oder mehrere Prozessoren 1202 a, 1202 b und/oder 1202 n (die hierin einzeln als der Prozessor 1202 oder in der Mehrzahl als die Prozessoren 1202 bezeichnet werden) beinhalten, die über eine Eingabe/Ausgabe-(E/A)-Schnittstelle 1206 mit einem Systemspeicher 1204 gekoppelt sind. Das Computergerät 1200 kann ferner eine Netzwerkschnittstelle 1208 beinhalten, die mit der E/A-Schnittstelle 1206 gekoppelt ist.
In verschiedenen Aspekten kann das Computergerät 1200 ein Einprozessorsystem sein, das einen Prozessor 1202 beinhaltet, oder ein Mehrprozessorsystem, dass mehrere Prozessoren 1202 (z. B. zwei, vier, acht oder eine andere geeignete Anzahl) beinhaltet. Die Prozessoren 1202 können jedwede geeignete Prozessoren sein, die in der Lage sind, Anweisungen auszuführen. In verschiedenen Aspekten können der/die Prozessor(en) 1202 zum Beispiel Allzweck- oder eingebettete Prozessoren sein, der/die beliebige einer Vielzahl von Anweisungssatzarchitekturen (ISAs) implementieren, wie die x86, PowerPC, SPARC oder MIPS ISAs oder jedweden anderen geeigneten ISAs. Bei Mehrprozessorsystemen kann jeder der Prozessoren 1202 gemeinsam, aber nicht notwendigerweise, dieselbe ISA implementieren.
In einigen Aspekten kann ein Grafikprozessor („GPU“) 1210 an der Bereitstellung der Grafikwiedergabe- und/oder Physikverarbeitungseigenschaften beteiligt sein. Ein GPU kann zum Beispiel eine hoch parallelisierte Prozessorarchitektur beinhalten, die auf grafische Berechnungen spezialisiert ist. In einigen Aspekten können die Prozessoren 1202 und der GPU 1210 als ein oder mehrere derselben Art von Vorrichtung implementiert sein.
Der Systemspeicher 1204 kann so konfiguriert sein, dass er Anweisungen und Daten speichert, die durch den/die Prozessor(en) 1202 zugänglich sind. In verschiedenen Aspekten kann der Systemspeicher 1204 mithilfe jedweder geeigneten Speichertechnologie implementiert sein, wie z. B. statischer Direktzugriffsspeicher („SRAM“), synchroner dynamischer RAM („SDRAM“), nicht flüchtiger/Flash®-Speicher oder jedwede andere Art von Speicher. In dem veranschaulichten Aspekt sind Programmanweisungen und Daten, die ein oder mehrere gewünschte Funktionen implementieren, wie die oben beschriebenen Verfahren, Techniken und Daten, als Code 1212 und Daten 1214 in dem Systemspeicher 1204 gespeichert dargestellt.
In einem Aspekt kann die E/A-Schnittstelle 406 so konfiguriert sein, dass sie den E/A-Verkehr zwischen dem/den Prozessor(en) 1202, dem Systemspeicher 1204 und jedweden Peripheriegeräten der Vorrichtung, einschließlich einer Netzwerkschnittstelle 1208 oder anderen Peripherieschnittstellen, koordiniert. In einigen Aspekten kann die E/A-Schnittstelle 1206 jedwede(s) nötige Protokoll, Zeitsteuerung oder andere Datentransformationen durchführen, um Datensignale von einer Komponente (z. B. dem Systemspeicher 1204) in ein Format umzuwandeln, das für eine Verwendung durch eine andere Komponente (z. B. den Prozessor 1202) geeignet ist. In einigen Aspekten kann die E/A-Schnittstelle 1206 eine Unterstützung für Vorrichtungen beinhalten, die durch verschiedene Arten von Peripheriebussen, wie z. B. eine Variante des Peripheral Component Interconnect (PCI)-Bus-Standards oder des Universal Serial Bus (USB)-Standards, angebracht sind. In einigen Aspekten kann die Funktion der E/A-Schnittstelle 1206 in zwei oder mehrere separate Komponenten aufgeteilt sein, wie z. B. eine Nordbrücke und eine Südbrücke. Außerdem kann in einigen Aspekten die Funktionalität der E/A-Schnittstelle 1206, wie eine Schnittstelle zum Systemspeicher 1204, direkt in den Prozessor 1202 einbezogen sein.
Die Netzwerkschnittstelle 1208 kann so konfiguriert sein, dass sie den Austausch von Daten zwischen dem Computergerät 1200 und (einer) anderen Vorrichtung(en) 1216 ermöglicht, die an einem Netzwerk oder Netzwerken 1218 angebracht sind, wie z. B. andere Computersysteme oder -vorrichtungen. In verschiedenen Aspekten kann die Netzwerkschnittstelle 1208 die Kommunikation über geeignete drahtgebundene oder drahtlose allgemeine Datennetzwerke, wie z. B. Arten von Ethernet-Netzwerken, unterstützen. Zusätzlich kann die Netzwerkschnittstelle 1208 die Kommunikation über Telekommunikations-/Telefonie-Netzwerke, wie analoge Sprachnetzwerke oder digitale Glasfaserkommunikationsnetzwerke, über Speichernetzwerke, wie Glasfaserkanal-SANs (Storage Area Networks) oder über jedwede andere geeignete Art von Netzwerk und/oder Protokoll unterstützen.
In einigen Aspekten kann der Systemspeicher 1204 ein Aspekt eines computerzugänglichen Mediums sein, das zur Speicherung von Programmanweisungen und Daten wie oben beschrieben zur Implementierung von Aspekten der entsprechenden Verfahren und Vorrichtungen konfiguriert ist. In anderen Aspekten können jedoch Programmanweisungen und/oder Daten auf verschiedenen Arten von computerzugänglichen Medien empfangen, gesendet oder gespeichert werden. Allgemein gesagt, kann ein computerzugänglichen Medium nicht transitorische Massenspeichermedien oder Arbeitsspeichermedien, wie magnetische oder optische Medien, z. B. Datenträger oder DVD/CD, die mit dem Computergerät 1200 über die E/A-Schnittstelle 1206 gekoppelt sind, beinhalten. Ein nicht transitorisches, computerzugängliches Speichermedium kann auch beliebige flüchtige oder nicht flüchtige Medien, wie RAM (z.B. SDRAM, DDR SDRAM, RDRAM, SRAM usw.), ROM usw. beinhalten, die in einigen Aspekten des Computergeräts 1200 als Systemspeicher 1204 oder eine andere Art von Speicher beinhaltet sein können. Ferner kann ein computerzugängliches Medium ein Übertragungsmedium oder Signale, wie elektrische, elektromagnetische oder digitale Signale, beinhalten, die über ein Kommunikationsmedium, wie ein Netzwerk oder und/oder eine drahtlose Verbindung, wie eine solche, die über die Netzwerkschnittstelle 1208 implementiert wird, beinhalten. Teile oder alle der mehreren Computergeräte, wie die in 12 veranschaulichten, können verwendet werden, um die beschriebene Funktionalität in verschiedenen Aspekten zu implementieren; zum Beispiel Softwarekomponenten, die auf einer Vielzahl von verschiedenen Vorrichtungen und Servern ausgeführt werden, können zusammenwirken, um die Funktionalität bereitzustellen. In einigen Aspekten können Teile der beschriebenen Funktionalität neben oder anstatt mit Allzweck-Computersystemen implementiert zu werden, auch mithilfe von Speichervorrichtungen, Netzwerkvorrichtungen oder Spezialcomputersystemen implementiert werden. Der Begriff „Computergerät“, wie hierin verwendet, bezieht sich auf zumindest alle diese Arten von Vorrichtungen und ist nicht auf diese Arten von Vorrichtungen beschränkt.
Während Aspekte der vorliegenden Offenbarung insbesondere unter Bezugnahme auf die vorstehenden Ausführungsformen gezeigt und beschrieben wurden, ist es für Fachleute auf dem Gebiet offensichtlich, dass durch die Modifikation der offenbarten Maschinen, Systeme und Verfahren verschiedene zusätzliche Ausführungsformen erwogen werden können, ohne vom Sinn und Umfang des Offenbarten abzuweichen. Diese Ausführungsformen sollen als in den Umfang der vorliegenden Offenbarung fallend verstanden werden, wie sie basierend auf den Ansprüchen und jeglichen Entsprechungen davon bestimmt wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 8233045 [0004]

Claims

Sichtsystem (200) zur Unterstützung eines Bedieners einer Maschine (100), das Sichtsystem (200) umfassend: eine Bilderfassungsvorrichtung (120), die an der Maschine (100) montiert ist, wobei die Bilderfassungsvorrichtung (120) so konfiguriert ist, dass sie ein Bild (302) einer Umgebung der Maschine (100) erfasst; eine Steuerung (202), die mit der Bilderfassungsvorrichtung (120) operativ gekoppelt ist, wobei die Steuerung (202) so konfiguriert ist, dass sie: einen Objekterkennungsprozess zum Erkennen eines Objekts (122) in dem Bild (302) anwendet; einen Begrenzungsrahmen (402), der ein oder mehrere Pixel umfasst, die dem Objekt (122) zugeordnet sind, ermittelt; eine Höhe und einen Bereich, die dem Objekt (122) zugeordnet sind, auf Basis des Begrenzungsrahmens (402) ermittelt; ein oder mehrere Pixel innerhalb des Begrenzungsrahmens (402) extrahiert; eine dreidimensionale (3D) Ansicht (500, 600), die das Objekt (122) umfasst, auf Basis des Bildes, das von der Bilderfassungsvorrichtung (120) erfasst wurde, erzeugt; und die ein oder mehreren Pixel als vertikales Einblendelement in Bezug auf eine Bodenebene wieder an einem Ort des Objekts (122) in der 3D-Ansicht (500, 600) einfügt; und eine Anzeige (118), die mit der Steuerung (202) kommunikativ gekoppelt ist, wobei die Anzeige (118) so konfiguriert ist, dass sie die 3D-Ansicht (500, 600), die das Objekt (122) umfasst, dem Bediener der Maschine (100) anzeigt.
Sichtsystem (200) nach Anspruch 1, wobei die Steuerung (202) so konfiguriert ist, dass sie einen Gleitfenstererkennungsprozess anwendet, um das Objekt (122) in dem Bild (302) zu erkennen.
Sichtsystem (200) nach Anspruch 1, wobei die Steuerung (202) so konfiguriert ist, dass sie die Höhe und den Bereich, die dem Objekt (122) zugeordnet sind, auf Basis des Begrenzungsrahmens (402) und der Kalibrierungsparameter der Bilderfassungsvorrichtung (120) ermittelt.
Sichtsystem (200) nach Anspruch 1, wobei die Steuerung (202) so konfiguriert ist, dass sie die 3D-Ansicht (500, 600) durch Projizieren des Bildes (302) auf eine horizontale Ebene und/oder eine vertikale Ebene erzeugt.
Sichtsystem (200) nach Anspruch 1, wobei die Steuerung (202) so konfiguriert ist, dass sie die Höhe und den Bereich, die dem Objekt (122) zugeordnet sind, in der 3D-Ansicht (500, 600) anzeigt (118).
Sichtsystem (200) nach Anspruch 1, wobei die Steuerung (202) ferner so konfiguriert ist, dass sie den Bediener warnt, falls sich das Objekt (122) in einem Abstand kleiner als ein Schwellenabstand von der Maschine (100) befindet.
Sichtsystem (200) nach Anspruch 6, wobei die Steuerung (202) so konfiguriert ist, dass sie den Bediener durch Hervorheben des Objekts (122), das auf der Anzeige (118) angezeigt wird, warnt.
Sichtsystem (200) nach Anspruch 1, wobei die Anzeige (118) mit Benutzerschnittstellen-Bedienelementen bereitgestellt ist, um es dem Bediener zu ermöglichen, die 3D-Ansicht (500, 600) zu drehen und die Visualisierung aus verschiedenen Blickpunkten zu ermöglichen.
Sichtsystem (200) nach Anspruch 1, wobei die Anzeige (118) mit einem entfernten System kommunikativ gekoppelt ist, das eine Fernüberwachung der Umgebung der Maschine (100) ermöglicht.
Verfahren (1100) zum Unterstützen eines Bedieners einer Maschine (100) auf Basis eines Bildes (302) einer Umgebung der Maschine (100), die von einer Bilderfassungsvorrichtung (120) erfasst wird, die an der Maschine (100) montiert ist, das Verfahren umfassend: Empfangen, durch eine Steuerung (202), des Bildes (302) der Umgebung der Maschine (100), Anwenden, durch die Steuerung (202), eines Objekterkennungsprozesses zum Erkennen eines Objekts (122) in dem Bild (302); Ermitteln, durch die Steuerung (202), eines Begrenzungsrahmens (402), der ein oder mehrere Pixel umfasst, die dem Objekt (122) zugeordnet sind; Ermitteln, durch die Steuerung (202), einer Höhe und eines Bereichs, die dem Objekt (122) zugeordnet sind, auf Basis des Begrenzungsrahmens (402); Extrahieren, durch die Steuerung (202), der ein oder mehreren Pixel, die dem Objekt (122) zugeordnet sind, aus dem Bild (302); Erzeugen, durch die Steuerung (202), einer dreidimensionalen (3D) Ansicht (500, 600), die das Objekt (122) umfasst, auf Basis des Bildes (302), das von der Bilderfassungsvorrichtung (120) erfasst wurde; und Wiedereinfügen, durch die Steuerung (202), der ein oder mehreren Pixel als vertikales Einblendelement in Bezug auf eine Bodenebene an einem Ort des Objekts (122) in der 3D-Ansicht (500, 600).