DE112012004354T5

DE112012004354T5 - Vorrichtung zum Überwachen der Umgebung von Maschinerie

Info

Publication number: DE112012004354T5
Application number: DE112012004354.5T
Authority: DE
Inventors: Hidefumi Ishimoto
Original assignee: Hitachi Construction Machinery Co Ltd
Current assignee: Hitachi Construction Machinery Co Ltd
Priority date: 2011-10-18
Filing date: 2012-10-01
Publication date: 2014-07-10
Also published as: US20150009329A1; WO2013058093A1; JPWO2013058093A1; CN103890282A

Abstract

Eine Umgebungsüberwachungsvorrichtung (200), die an einer Maschinerie vorgesehen ist, die ihre Fahrzeugaufbauhöhe ändert. Die Umgebungsüberwachungsvorrichtung enthält mehrere Kameras (30), die die Umgebung davon abbilden, eine Einheit zum Umsetzen der durch die Kameras (30) aufgenommenen Ausgangsbilder (31) in Bilder (35) der oberen Kameraansicht, eine Einheit zum Kombinieren der Bilder (35) der oberen Kameraansicht, um ein Bild (300) aus der Vogelperspektive zu erzeugen, eine Einheit zum Anzeigen des Bildes (300) aus der Vogelperspektive und eine Einheit zum Detektieren der Lagen der Kameras. Die Einheit zum Erzeugen eines Bildes aus der Vogelperspektive stellt das Anzeigegebiet (e) für jedes Bild (35) der oberen Kameraansicht auf der Grundlage der detektierten Höhe der betreffenden Kamera ein und kombiniert die Bilder der oberen Kameraansicht. Somit ist es möglich, immer ein genaues Bild (300) aus der Vogelperspektive zu erzeugen und anzuzeigen, selbst wenn sich die Höhe des Fahrzeugaufbaus erheblich ändert.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung bezieht sich auf eine Vorrichtung zum Erzeugen eines Bildes aus der Vogelperspektive um Maschinerie wie etwa einen Bagger, einen Löffelbagger, einen Kipper durch mehrere an der Maschinerie befestigte Kameras, um die Umgebung der Maschinerie zu überwachen.
STAND DER TECHNIK
Ein Bagger oder ein Löffelbagger, der eine Art Baumaschine oder -maschinerie ist, weist allgemein auf einer vorderen linken Seite eines oberen Schwenkteils einen Fahrersitz auf. Somit ist die Bestätigung der Sicht (Sichterkennung) in der Richtung nach rechts und in der Richtung nach hinten von dem oberen Schwenkteil aus nicht leicht. Um dieses Problem zu behandeln, lehrt z. B. das Patentdokument 1 die Verwendung von Kameras, die an der rechten Seitenfläche bzw. am hinteren Abschnitt des oberen Schwenkteils eingebaut sind. Diese Kameras erfassen Bilder in der Richtung nach rechts und in der Richtung nach hinten von dem oberen Schwenkteil, wobei die erfassten Bilder auf einem Monitor bei dem Fahrersitz angezeigt werden, um die Sichterkennung in der Richtung nach rechts und in der Richtung nach hinten sicherzustellen.
Außerdem lehrt das Patentdokument 1 eine Vorrichtung zum Überwachen der Umgebung, die mehrere an einem Fahrzeugaufbau oder -rahmen vorgesehene Kameras zum Erfassen von Bildern um das Fahrzeug verwendet. Die erfassten Bilder erfahren einen Prozess der Umsetzung auf die obere Kameraansicht und werden synthetisiert und das synthetisierte Bild wird daraufhin mit einem Bild der Umgebung kombiniert, wobei das Bild, das die Maschinerie repräsentiert, in der Mitte ist. Die Kameraansicht dieses zusammengesetzten Bildes wird daraufhin in eine von oberhalb des Fahrzeugaufbaus oder -rahmens umgesetzt, so dass ein Bild aus der Vogelperspektive erhalten wird. Das Bild aus der Vogelperspektive wird auf dem Monitor bei dem Fahrersitz angezeigt, wobei ein Fahrer die Entfernung zwischen dem Fahrzeugaufbau (-rahmen) und Materialien in seiner Umgebung wie etwa Hindernissen mit seinen Sinnen erkennen kann.
LISTE VON LITERATURHINWEISEN DES STANDES DER TECHNIK PATENTDOKUMENTE

Patentdokument 1: Japanische Patentanmeldungsveröffentlichung (Kokai) Nr. 2008-95307

ZUSAMMENFASSUNG DER ERFINDUNG
ZU LÖSENDES PROBLEM/ZU LÖSENDE PROBLEME
Die Maschinerie wie etwa ein Bagger oder Schaufelbagger kann ihre Höhe in Abhängigkeit von den Arbeitsumgebungen und einem geänderten Aufhängungssystem (Basisabschnitt) erheblich ändern. Allgemein erhöht sich die Höhe des Fahrzeugaufbaus um mehrere cm (Zentimeter) oder um mehr als zehn cm, wenn die Maschinerie z. B. mit Abstützungen zur Stabilisierung des Fahrzeugaufbaus oder -rahmens versehen ist und die Abstützungen betätigt werden. Wenn ein Aufhängungssystem oder Basisabschnitt des Löffelbaggers geändert wird oder wenn eine Reifengröße geändert wird, tritt dasselbe ein, d. h. ändert sich die Höhe in gewissem Ausmaß. Im Fall eines anderen Maschinerietyps wie etwa eines Kippers kann sich die Fahrzeugaufbauhöhe mit einem Gewicht der Ladung erheblich ändern.
Falls die in dem Patentdokument 1 offenbarte Vorrichtung zur Überwachung der Umgebung auf die Maschinerie angewendet wird, deren Höhe des Fahrzeugaufbaus (-rahmens) sich häufig stark ändert, ändern sich die Lagen (Höhen) der Kameras zum Photographieren der Umgebungsbilder des Fahrzeugaufbaus ebenfalls und kann somit kein geeignetes Bild aus der Vogelperspektive angezeigt werden.
Die vorliegende Erfindung wird vorgeschlagen, um diese Probleme zu überwinden, und eine Aufgabe der vorliegenden Erfindung ist die Schaffung einer neuen Vorrichtung zum Überwachen der Umgebung einer Maschinerie, die ein geeignetes Bild aus der Vogelperspektive selbst dann immer vorbereiten und anzeigen kann, wenn sich die Höhe des Fahrzeugaufbaus (-rahmens) erheblich ändert.
LÖSUNG ZUR ÜBERWINDUNG DER PROBLEME
Zur Behandlung der oben beschriebenen Probleme wird in Übereinstimmung mit einem ersten Aspekt der vorliegenden Erfindung eine Umgebungsüberwachungsvorrichtung, die an einer Maschinerie eingebaut ist, die ihre Fahrzeugaufbauhöhe oder Fahrzeugrahmenhöhe ändert, geschaffen. Die Umgebungsüberwachungsvorrichtung (Vorrichtung zur Überwachung der Umgebung der Maschinerie) enthält mehrere Kameras, die an dem Fahrzeugaufbau (-rahmen) der Maschinerie angebracht sind, um die Umgebung der Maschinerie zu photographieren (oder auf Videoband aufzunehmen), ein Mittel zur Vorbereitung eines Bildes der oberen Kameraansicht zum Anwenden eines Prozesses der Umsetzung auf die obere Kameraansicht auf ein Ausgangsbild, das durch jede der Kameras photographiert wird, um von jeder Kamera ein Bild der oberen Kameraansicht vorzubereiten, ein Mittel zur Vorbereitung eines Bildes aus der Vogelperspektive zum Synthetisieren der Bilder der oberen Kameraansicht, die durch das Mittel zur Vorbereitung eines Bildes der oberen Kameraansicht vorbereitet werden, um ein Bild der Umgebung aus der Vogelperspektive vorzubereiten, das ein Bild enthält, das die Maschinerie repräsentiert, ein Anzeigemittel zum Anzeigen des durch das Mittel zur Vorbereitung eines Bildes aus der Vogelperspektive vorbereiteten Bildes aus der Vogelperspektive und ein Kameralagen-Detektierungsmittel zum Detektieren der Lagen der an dem Fahrzeugaufbau (-rahmen) angebrachten Kameras. Das Mittel für die Vorbereitung eines Bildes aus der Vogelperspektive synthetisiert Anzeigebereiche der Bilder der oberen Kameraansicht, die durch das Mittel zur Vorbereitung eines Bildes der oberen Kameraansicht vorbereitet werden, auf der Grundlage der durch das Kameralagen-Detektierungsmittel detektierten Höhe jeder der Kameras.
Wenn die von den Kameras photographierten Bilder bei einer solchen Konfiguration den Prozess der Umsetzung auf die obere Kameraansicht erfahren und synthetisiert werden, um ein Bild der Umgebung aus der Vogelperspektive einschließlich eines Bildes, das die Maschine repräsentiert, vorzubereiten, werden die Anzeigegebiete der Bilder der oberen Kameraansicht jeweils auf der Grundlage der Kamerahöhen synthetisiert. Dementsprechend ist es immer möglich, ein geeignetes Bild aus der Vogelperspektive vorzubereiten und anzuzeigen, selbst wenn sich die Höhe des Fahrzeugaufbaus (-rahmens) stark ändert. Es wird angemerkt, dass die Höhe der Kamera in dieser Patentschrift eine vertikale Entfernung von der Bodenoberfläche zu der Kamera ist, falls die Bodenoberfläche z. B. als die Bezugsebene verwendet wird.
In Übereinstimmung mit einem zweiten Aspekt der vorliegenden Erfindung wird eine durch den ersten Aspekt definierte Vorrichtung zur Überwachung der Umgebung einer Maschinerie geschaffen, die ferner einen Entfernungsmesser zum Messen der vertikalen Entfernung zwischen der Bodenoberfläche, auf der der Fahrzeugaufbau (-rahmen) steht, und der Kamera enthält, wobei das Kameralagen-Detektierungsmittel die Lage der Kamera auf der Grundlage der vertikalen Entfernung zwischen der Bodenoberfläche und der Kamera, die durch den Entfernungsmesser gemessen wird, detektiert.
Da die Umgebungsüberwachungsvorrichtung, die diese Konfiguration aufweist, die vertikale Entfernung zwischen der Bodenoberfläche, auf der der Fahrzeugaufbau (-rahmen) vorhanden ist, und der Kamera messen kann, ist es möglich, die Lagen der an dem Fahrzeugaufbau (-rahmen) vorgesehenen Kameras leicht und genau zu berechnen.
In Übereinstimmung mit einem dritten Aspekt der vorliegenden Erfindung wird eine durch den ersten Aspekt definierte Vorrichtung zur Überwachung der Umgebung einer Maschinerie geschaffen, die ferner ein Eingabeteil für die Eingabe von Fahrzeugaufbauinformationen (Fahrzeugrahmeninformationen) enthält, wobei das Kameralagen-Detektierungsmittel die Lagen der Kameras auf der Grundlage der von dem Eingabeteil eingegebenen Fahrzeugaufbauinformationen detektiert.
Da die Umgebungsüberwachungsvorrichtung, die eine solche Konfiguration aufweist, die Höhe des Fahrzeugaufbaus (-rahmens) auf der Grundlage der Fahrzeugaufbauinformationen wie etwa einer Reifengröße erhalten kann, ist es möglich, die Lagen der an dem Fahrzeugaufbau vorgesehenen Kameras leicht zu berechnen.
In Übereinstimmung mit einem vierten Aspekt der vorliegenden Erfindung wird eine durch den ersten Aspekt definierte Vorrichtung zur Überwachung der Umgebung einer Maschinerie geschaffen, die ferner ein Gravimeter zum Messen eines Gewichts der Ladung auf dem Fahrzeugaufbau enthält, wobei das Kameralagen-Detektierungsmittel die Lagen der Kameras auf der Grundlage des durch das Gravimeter gemessenen Gewichts der Ladung detektiert.
Bei einer solchen Konfiguration ist es möglich, die Höhenabnahme des Fahrzeugaufbaus durch Messen des Gewichts der Ladung mit dem Gravimeter zu kennen (zu erhalten). Somit werden die Lagen der an dem Fahrzeugaufbau angebrachten Kameras leicht berechnet.
VORTEILE DER ERFINDUNG
Wenn in Übereinstimmung mit der vorliegenden Erfindung ein Bild der Umgebung aus der Vogelperspektive einschließlich eines Bildes der Maschinerie vorbereitet wird, werden die Anzeigebereiche der jeweiligen Bilder der oberen Kameraansicht auf der Grundlage der jeweiligen Kamerahöhen eingestellt und daraufhin synthetisiert, indem auf die durch die Kameras erfassten Bilder ein Prozess der Umsetzung auf die obere Kameraansicht angewendet wird und sie synthetisiert werden. Somit ist es weiterhin möglich, immer ein geeignetes Bild aus der Vogelperspektive vorzubereiten und anzuzeigen, selbst wenn sich die Höhe des Fahrzeugaufbaus (-rahmens) stark ändert.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 ist eine allgemeine perspektivische Ansicht eines Baggers oder Löffelbaggers 100, der eine Art Maschinerie ist, in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung.
2 ist ein Blockschaltplan einer Umgebungsüberwachungsvorrichtung 200 in Übereinstimmung mit der Ausführungsform der vorliegenden Erfindung.
3 ist eine konzeptionelle Ansicht, die ein Beispiel eines Photographierbereichs jeder der an einem Fahrzeugaufbau angebrachten Kameras 30 zeigt.
4 ist eine konzeptionelle Ansicht, die ein Beispiel der Vorbereitung von Bildern 35 der oberen Kameraansicht aus erfassten Bildern und des Synthetisierens der Bilder der oberen Kameraansicht zeigt.
5a bis 5c sind eine Folge von Ansichten, die die Bildverarbeitung zum Korrigieren der Linsenverzerrung in einem photographierten Ausgangsbild 31 und zum Umsetzen der Kameraansicht des Bildes zeigen.
6 ist eine konzeptionelle Ansicht, die ein Beispiel eines Bildes 300 aus der Vogelperspektive zeigt, das vorbereitet wird, wenn die Kameras an ihren Ausgangslagen positioniert sind.
7a veranschaulicht schematisch ein beispielhaftes Bild 300 aus der Vogelperspektive, das vorbereitet wird, wenn die Lagen der Kameras höher als die Ausgangslagen sind.
7b veranschaulicht schematisch ein beispielhaftes Bild 300 aus der Vogelperspektive, das vorbereitet wird, wenn die Lagen der Kameras niedriger als die Ausgangslagen sind.
8 ist ein Ablaufplan, der eine Verarbeitungsfolge zeigt, die durch die Umgebungsüberwachungsvorrichtung 200 der vorliegenden Erfindung ausgeführt wird.
9a bis 9c sind eine Folge von Ansichten, die zur Erläuterung beispielhafter Änderungen der Lagen der Kameras, wenn die Maschine ein Löffelbagger 100 ist, nützlich sind.
10a und 10b sind Ansichten, die zur Erläuterung beispielhafter Änderungen der Lagen der Kameras, wenn die Maschine ein mit Abstützungen 40 ausgestatteter Löffelbagger 100 ist, nützlich sind.
11a bis 11c sind Ansichten, die zur Erläuterung beispielhafter Änderungen der Lagen der Kameras, wenn die Maschine ein Kipper 400 ist, nützlich sind.
12a und 12b sind Ansichten, die zur Erläuterung beispielhafter Änderungen der Lagen der Kameras, wenn die Maschine ein mit vier Gleisketten ausgestatteter Löffelbagger 100 ist, nützlich sind.
AUSFÜHRUNGSART DER ERFINDUNG
Es werden nun anhand der beigefügten Zeichnungen Ausführungsformen der vorliegenden Erfindung beschrieben. 1 ist eine allgemeine perspektivische Ansicht eines Baggers oder Löffelbaggers 100, der eine Art Maschinerie in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung ist. Wie dargestellt ist, weist der Löffelbagger 100 als seine Hauptkomponenten einen unteren Fahraufbau 10 und einen oberen Schwenkaufbau 20, der an dem unteren Fahraufbau 10 schwenkbar (drehbar) vorgesehen ist, auf. Der untere Fahraufbau 10 weist ein Paar Gleisketten 11 (11) auf, die parallel zueinander an einem Rahmen (nicht gezeigt) des Fahraufbaus vorgesehen sind. Jede dieser Gleisketten 11 (11) ist mit einem hydraulisch betriebenen Fahrmotor 12 ausgestattet, um ein zugeordnetes Raupenband (eine zugeordnete Raupenkette) für die Fahrt anzutreiben.
Der obere Schwenkaufbau 20 weist als seine Hauptkomponenten einen Kraftmaschinenraum 21 zum Aufnehmen einer Kraftmaschine, der sich an dem Schwenkaufbaurahmen (nicht gezeigt) befindet, sowie verschiedene Ausstattung wie etwa eine Batterie und einen Kraftstofftank, eine Fahrerkabine 22, die an der linken Vorderseite des Kraftmaschinenraums 21 vorgesehen ist, eine vordere Arbeitsmaschine 23, die sich von der rechten Seite der Fahrerkabine 22 nach vorn erstreckt, und ein Gegengewicht 24, das hinter dem Kraftmaschinenraum 21 vorgesehen ist, um das Gleichgewicht mit der vorderen Arbeitsmaschine 23 aufrechtzuerhalten, auf.
Das Führerhaus 22 weist eine Kabine 22a auf, in die ein Betreiber (Fahrer) einsteigt. In die Kabine 22a sind ein Bedienhebel zum Bedienen der vorderen Arbeitsmaschine 23 und verschiedene Messgeräte und Instrumente eingebaut. Außerdem ist in die Kabine 22a eine (zu beschreibende) Umgebungsüberwachungsanzeige eingebaut. Die vordere Arbeitsmaschine 23 weist als ihre Hauptkomponenten einen Ausleger 23a, der von dem Schwenkaufbaurahmen nach vorn verläuft, einen Arm 23b, der schwenkbar an einem vorderen Ende des Auslegers 23a befestigt ist, und einen Löffel 23c, der schwenkbar an einem vorderen Ende des Arms 23b befestigt ist, auf. Der Ausleger 23a, der Arm 23b und der Löffel 23c werden in dieser Reihenfolge durch einen Auslegerzylinder 23d, durch einen Armzylinder 23e und durch einen Löffelzylinder 23f betrieben. Der Auslegerzylinder 23d, der Armzylinder 23e und der Löffelzylinder 23f werden ausführlich auszufahren (sich ausdehnen) und einzufahren veranlasst.
Auf beiden Seiten des Kraftmaschinenrahmens 21, auf dem Führerhaus 22 und auf einem Gegengewicht 24 sind in dieser Reihenfolge vier Kameras 30a, 30b, 30c und 30d in der Weise eingebaut, dass die vier Kameras die Ansichten in ihren jeweiligen Richtungen ständig photographieren. Die Kamera 30a photographiert ständig mit einem Sichtwinkel von 180 Grad die Ansicht auf der rechten Seite des oberen Schwenkaufbaus 20. Die Kamera 30a ist diagonal nach unten geneigt. Die Kamera 30b photographiert ständig mit einem Sichtwinkel von 180 Grad die Sicht auf der linken Seite des oberen Schwenkaufbaus 20. Die Kamera 30b ist diagonal nach unten enthalten. Die Kamera 30c photographiert ständig mit einem Sichtwinkel von 180 Grad die Sicht vor dem oberen Schwenkaufbau 20. Die Kamera 30c ist diagonal nach unten gerichtet. Die Kamera 30d photographiert ständig mit einem Sichtwinkel von 180 Grad die Sicht hinter dem oberen Schwenkaufbau 20. Die Kamera 30d ist diagonal nach hinten gerichtet.
Wie in 2 gezeigt ist, werden die von den jeweiligen Kameras 30a, 30b, 30c und 30d photographierten Bilder (Ausgangsbilder) in einen Anzeigecontroller 210 der Umgebungsüberwachungsvorrichtung 200 der vorliegenden Erfindung eingegeben. Jede der Kameras 30a, 30b, 30c und 30d ist z. B. eine Weitwinkelvideokamera, die ein Bilderfassungs- oder Bildaufnahmeelement (z. B. CCD und/oder CMOS), das eine ausgezeichnete Haltbarkeit und Witterungsbeständigkeit aufweist, und eine Weitwinkellinse aufweist. In der folgenden Beschreibung sind jene Abschnitte des oberen Schwenkaufbaus 20, an denen die Kameras 30a, 30b, 30c und 30d eingebaut (angebracht) sind, zusammen als der Fahrzeugaufbau 20 bezeichnet.
2 ist ein Blockschaltplan einer beispielhaften Umgebungsüberwachungsvorrichtung 200, die an dem Löffelbagger 100 vorgesehen ist. Wie dargestellt ist, weist die Umgebungsüberwachungsvorrichtung 200 ihre Hauptkomponenten, den Anzeigecontroller 210 und eine Umgebungsüberwachungsanzeige 220, auf. Der Anzeigecontroller 210 weist einen Kameralagendetektor 211, eine Einheit 212 zur Vorbereitung eines Bildes der oberen Kameraansicht und eine Einheit 213 zur Vorbereitung eines Bildes aus der Vogelperspektive auf. Der Anzeigecontroller 210 ist aus einer Bildverarbeitungs-LSI (Hardware) konfiguriert, die eine CPU, einen RAM, einen ROM, eine Eingabe/Ausgabe-Schnittstelle und andere Elemente (nicht gezeigt) enthält. Der ROM und andere Speicher des Anzeigecontrollers 210 speichern verschiedene Daten im Voraus sowie dedizierte Bildverarbeitungsprogramme und die CPU verwendet diese Daten und Programme, um zu veranlassen, dass die jeweiligen Teile 221–213 ihre Funktionen ausführen.
Wie zuvor beschrieben wurde, detektiert der Kameralagendetektor 211 die Höhe jeder der an dem Fahrzeugaufbau 20 angebrachten Kameras 30a, 30b, 30c und 30d. Mit anderen Worten, der Kameralagendetektor 211 detektiert die vertikale Entfernung von dem Boden, auf dem der Fahrzeugaufbau 20 vorhanden ist, zu jeder der an dem Fahrzeugaufbau 20 angebrachten Kameras 30a, 30b, 30c und 30d. Daraufhin sendet der Kameralagendetektor 211 die detektierten Höhen der Kameras 30a, 30b, 30c und 30d an die Einheit 213 zur Vorbereitung eines Bildes aus der Vogelperspektive. Genauer detektiert der Kameralagendetektor 211 auf der Grundlage der von zugeordneten Laserentfernungsmessern 214 wie in 2 gezeigt eingegebenen Messwerte die Höhen der Kameras 30a, 30b, 30c und 30d. Um die genaue Messung sicherzustellen, sind die Laserentfernungsmesser 214 vorzugsweise jeweils in der Nähe der zugeordneten Kameras 30a, 30b, 30c und 30d vorgesehen. Allerdings wird angemerkt, dass ein solcher Entfernungsmesser zur leichteren Messung auf einer Unterseite des Fahrzeugaufbaus 20 angebracht sein könnte, falls die Einbaulage des Lasermessers die Messung erschwert. Daraufhin können der Messwert des Entfernungsmessers 214 und die Entfernung (Lagebeziehung) zwischen dem Laserentfernungsmesser 214 und der betreffenden Kamera (30a, 30b, 30c, 30d) berücksichtigt werden, wenn eine Entfernung zu einem Messziel berechnet wird.
Die Einheit 212 zur Vorbereitung eines Bildes der oberen Kameraansicht bereitet aus mehreren Ausgangsbildern (vier Ausgangsbildern), die durch die Kameras 30a, 30b, 30c und 30d mit einer Rate von 30 Einzelbildern/Sekunde photographiert werden, das Bild der oberen Kameraansicht vor und sendet die vorbereiteten Bilder der oberen Kameraansicht (Video- oder Bewegtbild) an die Einheit 213 zur Vorbereitung eines Bildes aus der Vogelperspektive. Genauer wendet die Einheit 212 zur Vorbereitung eines Bildes der oberen Kameraansicht auf die Composite-Signale eine A/D-Umsetzung an, um decodierte Signale (RGB-Signale) zu haben, und sammelt sie jeweils in den dedizierten Bildspeichern an, wenn die Composite-Signale wie etwa NTSC-Signale der Ausgangsbilder von den Kameras 30a, 30b, 30c und 30d empfangen werden. Daraufhin führt die Einheit 212 zur Vorbereitung eines Bildes der oberen Kameraansicht einen Linsenverzerrungskorrekturprozess aus und wendet sie eine bekannte Bildtransformationsverarbeitung wie etwa eine projektive Transformation mit einer Homographiematrix oder eine Projektionsverarbeitung in einem dreidimensionalen Raum an, um die Kameraansichten der Ausgangsbilder in die oberen Kameraansichten zu verschieben und dadurch die Bilder der oberen Kameraansicht zu erhalten.
3 und 5a–5c veranschaulichen Ansichten, die zur Beschreibung der Transformationsverarbeitung der Bilder der oberen Kameraansicht in der Einheit 212 zur Vorbereitung eines Bildes der oberen Kameraansicht nützlich sind. Zunächst anhand von 3 geben die rechteckigen Bereiche E1, E2, E3 und E4 um den Fahrzeugaufbau 20 Gebiete an, die in dieser Reihenfolge durch die Kameras 30a, 30b, 30c und 30d des Fahrzeugaufbaus 20 photographiert werden können. Die rechteckigen Gebiete E1, E2, E3 und E4 überschneiden sich an beiden Endabschnitten mit den benachbarten Gebieten, wobei diese sich überschneidenden Gebiete durch die jeweiligen Kameras photographiert werden.
5a zeigt ein Ausgangsbild 31 des durch die Kamera 30a, 30b, 30c, 30d photographierten rechteckigen Gebiets E1, E2, E3, E4. Da die Ansicht mit einer Weitwinkellinse photographiert wird, ist das Ausgangsbild 31 allgemein verzerrt, so dass, wie durch Gitterlinien angegeben ist, der Mittelabschnitt vergrößert ist und die peripheren Abschnitte verkleinert sind. 5b zeigt ein Bild 33 nach der Korrektur, das durch Anwenden einer Linsenverzerrungskorrektur in der Einheit 212 zur Vorbereitung eines Bildes der oberen Kameraansicht erhalten wird. Das verzerrte Bild wird in Übereinstimmung mit der Perspektive in das Bild 33 korrigiert, so dass, wie durch eine angenommene vertikal-horizontale Koordinate 34 auf dem Boden (auf der Straßenoberfläche) angegeben ist, die jeweilige Ansicht von der Kameraansicht der Kamera 30a, 30b, 30c, 30d bereitgestellt wird. Die Linsenverzerrungskorrektur kann z. B. mit einem Pixelkoordinatentransformationsprozess unter Verwendung einer dedizierten Pixeltransformationstabelle ausgeführt werden. Die Transformationstabelle kann im Voraus in einem Speicher gespeichert werden und die Beziehung zwischen den Adressen der Pixel des Bildes vor der Transformation und den Adressen der Pixel nach der Transformation beschreiben.
5c zeigt das Bild der oberen Kameraansicht (Bild der Überkopfkameraansicht) 35, das durch Anwenden des Kameraansichtsänderungsprozesses auf das durch den Linsenverzerrungskorrekturprozess erhaltene Bodenbild (Straßenoberflächenbild) 33 erhalten wird (5b). Das Bild 35 der oberen Kameraansicht nach dem Kameraansichtsänderungsprozess weist eine von dem Fahrzeugaufbau nach oberhalb des Fahrzeugaufbaus verschobene Kameraansicht auf, wobei die angenommene Koordinate 34 aus 5b in eine angenommene rechtwinklige Koordinate 36 transformiert wird. Der Prozess der Änderung der Kameraansicht kann durch einen Pixelkoordinatentransformationsprozess mit einer dedizierten Pixeltransformationstabelle, die im Voraus in einem Speicher gespeichert wird, ausgeführt werden.
Die Einheit 213 zur Vorbereitung eines Bildes aus der Vogelperspektive nimmt von dem Bild 35 der oberen Kameraansicht ein anzuzeigendes Bild (schneidet es aus) und synthetisiert vier solcher Bilder, um ein Vogelansichtsbild (Video) der Umgebung vorzubereiten, mit einem Bild, das die Maschinerie repräsentiert, in der Mitte. In 5c ist ein von einer Strichlinie eingeschlossenes trapezförmiges Gebiet e ein Beispiel des durch die Einheit 213 zur Vorbereitung eines Bildes aus der Vogelperspektive vorbereiteten Schnittbildes e, wenn die Einheit zur Vorbereitung eines Bildes aus der Vogelperspektive das Bild e aus dem gegebenen Bild ausschneidet, um das in einem synthetisierten Bild anzuzeigende Bild e vorzubereiten. Wenn die vier Schnittbilder synthetisiert werden, um ein einzelnes Composite-Bild vorzubereiten, das leicht anzusehen ist, werden die sich überschneidenden Abschnitte der vier Bilder 35 der oberen Kameraansicht entfernt. Wie in 4 gezeigt ist, kombiniert die Einheit 213 zur Vorbereitung eines Bildes aus der Vogelperspektive die vier Schnittbilder e1–e4 der vier Bilder 35 der oberen Kameraansicht mit dem Bild G, das den Löffelbagger 100 repräsentiert, in der Mitte und mit den vier Schnittbildern, die das Bild G umgeben. Auf diese Weise bereitet die Einheit zur Vorbereitung eines Bildes aus der Vogelperspektive ein einzelnes zusammenhängendes Bild 300 aus der Vogelperspektive der Umgebung des Fahrzeugaufbaus vor und sendet ihre Bilddaten an den Bildspeicher.
6 ist ein Beispiel des durch die Einheit 213 zur Vorbereitung eines Bildes aus der Vogelperspektive vorbereiteten Bildes 300 aus der Vogelperspektive. In der Mitte der Zeichnung ist ein rechteckiger Anzeigebereich S zum Anzeigen des Bild G, das dem Löffelbagger 100 entspricht, vorgesehen. Das Bild G wird im Voraus vorbereitet. Mit diesem Anzeigebereich S in der Mitte werden rechts und links sowie vor und hinter dem mittleren Anzeigebereich S vier unabhängige trapezförmige Anzeigebereiche S1–S4 gebildet. Die vier aus den vier Bildern 35 der oberen Kameraansicht erhaltenen trapezförmigen Schnittbilder e1–e4 werden in dieser Reihenfolge in den vier Anzeigebereichen S1–S4 angezeigt.
Das Schnittbild e1, das von dem Bild 35R der oberen Kameraansicht abgeleitet ist, das von dem durch die Kamera 30a von dem oberen Schwenkaufbau 20 auf der rechten Seite photographierten Bild erhalten wird (4), wird in dem Anzeigebereich S1 angezeigt. Das Schnittbild e2, das von dem Bild 35L der oberen Kameraansicht abgeleitet ist, das von dem durch die Kamera 30b von dem oberen Schwenkaufbau 20 auf der linken Seite photographierten Bild erhalten wird, wird in dem Anzeigebereich S2 angezeigt. Das Schnittbild e3, das von dem Bild 35F der oberen Kameraansicht abgeleitet ist, das von dem durch die Kamera 30c von dem oberen Schwenkaufbau 20 nach vorn photographierten Bild erhalten wird, wird in dem Anzeigebereich S3 angezeigt. Das Schnittbild e4, das von dem Bild 35B der oberen Kameraansicht abgeleitet ist, das von dem durch die Kamera 30d von dem oberen Schwenkaufbau 20 nach hinten photographierten Bild erhalten wird, wird in dem Anzeigebereich S4 angezeigt. In dem Bild 300 aus der Vogelperspektive aus 6 gibt es ein Fahrzeug P1 in der diagonal hinteren rechten Richtung des Löffelbaggers 100 und gibt es einen Mast P2 in der diagonal hinteren linken Richtung des Schaufelbaggers 100. Es ist zu sehen, dass das Fahrzeug P1 und der Mast P2 mehrere Meter entfernt von dem hinteren Ende des Schaufelbaggers 100 liegen.
Die Umgebungsüberwachungsanzeige 220 empfängt das Bild 300 aus der Vogelperspektive der gesamten Umgebung des Fahrzeugaufbaus, das durch die Einheit 213 zur Vorbereitung eines Bildes aus der Vogelperspektive vorbereitet wird, und zeigt es an. Genauer speichert die Umgebungsüberwachungsanzeige 220 die Daten des empfangenen Bildes aus der Vogelperspektive (Composite-Bildes) 300 in einem Ausgangsbildspeicher, codiert sie die Daten (RGB-Signale) dieses Composite-Bildes zu einem Composite-Signal, wendet sie auf das Composite-Signal einen D/A-Umsetzungsprozess an und zeigt sie es auf der Anzeigeeinheit 221 an. Außer der Anzeigeeinheit 221 weist die Umgebungsüberwachungsanzeige 220 eine Eingabeeinheit 222 auf, wobei ein Betreiber die Eingabeeinheit 222 verwendet, um verschiedene Operationen wie etwa das Ein- und Ausschalten der Leistung, das Vergrößern, Verkleinern und Drehen des Composite-Bildes auf dem Anzeigebildschirm, das Ändern des anzuzeigenden Gebiets, das Ändern der Photographierbetriebsart in eine Normqalbetriebsart und das Ändern der Anzeigebetriebsart in eine Zweischirmbetriebsart auszuführen.
Der Betrieb der Umgebungsüberwachungsvorrichtung 200 der vorliegenden Erfindung, die die oben beschriebene Struktur aufweist, wird nun hauptsächlich anhand des in 8 gezeigten Ablaufplans beschrieben. Zunächst wird der Anzeigecontroller 210 der Umgebungsüberwachungsvorrichtung 200 eingeschaltet, wenn die Kraftmaschine des Löffelbaggers 100 gestartet wird. Der Anzeigecontroller führt die Anfangssystemprüfung aus, wobei der Anzeigecontroller zu Schritt S100 übergeht, falls keine Anomalie ermittelt wird. In Schritt S100 wird die Umgebung des Fahrzeugaufbaus durch die vier wie zuvor beschrieben in den vier Richtungen des Fahrzeugaufbaus 20 angebrachten Kameras 30a, 30b, 30c und 30d photographiert und werden die Bilder der Umgebung erhalten. Daraufhin geht der Anzeigecontroller zu Schritt S102 über.
In Schritt S102 erfahren die vier photographierten Ausgangsbilder 31 den Prozess der Umsetzung auf die obere Kameraansicht, um die vier Bilder 35 der oberen Kameraansicht vorzubereiten, wobei diese Bilder der oberen Kameraansicht verbunden werden, um das Bild 300 aus der Vogelperspektive mit dem Bild G des Fahrzeugaufbaus in der Mitte wie in 6 gezeigt vorzubereiten. Daraufhin geht der Anzeigecontroller zu Schritt S104 über. In Schritt S104 detektiert der Kameralagendetektor 211 des Anzeigecontrollers 210 die Höhen (vertikalen Entfernungen von der Bodenoberfläche) der Kameras 30a, 30b, 30c und 30d, die durch die Laserentfernungsmesser 214 detektiert werden, und geht zu Schritt S106 über.
In Schritt S106 wird bestimmt, ob die detektierten Höhen der Kameras 30a, 30b, 30c und 30d die vorgegebenen Höhen sind oder innerhalb der vorgegebenen Bereiche liegen. Daraufhin werden die Mittelwerte in den vorgegebenen Bereichen zu den vorgegebenen Höhen. Der vorgegebene Bereich für jede Kamera wird als eine Ausgangslage dieser Kamera bezeichnet. Falls bestimmt wird, dass die Kamera in ihrer Ausgangslage ist (ja), springt der Anzeigecontroller zu Schritt S110. Falls bestimmt wird, dass die Kamera nicht in der Ausgangslage ist (nein), geht der Anzeigecontroller zu dem nächsten Schritt, Schritt S108, über. In Schritt S108 werden an den Bildern der oberen Kameraansicht Einstellungen vorgenommen, da das anzuzeigende Bild eine Diskrepanz aufweist, wenn die Höhen der Kameras 30a, 30b, 30c und 30d nicht die Ausgangslagen sind.
7a veranschaulicht ein Beispiel des Bildes 300 aus der Vogelperspektive, wenn die Lagen der Kameras höher als die Ausgangslagen sind. 7b veranschaulicht ein Beispiel des Bildes 300 aus der Vogelperspektive, wenn die Lagen der Kameras niedriger als die Ausgangslagen sind. Wie in 7a gezeigt ist, werden die Photographierbereiche der jeweiligen Kameras größer, als wenn die Kameras in ihren Ausgangslagen sind, wenn die Lagen der Kameras höher als die Ausgangslagen sind. Im Ergebnis überschneiden sich die Schnittbilder der oberen Kameraansicht e bei den Kopplungsbereichen dieser Bilder e. In dem Beispiel aus 7a sind in dem Kopplungsbereich zwischen dem hinteren Schnittbild e4 und dem linken Schnittbild e2 zwei Masten P2 angezeigt, obwohl es in der Realität nur einen Mast P2 gibt. Andererseits werden die Photographierbereiche der Kameras kleiner, als wenn die Kameras in den Ausgangslagen sind, wenn die Lagen der Kameras wie in 7b gezeigt niedriger als die jeweiligen Ausgangslagen sind. Somit werden einige Abschnitte der Bilder in den Kopplungsbereichen zwischen den Schnittbildern e der oberen Kameraansicht nicht angezeigt (fehlen bestimmte Abschnitte der Bilder). In dem Beispiel aus 7b wird der Mast P2 in dem Kopplungsbereich zwischen dem hinteren Schnittbild e4 und dem linken Schnittbild e2 nicht angezeigt (oder ist er schwer zu sehen), obwohl der Mast P2 in diesem Kopplungsbereich angezeigt werden sollte.
Somit wird die Größe jedes der Schnittbilder e, das wie in 5c gezeigt von der Strichlinie eingeschlossen ist, auf der Grundlage der detektierten Höhe geändert, wenn in Schritt S106 bestimmt wird, dass die detektierten Höhen der Kameras 30a, 30b, 30c und 30d nicht ihre Ausgangslagen sind. Genauer wird ein größeres Schnittgebiet e-w ausgewählt, wenn die Höhe der Kamera 30 niedriger als die Ausgangslage ist. Das Schnittgebiet e-w ist größer als das Schnittgebiet e-n für die Kamera 30, die sich in der Ausgangslage befindet. Andererseits wird das kleinere Schnittgebiet e-s ausgewählt, das kleiner als das Schnittgebiet e-n ist, wenn die Lage der Kamera höher als die Ausgangslage ist. Die Größe des Schnittgebiets wird in Übereinstimmung mit der Höhe der Kamera 30 z. B. unter Verwendung einer Umsetzungstabelle entschieden, die im Voraus in einem Speicher gespeichert worden ist.
9a–9c, 10a–10b, 11a–11c und 12a–12b zeigen Beispiele, wenn verschiedene Maschinerietypen jeweils ihre Höhen ändern. 9a veranschaulicht ein Beispiel, wenn die Gleisketten 11 des unteren Fahraufbaus 10 des Löffelbaggers 100 vom Gleiskettentyp die normale Größe aufweisen, und 9b veranschaulicht ein Beispiel, wenn die Gleisketten 11 eine kleinere Größe als die normale Größe aufweisen. Da die Höhe h2 der Kamera 30d in 9b kleiner als die Höhe h1 der Kamera 30d in 9a ist, wird in 5c das Schnittgebiet e-w ausgewählt, das größer als das Schnittgebiet e-n für die Kamera 30d mit der Höhe der Ausgangslage ist. Andererseits wird im Fall des unteren Fahraufbaus 10 vom Radtyp, wie in 9c gezeigt ist, das Schnittgebiet e-s in 5c ausgewählt, das kleiner als das Schnittgebiet e-n für die Kamera 30d mit derselben Höhe der Ausgangslage aufweist, da die Höhe h3 der Kamera 30d in 9c größer als die Höhe h1 der Kamera 30d in 9a ist.
Die 10a und 10b veranschaulichen Beispiele, wenn die Maschinerie ein Löffelbagger 100 vom Radtyp ist, der mit Abstützungen 40 ausgestattet ist. 10a zeigt die Lage (Höhe) der Kamera 30d, wenn die Abstützungen 40 während des Betriebs des Löffelbaggers betätigt worden sind, und 10b zeigt die Lage (Höhe) der Kamera 30d, wenn die Abstützungen 40 während des Betriebs des Löffelbaggers nicht worden sind. Im Allgemeinen ist die Kamerahöhe h4, wenn die Abstützungen 40 nicht betätigt worden sind, und ist die Kamerahöhe h5, wenn die Abstützungen 40 betätigt worden sind. Die Kamerahöhe h5 ist um mehrere cm und mehr als 10 cm höher als die Kamerahöhe h4. Somit wird das Schnittgebiet e-s ausgewählt, das kleiner als das Schnittgebiet e-n für die nicht betätigten Abstützungen ist, wenn die Abstützungen 40 betätigt worden sind.
Die 11a bis 11c veranschaulichen Beispiele, wenn die Maschinerie ein Kipper 400 ist. 11a zeigt, wenn der Kipper keine Ladung besitzt, und 11b zeigt, wenn der Kipper voll beladen ist. In 11a ist die Höhe der Kamera 30d h6 und in 11b ist die Höhe der Kamera h7. Somit wird die Höhe der Kamera 30d kleiner, da der gesamte Fahrzeugaufbau wegen des Gewichts der Ladung eine niedrigere Lage einnimmt. Somit wird das Schnittgebiet e-w ausgewählt, das größer als das Schnittgebiet e-n für den Kipper ohne Ladung ist, wenn der Kipper die Ladung besitzt. 11c zeigt ein Beispiel, in dem der Kipper Reifen 50 mit größerem Durchmesser als die in 11a gezeigten Reifen 50 besitzt. Die Höhe der Kamera 30d in 11c ist höher, als wenn an dem Kipper wie in 11a gezeigt die kleineren Reifen angebracht sind. Somit wird das Schnittgebiet e-s ausgewählt, das kleiner als das Schnittgebiet e-n für die kleineren Reifen ist (11a).
12a und 12b veranschaulichen Beispiele, wenn die Maschinerie ein mit vier Gleisketten ausgestatteter Löffelbagger 100 ist. Der Löffelbagger 100 mit vier Gleisketten weist vier unabhängige Gleisketten 50 als seine untere Fahreinheit 10 auf und kann die Höhen der jeweiligen Gleisketten 50 ändern, um eine raue (unebene) Straßen- oder Bodenoberfläche zu bewältigen. Im Fall eines solchen Löffelbaggers 100 mit vier Gleisketten ist die Kamerahöhe h9 des Löffelbaggers 100, wenn die Stützbeine 80 der Gleisketten 70 wie in 12a offen sind, um mehrere zehn cm gegenüber der Kamerahöhe h10 des Löffelbaggers 100, wenn die Stützbeine 80 der Gleisketten 70 wie in 12b geschlossen sind, verschieden. Somit wird im Fall eines solchen Löffelbaggers 100 mit vier Gleisketten das am besten geeignete Schnittgebiet e auf der Grundlage der Höhe der Kamera berechnet und ausgewählt.
Wenn die Einstellungen der Schnittgebiete e der Bilder 35 der oberen Kameraansicht in der oben beschriebenen Weise fertiggestellt worden sind, geht der Anzeigecontroller zu dem nächsten Schritt, Schritt S110, über. In Schritt S110 werden die Schnittgebiete e der Bilder 35 der oberen Kameraansicht kombiniert (synthetisiert), um ein Bild 300 aus der Vogelperspektive vorzubereiten. Daraufhin geht der Anzeigecontroller zu dem nächsten Schritt, Schritt S112, über. In Schritt S112 wird das vorbereitete Bild 30 aus der Vogelperspektive auf dem Monitorbildschirm 221 angezeigt und geht der Anzeigecontroller zu dem letzten Schritt, Schritt S114, über. In Schritt S114 wird bestimmt, ob die Kraftmaschine deaktiviert ist oder nicht. Wenn bestimmt wird, dass die Kraftmaschine deaktiviert ist (ja), schließt der Anzeigecontroller die Verarbeitung ab. Wenn bestimmt wird, dass die Kraftmaschine nicht deaktiviert ist (nein), kehrt der Anzeigecontroller zu dem ersten Schritt zurück und wiederholt die oben beschriebene Verarbeitung.
Wenn die Umgebungsüberwachungsvorrichtung 200 der vorliegenden Erfindung wie oben beschrieben die Bilder 35 der oberen Kameraansicht, die von den durch die Kameras 30a, 30b, 30c, 30d photographierten Ausgangsbildern 31 abgeleitet sind, synthetisiert, um das Bild 300 aus der Vogelperspektive vorzubereiten, werden die Schnittgebiete e der jeweiligen Bilder 35 der oberen Kameraansicht vor dem Synthetisieren der Bilder der oberen Kameraansicht auf der Grundlage der Höhen der Kameras 30a, 30b, 30c und 30d eingestellt. Im Ergebnis ist es selbst dann, wenn sich die Höhe des Fahrzeugaufbaus 20 stark ändert und wenn sich die Lagen der Kameras andern, immer noch möglich, immer ein geeignetes Bild 300 aus der Vogelperspektive vorzubereiten und anzuzeigen.
Obwohl in dieser Ausführungsform die Laserentfernungsmesser 241 als das Mittel zum Detektieren der Höhen der Kameras 30 verwendet werden, wird angemerkt, dass die Kamerahöhen auf der Grundlage der geänderten Fahrzeugaufbauinformationen wie etwa des Typs des unteren Fahraufbaus 10 und der Reifengröße und/oder des Gewichts der Ladung detektiert werden können. Zum Beispiel können genaue Höhen der Kameras nur dadurch erhalten werden, dass der Typ des unteren Fahraufbaus 10 in die Umgebungsüberwachungsvorrichtung in dem Anfangseinstellungsprozess eingegeben wird, falls der Typ und die Größe (die Höhe) des unteren Fahraufbaus 10 sowie andere notwendige Informationen im Voraus in Form einer Datenbank in dem Speicher gespeichert worden sind, wenn, wie in 9a und 9b gezeigt ist, der obere Schwenkaufbau 20 nicht geändert worden ist und nur der untere Schwenkaufbau 10 geändert worden ist. Wenn, wie in 10a und 10b gezeigt ist, die Ausleger 40 aktiviert werden, können die Kamerahöhen aus den Zylinderhüben der Ausleger 40 berechnet werden.
Im Fall von 11a–11c können die Typen und Größen (Höhen) verwendbarer Reifen in Form einer Datenbank im Voraus in dem Speicher gespeichert werden und kann es möglich sein, genaue Kamerahöhen nur dadurch zu erhalten, dass beim Reifenwechsel der Name des Herstellers und der Typ des Reifen eingegeben werden. Solche Fahrzeugaufbauinformationen können z. B. mittels des Eingabeteils 222 der Umgebungsüberwachungseinheit 220 eingegeben werden. Alternativ können an Aufhängungselementen 60 oder an anderen Komponenten, die den Fahrzeugaufbau stützen, wie in 11a gezeigt ist, Lastmessgeräte oder -indikatoren eingebaut sein und kann die Ladung detektiert werden. Daraufhin können die Kamerahöhen auf der Grundlage der Beziehung zwischen dem detektierten Ladungsgewicht und dem Betrag der Bewegung nach unten (der verringerten Höhe) des Fahrzeugaufbaus wegen der Ladung detektiert werden. Falls die obenerwähnten verschiedenen Typen von Höhendetektierungseinheiten zusammen verwendet werden, können die Kamerahöhen genauer detektiert werden.
Alternativ kann ein Betreiber die Höhen der Kameras 30 manuell messen und die Messwerte von dem Eingabeteil 222 der Umgebungsüberwachungseinheit 220 direkt eingeben. Obwohl in der wie in 6, 7b und 7c gezeigten veranschaulichenden Ausführungsform in der Mitte des Bildes 300 aus der Vogelperspektive das Bild G des Fahrzeugaufbaus angezeigt ist, das den Schaufelbagger 100 repräsentiert, um das Bild G des Fahrzeugaufbaus (vor und hinter dem Bild des Fahrzeugaufbaus sowie rechts und links von dem Bild des Fahrzeugaufbaus) die unabhängigen trapezförmigen Anzeigebereiche S1–S4 gebildet sind und in den zugeordneten Anzeigebereichen S1–S4 in dieser Reihenfolge die Schnittbilder e1–e4 angezeigt sind, ist die Lage des Bildes G des Fahrzeugaufbaus, das den Löffelbagger 100 repräsentiert, nicht notwendig auf die Mitte des Bildes 300 aus der Vogelperspektive beschränkt. Zum Beispiel kann die Lage der Anzeige des Bildes G des Fahrzeugaufbaus, das den Löffelbagger 100 repräsentiert, in dem Bild 300 aus der Vogelperspektive nach vorn verschoben sein und können der rechte und der linke Anzeigebereich S1 und S2 und der hintere Anzeigebereich S4 vergrößert sein oder kann die Anzeigelage des Bildes G des Fahrzeugaufbaus, das den Schaufelbagger 100 repräsentiert, in dem Bild 300 aus der Vogelperspektive nach links oben verschoben sein und können die Anzeigebereiche S1 und S4, die besonders schwierig für die Sichterkennung sind, vergrößert sein.
Bezugszeichenliste

100: Löffelbagger (Maschinerie)
200: Umgebungsüberwachungsvorrichtung
210: Anzeigecontroller
211: Kameralagendetektor (Kameralagen-Detektierungsmittel)
212: Einheit zur Vorbereitung eines Bildes der oberen Kameraansicht (Mittel zur Vorbereitung eines Bildes der oberen Kameraansicht)
213: Einheit zur Vorbereitung eines Bildes aus der Vogelperspektive (Mittel zur Vorbereitung eines Bildes aus der Vogelperspektive)
214: Entfernungsmesser
220: Umgebungsüberwachungsanzeige (Anzeigemittel)
300: Bild aus der Vogelperspektive
20: oberer Schwenkaufbau (Fahrzeugaufbau)
30, 30a, 30b, 30c, 30d: Kameras (Photographiermittel)
31: Ausgangsbild
35: Bild der oberen Kameraansicht
e, e1 bis e4: Ausschnittgebiete

Claims

Umgebungsüberwachungsvorrichtung, die an einer Maschinerie installiert ist, die ihre Fahrzeugaufbauhöhe ändert, wobei die Umgebungsüberwachungsvorrichtung umfasst: mehrere Kameras, die an dem Fahrzeugaufbau der Maschinerie angebracht sind, um die Umgebung der Maschinerie zu photographieren; ein Mittel zur Vorbereitung eines Bildes der oberen Kameraansicht zum Anwenden eines Prozesses der Umsetzung auf die obere Kameraansicht auf ein Ausgangsbild, das durch jede der Kameras photographiert wird, um von jeder Kamera ein Bild der oberen Kameraansicht vorzubereiten; ein Mittel zur Vorbereitung eines Bildes aus der Vogelperspektive zum Synthetisieren der Bilder der oberen Kameraansicht, die durch das Mittel zur Vorbereitung eines Bildes der oberen Kameraansicht vorbereitet werden, um ein Bild der Umgebung aus der Vogelperspektive vorzubereiten, das ein Bild enthält, das die Maschinerie repräsentiert, ein Anzeigemittel zum Anzeigen des durch das Mittel zur Vorbereitung eines Bildes aus der Vogelperspektive vorbereiteten Bildes aus der Vogelperspektive; und ein Kameralagen-Detektierungsmittel zum Detektieren der Lagen der an dem Fahrzeugaufbau angebrachten Kameras, wobei das Mittel für die Vorbereitung eines Bildes aus der Vogelperspektive dafür konfiguriert ist, Anzeigebereiche der Bilder der oberen Kameraansicht, die durch das Mittel zur Vorbereitung eines Bildes der oberen Kameraansicht vorbereitet werden, auf der Grundlage der durch das Kameralagen-Detektierungsmittel detektierten Höhen der Kameras zu synthetisieren.
Umgebungsüberwachungsvorrichtung für Maschinerie nach Anspruch 1, wobei die Umgebungsüberwachungsvorrichtung ferner einen Entfernungsmesser zum Messen einer vertikalen Entfernung zwischen einer Bodenoberfläche, auf der der Fahrzeugaufbau vorhanden ist, und jeder der Kameras enthält, wobei das Kameralagen-Detektierungsmittel die Lagen der Kameras auf der Grundlage der vertikalen Entfernungen zwischen der Bodenoberfläche und den Kameras, die jeweils durch den Entfernungsmesser gemessen werden, detektiert.
Umgebungsüberwachungsvorrichtung für Maschinerie nach Anspruch 1, die ferner ein Eingabeteil für die Eingabe von Fahrzeugaufbauinformationen enthält, wobei das Kameralagen-Detektierungsmittel die Lagen der Kameras auf der Grundlage der von dem Eingabeteil eingegebenen Fahrzeugaufbauinformationen detektiert.
Umgebungsüberwachungsvorrichtung für Maschinerie nach Anspruch 1, wobei die Umgebungsüberwachungsvorrichtung ferner ein Gravimeter zum Messen eines Gewichts der Ladung auf dem Fahrzeugaufbau enthält, wobei das Kameralagen-Detektierungsmittel die Lagen der Kameras auf der Grundlage des durch das Gravimeter gemessenen Gewichts der Ladung detektiert.