-
Technisches Gebiet
-
Die vorliegende Erfindung bezieht sich auf eine Vorrichtung zur Erzeugung eines Vogelperspektivenbilds einer Betriebsmaschine oder einer Arbeitsmaschine, wie etwa eines hydraulischen Baggers (Aushubmaschine, Löffelbagger) oder eines Muldenkippers, mittels mehrerer Kameras, die an der Arbeitsmaschine angebracht sind, wobei ein die Betriebsmaschine darstellendes Bild aufgebaut wird, um die Umgebung (Umfeld) der Betriebsmaschine zu überwachen.
-
Bekannte Technik
-
Allgemein haben große Baumaschinen und Betriebsmaschinen wie hydraulische Bagger (Aushubmaschinen) und Muldenkipper schlechte Sicht auf ihre Umgebung und ihr Umfeld. Dem entgegen wird in Patentliteratur 1 (siehe weiter unten) beispielsweise eine Kamera an der rechten Seitenfläche eines oberen Drehkörpers des Hydraulikbaggers angebracht und eine weitere Kamera an einem hinteren Bereich des oberen Drehkörpers. Die von diesen Kameras aufgenommenen Bilder (Photo, Video) werden auf einem Monitor vor dem Fahrersitz (Bedienersitz) angezeigt, um die Sicht sicherzustellen.
-
Ein weiteres Beispiel, wie etwa Patentliteratur 2 (siehe weiter unten), beschreibt eine Vorrichtung zur Überwachung der Umgebung, die mehrere Kameras aufweist, die in vier Richtungen eines Fahrzeugkörpers gerichtet sind und den Vorgang einer Oberer-Blickpunkt-Umwandlung (Transformation) auf Bilder der Umgebung des Fahrzeugkörpers anwendet, die von diesen Kameras aufgenommen werden. Die entstehenden Bilder sind zur Erzeugung eines Vogelperspektivenbilds (Overhead-Bild) synthetisiert, das ein die Betriebsmaschine (Arbeitsmaschine) zeigendes Bild in seiner Mitte hat. Das Vogelperspektivenbild (Bild) hat einen Blickpunkt oberhalb des Fahrzeugkörpers. Das Vogelperspektivenbild wird auf einem Monitor vor einem Fahrersitz so angezeigt, dass der Fahrer (Bediener) ein Gefühl für den Abstand, beispielsweise zwischen dem Fahrzeugkörper und einem in der Umgebung liegenden Hindernis, bekommt.
-
Eine Umgebungsüberwachungsvorrichtung nach dem Oberbegriff des Anspruchs 1 ist aus
US 2010/0220190 A1 bekannt.
-
Vorrichtungen zur Erfassung von Hindernissen in der Umgebung eines Fahrzeugs sind ferner in
US 2010/0245578 A1 und
US 2009/0122140 A1 beschrieben.
-
Auflistung von Druckschriften
-
Patentliteratur
-
- Patentliteratur 1: japanische Patentanmeldungs-Offenlegungsschrift Veröffentlichungsnummer JP 2008095307 A
- Patentliteratur 2: japanische Patentanmeldungs-Offenlegungsschrift Veröffentlichungsnummer JP 2008248613 A
-
Aufgabe der Erfindung ist, eine Umgebungsüberwachungsvorrichtung zu schaffen, die es ermöglicht, Missverständnisse eines Benutzers über das in einem angezeigten Vogelperspektivenbild Dargestellte zu vermeiden.
-
Die Aufgabe wird gelöst durch eine Umgebungsüberwachungsvorrichtung nach Anspruch 1. Unteransprüche sind auf bevorzugte Weiterbildungen der Erfindung gerichtet.
-
Gemäß der Erfindung weist die Umgebungsüberwachungsvorrichtung der Betriebsmaschine außerdem eine Bildsynthetisiereinheit auf, die dazu ausgelegt ist, einen Buchstaben und/oder ein Bild (Diagramm) und/oder ein Symbol zum von der Vogelperspektivenbild-Erzeugungseinheit erzeugten Vogelperspektivenbild zu synthetisieren, um so ein synthetisiertes Bild zu erzeugen. Die Anzeigeeinheit zeigt das von der Bildsynthetisierungseinheit erzeugte Bild an. Mit dieser Konfiguration kann der Bediener augenblicklich und genau mit seinen Augen (durch visuelle Beobachtung) nicht nur erkennen, dass die Verbindungsflächenhöhe von der Referenzverbindungsflächenhöhe weg geändert wurde, sondern auch, wie stark die Verbindungsflächenhöhe geändert wurde. Da die Änderung zum Vogelperspektivenbild synthetisiert und angezeigt wird, sind Bewegungen der Blickrichtung des Bedieners minimiert. Auf diese Weise ist die Beobachtung einfach und kann einfach verstanden werden.
-
Eine Weiterbildung der Erfindung stellt eine weitere Umgebungsüberwachungsvorrichtung einer Betriebsmaschine bereit. Diese Verbindungsflächenhöhen-Setzeinheit führt die Verbindungsflächenhöhe auf eine Referenzverbindungsflächenhöhe (Standardverbindungsflächenhöhe) zurück, wenn eine vorbestimmte Zeit abgelaufen ist, wenn die Verbindungsflächenhöhe auf einen von der Referenzverbindungsflächenhöhe unterschiedlichen Wert gesetzt ist. Mit dieser Konfiguration ist es möglich, nachdem die Verbindungsflächenhöhe automatisch geändert (eingestellt) wurde, nach Maßgabe der Betriebsbedingung der Betriebsmaschine, es zu verhindern, dass der Bediener es missversteht, dass die geänderte Verbindungsflächenhöhe die Referenzverbindungsflächenhöhe ist.
-
Vorteile der Erfindung
-
Wenn das Vogelperspektivenbild der Umgebung der Betriebsmaschine von den durch die Kameras photographierten (aufgenommenen) Bildern erzeugt wird, erweitert die Erfindung die Anzeigebildregionen des Vogelperspektivenbilds über die Standarderweiterungsregion hinaus auf der Grundlage des gesetzten Werts der Verbindungsflächenhöhe und synthetisiert die extrahierten Anzeigebilder. So ist es möglich, ein dreidimensionales Objekt (Hindernis), das an oder in der Nähe der Grenzlinie zwischen zwei Anzeigebildern liegt, zuverlässig anzuzeigen. Dementsprechend kann es nicht passieren, dass relativ dünne und hohe Hindernisse (dreidimensionale Objekte), wie eine Person oder eine Stange, verschwinden. Der Bediener oder andere Personen können die Gegenwart eines Hindernisses sicher erkennen.
-
Figurenliste
-
- 1 ist eine allgemeine Darstellung eines hydraulischen Baggers (Aushubmaschine) 100, die für eine Ausführungsform der Erfindung eine beispielhafte Arbeitsmaschine ist.
- 2 ist ein Blockdiagramm einer beispielhaften Umgebungsüberwachungsvorrichtung 200 gemäß einer Ausführungsform der Erfindung.
- 3 ist ein Konzeptdiagramm, das Photographierregionen der jeweiligen Kameras 30 zeigt, die an einem Fahrzeugkörper angebracht sind.
- 4 ist ein Konzeptdiagramm, das beispielhaft die Erzeugung von Oberer-Blickpunkt-Bildern 35 von photographierten Bildern und die beispielhafte Synthese von Oberer-Blickpunkt-Bildern zeigt.
- 5 ist ein Satz von Konzeptdiagrammen, die zur Darstellung einer Folge von Bildbearbeitungen nützlich sind, um ein Oberer-Blickpunkt-Bild durch Anwendung einer Linsenverzerrungskorrektur und einer Blickpunkttransformation auf das Rohbild 31, wie es photographiert wurde, zu zeigen.
- 6 ist ein Konzeptdiagramm eines exemplarischen Vogelperspektivenbilds 300, das mit einer Verbindungsflächenhöhe von 0 m (Referenzhöhe) erzeugt wurde.
- 7 ist ein Konzeptdiagramm eines beispielhaften Vogelperspektivenbilds 300, das mit einer Verbindungsflächenhöhe von 0,5 m erzeugt wurde.
- 8 ist ein Konzeptdiagramm, das ein beispielhaftes Vogelperspektivenbild 300 zeigt, das mit einer Verbindungsflächenhöhe von 1,0 m erzeugt wurde.
- 9 ist ein Flussdiagramm, das eine Folge von Verarbeitungen zeigt, die gemäß der Ausführungsform der Erfindung von der Umgebungsüberwachungsvorrichtung 200 ausgeführt wird.
- 10 ist ein Satz von Konzeptdiagrammen, die unterschiedliche Anzeigeregionen (Extraktionsregionen) von Oberer-Blickpunkt-Bildern zeigen, wenn die Verbindungsflächenhöhe Z 0 m ist.
- 11 ist ein Satz von Konzeptdiagrammen, die unterschiedliche Anzeigeregionen (Extraktionsregionen) von Oberer-Blickpunkt-Bildern zeigen, wenn die Verbindungsflächenhöhe Z 1,0 m ist.
- 12 ist ein Flussdiagramm, das eine beispielhafte Folge von Bearbeitungen zum Setzen der Verbindungsflächenhöhe zeigt, wie sie von der Verbindungsflächenhöhen-Setzeinheit 211 ausgeführt wird.
- 13 ist ein Blockdiagramm einer anderen beispielhaften Umgebungsüberwachungsvorrichtung 200 nach einer anderen Ausführungsform der Erfindung.
- 14 ist ein Konzeptdiagramm, das die Beziehung zwischen der Arbeitsmaschine, also einem Muldenkipper 400, und der Verbindungsflächenhöhe Z zeigt.
- 15 ist ein Blockdiagramm einer Ausführungsform, wenn die Umgebungsüberwachungsvorrichtung 200 nach der Ausführungsform der Erfindung im Muldenkipper 400 verwendet wird.
- 16 ist ein Blockdiagramm einer Ausführungsform, wenn die Umgebungsüberwachungsvorrichtung 200 gemäß der Ausführungsform der Erfindung in einem Muldenkipper 400 verwendet wird. Dies ist ein Konzeptdiagramm.
- 17 ist ein Blockdiagramm einer beispielhaften Umgebungsüberwachungsvorrichtung 200 nach einer anderen Ausführungsform der Erfindung.
- 18 ist ein Konzeptdiagramm, das ein beispielhaftes synthetisiertes Bild zeigt, wenn Information (Ziffer), die für die Verbindungsflächenhöhe Z relevant ist, zum Vogelperspektivenbild 300 hinzukombiniert wird.
- 19 ist ein Konzeptdiagramm, das ein exemplarisches synthetisiertes Bild zeigt, wenn Information (Buchstabe), die relevant für die Verbindungsflächenhöhe Z ist, zum Vogelperspektivenbild 300 hinzukombiniert wird.
- 20 ist ein Konzeptdiagramm, das ein beispielhaftes synthetisiertes Bild zeigt, wenn Information (Balkendiagramm 302), die für die Verbindungsflächenhöhe Z relevant ist, zum Vogelperspektivenbild 300 hinzukombiniert wird.
- 21 ist ein Konzeptdiagramm, das ein beispielhaftes synthetisiertes Bild zeigt, wenn Information (Balkendiagramm 303), die relevant für die Verbindungsflächenhöhe Z ist, zum Vogelperspektivenbild 300 hinzukombiniert wird.
- 22 ist ein Konzeptdiagramm, das ein beispielhaftes synthetisiertes Bild zeigt, wenn Information (Zahl und Balkendiagramm 302), die relevant für die Verbindungsflächenhöhe Z ist, zum Vogelperspektivenbild 300 hinzukombiniert wird.
- 23 ist ein Konzeptdiagramm, das ein beispielhaftes synthetisiertes Bild zeigt, wenn Information (Zahl und Balkendiagramm 304), die relevant für die Verbindungsflächenhöhe Z ist, zum Vogelperspektivenbild 300 hinzukombiniert wird.
-
Art der Ausführung der Erfindung
-
Eine Ausführungsform der Erfindung wird nun bezugnehmend auf die beiliegenden Zeichnungen beschrieben. 1 stellt eine allgemeine perspektivische Ansicht eines hydraulischen Baggers (Aushebemaschine) 100 dar, der ein Beispiel einer Betriebsmaschine gemäß der Erfindung ist. Wie in der Zeichnung gezeigt, weist der hydraulische Bagger 100 als Hauptbestandteile einen unteren beweglichen Körper 10 und einen oberen Drehkörper 20 auf, der auf dem unteren beweglichen Körper 10 drehbar sitzt. Der untere bewegliche Körper 10 hat zwei Kettenantriebe 11 und 11, die vom (nicht gezeigten) Rahmen des beweglichen Körpers so gehalten sind, dass die Kettenantriebe 11 und 11 sich parallel zueinander erstrecken. Jeder der Kettenantriebe 11 und 11 ist mit einem hydraulisch betriebenen Motor 12 zum Fahren ausgestattet, der eine zugehörige Raupenkette (Kettenantriebskette) für die Fahrt antreibt.
-
Der obere Drehkörper 20 weist als Hauptbestandteil einen Maschinenraum 21 auf, der an einem (nicht gezeigten) Drehkörperrahmen angebracht ist, eine Kabine 22 für den Fahrer (Bediener) auf der linken Vorderseite des Maschinenraums 21, eine vordere Arbeitseinheit 23, die sich von rechts der Fahrerkabine 22 nach vorne erstreckt, und ein hinter dem Maschinenraum 21 angeordnetes Gegengewicht 24, um die vordere Arbeitseinheit 23 auszubalancieren. Der Maschinenraum 21 beherbergt verschiedene Maschinen und Teile, wie etwa einen Motor, eine Batterie und einen Treibstofftank.
-
Die Fahrerkabine 22 hat eine Kabine 22a, in die sich ein Fahrer (Bediener) begibt. In der Kabine 22a sind ein Betriebshebel (Manipulationshebel), ein Drehhebel, Messgeräte und Anzeigen angebracht, die dazu verwendet werden, die vordere Arbeitseinheit 23 zu bedienen, und ein Bildschirm zum Überwachen der Umgebung (wird weiter unten beschrieben). Die vordere Arbeitseinheit 23 hat als Hauptbestandteil einen sich vom Drehkörperrahmen nach vorne erstreckenden Ausleger 23a, einen am vorderen Ende des Auslegers 23a drehbar angebrachten Arm 23b und eine am vorderen Ende des Arms 23b drehbar angeordnete Schaufel. Der Ausleger 23a, der Arm 23b und die Schaufel 23c werden jeweils durch einen Auslegerzylinder 23d, einen Armzylinder 23e und einen Eimerzylinder 23f betätigt, die hydraulisch ausgefahren und eingezogen werden.
-
Vier Kameras 30a, 30b, 30c und 30d sind an den beiden Seiten des Maschinenraums 21, oben auf der Fahrerkabine 22 und oben auf dem Gegengewicht 24 so angebracht, dass sie kontinuierlich (ohne Lücken) die Blickfelder in den jeweiligen Richtungen photographieren oder aufzeichnen können. Insbesondere photographiert die Kamera 30a die rechte Seitengegend des oberen Drehkörpers 20 in einem Blickwinkel von etwa 180° (etwa 90° in die eine Richtung und 90° in die andere Richtung) kontinuierlich. Ausgehend von der Kamera ist die Photographierrichtung schräg abwärts gerichtet. Die Kamera 30b photographiert den linken Seitenbereich des oberen Drehkörpers 20 in einem Blickwinkel von etwa 180° (etwa 90° Drehung in die eine Richtung und 90° Drehung in die andere Richtung). Die Photographierrichtung ausgehend von der Kamera ist schräg abwärts gerichtet. Die Kamera 30c photographiert kontinuierlich den vorderen Bereich (Vorwärtsbereich) des oberen Drehkörpers 20 in einem Blickwinkel von etwa 180° (etwa 90° Drehung in die eine Richtung und etwa 90° Drehung in die andere Richtung). Ausgehend von der Kamera ist die Photographierrichtung schräg abwärts gerichtet. Die Kamera 30d photographiert kontinuierlich den rückwärtigen Bereich (hinteren Bereich) des oberen Drehkörpers 20 in einem Blickwinkel von etwa 180° (etwa 90° Drehung in die eine Richtung und etwa 90° Drehung in die andere Richtung). Die Photographierrichtung ausgehend von der Kamera ist schräg abwärts gerichtet.
-
Wie in 2 gezeigt, werden die von den Kameras 30a, 30b, 30c und 30d photographierten Bilder (Rohbilder) einer Anzeigensteuerung 210 der Umgebungsüberwachungsvorrichtung 200 dieser Ausführungsform der Erfindung zugeführt. Jede der Kameras 30a, 30b, 30c und 30d kann eine Weitwinkelvideokamera aufweisen, die ein Bildaufnahmeelement (etwa CCD oder CMOS) aufweist, das hinsichtlich Beständigkeit und Wetterwiderstandsfähigkeit (Wettersicherheit) hervorragend ist, und eine Weitwinkellinse, oder andere Arten von Photographiervorrichtungen. Nachfolgend wird der obere Drehkörper 20 mit den Kameras 30a, 30b, 30c und 30d darauf allgemein als „Fahrzeugkörper 20“ angesprochen.
-
2 zeigt ein Blockdiagramm der beispielhaften Umgebungsüberwachungsvorrichtung 200 gemäß der Ausführungsform der Erfindung, die im hydraulischen Bagger 100 eingebaut ist. Wie in 2 dargestellt, weist die Umgebungsüberwachungsvorrichtung 200 als Hauptbestandteile die Anzeigensteuerung 210 und eine Überwachungseinheit 220 zum Überwachen der Umgebung auf. Die Anzeigesteuerung 210 hat eine Verbindungsflächen-Setzeinheit 211, eine Einheit 212 zum Erzeugen eines Oberer-Blickpunkt-Bilds, und eine Vogelperspektivenbild-Erzeugungseinheit 213. Die Anzeigensteuerung 210 weist eine Bildverarbeitungs-LSI-Schaltung (Hardware-nicht gezeigt) auf, die eine CPU aufweist, ein RAM, ein ROM, eine Eingabe/Ausgabe-Schnittstelle und ähnliches. Die CPU verwendet verschiedene Daten, spezielle Bildverarbeitungsprogramme und andere Informationen, die im ROM vorab gespeichert werden und die in anderen Speichern gespeichert sind, und steuert die Funktionen der jeweiligen Einheiten 211-213.
-
Die Verbindungsflächenhöhen-Setzeinheit 211 empfängt ein Fahrzeugkörper-Steuerungssignal von einer Fahrzeugkörpersteuerung 230, die den hydraulischen Bagger 100 steuert, und entscheidet (setzt fest) eine hypothetische Verbindungsflächenhöhe, die verwendet wird, wenn eine Vogelperspektivenbild-Erzeugungseinheit 213 die Oberer-Blickpunkt-Bilder auf der Grundlage des empfangenen Steuerungssignals erzeugt. Es sei darauf hingewiesen, dass das Fahrzeugkörper-Steuerungssignal, das von der Fahrzeugkörpersteuerung 230 in die Verbindungsflächenhöhen-Setzeinheit 211 eingegeben wird, nicht auf ein bestimmtes Signal eingeschränkt ist. Beispielsweise kann das Fahrzeugkörper-Steuerungssignal Betriebssignale von einem Hebel 41 zum Fahren nach links, einem Hebel 42 zum Fahren nach rechts, einem Hebel 43 zum Drehen nach links, und einem Hebel 44 zum Drehen nach rechts, und einem Verriegelungshebel 45 aufweisen.
-
Die Erzeugungseinheit 212 für Oberer-Blickpunkt-Bilder erzeugt aus mehreren (vier) Rohbildern Oberer-Blickpunkt-Bilder, wobei die Rohbilder von den Kameras 30a, 30b, 30c und 30d jeweils beispielsweise mit einer Rate von 30 Bildern pro Sekunde aufgenommen (photographiert) werden. Die erzeugten Oberer-Blickpunkt-Bilder (Video, bewegliche Bilder) werden der Vogelperspektivenbild-Erzeugungseinheit 213 zugeführt. Wenn insbesondere die Erzeugungseinheit 212 für Oberer-Blickpunkt-Bilder Kompositsignale empfängt, wie etwa NTSC der Rohbilder von den Kameras 30a, 30b, 30c, 30d, wendet die Erzeugungseinheit 212 für Oberer-Blickpunkt-Bilder eine A/D-Umwandlung (analog nach digital) für die Kompositsignale an, um sie zu decodieren und RGB-Signale zu erhalten. Die RGB-Signale werden in einem besonderen Rahmenspeicher gespeichert. Dann wendet die Erzeugungseinheit 212 für Oberer-Blickpunkt-Bilder auf die RGB-Signale einen Linsenfehler-Korrekturvorgang an und wendet einen bekannten Bildtransformationsvorgang an (beispielsweise einen Ebenenprojektions-Transformationsvorgang unter Verwendung einer Homographie-Matrix oder eine andere Projektionsverarbeitung im dreidimensionalen Raum), um die Oberer-Blickpunkt-Bilder zu erhalten. Auf diese Weise werden die Rohbilder in Oberer-Blickpunkt-Bilder transformiert, wobei ihr Blickpunkt nach oben verschoben wird.
-
Die 3 und 5(a) - 5(c) sind Zeichnungen, die für die Beschreibung der von der Erzeugungseinheit 212 für Oberer-Blickpunkt-Bilder vorgenommenen Oberer-Blickpunkt-Bildumwandlung (Transformation) nützlich sind. In der 3 stellen die rechtwinkligen Bereiche E1, E2, E3 und E4 um den Fahrzeugkörper 20 herum Bereiche dar, die von den am Fahrzeugkörper 20 jeweils angebrachten Kameras 30a, 30b, 30c und 30d photographiert werden können. Die rechtwinkligen Bereiche E1, E2, E3 und E4 werden so photographiert, dass zwei benachbarte rechtwinklige Bereiche an ihren beiden Enden überlappen.
-
5(a) zeigt ein Beispiel des Rohbilds 31 des rechtwinkligen Bereichs E1, E2, E3 oder E4, das von der Kamera 30a, 30b, 30c oder 30d aufgenommen wird. Allgemein ist das Rohbild 31, das von jeder Kamera 30a, 30b, 30c, 30d aufgenommen wird, so verzerrt, dass die Mittenbereiche ausgeweitet und die Randbereiche geschrumpft sind, wie es allgemein durch die Gitterlinie 32 angedeutet ist, da der rechtwinklige Bereich mit einer Weitwinkellinse mit etwa 180° Blickwinkel photographiert wird. 5(b) zeigt ein Bild nach der Korrektur (korrigiertes Bild) 33, das den Linsenverzerrungs-Korrekturvorgang der Erzeugungseinheit 212 für Oberer-Blickpunkt-Bilder durchlaufen hat. Das korrigierte Bild 33 ist das Bild, das gemäß den Gesetzen der Perspektive ausgehend vom Blickpunkt jeder Kamera 30a, 30b, 30c, 30d korrigiert wird, wie es durch hypothetische Koordinatenlinien 34 einschließlich vertikaler und kreuzender Linien am Boden (Straßenoberfläche) dargestellt ist. Der Linsenverzerrungs-Korrekturvorgang wird beispielsweise durch die Pixelkoordinatentransformation unter Verwendung einer zugehörigen Pixeltransformationstabelle vorgenommen, die die Beziehung zwischen den Adressen der Pixel des Bilds vor der Transformation und den Adressen der Pixel des Bilds nach der Transformation beschreibt. Die Beziehung dieser Adressen wird beispielsweise vorab in einem Speicher gespeichert.
-
5(c) zeigt ein Oberer-Blickpunkt-Bild 35, nach dem die Blickpunkttransformationsverarbeitung an das Bodenbild 33 (Straßenoberfläche) angewendet wurde. Das Bild 33 wird vom Linsenverzerrungs-Korrekturvorgang aus 5(b) erzeugt. Das Oberer-Blickpunkt-Bild 35, das man aus dem Blickpunkt-Transformationsvorgang erhält, hat einen vom Fahrzeugkörperseitenbereich bis über das Fahrzeug hinaus verschobenen Blickpunkt. Die hypothetischen Koordinatenlinien 34 der 5(b) sind in hypothetische rechtwinklige Koordinatenlinien 36 transformiert. Dieser Blickpunkt-Transformationsvorgang wird auch von der Pixelkoordinatentransformation vorgenommen, die die dafür vorgesehene Pixeltransformationstabelle, die vorab im Speicher gespeichert wurde, verwendet.
-
Die Erzeugungseinheit 213 für Vogelperspektivenbilder extrahiert aus den wie oben beschrieben erzeugten Oberer-Blickpunkt-Bildern tatsächlich anzuzeigende Bilder. Die Erzeugungseinheit 213 für Vogelperspektivenbilder synthetisiert die extrahierten Bilder zur Erzeugung eines Vogelperspektivenbilds (Bewegtbild) der Umgebungen der Betriebsmaschine, die ein die Betriebsmaschine darstellendes Bild in der Mitte des Vogelperspektivenbilds hat. In 5(c) sind trapezförmige Extraktionsregionen e0 bis e100, die von gestrichelten Linien umrandet sind, Beispiele von Anzeigebildern (anzuzeigende Bilder), die von der Erzeugungseinheit 213 für Vogelperspektivenbilder von den Oberer-Blickpunkt-Bildern 35 extrahiert werden, nachdem überlappende Bereiche der Oberer-Blickpunkt-Bilder 35 ausgeschlossen (entfernt) werden, um ein leicht wahrnehmbares synthetisiertes Bild zu erhalten. Wie in 4 gezeigt, verbindet die Vogelperspektivenbild-Erzeugungseinheit 213 die Anzeigebilder e1 bis e4, die aus den vier Oberer-Blickpunkt-Transformationsbildern 35 extrahiert werden, ringförmig um das Bild G, das den hydraulischen Bagger 100 darstellt, sodass ein einziges kontinuierliches Vogelperspektivenbild 300 erzeugt wird, das die gesamte Umgebung des Fahrzeugkörpers zeigt. Das Bild G liegt in der Mitte der verbundenen Anzeige-Bilder e1 bis e4. Die Bilddaten des Vogelperspektivenbilds 300 werden an den Rahmenspeicher gesendet.
-
6 zeigt ein Beispiel des Vogelperspektivenbilds 300, das von der Vogelperspektivenbild-Erzeugungseinheit 213 erzeugt und an der Umgebungsüberwachungseinheit 220 angezeigt wird. Im Mittenbereich des Bilds 300 ist ein rechtwinkliger Anzeigebereich S definiert, um das Fahrzeugkörperbild G darzustellen, das den hydraulischen Bagger 100 darstellt. Das Fahrzeugkörperbild G wird vorab hergestellt. Das Bild 300 hat unabhängige trapezförmige Anzeigebereiche S1 bis S4 links und rechts des Anzeigebereichs S sowie vor und hinter dem Anzeigebereich S, wobei der Anzeigebereich S die Mitte bildet. Die Anzeigebilder e1 bis e4, die nach Maßgabe der zugehörigen Anzeigebereiche aus den Oberer-Blickpunkt-Bildern 35 extrahiert werden, werden jeweils in die Anzeigebereiche S1 bis S4 angeordnet (eingepasst).
-
Insbesondere wird das Anzeigebild der Extraktionsregion e1 aus dem Oberer-Blickpunkt-Bild 35R, das man aus dem photographierten Bild auf der rechten Seite des oberen Drehkörpers 20 erhält, das von der Kamera 30a, wie in 4 gezeigt, photographiert wird, in den Anzeigebereich S1 eingepasst. Das Anzeigebild der Extraktionsregion e2 aus dem Oberer-Blickpunkt-Bild 35L, das man aus dem photographierten Bild von der linken Seite des oberen Drehkörper 20 erhält, das von der Kamera 30b, wie in 4 gezeigt, photographiert wird, wird in den Anzeigebereich S2 eingepasst. Das Anzeigebild der Extraktionsregion e3 aus dem Oberer-Blickpunkt-Bild 35F, das man aus dem Bild vor dem oberen Drehkörper 20 erhält, das von Kamera 30c photographier wird, wie in 4 gezeigt, wird in den Anzeigebereich S3 eingepasst. Das Anzeigebild der Extraktionsregion e4 aus dem Oberer-Blickpunkt-Bild 35B, das man aus dem Bild hinter dem oberen Drehkörper 20 erhält, das von der Kamera 30d photographiert wird, wie in 4 gezeigt, wird in den Anzeigebereich S4 eingepasst. Als Ergebnis erkennt man im beispielhaften Vogelperspektivenbild 300 der 6, dass zumindest zwei Personen P2 und P3 in Richtung hinten schräg rechts bezüglich des hydraulischen Baggers 100 vorhanden sind.
-
Die Umgebungsüberwachungseinheit 220 empfängt das Vogelperspektivenbild 300 des Gesamtumgebungsbilds um den Fahrzeugkörper herum, das von der Vogelperspektivenbild-Erzeugungseinheit 213 erzeugt wird, und zeigt das Vogelperspektivenbild an. Insbesondere speichert die Umgebungsüberwachungseinheit 220 die Daten des empfangenen Vogelperspektivenbilds 300 im Ausgangsrahmenspeicher, codiert die Daten (RGB-Signale) des synthetisierten Bilds in Kompositsignale, wendet die D/A(Digital-zu-Analog)-Wandlung an die Kompositsignale an, und zeigt die sich ergebenden Signale an der Anzeigeeinheit 221 an. Es sei darauf hingewiesen, dass die Umgebungsüberwachungseinheit 220 die Anzeigeeinheit 221 und eine Eingabeeinheit 222 aufweist. Ein Bediener (Fahrer) bedient die Eingabeeinheit 222, um verschiedene Funktionen durchzuführen. Beispielsweise bedient der Bediener die Eingabeeinheit 222, um die Energiezufuhr an- bzw. auszuschalten. Die Eingabeeinheit 222 kann auch dazu verwendet werden, das angezeigte synthetisierte Bild zu vergrößern, zu verkleinern und zu rotieren (drehen), und die Anzeigeregion des synthetisierten Bilds zu ändern. Die Eingabeeinheit 222 kann auch dazu verwendet werden, zwischen einem Normalmodus zur Anzeige eines von der Kamera photographierten Bilds und einem Dualmodus zur Anzeige zweier Bilder auf einem einzigen Bildschirm umzuschalten.
-
Die Funktionsweise der Umgebungsüberwachungsvorrichtung 200 dieser Ausführungsform mit der oben beschriebenen Konfiguration wird bezugnehmend auf das Flussdiagramm der 9 beschrieben. Zuerst führt die Anzeigesteuerung 210 der Umgebungsüberwachungsvorrichtung 200 eine anfängliche Systemüberprüfung durch, nachdem sie elektrische Leistung von einer Leistungsquelle erhält (beim Anschalten der Leistungsversorgung). Wenn die Anzeigesteuerung 210 der Umgebungsüberwachungsvorrichtung 200 keine Abnormalität findet, geht sie zum ersten Schritt (Schritt S100). Im Schritt S100 werden die Umgebungen des Fahrzeugs mit den vier Kameras 30a, 30b, 30c und 30d, die in die vier Richtungen des Fahrzeugkörpers 20 gerichtet (ausgerichtet) sind, wie oben beschrieben, photographiert, sodass man die Bilder der Umgebungen um den Fahrzeugkörper 20 erhält. Die Anzeigesteuerung 210 geht dann zum nächsten Schritt (Schritt S102).
-
Im Schritt S102 durchlaufen die vier Rohbilder 301, die man durch das Photographieren erhält, den Oberer-Blickpunkt-Konversions-(Transformations-)Vorgang wie oben beschrieben, um die jeweiligen Oberer-Blickpunkt-Bilder 35 zu erzeugen (5(c)). Die Anzeigesteuerung 210 geht dann zum Schritt S104. In Schritt S104 wird bestimmt, ob das Setzen der Verbindungsflächenhöhe Z eine Änderung aufweist oder nicht, also ob die Verbindungsflächenhöhe anders ist als die Höhe der Referenzextraktionsregion. Wenn festgestellt wird, dass das Setzen der Verbindungsflächenhöhe Z keine Änderung aufweist (Nein), springt die Anzeigesteuerung 210 zum Schritt S108. Wenn festgestellt wird, dass das Setzen der Verbindungsflächenhöhe Z eine Änderung enthält (Ja), geht die Anzeigesteuerung 210 zum Schritt S106.
-
Im Schritt S106 wird die Extraktionsregion eines jeden Oberer-Blickpunkt-Bilds 35 (also Anzeigebilds) auf der Grundlage des auf die Verbindungsflächenhöhe Z angewendeten Korrekturwerts eingestellt (wird weiter unten beschrieben). Die Anzeigesteuerung 210 geht dann zum Schritt S108, um das Vogelperspektivenbild zu erzeugen. Im Schritt S110 bewirkt die Anzeigesteuerung 210, dass die Umgebungsüberwachungseinheit 220 das Vogelperspektivenbild anzeigt und beendet die Verarbeitung.
-
Der Begriff „Verbindungsflächenhöhe Z“ in Schritt S104 verwendet als Referenz die Extraktionsregion auf der momentanen Bodenoberfläche (Höhe ist 0 m) (Referenzextraktionsregion). Die Verbindungsflächenhöhe Z des Extraktionsbereichs der Oberer-Blickpunkt-Bilder 35 wird ausgehend von der Referenzextraktionsregion berechnet. Die Verbindungsflächenhöhe Z ist eine hypothetische Bodenhöhe. Beispielsweise kann die Verbindungsflächenhöhe Z auf einen von mehreren Werten wie etwa 0,5 m oder 1,0 m gesetzt werden. Das in 6 gezeigte Vogelperspektivenbild wird durch die Anzeigebilder erzeugt, die extrahiert werden, wenn die Verbindungsflächenhöhe Z 0 m ist (wenn die tatsächliche Bodenfläche (Höhe ist 0 m) verwendet wird). In diesem Fall werden die zwei Personen P2 und P3 klar und vollständig in Richtung diagonal rechts hinten ausgehend vom hydraulischen Bagger 100 angezeigt. Bezüglich einer anderen Person P1, die sich an der Grenzlinie in Richtung hinten schräg links befindet, werden allerdings nur die Füße der Person angezeigt. Der größte Teil der Person P1 verschwindet, und es ist schwierig, die Gegenwart der Person P1 zu erkennen.
-
Der Grund dafür, dass nur die Füße der Person P1 im Vogelperspektivenbild 300 der 6 gezeigt werden, ist, dass die vier Anzeigebilder aus den vier Oberer-Blickpunkt-Bildern 35 unter Verwendung der Extraktionsregion e0 ( 5(c)) jeweils extrahiert werden und jeweils einfach in die Anzeigebereiche S1 bis S4 des Vogelperspektivenbilds 300 eingepasst werden. Die Anzeigebilder (extrahierten Bilder) überlappen an ihren Grenzen kaum, wenn die Anzeigebilder verbunden (kombiniert) werden, um das Vogelperspektivenbild zu erhalten. Wenn die Person P1 auf oder in der Nähe der Grenzlinie zwischen den zwei Standard-(Referenz)-Extraktionsregionen (Anzeigebildregionen) der zwei Oberer-Blickpunkt-Bilder ist (steht), die durch zwei benachbarte Kameras photographiert wurden (z. B. Kameras 30b und 30d, wie in 10(a) bis 10(c) gezeigt), ist die gesamte Figur (Form) der Person P1 in den Oberer-Blickpunkt-Bildern vor der Extraktion enthalten, aber der größte Teil der Person P1 wird auf die Außenseite der Anzeigeregionen gelegt, da die Standardextraktionsregion e0 verwendet wird und die Oberer-Blickpunkt-Bilder (nach Extraktion) an der Grenzlinie nicht überlappen. Wenn die Anzeigebilder, die entsprechend der Standardextraktionsregion e0 extrahiert werden, synthetisiert werden, um ein Vogelperspektivenbild zu erzeugen, werden an der Grenze zwischen den Anzeigebildern des synthetisierten Bilds nur die Füße der Person P1 angezeigt. Dies führt zu der Möglichkeit, dass der Fahrer (Bediener) die Gegenwart der Person P1 an oder in der Nähe der Grenzlinie zwischen den Extraktionsregionen der Oberer-Blickpunkt-Bilder versehentlich übersieht, obwohl die Person P1 dort ist.
-
Um dies zu verhindern, weist die Ausführungsform der Erfindung die Grenzflächen-Setzeinheit 211 auf, um eine hypothetische Verbindungsflächenhöhe zu setzen (zu entscheiden). In Schritt S106 wird eine hypothetische Bodenhöhe höher als die tatsächliche Bodenoberflächenhöhe (Z = 0,0 m), die die Referenzhöhe ist, als eine hypothetische Verbindungsflächenhöhe Z gesetzt (beispielsweise 1,0 m über dem Boden; Z = 1,0 m). Dann wird diese hypothetische Grundfläche als Grundfläche angenommen, wenn die Extraktionsregionen der jeweiligen Oberer-Blickpunkt-Bilder gesetzt (entschieden) werden. Wenn man dies macht, sind zumindest Fuß bis Brustkorb der Person P1, die an oder in der Nähe der Grenzlinie zwischen den Oberer-Blickpunkt-Bildern, die von den Kameras 30b und 30d photographiert wurden, steht, als Beispiel in den Extraktionsregionen der Oberer-Blickpunkt-Bilder enthalten, wie in den 11(a) bis 11(c) gezeigt. Wenn dann das Vogelperspektivenbild erzeugt wird, überlappen die extrahierten Bilder an der Grenzlinie ausreichend, wie in 11(c) gezeigt, und das synthetisierte Bild wird angezeigt. Dadurch wird der Fahrer (Bediener) die Person P1 nicht unbeabsichtigt übersehen.
-
7 zeigt ein Beispiel des Vogelperspektivenbilds 300, wenn die Verbindungsflächenhöhe Z auf 0,5 m gesetzt ist, und 8 zeigt ein Beispiel eines Vogelperspektivenbilds 300, wenn die Verbindungsflächenhöhe Z auf 1,0 m gesetzt ist. Wenn, wie in 6 gezeigt, die Verbindungsflächenhöhe Z 0 m ist (ohne Änderung), werden nur die Füße (Knöchel) der Person P1 in der Nähe der Grenzlinie in Richtung diagonal hinten links bezüglich des hydraulischen Baggers 100 angezeigt. Wenn dagegen die Verbindungsflächenhöhe Z, wie in 7 gezeigt, 0,5 m ist, wird die Person P1 vom Fuß bis zum Knie angezeigt. Wenn die Verbindungsflächenhöhe Z 1,0 m ist, wie in 8 gezeigt, wird die Person P1 vom Fuß bis zum Brustkorb angezeigt. Bei diesem Anzeigegrad kann die Gegenwart einer Person an oder in der Nähe der Grenzlinie in der Richtung diagonal schräg links hinten bezüglich des hydraulischen Baggers 100 auf der Umgebungsüberwachungseinheit 220 klar wahrgenommen werden. Wenn die Verbindungsflächenhöhe Z höher wird, werden mehr Teile der Person P1, die sich in der Nähe der Grenzlinie befindet, angezeigt. Gleichzeitig wird jedoch die Größe der Person und eines Hindernisses kleiner (d.h., dass die Person und das Hindernis schwieriger zu sehen sind), wenn die Verbindungsflächenhöhe Z höher wird. Im Hinblick auf diese Tatsache ist es zu bevorzugen, dass die Verbindungsflächenhöhe Z höchstens etwa 2,0 m (Z = 2,0 m) über dem Boden ist. Die gestrichelt gezeichneten Rechtecke L in den 6 bis 8 sind die Linie, die den Abstand (beispielsweise 1,0 m) von der äußeren Kante der Betriebsmaschine G anzeigen. In den Vogelperspektivenbildern 300 der 6 bis 8 sieht man, dass die Person P1, die mit einem Abstand von etwa 1,0 m in Richtung links hinten bezüglich des hydraulischen Baggers 100 steht, deutlicher wahrnehmbar wird, wenn die Verbindungsflächenhöhe höher wird. Gleichzeitig gelangt die Linie L näher an den Mittenbereich, wenn die Verbindungsflächenhöhe Z zunimmt. Diese macht die Personen P2 und P3 kleiner.
-
Wenn die Verbindungsflächenhöhe Z in der oben beschriebenen Weise geändert (eingestellt) wird, dehnt sich die Extraktionsregion über die normale Extraktionsregion (e0) hinaus aus, wie in 5(c) gezeigt, sodass das Anzeigebild größer wird. Das vergrößerte Anzeigebild passt nicht in den zugehörigen Anzeigebereich S1, S2, S3, S4 des Vogelperspektivenbilds 300, wenn keine Anpassung an das vergrößerte Anzeigebild vorgenommen wird. Wenn die Verbindungsflächenhöhe Z geändert wird, wird zur Behandlung dieses Problems die Verarbeitung zur Verkleinerung der Extraktionsregion so weit benötigt, dass die verkleinerte Extraktionsregion zur Standardextraktionsregion e0 (Standardregion) mit Verbindungsflächenhöhe Z von 0 m passt. Im in 5(c) gezeigten Beispiel ist die Extraktionsregion e50 mit einer Verbindungsflächenhöhe Z von 0,5 m größer als die Extraktionsregion e0 mit Verbindungsflächenhöhe Z von 0 m (Standardregion), und die Extraktionsregion e100 mit Verbindungsflächenhöhe Z von 1,0 m ist noch einmal größer. Wenn dementsprechend ein Vogelperspektivenbild 300 unter Verwendung der Anzeigebilder mit Extraktionsregionen e50 oder e100 erzeugt wird, ist es nötig, die Verarbeitung zur Verkleinerung (Einstellung) der Anzeigebilder der Extraktionsregionen e50, e100 nach Maßgabe der Standardextraktionsregion e0 (zur Anpassung an deren Größe) auszuführen.
-
Wenn die Verbindungsflächenhöhe Z geändert wird, sodass sie höher als die normale (Standard-)Höhe wird, wie oben beschrieben, ist es möglich, im Vogelperspektivenbild 300 ein großes dreidimensionales Objekt (Hindernis) wie eine Person oder eine Stange selbst dann zuverlässig darzustellen, wenn sich das große dreidimensionale Objekt in der Nähe der Grenzlinie im Vogelperspektivenbild 300 befindet.
-
Wie oben erläutert, wird das Hindernis, wenn die Verbindungsflächenhöhe Z zu einer größeren Höhe hin geändert (erhöht) wird, mit kleinerer Größe angezeigt und/oder das Hindernis wird in überlappender Weise in der Nähe der Grenzlinie zwischen den zwei Bildern angezeigt. Deshalb ist es möglich, den Betrag der Änderung (Änderungswert), der auf die Verbindungsflächenhöhe Z angewendet wird, nach Maßgabe gegebener Bedingungen geeignet einzustellen. Wenn beispielsweise die Betriebsmaschine, in der die Umgebungsüberwachungsvorrichtung 200 nach der Ausführungsform der Erfindung vorhanden ist, der hydraulische Bagger 100 wie in 1 gezeigt ist, ist die Verbindungsflächenhöhe Z zum Zeitpunkt des Deaktivierens des hydraulischen Baggers 100 auf dem Standard(Referenz)wert (0 m) gesetzt, und die Verbindungsflächenhöhe Z kann auf eine gewünschte Verbindungsflächenhöhe Z (beispielsweise 1,0 m) geändert werden, was auf die Aktivierung des hydraulischen Baggers 100 hin oder später manuell von einem Bediener umgeschaltet (geändert) wird. Die gewünschte Verbindungsflächenhöhe kann durch den Bediener festgelegt werden. Die Anzeigesteuerung 210 kann das Ergebnis der Änderung an die Umgebungsüberwachungseinheit 220 senden, um das Ergebnis der Änderung an der Umgebungsüberwachungseinheit 220 darzustellen.
-
Insbesondere kann die Eingabeeinheit 222 der Umgebungsüberwachungseinheit 220 oder eine andere Einheit eine Umschalteinheit 223 mit zwei Schaltern aufweisen. Einer der zwei Schalter ermöglicht es dem Bediener, die Verbindungsflächenhöhe Z manuell auf einen höheren Wert zu ändern, und der andere Schalter ermöglicht es dem Bediener, die Verbindungsflächenhöhe Z manuell auf einen geringeren Wert zu ändern. Wenn der Bediener in der Fahrerkabine 22 die Umschalteinheit 223 manuell bedient, ändert die Verbindungsflächenhöhen-Setzeinheit 211 der Anzeigesteuerung 210 die Verbindungsflächenhöhe Z auf den Empfang eines Verbindungsflächenhöhen-Änderungssignals von der Umschalteinheit 223 der Umgebungsüberwachungseinheit 220 hin. Damit kann der Bediener die Verbindungsflächenhöhe Z beliebig ändern.
-
Wenn beispielsweise der Bediener einen der Schalter der Umschalteinheit 223, der die Vergrößerung der Verbindungsflächenhöhe Z bewirkt, schrittweise (zweimal) drückt, wird die Verbindungsflächenhöhe Z von der Standard(Referenz)höhe (0 m) auf 0,5 m erhöht, und wird dann von 0,5 m auf 1,0 m erhöht. Auf diese Weise kann eine schrittweise Erhöhung gemacht werden. Wenn der Bediener den anderen Schalter der Umschalteinheit 223, der die Verringerung der Verbindungsflächenhöhe Z auslöst, schrittweise (zweimal) drückt, wird die Verbindungsflächenhöhe Z von 1,0 m auf 0,5 m verringert, und dann von 0,5 m auf die Standardhöhe (0 m) verringert. Auf diese Weise kann eine schrittweise Verringerung bewirkt werden.
-
Nachdem die Verbindungsflächenhöhe Z manuell in der oben beschriebenen Weise geändert wurde, kann die Verbindungsflächenhöhe Z automatisch auf die Referenzhöhe (0 m) zurückgeführt werden, um beim Bediener das Missverständis zu vermeiden, dass die geänderte Verbindungsflächenhöhe Z die Referenzhöhe (0 m) ist. Insbesondere kann, wie in 2 gezeigt, ein (nicht gezeigter) Zeitgeber in der Umgebungsüberwachungseinheit 220 vorgesehen sein, und die Umgebungsüberwachungseinheit 220 kann ein Schaltsignal an die Verbindungsflächenhöhen-Setzeinheit 211 senden, wenn eine durch den Zeitgeber gesetzte Zeit (vorgeschriebene Zeit) verstrichen ist. Dieses Schaltsignal ist ein Verbindungsflächenhöhen-Schaltsignal zur Änderung der momentanen Verbindungsflächenhöhe Z auf die Referenzhöhe (0 m). Auf den Empfang des Verbindungsflächenhöhen-Schaltsignals hin, kann die Verbindungsflächenhöhen-Setzeinheit 211 die momentane Verbindungsflächenhöhe Z auf die Referenzhöhe (0 m) in Antwort auf das Verbindungsflächenhöhen-Schaltsignal zurücksetzen.
-
Es wird darauf hingewiesen, dass die Verbindungsflächenhöhe Z automatisch nach Maßgabe von Betriebsbedingungen (Laufbedingungen) des hydraulischen Baggers 100 eingestellt werden kann. Beispielsweise kann, wie in 2 gezeigt, die Verbindungsflächenhöhe Z automatisch von der Referenzhöhe (0 m) auf 1,0 m geändert werden, wenn die Verbindungsflächenhöhen-Setzeinheit 211 von der Fahrzeugkörpersteuerung 230 ein Signal erhält, das auf die Betätigung eines der Rechts-/Links-Hebel 41 und 42 für das Fahren, der Rechts-/Links-Hebel 43 und 44 für das Drehen oder des Verriegelungshebels 45 oder auf die Betätigung von zwei (oder mehreren) dieser Hebel in Kombination hin erzeugt wird.
-
12 zeigt einen beispielhaften Vorgang zum Setzen der Verbindungsflächenhöhe, der in der oben beschriebenen Weise in der Verbindungsflächenhöhen-Setzeinheit 211 ausgeführt wird. Zuerst fragt die Verbindungsflächenhöhen-Setzeinheit 211 die Fahrzeugbedingungen (Fahrzeugkörperinformationen) bei der Fahrzeugkörpersteuerung 230 im ersten Schritt des Vorgangs (S200) ab, um festzustellen, ob als Ergebnis der Betätigung eines oder mehrerer der Hebel 41 und 42 zum Fahren, der Hebel 43 und 44 zum Drehen und des Verriegelungshebels 45 ein Signal erzeugt wurde oder nicht. Wenn es kein Signal gibt, das die Betätigung eines der Hebel anzeigt (keine Fahrzeugkörperinformation (Nein), springt die Verbindungsflächenhöhen-Setzeinheit 211 zum Schritt S204. Wenn es ein die Betätigung eines oder mehrerer Hebel anzeigendes Signal gibt (Fahrzeugkörperinformationen (Ja) geht die Verbindungsflächenhöhen-Setzeinheit 211 zum Schritt S202, um die Verbindungsflächenhöhe Z ausgehend von der Referenzhöhe (0 m) automatisch auf 1,0 m zu setzen, und geht dann zum nächsten Schritt (Schritt S204).
-
Im Schritt S204 fragt die Verbindungsflächenhöhen-Setzeinheit 211 ab, ob das Schaltsignal zum Umschalten der Verbindungsflächenhöhe Z mittels manueller Betätigung von der Umgebungsüberwachungseinheit 220 empfangen wurde. Wenn das Schaltsignal nicht empfangen wurde (Nein), springt die Verbindungsflächenhöhen-Setzeinheit zum Schritt S208. Wenn das Schaltsignal empfangen wurde (Ja), geht die Verbindungsflächenhöhen-Setzeinheit 211 zum Schritt S206, um die Verbindungsflächenhöhe Z auf das Schaltsignal hin zu ändern, und geht dann zum nächsten Schritt (Schritt S208). Im Schritt S208 sendet die Verbindungsflächenhöhen-Setzeinheit 211 den gesetzten Wert oder den geänderten Wert an die Vogelperspektivenbild-Erzeugungseinheit 213 und geht zum folgenden Schritt (Schritt S210). Die Vogelperspektivenbild-Erzeugungseinheit 213 legt nach Maßgabe des gesetzten Werts oder des geänderten Werts die Anzeigebereiche (Extraktionsregionen) der jeweiligen Oberer-Blickpunkt-Bilder 35 fest und erzeugt, wie oben beschrieben, das Vogelperspektivenbild 300.
-
Im Schritt S210 fragt die Verbindungsflächenhöhen-Setzeinheit 211 das Signal von einem Zeitgeber der Umgebungsüberwachungseinheit 220 ab. Wenn die Verbindungsflächenhöhen-Setzeinheit 211 ein Signal empfängt, das die Tatsache anzeigt, dass die vom Zeitgeber gesetzte Zeit (vorgeschriebene Zeit) abgelaufen ist (Ja), geht sie zum Schritt S212, um den gesetzten Wert (0 m) der Referenzverbindungsflächenhöhe Z an die Vogelperspektivenbild-Erzeugungseinheit 213 zu senden, und geht dann zum ersten Schritt (Schritt S200) zurück. Mit dieser Schleife ist es möglich, es automatisch zu bewirken, dass die Verbindungsflächenhöhe Z auf die Referenzhöhe (0 m) zurückgeführt wird, wenn eine vorgeschriebene Zeit verstrichen ist, selbst wenn sich die Verbindungsflächenhöhe Z ändert.
-
Die 13 bis 23 zeigen andere Ausführungsformen der Umgebungsüberwachungsvorrichtung 200 nach der Erfindung. In der Ausführungsform der 13 weist die Anzeigesteuerung 210 außerdem einen Kamera-Eingabeteil 214 und eine Hindernis-Erkennungseinheit 215 auf und sendet die von den Kameras 30a, 30b, 30c und 30d photographierten Bilder zur Erzeugungseinheit 212 für Oberer-Blickpunkt-Bilder und über den Kamera-Eingabeteil 214 zur Hindernis-Erkennungseinheit 215. Die Anzeigesteuerung 210 erfasst (bestimmt) die Anwesenheit/Abwesenheit eines Hindernisses durch Verarbeitung der in die Hindernis-Erkennungseinheit 215 eingegebenen Bilder. Wenn in der Nähe (in der Nähe der Umgebungsüberwachungsvorrichtung) ein Hindernis erfasst wird, veranlasst die Umgebungsüberwachungsvorrichtung 200 die Verbindungsflächenhöhen-Setzeinheit 211 dazu, die Verbindungsflächenhöhe Z auf der Grundlage der Information des erfassten Hindernisses zu ändern. Dementsprechend ist es möglich, ein Hindernis im Vogelperspektivenbild 300 zuverlässig darzustellen, wenn um den Fahrzeugkörper 20 herum ein Hindernis vorhanden ist.
-
14 zeigt eine andere Ausführungsform. In 14 ist die Betriebsmaschine, die mit der Umgebungsüberwachungsvorrichtung 200 nach der Erfindung ausgestattet ist, ein großer (Heavy-Duty-)Muldenkipper 400. In dieser Ausführungsform ist die Verbindungsflächenhöhe Z vor dem Anlassen das Motors auf den Referenzwert (0 m) gesetzt. Auf einen bestimmten Anlass hin, beispielsweise das Anlassen des Motors oder ähnliches, kann die Verbindungsflächenhöhe Z automatisch geändert werden auf beispielsweise 1,0 m.
-
Insbesondere wird, wie in 15 gezeigt, die Fahrzeugkörperinformation von der an einen Muldenkipper angepassten Fahrzeugkörpersteuerung 240 in die Verbindungsflächenhöhen-Setzeinheit 211 in der Anzeigensteuerung 210 eingegeben. Die Verbindungsflächenhöhen-Setzeinheit 211 kann nach Maßgabe einer Betriebsbedingung, wie das Anlassen des Motors 50, das Anschalten einer Energieversorgung 51, das Lösen einer Feststellbremse 52, einer Getriebepositionsänderung aus der neutralen Position (N) heraus auf Fahrposition (D) mittels eines Schalthebels 53, einer Getriebepositionsänderung aus der neutralen Position heraus zur Rückwärtsposition (R) mittels eines Schalthebels 53, Erfassen des Beginns des Fahrens mittels eines Geschwindigkeitssensors 54 oder ähnliches, die Verbindungsflächenhöhe Z automatisch von 0 m auf 1,0 m ändern.
-
Nachdem die Verbindungsflächenhöhen-Setzeinheit Z von 0 m auf 1,0 m geändert wurde, kann die erfasste Fahrgeschwindigkeit in die Verbindungsflächenhöhen-Setzeinheit 211 von der Fahrzeugkörpersteuerung 240 eingegeben werden, wenn die vom Geschwindigkeitssensor 54 erfasste Geschwindigkeit beispielsweise 10 km/h überschreitet. Diese Geschwindigkeit zeigt an, dass sich der Fahrzeugkörper mit zunehmender Geschwindigkeit im Arbeitsumfeld bewegt. Auf die Information der Fahrgeschwindigkeit hin kann die Verbindungsflächenhöhen-Setzeinheit 211 die Verbindungsflächenhöhe Z automatisch auf 0 m zurückführen. Es sei darauf hingewiesen, dass der Bediener, der die Eingabeeinheit 222 der Umgebungsüberwachungseinheit 220 bedient, entscheiden kann, ob diese automatische Rückführung stattfindet oder nicht.
-
Alternativ kann, wie in 16 gezeigt, die Anzeigesteuerung 210 einen Kamera-Eingabeteil 214 und eine Hindernis-Erkennungseinheit 215 derart aufweisen, dass die von den Kameras 30a, 30b, 30c und 30d photographierten Bilder in die Erzeugungseinheit 212 für Oberer-Blickpunkt-Bilder eingegeben werden und über den Kamera-Eingabeteil 214 in die Hindernis-Erfassungseinheit 215. Die Hindernis-Erfassungseinheit 215 verarbeitet die eingegebenen Bilder und erfasst die Anwesenheit/Abwesenheit eines Hindernisses. Wenn die Hindernis-Erfassungseinheit 215 ein Hindernis in der Nähe des Muldenkippers erfasst, kann die Verbindungsflächenhöhen-Setzeinheit 211 die Verbindungsflächenhöhe Z nach Maßgabe der Information des erfassten Hindernisses ändern.
-
Das Verfahren zur Erfassung des Hindernisses mittels der Hindernis-Erfassungseinheit 215 ist nicht auf die oben beschriebene Bildbearbeitung beschränkt. Herkömmliche Technologien selbst können auch verwendet werden. Beispielsweise können, wie in den Zeichnungen gezeigt, Hindernis-Erfassungssensoren 60a, 60b, 60c und 60d verwendet werden, wie etwa ein Millimeterwellen-Radar und/oder Ultraschall-Radar, die um den Fahrzeugkörper 20 herum angebracht sind. Wenn die Hindernis-Erkennungssensoren 60a, 60b, 60c und 60d ein Hindernis erfassen, kann die Verbindungsflächenhöhen-Setzeinheit 211 die Verbindungsflächenhöhe Z von 0 m auf 1,0 m nach Maßgabe der Information des erfassten Hindernisses ändern.
-
Der Betrag (Wert) der an der Verbindungsflächenhöhe Z vorzunehmenden Änderung kann nach Maßgabe des Typs (Art) oder der Größe des von der Hindernis-Erkennungseinheit 215 erkannten Hindernisses gewählt oder umgeschaltet (erhöht oder verringert) werden. Wenn beispielsweise das erfasste Hindernis eine Person oder ähnliches ist, kann die Verbindungsflächenhöhe Z auf 1,0 m (oder 0,5 m) geändert werden, und wenn das erfasste Hindernis ein Fahrzeug, wie etwa ein Servicefahrzeug oder ähnliches ist, kann die Verbindungsflächenhöhe Z auf 0,5 m (oder 1,0 m) geändert werden.
-
Mit der Information des erfassten Hindernisses kann der Typ des Hindernisses von der Hindernis-Erkennungseinheit 215 einfach bestimmt werden. Beispielsweise kann eine Signalsendevorrichtung 80 am Helm oder ähnlichem eines Arbeiters, wie in 16 gezeigt, befestigt werden. Ein Funksignal mit einer bestimmten Frequenz, das von der Signalsendevorrichtung 80 ausgesendet wird, wird durch Funksignaltyp-Hinderniserkennungssensoren 70a, 70b, 70c und 70d, die um den Fahrzeugkörper 20 herum angebracht sind, erfasst. Anhand der vom Signal getragenen Information, etwa der Frequenz des Signals, ist es einfach möglich zu bestimmen, ob das Hindernis eine Person ist oder nicht.
-
Wenn die Verbindungsflächenhöhe Z automatisch auf der Grundlage des erfassten Signals, das die Erfassung eines Hindernisses darstellt, und/oder auf der Grundlage der Fahrzeugkörperinformation von der Fahrzeugkörpersteuerung 240 automatisch geändert wird, kann die Verbindungsflächenhöhe Z automatisch auf den Referenzzustand zurückgeführt werden, wenn eine vorbeschriebene Zeit verstrichen ist, etwa beim manuellen Ändern der Verbindungsflächenhöhe oder wenn das Erfassungssignal oder die Fahrzeugkörperinformation nicht vorhanden sind. Die automatische Rückführung kann der Bediener nach seinem Ermessen wählen.
-
Wenn die Verbindungsflächenhöhe Z automatisch oder manuell wie oben beschrieben geändert wird, kann die geänderte Verbindungsflächenhöhe Z so angezeigt werden, dass der Bediener die geänderte Verbindungsflächenhöhe Z erkennen kann. 17 zeigt eine Konfiguration, die zusätzliche eine Bildsynthetisiereinheit 216 in der Anzeigensteuerung 210 der 2 aufweist. Die Bildsynthetisiereinheit 216 erzeugt ein synthetisiertes Bild, das durch Synthetisieren der Information des durch die Verbindungsflächenhöhen-Setzeinheit 211 an die Verbindungsflächenhöhe Z angewendeten Änderungswerts mit dem Vogelperspektivenbild 300 aus der Vogelperspektivenbild-Erzeugungseinheit 213 erzeugt wird. Die Bildsynthetisiereinheit 216 sendet das synthetisierte Bild zur Umgebungsüberwachungseinheit 220, und die Umgebungsüberwachungseinheit 220 zeigt das synthetisierte Bild an.
-
Die 18 bis 23 zeigen beispielhafte synthetisierte Bilder, die durch die Bildsynthetisierungseinheit 216 erstellt und in der Umgebungsüberwachungseinheit 220 jeweils angezeigt werden. 18 zeigt konkrete Zeichen (Buchstaben, Ziffer) zur Anzeige der geänderten Verbindungsflächenhöhe Z. Die Zeichen werden mit dem Vogelperspektivenbild 300 synthetisiert und dort oben links angezeigt. Mit einer solchen Anzeige kann der Bediener augenblicklich und genau in Form konkreter Zeichen und durch visuelle Beobachtung (mit seinen Augen) erkennen, dass nicht nur die Verbindungsflächenhöhe Z des Vogelperspektivenbilds 300 gegenüber der Referenzverbindungsflächenhöhe geändert (eingestellt) wurde, sondern auch um wieviel die Verbindungsflächenhöhe Z geändert wurde. Da die Zeichen in das Vogelperspektivenbild 300 synthetisiert und angezeigt werden, sind Änderungen der Sichtlinie (Bewegung der Augen des Bedieners) minimiert. Auf diese Weise sind die Wahrnehmung und das Verständnis einfach.
-
19 zeigt ein Beispiel, das zur Anzeige der Verbindungsflächenhöhe über dem Vogelperspektivenbild 300 eine ausgewiesene Anzeigefläche 301 hat. Die konkreten Zeichen (Ziffer), die die Verbindungsflächenhöhe Z darstellen, werden in der Anzeigefläche 301 angezeigt, und die Anzeigefläche 301 wird in das Vogelperspektivenbild synthetisiert. 20 zeigt ein Beispiel, das ein Balkendiagramm 302 oder ähnliches hat, um den Änderungswert der Verbindungsflächenhöhe Z bildlich (Diagramm) darzustellen. Das Diagramm wird in das Vogelperspektivenbild synthetisiert und angezeigt. 21 zeigt ein Beispiel, das eine ausgewiesene Anzeigefläche 304 zum Anzeigen der Verbindungsflächenhöhe an der rechten Seite des Vogelperspektivenbilds 300 hat. Ein großes Balkendiagramm 303 wird in die Anzeigefläche 304 synthetisiert, um den Änderungswert der Verbindungsflächenhöhe Z anzuzeigen. In beiden Beispielen der 20 und 21 zeigt die Höhe des farbigen und sich ändernden Teils in jedem der Balkendiagramme 302 und 303 die Verbindungsflächenhöhe Z an. Der Bediener kann das Maß der Änderung der Verbindungsflächenhöhe Z augenblicklich und schnell erkennen, da der Bediener die Höhe des farbigen Bereichs mit seinen Augen wahrnehmen kann.
-
Wie in den 22 und 23 gezeigt, können die konkreten Zeichen (Ziffern), die den geänderten Wert der Verbindungsflächenhöhe Z angeben, zusätzlich zu dem Diagramm (Bild), wie etwa die Balkendiagramme 302 und 303, angezeigt werden. Ein Verfahren zum visuellen Darbieten des geänderten Werts der Verbindungsflächenhöhe Z zusammen mit dem Vogelperspektivenbild 300 kann auch die Verwendung von Symbolen, einer sich ändernden Farbe, oder eine Kombination davon, zusätzlich zu oder statt der oben beschriebenen Zeichen (Buchstaben) und Diagramme (Bilder), aufweisen. Es sei auch darauf hingewiesen, dass die Bildsynthetisiereinheit 216, wie sie in 17 gezeigt ist, zur Konfiguration in einer der 13, 15 und 16 hinzugefügt werden kann. In diesem Fall erhält man die Vorteile der Konfigurationen, die in den 13, 15 und 16 gezeigt sind, zusätzlich.
-
Bezugszeichenliste
-
- 100:
- Hydraulischer Bagger (Arbeitsmaschine)
- 200:
- Umgebungsüberwachungseinheit
- 210:
- Anzeigesteuerung
- 211:
- Verbindungsflächenhöhen-Setzeinheit (Verbindungsflächenhöhen-Entscheidungseinheit)
- 212:
- Erzeugungseinheit für Oberer-Blickpunkt-Bilder (Generierungseinheit für Oberer-Blickpunkt-Bilder)
- 213:
- Vogelperspektivenbild-Erzeugungseinheit (Vogelperspektivenbild-Generierungseinheit)
- 214:
- Kamera-Eingabeteil
- 215:
- Hindernis-Erkennungseinheit (Erkennungseinheit für dreidimensionale Objekte)
- 216:
- Bildsynthetisiereinheit (Bildsynthetisierer)
- 220:
- Umgebungsüberwachungseinheit (Anzeigeeinheit)
- 230, 240:
- Fahrzeugkörpersteuerung
- 300:
- Vogelperspektivenbild
- 301, 304:
- Verbindungsflächenhöhen-Anzeigebereich
- 302, 303:
- Balkendiagramm (Figur))
- 400:
- Muldenkipper (Arbeitsmaschine)
- 20:
- oberer Drehkörper (Fahrzeugkörper)
- 30, 30a, 30b, 30c, 30d:
- Kamera (Photographiereinheit)
- 31:
- Rohbild
- 35:
- Oberer-Blickpunkt-Bild
- e0:
- Referenzextraktionsregion (Anzeigebild)
- e50:
- Extraktionsregion (Anzeigebild), wenn die Verbindungsflächenhöhe auf 0,5 m gesetzt (geändert) ist
- e100:
- Extraktionsregion (Anzeigebild), wenn die Verbindungsflächenhöhe auf 1,0 m gesetzt (geändert) ist
- Z:
- Verbindungsflächenhöhe
