DE102017119422A1 - Baumaschinen - Google Patents

Baumaschinen Download PDF

Info

Publication number
DE102017119422A1
DE102017119422A1 DE102017119422.3A DE102017119422A DE102017119422A1 DE 102017119422 A1 DE102017119422 A1 DE 102017119422A1 DE 102017119422 A DE102017119422 A DE 102017119422A DE 102017119422 A1 DE102017119422 A1 DE 102017119422A1
Authority
DE
Germany
Prior art keywords
aforementioned
zone
bird
synthetic
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017119422.3A
Other languages
English (en)
Inventor
Toru Imano
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Caterpillar SARL
Original Assignee
Caterpillar SARL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Caterpillar SARL filed Critical Caterpillar SARL
Publication of DE102017119422A1 publication Critical patent/DE102017119422A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G06T3/053—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

Es werden Baumaschinen bereitgestellt, bei welchen der Fahrer ohne Vergrößern des Monitors sicher erkennen kann, ob es Hindernisse oder andere Arbeiter usw. in der Umgebung des Maschinenkörpers gibt. [Mittel zur Lösung] Die Baumaschinen sind ausgestattet mit mehreren Überwachungskameras 30, 32, 34, 36, welche die Umgebung des Maschinenkörpers 8 filmen, einem Bildverarbeitungsmittel 50, das ein synthetisches Bild 52 aus der Vogelperspektive durch Synthetisieren der mehreren Kamerabilder erzeugt, die durch jede vordere Überwachungskamera 30, 32, 34, 36 gefilmt werden, und das synthetische Bild 52 aus der Vogelperspektive durch eine oder mehrere Schnittlinien 56, 58 in die mehreren Zonen A, B, C, D teilt und eine Größe der Zone D erweitert und außerdem die Größe der Zonen A, B, C in Reaktion auf die Erweiterung der Zone D ändert, wodurch es das Konversionsbild 60 erzeugt, das die gleiche Größe wie das synthetische Bild 52 aus der Vogelperspektive aufweist, und einem Monitor 44, der das synthetische Bild 52 aus der Vogelperspektive und das Konversionsbild 60 selektiv anzeigt.

Description

  • [Technisches Gebiet]
  • Die vorliegende Erfindung betrifft die Baumaschinen, die mit mehreren Überwachungskameras, welche die Umgebung des Maschinenkörpers filmen, und einem Monitor ausgestattet sind, der Kamerabilder anzeigt, die durch jede Überwachungskamera gefilmt werden.
  • [Technologischer Hintergrund]
  • Ein Hydraulikbagger, der ein repräsentatives Beispiel für Baumaschinen ist, ist mit einem Maschinenkörper, der durch einen Basisträger und einen oberen Drehkörper ausgebildet ist, der auf dem Basisträger montiert ist, und einer Arbeitsarmvorrichtung ausgestattet, die auf dem oberen Drehkörper installiert ist. Die Kabine, in die ein Fahrer einsteigt, ist im Allgemeinen auf dem linken Vorderteil des oberen Drehkörpers positioniert, so dass der Fahrer einen vergleichsweise großen Bereich um die Vorderseite des Maschinenkörpers und die linke Seite des Maschinenkörpers visuell erkennen kann. Andererseits kann der Fahrer die Rückseite des Maschinenkörpers und die rechte Seite des Maschinenkörpers visuell kaum erkennen. Aus diesem Grund ist ein Hydraulikbagger seit jüngster Zeit mit einer hinteren Überwachungskamera, welche die Hinterseite des Maschinenkörpers filmt, auf der Hinterseite des Maschinekörpers sowie mit einer rechtsseitigen Überwachungskamera auf der rechten Seite des Maschinenkörpers ausgestattet, welche die rechte Seite des Maschinenkörpers filmt, und es gibt einen, bei dem Kamerabilder, die durch jede Überwachungskamera gefilmt werden, auf dem Monitor innerhalb der Kabine angezeigt werden.
  • Dadurch kann der Fahrer Sicherheit durch den Monitor bestätigen, wenn Hindernisse oder Arbeiter usw. auf der Hinterseite des Maschinenkörpers oder auf der rechten Seite des Maschinenkörpers sind. Außerdem gibt es bezüglich der Monitoranzeige von Kamerabildern zusätzlich zu jenen, die mit jedem Kamerabild nebeneinander angeordnet in Originalgröße angezeigt werden, jene, die auf dem Monitor das synthetische Bild aus der Vogelperspektive anzeigen, das eine Vogelperspektive der Umgebung des Maschinenkörpers von oberhalb des Maschinenkörpers durch Synthetisieren jedes Kamerabildes aufweist. (Siehe zum Beispiel Patentliteratur 1)
  • [Patentliteratur des Standes der Technik]
  • [Patentliteratur]
    • [Patentliteratur 1] Ungeprüfte Japanische Patentanmeldung 2012-74929 Amtsblatt
  • [Zusammenfassung der Erfindung]
  • [Aufgabe der Erfindung – Lösungsversuche]
  • Hinsichtlich der Baumaschinen ist es im Hinblick auf die Bilder der Umgebung des Maschinenkörpers (insbesondere synthetischer Bilder der Umgebung des Maschinenkörpers aus der Vogelperspektive) eine Aufgabe geworden, ein sicheres Erkennen von Hindernissen, anderen Arbeitern usw. aus Bildern der Überwachungskameras durch die Fahrer zu ermöglichen. Zur Lösung dieser Aufgabe kann in Betracht gezogen werden, die Kamerabilder auf dem Monitor anhand der Verwendung eines größeren Monitors als den herkömmlichen zu vergrößern. Da jedoch der Monitor in einer Kabine vor dem Fahrersitz positioniert ist, besteht, wenn der Monitor vergrößert wird, das Problem, dass sich die Vorderseitensicht des Fahrers verschlechtert, so dass es eine Beschränkung hinsichtlich einer Vergrößerung des Monitors gibt.
  • Andererseits wird in Patentliteratur 1 eine Technologie offenbart, wobei unter den synthetischen Bildern aus der Vogelperspektive nur eine optionale Zone auf dem Monitor erweitert und angezeigt wird. Gemäß der in Patentliteratur 1 offenbarten Technologie kann jedoch der Fahrer aus der erweiterten Anzeige, bei der nur die optionale Zone erweitert ist, nicht erkennen, ob es Hindernisse oder andere Arbeiter usw. in anderen Zonen als der optionalen Zone auf dem synthetischen Bild aus der Vogelperspektive gibt oder nicht. Darüber hinaus ist es gemäß der in Patentliteratur 1 offenbarten Technologie zum Erweitern der Anzeige oder Annullieren der erweiterten Anzeige erforderlich, dass der Fahrer den Monitor manuell betätigt, so dass der Fahrer jedes Mal, wenn der Fahrer die Anzeige erweitert oder die erweiterte Anzeige annulliert, seine Hände vom Bedienhebel entfernen muss, worunter seine Arbeitsfähigkeit leidet.
  • Die Aufgabe der vorliegenden Erfindung, die angesichts der zuvor beschriebenen Tatsache durchgeführt wird, liegt darin, Baumaschinen bereitzustellen, die den Monitor nicht vergrößern, wobei der Fahrer sicher erkennen kann, ob es Hindernisse oder andere Arbeiter usw. in der Umgebung des Maschinenkörpers gibt oder nicht.
  • [Mittel zum Losen der Aufgabe]
  • Zur Lösung der oben beschriebenen Aufgabe stellt die vorliegende Erfindung die folgenden Baumaschinen bereit. Das heißt, die Baumaschinen sind ausgestattet mit mehreren Überwachungskameras, welche die Umgebung des Maschinenkörpers filmen, einem Bildverarbeitungsmittel, das die mehreren Kamerabilder, die von den zuvor erwähnten mehreren Überwachungskameras gefilmt werden, synthetisiert und synthetische Bilder aus der Vogelperspektive erzeugt, dann die zuvor erwähnten synthetischen Bilder aus der Vogelperspektive durch eine oder mehrere Schnittlinien in mehrere Abschnitte teilt und die Größe der spezifizierten Zone unter den zuvor erwähnten mehreren Zonen erweitert und gleichzeitig die Zonengröße anderer unter den zuvor erwähnten mehreren Zonen als der zuvor erwähnten spezifizierten Zone in Reaktion auf die Erweiterung der zuvor erwähnten spezifizierten Zone ändert und Konvensionsbilder mit der gleichen Größe wie die zuvor erwähnten synthetischen Bilder aus der Vogelperspektive erzeugt, einem Monitor, der die zuvor erwähnten synthetischen Bilder aus der Vogelperspektive und die zuvor erwähnten Konversionsbilder selektiv anzeigt.
  • Vorzugsweise ist im mittleren Teil der zuvor erwähnten synthetischen Bilder aus der Vogelperspektive eine ebene Figur des zuvor erwähnten Maschinenkörpers positioniert, und die zuvor erwähnte Schnittlinie ist durch eine 1. Schnittlinie, die von links nach rechts durch die Rückseiten- und Vorderseitenrichtung eines Seitenendes der zuvor erwähnten ebenen Figur verläuft, und eine 2. Schnittlinie ausgebildet, die in Rückseiten- und Vorderseitenrichtung durch die rechte und linke Richtung eines Seitenendes der zuvor erwähnten ebenen Figur verläuft, und die zuvor erwähnte spezifizierte Zone ist die Zone, welche die zuvor erwähnte ebene Figur umfasst. Im linken vorderen Teil des zuvor erwähnten Maschinenkörpers ist eine Kabine positioniert, und es wird bevorzugt, dass die zuvor erwähnte 1. Schnittlinie durch das Vorderseitenende der zuvor erwähnten ebenen Figur geht, und die zuvor erwähnte 2. Schnittlinie durch das linksseitige Ende der zuvor erwähnten ebenen Figur geht.
  • [Wirkung der Erfindung]
  • Gemäß den Baumaschinen, die durch die vorliegende Erfindung bereitgestellt werden, kann der Fahrer durch Anzeigen des Konversionsbildes mit der erweiterten spezifizierten Zone auf dem Monitor ohne Vergrößern des Monitors sicher erkennen, ob es Hindernisse oder andere Arbeiter usw. im tatsächlichen Arbeitsbereich, welcher der spezifizierten Zone entspricht, die im Konversionsbild erweitert ist, gibt oder nicht.
  • Außerdem kann der Fahrer gemäß den Baumaschinen der vorliegenden Erfindung sicher erkennen, ob es Hindernisse oder andere Arbeiter usw. im tatsächlichen Arbeitsbereich, welcher der anderen Zone als der spezifizierten Zone im Konversionsbild entspricht, gibt oder nicht, obwohl die Größe geändert wird, da die andere Zone als die spezifizierte Zone im Konversionsbild enthalten ist.
  • [Kurze Erläuterung der Zeichnungen]
  • [1] Seitenansicht eines gemäß der vorlegenden Erfindung ausgelegten Hydraulikbaggers
  • [2] Draufsicht des in 1 dargestellten Hydraulikbaggers (ohne Arbeitsarmvorrichtung)
  • [3] Perspektivische Ansicht der Innenseite der in 1 dargestellten Kabine
  • [4] Bockdiagramm, das einen elektrisch konfigurierten Teil des in 1 dargestellten Hydraulikbaggers darstellt
  • [5] (a). Schematische Darstellung, welche Bilder aus der Vogelperspektive zeigt; (b). Schematische Darstellung, welche Konversionsbilder zeigt.
  • [Ausführungsform der Erfindung]
  • Im Folgenden wird ein Beispiel eines Hydraulikbaggers verwendet, der eine repräsentative Baumaschine ist, und unter Bezugnahme auf die Zeichnungen die Ausführungsform einer Baumaschine erläutert, die gemäß der vorliegenden Erfindung ausgelegt ist.
  • Der Hydraulikbagger, der in 1 als Ganzes durch das Bezugszeichen 2 dargestellt ist, ist mit einem Maschinenkörper 8, der durch einen Basisträger 4 und einen Oberteil-Drehkörper 6 ausgebildet ist, der drehbar auf dem Basisträger 4 installiert ist, und einer Arbeitsarmvorrichtung 10 ausgestattet, die drehbar auf dem Oberteil-Drehkörper 6 installiert ist. Die Arbeitsarmvorrichtung 10 umfasst einen Ausleger 14, einen Arm 14 und ein Arbeitswerkzeug 16. Das Basisende eines Auslegers 12 ist drehbar mit dem Vorderteil des Oberteil-Drehkörpers 6, das Basisende eines Arms 14 mit dem vorderen Ende des Auslegers 12 und ein Arbeitswerkzeug 16 mit dem vorderen Ende des Arms 14 verbunden. Die Arbeitsarmvorrichtung 10 umfasst ferner einen Auslegerzylinder 18, der Drehung eines Auslegers 12 ermöglicht; einen Armzylinder 20, der Drehung eines Arms 14 ermöglicht; einen Arbeitswerkzeugzylinder 22, der Drehung eines Arbeitswerkzeugs 16 ermöglicht.
  • Es erfolgt nun eine Erläuterung unter Bezugnahme auf 1 und 2. Der Oberteil-Drehkörper 6 umfasst eine Kabine 6, die im linken vorderen Teil des Oberteil-Drehkörpers 6 positioniert ist, einen Maschinengehäuseraum 26, der auf der Hinterseite der Kabine 24 positioniert ist, und ein Gegengewicht 28, das auf der Hinterseite des Maschinengehäuseraums 26 positioniert ist. Außerdem sind im Oberteil-Drehkörper 6 die mehreren Überwachungskameras installiert, welche die Umgebung des Maschinenkörpers 8 filmen. Wie in 2 dargestellt, sind in der Ausführungsform, die in der Figur dargestellt ist, die mehreren Überwachungskameras, welche die Umgebung des Maschinenkörpers 8 filmen, durch eine vordere Überwachungskamera 30, die am rechten vorderen unteren Ende der Kabine 24 installiert ist, eine hintere Überwachungskamera 32, die am hinteren oberen Ende in der Mitte der linken und rechten Richtung eines Gegengewichts 28 installiert ist, eine rechtsseitige Überwachungskamera 34, die am rechten Ende in der Mitte der Rückseiten- und Vorderseitenrichtung des Oberteil-Drehkörpers 6 installiert ist, und eine linksseitige Überwachungskamera 36 ausgebildet, die am linken Ende in der Mitte der Rückseiten- und Vorderseitenrichtung des Oberteil-Drehkörpers 6 installiert ist. Der Bereich, der durch die vordere Überwachungskamera 30 gefilmt wird, welche die Vorderseite des Maschinenkörpers 8 filmt, ist die Zone, die durch das Bezugszeichen F dargestellt ist; der Bereich, der durch die hintere Überwachungskamera 32 gefilmt wird, welche die Hinterseite des Maschinenkörpers 8 filmt, ist die Zone, die in 2 durch das Bezugszeichen B dargestellt ist, der Bereich, der durch die rechtsseitige Überwachungskamera 34 gefilmt wird, welche die rechtsseitige Richtung des Maschinenkörpers 8 filmt, ist die Zone, die in 2 durch das Bezugszeichen R dargestellt ist, und der Bereich, der durch die linksseitige Überwachungskamera 36 gefilmt wird, welche die linksseitige Richtung des Maschinenkörpers 8 filmt, ist die Zone, die in 2 durch das Bezugszeichen L dargestellt ist. Jede Zone F, B, R, L ist die Zone, die in 2 durch den Rand des Oberteil-Drehkörpers 6 und die gestrichelten Linien geteilt wird, aber die Bereiche, die durch jede Überwachungskamera 30, 32, 34, 36 (jede Zone F, B, R, L) gefilmt werden, können einander überlappen. Die Rückseiten- und Vorderseitenrichtungen und die rechten und linken Richtungen in dieser Spezifikation sind jedoch jene, die vom Fahrer gesehen werden, der innerhalb der Kabine 24 an Bord ist, wie in 1 und 2 dargestellt.
  • Wie in 3 dargestellt, ist ein Sitz 38 für einen Fahrer in der Kabine 24 vorgesehen. Auf den beiden rechten und linken Seiten des Sitzes 38 ist ein Paar von Steuerknüppeln 40 so vorgesehen, dass sie frei in alle Richtungen von 360 Grad geschwenkt werden können und eine Richtungsangabe in Form des Buchstaben X umfassen, die aus den Vor- und Rückwärts- sowie linken und rechten Richtungen besteht. Vor dem Sitz 38 ist ein Paar von Fahrhebeln 42 positioniert, um frei in Rückseiten- und Vorderseitenrichtung geschwenkt zu werden. In der rechten vorderen Richtung des Sitzes 38 ist ein Monitor 44 positioniert, der verschiedene Bilder anzeigt. Auf dem Bildschirm 46 oder dem Monitor 44 wird selektiv ein verarbeitetes Bild angezeigt, auf welchem das später beschriebene Bildverarbeitungsmittel 50 Bildverarbeitung bereitstellt für die Kamerabilder, die durch jede vordere Überwachungskamera 30, 32, 34, 36 gefilmt werden (später beschriebenes synthetisches Bild aus der Vogelperspektive und Konversionsbild 60), Maschineninformationsbilder, wie beispielsweise Kraftstoffrückstandsmenge, Hydraulikältemperatur, Motorkühlwassertemperatur usw., und Betriebsbilder zum Prüfen der Wartung, welche die Prüfer zur Wartungsprüfung des Hydraulikbaggers 2 verwenden. Auf der unteren Seite des Bildschirms 46 sind die mehreren Schalter 48 zum Bearbeiten der auf dem Bildschirm 46 angezeigten Bilder positioniert.
  • Es ist wichtig, dass der Hydraulikbagger 2, der gemäß der vorliegenden Erfindung ausgelegt ist, mit dem Bildverarbeitungsmittel 50 ausgestattet ist, das Bildverarbeitung für jedes Kamerabild bereitstellt, das durch jede Überwachungskamera 30, 32, 34 und 36 gefilmt wird. Wie in 4 dargestellt, ist das Bildverarbeitungsmittel 50, das von einem Computer konfiguriert werden kann, mit jeder Überwachungskamera 30, 32, 34, 36 elektrisch verbunden, und die Bildinformationen jedes Kamerabildes, das durch jede Überwachungskamera 30, 32, 34, 36 gefilmt wird, wird von jeder Überwachungskamera 30, 32, 34, 36 in das Bildverarbeitungsmittel 50 eingegeben. Das Bildverarbeitungsmittel 50 ist mit einem Monitor 44 in der Kabine 24 elektrisch verbunden, und die Bildinformationen, bei welchen Bildverarbeitung für jedes Kamerabild bereitgestellt wird, das durch jede Überwachungskamera 30, 32, 34, 36 gefilmt wird, werden vom Bildverarbeitungsmittel 50 an einen Monitor 44 ausgegeben.
  • ES werden nun Bildverarbeitungsschritte erläutert, die vom Bildverarbeitungsmittel 50 ausgeführt werden. Zunächst synthetisiert das Bildverarbeitungsmittel 50 jedes Kamerabild, das durch jede Überwachungskamera 30, 32, 34, 36 übermittelt wird, wodurch, wie in 5 dargestellt, ein synthetisches Bild 52 aus der Vogelperspektive erzeugt wird, das eine Vogelperspektive der Umgebung des Maschinenkörpers 8 von oberhalb des Maschinenkörpers 8 bereitstellt. Im Bildverarbeitungsmittel 50 wird im Voraus eine ebene Figur 54 des Maschinenkörpers 8 gespeichert, und in der Mitte des synthetischen Bildes 52 aus der Vogelperspektive ist eine ebene Figur 54 des Maschinenkörpers 8 positioniert.
  • Als Nächstes teilt das Bildverarbeitungsmittel 50 das synthetische Bild 52 aus der Vogelperspektive durch eine oder mehrere Schnittlinien in die mehreren Zonen. Die Schnittlinie wird vorzugsweise durch die 1. Schnittlinie, die durch die Rückseiten- und Vorderseitenrichtung eines Seitenendteils der ebenen Figur 54 geht und in rechter und linker Richtung verläuft, und die 2. Schnittlinie gebildet, die durch die rechte und linke Richtung eines Seitenendteils der ebenen Figur 54 geht und in Rückseiten- und Vorderseitenrichtung verläuft. Gemäß der in der Figur dargestellten Ausführungsform geht, wie in 5(a) dargestellt, die 1. Schnittlinie 56 durch das Vorderseitenende der ebenen Figur 54 und verläuft in rechter und linker Richtung, und die 2. Schnittlinie 58 geht durch das linksseitige Ende der ebenen Figur 54 und verläuft in Rückseiten- und Vorderseitenrichtung. Dann wird das synthetische Bild 52 aus der Vogelperspektive durch die 1. Schnittlinie 56 und die 2. Schnittlinie 58 in die 1. Zone A, die 2. Zone B, die 3. Zone C und die 4. Zone D geteilt. Wie durch Bezugnahme auf 5 zu erkennen, umfasst die 4. Zone D die ebene Figur 54, und sie umfasst außerdem die Rückseite des Maschinenkörpers 8 und die rechte Seite des Maschinenkörpers 8, die sichttote Räume für den Fahrer werden.
  • Als nächstes erweitert das Bildverarbeitungsmittel 50 die Größe einer spezifizierten Zone der mehreren Zonen und erzeugt das Konversionsbild mit der gleichen Größe wie das synthetische Bild 52 aus der Vogelperspektive durch Ändern der Größe der anderen Zone als der spezifizierten Zone unter den mehreren Zonen in Reaktion auf die Erweiterung der spezifizierten Zone. In der Ausführungsform, die in der Figur dargestellt ist, erweitert das Bildverarbeitungsmittel 50 die Größe der 4. Zone D und erzeugt außerdem durch Ändern der Größe der anderen Zone als der 4. Zone D (das heißt, der Größe der 1. Zone A, der Größe der 2. Zone B und der Größe der 3. Zone C) in Reaktion auf die Erweiterung der 4. Zone D das Konversionsbild 60 mit der gleichen Größe wie das synthetische Bild 52 aus der Vogelperspektive. Konkret werden bezüglich der 4. Zone D des synthetischen Bildes 52 aus der Vogelperspektive die Größe der Rückseiten- und Vorderseitenrichtung und die Größe in der rechten und linken Richtung beide erweitert, und sie wird in die 4. Zone D' des Konversionsbildes 60 umgeändert. Andererseits werden bezüglich der 1. Zone A des synthetischen Bildes 52 aus der Vogelperspektive in Reaktion auf die Erweiterung der 4. Zone D die Rückseiten- und Vorderseitengröße und die Größe in der rechten und linken Richtung beide verkleinert, und sie wird in die 1. Zone A' des Konversionsbildes 60 umgeändert. Bezüglich der 2. Zone B des synthetischen Bild 52 aus der Vogelperspektive werden in Reaktion auf die Erweiterung der 4. Zone D die Rückseiten- und Vorderseitengröße und die rechte und linke Größe beide verkleinert, und sie wird in die 2. Zone B' des Konversionsbildes 60 umgeändert. Außerdem werden bezüglich der 3. Zone C des synthetischen Bildes 52 aus der Vogelperspektive in Reaktion auf die Erweiterung der 4. Zone D die Rückseiten- und Vorderseitengröße und die Größe in der rechten und linken Richtung verkleinert, und sie wird in die 3. Zone C' des Konversionsbildes 60 umgeändert.
  • Wie zuvor beschrieben, stellt gemäß dem Hydraulikbagger 2, der gemäß der vorliegenden Erfindung ausgelegt ist, das Bildverarbeitungsmittel 50 Bildverarbeitung für die Kamerabilder bereit, die durch jede Überwachungskamera 30, 32, 34, 36 gefilmt werden, und erzeugt das synthetische Bild 52 aus der Vogelperspektive und das Konversionsbild 60. Das synthetische Bild 52 aus der Vogelperspektive und das Konversionsbild 60 werden auf dem Bildschirm 46 des Monitors 44 selektiv angezeigt, wenn zum Beispiel der Schalter 48 des Monitors 44 betätigt wird. Wenn das synthetische Bild 52 aus der Vogelperspektive oder das Konversionsbild 60 auf dem Bildschirm 46 angezeigt wird, ist die Richtung des oberen Drehkörpers der ebenen Figur 54 stets fixiert, das heißt, die Kabine der ebenen Figur 54 ist auf der oberen Seite des Bildschirms 46 positioniert, und das Gegengewicht der ebenen Figur 54 ist stets auf der unteren Seite des Bildschirms 46 positioniert. Wenn jedoch der tatsächliche Oberteil-Drehkörper 6 in Bezug auf den tatsächlichen Basisträger 4 gedreht wird, wird auf dem synthetischen Bild 52 aus der Vogelperspektive oder dem Konversionsbild 60, das auf dem Bildschirm 46 angezeigt wird, der Basisträger der ebenen Figur 54 in Bezug auf den oberen Drehkörper der ebenen Figur 54 gedreht.
  • In der Ausführungsform, die in der Figur dargestellt ist, kann der Fahrer durch Anzeigen des Konversionsbildes 60, auf welchem die 4. Zone D des synthetischen Bildes 52 aus der Vogelperspektive zu D' erweitert ist, auf dem Bildschirm 46 des Monitors 44 ohne Vergrößern des Monitors 44 sicher erkennen, ob es Hindernisse oder andere Arbeiter im tatsächlichen Arbeitsbereich (das heißt, auf der Hinterseite des Maschinenkörpers 8 und der rechten Seite des Maschinenkörpers 8, die sichttote Räume werden), welcher der 4. Zone D' entspricht, die im Konversionsbild 60 erweitert wurde, gibt oder nicht. Außerdem kann der Fahrer in der Ausführungsform, die in der Figur dargestellt ist, erkennen, ob es Hindernisse oder andere Arbeiter usw. hinsichtlich des tatsächlichen Arbeitsbereichs, der den anderen Zonen als der 4. Zone D' im Konversionsbild 60 entspricht, gibt oder nicht, obwohl die Größe geändert ist, da die andere Zone als die 4. Zone D' (1. Zone A', 2. Zone B' und 3. Zone C') im Konversionsbild 60 enthalten ist. So umfasst das Konversionsbild 60 die gleiche Zone wie das synthetische Bild 52 aus der Vogelperspektive, auf dem die Umgebung des Maschinenkörpers 8 aus der Vogelperspektive bereitgestellt wird, und der Fahrer kann durch das Konversionsbild 60 die Sicherheit der Zone bestätigen, die ein sichttoter Raum für die Fahrer wird, und er kann die Sicherheit der Umgebung des Maschinenkörpers 8 bestätigen. Infolgedessen ist es in der Ausführungsform, die in der Figur dargestellt ist, nicht erforderlich, dass der Fahrer die Anzeige des synthetischen Bildes aus der Vogelperspektive und erweiterte Bilder während des Betriebs des Hydraulikbaggers 2 wechselt, und der Fahrer kann die Sicherheit der Umgebung des Maschinenkörpers 8 ohne Entfernen der Hand vom Steuerknüppel 40 oder Fahrhebel 42 bestätigen, wodurch die Arbeitsfähigkeit verbessert wird. Darüber hinaus können in der Ausführungsform, die in der Figur dargestellt ist, das synthetische Bild 52 aus der Vogelperspektive und das Konversionsbild 60 in Abhängigkeit von der Baustellensituation und der Vorliebe des Fahrers gewechselt werden.
  • Bezugszeichenliste
    • 2
    Hydraulikbagger (Baumaschinen)
    8
    Maschinenkörper
    24
    Kabine
    30
    Vordere Überwachungskamera
    32
    Hintere Überwachungskamera
    34
    Rechtsseitige Überwachungskamera
    36
    Linksseitige Überwachungskamera
    44
    Monitor
    50
    Bildverarbeitungsmittel
    52
    Synthetisches Bild aus der Vogelperspektive
    54
    Ebene Figur
    56
    1. Schnittlinie
    58
    2. Schnittlinie
    60
    Konversionsbild
    A
    1. Zone des synthetischen Bildes aus der Vogelperspektive
    B
    2. Zone des synthetischen Bildes aus der Vogelperspektive
    C
    3. Zone des synthetischen Bildes aus der Vogelperspektive
    D
    4. Zone des synthetischen Bildes aus der Vogelperspektive
    A'
    1. Zone des Konversionsbildes
    B'
    2. Zone des Konversionsbildes
    C'
    3. Zone des Konversionsbildes
    D'
    4. Zone des Konversionsbildes

Claims (3)

  1. Baumaschinen, ausgestattet mit den mehreren Überwachungskameras, welche die Umgebung des Maschinenkörpers filmen; einem Bildverarbeitungsmittel, das die mehreren Kamerabilder, die durch die zuvor erwähnten mehreren Überwachungskameras gefilmt werden, synthetisiert und synthetische Bilder aus der Vogelperspektive erzeugt, dann die zuvor erwähnten synthetischen Bilder aus der Vogelperspektive durch eine oder mehrere Schnittlinien in mehrere Abschnitte teilt und die Größe einer spezifizierten Zone unter den zuvor erwähnten mehreren Zonen erweitert und gleichzeitig die Zonengröße anderer unter den zuvor erwähnten mehreren Zonen als der zuvor erwähnten spezifizierten Zone in Reaktion auf die Erweiterung der zuvor erwähnten spezifizierten Zone ändert und Konversionsbilder mit der gleichen Größe wie die zuvor erwähnten synthetischen Bilder aus der Vogelperspektive erzeugt; einem Monitor, der die zuvor erwähnten synthetischen Bilder aus der Vogelperspektive und die zuvor erwähnten Konversionsbilder selektiv anzeigt.
  2. Baumaschinen nach Anspruch 1, wobei im mittleren Teil des zuvor erwähnten synthetischen Bildes aus der Vogelperspektive eine ebene Figur des zuvor erwähnten Maschinenkörpers positioniert ist, und die zuvor erwähnte Schnittlinie durch eine 1. Schnittlinie, die von links nach rechts durch die Rückseiten- und Vorderseitenrichtung eines Seitenendes der zuvor erwähnten ebenen Figur verläuft, und eine 2. Schnittlinie ausgebildet ist, die in Rückseiten- und Vorderseitenrichtung durch die rechte und linke Richtung eines Seitenendes der zuvor erwähnten ebenen Figur verläuft, und die zuvor erwähnte spezifizierte Zone die Zone ist, welche die zuvor erwähnte ebene Figur umfasst.
  3. Baumaschinen nach Anspruch 2, wobei im linken vorderen Teil des zuvor erwähnten Maschinenkörpers eine Kabine positioniert ist, und bevorzugt wird, dass die zuvor erwähnte 1. Schnittlinie durch das Vorderseitenende der zuvor erwähnten ebenen Figur geht, und die zuvor erwähnte 2. Schnittlinie durch das linksseitige Ende der zuvor erwähnten ebenen Figur geht.
DE102017119422.3A 2016-08-25 2017-08-24 Baumaschinen Pending DE102017119422A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-164312 2016-08-25
JP2016164312A JP6802008B2 (ja) 2016-08-25 2016-08-25 建設機械

Publications (1)

Publication Number Publication Date
DE102017119422A1 true DE102017119422A1 (de) 2018-03-01

Family

ID=61166597

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017119422.3A Pending DE102017119422A1 (de) 2016-08-25 2017-08-24 Baumaschinen

Country Status (3)

Country Link
US (1) US10186017B2 (de)
JP (1) JP6802008B2 (de)
DE (1) DE102017119422A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6662762B2 (ja) * 2016-12-19 2020-03-11 株式会社クボタ 作業車
CN110291255B (zh) * 2017-02-21 2022-03-29 住友建机株式会社 挖土机
EP3960936A4 (de) * 2019-04-26 2022-06-22 Sumitomo Construction Machinery Co., Ltd. Bagger

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012074929A (ja) 2010-09-29 2012-04-12 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1408693A1 (de) * 1998-04-07 2004-04-14 Matsushita Electric Industrial Co., Ltd. Bildanzeigegerät an Bord eines Fahrzeugs, Bildsendersystem, -sendegerät und -aufnahmegerät
JP3960092B2 (ja) * 2001-07-12 2007-08-15 日産自動車株式会社 車両用画像処理装置
JP4639753B2 (ja) * 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
JP4883977B2 (ja) * 2005-10-05 2012-02-22 アルパイン株式会社 車両用画像表示装置
JP2011205513A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
JP5813944B2 (ja) * 2010-12-06 2015-11-17 富士通テン株式会社 画像表示システム、画像処理装置及び画像表示方法
WO2012164712A1 (ja) * 2011-06-02 2012-12-06 日立建機株式会社 作業機械の周囲監視装置
JP5814187B2 (ja) * 2012-06-07 2015-11-17 日立建機株式会社 自走式産業機械の表示装置
KR20140025941A (ko) * 2012-08-23 2014-03-05 삼성전자주식회사 이미지를 병합 및 공유할 수 있는 전자 장치 및 방법
JP5753321B2 (ja) * 2012-09-19 2015-07-22 富士フイルム株式会社 撮像装置及び合焦確認表示方法
JP6165085B2 (ja) * 2014-03-07 2017-07-19 日立建機株式会社 作業機械の周辺監視装置
US20170066375A1 (en) * 2014-04-17 2017-03-09 Mitsubishi Electric Corporation Vehicle-mounted display device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012074929A (ja) 2010-09-29 2012-04-12 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置

Also Published As

Publication number Publication date
JP2018033015A (ja) 2018-03-01
US10186017B2 (en) 2019-01-22
US20180061007A1 (en) 2018-03-01
JP6802008B2 (ja) 2020-12-16

Similar Documents

Publication Publication Date Title
EP2954120B1 (de) Baumaschine mit einer überwachungseinrichtung
DE112013003703B4 (de) Umgebungsüberwachungsvorrichtung für eine Betriebsmaschine
DE112013000566T5 (de) Umgebungsüberwachungsvorrichtung für selbstangetriebene Industriemaschine
DE102017119422A1 (de) Baumaschinen
DE112012000111T5 (de) Vorrichtung zur Anzeige eines möglichen Arbeitsbereichs in einem Hydraulikbagger und Verfahren zur Steuerung derselben
DE102017211641A1 (de) Roboter-Schwerpunktanzeigevorrichtung, Roboter-Steuerungsvorrichtung und Roboter-Simulationsvorrichtung
DE112016005345T5 (de) Arbeitsfahrzeug und Anzeige-Steuerungsverfahren
DE112015000228T5 (de) Hydraulikbagger
DE112013003858T5 (de) Überwachungsvorrichtung für Transportfahrzeug
EP3435140A1 (de) Arbeitsmaschine mit anzeigeeinrichtung
DE102020106869A1 (de) Verfahren und system zur bereitstellung einer objekterfassungswarnung
DE102019105630B4 (de) Anzeigesteuervorrichtung, Fahrzeugumgebungsanzeigesystem und Computerprogramm
DE102014009299A1 (de) Verfahren zum Betreiben einer Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille
EP3421674B1 (de) Vorrichtung und verfahren zum abbilden von bereichen
DE112021000258B4 (de) Hydraulikbagger, Arbeitsmaschine und Steuerverfahren einer Arbeitsmaschine
DE112015000169B4 (de) Steuerungs-Baugruppe und Arbeitsfahrzeug
EP3594166B1 (de) Kransteuerung mit visualisierungsvorrichtung
DE102022101604A1 (de) Visuelle überlagerungen zum vorsehen einer tiefenwahrnehmung
DE112017000204T5 (de) Arbeitsfahrzeug
DE112020004919T5 (de) Vorrichtung zur Darstellung des Umkipprisikos und Verfahren zur Darstellung des Umkipprisikos
DE60103454T2 (de) Prozesssteuerungssystem und -verfahren
DE102020134814A1 (de) Vorrichtung zum Überwachen von Umgebungen eines Fahrzeugs
DE102017106893B4 (de) Arbeitsfahrzeug
DE102019106297A1 (de) Fahrzeugumgebungsanzeigesystem und Anzeigesteuervorrichtung
DE102019207415A1 (de) Verfahren zur Erzeugung eines Bildes einer Fahrzeugumgebung und Vorrichtung zur Erzeugung eines Bildes einer Fahrzeugumgebung

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: DF-MP DOERRIES FRANK-MOLNIA & POHLMAN PATENTAN, DE

Representative=s name: SCHIFFER, AXEL, DIPL.-PHYS.UNIV. DR.RER.NAT., DE

Representative=s name: WAGNER & GEYER PARTNERSCHAFT MBB PATENT- UND R, DE

R082 Change of representative

Representative=s name: DF-MP DOERRIES FRANK-MOLNIA & POHLMAN PATENTAN, DE

Representative=s name: SCHIFFER, AXEL, DIPL.-PHYS.UNIV. DR.RER.NAT., DE

R082 Change of representative

Representative=s name: DF-MP DOERRIES FRANK-MOLNIA & POHLMAN PATENTAN, DE