CN114763701A - 工程机械的控制系统及方法 - Google Patents

工程机械的控制系统及方法 Download PDF

Info

Publication number
CN114763701A
CN114763701A CN202210039261.9A CN202210039261A CN114763701A CN 114763701 A CN114763701 A CN 114763701A CN 202210039261 A CN202210039261 A CN 202210039261A CN 114763701 A CN114763701 A CN 114763701A
Authority
CN
China
Prior art keywords
image
vehicle body
transparentization
processing
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210039261.9A
Other languages
English (en)
Inventor
李相训
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Doosan Yingweigao Co ltd
Original Assignee
Hyundai Doosan Yingweigao Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Doosan Yingweigao Co ltd filed Critical Hyundai Doosan Yingweigao Co ltd
Publication of CN114763701A publication Critical patent/CN114763701A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/431—Control of dipper or bucket position; Control of sequence of drive operations for bucket-arms, front-end loaders, dumpers or the like
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/16—Cabins, platforms, or the like, for drivers
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明的工程机械的控制系统包括：上部摄像头，其设置于后方车体的驾驶室上以拍摄所述驾驶室的前方；下部摄像头，其设置在能够旋转地连接于所述后方车体的前方车体上以拍摄所述前方车体的前方；影像处理装置，其用于将由所述上部摄像头和所述下部摄像头拍摄的第一影像和第二影像合成为一个影像且识别所述第一影像中的前方作业装置的形状以决定所述前方车体的旋回角度，并根据所述旋回角度设定所合成的所述影像中所述第一影像和所述第二影像中的至少某一个影像被透明化处理的透明化处理区域的位置；以及显示装置，其用于显示由所述影像处理装置合成的影像。

Description

工程机械的控制系统及方法
技术领域
本发明涉及一种工程机械的控制系统及方法。更详细地，涉及一种用于在诸如轮式装载机、挖掘机等的工程机械的作业或行驶时认知前方障碍物的控制系统及利用其的工程机械的控制方法。
背景技术
诸如挖掘机、轮式装载机等的工程机械在建筑工地广泛用于挖掘并搬运诸如土、沙等装在物并将其装载至诸如自卸卡车的货物车辆的作业等。
这样的作业是通过如铲斗和动臂等设置在工程机械上的作业装置的驱动来执行的。但是，所述作业装置可能会在驱动或行驶中遮挡或限制作业者的前方视野，而如上所述的作业装置对作业者前方视野的妨碍可能会成为引发安全事故的原因。
发明内容
技术问题
本发明的一课题在于，提供一种能够改善被作业装置限制的前方视野的工程机械的控制系统。
本发明的另一课题在于，提供一种利用上述控制系统的工程机械的控制方法。
技术方案
用于达成上述本发明的一课题的一些示例性的实施例的工程机械的控制系统包括：上部摄像头，其设置于后方车体的驾驶室上以拍摄所述驾驶室的前方，下部摄像头，其设置在能够旋转地连接于所述后方车体的前方车体上以拍摄所述前方车体的前方，影像处理装置，其用于将由所述上部摄像头和所述下部摄像头拍摄的第一影像和第二影像合成为一个影像且识别所述第一影像中的前方作业装置的形状以决定所述前方车体的旋回角度，并根据所述旋回角度设定所合成的所述影像中所述第一影像和所述第二影像中的至少某一个影像被透明化处理的透明化处理区域的位置；以及显示装置，其用于显示由所述影像处理装置合成的影像。
在一些示例性的实施例中，所述影像处理装置可以包括：形状识别部，其从所述第一影像识别所述前方作业装置的形状以决定所述前方车体的旋回角度；以及透明化处理部，其根据所决定的所述旋回角度决定所合成的所述影像中的所述透明化处理区域的位置。
在一些示例性的实施例中，所述形状识别部可以对所述第一影像中的所述前方作业装置的实际图像和通过机器学习预先识别并存储的所述前方作业装置的学习图像进行比较以决定所述前方作业装置的旋回角度。
在一些示例性的实施例中，所述影像处理装置还可以包括存储部，该存储部以从所述形状识别部接收到的实际图像作为输入数据执行深度学习算法并存储所述前方作业装置的所述学习图像。
在一些示例性的实施例中，所述工程机械的控制系统还可以包括作业装置姿势检测部，其用于检测所述前方作业装置的姿势，所述影像处理装置根据由所述作业装置姿势检测部检测到的所述前方作业装置的姿势对所述透明化处理区域中所述第一影像和所述第二影像中的至少某一个影像进行透明化处理。
在一些示例性的实施例中，所述影像处理装置可以在所述前方作业装置的至少一部分侵犯已设定的位置时对所述透明化处理区域中的所述第一影像进行透明化，并且在所述前方作业装置不侵犯所述已设定的位置时对所述透明化处理区域中的所述第二影像进行透明化。
在一些示例性的实施例中，所述工程机械的控制系统还可以包括输入部，其用于设定所述影像处理装置中的影像处理条件。
在一些示例性的实施例中，所述影像处理条件可以包括所述第一影像和所述第二影像的透明化转换时间点或所述显示装置的整个显示区域中所述透明化处理区域所占的面积。
用于达成上述本发明的一课题的示例性的实施例的工程机械的控制系统包括：上部摄像头，其设置于后方车体的驾驶室上以拍摄所述驾驶室的前方；下部摄像头，其设置在能够旋转地连接于所述后方车体的前方车体上以拍摄所述前方车体的前方；影像处理装置，其将由所述上部摄像头和所述下部摄像头拍摄的第一影像和第二影像合成为一个影像且识别所述第一影像中的前方作业装置的形状以决定所述前方车体的旋回与否，并根据所述旋回与否对所合成的影像中所述第一影像和所述第二影像中的至少某一个影像进行透明化处理；以及显示装置，其用于显示由所述影像处理装置合成的合成影像。
在一些示例性的实施例中，所述影像处理装置可以从所述第一影像识别所述前方作业装置的形状以决定所述前方车体的旋回角度，并根据所决定的所述旋回角度决定所合成的所述影像中的透明化处理区域的位置。
在用于达成上述本发明的另一课题的示例性的实施例的工程机械的控制方法包括：从设置在后方车体的驾驶室上的上部摄像头获取所述驾驶室的前方的第一影像；从设置在能够旋转地连接于所述后方车体的前方车体上的下部摄像头获取所述前方车体的前方的第二影像；从所述第一影像识别前方作业装置的形状以决定所述前方车体的旋回角度；将所述第一影像和所述第二影像合成为一个影像；根据所述旋回角度设定所合成的所述影像中的透明化处理区域的位置；在所述透明化处理区域内对所述第一影像和所述第二影像中的至少某一个影像进行透明化处理；以及通过显示装置显示所述透明化处理后的影像。
在一些示例性的实施例中，从所述第一影像决定所述前方车体的旋回角度的步骤可以包括：对所述第一影像中的所述前方作业装置的实际图像和通过机器学习预先识别并存储的所述前方作业装置的学习图像进行比较以决定所述前方作业装置的旋回角度。
在一些示例性的实施例中，所述工程机械的控制方法还可以包括通过以所述第一影像中的所述实际图像作为输入数据执行深度学习算法来获取所述前方作业装置的所述学习图像。
在一些示例性的实施例中，所述工程机械的控制方法还可以包括检测所述前方作业装置的姿势，并且在所述透明化处理区域内对所述第一影像和所述第二影像中的至少某一个影像进行透明化处理的步骤可以包括：根据检测到的所所述前方作业装置的姿势对所述第一影像和所述第二影像中的至少某一个影像进行透明化处理。
在一些示例性的实施例中，所述工程机械的控制方法还可以包括设定使所述第一影像和所述第二影像透明化的影像处理条件。
在一些示例性的实施例中，所述影像处理条件包括所述第一影像和所述第二影像的透明化转换时间点或所述显示装置的整个显示区域中所述透明化处理区域所占的面积。
发明的效果
根据一些示例性的实施例，工程机械的控制系统可以将由设置在驾驶室上的上部摄像头和设置在前方车体上的下部摄像头拍摄的第一影像和第二影像合成为一个影像，并根据所述前方车体的旋回角度决定所合成的所述影像中的透明化处理区域的位置，并根据连接于所述前方车体的铲斗或动臂的位置在所述透明化处理区域内对所述第一影像和所述第二影像中的至少某一个影像进行透明化处理，并通过显示装置显示所述透明化处理后的影像。
即，以与所述前方车体的旋回角度匹配的方式决定所合成的所述影像中的透明化处理区域的位置，并根据诸如所述铲斗的位置的作业装置的姿势对所述透明化处理区域中所述第一影像和所述第二影像中的至少某一个影像进行透明化处理，从而即使在工程机械的转向时也可以去除前方作业装置遮挡前方视野的盲区。由此，可以通过增加作业者的认知力以确保稳定性来将安全事故防范于未然。
此外，由于可以根据作业者的选择来设置透明化处理区域，因此可以提高利用透明化处理后的影像的自由度，并且可以进行有效的系统配置。
需要说明的是，本发明的效果不限于上述效果，可以在不脱离本发明的思想和领域的范围内进行多样的扩展。
附图说明
图1是示出一些示例性的实施例的工程机械的侧视图。
图2是示出对应于图1的动臂的旋转角度的铲斗上升位置的侧视图。
图3是示出图1的工程机械直行行驶和左侧旋回时的上部摄像头和下部摄像头的水平视野角的平面图。
图4是示出图1的工程机械的控制系统的框图。
图5是示出图4的影像处理装置的框图。
图6是示出一些示例性的实施例的轮式装载机的控制方法的顺序图。
图7是示出由图4的上部摄像头拍摄的第一影像中的前方作业装置的图。
图8是示出图3中工程机械直行行驶时(状态A)显示于驾驶室内的显示装置的画面的图。
图9是示出图3中工程机械左侧旋回时(状态B)显示于驾驶室内的显示装置的画面的图。
附图标记
10：轮式装载机，12：前方车体，14：后方车体，20：动臂，22：动臂缸，24：动臂角度传感器，30：铲斗，32：铲斗缸，34：倾斜斗杆，40：驾驶室，70：前轮方，100：摄像头部，110：第一摄像头，120：第二摄像头，120：第二传感器，200：影像处理装置，210：形状识别部，220：影像合成部，230：透明化处理部，240：图像渲染部，250：存储部，300：显示装置，400：输入部。
具体实施方式
下面参照附图对本发明的优选实施例进行详细描述。
在本发明的每幅图中，为了本发明的清楚起见，结构物的尺寸是比实际放大而图示的。
在本发明中，第一、第二等术语可以用来描述多样的构成要素，但这些构成要素不应被这些术语所限定。这些术语仅用于将一构成要素与另一构成要素区分开来的目的。
本发明中使用的术语仅用于描述特定的实施例，无意限定本发明。除非上下文中明确不同定定义，单数表达包括复数表达。在本申请中，诸如“包括”或“具有”等术语应被理解为旨在指定说明书中记载的特征、数字、步骤、动作、构成要素、零部件或其组合的存在，而并不预先排除一个或多个其他特征或数字、步骤、动作、构成要素、零部件或其组合的存在或附加的可能性。
对于本文中公开的本发明的实施例，特定的结构性至功能性说明只是以用于说明本发明实施例的目的而例示的，本发明的实施例可以实施为多样的形态，而不应解释为限定于本文中描述的实施例。
即，本发明可以被加以多样的变更，并且可以具有多样的形态，特定的实施例将例示于附图，并在本文中详细描述。但是，这并不意将本发明限定于特定的公开形态，而是应理解为包括落入本发明的思想和技术范围内的所有变更、等同物乃至替代物。
图1是示出一些示例性的实施例的工程机械的侧视图。虽然图1中示出了轮式装载机10，但一些示例性的实施例的工程机械的控制装置并不因此而被限定为仅在轮式装载机中使用，而是也可以应用于多样的工业用车辆等。以下，为了便于说明，仅对轮式装载机10进行描述。
参照图1，工程机械10可以包括车体12和14、驾驶室40、以及前方作业装置。以图1的轮式装载机10为例，车体12和14可以包括彼此可旋转地连接的前方车体12和后方车体14。前方车体12可以包括前方作业装置和前轮方70。后方车体14可以包括驾驶室40、发动机室50以及后轮72。
所述前方作业装置可以包括动臂20和铲斗30。动臂20可以以可旋转的方式连接于前方车体12，铲斗30可以以可旋转的方式连接于动臂20的一端部。动臂20可以通过一对动臂缸22连接于前方车体12，动臂20可以通过动臂缸22的驱动在上下方向上旋转。倾斜斗杆34以可以在动臂20的几近中心部上自由旋转的方式连接，倾斜斗杆34的一端部和前方车体12通过一对铲斗缸32连接，并且通过倾斜杆连接于倾斜斗杆34的另一端部的铲斗30可以通过铲斗缸32的驱动在上下方向上旋转(倾倒或挖铲)。
此外，前方车体12和后方车体14通过中心销16彼此可旋转地连接，通过转向缸(未图示)的伸缩，前方车体12可以相对于后方车体14向左右折射。
可以在后方车体14上搭载用于使轮式装载机10行驶的行驶装置。发动机(未图示)可以配置在所述发动机室内，并且可以向所述行驶装置供应动力输出。所述行驶装置可以包括变矩器、变速器、传动轴、车轴等。所述发动机的动力输出通过所述变矩器、所述变速器、传动轴和所述车轴传递到前轮方70和所述后轮72，使得轮式装载机10行驶。
可以在后方车体14上搭载用于向所述作业装置的动臂缸22和铲斗缸32供应压油的液压泵(未图示)。所述液压泵可以使用来自所述发动机的动力输出的一部分来驱动。例如，所述发动机的输出可以通过诸如与所述发动机连接的齿轮系的动力传递装置驱动所述作业装置用液压泵和转向用液压泵。
所述液压泵可以供应工作油以驱动所述作业装置，并且可以区分为可变容量型和恒定容量型。泵控制装置连接于所述可变容量型液压泵，并且可以通过所述泵控制装置控制所述可变容量型液压泵的排出流量。所述液压泵可以通过预定的液压回路与包括动臂控制阀和铲斗控制阀的主控制阀(MCV)连接。所述液压泵的排出油可以通过主控制阀(MCV)的所述动臂控制阀和所述铲斗控制阀被供应至动臂缸22和铲斗缸32。主控制阀(MCV)可以根据基于所述操作杆的操作输入的先导压力信号将从所述液压泵排出的工作油供应至动臂缸22和铲斗缸32。从而，动臂20和铲斗30可以通过从所述液压泵排出的工作油的液压来驱动。
驾驶室40设置于所述工程机械的车体，而在轮式装载机的情况下可以设置于后方车体14的上部。驾驶室40内可以设有驾驶操作装置。所述驾驶操作装置可以包括诸如行驶踏板、制动踏板、FNR行驶杆、用于操作动臂缸22和铲斗缸32的作业缸的操作杆、以及诸如用于操作所述转向缸的转向盘的转向装置。
如上所述，轮式装载机10可以包括用于通过所述发动机的输出通过动力传递装置驱动所述行驶装置的行驶系统和用于驱动诸如动臂20和铲斗30的前方作业装置的液压装置系统。
下面以轮式装载机为例对所述工程机械的控制系统进行描述。
图2是示出对应于图1的动臂的旋转角度的铲斗上升位置的侧视图。图3是示出图1的工程机械直行行驶和左侧旋回时的上部摄像头和下部摄像头的水平视野角的平面图。图4是示出图1的工程机械的控制系统的框图。图5是示出图4的影像处理装置的框图。
参照图1至图5，所述轮式装载机的控制系统可以包括安装于轮式装载机10以用于拍摄轮式装载机10的前方的摄像头部100、用于实时处理来自摄像头部100的影像的影像处理装置200、以及用于显示由影像处理装置200处理的影像的显示装置300。此外，所述轮式装载机的控制系统还可以包括用于检测连接于前方车体12的前方作业装置的姿势的作业装置姿势检测部、以及用于设定影像处理装置200中的影像处理条件的输入部400。
轮式装载机10的影像处理装置200可以作为发动机控制装置(ECU)或车辆控制装置(VCU)的一部分或单独的控制器搭载于后方车体14。影像处理装置200可以包括用于执行这里描述的功能的指定的硬件、软件和电路。这些构成要素可以由诸如逻辑电路、微处理器、存储器装置等的电回路物理地执行。
在一些示例性的实施例中，摄像头部100用于在轮式装载机10行驶或作业时监视轮式装载机10的前方，可以包括多个摄像头。具体地，摄像头部100可以包括设置于驾驶室40的上部而用于拍摄驾驶室40的前方以获取第一影像IM1的上部摄像头110、以及设置于前方车体12上而用于拍摄前方车体12的前方以获取第二影像IM2的下部摄像头120。虽然图1和图2中示出一个上部摄像头和一个下部摄像头，但不限于此，可以设有多个上部摄像头和多个下部摄像头。
上部摄像头110可以以轮式装载机的前方方向为基准具有第一垂直视野角θv1(Field of View，FoV)和第一水平视野角θh1。例如，所述第一垂直视野角和所述第一水平视野角可以具有60度至120度的角度范围。下部摄像头120可以具有第二垂直视野角θv2和第二水平视野角θh2。例如，所述第二垂直视野角和所述第二水平视野角可以具有60度至120度的角度范围。
所述第一影像可以是通过上部摄像头110以前方上部为焦点拍摄的影像，所述第二影像可以是通过下部摄像头120以前方下部为焦点拍摄的影像。
可以设定为使上部摄像头110的第一垂直视野角θv1和下部摄像头120的第二垂直视野角θv2部分重叠并且使上部摄像头110的第一水平视野角θh1和下部摄像头120的第二水平视野角θh2部分重叠，使得所述第一影像和第二影像可以彼此部分重叠。
在一些示例性的实施例中，上部摄像头110可以设置于与中心销16的中心轴(旋回中心轴)重合或靠其后方的位置，下部摄像头120可以设置于相对于中心销16的中心轴的前方。
由于上部摄像头110和下部摄像头120相对于所述旋回中心轴彼此不同地设置，因此，如图3所示，当向左侧(或右侧)旋回时，上部摄像头110所观察的方向和下部摄像头120所观察的方向彼此不同。如后所述，影像处理装置200可以将第一影像IM1和第二影像IM2合成为一个影像，且以使所合成的所述影像中第一影像IM1和第二影像IM2中的至少某一个影像被透明化处理的透明化处理区域的位置与轮式装载机10的旋回角度θs匹配的方式处理影像。
在一些示例性的实施例中，所述作业装置姿势检测部可以检测所述前方作业装置是否侵犯显示装置300的显示区域内的所述透明化处理区域。如后所述，所拍摄的影像的透明化处理可以在所述前方作业装置侵犯已设定的位置(与旋回角度匹配的位置)，即，显示装置300的整个显示区域中对应于已设定的透明化处理区域的实际位置时执行以确保作业者的视野。所述前方作业装置的姿势可以包括铲斗30的位置(距离地面的铲斗的高度)或动臂20的姿势(动臂的旋转角度)。为此，所述作业装置姿势检测部可以包括用于检测铲斗30的位置或动臂20的姿势的动臂角度传感器24。同时，可以包括用于检测动臂20与铲斗30的相对旋转角的铲斗角度传感器(未图示)。可以代替动臂角度传感器24而包括用于检测驱动动臂20的缸的行程的位移传感器。
此外，所述作业装置姿势检测部可以包括分析通过摄像头拍摄的所述前方作业装置的图像以判断所述前方作业装置的姿势的图像分析装置(例如，形状识别部)。
动臂角度传感器24可以检测动臂20的旋转角度并基于此提供对铲斗30的位置的信息。如图2所示，动臂20的旋转角度可以是动臂20(铲斗30)的最低位置(0％)处的延长线L与动臂20的延长线R之间的角度θ。动臂20的最高位置(max boom height)处的动臂20的旋转角度是θmax.height，此时，动臂(铲斗)位置可以是最大高度(100％)。
在一些示例性的实施例中，影像处理装置200可以将由上部摄像头110和下部摄像头120拍摄的第一影像IM1和第二影像IM2合成为一个影像且识别第一影像IM1中的所述前方作业装置的形状以决定前方车体12的旋回角度θs，并根据所述旋回角度决定所合成的所述影像中所述第一影像和所述第二影像中的至少某一个影像被透明化处理的透明化处理区域的位置。影像处理装置200可以包括形状识别部210、影像合成部220、透明化处理部230、图像渲染部240以及存储部250。影像处理装置200可以以工程机械的控制装置或显示装置中内置的控制装置的形式设置。
具体地，形状识别部210可以从第一影像IM1识别所述前方作业装置的形状以决定前方车体12的旋回角度θs。形状识别部210可以对第一影像IM1中的所述前方作业装置的实际图像和通过机器学习预先识别并存储的所述前方作业装置的学习图像以决定所述前方作业装置的旋回角度θs。
由上部摄像头110获取的第一影像IM1中的所述前方作业装置可以显示为多个像素中所对应的像素。这里，由上部摄像头110拍摄的前方空间可以表示为相同大小的网格，并且可以在每个网格中显示物体的存在与否。
形状识别部210可以对第一影像IM1中的实际图像和存储在存储部250中的所述前方作业装置的学习图像进行比较，当所述实际图像和所存储的前方作业装置的图像相同时，可以识别为所述前方作业装置。这里，所述前方作业装置的学习图像可以包括对由上部摄像头110拍摄的前方作业装置(例如，动臂20或动臂缸)的多样的形状进行机器学习并存储的图像。
存储部250可以是以从上部摄像头110接收的第一影像IM1的实际图像为输入数据进行机器学习的图像。这里，机器学习(Machine Learning)是人工智能的一个领域，可以指使诸如计算机的处理装置能够学习的算法。
所述机器学习的种类不受限制，如包括决策树(Decision Tree)、KNN(K-nearestneighbor，K最近邻)、神经网络(Neural Network)、SVM(Support Vector Machine，支持向量机)等的监督学习(Supervised Learning)、以及包括诸如聚类(Clustering)等的无监督学习(Unsupervised Learning)以及深度学习(Deep Learning)、卷积神经网络(CNN：Convolutional Neural Network)等的强化学习等。
在形状识别部210通过掌握所述前方作业装置所在的摄像头画面上的像素位置(起点和终点)来决定所述前方车体的旋回角度θs后，形状识别部210或透明化处理部230可以决定对应于所述旋回角度的后述的所合成的影像中的所述透明化处理区域的位置。形状识别部210可以识别第一影像IM1中的所述前方作业装置的形状以决定所述前方车体的旋回与否。例如，当轮式装载机10向左侧旋回时，可以从第一影像IM1中的动臂20的像素位置决定所述前方车体的旋回角度θs并反映所述旋回角度来将所合成的所述影像中的所述透明化处理区域的位置从中心区域移动至左侧。
影像合成部220可以将第一影像IM1和第二影像IM2合成为一个影像。影像合成部220可以将通过上部摄像头110和下部摄像头120拍摄的所述第一影像和在所述第二影像中重复的影像匹配起来合成为一个影像。透明化处理部230可以对所述透明化处理区域中第一影像和第二影像中的中的至少某一个影像进行透明化处理。图像渲染部240可以将所述影像处理后的合成影像渲染(rendering)为三维图像。图像渲染部240可以以使所述合成影像显示得如同实像的方式进行影像处理并输出至显示装置300。影像合成部220、透明化处理部240以及图像渲染部240的功能可以通过诸如用于影像处理的GP、CPU的单个处理器或者分别通过单独的处理器的电算处理来实现。
在一些示例性的实施例中，透明化处理部230可以根据所检测到的所述作业装置的姿势来对所合成的所述影像中所述第一影像和所述第二影像中的某一个影像执行透明化处理。透明化处理部230可以以使所述第一影像和所述第二影像中的至少某一个仅在显示装置300的整个显示区域中的一部分区域，即仅在所述透明化处理区域被透明化的方式进行影像处理。所述透明化处理区域可以被定义为被包括升降的动臂20和铲斗30的所述前方作业装置遮挡前方视野的区域。
所述透明化处理可以在所合成的所述影像的所述透明化处理区域内将所述第一影像或所述第二影像去除或半透明地处理以与背景影像重叠，或者将外观的轮廓(外形线)以线或虚线二维地显示以便只能识别形态。所述透明化处理后的影像中遮挡作业者的前方视野的所述前方作业装置的一部分可以合成为透视影像(perspective image)。在所述透视影像中，遮挡前方视野的所述前方作业装置的一部分可以被透射而可见。所述透视影像可以通过以所述前方作业装置的外形线(contour line)为边界使所述外形线内部的区域被透视化的所谓的骨架影像表示(skeletal image representation)技术来显示。例如可以利用阿尔法混合(Alpha Blending)技术等将所述透明化处理区域内的所述第一影像或所述第二影像从合成的影像中去除。
在一些示例性的实施例中，透明化处理部230可以响应于所述前方作业装置的至少一部分侵犯对应于所述透明化处理区域的位置而进行透明化处理。例如，当可判断为所述前方作业装置的至少一部分不侵犯所述透明化处理区域的所述铲斗或动臂的位置低于已设定的位置(透明化转换位置)时，可以使所合成的所述影像中的所述第二影像透明化。同时，当可判定为所述前方作业装置侵犯所述透明化处理区域的所述铲斗或所述动臂的位置处于高于已设定的位置(透明化转换位置)的状态时，可以使所合成的所述影像中的所述第一影像透明化。例如，所述已设定的动臂的位置可以被设定为使动臂20的旋转角度θ在15度至20度的范围内。
当铲斗30位于最低位置0％与所述已设定的铲斗位置，即，作为所述透明化处理区域的边界的透明化转换位置之间时，可以通过对由下部摄像头120拍摄的所述第二影像进行透明化处理来显示为使以上部摄像头110实现的被摄体成为重点。当铲斗30位于相对低的位置时，在由下部摄像头120拍摄的第二影像中，前方车体12的前方视野可能被包括动臂20和铲斗30的所述前方作业装置遮挡。透明化处理部230通过对所述第二影像进行透明化处理并以所述第一影像为重点进行显示，可以防止所述前方作业装置遮挡视野。
当铲斗30位于所述已设定的铲斗位置与所述透明化处理区域的最高位置100％之间时，通过对配置于所述透明化处理区域内的上部摄像头110拍摄的所述第一影像进行透明化处理，可以显示为以下部摄像头120实现的被摄体成为重点。当铲斗30位于相对高的位置时，在由上部摄像头110拍摄的第一影像中，驾驶室40的前方可能被包括动臂20和铲斗30的所述前方作业装置遮挡。透明化处理部230通过对所述第一影像进行透明化处理并以所述第二影像为重点进行显示，可以防止所述前方作业装置遮挡视野。
当铲斗30上升或下降并经过所述已设定的铲斗位置(透明化转换位置)时，位于被透明化处理部230透明化处理的所述透明化处理区域内的影像可以由所述第二影像转换为所述第一影像或者由所述第一影像转换为所述第二影像。
不同于此，透明化处理部230可以在所述动臂的旋转角度θ在第一角度范围时使所合成的所述影像中的所述第二影像透明化，在所述动臂的旋转角度θ在第二角度范围时使所合成的所述影像的所述透明化处理区域中的所述第一影像和所述第二影像透明化，并且在所述动臂的旋转角度θ在第三角度范围时使所合成的所述影像中的所述第一影像透明化。例如，可以设定为使所述第一角度范围在0度至15度的范围内，使所述第二角度范围在15度至25度的范围内，并且使所述第三角度范围在25度至45度的范围内。
在一些示例性的实施例中，可以通过输入部400设定影像处理装置200中的影像处理条件。例如，所述影像处理条件可以是针对整个显示区域中所述透明化处理区域所占的面积的条件。随着决定所述透明化处理区域，可以设定所述第一影像和所述第二影像的透明化转换位置、显示装置300的整个显示区域中的透明化处理区域等。例如，所述透明化转换位置可以指所述透明化处理区域的边界位置，当铲斗30移动而位于所述透明化处理区域的边界时，可以视为铲斗30位于用于透明化转换的已设定的位置。所述透明化处理区域的面积和位置、所述透明化转换时间点等可以根据装备的机型由制造商固定地设定，并且可以由作业者或维护人员自由地变更设定。
例如，输入部400可以以仪表板可选形式实现，作业者可以通过输入部400变更所述透明化转换时间点、所述透明化处理区域等。
如上所述，当设定了所述透明化处理区域和所述透明化转换时间点时，显示装置300可以区分为对所述摄像头部的拍摄影像进行透明化处理并进行显示的透明化处理区域R和透明化处理区域R的外部区域来显示影像。显示装置300既可以以能够区分透明化处理区域R的方式附加地显示透明化处理区域R的外廓线，也可以不带所述外廓线地将基于透明化处理的影像与透明化处理区域R的外部区域的影像连接起来显示。
此外，显示装置300可以在透明化处理区域R的外部区域显示第一影像，并且可以显示随着在透明化处理区域R的内部区域进行透明化处理而重点显示所述第一影像、所述第二影像或所述第一影像和所述第二影像中的至少某一个的透明化影像。
例如，当铲斗30位于透明化处理区域R的外部区域时，显示装置300可以只显示将透明化处理区域R和透明化处理区域R的外部区域相互连接起来的第一影像。不同于此，透明化处理区域R的内部也可以显示重点显示第一影像的透明化影像。在这种情况下，作业者也可能因重点显示第一影像的透明化影像而认知为显示装置300整体显示第一影像。此外，当铲斗30的至少一部分位于透明化处理区域R的内部时，显示装置300可以对透明化处理区域R的内部显示重点显示第二影像的透明化处理影像或第二影像，而对透明化处理区域R的外部区域可以显示只排除透明化处理区域R内的影像的第一影像。
下面对利用图4的工程机械的控制系统控制工程机械的方法进行描述。下面的描述也将如同前述方法以轮式装载机为基准进行说明。
图6是示出一些示例性的实施例的轮式装载机的控制方法的顺序图。图7是示出由图4的上部摄像头拍摄的第一影像中的前方作业装置的图。图8是示出图3中工程机械直行行驶时状态A显示于驾驶室内的显示装置的画面的图。图9是示出图3中工程机械左侧旋回时状态B显示于驾驶室内的显示装置的画面的图。
参照图1至图9，首先，可以通过设置于轮式装载机10的上部摄像头110和下部摄像头120获取第一影像IM1和第二影像IM2(S100)。可以从第一影像IM1识别前方作业装置的形状以决定所述前方作业装置的旋回角度θs(S110)，并根据旋回角度θs决定透明化处理区域R的位置(S120)。可以将第一影像IM1和第二影像IM2合成为一个影像(S130)。
在一些示例性的实施例中，可以利用设置于驾驶室40上的上部摄像头110获取对驾驶室40的前方的第一影像IM1。可以利用设置于前方车体12的下部摄像头120获取对前方车体12的前方的第二影像IM2。
所述第一影像可以是通过上部摄像头110以前方上部为焦点拍摄的影像，所述第二影像可以是通过下部摄像头120以前方下部为焦点拍摄的影像。可以设定为使上部摄像头110的第一垂直视野角θv1和下部摄像头120的第二垂直视野角θv2部分重叠并且使上部摄像头110的第一水平视野角θh1和下部摄像头120的第二水平视野角θh2部分重叠，使得所述第一影像和所述第二影像可以彼此部分重叠。
例如，上部摄像头110可以设置于与中心销16的中心轴(旋回中心轴)重合或靠其后方的位置，下部摄像头120可以设置于相对于中心销16的中心轴的前方。由于上部摄像头110和下部摄像头120相对于所述旋回中心轴彼此不同地设置，因此，如图3所示，当前方作业装置向左侧(或右侧)旋回时，上部摄像头110所观察的方向和下部摄像头120所观察的方向彼此不同。
在一些示例性的实施例中，影像处理装置200可以将第一影像IM1和第二影像IM2匹配起来并合成为一个影像。此外，影像处理装置200可以从第一影像IM1识别所述前方作业装置的形状以决定前方车体12的旋回角度θs。例如，可以对第一影像IM1中的所述前方作业装置的实际图像和通过机器学习预先识别并存储的所述前方作业装置的学习图像进行比较以决定所述前方作业装置的旋回角度θs。
如图7所示，由上部摄像头110获取的第一影像IM1中的所述前方作业装置可以显示为多个像素中所对应的像素。这里，由上部摄像头110拍摄的前方空间可以表示为相同大小的网格，并且可以在每个网格中显示物体的存在与否。
对第一影像IM1中的实际图像和已存储的所述前方作业装置的学习图像进行比较，当所述实际图像与所述已存储的前方作业装置的学习图像相同时，可以识别为所述前方作业装置。这里，所述前方作业装置的学习图像可以包括对由上部摄像头110拍摄的前方作业装置(例如，动臂20或动臂缸)的多样的形状进行机器学习并存储的图像。机器学习(Machine Learning)是人工智能的一个领域，可以指使诸如计算机的处理装置能够学习的算法。
接着，在掌握所述前方作业装置所在的摄像头画面上的像素位置(起点和终点)以决定所述前方车体的旋回角度θs后，可以决定对应于所述旋回角度的所述第一影像和所述第二影像被合成的影像中的透明化处理区域R的位置。
如图8所示，当轮式装载机10直行行驶时，可以从第一影像IM1中的动臂20的像素位置决定所述前方车体的旋回角度θs并反映所述旋回角度来将所合成的所述影像中的透明化处理区域R的位置决定为中心区域。
如图9所示，当轮式装载机10向左侧旋回时，可以从第一影像IM1中的动臂20的像素位置决定所述前方车体的旋回角度θs并反映所述旋回角度来将所合成的所述影像中的透明化处理区域R的位置由所述中心区域移动至左侧。
接着，可以在透明化处理区域R内对所述第一影像和所述第二影像中的至少某一个影像进行透明化处理(S140)，并通过显示装置300显示所述透明化处理后的合成影像(S150)。
在一些示例性的实施例中，可以检测所述前方作业装置的姿势。可以检测连接于前方车体12的动臂20的旋转角度。可以由动臂角度传感器24检测铲斗30的位置，即，对距离地面的铲斗30的高度的信息。可以从由动臂角度传感器24测量的动臂20的旋转角度决定铲斗的上升高度。
如图2所示，动臂20的旋转角度可以是动臂20的最低位置(0％)处的延长线L与动臂20的延长线R之间的角度θ。动臂20的最高位置(max boom height)处的动臂20的旋转角度可以是θmax.height，此时，铲斗位置可以是最大高度(100％)。
接着，可以确认所述铲斗位置是否高于或低于已设定的位置(透明化转换位置)。所述已设定的位置可以是透明化转换位置，即，透明化处理区域R的边界。即，对铲斗的位置和所述已设定的位置的比较可以包括确认铲斗30或动臂20的一部分是否位于透明化处理区域R的内部。当所述铲斗或动臂位置低于已设定的位置时，可以使所合成的所述影像中的所述第二影像透明化，当所述铲斗或动臂位置高于已设定的位置时，可以使所合成的所述影像中的所述第一影像透明化。这里，以通过显示装置300显示的影像为基准，所述已设定的位置可以是已设定的透明化处理区域R的下端边界。之后，可以通过显示装置300显示所述透明化处理后的合成影像。此时，显示装置300可以在透明化处理区域R的外部区域显示所述第一影像。
在一些示例性的实施例中，影像处理装置200可以根据所检测到的所述动臂位置对所合成的所述影像中的所述第一影像和所述第二影像中的至少某一个影像执行透明化处理。
透明化处理部230可以以使所述第一影像和所述第二影像仅在显示装置300的整个显示区域中的一部分区域，即仅在透明化处理区域R被透明化的方式进行影像处理。透明化处理区域R可以被定义为包括前方视野被包括升降的动臂20和铲斗30的所述前方作业装置遮挡的区域。
所述透明化处理可以在所合成的所述影像的透明化处理区域R内将所述第一影像或所述第二影像去除或半透明地处理以与背景影像重叠，或者将外观的外形线以线或虚线二维地显示以便只能识别形态。例如，可以利用阿尔法混合(Alpha Blending)技术等将所述透明化处理区域内的所述第一影像或所述第二影像从合成的影像中去除。
当铲斗30或动臂20位于最低位置(0％)与所述已设定的铲斗或动臂位置之间时，可以通过对由下部摄像头120拍摄的所述第二影像进行透明化处理使以上部摄像头110实现的被摄体成为重点的透明化影像显示于显示装置300的透明化处理区域R的内部。当铲斗30或动臂20位于相对低的位置时，可以通过使所述第二影像中遮挡前方视野的所述前方作业装置部分透明化来确认所合成的所述影像中的前方物体。
当铲斗30或动臂20位于距离所述已设定的位置的最高位置100％时，可以通过对由上部摄像头110拍摄的所述第一影像进行透明化处理使以下部摄像头120实现的被摄体成为重点的透明化影像显示于显示装置300的透明化处理区域R的内部。当铲斗30或动臂20位于相对高的位置时，可以通过使所述第一影像中遮挡前方视野的所述前方作业装置部分透明化来确认所合成的所述影像中的前方物体。
例如，所述已设定的动臂的位置可以被设定为使动臂20的旋转角度θ在15度至20度的范围内。
不同于此，可以在所述动臂的旋转角度θ在第一角度范围时使所合成的所述影像中的所述第二影像透明化，在所述动臂的旋转角度θ位于第二角度范围时使所合成的所述影像的所述透明化处理区域中的所述第一影像和所述第二影像透明化，并且在所述动臂的旋转角度θ在第三角度范围时使所合成的所述影像中的所述第一影像透明化。例如，可以设定为使所述第一角度范围在0度至15度的范围内，使所述第二角度范围在15度至25度的范围内，并且使所述第三角度范围在25度至45度的范围内。
在一些示例性的实施例中，可以设定使所述第一影像和所述第二影像透明化的影像处理条件。可以通过输入部400设定影像处理装置200中的影像处理条件。例如，所述影像处理条件可有包括所述第一影像和所述第二影像的透明化转换时间点、显示装置300的整个显示区域中所述透明化处理区域所占的面积等。所述第一影像和所述第二影像的透明化转换时间点可以由所述铲斗30或动臂20的位置和所述已设定的铲斗或动臂位置决定。所述透明化处理区域可以根据装备的机型来选择。
例如，输入部400可以以仪表板可选形式实现，作业者可以通过输入部400变更所述透明化转换时间点、所述透明化处理区域的面积等。输入部400可以以设于驾驶室内部的单独的操作装置、一体地设于所述显示装置的操作装置或构成所述显示装置的显示画面的触摸屏的形式设置。从而，作业者可以设定多样的影像处理条件，如将作业时需要注意的物体的周围设定为透明化处理区域。
如上所述，可以将由设置在轮式装载机10的驾驶室40上的上部摄像头110和设置在前方车体12上的下部摄像头120拍摄的所述第一影像和所述第二影像合成为一个影像，并根据前方车体12的旋回角度θs决定所合成的所述影像中的透明化处理区域R的位置，并根据连接于前方车体12的铲斗30或动臂20的位置在透明化处理区域R内对所述第一影像和所述第二影像中的至少某一个影像进行透明化处理，并通过显示装置300显示所述透明化处理后的影像。
当铲斗30或动臂20位于最低位置0％与所述已设定的铲斗或动臂位置之间的相对低的位置时，在由下部摄像头120拍摄的第二影像中，前方视野可能被包括动臂20和铲斗30的前方作业装置遮挡。当铲斗30或动臂20位于所述已设定的铲斗或动臂位置与透明化显示区域的最高位置100％之间的相对高的位置时，在由上部摄像头110拍摄的第一影像中，前方视野可能被包括动臂20和铲斗30的前方作业装置遮挡。
通过根据铲斗30或动臂20的位置在所合成的所述影像中对所述第一影像和所述第二影像进行透明化处理，可以去除所述前方作业装置遮挡前方视野的盲区。
此外，由于上部摄像头110和下部摄像头120的安装位置彼此不同，转向时，铲斗30可能因脱离透明化处理区域R而不一致。当轮式装载机10转向时，可以从第一影像IM1识别所述前方作业装置的形状以决定前方车体12的旋回角度θs并在合成第一影像IM1和第二影像IM2的影像中以使透明化处理区域R的位置与旋回角度θs匹配的方式处理影像。
因此，即使在轮式装载机10转向时也能防止包括动臂20和铲斗30的所述前方作业装置遮挡前方视野。由此，可以通过增加作业者的认知力以确保稳定性来将安全事故防范于未然。
虽然在上文中参照本发明的实施例进行了描述，但本领域技术人员将可以理解，在不脱离权利要求书中记载的本发明的思想和领域的范围内可以对本发明进行多样的修改和变更。

Claims (16)

1.一种工程机械的控制系统，其特征在于，包括：
上部摄像头，其设置于后方车体的驾驶室上以拍摄所述驾驶室的前方；
下部摄像头，其设置在能够旋转地连接于所述后方车体的前方车体上以拍摄所述前方车体的前方；
影像处理装置，其用于将由所述上部摄像头和所述下部摄像头拍摄的第一影像和第二影像合成为一个影像且识别所述第一影像中的前方作业装置的形状以决定所述前方车体的旋回角度，并根据所述旋回角度设定所合成的所述影像中所述第一影像和所述第二影像中的至少某一个影像被透明化处理的透明化处理区域的位置；以及
显示装置，其用于显示由所述影像处理装置合成的合成影像。
2.根据权利要求1所述的工程机械的控制系统，其特征在于，
所述影像处理装置包括：
形状识别部，其从所述第一影像识别所述前方作业装置的形状以决定所述前方车体的旋回角度；以及
透明化处理部，其根据所决定的所述旋回角度决定所合成的所述影像中的所述透明化处理区域的位置。
3.根据权利要求2所述的工程机械的控制系统，其特征在于，
所述形状识别部对所述第一影像中的所述前方作业装置的实际图像和通过机器学习预先识别并存储的所述前方作业装置的学习图像进行比较以决定所述前方作业装置的旋回角度。
4.根据权利要求2所述的工程机械的控制系统，其特征在于，
所述影像处理装置还包括存储部，该存储部以从所述形状识别部接收到的实际图像作为输入数据执行深度学习算法并存储所述前方作业装置的所述学习图像。
5.根据权利要求1所述的工程机械的控制系统，其特征在于，
还包括作业装置姿势检测部，其用于检测所述前方作业装置的姿势，
所述影像处理装置根据由所述作业装置姿势检测部检测到的所述前方作业装置的姿势对所述透明化处理区域中所述第一影像和所述第二影像中的至少某一个影像进行透明化处理。
6.根据权利要求5所述的工程机械的控制系统，其特征在于，
所述影像处理装置在所述前方作业装置的至少一部分侵犯已设定的位置时对所述透明化处理区域中的所述第一影像进行透明化，并且在所述前方作业装置不侵犯所述已设定的位置时对所述透明化处理区域中的所述第二影像进行透明化。
7.根据权利要求1所述的工程机械的控制系统，其特征在于，
还包括输入部，其用于设定所述影像处理装置中的影像处理条件。
8.根据权利要求7所述的工程机械的控制系统，其特征在于，
所述影像处理条件包括所述第一影像和所述第二影像的透明化转换时间点或所述显示装置的整个显示区域中所述透明化处理区域所占的面积。
9.一种工程机械的控制系统，其特征在于，包括：
上部摄像头，其设置于后方车体的驾驶室上以拍摄所述驾驶室的前方；
下部摄像头，其设置在能够旋转地连接于所述后方车体的前方车体上以拍摄所述前方车体的前方；
影像处理装置，其将由所述上部摄像头和所述下部摄像头拍摄的第一影像和第二影像合成为一个影像且识别所述第一影像中的前方作业装置的形状以决定所述前方车体的旋回与否，并根据所述旋回与否对所合成的影像中所述第一影像和所述第二影像中的至少某一个影像进行透明化处理；以及
显示装置，其用于显示由所述影像处理装置合成的合成影像。
10.根据权利要求9所述的工程机械的控制系统，其特征在于，
所述影像处理装置从所述第一影像识别所述前方作业装置的形状以决定所述前方车体的旋回角度，并根据所决定的所述旋回角度决定所合成的所述影像中的透明化处理区域的位置。
11.一种工程机械的控制方法，其特征在于，包括：
从设置在后方车体的驾驶室上的上部摄像头获取所述驾驶室的前方的第一影像；
从设置在能够旋转地连接于所述后方车体的前方车体上的下部摄像头获取所述前方车体的前方的第二影像；
从所述第一影像识别前方作业装置的形状以决定所述前方车体的旋回角度；
将所述第一影像和所述第二影像合成为一个影像；
根据所述旋回角度设定所合成的所述影像中的透明化处理区域的位置；
在所述透明化处理区域内对所述第一影像和所述第二影像中的至少某一个影像进行透明化处理；以及
通过显示装置显示所述透明化处理后的影像。
12.根据权利要求11所述的工程机械的控制方法，其特征在于，
从所述第一影像决定所述前方车体的旋回角度的步骤包括：
对所述第一影像中的所述前方作业装置的实际图像和通过机器学习预先识别并存储的所述前方作业装置的学习图像进行比较以决定所述前方作业装置的旋回角度。
13.根据权利要求12所述的工程机械的控制方法，其特征在于，
还包括通过以所述第一影像中的所述实际图像作为输入数据执行深度学习算法来获取所述前方作业装置的所述学习图像。
14.根据权利要求11所述的工程机械的控制方法，其特征在于，
还包括检测所述前方作业装置的姿势，并且
在所述透明化处理区域内对所述第一影像和所述第二影像中的至少某一个影像进行透明化处理的步骤包括：
根据检测到的所所述前方作业装置的姿势对所述第一影像和所述第二影像中的至少某一个影像进行透明化处理。
15.根据权利要求11所述的工程机械的控制方法，其特征在于，
还包括设定使所述第一影像和所述第二影像透明化的影像处理条件。
16.根据权利要求15所述的工程机械的控制方法，其特征在于，
所述影像处理条件包括所述第一影像和所述第二影像的透明化转换时间点或所述显示装置的整个显示区域中所述透明化处理区域所占的面积。
CN202210039261.9A 2021-01-14 2022-01-13 工程机械的控制系统及方法 Pending CN114763701A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0005182 2021-01-14
KR1020210005182A KR20220102804A (ko) 2021-01-14 2021-01-14 건설기계의 제어 시스템 및 방법

Publications (1)

Publication Number Publication Date
CN114763701A true CN114763701A (zh) 2022-07-19

Family

ID=79316911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210039261.9A Pending CN114763701A (zh) 2021-01-14 2022-01-13 工程机械的控制系统及方法

Country Status (4)

Country Link
US (1) US20220220705A1 (zh)
EP (1) EP4029998A1 (zh)
KR (1) KR20220102804A (zh)
CN (1) CN114763701A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230035181A1 (en) * 2021-07-28 2023-02-02 Hyundai Doosan Infracore Co., Ltd. System and method of controlling construction machinery
CN218577615U (zh) * 2022-08-31 2023-03-07 卡特彼勒公司 用于工程机械的集成式控制显示系统和工程机械
KR20240056273A (ko) * 2022-10-21 2024-04-30 에이치디현대인프라코어 주식회사 건설기계의 제어 시스템 및 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2712969A1 (en) * 2011-05-13 2014-04-02 Hitachi Construction Machinery Co., Ltd Device for monitoring area around working machine
US20160344931A1 (en) * 2015-05-22 2016-11-24 Caterpillar Inc. Imaging system for generating a surround-view image
CN107532410A (zh) * 2015-08-24 2018-01-02 株式会社小松制作所 轮式装载机的控制系统、其控制方法以及轮式装载机的控制方法
CN108556738A (zh) * 2018-03-30 2018-09-21 深圳市元征科技股份有限公司 汽车a柱盲区的显示装置和方法
EP3666977A1 (en) * 2017-08-08 2020-06-17 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Road machine
CN111587448A (zh) * 2018-01-19 2020-08-25 神钢建机株式会社 远端附属设备辨别装置
CN111764456A (zh) * 2020-06-16 2020-10-13 武汉理工大学 铲车斗齿脱落智能监测与报警装置及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6204884B2 (ja) * 2014-07-25 2017-09-27 日立建機株式会社 旋回式作業機の周囲表示装置
KR20210089039A (ko) * 2020-01-07 2021-07-15 두산인프라코어 주식회사 건설기계의 제어 시스템 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2712969A1 (en) * 2011-05-13 2014-04-02 Hitachi Construction Machinery Co., Ltd Device for monitoring area around working machine
US20160344931A1 (en) * 2015-05-22 2016-11-24 Caterpillar Inc. Imaging system for generating a surround-view image
CN107532410A (zh) * 2015-08-24 2018-01-02 株式会社小松制作所 轮式装载机的控制系统、其控制方法以及轮式装载机的控制方法
EP3666977A1 (en) * 2017-08-08 2020-06-17 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Road machine
CN111587448A (zh) * 2018-01-19 2020-08-25 神钢建机株式会社 远端附属设备辨别装置
CN108556738A (zh) * 2018-03-30 2018-09-21 深圳市元征科技股份有限公司 汽车a柱盲区的显示装置和方法
CN111764456A (zh) * 2020-06-16 2020-10-13 武汉理工大学 铲车斗齿脱落智能监测与报警装置及方法

Also Published As

Publication number Publication date
KR20220102804A (ko) 2022-07-21
US20220220705A1 (en) 2022-07-14
EP4029998A1 (en) 2022-07-20

Similar Documents

Publication Publication Date Title
CN113152552B (zh) 工程机械的控制系统及方法
CN114763701A (zh) 工程机械的控制系统及方法
JP6581139B2 (ja) 作業機械の周囲監視装置
JP5814187B2 (ja) 自走式産業機械の表示装置
JP5988683B2 (ja) 自走式産業機械の表示装置
US20140111648A1 (en) Device For Monitoring Area Around Working Machine
JP5938222B2 (ja) 運搬車両の周囲監視装置
AU2012257053A1 (en) Device for monitoring area around working machine
CN103797789A (zh) 工作机械的周围监视装置
JP7565042B2 (ja) 作業車両の表示システムおよび作業車両の表示方法
KR20240056273A (ko) 건설기계의 제어 시스템 및 방법
JP2013002101A (ja) 作業機械の視野補助装置
KR20230017724A (ko) 건설기계의 제어 시스템 및 방법
US20240052602A1 (en) Work machine surroundings monitoring system, work machine, and work machine surroundings monitoring method
CN115695717A (zh) 工程机械的控制系统及方法
KR20240056262A (ko) 건설기계의 제어 시스템 및 방법
JP6224770B2 (ja) ダンプトラックの表示装置
CN117597491A (zh) 工程机械的控制系统及方法
US20220220707A1 (en) System and method of controlling construction machinery
JP7145137B2 (ja) 作業機械の制御装置
US12110660B2 (en) Work machine 3D exclusion zone
US20240141621A1 (en) Display control device, display control method, and work machine
JP6188858B2 (ja) 作業機械の周囲監視装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Inchon, South Korea

Applicant after: HYUNDAI DOOSAN INFRACORE Co.,Ltd.

Address before: Inchon, South Korea

Applicant before: Hyundai Doosan yingweigao Co.,Ltd.

CB02 Change of applicant information