CN113152552B - 工程机械的控制系统及方法 - Google Patents

工程机械的控制系统及方法 Download PDF

Info

Publication number
CN113152552B
CN113152552B CN202110012503.0A CN202110012503A CN113152552B CN 113152552 B CN113152552 B CN 113152552B CN 202110012503 A CN202110012503 A CN 202110012503A CN 113152552 B CN113152552 B CN 113152552B
Authority
CN
China
Prior art keywords
image
processing
transparentization
posture
boom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110012503.0A
Other languages
English (en)
Other versions
CN113152552A (zh
Inventor
李相训
朴宰弘
李政表
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Yingweigao Co ltd
Wise Automotive Corp
Original Assignee
Doosan Infracore Co Ltd
Wise Automotive Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Doosan Infracore Co Ltd, Wise Automotive Corp filed Critical Doosan Infracore Co Ltd
Publication of CN113152552A publication Critical patent/CN113152552A/zh
Application granted granted Critical
Publication of CN113152552B publication Critical patent/CN113152552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F1/00—General working methods with dredgers or soil-shifting machines
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/425—Drive systems for dipper-arms, backhoes or the like
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Abstract

本发明的工程机械的控制系统包括：上部摄像头，其设置于驾驶室上，拍摄所述驾驶室的前方；下部摄像头，其设置于车体上，拍摄所述车体的前方；作业装置姿势检测部，其用于检测以能够旋转的方式连接于所述车体的作业装置的姿势；影像处理部，其将从所述上部摄像头和所述下部摄像头拍摄的第一影像和第二影像合成为一个影像，并且根据由所述作业装置姿势检测部检测到的作业装置的姿势在所合成的所述影像中对所述第一影像及所述第二影像中的至少一个影像进行透明化处理；以及显示装置，其显示由所述影像处理部进行影像处理的合成影像。

Description

工程机械的控制系统及方法
技术领域
本发明涉及一种工程机械的控制系统及方法。更详细而言，涉及一种用于在诸如轮式装载机、挖掘机等的工程机械的作业或行驶时识别前方障碍物的控制系统及利用该控制系统的工程机械的控制方法。
背景技术
诸如挖掘机、轮式装载机等的工程机械被广泛用于在工程现场挖掘并搬运土、沙之类的装载物并装载于诸如自卸卡车的货物车辆的作业等。这些作业如同铲斗和动臂通过设置于工程机械的作业装置的驱动来执行。但是，所述作业装置可能会在驱动中遮挡或限制作业者的前方视野，而如上所述的作业装置对作业者的前方视野的妨碍可能会成为引发安全事故的原因。
发明内容
技术问题
本发明的一课题在于，提供一种能够改善被作业装置限制的前方视野的工程机械的控制系统。
本发明的另一课题在于，提供一种利用上述控制系统的工程机械的控制方法。
技术方案
用于达成上述本发明的一课题的一些示例性的实施例的工程机械的控制系统包括：上部摄像头，其设置于驾驶室上，拍摄所述驾驶室的前方；下部摄像头，其设置于车体上，拍摄所述车体的前方；作业装置姿势检测部，其用于检测以能够旋转的方式连接于所述车体的作业装置的姿势；影像处理部，其将从所述上部摄像头和所述下部摄像头拍摄的第一影像和第二影像合成为一个影像，并且根据由所述作业装置姿势检测部检测到的所述作业装置的姿势在所合成的所述影像中对所述第一影像及所述第二影像中的至少一个影像进行透明化处理；以及显示装置，其显示由所述影像处理部进行影像处理的合成影像。
在一些示例性的实施例中，所述控制部可以执行以下处理：当所述作业装置的至少一部分侵占已设定的位置时，在所合成的所述影像中对所述第一影像进行透明化；当所述作业装置未侵占所述已设定的位置时，在所合成的所述影像中对所述第二影像进行透明化。
在一些示例性的实施例中，所述显示装置的整体显示区域包括已设定的透明化处理区域和所述透明化处理区域的外部区域，所述控制部可以以使所述第一影像及所述第二影像在所述透明化处理区域被透明化的方式进行影像处理。
在一些示例性的实施例中，所述工程机械的控制系统还可以包括：输入部，其用于设定所述影像处理部中的影像处理条件。
在一些示例性的实施例中，所述影像处理条件可以包括所述第一影像及所述第二影像的透明化转换时间点或所述显示装置的整体显示区域中的透明化处理区域。
用于达成上述本发明的另一课题的一些示例性的实施例的工程机械的控制方法包括：从设置于驾驶室上的上部摄像头获取所述驾驶室的前方的第一影像；从设置于车体上的下部摄像头获取所述车体前方的第二影像；检测以能够旋转的方式连接于所述车体的作业装置的姿势；将所述第一影像和所述第二影像合成为一个影像；根据检测到的所述作业装置的姿势在所合成的所述影像中对所述第一影像及所述第二影像中的至少一个影像进行透明化处理；以及通过显示装置显示透明化处理后的所述影像。
在一些示例性的实施例中，对所述第一影像及所述第二影像中的某一个影像进行透明化处理的步骤可以包括：当所述作业装置的至少一部分处于侵占已设定的位置的姿势时，在所合成的所述影像中对所述第一影像进行透明化；以及当所述作业装置处于未侵占所述已设定的位置的姿势时，在所合成的所述影像中对所述第二影像进行透明化。
在一些示例性的实施例中，所述显示装置的整体显示区域可以包括已设定的透明化处理区域和所述透明化处理区域的外部区域，并且所述第一影像及所述第二影像可以以在所述透明化处理区域的内部被透明化的方式进行影像处理。
在一些示例性的实施例中，所述工程机械的控制方法还可以包括：设定使所述第一影像及所述第二影像被透明化的影像处理条件。
在一些示例性的实施例中，所述影像处理条件可以包括所述第一影像及所述第二影像的透明化转换时间点或所述显示装置的整体显示区域中的透明化处理区域。
发明的效果
根据一些示例性的实施例，工程机械的控制系统可以将从设置于工程机械的驾驶室上的上部摄像头及设置于前方车体上的下部摄像头拍摄的第一影像及第二影像合成为一个影像，并根据作业装置的姿势的变更在所合成的所述影像中对所述第一影像及所述第二影像中的至少一个影像进行透明化处理，并通过显示装置显示透明化处理后的所述影像。
即，通过根据铲斗的位置、动臂的姿势之类的作业装置的姿势在所合成的所述影像中对所述第一影像和/或所述第二影像进行透明化处理，可以消除前方视野被前方作业装置遮挡的盲区。从而，可以提高作业者的认知力来确保稳定性，以将安全事故防范于未然。
此外，可以根据作业者的选择来设定透明化处理区域，从而可以提高利用透明化处理后的影像的自由度，能够进行有效的系统配置。
但是，本发明的效果并不限于以上提及的效果，在不脱离本发明的思想及领域的范围内，可以被多样地扩展。
附图说明
图1是示出一些示例性的实施例的工程机械的一部分的侧视图。
图2是示出图1的作业装置的姿势的变化的侧视图。
图3是示出图1的工程机械的控制系统的框图。
图4是示出一些示例性的实施例的工程机械的控制方法的顺序图。
图5是示出当铲斗的位置低于已设定的位置时显示于驾驶室内的显示装置的画面的图。
图6是示出当铲斗的位置高于已设定的位置时显示于驾驶室内的显示装置的画面的图。
附图标记
10：轮式装载机，12：前方车体，14：后方车体，20：动臂，22：动臂缸，24：动臂角度传感器，30：铲斗，32：铲斗缸，34：倾斜斗杆，40：驾驶室，70：前方轮，100：摄像头部，110：第一摄像头，120：第二摄像头，120：第二传感器，200：影像处理部，210：影像合成部，220：透明化处理部，230：图像渲染部，300：显示装置，400：输入部。
具体实施方式
下面参照附图对本发明的优选实施例进行详细说明。
在本发明的各图中，为了本发明的清楚性，结构物的尺寸是比实际放大而图示的。
在本发明中，第一、第二等术语可以用于说明多种多样的构成要素，但这些构成要素不应为这些术语所限定。这些术语仅用作区分一构成要素与另一构成要素的目的。
本发明中使用的术语是仅为说明特定的实施例而使用的，并不意图限定本发明。除非上下文中明确不同地定义，单数的表述包括复数的表述。在本申请中，“包括”或“具有”等术语应理解为旨在指定说明书中记载的特征、数字、步骤、动作、构成要素、部件或这些的组合的存在，并不预先排除一个或一个以上的其他特征或数字、步骤、动作、构成要素、部件或这些的组合的存在或可附加性。
对于本说明书中公开的本发明的实施例，特定的结构性乃至功能性说明仅仅是以用于说明本发明的实施例的目的例示的，本发明的实施例可以被实施为多种多样的形态，而不应解释为限于在本说明书中说明的实施例。
即，可以对本发明加以多种多样的变更，且本发明可以具有多种形态，一些特定实施例例示于附图，并在本说明书中进行详细说明。但是，这并不意图将本发明限定于特定的公开方式，而是应理解为包括落入本发明的思想及技术范围内的所有变更、均等物乃至替代物。
图1是示出一些示例性的实施例的工程机械的一部分的侧视图。图2是示出对应于图1的动臂的旋转角度的铲斗的上升位置的侧视图。图3是示出图1的工程机械的控制系统的框图。虽然图1中示出轮式装载机10，但并不因此而将一些示例性的实施例的工程机械的控制装置仅限于用于轮式装载机，而是也可以应用于诸如挖掘机、叉车的工业车辆。在下文中，为便于说明，仅对轮式装载机10进行描述。
参照图1至图3，工程机械10可以包括车体12、14、驾驶室40、以及作业装置。以图1的轮式装载机10为例，车体12、14可以包括相互能够旋转地连接的前方车体12和后方车体14。前方车体12可以包括作业装置和前方轮70。后方车体14还可以包括驾驶室40、发动机室(未图示)以及后方轮(未图示)。
所述作业装置可以包括动臂20和铲斗30。动臂20可以以能够旋转的方式连接于前方车体12，铲斗30可以以能够旋转的方式连接于动臂20的一端部。动臂20可以通过一对动臂缸22连接于前方车体12，动臂20可以通过动臂缸22的驱动在上下方向上旋转。倾斜斗杆34可以以能够在动臂20的大致中心部上自由地旋转的方式连接，倾斜斗杆34的一端部与前方车体12通过一对铲斗缸32连接，通过倾斜杆连接于倾斜斗杆34的另一端部的铲斗30可以通过铲斗缸32的驱动在上下方向上旋转(倾卸或挖掘)。
此外，前方车体12与后方车体14可以通过中心销16相互能够旋转地连接，并且，转向缸(未图示)的伸缩可以使前方车体12相对于后方车体14左右弯折。
可以在后方车体14搭载用于使轮式装载机10行驶的行驶装置。发动机(未图示)可以配置于所述发动机室内，并向所述行驶装置供应功率输出。所述行驶装置可以包括变矩器、变速器、螺旋桨轴、车轴等。所述发动机的功率输出通过所述变矩器、所述变速器、所述螺旋桨轴及所述车轴被传递至前方轮70和所述后方轮，使得轮式装载机10行驶。
可以在后方车体14搭载用于向所述作业装置的动臂缸22和铲斗缸32供应压油的液压泵(未图示)。所述液压泵可以通过来自所述发动机的功率输出的一部分来驱动。例如，所述发动机的输出可以通过诸如与所述发动机连接的齿轮系的动力传递装置驱动用于所述作业装置的液压泵和用于转向的液压泵。
所述液压泵可以供应工作油以驱动所述作业装置，并且可以被区分为可变容量型和固定容量型。可以在所述可变容量型液压泵连接有泵控制装置，并且可以通过所述泵控制装置来控制所述可变容量型液压泵的排出流量。所述液压泵可以通过规定的液压回路与包括动臂控制阀阀和铲斗控制阀的主控制阀(MCV)连接。所述液压泵的排出油可以通过主控制阀(MCV)的所述动臂控制阀和所述铲斗控制阀被供应至动臂缸22和铲斗缸32。主控制阀(MCV)可以根据基于所述操作杆的操作输入的先导压力信号将从所述液压泵排出的工作油供应至动臂缸22和铲斗缸32。从而，动臂20和铲斗30可以通过从所述液压泵排出的工作油的液压来驱动。
驾驶室40可以设置于所述工程机械的车体，并且，在轮式装载机的情况下，可以设置于后方车体14的上部。可以在驾驶室40内具备驾驶操作装置。所述驾驶操作装置可以包括行驶踏板、制动踏板、FNR行驶杆、以及用于启动诸如动臂缸22和铲斗缸32的缸的操作杆。
如上所述，轮式装载机10可以包括用于通过动力传递装置利用所述发动机的输出来驱动所述行驶装置的行驶系统、以及用于驱动诸如动臂20和铲斗30的作业装置的液压装置系统。
下面以轮式装载机为例对所述工程机械的控制系统进行说明。
如图3所示，所述轮式装载机的控制系统可以包括：摄像头部100，其安装于轮式装载机10，用于拍摄轮式装载机10的前方；作业装置姿势检测部，其用于检测连接于前方车体12的作业装置的姿势；影像处理部200，其用于实时地处理来自摄像头部100的影像；以及显示装置300，其用于显示由影像处理部200处理的影像。此外，所述轮式装载机的控制系统还可以包括：输入部400，其用于设定影像处理部200中的影像处理条件。
轮式装载机10的影像处理部200可以作为发动机控制装置(ECU)或车辆控制装置(VCU)的一部分或单独的控制器搭载于后方车体14。影像处理部200可以包括用于执行在本说明书中说明的功能的指定的硬件、软件及电路。这些构成要素可以由诸如逻辑电路、微处理器、存储设备等的电路物理地执行。
在一些示例性的实施例中，摄像头部100可以用于在轮式装载机10行驶或作业时监视轮式装载机10的前方，其包括多个摄像头。具体地，摄像头部100可以包括：上部摄像头110，其设置于驾驶室40的上部，用于拍摄驾驶室40前方以获取第一影像；以及下部摄像头120，其设置于前方车体12上，用于拍摄前方车体12的前方以获取第二影像。虽然图1和图2中示出一个上部摄像头和一个下部摄像头，但不限于此，可以具备多个上部摄像头和多个下部摄像头。
上部摄像头110可以以轮式装载机的前方方向为基准具有第一垂直视野角(Fieldof View，FoV)θv1和第一水平视野角。例如，所述第一垂直视野角可以具有60度至120度的角度范围。下部摄像头120可以具有第二垂直视野角θv2和第二水平视野角。例如，所述第二垂直视野角可以具有60度至120度的角度范围。
所述第一影像可以是通过上部摄像头110以前方上部为焦点拍摄的影像，所述第二影像可以是通过下部摄像头120以前方下部为焦点拍摄的影像。
可以设定为使上部摄像头110的第一垂直视野角θv1和下部摄像头120的第二垂直视野角θv2部分地重叠，使得所述第一影像和第二影像彼此部分地重叠。
在一些示例性的实施例中，所述作业装置姿势检测部可以检测所述作业装置是否侵占待后述的显示区域内的透明化处理区域。如后述，可以在所述作业装置侵占已设定的位置，即显示装置300的整体显示区域中对应于已设定的透明化处理区域的实际位置时执行所拍摄的影像的透明化处理，以确保作业者的视野。所述作业装置的姿势可以包括铲斗30的位置(距离地面的铲斗的高度)或动臂20的姿势(动臂的旋转角度)。为此，所述作业装置姿势检测部可以包括用于检测铲斗30的位置或动臂20的姿势的动臂角度传感器24。与此同时，可以包括用于检测动臂20和铲斗30的相对旋转角的铲斗角度传感器(未图示)。代替动臂角度传感器24地，可以包括检测驱动动臂20的缸的行程的位移传感器。此外，所述作业装置姿势检测部可以包括图像分析装置，该图像分析装置分析通过摄像头拍摄的所述作业装置的图像，并判断所述作业装置的姿势。
动臂角度传感器24可以检测动臂20的旋转角度，并基于该旋转角度提供关于铲斗30的位置的信息。如图2所示，动臂20的旋转角度可以是动臂20(铲斗30)的最低位置(0％)处的延长线L与动臂20的延长线R之间的角度θ。动臂20的最高位置(max boom height)处的动臂20的旋转角度可以是θmax.height，此时，动臂(铲斗)的位置为最大高度(100％)。
在一些示例性的实施例中，影像处理部200可以以内置于工程机械的控制装置或显示装置的控制装置的形式设置。这样的影像处理部200可以包括：影像合成部210，其用于将所述第一影像和所述第二影像合成为一个影像；以及透明化处理部220，其用于根据由所述动臂位置检测部检测到的动臂位置对所述第一影像及所述第二影像中的至少一个影像进行透明化处理。影像处理部200还可以包括图像渲染部230，该图像渲染部230用于将影像处理后的所述合成影像渲染(rendering)为三维图像。上述影像合成部210、透明化处理部220及图像渲染部230的功能可以通过诸如用于影像处理的GP、CPU的单一的处理器或各自单独的处理器的电算处理来实现。
影像合成部210可以将通过上部摄像头110和下部摄像头120拍摄的所述第一影像和所述第二影像中重复的影像进行匹配，并合成为一个影像。透明化处理部220可以根据检测到的所述作业装置的姿势在所合成的所述影像中对所述第一影像及所述第二影像中的至少一个影像进行透明化处理。图像渲染部230可以以使所述合成影像显示为如同实像的方式进行影像处理，并输出至显示装置300。
透明化处理部220可以以使所述第一影像及所述第二影像仅在显示装置300的整体显示区域中的部分区域被透明化的方式进行影像处理。所述透明化处理区域可以被定义为包括被包括升降的动臂20和铲斗30的前方作业装置遮挡前方视野的区域。
在所述透明化处理中，可以去除或半透明地处理所合成的所述影像的所述透明化处理区域内的所述第一影像和/或所述第二影像，以与背景影像重叠，或者，以线或虚线二维地显示外观的轮廓，以便只能够识别形态。例如，可以利用阿尔法混合(Alpha Blending)技术等从所合成的影像中去除所述透明化处理区域内的所述第一影像或所述第二影像。
在一些示例性的实施例中，透明化处理部220可以应对所述作业装置的至少一部分侵占对应于所述透明化处理区域的位置来进行透明化处理。例如，当可以判断为所述作业装置的至少一部分未侵占所述透明化处理区域的所述铲斗或动臂的位置低于已设定的位置(透明化转换位置)时，可以在所合成的所述影像中对所述第二影像进行透明化。与此同时，当处于可以判定为所述作业装置侵占所述透明化处理区域的所述铲斗或所述动臂的位置高于已设定的位置(透明化转换位置)的状态时，可以在所合成的所述影像中对所述第一影像进行透明化。例如，所述已设定的动臂的位置可以被设定为使动臂20的旋转角度θ在15度至20度的范围内。
当铲斗30位于最低位置(0％)与所述已设定的铲斗的位置，即作为所述透明化处理区域的边界的透明化转换位置之前时，可以通过对从下部摄像头120拍摄的所述第二影像进行透明化处理来显示为使由上部摄像头110实现的被摄体成为重点。当铲斗30位于相对低的位置时，在从下部摄像头120拍摄的第二影像中，前方车体12的前方视野可能被包括动臂20和铲斗30的前方作业装置遮挡。透明化处理部220可以通过对所述第二影像进行透明化处理，并以所述第一影像为重点进行显示来防止视野被所述前方作业装置遮挡。
当铲斗30位于所述已设定的铲斗的位置与所述透明化处理区域的最高位置(100％)之间时，可以通过对从配置于所述透明化处理区域内的上部摄像头110拍摄的所述第一影像进行透明化处理来显示为使由下部摄像头120实现的被摄体成为重点。当铲斗30位于相对高的位置时，在从上部摄像头110拍摄的第一影像中，驾驶室40前方视野可能被包括动臂20和铲斗30的前方作业装置遮挡。透明化处理部220可以对所述第一影像进行透明化处理，并以所述第二影像为重点进行显示来防止视野被所述前方作业装置遮挡。
当铲斗30上升或下降并经过所述已设定的铲斗的位置(透明化转换位置)时，位于被透明化处理部220进行透明化处理的所述透明化处理区域内的影像可以由所述第二影像转换为所述第一影像，或由所述第一影像转换为所述第二影像。
不同于此，透明化处理部220可以执行以下处理：当所述动臂的旋转角度θ在第一角度范围内时，在所合成的所述影像中对所述第二影像进行透明化；当所述动臂的旋转角度θ在第二角度范围内时，在所合成的所述影像的所述透明化处理区域对所述第一影像及所述第二影像进行透明化；以及当所述动臂的旋转角度θ在第三角度范围内时，在所合成的所述影像中对所述第一影像进行透明化。例如，可以设定为：所述第一角度范围在0度至15度的范围内；所述第二角度范围在15度至25度的范围内；以及所述第三角度范围在25度至45度的范围内。
在一些示例性的实施例中，可以通过输入部400设定影像处理部200中的影像处理条件。例如，所述影像处理条件可以针对所述透明化处理区域的位置、大小。随着决定所述透明化处理区域，可以设定所述第一影像及所述第二影像的透明化转换位置、显示装置300的整体显示区域中的透明化处理区域等。例如，所述透明化转换位置可以指所述透明化处理区域的边界位置，并且，当铲斗30移动并位于所述透明化处理区域的边界时，可以视作铲斗30位于用于透明化转换的已设定的位置。所述透明化处理区域的大小及位置、所述透明化转换时间点等可以根据设备的机型由制造商固定地设置，并且可以由作业者或维护人员自由地变更设置。
例如，输入部400可以实现为仪表板可选形式，作业者可以通过输入部400更改所述透明化转换时间点、所述透明化处理区域等。
如上所述，当设定了所述透明化处理区域和所述透明化转换时间点时，显示装置300可以区分为所述摄像头部拍摄的影像被透明化处理并显示的透明化处理区域A和透明化处理区域A的外部区域来显示影像。显示装置300可以额外显示透明化处理区域A的外廓线，以能够区分透明化处理区域A，也可以不带所述外廓线地将基于透明化处理的影像与透明化处理区域A的外部区域的影像连接起来显示。
此外，显示装置300可以在透明化处理区域A的外部区域显示第一影像，并且可以显示随着在透明化处理区域A的内部区域进行透明化处理使所述第一影像、所述第二影像或所述第一影像及所述第二影像均(所述第一影像及所述第二影像均被半透明化的影像)被重点显示的透明化影像。
例如，当铲斗30位于透明化处理区域A的外部区域时，显示装置300可以仅显示将透明化处理区域A和透明化处理区域A的外部区域相互连接起来的第一影像。不同于此，也可以在透明化处理区域A的内部显示重点显示第一影像的透明化影像。在这种情况下，由于重点显示第一影像的透明化影像，作业者也可能认知为显示装置300整体上显示第一影像。此外，当铲斗30的至少一部分位于透明化处理区域A的内部时，显示装置300可以在透明化处理区域A的内部显示重点显示第二影像的透明化处理影像或第二影像，而在透明化处理区域A的外部区域显示仅排除透明化处理区域A内的影像的第一影像。
下面对利用图2的工程机械的控制系统控制工程机械的方法进行说明。如同前述方法，在下面的说明中也同样以轮式装载机为基准进行说明。
图4是示出一些示例性的实施例的轮式装载机的控制方法的顺序图。图5是示出当铲斗的位置低于已设定的位置时显示于驾驶室内的显示装置的画面的图。图6是示出当铲斗的位置高于已设定的位置时显示于驾驶室内的显示装置的画面的图。
参照图1至图6，首先，可以合成通过设置于轮式装载机10的上部摄像头110和下部摄像头120分别拍摄的第一影像和第二影像(S100)。
在一些示例性的实施例中，可以利用设置于驾驶室40上的第一摄像头110获取对驾驶室40的前方的第一影像。可以利用设置于前方车体12上的第二摄像头120获取对前方车体12的前方的第二影像。
所述第一影像可以是通过上部摄像头110以前方上部为焦点拍摄的影像，所述第二影像可以是通过下部摄像头120以前方下部为焦点拍摄的影像。可以设定为使上部摄像头110的第一垂直视野角θv1和下部摄像头120的第二垂直视野角θv2部分地重叠，使得所述第一影像和第二影像彼此部分地重复。
在一些示例性的实施例中，影像处理部200的影像合成部210可以对通过上部摄像头110和下部摄像头120拍摄的所述第一影像和所述第二影像进行匹配，并合成为一个影像。
接着，可以检测连接于前方车体12的动臂20的旋转角度(S110)。
在一些示例性的实施例中，可以检测关于距离动臂角度传感器24的铲斗30的位置，即距离地面的铲斗30的高度的信息。可以从由动臂角度传感器24测量出的动臂20的旋转角度决定铲斗的上升高度。
如图2所示，动臂20的旋转角度可以是动臂20的最低位置(0％)处的延长线L与动臂20的延长线R之间的角度θ。动臂20的最高位置(max boom height)处的动臂20的旋转角度可以是θmax.height，此时，铲斗的位置可以为最大高度(100％)。
接着，可以确认铲斗的位置是否高于或低于已设定的位置(透明化转换位置)(S120)。所述已设定的位置可以是透明转换位置，即，透明化处理区域A的边界。即，铲斗的位置与所述已设定的位置的比较可以包括确认铲斗30或动臂20的一部分是否位于透明化处理区域A的内部。当所述铲斗或动臂位置低于已设定的位置时，可以在所合成的所述影像中对所述第二影像进行透明化(S130)；当所述铲斗或动臂的位置高于已设定的位置时，可以在所合成的所述影像中对所述第一影像进行透明化(S132)。其中，以通过显示装置300显示的影像为基准，所述已设定的位置可以为已设定的透明化处理区域A的下端边界。之后，可以通过显示装置300显示透明化处理后的所述合成影像(S140)。此时，显示装置300可以在透明化处理区域A的外部区域显示所述第一影像。
在一些示例性的实施例中，影像处理部200的透明化处理部220可以根据检测到的所述动臂位置在所合成的所述影像中对所述第一影像及所述第二影像中的至少一个影像执行透明化处理。
透明化处理部220可以以使所述第一影像及所述第二影像仅在显示装置300的整体显示区域中的部分区域被透明化的方式进行影像处理。所述透明化处理区域可以被定义为包括被包括生降的动臂20和铲斗30的前方作业装置遮挡前方视野的区域。
在所述透明化处理中，可以去除或半透明地处理所合成的所述影像的所述透明化处理区域内的所述第一影像或所述第二影像，以与背景影像重叠，或者，以线或虚线二维地显示外观的轮廓，以便只能够识别形态。例如，可以利用阿尔法混合(Alpha Blending)技术等从所合成的影像中去除所述透明化处理区域内的所述第一影像或所述第二影像。
如图5所示，当铲斗30或动臂20位于最低位置(0％)与所述已设定的铲斗或动臂位置之间时，可以通过对从下部摄像头120拍摄的所述第二影像进行透明化处理来在显示装置300的透明化处理区域A的内部显示由上部摄像头110实现的被摄体成为重点的透明化影像。当铲斗30或动臂20位于相对低的位置时，可以通过在所述第二影像中对遮挡前方视野的所述前方作业装置部分进行透明化来在所合成的所述影像中确认物体O。
如图6所示，当铲斗30或动臂20位于距离所述已设定的位置最高位置(100％)时，可以通过对从上部摄像头110拍摄的所述第一影像进行透明化处理来在显示装置300的透明化处理区域A的内部显示由下部摄像头120实现的被摄体成为重点的透明化影像。当铲斗30或动臂20位于相对高的位置时，可以在所述第一影像中将遮挡前方视野的所述前方作业装置部分透明化来在所合成的所述影像中确认物体O。
例如，所述已设定的动臂的位置可以被设定为使动臂20的旋转角度θ在15度至20度的范围内。
不同于此，当所述动臂的旋转角度θ在第一角度范围时，可以在所合成的所述影像中对所述第二影像进行透明化；当所述动臂的旋转角度θ在第二角度范围时，可以在所合成的所述影像的所述透明化处理区域对所述第一影像及所述第二影像进行透明化；并且当所述动臂的旋转角度θ在第三角度范围时，可以在所合成的所述影像中对所述第一影像进行透明化。例如，可以设定为：所述第一角度范围在0度至15度的范围内；所述第二角度范围在15度至25度的范围内；以及所述第三角度范围在25度至45度的范围内。
在一些示例性的实施例中，可以设定使所述第一影像及所述第二影像被透明化的影像处理条件。可以通过输入部400设定影像处理部200中的影像处理条件。例如，所述影像处理条件可以包括所述第一影像及所述第二影像的透明化转换时间点、显示装置300的整体显示区域中的透明化处理区域的大小及位置等。所述第一影像及所述第二影像的透明化转换时间点可以由所述铲斗30或动臂20的位置和所述已设定的铲斗或动臂位置决定。所述透明化处理区域可以根据设备的机型来选择。
例如，输入部400可以实现为仪表板可选形式，作业者可以通过输入部400更改所述透明化转换时间点、所述透明化处理区域等。输入部400可以以设于驾驶室内部的的单独的操作装置、一体地设于所述显示装置的操作装置或构成所述显示装置的显示画面的触摸屏的形式提供。从而，作业者可以进行将作业时需要注意的物体O(参照图5和图6)的周围设置为透明化处理区域等多种多样的影像处理条件的设置。
如上所述，可以将从设置于轮式装载机10的驾驶室40上的上部摄像头110和设置于前方车体12上的下部摄像头120拍摄的所述第一影像和所述第二影像合成为一个影像，并根据连接于前方车体12的铲斗30或动臂20的位置在所合成的所述影像中对所述第一影像及所述第二影像中的至少一个影像进行透明化处理，并通过显示装置300显示透明化处理后的所述影像。
当铲斗30或动臂20位于最低位置(0％)与所述已设定的铲斗或动臂的位置之间的相对低的位置时，在从下部摄像头120拍摄的第二影像中，前方视野可能被包括动臂20和铲斗30的前方作业装置遮挡。当铲斗30或动臂20位于所述已设定的铲斗或动臂的位置与透明化显示区域的最高位置(100％)之间的相对高的位置时，在从上部摄像头110拍摄的第一影像中，前方视野可能被包括动臂20和铲斗30的前方作业装置遮挡。
通过根据铲斗30或动臂20的位置在所合成的所述影像中对所述第一影像和/或所述第二影像进行透明化处理，可以消除被所述前方作业装置遮挡前方视野的盲区。从而，可以提高作业者的认知力来确保稳定性，以将安全事故防范于未然。
尽管上面参照本发明的一些实施例进行了说明，本领域的一般的技术人员可以理解，在不脱离下面的权利要求书中记载的本发明的思想及领域的范围内，可以对本发明实施多种修改和变更。

Claims (8)

1.一种工程机械的控制系统，其特征在于，包括：
上部摄像头，其设置于驾驶室上，拍摄所述驾驶室的前方；
下部摄像头，其设置于车体上，拍摄所述车体的前方；
作业装置姿势检测部，其用于检测以能够旋转的方式连接于所述车体的作业装置的姿势；
影像处理部，其将从所述上部摄像头和所述下部摄像头拍摄的第一影像和第二影像合成为一个影像，并且根据由所述作业装置姿势检测部检测到的所述作业装置的姿势在所合成的所述影像中对所述第一影像及所述第二影像中的至少一个影像进行透明化处理；以及
显示装置，其显示由所述影像处理部进行影像处理的合成影像，
所述影像处理部执行以下处理：
当所述作业装置的至少一部分侵占已设定的位置时，在所合成的所述影像中对所述第一影像进行透明化；以及
当所述作业装置未侵占所述已设定的位置时，在所合成的所述影像中对所述第二影像进行透明化。
2.根据权利要求1所述的工程机械的控制系统，其特征在于，
所述显示装置的整体显示区域包括已设定的透明化处理区域和所述透明化处理区域的外部区域，
所述影像处理部以使所述第一影像及所述第二影像在所述透明化处理区域被透明化的方式进行影像处理。
3.根据权利要求1所述的工程机械的控制系统，其特征在于，还包括：
输入部，其用于设定所述影像处理部中的影像处理条件。
4.根据权利要求3所述的工程机械的控制系统，其特征在于，
所述影像处理条件包括所述第一影像及所述第二影像的透明化转换时间点或所述显示装置的整体显示区域中的透明化处理区域。
5.一种工程机械的控制方法，其特征在于，包括：
从设置于驾驶室上的上部摄像头获取所述驾驶室的前方的第一影像；
从设置于车体上的下部摄像头获取所述车体前方的第二影像；
检测连接于所述车体的作业装置的姿势；
将所述第一影像和所述第二影像合成为一个影像；
根据检测到的所述作业装置的姿势在所合成的所述影像中对所述第一影像及所述第二影像中的至少一个影像进行透明化处理；以及
通过显示装置显示透明化处理后的所述影像，
对所述第一影像及所述第二影像中的某一个影像进行透明化处理的步骤包括：
当所述作业装置的至少一部分处于侵占已设定的位置的姿势时，在所合成的所述影像中对所述第一影像进行透明化；以及
当所述作业装置处于未侵占所述已设定的位置的姿势时，在所合成的所述影像中对所述第二影像进行透明化。
6.根据权利要求5所述的工程机械的控制方法，其特征在于，
所述显示装置的整体显示区域包括已设定的透明化处理区域和所述透明化处理区域的外部区域，并且
所述第一影像及所述第二影像以在所述透明化处理区域的内部被透明化的方式进行影像处理。
7.根据权利要求5所述的工程机械的控制方法，其特征在于，还包括：
设定使所述第一影像及所述第二影像被透明化的影像处理条件。
8.根据权利要求7所述的工程机械的控制方法，其特征在于，
所述影像处理条件包括所述第一影像及所述第二影像的透明化转换时间点或所述显示装置的整体显示区域中的透明化处理区域。
CN202110012503.0A 2020-01-07 2021-01-06 工程机械的控制系统及方法 Active CN113152552B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200002258A KR20210089039A (ko) 2020-01-07 2020-01-07 건설기계의 제어 시스템 및 방법
KR10-2020-0002258 2020-01-07

Publications (2)

Publication Number Publication Date
CN113152552A CN113152552A (zh) 2021-07-23
CN113152552B true CN113152552B (zh) 2023-04-11

Family

ID=74141377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110012503.0A Active CN113152552B (zh) 2020-01-07 2021-01-06 工程机械的控制系统及方法

Country Status (4)

Country Link
US (1) US11541827B2 (zh)
EP (1) EP3848516B1 (zh)
KR (1) KR20210089039A (zh)
CN (1) CN113152552B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220102804A (ko) * 2021-01-14 2022-07-21 현대두산인프라코어(주) 건설기계의 제어 시스템 및 방법
US20230035181A1 (en) * 2021-07-28 2023-02-02 Hyundai Doosan Infracore Co., Ltd. System and method of controlling construction machinery
CN114016567A (zh) * 2021-11-17 2022-02-08 山东常林机械集团股份有限公司 远程遥控挖掘机周边人员安全预警系统
US11680387B1 (en) 2022-04-21 2023-06-20 Deere & Company Work vehicle having multi-purpose camera for selective monitoring of an area of interest
US20230339402A1 (en) * 2022-04-21 2023-10-26 Deere & Company Selectively utilizing multiple imaging devices to maintain a view of an area of interest proximate a work vehicle
KR20240005261A (ko) * 2022-07-04 2024-01-12 에이치디현대인프라코어 주식회사 건설 현장의 경계 인지 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107532410A (zh) * 2015-08-24 2018-01-02 株式会社小松制作所 轮式装载机的控制系统、其控制方法以及轮式装载机的控制方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101640602B1 (ko) 2009-12-15 2016-07-18 두산인프라코어 주식회사 건설기계의 사각지대 표시 장치 및 그 방법
EP2808455B1 (en) 2012-01-27 2018-05-30 Doosan Infracore Co., Ltd. Operational stability enhancing device for construction machinery
JP5988683B2 (ja) 2012-05-15 2016-09-07 日立建機株式会社 自走式産業機械の表示装置
CA2980693C (en) 2015-03-31 2019-09-24 Komatsu Ltd. Working machine
US9871968B2 (en) 2015-05-22 2018-01-16 Caterpillar Inc. Imaging system for generating a surround-view image
WO2018043299A1 (ja) * 2016-08-31 2018-03-08 株式会社小松製作所 作業機械の画像表示システム、作業機械の遠隔操作システム、作業機械及び作業機械の画像表示方法
WO2019204900A1 (en) 2018-04-27 2019-10-31 Goldcorp Inc. Mixed reality method and system for precision mining
JP7420733B2 (ja) * 2018-10-31 2024-01-23 株式会社小松製作所 表示制御システムおよび表示制御方法
JP2021001472A (ja) * 2019-06-21 2021-01-07 ナブテスコ株式会社 建設機械用操縦支援システム、建設機械用操縦支援方法、建設機械

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107532410A (zh) * 2015-08-24 2018-01-02 株式会社小松制作所 轮式装载机的控制系统、其控制方法以及轮式装载机的控制方法

Also Published As

Publication number Publication date
KR20210089039A (ko) 2021-07-15
CN113152552A (zh) 2021-07-23
EP3848516A1 (en) 2021-07-14
US20210206330A1 (en) 2021-07-08
EP3848516B1 (en) 2023-03-08
US11541827B2 (en) 2023-01-03

Similar Documents

Publication Publication Date Title
CN113152552B (zh) 工程机械的控制系统及方法
CN107075840B (zh) 作业机械的周边监视装置以及作业机械的周边监视方法
CN107532410B (zh) 轮式装载机的控制系统、其控制方法
CN107406035B (zh) 工程作业机械
US9845051B2 (en) Display device for self-propelled industrial machine
AU2012257053A1 (en) Device for monitoring area around working machine
JP6071786B2 (ja) 作業機械の周囲監視装置
CN114763701A (zh) 工程机械的控制系统及方法
JP2022072598A (ja) 作業車両の表示システムおよび作業車両の表示方法
KR20230017724A (ko) 건설기계의 제어 시스템 및 방법
WO2021166559A1 (ja) 作業機械の遠隔操作システム
US20230114366A1 (en) Work machine periphery monitoring system, work machine, and work machine periphery monitoring method
CN116723963A (zh) 作业机械的周边监控系统、作业机械、以及作业机械的周边监控方法
JP7349880B2 (ja) 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
CN117597491A (zh) 工程机械的控制系统及方法
KR20240056262A (ko) 건설기계의 제어 시스템 및 방법
JP6224770B2 (ja) ダンプトラックの表示装置
CN115695717A (zh) 工程机械的控制系统及方法
KR20240056273A (ko) 건설기계의 제어 시스템 및 방법
US20240141621A1 (en) Display control device, display control method, and work machine
JP6188858B2 (ja) 作業機械の周囲監視装置
KR20230159892A (ko) 표시 제어 장치, 표시 제어 방법 및 작업 기계

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Inchon, South Korea

Patentee after: Hyundai Yingweigao Co.,Ltd.

Patentee after: WISE AUTOMOTIVE Corp.

Address before: Inchon, South Korea

Patentee before: DOOSAN INFRACORE Co.,Ltd.

Patentee before: WISE AUTOMOTIVE Corp.