CN106031167A - 旋转式作业机的周围显示装置 - Google Patents

旋转式作业机的周围显示装置 Download PDF

Info

Publication number
CN106031167A
CN106031167A CN201580010200.8A CN201580010200A CN106031167A CN 106031167 A CN106031167 A CN 106031167A CN 201580010200 A CN201580010200 A CN 201580010200A CN 106031167 A CN106031167 A CN 106031167A
Authority
CN
China
Prior art keywords
display
video camera
image
eye view
rotating body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580010200.8A
Other languages
English (en)
Other versions
CN106031167B (zh
Inventor
古渡阳
古渡阳一
藤田浩二
稻野边庆仁
田中裕宣
草间隆史
太田守飞
石本英史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Construction Machinery Co Ltd
Original Assignee
Hitachi Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Construction Machinery Co Ltd filed Critical Hitachi Construction Machinery Co Ltd
Publication of CN106031167A publication Critical patent/CN106031167A/zh
Application granted granted Critical
Publication of CN106031167B publication Critical patent/CN106031167B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/08Superstructures; Supports for superstructures
    • E02F9/0858Arrangement of component parts installed on superstructures not otherwise provided for, e.g. electric components, fenders, air-conditioning units
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24Safety devices, e.g. for preventing overload
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Structural Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

以能够包含障碍物的高度位置的方式识别旋转操作时存在上部旋转体接触的担忧的切口等的障碍物。在上部旋转体(3)设置分别对不同的方向的斜下方进行拍摄的多个俯瞰图像形成用的第一摄像机(13),将合成俯瞰图像(20)显示于显示器(15),并且,在上部旋转体(3)的旋转框架(3a)的下部位置以追随该上部旋转体(3)的旋转而转动的方式设置将从上部旋转体(3)的后端至侧部的角部包含于视场范围内的直通图像拍摄用的第二摄像机(16R、16L),将角部直通图像(30R、30L)以能够与合成俯瞰图像(20)重叠的方式显示于显示器(15)。

Description

旋转式作业机的周围显示装置
技术领域
本发明涉及图像显示由液压挖掘机等构成的旋转式作业机的周围状况的旋转式作业机的周围显示装置。
背景技术
作为旋转式作业机的一个例子,存在液压挖掘机。通常,液压挖掘机构成为由具有行驶机构的下部行驶体以及设置于该下部行驶体上的上部旋转体构成,下部行驶体与上部旋转体之间由旋转装置连结,上部旋转体通过该旋转装置相对于下部行驶体进行旋转。在上部旋转体设置有前置作业机构。前置作业机构由起重臂、悬臂以及前置配件构成。
作为作业机,例如存在进行土砂的挖掘作业的液压挖掘机。在液压挖掘机中,作为前置配件安装有铲斗,通过铲斗执行土砂等的挖掘。具备在该液压挖掘机的运转过程中用于监视其周围的周围监视装置的情况已被广泛公知。作为周围监视装置的具体的构成,通常在车体安装摄像机,另外,在驾驶室的供操作人员就坐的驾驶席的前方位置设置显示器。由摄像机拍摄到的图像形成动画状态的影像并显示于显示器画面。
在专利文献1公开了如下装置:为了获得作业机的周围的较宽的范围的视场而在车体安装多个摄像机,为了在显示器上遍布作业机的大致整周消除监视视场的死角而通过信号处理来对由各摄像机拍摄到的周围的监视图像进行视角转换,在显示器画面显示为平面地投影的俯视图像亦即俯瞰图像。在该专利文献1中,在液压挖掘机的上部旋转体的后部位置与左右的两侧部位置三处设置有摄像机。此外,也公知有如下装置:由于液压挖掘机的前方能够由操作人员直接视觉确认,因此在专利文献1中,不对前方进行图像化,但在该前部位置也设置摄像机。
上述的各摄像机的拍摄用透镜的光轴朝向斜下方。被这些各摄像机拍摄到的图像为直通图像(スルー画像),根据这些直通图像以成为上方视角的方式进行视角转换处理,从车辆的上方俯视的图像为俯瞰图像。
俯瞰图像显示于显示器画面,但此时在显示器画面将作业机符号化(Symbolized)的图解(Illustration)(表示液压挖掘机的平面图像)作为车辆图标进行显示,由各个摄像机取得的俯瞰图像配置于该车辆图标的周围。在专利文献1中,将车辆图标显示于显示器画面的中央位置,在该车辆图标的后方区域以及左右的侧方区域并排各上方视角图像,从而显示作为周围监视用的合成俯瞰图像。
现有技术文献
专利文献
专利文献1:日本特开2010-204821号公报
如上所述,液压挖掘机进行土砂等的挖掘作业,但挖掘物例如被投入自卸卡车的车厢(Vessel)。因此,设置于上部旋转体的前置作业机构需要改变方向,使上部旋转体旋转。换句话说,在执行挖掘作业时,反复进行挖掘位置处的基于前置作业机构的挖掘动作、上部旋转体的旋转动作、向自卸卡车投入挖掘物的投入动作以及上部旋转体的旋转动作。
发明内容
发明所要解决的课题
然而,通过前置作业机构的挖掘作业,在地面形成倾斜面或垂直面之类的切口。在使上部旋转体旋转时,若该上部旋转体的后端部与切口的切口面碰撞,则因该冲击而有损上部旋转体的稳定性,另外,在上部旋转体的各个构成部件、旋转装置产生损伤。另外,在铲斗收容挖掘物的情况下,也存在挖掘物因冲击而从铲斗向外部被排出的情况。因此,在使上部旋转体旋转时,需要该上部旋转体的后端部、其他的部位不与切口面等的障碍物干涉。
对液压挖掘机进行操作的操作人员由于无法充分地获得上部旋转体的后方的视场,所以设置周围监视装置,操作人员视觉确认构成该周围监视装置的显示器,由此能够进行后方确认。但是,显示于显示器的图像是俯瞰图像。俯瞰图像适合进行在液压挖掘机的周围是否存在障碍物等的确认。但是,俯瞰图像是平面图像,因此能够确认存在切口,但识别切口面的倾斜角较困难。上部旋转体处于从地面分离的高度位置,所以因切口面的倾斜角度不同,也存在不与该切口面干涉而能够旋转的情况,也存在若旋转则与切口面碰撞的情况。因此,仅通过观察显示器,存在无法正确地确认在旋转时上部旋转体是否与切口面碰撞的问题点。另外,在液压挖掘机后退时也存在相同的问题点。
本发明是鉴于以上的点而完成的,其目的在于,在旋转式作业机的构成周围监视装置的显示器,能够以包含障碍物的高度位置的方式识别旋转操作时存在上部旋转体接触的担忧的切口等的障碍物。
用于解决课题的方案
为了解决以上的课题,本发明为一种旋转式作业机的周围监视装置,其设置于由通过旋转装置连结于下部行驶体的上部旋转体构成的旋转式作业机,在该上部旋转体设置分别对不同的方向的斜下方进行拍摄的多个俯瞰图像形成用的第一摄像机,将这些第一摄像机拍摄到的图像数据以分别成为从上方俯视的俯瞰图像的方式进行视角转换而成为俯瞰图像,作为合成了这些各俯瞰图像的合成俯瞰图像显示于显示器,上述旋转式作业机的周围监视装置的特征在于,在上述上部旋转体的下部位置以追随该旋转体的旋转而转动的方式设置一个或者多个直通图像拍摄用的第二摄像机,上述第二摄像机将从上述上部旋转体的后端至侧部的角部包含于视场范围内,能够将上述第二摄像机拍摄到的图像作为直通图像而显示于上述显示器。
为了监视作业机的周围,取得针对该作业机的整周或者周围的一部分的成为俯瞰图像的图像数据,将俯瞰图像显示于显示器。为此设置的是第一摄像机。第一摄像机设置有多个,作为整体构成为第一摄像机组。构成第一摄像机组的摄像机具备至少以上部旋转体的后方为视场的摄像机,除了该后方摄像机之外,也设置有以左右任一方或者左右的两侧方向为视场的摄像机。另外,也能够设置以上部旋转体的左右以及前后为视场的四台或四台以上的摄像机。
构成由这些多个摄像机构成的第一摄像机组的摄像机的透镜光轴设定为朝向斜下方向。由这些第一摄像机组的各摄像机拍摄到的图像数据通过图像处理以成为上方视角的方式进行视角转换,从而形成俯瞰图像。各俯瞰图像显示于显示器的规定的区域。优选,将由作业机的平面图像或者其图解构成的作业机图标配置于显示器的中央,在该作业机图标的周围并排显示由配置于各个位置的第一摄像机组的各摄像机取得的俯瞰图像。将该图像称为合成俯瞰图像。
基于合成俯瞰图像,能够监视在作业机的周围是否存在障碍物等。此处,各俯瞰图像是从上方俯视的图像,因此能够确认障碍物的有无与位置,但无法正确地识别障碍物的高度尺寸。
因此,除了俯瞰图像拍摄用摄像机之外,还设置对象图像的高度的识别性优越的直通图像拍摄用的第二摄像机。第二摄像机中的摄像机的透镜的光轴朝向大致水平方向,由摄像机拍摄到的图像不进行视角转换处理,而保持原样地显示于显示器。第二摄像机由一个或者多个摄像机构成,在由多个摄像机构成的情况下,构成第二摄像机组。
第一摄像机设置于上部旋转体的上部位置,但第二摄像机配置于上部旋转体的下部侧的位置,具体而言配置于比上部旋转体的旋转框架更靠下侧的位置。例如,安装于旋转框架的下表面,或安装于构成旋转装置的旋转鼓形。换句话说,在上部旋转体旋转时,第二摄像机追随该上部旋转体而转动。此处,第二摄像机的配设位置配置于上部旋转体的尽可能深处的位置,由此,不会被小石子等飞散物碰撞到,不存在摄像机的损伤的担忧,进而能够实现将其保护。
第二摄像机的视场包含从上部旋转体的后端部移至侧部的角部分。并且,设定为上部旋转体的下表面,换句话说旋转框架成为视场的一部分。并且,第二摄像机的透镜光轴朝向大致水平方向。上部旋转体的后端侧的角部存在于左右两侧。通过一台摄像机,也能够使左右的两角部落入视场,但为此需要使用广角透镜。因此,优选,第二摄像机设置两台,以分别朝向各角部的方式分别配置。由此,能够使用视场范围较窄的透镜,能够取得形变较少的优质的图像。
第二摄像机用于使操作人员识别在作业机旋转时是否存在其上部旋转体、特别是上部旋转体的后端角部与切口等的土壁面、突起部等、进一步包含车辆、人的障碍物碰撞的可能性。因此,至少在旋转时,显示该第二摄像机的图像。也能够在与显示合成俯瞰图像的显示器不同的显示器显示,但是从操作人员的可视性等的观点来看优选在显示合成俯瞰图像的显示器以与合成俯瞰图像的一部分重叠的方式进行显示。
第二摄像机的图像是使视场从上部旋转体的下部位置朝向其角部的延长线方向的直通图像。直通图像是摄像机的透镜光轴朝向大致水平方向的图像,不对该视场范围内的图像进行视角转换,而保持原样将其显示。在该图像局部地包含有上部旋转体的后端侧的角部、即配重。因此,第二摄像机制成角部直通图像的图像数据。
在显示器中,角部直通图像能够在合成俯瞰图像的显示后方的俯瞰图像的部位以与该俯瞰图像重叠的方式显示。其中,图像显示区域不限定于此,例如也可以显示于显示前方的俯瞰图像的区域等。
此处,就显示于显示器的角部直通图像而言,在使上部旋转体旋转时,包含其行进方向的前方,并且在图像的一部分包含配重的下表面,因此若在旋转方向的前方存在障碍物,则能够识别是否为存在该障碍物与配重干涉的可能性的高度。因此,需要显示角部直通图像的情况是使上部旋转体旋转时,旋转操作通过操作人员使用由操作杆等构成的旋转操作机构而进行,因此能够构成为与操作杆的操作连动地进行显示器的显示的切换。另外,也可以通过开关操作来进行图像的切换。
发明的效果
本发明将旋转式作业机的周围的状况作为俯瞰图像显示于显示器,能够正确地确认在旋转时上部旋转体的后端部是否存在与障碍物碰撞或者接触的可能性。
附图说明
图1是表示液压挖掘机的一个例子的侧视图。
图2是表示构成第一摄像机组的各摄像机安装于上部旋转体的安装部的图。
图3是表示液压挖掘机的周围显示装置的构成的框图。
图4是基于第一摄像机组拍摄到的图像来表示显示于显示器的合成俯瞰图像的说明图。
图5是表示第二摄像机的安装位置的液压挖掘机的后部侧的图。
图6是表示液压挖掘机运转的现场且存在切口的状态的说明图。
图7是表示显示第一摄像机组的合成俯瞰图像与重叠显示于该合成俯瞰图像的角部直通图像的显示器的说明图。
图8是表示显示器的显示方式的切换顺序的流程图。
图9是表示第二摄像机的与图5不同的安装构造的图。
图10是表示与图9进一步不同的第二摄像机的安装构造的图。
具体实施方式
以下,参照附图,对本发明的实施方式进行说明。以下,作为旋转式作业机例示液压挖掘机进行说明,但旋转式作业机不限定于液压挖掘机。例如,吊车等作业机也是旋转式作业机。总之,若为通过旋转而进行规定的作业的机械,则能够将任意的机械应用为旋转式作业机。
图1示出了作为旋转式作业机的液压挖掘机1。液压挖掘机1具备下部行驶体2、上部旋转体3以及旋转装置4。下部行驶体2为液压挖掘机1的行驶机构,此处,例示履带式的下部行驶体2。下部行驶体2与上部旋转体3由旋转装置4连结,旋转装置4进行旋转,从而上部旋转体3相对于下部行驶体2旋转。由此,液压挖掘机1构成旋转式作业机。
上部旋转体3在旋转框架3a上安装有驾驶室5、前置作业机构6以及舱室7等,另外,在后端部设置有配重8。在驾驶室5设置有对液压挖掘机1进行操作的各种操作机构,操作人员搭乘于驾驶室5进行液压挖掘机1的操作。由对旋转装置4进行操作的操作杆构成的操作机构设置于驾驶室5。另外,舱室7收容发动机等机械,配置于驾驶室5的后方位置,配重8设置于舱室7的更后方,因此配重8构成上部旋转体3的后端部。
前置作业机构6在上部旋转体3的前部设置为与驾驶室5大致并排,具备起重臂10、悬臂11以及铲斗12。就起重臂10而言,基端部通过连结销轴支承于构成上部旋转体3的旋转框架3a而能够进行俯抑动作。在起重臂10的前端以能够沿上下方向转动的方式连结有悬臂11,在悬臂11的前端以能够沿上下方向转动的方式连结有铲斗12。起重臂10的俯抑动作通过驱动起重臂缸10a而进行。悬臂11被悬臂缸11a驱动,铲斗12被铲斗缸12a驱动。铲斗12是能够更换的前置配件,基本上,用于挖掘土砂。
如图2所示,在液压挖掘机1的上部旋转体3设置有分别对不同的方向进行拍摄的多个摄像机13。此处,设置有对液压挖掘机1的后方进行拍摄的后方摄像机13B、对左方进行拍摄的左方摄像机13L、对右方进行拍摄的右方摄像机13R以及对前方进行拍摄的前方摄像机13F。这些各摄像机13设置于上部旋转体3的上方位置,它们的透镜的光轴相对于地面朝向斜下方。
后方摄像机13B例如设置于配重8的上部,左方摄像机13L设置于驾驶室5的上部,右方摄像机13R以及左方摄像机13L分别配设为朝向上部旋转体3的侧部突出,另外,前方摄像机13F设置于驾驶室5的上部。其中,各摄像机13的设置位置不限定于这些,能够与上部旋转体3的构成对应地配设于任意的位置。此处,各摄像机13的透镜光轴朝向斜下方,以其视场范围的两侧部与其他的摄像机13的视场范围重叠的方式调整视场角、配设位置等。例如,后方摄像机13B的视场范围与左方摄像机13L的视场范围相互局部地重叠,后方摄像机13B的视场范围与右方摄像机13R的视场范围也局部地重叠。由此,在各摄像机13的视场范围之间不产生死角。
如图3所示,在驾驶室5设置有图像处理装置14以及显示通过该图像处理装置14进行信号处理的图像的显示器15,此处,显示器15设置为显示用于监视液压挖掘机1的周围的监视图像。监视图像用于供操作液压挖掘机1的操作人员进行该液压挖掘机1运转时周围是否存在障碍物等的确认。
如图4所示,在显示器15的画面的大致中央位置显示作业机图标20S,在其周围显示由后方俯瞰图像20B、左右的侧部俯瞰图像20L、20R以及前方俯瞰图像20F构成的监视图像。此处,作业机图标20S由液压挖掘机1的平面图像或者其图解构成,另外,各俯瞰图像20B、20L、20R、20F是由各摄像机13B、13L、13R以及13F拍摄到的液压挖掘机1的周围的图像。此处,各摄像机13B、13L、13R、13F的图像均是平面图像,由此在显示器15显示俯瞰液压挖掘机1及其周围的合成俯瞰图像20。此处,合成俯瞰图像20是俯视从上方视角观察的液压挖掘机1的周围状况的所谓鸟瞰图图像,显示该合成俯瞰图像,由此能够确认液压挖掘机1的周围是否存在成为相对于该液压挖掘机1的动作的障碍的障碍物。因此,摄像机13B、13L、13R、13F构成用于制作俯瞰图像的第一摄像机组。此外,在图中,上部旋转体3能够相对于作为行驶机构的下部行驶体2旋转,所以因旋转位置不同而存在行驶方向与上部旋转体3的驾驶室5的前方不一致的情况,因此在作业机图标20S显示指示行驶方向的方向指示标记DL。
对图3所示的图像处理装置14的构成进行说明。在图中,符号21是俯瞰图像化处理部,在该俯瞰图像化处理部21中,以由摄像机13B、13L、13R、13F拍摄到的各自的图像的视角成为上方视角的方式进行视角转换。此处,由各摄像机13B、13L、13R、13F取得的图像分别是具有光轴方向的视场的直通图像,这些直通图像单独地进行视角转换。而且,通过俯瞰图像化处理部21中的信号处理,分别形成单独俯瞰图像20B、20L、20R、20F。此外,俯瞰图像化处理部21的具体的构成已公知,因此省略其详细的说明。
关于从俯瞰图像化处理部21输出的单独俯瞰图像20B、20L、20R、20F的数据输入至图像截取部22,通过该图像截取部22分别修整为显示于图4所示的显示器15的各区域。另外,在图标图像生成部23保留有作业机图标20S的数据。而且,在图像合成部24,对分别被修整的单独俯瞰图像20B、20L、20R、20F与作业机图标20S进行合成,经由显示图像生成部25在显示器15的画面显示合成俯瞰图像20。此处,显示于显示器15的合成俯瞰图像是动画状态。
如上所述,在显示器15显示作业机图标20S的周围的状况,由此在液压挖掘机1的挖掘作业等作业的执行过程中,针对是否存在对于该液压挖掘机1的动作而言成为障碍的物、人等障碍物,在存在的情况下,操作人员能够容易识别是否存在与该障碍物接触的可能性。因此,在存在与障碍物接触或碰撞的可能性的情况下,能够采取避免该障碍的措施,能够顺利地进行作业。
然而,存在通过液压挖掘机1的挖掘而产生的地面的倾斜,例如产生切口的情况。如图6例示的那样,在液压挖掘机1的后方位置存在因挖掘而产生的切口面WF。在处于操作人员无法直接视觉确认该切口面WF的后方侧的位置时,通过显示器15进行确认。然而,在摄像机13B的视场角与切口面WF的角度的关系中,在作为显示于显示器15的后方俯瞰图像20B仅显示切口面WF的倾斜的部位的情况下,识别其高度较困难。换句话说,俯瞰图像是俯视的图像,因此只要不特别地存在形状显著地变化的部位,则高度的信息从俯瞰图像几乎无法获得。
在图示的液压挖掘机1中,上部旋转体3设置于下部行驶体2的上方,其底面,换句话说旋转框架3a的下表面位于距地面较高的位置。并且,配重8的后端部从下部行驶体2向后方突出。从而,因切口面WF的形状不同,无法确认使上部旋转体2旋转时构成该上部旋转体3的配重8的后端部是否与切口面WF干涉。换句话说,根据后方的俯瞰图像20B的显示,无法进行是否向液压挖掘机1的后方的地面升起的方向倾斜,或者,即使成为倾斜面,在使上部旋转体3旋转时,是否与地面接触的识别,或者识别较困难。因此,若在上部旋转体3的旋转方向的前方侧存在与配重8干涉的切口面WF,则在使上部旋转体3旋转时,配重8与切口面WF碰撞。
考虑以上的点,如图5所示,在旋转装置4设置有由左右一对摄像机16R、16L构成的第二摄像机组。构成这些第二摄像机组的摄像机16R、16L固定地设置于构成旋转装置4的旋转鼓形的外周面,在上部旋转体3旋转时,摄像机16R、16L也与此相伴地进行转动。
摄像机16R的视场朝向右斜后方,在上部旋转体3的下部,以从配重8的后端部移至右侧部的角部为中心左右具有规定角度量的视场。而且,设定为配重8的下表面也落入视场范围。另外,摄像机16L在左斜后方具有视场,与摄像机16R相同地,具有与以从配重8的后端部移至左侧部的角部为中心的摄像机16R相同的视场角,配重8的下表面也位于视场内。因此,构成这些摄像机16R、16L的透镜光轴朝向大致水平方向,即朝向图2中由16RA、16LA所示的方向。
此处,构成第二摄像机组的摄像机16R、16L具有与构成第一摄像机组的摄像机13B、13L、13R、13F不同的视场角,图像处理装置14获取来自摄像机16R、16L的图像,但与第一摄像机组不同,不进行视角转换,而显示为直通图像。
在监视对象区域存在障碍物的情况下,根据俯瞰图像掌握与液压挖掘机1的距离较有利,但在识别障碍物的大小,特别是高度尺寸的方面,显示直通图像比俯瞰图像有利。此处,在使液压挖掘机1旋转时,若障碍物比上部旋转体3的高度位置低,则即便使该上部旋转体3旋转,也不会与障碍物碰撞。特别成为问题的是比配重8的高度位置高的情况。因此,在液压挖掘机1旋转时,需要识别存在于该旋转方向的前方侧的部位的障碍物的高度。特别地,知晓障碍物的高度位置与上部旋转体3的底面、即旋转框架3a的下表面的高度位置关系尤为重要。
在构成旋转装置4的旋转鼓形的外侧面安装有构成第二摄像机组的摄像机16R、16L,这些摄像机16R、16L使配重8的后端侧的角部落入视场,因此即使旋转方向为左右任意的方向,也能够取得该旋转方向的前方侧的视场。此处,液压挖掘机1的周围的俯瞰图像由构成第一摄像机组的各摄像机13取得,摄像机16R、16L设定为由它们取得的图像不进行视角转换而显示为直通图像,并且,在这些摄像机16R、16L的视场包含有配重8的下表面,因此成为能够识别位于上部旋转体3的最后端部的配重8的下表面的高度位置的图像。
图7表示显示摄像机16R、16L的图像的显示器15的一个例子。如该图所示,在显示器15示出了合成俯瞰图像。来自摄像机16R、16L的直通图像在合成俯瞰图像中,与后方的俯瞰图像20B所显示的区域重叠地显示。在图7中,摄像机16R的右侧的角部直通图像30R显示于显示器15的右下方的位置,另外,摄像机16L的左侧的角部直通图像30L显示于显示器15的左下方的位置。此处,这些直通图像30R、30L优选尽可能较大地显示。因此,这些优选显示于比俯瞰图像20B的显示区域稍微宽的范围。
此处,右侧以及左侧的角部直通图像30R、30L是大致水平方向的图像,并且是在其视场范围包含配重8的左右的两角部且包含旋转框架3a的后端部的直通图像。因此,角部直通图像30R、30L能够确认旋转方向的前方侧的状况,并且在存在障碍物、倾斜面的情况下,能够容易并且正确地进行它们是比配重8的下表面低或者高的判定。因此,如图3所示,在显示图像生成部25连接有直通图像合成部26,在直通图像合成部26能够获取摄像机16R、16L的角部直通图像30R、30L。
以上,在显示器15进行四种方式的显示。作为第一种显示方式,是图4所示的显示合成俯瞰图像20的方式。另外,作为第二种显示方式,是如图7所示,在后方俯瞰图像20B的显示区域同时显示右侧以及左侧的角部直通图像30R、30L的方式。另外,也能够是重叠显示这些右侧以及左侧的角部直通图像30R、30L中的一方的方式(第三种显示方式、第四种显示方式)。
在液压挖掘机1进行通常的作业时,需要确认该液压挖掘机1的周围整体的状况,因此在显示器15显示图4的合成俯瞰图像20。由此,操作液压挖掘机1的操作人员能够确认在其周围是否存在障碍物等,能够顺利地进行操作。
液压挖掘机1的上部旋转体3处于距地面规定的高度位置,存在人、物介于之间的可能性。因此,在使液压挖掘机1后退时,存在某些障碍物位于上部旋转体3的下部位置的可能性。因此,在使显示器15后退时,为了确认上部旋转体3的下部的后部侧的状况,如图7所示,能够以使直通图像30R、30L的双方与俯瞰图像重叠的方式进行显示。
另外,在使上部旋转体3向左右任意的方向旋转时,显示旋转方向的前方侧的直通图像30R或者30L。也可以显示成为旋转方向的后方侧的直通图像,但为了将操作人员的可视性保持为良好或不产生混乱,而优选将仅旋转方向前方的直通图像重叠显示于合成俯瞰图像。
通过这种显示,能够确认在上部旋转体3的旋转方向的前方是否存在障碍物,并且能够识别障碍物的高度位置,因此即使在上部旋转体3的下部位置存在障碍物,也能够确认是否存在该障碍物在上部旋转体3的旋转动作时干涉的可能性。
上述的显示器15的显示图像能够供操作人员通过开关(未图示)操作来选择。也能够通过操作人员的开关操作进行上述的四种方式的显示模式,但通过设置模式设定机构,利用该模式设定机构设定为能够切换成显示器15的画面与液压挖掘机1的操作状况对应自动地切换的T模式以及显示合成俯瞰图像20的T-1模式。该模式设定机构也可以设置于显示器15,另外,也能够设置于显示器15以外的控制器(未图示)。
因此,如图8所示,在选择T模式时且进行旋转操作时,角部直通图像30R、30L的任一个与旋转方向对应地重叠显示于合成俯瞰图像20的规定的位置。即,在右转操作作为旋转操作机构的操作杆时,直通图像30R重叠显示于合成俯瞰图像20,在进行左转操作时,直通图像30L重叠显示于合成俯瞰图像20。另一方面,在选择T模式的状态下,在未进行旋转操作时,T=0,两个直通图像30R、30L重叠显示于合成俯瞰图像20。而且,若选择T-1操作模式,则在显示器15仅显示合成俯瞰图像20。此处,在旋转操作停止时,优选不从角部直通图像30R或者30L立即切换到其他的图像,而具有少许的时间间隔。
在通过液压挖掘机1进行挖掘作业时,反复进行在使上部旋转体3朝向挖掘位置的状态下进行挖掘,在铲斗12收容挖掘物后,使上部旋转体3旋转,投入自卸卡车等的操作。在该挖掘动作时,产生切口,切口与挖掘作业的进行对应地改变形状,因此每进行上部旋转体3的旋转操作,均将角部的直通图像30R或者30L显示于显示器15。其结果,能够在作业过程中,始终进行上部旋转体3是否与切口面WF干涉的确认。
另一方面,在选择T模式时且未进行旋转操作时,将两个角部的直通图像30R、30L显示于显示器15,因此操作人员能够识别上部旋转体3的下方位置的状况。而且,在需要包含液压挖掘机1的后方位置在内的整体的俯瞰图像的情况下,只要选择T-1模式即可。
此外,为了取得角部的直通图像,形成设置两台摄像机16R、16L的构成,但为了取得角部直通图像,不必设置两台摄像机,如图9所示,也能够在旋转框架3a的下表面设置一台直通图像用摄像机16。此时,需要直通图像用摄像机16的视场角包含配重8的两角部。另外,该直通图像用摄像机16设置于上部旋转体3的下表面,因此存在作业过程中与其他的物体碰撞的担忧。因此,如图10所示,也能够在旋转框架3a形成凹部31,将直通图像用摄像机16收容于该凹部31。
符号的说明
1—液压挖掘机,2—下部行驶体,3—上部旋转体,4—旋转装置,5—驾驶室,8—配重,13、13B、13R、13L、13F—摄像机(第一摄像机组),14—图像处理装置,15—显示器,16、16R、16L—摄像机(第二摄像机组),20—合成俯瞰图像,20B、20R、20L、20F—俯瞰图像,20S—作业机图标,21—俯瞰图像化处理部,22—图像截取部,23—图标图像生成部,24—图像合成部,25—显示图像生成部,26—直通图像合成部,30R、30L—角部直通图像。

Claims (4)

1.一种旋转式作业机的周围监视装置,其设置于由通过旋转装置(4)连结于下部行驶体(2)的上部旋转体(3)构成的旋转式作业机,在该上部旋转体(3)设置分别对不同的方向的斜下方进行拍摄的多个俯瞰图像形成用的第一摄像机(13),将这些第一摄像机(13)拍摄到的图像数据以分别成为从上方俯视的俯瞰图像的方式进行视角转换而成为俯瞰图像(20B、20R、20L、20F),作为合成了这些各个俯瞰图像(20B、20R、20L、20F)的合成俯瞰图像(20)而显示于显示器(15),
所述旋转式作业机的周围监视装置的特征在于,
在所述上部旋转体(3)的下部位置以追随该上部旋转体(3)的旋转而转动的方式设置一个或者多个直通图像拍摄用的第二摄像机(16、16R、16L),
所述第二摄像机(16、16R、16L)将从所述上部旋转体的后端至侧部的角部包含于视场范围内,
能够将所述第二摄像机(16、16R、16L)拍摄到的图像作为直通图像而显示于所述显示器(15)。
2.根据权利要求1所述的旋转式作业机的周围显示装置,其特征在于,
所述第二摄像机(16R、16L)由朝向所述上部旋转体(3)的下部位置的左右的两个角部具有水平方向的透镜光轴的两台摄像机构成。
3.根据权利要求2所述的旋转式作业机的周围显示装置,其特征在于,
在所述显示器(15)能够选择性地显示所述合成俯瞰图像(20),以及与该合成俯瞰图像(20)重叠且使光轴朝向所述两个角部的右侧及左侧的两个角部直通图像(30R、30L)、任意一方的角部直通图像(30R、30L)。
4.根据权利要求3所述的旋转式作业机的周围显示装置,其特征在于,
在所述上部旋转体(3)的旋转操作时,当进行该旋转操作的左右任一个的旋转操作机构被操作时,以显示将旋转方向的前方侧为视场的角部直通图像(30R、30L)的方式连动地进行切换。
CN201580010200.8A 2014-07-25 2015-07-16 旋转式作业机的周围显示装置 Expired - Fee Related CN106031167B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-152068 2014-07-25
JP2014152068A JP6204884B2 (ja) 2014-07-25 2014-07-25 旋回式作業機の周囲表示装置
PCT/JP2015/070458 WO2016013490A1 (ja) 2014-07-25 2015-07-16 旋回式作業機の周囲表示装置

Publications (2)

Publication Number Publication Date
CN106031167A true CN106031167A (zh) 2016-10-12
CN106031167B CN106031167B (zh) 2019-03-22

Family

ID=55163016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580010200.8A Expired - Fee Related CN106031167B (zh) 2014-07-25 2015-07-16 旋转式作业机的周围显示装置

Country Status (6)

Country Link
US (1) US10145087B2 (zh)
EP (1) EP3174291A4 (zh)
JP (1) JP6204884B2 (zh)
CN (1) CN106031167B (zh)
AU (1) AU2015293229B2 (zh)
WO (1) WO2016013490A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110027001A (zh) * 2018-01-04 2019-07-19 罗伯特·博世有限公司 用于运行移动的作业机器的方法以及移动的作业机器
CN111315938A (zh) * 2018-03-20 2020-06-19 住友建机株式会社 挖土机
CN113202155A (zh) * 2017-06-30 2021-08-03 株式会社小松制作所 建筑机械以及拍摄系统

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2016140016A1 (ja) * 2015-03-03 2018-02-15 日立建機株式会社 車両の周囲監視装置
KR102484103B1 (ko) * 2016-02-23 2023-01-04 현대두산인프라코어(주) 표시 시스템
US10750082B2 (en) 2016-03-28 2020-08-18 Komatsu Ltd. Evaluation device
JP6756555B2 (ja) * 2016-09-09 2020-09-16 株式会社タダノ 俯瞰画像システム、俯瞰画像表示方法およびプログラム
WO2018084146A1 (ja) * 2016-11-01 2018-05-11 住友建機株式会社 作業機械用周辺監視システム
JP6390065B2 (ja) 2016-12-09 2018-09-19 株式会社タダノ クレーン
JP6960802B2 (ja) * 2017-08-24 2021-11-05 日立建機株式会社 作業機械の周囲監視装置
JP6824856B2 (ja) * 2017-09-29 2021-02-03 株式会社小松製作所 表示制御装置および表示制御方法
JP6958216B2 (ja) * 2017-10-17 2021-11-02 株式会社タダノ 作業車両
JP7143578B2 (ja) * 2017-10-17 2022-09-29 株式会社タダノ 作業車両
EP3668088B1 (en) * 2017-10-17 2021-09-08 Tadano Ltd. Work vehicle
CN112020661A (zh) * 2018-04-25 2020-12-01 伟摩有限责任公司 车底雷达单元
JP7258613B2 (ja) * 2019-03-18 2023-04-17 住友重機械工業株式会社 作業機械
JP7407178B2 (ja) * 2019-04-26 2023-12-28 住友建機株式会社 ショベル
CN113767202A (zh) * 2019-04-26 2021-12-07 住友建机株式会社 挖土机
JP2021042638A (ja) * 2019-09-13 2021-03-18 株式会社小松製作所 作業機械の表示システムおよび作業機械の表示方法
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area
DE102020216132A1 (de) 2020-12-17 2022-06-23 Robert Bosch Gesellschaft mit beschränkter Haftung Hauptsteuereinheit zum Ausgeben eines Steuersignals in Abhängigkeit eines zusammengesetzten Gesamtbildes bezüglich einer Umgebung eines Fahrzeugs
KR20220102804A (ko) * 2021-01-14 2022-07-21 현대두산인프라코어(주) 건설기계의 제어 시스템 및 방법
CN113496467B (zh) * 2021-06-29 2022-11-01 武汉理工大学 一种藏文图像拼接方法及系统
US11468546B1 (en) 2021-11-29 2022-10-11 Unity Technologies Sf Increasing dynamic range of a virtual production display
DE102022201279B3 (de) 2022-02-08 2022-12-15 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Erfassen einer Umgebung eines Fahrzeugs, Kameravorrichtung und Fahrzeug

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013038874A1 (ja) * 2011-09-16 2013-03-21 日立建機株式会社 作業機の周囲監視装置
CN103141090A (zh) * 2010-09-29 2013-06-05 日立建机株式会社 作业机械的周围监视装置
WO2013183536A1 (ja) * 2012-06-08 2013-12-12 日立建機株式会社 自走式産業機械の表示装置
JP2013253402A (ja) * 2012-06-06 2013-12-19 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
CN104041018A (zh) * 2012-01-12 2014-09-10 日立建机株式会社 自行式工业机械的周围监视装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100892269B1 (ko) * 2001-06-15 2009-04-09 가부시키가이샤 고마쓰 세이사쿠쇼 건설기계
JP4977667B2 (ja) * 2008-09-02 2012-07-18 日立建機株式会社 作業機械の視野補助装置
JP4951639B2 (ja) 2009-03-02 2012-06-13 日立建機株式会社 周囲監視装置を備えた作業機械
DE112012004354T5 (de) * 2011-10-18 2014-07-10 Hitachi Construction Machinery Co., Ltd. Vorrichtung zum Überwachen der Umgebung von Maschinerie
JP5988683B2 (ja) * 2012-05-15 2016-09-07 日立建機株式会社 自走式産業機械の表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103141090A (zh) * 2010-09-29 2013-06-05 日立建机株式会社 作业机械的周围监视装置
WO2013038874A1 (ja) * 2011-09-16 2013-03-21 日立建機株式会社 作業機の周囲監視装置
CN104041018A (zh) * 2012-01-12 2014-09-10 日立建机株式会社 自行式工业机械的周围监视装置
JP2013253402A (ja) * 2012-06-06 2013-12-19 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
WO2013183536A1 (ja) * 2012-06-08 2013-12-12 日立建機株式会社 自走式産業機械の表示装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113202155A (zh) * 2017-06-30 2021-08-03 株式会社小松制作所 建筑机械以及拍摄系统
CN113202155B (zh) * 2017-06-30 2022-09-30 株式会社小松制作所 建筑机械以及拍摄系统
CN110027001A (zh) * 2018-01-04 2019-07-19 罗伯特·博世有限公司 用于运行移动的作业机器的方法以及移动的作业机器
CN111315938A (zh) * 2018-03-20 2020-06-19 住友建机株式会社 挖土机

Also Published As

Publication number Publication date
WO2016013490A1 (ja) 2016-01-28
EP3174291A1 (en) 2017-05-31
EP3174291A4 (en) 2018-03-21
AU2015293229A1 (en) 2016-09-01
AU2015293229B2 (en) 2018-02-15
US10145087B2 (en) 2018-12-04
US20170016210A1 (en) 2017-01-19
JP2016030891A (ja) 2016-03-07
CN106031167B (zh) 2019-03-22
JP6204884B2 (ja) 2017-09-27

Similar Documents

Publication Publication Date Title
CN106031167A (zh) 旋转式作业机的周围显示装置
US11447928B2 (en) Display system, display method, and remote control system
CN105493503B (zh) 液压挖掘机
JP6014664B2 (ja) 自走式産業機械の表示装置
CN106797449A (zh) 履带式作业机械的周边监视装置
CN103141090A (zh) 作业机械的周围监视装置
KR101752613B1 (ko) 작업 기계의 주변 감시 장치
CN104969544A (zh) 回转式作业机械的周围监视装置
CN104982030A (zh) 作业机械用周边监视装置
JP2013253402A (ja) 作業機械の周囲監視装置
CN103797789A (zh) 工作机械的周围监视装置
WO2013172172A1 (ja) 自走式産業機械の表示装置
CN103563358A (zh) 作业机械的周围监视装置
CN104041018A (zh) 自行式工业机械的周围监视装置
JP2014181509A (ja) 作業機械用周辺監視装置
CN105009572A (zh) 作业机械的周围监视装置
JP2016194237A (ja) 作業機械
JP6290497B2 (ja) ショベル
JP6852026B2 (ja) ショベル
JP5752631B2 (ja) 画像生成方法、画像生成装置、及び操作支援システム
JP6420432B2 (ja) ショベル
JP6301536B2 (ja) ショベル
JP2019015174A (ja) ショベル
JP6391656B2 (ja) 作業機械用周辺監視装置及び作業機械
JP6356323B2 (ja) ショベル

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190322