CN107627957B - 作业车 - Google Patents

作业车 Download PDF

Info

Publication number
CN107627957B
CN107627957B CN201611079536.2A CN201611079536A CN107627957B CN 107627957 B CN107627957 B CN 107627957B CN 201611079536 A CN201611079536 A CN 201611079536A CN 107627957 B CN107627957 B CN 107627957B
Authority
CN
China
Prior art keywords
work
region
detection sensor
vehicle body
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611079536.2A
Other languages
English (en)
Other versions
CN107627957A (zh
Inventor
松崎优之
藤本义知
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kubota Corp
Original Assignee
Kubota Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kubota Corp filed Critical Kubota Corp
Publication of CN107627957A publication Critical patent/CN107627957A/zh
Application granted granted Critical
Publication of CN107627957B publication Critical patent/CN107627957B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F5/00Dredgers or soil-shifting machines for special purposes
    • E02F5/02Dredgers or soil-shifting machines for special purposes for digging trenches or ditches
    • E02F5/08Dredgers or soil-shifting machines for special purposes for digging trenches or ditches with digging wheels turning round an axis
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/001Steering by means of optical assistance, e.g. television cameras
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D41/00Combines, i.e. harvesters or mowers combined with threshing devices
    • A01D41/12Details of combines
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13Receivers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/18Dredgers; Soil-shifting machines mechanically-driven with digging wheels turning round an axis, e.g. bucket-type wheels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Environmental Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Soil Sciences (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Guiding Agricultural Machines (AREA)

Abstract

本发明提供一种作业车,在使用俯瞰图像的同时也能够将车身周边信息以对驾驶员来说容易视觉确认的形态进行监视器显示。作业车具备:多个照相机(4),其对车身的周边进行拍摄;关注区域确定部,其基于来自检测作业行驶状况的作业行驶状况检测传感器组(9)的检测信号确定关注区域;优先显示图像确定部,其将关注区域进入了拍摄视野的拍摄图像作为优先显示图像;俯瞰图像生成部,其通过将拍摄图像进行视点转换并合成,由此生成车身周边的俯瞰图像;监视器画面生成部,其生成监视器显示画面,该监视器显示画面被划分为显示俯瞰图像的第一显示区域(M1)与显示上述优先显示图像的第二显示区域(M2);监视器(73),其对监视器显示画面进行显示。

Description

作业车
技术领域
本发明涉及作业车,其能够将本车的周边以俯瞰图像显示于监视器。
背景技术
专利文献1的联合收割机根据利用四台照相机取得的本车的周围图像,生成从上方观察本车的模拟的图像即俯瞰图像,进而将存储于存储部的本车的俯视图像、表示履带部的位置的图像、以及将履带部的左右方向的端部向前方延长而得的线即履带虚拟延长部合成于俯瞰图像并显示。此时,在判断联合收割机为前进中的情况下,履带虚拟延长部向前方延长并显示,在判断联合收割机为后退中的情况下,履带虚拟延长部向后方延长并显示。
现有技术文献
专利文献
专利文献1:日本特开2015-104375号公报
发明内容
在上述那种作业车(联合收割机)中,能够通过显示的俯瞰图像直观地掌握履带部周边。然而,作为来自多个照相机的拍摄图像的合成图像的俯瞰图像只能覆盖距车身相对较近距离的范围,而且,俯瞰图像受到视点转换导致的变形,因此难以准确地确认俯瞰图像中的被拍摄体的状况。
由于这种实际情况,期望一种在使用俯瞰图像的同时也能够将车身周边信息以对驾驶员来说容易视觉确认的形态进行监视器显示的技术。
本发明的作业车具备:多个照相机,其对车身的周边进行拍摄;作业行驶状况检测传感器组,其对作业行驶状况进行检测;关注区域确定部,其基于来自上述作业行驶状况检测传感器组的检测信号确定关注区域;优先显示图像确定部,其将上述多个照相机中的、上述关注区域进入了拍摄视野的照相机的拍摄图像作为优先显示图像;俯瞰图像生成部,其通过将上述多个照相机的拍摄图像进行视点转换并合成,由此生成车身周边的俯瞰图像;监视器画面生成部,其生成监视器显示画面,该监视器显示画面被划分为显示上述俯瞰图像的第一显示区域和显示上述优先显示图像的第二显示区域;监视器,其对上述监视器显示画面进行显示。
根据该结构,基于从检测该作业车的作业行驶的状态的各种传感器组输出的检测信号,确定该时刻驾驶员应关注的区域,包含该应关注的区域的拍摄图像与俯瞰图像一起被显示于监视器。在作业车的情况下,与在道路上行驶的乘用车等相比更频繁地进行行进方向的切换、转向动作、车速变更、作业装置的动作等,使得车身的整个周围的应关注的区域时刻发生变化。因此,这种驾驶员应关注的区域与来自检测作业行驶状况的传感器组的检测信号密切相关。因此,通过包含由关注区域确定部确定的关注区域的优先显示图像与俯瞰图像一起显示于监视器,使得驾驶员能够根据俯瞰图像知晓车身的周边区域的情况,并且能够根据优先显示图像同时知晓应特别关注的区域。
在作业车的作业行驶中,驾驶员首先必须意识到的是朝向行驶方向的区域(如果是前进行驶则是车身前方区域)的情况。因此,在本发明的优选的一个实施方式中,在上述作业行驶状况检测传感器组中包括对上述车身的前进行驶与后退行驶进行检测的行进方向检测传感器,上述关注区域确定部在检测出前进行驶的情况下,将朝向前进方向的区域作为上述关注区域,在检测出后退行驶的情况下,将朝向后退方向的区域作为上述关注区域。在作业车中,由于重复前进与后退的情况并不少见,因此优选的是能够根据作业车的行进方向(前进或者后退),自动地将映出朝向行进方向的区域的拍摄图像作为优先显示图像而在监视器中确认。
与道路等不同,在作业地中包含分界栅栏、田埂等,存在各种行驶障碍物。因此,大多搭载障碍物检测传感器作为作业行驶状况检测传感器。然而,在障碍物检测传感器输出了检测出某些物体的信号时,为了使驾驶员判断应停车、还是应保持原样地前进、还是应通过转换方向进行回避,进行目视观察是重要的。另外,在配备有瞄准方向不同的多个障碍物检测传感器的情况下,有时不能立即判断应注视哪个方向。因此,在本发明的优选的一个实施方式中,在上述作业行驶状况检测传感器组中包括对上述车身周边的障碍物进行检测的障碍物检测传感器,在通过上述障碍物检测传感器检测出障碍物的情况下,将朝向上述障碍物的检测方向的区域作为上述关注区域。由此,映出了检测出障碍物的障碍物检测传感器的瞄准目标的区域的拍摄图像作为优先显示图像而被监视器显示,因此为优选。
在作业地上进行作业行驶的情况下,不能忽略存在于作业地外的障碍物。一般来说,能够根据障碍物检测传感器的检测信号计算出至障碍物的距离。因此,若作业车具备使用卫星定位系统等通过地图坐标计算出本车位置的功能,则能够判定障碍物存在于作业地内还是存在于作业地外。因此,在本发明的优选的一个实施方式中,具备基于卫星定位数据计算出上述车身的位置的本车位置计算部,并且,在由上述障碍物检测传感器检测出的上述障碍物与车身的距离比上述车身与作业地的边界线的距离长的情况下,撤销上述关注区域。由此,不再需要将不必要的障碍物显示于监视器。
在相邻的照相机的拍摄视野的一部分相互重合地配置的情况下,有时各个照相机的拍摄图像所重合的区域被视为关注区域。在这样的情况下,难以判定哪一方的拍摄图像更有效。此时,有效的一个方案为,在两台以上的上述照相机中,上述关注区域进入了拍摄视野的情况下,该照相机的拍摄图像依次每隔一定时间成为上述优先显示图像。另一个方案为,在两台以上的上述照相机中,上述关注区域进入了拍摄视野的情况下,将该照相机的拍摄图像合成而得的合成图像成为上述优先显示图像。此时,若将以该照相机的台数按比例划分各个拍摄图像而得的部分(例如,在该照相机是两台的情况下是各个拍摄图像的一半)合成,则图像不会缩小,因此为优选。通过采用这种方案作为优选的实施方式,能够使驾驶员可靠地确认关注区域。
作为在不能确定关注区域的情况下,换句话说是多个拍摄图像中的关注度无明确的差异的情况下的解决对策,在本发明的优选的一个实施方式中,在不能确定上述关注区域的情况下,上述多个照相机中的所有照相机的拍摄图像依次每隔一定时间成为上述优先显示图像。
存在配备有相对于车身变更姿势的作业装置的作业车。在这种作业车的作业装置中,在安装有照相机的情况下,由于作业装置变更姿势,使得照相机的拍摄方向也发生变化,不再能够拍摄到最佳的区域。为了避免这种情况,在本发明的优选的一个实施方式中,在上述车身上经由姿势变更机构配备有作业装置,并且,上述照相机的至少一个作为作业装置照相机安装于上述作业装置,上述作业装置照相机根据上述作业装置的姿势变更而变更姿势以维持拍摄方向。而且,在这种作业装置中也安装有障碍物检测传感器的情况下,障碍物检测传感器的检测方向也需要与作业装置的姿势变更无关地维持最佳的方向。因此,在本发明的优选的一个实施方式中,在上述车身上经由姿势变更机构配备有作业装置,并且,至少一台上述照相机作为作业装置照相机安装于上述作业装置,并且,至少一个上述障碍物检测传感器作为作业装置障碍物检测传感器安装于上述作业装置,上述作业装置照相机根据上述作业装置的姿势变更而变更姿势以维持拍摄方向,并且,上述障碍物检测传感器根据上述作业装置的姿势变更而变更姿势以维持上述障碍物的检测方向。
作业车根据作业而以从超低速至中速的较大的速度范围行驶。在超低速时,作为优先显示图像显示于监视器的拍摄画面的单位时间的移动较小,画面难以流动,但随着速度变大,拍摄画面的单位时间的移动变大,画面流动。因此,如果行驶速度较大,则优选的是在一个画面中捕捉到较大的区域,因此,在本发明的优选的一个实施方式中,在上述作业行驶状况检测传感器组中包括检测上述车身的行驶速度的车速检测传感器,根据由上述车速检测传感器检测出的上述行驶速度,上述优先显示图像向上述第二显示区域的显示扩缩率产生变动。
附图说明
图1是说明将基于多个照相机对本车周边的拍摄图像的俯瞰图像与优先显示图像显示于监视器的基本技术的说明图。
图2是作为作业车的一个例子的拖拉机的侧视图。
图3是表示拖拉机的控制系统的功能框图。
图4是说明安装于升降的作业装置的照相机以及障碍物检测传感器的使用形态的说明图。
图5是说明安装于升降的作业装置的照相机以及障碍物检测传感器的另一使用形态的说明图。
附图标记说明
30:作业装置
31:升降机构(姿势变更机构)
4:照相机(第一照相机、第二照相机、第三照相机、第四照相机、作业装置照相机)
54:本车位置计算部
56:监视器画面生成部
61:关注区域确定部
62:优先显示图像确定部
73:监视器
9:作业行驶状况检测传感器组
90:障碍物检测传感器
具体实施方式
在说明本发明的作业车的具体实施方式之前,使用图1,说明基于安装于作业车多个照相机对本车周边的拍摄图像、将俯瞰图像与优先显示图像显示于监视器的基本技术。
该作业车具备能够前进后退的车身1,在车身1中配备有作业装置30。在车身上安装有四台照相机4。照相机4配置于车身1的前部、车身1的左侧部、车身1的右侧部、车身的后部。各照相机4具备广角镜头,通过四台照相机4能够将车身1的整周区域收入拍摄视野。只要能够将车身1的整周区域收入拍摄视野,则也可以减少照相机4的台数。另外,也可以采用增加照相机4的台数而从更密集的拍摄方向拍摄车身1的整周区域的结构。另外,照相机4除了配置于车身1以外,也可以配置于作业装置30。
作业车在各种作业行驶状况下进行作业行驶。在作业行驶状况中,包括行驶方向、转向方向、车速状态、作业装置状态、作业地状态等。这些作业行驶状况虽然是由各种传感器检测出的,但这里将这些传感器集中称为作业行驶状况检测传感器组9。在作业行驶状况检测传感器组9中包括障碍物检测传感器的情况下,能够检测存在于作业车周围的障碍物。障碍物检测传感器采用了使用超声波束、光束、激光束等的传感器,能够检测障碍物并且使用该检测信号计算出车身1与障碍物之间的距离。
在该作业车中也具备对地图上的坐标位置(以下,也称为本车位置)进行计算的卫星定位功能。
由四台照相机4取得的拍摄图像(在图1中,为了区别每一个照相机的拍摄图像而赋予了附图标记A~D)被转换成从位于车身1上方的视点的图像并被合成,由此生成车身1位于中央的俯瞰图像。该俯瞰图像被显示于监视器画面,对驾驶员的周围状况监视进行辅助。监视器画面被为划分成相邻的两个显示区域,在一个显示区域M1中显示俯瞰图像。在另一个显示区域M2中显示由四台照相机4取得的拍摄图像中的一个、或者两个拍摄图像的合成图像。这里将该显示于该另一个显示区域的拍摄图像称作优先显示图像。
在车身1的整个周围中最应关注的区域(关注区域)进入到拍摄视野的照相机4的拍摄图像被选择作为优先显示图像。优先显示图像可以基于驾驶员的判断手动选择,但在作业车的情况下,应由驾驶员进行的工作多,因此为了减少驾驶员的负担,在本发明中,根据作业行驶的状况自动地确定关注区域,选择优先显示图像。当然,也可以根据由驾驶员发出的选择指示(例如通过A~D的选择按钮),将驾驶员所希望的拍摄图像作为优先显示图像而进行监视器显示。
作业行驶的状况可以通过来自作业行驶状况检测传感器组9的检测信号掌握,根据其结果,能够确定该时刻的最应关注的区域。作为该关注区域的确定算法,以下例示两个方式。
(1)规则方式
在规则方式中,将一个以上的特定的作业状况检测传感器检测到特定的作业行驶状态作为条件,将车身周边的特定区域视为关注区域,将以该特定区域为拍摄视野的照相机4的拍摄图像作为优先图像,显示于监视器73的、位于显示俯瞰图像的第一显示区域的相邻位置的第二显示区域。例如,
(1-1)在检测车身1的前进行驶与后退行驶的行进方向检测传感器检测出车身1的前进行驶的情况下,将朝向前进方向的区域作为关注区域。由此,将包含该区域的拍摄图像(以前方为拍摄视野的照相机4的拍摄图像)显示于监视器73。相反,在检测出车身1的后退行驶的情况下,将朝向后退方向的区域作为关注区域,将包含该区域的拍摄图像(以后方为拍摄视野的照相机4的拍摄图像)显示于监视器73。作为相似例,在转向方向检测传感器检测出向左方向的转向的情况下,将车身1的左侧作为关注区域,使以左侧部为拍摄视野的照相机4的拍摄图像显示于监视器73。此时,也可以将车身1的左前方作为关注区域,将合成了以前方为拍摄视野的照相机4的拍摄图像的左半部分、和以左侧部为拍摄视野的照相机4的拍摄图像的上半部分而得的图像作为优先显示图像,显示于监视器73。同样,在转向方向检测传感器检测出向右方向的转向的情况下,将车身1的右侧作为关注区域,使以右侧部为拍摄视野的照相机4的拍摄图像显示于监视器73。此外,在基于转向方向确定优先显示图像的过程中,也可以将车身1的右前方(或者左前方)作为关注区域,将合成了以前方为拍摄视野的照相机4的拍摄图像的右半部分(或者左半部分)、和以右侧方(或者左侧方)为拍摄视野的照相机4的拍摄图像的上半部分而得的图像作为优先显示图像,显示于监视器73。
(1-2)在检测车身周边的障碍物的障碍物检测传感器检测出障碍物的情况下,将朝向障碍物的检测方向的区域作为关注区域,将以该关注区域为拍摄视野的照相机4的拍摄图像显示于监视器73。此外,若将基于障碍物检测传感器的检测信号计算出的障碍物距车身1的距离与方向、和通过卫星定位功能计算出的本车位置相组合,则能够求出障碍物的地图坐标位置。因此,在检测出的障碍物位于作业地外的情况下,该障碍物不会成为作业行驶的障碍,因此也可以忽略该关注区域。
(2)机械学习方式
在规则方式中,预先将一个以上的特定的作业行驶状况检测传感器的检测结果与关注区域建立了关联,因此在控制方面简单,具有控制负担小这一优点。然而,在作业行驶中应关注的区域受到很多条件的影响。例如,即使是在向左侧转向的情况下,由于其转向角、车速、配备的作业装置30的姿势等,有时会为了检查车身1或作业装置30的车尾振动而想要关注右侧后方区域而并非左侧区域或左前方区域。另外,即使在前进行驶中,有时也会因为作业种类、车速等而想要关注后方区域多于前方区域。因此,将构成作业状况检测传感器组的多个传感器的检测信号(检测结果)作为输入参数,构建输出关注区域的控制系统。此时,在也考虑驾驶员的个人特性等的情况下,也可以构成为,由驾驶员进行实际的作业行驶,并对在各种作业行驶状况中想要关注哪一个区域进行学习,来确定控制参数。
在具有多个想要关注的区域的情况下,也可以是,并非将多个拍摄图像合成而作为优先显示图像,而是依次每隔一定时间将该拍摄图像作为优先显示图像,并依次循环而显示于监视器。此时,如果能够计算出关注度等级,则可以根据关注度等级而对显示时间赋予差异。另外,在不能确定关注区域的情况下、或关注区域的确定功能不能工作的情况下,也可以依次每隔一定时间将全部照相机4的拍摄图像作为优先显示图像,并依次循环而显示于监视器。
接下来,使用附图对本发明的作业车的一个具体的实施方式的进行说明。在该实施方式中,作业车是对通过田埂界定边界的田地(作业地)进行行驶作业的拖拉机。如图2所示,该拖拉机在由前轮11与后轮12支承的车身1的中央部设有操纵部20。在车身1的后部经由液压式的升降机构(姿势变更机构的一种)31配备有回转式耕耘装置即作业装置30。前轮11作为转向轮发挥功能,通过变更其转向角来变更拖拉机的行驶方向。前轮11的转向角通过转向机构13的动作而被变更。在转向机构13中包括用于进行自动转向的转向马达14。在手动行驶时,能够通过配置于操纵部20的方向盘22的操作来进行前轮11的转向。在拖拉机的车室21中设有作为GNSS(global navigation satellite system,全球定位卫星系统)模块构成的卫星定位模块80。作为卫星定位模块80的结构要素,在车室21的顶部区域安装有用于接收GPS(global positioning system,全球定位系统)信号、GNSS信号的卫星用天线。此外,在卫星定位模块80中,为了对卫星导航进行补充,可以包含组装有陀螺仪加速度传感器、磁方位传感器的惯性导航模块。当然,惯性导航模块卫星也可以设于不同于定位模块80的另一部位。
而且,在车身1安装有用于拍摄车身周围的四台照相机4。第一照相机4配置于车身前部(发动机罩)的中央,第二照相机4与第三照相机4配置于车身左右的侧部(后轮挡板),第四照相机4配置于车身后部(机壳后端)的中央。各照相机4使用CCD(charge coupleddevice,电荷耦合器件)、CIS(CMOS image sensor,互补金属氧化物半导体图像传感器)等拍摄元件,以时间序列拍摄每秒15~30帧的二维图像,进行数字转换然后将该拍摄图像实时地输出。各照相机4的拍摄光轴朝向下方,以使车身1、作业装置30的一部分与田地面进入拍摄视野,并且通过安装广角镜头,使得由四台照相机4取得的拍摄图像能够覆盖车身附近的整周区域。而且,在该实施方式中,与各照相机4相邻地安装有作为激光雷达构成的障碍物检测传感器90。各障碍物检测传感器90具有超过90°的扫描范围,由此能够通过四个障碍物检测传感器90检测出存在于车身附近的整周区域的障碍物。
在图3中示出了构建于该拖拉机的控制系统。在该控制系统中编入有使用图1说明过的、将基于多个照相机4对本车周边的拍摄图像的俯瞰图像与优先显示图像显示于监视器73的基本技术。在作为该控制系统的核心要素的控制单元5中,具备作为输入输出接口发挥功能的输出处理部7、输入处理部8、通信处理部70。输出处理部7与车辆行驶设备组71、作业装置设备组72、由液晶等的平板构成的监视器73等连接。虽然未图示,但输出处理部7也与进行通知的灯、扬声器连接,该通知用于对驾驶员、监视者提醒作业行驶上的注意。在车辆行驶设备组71中,以转向马达14为首,虽然未图示,但包括变速机构、发动机单元等为了使车辆行驶而被控制的设备。在作业装置设备组72中包括作业装置30的驱动机构、使作业装置30升降的升降机构31等。
通信处理部70通过无线通信标准、有线通信标准而与外部的计算机进行数据交换。在图3中,作为外部的计算机,示出了构建于远处的管理中心KS等的管理计算机100以及由驾驶员、监视者所携带的平板电脑、智能手机(移动电话)组成的移动终端101。
输入处理部8与上述照相机4、卫星定位模块80、自动/手动切换操作器具83、作业行驶状况检测传感器组9等连接。在作业行驶状况检测传感器组9中,除了行驶系统检测传感器组81、作业系统检测传感器组82之外,也包括上述障碍物检测传感器90。在行驶系统检测传感器组81中包括对转向角、发动机转速、变速状态等的行驶状态进行检测的传感器。在作业系统检测传感器组82中包括对作业装置30的地上高度、倾斜进行检测的传感器、对作业负荷等进行检测的传感器等。自动/手动切换操作器具83是选择通过自动转向行驶的自动行驶模式、和通过手动转向行驶的手动转向模式中的某一个的开关。例如,在自动转向模式中,通过在行驶中操作自动/手动切换操作器具83,切换成手动转向的行驶,在手动转向的行驶中,通过操作自动/手动切换操作器具83,切换成自动转向的行驶。
在控制单元5中,作为用于实现已使用图1说明过的基本技术的核心功能,构建有监视图像处理模块6、障碍物检测处理部55以及监视器画面生成部56。除此之外,在控制单元5中具备行驶控制部50、作业控制部53、本车位置计算部54、作业地管理部57、路径生成部58。
控制车辆行驶设备组71的行驶控制部50构成为,使该拖拉机能够通过自动行驶(自动转向)与手动行驶(手动转向)这两者行驶,因此包括手动行驶控制部51与自动行驶控制部52。手动行驶控制部51基于驾驶员的操作对车辆行驶设备组71进行控制。自动行驶控制部52基于本车位置与行驶路径的偏差生成自动转向指令,并经由输出处理部7输出到转向马达14。作业控制部53为了控制作业装置30的移动,对作业装置设备组72赋予控制信号。
行驶控制部50在自动行驶时与手动行驶时,执行不同的控制处理。在自动行驶时,实现如下功能:对通过本车位置计算部54计算出的本车位置与通过路径生成部58生成的行驶路径进行比较评价,如果本车位置与行驶路径中产生位置偏移,则生成转向变更数据并赋予给自动行驶控制部52,以使车身1沿着该行驶路径。
本车位置计算部54基于从卫星定位模块80传送来的卫星定位数据,计算本车位置。
障碍物检测处理部55基于来自四个障碍物检测传感器90的检测信号,对存在于车身1周边的障碍物进行检测。在该实施方式中,障碍物检测传感器90是水平扫描类型,因此障碍物检测处理部55能够计算检测出的障碍物的水平方向的宽度和距车身1的距离。而且,障碍物检测处理部55通过参照来自本车位置计算部54的本车位置以及来自作业地管理部57的作业地边界线的地图坐标,也能够判定检测出的障碍物是否处于作业地内。换句话说,为了避免检测作业地外的障碍物,能够使用本车位置与作业地边界线的地图坐标,将障碍物检测传感器90的作业地的外部区域设定为障碍物不检测区域。另外,在检测出的障碍物存在于作业车的行进方向的情况下,障碍物检测处理部55对行驶控制部50提供障碍物检测信息。行驶控制部50能够构成为,基于障碍物检测信息执行减速或者停车、或者规避转向。
作业地管理部57对与进行作业行驶的田地有关的信息即田地信息(作业地信息)进行管理。在田地信息中,包括田地的地图位置、形状、大小、种植品种等数据在内的田地信息能够从设置于远处的管理中心KS、农家的住宅中的管理计算机100、或者驾驶员所持有的移动终端101下载。
路径生成部58从田地信息中读出田地的外形数据,生成该田地中的合适的行驶路径。该行驶路径的生成既可以基于由作业者输入的基本的初始参数自动地进行,也可以基于由作业者输入的实质上规定行驶路径的输入参数进行。另外,行驶路径自身也可以采用从管理计算机100下载的结构。总之,由路径生成部58取得的行驶路径在存储器中展开,无论是自动转向行驶还是手动转向行驶,都是为了使作业车沿行驶路径行驶而使用的。
监视图像处理模块6具备俯瞰图像生成部60、关注区域确定部61以及监视器画面生成部56。俯瞰图像生成部60对由四台照相机4取得的拍摄图像进行向车身中心的上方的视点的视点转换,并将视点转换后的图像合成,由此生成从上方观察作业车周边时的俯瞰图像。在视点转换中,虽然使用了映射表,但通过根据作业装置30的种类、作业种类变更映射表,能够生成对于其每次的作业行驶来说最佳的俯瞰图像。
关注区域确定部61基于来自作业行驶状况检测传感器组9的检测信号确定关注区域。由于在作业行驶状况检测传感器组9中包括行驶系统检测传感器组81、作业系统检测传感器组82、障碍物检测传感器90,因此控制单元5被输入与升降机构31的状态、作业装置30的状态(下降位置/上升位置等)、转向机构13的状态(左转弯/右转弯、急转弯/慢转弯等)、动力向后轮12的传递的状态(前进/后退、低速/高速等)、障碍物的存在(检测物体距车身1的距离与方向等)等有关的检测结果。因此,关注区域确定部61能够将这些检测结果作为输入参数,基于预先设定的规则,在该时刻确定车身整个周围的应关注区域并输出。在基本的规则设定中,在前进行驶时,前方区域成为关注区域,在后退行驶时,后方区域成为关注区域,在左转弯时,左侧区域成为关注区域,在右转弯时,左侧区域成为关注区域。而且,在作业装置30从上升位置移至下降位置时,优先地使后方区域成为关注区域。另外,若根据由障碍物检测传感器90检测出的障碍物的距离的方向可视为障碍物存在于距车身1的规定距离内,则最优先地使障碍物所存在的区域成为关注区域。
优先显示图像确定部62将由关注区域确定部61确定的关注区域进入了拍摄视野的照相机4的拍摄图像作为与俯瞰图像一起显示于监视器73的优先显示图像。因此,准备了表示由关注区域确定部61确定的任意的关注区域包含在哪个拍摄图像中的表,并能够根据确定的关注区域确定包含该关注图像的拍摄图像。具体而言,通过四台照相机4取得的各个拍摄图像被一个以上的分区划分,该分区被赋予了识别编码,并且由关注区域确定部61确定的关注区域也通过该识别编码规定。例如,关注区域由规定了特定的照相机4的拍摄图像内的一个以上的分区的识别编码表示。换句话说,通过表示关注区域的该识别编码,特定的照相机4的拍摄图像中的特定的分区被确定。在拍摄图像未被划分为分区、拍摄图像仅具有一个分区的情况下,关注区域仅指定照相机4即可。在拍摄图像被划分为多个分区,且关注区域指定了其一个分区的情况下,也可以从拍摄图像中提取该分区而作为优先显示图像。另外,在表示关注区域的识别编码具有多个、且该识别编码指定了相邻的两台照相机的两个拍摄图像的分区的情况下,也可以将各拍摄图像的指定的图像合成而作为优先显示图像。换句话说,优先显示图像确定部62具有将包含关注区域的拍摄图像放大、缩小而形成优先显示图像的功能。
监视器画面生成部56在监视器73上生成显示四台照相机4的拍摄图像的监视器画面。如图1示意地表示,监视器画面生成部56将监视器画面划分成相邻的第一显示区域M1与第二显示区域M2,对第一显示区域M1分配由俯瞰图像生成部60生成的俯瞰图像,对第二显示区域M2分配由优先显示图像确定部62确定的优先显示图像。
在进行手动驾驶时,驾驶员能够通过监视器73检查俯瞰图像以及应关注的区域的拍摄图像。在进行了自动驾驶时,在车外或者车内对自动驾驶进行管理的管理者能够通过移动终端101等的显示器检查由监视器画面生成部56生成并经由通信处理部70传送来的、包含俯瞰图像与拍摄图像的监视器画面。
〔另一实施方式〕
(1)在上述实施方式中,照相机4以及障碍物检测传感器90固定于车身1。但也能够取代于此,将照相机4以及障碍物检测传感器90中的至少一个安装于通过升降机构(姿势变更机构的一种)31升降而变更姿势的作业装置30。此外,该作业装置30通过上升而从水平姿势转变为倾斜姿势。在图4所示的例子中,在作业装置30的后部经由摆动机构安装有一台照相机(作业装置照相机)4与一个(作业装置障碍物检测传感器)90。该摆动机构具有沿横穿车身的方向延伸的摆动轴心,通过与升降机构31的移动连动地进行摆动,能够将伴随着上升的作业装置30的倾斜相抵消。换句话说,即使在作业装置30上升之后,也能够维持下降状态下的作业装置30中的照相机4的拍摄光轴方向以及障碍物检测传感器90的射束照射方向,照相机4的拍摄视野以及障碍物检测传感器90的扫描区域不会有实质性的大幅度变化。
而且,在图5所示的例子中,准备了两组照相机4以及障碍物检测传感器90。第一(上侧)组的照相机4以及障碍物检测传感器90被固定成在作业装置30处于下降姿势时分别成为最佳的拍摄方向与检测方向,第二(下侧)组的照相机4以及障碍物检测传感器90被固定成在作业装置30处于上升姿势时分别成为最佳的拍摄方向与检测方向。在控制单元5侧,在作业装置30处于下降姿势时,第一组的照相机4以及障碍物检测传感器90被接通,第二组的照相机4以及障碍物检测传感器90被断开。相反,在作业装置30处于上升姿势时,第二组的照相机4以及障碍物检测传感器90被接通,第一组的照相机4以及障碍物检测传感器90被断开。
(2)优先显示图像确定部62也可以具有将包含关注区域的拍摄图像任意地放大、缩小(显示扩缩率的变更)而形成优先显示图像的功能。此时,如果行驶速度增大,则被拍摄体的接近变快,因此在基于来自作业行驶状况检测传感器组9所包含的车速检测传感器的信号判定为高速行驶的情况下,优选的是使拍摄图像的整个区域作为优先显示图像(缩小图像)。相反,在判定为低速行驶的情况下,优选的是使拍摄图像中的集中于关注区域的部分区域放大而形成优先显示图像(放大图像)。
(3)图3所示的功能框图中的各功能部主要是出于说明的目的而被划分。实际上,各功能部能够与其他功能部合并、或者分为多个功能部。
(4)在上述实施方式中,作为作业车,将配备有回转式耕耘装置作为作业装置30的拖拉机列举为作业车,但除了这种拖拉机以外,例如插秧机、施肥机、联合收割机等农作业车、或者具备推土机、滚轮等作为作业装置30的建筑作业车等的各种作业车,也能够作为实施方式而被采用。
工业上的可利用性
本发明能够应用于使用多个照相机使俯瞰图像显示于监视器的作业车。

Claims (7)

1.一种作业车,其特征在于,具备:
多个照相机,其对车身的周边进行拍摄;
作业行驶状况检测传感器组,其对作业行驶状况进行检测;
关注区域确定部,其基于来自上述作业行驶状况检测传感器组的检测信号确定关注区域;
优先显示图像确定部,其将上述多个照相机中的、上述关注区域进入了拍摄视野的照相机的拍摄图像作为优先显示图像;
俯瞰图像生成部,其通过将上述多个照相机的拍摄图像进行视点转换并合成,由此生成车身周边的俯瞰图像;
监视器画面生成部,其生成监视器显示画面,该监视器显示画面被划分为显示上述俯瞰图像的第一显示区域和显示上述优先显示图像的第二显示区域;
监视器,其对上述监视器显示画面进行显示,
在上述作业行驶状况检测传感器组中包括对上述车身周边的障碍物进行检测的障碍物检测传感器,在通过上述障碍物检测传感器检测出障碍物的情况下,将朝向上述障碍物的检测方向的区域作为上述关注区域,
在上述车身上经由姿势变更机构配备有作业装置,并且,
至少一台上述照相机作为作业装置照相机安装于上述作业装置,并且,至少一个上述障碍物检测传感器作为作业装置障碍物检测传感器安装于上述作业装置,
上述作业装置照相机根据上述作业装置的姿势变更而变更姿势以维持拍摄方向,并且,上述作业装置障碍物检测传感器根据上述作业装置的姿势变更而变更姿势以维持上述障碍物的检测方向。
2.根据权利要求1所述的作业车,其特征在于,
在上述作业行驶状况检测传感器组中包括对上述车身的前进行驶与后退行驶进行检测的行进方向检测传感器,上述关注区域确定部在检测出前进行驶的情况下,将朝向前进方向的区域作为上述关注区域,在检测出后退行驶的情况下,将朝向后退方向的区域作为上述关注区域。
3.根据权利要求1所述的作业车,其特征在于,
具备基于卫星定位数据计算出上述车身的位置的本车位置计算部,并且,
在由上述障碍物检测传感器检测出的上述障碍物与车身的距离比上述车身与作业地的边界线的距离长的情况下,撤销上述关注区域。
4.根据权利要求1至3中任一项所述的作业车,其特征在于,
在两台以上的上述照相机中,上述关注区域进入了拍摄视野的情况下,该照相机的拍摄图像依次每隔一定时间成为上述优先显示图像。
5.根据权利要求1至3中任一项所述的作业车,其特征在于,
在两台以上的上述照相机中,上述关注区域进入了拍摄视野的情况下,将该照相机的拍摄图像合成而得的合成图像成为上述优先显示图像。
6.根据权利要求1至3中任一项所述的作业车,其特征在于,
在不能确定上述关注区域的情况下,上述多个照相机中的所有照相机的拍摄图像依次每隔一定时间成为上述优先显示图像。
7.根据权利要求1至3中任一项所述的作业车,其特征在于,
在上述作业行驶状况检测传感器组中包括检测上述车身的行驶速度的车速检测传感器,根据由上述车速检测传感器检测出的上述行驶速度,上述优先显示图像向上述第二显示区域的显示扩缩率产生变动。
CN201611079536.2A 2016-07-19 2016-11-30 作业车 Active CN107627957B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016141292A JP6727971B2 (ja) 2016-07-19 2016-07-19 作業車
JP2016-141292 2016-07-19

Publications (2)

Publication Number Publication Date
CN107627957A CN107627957A (zh) 2018-01-26
CN107627957B true CN107627957B (zh) 2022-06-28

Family

ID=57542878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611079536.2A Active CN107627957B (zh) 2016-07-19 2016-11-30 作业车

Country Status (4)

Country Link
US (1) US10491818B2 (zh)
EP (1) EP3272586B1 (zh)
JP (1) JP6727971B2 (zh)
CN (1) CN107627957B (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11266054B2 (en) * 2017-01-24 2022-03-08 Cnh Industrial America Llc System and method for automatically estimating and adjusting crop residue parameters as a tillage operation is being performed
CN110114244B (zh) * 2017-02-17 2023-07-04 住友重机械工业株式会社 工作机械用周边监视系统
GB2569573A (en) * 2017-12-20 2019-06-26 Canon Kk Video surveillance method and system
US11520028B2 (en) * 2018-01-10 2022-12-06 Richwave Technology Corp. Occupancy detection using multiple antenna motion sensing
CN110162081A (zh) * 2018-02-14 2019-08-23 广州极飞科技有限公司 移动装置控制方法及装置、移动终端及移动装置
JP6959179B2 (ja) 2018-04-26 2021-11-02 株式会社クボタ 作業車
JP7070047B2 (ja) 2018-04-26 2022-05-18 コベルコ建機株式会社 旋回式作業機械の旋回制御装置
JP7113669B2 (ja) 2018-06-08 2022-08-05 株式会社クボタ 作業車に搭載されるレーザレーダ
CN109168558B (zh) * 2018-08-16 2021-07-13 张振花 一种用于农业沟渠杂草清除的自动化设备
KR102625203B1 (ko) * 2018-08-28 2024-01-15 에이치엘만도 주식회사 차량용 주행 보조 장치 및 차량용 주행 보조 장치의 제어방법
US20210287461A1 (en) * 2018-09-21 2021-09-16 Honda Motor Co., Ltd. Vehicle inspection system
US10813262B2 (en) * 2018-10-16 2020-10-27 Cnh Industrial America Llc System and method for generating a prescription map for an agricultural implement based on yield map and/or crop biomass
US11012750B2 (en) * 2018-11-14 2021-05-18 Rohde & Schwarz Gmbh & Co. Kg Method for configuring a multiviewer as well as multiviewer
DE102018220406A1 (de) * 2018-11-28 2020-05-28 Zf Friedrichshafen Ag Vorrichtung zum Lokalisieren einer Landmaschine basierend auf Sensordaten und Bildsegmentierung
US11072368B2 (en) * 2019-01-22 2021-07-27 Deere & Company Dynamically augmented bird's-eye view
JP7233950B2 (ja) * 2019-02-14 2023-03-07 株式会社クボタ 農業機械
JP7016900B2 (ja) * 2019-04-11 2022-02-07 三菱ロジスネクスト株式会社 制御装置、制御方法及びプログラム
EP3722522B1 (en) 2019-04-11 2024-03-27 Mitsubishi Logisnext Co., Ltd. Control device, control method, and program
JP7360258B2 (ja) * 2019-06-21 2023-10-12 株式会社クボタ 作業車
JP7198161B2 (ja) * 2019-06-21 2022-12-28 株式会社クボタ 作業車
JP7183121B2 (ja) * 2019-06-25 2022-12-05 株式会社クボタ 作業車
US20220212602A1 (en) * 2019-06-28 2022-07-07 Kubota Corporation Harvester, System, Program, Recording Medium, and Method
JP7271416B2 (ja) 2019-12-27 2023-05-11 株式会社クボタ 作業車両及び作業車両の走行管理システム
CN113826053B (zh) * 2020-02-20 2023-11-21 Whill株式会社 电动移动设备以及设施内的系统
JP7422361B2 (ja) * 2020-03-06 2024-01-26 株式会社アイシン 追跡装置、及び追跡プログラム
JP7388954B2 (ja) * 2020-03-11 2023-11-29 株式会社小松製作所 操作ガイド装置
KR20220052172A (ko) * 2020-10-20 2022-04-27 현대모비스 주식회사 서라운드뷰 모니터링 시스템 및 그 제공 방법
US11661722B2 (en) 2020-11-19 2023-05-30 Deere & Company System and method for customized visualization of the surroundings of self-propelled work vehicles
US20220311974A1 (en) 2021-03-24 2022-09-29 Deere & Company Work vehicle fleet with intuitive vision system
US11846947B2 (en) 2021-05-11 2023-12-19 Cnh Industrial Canada, Ltd. Systems and methods for an implement imaging system
GB202210395D0 (en) * 2022-07-15 2022-08-31 Agco Int Gmbh A vehicle with a sensor unit for environmental perception
WO2024024148A1 (ja) * 2022-07-26 2024-02-01 ソニーセミコンダクタソリューションズ株式会社 車載監視装置、情報処理装置および車載監視システム
GB202213881D0 (en) * 2022-09-23 2022-11-09 Agco Int Gmbh Operator assistance system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000041414A (ja) * 1998-08-03 2000-02-15 Kubota Corp 作業機
CN101548593A (zh) * 2008-03-31 2009-10-07 株式会社久保田 作业车的控制装置
JP2011062115A (ja) * 2009-09-16 2011-03-31 Iseki & Co Ltd 作業車両
CN102812704A (zh) * 2010-03-26 2012-12-05 爱信精机株式会社 车辆周边监视装置
CN103649426A (zh) * 2012-01-27 2014-03-19 斗山英维高株式会社 建筑机械的操作安全性提高装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2754020A (en) * 1954-05-18 1956-07-10 Thomas J Dunn Fork lift attachment for a work vehicle
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
JP3265336B2 (ja) * 1993-08-06 2002-03-11 株式会社タダノ 吊荷監視カメラつきクレーン車
US7920102B2 (en) * 1999-12-15 2011-04-05 Automotive Technologies International, Inc. Vehicular heads-up display system
JP2002056381A (ja) * 2000-08-11 2002-02-20 Fujitsu Ltd 道路状況画像処理装置
JP2002369186A (ja) * 2001-06-07 2002-12-20 Sony Corp 車両後方画像表示装置、車両周囲画像表示方法
JP4522880B2 (ja) * 2005-02-09 2010-08-11 本田技研工業株式会社 車両操縦システム
JP3112141U (ja) * 2005-03-31 2005-08-04 株式会社テクノイケガミ 監視用カメラの吊下支持装置
JP2010044561A (ja) * 2008-08-12 2010-02-25 Panasonic Corp 乗物搭載用監視装置
JP2010274813A (ja) * 2009-05-29 2010-12-09 Fujitsu Ten Ltd 画像生成装置及び画像表示システム
US9245434B2 (en) * 2011-02-09 2016-01-26 Paul D. Baillargeon Warning and message delivery and logging system utilizable in the monitoring of fall arresting and prevention devices and method of same
WO2012169352A1 (ja) * 2011-06-07 2012-12-13 株式会社小松製作所 作業車両の周辺監視装置
JP5456123B1 (ja) * 2012-09-20 2014-03-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP2014192777A (ja) * 2013-03-28 2014-10-06 Kyocera Corp 車載撮像システム
US9654740B2 (en) * 2013-05-28 2017-05-16 International Business Machines Corporation Controlling automotive rear-view mirror based on eye movement
WO2015049847A1 (ja) * 2013-10-01 2015-04-09 ヤンマー株式会社 コンバイン
JP2015104375A (ja) 2013-12-02 2015-06-08 ヤンマー株式会社 コンバイン
WO2015106799A1 (en) * 2014-01-14 2015-07-23 Sandvik Mining And Construction Oy Mine vehicle, mine control system and mapping method
DE102014100612A1 (de) * 2014-01-21 2015-07-23 Ahwi Maschinenbau Gmbh Rotorvorrichtung
JP6267972B2 (ja) * 2014-01-23 2018-01-24 日立建機株式会社 作業機械の周囲監視装置
CN106164801B (zh) * 2014-03-28 2019-06-11 洋马株式会社 自主行驶作业车辆

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000041414A (ja) * 1998-08-03 2000-02-15 Kubota Corp 作業機
CN101548593A (zh) * 2008-03-31 2009-10-07 株式会社久保田 作业车的控制装置
JP2011062115A (ja) * 2009-09-16 2011-03-31 Iseki & Co Ltd 作業車両
CN102812704A (zh) * 2010-03-26 2012-12-05 爱信精机株式会社 车辆周边监视装置
CN103649426A (zh) * 2012-01-27 2014-03-19 斗山英维高株式会社 建筑机械的操作安全性提高装置

Also Published As

Publication number Publication date
JP6727971B2 (ja) 2020-07-22
CN107627957A (zh) 2018-01-26
US10491818B2 (en) 2019-11-26
US20180027179A1 (en) 2018-01-25
EP3272586A1 (en) 2018-01-24
EP3272586B1 (en) 2019-07-17
JP2018014554A (ja) 2018-01-25

Similar Documents

Publication Publication Date Title
CN107627957B (zh) 作业车
US10231374B2 (en) Travel support system, travel support method, and work vehicle
JP6662762B2 (ja) 作業車
US9457718B2 (en) Obstacle detection system
US9335545B2 (en) Head mountable display system
AU2014213529B2 (en) Image display system
JP7076501B2 (ja) 作業車
AU2017318911B2 (en) Image display system of work machine, remote operation system of work machine, work machine, and method for displaying image of work machine
EP3998516A1 (en) Automatic travel system
JP2019174347A (ja) 障害物検知システム
US20210314528A1 (en) Enhanced visibility system for work machines
JP2016181119A (ja) 移動機器の周囲状況提示システム
WO2019187883A1 (ja) 作業車両用の障害物検知システム
US20210404151A1 (en) System and method for work machine
US20210388580A1 (en) System and method for work machine
JP7055158B2 (ja) 作業車
US20210395980A1 (en) System and method for work machine
WO2023234076A1 (ja) 表示システムおよび作業車両

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant