CN108202667A - 作业车 - Google Patents

作业车 Download PDF

Info

Publication number
CN108202667A
CN108202667A CN201710398227.XA CN201710398227A CN108202667A CN 108202667 A CN108202667 A CN 108202667A CN 201710398227 A CN201710398227 A CN 201710398227A CN 108202667 A CN108202667 A CN 108202667A
Authority
CN
China
Prior art keywords
eye view
view image
image
work
synthesising pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710398227.XA
Other languages
English (en)
Other versions
CN108202667B (zh
Inventor
松崎优之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kubota Corp
Original Assignee
Kubota Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kubota Corp filed Critical Kubota Corp
Publication of CN108202667A publication Critical patent/CN108202667A/zh
Application granted granted Critical
Publication of CN108202667B publication Critical patent/CN108202667B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/001—Steering by means of optical assistance, e.g. television cameras
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B76/00—Parts, details or accessories of agricultural machines or implements, not provided for in groups A01B51/00 - A01B75/00
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D41/00—Combines, i.e. harvesters or mowers combined with threshing devices
    • A01D41/12—Details of combines
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Environmental Sciences (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Soil Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Guiding Agricultural Machines (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Lifting Devices For Agricultural Implements (AREA)
  • Image Analysis (AREA)
  • Soil Working Implements (AREA)

Abstract

本发明提供一种作业车，其对包括作业装置的作业车周围使用合适的俯瞰图像，从而使驾驶员或监视员能够良好地辨识作业装置。该作业车具备：多个照相机(4)，其拍摄从车体(1)以及作业装置(30)的周围区域分配的周围部分区域；监视图像生成模块，其基于可变更的合成图案而对各照相机的部分俯瞰图像进行合成处理，从而生成俯瞰周围区域的周围俯瞰图像，该各照相机的部分俯瞰图像是对各照相机(4)的周围部分区域的拍摄图像视角变换而生成的；合成图案变更部(61)，其变更合成图案；显示单元，其显示周围俯瞰图像。

Description

作业车
技术领域
本发明涉及作业车，能够将具备车体和装备于该车体的作业装置的作业车的周围以俯瞰图像在显示单元中显示。
背景技术
根据专利文献1的联合收割机从利用四台照相机取得的本车的周围图像而生成从本车上方观察时的模拟图像即俯瞰图像，进一步地将在存储部中存储的本车的俯视图像和表示履带部的位置的图像、将履带部的左右方向的端部向前方延长的线的履带假想延长部合成为俯瞰图像并显示。此时，在判断为联合收割机处于前进中的情况下履带假想延长部向前方延长地显示，在判断为联合收割机处于后退中的情况下履带假想延长部向后方延长地显示。
现有技术文献
专利文献
专利文献1:(日本)特开2015－104375号公报
发明内容
在上述这样的作业车(联合收割机)中，能够通过显示的俯瞰图像而直观地把握履带部周围。但是，作为来自于多个照相机的拍摄图像的合成图像的俯瞰图像，由于只能覆盖离车体较近距离的范围，另外，俯瞰图像受到了由视角变换引起的变形，因此俯瞰图像中在原拍摄图像的周围部拍摄到的特定部件有可能看不清楚。特别是在作业车由车体和装备于车体的大小不一样的作业装置构成的情况下，当使俯瞰图像与小的作业装置配合时，在装备了大的作业装置的情况下，作业装置不进入俯瞰图像，从而周围监视变得不充分。相反地，当使俯瞰图像与大的作业装置配合时，在装备了小的作业装置的情况下，不需要监视的区域变大，从而使显示单元的显示区域变得浪费。
从这样的实际情况出发，需要对包括作业装置的作业车周围使用合适的俯瞰图像，从而使驾驶员或监视员能够良好地辨识作业装置的技术。
本发明的作业车，其具备车体和装备于所述车体的作业装置，具备：多个照相机，其对从所述车体以及所述作业装置的周围区域分配的周围部分区域进行拍摄；监视图像生成模块，其基于能够变更的合成图案对每个照相机的部分俯瞰图像进行合成处理，从而生成俯瞰所述周围区域的周围俯瞰图像，所述每个照相机的部分俯瞰图像是对每个所述照相机的周围部分区域的拍摄图像进行视角变换而生成的；合成图案变更部，其变更所述合成图案；显示单元，其显示所述周围俯瞰图像。
在该构成中，通过变更合成图案，能够生成与装备于车体的作业装置的姿态或大小等合适的俯瞰图像，从而能够适当地监视包括作业装置的作业车的周围。
在本发明的一个优选的实施方式中，构成为：所述合成图案规定所述周围俯瞰图像中的所述部分俯瞰图像的占有面积。由此，在装备了大的作业装置的情况下，能够根据作业装置的大小而变更照出作业装置的部分俯瞰图像的专有面积，使作业装置以及其周围可靠地包括在该部分俯瞰图像中，从而实现一边观察与作业装置的姿态或大小等合适的适当的周围俯瞰图像一边作业。
周围俯瞰图像的部分俯瞰图像的适当的比例也因用户的喜好而不同。因此，在本发明的一个优选的实施方式中，构成为：所述合成图案变更部基于通过输入操作设备的变更指令而变更所述合成图案。由此，在显示单元中显示对于用户(驾驶员等)而言容易观察的适当的俯瞰图像。
当在驾驶座等进行通过用户的合成图案的变更作业的情况下，要求该变更作业环境对用户友好。因此，在本发明的一个优选的实施方式中，构成为：所述输入操作设备为触摸板，通过对在所述触摸板中显示的所述周围俯瞰图像中的所述部分俯瞰图像之间的图像边界线的位置进行变更而生成所述变更指令。在该构成中，用户能够通过拖放而变更在触摸板中显示的图像边界线，从而实现所希望的合成图案的变更，最终实现周围俯瞰图像的部分俯瞰图像的所希望的比例。
如果根据装备于车体的作业装置而自动地变更为适当的合成图案的话，就不会麻烦用户，从而很方便。为了该目的，在本发明的一个优选的实施方式中，构成为：具备识别所述作业装置的机型的识别部，所述合成图案变更部基于所述识别部的识别结果变更所述合成图案。
在特殊的作业装置中，存在俯瞰图像的大小根据其使用方式而不同的作业装置。例如，在插秧机的种植装置中，种植装置的横向宽度根据使用条数而变更。另外，对于装备于拖拉机的耕作装置或铲斗装置等，俯瞰图像的大小和与车体的位置关系根据其升降位置而不同。在这样的作业装置中，优选为在作业中也自动地变更为适当的合成图案。因此，在本发明的一个优选的实施方式中，构成为：具备检测所述作业装置的使用方式的使用方式检测传感器，所述合成图案变更部基于所述使用方式检测传感器的检测结果变更所述合成图案。
作业车在显示单元中显示的周围俯瞰图像的中央示意性地显示。此时，理想的是，能够从显示的作业装置尽可真实地辨识实际装备于车体的作业装置，至少能够识别其大小。因此，在本发明的一个优选的实施方式中，构成为：在所述周围俯瞰图像的中央，配置有由表示所述车体的车体图像和表示所述作业装置的作业装置图像构成的作业车图像，所述作业装置图像的大小伴随所述合成图案的变更而变更。由此，用户能够从在显示单元中显示的周围俯瞰图像正确地监视作业装置的周围。
附图说明
图1是作为装备了作业装置的作业车的一个例子的、装备了耕作装置的拖拉机的侧面图。
图2是表示拖拉机的控制系统的功能框图。
图3是表示使用合成图案而生成基于通过四台照相机的本车周围的拍摄图像的周围俯瞰图像的控制的流程的说明图。
图4是表示使用触摸板的合成图案的变更的示意图。
附图标记说明
1：车体
4：照相机
30：作业装置
31：升降机构
5：控制单元
50：行驶控制部
53：作业控制部
54：本车位置算出部
56：显示图像生成部
57：作业地管理部
58：路径生成部
6：监视图像生成模块
60：俯瞰图像生成部
61：合成图案变更部
62：图像合成部
70：卫星定位模块
73：触摸板(显示单元、输入操作设备)
74：手动切换操作件
8：作业车传感器组
81：行驶状态检测传感器组
82：作业状态检测传感器组(使用方式检测传感器)
83：识别部
具体实施方式
接下来，使用附图，对根据本发明的作业车的一个具体实施方式进行说明。在该实施方式中，作业车是一边相对于田地(作业地)行驶一边使用作业装置进行作业的拖拉机。如图1所示，该拖拉机在由前轮11和后轮12支承的车体1的中央部设有操纵部20。在车体1的后部经由液压式的升降机构31而装备有作为旋转耕作装置的作业装置30。前轮11作为转向轮而起作用，通过改变其转向角而改变拖拉机的行驶方向。前轮11的转向角通过转向机构13的动作而改变。在转向机构13中包括用于自动转向的转向马达14。在手动行驶时，前轮11的转向能够通过配置于操纵部20的方向盘22的操作而进行。在操纵部20中，配置有触摸板73(显示单元的一个)，该触摸板73具有作为向驾驶员提供信息的通知设备的功能、和作为由驾驶员操作的输入操作设备的功能。
在拖拉机的驾驶舱21中，设有作为GNSS(global navigation satellite system)模块而构成的卫星定位模块70。用于接收GNSS信号(也包括GPS信号)的卫星用天线作为卫星定位模块70的构成元件而安装于驾驶舱21的天花板区域。需要说明的是，为了补充卫星导航，也可以使卫星定位模块70中包括编入了陀螺仪加速度传感器或磁方位传感器的惯性导航模块。当然，惯性导航模块也可以设置在与卫星定位模块70不同的地方。
在车体1中，安装有用于拍摄车体周围的四台照相机4。第一照相机4配置于车体前部(发动机罩)的中央，第二照相机4和第三照相机4配置于车体左右的侧部(后轮挡泥板)，第四照相机4配置于车体后部(外壳后端)的中央。各照相机4使用CCD(charge coupleddevice)或CIS(CMOS image sensor)等摄像元件，以时间顺序拍摄每秒15～30帧的二维图像，进行数字变换并实时地输出该拍摄图像。通过各照相机4的拍摄光轴以使车体1或作业装置30的一部分和田地面进入拍摄视野的方式朝向下方，并且装有广角镜头，从而能够使由四台照相机4取得的周围部分区域的拍摄图像覆盖车体附近的整周区域。
进一步地，在该拖拉机中安装有：检测发动机、变速箱、转向机构13等的状态的行驶状态检测传感器组81，检测升降机构31和作业装置30的姿态和位置等的状态的作业状态检测传感器组82，识别装备于车体1的作业装置30的机型的识别部83等。在作业状态检测传感器组82中包括检测作业装置30的姿态、地上高度、使用宽度等使用方式的使用方式检测传感器。识别部83具有以下功能：机械地或电子地读取作业装置30的识别代码，并作为识别结果而从读取的识别代码导出作业装置的类别或大小等作业装置属性值。
在图2中表示构筑于该拖拉机的控制系统。在该控制系统中，编入了使从通过多个(此处为四台)照相机4的本车(车体1和作业装置30)周围区域的拍摄图像而作出的周围俯瞰图像在作为显示单元的触摸板73中显示的技术。在作为该控制系统的中心元件的控制单元5中，具备作为输入输出接口而起作用的输入输出信号处理部7。输入输出信号处理部7的输出信号端口与车辆行驶机器组71、作业装置机器组72、触摸板73、进行用于向驾驶员或监视员提醒作业行驶上的注意事项的通知的灯或扬声器等通知设备连接。在车辆行驶机器组71中，包括以转向马达14为首的未图示的变速机构和发动机单元等为了车辆行驶而控制的机器。在作业装置机器组72中，包括作业装置30的驱动机构、或使作业装置30升降的升降机构31等。
输入输出信号处理部7的输入信号端口与上述的照相机4、卫星定位模块70、作业车传感器组8、自动/手动切换操作件74等连接。在作业车传感器组8中，除了行驶状态检测传感器组81和作业状态检测传感器组82，还包括具有装备的作业装置30的识别代码读取功能的识别部83。在行驶状态检测传感器组81中，包括检测转向角、发动机转数、变速状态等行驶状态的传感器。在作业状态检测传感器组82中包括检测作业装置30的姿态和位置等的传感器等。自动/手动切换操作件74是选择利用自动转向行驶的自动行驶模式和利用手动转向行驶的手动转向模式中的任意一个的开关。例如，通过在利用自动转向模式行驶中时操作自动/手动切换操作件74，切换为利用手动转向的行驶，通过在利用手动转向的行驶中时操作自动/手动切换操作件74，切换为利用自动转向的行驶。
虽然未图示，但输入输出信号处理部7还与通信单元连接。通信单元通过无线通信标准或有线通信标准而与外部电脑进行数据互换。外部电脑包括构筑于远方的管理中心等的管理电脑以及驾驶员或监视员携带的平板电脑或智能手机(移动手机)等。
由于该拖拉机构成为能够利用自动行驶(自动转向)和手动行驶(手动转向)两者而行驶，因此控制车辆行驶机器组71的行驶控制部50包括手动行驶控制部51和自动行驶控制部52。手动行驶控制部51基于驾驶员的操作而控制车辆行驶机器组71。自动行驶控制部52基于本车位置和行驶路径的偏差而生成自动转向指令，并经由输入输出信号处理部7而向转向马达14输出。作业控制部53为了控制作业装置30的动作而赋予作业装置机器组72控制信号。
行驶控制部50在自动行驶时和手动行驶时执行不同的控制处理。在自动行驶时，实现以下功能：比较评价由本车位置算出部54算出的本车位置和由路径生成部58生成的行驶路径，如果本车位置和行驶路径产生位置偏离的话，为了使车体1沿着该行驶路径而生成转向变更数据，并赋予自动行驶控制部52。本车位置算出部54基于从卫星定位模块70发送来的卫星定位数据算出本车位置。在手动行驶时，通过驾驶员的方向盘22或制动等操作而进行作业行驶。此时，也能够使行驶路径和本车位置作为行驶指导而在触摸板73或外部的显示器中显示。
作业地管理部57管理作为与进行作业行驶的田地相关的信息的田地信息(作业地信息)。在田地信息中，包括田地的地图位置、形状、大小、耕种品种等数据。田地信息能够通过从在远方的管理中心或农家的自家设置的电脑下载、从驾驶员自带的携带终端下载、从USB存储器等记录媒介读取等，而赋予作业地管理部57。
路径生成部58从田地信息读出田地的外形数据，并生成该田地的合适的行驶路径。该行驶路径的生成可以基于由驾驶员输入的基本的默认参数而自动地进行，也可以下载利用其他电脑生成的行驶路径。无论如何，利用路径生成部58取得的行驶路径在存储器展开，与自动转向行驶或手动转向行驶无关地为了使作业车沿着行驶路径行驶而被利用。
在控制单元5中，作为与本发明特别有关系的控制功能，具备生成周围俯瞰图像的监视图像生成模块6。监视图像生成模块6具备俯瞰图像生成部60、合成图案变更部61、图像合成部62。在图2中，合成图案变更部61编入监视图像生成模块6。监视图像生成模块6具有基本的图像处理功能、俯瞰图像生成功能、俯瞰图像合成功能。合成图案变更部61为进行合成处理的调整的功能部，合成图案变更部61也可以构成为与监视图像生成模块6分开。俯瞰图像生成部60对通过四台照相机4取得的拍摄图像进行向车体中心的上方的视角的视角变换，并生成各照相机4的部分俯瞰图像。这些部分俯瞰图像具有相互重叠的图像区域，通过使这些部分俯瞰图像相互连接地合成，从而生成作为拖拉机的整周的俯瞰图像的周围俯瞰图像。四个部分俯瞰图像能够以各种方式相互连接，根据该相互连接合成的方式，周围俯瞰图像的各部分俯瞰图像的占有面积也变化。在此，将该相互连接合成的方式称为合成图案。合成图案规定周围俯瞰图像的各部分俯瞰图像的占有面积，通过变更该合成图案，从而改变周围俯瞰图像的各部分俯瞰图像的占有比例。图像合成部62基于通过合成图案变更部61设定的合成图案而合成四个部分俯瞰图像从而生成周围俯瞰图像。合成图案变更部61可以是事先准备多个合成图案并选择适当的合成图案，赋予图像合成部62，也可以是修正一个以上的已有的基本合成图案并生成适当的合成图案，赋予图像合成部62。
接下来，使用图3，对使用合成图案从四个部分俯瞰图像生成周围俯瞰图像的控制的流程的一个例子进行说明。
通过四台照相机4取得的拍摄图像向俯瞰图像生成部60发送。在图3中，为了区别各照相机4的拍摄图像而给予附图标记A～D。生成给予符号C的拍摄图像的照相机4将作业装置30的周围区域作为拍摄视野，在装备于车体1的所有大小的作业装置30中使其周围区域适当地进入拍摄视野内地设定。从俯瞰图像生成部60输出的四个部分俯瞰图像利用图像合成部62而相互连接地合成，从而变为周围俯瞰图像。在该合成中重要的是，使用能够得到使装备于车体1的作业装置30的周围区域适当地进入的周围俯瞰图像的合成图案。
对于生成的周围俯瞰图像，在图像合成部62中进一步地将由事先准备的车体图像和与装备的作业装置30相对应的作业装置图像构成的作业车图像赋予周围俯瞰图像的中央部。从图像合成部62输出的带有作业车图像的周围俯瞰图像向显示图像生成部56发送，变换为显示图像信号，并向触摸板73或其他外部显示器发送。
以下列举通过合成图案变更部61变更合成图案的实施例。
(1)驾驶员通过使用触摸板73选择装备的各作业装置30，合成图案变更部61选择最适合被选的作业装置30的合成图案，并赋予图像合成部62。
(2)驾驶员从在触摸板73中按顺序显示的周围俯瞰图像中选择最合适的周围俯瞰图像，合成图案变更部61选择生成该被选的周围俯瞰图像的合成图案，并赋予图像合成部62。
(3)在图4中表示的是：在触摸板73中显示的周围俯瞰图像中，在将横向宽度的作业装置30的周围区域作为拍摄视野的照相机4的部分俯瞰图像的区域(给予符号C)中，在作业装置30的两端缺失的情况下的合成图案的修正。通过按下该触摸板73的修正按钮，显示周围俯瞰图像和部分俯瞰图像之间的图像边界线。驾驶员通过拖放而使该图像边界线移动，从而调整适当的部分俯瞰图像的专有面积的比例。当按下完成按钮时，作为变更指令向合成图案变更部61发送的最终的图像边界线的位置。由此，合成图案变更部61赋予图像合成部62基于调整的图像边界线位置的合成图案。
(4)合成图案变更部61从利用识别部83识别的作业装置30的识别代码选择最合适的合成图案，并赋予图像合成部62。
(5)在装有在行驶作业中姿态和大小会变更的作业装置30、例如可折叠的插秧机的种植装置、升降动作的耕作装置或铲斗装置、旋转·升降动作的反向装置的情况下，根据检测作业装置30的姿态和大小的变更的传感器(包含在作业状态检测传感器组82中)的检测结果，合成图案变更部61选择最合适的合成图案，并赋予图像合成部62。
这些实施例能够以一个以上的组合而使用。
上述这样的从多个照相机4的拍摄图像生成周围俯瞰图像的图像处理的高效的方法为使用变换表。该变换表是给予各拍摄图像的像素和周围俯瞰图像的像素对应关系的表。进一步地，只要对各使用的合成图案事先准备变换表，即使变更合成图案，也能迅速地得到周围俯瞰图像。
〔其他实施方式〕
(1)在上述实施方式中，为了拍摄作业车的周围而使用了四台照相机4，也可以使用更多台。另外，也可以是至少拍摄作业装置30的周围的照相机4和拍摄其以外的照相机4的组合。
(2)在上述实施方式中，利用监视图像生成模块6生成的周围俯瞰图像在本车的触摸板73或其他显示器中显示。但是，在本车无人行驶的情况下，生成的周围俯瞰图像也可以向监视该无人行驶的、其他作业员或监视员所携带的通信终端(平板电脑或智能手机等)通过无线发送，并在通信终端所具备的显示器(显示单元的一个例子)中显示。此时，不仅是周围俯瞰图像，也可以发送拍摄图像以及部分俯瞰图像。进一步地，在经由输入输出信号处理部7而利用能够与作业车的控制系统数据交换的平板电脑或管理电脑等的情况下，也可以采用不仅是周围俯瞰图像等的监视图像的显示，上述的合成图案的变更处理也使用平板电脑或管理电脑等而进行的结构。由此，在远离作业车的地点、进一步地、在远方的管理中心或农家的自家也能够根据需要而变更合成图案，并观察所希望的周围俯瞰图像等的监视图像。
(3)在图2中表示的功能框图的各功能部主要以说明为目的而分区。实际上，各功能部能够与其他功能部统合或分为多个功能部。例如，可以将显示图像生成部56编入监视图像生成模块6，也可以从监视图像生成模块6使合成图案变更部61分离。
(4)在上述实施方式中，虽然作为作业车举出了将旋转耕作装置作为作业装置30而装备的拖拉机，但除了像这样的拖拉机以外，还能够在例如插秧机、施肥机、联合收割机等农业作业车，或作为作业装置30而具备推土机或滚柱等建筑作业车等的各种作业车中作为实施方式而采用。
产业上的可利用性
本发明能够适用于使用多个照相机而使俯瞰图像在监视器中显示的作业车。

Claims (7)

1.一种作业车，其具备车体和装备于所述车体的作业装置，该作业车的特征在于，具备：
多个照相机，其对从所述车体以及所述作业装置的周围区域分配的周围部分区域进行拍摄；
监视图像生成模块，其基于能够变更的合成图案对每个照相机的部分俯瞰图像进行合成处理，从而生成俯瞰所述周围区域的周围俯瞰图像，所述每个照相机的部分俯瞰图像是对每个所述照相机的周围部分区域的拍摄图像进行视角变换而生成的；
合成图案变更部，其变更所述合成图案；
显示单元，其显示所述周围俯瞰图像。
2.如权利要求1所述的作业车，其特征在于，
所述合成图案规定所述周围俯瞰图像中的所述部分俯瞰图像的占有面积。
3.如权利要求1或2所述的作业车，其特征在于，
所述合成图案变更部基于通过输入操作设备的变更指令而变更所述合成图案。
4.如权利要求3所述的作业车，其特征在于，
所述输入操作设备为触摸板，通过对在所述触摸板中显示的所述周围俯瞰图像中的所述部分俯瞰图像之间的图像边界线的位置进行变更而生成所述变更指令。
5.如权利要求1至4任一项中所述的作业车，其特征在于，
具备识别所述作业装置的机型的识别部，
所述合成图案变更部基于所述识别部的识别结果变更所述合成图案。
6.如权利要求1至5任一项中所述的作业车，其特征在于，
具备检测所述作业装置的使用方式的使用方式检测传感器，
所述合成图案变更部基于所述使用方式检测传感器的检测结果变更所述合成图案。
7.如权利要求1至6任一项中所述的作业车，其特征在于，
在所述周围俯瞰图像的中央，配置有由表示所述车体的车体图像和表示所述作业装置的作业装置图像构成的作业车图像，所述作业装置图像的大小伴随所述合成图案的变更而变更。
CN201710398227.XA 2016-12-19 2017-05-31 作业车 Active CN108202667B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016245943A JP6662762B2 (ja) 2016-12-19 2016-12-19 作業車
JP2016-245943 2016-12-19

Publications (2)

Publication Number Publication Date
CN108202667A true CN108202667A (zh) 2018-06-26
CN108202667B CN108202667B (zh) 2022-05-03

Family

ID=58992594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710398227.XA Active CN108202667B (zh) 2016-12-19 2017-05-31 作业车

Country Status (5)

Country Link
US (1) US10538200B2 (zh)
EP (1) EP3335944B1 (zh)
JP (1) JP6662762B2 (zh)
KR (1) KR102262871B1 (zh)
CN (1) CN108202667B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111225140A (zh) * 2018-11-26 2020-06-02 本田技研工业株式会社 影像显示装置
WO2020134236A1 (zh) * 2018-12-29 2020-07-02 丰疆智能科技股份有限公司 收割机及其自动驾驶方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019032682A (ja) * 2017-08-08 2019-02-28 ヤンマー株式会社 自動走行システム
DE102017220005A1 (de) * 2017-11-10 2019-05-16 Zf Friedrichshafen Ag Verfahren und Anzeigegerät zum Führen einer Arbeitsmaschine
US10820508B2 (en) * 2018-08-20 2020-11-03 Cnh Industrial America Llc System and method for operating an agricultural harvester
JP7283059B2 (ja) * 2018-11-28 2023-05-30 株式会社アイシン 周辺監視装置
JP7271218B2 (ja) * 2019-02-22 2023-05-11 株式会社加藤製作所 建設機械
JP7174485B2 (ja) * 2019-03-20 2022-11-17 株式会社クボタ 収穫機
WO2020189687A1 (ja) * 2019-03-20 2020-09-24 株式会社クボタ 収穫機
JP7317533B2 (ja) * 2019-03-20 2023-07-31 株式会社クボタ 収穫機
CN109982039A (zh) * 2019-03-20 2019-07-05 西安鸣士机电开发有限公司 一种用于插秧机的远程可视化遥控装置
JP7391604B2 (ja) * 2019-10-23 2023-12-05 株式会社加藤製作所 建設機械
US11653587B2 (en) * 2020-09-17 2023-05-23 Deere & Company System and method for presenting the surroundings of an agricultural implement

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011162993A (ja) * 2010-02-09 2011-08-25 Sumitomo (Shi) Construction Machinery Co Ltd 作業機械のモニタ装置
WO2012164712A1 (ja) * 2011-06-02 2012-12-06 日立建機株式会社 作業機械の周囲監視装置
JP2015104375A (ja) * 2013-12-02 2015-06-08 ヤンマー株式会社 コンバイン
US20150217691A1 (en) * 2012-09-21 2015-08-06 Komatsu Ltd. Work vehicle periphery monitoring system and work vehicle
CN105682446A (zh) * 2013-10-01 2016-06-15 洋马株式会社 联合收割机
CN105793496A (zh) * 2013-12-06 2016-07-20 斗山英维高株式会社 画面模式选择装置及方法
US20160301864A1 (en) * 2015-04-10 2016-10-13 Caterpillar Inc. Imaging processing system for generating a surround-view image

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4179262B2 (ja) 2004-10-06 2008-11-12 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4639753B2 (ja) * 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
JP4863347B2 (ja) * 2005-11-02 2012-01-25 ヤンマー株式会社 姿勢制御装置
JP4606322B2 (ja) * 2005-12-27 2011-01-05 アルパイン株式会社 車両運転支援装置
JP2009100342A (ja) * 2007-10-18 2009-05-07 Sanyo Electric Co Ltd カメラ校正装置及び方法、並びに、車両
JP5112998B2 (ja) * 2008-09-16 2013-01-09 本田技研工業株式会社 車両周囲監視装置
US8502860B2 (en) * 2009-09-29 2013-08-06 Toyota Motor Engineering & Manufacturing North America (Tema) Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent
JP5269026B2 (ja) * 2010-09-29 2013-08-21 日立建機株式会社 作業機械の周囲監視装置
JP2012105158A (ja) * 2010-11-11 2012-05-31 Mitsubishi Fuso Truck & Bus Corp 連結車両用鳥瞰図表示システム
WO2012157379A1 (ja) * 2011-05-13 2012-11-22 日立建機株式会社 作業機械の周囲監視装置
WO2012169352A1 (ja) * 2011-06-07 2012-12-13 株式会社小松製作所 作業車両の周辺監視装置
JP5506864B2 (ja) 2011-06-20 2014-05-28 富士フイルム株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6167042B2 (ja) * 2012-01-12 2017-07-19 日立建機株式会社 自走式産業機械の周囲監視装置
JP6267972B2 (ja) * 2014-01-23 2018-01-24 日立建機株式会社 作業機械の周囲監視装置
US9530086B1 (en) * 2015-10-27 2016-12-27 Cnh Industrial America Llc Scanned software activation codes in agricultural and contruction work equipment systems
AU2016224354B2 (en) * 2016-03-28 2019-02-14 Komatsu Ltd. Evaluation apparatus and evaluation method
JP6802008B2 (ja) * 2016-08-25 2020-12-16 キャタピラー エス エー アール エル 建設機械
WO2018057965A1 (en) * 2016-09-23 2018-03-29 Esco Corporation Asset management system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011162993A (ja) * 2010-02-09 2011-08-25 Sumitomo (Shi) Construction Machinery Co Ltd 作業機械のモニタ装置
WO2012164712A1 (ja) * 2011-06-02 2012-12-06 日立建機株式会社 作業機械の周囲監視装置
US20150217691A1 (en) * 2012-09-21 2015-08-06 Komatsu Ltd. Work vehicle periphery monitoring system and work vehicle
CN105682446A (zh) * 2013-10-01 2016-06-15 洋马株式会社 联合收割机
JP2015104375A (ja) * 2013-12-02 2015-06-08 ヤンマー株式会社 コンバイン
CN105793496A (zh) * 2013-12-06 2016-07-20 斗山英维高株式会社 画面模式选择装置及方法
US20160301864A1 (en) * 2015-04-10 2016-10-13 Caterpillar Inc. Imaging processing system for generating a surround-view image

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111225140A (zh) * 2018-11-26 2020-06-02 本田技研工业株式会社 影像显示装置
CN111225140B (zh) * 2018-11-26 2021-08-10 本田技研工业株式会社 影像显示装置
WO2020134236A1 (zh) * 2018-12-29 2020-07-02 丰疆智能科技股份有限公司 收割机及其自动驾驶方法

Also Published As

Publication number Publication date
EP3335944A1 (en) 2018-06-20
JP2018101860A (ja) 2018-06-28
EP3335944B1 (en) 2021-08-11
US10538200B2 (en) 2020-01-21
US20180170258A1 (en) 2018-06-21
JP6662762B2 (ja) 2020-03-11
CN108202667B (zh) 2022-05-03
KR20180071152A (ko) 2018-06-27
KR102262871B1 (ko) 2021-06-09

Similar Documents

Publication Publication Date Title
CN108202667A (zh) 作业车
US10491818B2 (en) Work vehicle with monitor to display overhead image of work vehicle, and image displaying method for displaying overhead image of work vehicle
US11632497B2 (en) Systems and methods for controlling an image captured by an imaging device
US10750094B2 (en) Display device and control method for display device
JP6919206B2 (ja) 表示装置、及び、表示装置の制御方法
US20240103621A1 (en) Head mounted display apparatus
WO2018116978A1 (ja) 端末、及び端末の制御方法
CN108476041A (zh) 用于具有多个无线链路的旋转接头的装置和方法
WO2017154772A1 (ja) 経路生成装置
CN106143282A (zh) 车辆用组合尾灯及包括其的车辆
CN110177723A (zh) 用于提供周围视野的装置
US10574897B2 (en) Display system, display device, and control method for display device
US10896542B2 (en) Moving body image generation recording display device and program product
CN108432234B (zh) 终端装置、控制装置、数据统合装置、作业车辆、拍摄系统以及拍摄方法
JP2018110328A (ja) 画像処理装置および画像処理方法
CN110825333A (zh) 显示方法、装置、终端设备及存储介质
JP7076501B2 (ja) 作業車
EP3913148A2 (en) Mobile work machine state detection and visualization system
JP7055158B2 (ja) 作業車
US10380714B2 (en) Systems and methods for ambient animation and projecting ambient animation on an interface
JP2018101864A (ja) 端末、及び端末の制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant