CN118284863A - 作业机的远程控制系统 - Google Patents
作业机的远程控制系统 Download PDFInfo
- Publication number
- CN118284863A CN118284863A CN202280076770.7A CN202280076770A CN118284863A CN 118284863 A CN118284863 A CN 118284863A CN 202280076770 A CN202280076770 A CN 202280076770A CN 118284863 A CN118284863 A CN 118284863A
- Authority
- CN
- China
- Prior art keywords
- remote control
- operation signal
- remote
- remote operation
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 claims abstract description 266
- 238000012544 monitoring process Methods 0.000 claims abstract description 265
- 238000003860 storage Methods 0.000 claims abstract description 64
- 238000012806 monitoring device Methods 0.000 claims abstract description 37
- 238000001514 detection method Methods 0.000 claims description 83
- 238000010586 diagram Methods 0.000 description 19
- 238000000034 method Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 238000005259 measurement Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 244000025254 Cannabis sativa Species 0.000 description 5
- 238000009434 installation Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000009331 sowing Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000003337 fertilizer Substances 0.000 description 2
- 238000003306 harvesting Methods 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000000575 pesticide Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 238000003892 spreading Methods 0.000 description 2
- 238000002366 time-of-flight method Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/22—Command input arrangements
- G05D1/221—Remote-control arrangements
- G05D1/222—Remote-control arrangements operated by humans
- G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
- G05D1/2244—Optic
- G05D1/2245—Optic providing the operator with a purely computer-generated representation of the environment of the vehicle, e.g. virtual reality
- G05D1/2246—Optic providing the operator with a purely computer-generated representation of the environment of the vehicle, e.g. virtual reality displaying a map of the environment
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
- A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
- A01B69/007—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
- A01B69/008—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/22—Command input arrangements
- G05D1/221—Remote-control arrangements
- G05D1/225—Remote-control arrangements operated by off-board computers
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/22—Command input arrangements
- G05D1/221—Remote-control arrangements
- G05D1/226—Communication links with the remote-control arrangements
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/22—Command input arrangements
- G05D1/221—Remote-control arrangements
- G05D1/227—Handing over between remote control and on-board control; Handing over between remote control arrangements
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2105/00—Specific applications of the controlled vehicles
- G05D2105/15—Specific applications of the controlled vehicles for harvesting, sowing or mowing in agriculture or forestry
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2107/00—Specific environments of the controlled vehicles
- G05D2107/20—Land use
- G05D2107/21—Farming, e.g. fields, pastures or barns
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2109/00—Types of controlled vehicles
- G05D2109/10—Land vehicles
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mechanical Engineering (AREA)
- Soil Sciences (AREA)
- Environmental Sciences (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Guiding Agricultural Machines (AREA)
- Operation Control Of Excavators (AREA)
Abstract
在作业机(1)的远程控制时,即使发生通信延迟也进行避险。作业机的远程控制系统(100)具有:监视装置(25),其输出对能够行驶的作业机的周边进行监视的监视数据;第一赋予部(21d),其对监视数据赋予第一时间戳;存储装置(42、22),其存储复数个监视数据和第一时间戳;远程控制终端(30),其接收监视数据并显示监视结果,并且通过被操作而发送远程操作信号;第二赋予部(31d),其对远程操作信号赋予第二时间戳;信号接收部(41a、21a),其接收远程操作信号,基于该远程操作信号的第二时间戳及存储于存储装置的监视数据的第一时间戳,来判断远程操作信号是否适当,使不适当的远程操作信号无效化;以及控制装置(21),其判断为适当的远程操作信号来控制作业机的动作。
Description
技术领域
本发明涉及对能够行驶的作业机进行远程控制的作业机的远程控制系统。
背景技术
作为作业机的远程控制系统,例如已知有专利文献1所公开的系统。在专利文献1的作业机的远程控制系统中,具有:自主行驶型的作业机(作业车辆);搭载于作业机的车辆控制装置;以及能够对作业机进行远程操作的远程控制终端(远程操纵装置)。远程控制终端由作业者操作,将表示农田的作业区域和作业内容的远程操作信号以无线方式发送到车辆控制装置。车辆控制装置基于接收到的远程操作信号控制作业机,使作业机在农田的作业区域进行作业或行驶。通过设置于作业机的障碍物传感器和设置于作业机或农田的照相机来监视作业机的周边。障碍物传感器和照相机的监视数据被发送到远程控制终端,并显示在设置于远程控制终端的显示器上。作业者通过观察该显示器的显示,能够掌握作业机的周边的状态,并且通过远程控制终端对作业机进行远程操作。
现有技术文献
专利文献
专利文献1:日本专利公报“专利第6384545号公报”
发明内容
发明要解决的问题
在作业机的远程控制时,产生通信延迟,监视信号或远程操作信号的实时性受损,相对于由远程控制终端监视的作业机的周围的状态,实际的作业机的周围的状态有时发生变化。在这种情况下,如果车辆侧的控制装置基于来自远程控制终端的远程操作信号控制作业机的行驶或作业动作等,则有可能产生该动作变得无用(无意义),或者作业机与障碍物碰撞等风险。
因此,本发明鉴于上述问题,其目的在于提供一种在作业机的远程控制时,即使产生通信延迟也能够进行避险的作业机的远程控制系统。
用于解决问题的手段
用于解决上述技术问题的本发明的技术手段的特征在于以下几点。
本发明的一个方式所涉及的作业机的远程控制系统具有:监视装置,监视能够行驶的作业机的周边,并输出表示该监视结果的监视数据;第一赋予部,对所述述监视数据赋予第一时间戳;存储装置,能够将复数个所述监视数据与对该监视数据赋予的所述第一时间戳一起存储;远程控制终端,能够接收所述监视数据并显示该监视数据所示的所述监视结果,并且通过被操作而发送对所述作业机进行远程操作的远程操作信号;第二赋予部,在从所述远程控制终端发送所述远程操作信号时,对该远程操作信号赋予第二时间戳;信号接收部,接收从所述远程控制终端发送的所述远程操作信号;以及控制装置,控制所述作业机的动作,所述信号接收部基于对接收到的所述远程操作信号赋予的所述第二时间戳和对存储于所述存储装置的所述监视数据赋予的所述第一时间戳,判断所述远程操作信号是否适当,使判断为不适当的所述远程操作信号无效化,所述控制装置基于由所述信号接收部判断为适当的所述远程操作信号,控制所述作业机的动作。
也可以是,所述信号接收部从所述存储装置获取被赋予了第一时间戳的特定的所述监视数据和最新的所述监视数据,并检测该特定的监视数据与最新的监视数据之间的差分,所述第一时间戳表示与对接收到的所述远程操作信号赋予的所述第二时间戳所示的第二时间相同的第一时间,或者比所述第二时间早且最接近所述第二时间的第一时间,在所述差分未超过规定的程度的情况下,判断为接收到的所述远程操作信号适当,将该远程操作信号传送到所述控制装置,并允许所述控制装置基于该远程操作信号控制所述作业机的动作,在所述差分超过规定的程度的情况下,判断为接收到的所述远程操作信号不适当,使该远程操作信号无效化,阻止所述控制装置基于该远程操作信号控制所述作业机的动作。
也可以是,每当从所述监视装置获取所述监视数据时,所述第一赋予部对该监视数据赋予表示当前时间的所述第一时间戳。
也可以是,在从所述远程控制终端发送所述远程操作信号时,所述第二赋予部对该远程操作信号赋予表示当前时间的第二时间戳。
也可以是,所述远程控制终端具有显示部,所述远程控制终端能够从所述存储装置获取最新的所述监视数据,并将该监视数据所示的所述监视结果显示于所述显示部,所述第二赋予部参照对所述监视数据赋予的所述第一时间戳,对所述远程操作信号赋予表示与该第一时间戳所示的第一时间相同的第二时间的所述第二时间戳,所述监视数据表示在所述远程控制终端的操作时由所述显示部显示的所述监视结果。
也可以是,所述信号接收部在判断为接收到的所述远程操作信号适当的情况下,通过将该远程操作信号传送到所述控制装置而使其有效化,在判断为接收到的所述远程操作信号不适当的情况下,通过不将该远程操作信号传送到所述控制装置而将其废弃,使其无效化。
也可以是,所述信号接收部向所述远程控制终端通知使远程操作信号无效化的情况,所述远程控制终端具有显示部,所述远程控制终端接收来自所述信号接收部的所述通知,并使该通知的内容显示于所述显示部。
也可以是,所述远程控制终端具有由操作员操作的操作部,生成与通过操作该操作部而输入的所述作业机的动作指示对应的所述远程操作信号,所述信号接收部基于与接收到的所述远程操作信号对应的所述动作指示,判断该远程操作信号是否适当。
也可以是,所述远程控制终端具有由操作员操作的操作部,生成与通过操作该操作部而输入的所述作业机的动作指示对应的所述远程操作信号,所述信号接收部在与接收到的所述远程操作信号对应的所述动作指示是与所述作业机的行驶或由与所述作业机连接的作业装置进行的作业相关的动作指示时,判断该远程操作信号是否适当。
也可以是,所述作业机的远程控制系统具有:通信装置,其设置于所述作业机且以无线方式进行通信;以及辅助装置,其设置于所述作业机以外及所述远程控制终端以外,所述远程控制终端具有进行通信的第一通信部,所述辅助装置具有与所述通信装置及所述第一通信部进行通信的第二通信部,所述监视装置和所述第一赋予部设置于所述作业机,所述第二赋予部设置于所述远程控制终端,所述存储装置和所述信号接收部设置于所述辅助装置。
也可以是,所述作业机的远程控制系统具有:通信装置,其设置于所述作业机及以无线方式进行通信;以及辅助装置,其设置于所述作业机以外且所述远程控制终端以外,所述远程控制终端具有进行通信的第一通信部,所述辅助装置具有与所述通信装置及所述第一通信部进行通信的第二通信部,所述监视装置和所述第一赋予部设置于所述作业机,所述第二赋予部设置于所述远程控制终端,所述存储装置和所述信号接收部设置于所述作业机或所述辅助装置。
也可以是,所述通信装置经由移动电话通信网、广域网或窄域网以无线方式进行通信,所述第一通信部及所述第二通信部经由移动电话通信网、固定电话通信网、广域网或窄域网以无线或有线方式进行通信。
也可以是,所述作业机的远程控制系统具有设置于所述作业机且以无线方式进行通信的通信装置,所述远程控制终端具有进行通信的第一通信部,所述监视装置、所述第一赋予部、所述存储装置和所述信号接收部设置于所述作业机,所述第二赋予部设置于所述远程控制终端。
也可以是,所述通信装置经由移动电话通信网、广域网或窄域网以无线方式进行通信,所述第一通信部经由移动电话通信网、固定电话通信网、广域网或窄域网以无线或有线方式进行通信。
也可以是,所述广域网由互联网构成,所述窄域网由局域网构成。
也可以是,所述作业机由在农田中进行农作业的农业机械构成,所述监视装置具有设置于所述农业机械并检测位于所述农业机械的周边的对象物的照相机或传感器,所述监视数据包含所述照相机拍摄的所述农业机械的周边的图像数据或表示所述传感器的检测结果的检测信息。
发明效果
根据本发明,能够提供一种在作业机的远程控制时,即使产生通信延迟也能够进行避险的作业机的远程控制系统。
附图说明
图1A是一实施方式的作业机的远程控制系统的概略结构图。
图1B是表示图1A的各部的一部分详细情况的结构图。
图2是图1A的作业机的侧视图。
图3是表示图1A的作业机的电气结构的框图。
图4是表示图1A的远程控制终端的电气结构的框图。
图5是表示图1A的辅助装置的电气结构的框图。
图6A是表示图1A的远程控制终端显示的远程监视操作画面的图。
图6B是表示包含无效化通知的远程监视操作画面的图。
图7A是表示图1B的作业机的控制装置、辅助装置和远程控制终端的动作的流程图。
图7B是图7A的继续的流程图。
图8是表示其他实施方式的辅助装置的动作的流程图。
图9是其他实施方式的作业机的远程控制系统的结构图。
图10是其他实施方式的作业机的远程控制系统的结构图。
图11是其他实施方式的作业机的远程控制系统的结构图。
图12是其他实施方式的作业机的远程控制系统的结构图。
图13是表示其他实施方式的远程控制终端的显示部的图。
具体实施方式
以下,参照附图对本发明的实施方式进行说明。另外,为了方便,对相同的结构及对应的结构标注相同的附图标记。
图1A是一实施方式的作业机的远程控制系统100的概略结构图。图1B是表示图1A的各部的一部分详细情况的结构图。
图1A及图1B所示的作业机的远程控制系统100包括作业机1、远程控制终端30及辅助装置40。作业机1由能够自主地行驶及进行作业的农业机械(也称为自主行驶型农业机械)等构成。在本实施方式中,作业机1由在农田中进行农业作业的农业机械的一例即拖拉机构成。
远程控制终端30由平板装置或智能电话等便携式的终端装置或者设置于基站(未示出)的固定式的终端装置构成。在本实施方式中,远程控制终端30由操作员60携带并操作的便携式的终端装置构成。远程控制终端30是用于远程控制(远程操作及远程监视)作业机1的装置。
辅助装置40由服务器或PC(个人计算机)等构成。辅助装置40例如设置于作业机1的制造公司或管理中心等。辅助装置40辅助远程控制终端30对作业机1的远程控制。另外,辅助装置40管理用于使作业机1在农田等进行作业的各种信息以及数据。
作业机1能够通过所搭载的无线通信装置23(图1B),经由移动电话通信网51等与互联网50连接。远程控制终端30能够利用所具备的通信部33(图1B)经由移动电话通信网51等连接到互联网50。辅助装置40能够利用所具备的后述的通信部43(图1B)经由移动电话通信网51或固定电话通信网52等连接到互联网50。
作业机1的无线通信装置23及远程控制终端30的通信部33能够经由移动电话通信网51或固定电话通信网52以及互联网50等与辅助装置40连接(访问)。辅助装置40利用通信部43,经由移动电话通信网51或固定电话通信网52以及互联网50等,与作业机1的无线通信装置23及远程控制终端30的通信部33分别相互通信。
此外,除了移动电话通信网51、固定电话通信网52和互联网50之外,作业机1的无线通信装置23、远程控制终端30和辅助装置40可以经由无线或有线LAN等进行相互通信。互联网50是使用公共通信网的广域网的一例。LAN是使用专用通信线路的窄域网的一例。
图2是作业机1的侧视图。本实施方式的作业机1由图2所示的拖拉机构成。此外,作业机1也可以由拖拉机以外的农业机械、工程机械和作业车辆构成。
如图2所示,在作业机1的车体3上设置有行驶装置7。行驶装置7分别设置在车体3的左右两侧,将车体3支撑为能够行驶。行驶装置7是具有由轮胎构成的前轮7F及后轮7R的装轮式行驶装置。除此之外,也可以使用前轮或后轮由履带构成的行驶装置。
在车体3上搭载有原动机4、变速装置5和驾驶室9。原动机4由发动机(柴油发动机、汽油发动机)或电动马达等构成。变速装置5通过进行变速动作,使行驶装置7的推进力可变,且进行行驶装置7的前进、后退的切换。
在驾驶室9中设置有驾驶席10和操纵装置11。作业机1是能够以无人的方式进行行驶及作业的拖拉机,但落座于驾驶席10的作业者也能够通过操作操纵装置11来操纵作业机1。驾驶室9是通过包围驾驶席10的前方、后方、上方及左右侧方来保护驾驶席10的保护装置。也可以代替驾驶室9而使用至少覆盖驾驶席10的上方的倾翻保护结构等。
图2中箭头A1所示的方向是作业装置(作业工具等)2的前方。箭头A2所示的方向是作业装置2的后方。箭头Z1所示的方向是作业装置2的上方。箭头Z2所示的方向是作业装置2的下方。并且,与箭头A1、A2、Z1、Z2正交的方向是作业机1的宽度方向(左右方向)。面向图2,近前侧是作业机1的左方,里侧是作业机的右方。
在车体3的后部设置有连接部8。连接部8由三点连杆机构等构成。作业装置2能够以可装卸的方式与连接部8连接。通过将作业装置2与连接部8连接,并驱动行驶装置7,能够使作业机1(车体3)行驶,从而牵引作业装置2。另外,也能够通过连接部8使作业装置2升降,或者变更作业装置2的姿势。
作业装置2由进行耕耘的耕耘装置、撒播肥料的肥料撒播装置、撒播农药的农药撒播装置、进行收获的收获装置、进行牧草等的收割的收割装置、进行牧草等的撒草的扩散装置、进行牧草等的集草的集草装置、进行牧草等的成形的成形装置等构成。
在驾驶室9的前侧设有发动机罩12。发动机罩12安装于车体3。在发动机罩12与车体3之间形成有容纳室(省略附图标记)。在该容纳室内不仅容纳有原动机4,还容纳有冷却风扇、散热器及电池等(省略图示)。
图3是表示图1A等所示的作业机1的电气结构的框图。在作业机1中设置有控制装置21、无线通信装置23、位置检测装置24、监视装置25、状态检测装置26、致动器组27和作业装置2。这些各部通过构筑于作业机1的CAN(控制器局域网)、LIN(本地互联网络)或FlexRay等车载通信网络电连接。
控制装置21由包括CPU和存储器的ECU(电子控制装置)构成。控制装置21控制作业机1的各部的动作。控制装置21中设置有行驶控制部21b、作业控制部21c、第一赋予部21d及存储部21e。存储部21e由易失性或非易失性的存储器等构成。在存储部21e中,可读写地存储有用于控制装置21控制作业机1的各部的动作的各种信息和数据。行驶控制部21b、作业控制部21c及第一赋予部21d由软件程序或硬件构成。
无线通信装置23经由移动电话通信网51或互联网50无线地进行通信。另外,无线通信装置23也可以经由无线LAN无线地进行通信。
位置检测装置24例如设置于驾驶室9(图2)的上部(省略详细图示)。此外,位置检测装置24的设置位置并不限定于驾驶室9的上部,也可以是车体3的其它部位或作业装置2的规定部位。位置检测装置24利用卫星定位系统检测自身的位置(包含纬度、经度的定位信息)。即,位置检测装置24接收从定位卫星发送的信号(定位卫星的位置、发送时刻、校正信息等),基于该信号检测自身的位置。位置检测装置24也可以将基于来自能够接收来自定位卫星的信号的基站(基准站)的校正等信号进行了校正的位置作为自身的位置来检测。
另外,位置检测装置24也可以具有陀螺仪传感器、加速度传感器等惯性计测装置。在这种情况下,位置检测装置24也可以通过惯性计测装置对基于从定位卫星接收到的信号而检测出的位置(纬度、经度)进行校正,将该校正后的位置作为自身的位置来检测。位置检测装置24将检测出的自身的位置视为作业机1的位置。或者,位置检测装置24也可以基于检测出的自身的位置和预先存储的作业机1的外形信息,来计算作业机1的位置。另外,位置检测装置24也可以基于检测出的自身的位置、预先存储的作业装置2的外形信息以及作业装置2相对于车体3的安装位置,来计算作业装置2的位置。
监视装置25具有激光传感器25a、超声波传感器25b、照相机25c和对象物检测部25d。激光传感器25a、超声波传感器25b和照相机25c设置于作业机1的前部、后部、左右侧部或上部等适当部位(省略详细图示),来检测作业机1周围的状态。此外,也可以将激光传感器25a、超声波传感器25b和照相机25c中的至少任意一者设置于监视装置25。另外,也可以将除此以外的传感器等检测机构设置于监视装置25。
激光传感器25a由激光雷达(LiDAR:Light Detection And Ranging,光探测和测距)等光学式的传感器构成。激光传感器25a从激光二极管等光源在1秒内照射数百万次脉冲状的测定光(激光),通过用旋转反射镜反射该测定光,在水平方向或铅垂方向上进行扫描,投射到规定的检测范围(传感范围)。然后,激光传感器25a用光接收元件接收测定光被对象物反射的反射光。
对象物检测部25d基于从激光传感器25a的光接收元件输出的光接收信号,检测有无对象物、对象物的位置及对象物的种类等。另外,对象物检测部25d基于从由激光传感器25a照射测定光到接收反射光为止的时间,检测到对象物的距离(TOF(Time of Flight)法,飞行时间法)。在对象物检测部25d所检测出的对象物中,包括作业机1进行行驶及作业的现场、农田、农田的作物、地面、路面、其他的物体、障碍物以及人等。
超声波传感器25b由声纳等空中超声波传感器构成。超声波传感器25b利用发射器在规定的检测范围内发射测量波(超声波),并且通过接收器接收由对象物反射的该测量波的反射波。对象物检测部25d基于从超声波传感器25b的接收器输出的信号来检测有无对象物、对象物的位置及对象物的种类等。另外,对象物检测部25d基于从超声波传感器25b发射测量波到接收反射波的时间,来检测到对象物的距离(TOF方法)。
照相机25c由搭载有CCD(Charge Coupled Devices:电荷耦合器件)图像传感器的CCD照相机,或者搭载有CMOS(Complementary Metal Oxide Semiconductor:互补金属氧化物半导体)图像传感器的CMOS照相机等摄像装置构成。照相机25c对作业机1的周围进行拍摄,并输出图像信号。对象物检测部25d基于从照相机25c输出的图像信号,检测有无对象物、对象物的位置及对象物的种类等。
监视装置25通过激光传感器25a、超声波传感器25b、照相机25c及对象物检测部25d来监视作业机1及作业装置2的周围的状态,并将表示该监视结果的监视数据输出到控制装置21。该监视数据至少包括由照相机25c拍摄的图像数据和由对象物检测部25d检测的对象物的检测数据。
当控制装置21从监视装置25获取监视数据时,第一赋予部21d对该监视数据赋予第一时间戳。控制装置21利用无线通信装置23将被赋予了第一时间戳的监视数据发送至辅助装置40。控制装置21进行的监视数据和对其赋予的第一时间戳的发送以规定的周期进行,或者根据来自辅助装置40的请求进行。
状态检测装置26包括设置于作业机1或作业装置2的各部的各种传感器。状态检测装置26基于来自该各种传感器的输出信号,检测作业机1及作业装置2的行驶及作业等的动作状态。另外,状态检测装置26以规定的周期获取由位置检测装置24检测出的位置(作业机1的位置、作业装置2的位置),将该位置的变化(变迁)也作为作业机1及作业装置2的动作状态进行检测。然后,状态检测装置26生成表示作业机1及作业装置2的动作状态的检测结果的动作检测数据,并将该动作检测数据输出到控制装置21。
致动器组27包括用于使作业机1的行驶装置7、变速装置5、原动机4及连接部8等各部动作的电动式或液压式的马达、缸体及控制阀等。控制装置21的行驶控制部21b使致动器组27所包含的规定的致动器动作,驱动行驶装置7、变速装置5及原动机4等,控制作业机1的行驶。
作业控制部21c与作业装置2所具有的控制部2a进行通信,使控制部2a控制作业装置2的动作。即,作业控制部21c经由控制部2a控制作业装置2的作业。
控制装置21基于从监视装置25输出的监视数据、从状态检测装置26输出的动作检测数据、从位置检测装置24输出的作业机1的位置等,通过行驶控制部21b控制作业机1的行驶,通过作业控制部21c控制作业动作,或者还控制作业机1的其他动作。另外,控制装置21在利用无线通信装置23接收到从远程控制终端30发送的远程操作信号的情况下,除了上述的各数据之外,还基于该远程操作信号,控制作业机1等(或者作业装置2)的行驶、作业动作以及其他动作。
另外,控制装置21在控制作业机1等的行驶或作业时,在由对象物检测部25d检测出在作业机1的行驶方向或作业装置2的动作方向上存在对象物的情况下,控制行驶装置7或作业装置2等,停止行驶或停止作业,避免与对象物的碰撞(碰撞避免动作)。
图4是表示图1A等所示的远程控制终端30的电气结构的框图。在远程控制终端30中设置有控制部31、存储部32、通信部33和显示操作部34。控制部31由CPU等构成。控制部31控制远程控制终端30的各部的动作。在控制部31中设置有第二赋予部31d。第二赋予部31d由软件程序构成。作为其他例子,也可以通过与控制部31不同的硬件来构成第二赋予部31d。
存储部32由易失性或非易失性的存储器等构成。在存储部32中可读写地存储有用于控制部31控制远程控制终端30的各部的动作的各种信息和数据。通信部33经由移动电话通信网51或互联网50以无线方式进行通信。另外,通信部33也能够经由无线LAN以无线方式进行通信。
显示操作部34例如由触摸面板和硬件型的开关等构成。在显示操作部34中显示用于对作业机1进行远程控制的信息。另外,能够通过显示操作部34进行用于对作业机1进行远程控制的操作。作为其他例子,也可以代替显示操作部34而在远程控制终端30中设置分体的显示部和操作部。
当操作员60对显示操作部34进行操作而输入作业机1的动作指示时,控制部31生成与该动作指示对应的远程操作信号。第二赋予部31d对所生成的远程操作信号赋予第二时间戳。控制部31利用通信部33将赋予了第二时间戳的远程操作信号发送至辅助装置40。
图5是表示图1A等所示的辅助装置40的电气结构的框图。在辅助装置40中设置有控制部41、存储装置42和通信部43。控制部41由CPU等构成。控制部41控制辅助装置40的各部的动作。在控制部41中设置有信号接收部41a。信号接收部41a具有数字滤波器41b。信号接收部41a由软件程序构成。作为其他例子,也可以由与控制部41不同的硬件来构成信号接收部41a。另外,数字滤波器41b也可以与信号接收部41a分开构成。
存储装置42由非易失性存储器或硬盘等构成。在存储装置42中构筑有作业数据库42a和监视数据库42d。在作业数据库42a中存储(保存)有复数个用于作业机1进行作业的作业数据。在监视数据库42d中存储(保存)有复数个监视装置25(图3)的监视数据。
通信部43经由移动电话通信网51或固定电话通信网52和互联网50以无线或有线的方式进行通信。另外,通信部43也可以经由无线或有线的LAN进行通信。
从作业机1的无线通信装置23发送的监视数据和对其赋予的第一时间戳由辅助装置40的通信部43接收。控制部41将由通信部43接收的监视数据和对其赋予的第一时间戳存储(保存)于存储装置42的监视数据库42d。
存储装置42的监视数据库42d中存储的监视数据和作业数据库42a中存储的作业数据根据来自远程控制终端30的请求,由控制部41读取,并由通信部43向远程控制终端30发送。在监视数据被发送到远程控制终端30的情况下,对该监视数据赋予的第一时间戳也利用通信部43被发送到远程控制终端30。
从远程控制终端30发送的远程操作信号由辅助装置40的通信部43接收,并由信号接收部41a接收。信号接收部41a基于对所接收到的远程操作信号赋予的第二时间戳、和对存储装置42的监视数据库42d中存储的监视数据赋予的第一时间戳,判断接收到的远程操作信号是否适当。
然后,信号接收部41a在判断为接收到的远程操作信号适当的情况下,通过利用通信部43将该远程操作信号传送至作业机1的无线通信装置23而使其有效化。另一方面,信号接收部41a在判断为接收到的远程操作信号不适当的情况下,通过不传送该远程操作信号而将其废弃使其无效化。数字滤波器41b对从监视数据库42d读取的监视数据中包含的图像数据(图像信号)进行滤波处理。
图6A及图6B是表示在远程控制终端30的显示操作部34中显示的远程监视操作画面G1的图。例如,通过操作员60(图1B)在显示操作部34中进行规定的操作,控制部31执行(启动)用于对作业机1进行远程控制的应用程序(以下,称为“远程控制应用”),使显示操作部34显示图6A等所示的远程监视操作画面G1。在远程监视操作画面G1中设置有输入栏J1~J3,操作键B1~B6,显示栏D1、D2以及通知栏M1、M2。
操作员60在将由作业机1进行农业作业的农田的名称(农田的识别信息)输入到农田输入栏J1、将作业机1的机种(作业机的识别信息)输入到机种输入栏J2、将农业作业的种类(作业的识别信息)输入到作业输入栏J3之后,对确定键B1进行触摸操作。接收该操作后,控制部31从存储部32读取与输入栏J1~J3的输入内容对应的作业数据。如果在存储部32中没有存储与输入栏J1~J3的输入内容对应的作业数据,则控制部31生成与该输入内容对应的作业请求信号,并利用通信部33将该作业请求信号发送至辅助装置40。
在辅助装置40中,当通信部43接收到作业请求信号时,控制部41从作业数据库42a(图5)中读取与该作业请求信号对应的作业数据,将该作业数据发送到远程控制终端30。
远程控制终端30的控制部31在从存储部32读取作业数据时,或者在利用通信部33接收作业数据时,使该作业数据所表示的作业信息显示于远程监视操作画面G1的作业显示栏D1。另外,在利用通信部33接收到作业数据的情况下,控制部31使该作业数据存储于存储部32。
如图6A等所示,在作业显示栏D1中显示的作业信息中,包含对输入到农田输入栏J1的农田H1进行表示的农田地图MP2,以及输入到机种输入栏J2的作业机1在农田H1中进行输入到作业输入栏J3的作业时行驶的行驶路线L1等。
行驶路线L1包括直行部L1a、旋转部L1b、开始位置Ps及结束位置Pg。开始位置Ps是作业机1为了进行作业而开始行驶的位置。直行部L1a是作业机1一边直行行驶一边通过作业装置2进行作业的路线。旋转部L1b是作业机1从一个直行部L1a向下一个直行部L1a旋转的路线。当作业机1沿旋转部L1b旋转时,作业装置2的作业停止。结束位置Pg是作业机1结束(停止)作业及行驶的位置。
另外,当触摸操作确定键B1时,控制部31生成请求监视数据的监视请求信号,利用通信部33将该监视请求信号发送至辅助装置40。在辅助装置40中,当通信部43接收到监视请求信号时,控制部41从监视数据库42d(图5)中读取与该监视请求信号对应的监视数据,利用通信部43将该监视数据发送至远程控制终端30。此时,控制部41读取存储于监视数据库42d的监视数据中的最新的监视数据和赋予给该监视数据的第一时间戳,利用通信部43发送这些数据。
在远程控制终端30中,当通信部33接收监视数据时,控制部31将该监视数据和对其赋予的第一时间戳存储于存储部32,然后使该监视数据所示的监视结果(监视信息)显示于远程监视操作画面G1的显示栏D2、D1和通知栏M2。
具体而言,控制部31使监视数据所示的监视结果中的、由监视装置25的照相机25c(图3)拍摄的图像如图6A等所示那样显示于监视显示栏D2。另外,控制部31使表示对象物检测部25d(图3)对对象物的检测结果的消息显示于监视通知栏M2。并且,控制部31使表示由位置检测装置24检测出的作业机1的位置的标记X1显示于作业显示栏D1。
在图6A及图6B所示的例子中,在监视显示栏D2中显示俯瞰作业机1的周边的状态的图像。该俯瞰图像由控制部31基于监视数据生成。详细地说,在监视数据中包含复数个照相机25c拍摄的作业机1的前方、后方及左右侧方等的图像,控制部31将该复数个图像与预先存储的作业机像X2进行合成,生成俯瞰图像。另外,每当操作员60触摸操作图像切换键B2时,控制部31例如按照监视数据中包含的作业机1的前方的图像、后方的图像、左方的图像、右方的图像及俯瞰图像等的顺序,切换在监视显示栏D2中显示的图像。
在监视通知栏M2中,作为对象物的检测结果,例如显示表示在作业机1的周围有无对象物的消息。在图6A中,在监视通知栏M2中显示了表示在作业机1的周围没有对象物的消息,但也可以不显示表示没有该对象物的消息。另外,在监视通知栏M2中显示表示有对象物的消息时,也可以在监视通知栏M2中显示到该对象物的距离和该对象物的大小等。每当通信部33从辅助装置40接收监视数据时,控制部31在显示栏D2、D1和通知栏M2中显示该监视数据所示的监视结果,并更新显示栏D2、D1和通知栏M2的显示内容。
在动作通知栏M1中显示由状态检测装置26(图3)检测的作业机1等的动作状态的检测结果。详细地说,例如控制部31利用通信部33向辅助装置40发送动作请求信号,该动作请求信号请求表示作业机1等的动作状态的检测结果的动作检测数据。辅助装置40的控制部41在利用通信部43接收动作请求信号时,将该动作请求信号传送至作业机1的控制装置21。控制装置21在利用无线通信装置23接收动作请求信号时,将从状态检测装置26输出的最新的动作检测数据利用无线通信装置23发送至辅助装置40。辅助装置40的控制部41在利用通信部43接收动作检测数据时,将该动作检测数据传送至远程控制终端30。远程控制终端30的控制部31在利用通信部33接收动作检测数据时,使该动作检测数据所示的作业机的动作状态的检测结果显示于动作通知栏M1。
作为上述的作业机1等的动作状态的检测结果,例如在动作通知栏M1中显示表示有无作业机1的行驶(行驶中或停止中)、有无作业装置2的作业(作业中或作业停止中),或者有无作业机1的远程控制的执行等的消息。控制部31每当利用通信部33接收动作检测数据时,使该动作检测数据所示的检测结果显示于动作通知栏M1,并更新动作通知栏M1的显示内容。
行驶作业开始键B3和行驶作业停止键B4是用于对作业机1进行远程操作的操作键的一例。另外,通过操作员60触摸操作行驶作业开始键B3,作业机1能够基于行驶路线L1自动地进行行驶和转向,并且输入开始由作业装置2进行作业的指示。另外,通过操作员60触摸操作行驶作业停止键B4,能够输入停止上述作业机1基于行驶路线L1的行驶、转向及作业装置2的作业的指示。
通过操作员60触摸操作下一步键B5或上一步键B6,代替操作键B3、B4,显示用于对作业机1进行远程操作的其他操作键。作为其他操作键,例如包括用于输入作业机1的行驶指示的行驶键、用于输入作业机1的停止指示的停止键、用于输入作业机1的旋转指示的旋转键、用于输入作业装置2的升降指示的升降键、用于为了作业机1的预热等而输入原动机4的起动指示的原动机起动键,或者用于输入原动机4的停止指示的原动机停止键等。
操作员60能够一边观察在远程监视操作画面G1的显示栏D1、D2和通知栏M1中显示的作业信息和监视结果,一边操作作业机1的远程操作用的操作键B2、B3等,并输入作业机1的动作指示。
图7A及图7B是表示第一实施方式的作业机1的控制装置21、辅助装置40及远程控制终端30的动作的流程图。
作业机1的监视装置25例如以规定的周期向控制装置21输出表示作业机1的周边的监视结果的监视数据。控制装置21在获取监视数据时(图7A的S1),由第一赋予部21d对该监视数据赋予第一时间戳(S2)。此时,第一赋予部21d对监视数据赋予例如表示当前时间的第一时间戳。
这里的当前时间是指控制装置21获取监视数据的时间,或者控制装置21赋予第一时间戳的时间等。控制装置21将被赋予了第一时间戳的监视数据与该第一时间戳一起利用无线通信装置23发送至辅助装置40(S3)。
辅助装置40的控制部41在利用通信部43获取监视数据时(S4),将该监视数据与对其赋予的第一时间戳一起存储(保存)于存储装置42的监视数据库42d(S5)。
作业机1的控制装置21在未接收远程操作信号的期间(图7B的S21:否),也反复执行上述的图7A的处理S1~S5和处理S21。
辅助装置40的控制装置41也在未接收远程操作信号的期间(图7B的S17:否),反复执行上述的图7A的处理S4、S5、后述的处理S9、S10和处理S17。由此,将从监视装置25周期性地输出的表示作业机1和作业机的周边的监视结果的监视数据与对其赋予的第一时间戳一起随时存储(保存)于辅助装置40的监视数据库42d,并积累该监视数据。
若远程控制终端的控制部31起动远程控制应用而使远程监视操作画面G1显示于显示操作部34(图7A的S6),则从存储部32或辅助装置40获取与输入栏J1~J3的输入内容对应的作业数据,并使该作业数据所示的作业内容显示于显示操作部34(S7)。另外,控制部31也可以利用通信部33将监视数据的请求信号发送至辅助装置40(S8)。此时,控制部31也可以利用通信部33向辅助装置40发送动作检测数据的请求信号。
辅助装置40的控制部41在利用通信部43接收监视数据的请求信号时(S9:是),基于该请求信号从监视数据库42d中读取最新的监视数据,利用通信部43将该监视数据发送至远程控制终端30(S10)。
远程控制终端30的控制部31在利用通信部33接收监视数据时(S11),将该监视数据所示的监视结果显示于远程监视操作画面G1的显示栏D1、D2和通知栏M1(S12)。
然后,控制部31在未输入作业机1的动作指示的期间(图7B的S13:否),反复执行上述的图7A的处理S8、S11、S12和处理S13。每当接收监视数据的请求信号时(图7A的S9:是),辅助装置40的控制部41从监视数据库42d中读取最新的监视数据,并发送至远程控制终端30(S10)。由此,随时更新在远程控制终端30的远程监视操作画面G1中显示的作业机1以及作业机1的周边的监视结果。
例如,在作业机1移动到进行作业的农田后,操作员60操作远程控制终端30的远程监视操作画面G1的操作键B2、B3(图6A等)等,输入作业机1的动作指示。由此,控制部31判断为有作业机1的动作指示的输入(图7B的S13:是),生成与该动作指示对应的远程操作信号(S14)。
然后,第二赋予部31d对所生成的远程操作信号赋予第二时间戳(S15)。此时,第二赋予部31d对远程操作信号赋予例如表示当前时间的第二时间戳。这里的当前时间是指控制部31生成远程操作信号的时间,或者控制部31赋予第二时间戳的时间等。
或者,第二赋予部31d例如参照对监视数据赋予的第一时间戳,对远程操作信号赋予表示与该第一时间戳所示的第一时间相同的第二时间的第二时间戳,其中,该监视数据表示在操作用于远程操作的操作键B2、B3等时显示于显示栏D1、D2和通知栏M1的监视结果。控制部31将被赋予了第二时间戳的远程操作信号与该第二时间戳一起利用通信部33发送至辅助装置40(S16)。
当辅助装置40的通信部43接收来自远程控制终端30的远程操作信号时(S17:是),信号接收部41a接收该远程操作信号,判断该远程操作信号是否适当(S18)。此时,信号接收部41a从监视数据库42d读取被赋予了第一时间戳的特定的监视数据和最新的监视数据,该第一时间戳表示与被赋予给所接收的远程操作信号的第二时间戳所示的第二时间相同的第一时间,或者比第二时间早且最接近第二时间的第一时间。
然后,信号接收部41a将所读取的特定的监视数据和最新的监视数据分别施加到数字滤波器42b后,对特定的监视数据和最新的监视数据进行比较,检测该双方的数据的差分。通过对特定的监视数据和最新的监视数据施加数字滤波器42b,能够除去该双方的数据的噪声,并忽略比规定值小的差分。
另外,在检测特定的监视数据与最新的监视数据之间的差分时,信号接收部41a将该双方的监视数据中的相同种类的监视数据彼此进行比较,来检测差分。即,对照相机25c的图像数据彼此、激光传感器25a的检测数据彼此、超声波传感器25b的检测数据彼此及对象物检测部25d的检测数据彼此分别进行比较,来检测各数据的差分。另外,也可以对照相机25c的图像数据彼此、激光传感器25a的检测数据彼此、超声波传感器25b的检测数据彼此及对象物检测部25d的检测数据彼此之中的至少一种数据彼此进行比较,来检测差分。
在远程控制终端30与辅助装置40之间的通信中,在没有规定时间以上的通信延迟的情况下,在某种程度上确保了在远程控制终端30显示的作业机1的周围的监视结果(监视数据)和从远程控制终端30发送的远程操作信号的实时性。在该情况下,例如在作业机1的停止中,当从远程控制终端30发送基于行驶作业开始键B3的远程操作信号时,辅助装置40的信号接收部41a接收该远程操作信号,从监视数据库42d读取特定的监视数据和最新的监视数据。由此时读取的特定的监视数据(即,在远程控制终端30中显示的监视数据)所示的作业机1的周围的状态、与由最新的监视数据所示的作业机1的周围的状态大致相同,因此,未由特定的监视数据示出的对象物不会由最新的监视数据示出。
另外,在远程控制终端30与辅助装置40之间的通信中,在没有规定时间以上的通信延迟的情况下,例如在作业机1的行驶中,当从远程控制终端30发送基于指示作业机1的旋转的旋转键的远程操作信号时,信号接收部41a接收该远程操作信号,从监视数据库42d读取特定的监视数据和最新的监视数据。由最新的监视数据所示的作业机1的周围的状态相对于由此时读取的特定的监视数据所示的作业机1的周围的状态的变化较小,未由特定的监视数据示出的对象物不会由最新的监视数据示出。
也就是说,在远程控制终端30与辅助装置40之间的通信中,在没有规定时间以上的通信延迟的情况下,由信号接收部41a检测出的特定的监视数据与最新的监视数据之间的差分,即该双方的监视数据中包含的照相机25c的图像数据彼此、激光传感器25a的检测数据彼此、超声波传感器25b的检测数据彼此及对象物检测部25d的检测数据彼此的差分较小,该差分不会超过规定的程度(阈值)。
此外,在作业机1的行驶中,由于作业机1的周围的状态发生变化,因此也可以将信号接收部41a与上述差分进行比较的规定的程度(阈值)设定得比在作业机1的停止中与上述差分进行比较的规定的程度大。或者,也可以是,在作业机1的行驶中,信号接收部41a检测特定的监视数据和最新的监视数据中的、激光传感器25a的检测数据彼此、超声波传感器25b的检测数据彼此或对象物检测部25d的检测数据彼此的差分,并与规定的程度进行比较,不检测照相机25c的图像数据彼此的差分且不进行与规定的程度的比较。
另外,在向监视数据库42d存储监视数据的间隔长、或在远程控制终端30接收监视数据的间隔短的情况下,有时信号接收部41a从监视数据库42d读取的特定的监视数据与最新的监视数据相同。在这种情况下,由信号接收部41a检测出的特定的监视数据与最新的监视数据的差分也不会超过规定的程度。
信号接收部41a在检测出的差分没有超过规定的程度的情况下,判断为接收到的远程操作信号适当(S19:是),通过将该远程操作信号传送到作业机1的控制装置21而使其有效化(S20)。
作业机1的控制装置21在利用无线通信装置23接收远程操作信号时(S21:是),基于该远程操作信号,利用行驶控制部21b或作业控制部21c控制作业机1(或作业装置2)的动作(S22)。即,基于从远程控制终端30发送的远程操作信号,允许控制装置21控制作业机1或作业装置2的动作,作业机1或作业装置2执行与远程操作信号对应的动作。
在从远程控制终端30发送的远程操作信号是返回到行驶作业开始键B3(图6A等)的操作的远程操作信号的情况下,与该远程操作信号一起,也从远程控制终端30发送作业数据(图7B的S16)。然后,在该远程操作信号在辅助装置40的信号接收部41a中被有效化的情况下(S20),通过作业机1的无线通信装置23与该远程操作信号一起也接收作业数据(S21:是)。因此,控制装置21基于接收到的远程操作信号和作业数据中包含的行驶路线L1等,通过行驶控制部21b或作业控制部21c控制作业机1或作业装置2的动作,一边自动地进行作业机1的行驶和转向,一边通过作业装置2对农田进行农业作业。作为其他例子,控制装置21也可以在规定的定时从辅助装置40获取(接收)作业数据。
另一方面,在远程控制终端30和辅助装置40之间的通信中,在存在规定时间以上的通信延迟的情况下,由远程控制终端30显示的作业机1的周围的监视结果(监视数据)和从远程控制终端30发送的远程操作信号的实时性受损。在这种情况下,例如在作业机1的停止中,从远程控制终端30发送基于行驶作业开始键B3的远程操作信号,或者在作业机1的行驶中,从远程控制终端30发送基于旋转键的远程操作信号时,信号接收部41a接收该远程操作信号,从监视数据库42d读取特定的监视数据和最新的监视数据。存在未由此时读取的特定的监视数据示出的对象物(障碍物,例如鸟兽等运动物体)由最新的监视数据示出的情况。另外,在作业机1的行驶中,由最新的监视数据示出的作业机1的周围的状态相对于由特定的监视数据示出的作业机1的周围的状态的变化变大。
因此,在远程控制终端30与辅助装置40之间的通信中,在存在规定时间以上的通信延迟的情况下,由信号接收部41a检测出的特定的监视数据与最新的监视数据之间的差分变大,该差分超过规定的程度(阈值)。这样,在差分超过规定的程度的情况下,信号接收部41a判断为接收到的远程操作信号不适当(S19:否),不将该远程操作信号传送到控制装置21而将其废弃,从而使其无效化(S23)。然后,信号接收部41a利用通信部43向远程控制终端30发送表示使远程操作信号无效化的无效化通知(信号)(S24)。由此,基于从远程控制终端30发送的远程操作信号,阻止控制装置21控制作业机的动作。
远程控制终端30的控制部31在利用通信部33接收无效化通知时(S25),将该无效化通知的内容显示于动作通知栏M1(S26)。详细而言,控制部31如图6B所示,将无效化通知所示的远程操作(输入的作业机1的动作指示)被无效化的意思的消息显示于动作通知栏M1。由此,操作员60能够识别所输入的作业机1的动作指示、即远程操作没有被执行。
在上述实施方式中,辅助装置40的信号接收部41a基于对远程操作信号赋予的第二时间戳所示的第二时间、和对监视数据库42d中存储的监视数据赋予的第一时间戳所示的第一时间,从监视数据库42d中读取特定的监视数据和最新的监视数据,基于它们的差分来判断远程操作信号是否适当。然而,远程操作信号是否适当的判断方法不仅限于此,也可以采用下述的判断方法。
例如,信号接收部41a基于对远程操作信号赋予的第二时间戳所示的第二时间与对最新的监视数据赋予的第一时间戳所示的第一时间之间的时间差,判断远程操作信号是否适当。具体而言,如果远程操作信号的第二时间戳所示的第二时间与最新的监视数据的第一时间戳所示的第一时间之间的时间差小于规定时间,则由于延迟时间较短,因此信号接收部41a判断为远程操作信号适当。另外,如果上述第二时间和第一时间之间的时间差在规定时间以上,则由于延迟时间较长,因此信号接收部41a判断为远程操作信号不适当。
或者,信号接收部41a基于与接收到的远程操作信号对应的动作指示,判断该远程操作信号是否适当。具体而言,例如信号接收部41a在作业机1的行驶中,如果与接收到的远程操作信号对应的动作指示是作业机1的行驶停止指示,则由于风险较小,因此判断为该远程操作信号适当。另外,即使与接收到的远程操作信号对应的动作指示是原动机4的起动指示,或者是与作业机1的行驶及作业无关的动作指示,由于风险较小,因此信号接收部41a也判断为该远程操作信号适当。另外,在作业机1的旋转中,如果与接收到的远程操作信号对应的动作指示是作业装置2的下降指示,则作业装置2着地时风险较大,因此信号接收部41a判断为该远程操作信号不适当。
另外,如图8所示,信号接收部41a也可以执行远程操作信号的适当与否的判断。图8是表示其他实施方式的辅助装置40的动作的流程图。在图8的示例中,当辅助装置40的通信部43接收远程操作信号时(S17:是),信号接收部41a接收远程操作信号(S18a),确认与该远程操作信号对应的动作指示是否是与作业机1的行驶或由作业装置2进行的作业有关的动作指示(S18c)。其中,信号接收部41a在与接收到的远程操作信号对应的动作指示是与作业机1的行驶或由作业装置2进行的作业相关的动作指示时(S18b:是),判断该远程操作信号是否适当(S18c)。
另一方面,如果与接收到的远程操作信号对应的动作指示既不是与作业机1的行驶有关的动作指示,也不是与作业装置2的作业有关的动作指示(S18b:“否”),则信号接收部41a不判断该远程操作信号是否适当,通过将该远程操作信号传送到作业机1的控制装置21而使其有效化(S20)。其他的辅助装置40的各处理与在图7A及图7B中说明的各处理相同。
来自监视装置25的监视数据的输出、来自无线通信装置23的监视数据或动作检测数据的发送、或者来自辅助装置40的监视数据或动作检测数据的发送,可以以规定的周期进行,也可以根据来自接收装置的请求进行。
在上述实施方式中,如图1B等所示,将构筑有数据库42d、42a的存储装置42和信号接收部41a设置于辅助装置40,但例如也可以如图9~图11所示,将存储装置42和信号接收部41a中的一者设置于作业机1(或作业装置2),或者将两者设置于作业机1(或作业装置2)。图9~图11是其他实施方式的作业机的远程控制系统100的结构图。
在图9所示的作业机的远程控制系统100中,在作业机1中设置有构筑了监视数据库22d的存储装置22。也就是说,在辅助装置40中没有设置监视数据库22d。除此以外的结构的设置部位与图1B~图5所示的实施方式相同。
在图9中,从作业机1的监视装置25输出到控制装置21的监视数据在由第一赋予部21d赋予了第一时间戳之后,由控制装置21存储于存储装置22的监视数据库22d。远程控制终端30利用通信部33将请求监视数据的第一监视请求信号发送到辅助装置40。辅助装置40利用通信部43接收第一监视请求信号,并传送至作业机1的无线通信装置23。控制装置21根据由无线通信装置23接收到的第一监视请求信号,从监视数据库22d中读取监视数据(最新的监视数据),将该监视数据利用无线通信装置23发送至辅助装置40。辅助装置40利用通信部43接收监视数据,并将该监视数据传送到远程控制终端30。
另外,在图9中,辅助装置40的信号接收部41a在经由通信部43接收从远程控制终端30发送的远程操作信号时,利用通信部43向作业机1的控制装置21发送请求与该远程操作信号对应的监视数据的第二监视请求信号。在利用无线通信装置23接收第二监视请求信号时,控制装置21从监视数据库22d中读取该第二监视请求信号所请求的监视数据。此时,由控制装置21从监视数据库22d读取被赋予了第一时间戳的特定的监视数据和最新的监视数据,该第一时间戳表示与对作为发送第二监视请求信号的基础(契机)的远程操作信号赋予的第二时间戳所示的第二时间相同的第一时间,或者比第二时间早且最接近第二时间的第一时间。然后,当这些监视数据被无线通信装置23发送到辅助装置40时,信号接收部41a经由通信部43获取该监视数据。其他各部的动作与在图1A~图8中说明的各部的动作相同。
图5所示的作业数据库42a也可以不设置于辅助装置40,而构筑于作业机1的存储装置22(省略图示)。在这种情况下,存储装置22中构筑的作业数据库42a内的作业数据以与上述的监视数据同样的顺序,从作业机1的存储装置22经由辅助装置40发送到远程控制终端30。
在图10所示的作业机的远程控制系统100中,信号接收部41a(图5等)未设置于辅助装置40,信号接收部21a设置于作业机1。除此以外的结构的设置部位与图1B~图5所示的实施方式相同。
在图10中,从远程控制终端30发送的远程操作信号经由辅助装置40的通信部43,由作业机1的无线通信装置23接收,并由信号接收部21a接收。然后,信号接收部21a利用无线通信装置23向辅助装置40发送第二监视请求信号,该第二监视请求信号请求与接收到的远程操作信号相对应的监视数据。在利用通信部43接收第二监视请求信号时,辅助装置40的控制部41从存储装置42的监视数据库42d中读取该第二监视请求信号所请求的监视数据。此时,由控制部41从监视数据库42d读取被赋予了第一时间戳的特定的监视数据和最新的监视数据,该第一时间戳表示与对作为第二监视请求信号的基础的远程操作信号赋予的第二时间戳所示的第二时间相同的第一时间,或者比第二时间早且最接近第二时间的第一时间。然后,这些监视数据利用通信部43被发送到无线通信装置23,信号接收部21a利用无线通信装置23获取(接收)该监视数据。
信号接收部21a在如上述那样获取特定的监视数据和最新的监视数据时,与信号接收部41a(图5等)同样地,检测特定的监视数据与最新的监视数据的差分,基于该差分判断远程操作信号是否适当,根据该判断结果,使远程操作信号有效化或无效化。控制装置21基于由信号接收部21a有效化(判断为适当)的远程操作信号,通过行驶控制部21b或作业控制部21c控制作业机1和作业装置2的动作。其他各部的动作与图1A~图8中说明的各部的动作相同。
在图11所示的作业机的远程控制系统100中,存储装置22和信号接收部21a设置于作业机1。除此以外的结构的设置部位与图1B~图5所示的实施方式相同。在图11中,辅助装置40在作业机1的无线通信装置23与远程控制终端30之间中继第一监视请求信号、监视数据、远程操作信号等。辅助装置40的通信部43经由移动电话通信网51、固定电话通信网52或LAN(局域网)53及互联网50,与作业机1的无线通信装置23及远程控制终端30的通信部33以无线或有线的方式分别相互进行通信。其他各部的动作与在图1A~图8或者图9中说明的各部的动作相同。
在上述实施方式中,辅助装置40包含在作业机的远程控制系统100中,但也可以如图12所示的其他实施方式的作业机的远程控制系统100那样,省略辅助装置。在图12所示的作业机的远程控制系统100中,作业机1的无线通信装置23和远程控制终端30经由LAN53、移动电话通信网51、固定电话通信网52或互联网50等进行无线通信。在作业机1中设置有存储装置22和信号接收部21a。
在图12中,远程控制终端30利用通信部33将请求监视数据的监视请求信号发送到作业机1的无线通信装置23。作业机1的控制装置21在无线通信装置23接收监视请求信号时,从存储装置22的监视数据库22d读取监视数据,利用无线通信装置23发送到远程控制终端30。存储于作业数据库22a的作业数据也按照与上述监视数据同样的顺序,从无线通信装置23发送到远程控制终端30。
此外,远程控制终端30利用通信部33向无线通信装置23发送远程操作信号。当无线通信装置23接收远程操作信号时,信号接收部21a接收该远程操作信号,从监视数据库22d读取被赋予了第一时间戳的特定的监视数据和最新的监视数据,该第一时间戳表示与对该远程操作信号赋予的第二时间戳所示的第二时间相同的第一时间,或者比第二时间早且最接近第二时间的第一时间。然后,信号接收部21a基于该特定的监视信号与最新的监视信号的差分,判断接收到的远程操作信号是否适当,根据该判断结果,使远程操作信号有效化或无效化。其他各部的动作与图1A~图8、图9、或图10中说明的各部的动作相同。
另外,作为其他实施方式,作业机1的无线通信装置23和远程控制终端30也可以不经由网络,例如,通过红外线信号、BLU(Bluetooth(注册商标)Low Energy,低功耗蓝牙)信号或UHF(Ultra High Frequency,超高频)信号等那样的近距离无线信号,对监视数据和远程操作指令进行直接通信。在这种情况下,可以在无线通信装置23和远程控制终端30中分别设置近距离无线通信用的接口。另外,除此之外的结构与图12所示的结构相同即可。
在上述实施方式中,示出了在发送到远程控制终端30的监视数据中包含由照相机25c拍摄的作业机1的周围的图像数据的例子,但例如也可以省略照相机25c,将由传感器和对象物检测部25d检测出的表示作业机1等的周围的状态的数据作为监视数据从作业机1的无线通信装置23或辅助装置40发送到远程控制终端30。在这种情况下,例如,可以在远程控制终端30中设置如图13所示的显示部38。
图13所示的显示部38例如可以是显示于触摸面板的画面,或者也可以通过印刷和成型等加工形成于远程控制终端30的表面。在后者的情况下,由印刷的文字和指示灯39a~39k(图13所示的圆标记)分别构成显示栏D2a和通知栏M1a、M2a,设置按钮型的操作键B3a、B4a即可。指示灯39a~39k由LED等构成。
例如,在通过激光传感器25a或超声波传感器25b和对象物检测部25d在作业机1及作业装置2的周围检测到对象物的情况下,接收到包含该检测结果的监视数据的远程控制终端30的控制部31使与对象物存在的方向对应的显示栏D2a的指示灯39a~39h点亮(影线所示的状态)。另外,控制部31为了通知作业机1及作业装置2是停止中还是作业中,使分别对应的通知栏M1a的指示灯39i、39j点亮。另外,控制部31为了通知远程操作信号被无效化,使对应的通知栏M2a的指示灯39k点亮。为了输入作业机1一边基于行驶路线L1自动地进行行驶和转向一边通过作业装置2进行作业的开始指示,而操作行驶作业开始键B3a。为了输入作业机1一边基于行驶路线L1自动地进行行驶和转向一边通过作业装置2进行作业的停止指示,而操作行驶作业停止键B4a。
在上述实施方式中,通过将信号接收部41a判断为不适当的远程操作信号不传送至控制装置21而废弃,从而使其无效化,但无效化的方法不限于此。例如,可以将信号接收部41a判断为不适当的远程操作信号与错误消息一起返回给远程控制终端30,而不是控制装置21。另外,在作业机1中设置了信号接收部21a的情况下,例如若判断为信号接收部21a接收到的远程操作信号不适当,则也可以通过在控制装置21的存储部21e(图3)的规定的存储区域中,将禁止基于该远程操作信号的作业机1(或者作业装置2)的动作控制的标志(flag)(称为“远程控制禁止标志”。)设为开(ON),来使该远程操作信号无效化。在这种情况下,当远程控制禁止标志为开时,控制装置21不基于由无线通信装置23接收到的远程操作信号来执行作业机1等的动作控制。另外,信号接收部21a也可以在将远程控制禁止标志设为开后经过了规定时间时,或者在接收到下一个远程操作信号时等,将远程控制禁止标志设为关(OFF)。
在上述实施方式中,监视装置25设置于作业机1,但除此之外,例如也可以在作业机1进行作业的场所(农田等)设置对作业机1及对作业机1的周围进行监视的监视装置。另外,在该情况下,例如,也可以在监视装置中设置以无线方式进行通信的通信部,通过该通信部将表示监视装置的监视结果的监视数据发送到作业机1的无线通信装置23、远程控制终端30或辅助装置40。
在上述实施方式中,示出了作业机1的无线通信装置23、远程控制终端30的通信部33或辅助装置40的通信部43经由移动电话通信网51、固定电话通信网52、互联网50或LAN53相互进行通信的例子,但通信网并不限定于此。例如,经由如WAN(广域网络)、MAN(城域网)、VPN(虚拟专用网络)、以太网、内联网等广域网或窄域网,或者公共通信网,也可以使无线通信装置23和通信部33、43相互通信。或者,也可以组合上述通信网和其他通信网,使无线通信装置23和通信部33、43相互通信。
以上说明的本实施方式的作业机的远程控制系统100具有以下的结构,并起到效果。
本实施方式的作业机的远程控制系统100具有:监视装置25,监视能够行驶的作业机1的周边,并输出表示该监视结果的监视数据;第一赋予部21d,对监视数据赋予第一时间戳;存储装置42、22,能够将复数个监视数据与对该监视数据赋予的第一时间戳一起存储;远程控制终端30,能够接收监视数据并显示该监视数据所示的监视结果,并且通过被操作而发送对作业机1进行远程操作的远程操作信号;第二赋予部31d,在从远程控制终端30发送远程操作信号时,对该远程操作信号赋予第二时间戳;信号接收部41a、21a,接收从远程控制终端30发送的远程操作信号;以及控制装置21,控制作业机1的动作。信号接收部41a、21a基于对接收到的远程操作信号赋予的第二时间戳和对存储于存储装置42、22的监视数据赋予的第一时间戳,判断远程操作信号是否适当,使判断为不适当的远程操作信号无效化,控制装置21基于由信号接收部41a、21a判断为适当的远程操作信号,控制作业机1的动作。
根据上述结构,在由远程控制终端30对作业机1进行远程控制时,即使发生通信延迟,信号接收部41a、21a也接收远程操作信号,并基于远程操作信号的第二时间戳和存储装置42、22的监视数据的第一时间戳,判断远程操作信号是否适当。然后,信号接收部41a、21a将判断为不适当的远程操作信号无效化。因此,能够避免作业机1基于因通信延迟而引起的不适当的远程操作信号进行无用(无意义)的动作。因此,例如在实际的作业机1的周围出现了在远程控制终端30所显示的监视数据中未示出的障碍物(对象物)时,也能够使因通信延迟而引起的不适当的远程操作信号无效化,因此能够避免作业机1由于基于该远程操作信号进行动作而与障碍物碰撞。因此,例如在实际的作业机1的周围出现了在远程控制终端30所显示的监视数据中未示出的障碍物(对象物)时,也能够使因通信延迟而引起的不适当的远程操作信号无效化,因此能够避免作业机1由于基于该远程操作信号进行动作而与障碍物发生碰撞。因此,在作业机1的远程控制时,即使发生通信延迟,也能够进行避险。另外,控制装置21基于信号接收部41a、21a判断为适当的远程操作信号,来控制作业机1的动作,因此能够使作业机1有效且稳定地动作。
在本实施方式中,信号接收部41a、21a从存储装置42、22获取被赋予了第一时间戳的特定的监视数据和最新的监视数据,并检测该特定的监视数据与最新的监视数据之间的差分,该第一时间戳表示与对接收到的远程操作信号赋予的第二时间戳所示的第二时间相同的第一时间,或者比第二时间早且最接近第二时间的第一时间,在该差分未超过规定的程度的情况下,判断为接收到的远程操作信号适当,将该远程操作信号传送到控制装置21,并允许控制装置21基于该远程操作信号控制作业机1的动作,在所述差分超过规定的程度的情况下,判断为接收到的远程操作信号不适当,使该远程操作信号无效化,阻止控制装置21基于该远程操作信号控制作业机1的动作。
根据上述,在由远程控制终端30对作业机1进行远程操作时,产生通信延迟,在与显示于远程控制终端30的监视数据同等的特定的监视数据中没有示出的障碍物(对象物)由存储于存储装置22的最新的监视数据示出时,即在实际的作业机1的周围存在障碍物时,与显示于远程控制终端30的监视数据同等的特定的监视数据和最新的监视数据之间的差分超过规定的程度。并且,信号接收部41a、21a判断为接收到的远程操作信号不适当,使该远程操作信号无效化,因此能够避免作业机1(或作业装置2)基于该远程操作信号进行工作(行驶或作业开始等)而与障碍物发生碰撞。另外,即使在由最新的监视数据表示的作业机的周围的状态相对于由特定的监视数据表示的作业机的周围的状态发生较大地变化时,由于特定的监视数据与最新的监视数据之间的差分超过规定的程度而使信号接收部41a、21a接收到的远程操作信号无效化,因此也能够避免作业机1基于该远程操作信号而无用地动作。
另外,在本实施方式中,每当从监视装置25获取监视数据时,第一赋予部21d对该监视数据赋予表示当前时间的第一时间戳。由此,能够使用包括固有的时间信息的第一时间戳管理从监视装置25输出的所有的监视数据。
另外,在本实施方式中,在从远程控制终端30发送远程操作信号时,第二赋予部31d对该远程操作信号赋予表示当前时间的第二时间戳。由此,能够使用包括固有的时间信息的第二时间戳管理从远程操作信号发送的所有的远程操作信号。另外,能够容易地从存储装置42、22读取被赋予了与远程操作信号的发送时间同等的第一时间戳的监视数据。
另外,在本实施方式中,远程控制终端30具有显示部(显示操作部)34,能够从存储装置42、22获取最新的监视数据,并将该监视数据所示的监视结果显示于显示部34,第二赋予部31d参照对监视数据赋予的所述第一时间戳,对远程操作信号赋予表示与该第一时间戳所示的第一时间相同的第二时间的第二时间戳,该监视数据表示在远程控制终端30的操作时由显示部34显示的监视结果。由此,能够使用包括时间信息的第二时间戳管理从远程操作信号发送的所有的远程操作信号。另外,在操作员60对远程控制终端30进行操作时,信号接收部41a、21a能够从存储装置42、22可靠地获取与显示于显示部34的监视数据相当的特定的监视数据。
另外,在本实施方式中,信号接收部41a、21a在判断为接收到的远程操作信号适当的情况下,通过将该远程操作信号传送到控制装置21而使其有效化,在判断为接收到的远程操作信号不适当的情况下,通过不将该远程操作信号传送到控制装置21而将其废弃,使其无效化。由此,在由远程控制终端30对作业机1进行远程控制时,即使产生通信延迟,控制装置21也能够基于适当的远程操作信号来控制作业机1的动作。另外,能够可靠地阻止控制装置21基于不适当的远程操作信号来控制作业机1的动作。
另外,在本实施方式中,信号接收部41a、21a向远程控制终端30通知使远程操作信号无效化的情况,远程控制终端30具有显示部(显示操作部)34,接收来自信号接收部41a、21a的通知,并使该通知的内容显示于显示部34。由此,操作员60观察远程控制终端30的显示部34,能够容易地掌握与所输入的作业机1的动作指示对应的远程操作信号被无效化,从而该动作未在作业机1中执行的情况。
另外,在本实施方式中,远程控制终端30具有由操作员60操作的操作部(显示操作部)34,生成与通过操作该操作部34而输入的作业机1的动作指示对应的远程操作信号,信号接收部41a、21a基于与接收到的远程操作信号对应的动作指示,判断该远程操作信号是否适当。由此,不对信号接收部41a、21a接收到的所有的远程操作信号判断是否适当,因此能够减轻信号接收部41a、21a的处理负担,控制装置21能够基于与特定的动作指示对应的远程操作信号,迅速地执行作业机1的动作控制。
另外,在本实施方式中,远程控制终端30具有由操作员60操作的操作部(显示操作部)34,生成与通过操作该操作部34而输入的作业机1的动作指示对应的远程操作信号,信号接收部41a、21a在与接收到的远程操作信号对应的动作指示是与作业机1的行驶或由与作业机1连接的作业装置2进行的作业相关的动作指示的情况下,判断该远程操作信号是否适当。由此,对于与伴有通信延迟引起的风险的作业机1的行驶或作业相关的动作指示对应的远程操作信号,信号接收部41a、21a判断是否适当,进行有效化或无效化,因此能够进行该避险。另外,对于与不伴有通信延迟引起的风险的作业机1的其他动作指示对应的远程操作信号,由于信号接收部41a、21a不判断适当与否,因此能够减轻信号接收部41a、21a的处理负担,控制装置21能够基于该远程操作信号迅速地执行作业机1的动作控制。
另外,在图1A~图8的本实施方式中,具有:通信装置(无线通信装置)23,其设置于作业机1且以无线方式进行通信;以及辅助装置40,其设置于作业机1以外及远程控制终端30以外。远程控制终端30具有进行通信的第一通信部(通信部)33,辅助装置40具有与通信装置23及第一通信部33进行通信的第二通信部(通信部)43,监视装置25和第一赋予部21d设置于作业机1,第二赋予部31d设置于远程控制终端30,存储装置42和信号接收部41a设置于辅助装置40。由此,能够在对从作业机1的监视装置25输出的监视数据赋予第一时间戳之后,将该监视数据保存于辅助装置40的存储装置42。另外,能够由辅助装置40的信号接收部41a接收来自远程控制终端30的远程操作信号,判断该远程操作信号是否适当,然后将适当的远程操作信号发送到作业机1的控制装置21,使不适当的远程操作信号无效化。
另外,在图9~图11的本实施方式中,具有:通信装置(无线通信装置)23,其设置于作业机1且以无线方式进行通信;以及辅助装置40,其设置于作业机1以外及远程控制终端30以外。远程控制终端30具有进行通信的第一通信部(通信部)33,辅助装置40具有与通信装置23及第一通信部33进行通信的第二通信部43,监视装置25和第一赋予部21d设置于作业机1,第二赋予部31d设置于远程控制终端30,存储装置22、42和信号接收部21a、41a设置于作业机1或辅助装置40。由此,能够在对从作业机1的监视装置25输出的监视数据赋予第一时间戳之后,将该监视数据保存于辅助装置40的存储装置42或作业机1的存储装置22。另外,能够由辅助装置40的信号接收部41a或作业机1的信号接收部21a接收来自远程控制终端30的远程操作信号,判断该远程操作信号是否适当,然后将适当的远程操作信号发送到控制装置21,使不适当的远程操作信号无效化。
另外,在图9~图11的实施方式中,通信装置23经由移动电话通信网51、广域网(互联网)50或窄域网(LAN)53以无线方式进行通信,第一通信部33及第二通信部43经由移动电话通信网51、固定电话通信网52、广域网50或窄域网53以无线或有线方式进行通信。由此,在作业机1的远程控制时,即使由于移动电话通信网51、固定电话通信网52、广域网50或窄域网53的通信不良而在作业机1的通信装置23、辅助装置40及远程控制终端30之间产生通信延迟,也能够对此进行避险。
另外,在图12的实施方式中,具有设置于作业机1且以无线方式进行通信的通信装置(无线通信装置)23,远程控制终端30具有进行通信的第一通信部33,监视装置25、第一赋予部21d、存储装置22和信号接收部21a设置于作业机1,第二赋予部31d设置于远程控制终端30。由此,能够在对从作业机1的监视装置25输出的监视数据赋予第一时间戳之后,将该监视数据保存于存储装置22。另外,能够由作业机1的信号接收部21a接收来自远程控制终端30的远程操作信号,判断该远程操作信号是否适当,基于适当的远程操作信号,由控制装置21迅速地进行作业机1的动作控制。另外,通过信号接收部21a使不适当的远程操作信号无效化,能够避免起因于不适当的远程操作信号的风险。
另外,在图12的实施方式中,通信装置(无线通信装置)23经由移动电话通信网51、广域网50或窄域网53以无线方式进行通信,第一通信部33经由移动电话通信网51、固定电话通信网52、广域网50或窄域网53以无线或线方式进行通信。由此,在作业机1的远程控制时,即使由于移动电话通信网51、固定电话通信网52、广域网50或窄域网53的通信不良而在作业机1的通信装置23与远程控制终端30之间产生通信延迟,也能够对此进行避险。
另外,在本实施方式中,广域网50由互联网构成,窄域网53由局域网构成。由此,在作业机1的远程控制时,即使由于互联网或局域网的通信不良而在作业机1的通信装置23、辅助装置40或远程控制终端30之间产生通信延迟,也能够对此进行避险。
此外,在本实施方式中,作业机1由在农田中进行农业作业的农业机械构成,监视装置25具有设置于所述农业机械并检测位于所述农业机械的周边的对象物的照相机25c或传感器25a、25b,监视数据包含照相机25c拍摄的所述农业机械的周边的图像数据或表示传感器的检测结果的检测数据。由此,能够通过照相机25c或传感器25a、25b监视由农业机械构成的作业机1的周边的状态或该周边的对象物,并将该监视结果显示于远程控制终端30。因此,操作远程控制终端30的操作员60容易掌握作业机1的周围的状态,并容易进行作业机1的远程操作。另外,在由农业机械构成的作业机1的远程控制时,即使产生通信延迟,也能够进行避险。
以上,对本发明进行了说明,但应该认为本次公开的实施方式在所有方面都是例示而不是限制性的。本发明的范围不是由上述的说明而是由权利要求书表示,包含与权利要求书等同的意思及范围内的所有的变更。
附图标记的说明
1作业机(农业机械)
2 作业装置
21 控制装置
21a、41a信号接收部
21d 第一赋予部
22、42 存储装置
23无线通信装置(通信装置)
25监视装置
25a激光传感器(传感器)
25b超声波传感器(传感器)
25c 照相机
30 远程控制终端
31d 第二赋予部
33通信部(第一通信部)
34显示操作部(显示部、操作部)
38 显示部
40 辅助装置
43通信部(第二通信部)
50互联网(广域网)
51 移动电话通信网
52 固定电话通信网
53LAN(窄域网)
60 操作员
100 作业机的远程控制系统
Claims (16)
1.一种作业机的远程控制系统,其中,具有:
监视装置,监视能够行驶的作业机的周边,并输出表示该监视结果的监视数据;
第一赋予部,对所述监视数据赋予第一时间戳;
存储装置,能够将复数个所述监视数据与对该监视数据赋予的所述第一时间戳一起存储;
远程控制终端,能够接收所述监视数据并显示该监视数据所示的所述监视结果,并且通过被操作而发送对所述作业机进行远程操作的远程操作信号;
第二赋予部,在从所述远程控制终端发送所述远程操作信号时,对该远程操作信号赋予第二时间戳;
信号接收部,接收从所述远程控制终端发送的所述远程操作信号;以及
控制装置,控制所述作业机的动作,
所述信号接收部基于对接收到的所述远程操作信号赋予的所述第二时间戳和对存储于所述存储装置的所述监视数据赋予的所述第一时间戳,判断所述远程操作信号是否适当,使判断为不适当的所述远程操作信号无效化,
所述控制装置基于由所述信号接收部判断为适当的所述远程操作信号,控制所述作业机的动作。
2.根据权利要求1所述的作业机的远程控制系统,其中,
所述信号接收部从所述存储装置获取被赋予了所述第一时间戳的特定的所述监视数据和最新的所述监视数据,并检测该特定的监视数据与最新的监视数据之间的差分,所述第一时间戳表示与对接收到的所述远程操作信号赋予的所述第二时间戳所示的第二时间相同的第一时间,或者比所述第二时间早且最接近所述第二时间的第一时间,
在所述差分未超过规定的程度的情况下,判断为接收到的所述远程操作信号适当,将该远程操作信号传送到所述控制装置,并允许所述控制装置基于该远程操作信号控制所述作业机的动作,
在所述差分超过规定的程度的情况下,判断为接收到的所述远程操作信号不适当,使该远程操作信号无效化,阻止所述控制装置基于该远程操作信号控制所述作业机的动作。
3.根据权利要求1或2所述的作业机的远程控制系统,其中,
每当从所述监视装置获取所述监视数据时,所述第一赋予部对该监视数据赋予表示当前时间的所述第一时间戳。
4.根据权利要求1~3中任一项所述的作业机的远程控制系统,其中,
在从所述远程控制终端发送所述远程操作信号时,所述第二赋予部对该远程操作信号赋予表示当前时间的所述第二时间戳。
5.根据权利要求1~3中任一项所述的作业机的远程控制系统,其中,
所述远程控制终端具有显示部,所述远程控制终端能够从所述存储装置获取最新的所述监视数据,并将该监视数据所示的所述监视结果显示于所述显示部,
所述第二赋予部参照对所述监视数据赋予的所述第一时间戳,对所述远程操作信号赋予表示与该第一时间戳所示的第一时间相同的第二时间的所述第二时间戳,所述监视数据表示在所述远程控制终端的操作时由所述显示部显示的所述监视结果。
6.根据权利要求1~5中任一项所述的作业机的远程控制系统,其中,
所述信号接收部在判断为接收到的所述远程操作信号适当的情况下,通过将该远程操作信号传送到所述控制装置而使其有效化,
所述信号接收部在判断为接收到的所述远程操作信号不适当的情况下,通过不将该远程操作信号传送到所述控制装置而将其废弃,使其无效化。
7.根据权利要求1~6中任一项所述的作业机的远程控制系统,其中,
所述信号接收部向所述远程控制终端通知使所述远程操作信号无效化的情况,
所述远程控制终端具有显示部,所述远程控制终端接收来自所述信号接收部的所述通知,并使该通知的内容显示于所述显示部。
8.根据权利要求1~7中任一项所述的作业机的远程控制系统,其中,
所述远程控制终端具有由操作员操作的操作部,生成与通过操作该操作部而输入的所述作业机的动作指示对应的所述远程操作信号,
所述信号接收部基于与接收到的所述远程操作信号对应的所述动作指示,判断该远程操作信号是否适当。
9.根据权利要求1~7中任一项所述的作业机的远程控制系统,其中,
所述远程控制终端具有由操作员操作的操作部,生成与通过操作该操作部而输入的所述作业机的动作指示对应的所述远程操作信号,
所述信号接收部在与接收到的所述远程操作信号对应的所述动作指示是与所述作业机的行驶或由与所述作业机连接的作业装置进行的作业相关的动作指示的情况下,判断该远程操作信号是否适当。
10.根据权利要求1~9中任一项所述的作业机的远程控制系统,其中,具有:
通信装置,设置于所述作业机且以无线方式进行通信;以及
辅助装置,设置于所述作业机以外及所述远程控制终端以外,
所述远程控制终端具有进行通信的第一通信部,
所述辅助装置具有与所述通信装置及所述第一通信部进行通信的第二通信部,
所述监视装置和所述第一赋予部设置于所述作业机,
所述第二赋予部设置于所述远程控制终端,
所述存储装置和所述信号接收部设置于所述辅助装置。
11.根据权利要求1~9中任一项所述的作业机的远程控制系统,其中,
通信装置,设置于所述作业机且以无线方式进行通信;以及
辅助装置,设置于所述作业机以外及所述远程控制终端以外,
所述远程控制终端具有进行通信的第一通信部,
所述辅助装置具有与所述通信装置及所述第一通信部进行通信的第二通信部,
所述监视装置和所述第一赋予部设置于所述作业机,
所述第二赋予部设置于所述远程控制终端,
所述存储装置和所述信号接收部设置于所述作业机或所述辅助装置。
12.根据权利要求10或11所述的作业机的远程控制系统,其中,
所述通信装置经由移动电话通信网、广域网或窄域网以无线方式进行通信,
所述第一通信部及所述第二通信部经由移动电话通信网、固定电话通信网、广域网或窄域网以无线或有线方式进行通信。
13.根据权利要求1~9中任一项所述的作业机的远程控制系统,其中,
具有设置于所述作业机且以无线方式进行通信的通信装置,
所述远程控制终端具有进行通信的第一通信部,
所述监视装置、所述第一赋予部、所述存储装置和所述信号接收部设置于所述作业机,
所述第二赋予部设置于所述远程控制终端。
14.根据权利要求13所述的作业机的远程控制系统,其中,
所述通信装置经由移动电话通信网、广域网或窄域网以无线方式进行通信,
所述第一通信部经由移动电话通信网、固定电话通信网、广域网或窄域网以无线或有线方式进行通信。
15.根据权利要求12或14所述的作业机的远程控制系统,其中,
所述广域网由互联网构成,
所述窄域网由局域网构成。
16.根据权利要求1~15中任一项所述的作业机的远程控制系统,其中,
所述作业机由在农田中进行农业作业的农业机械构成,
所述监视装置具有设置于所述农业机械并检测位于所述农业机械的周边的对象物的照相机或传感器,
所述监视数据包含所述照相机拍摄的所述农业机械的周边的图像数据或表示所述传感器的检测结果的检测数据。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021-187953 | 2021-11-18 | ||
JP2021187953 | 2021-11-18 | ||
PCT/JP2022/038144 WO2023089996A1 (ja) | 2021-11-18 | 2022-10-13 | 作業機の遠隔制御システム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118284863A true CN118284863A (zh) | 2024-07-02 |
Family
ID=86396826
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280076770.7A Pending CN118284863A (zh) | 2021-11-18 | 2022-10-13 | 作业机的远程控制系统 |
Country Status (5)
Country | Link |
---|---|
EP (1) | EP4435547A1 (zh) |
JP (1) | JPWO2023089996A1 (zh) |
CN (1) | CN118284863A (zh) |
AU (1) | AU2022393357A1 (zh) |
WO (1) | WO2023089996A1 (zh) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5582578B2 (ja) * | 2011-11-24 | 2014-09-03 | オムロンオートモーティブエレクトロニクス株式会社 | 車両用携帯機および情報通信システム |
JP2017200125A (ja) * | 2016-04-28 | 2017-11-02 | ヤンマー株式会社 | 無線通信システム |
JP6729991B2 (ja) * | 2017-02-10 | 2020-07-29 | 日本電信電話株式会社 | 遠隔操作通信システム及びその中継方法並びにプログラム |
JP7086616B2 (ja) * | 2018-01-22 | 2022-06-20 | 株式会社クボタ | 農業支援装置及び農業支援システム |
JP7442272B2 (ja) * | 2018-08-09 | 2024-03-04 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報処理方法、情報処理装置、及び、情報処理システム |
CN112639735A (zh) * | 2019-10-30 | 2021-04-09 | 深圳市大疆创新科技有限公司 | 计算量分配 |
US20230074703A1 (en) * | 2020-02-21 | 2023-03-09 | Nippon Telegraph And Telephone Corporation | Communication delay measurement device, communication delay measurement method, and program |
-
2022
- 2022-10-13 WO PCT/JP2022/038144 patent/WO2023089996A1/ja active Application Filing
- 2022-10-13 AU AU2022393357A patent/AU2022393357A1/en active Pending
- 2022-10-13 CN CN202280076770.7A patent/CN118284863A/zh active Pending
- 2022-10-13 EP EP22895282.6A patent/EP4435547A1/en active Pending
- 2022-10-13 JP JP2023561454A patent/JPWO2023089996A1/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4435547A1 (en) | 2024-09-25 |
WO2023089996A1 (ja) | 2023-05-25 |
JPWO2023089996A1 (zh) | 2023-05-25 |
AU2022393357A1 (en) | 2024-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6919531B2 (ja) | 作業車両 | |
US9836059B2 (en) | Autonomous travel working vehicle | |
US9841768B2 (en) | Autonomous travelling service vehicle | |
US20170135277A1 (en) | Autonomously traveling work vehicle | |
US20180210444A1 (en) | Sensor management device and sensor management method | |
WO2021006321A1 (ja) | 自動走行システム | |
CN113287075A (zh) | 作业车辆用的障碍物监测系统 | |
JP6837902B2 (ja) | 作業車 | |
US20190286144A1 (en) | Vehicle control device, vehicle control method, and storage medium | |
US20210018617A1 (en) | Obstacle Detection System for Work Vehicle | |
JP2020123013A (ja) | 自律走行制御システム | |
JP6837903B2 (ja) | 作業車 | |
WO2020137134A1 (ja) | 作業車両用の衝突回避システム | |
WO2020240983A1 (ja) | 障害物判定システム及び自律走行システム | |
CN118284863A (zh) | 作业机的远程控制系统 | |
JP2020119241A (ja) | 操作制限システム | |
CN109857096B (zh) | 作业车辆 | |
WO2024219351A1 (ja) | 遠隔装置および遠隔操縦システム | |
WO2024219350A1 (ja) | 遠隔装置および遠隔操縦システム | |
WO2024143551A1 (en) | Working vehicle remote operation assistance system and remote control apparatus | |
WO2024142870A1 (ja) | 作業車両の遠隔操縦支援装置及び遠隔操縦支援システム | |
KR20230010168A (ko) | 자동 주행 방법, 자동 주행 시스템, 및 자동 주행 프로그램 | |
JP2023005626A (ja) | 管理機制御システム及び歩行型管理機 | |
JP2024094637A (ja) | 遠隔装置および遠隔操縦システム | |
JP6671273B2 (ja) | 作業装置を装備した作業車 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |