CN116335228A - 建筑设备的远程遥控系统 - Google Patents

建筑设备的远程遥控系统 Download PDF

Info

Publication number
CN116335228A
CN116335228A CN202211647023.2A CN202211647023A CN116335228A CN 116335228 A CN116335228 A CN 116335228A CN 202211647023 A CN202211647023 A CN 202211647023A CN 116335228 A CN116335228 A CN 116335228A
Authority
CN
China
Prior art keywords
joystick
virtual joystick
section
working device
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211647023.2A
Other languages
English (en)
Inventor
赵范修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Modern Construction Machinery Co ltd
Original Assignee
Modern Construction Machinery Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Modern Construction Machinery Co ltd filed Critical Modern Construction Machinery Co ltd
Publication of CN116335228A publication Critical patent/CN116335228A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/205Remotely operated machines, e.g. unmanned vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2004Control mechanisms, e.g. control levers
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2004Control mechanisms, e.g. control levers
    • E02F9/2012Setting the functions of the control levers, e.g. changing assigned functions among operations levers, setting functions dependent on the operator or seat orientation
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/2029Controlling the position of implements in function of its load, e.g. modifying the attitude of implements in accordance to vehicle speed
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/2037Coordinating the movements of the implement and of the frame
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/2041Automatic repositioning of implements, i.e. memorising determined positions of the implement
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/267Diagnosing or detecting failure of vehicles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/005Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with signals other than visual, e.g. acoustic, haptic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Structural Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mathematical Physics (AREA)
  • Acoustics & Sound (AREA)
  • Computing Systems (AREA)
  • Operation Control Of Excavators (AREA)
  • Position Input By Displaying (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)

Abstract

本发明涉及建筑设备的远程遥控系统,将包括作业装置和旋转体的建筑设备通过移动设备进行远程遥控,其中,上述作业装置配备有根据真实操纵杆的操作信息而运动的动臂、斗杆、铲斗,上述旋转体装载在行走体上并使上述作业装置旋转,上述远程遥控系统可以包括:接收部,配备于上述建筑设备,并且与根据上述真实操纵杆的操作信息而对上述作业装置的动作进行控制的控制部进行通信;虚拟操纵杆界面,配备于上述移动设备,并且将模拟了上述真实操纵杆的虚拟操纵杆以图像输出在显示器上;触觉界面,配备于上述移动,并且在触摸和拖动上述虚拟操纵杆以执行操作时生成触觉配置文件;以及发送部,配备于上述移动设备,并且将上述虚拟操纵杆的操作信息传递到上述接收部以通过上述控制部控制上述作业装置的动作。

Description

建筑设备的远程遥控系统
技术领域
本发明涉及建筑设备的远程遥控系统。
背景技术
建筑设备通常是指土木建筑用机械,按照例如道路、河流、港口、铁路、成套设备等工程分别拥有适合其特性的机械结构和性能。即,建筑设备由于在工业现场形成的作业的多样性,可以分为挖掘设备、装载设备、运输设备、装卸设备、夯实设备、基础工程设备等,具体而言,是包括例如推土机、挖掘机、装载机、自卸车、滚筒等相当多的种类的设备在内的概念。
在工业现场,最基本执行的作业是挖掘。在工业施工时,主要执行将地面挖掘到一定深度以配备各种结构物、或者在地面埋设管道等的作业,这时,挖掘机的使用是最多的。
挖掘机所配备的操纵杆在结构上决定了2轴动作的最大允许范围,利用弹簧之类的装置,驾驶者可以识别动作起始点,从而防止无意的作业装置的复合动作,实现精准控制。
但是,根据作业环境,驾驶者无法直接操纵操纵杆时,例如,在极端的有害作业环境下作业时,就需要远程遥控挖掘机以执行作业,因此,研发了对挖掘机远程遥控的远程遥控系统。
发明内容
本发明是为了解决如上所述的现有技术的问题而创造的,本发明的目的在于提供一种建筑设备的远程遥控系统,将只有在操作真实操纵杆时才可以感觉的物理反馈实现在移动应用程序上,从而可以利用移动设备精准控制建筑设备(挖掘机)。
根据本发明的一个方面的建筑设备的远程遥控系统,是一种将包括作业装置和旋转体的建筑设备通过移动进行远程遥控的远程遥控系统,其中,上述作业装置配备有根据真实操纵杆的操作信息而运动的动臂、斗杆、铲斗,上述旋转体装载在行走体上并使所述作业装置旋转,上述远程遥控系统可以包括:接收部,配备于所述建筑设备,并且与根据所述真实操纵杆的操作信息而对所述作业装置的动作进行控制的控制部进行通信;虚拟操纵杆界面,配备于所述移动设备,并且将模拟了所述真实操纵杆的虚拟操纵杆以图像输出在显示器上;触觉界面,配备于所述移动设备,并且在触摸和拖动所述虚拟操纵杆以执行操作时生成触觉配置文件;以及发送部,配备于所述移动设备,并且将所述虚拟操纵杆的操作信息传递到所述接收部以通过所述控制部对所述作业装置的动作进行控制。
具体而言,所述虚拟操纵杆包括:核心,具有按照触摸和拖动方式朝向前后/左右移动的圆形图像;以及输入限制区域,具有限制所述作业装置的动作范围的四边形图像,所述虚拟操纵杆由生成在所述显示器的左侧的左侧虚拟操纵杆和生成在所述显示器的右侧的右侧虚拟操纵杆构成,所述核心的最初位置可以在所述输入限制区域的中央。
具体而言,所述虚拟操纵杆可以划分为死区区段、动作区段、未动作区段、第一边界区段和第二边界区段,上述死区区段为不对所述作业装置的油缸产生压力的区段,上述动作区段对所述作业装置的所述油缸产生压力以执行作业,所述未动作区段超出所述作业装置的作业执行范围,所述第一边界区段在所述死区区段与所述动作区段之间,所述第二边界区段在所述动作区段与所述未动作区段之间。
具体而言,在所述死区区段,生成告知所述作业装置准备作业的第一触觉配置文件,在所述第一边界区段,生成告知所述作业装置开始作业的第二触觉配置文件,在所述动作区段,生成告知所述作业装置正在执行作业的第三触觉配置文件,在所述第二边界区段,生成告知所述作业装置超出作业执行范围的第四触觉配置文件,在所述未动作区段,生成因所述作业装置超出作业执行范围而告知危险的第五触觉配置文件,所述第一、二、三、四、五触觉配置文件可以分别彼此不同地实现。
具体而言,还包括将手指触摸开始的点动态初始化为所述虚拟操纵杆的起点(原点)的动态初始化界面,所述动态初始化界面在所述显示器上划分有生成有所述左侧虚拟操纵杆的第一生成区域和生成有所述右侧虚拟操纵杆的第二生成区域,手指在所述第一、二生成区域的内部触摸时,可以设定将触摸开始的点作为起点(原点)的所述虚拟操纵杆的位置。
具体而言,可以是触摸所述第一、二生成区域各自的内部时,所述左侧虚拟操纵杆和所述右侧虚拟操纵杆被激活,以正常执行所述作业装置的动作指令,只触摸所述第一、二生成区域中的任一个区域时,无法执行所述作业装置的动作指令。
根据本发明的建筑设备的远程遥控系统通过对没有物理反馈系统的基于移动设备的远程遥控应用程序适用触觉界面,可以提高操作感和作业效率。
另外,根据本发明的建筑设备的远程遥控系统通过可以提高基于移动应用程序的远程遥控操作性能,代替硬件遥控器(发送器),可以相对于以往常规的远程遥控系统低成本地提供附加功能。
附图说明
图1是用于对根据本发明的一实施例的建筑设备的远程遥控系统进行说明的构成图。
图2是图示了移动应用程序操纵杆界面的显示器图。
图3是用于说明虚拟操纵杆界面的操作的显示器图。
图4用于说明虚拟操纵杆界面的触摸操作失误可能性的显示器图。
图5是用于说明在对虚拟操纵杆界面适用触觉界面时根据虚拟操纵杆操作的触觉配置文件的显示器图。
图6是用于对适用动态初始化界面生成虚拟操纵杆进行说明的显示器图。
图7是用于对虚拟操纵杆的非正常触摸告知触觉配置文件进行说明的显示器图。
图8是适用本发明的远程遥控系统的建筑设备的图。
具体实施方式
本发明的目的在于使特定的优点和新的特征基于与附图相关的下面的详细的说明和优选的实施例变得更清楚。应留意在为本说明书中的各个图的构成要素附加附图标记时,对于相同的构成要素,即使显示在其它图中,也应尽可能具有相同的编号。此外,在对本发明进行说明时,认为对相关的公知技术的具体说明可能不必要地模糊本发明的主旨时,省略其详细的说明。
下面,将参照附图对本发明的优选的实施例详细地进行说明。
图1是用于对根据本发明的一实施例的建筑设备的远程遥控系统进行说明的构成图,图2是图示了移动应用程序操纵杆界面的显示器图,图3是用于说明虚拟操纵杆界面的操作的显示器图,图4是用于对虚拟操纵杆界面的触摸操作失误可能性进行说明的显示器图,图5是用于说明在对虚拟操纵杆界面适用触觉界面时根据虚拟操纵杆操作的触觉配置文件的显示器图,图6是用于对适用动态初始化界面生成虚拟操纵杆进行说明的显示器图,图7是用于对虚拟操纵杆的非正常触摸告知触觉配置文件进行说明的显示器图,图8是适用有本发明的远程遥控系统的建筑设备的图。
如图1至图8所示,根据本发明的一实施例的远程遥控系统300构成为可以将只有在操作建筑设备100所配备的真实操纵杆140时才可以识别的物理反馈实现在移动应用程序上的系统,可以利用移动设备200对建筑设备100进行精准控制。
如图8所示,适用根据一实施例的远程遥控系统300的建筑设备100可以构成为包括作业装置110、旋转体120、行走体130。
这种建筑设备100可以是在建筑、建设现场实施刨土的挖掘作业、运输的装载作业、拆除建筑物的破碎作业、整理地面的整地作业等作业的挖掘机。在本实施例中,对适用远程遥控系统300的建筑设备100为挖掘机的情况进行说明,但事先声明建筑设备100是指通过真实操纵杆140执行作业的各种设备。
作业装置110设置在建筑设备100的一侧,包括动臂(Boom)111、斗杆(Arm)113、铲斗115,动臂111通过动臂油缸112来运动,斗杆113通过斗杆油缸114来运动,从而可以调节铲斗115的位置。铲斗115可以通过铲斗油缸116来执行细分的作业。
旋转体120在前部连接有作业装置110,并且装载在行走体130上,可以通过旋转系统使作业装置110进行360度旋转,可以构成为包括:构成框架结构的车架121和配设在车架121上的驾驶室122、发动机123。
在上文中,作业装置110可以通过驾驶室122所配备的真实操纵杆140的操作执行作业。这种真实操纵杆140可以连接于控制部150,以使作业装置110动作。
控制部150与真实操纵杆140连接,根据真实操纵杆140的操作信息并通过已存储的算法对作业装置110的动作进行控制,可以与建筑设备100所配备的现有的控制部相同或相似,因此在这里省略了详细的说明。虽然在下文中进行描述,但本实施例的控制部150即使根据通过远程遥控系统300而生成的虚拟操纵杆390的操作信息,也可以与真实操纵杆140相同地对作业装置110的动作进行控制。
真实操纵杆140分别配备在驾驶者的左右,通过前后/左右2个轴向操作对作业装置110进行操纵,利用了左/右真实操纵杆140的作业装置110的操纵具有如下所述的特征。
第一,通过前后/左右2个轴向操作来分配作业装置110的动作。即,左侧真实操纵杆140可以操作旋转体120的左/右旋转动作和斗杆113的进/出(in/out)动作,并且右侧真实操纵杆140可以操作铲斗115的进/出动作和动臂111的上/下(up/down)动作。
第二,需要一定量以上的力以将真实操纵杆140从最初状态向特定方向移动。
第三,从真实操纵杆140的中央位置到特定角度执行相应的动作时,在作业装置110的油缸112、114、116存在不产生压力的死区(dead zone)。
第四,由于真实操纵杆140构造上的特性,在一个方向上可以移动的最大角度受到限制,即使驾驶者施加再多力,真实操纵杆140也不会再移动。
第五,在2个轴向上移动的临界点是相互独立的,因此真实操纵杆140可以移动的区域通常为正四边形的形状。
第六,若在真实操纵杆140操作中松手(排除力),则真实操纵杆140通过复原力而移动到最初位置。
如上所述,建筑设备100所配备的真实操纵杆140的2轴动作的最大允许范围由结构决定,利用弹簧之类的装置,驾驶者可以识别动作起始点(死区),从而防止无意的作业装置110的复合动作,实现精准控制。
但是,根据作业环境,驾驶者无法直接操纵真实操纵杆140时,例如,在极端的有害作业环境下作业时,需要对建筑设备100进行远程操纵以执行作业,下面对远程操纵建筑设备100的远程遥控系统300进行说明。
如图1所示,远程遥控系统300可以包括移动200所配备的处理器310、选择部320、显示器330、虚拟操纵杆界面340、发送部370以及建筑设备100所配备的接收部380。
声明移动设备200是指包括智能手机、平板设备、便携式计算机等各种通信工具。
处理器310内置于移动200中,可以构成为执行存储在内存中的可执行程序指令。例如,处理器310可以与显示器330、虚拟操纵杆界面340、触觉界面350、动态初始化界面360、发送部370进行通信,可以在显示器330上生成虚拟操纵杆390,或者运行虚拟操纵杆界面340、触觉界面350、动态初始化界面360中的至少一个程序,或者运行将虚拟操纵杆390的操作信息通过发送部370传递到接收部380的程序。
选择部320可以从移动设备200的各种功能中选择远程操纵建筑设备100的功能,可以在移动设备200上以按钮方式实现,或者在显示器330上以图标方式实现。
选择部320可以与处理器310进行通信,可以激活远程遥控系统300并在显示器330上生成虚拟操纵杆390。
显示器330可以与处理器310进行通信,如果通过选择部320选择了远程遥控系统300,则通过虚拟操纵杆界面340而图像化的虚拟操纵杆390可以让驾驶者用肉眼看到。
虚拟操纵杆界面340可以与处理器310进行通信,如图2所示,可以将模拟了真实操纵杆140的虚拟操纵杆390以图像输出在显示器330上。
虚拟操纵杆390可以分别生成在显示器330的左右,以与真实操纵杆140对应。若虚拟操纵杆390被选择部320选择,则核心391和输入限制区域392可以图像化而生成在显示器330的指定位置上。
核心391可以是圆形的图像,可以让驾驶者通过触摸和拖动的方式进行操作,在前后/左右上进行移动。作业装置110随着核心391的移动而动作。
输入限制区域392可以是容纳核心391的大小的四边形的图像,可以限制作业装置110的动作范围。输入限制区域392是与核心391不同地设定的区域,其范围是固定的。
上述的核心391的最初位置可以是输入限制区域392的中央。
这种虚拟操纵杆390可以以与上述的真实操纵杆140相同的方式前后/左右2个轴向操作,如图3所示,可以由在显示器330的左侧生成的左侧虚拟操纵杆390和在显示器330的右侧生成的右侧虚拟操纵杆390组成。
左侧虚拟操纵杆390可以操纵旋转体120的左/右旋转动作和斗杆113的进/出(in/out)动作,右侧虚拟操纵杆390可以操纵铲斗115的进/出动作和动臂111的上/下(up/down)动作。如上所述,虚拟操纵杆390可以让驾驶者在驾驶室122在无法直接用真实操纵杆140操纵作业装置110的作业环境下通过远程进行操纵以执行作业。
虚拟操纵杆390的操作信息通过处理器310传递到发送部370。
发送部370可以与处理器310进行通信。发送部370将虚拟操纵杆390的操作信息传递到建筑设备100所配备的接收部380。发送部370可以将虚拟操纵杆390的操作信息传递到接收部380,以通过控制部150对作业装置110的动作进行控制。
这种发送部370可以由包括智能手机和平板设备以及远程遥控图形界面的移动应用程序构成,但并不限定于此。
接收部380可以与控制部150进行通信。接收部380将从发送部370传递的虚拟操纵杆390的操作信息传递到控制部150,根据虚拟操纵杆390的操作使作业装置110动作。
这种接收部380可以由接收来自Wi-Fi/蓝牙/LTE/5G等的无线信号的AP(AccessPoint,接入点)、以太网数据包串行化设备服务器(Ethernet Packet Serialize DeviceServer,)、CAN消息发送器构成,但并不限定于此。
在上文中,由虚拟操纵杆界面340生成的虚拟操纵杆390通过触摸和拖动方式操纵作业装置110,因此存在如下所述的问题,参考图3和图4进行说明。
第一,由于上述的真实操纵杆140的第二和第三特征,驾驶者可以通过依靠手的感觉来操纵真实操纵杆140,从而有效地执行对于两种以上的动作的指令(复合动作),但对于触摸方式的虚拟操纵杆390,存在必须从视觉上确认虚拟操纵杆390的核心391部分的位置的问题。
第二,由于上述的真实操纵杆140的第四和第五特征,驾驶者在最大速度动作点也可以有效地精准控制,但触摸方式的虚拟操纵杆390在朝向一个方向触摸和拖动核心391部分时,由于屏幕与手指之间的滑动(打滑),指尖触摸部分有可能超出到虚拟操纵杆390的输入限制区域392外,这时,如图4的右侧虚拟操纵杆390所示,即使核心391横跨输入限制区域392的边缘部分,但由于指尖触摸部分位于输入限制区域392之外,不能直接拖动核心391,因此存在不能精准控制作业装置110的问题。
第三,由于上述的真实操纵杆140的第六特征,驾驶者在开始操作真实操纵杆140时,即使不在视觉上确认真实操纵杆140的位置,真实操纵杆140也保证始终从最初位置开始,但对于触摸方式的虚拟操纵杆390,由于位置是静态固定的,在操作开始时,必须从视觉上确认核心391部分的位置,即使确认后,也存在难以准确触摸最初起点(原点)的问题。
第四,上述的真实操纵杆140的第二那样的特征难以在移动应用程序触摸界面上实现,不仅如此,由于上述的虚拟操纵杆390的如第三问题那样的移动应用程序触摸界面的局限,存在驾驶者的无意触摸导致的高速动作而发生事故的问题。
如上所述,模拟了真实操纵杆140的虚拟操纵杆390没有机械装置,因此难以在看着作业中的建筑设备100的同时确认虚拟操纵杆390的状态,虚拟操纵杆390没有死区区段T1时,作业装置110不可单独动作(动臂抬升时铲斗静止等),不可实时确认虚拟操纵杆390的状态时,存在难以对作业装置110精准控制的问题。
为此,本实施例的远程遥控系统300为了解决只适用上述的虚拟操纵杆界面340时的问题,如图1所示,可以在上述的虚拟操纵杆界面340的基础上还包括触觉界面350,参考图5进行说明。
为了解决上述的第一和第二问题,若想要通过虚拟操纵杆390识别并操纵死区区段T1,驾驶者必须在视觉上确认通过显示器330输出的虚拟操纵杆390,同时对建筑设备100进行远程控制,但凝视建筑设备100还必须操纵虚拟操纵杆390在条件上是不可能的,因此为了驾驶者可以利用手的触感和听觉识别虚拟操纵杆390的核心391的状态(位置),本实施例的远程遥控系统300在移动设备200上构建了触觉界面350。
由于构建触觉界面350,驾驶者可以识别从虚拟操纵杆核心391的起始位置(输入限制区域392的中央)到最大速度点的触觉配置文件。
下面,在本实施例中,触觉配置文件通过振动或声音的强度以及变化差异进行说明,但并不限定于此,当然可以适用帮助驾驶者识别状态的各种触觉配置文件。
触觉配置文件可以与处理器310进行通信,可以根据虚拟操纵杆核心391的位置产生可以区分的配置文件。
具体而言,虚拟操纵杆390可以划分为死区区段T1、动作区段T2、未动作区段T3、第一边界区段T12、第二边界区段T23,上述死区区段T1是对作业装置110的油缸112、114、116不产生压力的区段,上述动作区段T2对作业装置110的油缸112、114、116产生压力以执行作业,上述未动作区段T3超出作业装置110的作业执行范围,上述第一边界区段T12在死区区段T1与动作区段T2之间,上述第二边界区段T23在动作区段T2与未动作区段T3之间,这时触觉配置文件在各区段中可以不同。
死区区段T1的触觉配置文件是第一触觉配置文件,告知作业装置110准备作业,并且振动或声音的强度没有变化,可以在从驾驶者触摸最初位置的虚拟操纵杆核心391的瞬间拖动到死区区段T1结束的第一边界区段T12的期间生成。在这里,死区区段T1可以设定为从输入限制区域392的中心到一定距离。
第一边界区段T12的触觉配置文件是第二触觉配置文件,告知作业装置110开始作业,并且振动或声音的强度瞬间性大于第一触觉配置文件,可以在虚拟操纵杆核心391的位置位于死区区段T1结束处时瞬间性生成。
动作区段T2的触觉配置文件是第三触觉配置文件,告知作业装置110正在执行作业,并且从第二触觉配置文件的振动或声音的强度一点点增大,可以在从第一边界区段T12拖动到动作区段T2结束的第二边界区段T23的期间生成。在这里,动作区段T2可以设定为从死区区段T1结束处到输入限制区域392的边缘的距离。第三触觉配置文件在动作区段T2中移动时,振动或声音的强度与动作速度成比例变化。
第二边界区段T23的触觉配置文件是第四触觉配置文件,告知作业装置110超出作业执行范围,并且振动或声音的强度瞬间性大于第三触觉配置文件,可以在虚拟操纵杆核心391的位置位于动作区段T2结束处时瞬间性生成。
未动作区段T3的触觉配置文件是第五触觉配置文件,因作业装置110超出作业执行范围而告知驾驶者危险,并且维持第四触觉配置文件的振动或声音的最高强度,可以在虚拟操纵杆核心391的位置在超出输入限制区域392的部分拖动的期间生成。
如上所述,每个区段产生的第一、二、三、四、五触觉配置文件彼此不同地实现,以使驾驶者轻易识别。
本实施例的远程遥控系统300在解决只适用上述的虚拟操纵杆界面340时的问题的同时,如图1所示,可以在上述的虚拟操纵杆界面340和触觉界面350的基础上还包括动态初始化界面360,以可以使驾驶者更易于操作上述的虚拟操纵杆界面340,参考图6进行说明。
为了解决上述的第三和第四问题,通过适用将手指触摸开始的点动态初始化为虚拟操纵杆390的起点(原点)的动态初始化界面360,对于通过移动设备200的显示器330输出的虚拟操纵杆390,即使驾驶者在视觉上确认后不开始触摸,也可以始终在虚拟操纵杆390的最初位置(原点)开始动作。
动态初始化界面360可以与处理器310进行通信,可以在显示器330上划分有生成有左侧虚拟操纵杆390的第一生成区域S1和生成有右侧虚拟操纵杆390的第二生成区域S2,驾驶者在第一、二生成区域S1、S2的内部触摸手指时,可以设定以触摸开始的点为起点(原点)的虚拟操纵杆390的位置。
如图2所示,在第一、二生成区域S1、S2生成的左右侧虚拟操纵杆390以图像生成在显示器330上设定的固定位置的状态下,若驾驶者触摸第一、二生成区域S1、S2各自的任一部分,则如图6所示,从最初位置(参考图2)移动到手指所触摸的位置,所移动的位置即为起点。
另外,在第一、二生成区域S1、S2的生成的左右侧虚拟操纵杆390最初未以图像生成在第一、二生成区域S1、S2的状态下,若驾驶者用手指触摸,则可以以图像生成在所触摸的位置,并且所生成的位置即为起点。
为了解决上述的第四问题,本实施例的远程遥控系统300可以构成为只在双手手指触摸第一、二生成区域S1、S2各自的内部时激活左/右虚拟操纵杆390,以正常执行作业装置110的动作指令,只是任一只手指触摸到第一、二生成区域S1、S2中的任一个区域时,无法执行作业装置110的动作指令,参考图7进行说明。
对于第一、二生成区域S1、S2中的任一个区域,例如,如图7所示,在手指只触摸第一生成区域S1而只激活左侧虚拟操纵杆390,手指不触摸第二生成区域S2而不激活右侧虚拟操纵杆390的情况下,可以在第一生成区域S1产生第六触觉配置文件,以识别非正常触摸状态。
告知非正常触摸状态的第六触觉配置文件可以适用与上述的死区区段T1的第一触觉配置文件不同的振动或声音。若第六触觉配置文件产生,则驾驶者对其进行识别,若触摸没触摸的右侧虚拟操纵杆390,则从第六触觉配置文件变为第一触觉配置文件,以正常执行作业装置110的动作指令。
在上文中围绕本发明的实施例对本发明进行了说明,但其只不过是例示,并不限定本发明,只要是本发明所属领域技术人员就可以知道可以在不脱离本实施例的实质性技术内容的范围内进行没有例示在实施例的各种组合或变形和应用。因此,能够从本发明的实施例容易地导出的变形和应用所涉及的技术内容应解释为包含在本发明中。
符号说明
100:建筑设备 110:作业装置
111:动臂 112:动臂油缸
113:斗杆 114:斗杆油缸
115:铲斗 116:铲斗油缸
120:旋转体 121:车架
122:驾驶室 123:发动机
130:行走体 140:真实操纵杆
150:控制部 200:移动设备
300:远程遥控系统 310:处理器
320:选择部 330:显示器
340:虚拟操纵杆界面 350:触觉界面
360:动态初始化界面 370:发送部
380:接收部 390:虚拟操纵杆
391:核心 392:输入限制区域
T1:死区区段 T2:动作区段
T3:未动作区段 T12:第一边界区段
T23:第二边界区段 S1:第一生成区域
S2:第二生成区域。

Claims (4)

1.一种建筑设备的远程遥控系统,将包括作业装置和旋转体的建筑设备通过移动设备进行远程遥控,其中,所述作业装置配备有根据真实操纵杆的操作信息而运动的动臂、斗杆、铲斗,所述旋转体装载在行走体上并使所述作业装置旋转,
上述建筑设备的远程遥控系统包括:
接收部,配备于所述建筑设备,并且与根据所述真实操纵杆的操作信息而对所述作业装置的动作进行控制的控制部进行通信;
虚拟操纵杆界面,配备于所述移动设备,并且将模拟了所述真实操纵杆的虚拟操纵杆以图像输出在显示器上;
触觉界面,配备于所述移动设备,并且在触摸和拖动所述虚拟操纵杆以执行操作时生成触觉配置文件;以及
发送部,配备于所述移动设备,并且将所述虚拟操纵杆的操作信息传递到所述接收部以通过所述控制部对所述作业装置的动作进行控制,
所述虚拟操纵杆划分为死区区段、动作区段、未动作区段、第一边界区段和第二边界区段,
所述死区区段为不对所述作业装置的油缸产生压力的区段,所述动作区段对所述作业装置的所述油缸产生压力以执行作业,所述未动作区段超出所述作业装置的作业执行范围,所述第一边界区段在所述死区区段与所述动作区段之间,所述第二边界区段在所述动作区段与所述未动作区段之间,
在所述死区区段,生成告知所述作业装置准备作业的第一触觉配置文件,
在所述第一边界区段,生成告知所述作业装置开始作业的第二触觉配置文件,
在所述动作区段,生成告知所述作业装置正在执行作业的第三触觉配置文件,
在所述第二边界区段,生成告知所述作业装置超出作业执行范围的第四触觉配置文件,
在所述未动作区段,生成因所述作业装置超出作业执行范围而告知危险的第五触觉配置文件,
所述第一触觉配置文件、第二触觉配置文件、第三触觉配置文件、第四触觉配置文件、第五触觉配置文件分别彼此不同地实现。
2.根据权利要求1所述的建筑设备的远程遥控系统,其中,所述虚拟操纵杆包括:
核心,具有按照触摸和拖动方式朝向前后/左右移动的圆形图像;以及
输入限制区域,具有限制所述作业装置的动作范围的四边形图像,
所述虚拟操纵杆由生成在所述显示器的左侧的左侧虚拟操纵杆和生成在所述显示器的右侧的右侧虚拟操纵杆构成,
所述核心的最初位置在所述输入限制区域的中央。
3.根据权利要求2所述的建筑设备的远程遥控系统,其中,还包括:
将手指触摸开始的点动态初始化为所述虚拟操纵杆的起点(原点)的动态初始化界面,
所述动态初始化界面使在所述显示器上划分有生成有所述左侧虚拟操纵杆的第一生成区域和生成有所述右侧虚拟操纵杆的第二生成区域,手指在所述第一生成区域、第二生成区域的内部触摸时,设定将触摸开始的点作为起点(原点)的所述虚拟操纵杆的位置。
4.根据权利要求3所述的建筑设备的远程遥控系统,其中,
触摸所述第一生成区域、第二生成区域各自的内部时,所述左侧虚拟操纵杆和所述右侧虚拟操纵杆被激活,以正常执行所述作业装置的动作指令,
只触摸所述第一生成区域、第二生成区域中的任一个区域时,无法执行所述作业装置的动作指令。
CN202211647023.2A 2021-12-22 2022-12-21 建筑设备的远程遥控系统 Pending CN116335228A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210185481A KR102504937B1 (ko) 2021-12-22 2021-12-22 건설장비의 원격조종 시스템
KR10-2021-0185481 2021-12-22

Publications (1)

Publication Number Publication Date
CN116335228A true CN116335228A (zh) 2023-06-27

Family

ID=85509045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211647023.2A Pending CN116335228A (zh) 2021-12-22 2022-12-21 建筑设备的远程遥控系统

Country Status (4)

Country Link
US (1) US11775170B2 (zh)
KR (1) KR102504937B1 (zh)
CN (1) CN116335228A (zh)
DE (1) DE102022134310A1 (zh)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6836982B1 (en) * 2003-08-14 2005-01-04 Caterpillar Inc Tactile feedback system for a remotely controlled work machine
US7634863B2 (en) * 2006-11-30 2009-12-22 Caterpillar Inc. Repositioning assist for an excavating operation
KR102003426B1 (ko) 2009-03-12 2019-07-24 임머숀 코퍼레이션 텍스처 엔진에 대한 시스템 및 방법
US9538677B2 (en) * 2013-03-13 2017-01-03 General Electric Company System for mobile device cradle and tube gripper of non-destructive testing inspection device
KR20150025011A (ko) * 2013-08-28 2015-03-10 현대중공업 주식회사 굴삭기용 감성 시스템
JP6938703B2 (ja) * 2015-10-09 2021-09-22 住友重機械工業株式会社 ショベル操作装置、ショベル操作方法、ショベル、及びショベル操作用プログラム
KR101825071B1 (ko) * 2016-05-09 2018-02-02 (주)언맨드솔루션 특수목적기계의 주행구동에 따른 상태정보 제공 시스템
KR20170138740A (ko) * 2016-06-08 2017-12-18 김용래 건설장비 원격조종 시스템 및 방법
US20180011538A1 (en) * 2016-07-08 2018-01-11 Immersion Corporation Multimodal haptic effects
US10061343B2 (en) * 2016-08-29 2018-08-28 Caterpillar Sarl Motion coupling of multiple electronic control inputs
KR102016681B1 (ko) 2018-10-18 2019-08-30 김기연 에뮬레이팅 게임류에 적용가능한 스마트폰용 조작 사용자 인터페이스 방법
NL2022360B1 (nl) * 2019-01-10 2020-08-13 Hudson I P B V Mobiele inrichting
JP2023516093A (ja) * 2020-03-06 2023-04-17 オシュコッシュ・コーポレーション リフトデバイスの革新
CN213338437U (zh) * 2020-09-03 2021-06-01 南京信息工程大学 一种无人挖掘机及其远程管理监控系统
US20230016842A1 (en) * 2021-07-15 2023-01-19 Cnh Industrial America Llc Touchpad machine control

Also Published As

Publication number Publication date
US20230195305A1 (en) 2023-06-22
US11775170B2 (en) 2023-10-03
KR102504937B1 (ko) 2023-03-02
DE102022134310A1 (de) 2023-06-22

Similar Documents

Publication Publication Date Title
AU2004202637B2 (en) Tactile feedback system for a remotely controlled work machine
US10061343B2 (en) Motion coupling of multiple electronic control inputs
KR102118386B1 (ko) 작업 기계
WO2018008188A1 (ja) 作業機械
US10056009B2 (en) Training apparatus
EP3489422B1 (en) Controlling earthmoving machine
US7269943B2 (en) Apparatus and method for controlling work tool vibration
CN111032969B (zh) 作业机械
EP3489423B1 (en) Controlling earthmoving machine
EP2516757B1 (en) System and method for limiting operator control of an implement
CN106545039A (zh) 挖土机
CN110578347B (zh) 作业机器自保护系统
JP2023174887A (ja) 作業機械、情報処理装置
JP6732361B2 (ja) ショベル操作装置、ショベル操作方法、ショベル、及びショベル操作用プログラム
JP7484401B2 (ja) 作業機械の遠隔操作支援システム
EP2839170B1 (en) Systems and methods for attachment control signal modulation
CN116335228A (zh) 建筑设备的远程遥控系统
CN211113858U (zh) 一种先导操作失效时的防护控制装置及挖掘机
EP3450634B1 (en) Method and apparatus for machine operator command attenuation
CN106948406A (zh) 一种挖掘机快速切换挖土甩土模式的控制方法及系统
EP3601686B1 (de) Verfahren zum bedienen einer arbeitsmaschine mittels eines berührungsempfindlichen bildschirms, steuergerät und bediensystem zum bedienen einer arbeitsmaschine
KR20120131386A (ko) 굴착기
JP6938703B2 (ja) ショベル操作装置、ショベル操作方法、ショベル、及びショベル操作用プログラム
WO2023195489A1 (ja) 建設機械の操作装置及び操作装置を用いた建設機械の操作システム
WO2022144060A1 (en) Position detection display method and device interface for backhoes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Gyeonggi Do, South Korea

Applicant after: HD Modern Construction Machinery Co.,Ltd.

Address before: Seoul, South Kerean

Applicant before: Modern Construction Machinery Co.,Ltd.

CB02 Change of applicant information