CN113938655A - 一种摄像头自动跟踪抓具的方法、装置及抓料机 - Google Patents

一种摄像头自动跟踪抓具的方法、装置及抓料机 Download PDF

Info

Publication number
CN113938655A
CN113938655A CN202111244724.7A CN202111244724A CN113938655A CN 113938655 A CN113938655 A CN 113938655A CN 202111244724 A CN202111244724 A CN 202111244724A CN 113938655 A CN113938655 A CN 113938655A
Authority
CN
China
Prior art keywords
angle
boom
camera
control data
arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111244724.7A
Other languages
English (en)
Inventor
林飞宇
陈林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sany Marine Heavy Industry Co Ltd
Original Assignee
Sany Marine Heavy Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sany Marine Heavy Industry Co Ltd filed Critical Sany Marine Heavy Industry Co Ltd
Priority to CN202111244724.7A priority Critical patent/CN113938655A/zh
Publication of CN113938655A publication Critical patent/CN113938655A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection

Abstract

本申请公开了一种摄像头自动跟踪抓具的方法、装置及抓料机,其中,摄像头自动跟踪抓具的方法应用于抓料机上,所述抓料机包括抓料机包括抓料机车身、抓具、动臂和斗杆,所述动臂与所述抓料机车身连接,所述斗杆与所述动臂连接,所述抓具与所述斗杆连接,包括:根据所述动臂和所述斗杆的实时姿态,计算控制数据;其中,所述控制数据表示所述抓具相对于所述抓料机车身的角度值;以及根据所述控制数据,调整摄像头的角度以使所述摄像头对准所述抓具。本申请可以解决操控手需要手动控制云台摄像头对齐不断移动的抓具,耗费时间和精力的问题。

Description

一种摄像头自动跟踪抓具的方法、装置及抓料机
技术领域
本申请涉及抓料机技术领域,具体涉及一种摄像头自动跟踪抓具的方法、装置及抓料机。
背景技术
抓料机在使用时,操控手通过远程操控抓料机,需要实时观察抓料机车身上安装的云台摄像头回传的视频画面,根据视频画面进行抓料机动臂、斗杆、抓具的操作。而抓料机动臂、斗杆运动范围大,经常运动到摄像头视野之外,这时,操控手看不见抓具周围的画面,就需要远程操控云台摄像头转动使得能看见抓具。操控手除操控抓料机外,还需要手动控制云台摄像头对齐不断移动的抓具,因此给操控带来了很大的不便,耗费操控手的时间和精力。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种摄像头自动跟踪抓具的方法、装置及抓料机,可以解决操控手需要手动控制云台摄像头对齐不断移动的抓具,耗费时间和精力的问题。
根据本申请的一个方面,提供了一种摄像头自动跟踪抓具的方法,应用于抓料机上,其中,所述抓料机包括抓料机车身、抓具、动臂和斗杆,所述动臂与所述抓料机车身连接,所述斗杆与所述动臂连接,所述抓具与所述斗杆连接,所述摄像头自动跟踪抓具的方法包括:根据所述动臂和所述斗杆的实时姿态,计算控制数据;其中,所述控制数据表示所述抓具相对于所述抓料机车身的角度值;以及根据所述控制数据,调整摄像头的角度以使所述摄像头对准所述抓具。
在一实施例中,所述摄像头自动跟踪抓具的方法还包括:根据目标抓料位置,确定所述摄像头的监控角度值;根据所述监控角度值,调整所述摄像头的角度以使所述摄像头从所述抓具切换到所述目标抓料位置。
在一实施例中,所述根据目标抓料位置,确定所述摄像头的监控角度值包括:获取所述目标抓料位置与所述摄像头的距离;根据所述距离,确定所述摄像头的监控角度值。
在一实施例中,在所述根据所述动臂和所述斗杆的实时姿态,计算控制数据之前,所述摄像头自动跟踪抓具的方法还包括:获取所述动臂和所述斗杆的所述实时姿态;其中,所述实时姿态包括所述动臂相对于水平面的动臂角度以及所述斗杆相对于所述水平面的斗杆角度;其中,所述根据所述动臂和所述斗杆的实时姿态,计算控制数据包括:根据所述动臂角度和所述斗杆角度,计算所述控制数据。
在一实施例中,所述根据所述动臂角度和所述斗杆角度,计算所述控制数据包括:根据所述动臂角度和所述斗杆角度的正负值,计算所述控制数据;其中,当所述动臂和/或所述斗杆相对于水平面沿竖直方向向上倾转时,所述动臂角度和/或所述斗杆角度为正值。
在一实施例中,所述根据所述动臂和所述斗杆的实时姿态,计算控制数据包括:根据所述动臂角度、所述斗杆角度、所述动臂的长度和所述斗杆的长度,计算所述控制数据。
在一实施例中,所述根据所述动臂和所述斗杆的实时姿态,计算控制数据包括:当所述动臂角度和所述斗杆角度正负值不同时,所述控制数据=arctan((Lm*sina-Ls*sinb)/(Lm*cosa+Ls*cosb));其中,Lm表示所述动臂的长度,Ls表示所述斗杆的长度,a表示所述动臂相对于水平面的动臂角度,b表示所述斗杆相对于水平面的斗杆角度。
在一实施例中,所述根据所述动臂和所述斗杆的实时姿态,计算控制数据包括:当所述动臂角度和所述斗杆角度的正负值相同,并且所述动臂和所述斗杆均相对于水平面沿竖直方向向上倾转时,所述控制数据=arctan((Lm*sina+Ls*sinb)/(Lm*cosa+Ls*cosb));其中,Lm表示所述动臂的长度,Ls表示所述斗杆的长度,a表示所述动臂相对于水平面的动臂角度,b表示所述斗杆相对于水平面的斗杆角度。
在一实施例中,所述根据所述动臂和所述斗杆的实时姿态,计算控制数据包括:当所述动臂角度和所述斗杆角度的正负值相同,并且所述动臂和所述斗杆均相对于水平面沿竖直方向向下倾转时,所述控制数据=arctan((Lm*sina+Ls*sinb)/(Lm*cosa+Ls*cosb));其中,Lm表示所述动臂的长度,Ls表示所述斗杆的长度,a表示所述动臂相对于水平面的动臂角度,b表示所述斗杆相对于水平面的斗杆角度。
在一实施例中,所述摄像头自动跟踪抓具的方法还包括:根据摇杆指令,调整摄像头的角度;其中,所述摇杆指令由人为发出。
根据本申请的另一个方面,提供了一种摄像头自动跟踪抓具的装置,应用于抓料机上,其中,所述抓料机包括抓料机车身、抓具、动臂和斗杆,所述动臂与所述抓料机车身连接,所述斗杆与所述动臂连接,所述抓具与所述斗杆连接,所述摄像头自动跟踪抓具的装置包括:计算模块,用于根据所述动臂和所述斗杆的实时姿态,计算控制数据;其中,所述控制数据表示所述抓具相对于所述抓料机车身的角度值;以及调整模块,用于根据所述控制数据,调整摄像头的角度以使所述摄像头对准所述抓具。
根据本申请的另一个方面,提供了一种抓料机,包括:抓料机车身;动臂,所述动臂与所述抓料机车身连接;斗杆,所述斗杆与所述动臂连接;抓具,所述抓具与所述斗杆连接,所述抓具用于抓取物料;摄像头,所述摄像头安装在所述抓料机车身上;以及控制器,所述控制器与所述摄像头通信连接,所述控制器用于执行上述任一实施例所述的摄像头自动跟踪抓具的方法。
本申请提供的摄像头自动跟踪抓具的方法、装置及抓料机,仅通过动臂、斗杆的实时姿态,例如动臂、斗杆的角度信息,就可以计算得到摄像头的控制角度指令,使操控手操控抓料机时,摄像头可以自动根据抓具的俯仰角度调整自己的俯仰角度,达到摄像头自动跟踪的效果,免去了操控手控制云台摄像头的工作,提高了抓料工作效率。并且直接根据动臂和斗杆的实时姿态计算角度信息,运算量较小,降低了控制器的运算负荷,提高了运算效率,增加了实时跟踪的反应速率。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1是本申请一示例性实施例提供的摄像头自动跟踪抓具的方法的流程示意图。
图2是本申请另一示例性实施例提供的摄像头自动跟踪抓具的方法的流程示意图。
图3是本申请另一示例性实施例提供的摄像头自动跟踪抓具的方法的流程示意图。
图4是本申请一示例性实施例提供的抓料机工作的k1情况的示意图。
图5是本申请一示例性实施例提供的抓料机工作的k2情况的示意图。
图6是本申请一示例性实施例提供的抓料机工作的k3情况的示意图。
图7是本申请一示例性实施例提供的抓料机工作的k4情况的示意图。
图8是本申请一示例性实施例提供的摄像头自动跟踪抓具的装置的结构示意图。
图9是本申请另一示例性实施例提供的摄像头自动跟踪抓具的装置的结构示意图。
图10是本申请一示例性实施例提供的电子设备的结构图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
示例性抓料机
本申请可以应用于一种抓料机,该抓料机包括:抓料机车身;动臂,动臂与抓料机车身连接;斗杆,斗杆与动臂连接;抓具,抓具与斗杆连接,抓具用于抓取物料;摄像头,摄像头安装在抓料机车身上;以及控制器,控制器与摄像头通信连接,控制器用于执行本申请提供的摄像头自动跟踪抓具的方法。
动臂和斗杆为连杆,动臂和斗杆在实际工作过程中分别与水平面产生不同的夹角,并且当动臂和斗杆沿水平面向上或向下倾转时,会产生相对于水平面正负值不同的夹角。因此,根据动臂和斗杆相对于水平面的夹角,可以计算出最终悬挂在斗杆一端的抓具相对于抓料机的位置,也就是计算出抓具相对于抓料机的倾转角度,根据抓具的倾转角度,可以控制摄像头进行转动,从而使摄像头的画面中心对齐抓具,并且一直跟随抓具移动而移动,达到摄像头自动跟踪抓具的目的。仅通过动臂和斗杆的角度信息,来实现摄像头的自动跟踪,大大提高工作效率,节省操控手的操控时间,并且该算法运算量较小,减少控制器的运算负荷。
该抓料机还可以包括远程操控台,摄像头拍摄的视频画面通过5G网络实时传输至远程操作台显示器上,操控人员在远程操控台座椅上操控左右手柄,该手柄控制信号通过5G网络传输至抓料机,实现对抓料机的动臂、斗杆、抓具的控制。操控手还可以直接通过直接控制远程操控台上的摇杆,达到调整摄像头转动角度以及变焦的目的。摄像头可以采用云台摄像头。斗杆和动臂的驱动可以采用双主泵,也可以调节为单主泵。
示例性方法
图1是本申请一示例性实施例提供的摄像头自动跟踪抓具的方法的流程示意图,如图1所示,该一种摄像头自动跟踪抓具的方法可以应用于上述示例性抓料机上,该摄像头自动跟踪抓具的方法包括:
步骤100:根据动臂和斗杆的实时姿态,计算控制数据。
其中,控制数据表示抓具相对于抓料机车身的角度值。
动臂与斗杆之间采用铰接的连接方式,动臂连接在抓料机车身上,动臂可以以抓料机车身为支点进行旋转,动臂可以相对于水平面沿竖直方向向上旋转或沿竖直方向向下旋转,斗杆连接在动臂上,斗杆可以以与动臂连接的节点为支点进行旋转,斗杆可以相对于水平面沿竖直方向向上旋转或沿竖直方向向下旋转,因此,计算悬挂在斗杆一端的抓具相对于抓料机车身的角度,需要根据动臂和斗杆两个部分的实时姿态才可以计算得到。
步骤200:根据控制数据,调整摄像头的角度以使摄像头对准抓具。
最终计算得到的控制数据可以表示抓具相对于抓料机车身的角度值,控制数据最终可以转化为控制指令,也就是说抓具相对于抓料机车身的角度值,可以作为摄像头上下转动的角度参考值,根据抓具相对于抓料机车身的角度值,来调整摄像头的角度,使摄像头拍摄的视频中心位置对准抓具,达到自动跟踪的目的。
本申请提供的摄像头自动跟踪抓具的方法,仅通过动臂、斗杆的实时姿态,例如动臂、斗杆的角度信息,就可以计算得到摄像头的控制角度指令,使操控手操控抓料机时,摄像头可以自动根据抓具的俯仰角度调整自己的俯仰角度,达到摄像头自动跟踪的效果,免去了操控手控制云台摄像头的工作,提高了抓料工作效率。并且直接根据动臂和斗杆的实时姿态计算角度信息,运算量较小,降低了控制器的运算负荷,提高了运算效率,增加了实时跟踪的反应速率。
图2是本申请另一示例性实施例提供的摄像头自动跟踪抓具的方法的流程示意图,如图2所示,上述摄像头自动跟踪抓具的方法还可以包括:
步骤300:根据目标抓料位置,确定摄像头的监控角度值。
摄像头可以依据控制数据调整角度,拍摄和传输以抓斗为中心的实时画面,还可以依据目标抓料位置确定监控角度值。当摄像头切换到监控角度值时,依据监控角度值可以拍摄和传输以目标抓料位置为中心的实时画面,用于观察目标抓料位置的实时情况。其中,目标抓料位置可以表示物料摆放的位置,抓具到目标抓料位置处抓取物料,观察目标抓料位置可以便于工作人员了解抓取情况以及被抓取物料的情况。
步骤400:根据监控角度值,调整摄像头的角度以使摄像头从抓具切换到目标抓料位置。
摄像头可以自动追踪抓具运行,也可以人为切换到目标抓料位置,用以观察抓取位置的情况,可以存储或实时计算监控角度值,用以调整摄像头的角度值,使摄像头可以快速从追踪模式切换到固定模式。追踪模式为根据控制数据,调整摄像头的角度以使摄像头对准抓具,固定模式为根据监控角度值,调整摄像头的角度以使摄像头从抓具切换到目标抓料位置,也就是固定模式为摄像头拍摄固定画面,该固定画面可以用于观察目标抓料位置的情况,便于操控手观察物料的实时情况。
固定模式中的目标抓料位置也可以替换为抓具的最低位置或抓具的最远位置,或其他便于操控手观察的位置,摄像头可以从追踪模式人为切换到固定模式,以提供更多的视频画面供操控手观察,适应抓料环境的多样性。
在一实施例中,上述步骤300还可以调整为:获取目标抓料位置与摄像头的距离;根据距离,确定摄像头的监控角度值。
获取目标抓料位置与摄像头之间的水平距离,根据水平距离以及摄像头到地面之间的垂直距离,可以计算出摄像头的监控角度值,从而调整摄像头的转动方向以及转动角度,使摄像头可以以目标抓料位置为中心,拍摄目标抓料位置的固定画面,便于操控手观察物料的实时情况。因抓料机可能会产生移动,因此目标抓料位置与摄像头之间的水平距离可能会随之产生变化,根据目标抓料位置与摄像头之间的水平距离可以实时计算监控角度值,以使摄像头能够快速切换到以目标抓料位置为中心的拍摄角度。
图3是本申请另一示例性实施例提供的摄像头自动跟踪抓具的方法的流程示意图,如图3所示,在上述步骤100之前,上述摄像头自动跟踪抓具的方法还可以包括:
步骤500:获取动臂和斗杆的实时姿态。
其中,实时姿态包括动臂相对于水平面的动臂角度以及斗杆相对于水平面的斗杆角度。
通过在动臂和斗杆上分别安装角度传感器,可以直接检测到动臂相对于水平面的动臂角度以及斗杆相对于水平面的斗杆角度。因为抓具的最终定位需要通过斗杆和动臂两根杆共同决定,因此,无法直接检测抓具相对于抓料机的角度信息,需要通过动臂和斗杆的角度信息来进行计算。
其中,上述步骤100可以对应调整为:
步骤110:根据动臂角度和斗杆角度,计算控制数据。
根据动臂的实时角度和斗杆的实时角度,可以计算最终抓具相对于抓料机的角度信息,因为抓具的最终定位需要通过斗杆和动臂两根杆共同决定,因此,无法直接检测抓具相对于抓料机的角度信息,需要通过动臂和斗杆的角度信息来进行计算。
在一实施例中,上述步骤110还可以调整为:根据动臂角度和斗杆角度的正负值,计算控制数据;其中,当动臂和/或斗杆相对于水平面沿竖直方向向上倾转时,动臂角度和/或斗杆角度为正值。
当动臂和/或斗杆相对于水平面沿竖直方向向上倾转时,动臂角度和/或斗杆角度为正值,当和/或斗杆相对于水平面沿竖直方向向下倾转时,动臂角度和/或斗杆角度为负值,斗杆和动臂的倾转方向可以不同,因此动臂和斗杆的角度值也可能正负取值不同,动臂和斗杆的正负值对于最终确定摄像头向上还是向下转动起到关键作用。
在一实施例中,上述步骤100可以调整为:根据动臂角度、斗杆角度、动臂的长度和斗杆的长度,计算控制数据。
根据动臂的实时角度和斗杆的实时角度,以及已知的动臂长度和斗杆长度,运用三角函数可以换算出抓具相对于抓料机的角度信息。
斗杆和动臂在工作工程中,根据沿水平面不同的倾转方向可以划分为k1、k2、k3和k4四种情况。图4是本申请一示例性实施例提供的抓料机工作的k1情况的示意图,如图4所示,k1情况为斗杆和动臂均沿竖直方向向上倾转。图5是本申请一示例性实施例提供的抓料机工作的k2情况的示意图,如图5所示,k2情况为动臂沿竖直方向向上倾转,斗杆沿竖直方向向下倾转。图6是本申请一示例性实施例提供的抓料机工作的k3情况的示意图,如图6所示,k3情况为斗杆沿竖直方向向上倾转,动臂沿竖直方向向下倾转。图7是本申请一示例性实施例提供的抓料机工作的k4情况的示意图,如图7所示,k4情况为斗杆和动臂均沿竖直方向向下倾转。
在一实施例中,上述步骤100还可以调整为:当动臂角度和斗杆角度正负值不同时,控制数据=arctan((Lm*sina-Ls*sinb)/(Lm*cosa+Ls*cosb));其中,Lm表示动臂的长度,Ls表示斗杆的长度,a表示动臂相对于水平面的动臂角度,b表示斗杆相对于水平面的斗杆角度。
该情况符合k2情况和k3情况,但k3情况在现实中不可能发生,斗杆和动臂不会形成此种运动情况,因此,该实施例符合k2情况,如图5所示,也就是当动臂沿竖直方向向上倾转,斗杆沿竖直方向向下倾转时,控制数据的计算公式可以采用arctan((Lm*sina-Ls*sinb)/(Lm*cosa+Ls*cosb)),最终得到的控制数据为抓具相对于抓料机的角度值。在该实施例中,动臂角度为正值,斗杆角度为负值,在公式的计算中,a的值为正值,b的值取负值,角度的正负值也需要一并代入进行计算,角度的正负值最终影响摄像头向上或向下旋转。
在一实施例中,上述步骤100还可以调整为:当动臂角度和斗杆角度的正负值相同,并且动臂和斗杆均相对于水平面沿竖直方向向上倾转时,控制数据=arctan((Lm*sina+Ls*sinb)/(Lm*cosa+Ls*cosb));其中,Lm表示动臂的长度,Ls表示斗杆的长度,a表示动臂相对于水平面的动臂角度,b表示斗杆相对于水平面的斗杆角度。
本实施例符合k1情况,如图4所示,斗杆和动臂均沿竖直方向向上倾转,也就是a和b的取值均为正,控制数据的计算公式可以采用arctan((Lm*sina+Ls*sinb)/(Lm*cosa+Ls*cosb)),最终得到的控制数据为抓具相对于抓料机的角度值,因a和b的取值均为正,最终摄像头的转向角度也是向上转动,符合斗杆和动臂均沿竖直方向向上倾转的实际情况,最终摄像头能够达到自动追踪抓具的效果。
在一实施例中,上述步骤100还可以调整为:当动臂角度和斗杆角度的正负值相同,并且动臂和斗杆均相对于水平面沿竖直方向向下倾转时,控制数据=arctan((Lm*sina+Ls*sinb)/(Lm*cosa+Ls*cosb));其中,Lm表示动臂的长度,Ls表示斗杆的长度,a表示动臂相对于水平面的动臂角度,b表示斗杆相对于水平面的斗杆角度。
本实施例符合k4情况,如图7所示,斗杆和动臂均沿竖直方向向下倾转,也就是a和b的取值均为负,控制数据的计算公式仍可以采用arctan((Lm*sina+Ls*sinb)/(Lm*cosa+Ls*cosb)),但因为a和b的取值为负值,因此最终摄像头的转向角度也是向下转动,符合斗杆和动臂均沿竖直方向向下倾转的实际情况,虽然与k1情况采用同一计算公式,但是可以分辨摄像头向上或向下的实际转向方向,达到自动追踪抓具的效果。
上述摄像头自动跟踪抓具的方法还可以包括:根据摇杆指令,调整摄像头的角度;其中,摇杆指令由人为发出。
抓料机上包括远程操控台,操控手可以通过操控摇杆,通过5G网络发送摇杆指令至抓料机,直接控制摄像头的角度,人为控制摄像头和自动控制摄像头两种模式可以手动切换。
示例性装置
图8是本申请一示例性实施例提供的摄像头自动跟踪抓具的装置的结构示意图,如图8所示,该摄像头自动跟踪抓具的装置8可以应用于上述示例性抓料机上,该摄像头自动跟踪抓具的装置8包括:计算模块81,用于根据动臂和斗杆的实时姿态,计算控制数据;以及调整模块82,用于根据控制数据,调整摄像头的角度以使摄像头对准抓具。
本申请提供的摄像头自动跟踪抓具的装置,仅通过动臂、斗杆的实时姿态,例如动臂、斗杆的角度信息,就可以通过计算模块81计算得到摄像头的控制角度指令,使抓料机工作时,摄像头通过调整模块82可以自动根据抓具的俯仰角度调整自己的俯仰角度,达到摄像头自动跟踪的效果,免去了操控手控制云台摄像头的工作,提高了抓料工作效率。并且直接根据动臂和斗杆的实时姿态计算角度信息,运算量较小,降低了控制器的运算负荷,提高了运算效率,增加了实时跟踪的反应速率。
图9是本申请另一示例性实施例提供的摄像头自动跟踪抓具的装置的结构示意图,如图9所示,上述摄像头自动跟踪抓具的装置8还可以包括:确定模块83,用于根据目标抓料位置,确定摄像头的监控角度值;调整摄像头模块84,用于根据监控角度值,调整摄像头的角度以使摄像头从抓具切换到目标抓料位置。
在一实施例中,上述确定模块83可以进一步配置为:获取目标抓料位置与摄像头的距离;根据距离,确定摄像头的监控角度值。
在一实施例中,如图9所示,上述摄像头自动跟踪抓具的装置8还可以包括:获取模块85,用于获取动臂和斗杆的实时姿态;对应的,上述计算模块81可以进一步配置为:计算单元811,用于根据动臂角度和斗杆角度,计算控制数据。
在一实施例中,上述计算单元811还可以进一步配置为:根据动臂角度和斗杆角度的正负值,计算控制数据;其中,当动臂和/或斗杆相对于水平面沿竖直方向向上倾转时,动臂角度和/或斗杆角度为正值。
在一实施例中,上述计算模块81可以进一步配置为:根据动臂角度、斗杆角度、动臂的长度和斗杆的长度,计算控制数据。
在一实施例中,上述计算模块81可以进一步配置为:当动臂角度和斗杆角度正负值不同时,控制数据=arctan((Lm*sina-Ls*sinb)/(Lm*cosa+Ls*cosb));其中,Lm表示动臂的长度,Ls表示斗杆的长度,a表示动臂相对于水平面的动臂角度,b表示斗杆相对于水平面的斗杆角度。
在一实施例中,上述计算模块81可以进一步配置为:当动臂角度和斗杆角度的正负值相同,并且动臂和斗杆均相对于水平面沿竖直方向向上倾转时,控制数据=arctan((Lm*sina+Ls*sinb)/(Lm*cosa+Ls*cosb));其中,Lm表示动臂的长度,Ls表示斗杆的长度,a表示动臂相对于水平面的动臂角度,b表示斗杆相对于水平面的斗杆角度。
在一实施例中,上述计算模块81可以进一步配置为:当动臂角度和斗杆角度的正负值相同,并且动臂和斗杆均相对于水平面沿竖直方向向下倾转时,控制数据=arctan((Lm*sina+Ls*sinb)/(Lm*cosa+Ls*cosb));其中,Lm表示动臂的长度,Ls表示斗杆的长度,a表示动臂相对于水平面的动臂角度,b表示斗杆相对于水平面的斗杆角度。
示例性电子设备
下面,参考图10来描述根据本申请实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备,该单机设备可以与第一设备和第二设备进行通信,以从它们接收所采集到的输入信号。
图10图示了根据本申请实施例的电子设备的框图。
如图10所示,电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器11可以运行所述程序指令,以实现上文所述的本申请的各个实施例的摄像头自动跟踪抓具的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中,电子设备10还可以包括:输入装置13和输出装置14,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
在该电子设备是单机设备时,该输入装置13可以是通信网络连接器,用于从第一设备和第二设备接收所采集的输入信号。
此外,该输入装置13还可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息,包括确定出的距离信息、方向信息等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图10中仅示出了该电子设备10中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备10还可以包括任何其他适当的组件。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (11)

1.一种摄像头自动跟踪抓具的方法,应用于抓料机上,其中,所述抓料机包括抓料机车身、抓具、动臂和斗杆,所述动臂与所述抓料机车身连接,所述斗杆与所述动臂连接,所述抓具与所述斗杆连接,其特征在于,包括:
根据所述动臂和所述斗杆的实时姿态,计算控制数据;其中,所述控制数据表示所述抓具相对于所述抓料机车身的角度值;以及
根据所述控制数据,调整摄像头的角度以使所述摄像头对准所述抓具。
2.根据权利要求1所述的摄像头自动跟踪抓具的方法,其特征在于,还包括:
根据目标抓料位置,确定所述摄像头的监控角度值;
根据所述监控角度值,调整所述摄像头的角度以使所述摄像头从所述抓具切换到所述目标抓料位置。
3.根据权利要求2所述的摄像头自动跟踪抓具的方法,其特征在于,所述根据目标抓料位置,确定所述摄像头的监控角度值包括:
获取所述目标抓料位置与所述摄像头的距离;
根据所述距离,确定所述摄像头的监控角度值。
4.根据权利要求1所述的摄像头自动跟踪抓具的方法,其特征在于,在所述根据所述动臂和所述斗杆的实时姿态,计算控制数据之前,还包括:
获取所述动臂和所述斗杆的所述实时姿态;其中,所述实时姿态包括所述动臂相对于水平面的动臂角度以及所述斗杆相对于所述水平面的斗杆角度;
其中,所述根据所述动臂和所述斗杆的实时姿态,计算控制数据包括:
根据所述动臂角度和所述斗杆角度,计算所述控制数据。
5.根据权利要求4所述的摄像头自动跟踪抓具的方法,其特征在于,所述根据所述动臂角度和所述斗杆角度,计算所述控制数据包括:
根据所述动臂角度和所述斗杆角度的正负值,计算所述控制数据;其中,当所述动臂和/或所述斗杆相对于水平面沿竖直方向向上倾转时,所述动臂角度和/或所述斗杆角度为正值。
6.根据权利要求5所述的摄像头自动跟踪抓具的方法,其特征在于,所述根据所述动臂和所述斗杆的实时姿态,计算控制数据包括:
根据所述动臂角度、所述斗杆角度、所述动臂的长度和所述斗杆的长度,计算所述控制数据。
7.根据权利要求6所述的摄像头自动跟踪抓具的方法,其特征在于,所述根据所述动臂和所述斗杆的实时姿态,计算控制数据包括:
当所述动臂角度和所述斗杆角度正负值不同时,所述控制数据=arctan((Lm*sina-Ls*sinb)/(Lm*cosa+Ls*cosb));其中,Lm表示所述动臂的长度,Ls表示所述斗杆的长度,a表示所述动臂相对于水平面的动臂角度,b表示所述斗杆相对于水平面的斗杆角度。
8.根据权利要求6所述的摄像头自动跟踪抓具的方法,其特征在于,所述根据所述动臂和所述斗杆的实时姿态,计算控制数据包括:
当所述动臂角度和所述斗杆角度的正负值相同,并且所述动臂和所述斗杆均相对于水平面沿竖直方向向上倾转时,所述控制数据=arctan((Lm*sina+Ls*sinb)/(Lm*cosa+Ls*cosb));其中,Lm表示所述动臂的长度,Ls表示所述斗杆的长度,a表示所述动臂相对于水平面的动臂角度,b表示所述斗杆相对于水平面的斗杆角度。
9.根据权利要求6所述的摄像头自动跟踪抓具的方法,其特征在于,所述根据所述动臂和所述斗杆的实时姿态,计算控制数据包括:
当所述动臂角度和所述斗杆角度的正负值相同,并且所述动臂和所述斗杆均相对于水平面沿竖直方向向下倾转时,所述控制数据=arctan((Lm*sina+Ls*sinb)/(Lm*cosa+Ls*cosb));其中,Lm表示所述动臂的长度,Ls表示所述斗杆的长度,a表示所述动臂相对于水平面的动臂角度,b表示所述斗杆相对于水平面的斗杆角度。
10.一种摄像头自动跟踪抓具的装置,应用于抓料机上,其中,所述抓料机包括抓料机车身、抓具、动臂和斗杆,所述动臂与所述抓料机车身连接,所述斗杆与所述动臂连接,所述抓具与所述斗杆连接,其特征在于,包括:
计算模块,用于根据所述动臂和所述斗杆的实时姿态,计算控制数据;其中,所述控制数据表示所述抓具相对于所述抓料机车身的角度值;以及
调整模块,用于根据所述控制数据,调整摄像头的角度以使所述摄像头对准所述抓具。
11.一种抓料机,其特征在于,包括:
抓料机车身;
动臂,所述动臂与所述抓料机车身连接;
斗杆,所述斗杆与所述动臂连接;
抓具,所述抓具与所述斗杆连接,所述抓具用于抓取物料;
摄像头,所述摄像头安装在所述抓料机车身上;以及
控制器,所述控制器与所述摄像头通信连接,所述控制器用于执行上述权利要求1-9中任一所述的摄像头自动跟踪抓具的方法。
CN202111244724.7A 2021-10-25 2021-10-25 一种摄像头自动跟踪抓具的方法、装置及抓料机 Pending CN113938655A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111244724.7A CN113938655A (zh) 2021-10-25 2021-10-25 一种摄像头自动跟踪抓具的方法、装置及抓料机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111244724.7A CN113938655A (zh) 2021-10-25 2021-10-25 一种摄像头自动跟踪抓具的方法、装置及抓料机

Publications (1)

Publication Number Publication Date
CN113938655A true CN113938655A (zh) 2022-01-14

Family

ID=79284332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111244724.7A Pending CN113938655A (zh) 2021-10-25 2021-10-25 一种摄像头自动跟踪抓具的方法、装置及抓料机

Country Status (1)

Country Link
CN (1) CN113938655A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115006772A (zh) * 2022-06-02 2022-09-06 沈阳捷通消防车有限公司 消防车远程操作控制方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0874296A (ja) * 1994-09-02 1996-03-19 Shin Caterpillar Mitsubishi Ltd 建設機械におけるカメラ自動追尾制御装置
JP2014001596A (ja) * 2012-06-20 2014-01-09 Kobelco Contstruction Machinery Ltd 建設機械の作業アタッチメント制御装置及び作業アタッチメントの干渉防止領域設定方法
CN110984281A (zh) * 2019-12-19 2020-04-10 三一重机有限公司 多目视觉系统及挖掘机远程操控方法
CN112830279A (zh) * 2020-12-30 2021-05-25 三一海洋重工有限公司 一种装卸料自动回转装置及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0874296A (ja) * 1994-09-02 1996-03-19 Shin Caterpillar Mitsubishi Ltd 建設機械におけるカメラ自動追尾制御装置
JP2014001596A (ja) * 2012-06-20 2014-01-09 Kobelco Contstruction Machinery Ltd 建設機械の作業アタッチメント制御装置及び作業アタッチメントの干渉防止領域設定方法
CN110984281A (zh) * 2019-12-19 2020-04-10 三一重机有限公司 多目视觉系统及挖掘机远程操控方法
CN112830279A (zh) * 2020-12-30 2021-05-25 三一海洋重工有限公司 一种装卸料自动回转装置及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115006772A (zh) * 2022-06-02 2022-09-06 沈阳捷通消防车有限公司 消防车远程操作控制方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
WO2023056670A1 (zh) 复杂光照条件下基于视触融合的机械臂自主移动抓取方法
JP6873941B2 (ja) ロボット作業システム、及びロボット作業システムの制御方法
WO2020221311A1 (zh) 基于可穿戴设备的移动机器人控制系统及控制方法
CN101934982B (zh) 基于图像传感器的双吊具桥吊定位方法
CN107968915B (zh) 水下机器人摄像机云台实时控制系统及其方法
US11660750B1 (en) Autonomous and semi-autonomous control of aerial robotic systems
CN116332037A (zh) 起重机及其吊装作业的定位系统和定位方法、存储介质
CN113938655A (zh) 一种摄像头自动跟踪抓具的方法、装置及抓料机
CN111422739A (zh) 一种基于视觉技术的桥式起重机电子防摇方法
CN110744544A (zh) 服务机器人视觉抓取方法及服务机器人
CN115070781A (zh) 一种物体抓取方法及双机械臂协作系统
CN105715903A (zh) 一种管道机器人及采用其进行管道检测的方法
CN106625629B (zh) 隧道多臂架、多关节作业设备的末端臂架姿态多模式自动控制装置及方法
US20240033928A1 (en) Coordinate mapping for motion control
CN110539315B (zh) 基于虚拟现实控制的建筑机器人
CN112091974A (zh) 配网带电作业机器人遥控操作系统及其控制方法
CN114454176B (zh) 机器人的控制方法、控制装置、机器人和存储介质
CN113752236B (zh) 机械臂示教的装置、标定杆和方法
WO2022107684A1 (ja) パラメータを調整する装置、ロボットシステム、方法、及びコンピュータプログラム
KR20230124658A (ko) 감독된 자율 파지를 위한 사용자 인터페이스
CN114714358A (zh) 基于手势协议遥操作机械臂方法及系统
WO2019178764A1 (zh) 一种多摇杆控制方法、云台及系统
CN115922731B (zh) 一种机器人的控制方法以及机器人
CN112743537A (zh) 注释装置
CN114434448B (zh) 破拆机器人的工作臂控制方法及控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination