CN111576539A - 挖掘机控制方法、装置、计算机设备和可读存储介质 - Google Patents

挖掘机控制方法、装置、计算机设备和可读存储介质 Download PDF

Info

Publication number
CN111576539A
CN111576539A CN202010361430.1A CN202010361430A CN111576539A CN 111576539 A CN111576539 A CN 111576539A CN 202010361430 A CN202010361430 A CN 202010361430A CN 111576539 A CN111576539 A CN 111576539A
Authority
CN
China
Prior art keywords
electroencephalogram
excavator
excavated
excavator control
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010361430.1A
Other languages
English (en)
Other versions
CN111576539B (zh
Inventor
徐智颖
刘英豪
李娟娥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sany Heavy Machinery Ltd
Original Assignee
Sany Heavy Machinery Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sany Heavy Machinery Ltd filed Critical Sany Heavy Machinery Ltd
Priority to CN202010361430.1A priority Critical patent/CN111576539B/zh
Publication of CN111576539A publication Critical patent/CN111576539A/zh
Application granted granted Critical
Publication of CN111576539B publication Critical patent/CN111576539B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/205Remotely operated machines, e.g. unmanned vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

本申请的实施例提供了一种挖掘机控制方法、装置、计算机设备和可读存储介质,涉及挖掘机控制领域,挖掘机控制方法包括:接收所述脑电采集设备发送的脑电信号;提取所述脑电信号的脑电特征信息,并将所述脑电特征信息输入预先训练的分类器中,得到所述脑电特征信息对应的脑电指令,所述脑电指令包括作业区域信息;发送所述脑电指令至所述挖掘机控制设备,以使所述挖掘机控制设备根据所述脑电指令,控制所述挖掘机在所述作业区域信息对应的作业区域进行作业,能够便捷地进行挖掘机的控制。

Description

挖掘机控制方法、装置、计算机设备和可读存储介质
技术领域
本申请涉及挖掘机控制领域,具体而言,涉及一种挖掘机控制方法、装置、计算机设备和可读存储介质。
背景技术
目前,挖掘机的驾驶大多还是由人工亲自驾驶完成的,因此在需要挖掘多处作业目标时,若聘请多位挖掘机技术员配置多个挖掘机,那么成本过高,若是由一位挖掘机驾驶员依次处理多处作业目标,耗费时间又长。不仅如此,在一些相对危险的区域进行作业,出现事故后也会给挖掘机驾驶员带来伤害。因此,现有的挖掘机控制方法相对复杂,必须以一个操作人员配置一台挖掘机的形式进行配合,十分的不便。
有鉴于此,如何提供一种便捷的挖掘机操控方案,是本领域技术人员需要解决的。
发明内容
本申请提供了一种挖掘机控制方法、装置、计算机设备和可读存储介质。
本申请的实施例可以这样实现:
第一方面,本申请实施例提供一种挖掘机控制方法,应用于计算机设备,所述计算机设备与脑电采集设备和挖掘机控制设备均通信连接,所述脑电采集设备由预先经过视觉训练的用户佩戴,所述挖掘机控制设备与挖掘机通信连接;
所述方法包括:
接收所述脑电采集设备发送的脑电信号;
提取所述脑电信号的脑电特征信息,并将所述脑电特征信息输入预先训练的分类器中,得到所述脑电特征信息对应的脑电指令,所述脑电指令包括作业区域信息;
发送所述脑电指令至所述挖掘机控制设备,以使所述挖掘机控制设备根据所述脑电指令,控制所述挖掘机在所述作业区域信息对应的作业区域进行作业。
在可选的实施方式中,所述挖掘机控制设备包括摄像头,所述摄像头设置在所述挖掘机附近,所述挖掘机包括挖掘铲斗,所述作业区域包括待挖掘目标;
所述发送所述脑电指令至所述挖掘机控制设备,以使所述挖掘机控制设备根据所述脑电指令,控制所述挖掘机在所述作业区域信息对应的作业区域进行作业的步骤,包括:
发送所述脑电指令至所述挖掘机控制设备;
接收所述挖掘机控制设备的摄像头采集的所述作业区域的深度图像,所述深度图像包括所述挖掘铲斗的位置信息和所述待挖掘目标的位置信息;
根据所述挖掘铲斗的位置信息和所述待挖掘目标的位置信息生成运动轨迹信号,所述运动轨迹信号包括所述挖掘铲斗的运动路径;
将所述运动轨迹信号发送至所述挖掘机控制设备,以使所述挖掘机控制设备根据所述运动轨迹信号,控制所述挖掘机在所述作业区域按照所述运动路径进行作业。
在可选的实施方式中,所述待挖掘目标的位置信息包括待挖掘目标第一方向长度和待挖掘目标第二方向长度,所述根据所述挖掘铲斗的位置信息和所述待挖掘目标的位置信息生成运动轨迹信号的步骤,包括:
根据所述挖掘铲斗的位置信息和所述待挖掘目标的位置信息,得到所述挖掘铲斗和所述待挖掘目标之间的距离;
根据所述挖掘铲斗和所述待挖掘目标的距离,计算得到挖掘深度;
将所述待挖掘目标第一方向长度作为第一方向位移距离,将所述待挖掘目标第二方向长度作为第二方向位移距离;
根据所述挖掘深度、第一方向位移距离和第二方向位移距离,生成所述运动轨迹信号。
在可选的实施方式中,所述接收所述脑电采集设备发送的脑电信号的步骤,包括:
接收所述脑电采集设备发送的事件相关电位信号;
将所述事件相关电位信号进行滤波和放大并进行数模转换,得到所述脑电信号。
第二方面,本申请实施例提供一种挖掘机控制装置,应用于计算机设备,所述计算机设备与脑电采集设备和挖掘机控制设备均通信连接,所述脑电采集设备由预先经过视觉训练的用户佩戴,所述挖掘机控制设备与挖掘机通信连接;
所述装置包括:
接收模块,用于接收所述脑电采集设备发送的脑电信号;
提取模块,用于提取所述脑电信号的脑电特征信息,并将所述脑电特征信息输入预先训练的分类器中,得到所述脑电特征信息对应的脑电指令,所述脑电指令包括作业区域信息;
作业模块,用于发送所述脑电指令至所述挖掘机控制设备,以使所述挖掘机控制设备根据所述脑电指令,控制所述挖掘机在所述作业区域信息对应的作业区域进行作业。
在可选的实施方式中,所述挖掘机控制设备包括摄像头,所述摄像头设置在所述挖掘机附近,所述挖掘机包括挖掘铲斗,所述作业区域包括待挖掘目标;
所述作业模块包括:
作业子模块,用于发送所述脑电指令至所述挖掘机控制设备;接收所述挖掘机控制设备的摄像头采集的所述作业区域的深度图像,所述深度图像包括所述挖掘铲斗的位置信息和所述待挖掘目标的位置信息;根据所述挖掘铲斗的位置信息和所述待挖掘目标的位置信息生成运动轨迹信号,所述运动轨迹信号包括所述挖掘铲斗的运动路径;将所述运动轨迹信号发送至所述挖掘机控制设备,以使所述挖掘机控制设备根据所述运动轨迹信号,控制所述挖掘机在所述作业区域按照所述运动路径进行作业。
在可选的实施方式中,所述作业子模块具体用于:
根据所述挖掘铲斗的位置信息和所述待挖掘目标的位置信息,得到所述挖掘铲斗和所述待挖掘目标之间的距离;根据所述挖掘铲斗和所述待挖掘目标的距离,计算得到挖掘深度;将所述待挖掘目标第一方向长度作为第一方向位移距离,将所述待挖掘目标第二方向长度作为第二方向位移距离;根据所述挖掘深度、第一方向位移距离和第二方向位移距离,生成所述运动轨迹信号。
在可选的实施方式中,所述接收模块具体用于:
接收所述脑电采集设备发送的事件相关电位信号;将所述事件相关电位信号进行滤波和放大并进行数模转换,得到所述脑电信号。
第三方面,本申请实施例提供一种计算机设备,所述计算机设备包括处理器及存储有计算机指令的非易失性存储器,所述计算机指令被所述处理器执行时,所述计算机设备执行前述实施方式中任意一项所述的挖掘机控制方法。
第四方面,本申请实施例提供一种可读存储介质,所述可读存储介质包括计算机程序,所述计算机程序运行时控制所述可读存储介质所在计算机设备执行前述实施方式中任意一项所述的挖掘机控制方法。
本申请实施例的有益效果包括,例如:采用本申请实施例提供的挖掘机控制方法、装置、计算机设备和可读存储介质,通过接收所述脑电采集设备发送的脑电信号;并提取所述脑电信号的脑电特征信息,并将所述脑电特征信息输入预先训练的分类器中,得到所述脑电特征信息对应的脑电指令,所述脑电指令包括作业区域信息;最后发送所述脑电指令至所述挖掘机控制设备,以使所述挖掘机控制设备根据所述脑电指令,控制所述挖掘机在所述作业区域信息对应的作业区域进行作业,能够便捷地进行挖掘机的控制。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的挖掘机控制系统的结构示意框图;
图2为本申请实施例提供的挖掘机控制方法的步骤流程示意图;
图3为本申请实施例提供的挖掘机作业现场的场景示意图;
图4为本申请实施例提供的挖掘机控制装置的结构示意框图;
图5为本申请实施例提供的计算机设备的结构示意框图。
图标:100-计算机设备;110-挖掘机控制装置;1101-接收模块;1102-提取模块;1103-作业模块;111-存储器;112-处理器;113-通信单元;200-脑电采集设备;300-挖掘机控制设备;400-挖掘机。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中,需要说明的是,若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该发明产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
此外,若出现术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
需要说明的是,在不冲突的情况下,本申请的实施例中的特征可以相互结合。
在传统的工地作业中,挖掘机还是由驾驶员在现场驾驶挖掘机进行操作,然而若需要挖掘的作业区域过多,可以雇佣多个挖掘机,但是多个挖掘机以及每个挖掘机配置的操作人员会造成成本过高的问题,而若只使用一台挖掘机,雇佣一名操作人员分多次进行操控,那么会耗费大量时间才能完成作业。不仅如此,在一些较为危险的区域进行作业,操作人员的人身安全也的得不到保障,使得传统的挖掘机操控方法十分的不便。基于此,本申请实施例提供一种挖掘机控制方法,应用于计算机设备,如图1所示,计算机设备100与脑电采集设备200和挖掘机控制设备300均通信连接,脑电采集设备200由预先经过视觉训练的用户佩戴,挖掘机控制设备300与挖掘机400通信连接。如图2所示,挖掘机控制方法包括步骤201至步骤203。
步骤201,接收脑电采集设备200发送的脑电信号。
脑电采集设备200由经过视觉图像训练的用户佩戴,使用的脑电采集设备200可以基于非侵入式的基于事件关联电位的脑机接口技术配置,相较于侵入式的基于事件关联电位的脑机接口技术,使用较为简单,同时识别准确率高且适应性强。
步骤202,提取脑电信号的脑电特征信息,并将脑电特征信息输入预先训练的分类器中,得到脑电特征信息对应的脑电指令。
在接收到提取的脑电信号后,可以进一步提取其电脑特征信息,将脑电特征信息输入预先训练的分类器中,预先训练的分类器的训练过程可以通过以下步骤得到。获取多个训练样本,训练样本包括预先经过视觉训练的用户佩戴脑电采集设备200观看作业区域标识产生的脑电特征信息,以及用户在产生该脑电特征信息时观看的作业区域标识。将多个训练样本中的脑电特征信息作为输入,每个训练样本中的脑电特征信息对应的作业区域标识作为输出,对初始的分类器进行训练,便可以得到训练完成的分类器。应当理解的是,在本申请实施例中向训练的分类器输入脑电特征信息后,输出的脑电指令中包括作业区域信息(即想要在那个作业区域进行作业)。例如,作业区域可以包括“土堆作业区域”和“平地作业区域”,预先经过视觉训练的用户在佩戴脑电采集设备200后,在接收到“土堆作业区域”和“平地作业区域”对应的视觉刺激后(例如观看作业区域的图片),可要对应产生两种不一样的脑电信号,分别为看到“土堆作业区域”受到刺激产生的脑电信号和看到“平地作业区域”收到刺激产生的脑电信号。在将接收用户受到“土堆作业区域”的视觉刺激产生的脑电特征信息输入预先经过训练的分类器中,分类器会输出“土堆作业区域”对应的脑电指令,脑电指令包括可以作业区域信息,即可以确定用户想要在“土堆作业区域”进行作业。
步骤203,发送脑电指令至挖掘机控制设备300,以使挖掘机控制设备300根据脑电指令,控制挖掘机400在作业区域信息对应的作业区域进行作业。
应当理解的是,在本申请实施例中,脑电指令中可以包括作业区域信息,而作业区域信息可以用于确定在哪个区域进行作业,在确定好作业区域后,便可以控制挖掘机400在作业区域信息对应的作业区域进行作业,控制挖掘机400具体操作的指令可以是预先设置的控制指令。
在此基础上,挖掘机控制设备300包括摄像头,摄像头设置在挖掘机400附近,挖掘机400包括挖掘铲斗,作业区域包括待挖掘目标。本申请实施例还提供一种发送脑电指令至挖掘机控制设备300,以使挖掘机控制设备300根据脑电指令,控制挖掘机400在作业区域信息对应的作业区域进行作业的示例,可以通过以下步骤实现。
发送脑电指令至挖掘机控制设备300。
接收挖掘机控制设备300的摄像头采集的作业区域的深度图像,深度图像包括挖掘铲斗的位置信息和待挖掘目标的位置信息。
摄像头可以设置在挖掘机400附近,也可以设置在挖掘机400上,也可以设置在作业区域所在的工地上。摄像头的数量可以是多个。摄像头主要用于采集作业区域的三维深度图像,其中三维深度图像可以包括挖掘铲斗的位置信息和待挖掘目标的位置信息。摄像头采集的三维深度图像,可以作为前述给用户形成视觉刺激以产生脑电信号的图像,即可以采集多个作业区域的三维深度图像提供给佩戴脑电采集设备200的用户,佩戴脑电采集设备200的用户既可以根据深度图像的顺序标号产生脑电信号,也可以根据具体的深度图像中的待挖掘目标产生视觉刺激进而生成脑电信号。例如,可以参考图3,可以有“土堆作业区域”、“平地作业区域”和“围墙作业区域”,其中,“土堆作业区域”可以附有标记“1”,“平地作业区域”可以附有标记“2”,“围墙作业区域”可以附有标记“3”,佩戴脑电采集设备200的用户若想要在“土堆作业区域”进行作业,可以通过标记“1”进行视觉刺激,以达到产生包括“土堆作业区域”的作业区域信息的脑电指令的目的,此外,若佩戴脑电采集设备200的用户想要在“围墙作业区域”中进行作业,也可以通过观看“围墙作业区域”中的待挖掘目标“围墙”来产生视觉刺激,进而达到产生包括“围墙作业区域”的作业区域信息的脑电指令的目的。
根据挖掘铲斗的位置信息和待挖掘目标的位置信息生成运动轨迹信号,运动轨迹信号包括挖掘铲斗的运动路径。
应当理解的是,在一般的作业要求下,挖掘机400虽然需要专业的技术人员进行操作,但是实际执行的过程中,挖掘机400的操作相对简单,例如将“土堆作业区域”中的待挖掘目标“土堆”挖走,或者将“平地作业区域”挖出规定大小的深坑。基于此,根据挖掘铲斗的位置信息和待挖掘目标的位置信息生成运动轨迹信号,运动轨迹信号包括挖掘铲斗的运动路径,而获知了挖掘铲斗的运动路径,可以理解的为获取了该次作业的作业路径。
将运动轨迹信号发送至挖掘机控制设备300,以使挖掘机控制设备300根据运动轨迹信号,控制挖掘机400在作业区域按照运动路径进行作业。
在根据前述步骤获取运动轨迹信号后,便可以将运动轨迹信号发送至挖掘机控制设备300,由挖掘机控制设备300按照运动轨迹信号控制挖掘机400的作业。
在上述基础上,待挖掘目标的位置信息包括待挖掘目标第一方向长度和待挖掘目标第二方向长度,本申请实施例还提供一种根据挖掘铲斗的位置信息和待挖掘目标的位置信息生成运动轨迹信号的示例,可以通过以下步骤实现。
根据挖掘铲斗的位置信息和待挖掘目标的位置信息,得到挖掘铲斗和待挖掘目标之间的距离。
挖掘铲斗的位置信息和待挖掘目标的位置信息可以分别是挖掘机铲斗和待挖掘目标相互距离最近的两个点在三维深度图中的坐标信息,根据两个坐标信息,可以计算得到挖掘铲斗和待挖掘目标的距离。
根据挖掘铲斗和待挖掘目标的距离,计算得到挖掘深度。
挖掘深度可以是想待要挖掘目标在相对地面垂直方向上的挖掘距离,例如,对于待挖掘目标“土堆”而言,其目的在于将待挖掘目标“土堆”挖平,那么计算得到的挖掘深度可以是挖掘铲斗和待挖掘目标“土堆”的距离加上土堆的高度。对于待挖掘目标“平底”而言,其目的在于将待挖掘目标“平地”中挖出一个坑,那么计算得到的挖掘深度可以是挖掘铲斗和待挖掘目标“平地”的距离加上预设坑的深度。
将待挖掘目标第一方向长度作为第一方向位移距离,将待挖掘目标第二方向长度作为第二方向位移距离。
可以将挖掘铲斗朝向待挖掘目标方向垂直于地面的中轴线确定的平面作为第一平面,与之相互垂直的平面作为第二平面,待挖掘目标在三维深度图中与第一平面平行且与第二平面垂直方向上的两个最远坐标点之间的长度可以作为待挖掘目标第一方向长度,同理,待挖掘目标在三维深度图中与第一平面垂直且与第二平面平行方向上的两个最远坐标点之间的长度可以作为待挖掘目标第二方向长度,进而可以分别作为挖掘铲斗的第一方向位移距离和第二方向移动距离。
根据挖掘深度、第一方向位移距离和第二方向位移距离,生成运动轨迹信号。
在获取了三个不同方向上挖掘铲斗的位移方案后,便可以生成运动轨迹信号,应当理解的是,在一般情况下,挖掘机400行驶到预设位置后,可以保持固定,通过移动挖掘铲斗来实现作业,也可以在使用挖掘铲斗时,驾驶挖掘机本体移动配合作业,在本申请实施例中,运动轨迹信号可以是挖掘铲斗的运动轨迹,也可以是挖掘铲斗和挖掘机本体的运动轨迹,在本申请实施例中不做限制。
在前述基础上,本申请实施例提供一种接收脑电采集设备200发送的脑电信号的示例,可以通过以下步骤实现。
接收脑电采集设备200发送的事件相关电位信号。
将事件相关电位信号进行滤波和放大并进行数模转换,得到脑电信号。
可以采用P300事件相关电位法采集用户的脑电信号,并进行信号滤波、放大、模数转换后得到脑电信号。
通过上述步骤,能够实现一种基于脑机接口技术的挖掘机远程控制方案,通过将挖掘机400的不同作业区域进行划分,而后采用不同的事件诱发用户产生相应的时间关联电位(即脑电信号),进而可以根据P300的发生时刻来判断用户的控制意图。能够实现将挖掘机400复杂的操作方式简单化,使那些从未驾驶过挖掘机400或对挖掘机400操作不熟练的用户,能够操纵挖掘机400,使挖掘机400执行各项动作,达到用户的目标,突破现有手柄和指令专用键组合方式的局限性。不仅如此,便捷地通过基于脑机接口技术远程控制挖掘机400,使得操作人员不必受限于驾驶室,适用于某些危险场合,保证了操作人员的人身安全。
本申请实施例提供一种挖掘机控制装置110,应用于计算机设备100,计算机设备100与脑电采集设备200和挖掘机控制设备300均通信连接,脑电采集设备200由预先经过视觉训练的用户佩戴,挖掘机控制设备300与挖掘机通信连接,如图4所示,挖掘机控制装置110包括:
接收模块1101,用于接收脑电采集设备200发送的脑电信号。
提取模块1102,用于提取脑电信号的脑电特征信息,并将脑电特征信息输入预先训练的分类器中,得到脑电特征信息对应的脑电指令,脑电指令包括作业区域信息。
作业模块1103,用于发送脑电指令至挖掘机控制设备300,以使挖掘机控制设备300根据脑电指令,控制挖掘机400在作业区域信息对应的作业区域进行作业。
进一步地,挖掘机控制设备300包括摄像头,摄像头设置在挖掘机400附近,挖掘机400包括挖掘铲斗,作业区域包括待挖掘目标;
作业模块1103包括:
作业子模块,用于发送脑电指令至挖掘机控制设备300;接收挖掘机控制设备300的摄像头采集的作业区域的深度图像,深度图像包括挖掘铲斗的位置信息和待挖掘目标的位置信息;根据挖掘铲斗的位置信息和待挖掘目标的位置信息生成运动轨迹信号,运动轨迹信号包括挖掘铲斗的运动路径;将运动轨迹信号发送至挖掘机控制设备300,以使挖掘机控制设备300根据运动轨迹信号,控制挖掘机400在作业区域按照运动路径进行作业。
进一步地,作业子模块具体用于:
根据挖掘铲斗的位置信息和待挖掘目标的位置信息,得到挖掘铲斗和待挖掘目标之间的距离;根据挖掘铲斗和待挖掘目标的距离,计算得到挖掘深度;将待挖掘目标第一方向长度作为第一方向位移距离,将待挖掘目标第二方向长度作为第二方向位移距离;根据挖掘深度、第一方向位移距离和第二方向位移距离,生成运动轨迹信号。
进一步地,接收模块1101具体用于:
接收脑电采集设备200发送的事件相关电位信号;将事件相关电位信号进行滤波和放大并进行数模转换,得到脑电信号。
在本申请实施例中,挖掘机控制装置110的实现原理可以参考前述挖掘机控制方法的实现原理,在此不再赘述。
本申请实施例提供一种计算机设备100,计算机设备100包括处理器及存储有计算机指令的非易失性存储器,计算机指令被处理器执行时,计算机设备100执行前述的挖掘机控制方法。如图5所示,图5为本申请实施例提供的计算机设备100的结构框图。所述计算机设备100包括挖掘机控制装置110、存储器111、处理器112及通信单元113。
所述存储器111、处理器112以及通信单元113各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述挖掘机控制装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器111中或固化在所述计算机设备100的操作系统(operatingsystem,OS)中的软件功能模块。所述处理器112用于执行所述存储器111中存储的可执行模块,例如所述挖掘机控制装置110所包括的软件功能模块及计算机程序等。
其中,所述存储器111可以是,但不限于,随机存取存储器(Random AccessMemory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(ProgrammableRead-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-OnlyMemory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory,EEPROM)等。
本申请实施例提供一种可读存储介质,可读存储介质包括计算机程序,计算机程序运行时控制可读存储介质所在计算机设备执行前述的挖掘机控制方法。
综上所述,本申请实施例提供了一种挖掘机控制方法、装置、计算机设备和可读存储介质,通过接收所述脑电采集设备发送的脑电信号;并提取所述脑电信号的脑电特征信息,并将所述脑电特征信息输入预先训练的分类器中,得到所述脑电特征信息对应的脑电指令,所述脑电指令包括作业区域信息;最后发送所述脑电指令至所述挖掘机控制设备,以使所述挖掘机控制设备根据所述脑电指令,控制所述挖掘机在所述作业区域信息对应的作业区域进行作业,能够便捷地进行挖掘机的控制。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种挖掘机控制方法,其特征在于,应用于计算机设备,所述计算机设备与脑电采集设备和挖掘机控制设备均通信连接,所述脑电采集设备由预先经过视觉训练的用户佩戴,所述挖掘机控制设备与挖掘机通信连接;
所述方法包括:
接收所述脑电采集设备发送的脑电信号;
提取所述脑电信号的脑电特征信息,并将所述脑电特征信息输入预先训练的分类器中,得到所述脑电特征信息对应的脑电指令,所述脑电指令包括作业区域信息;
发送所述脑电指令至所述挖掘机控制设备,以使所述挖掘机控制设备根据所述脑电指令,控制所述挖掘机在所述作业区域信息对应的作业区域进行作业。
2.根据权利要求1所述的方法,其特征在于,所述挖掘机控制设备包括摄像头,所述摄像头设置在所述挖掘机附近,所述挖掘机包括挖掘铲斗,所述作业区域包括待挖掘目标;
所述发送所述脑电指令至所述挖掘机控制设备,以使所述挖掘机控制设备根据所述脑电指令,控制所述挖掘机在所述作业区域信息对应的作业区域进行作业的步骤,包括:
发送所述脑电指令至所述挖掘机控制设备;
接收所述挖掘机控制设备的摄像头采集的所述作业区域的深度图像,所述深度图像包括所述挖掘铲斗的位置信息和所述待挖掘目标的位置信息;
根据所述挖掘铲斗的位置信息和所述待挖掘目标的位置信息生成运动轨迹信号,所述运动轨迹信号包括所述挖掘铲斗的运动路径;
将所述运动轨迹信号发送至所述挖掘机控制设备,以使所述挖掘机控制设备根据所述运动轨迹信号,控制所述挖掘机在所述作业区域按照所述运动路径进行作业。
3.根据权利要求2所述的方法,其特征在于,所述待挖掘目标的位置信息包括待挖掘目标第一方向长度和待挖掘目标第二方向长度,所述根据所述挖掘铲斗的位置信息和所述待挖掘目标的位置信息生成运动轨迹信号的步骤,包括:
根据所述挖掘铲斗的位置信息和所述待挖掘目标的位置信息,得到所述挖掘铲斗和所述待挖掘目标之间的距离;
根据所述挖掘铲斗和所述待挖掘目标的距离,计算得到挖掘深度;
将所述待挖掘目标第一方向长度作为第一方向位移距离,将所述待挖掘目标第二方向长度作为第二方向位移距离;
根据所述挖掘深度、第一方向位移距离和第二方向位移距离,生成所述运动轨迹信号。
4.根据权利要求1所述的方法,其特征在于,所述接收所述脑电采集设备发送的脑电信号的步骤,包括:
接收所述脑电采集设备发送的事件相关电位信号;
将所述事件相关电位信号进行滤波和放大并进行数模转换,得到所述脑电信号。
5.一种挖掘机控制装置,其特征在于,应用于计算机设备,所述计算机设备与脑电采集设备和挖掘机控制设备均通信连接,所述脑电采集设备由预先经过视觉训练的用户佩戴,所述挖掘机控制设备与挖掘机通信连接;
所述装置包括:
接收模块,用于接收所述脑电采集设备发送的脑电信号;
提取模块,用于提取所述脑电信号的脑电特征信息,并将所述脑电特征信息输入预先训练的分类器中,得到所述脑电特征信息对应的脑电指令,所述脑电指令包括作业区域信息;
作业模块,用于发送所述脑电指令至所述挖掘机控制设备,以使所述挖掘机控制设备根据所述脑电指令,控制所述挖掘机在所述作业区域信息对应的作业区域进行作业。
6.根据权利要求5所述的装置,其特征在于,所述挖掘机控制设备包括摄像头,所述摄像头设置在所述挖掘机附近,所述挖掘机包括挖掘铲斗,所述作业区域包括待挖掘目标;
所述作业模块包括:
作业子模块,用于发送所述脑电指令至所述挖掘机控制设备;接收所述挖掘机控制设备的摄像头采集的所述作业区域的深度图像,所述深度图像包括所述挖掘铲斗的位置信息和所述待挖掘目标的位置信息;根据所述挖掘铲斗的位置信息和所述待挖掘目标的位置信息生成运动轨迹信号,所述运动轨迹信号包括所述挖掘铲斗的运动路径;将所述运动轨迹信号发送至所述挖掘机控制设备,以使所述挖掘机控制设备根据所述运动轨迹信号,控制所述挖掘机在所述作业区域按照所述运动路径进行作业。
7.根据权利要求6所述的装置,其特征在于,所述作业子模块具体用于:
根据所述挖掘铲斗的位置信息和所述待挖掘目标的位置信息,得到所述挖掘铲斗和所述待挖掘目标之间的距离;根据所述挖掘铲斗和所述待挖掘目标的距离,计算得到挖掘深度;将所述待挖掘目标第一方向长度作为第一方向位移距离,将所述待挖掘目标第二方向长度作为第二方向位移距离;根据所述挖掘深度、第一方向位移距离和第二方向位移距离,生成所述运动轨迹信号。
8.根据权利要求5所述的装置,其特征在于,所述接收模块具体用于:
接收所述脑电采集设备发送的事件相关电位信号;将所述事件相关电位信号进行滤波和放大并进行数模转换,得到所述脑电信号。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器及存储有计算机指令的非易失性存储器,所述计算机指令被所述处理器执行时,所述计算机设备执行权利要求1-4中任意一项所述的挖掘机控制方法。
10.一种可读存储介质,其特征在于,所述可读存储介质包括计算机程序,所述计算机程序运行时控制所述可读存储介质所在计算机设备执行权利要求1-4中任意一项所述的挖掘机控制方法。
CN202010361430.1A 2020-04-30 2020-04-30 挖掘机控制方法、装置、计算机设备和可读存储介质 Active CN111576539B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010361430.1A CN111576539B (zh) 2020-04-30 2020-04-30 挖掘机控制方法、装置、计算机设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010361430.1A CN111576539B (zh) 2020-04-30 2020-04-30 挖掘机控制方法、装置、计算机设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN111576539A true CN111576539A (zh) 2020-08-25
CN111576539B CN111576539B (zh) 2022-07-29

Family

ID=72126349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010361430.1A Active CN111576539B (zh) 2020-04-30 2020-04-30 挖掘机控制方法、装置、计算机设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN111576539B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113565163A (zh) * 2021-08-11 2021-10-29 吉林大学 一种液压挖掘机圆坑作业的智能控制系统及方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102580322A (zh) * 2012-03-13 2012-07-18 常州大学 一种脑电智能玩具车
CN102945078A (zh) * 2012-11-13 2013-02-27 深圳先进技术研究院 人机交互设备及人机交互方法
CN103955269A (zh) * 2014-04-09 2014-07-30 天津大学 一种基于虚拟现实环境的智能眼镜脑-机接口方法
CN104213596A (zh) * 2014-07-31 2014-12-17 山重建机有限公司 一种利用脑电波控制挖掘机的装置
CN105411580A (zh) * 2015-10-27 2016-03-23 中国航天员科研训练中心 一种基于触听觉诱发电位的脑控轮椅系统
CN105824418A (zh) * 2016-03-17 2016-08-03 天津大学 一种基于非对称视觉诱发电位的脑-机接口通讯系统
CN106843509A (zh) * 2017-03-30 2017-06-13 电子科技大学 一种脑机接口系统
CN107015632A (zh) * 2016-01-28 2017-08-04 南开大学 基于脑电驾驶的车辆控制方法、系统
CN107291247A (zh) * 2017-07-11 2017-10-24 昆明理工大学 一种基于运动想象脑机接口的智能保险柜及其控制方法
CN208056859U (zh) * 2018-03-30 2018-11-06 丁耀杰 一种关于视觉诱发的智能密码锁系统
CN109284004A (zh) * 2018-10-29 2019-01-29 中国矿业大学 一种基于脑机接口的智能护理系统
CN109814559A (zh) * 2019-01-25 2019-05-28 北京百度网讯科技有限公司 用于控制挖掘机挖掘的方法和装置
CN110955152A (zh) * 2019-12-02 2020-04-03 杭州创匠信息科技有限公司 基于脑机接口的智能家居控制方法及系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102580322A (zh) * 2012-03-13 2012-07-18 常州大学 一种脑电智能玩具车
CN102945078A (zh) * 2012-11-13 2013-02-27 深圳先进技术研究院 人机交互设备及人机交互方法
CN103955269A (zh) * 2014-04-09 2014-07-30 天津大学 一种基于虚拟现实环境的智能眼镜脑-机接口方法
CN104213596A (zh) * 2014-07-31 2014-12-17 山重建机有限公司 一种利用脑电波控制挖掘机的装置
CN105411580A (zh) * 2015-10-27 2016-03-23 中国航天员科研训练中心 一种基于触听觉诱发电位的脑控轮椅系统
CN107015632A (zh) * 2016-01-28 2017-08-04 南开大学 基于脑电驾驶的车辆控制方法、系统
CN105824418A (zh) * 2016-03-17 2016-08-03 天津大学 一种基于非对称视觉诱发电位的脑-机接口通讯系统
CN106843509A (zh) * 2017-03-30 2017-06-13 电子科技大学 一种脑机接口系统
CN107291247A (zh) * 2017-07-11 2017-10-24 昆明理工大学 一种基于运动想象脑机接口的智能保险柜及其控制方法
CN208056859U (zh) * 2018-03-30 2018-11-06 丁耀杰 一种关于视觉诱发的智能密码锁系统
CN109284004A (zh) * 2018-10-29 2019-01-29 中国矿业大学 一种基于脑机接口的智能护理系统
CN109814559A (zh) * 2019-01-25 2019-05-28 北京百度网讯科技有限公司 用于控制挖掘机挖掘的方法和装置
CN110955152A (zh) * 2019-12-02 2020-04-03 杭州创匠信息科技有限公司 基于脑机接口的智能家居控制方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113565163A (zh) * 2021-08-11 2021-10-29 吉林大学 一种液压挖掘机圆坑作业的智能控制系统及方法
CN113565163B (zh) * 2021-08-11 2022-06-03 吉林大学 一种液压挖掘机圆坑作业的智能控制系统及方法

Also Published As

Publication number Publication date
CN111576539B (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
US11072911B2 (en) Image display apparatus for shovel
EP3680397B1 (en) Construction machinery
US11668076B2 (en) Method and apparatus for controlling excavator to excavate
US11585490B2 (en) Management system
CN109073379B (zh) 管理系统
DE112016003771T5 (de) Bauverwaltungssystem, Bauverwaltungsverfahren und Verwaltungsvorrichtung
CN110132255B (zh) 控制方法、装置、显示终端、机械设备及人机交互系统
DE102005026682A1 (de) Vorrichtung und Verfahren zur Lokalisierung von Merkmalen auf einem elektronischen Arbeitsgeländeplan auf einem Arbeitsgelände
CN112955610A (zh) 挖土机、信息处理装置、信息处理方法、信息处理程序、终端装置、显示方法、显示程序
CN113631779A (zh) 挖土机及施工系统
CN111576539B (zh) 挖掘机控制方法、装置、计算机设备和可读存储介质
EP3252238A1 (en) User interface and earth-moving machine
JP2017072425A (ja) 施工管理システム及び形状計測方法
EP2562313A2 (en) Location control system for feature placement
JP2018059400A (ja) 施工管理システム
KR20100122389A (ko) 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템
JP6616149B2 (ja) 施工方法、作業機械の制御システム及び作業機械
JP6815462B2 (ja) 形状計測システム及び形状計測方法
WO2020121933A1 (ja) 建設機械管理システム、建設機械管理プログラム、建設機械管理方法、建設機械および建設機械の外部管理装置
JP7166326B2 (ja) 施工管理システム
JP4058401B2 (ja) 作業機械
JP2008050748A (ja) 施工支援システムによる無人化施工方法
JP2020094469A (ja) 建設機械管理システム、建設機械管理プログラム、建設機械管理方法、建設機械および建設機械の外部管理装置
EP4324988A1 (en) Method and system of configuring a machine control unit of a construction machine
WO2024034624A1 (ja) 支援装置、作業機械、支援システム、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant