CN110132255B - 控制方法、装置、显示终端、机械设备及人机交互系统 - Google Patents

Abstract

本申请实施例提供了一种控制方法、装置、显示终端、机械设备及人机交互系统，涉及人机交互领域。该方法包括获取机械设备拍摄的地貌图像并进行显示；响应用户在显示界面上针对地貌图像输入的操作指令，获取操作指令在地貌图像中所对应的位置信息；将操作指令和位置信息发送至机械设备，以使机械设备在位置信息对应的位置处以操作指令对应的工作模式进行工作。用户仅需在显示有地貌图像的显示界面上输入诸如点击、画线等的操作指令，即可使机械设备以操作指令对应的工作模式在相应的工作地点进行工作，极大地简化了操作流程，降低了操作难度，同时由于机械设备是自动以操作指令对应的工作模式进行工作的，无需或很少需要人工干预，使得工作效率大大提高。

Description

控制方法、装置、显示终端、机械设备及人机交互系统

技术领域

本申请涉及人机交互领域，具体而言，涉及一种控制方法、装置、显示终端、机械设备及人机交互系统。

背景技术

随着工程机械的发展，工程机械得到广泛的应用。例如，在矿山开采、隧道的挖掘等工作，都需要运用到工程机械(挖掘机、装载机、起重机等)。现有技术在这些工程机械上均设置有驾驶室，操作人员通常坐在驾驶室内操控这些工程机械。当工程机械在执行一些较危险的工作时，可以通过远程控制工程机械进行工作，以确保工作人员的安全。目前现有技术中，当远程控制工程机械时，通常是通过远程操作遥控手柄来控制机械设备，以使得工程机械做出相应的动作。

发明内容

本申请实施例在于提供一种控制方法、装置、显示终端、机械设备及人机交互系统，以解决现有机械设备存在操作不便的问题。

为了缓解机械设备存在操作不便的问题；本申请实施例采取的技术方案如下：

第一方面，本申请实施例提供了一种控制方法，应用于人机交互系统中的显示终端，所述人机交互系统还包括与显示终端通信的机械设备。所述方法包括：获取所述机械设备拍摄的地貌图像并进行显示；响应用户在显示界面上针对所述地貌图像输入的操作指令，获取所述操作指令在所述地貌图像中所对应的位置信息；其中，所述操作指令用于指示所述机械设备以预设工作模式进行工作；将所述操作指令和所述位置信息发送至所述机械设备，以使所述机械设备在所述位置信息对应的位置处以所述操作指令对应的工作模式进行工作。

本申请实施例中，用户仅需在显示有地貌图像的显示界面上输入诸如点击、画线等的操作指令，即可使机械设备以操作指令对应的工作模式在相应的工作地点进行工作，极大地简化了操作流程，降低了操作难度，同时由于机械设备是自动以操作指令对应的工作模式进行工作的，无需或很少需要人工干预，使得工作效率大大提高。

结合第一方面的技术方案，在一种可能的实施方式中，当所述操作指令为画线操作时，所述获取所述操作指令在所述地貌图像中所对应的位置信息，包括：获取所述画线操作在所述地貌图像中所对应的运动轨迹，所述运动轨迹由多个位置信息而确定。在本申请实施例中，当操作指令为画线操作时，通过获取画线操作的运动轨迹，以便于后续对操作指令进行匹配，以确保画线操作所表征的操作指令是可以识别的操作指令。

结合第一方面的技术方案，在一种可能的实施方式中，在将所述操作指令和所述位置信息发送至所述机械设备发之前；所述方法还包括：判断所述操作指令是否与预设操作指令匹配；在为是时，执行步骤：将所述操作指令和所述位置信息发送至所述机械设备。

在本申请实施例中，通过增加操作指令的判断步骤，可以确保发送至机械设备的每一个操作指令均为可以识别的操作指令，避免无用的操作指令给机械设备造成干扰，影响设备正常运作的同时也可能降低机械设备的工作效率，同时由于降低了显示设备与机械设备的交互次数，使得该方法还可以适用于一些网速较差的区域，适应性强。

第二方面，本申请实施例还提供了一种控制方法，应用于人机交互系统中的机械设备，所述人机交互系统还包括与机械设备连接的显示终端。所述方法包括：所述机械设备拍摄地貌图像，并将所述地貌图像发送至所述显示终端进行显示；所述机械设备接收所述显示终端发送的操作指令和位置信息，其中，所述操作指令为用户在所述显示终端的显示界面上针对所述地貌图像输入的用于指示所述机械设备以预设工作模式进行工作的指令；所述位置信息为所述操作指令在所述地貌图像中所对应的位置信息；所述机械设备在所述位置信息对应的位置处以所述操作指令对应的工作模式进行工作。

在本申请实施例中，机械设备通过接收显示终端发送的操作指令和位置信息即可自动实现机械设备在所述位置信息对应的位置处以所述操作指令对应的工作模式进行工作，极大地简化了操作流程，降低了操作难度，同时由于机械设备是自动以操作指令对应的工作模式进行工作的，无需或很少需要人工干预，使得工作效率大大提高。

结合第二方面的技术方案，在一种可能的实施方式中，所述机械设备在所述位置信息对应的位置处以所述操作指令对应的工作模式进行工作；包括：所述机械设备基于预设映射关系确定出所述位置信息对应的实际位置；所述机械设备移动至所述实际位置处，并以所述操作指令对应的工作模式进行工作。

本申请实施例中，通过事先建立的显示图像中的图像坐标与实际坐标的映射关系来确定出位置信息(图像坐标)对应的实际位置(实际坐标)的方式，确保机械设备可以精确的在用户想到的位置处进行挖掘工作。

结合第二方面的技术方案，在一种可能的实施方式中，所述机械设备移动至所述实际位置处，并以所述操作指令对应的工作模式进行工作，包括：所述机械设备基于机械设备当前的位置和所述实际位置规划出移动路径；所述机械设备沿所述移动路径移动至所述实际位置处，并以所述操作指令对应的工作模式进行工作。

本申请实施例中，通过获取机械设备当前的位置以及将要去的实际位置进行路径规划，为机械设备能顺利到达实际位置处开展作业提供了保证。

结合第二方面的技术方案，在一种可能的实施方式中，所述机械设备沿所述移动路径移动至所述实际位置处，并以所述操作指令对应的工作模式进行工作，包括：所述机械设备在移动的过程中，检测所述移动路径上是否存在生命体；在为否时，所述机械设备沿所述移动路径移动至所述实际位置处，并以所述操作指令对应的工作模式进行工作。

在本申请实施例中，在移动路径规划完成之后，还会检测该移动路径上是否存在生命体，仅在移动路径上不存在生命体时，机械设备才会从当前位置移动至实际位置；若检测到在移动路径上存在生命体时，则机械设备不会移动，进而可以避免机械设备在移动过程中误伤生命体，从而提高了本申请的实用性，保证了操作过程中的安全性。

第三方面，本申请实施例还提供了一种控制装置，应用于人机交互系统中的显示终端，所述人机交互系统还包括与显示终端通信的机械设备。所述装置包括：获取模块、响应获取模块以及发送模块；获取模块，用于获取所述机械设备拍摄的地貌图像并进行显示；响应获取模块，用于响应用户在显示界面上针对所述地貌图像输入的操作指令，获取所述操作指令在所述地貌图像中所对应的位置信息；其中，所述操作指令用于指示所述机械设备以预设工作模式进行工作；发送模块，用于将所述操作指令和所述位置信息发送至所述机械设备，以使所述机械设备在所述位置信息对应的位置处以所述操作指令对应的工作模式进行工作。

结合第三方面的技术方案，在一种可能的实施方式中，当所述操作指令为画线操作时，所述响应获取模块，还用于获取所述画线操作在所述地貌图像中所对应的运动轨迹，所述运动轨迹由多个位置信息而确定。

结合第三方面的技术方案，在一种可能的实施方式中，所述控制装置还包括：判断模块，用于判断所述操作指令是否与预设操作指令匹配。

第四方面，本申请实施例还提供了一种显示终端，应用于人机交互系统，所述人机交互系统还包括机械设备。所述显示终端包括：收发器、显示器和处理器。所述收发器和所述显示器均与所述处理器连接。所述收发器，用于接收所述机械设备发送的地貌图像，并将所述地貌图像发送给所述处理器；所述显示器，用于显示所述处理器发送的所述地貌图像；所述处理器，用于响应用户在显示界面上针对所述地貌图像输入的操作指令，获取所述操作指令在所述地貌图像中所对应的位置信息；其中，所述操作指令用于指示所述机械设备以预设工作模式进行工作；所述收发器，还用于将所述处理器发送的所述操作指令和所述位置信息，以使所述机械设备在所述位置信息对应的位置处以所述操作指令对应的工作模式进行工作。

第五方面，本申请实施例还提供了一种机械设备，应用于人机交互系统，所述人机交互系统还包括显示终端。所述机械设备包括：含有动力装置的设备本体、控制器、图像采集装置、无线传输模块。所述图像采集装置、所述无线传输模块、所述动力装置均与所述控制器连接，所述图像采集装置，用于采集所述设备本体周围的地貌图像，并将其传输给所述控制器。所述控制器，用于将所述地貌图像通过所述无线传输模块发送至所述显示终端，以及接收所述显示终端发送的操作指令和位置信息，进而控制所述设备本体移动至所述位置信息对应的位置处以所述操作指令对应的工作模式进行工作，其中，所述操作指令为用户在所述显示终端的显示界面上针对所述地貌图像输入的用于指示所述机械设备以预设工作模式进行工作的指令；所述位置信息为所述操作指令在所述地貌图像中所对应的位置信息。

第六方面，本申请实施例还提供了一种人机交互系统，包括：显示终端和与所述显示终端通信的机械设备。所述机械设备，用于采集自身所在环境周围的地貌图像，并将所述地貌图像发送至所述显示终端。所述显示终端，用于显示所述地貌图像，并响应用户在显示界面上针对所述地貌图像输入的操作指令，获取所述操作指令在所述地貌图像中所对应的位置信息；其中，所述操作指令用于指示所述机械设备以预设工作模式进行工作；所述显示终端，还用于将所述操作指令和所述位置信息发送至所述机械设备。所述机械设备，还用于接收所述操作指令和所述位置信息，并基于所述操作指令和所述位置信息控制自身在所述位置信息对应的位置处以所述操作指令对应的工作模式进行工作。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举本申请实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本申请实施例提供的一种人机交互系统的交互示意图；

图2是本申请实施例提供的一种机械设备的连接示意图；

图3是本申请实施例提供的一种控制方法的流程示意图；

图4是本申请实施例提供的一种控制方法的流程示意图；

图5是本申请实施例提供的一种控制装置的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

请参阅图1，图1为本发明实施例提供的一种人机交互系统100的交互示意图。该人机交互系统100包括：显示终端120和机械设备110，显示终端120通过网络与机械设备110进行数据交互。在本申请实施例中，机械设备110用于采集自身所在环境周围的地貌图像，并将所述地貌图像发送至显示终端120；显示终端120在接收到机械设备110发送的地貌图像之后，在显示终端120的显示界面将地貌图像进行显示。且显示终端120用于接收用户基于所述地貌图像输入的操作指令，以及响应该操作指令获取所述操作指令在所述地貌图像中所对应的位置信息；并将所述操作指令和所述位置信息发送至机械设备110。机械设备110在接收到操作指令和位置信息之后，控制机械设备110在所述位置信息对应的位置处以所述操作指令对应的工作模式进行工作。

其中，在本发明实施例中，显示终端120可以包括：收发器、显示器、处理器、通信模块以及存储器等，所述通讯模块、收发器、所述显示器和存储器均与所述处理器连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。收发器用于接收和发送数据。显示器用于显示图像。通信模块用于实现处理器与机械设备的数据交互。存储器中存储有计算机可读取指令，如存储有图5中所示的软件功能模块，即控制装置200。其中，控制装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器中或固化在所述显示装置120的操作系统(operating system，OS)中的软件功能模块。所述处理器用于执行存储器中存储的可执行模块，例如所述控制装置200包括的软件功能模块或计算机程序。例如，收发器用于接收所述机械设备发送的地貌图像，并将所述地貌图像发送给所述处理器；所述显示器用于显示所述处理器发送的所述地貌图像；处理器用于响应用户在显示界面上针对所述地貌图像输入的操作指令，获取所述操作指令在所述地貌图像中所对应的位置信息；其中，所述操作指令用于指示所述机械设备以预设工作模式进行工作；所述收发器，还用于将所述处理器发送的所述操作指令和所述位置信息发送至所述机械设备，以使所述机械设备在所述位置信息对应的位置处以所述操作指令对应的工作模式进行工作。

通信模块可以是4G通信模块、5G通信模块、WiFi通信模块中的一种或者多种的相互结合，以使终端设备能够接收和发送数据(地貌图像、操作指令、位置信息等)即可。

显示器可以是触摸显示屏、液晶显示屏等可以清晰显示地貌图像的显示装置。当显示器为触摸显示屏(如电容式触摸屏、压力式触摸屏等)时，用户可以直接在触摸显示屏上输入操作指令，当显示器为液晶显示屏时，则用户可以通过鼠标直接显示界面上输入操作指令。

处理器可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器还用于存储程序，所述处理器在接收到执行指令后，执行所述程序，后述本发明实施例任一实施例揭示的流程定义的服务器所执行的方法可以应用于处理器中，或者由处理器实现。

请参阅图2，在本发明实施例中，机械设备110可以包括：含有动力装置114的设备本体、控制器111、图像采集装置112、无线传输模块113。所述图像采集装置112、所述无线传输模块113、所述动力装置114均与所述控制器111连接。

所述图像采集装置112用于采集所述设备本体周围的地貌图像，并将其传送给所述控制器111。本申请实施例中，通过在设备本体的前、后、左、右四个方向安装图像采集装置112，以全方位无死角的拍摄设备本体所处的周围环境的地貌图像。其中，该图像采集装置可以为摄像头或者高清照相机等。本申请实施例中，该图像采集装置除了包括摄像头或者高清照相机还包括激光雷达，以实时测量设备本体的与周围环境物体的距离。

所述控制器111用于将所述地貌图像通过所述无线传输模块113发送至所述显示终端120，以及接收所述显示终端120发送的操作指令和位置信息，进而控制所述机械设备110的本体移动至所述位置信息对应的位置处以所述操作指令对应的工作模式进行工作，其中，所述操作指令为用户在所述显示终端120的显示界面上针对所述地貌图像输入的用于指示所述机械设备110以预设工作模式进行工作的指令；所述位置信息为所述操作指令在所述地貌图像中所对应的位置信息。同时，由于在本申请中的机械设备110需要从当前位置移动移动至实际的位置，也就是需要获取当前位置的坐标信息，因此，机械设备110还可以包括：定位装置115，定位装置115与控制器111连接，定位装置115可以是北斗星定位系统、GPS(全球定位系统，Global Positioning System)等。

其中，无线传输模块113与显示终端120的通信模块对应，且硬件可以设置为一致的，因此不在进行赘述。动力装置114用于带动机械设备110进行移动如液压传动系统。

其中，为了实现机械设备根据显示终端120发送的操作指令和位置信息即可实现使机械设备自动以操作指令对应的工作模式在相应的工作地点进行工作，使得整个挖掘工作无需或很少需要人工干预。本申请实施例中，可以在设备本体的铲斗、小臂、大臂、转台四个部位分别安装与控制器连接的倾角传感器，以实时检测这几个部位在挖掘工作中的转角幅度，以便于控制器根据倾角传感器采集的数据精确控制铲斗、小臂、大臂、转台的转动，从而完成自动挖掘工作。同时，为了使挖掘机在挖掘的过程中更加的柔顺，在本申请实施例中，可以在现有挖掘机利用原液压油进行控制的基础上增加比例电磁阀。其中，利用比例电磁阀精确控制的液压油的进出量，便可以控制原液压油泵的速度，而泵油速度反应的是挖掘机的工作速度也即，通过控制速度就可以使挖掘机做出一些精细化的操作。

请参照图3，图3为本申请实施例提供了一种应用于上述的显示终端120的控制方法的流程示意图；下面将结合图3所包含的步骤S110-S130进行说明：

步骤S110：获取所述机械设备拍摄的地貌图像并进行显示。

下面以挖掘机代替机械设备110进行说明，以便于更好的理解本申请实施例所提供的方案。本申请实施例中，通过在挖掘机的四周安装摄像头，例如在挖掘机的前后左右均安装有一定数量的摄像头，以全方位无死角的拍摄设备本体所处的周围环境的地貌图像。其中，设置在挖掘机前方的摄像头用于拍摄挖掘机前方的地貌图像，相应的，设置在挖掘机后方的摄像头用于拍摄挖掘机后方的地貌图像。设置在挖掘机左方和挖掘机右方的摄像头分别用于拍摄挖掘机左方和右方的地貌图像。

显示终端120获取的地貌图像可以是设置在挖掘机前方的摄像头拍摄的地貌图像，也可以是设置在挖掘机后方的摄像头拍摄的地貌图像，当然也可以是设置在挖掘机左方或者挖掘机右方的摄像头拍摄的图像。在具体的实施方式中，显示终端120获取也可以是安装在挖掘机上的所有摄像头所拍摄的地貌图像。当显示终端120获取到地貌图像之后，在显示终端120的显示界面会对地貌图像进行显示。相应的，显示界面可以采用分屏显示的方式同时显示多幅图像，例如，同时显示前、后、左、右摄像头采集的地貌图像，此时，显示界面被分割成4个显示区域，形同“+字型”，当点击某一个字画面时，可以实现该子画面的全屏显示，例如点击位于屏幕左上方的子画面时，此时屏幕便全屏显示左上方的子画面，显示其余子画面的情形与之类似。

其中，需要说明的是，当前、后、左、右设置均有多个摄像头时，此时，显示界面的子画面显示的是拼接图像，例如位于屏幕左上方的子画面为位于设备本体前方的摄像头拍摄的地貌图像时，此时显示的位于屏幕左上方地貌图像为将所有位于设备本体前方的摄像头拍摄的地貌图像进行拼接后的地貌图像。又例如，假设位于屏幕右上方的子画面为位于设备本体后方的摄像头拍摄的地貌图像时，此时显示位于屏幕右上方的地貌图像为将所有位于设备本体后方的摄像头拍摄的地貌图像进行拼接后的地貌图像。显示的其余子画面的情形与之类似。

步骤S120：响应用户在显示界面上针对所述地貌图像输入的操作指令，获取所述操作指令在所述地貌图像中所对应的位置信息。

用户在显示终端120的显示界面上的可以看见挖掘机各个方向的地貌图像，当需要使挖掘机在地貌环境中的某个位置进行具体的某项操作时，可以直接在显示界面上显示的地貌图像中的对应位置输入相应的操作指示即可，显示装置120便可以响应用户在显示界面上针对所述地貌图像输入的操作指令，进而获取所述操作指令在所述地貌图像中所对应的位置信息。例如，点击显示画面中的某一点，便可获取到这一点在显示画面中的位置信息；又例如，在显示画面中画一条直线，便可以获取到这一画线操作在所述地貌图像中所对应的运动轨迹，其中，该运动轨迹由多个位置信息而确定。

可选地，在本申请实施例中的位置信息指代的可以是坐标信息，但并不限于为坐标信息，在具体实施方式中，只要能准确的表示出某一点的具体位置的方式均是可行的。所述操作指令用于指示所述机械设备以预设工作模式进行工作，例如，操作指令为点击显示画面中的某一点时(“点击操作”)，即可使挖掘机实现定点挖掘，操作指令为在显示画面中画一条直线(“画线操作”中的“直线型”)，即可使挖掘机实现定点挖沟，操作指令为在画面中画一个口字型(“画线操作”中的“口字型”)，即可使挖掘机实现定点挖坑。

当在显示终端120上输入的操作指令不是“点击操作”而是“画线操作”时，如，“直线型”的操作或“口字型”的操作，此时需要获取在显示界面所画的线的运动轨迹、长度和在地貌图像中的画线位置，以实现挖掘机的准确挖掘。在显示界面所画的线的运动轨迹与挖掘机实际的挖掘轨迹类似，如，画一条直线，则可以表征需要挖掘机挖一条直线形的沟，而挖沟的方向与运动轨迹的方向相同。同时根据在显示界面上的线的长度，计算在实际地貌环境中，挖掘机需要挖长度为多少的沟。并根据在显示界面上所画的线的具体位置，确定出在地貌环境中需要挖沟的具体位置。

在本申请实施例中，可以通过以下方式获得显示画面上的坐标信息，以显示界面的上边界的一个端点为坐标圆点建立坐标系，此时，在显示界面上进行显示的地貌图像的每一个位置上均有一个特定的坐标点。当输入指令为画线操作时，可以根据这些坐标点确定出所画线段的运动轨迹。但是，由于一条线有无穷多个坐标，若将这些坐标全部利用起来而用于确定画线的运动轨迹，则会影响对操作指令的识别速度。同时若将这些坐标发送至挖掘机，也需要占用相当大比例的网速，在一些偏远的地方，由于网速可能并不好，而使得位置信息的发送较为困难。因此，在本申请实施例中，若操作指令为“画线操作”时，在该线上取特定的多个位置的坐标来表征该直线即可，既可以确定出“画线操作”的运动轨迹，又可以节约坐标处理和获取的数量，以及减少坐标的传输数量。

如可以在每条画线轨迹上均取20个点(包含画线的起始点和终止点)，且这20个点在相互之间的间距相同，进而可以根据这20个点确定出画线的轨迹、长度和在地貌图像中的画线位置。进而仅需将这20个点的坐标发送至挖掘机即可，挖掘机基于收到的坐标根据预设的映射关系既能确定出需要在地貌环境中进行挖掘的轨迹和位置，实现智能挖掘。

其中，需要说明的是，在本申请实施例中的预设工作模式指的是预先存储于挖掘机上的工作模式，一个操作指令可以对应一种预设工作模式，预设工作模式可以为挖坑、挖沟、移动等，也可以是挖坑、挖沟、移动等的结合，例如，移动至某个位置进行挖坑。其中操作指令与对应的工作模式的关系用户可以根据需要进行自定义，当然，在具体实施方式中，挖坑也并不限定用“口字型”的画线操作来指示，此处仅是以“口字型”的画线操作来举例说明而已，并不起限定作用。在具体实施方式中挖坑也可以是画圆操作等。

步骤S130：将所述操作指令和所述位置信息发送至所述机械设备，以使所述机械设备在所述位置信息对应的位置处以所述操作指令对应的工作模式进行工作。

显示终端120在响应用户输入的操作指令而获得该操作指令在显示画面中的位置信息后，可以通过无线通信的方式将操作指令和位置信息发送至挖掘机上。在挖掘机接收到操作指令和位置信息后，便可以按照操作指令的指示在位置信息对应的地貌环境中的相应位置进行挖掘。例如：需要在挖掘机的前方挖一个坑；此时，在显示界面上显示的由前方摄像头拍摄的地貌图像上，输入对应的操作指令即可，如在画面中画一个“口字型”的操作。也就是，此时表征“口字型”的画线操作对应的预设工作模式是挖坑。

在挖掘机在接收到显示终端120发送的操作指令和位置信息之后，使自身在所述位置信息对应的位置处以所述操作指令对应的工作模式进行工作。下面将对这一过程进行说明：

首先，挖掘机在接收到位置信息之后，根据预设映射关系确定出位置信息指代的地貌环境中的实际位置。以本申请实施例中的位置信息为坐标信息来具体举例说明，由于此时挖掘机收到的是基于地貌图像的二维坐标，而实际位置为三维坐标，因此，要基于预设的二维坐标与三维坐标的映射关系将二维坐标转换为三维坐标，以便于找出在地貌环境中挖掘机需要进行工作的具体位置。因此需要将二维坐标根据预设映射关系确定出三维坐标；本申请的预设映射关系可以为：根据屏幕显示和摄像头成像比例，得到制定挖掘点在摄像头图片中的像素位置，经过坐标转换矩阵，得到二维坐标(u,v)与对应的三维坐标(x,y,z)。进而可以通过接收的位置关系确定出需要进行挖掘的具体地点。

可选地，在本申请实施例中，可以通过以下方式获得显示画面上的二维坐标，以显示界面的上边界的一个端点为坐标圆点建立坐标系，此时，在显示界面上进行显示的地貌图像的每一个位置上均有一个特定的坐标点。

需要说明的是，在本申请实施例中，输入的操作指令不同，则挖掘机执行的操作不同。如“直线型”的“画线操作”对应的预设工作模式可以为挖沟。但是并不一定用户在显示界面上输入的任何画线操作都能有对应的工作模式与之对应，也即只能对事先定义了画线操作的工作模式的操纵指令进行识别，因此，为了确保发送至机械设备110的每一个操作指令均为可以识别的操作指令，避免无用的操作指令给机械设备110造成干扰，影响设备正常运作的同时也可能降低机械设备的工作效率。鉴于此，作为一种可选的实施方式，在将所述操作指令和所述位置信息发送至所述机械设备发之前；所述方法还包括：判断所述操作指令是否与预设操作指令匹配，即识别用户输入的操作指令是不是预设的操作指令，在识别出操作指令为预设操作指令时，才将所述操作指令和所述位置信息发送至所述机械设备。

如在显示界面上输入的操作指令是“波浪线”或者“杂乱无章的线条”等时，此时，若“波浪线”或者“杂乱无章的线条”等操作指令并没有与之对应的预设工作模式时；则尽管输入这些操作指令，也并不知道具体需要挖掘机做出什么操作时，进而无需将这些预先并没有存储的操作指令以及对应的位置信息发送至机械设备110。换言之，在本申请实施例的该实施方式中，发送至机械设备110的操作指令和位置信息均可以是正确的操作指令和位置信息，也就是机械设备110接收的数据均为有效的数据。从而在当机械设备110和显示终端120之间通信不好时，可以进一步的缓解数据传输的压力。

在本申请实施例中，由于用户仅需在显示有地貌图像的显示界面上输入诸如：点击、画线等的操作指令，即可使机械设备110以操作指令对应的工作模式在相应的工作地点进行工作，极大地简化了操作流程，降低了操作难度，同时由于机械设备110是自动以操作指令对应的工作模式进行工作的，无需或很少需要人工干预，使得工作效率大大提高。

可选地，本申请实施例还提供了另外一种实施方式用于远程控制挖掘机进行挖掘，如在显示终端120上设置有与挖掘机的驾驶室相类似的操作杆和控制按键，当然也可以是操作杆和控制按键设置在另外一个操作装置上，而操作装置可以与显示终端120连接即可。进而用户可以根据显示界面显示的内容，远程的在显示终端120上利用操作杆和控制按键远程操作挖掘机进行挖掘工作，同时，操作杆和控制按键的布局方式可以与挖掘机的驾驶室布局类似，进而可以便于用于操作。在此实施方式中，操作杆和控制按键的共同用于输入操作指令，而显示终端120仅需实时的将操作指令发送至挖掘机即可，进而可以实现远程挖掘，对于挖掘机在执行一些较为危险的工作时，可以利用这种实施方式保证用户的安全。

为了更好的理解本申请提供的方案，下面将从机械设备110的角度分析机械设备110是如何进行工作的，下面将结合图4所示的控制方法对这一过程进行说明。其中，在本申请的具体实施例中，为了便于理解本申请实施例提供的思想，继续以挖掘机进行工作而代替机械设备110进行工作来进行分析。

步骤S210：所述机械设备拍摄地貌图像，并将所述地貌图像发送至所述显示终端进行显示。

在本申请实施例中，根据安装在挖掘机前、后、左、右的摄像头获取挖掘机周围的地貌图像。若当挖掘机的前、后、左、右设置均有多个摄像头时，此时可以对安装在挖掘机每个方向的摄像头进行编号，以便于控制器111在对摄像头拍摄的图像进行处理时，识别这些图像的来源，以便于将位于同一个方向上的摄像头拍摄的图像进行拼接处理，如将位于设备本体前方的两个摄像头拍摄的图像进行拼接。在具体实施方式中，也可以不对安装在挖掘机每个方向的摄像头进行编号，而根据每个摄像头发送的图像确认出那些摄像头安装在同一个方向上。如，当摄像头将各自拍摄的地貌图像发送至控制器111之后，控制器111对每幅地貌图像进行特征的提取并进行对比，将特征匹配度达到80％的地貌图像对应的摄像头划分为安装在挖掘机同一方向的摄像头。并将同一方向上的摄像头拍摄的地貌图像进行拼接，并将拼接之后的地貌图像发送至显示终端120。

步骤S220：所述机械设备接收所述显示终端发送的操作指令和位置信息，其中，所述操作指令为用户在所述显示终端的显示界面上针对所述地貌图像输入的用于指示所述机械设备以预设工作模式进行工作的指令；所述位置信息为所述操作指令在所述地貌图像中所对应的位置信息。

机械设备110拍摄到地貌图像后，将其传输给显示终端120，显示终端120接到该地貌图像后，将其在显示界面上进行显示，以便于用户在在显示界面上输入针对所述地貌图像的用于指示所述机械设备以预设工作模式进行工作的指令。当用户在显示界面上针对所述地貌图像输入操作指令时，显示终端120响应用户在显示界面上针对所述地貌图像输入的操作指令，获取所述操作指令在所述地貌图像中所对应的位置信息，并将所述操作指令和所述位置信息发送至所述机械设备110，以使所述机械设备110在所述位置信息对应的位置处以所述操作指令对应的工作模式进行工作。为了避免累赘，此处不再对其如何获取位置信息的原理进行介绍，这一原理与上述显示终端120如何获取位置信息的部分相同，相互参见即可。

步骤S230：所述机械设备110在所述位置信息对应的位置处以所述操作指令对应的工作模式进行工作。

在本申请实施例中，机械设备110在接收到显示装置120发送的操作指令和位置信息后，根据操作指令和位置信息控制自身在所述位置信息对应的位置处以所述操作指令对应的工作模式进行工作。

可选地，挖掘机在接收到位置信息和操作指令之后，根据预设映射关系确定出位置信息指代的地貌环境中的实际位置，然后在实际位置处以所述操作指令对应的工作模式进行工作，如进行挖沟操作或挖坑操作。以本申请实施例中的位置信息为坐标信息来具体举例说明，由于此时挖掘机收到的是基于地貌图像的二维坐标，而实际位置为三维坐标，因此，要基于预设的二维坐标与三维坐标的映射关系将二维坐标转换为三维坐标，以便于找出在地貌环境中挖掘机需要进行工作的具体位置。因此需要将二维坐标根据预设映射关系确定出三维坐标；本申请的预设映射关系可以为：根据屏幕显示和摄像头成像比例，得到制定挖掘点在摄像头图片中的像素位置，经过坐标转换矩阵，得到二维坐标(u,v)与对应的三维坐标(x,y,z)。进而可以通过接收的位置关系确定出需要进行挖掘的具体地点。

当需要定点挖掘的地方不在机械设备110的当前位置时，机械设备110还需要移动至需要定点挖掘的地方进行定点挖掘。为了确保挖掘机能准确、快速的到达实际位置处，作为一种实施方式，可以是基于机械设备当前的位置和所述实际位置规划出移动路径，然后沿所述移动路径移动至所述实际位置处，并以所述操作指令对应的工作模式进行工作。由于两个位置之间的移动路径有很多，因而在规划路径时，需要结合当前的位置至实际位置之间的地貌环境决定，从而使规划的路径为最佳路径，如距离最短或可移动性好等，如路况最好。如：在当前的位置至实际位置之间是相对较平的地貌环境，则移动路径可以为当前的位置移动笔直的移向实际位置即可，但若当前的位置至实际位置之间存在障碍物、深坑或其它使得挖掘机无法通过的地段时，需要绕开此地段，进而规划出一条可行的路线。

为了避免机械设备110在移动过程中误伤生命体，提高本申请的实用性以及保证操作过程中的安全性，可选地，在本申请实施例中，在当移动路径规划完成之后以及在移动的过程中，实时检测所述移动路径上是否存在生命体。仅有在为否时，也即移动路径上没有生命体时，所述机械设备110才沿所述移动路径移动至所述实际位置处，并以所述操作指令对应的工作模式进行工作。否则不移动，或者从新规划路径。例如，在移动的过程中，检测到有生命体时，则停止移动，若超过阈值仍然存在生命体时，则重新规划移动路径。

作用一种实施方式，可以利用摄像头检测画面中是否存在有生命体，如果摄像头拍摄到有生命体的存在，即利用在挖掘机上安装的激光雷达获取到生命体至挖掘机的距离，若距离小于安全距离，则立即停止挖掘机的移动。直到挖掘机的移动路径上的不存在生命体时，则挖掘机继续移动至实际位置。其中，安全距离可以根据具体实施方式进行设定，在本申请实施例中并不进行限定，可以为5米、10米等，具体可以根据实际机械设备110的类型，以及具体的移动速度进行设定。

需要说明的是，在具体实施方式中，挖掘机在进行工作(移动和挖掘)时，摄像头均可以检测在是否存在生命体，换言之，也就是挖掘机在进行工作时，将一直检测挖掘机的周围是否存在生命体，若检测到存在生命体，且生命体距离挖掘机的距离小于预设的安全距离时，挖掘机均停止工作。进而避免了挖掘机在工作过程中误伤生命体的情况。同时，在上述的生命体指代的是人、大型动物等，预先将生命体的bounding box坐标存储于挖掘机的处理器中，进而可以基于摄像头拍摄的图像集合预存的bounding box坐标判断出是否存在生命体。当然，也可使用其它方式判断是否存在生命体，在本申请实施方式中并不进行限定。

请参阅图5本申请实施例还提供了一种应用于人机交互系统中的显示终端120中的控制装置200。该控制装置200包括：获取模块210、响应获取模块220以及发送模块230。

其中，获取模块210，用于获取所述机械设备110拍摄的地貌图像并进行显示。

响应获取模块220，用于响应用户在显示界面上针对所述地貌图像输入的操作指令，获取所述操作指令在所述地貌图像中所对应的位置信息；其中，所述操作指令用于指示所述机械设备110以预设工作模式进行工作。可选地，当所述操作指令为画线操作时，所述响应获取模块220，还用于获取所述画线操作在所述地貌图像中所对应的运动轨迹，所述运动轨迹由多个位置信息而确定。

发送模块230，用于将所述操作指令和所述位置信息发送至所述机械设备110，以使所述机械设备110在所述位置信息对应的位置处以所述操作指令对应的工作模式进行工作。

可选地，所述控制装置200还包括：判断模块。其中，判断模块，用于判断所述操作指令是否与预设操作指令匹配。

本申请实施例还提供了一种非易失性计算机可读取存储介质，其上存储有计算机程序，该计算机程序被处理器运行时执行上述的如图3或图4所示的控制方法。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，笔记本电脑,服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种控制方法，其特征在于，应用于人机交互系统中的显示终端，所述人机交互系统还包括与显示终端通信的机械设备；所述方法包括：

获取所述机械设备拍摄的地貌图像并进行显示；

响应用户在显示界面上针对所述地貌图像输入的操作指令，获取所述操作指令在所述地貌图像中所对应的位置信息；其中，所述操作指令用于指示所述机械设备以预设工作模式进行工作；其中，所述操作指令包括：显示界面上的点击操作和画线操作，所述预设工作模式包括：定点挖掘、定点挖沟和定点挖坑；

将所述操作指令和所述位置信息发送至所述机械设备，以使所述机械设备在所述位置信息对应的位置处以所述操作指令对应的工作模式进行工作。

2.根据权利要求1所述的方法，其特征在于，当所述操作指令为画线操作时，所述获取所述操作指令在所述地貌图像中所对应的位置信息，包括：

获取所述画线操作在所述地貌图像中所对应的运动轨迹，所述运动轨迹由多个位置信息而确定。

3.根据权利要求1所述的方法，其特征在于，在将所述操作指令和所述位置信息发送至所述机械设备之前；所述方法还包括：

判断所述操作指令是否与预设操作指令匹配；

在为是时，执行步骤：将所述操作指令和所述位置信息发送至所述机械设备。

4.一种控制方法，其特征在于，应用于人机交互系统中的机械设备，所述人机交互系统还包括与机械设备连接的显示终端；所述方法包括：

所述机械设备拍摄地貌图像，并将所述地貌图像发送至所述显示终端进行显示；

所述机械设备接收所述显示终端发送的操作指令和位置信息，其中，所述操作指令为用户在所述显示终端的显示界面上针对所述地貌图像输入的用于指示所述机械设备以预设工作模式进行工作的指令；所述位置信息为所述操作指令在所述地貌图像中所对应的位置信息；其中，所述操作指令包括：显示界面上的点击操作和画线操作，所述预设工作模式包括：定点挖掘、定点挖沟和定点挖坑；

所述机械设备在所述位置信息对应的位置处以所述操作指令对应的工作模式进行工作。

5.根据权利要求4所述的方法，其特征在于，所述机械设备在所述位置信息对应的位置处以所述操作指令对应的工作模式进行工作；包括：

所述机械设备基于预设映射关系确定出所述位置信息对应的实际位置；

所述机械设备移动至所述实际位置处，并以所述操作指令对应的工作模式进行工作。

6.根据权利要求5所述的方法，其特征在于，所述机械设备移动至所述实际位置处，并以所述操作指令对应的工作模式进行工作，包括：

所述机械设备基于机械设备当前的位置和所述实际位置规划出移动路径；

所述机械设备沿所述移动路径移动至所述实际位置处，并以所述操作指令对应的工作模式进行工作。

7.根据权利要求6所述的方法，其特征在于，所述机械设备沿所述移动路径移动至所述实际位置处，并以所述操作指令对应的工作模式进行工作，包括：

所述机械设备在移动的过程中，检测所述移动路径上是否存在生命体；

在为否时，所述机械设备沿所述移动路径移动至所述实际位置处，并以所述操作指令对应的工作模式进行工作。

8.一种控制装置，其特征在于，应用于人机交互系统中的显示终端，所述人机交互系统还包括与显示终端通信的机械设备；所述装置包括：

获取模块，用于获取所述机械设备拍摄的地貌图像并进行显示；

响应获取模块，用于响应用户在显示界面上针对所述地貌图像输入的操作指令，获取所述操作指令在所述地貌图像中所对应的位置信息；其中，所述操作指令用于指示所述机械设备以预设工作模式进行工作；其中，所述操作指令包括：显示界面上的点击操作和画线操作，所述预设工作模式包括：定点挖掘、定点挖沟和定点挖坑；

发送模块，用于将所述操作指令和所述位置信息发送至所述机械设备，以使所述机械设备在所述位置信息对应的位置处以所述操作指令对应的工作模式进行工作。

9.一种显示终端，其特征在于，应用于人机交互系统，所述人机交互系统还包括机械设备；所述显示终端包括：收发器、显示器和处理器，所述收发器和所述显示器均与所述处理器连接；

所述收发器，用于接收所述机械设备发送的地貌图像，并将所述地貌图像发送给所述处理器；

所述显示器，用于显示所述处理器发送的所述地貌图像；

所述处理器，用于响应用户在显示界面上针对所述地貌图像输入的操作指令，获取所述操作指令在所述地貌图像中所对应的位置信息；其中，所述操作指令用于指示所述机械设备以预设工作模式进行工作；其中，所述操作指令包括：显示界面上的点击操作和画线操作，所述预设工作模式包括：定点挖掘、定点挖沟和定点挖坑；

所述收发器，还用于将所述处理器发送的所述操作指令和所述位置信息发送至所述机械设备，以使所述机械设备在所述位置信息对应的位置处以所述操作指令对应的工作模式进行工作。

10.一种机械设备，其特征在于，应用于人机交互系统，所述人机交互系统还包括显示终端；所述机械设备包括：含有动力装置的设备本体、控制器、图像采集装置、无线传输模块；

所述图像采集装置、所述无线传输模块、所述动力装置均与所述控制器连接，

所述图像采集装置，用于采集所述设备本体周围的地貌图像，并将其传输给所述控制器；

所述控制器，用于将所述地貌图像通过所述无线传输模块发送至所述显示终端，以及接收所述显示终端发送的操作指令和位置信息，进而控制所述设备本体移动至所述位置信息对应的位置处以所述操作指令对应的工作模式进行工作，其中，所述操作指令为用户在所述显示终端的显示界面上针对所述地貌图像输入的用于指示所述机械设备以预设工作模式进行工作的指令；所述位置信息为所述操作指令在所述地貌图像中所对应的位置信息；其中，所述操作指令包括：显示界面上的点击操作和画线操作，所述预设工作模式包括：定点挖掘、定点挖沟和定点挖坑。

11.人机交互系统，其特征在于，包括显示终端和与所述显示终端通信的机械设备；

所述机械设备，用于采集自身所在环境周围的地貌图像，并将所述地貌图像发送至所述显示终端；

所述显示终端，用于显示所述地貌图像，并响应用户在显示界面上针对所述地貌图像输入的操作指令，获取所述操作指令在所述地貌图像中所对应的位置信息；其中，所述操作指令用于指示所述机械设备以预设工作模式进行工作；其中，所述操作指令包括：显示界面上的点击操作和画线操作，所述预设工作模式包括：定点挖掘、定点挖沟和定点挖坑；

所述显示终端，还用于将所述操作指令和所述位置信息发送至所述机械设备；

所述机械设备，还用于接收所述操作指令和所述位置信息，并基于所述操作指令和所述位置信息控制自身在所述位置信息对应的位置处以所述操作指令对应的工作模式进行工作。

Images