CN113879162A - 机器人的控制方法、装置及系统 - Google Patents

Abstract

本发明公开了一种机器人的控制方法、装置及系统。其中，该方法包括：获取充电桩触摸屏的显示图像，显示图像包含用于操作充电桩的菜单图像；根据菜单图像确定目标菜单信息，其中，目标菜单信息包含菜单图像对应的标识信息；根据目标菜单信息，确定机器人的执行动作。本发明解决了现有技术中由于机器人无法操作充电桩的触摸屏，导致无法实现充电桩无人值守的技术问题。

Description

机器人的控制方法、装置及系统

技术领域

本发明涉及机器人技术领域，具体而言，涉及一种机器人的控制方法、装置及系统。

背景技术

在公共停车区设置有公共充电桩，用于充电汽车的充电，目前主要依靠专人对充电桩进行管理和操作。充电桩操作主要包括点击触摸屏、刷卡等操作工序，工序单一、枯燥，需要操作人员完成相应的技术培训，并且随着充电桩数量的日益增加，人力成本的投入随之增加，用机器人代替人力实现充电桩的无人值守是解决充电桩管理与操作问题的有效途径。现有的机器人工作方式需要预先确定工作路径以实现在不同的站点之间运行，然而，机器人无法识别屏幕信息，导致无法根据屏幕信息去点击相应的正确按钮，因此，现有的机器人无法操作充电桩的触摸屏，进而无法实现充电桩无人值守。

针对上述解决了现有技术中由于机器人无法操作充电桩的触摸屏，导致无法实现充电桩无人值守的技术问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种机器人的控制方法、装置及系统，以至少解决现有技术中由于机器人无法操作充电桩的触摸屏，导致无法实现充电桩无人值守的技术问题。

根据本发明实施例的一个方面，提供了一种机器人的控制方法，包括：获取充电桩触摸屏的显示图像，显示图像包含用于操作充电桩的菜单图像；根据菜单图像确定目标菜单信息，其中，目标菜单信息包含菜单图像对应的标识信息；根据目标菜单信息，确定机器人的执行动作。

进一步地，根据菜单图像确定目标菜单信息，包括：将菜单图像与菜单模板数据库中存储的菜单模板图像进行相似度匹配；其中，菜单模板数据库用于存储菜单模板图像，以及菜单模板图像对应的标识信息；确定与菜单图像相匹配的菜单模板图像为目标菜单模板图像；确定目标菜单模板图像以及目标菜单模板图像对应的标识信息为目标菜单信息。

进一步地，根据目标菜单信息，确定机器人的执行动作，包括：根据目标菜单模板图像，从动作程序数据库中确定与目标菜单模板图像相对应的目标执行动作程序，其中，动作程序数据库用于存储与菜单模板图像对应的执行动作程序；根据目标执行动作程序，确定机器人的执行动作。

进一步地，标识信息包括菜单图像的坐标信息，在根据目标菜单信息，确定机器人的执行动作之后，上述方法还包括：获取机器人的触摸屏操作装置的实时位置信息，其中，触摸屏操作装置用于操作充电桩的菜单图像；根据菜单图像的坐标信息和触摸屏操作装置的实时位置信息，引导触摸屏操作装置移动至菜单图像的目标位置。

进一步地，上述方法还包括：接收机器人的触摸屏操作故障信号；根据预设规则修正菜单图像的坐标信息，得到菜单图像的修正坐标；根据菜单图像的修正坐标和触摸屏操作装置的实时位置信息，引导触摸屏操作装置移动至菜单图像的修正位置。

进一步地，显示图像还包括充电桩的状态信息，在获取充电桩触摸屏的显示图像之后，上述方法还包括：根据显示图像，识别得到状态信息；将状态信息发送至监控平台。

根据本发明实施例的另一方面，还提供了一种机器人的控制装置，包括：获取模块，用于获取充电桩触摸屏的显示图像，显示图像包含用于操作充电桩的菜单图像；菜单确定模块，用于根据菜单图像确定目标菜单信息，其中，目标菜单信息包含菜单图像对应的标识信息；动作确定模块，用于根据目标菜单信息，确定机器人的执行动作。

根据本发明实施例的另一方面，还提供了一种机器人的控制系统，包括：图像采集装置，用于采集充电桩触摸屏的显示图像，显示图像包含用于操作充电桩的菜单图像；控制器，与图像采集装置和机器人通信，用于根据菜单图像确定目标菜单信息，并根据目标菜单信息，确定机器人的执行动作，其中，目标菜单信息包含菜单图像对应的标识信息。

根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行上述任意一项的方法。

根据本发明实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序被处理器运行时执行上述任意一项的方法

在本发明实施例中，通过获取充电桩触摸屏的显示图像，显示图像包含用于操作充电桩的菜单图像，根据菜单图像确定目标菜单信息，根据目标菜单信息，确定机器人的执行动作，实现了机器人可以根据识别出的触摸屏的菜单图像，确定出每个菜单图像相对应的执行动作，使得机器人可自动操作充电桩的触摸屏，进而实现了机器人代替人工完成充电桩的无人值守，解决了现有技术中由于机器人无法操作充电桩的触摸屏，导致无法实现充电桩无人值守的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种机器人的控制方法的示意图；

图2是根据本发明实施例的一种可选的机器人的控制系统的示意图；

图3是根据本发明实施例的一种可选的机器人的控制方法的示意图；

图4是根据本发明实施例的一种可选的机器人的示意图；

图5是根据本发明实施例的一种机器人的控制装置的示意图；

图6是根据本发明实施例的一种机器人的控制系统的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例，提供了一种机器人的控制方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的机器人的控制方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，获取充电桩触摸屏的显示图像，显示图像包含用于操作充电桩的菜单图像。

菜单图像包含操作充电桩的选项图标，例如，菜单图像中包含“充电时长”、“充电金额”等对应的选项图标，通过点击相应的选项图标实现对充电桩的操作。

具体的，可以通过摄像机采集充电桩触摸屏的显示图像，并且可以对显示图像进行识别，确定出菜单图像所包含的选项图标。

步骤S104，根据菜单图像确定目标菜单信息，其中，目标菜单信息包含菜单图像对应的标识信息。

上述标识信息可以用于引导机器人找到菜单图像中具体的选项图标，具体的，菜单图像对应的标识信息可以为菜单图像中各选项图标在显示图像中的位置信息、选项图标的颜色形状、选项图标的关键词等。在获取了摄像头采集的显示图像后，可以识别出菜单图像中选项图标的标识信息。

在一种可选的实施例中，目标菜单信息可以为预存储的菜单图像模板，菜单图像模板中存储了选项图标在显示图像中的位置信息，根据摄像头采集的菜单图像，从预存储的菜单图像模板中筛选出对应的菜单图像模板，以获得选项图标在显示图像中的位置信息。

在另一种可选的实施例中，根据摄像头采集的显示图像，根据预设算法确定出菜单图像中各选项图标的颜色形状、选项图标的关键词以及在显示图像中位置等，并作为目标菜单信息。

步骤S106，根据目标菜单信息，确定机器人的执行动作。

机器人的执行动作可以为对触摸屏上的菜单图像所包含的选项图标进行操作的动作。具体的，根据目标菜单信息中的菜单图像的选项图标的标识信息，可以确定出机器人的触摸屏操作装置在触摸屏上的动作轨迹以及待点击的选项图标，进而实现机器人对触摸屏的操作。

在一种可选的实施例中，可以通过摄像机采集充电桩触摸屏的显示图像，并且可以对显示图像进行识别，确定出菜单图像所包含的选项图标，根据预设算法确定出菜单图像中各选项图标的颜色形状、选项图标的关键词以及在显示图像中位置等作为目标菜单信息，根据目标菜单信息，机器人调取与目标菜单信息一致的执行动作程序，并执行对应的动作。例如，当充电汽车停靠在充电桩的指定位置时，机器人的控制装置通过摄像机采集到充电桩触摸屏上的显示图像，进一步识别出菜单图像中选项图标“开始充电”的选项图标，根据预存储的执行动作程序，控制机器人将触摸屏操作装置(例如，操作笔)移动至选项图标“开始充电”上并点击该选项图标，完成触摸屏操作。

本实施例中，通过获取充电桩触摸屏的显示图像，显示图像包含用于操作充电桩的菜单图像，根据菜单图像确定目标菜单信息，根据目标菜单信息，确定机器人的执行动作，实现了机器人可以根据识别出的触摸屏的菜单图像，确定出每个菜单图像相对应的执行动作，使得机器人可自动操作充电桩的触摸屏，进而实现了机器人代替人工完成充电桩的无人值守，解决了现有技术中由于机器人无法操作充电桩的触摸屏，导致无法实现充电桩无人值守的技术问题。

作为一种可选的实施例，根据菜单图像确定目标菜单信息，包括：将菜单图像与菜单模板数据库中存储的菜单模板图像进行相似度匹配；其中，菜单模板数据库用于存储菜单模板图像，以及菜单模板图像对应的标识信息；确定与菜单图像相匹配的菜单模板图像为目标菜单模板图像；确定目标菜单模板图像以及目标菜单模板图像对应的标识信息为目标菜单信息。

菜单模板图像对应的标识信息可以包括选项图标的坐标位置信息，以及选项图标对应的关键信息(例如，选项图标的关键词，“开始充电”的选项图标的关键词为“开始充电”的文字)的坐标位置信息等。菜单模板数据库中存储了菜单模板图像的图像特征以及对应的标识信息。

具体的，可以从摄像机采集的显示图像中识别出菜单图像的颜色、选项图标的位置和关键词等图像特征信息，并与菜单模板数据库中存储的菜单模板图像的图像特征信息进行相似度匹配，例如，根据预设的相似度算法计算出相似度，确定相似度大于预设值(比如，95％)为相匹配，并从菜单模板数据库中筛选出目标菜单信息。

作为一种可选的实施例，根据目标菜单信息，确定机器人的执行动作，包括：根据目标菜单模板图像，从动作程序数据库中确定与目标菜单模板图像相对应的目标执行动作程序，其中，动作程序数据库用于存储与菜单模板图像对应的执行动作程序；根据目标执行动作程序，确定机器人的执行动作。

动作程序数据库存储的执行动作程序与菜单模板数据库中存储的菜单模板图像相对应，执行动作程序可以根据菜单模板图像的示教得到，不同的菜单模板图像对应有不同的执行动作程序，例如，包含“开始充电”菜单模板图像和包含“充电时间设置”菜单模板图像所对应的执行动作程序是不同的。

机器人完成一套完整的动作(例如，充电)可以进行多次识别菜单图像，并进行多次上述菜单模板图像的相似度匹配和从动作程序数据库中确定目标执行动作程序的步骤，例如，通过摄像机识别出“开始充电”的菜单图像后，从菜单模板数据库中匹配确定“开始充电”的目标菜单模板图像，根据“开始充电”目标菜单模板图像从动作程序数据库中确定点击“开始充电”的选项图标的执行动作，并进入“开始充电”菜单的子菜单中，子菜单包含“充电时间设置”的菜单图像，则从菜单模板数据库中匹配确定“充电时间设置”的目标菜单模板图像，并根据“充电时间设置”的目标菜单模板图像从动作程序数据库中确定点击“充电时间设置”的选项图标的执行动作，并点击“充电时间设置”的选项图标，依次类推，每进入一个新的菜单，摄像机均对菜单图像进行采集，并与菜单模板数据库中存储的菜单模板图像进行匹配，进而从动作程序数据库中调取对应的目标执行动作程序，直到完成全部的动作。

需要说明的是，菜单模板数据库和动作程序数据库可以为机器人的控制系统本地存储的数据库，机器人控制系统本地完成显示图像的采集和执行动作的确定；也可以为与机器人控制系统本地进行通信的远程服务器上的数据库，远程服务器根据机器人控制系统的摄像机采集的显示图像，从菜单模板数据库和动作程序数据库中确定出目标执行动作程序，并发送至机器人控制系统。

作为一种可选的实施例，标识信息包括菜单图像的坐标信息，在根据目标菜单信息，确定机器人的执行动作之后，上述方法还包括：获取机器人的触摸屏操作装置的实时位置信息，其中，触摸屏操作装置用于操作充电桩的菜单图像；根据菜单图像的坐标信息和触摸屏操作装置的实时位置信息，引导触摸屏操作装置移动至菜单图像的目标位置。

上述触摸屏操作装置可以设置在机器人的末端，触摸屏操作装置可以包括用于电机触摸屏的操作笔、用于加持充电IC卡的加持装置以及缓冲部件，缓冲部件上设置缓冲弹簧以及压力变送装置，用于在点击触摸屏时能有效地接受点击力反馈，防止破坏触摸屏。

菜单图像的坐标信息包括从菜单模板数据库得到的菜单模板图像中各选项图标的坐标信息，菜单图像的目标位置为机器人需要进行点击操作的选项图标的位置。

具体的，在确定了机器人对触摸屏的点击操作的执行动作后，可以通过摄像机实时获取触摸屏操作装置中操作笔的实时位置信息(比如，操作笔的实时坐标)，将操作笔位置的实时坐标与从菜单模板数据库中获取的菜单图像的坐标信息相比对，引导操作笔运动至菜单图像的坐标位置，以使操作笔到达指定的选项图标处，并进行选项图标的点击操作。

作为一种可选的实施例，上述方法还包括：接收机器人的触摸屏操作故障信号；根据预设规则修正菜单图像的坐标信息，得到菜单图像的修正坐标；根据菜单图像的修正坐标和触摸屏操作装置的实时位置信息，引导触摸屏操作装置移动至菜单图像的修正位置。

具体的，当机器人点击触摸屏，触摸屏未按照目标菜单模板图像的图像特征进行跳转时，或者摄像机采集的菜单图像与菜单模板数据库中的菜单模板图像存在偏差，触发故障信号，例如，点击触摸屏的菜单图像的选项图标后，触摸屏的显示状态停止在当前菜单图像而未进入子菜单，或者摄像机采集的菜单图像中的选项图标的位置与菜单模板数据库中菜单模板图像的对应选项图标的坐标位置存在偏差，则触发故障信号。故障信号可以由摄像机的控制模块触发，也可以由机器人的控制系统根据摄像机采集的显示图像触发。

当接收到故障信号时，可认为机器人的触摸屏操作装置未点击到指定的选项图标，需要对菜单图像的选项图标的坐标进行修正，计算得到修正坐标，并再次引导触摸屏操作装置移动至修正坐标。上述预设规则用于重新构建菜单图像的选项图标的坐标，可以为在原坐标的基础上向预设方向移动固定值，例如，向左移动固定值，得到修正坐标后，根据修正坐标重构机器人的动作执行路径。例如，当机器人按照菜单图像的坐标信息移动并点击目标位置，但是菜单图像未跳转至对应的子菜单，则触发故障信号，并将菜单图像的坐标信息按照预设规则进行移动，得到修正坐标，机器人按照修正坐标再次点击触摸屏，如果显示图像跳转至子菜单，则结束修正；如果菜单图像仍未跳转至对应的子菜单，则再次将菜单图像的坐标信息按照预设规则进行移动，得到修正坐标，机器人按照修正坐标再次点击触摸屏，在进行预设次数的修正后，如果菜单图像仍不能正确跳转，则发出告警信号，提示人工及时维修。

作为一种可选的实施例，显示图像还包括充电桩的状态信息，在获取充电桩触摸屏的显示图像之后，上述方法还包括：根据显示图像，识别得到状态信息；将状态信息发送至监控平台。

充电桩的状态信息可以为充电桩充电时的电流、电压、充电时间、充电量等信息，具体的，可以通过摄像机采集的显示图像，识别出上述状态信息，将上述状态信息存储并发送至监控平台，实现对充电桩的充电记录、运行状态以及故障信息的记录和监控。

上述监控平台可以设置于充电桩所处区域的本地服务器中，也可以设置于远程服务器。上述本地服务器设置于多台充电桩的集中区域中，用于记录和存储多台充电桩的状态信息。远程服务器可以接受多个本地服务器提供的状态信息，用于监控多个地区的多个充电桩的状态信息，实现对多个地区的多台充电桩及机器人的集中监管、维护调度。

图2是根据本发明实施例的一种可选的机器人的控制系统的示意图，如图2所示，控制系统可以分为终端应用层、本地基站层、远程集控层三个层级，其中，终端应用层包括机器人的控制器以及摄像机，控制器用于存储、调用机器人动作程序、控制机器人的动作、控制充电桩充放电等，摄像机用于采集及识别充电桩的显示图像，并向控制器实时反馈显示图像。本地基站层包括设置于某一充电桩集中区域内的本地服务器(即集中监控主机和监控系统)，用于记录、存储、管理多台充电桩、机器人的运行状况、故障信息、充电记录等信息。远程集控层包括远程服务器，用于某一集中地域内的充电桩的监控和管理，远程服务器中可以包括在线监测平台(即监控平台)，以使运维部门、监管部门实时了解充电桩、机器人的信息、数据、运行状态。

图3是根据本发明实施例的一种可选的机器人的控制方法的示意图，如图3所示，上述机器人的控制方法可以由控制器301执行，控制器301可以与机器人本地控制模块302和摄像机控制模块303通信。在一种可选的实施中，机器人本地控制模块302和摄像机控制模块303也可以集成于上述控制器301中。

机器人本地控制模块302用于控制机器人本体304及末端执行装置305，机器人本体304用于完成机器人的基本动作，确保末端执行装置运动到触摸屏的选项图标的目标位置上方，可以通过调用执行动作程序，并通过摄像机实时反馈的末端执行装置的位置信息引导实现。机器人的末端执行装置305用于实现机器人点击充电桩触摸屏的动作及刷卡的动作，该运动通过调用点击程序实现，同时实时反馈点击触笔末端的力传感器数据，控制屏幕点击力。

图4是根据本发明实施例的一种可选的机器人的示意图，如图4所示，充电桩无人值守机器人包括机器人本体304及末端执行装置305，具体的，机器人本体可以为6自由度机器人，末端执行装置设置于机器人本体304的末端轴上，末端执行装置305包括触摸屏操作装置(例如，操作笔)、缓冲部件、IC卡夹持装置和基体，缓冲部件上设置缓冲弹簧以及压力变送装置，用于在点击触摸屏时能有效地接受点击力反馈，防止破坏触摸屏。IC卡夹持装置设置在基体上，用于夹持IC卡。

如图4所示，机器人本体304上还设置有摄像机401，上述摄像机控制模块303用于控制摄像机304采集充电桩触摸屏402的显示图像，并将采集的显示图像反馈至控制器301。摄像机304在机器人执行动作时实时拍摄末端执行装置305的执行状态(例如，末端执行装置305的位置)，通过引导算法引导末端执行装置移动至触摸屏402上待点击的位置或者刷卡位置。机器人本体304还包括辅助结构403，辅助结构403用于支撑机器人相应的部件。

如图3所示，控制器301中包含屏幕菜单特征库(即上述菜单模板数据库)、机器人动作程序库(即上述动作程序数据库)以及图像识别模块，其中，屏幕菜单特征库存储菜单模板图像及菜单模板图像中的选项图标的坐标位置、关键信息识别位置等信息，机器人动作程序库存储与菜单模板图像对应的机器人动作程序，图像识别模块可接受摄像机采集的菜单图像，并识别出菜单特征信息(即菜单图像的选项图标的颜色、位置等信息)，图像识别模块还用于识别机器人末端的触摸屏操作装置的位置以及摄像机采集显示图像中的充电桩电流、电压、充电记录等运行信息。

在一种可选的实施例中，机器人执行汽车充电动作的步骤包括：

步骤S11，在电动车泊车完成后，由司乘人员操作一键充电按钮(一键充电按钮可以设置在机器人上，也可以设置于充电桩上，以及通过移动设备进行一键充电操作)，摄像机采集车辆牌照信息。

步骤S12，机器人执行IC卡刷卡动作，摄像机拍摄机器人的末端执行装置并识别位置信息，引导刷卡动作完成，机器人记录充电时间，经终端应用层专网分别传输至本地基站层、远程集控层。

步骤S13，刷卡完成后，充电桩的充电枪解锁，由司乘人员将充电枪插入充电口。

步骤S14，机器人执行充电桩的触摸屏点击动作，摄像机拍摄触摸屏的显示图像并传输到控制器，由控制器根据显示图像筛选比对屏幕菜单特征库，筛选完成后从机器人动作程序库中调用对应的机器人运动程序，机器人按预设的运动程序运动，同时摄像机同步拍摄引导末端执行装置的操作笔点击选项图标，防止误操作。当机器人点击触摸屏，触摸屏未按照目标菜单模板图像的图像特征进行跳转时，或者摄像机采集的菜单图像与菜单模板图像存在偏差，则对菜单图像的选项图标的坐标进行修正，计算得到修正坐标，并再次引导末端执行装置移动至修正坐标，完成触摸屏的正确点击操作。

步骤S15，电动车充电，摄像机实时记录充电桩状态信息。

步骤S16，充电完成，司乘人员支付完成后，充电枪解锁，司乘人员拔出充电枪，点击停止充电，机器人状态复位。

实施例2

根据本发明实施例，提供了一种机器人的控制装置的实施例，图5是根据本发明实施例的一种机器人的控制装置的示意图，如图5所示，该装置包括：

获取模块51，用于获取充电桩触摸屏的显示图像，显示图像包含用于操作充电桩的菜单图像；菜单确定模块52，用于根据菜单图像确定目标菜单信息，其中，目标菜单信息包含菜单图像对应的标识信息；动作确定模块53，用于根据目标菜单信息，确定机器人的执行动作。

作为一种可选的实施例，菜单确定模块包括：匹配子模块，用于将菜单图像与菜单模板数据库中存储的菜单模板图像进行相似度匹配，其中，菜单模板数据库用于存储菜单模板图像，以及菜单模板图像对应的标识信息；第一确定子模块，用于确定与菜单图像相匹配的菜单模板图像为目标菜单模板图像；第二确定子模块，用于确定目标菜单模板图像以及目标菜单模板图像对应的标识信息为目标菜单信息。

作为一种可选的实施例，动作确定模块包括：程序确定子模块，用于根据目标菜单模板图像，从动作程序数据库中确定与目标菜单模板图像相对应的目标执行动作程序，其中，动作程序数据库用于存储与菜单模板图像对应的执行动作程序；第三确定子模块，用于根据目标执行动作程序，确定机器人的执行动作。

作为一种可选的实施例，标识信息包括菜单图像的坐标信息，上述装置还包括：实时位置获取模块，用于在根据所述目标菜单信息，确定所述机器人的执行动作之后，获取机器人的触摸屏操作装置的实时位置信息，其中，触摸屏操作装置用于操作充电桩的菜单图像；位置引导模块，用于根据菜单图像的坐标信息和触摸屏操作装置的实时位置信息，引导触摸屏操作装置移动至菜单图像的目标位置。

作为一种可选的实施例，上述装置还包括：故障信号接收模块，用于接收机器人的触摸屏操作故障信号；坐标修正模块，用于根据预设规则修正菜单图像的坐标信息，得到菜单图像的修正坐标；修正位置引导模块，用于根据菜单图像的修正坐标和触摸屏操作装置的实时位置信息，引导触摸屏操作装置移动至菜单图像的修正位置。

作为一种可选的实施例，显示图像还包括充电桩的状态信息，上述装置还包括：状态信息识别模块，用于在获取充电桩触摸屏的显示图像之后，根据显示图像，识别得到状态信息；发送模块，用于将状态信息发送至监控平台。

实施例3

根据本发明实施例，提供了一种机器人的控制系统的实施例，图6是根据本发明实施例的一种机器人的控制系统的示意图，如图6所示，该系统包括：图像采集装置61，用于采集充电桩触摸屏的显示图像，显示图像包含用于操作充电桩的菜单图像；控制器62，与图像采集装置和机器人通信，用于根据菜单图像确定目标菜单信息，并根据目标菜单信息，确定机器人的执行动作，其中，目标菜单信息包含菜单图像对应的标识信息。

图像采集装置61包括摄像机，摄像机可以采集充电桩的触摸屏的显示图像，并将采集的显示图像反馈至控制器62。摄像机在机器人执行动作时实时拍摄机器人的触摸屏操作装置的执行状态(例如，触摸屏操作装置的位置)，通过引导算法引导触摸屏操作装置移动至触摸屏上待点击的位置。

上述控制器可以为独立于机器人本体的控制器，也可以集成于机器人本体的控制器中。

在一种可选的实施例中，控制器62中包含菜单模板数据库和动作程序数据库，控制器可以对摄像机采集的充电桩触摸屏的显示图像进行识别，确定出菜单图像所包含的图像特征，根据图像特征的匹配程度从菜单模板数据库筛选出相匹配的目标菜单模板图像，将目标菜单模板图像以及目标菜单模板图像对应的坐标位置信息为目标菜单信息，进而从动作程序数据库调取与目标菜单信息对应的执行动作程序，并执行对应的动作。

本实施例中，通过获取充电桩触摸屏的显示图像，显示图像包含用于操作充电桩的菜单图像，根据菜单图像确定目标菜单信息，根据目标菜单信息，确定机器人的执行动作，实现了机器人可以根据识别出的触摸屏的菜单图像，确定出每个菜单图像相对应的执行动作，使得机器人可自动操作充电桩的触摸屏，进而实现了机器人代替人工完成充电桩的无人值守，解决了现有技术中由于机器人无法操作充电桩的触摸屏，导致无法实现充电桩无人值守的技术问题。

根据本发明实施例，提供了一种计算机可读存储介质的实施例，计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行上述任意一项的方法。

根据本发明实施例，提供了一种处理器的实施例，处理器用于运行程序，其中，程序被处理器运行时执行上述任意一项的方法

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种机器人的控制方法，其特征在于，包括：

获取充电桩触摸屏的显示图像，所述显示图像包含用于操作充电桩的菜单图像；

根据所述菜单图像确定目标菜单信息，其中，所述目标菜单信息包含所述菜单图像对应的标识信息；

根据所述目标菜单信息，确定所述机器人的执行动作。

2.根据权利要求1所述的机器人的控制方法，其特征在于，根据所述菜单图像确定目标菜单信息，包括：

将所述菜单图像与菜单模板数据库中存储的菜单模板图像进行相似度匹配，其中，所述菜单模板数据库用于存储所述菜单模板图像，以及所述菜单模板图像对应的标识信息；

确定与所述菜单图像相匹配的菜单模板图像为目标菜单模板图像；

确定所述目标菜单模板图像以及所述目标菜单模板图像对应的标识信息为所述目标菜单信息。

3.根据权利要求2所述的机器人的控制方法，其特征在于，根据所述目标菜单信息，确定所述机器人的执行动作，包括：

根据所述目标菜单模板图像，从动作程序数据库中确定与所述目标菜单模板图像相对应的目标执行动作程序，其中，所述动作程序数据库用于存储与所述菜单模板图像对应的执行动作程序；

根据所述目标执行动作程序，确定所述机器人的执行动作。

4.根据权利要求3所述的机器人的控制方法，其特征在于，所述标识信息包括所述菜单图像的坐标信息，在根据所述目标菜单信息，确定所述机器人的执行动作之后，所述方法还包括：

获取所述机器人的触摸屏操作装置的实时位置信息，其中，所述触摸屏操作装置用于操作所述充电桩的菜单图像；

根据所述菜单图像的坐标信息和所述触摸屏操作装置的实时位置信息，引导所述触摸屏操作装置移动至所述菜单图像的目标位置。

5.根据权利要求4所述的机器人的控制方法，其特征在于，所述方法还包括：

接收所述机器人的触摸屏操作故障信号；

根据预设规则修正所述菜单图像的坐标信息，得到所述菜单图像的修正坐标；

根据所述菜单图像的修正坐标和所述触摸屏操作装置的实时位置信息，引导所述触摸屏操作装置移动至所述菜单图像的修正位置。

6.根据权利要求1所述的机器人的控制方法，其特征在于，所述显示图像还包括充电桩的状态信息，在获取充电桩触摸屏的显示图像之后，所述方法还包括：

根据所述显示图像，识别得到所述状态信息；

将所述状态信息发送至监控平台。

7.一种机器人的控制装置，其特征在于，包括：

获取模块，用于获取充电桩触摸屏的显示图像，所述显示图像包含用于操作充电桩的菜单图像；

菜单确定模块，用于根据所述菜单图像确定目标菜单信息，其中，所述目标菜单信息包含所述菜单图像对应的标识信息；

动作确定模块，用于根据所述目标菜单信息，确定所述机器人的执行动作。

8.一种机器人的控制系统，其特征在于，包括：

图像采集装置，用于采集充电桩触摸屏的显示图像，所述显示图像包含用于操作充电桩的菜单图像；

控制器，与所述图像采集装置和所述机器人通信，用于根据所述菜单图像确定目标菜单信息，并根据所述目标菜单信息，确定所述机器人的执行动作，其中，所述目标菜单信息包含所述菜单图像对应的标识信息。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至6中任意一项所述的方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序被所述处理器运行时执行权利要求1至6中任意一项所述的方法。

Images