CN114393576A

CN114393576A - 基于人工智能的四轴机械臂点击和位置校准方法和系统

Info

Publication number: CN114393576A
Application number: CN202111612458.9A
Authority: CN
Inventors: 许根; 周磊
Original assignee: Jiangsu Mingyue Intelligent Technology Co ltd
Current assignee: Jiangsu Mingyue Intelligent Technology Co ltd
Priority date: 2021-12-27
Filing date: 2021-12-27
Publication date: 2022-04-26
Anticipated expiration: 2041-12-27
Also published as: CN114393576B

Abstract

本发明公开了一种基于人工智能的四轴机械臂点击和位置校准方法，包括以下步骤：制作工装夹具，使得被测屏幕处于水平位置；根据关键点识别，且使用摄像头获取所述被测屏幕的区域信息；使用固定位置的所述摄像头拍摄指定所述关键点，根据获取到的所述关键点的尺寸，换算距离关系；以及使用强化学习算法，让机械臂逐步主动逼近所述关键点，将屏幕点击有效反馈和机械臂自身压力反馈的关系作为奖励函数。本发明提使用该方法和系统之后，无需进行繁琐的示教工作，降低人力投入和人为错误，不再依赖人工进行机械臂点击，云计算下的机械臂智能化提升，可将已有测试/运行步骤，远程输入到人力不可达地方。

Description

基于人工智能的四轴机械臂点击和位置校准方法和系统

技术领域

本发明涉及计算机软硬件测试技术领域，具体公开了一种基于人工智能的四轴机械臂点击和位置校准方法和系统。

背景技术

在自动化测试领域，通常会通过软硬件方式来模拟人的行为，进行人机交互。对于带触摸屏的设备的测试过程中，常见模拟方式有：1.软件模拟触摸屏事件；2.使用机械臂控制触摸笔进行点击，通过软件模拟屏幕点击事件，通常只能用在做功能性的测试验证，无法测试屏幕的实际响应能力；同时也会因额外占用系统资源来模拟点击事件，无法正确反映系统性能；另外，软件模拟的方式一定程度下侵入了被测系统，容易引起非被测系统自身软件导致的故障，产生额外的定位分析问题的时间和费用。

在使用机械臂进行点击动作前，通常会需要人工进行示教，引导机械臂行动至指定位置，随后记录下位置信息。如果有多个动作，则需要人工多次进行示教工作，费时费力。

发明内容

本发明的目的在于克服现有技术的缺陷，提供一种基于人工智能的四轴机械臂点击和位置校准方法和系统，用于解决现有技术中在使用四轴桌面工业级机械臂点击时，如何将屏幕内需要点击元素位置提取，转成机械臂所认知的三维空间坐标，取得转换关系，且拥有一套自动提升识别能力的机械臂点击系统的问题。

为了实现以上目的及其他目的，本发明是通过包括以下技术方案实现的：

一种基于人工智能的四轴机械臂点击和位置校准方法，包括以下步骤：

制作工装夹具，使得被测屏幕处于水平位置；

根据关键点识别，且使用摄像头获取所述被测屏幕的区域信息；

使用固定位置的所述摄像头拍摄指定所述关键点，根据获取到的所述关键点的尺寸，换算距离关系；以及

使用强化学习算法，让机械臂逐步主动逼近所述关键点，将屏幕点击有效反馈和机械臂自身压力反馈的关系作为奖励函数。

在本发明的一个实施例中，所述制作装夹工具，使得被测屏幕处于水平位置，包括：

将所述被测屏幕至于水平面；以及

让四轴桌面工业级机械臂的底座也处于水平面。

在本发明的一个实施例中，所述根据关键点识别，且使用摄像头获取所述被测屏幕的区域信息，包括：

使用YOLOv3模型进行小目标识别；

从固定位置所述摄像头拍摄到的图片中，识别到指定小目标；以及

将屏幕的有效区域进行ROI裁剪。

在本发明的一个实施例中，所述使用固定位置的所述摄像头拍摄指定所述关键点，根据获取到的所述关键点的尺寸，换算距离关系，包括：

根据大小一致的关键点在不同深度下，拍摄后得到的像素大小，获得像素与深度的换算关系，从而得到被测屏幕所在的水平面与摄像头的垂直关系，即得到被测屏幕所在的水平面与摄像头的Z轴关系；

根据四轴桌面工业级机械臂底座与所述摄像头的Z轴关系得到机械臂与所述被测屏幕所在水平面的Z轴关系。

在本发明的一个实施例中，所述使用强化学习算法，让机械臂逐步主动逼近所述关键点，将屏幕点击有效反馈和机械臂自身压力反馈的关系作为奖励函数，包括：

利用强化学习方式，设置强化学习用到的奖励函数和惩罚函数，使其自主选择路径移动到屏幕，得到屏幕上至少三个点的世界坐标点(x,y,z)；以及

根据所述制作工装夹具，使得所述被测屏幕处于水平位置，得到z1＝z2＝z3…。

在本发明的一个实施例中，所述奖励函数包括：

机械臂下探后的面积范围在根据关键点识别，且使用摄像头获取所述被测屏幕的区域信息的区域内；以及

机械臂末端自身压力感受到反馈压力，并机械臂末端点击到屏幕上。

一种基于人工智能的四轴机械臂点击和位置校准系统，包括：

强化学习模型模块；

屏幕距离测算模块；以及

屏幕2D坐标转机械臂3D坐标模块。

在本发明的一个实施例中，所述强化学习模型模块包括：

实验环境模型模块，采用本地训练方式，进行模型预训练，加快模型收敛；以及生产环境模型模块，采用在线训练方式，实时采集数据进行再训练，使得模型匹配具体的生产环境。

在本发明的一个实施例中，所述屏幕距离测算模块通过定焦摄像头拍摄固定大小的锚点，测算出锚点跟摄像头之间的深度关系，利用摄像头成像公式得到垂直移动锚点后新的距离。

在本发明的一个实施例中，所述屏幕2D坐标转机械臂3D坐标模块通过将屏幕水平放置，使得屏幕所在面跟机械臂世界坐标面重合，实现3D降维成2D的目的，再利用摄像头拍照，根据图形的相似性，进行等比例计算，得到屏幕上元素对于机械臂要点击的点的位置。

综上所述，本发明提供了一种基于人工智能的四轴机械臂点击和位置校准方法和系统，使用该方法和系统之后，无需进行繁琐的示教工作，降低人力投入和人为错误，不再依赖人工进行机械臂点击，云计算下的机械臂智能化提升，可将已有测试/运行步骤，远程输入到人力不可达地方，降低差旅消耗。其他的特征、益处和优势将通过本文详述的包括说明书和权利要求书在内的文本公开而显而易见。

附图说明

图1是本发明二维坐标和世界坐标转换示例图；

图2是本发明基于定焦摄像头的位置计算示意图；

图3是本发明的识别效果图；

图4是本发明的在线强化学习网络结构图；

图5是本发明奖励函数的结构示意图。

具体实施方式

下面结合具体实施例进一步阐述本发明，应理解，这些实施例仅用于说明本发明而不用于限制本发明的保护范围。

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

本发明的一种基于人工智能的四轴机械臂点击和位置校准方法，可以在实验环境下强化预学习，也可以在远程环境下运行。

实施例1

当在实验环境下强化预学习时，具体地包括步骤S1至S4：

S1、制作工装夹具，使得被测屏幕处于水平位置，具体地，将所述被测屏幕至于水平面，让四轴桌面工业级机械臂的底座也处于水平面，即将被测设备放入支架，用水平仪进行检测，使得屏幕水平，在屏幕四个顶点贴上标定签，这种操作方式后，将会将解决三维空间转换问题降维，如图1所示，形成对二维坐标转换关系的求解，使得计算难度大大的降低。

S2、根据关键点识别，且使用摄像头获取所述被测屏幕的区域信息，具体地，打开摄像头，加载强化学习模块，元素识别模块，使用YOLOv3模型进行小目标识别，从固定位置摄像头拍摄到的图片中，识别到指定小目标，如图4所示，将屏幕的有效区域进行ROI(region of interest)裁剪。

S3、使用固定位置的所述摄像头拍摄指定所述关键点，根据获取到的所述关键点的尺寸，换算距离关系，如图2所示，根据步骤S2获取到的信息，自动调整奖励、惩罚函数的参数，并随机生成一系列的目标点。具体地，标定之后的相机，在单目相机情况下，可以根据大小一致的关键点在不通深度下，拍摄后得到的像素大小，获得像素与深度的换算关系，从而得到被测屏幕所在的水平面与摄像头的垂直关系，即被测屏幕所在的水平面与摄像头的Z轴关系，另外固定在操作桌面的四轴桌面工业级机械臂底座与摄像头的垂直距离，即四轴桌面工业级机械臂底座与摄像头的Z轴关系是已知的，所以能够得到机械臂与被测屏幕所在水平面的Z轴关系。

S4、使用强化学习算法，让机械臂逐步主动逼近所述关键点，将屏幕点击有效反馈和机械臂自身压力反馈的关系作为奖励函数。具体地，利用强化学习方式，设置强化学习用到的奖励函数和惩罚函数，使其自主选择路径移动到屏幕，得到屏幕上至少三个点的世界坐标点(x,y,z)，此时，因为权利要求所述的方法F1，在机械臂示教模式下，把机械臂移动至屏幕的四个顶点，分别得到机械臂的坐标，此时必定得到z1≈z2≈z3…。那么我们的奖励函数只要保证机械臂下探后的面积范围在S2中得到的区域内，且机械臂末端自身压力感受到反馈压力，即机械臂末端点击到屏幕上。惩罚函数只要保证.机械臂末端下探深度大于屏幕所在屏幕z1，且机械臂末端超出区域，机械臂末端压力反馈大于阈值。

如图5所示，进一步地，奖励函数和惩罚函数，都是用于在非监督强化学习过程中，确保模型向更优解逼近而设置的两种算法函数。通常未训练情况下，系统是无法确定当前操作是否正确有效。因此，我们规定系统当前操作正确，则根据奖励函数计算正分值；操作错误，则根据奖励函数计算负分值。惩罚函数用于当系统出现错误时，调用惩罚函数，调整系统的操作意愿。

奖励函数的公式公式如下：

在一些实施例中，机械臂移动距离S，机械臂点击的点分布在以屏幕为平面的四宫格K1K2K3K4，机械臂最终点击位置K0，被点击屏幕发生有效跳转J，机械臂末端压力反馈F(F0为点击最大力度)。机械臂点击的意向有：x轴、y轴、z轴的值X Y Z。因此，我们期望每次机械臂行动，都能有屏幕发生有效跳转J1，末端压力反馈F1<＝F0。

所以，本发明的奖励函数计算公式是：

即：使用以e为底的log计算，使奖励结果较为平滑。因此，在末端有压力反馈，页面也发生跳转，两者必须同时发生时计算结果才为非负数。

但此时我们可以看到，Max(R)＝0，因此我们增加机械臂移动距离变量进入公式，使得在可操作域内，机械臂行走越远，奖励越高。

惩罚函数就是放大所有区域外的情况，函数伪代码如下：

if F>F0:

执行压力过大惩罚(即z轴深度减小)

if F＝＝0:

执行压力过小惩罚(即没有按压到任何位置，需要加深z轴)

if 0<F<＝F0 and J！＝True:

此时机械臂是明确进行了按压，但屏幕页面没有跳转，

执行位置变更惩罚(即按压了，但位置不对，所以调整X，Y，Z坐标)。

实施例2

当在远程环境下运行时，具体地包括步骤F1至F5：

F1、将被测设备放入支架，用水平仪进行检测，使得屏幕水平，在屏幕四个顶点贴上标定签。

F2、打开摄像头以及元素识别模块。

F3、根据现有图片位置和强化学习模块留下的参数信息，随机生成三至六个坐标点，例如可以为四个。驱使机械臂尝试点击，如果生效，则沿用这三至六个坐标点；否则，加载强化学习模块处于在线学习状态，继续训练。

F4、计算这三至六个点与屏幕之间的关系，得到转换关系。

F5、继续后续测试工作。

综上所述，本发明提供了一种基于人工智能的四轴机械臂点击和位置校准方法和系统，使用该方法和系统之后，无需进行繁琐的示教工作，降低人力投入和人为错误，不再依赖人工进行机械臂点击，云计算下的机械臂智能化提升，可将已有测试/运行步骤，远程输入到人力不可达地方，降低差旅消耗。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims

1.一种基于人工智能的四轴机械臂点击和位置校准方法，其特征在于，包括以下步骤：

制作工装夹具，使得被测屏幕处于水平位置；

2.根据权利要求1所述的校准方法，其特征在于，所述制作装夹工具，使得被测屏幕处于水平位置，包括：

将所述被测屏幕至于水平面；以及

让四轴桌面工业级机械臂的底座也处于水平面。

3.根据权利要求1所述的校准方法，其特征在于，所述根据关键点识别，且使用摄像头获取所述被测屏幕的区域信息，包括：

使用YOLOv3模型进行小目标识别；

将屏幕的有效区域进行ROI裁剪。

4.根据权利要求1所述的校准方法，其特征在于，所述使用固定位置的所述摄像头拍摄指定所述关键点，根据获取到的所述关键点的尺寸，换算距离关系，包括：

5.根据权利要求1所述的校准方法，其特征在于，所述使用强化学习算法，让机械臂逐步主动逼近所述关键点，将屏幕点击有效反馈和机械臂自身压力反馈的关系作为奖励函数，包括：

6.根据权利要求5所述的校准方法，其特征在于，所述奖励函数包括：

7.一种基于人工智能的四轴机械臂点击和位置校准系统，其特征在于，包括：

强化学习模型模块；

屏幕距离测算模块；以及

屏幕2D坐标转机械臂3D坐标模块。

8.根据权利要求7所述的校准系统，其特征在于，所述强化学习模型模块包括：

实验环境模型模块，采用本地训练方式，进行模型预训练，加快模型收敛；

以及生产环境模型模块，采用在线训练方式，实时采集数据进行再训练，使得模型匹配具体的生产环境。

9.根据权利要求7所述的校准系统，其特征在于，所述屏幕距离测算模块通过定焦摄像头拍摄固定大小的锚点，测算出锚点跟摄像头之间的深度关系，利用摄像头成像公式得到垂直移动锚点后新的距离。

10.根据权利要求7所述的校准系统，其特征在于，所述屏幕2D坐标转机械臂3D坐标模块通过将屏幕水平放置，使得屏幕所在面跟机械臂世界坐标面重合，实现3D降维成2D的目的，再利用摄像头拍照，根据图形的相似性，进行等比例计算，得到屏幕上元素对于机械臂要点击的点的位置。