CN113642060A - 一种eoat视觉工作站及端拾器的建模方法 - Google Patents

Abstract

本发明公开了一种EOAT视觉工作站及端拾器的建模方法，EOAT视觉工作站包括终端设备、服务器和多个图像摄取装置；图像摄取装置用于获取目标图像；服务器用于从目标图像中提取吸盘图像；根据吸盘图像从预设数据库中提取目标吸盘模型，并计算目标吸盘模型的位姿信息；终端设备用于在预设建模平台中对吸盘进行建模。EOAT视觉工作站支持多种装配方案，可以灵活选择；方便沟通，解决人与人之间的沟通隔阂，最大化提升对接效率；模型复用性高，支持多种工业级和消费级的常用模型格式导出，只需要装配一次就可以在大部分3D软件编辑和修改，实现高度复用性；能满足数字化生产，足不出户就可以了解生产情况和当前产线瓶颈，提升效率生产数字化。

Description

一种EOAT视觉工作站及端拾器的建模方法

技术领域

本发明涉及机器视觉技术领域，特别涉及一种EOAT视觉工作站及端拾器的建模方法。

背景技术

目前端拾器的建模方式首先需要在空间中确认吸盘的位置坐标，然后通过图纸和装配关系，把其他零件逐个安装上去，部署时间较长。并且，以上静态部署完成后需要做安全检查，让已经完成装配的端拾器，按照设定的路线运动模拟，检查中途是否有碰撞和设计漏洞，然后软件提示出现碰撞的位置，设计师去完成修改。由此可见，目前端拾器的建模方式存在部署时间慢的问题。

发明内容

本发明的目的在于针对现有技术的不足之处，提供一种EOAT视觉工作站及端拾器的建模方法，旨在解决目前端拾器的建模方式存在部署时间慢的问题。

本发明提供了一种EOAT视觉工作站，包括终端设备、服务器和多个图像摄取装置；

多个所述图像摄取装置的位姿各不相同，多个所述图像摄取装置用于获取包含吸盘的待识别物的目标图像；

所述服务器电连接多个所述图像摄取装置，所述服务器用于从所述目标图像中提取所述吸盘的吸盘图像；根据所述吸盘图像从预设数据库中提取所述吸盘的目标吸盘模型，并计算所述目标吸盘模型在预设建模平台中的位姿信息；

所述终端设备电连接所述服务器，所述终端设备用于根据所述目标吸盘模型和所述目标吸盘模型在预设建模平台中的位姿信息，在所述预设建模平台中对所述吸盘进行建模；根据所述预设数据库中的零件之间的装配关系，在所述预设建模平台中对端拾器进行建模。

可选地，所述终端设备包括AR、VR设备和XR设备，所述AR设备、所述VR设备和所述XR设备用于不同的所述终端设备之间的信息交互。

可选地，所述AR设备、所述VR设备和所述XR设备还用于显示所述预设建模平台。

可选地，所述终端设备还用于编辑和/或导出所述端拾器的模型。

可选地，所述终端设备还用于向所述服务器发送用户登入信息；

所述服务器还用于根据所述用户登入信息和所述预设数据库的等级权限，向所述终端设备发送在所述预设数据库中查询到的信息。

本发明还提供了一种端拾器的建模方法，所述建模方法包括：

获取包含吸盘的待识别物的目标图像；

从所述目标图像中提取所述吸盘的吸盘图像；

根据所述吸盘图像从预设数据库中提取所述吸盘的目标吸盘模型，并计算所述目标吸盘模型在预设建模平台中的位姿信息；

根据所述目标吸盘模型和所述目标吸盘模型在预设建模平台中的位姿信息，在所述预设建模平台中对所述吸盘进行建模；

根据所述预设数据库中的零件之间的装配关系，在所述预设建模平台中对端拾器进行建模。

可选地，所述包含吸盘的待识别物为固定有所述吸盘的支架；或者，

所述包含吸盘的待识别物为装配好的端拾器。

可选地，所述根据所述吸盘图像从预设数据库中提取所述吸盘的目标吸盘模型，并计算所述目标吸盘模型在预设建模平台中的位姿信息，包括：

从所述吸盘图像中提取所述吸盘的吸盘点云；

将所述吸盘的吸盘点云与所述预设数据库中的吸盘模型进行匹配，得到所述吸盘的目标吸盘模型。

可选地，所述从所述目标图像中提取所述吸盘的吸盘图像，包括：在获取到多张所述待识别物的目标图像的情况下，从多张所述待识别物的目标图像中分别提取所述吸盘的吸盘图像，得到多张所述吸盘的吸盘图像；

所述从所述吸盘图像中提取所述吸盘的吸盘点云，包括：

从多张所述吸盘的吸盘图像中分别提取所述吸盘的点云，得到多个所述吸盘的点云；

将多个所述吸盘的点云进行拟合，得到所述吸盘的吸盘点云。

可选地，所述从所述目标图像中提取所述吸盘的吸盘图像，包括：

使用paddlepaddle实例分割网络从所述目标图像中分割出所述吸盘的吸盘图像。

本发明提供的技术方案中，EOAT视觉工作站支持多种装配方案，可以灵活选择；使用EOAT视觉工作站方便沟通，解决人与人之间的沟通隔阂，最大化提升对接效率；模型复用性高，支持多种工业级和消费级的常用模型格式导出，只需要装配一次就可以在大部分3D软件编辑和修改，实现高度复用性；能满足数字化生产，足不出户就可以了解生产情况和当前产线瓶颈，提升效率生产数字化。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明提供的EOAT视觉工作站的结构示意图；

图2为本发明提供的端拾器的建模方法的流程示意图之一；

图3为本发明提供的端拾器的建模方法的流程示意图之二。

本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，全文中出现的“和/或”的含义，包括三个并列的方案，以“A和/或B”为例，包括A方案、或B方案、或A和B同时满足的方案。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本发明提供了一种EOAT视觉工作站，该EOAT视觉工作站能够用于端拾器的建模。

如图1所示，在本实施例中，EOAT视觉工作站包括终端设备110、服务器120和多个图像摄取装置130，多个图像摄取装置130的位姿各不相同，多个图像摄取装置130用于获取包含吸盘的待识别物的目标图像；服务器120电连接多个图像摄取装置130，服务器120用于从目标图像中提取吸盘的吸盘图像；根据吸盘图像从预设数据库中提取吸盘的目标吸盘模型，并计算目标吸盘模型在预设建模平台中的位姿信息；终端设备110电连接服务器120，终端设备110用于根据目标吸盘模型和目标吸盘模型在预设建模平台中的位姿信息，在预设建模平台中对吸盘进行建模；根据预设数据库中的零件之间的装配关系，在预设建模平台中对端拾器进行建模。其中，图像摄取装置130可以为相机等。

具体而言，终端设备110内预装有预设建模平台，终端设备110通过网络连接服务器120，终端设备110可以为移动端、PC端等。例如，当终端设备110为移动端时，移动端可以是采用web技术形成预设建模平台，不需要安装任何软件就可以做到无缝连接；当终端设备110为PC端时，PC端可以是采用unity3d技术形成预设建模平台，这样可以适配大部分的PC端系统，如Linux Windows。

服务器120内预存有预设数据库，预设数据库中包括端拾器中各个零件之间的装配关系、不同种类的零件的模型、用户注册信息等，例如，预设数据库中包括不同种类的吸盘的模型，预设数据库可以是PostgreSQL数据库等。例如，终端设备110与服务器120的连接可以采用的事socket套接字连接，并最后使用PostgreSQL数据库，完成用户的登录。

终端设备110与服务器120还能用于用户的登录和注册，可选地，在本实施例中，终端设备110还用于向服务器120发送用户登入信息；服务器120还用于根据用户登入信息和预设数据库的等级权限，向终端设备110发送在预设数据库中查询到的信息。首先用户在终端设备110连接登录后，服务器120会识别用户登录的平台(比如web或者PC)，然后通过数据库的等级权限，在数据库中查询对应的内容并返回给终端设备110，终端设备110解析数据完成数据显示。

图像摄取装置130用于获取包含吸盘的待识别物的目标图像，包含吸盘的待识别物可以为固定有吸盘的支架，通过设计师或者工人在硬件支架固定吸盘位置，通过计算机视觉识别当前图片中吸盘所在支架的位置，然后使用分类网络识别吸盘的种类，在使用点云拟合和点云匹配计算出吸盘在当前空间的位置，并在3D软件(即预设建模平台)中在对应的位置中生成吸盘的模型，再提取数据库中存储的零件之间的装配关系，在3D软件中完成自动装配，从而实现AI自动装配。包含吸盘的待识别物也可以为装配好的端拾器，通过图像摄取装置130拍摄已经安装好的端拾器并识别吸盘当前的位置，使用数据库的装配关系完成在3d场景的模型生成，让设计师不用重复搭建，就可以完成旧方案的修改和优化。并且，服务器120可以基于强化学习，完成端拾器的模型的AI自动安全检查和自动安全修改，从而大大减少设计师检查的时间。由此可见，EOAT视觉工作站支持多种装配方案，可以灵活选择。

端拾器设计通常有专门的设计师来完成的，但是实现是需要车间的工人来完成，可能是设计中有不合理或者漏洞，导致无法实现，再通中无法实时标注和视频演示，导致沟通和说明效率极差。而使用EOAT视觉工作站，车间和设计师之间可以通过各自的终端设备110进行沟通，这样能解决人与人之间的沟通隔阂，最大化提升对接效率。可选地，在本实施例中，终端设备110包括AR设备、VR设备和XR设备，AR设备、VR设备和XR设备用于不同的终端设备110之间的信息交互，并且，AR设备、VR设备和XR设备还用于显示预设建模平台。EOAT视觉工作站可以采用基于聊天室的AR、VR和XR技术，足不出户就可以面对面的完成交流和沟通，甚至可以基于网页把装配过程动画化和数据化，让车间和设计师之间交流没有障碍。

目前通常使用工业软件进行端拾器建模，工业软件采用的是stp格式文件，格式复用性差，导致没有办法在其他建模软件完成编辑和修改，造成模型复用性差。并且，工业软件授权费用比较高，没有办法让车间工人使用和操作。而在本实施例中，终端设备110还用于编辑和/或导出端拾器的模型，终端设备110支持多种工业级和消费级的常用模型格式导出，只需要装配一次就可以在大部分3D软件编辑和修改，实现高度复用性，这样模型复用性高；并且授权费用低，可以让上到设计师，下到车间工人都可以使用，实现交流沟通零距离。

目前端拾器的建模方式无法实时的在公司或者在出差的时候查看车间的生产情况和生产效率，导致生产效率浪费，数字孪生差。而EOAT视觉工作站能够满足数字化工业生产，EOAT视觉工作站会通过强化学习不断的寻找最优的生产方案，首先分析AI预估产线的生产效率，通过总的生产效率计算各步骤的生产效率，然后对比找出可以优化步骤和修改的方案。

本发明提供的技术方案中，EOAT视觉工作站支持多种装配方案，可以灵活选择；使用EOAT视觉工作站方便沟通，解决人与人之间的沟通隔阂，最大化提升对接效率；模型复用性高，支持多种工业级和消费级的常用模型格式导出，只需要装配一次就可以在大部分3D软件编辑和修改，实现高度复用性；能满足数字化生产，足不出户就可以了解生产情况和当前产线瓶颈，提升效率生产数字化。

可选地，在本实施例中，EOAT视觉工作站的识别部分采用的是6D位姿识别，首先使用paddlepaddle实例分割网络把吸盘在图片的位置分割出来，在使用YOLO网络进行分类，找出吸盘的类别，在使用点云拟合把吸盘的多个相机点云合并成一个吸盘的点云，然后进行匹配计算出模型在空间的6D位姿信息。

本发明还提供了一种端拾器的建模方法，能够基于如上所介绍的EOAT视觉工作站来实现，如图2所示，该建模方法包括如下步骤：

步骤S210：获取包含吸盘的待识别物的目标图像。

具体而言，通过图像摄取装置获取待识别物的目标图像，图像摄取装置通常设置有多个，并且多个图像摄取装置的位姿各不相同，通过多个图像摄取装置来获取待识别物的目标图像，能获取到多张待识别物的目标图像。其中，待识别物中包含吸盘，待识别物可以为固定有吸盘的支架；待识别物也可以为装配好的端拾器。

步骤S220：从所述目标图像中提取所述吸盘的吸盘图像。

具体而言，图像摄取装置会向服务器发送获取到的目标图像，服务器接收到目标图像后，服务器从目标图像中提取吸盘的吸盘图像。

可选地，在本实施例中，使用paddlepaddle实例分割网络从目标图像中分割出吸盘的吸盘图像。

可选地，在本实施例中，在获取到多张所述待识别物的目标图像的情况下，从多张所述待识别物的目标图像中分别提取所述吸盘的吸盘图像，得到多张所述吸盘的吸盘图像。

步骤S230：根据所述吸盘图像从预设数据库中提取所述吸盘的目标吸盘模型，并计算所述目标吸盘模型在预设建模平台中的位姿信息。

具体而言，服务器内预存有预设数据库，预设数据库中包括端拾器中各个零件之间的装配关系、不同种类的零件的模型、用户注册信息等，例如，预设数据库中包括不同种类的吸盘的模型。服务器提取到吸盘的吸盘图像后，服务器根据吸盘图像从预设数据库中提取吸盘的目标吸盘模型，并计算目标吸盘模型在预设建模平台中的位姿信息。

可选地，在本实施例中，使用YOLO网络进行分类，找出吸盘的类别。

可选地，在本实施例中，步骤S230包括：服务器从吸盘图像中提取吸盘的吸盘点云；服务器将吸盘的吸盘点云与预设数据库中的吸盘模型进行匹配，得到吸盘的目标吸盘模型。

进一步，在本实施例中，在服务器得到多张所述吸盘的吸盘图像的情况下，服务器可以通过如下步骤提取吸盘的吸盘点云。

首先，服务器从多张吸盘的吸盘图像中分别提取吸盘的点云，得到多个吸盘的点云。

然后，服务器将多个吸盘的点云进行拟合，得到吸盘的吸盘点云。

步骤S240：根据所述目标吸盘模型和所述目标吸盘模型在预设建模平台中的位姿信息，在所述预设建模平台中对所述吸盘进行建模。

具体而言，服务器会向终端设备发送目标吸盘模型和目标吸盘模型在预设建模平台中的位姿信息，终端设备接收到目标吸盘模型和目标吸盘模型在预设建模平台中的位姿信息后，能根据目标吸盘模型和目标吸盘模型在预设建模平台中的位姿信息，在预设建模平台中对吸盘进行建模。

步骤S250：根据所述预设数据库中的零件之间的装配关系，在所述预设建模平台中对端拾器进行建模。

具体而言，服务器会根据吸盘的类别会向终端设备发送预设数据库中对应的零件之间的装配关系，终端设备接收到对应的零件之间的装配关系后，能根据预设数据库中的零件之间的装配关系，在预设建模平台中对端拾器进行建模。

本发明提供的技术方案中，EOAT视觉工作站支持多种装配方案，可以灵活选择；使用EOAT视觉工作站方便沟通，解决人与人之间的沟通隔阂，最大化提升对接效率；模型复用性高，支持多种工业级和消费级的常用模型格式导出，只需要装配一次就可以在大部分3D软件编辑和修改，实现高度复用性；能满足数字化生产，足不出户就可以了解生产情况和当前产线瓶颈，提升效率生产数字化。

可选地，如图3所示，在本实施例中，端拾器的建模方法包括如下步骤：

第一步：终端设备生成登录指令，并向服务器发送登录指令。

具体而言，用户在Unity3D中进行登录操作，终端设备响应于用户的登录操作而生成登录指令，登录指令中包含账号信息。

第二步：服务器响应于终端设备发送的登录指令，服务器判定账号是否存在和授权是否到期。

具体而言，服务器的预存数据库中包含预存的账号信息。

第三步：若服务器判定账号不存在或者授权到期，则终端设备显示登录错误并显示错误信息；若服务器判定账号存在且授权未到期，则向终端设备发送登录成功信息，响应于服务器发送的登录成功信息，终端设备显示菜单页面，菜单页面中设置有端拾器定位、装配关系导入导出等功能按钮。

第四步：响应于用户对端拾器定位的操作，进行相机关系标定。相机即为图像摄取装置，以下将以具有4个相机为例进行介绍。

第五步：相机原点标定，若标定未成功，则重新标定；若标定成功，则终端设备显示相机标定成功状态。

第六步：获取相机状态和个数指令，若未开启4个相机，则重新启动或者结束程序；若开启4个相机，则获取6D位姿指令，调用get3DPose。

第七步：若手动分割，显示需要框选的图片/点云拟合；若自动分割，则获取图像文件，通过BOX/分类/置信度自动分割完成图像，显示需要框选的图片/点云拟合。

第八步：点云匹配，得到6D姿态结果。

第九步：终端设备进行解析，在Unity3D中移动吸盘。

具体而言，首先登录连接预设数据库查看用户授权是否过期，登录成功后进入菜单界面，选择功能端拾器识别进入相机标定状态，标定成功后显示当前相机状态并进行下一步，如果识别则弹出提示并重新开始此步骤，标定成功后获取相机开启并能成功采集图像的个数，如果匹配进行下一步，反之提示对应的错误并指导完成修改，相机个数匹配成功后，开始获取吸盘的6D位姿信息，从在redis放入最新的一张图片，然后识别和分类程序处理图像并返回类别置信度box，6D位姿程序取出类别置信度box等信息，开始进行点云拟合，通过拟合完成的吸盘点云和模型进行匹配并计算出对应的四元数，最后解析对应的四元数在unity3d中放置对应的吸盘。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种EOAT视觉工作站，其特征在于，包括终端设备、服务器和多个图像摄取装置；

多个所述图像摄取装置的位姿各不相同，多个所述图像摄取装置用于获取包含吸盘的待识别物的目标图像；

所述服务器电连接多个所述图像摄取装置，所述服务器用于从所述目标图像中提取所述吸盘的吸盘图像；根据所述吸盘图像从预设数据库中提取所述吸盘的目标吸盘模型，并计算所述目标吸盘模型在预设建模平台中的位姿信息；

所述终端设备电连接所述服务器，所述终端设备用于根据所述目标吸盘模型和所述目标吸盘模型在预设建模平台中的位姿信息，在所述预设建模平台中对所述吸盘进行建模；根据所述预设数据库中的零件之间的装配关系，在所述预设建模平台中对端拾器进行建模。

2.如权利要求1所述的EOAT视觉工作站，其特征在于，所述终端设备包括AR设备、VR设备和XR设备，所述AR设备、所述VR设备和所述XR设备用于不同的所述终端设备之间的信息交互。

3.如权利要求2所述的EOAT视觉工作站，其特征在于，所述AR设备、所述VR设备和所述XR设备还用于显示所述预设建模平台。

4.如权利要求1所述的EOAT视觉工作站，其特征在于，所述终端设备还用于编辑和/或导出所述端拾器的模型。

5.如权利要求1所述的EOAT视觉工作站，其特征在于，所述终端设备还用于向所述服务器发送用户登入信息；

所述服务器还用于根据所述用户登入信息和所述预设数据库的等级权限，向所述终端设备发送在所述预设数据库中查询到的信息。

6.一种端拾器的建模方法，其特征在于，所述建模方法包括：

获取包含吸盘的待识别物的目标图像；

从所述目标图像中提取所述吸盘的吸盘图像；

根据所述吸盘图像从预设数据库中提取所述吸盘的目标吸盘模型，并计算所述目标吸盘模型在预设建模平台中的位姿信息；

根据所述目标吸盘模型和所述目标吸盘模型在预设建模平台中的位姿信息，在所述预设建模平台中对所述吸盘进行建模；

根据所述预设数据库中的零件之间的装配关系，在所述预设建模平台中对端拾器进行建模。

7.如权利要求6所述的端拾器的建模方法，其特征在于，所述包含吸盘的待识别物为固定有所述吸盘的支架；或者，

所述包含吸盘的待识别物为装配好的端拾器。

8.如权利要求6所述的端拾器的建模方法，其特征在于，所述根据所述吸盘图像从预设数据库中提取所述吸盘的目标吸盘模型，并计算所述目标吸盘模型在预设建模平台中的位姿信息，包括：

从所述吸盘图像中提取所述吸盘的吸盘点云；

将所述吸盘的吸盘点云与所述预设数据库中的吸盘模型进行匹配，得到所述吸盘的目标吸盘模型。

9.如权利要求8所述的端拾器的建模方法，其特征在于，所述从所述目标图像中提取所述吸盘的吸盘图像，包括：在获取到多张所述待识别物的目标图像的情况下，从多张所述待识别物的目标图像中分别提取所述吸盘的吸盘图像，得到多张所述吸盘的吸盘图像；

所述从所述吸盘图像中提取所述吸盘的吸盘点云，包括：

从多张所述吸盘的吸盘图像中分别提取所述吸盘的点云，得到多个所述吸盘的点云；

将多个所述吸盘的点云进行拟合，得到所述吸盘的吸盘点云。

10.如权利要求6所述的端拾器的建模方法，其特征在于，所述从所述目标图像中提取所述吸盘的吸盘图像，包括：

使用paddlepaddle实例分割网络从所述目标图像中分割出所述吸盘的吸盘图像。

Images