CN113269107A - 一种基于深度学习的交互式智能拆解装配系统 - Google Patents

一种基于深度学习的交互式智能拆解装配系统 Download PDF

Info

Publication number
CN113269107A
CN113269107A CN202110610972.2A CN202110610972A CN113269107A CN 113269107 A CN113269107 A CN 113269107A CN 202110610972 A CN202110610972 A CN 202110610972A CN 113269107 A CN113269107 A CN 113269107A
Authority
CN
China
Prior art keywords
face
deep learning
interactive intelligent
module
cnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110610972.2A
Other languages
English (en)
Inventor
陈曾沁
何志成
温培刚
张韶越
尚继辉
程俊华
陈小虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Intelligent Manufacturing Shanghai Technology Co ltd
Original Assignee
Aerospace Intelligent Manufacturing Shanghai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Intelligent Manufacturing Shanghai Technology Co ltd filed Critical Aerospace Intelligent Manufacturing Shanghai Technology Co ltd
Priority to CN202110610972.2A priority Critical patent/CN113269107A/zh
Publication of CN113269107A publication Critical patent/CN113269107A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/018—Certifying business or products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Manufacturing & Machinery (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于拆解装配系统领域，尤其是一种基于深度学习的交互式智能拆解装配系统，针对现有技术中拆解装配系统无法使用动态组合装配来进行演示，且存在操作人员不便于手动操作的问题，现提出如下方案，其包括设备台架，所述设备台架上依次设置有人脸识别系统、深度学习系统、手势识别系统和图像仿射变换系统，所述人脸识别系统包括人脸检测模块、人脸对齐模块、人脸表征模块和人脸匹配模块，所述深度学习系统包括两阶段检测模型与单阶段检测模型，本发明可以识别各种肤色以及佩戴不同颜色手套的手势，并将手势与鼠标操作相连接，并通过照亮需要使用的工具或零件料盒提示操作人员拿取对应工具或零件的，并实时监控工具。

Description

一种基于深度学习的交互式智能拆解装配系统
技术领域
本发明涉及拆解装配系统技术领域，尤其涉及一种基于深度学习的交互式智能拆解装配系统。
背景技术
传统装配/拆解指导手册使用图片和文字结合形式表述操作流程和提示操作要点，最终打印成纸质文件提供给现场操作人员。传统指导手册具有以下缺点：操作人员工作时由于双手拿零件或者手部有油污等情况无法翻查资料；有些零件需要动态组合装配无法使用静态图片或者文字直观的表达，增加了操作人员培训时间；对于少批量多品种工件会有多种指导手册，需要大量人力管理维护；操作过程不可追溯，容易出现错装、漏装、拆解多余物等问题。
现有技术中，拆解装配系统无法使用动态组合装配来进行演示，且存在操作人员不便于手动操作的问题，因此我们提出了一种基于深度学习的交互式智能拆解装配系统，用来解决上述问题。
发明内容
本发明的目的是为了解决现有技术中拆解装配系统无法使用动态组合装配来进行演示，且存在操作人员不便于手动操作的缺点，而提出的一种基于深度学习的交互式智能拆解装配系统。
为了实现上述目的，本发明采用了如下技术方案：
一种基于深度学习的交互式智能拆解装配系统，包括设备台架，所述设备台架上依次设置有人脸识别系统、深度学习系统、手势识别系统和图像仿射变换系统，所述人脸识别系统包括人脸检测模块、人脸对齐模块、人脸表征模块和人脸匹配模块，所述深度学习系统采用两阶段检测模型，两阶段检测模型包括R-CNN、FastR-CNN、FasterR-CNN与Mask-RCNN。
优选的，所述手势识别系统包括端到端训练模块。
优选的，所述图像仿射变换系统包括投影变换模块。
优选的，所述人脸检测模块中包含人脸检测器；人脸对齐模块的目标是使用一组位于图像中固定位置的参考点来缩放和裁剪人脸图像。
优选的，所述人脸表征模块中人脸图像的像素值会被转换成紧凑且可判别的特征向量；人脸匹配模块用于通过对两个模板进行比较。
优选的，所述R-CNN是基于卷积神经网络，线性回归，和支持向量机算法，实现目标检测技术；FastR-CNN是将整个图像归一化后直接送入CNN网络，卷积层不进行候选区的特征提取，而是在最后一个池化层加入候选区域坐标信息，进行特征提取的计算；FasterR-CNN是通过将特征抽取，proposal提取，bounding box regression，classification整合在一个网络中；MaskR-CNN是在FasterR-CNN的基础上添加了一个预测分割mask的分支。
优选的，所述手势识别系统通过将三维相机拍摄三维点云与两位相机图片端到端的深度学习。
优选的，所述图像仿射变换系统针对不同摆放的工具和料盒，需要在工具和料盒上粘贴视觉靶标，并通过双目相机拍摄定位视觉靶标计算靶标空间三维坐标，将三维坐标转换到投影机坐标系下，然后转换为对应投影仪图案。
与现有技术相比，本发明的有益效果在于：
本方案由于设置了人脸识别系统，可以识别操作人员人脸特征调取人员编号，与MES系统通讯获取人员工作任务；
本方案由于设置了深度学习系统，通过高清相机和深度学习算法，可识别零件当前状态，并播放对应操作指导图文视频；
本方案由于设置了图像仿射变换系统，通过照亮需要使用的工具或零件料盒提示操作人员拿取对应工具或零件的，并实时监控工具和零件料盒防止人员错拿、多拿、或者少拿零件或工具。
附图说明
图1为本发明提出的一种基于深度学习的交互式智能拆解装配系统中设备台架的外观图；
图2为本发明提出的一种基于深度学习的交互式智能拆解装配系统中设备台架的指示引导图；
图3为本发明提出的一种基于深度学习的交互式智能拆解装配系统中设备台架的操作监控图；
图4为本发明提出的一种基于深度学习的交互式智能拆解装配系统中单阶段检测模型算法原理图；
图5为本发明提出的一种基于深度学习的交互式智能拆解装配系统中投影变换原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅代表本发明一部分实施例，而不是全部的实施例。
参照图1-5，一种基于深度学习的交互式智能拆解装配系统，包括设备台架，设备台架上依次设置有人脸识别系统、深度学习系统、手势识别系统和图像仿射变换系统，所述人脸识别系统包括人脸检测模块、人脸对齐模块、人脸表征模块和人脸匹配模块，所述深度学习系统采用两阶段检测模型，两阶段检测模型包括R-CNN、FastR-CNN、FasterR-CNN与Mask-RCNN。
本发明中，手势识别系统包括端到端训练模块。
本发明中，图像仿射变换系统包括投影变换模块。
本发明中，人脸检测模块中包含人脸检测器，人脸检测器用于寻找图像中人脸的位置，如果有人脸，就返回包含每张人脸的边界框的坐标；人脸对齐模块的目标是使用一组位于图像中固定位置的参考点来缩放和裁剪人脸图像。
本发明中，人脸表征模块中人脸图像的像素值会被转换成紧凑且可判别的特征向量，理想情况下，同一个主体的所有人脸都应该映射到相似的特征向量；人脸匹配模块用于通过对两个模板进行比较，从而得到一个相似度分数，该分数给出了两者属于同一个主体的可能性。
本发明中，R-CNN的全称是Region-CNN，R-CNN基于卷积神经网络，线性回归，和支持向量机算法，实现目标检测技术；FastR-CNN是将整个图像归一化后直接送入CNN网络，卷积层不进行候选区的特征提取，而是在最后一个池化层加入候选区域坐标信息，进行特征提取的计算；FasterR-CNN通过已经将特征抽取，proposal提取，bounding boxregression，classification都整合在了一个网络中，使得综合性能有较大提高，在检测速度方面尤为明显；MaskR-CNN是在FasterR-CNN的基础上添加了一个预测分割mask的分支。
本发明中，手势识别系统通过将三维相机拍摄三维点云与两位相机图片端到端的深度学习，实现通过两维手势图片重建三维数据并完成手势的估计计算。
本发明中，图像仿射变换系统针对不同摆放的工具和料盒，实现工具和料盒的准确照明指示，需要在工具和料盒上粘贴视觉靶标，并通过双目相机拍摄定位视觉靶标计算靶标空间三维坐标，将三维坐标转换到投影机坐标系下，然后转换为对应投影仪图案，完成工具和料盒的投影图案快速重建。
本发明中，先通过人脸检测模块可以寻找出视图中人脸的位置，并通过人脸对齐模块可以根据固定位置参考点来缩放和裁剪人脸图像，通过人脸表征模块将人脸图像转换成模板，之后通过人脸匹配模块将模板与现有模板进行比较，从而识别操作人员身份，再通过深度学习系统提供一种端到端的学习范式，整个学习的流程并不进行人为的子问题划分，而是完全交给深度学习模型直接学习从原始数据到期望输出的映射，最终的损失函数由数据损失data loss和模型参数的正则化损失(regularization loss)共同组成，模型深度的训练则是在最终损失驱动下对模型进行参数更新并将误差反向传播至网络各层，可以识别各种肤色以及佩戴不同颜色手套的手势，并将手势与鼠标操作相连接，并对应不同摆放的工具和料盒，实现工具和料盒的准确照明指示，需要在工具和料盒上粘贴视觉靶标，并通过双目相机拍摄定位视觉靶标计算靶标空间三维坐标，将三维坐标转换到投影机坐标系下，然后转换为对应投影仪图案，完成工具和料盒的投影图案快速重建，通过照亮需要使用的工具或零件料盒提示操作人员拿取对应工具或零件的，并实时监控工具和零件料盒防止人员错拿、多拿、或者少拿零件或工具，并记录工件每个步骤的状态，实现数据的可追溯，提高工件因零件缺失损坏而引起的系统归零效率。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种基于深度学习的交互式智能拆解装配系统，包括设备台架，其特征在于，所述设备台架上依次设置有人脸识别系统、深度学习系统、手势识别系统和图像仿射变换系统，所述人脸识别系统包括人脸检测模块、人脸对齐模块、人脸表征模块和人脸匹配模块，所述深度学习系统包括两阶段检测模型与单阶段检测模型，两阶段检测模型包括R-CNN、FastR-CNN、FasterR-CNN与Mask-RCNN，单阶段检测模型包括YOLO与SDD。
2.根据权利要求1所述的一种基于深度学习的交互式智能拆解装配系统，其特征在于，所述手势识别系统包括端到端训练模块。
3.根据权利要求1所述的一种基于深度学习的交互式智能拆解装配系统，其特征在于，所述图像仿射变换系统包括投影变换模块。
4.根据权利要求1所述的一种基于深度学习的交互式智能拆解装配系统，其特征在于，所述人脸检测模块中包含人脸检测器；人脸对齐模块的目标是使用一组位于图像中固定位置的参考点来缩放和裁剪人脸图像。
5.根据权利要求1所述的一种基于深度学习的交互式智能拆解装配系统，其特征在于，所述人脸表征模块中人脸图像的像素值会被转换成紧凑且可判别的特征向量；人脸匹配模块用于通过对两个模板进行比较。
6.根据权利要求1所述的一种基于深度学习的交互式智能拆解装配系统，其特征在于，所述R-CNN是基于卷积神经网络，线性回归，和支持向量机算法，实现目标检测技术；FastR-CNN是将整个图像归一化后直接送入CNN网络，卷积层不进行候选区的特征提取，而是在最后一个池化层加入候选区域坐标信息，进行特征提取的计算；FasterR-CNN是通过将特征抽取，proposal提取，bounding boxregression，classification整合在一个网络中；MaskR-CNN是在FasterR-CNN的基础上添加了一个预测分割mask的分支。
7.根据权利要求1所述的一种基于深度学习的交互式智能拆解装配系统，其特征在于，所述YOLO是将物体检测作为回归问题求解，基于一个单独的end-to-end网络，完成从原始图像的输入到物体位置和类别的输出；SDD具有多尺度的feature map，基于VGG的不同卷积段，输出feature map到回归器中。
8.根据权利要求1所述的一种基于深度学习的交互式智能拆解装配系统，其特征在于，所述手势识别系统通过将三维相机拍摄三维点云与两位相机图片端到端的深度学习。
9.根据权利要求1所述的一种基于深度学习的交互式智能拆解装配系统，其特征在于，所述图像仿射变换系统针对不同摆放的工具和料盒，需要在工具和料盒上粘贴视觉靶标，并通过双目相机拍摄定位视觉靶标计算靶标空间三维坐标，将三维坐标转换到投影机坐标系下，然后转换为对应投影仪图案。
CN202110610972.2A 2021-06-01 2021-06-01 一种基于深度学习的交互式智能拆解装配系统 Pending CN113269107A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110610972.2A CN113269107A (zh) 2021-06-01 2021-06-01 一种基于深度学习的交互式智能拆解装配系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110610972.2A CN113269107A (zh) 2021-06-01 2021-06-01 一种基于深度学习的交互式智能拆解装配系统

Publications (1)

Publication Number Publication Date
CN113269107A true CN113269107A (zh) 2021-08-17

Family

ID=77234047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110610972.2A Pending CN113269107A (zh) 2021-06-01 2021-06-01 一种基于深度学习的交互式智能拆解装配系统

Country Status (1)

Country Link
CN (1) CN113269107A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019578A (zh) * 2022-05-18 2022-09-06 湖南铁道职业技术学院 一种部件拆装实训方法及系统
CN116330305A (zh) * 2023-05-30 2023-06-27 常州旭泰克系统科技有限公司 多模态人机交互装配方法、系统、设备及其介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077650A (zh) * 2012-12-27 2013-05-01 吴声声 一种测试安全认知心理与行为用的仿真培训系统装置
CN103456105A (zh) * 2013-08-22 2013-12-18 上海余乐计算机科技有限公司 酒店智能自助终端一体机
CN106346454A (zh) * 2016-11-10 2017-01-25 珠海市华亚机械科技有限公司 一种四轴机械手视觉摆盘平台
CN106781714A (zh) * 2016-12-29 2017-05-31 武汉华育诺为信息技术有限公司 一种基于图像识别的自动考核实训台
CN210323983U (zh) * 2019-11-02 2020-04-14 厦门赫玛科技有限公司 一种多功能数据处理操作台
CN111735479A (zh) * 2020-08-28 2020-10-02 中国计量大学 一种多传感器联合标定装置及方法
CN112348139A (zh) * 2021-01-08 2021-02-09 山东欧龙电子科技有限公司 基于rfid标签识别的工具管理操作台、系统及方法
US20210247668A1 (en) * 2020-02-10 2021-08-12 Lenovo (Singapore) Pte. Ltd. Controlling projection based on viewing context

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077650A (zh) * 2012-12-27 2013-05-01 吴声声 一种测试安全认知心理与行为用的仿真培训系统装置
CN103456105A (zh) * 2013-08-22 2013-12-18 上海余乐计算机科技有限公司 酒店智能自助终端一体机
CN106346454A (zh) * 2016-11-10 2017-01-25 珠海市华亚机械科技有限公司 一种四轴机械手视觉摆盘平台
CN106781714A (zh) * 2016-12-29 2017-05-31 武汉华育诺为信息技术有限公司 一种基于图像识别的自动考核实训台
CN210323983U (zh) * 2019-11-02 2020-04-14 厦门赫玛科技有限公司 一种多功能数据处理操作台
US20210247668A1 (en) * 2020-02-10 2021-08-12 Lenovo (Singapore) Pte. Ltd. Controlling projection based on viewing context
CN111735479A (zh) * 2020-08-28 2020-10-02 中国计量大学 一种多传感器联合标定装置及方法
CN112348139A (zh) * 2021-01-08 2021-02-09 山东欧龙电子科技有限公司 基于rfid标签识别的工具管理操作台、系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
王鑫: "基于神经网络的人脸识别研究综述", 《信息与电脑》 *
邓斌: "基于双目视觉的接触网绝缘子三维位置重建", 《高压电器》 *
郭倩: "SAR图像飞机目标检测识别进展", 《雷达学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019578A (zh) * 2022-05-18 2022-09-06 湖南铁道职业技术学院 一种部件拆装实训方法及系统
CN116330305A (zh) * 2023-05-30 2023-06-27 常州旭泰克系统科技有限公司 多模态人机交互装配方法、系统、设备及其介质
CN116330305B (zh) * 2023-05-30 2023-10-31 常州旭泰克系统科技有限公司 多模态人机交互装配方法、系统、设备及其介质

Similar Documents

Publication Publication Date Title
Zimmermann et al. Learning to estimate 3d hand pose from single rgb images
Rogez et al. Lcr-net: Localization-classification-regression for human pose
US11978243B2 (en) System and method using augmented reality for efficient collection of training data for machine learning
Pan et al. A real-time multi-cue hand tracking algorithm based on computer vision
CN102854983B (zh) 一种基于手势识别的人机交互方法
Khan et al. Comparative study of hand gesture recognition system
Petersen et al. Real-time modeling and tracking manual workflows from first-person vision
CN113269107A (zh) 一种基于深度学习的交互式智能拆解装配系统
Jiang et al. Uni6d: A unified cnn framework without projection breakdown for 6d pose estimation
Zhang et al. A practical robotic grasping method by using 6-D pose estimation with protective correction
Yin et al. Synchronous AR assembly assistance and monitoring system based on ego-centric vision
Cusano et al. Visual recognition of aircraft mechanical parts for smart maintenance
KR101445973B1 (ko) 영상 처리 기술을 이용한 블록 제작 공정 진척도 인식 방법 및 그 시스템
CN113393503A (zh) 一种分割驱动形状先验变形的类别级物体6d位姿估计方法
US8224025B2 (en) Group tracking in motion capture
Schnürer et al. Real-time 3D Pose Estimation from Single Depth Images.
Abbas Recovering homography from camera captured documents using convolutional neural networks
CN111709461A (zh) 动物识别模型的训练方法、装置、设备及存储介质
Sun et al. A versatile interaction framework for robot programming based on hand gestures and poses
Lin 3D object detection and 6D pose estimation using RGB-D images and mask R-CNN
CN113420839A (zh) 用于堆叠平面目标物体的半自动标注方法及分割定位系统
Piciarelli et al. An augmented reality system for technical staff training
Liu et al. AR-Driven Industrial Metaverse for the Auxiliary Maintenance of Machine Tools in IoT-Enabled Manufacturing Workshop
De Beugher et al. Semi-automatic hand detection-a case study on real life mobile eye-tracker data
Zabbah et al. Visual tracking using learning histogram of oriented gradients by svm on mobile robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210817

RJ01 Rejection of invention patent application after publication