CN113836722B - 基于可穿戴设备、场景与数模配准的装配状态感知方法 - Google Patents
基于可穿戴设备、场景与数模配准的装配状态感知方法 Download PDFInfo
- Publication number
- CN113836722B CN113836722B CN202111122117.3A CN202111122117A CN113836722B CN 113836722 B CN113836722 B CN 113836722B CN 202111122117 A CN202111122117 A CN 202111122117A CN 113836722 B CN113836722 B CN 113836722B
- Authority
- CN
- China
- Prior art keywords
- scene
- assembly
- registration
- pose
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000008447 perception Effects 0.000 title claims abstract description 30
- 239000011521 glass Substances 0.000 claims abstract description 37
- 230000008569 process Effects 0.000 claims abstract description 21
- 238000012544 monitoring process Methods 0.000 claims abstract description 5
- 238000001514 detection method Methods 0.000 claims description 34
- 238000000605 extraction Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 239000004984 smart glass Substances 0.000 claims 5
- 230000006870 function Effects 0.000 abstract description 4
- 230000001360 synchronised effect Effects 0.000 abstract description 4
- 238000011960 computer-aided design Methods 0.000 description 25
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000010923 batch production Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
- H04B1/3827—Portable transceivers
- H04B1/385—Transceivers carried on the body, e.g. in helmets
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于可穿戴设备、场景与数模配准的装配状态感知方法，该方法包括：产品装配场景实体系统，包括用于构建实体全局坐标系的平面靶标、智能眼镜，智能眼镜上设置有物理相机，利用该物理相机对装配场景进行拍照并输出场景照片；CAD系统，包括位姿固定不变的虚拟全局坐标系、可以调整位姿的虚拟相机、零件模型，虚拟相机对零件模型进行拍照，并输出零件模型照片；通过场景照片与零件模型照片的配准，实现装配状态的自动感知。本发明采用具有空间同步定位与地图重构(SLAM)功能的可穿戴智能眼镜或头盔，获取实时装配场景下图像，通过场景图像与CAD数模图像的实时在线配准，可以为装配工艺自适应推送和装配质量在线监测提供技术支撑。
Description
技术领域
本发明涉及智能化装配技术领域，尤其是一种基于可穿戴设备、场景与数模配准的装配状态感知方法。
背景技术
在市场需求个性化、产品种类多样化的背景下，单件小批量的定制化生产模式对传统的纸质或电子文档为载体的装配工艺提出了挑战。将智能可穿戴设备引入到复杂产品的装配场景中，能够极大的提高装配的智能化水平，降低复杂产品装配过程对工人技能水平的依赖。
装配场景相比于机加工场景，其最大的特点是人工参与度高，提高装配过程的智能化水平的关键是增强工人与装配场景之间的感知、分析、决策和执行能力。在以人为本的复杂装配场景下，通过可穿戴设备可以增强人对装配场景的感知能力，一方面可穿戴设备通过感知装配场景的特征，自动识别当前正在执行的装配工步，从而推送相应的装配工艺内容给对应的操作工人，以提高装配效率，降低操作工人对装配工艺的查阅时间和工艺文件的理解难度。另一方面可穿戴设备通过感知装配场景状态，自动判断当前工步的装配质量是否合格，主要是判断当前工步零件是否漏装、零件型号是否正确、零件位置是否正确等，以提高产品的装配质量和一次装配成功率。
通过以上分析可知，要实现装配进程和装配状态自动识别，其核心是可穿戴设备对装配场景的智能感知。目前国内外专家学者对复杂产品装配场景的感知技术研究较多，其主要技术路线集中在以下两种：一种是利用深度学习的方法，通过采集大量的装配场景图像作为训练集，通过训练得到装配场景识别的黑箱模型，实际装配时采集场景照片并输入到黑箱模型中，输出装配状态信息，从而实现对装配场景或状态的自动感知。另一种是利用模板匹配的方法，通过在空间特定位置采集大量场景图片或视频流，离线构建匹配模板库，装配过程中通过采集场景信息并与模板库中的模板进行匹配，从而实现装配场景的自动感知。这两种方式在大批量生产模式下应用效果非常显著，例如家电、汽车等流水线作业模式下，能够有效的提高作业效率和产品装配质量。但是在卫星、太空舱等单件小批量的航天器装配中应用时存在其先天性不足。因为单件小批量生产模式下无法获得大量的原始样本，因此也无法使用深度学习和模板匹配方法直接进行装配场景的识别。
发明内容
本发明针对目前的装配状态感知技术依赖于大量实际装配场景照片或视频作为训练样本，而无法应用于单件小批量生产模式的缺陷，提供一种基于可穿戴设备、场景与数模配准的装配状态感知方法，该方法通过可穿戴设备采集现场照片，并记录现场照片对应的可穿戴设备空间位姿，利用该空间位姿数据实时调整CAD系统中模拟相机的位姿，从而得到一个与实际现场视角一致的数模照片，利用边缘匹配的方法对现场照片和数模照片进行配准，从而实现对装配场景的自动感知。该方法不需要事先采集大量的训练样本或模板库素材，不受生产批量限制，即使是单件生产模式下，也可以实现对产品装配状态的实时智能感知。
为实现上述目的，本发明一种基于可穿戴设备、场景与数模配准的装配状态感知方法，包括两个相互对应的系统：产品装配场景实体系统、CAD系统；
其中，产品装配场景实体系统，包括用于构建实体全局坐标系(2)的平面靶标(1)、智能眼镜(4)，智能眼镜(4)上设置有物理相机(5)，利用该物理相机(5)对装配场景进行拍照并输出场景照片(7)；
CAD系统，包括位姿固定不变的虚拟全局坐标系(12)、可以调整位姿的虚拟相机(8)、零件模型(11)，零件模型(11)的位姿相对于虚拟全局坐标系(12)固定不变，虚拟相机(8)对零件模型(11)进行拍照，并输出零件模型照片(10)；
通过场景照片(7)与零件模型照片(10)的配准，实现装配状态的自动感知。
进一步，所述物理相机(5)的中心位置设置有物理相机坐标系(6)，虚拟相机(8)的中心位置设置有虚拟相机坐标系(9)。
进一步，所述方法，具体包括以下步骤：
1)所述智能眼镜(4)及虚拟相机(8)初始化；
2)所述智能眼镜(4)通过扫描所述平面靶标(1)实现在实体全局坐标系下的注册；
3)通过所述物理相机(5)获取装配场景照片(7)，同时记录照片所对应的物理相机(5)的空间位姿；
4)利用所述物理相机(5)记录的空间位姿，调整所述虚拟相机(8)的空间位姿；
5)获取所述虚拟相机(8)位姿调整后对应的零件模型照片(10)；
6)对所述装配场景照片(7)进行检测样本提取，对所述零件模型照片(10)进行检测模板提取；
7)使用提取的检测模板对检测样本进行扫描配准；
8)输出配准结果，驱动装配工艺推送和装配状态监测。
进一步，所述步骤1)中，将所述智能眼镜(4)上物理相机(5)的参数通过无线通讯的方式传输给CAD系统，CAD系统根据这些参数配置虚拟相机(8)的参数，来实现智能眼镜(4)及虚拟相机(8)的初始化。
进一步，所述步骤2)中，操作工人(3)佩戴所述智能眼镜(4)可以在装配现场自由移动，注册后的所述智能眼镜(4)在移动过程中可以实时获取其自身的空间位姿，从而获得安装在智能眼镜(4)上的所述物理相机(5)的实时空间位姿。
进一步，所述物理相机(5)的实时空间位姿通过无线通讯的方式传递给CAD系统，CAD系统利用该实时空间位姿数据实时调整所述虚拟相机(8)相对于虚拟全局坐标系(12)的空间位姿，保证装配场景实体系统与CAD系统中物理相机与虚拟相机的位姿一致。
进一步，利用所述步骤3)中获得的物理相机(5)位姿数据调整所述虚拟相机(8)位姿，使得所述零件模型(11)的呈现角度与物理相机(5)拍摄的零件实物的角度一致
进一步，所述步骤6)中，检测样本提取过程包括图像降噪和二值化处理、图形轮廓提取；检测模板提取过程包括图像二值化处理、图像重采样、图像轮廓提取、图像ROI区域识别、计算ROI区域中心在图像像素坐标系下的坐标It，并依据识别的ROI区域对模板图像进行裁剪，得到一个与零件轮廓相切的矩形样本，将该样本图像做作为最终检测模板。
进一步，所述步骤7)中，采用边缘匹配的方法将提取的检测模板(15)与检测样本(14)进行逐像素扫描配准，利用归一化交叉相关系数匹配法进行判断，大于一定阈值则认定配准成功，阈值设定为0.95。
进一步，所述步骤8)中，配准成功后计算配准位置中心在检测样本图像像素坐标系下的坐标Is，判断Is是否近似等于It，计算两像素坐标的向量差，其差向量的模长小于10则认为近似相等，如果近似相等，则零件安装正确，该装配工步合格。
本发明一种基于可穿戴设备、场景与数模配准的装配状态感知方法，采用具有空间同步定位与地图重构(SLAM)功能的可穿戴智能眼镜或头盔，获取实时装配场景下图像，并输出该图像对应的可穿戴智能眼镜或头盔的空间位姿，CAD系统根据智能眼镜或头盔的空间位姿调整虚拟相机的位姿，并输出该位姿对应视角下的零件CAD数模图像，通过场景图像与CAD数模图像的实时在线配准，实现装配状态的自动感知，本发明可以为装配工艺自适应推送和装配质量在线监测提供技术支撑。
附图说明
图1为本发明装配场景实体系统与CAD系统示意图；
图2为检测样本与模板样本进行边缘匹配示意图；
图3为基于可穿戴设备和场景与数模在线配准的装配状态感知方法流程图。
具体实施方式
下面将结合附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
如图1、图2、图3所示，本发明一种基于可穿戴设备、场景与数模配准的装配状态感知方法，包括两个相互对应的系统，分别是产品装配场景实体系统和CAD系统；其中，产品装配场景实体系统包括一个用于构建实体全局坐标系(2)的平面靶标(1)，操作工人(3)佩戴具有空间同步定位与建图功能的智能眼镜(4)，本实施方案中，智能眼镜(4)采用微软的HoloLens2智能眼镜，该智能眼镜(4)具有空间同步定位与建图功能。智能眼镜(4)上装有物理相机(5)，物理相机坐标系(6)位于物理相机(5)的中心位置，利用该物理相机(5)可以对装配场景进行拍照并输出场景照片(7)。
根据实际装配状态，装配场景中可能包含零件实物(13)，也可能不包含。CAD系统中包括一个位姿固定不变的虚拟全局坐标系(12)，一个可以调整位姿的虚拟相机(8)，虚拟相机(8)的中心位置设置有虚拟相机坐标系(9)，零件模型(11)的位姿相对于虚拟全局坐标系(12)固定不变，虚拟相机(8)可以对零件模型(11)进行拍照，并输出零件模型照片(10)；通过场景照片(7)与零件模型照片(10)配准的方法，可以实现装配状态的自动感知。
如图3所示，本发明一种基于可穿戴设备、场景与数模配准的装配状态感知方法，其可分为三大部分，分别是物理体、信息体和虚实信息融合，其过程包括：
1)智能眼镜(4)及CAD系统的虚拟相机(8)初始化；
2)智能眼镜(4)通过扫描平面靶标(1)，实现在实体全局坐标系下的注册；
3)通过智能眼镜(4)上的物理相机(5)获取装配场景照片(7)，同时记录照片所对应的物理相机(5)的空间位姿；
4)利用智能眼镜(4)上物理相机(5)记录的空间位姿，调整CAD系统中虚拟相机(8)的空间位姿；
5)获取CAD系统中虚拟相机(8)位姿调整后，对应的零件模型照片(10)；
6)对装配场景照片(7)进行检测样本提取，对零件模型照片(10)进行检测模板提取；
7)使用提取的检测模板对检测样本进行扫描配准；
8)输出配准结果，驱动装配工艺推送和装配状态监测。
步骤1)中，智能眼镜(4)及CAD系统虚拟相机(8)的初始化过程中，将智能眼镜(4)上物理相机(5)的参数通过无线通讯的方式传输给CAD系统，CAD系统根据这些参数配置其虚拟相机(8)的参数，相机参数主要包括焦距、视场角、光圈等。
步骤2)中，操作工人(3)佩戴该智能眼镜(4)可以在装配现场自由移动，通过扫描粘贴在全局坐标系原点位置的平面靶标(1)，实现智能眼镜在全局坐标系(2)下的注册。注册后智能眼镜(4)在移动过程中可以实时获取其自身的空间位姿，从而获得安装在智能眼镜(4)上物理相机(5)的实时空间位姿。
步骤3)和步骤4)中，智能眼镜(4)上物理相机(5)的实时空间位姿可以通过无线通讯的方式传递给安装在计算机端的CAD系统，CAD系统利用该实时空间位姿数据来实时调整虚拟相机(8)相对于虚拟全局坐标系(12)的空间位姿，保证装配场景实体系统与CAD系统中物理相机与虚拟相机的位姿一致。
步骤5)中，CAD系统可以通过调整虚拟相机(8)的位姿而改变零件模型(11)的呈现角度，利用步骤3)中获得的物理相机(5)位姿数据调整虚拟相机(8)位姿，可以使得零件模型(11)的呈现角度与物理相机(5)拍摄的零件实物(13)的角度一致。
步骤6)中，其过程借助OpenCV实现。检测样本提取过程包括图像降噪和二值化处理、图形轮廓提取，本实施例中采用高斯滤波法进行图像降噪，采用OSTU(最大类间差)法进行图像二值化处理，采用Canny边缘检测算法进行图像的轮廓提取。
检测模板提取过程包括图像二值化处理、图像重采样、图像轮廓提取、图像ROI区域识别、计算ROI区域中心在图像像素坐标系下的坐标It，并依据识别的ROI区域对模板图像进行裁剪，得到一个与零件轮廓本相切的矩形样本，将该样本图像做作为最终检测模板。
本实施例中采用OSTU(最大类间差)法进行图像二值化处理，采用线性插值法对模板图像进行重采样，采用Canny边缘检测算法对模板图像轮廓提取。因模板为CAD导出图像，其可设置为背景为纯白色，所以模板中只有待检测的零件的轮廓，因此本案例中可以采用对轮廓提取后的图像进行像素扫描的方式获取其ROI区域。
步骤6)中，检测模板提取过程中以装配现场照片(7)的像元尺寸为标准对模型照片(10)进行重采样，保证最终检测模板像元与检测样本像元尺寸一致。
如图2和图3所示，步骤7)中，采用边缘匹配的方法将提取的检测模板(15)与检测样本(14)进行逐像素扫描配准，利用归一化交叉相关系数(NCC)匹配法进行判断，大于一定阈值则认定配准成功，阈值设定值与装配现场复杂度相关，本验证案例中设定相似度阈值为0.95。完成全部像素扫描后，若配准失败，则输出工步未完成/错装/漏装提示。
步骤8)中，配准成功后计算配准位置(16)中心在检测样本图像像素坐标系下的坐标Is，判断Is是否近似等于It，本实例中，计算两像素坐标的向量差，其差向量的模长小于10则认为近似相等，即：差向量的模长小于10时，Is近似等于It。如果近似相等，则零件安装正确，该装配工步合格，驱动智能眼镜(4)推送下一个装配工步工艺内容展示，否则零件安装位置错误，输出错误提示信息。
本发明的技术方案具有如下优点或有益效果：
(1)与现有的技术相比，本发明可以实现对单件小批量生产模式下的产品装配状态智能感知，无需事先采集装配现场的照片或视频作为训练集或模板库。相比于深度学习法和模板匹配法，该方法无需进行事先样本标注，有效降低感知系统的准备工作量和准备时间。
(2)因操作工人佩戴可穿戴设备活动范围自由，所以本发明不受装配空间限制，适用范围广，即可用于小范围工作台固定工位的装配操作，也可用于大型复杂产品装配现场的装配操作，装配场景下从各个角度都可以实现对装配状态的感知。
(3)本发明能够实现实时在线的装配状态感知，感知结果可用于基于可穿戴设备的装配工艺自适应推送系统，作为其在线的工艺内容展示驱动源，同时感知结果也可用于装配质量的在线监测，实时感知错装、漏装、位置错误等装配失误，并及时推送给操作工人，避免返工，提高一次装配成功率。
本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。
Claims (9)
1.基于可穿戴设备、场景与数模配准的装配状态感知方法，其特征在于，该方法包括两个相互对应的系统：产品装配场景实体系统、CAD系统；其中，产品装配场景实体系统，包括用于构建实体全局坐标系(2)的平面靶标(1)、智能眼镜(4)，智能眼镜(4)上设置有物理相机(5)，利用该物理相机(5)对装配场景进行拍照并输出场景照片(7)；
CAD系统，包括位姿固定不变的虚拟全局坐标系(12)、可以调整位姿的虚拟相机(8)、零件模型(11)，零件模型(11)的位姿相对于虚拟全局坐标系(12)固定不变，虚拟相机(8)对零件模型(11)进行拍照，并输出零件模型照片(10)；
通过场景照片(7)与零件模型照片(10)的配准，实现装配状态的自动感知；
所述方法，具体包括以下步骤：
1)所述智能眼镜(4)及虚拟相机(8)初始化；
2)所述智能眼镜(4)通过扫描所述平面靶标(1)实现在实体全局坐标系下的注册；
3)通过所述物理相机(5)获取装配场景照片(7)，同时记录照片所对应的物理相机(5)的空间位姿；
4)利用所述物理相机(5)记录的空间位姿，调整所述虚拟相机(8)的空间位姿；
5)获取所述虚拟相机(8)位姿调整后对应的零件模型照片(10)；
6)对所述装配场景照片(7)进行检测样本提取，对所述零件模型照片(10)进行检测模板提取；
7)使用提取的检测模板对检测样本进行扫描配准；
8)输出配准结果，驱动装配工艺推送和装配状态监测。
2.如权利要求1所述的基于可穿戴设备、场景与数模配准的装配状态感知方法，其特征在于，所述物理相机(5)的中心位置设置有物理相机坐标系(6)，虚拟相机(8)的中心位置设置有虚拟相机坐标系(9)。
3.如权利要求1所述的基于可穿戴设备、场景与数模配准的装配状态感知方法，其特征在于，所述步骤1)中，将所述智能眼镜(4)上物理相机(5)的参数通过无线通讯的方式传输给CAD系统，CAD系统根据这些参数配置虚拟相机(8)的参数，来实现智能眼镜(4)及虚拟相机(8)的初始化。
4.如权利要求1所述的基于可穿戴设备、场景与数模配准的装配状态感知方法，其特征在于，所述步骤2)中，操作工人(3)佩戴所述智能眼镜(4)可以在装配现场自由移动，注册后的所述智能眼镜(4)在移动过程中可以实时获取其自身的空间位姿，从而获得安装在智能眼镜(4)上的所述物理相机(5)的实时空间位姿。
5.如权利要求4所述的基于可穿戴设备、场景与数模配准的装配状态感知方法，其特征在于，所述物理相机(5)的实时空间位姿通过无线通讯的方式传递给CAD系统，CAD系统利用该实时空间位姿数据实时调整所述虚拟相机(8)相对于虚拟全局坐标系(12)的空间位姿，保证装配场景实体系统与CAD系统中物理相机与虚拟相机的位姿一致。
6.如权利要求1所述的基于可穿戴设备、场景与数模配准的装配状态感知方法，其特征在于，利用所述步骤3)中获得的物理相机(5)位姿数据调整所述虚拟相机(8)位姿，使得所述零件模型(11)的呈现角度与物理相机(5)拍摄的零件实物的角度一致。
7.如权利要求1所述的基于可穿戴设备、场景与数模配准的装配状态感知方法，其特征在于，所述步骤6)中，检测样本提取过程包括图像降噪和二值化处理、图形轮廓提取；检测模板提取过程包括图像二值化处理、图像重采样、图像轮廓提取、图像ROI区域识别、计算ROI区域中心在图像像素坐标系下的坐标It，并依据识别的ROI区域对模板图像进行裁剪，得到一个与零件轮廓相切的矩形样本，将该样本图像做作为最终检测模板。
8.如权利要求1所述的基于可穿戴设备、场景与数模配准的装配状态感知方法，其特征在于，所述步骤7)中，采用边缘匹配的方法将提取的检测模板(15)与检测样本(14)进行逐像素扫描配准，利用归一化交叉相关系数匹配法进行判断，大于一定阈值则认定配准成功，阈值设定为0.95。
9.如权利要求7所述的基于可穿戴设备、场景与数模配准的装配状态感知方法，其特征在于，所述步骤8)中，配准成功后计算配准位置中心在检测样本图像像素坐标系下的坐标Is，判断Is是否近似等于It，计算两像素坐标的向量差，其差向量的模长小于10则认为近似相等，如果近似相等，则零件安装正确，该装配工步合格。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111122117.3A CN113836722B (zh) | 2021-09-24 | 2021-09-24 | 基于可穿戴设备、场景与数模配准的装配状态感知方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111122117.3A CN113836722B (zh) | 2021-09-24 | 2021-09-24 | 基于可穿戴设备、场景与数模配准的装配状态感知方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113836722A CN113836722A (zh) | 2021-12-24 |
| CN113836722B true CN113836722B (zh) | 2022-04-08 |
Family
ID=78969965
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111122117.3A Active CN113836722B (zh) | 2021-09-24 | 2021-09-24 | 基于可穿戴设备、场景与数模配准的装配状态感知方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113836722B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115033998B (zh) * | 2022-07-13 | 2023-02-21 | 北京航空航天大学 | 一种面向机械零部件的个性化2d数据集构建方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109887030A (zh) * | 2019-01-23 | 2019-06-14 | 浙江大学 | 基于cad稀疏模板的无纹理金属零件图像位姿检测方法 |
| CN110162179A (zh) * | 2019-05-24 | 2019-08-23 | 北京理工大学 | 一种智能感知虚拟装配系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8306314B2 (en) * | 2009-12-28 | 2012-11-06 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for determining poses of objects |
-
2021
- 2021-09-24 CN CN202111122117.3A patent/CN113836722B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109887030A (zh) * | 2019-01-23 | 2019-06-14 | 浙江大学 | 基于cad稀疏模板的无纹理金属零件图像位姿检测方法 |
| CN110162179A (zh) * | 2019-05-24 | 2019-08-23 | 北京理工大学 | 一种智能感知虚拟装配系统 |
Non-Patent Citations (1)
| Title |
|---|
| 智能坐标测量系统中零件位姿自动识别;刘书桂等;《天津大学学报》;20061025(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113836722A (zh) | 2021-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11010967B2 (en) | Three dimensional content generating apparatus and three dimensional content generating method thereof | |
| KR102319177B1 (ko) | 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체 | |
| CN110009561B (zh) | 一种监控视频目标映射到三维地理场景模型的方法及系统 | |
| EP2375376B1 (en) | Method and arrangement for multi-camera calibration | |
| CN109934847B (zh) | 弱纹理三维物体姿态估计的方法和装置 | |
| CN107924571A (zh) | 从点云中对人耳进行三维重建 | |
| EP2843625A1 (en) | Method for synthesizing images and electronic device thereof | |
| Phuc Truong et al. | Registration of RGB and thermal point clouds generated by structure from motion | |
| CN103035003B (zh) | 一种实现增强现实的方法及装置 | |
| KR100560464B1 (ko) | 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법 | |
| CN113313097B (zh) | 人脸识别方法、终端及计算机可读存储介质 | |
| CN109297978B (zh) | 基于双目成像的电力线路无人机巡检及缺陷智能诊断系统 | |
| CN113836722B (zh) | 基于可穿戴设备、场景与数模配准的装配状态感知方法 | |
| CN111399634B (zh) | 一种手势引导物体识别的方法及装置 | |
| CN106682652A (zh) | 基于增强现实的结构表面病害巡检和分析方法 | |
| CN113689365B (zh) | 一种基于Azure Kinect的目标跟踪定位方法 | |
| CN111127556A (zh) | 基于3d视觉的目标物体识别和位姿估算方法以及装置 | |
| CN112288876A (zh) | 远距离ar识别服务器及系统 | |
| CN109410272B (zh) | 一种变压器螺母识别与定位装置及方法 | |
| CN116597488A (zh) | 一种基于Kinect数据库的人脸识别方法 | |
| CN111354088A (zh) | 环境地图建立方法以及其系统 | |
| CN110455813A (zh) | 用于提取不规则弧形边缘的通用系统及方法 | |
| CN113688680B (zh) | 一种智能识别与追踪系统 | |
| CN113610001B (zh) | 基于深度相机和imu组合的室内移动终端定位方法 | |
| CN115309113A (zh) | 一种零件装配的引导方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |