CN112785685A - 一种装配引导方法及系统 - Google Patents
一种装配引导方法及系统 Download PDFInfo
- Publication number
- CN112785685A CN112785685A CN202011564277.9A CN202011564277A CN112785685A CN 112785685 A CN112785685 A CN 112785685A CN 202011564277 A CN202011564277 A CN 202011564277A CN 112785685 A CN112785685 A CN 112785685A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- projector
- workpiece
- binocular camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000009466 transformation Effects 0.000 claims abstract description 43
- 230000001131 transforming effect Effects 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000013213 extrapolation Methods 0.000 claims description 6
- 230000010363 phase shift Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005553 drilling Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F19/00—Advertising or display means not otherwise provided for
- G09F19/12—Advertising or display means not otherwise provided for using special optical effects
- G09F19/18—Advertising or display means not otherwise provided for using special optical effects involving the use of optical projection means, e.g. projection of images on clouds
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Accounting & Taxation (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供一种装配引导方法及系统，其方法包括：S1.将双目相机和投影仪进行标定，以获得双目相机和投影仪间的空间变换关系；S2.利用标定后的双目相机采集当前视场下待引导工件的工件图像并进行三维重建获得新建点云；S3.根据所述待引导工件的完整点云中标志点和所述新建点云中标志点的对应关系，计算所述完整点云和所述新建点云间的变换关系；再根据所述完整点云和所述新建点云间的变换关系以及步骤S1所获得的所述双目相机和投影仪间的空间变换关系，将所述完整点云变换到投影仪坐标系下并光栅化为待投影的引导图片进行投影以实现装配引导。该方法和系统可以实现对工件的实时扫描重建及引导装配，提高装配过程的效率和精度。
Description
技术领域
本发明涉及光学投影技术领域，尤其涉及一种装配引导方法及系统。
背景技术
现阶段，传统制造业中的装配过程仍然需要工人查阅安装手册之后再进行，而这种方法通常需要工人花费较长时间进行理解后才能提取有效信息，效率低下并且出错率较高。
近年来，有一些方法将虚拟现实技术引入到制造业的装配过程，如在虚拟现实环境下对大型客机的仿真装配。虚拟装配主要是使用虚拟零件的装配动作来模拟真实场景中的装配过程，着重于仿真和验证。虚拟现实技术具有较强的沉浸性，该特征使用户在进行装配操作时完全与外界真实环境隔离开来，不具有真实感；用户在虚拟引导环境下无法与真实的装配零件交互操作，只能用虚拟零件来模拟操作；同时在虚拟环境下也无法完全模拟现实环境中所遇到的各种客观情况。
发明内容
为解决上述问题，本发明提出一种装配引导方法及系统，其可以将装配引导所需要的各种提示信息进行投射，将装配操作与真实环境结合起来，实现自动化的辅助定位和引导，减轻工人的工作负担并提高工作效率。
本发明提出一种装配引导方法，包括如下步骤：S1.将双目相机和投影仪进行标定，以获得双目相机和投影仪间的空间变换关系；S2.利用标定后的双目相机采集当前视场下待引导工件的工件图像并进行三维重建获得新建点云；S3.根据所述待引导工件的完整点云中标志点和所述新建点云中标志点的对应关系，计算所述完整点云和所述新建点云间的变换关系；再根据所述完整点云和所述新建点云间的变换关系以及步骤S1所获得的所述双目相机和投影仪间的空间变换关系，将所述完整点云变换到投影仪坐标系下并光栅化为待投影的引导图片进行投影以实现装配引导。
通过将装配引导所需要的各种提示信息进行投射，将装配操作与真实环境结合起来，实现自动化的辅助定位和引导，减轻工人的工作负担并提高工作效率。
在一些实施例中，所述步骤S1包括如下步骤：S11.对所述双目相机中的两个相机进行标定，获取所述两个相机的内参数和畸变系数；S12.所述投影仪投射光栅条纹，所述双目相机采集具有光栅条纹的光栅标定板图像以及无光栅的标定板图像；S13.根据所述标定板的圆心在所述投影仪预存储的光栅图像中的位置对所述投影仪进行标定，并得到所述投影仪和所述双目相机间的变换关系。
将标定板作为双目相机和投影仪标定连接的桥梁，通过投影仪预存储的光栅图像，以及利用双目相机采集的具有光栅条纹的光栅标定板图像和无光栅的标定板图像，计算获得投影仪和双目相机间的变换关系，从而使得投影仪和双目相机间的标定准确。
在一些实施例中，所述步骤S12包括：所述投影仪分别向水平方向和垂直方向投射多种不同频率的光栅条纹，所述双目相机采集多组不同角度下的光栅标定板图像；其频率可以为2种、3种或更多种。通过分别投射多个方向、多种频率的光栅条纹，进一步减小标定的误差。
在一些实施例中，所述步骤S13包括：S131.根据四步相移和外插原理，计算所述投影仪预存储的光栅图像中水平和垂直方向的第一绝对相位；S132.根据四步相移和外插原理，计算所述光栅标定板图像中水平和垂直方向的第二绝对相位；S133.计算所述标定板图像中标定板圆心的位置；S134.根据所述第一绝对相位、所述第二绝对相位以及所述标定板圆心的位置，计算所述标定板圆心在所述预存储的光栅图像中的位置；S135.根据所述标定板圆心在所述预存储的光栅图像中的位置，对所述投影仪的内部参数进行标定，同时获得所述投影仪和所述双目相机的空间变换关系。
利用标定板圆心的绝对相位和投影仪中预存储的光栅图像的绝对相位对投影仪和双目相机进行标定，可以简单有效地完成标定，在提高标定精度的同时降低了标定的难度。
在一些实施例中，所述步骤S2包括：S21.所述投影仪投射光栅条纹；S22.所述双目相机采集当前视场下所述待引导工件的所述工件图像；S23.对所述工件图像进行相位解算，得到解包后的左右绝对相位；S24.对所述左右绝对相位进行相位匹配，得到所述待引导工件的每个标志点的视差；S25.根据视差计算所述每个标志点的深度值，得到所述待引导工件的深度信息；S26.根据所述待引导工件的深度信息获取所述待引导工件的新建点云。
在一些实施例中，所述步骤S3包括：
S31.导入提前采集的所述待引导工件的完整点云；
S32.计算当前新建点云中标志点的数量；
S33.若所述标志点的数量大于阈值，则使用标志点计算所述完整点云和所述新建点云间的变换关系；所述变换关系包括旋转矩阵R1和平移向量T1；将所述完整点云的坐标变换到所述双目相机坐标系下，公式如下：
P1＝P*R1+T1
其中，P1为变换到双目相机坐标系后的完整点云坐标，P为变换到双目相机坐标系前的完整点云坐标；
S34.根据步骤S1中所述双目相机和所述投影仪间的空间变换关系，再将所述完整点云的坐标变换到投影仪坐标系下，公式如下：P2＝P1*R2+T2，其中，P2为变换到投影仪坐标系后的完整点云坐标；P1为变换到双目相机坐标系后的完整点云坐标；R2和T2分别为投影仪和双目相机间的旋转矩阵和平移向量；
S35.对变换到投影仪坐标系后的完整点云进行光栅化处理，得到光栅化后的工件引导图片；
S36.对所述工件进行运动检测；
S37.若工件保持稳定，则所述投影仪投射光栅化后的工件引导图片以实现装配引导；否则重新进行运动检测。
在一些实施例中，所述运动检测包括如下步骤：S361.从视频流获取连续的数帧图像；S362.计算每帧图像中标志点的像素坐标及像素值；S363.计算每帧图像中标志点相对于第一帧图像中标志点的像素坐标的位置最大偏差和像素值的灰度最大偏差；S364.若每帧图像的所述位置最大偏差和所述灰度最大偏差都小于设定的阈值,则判定工件保持稳定。
通过运动检测，在工件稳定时进行工件引导图片的投影，可以将工件引导图片正确地投影到待引导工件上，避免因待引导工件的抖动或运动而使得投影位置错误。
本发明还提供一种计算机存储介质，其存储有计算机程序，所述计算机程序被处理器执行以实现如上所述的装配引导方法。
本发明还提供一种装配引导系统，包括：投影仪，用于投射光栅条纹以及待引导工件的引导图片；
双目相机，用于采集具有光栅条纹的光栅标定板图像以及无光栅的标定板图像，并采集当前视场下待引导工件的工件图像；
处理器：用于对所述双目相机和所述投影仪进行标定，以获得所述双目相机和所述投影仪间的空间变换关系；将采集的所述工件图像进行三维重建获得新建点云，并根据所述待引导工件的完整点云中标志点和所述新建点云中标志点的对应关系，计算所述完整云和所述新建点云间的变换关系；根据所述完整点云和所述新建点云间的变换关系以及所述双目相机和所述投影仪间的空间变换关系，将所述完整点云变换到所述投影仪的坐标系下并光栅化为待投影的引导图片进行投影以实现装配引导。
在一些实施例中，该系统还包括：显示器，与处理器相连，用于显示实时视频和图像；存储器，与处理器相连，用于实时存储视频和图像。
本发明的有益效果：本发明中采用双目相机和投影仪，可以实现对待引导工件的实时扫描重建及引导装配，通过投影工件引导信息可以提高装配过程的效率和精度。根据标定板圆心绝对相位和投影仪中光栅图像的绝对相位的关系对投影仪进行标定，可以简单有效的完成投影仪的标定，在提高投影仪标定精度的同时降低了投影仪标定的难度。另外在投影过程中加入了运动检测的步骤，可以避免在焊接、钻孔等过程出现的引导错误，有效降低了工件的损坏率。使用标志点来确定投影引导图片，可以实现投影过程的自动化，即工件移动位置后，可以自动追踪标志点来确定投影图片，无需手动干预，极大的提高了装配引导的效率。
附图说明
图1为本发明实施例中装配引导系统结构框图。
图2为本发明实施例中装配引导方法流程图。
图3为本发明实施例中投影仪内、外部标定的流程图。
图4为本发明实施例中待引导工件的三维重建流程图。
图5为本发明实施例中待引导工件的投影引导流程图。
图6为本发明实施例中运动检测流程图。
具体实施方式
下面结合具体实施方式并对照附图对本发明作进一步详细说明，应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
图1是根据本发明一个实施例的装配引导系统结构框图。系统包括：
投影仪：用于投影结构光光栅以及待引导工件的引导图片；
双目相机：两个具有2448×2048高分辨率的左相机和右相机，用于采集具有光栅条纹的光栅标定板图像以及无光栅的标定板图像，并采集当前视场下待引导工件的工件图像；
处理器：分别与投影仪和双目相机相连，用于对双目相机和投影仪进行标定，以获得所述双目相机和所述投影仪间的空间变换关系；将采集的所述工件图像进行三维重建获得新建点云，并根据所述待引导工件的完整点云中标志点和所述新建点云中标志点的对应关系，计算所述完整点云和所述新建点云间的变换关系；根据所述完整点云和所述新建点云间的变换关系以及所述双目相机和所述投影仪间的空间变换关系，将所述完整点云变换到所述投影仪的坐标系下并光栅化为待投影的引导图片进行投影以实现装配引导。
存储器：与处理器相连，用于保存实时视频、图像等。
显示器：与处理器相连，用于显示实时视频、图像等。
基于该系统，提供的装配引导方法如图2所示，具体如下：
S1.将双目相机和投影仪进行标定，以获得双目相机和投影仪间的空间变换关系。
双目相机和投影仪安装在同一基线上，需要对三者进行标定，以转换到同一坐标系下。具体地，包括如下步骤：
S11.首先对双目相机中的两个相机进行标定，获取相机的内参数和畸变系数。
双目相机的标定方法可以采用现有方法中的任何一种方法进行标定。
双目相机标定后，再对投影仪的内部参数以及外部参数(和双目相机间的参数)进行标定。过程包括：S12.投影仪投射光栅条纹，所述双目相机采集具有光栅条纹的光栅标定板图像以及无光栅的标定板图像；S13.根据所述标定板的圆心在所述投影仪预存储的光栅图像中的位置对所述投影仪进行标定，并得到所述投影仪和所述双目相机间的变换关系。
步骤S12中投影仪投射水平和垂直方向的光栅条纹，每个方向投射3种不同频率的光栅条纹。在投影仪投射光栅的同时，双目相机进行采集，并保存采集的具有光栅条纹的光栅标定板图像；另外，双目相机还采集无光栅的标定板图像。双目相机可以进行多组不同角度下图像采集，以获得多组不同角度下的光栅标定板图像。
图3为投影仪的内部参数标定、投影仪和双目相机之间进行标定的具体流程图，步骤S13具体包括如下步骤：
S131-S133.投影仪中一般预先存储有光栅图像，根据四步相移和外插原理，计算光栅图像中水平和垂直方向的第一绝对相位(由于光栅图像已经烧写在投影仪中，因此该过程可以提前进行)。对于光栅标定板图像，也是根据四步相移和外插原理，计算光栅标定板图像中水平和垂直方向的第二绝对相位。同时，利用无光栅的标定板图像计算标定板圆心的位置。
S134-S135.根据标定板圆心位置处的相位值，确定光栅图像中对应圆心的位置，对应的位置指的是光栅图像和标定板光栅图像绝对相位差小于给定阈值的位置。通过逆向标定图像，使用逆向得到的圆心对投影仪的内部参数进行标定，同时计算投影仪和双目相机的空间变换关系并进行保存。投影仪和双目相机的空间变换关系包括旋转矩阵R2和平移向量T2。
S2.利用双目相机采集当前视场下待引导工件的工件图像并进行三维重建获得新建点云。图4为本发明实施例中待引导工件的三维重建流程图。如图4所示:
S21.投影仪投射光栅条纹；
S22.与此同时，双目相机采集当前视场下待引导工件的工件图像，工件图像中的信息包括工件的三维坐标信息、所有标志点的坐标信息，并保存在存储器中。
S23.对采集到的工件图像进行相位解算，得到解包后的左右绝对相位；
S24.对解包后的左右绝对相位进行相位匹配，得到待引导工件的每个标志点的视差；
S25.然后再根据视差计算每个标志点的深度值，按如下公式计算：
其中，f为相机的焦距，b为相机基线距，d为标志点的视差，ps为传感器单个像素大小。
S26.将所有标志点的深度值汇总得到待引导工件的深度信息，再进一步获取待引导工件的新建点云。
S3.根据待引导工件三维完整点云中标志点和新建点云中标志点的对应关系，计算完整点云和新建点云间的变换关系，并以此将完整点云光栅化为待投影的引导图片再进行投影。
图5为本发明实施例中待引导工件的投影引导流程图。如图5所示：
S31.导入提前采集的待引导工件的三维完整点云。
S32.计算当前新建点云中标志点的数量。
S33.若标志点的数量大于阈值，则使用标志点计算完整点云和新建点云中两帧点云间的变换关系；所述变换关系包括使用SVD分解法计算得到的旋转矩阵R1和平移向量T1。
将完整点云坐标变换到双目相机坐标系下，公式如下：
P1＝P*R1+T1
其中，P1为变换到双目相机坐标系后的完整点云坐标，P为变换到双目相机坐标系前的完整点云坐标。
S34.再根据步骤S1双目相机和投影仪间的变换关系，再将完整点云变换到投影仪坐标系下，公式如下：
P2＝P1*R2+T2
其中，P2为变换到投影仪坐标系后的完整点云坐标；P1为变换到双目相机坐标系后的完整点云坐标；R2和T2分别为投影仪和双目相机间的旋转矩阵和平移向量。
S35.使用OpenGL对变换到投影仪坐标系后的完整点云进行光栅化处理，得到光栅化后的工件引导图片。
S36.对工件进行运动检测。
S37.若工件保持稳定，则投影仪投射光栅化后的工件引导图片；否则重新进行运动检测。
运动检测流程图如图6所示，包括如下步骤：
S361.从视频流获取连续的数帧图像，如十帧图像。
S362.计算每帧图像中标志点的像素坐标及像素值。
S363.计算每帧图像中标志点相对于第一帧图像中标志点的像素坐标的位置最大偏差和像素值的灰度最大偏差。
S364.若每帧图像的位置最大偏差和灰度最大偏差都小于设定的阈值，则判定工件保持稳定。
本发明中采用两个高分辨率相机和一个投影仪，可以实现对待引导工件的实时扫描重建及引导装配；通过投影工件引导信息可以提高装配过程的效率和精度。根据标定板圆心绝对相位和投影仪中光栅图像的绝对相位的关系对投影仪进行标定，可以简单有效的完成投影仪的标定，在提高投影仪标定精度的同时降低了投影仪标定的难度。另外在投影过程中加入了运动检测的步骤，可以避免在焊接、钻孔等过程出现的引导错误，有效降低了工件的损坏率。使用标志点来确定投影引导图片，可以实现投影过程的自动化，即工件移动位置后，可以自动追踪标志点来确定投影图片，无需手动干预，极大的提高了装配引导的效率。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。
Claims (10)
1.一种装配引导方法，其特征在于，包括如下步骤：
S1.将双目相机和投影仪进行标定，以获得双目相机和投影仪间的空间变换关系；
S2.利用标定后的双目相机采集当前视场下待引导工件的工件图像并进行三维重建获得新建点云；
S3.根据所述待引导工件的完整点云中标志点和所述新建点云中标志点的对应关系，计算所述完整点云和所述新建点云间的变换关系；再根据所述完整点云和所述新建点云间的变换关系以及步骤S1所获得的所述双目相机和投影仪间的空间变换关系，将所述完整点云变换到投影仪坐标系下并光栅化为待投影的引导图片进行投影以实现装配引导。
2.如权利要求1所述的装配引导方法，其特征在于，所述步骤S1包括如下步骤：
S11.对所述双目相机中的两个相机进行标定，获取所述两个相机的内参数和畸变系数；
S12.所述投影仪投射光栅条纹，所述双目相机采集具有光栅条纹的光栅标定板图像以及无光栅的标定板图像；
S13.根据所述标定板的圆心在所述投影仪预存储的光栅图像中的位置对所述投影仪进行标定，并得到所述投影仪和所述双目相机间的变换关系。
3.如权利要求2所述的装配引导方法，其特征在于，所述步骤S12包括：所述投影仪分别向水平方向和垂直方向投射多种不同频率的光栅条纹，所述双目相机采集多组不同角度下的光栅标定板图像。
4.如权利要求3所述的装配引导方法，其特征在于，所述步骤S13包括：
S131.根据四步相移和外插原理，计算所述投影仪预存储的光栅图像中水平和垂直方向的第一绝对相位；
S132.根据四步相移和外插原理，计算所述光栅标定板图像中水平和垂直方向的第二绝对相位；
S133.计算所述标定板图像中标定板圆心的位置；
S134.根据所述第一绝对相位、所述第二绝对相位以及所述标定板圆心的位置，计算所述标定板圆心在所述预存储的光栅图像中的位置；
S135.根据所述标定板圆心在所述预存储的光栅图像中的位置，对所述投影仪的内部参数进行标定，同时获得所述投影仪和所述双目相机的空间变换关系。
5.如权利要求1所述的装配引导方法，其特征在于，所述步骤S2包括：
S21.所述投影仪投射光栅条纹；
S22.所述双目相机采集当前视场下所述待引导工件的所述工件图像；
S23.对所述工件图像进行相位解算，得到解包后的左右绝对相位；
S24.对所述左右绝对相位进行相位匹配，得到所述待引导工件的每个标志点的视差；
S25.根据视差计算所述每个标志点的深度值，得到所述待引导工件的深度信息；
S26.根据所述待引导工件的深度信息获取所述待引导工件的新建点云。
6.如权利要求1所述的装配引导方法，其特征在于，所述步骤S3包括：
S31.导入提前采集的所述待引导工件的完整点云；
S32.计算当前新建点云中标志点的数量；
S33.若所述标志点的数量大于阈值，则使用标志点计算所述完整点云和所述新建点云间的变换关系；所述变换关系包括旋转矩阵R1和平移向量T1；
将所述完整点云的坐标变换到所述双目相机坐标系下，公式如下：
P1＝P*R1+T1
其中，P1为变换到双目相机坐标系后的完整点云坐标，P为变换到双目相机坐标系前的完整点云坐标，；
S34.根据步骤S1中所述双目相机和所述投影仪间的空间变换关系，再将所述完整点云的坐标变换到投影仪坐标系下，公式如下：
P2＝P1*R2+T2
其中，P2为变换到投影仪坐标系后的完整点云坐标；P1为变换到双目相机坐标系后的完整点云坐标；R2和T2分别为投影仪和双目相机间的旋转矩阵和平移向量；
S35.对变换到投影仪坐标系后的完整点云进行光栅化处理，得到光栅化后的工件引导图片；
S36.对所述工件进行运动检测；
S37.若所述工件保持稳定，则所述投影仪投射光栅化后的工件引导图片以实现装配引导；否则重新进行运动检测。
7.如权利要求6所述的装配引导方法，其特征在于，所述运动检测包括如下步骤：
S361.从视频流获取连续的数帧图像；
S362.计算每帧图像中标志点的像素坐标及像素值；
S363.计算每帧图像中标志点相对于第一帧图像中标志点的像素坐标的位置最大偏差和像素值的灰度最大偏差；
S364.若每帧图像的所述位置最大偏差和所述灰度最大偏差都小于设定的阈值，则判定工件保持稳定。
8.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1-7任一项所述的装配引导方法。
9.一种装配引导系统，其特征在于，包括：
投影仪，用于投射光栅条纹以及待引导工件的引导图片；
双目相机，用于采集具有光栅条纹的光栅标定板图像以及无光栅的标定板图像，并采集当前视场下待引导工件的工件图像；
处理器：用于对所述双目相机和所述投影仪进行标定，以获得所述双目相机和所述投影仪间的空间变换关系；将采集的所述工件图像进行三维重建获得新建点云，并根据所述待引导工件的完整点云中标志点和所述新建点云中标志点的对应关系，计算所述完整点云和所述新建点云间的变换关系；根据所述完整点云和所述新建点云间的变换关系以及所述双目相机和所述投影仪间的空间变换关系，将所述完整点云变换到所述投影仪的坐标系下并光栅化为待投影的引导图片进行投影以实现装配引导。
10.如权利要求9所述的投影式装配引导系统，其特征在于，还包括：
显示器，与处理器相连，用于显示实时视频和图像；
存储器，与处理器相连，用于实时存储视频和图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011564277.9A CN112785685B (zh) | 2020-12-25 | 2020-12-25 | 一种装配引导方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011564277.9A CN112785685B (zh) | 2020-12-25 | 2020-12-25 | 一种装配引导方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112785685A true CN112785685A (zh) | 2021-05-11 |
| CN112785685B CN112785685B (zh) | 2024-10-15 |
Family
ID=75752558
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011564277.9A Active CN112785685B (zh) | 2020-12-25 | 2020-12-25 | 一种装配引导方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112785685B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114197884A (zh) * | 2021-12-27 | 2022-03-18 | 广东景龙建设集团有限公司 | 一种订制装饰墙板的装配引导方法及系统 |
| CN114474041A (zh) * | 2021-12-07 | 2022-05-13 | 新拓三维技术(深圳)有限公司 | 一种基于协作机器人的焊接自动化智能引导方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110044301A (zh) * | 2019-03-29 | 2019-07-23 | 易思维（天津）科技有限公司 | 基于单双目混合测量的三维点云计算方法 |
| CN111242990A (zh) * | 2020-01-06 | 2020-06-05 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 基于连续相位稠密匹配的360°三维重建优化方法 |
| US20200334895A1 (en) * | 2017-12-22 | 2020-10-22 | Zivid Labs As | Method and system for generating a three-dimensional image of an object |
-
2020
- 2020-12-25 CN CN202011564277.9A patent/CN112785685B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200334895A1 (en) * | 2017-12-22 | 2020-10-22 | Zivid Labs As | Method and system for generating a three-dimensional image of an object |
| CN110044301A (zh) * | 2019-03-29 | 2019-07-23 | 易思维（天津）科技有限公司 | 基于单双目混合测量的三维点云计算方法 |
| CN111242990A (zh) * | 2020-01-06 | 2020-06-05 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 基于连续相位稠密匹配的360°三维重建优化方法 |
Non-Patent Citations (3)
| Title |
|---|
| LIN HUANG ET AL.: "Research on multi-camera calibration and point cloud correction method based on three-dimensional calibration object", 《OPTICS AND LASERS IN ENGINEERING》, vol. 115, no. 11, 30 April 2019 (2019-04-30), pages 32 - 41, XP055729734, DOI: 10.1016/j.optlaseng.2018.11.005 * |
| 肖亮: "编码结构光投影双目视觉三维测量技术研究", 《中国优秀硕士学位论文全文数据库 (基础科学辑)》, no. 1, 15 January 2020 (2020-01-15), pages 005 - 355 * |
| 郭清达;全燕鸣;: "采用空间投影的深度图像点云分割", 光学学报, vol. 40, no. 18, 30 September 2020 (2020-09-30), pages 140 - 148 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114474041A (zh) * | 2021-12-07 | 2022-05-13 | 新拓三维技术(深圳)有限公司 | 一种基于协作机器人的焊接自动化智能引导方法及系统 |
| CN114197884A (zh) * | 2021-12-27 | 2022-03-18 | 广东景龙建设集团有限公司 | 一种订制装饰墙板的装配引导方法及系统 |
| CN114197884B (zh) * | 2021-12-27 | 2022-07-08 | 广东景龙建设集团有限公司 | 一种订制装饰墙板的装配引导方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112785685B (zh) | 2024-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240153143A1 (en) | Multi view camera registration | |
| JP6363863B2 (ja) | 情報処理装置および情報処理方法 | |
| JP4245963B2 (ja) | 較正物体を用いて複数のカメラを較正するための方法およびシステム | |
| CN114399554B (zh) | 一种多相机系统的标定方法及系统 | |
| CN110728715A (zh) | 一种智能巡检机器人像机角度自适应调整方法 | |
| WO2013111229A1 (ja) | カメラ校正装置、カメラ校正方法およびカメラ校正用プログラム | |
| CN112949478B (zh) | 基于云台相机的目标检测方法 | |
| US20060055943A1 (en) | Three-dimensional shape measuring method and its device | |
| CN112686877B (zh) | 基于双目相机的三维房屋损伤模型构建测量方法及系统 | |
| KR101342393B1 (ko) | 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법 | |
| CN110084785B (zh) | 一种基于航拍图像的输电线垂弧测量方法及系统 | |
| JP2009042162A (ja) | キャリブレーション装置及びその方法 | |
| JP2009017480A (ja) | カメラキャリブレーション装置およびそのプログラム | |
| CN112785685B (zh) | 一种装配引导方法及系统 | |
| CN110349257B (zh) | 一种基于相位伪映射的双目测量缺失点云插补方法 | |
| CN114792345B (zh) | 一种基于单目结构光系统的标定方法 | |
| CN111402315A (zh) | 一种自适应调整双目摄像机基线的三维距离测量方法 | |
| CN111105467B (zh) | 一种图像标定方法、装置及电子设备 | |
| Muffert et al. | The estimation of spatial positions by using an omnidirectional camera system | |
| KR101634283B1 (ko) | 단일영상에서의 3차원 카메라교정을 통한 3차원 공간모델링 형성제어장치 및 방법 | |
| KR102023087B1 (ko) | 카메라 캘리브레이션 방법 | |
| JP4006657B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2011022084A (ja) | 三次元姿勢測定装置および三次元姿勢測定方法 | |
| JP2019032660A (ja) | 撮像システム、撮像方法 | |
| CN114820811A (zh) | 一种基于运动球体的同步相机的基础矩阵求解及标定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |