CN111524238B - 一种基于编码点驱动的三维点云变形方法 - Google Patents

一种基于编码点驱动的三维点云变形方法 Download PDF

Info

Publication number
CN111524238B
CN111524238B CN202010327891.7A CN202010327891A CN111524238B CN 111524238 B CN111524238 B CN 111524238B CN 202010327891 A CN202010327891 A CN 202010327891A CN 111524238 B CN111524238 B CN 111524238B
Authority
CN
China
Prior art keywords
point
coding
static
dimensional
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010327891.7A
Other languages
English (en)
Other versions
CN111524238A (zh
Inventor
汪俊
魏泽勇
谢乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Yuntong Technology Co.,Ltd.
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202010327891.7A priority Critical patent/CN111524238B/zh
Publication of CN111524238A publication Critical patent/CN111524238A/zh
Priority to US17/169,513 priority patent/US11308632B2/en
Application granted granted Critical
Publication of CN111524238B publication Critical patent/CN111524238B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于编码点驱动的三维点云变形方法，该方法将三维扫描点云模型与动态实时测量数据相结合，双相机实时地拍摄测量，然后计算编码点的变换矩阵，进而通过点云变换拼接实现运动结构位姿的动态实时测量，解决了部件在变形过程中实时测量困难的问题。

Description

一种基于编码点驱动的三维点云变形方法
技术领域
本发明属于航空测量领域，具体涉及一种基于编码点驱动的三维点云变形方法。
背景技术
飞机上的运动部件、变形展开结构等(如机翼活动面板、起落架舱门)在运动及展开过程中的位置与变形实时测量一直是一个难题。现有的实时测量技术大多是对处于静态的物品实时测量或者对小型物品瞬间完成测量，当大型部件变形时部分结构处于运动状态，由于结构比较大，使用三维扫描仪获取一次完整的点云数据需要一定时间，不能同时完成整个部件的测量，此时三维扫描仪获取的属于运动状态的结构的点云数据将是扭曲且混乱的。
发明内容
本发明提出一种能够满足运动部件在变形过程中实时测量的基于编码点驱动的三维点云变形方法。
本发明所采用的技术方案为：
一种基于编码点驱动的三维点云变形方法，用于检测运动结构相对于与其连接的静止结构的变形状态，包括如下步骤：
步骤S1、在运动结构表面均匀粘贴若干用于记录运动结构实时位姿的活动编码点，在静止结构表面均匀粘贴若干固定编码点；
步骤S2、运动结构静止时，通过双相机测量系统拍摄，获取每个活动编码点和每个固定编码点的基准位姿；同时，通过三维激光扫描仪获取包含运动结构和静止结构的部件的三维点云基准模型；
步骤S3、运动结构运动时，通过双相机测量系统定时地进行拍摄，获取不同时刻每个固定编码点和每个活动编码点的实时位姿；将每个时刻各固定编码点分别与运动结构静止时的对应固定编码点对齐，并将运动结构静止时的任一活动编码点的基准位姿与每个时刻对应活动编码点的实时位姿进行比较，计算变换矩阵；
步骤S4、计算运动结构静止时的任一活动编码点的基准位姿到每个时刻对应活动编码点的实时位姿的变换矩阵，通过每个时刻的变换矩阵对属于运动结构的三维点云基准模型进行变换，得到实时点云模型数据。
进一步地，双相机测量系统包括相机C1和C2；步骤S2包括：
步骤S201、运动结构静止时，相机C1和C2同时各自拍摄一张包含运动结构和静止结构的图像，步骤S1中，活动编码点粘贴在运动结构面向双相机测量系统的表面上，固定编码点粘贴在静止结构面向双相机测量系统的表面上；利用相机的内参数和外参数，根据空间中同一个点在两个图像上的位置信息，对每个活动编码点和每个固定编码点的位置数据进行求解，获得每个活动编码点和每个固定编码点在双相机坐标系下的三维坐标，作为后续运动测量反馈时的基准状态；
步骤S202、与步骤201同步地，采用三维激光扫描仪对运动结构和静止结构进行三维扫描，获取包含运动结构和静止结构的部件的三维基准点云模型；
步骤S203、从三维基准点云模型中分割出分属于运动结构和静止结构的点云。
进一步地，步骤S201中，求解编码点三维坐标的方法具体为：
假设一编码点P(X,Y,Z)在相机C1所拍摄图像上的对应点为P1(u1,v1)，在相机C2所拍摄图像上的对应点为P2(u2,v2)；相机C1的投影矩阵为M，相机C2的投影矩阵为N；
Figure BDA0002463872510000021
Figure BDA0002463872510000022
投影矩阵M中，mij为M的第i行第j列元素；投影矩阵N中的元素同理；
于是有：
Figure BDA0002463872510000023
Figure BDA0002463872510000024
公式(1)和(2)中，Z1为编码点P在相机C1坐标系下的Z轴坐标，Z2为编码点P在相机C2坐标系下的Z轴坐标；(u1,v1,1)与(u2,v2,1)分别为P1与P2点在各自图像中的图像齐次坐标，(X,Y,Z,1)为编码点P在世界坐标系下的齐次坐标；
通过公式(1)和(2)消去Z1和Z2，得到关于X,Y,Z的四个线性方程如下：
(u1m31-m11)X+(u1m32-m12)Y+(u1m33-m13)Z＝m14-u1m34
(v1m31-m21)X+(v1m32-m22)Y+(v1m33-m23)Z＝m24-v1m34
(u2n31-n11)X+(u2n32-n12)Y+(u2n33-n13)Z＝n14-u2n34
(v2n31-n21)X+(v2n32-n22)Y+(v2n33-n23)Z＝n24-v2n34
联立四个线性方程，求解出P点的坐标(X,Y,Z)。
进一步地，步骤S3包括：
步骤S301、运动结构运动时，任一时刻，相机C1和C2同时各自拍摄一张包含运动结构和静止结构的图像，利用相机的内参数和外参数，根据空间中同一个点在两个图像上的位置信息，对该时刻每个活动编码点和每个固定编码点的位置数据进行求解，获得该时刻的每个活动编码点和每个固定编码点在双相机坐标系下的三维坐标；
步骤S302、采用SVD分解法计算该时刻任一固定编码点实时位姿到运动结构静止时对应固定编码点的基准位姿的变换矩阵；
步骤S303、通过该时刻的变换矩阵对该时刻的所有固定编码点和活动编码点位姿进行变换；
步骤S304、用SVD分解法计算运动结构静止时的任一活动编码点基准位姿到经过步骤S303变换后的该时刻对应活动编码点实时位姿的变换矩阵；
步骤S305、重复步骤S301至S304，完成所有时刻的活动编码点的变换矩阵计算。
进一步地，步骤S4包括：
步骤S401、根据步骤S304计算出的任一时刻的活动编码点的变换矩阵，对步骤S203分割出的运动结构的三维点云基准模型进行变换，得到实时的运动结构点云模型；
步骤S402、将实时的运动结构点云模型与静止结构基准点云模型直接合并，得到当前时刻的完整点云模型；
步骤S403、重复步骤S401和步骤S402，获取所有时刻的完整点云模型。
本发明的有益效果在于：
本发明基于编码点约束控制的刚体变形规律，提出基于编码点驱动的三维点云变形方法。该方法将三维扫描点云模型与动态实时测量数据相结合，双相机实时地拍摄测量，然后计算编码点的变换矩阵，进而通过点云变换拼接实现运动结构位姿的动态实时测量，解决了部件在变形过程中实时测量困难的问题。
附图说明
图1为本发明的基于编码点驱动的三维点云变形方法的流程框图；
图2为本发明实施例中，编码点粘贴位置和双相机拍摄示意图；
图3为本发明实施例中，通过静止时的固定编码点和活动编码点基准状态和变形时的活动编码点实时状态获取变形点云示意图；
图4为本发明实施例中，所有时刻点云模型示意图。
具体实施方式
下面结合附图和具体的实施例对本发明的基于编码点驱动的三维点云变形方法作进一步地详细说明。
如图1所示，一种基于编码点驱动的三维点云变形方法，用于检测运动结构相对于与其连接的静止结构的变形状态，包括如下步骤：
步骤S1、在运动结构表面均匀粘贴若干活动编码点，在静止结构表面均匀粘贴若干固定编码点；
静止结构上粘贴的固定编码点，用于记录包含运动结构和静止结构的整个部件的位姿变化，将后续不同时刻固定编码点位姿匹配到基准位置。运动结构上粘贴活动编码点，用于记录运动结构的实时位姿，后续将固定编码点对齐后，计算每个时刻运动结构的位姿变化。
步骤S2、运动结构静止时，通过双相机测量系统拍摄，获取每个活动编码点和每个固定编码点的基准位姿；同时，通过三维激光扫描仪获取包含运动结构和静止结构的部件的三维点云基准模型；
双相机测量系统包括相机C1和C2，步骤S2具体包括：
步骤S201、运动结构静止时，相机C1和C2同时各自拍摄一张包含运动结构和静止结构的图像，步骤S1中，活动编码点粘贴在运动结构面向双相机测量系统的表面上，固定编码点粘贴在静止结构面向双相机测量系统的表面上，保证活动编码点和固定编码点粘贴在运动结构的整个运动过程中能够被双相机测量系统拍到，即整个变形过程应处于双相机测量系统的可视区域范围之内，参见图2。利用相机的内参数和外参数，根据空间中同一个点在两个图像上的位置信息，对每个活动编码点和每个固定编码点的位置数据进行求解，获得每个活动编码点和每个固定编码点在双相机坐标系下的三维坐标，作为后续运动测量反馈时的基准状态；
步骤S201中，求解编码点三维坐标的方法具体为：
假设一编码点P(X,Y,Z)在相机C1所拍摄图像上的对应点为P1(u1,v1)，在相机C2所拍摄图像上的对应点为P2(u2,v2)；相机C1的投影矩阵为M，相机C2的投影矩阵为N；
Figure BDA0002463872510000041
Figure BDA0002463872510000051
投影矩阵M中，mij为M的第i行第j列元素；投影矩阵N中的元素同理；
于是有：
Figure BDA0002463872510000052
Figure BDA0002463872510000053
公式(1)和(2)中，Z1为编码点P在相机C1坐标系下的Z轴坐标，Z2为编码点P在相机C2坐标系下的Z轴坐标；(u1,v1,1)与(u2,v2,1)分别为P1与P2点在各自图像中的图像齐次坐标，(X,Y,Z,1)为编码点P在世界坐标系下的齐次坐标；
通过公式(1)和(2)消去Z1和Z2，得到关于X,Y,Z的四个线性方程如下：
(u1m31-m11)X+(u1m32-m12)Y+(u1m33-m13)Z＝m14-u1m34
(v1m31-m21)X+(v1m32-m22)Y+(v1m33-m23)Z＝m24-v1m34
(u2n31-n11)X+(u2n32-n12)Y+(u2n33-n13)Z＝n14-u2n34
(v2n31-n21)X+(v2n32-n22)Y+(v2n33-n23)Z＝n24-v2n34
联立四个线性方程，求解出P点的坐标(X,Y,Z)。
步骤S202、与步骤201同步地，采用三维激光扫描仪对运动结构和静止结构进行三维扫描，获取包含运动结构和静止结构的部件的三维基准点云模型；
步骤S203、从三维基准点云模型中分割出分属于运动结构和静止结构的点云。
运动结构和静止结构一般而言，有着比较明确的界限，分割时，可将三维基准点云模型通过点云处理软件(如cloudcompare)分割出分别属于运动结构和静止结构的点云。
步骤S3、运动结构运动时，通过双相机测量系统定时地进行拍摄，获取不同时刻每个固定编码点和每个活动编码点的实时位姿；将每个时刻各固定编码点分别与运动结构静止时的对应固定编码点对齐，并将运动结构静止时的任一活动编码点的基准位姿与每个时刻对应活动编码点的实时位姿进行比较，计算变换矩阵；
步骤S3具体包括：
步骤S301、运动结构运动时，任一时刻，相机C1和C2同时各自拍摄一张包含运动结构和静止结构的图像，利用相机的内参数和外参数，根据空间中同一个点在两个图像上的位置信息，对该时刻每个活动编码点和每个固定编码点的位置数据进行求解，获得该时刻的每个活动编码点和每个固定编码点在双相机坐标系下的三维坐标；
步骤S302、采用SVD分解法计算该时刻任一固定编码点实时位姿到运动结构静止时对应固定编码点的基准位姿的变换矩阵；
步骤S303、通过该时刻的变换矩阵对该时刻的所有固定编码点和活动编码点位姿进行变换；
步骤S304、用SVD分解法计算运动结构静止时的任一活动编码点基准位姿到经过步骤S303变换后的该时刻对应活动编码点实时位姿的变换矩阵；
步骤S305、重复步骤S301至S304，完成所有时刻的活动编码点实时位姿的变换矩阵计算。
步骤S4、计算运动结构静止时的任一活动编码点的基准位姿到每个时刻对应活动编码点的实时位姿的变换矩阵，通过每个时刻的变换矩阵对属于运动结构的三维点云基准模型进行变换，得到实时点云模型数据。如图3所示为运动结构静止时的固定编码点、活动编码点和运动结构点云(左)，运动结构运动时的某一时刻的活动编码点(中)和获取的实时运动结构点云(右)示意图。
步骤S4具体包括：
步骤S401、根据步骤S304计算出的任一时刻的活动编码点的变换矩阵，对步骤S203分割出的运动结构的三维点云基准模型进行变换，得到实时的运动结构点云模型；
步骤S402、将实时的运动结构点云模型与静止结构基准点云模型直接合并，得到当前时刻的完整点云模型；
步骤S403、重复步骤S401和步骤S402，获取所有时刻的完整点云模型，参见图4。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术方法范围内，可轻易想到的替换或变换方法，都应该涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于编码点驱动的三维点云变形方法，用于检测运动结构相对于与其连接的静止结构的变形状态，其特征在于，所述三维点云变形方法包括如下步骤：
步骤S1、在运动结构表面均匀粘贴若干用于记录运动结构实时位姿的活动编码点，在静止结构表面均匀粘贴若干固定编码点；
步骤S2、运动结构静止时，通过双相机测量系统拍摄，获取每个活动编码点和每个固定编码点的基准位姿；同时，通过三维激光扫描仪获取包含运动结构和静止结构的部件的三维点云基准模型；
步骤S3、运动结构运动时，通过双相机测量系统定时地进行拍摄，获取不同时刻每个固定编码点和每个活动编码点的实时位姿；将每个时刻各固定编码点分别与运动结构静止时的对应固定编码点对齐，并将运动结构静止时的任一活动编码点的基准位姿与每个时刻对应活动编码点的实时位姿进行比较，计算变换矩阵；具体包括以下步骤：
步骤S301、运动结构运动时，任一时刻，通过双相机同时各自拍摄一张包含运动结构和静止结构的图像，利用相机的内参数和外参数，根据空间中同一个点在两个图像上的位置信息，对该时刻每个活动编码点和每个固定编码点的位置数据进行求解，获得该时刻的每个活动编码点和每个固定编码点在双相机坐标系下的三维坐标；
步骤S302、采用SVD分解法计算该时刻任一固定编码点实时位姿到运动结构静止时对应固定编码点的基准位姿的变换矩阵；
步骤S303、通过该时刻的变换矩阵对该时刻的所有固定编码点和活动编码点位姿进行变换；
步骤S304、用SVD分解法计算运动结构静止时的任一活动编码点基准位姿到经过步骤S303变换后的该时刻对应活动编码点实时位姿的变换矩阵；
步骤S305、重复步骤S301至S304，完成所有时刻的活动编码点的变换矩阵计算；
步骤S4、计算运动结构静止时的任一活动编码点的基准位姿到每个时刻对应活动编码点的实时位姿的变换矩阵，通过每个时刻的变换矩阵对属于运动结构的三维点云基准模型进行变换，得到实时点云模型数据。
2.根据权利要求1所述的基于编码点驱动的三维点云变形方法，其特征在于，双相机测量系统包括相机C1和C2；步骤S2包括：
步骤S201、运动结构静止时，相机C1和C2同时各自拍摄一张包含运动结构和静止结构的图像，步骤S1中，活动编码点粘贴在运动结构面向双相机测量系统的表面上，固定编码点粘贴在静止结构面向双相机测量系统的表面上；利用相机的内参数和外参数，根据空间中同一个点在两个图像上的位置信息，对每个活动编码点和每个固定编码点的位置数据进行求解，获得每个活动编码点和每个固定编码点在双相机坐标系下的三维坐标，作为后续运动测量反馈时的基准状态；
步骤S202、与步骤201同步地，采用三维激光扫描仪对运动结构和静止结构进行三维扫描，获取包含运动结构和静止结构的部件的三维基准点云模型；
步骤S203、从三维基准点云模型中分割出分属于运动结构和静止结构的点云。
3.根据权利要求2所述的基于编码点驱动的三维点云变形方法，其特征在于，步骤S201中，求解编码点三维坐标的方法具体为：
假设一编码点P(X,Y,Z)在相机C1所拍摄图像上的对应点为P1(u1,v1)，在相机C2所拍摄图像上的对应点为P2(u2,v2)；相机C1的投影矩阵为M，相机C2的投影矩阵为N；
Figure FDA0003366022870000021
Figure FDA0003366022870000022
投影矩阵M中，mij为M的第i行第j列元素；投影矩阵N中的元素同理；
于是有：
Figure FDA0003366022870000023
Figure FDA0003366022870000024
公式(1)和(2)中，Z1为编码点P在相机C1坐标系下的Z轴坐标，Z2为编码点P在相机C2坐标系下的Z轴坐标；(u1,v1,1)与(u2,v2,1)分别为P1与P2点在各自图像中的图像齐次坐标，(X,Y,Z,1)为编码点P在世界坐标系下的齐次坐标；
通过公式(1)和(2)消去Z1和X2，得到关于X,Y,Z的四个线性方程如下：
(u1m31-m11)X+(u1m32-m12)Y+(u1m33-m13)Z＝m14-u1m34
(v1m31-m21)X+(v1m32-m22)Y+(v1m33-m23)Z＝m24-v1m34
(u2n31-n11)X+(u2n32-n12)Y+(u2n33-n13)Z＝n14-u2n34
(v2n31-n21)X+(v2n32-n22)Y+(v2n33-n23)Z＝n24-v2n34
联立四个线性方程，求解出P点的坐标(X,Y,Z)。
4.根据权利要求3所述的基于编码点驱动的三维点云变形方法，其特征在于，步骤S4包括：
步骤S401、根据步骤S304计算出的任一时刻的活动编码点的变换矩阵，对步骤S203分割出的运动结构的三维点云基准模型进行变换，得到实时的运动结构点云模型；
步骤S402、将实时的运动结构点云模型与静止结构基准点云模型直接合并，得到当前时刻的完整点云模型；
步骤S403、重复步骤S401和步骤S402，获取所有时刻的完整点云模型。
CN202010327891.7A 2020-04-23 2020-04-23 一种基于编码点驱动的三维点云变形方法 Active CN111524238B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010327891.7A CN111524238B (zh) 2020-04-23 2020-04-23 一种基于编码点驱动的三维点云变形方法
US17/169,513 US11308632B2 (en) 2020-04-23 2021-02-07 Code point-driven three-dimensional point cloud deformation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010327891.7A CN111524238B (zh) 2020-04-23 2020-04-23 一种基于编码点驱动的三维点云变形方法

Publications (2)

Publication Number Publication Date
CN111524238A CN111524238A (zh) 2020-08-11
CN111524238B true CN111524238B (zh) 2022-02-01

Family

ID=71910482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010327891.7A Active CN111524238B (zh) 2020-04-23 2020-04-23 一种基于编码点驱动的三维点云变形方法

Country Status (2)

Country Link
US (1) US11308632B2 (zh)
CN (1) CN111524238B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11107249B2 (en) * 2019-03-18 2021-08-31 Sony Group Corporation Point cloud global tetris packing
US11593996B2 (en) * 2021-02-09 2023-02-28 Waymo Llc Synthesizing three-dimensional visualizations from perspectives of onboard sensors of autonomous vehicles
CN112991270B (zh) * 2021-02-10 2021-11-02 南京航空航天大学 一种大尺寸旋转体模具形变动态测量方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109196559A (zh) * 2016-05-28 2019-01-11 微软技术许可有限责任公司 动态体素化点云的运动补偿压缩
CN109387204A (zh) * 2018-09-26 2019-02-26 东北大学 面向室内动态环境的移动机器人同步定位与构图方法
CN109945841A (zh) * 2019-03-11 2019-06-28 南京航空航天大学 一种无编码点的工业摄影测量方法
CN110785791A (zh) * 2017-06-22 2020-02-11 交互数字Vc控股公司 编码和重建点云的方法和设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006094409A1 (en) * 2005-03-11 2006-09-14 Creaform Inc. Auto-referenced system and apparatus for three-dimensional scanning
KR20160147491A (ko) * 2015-06-15 2016-12-23 한국전자통신연구원 3차원 모델 생성 장치 및 방법
KR102410300B1 (ko) * 2015-06-26 2022-06-20 한국전자통신연구원 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법
CN106898025A (zh) * 2017-02-24 2017-06-27 上海坤辕检测科技有限公司 一种基于八点编码标志的相机位移变换矩阵标定方法
CN107202554B (zh) * 2017-07-06 2018-07-06 杭州思看科技有限公司 同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统
CN111034057B (zh) * 2017-08-23 2022-04-22 华为技术有限公司 一种生成多核极化码的设备及方法
EP3451291B1 (en) * 2017-09-01 2020-08-26 Tata Consultancy Services Limited System and method for shape constrained 3d point cloud registration
US10909727B2 (en) * 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
CN109087393A (zh) * 2018-07-23 2018-12-25 汕头大学 一种构建三维地图的方法
US11242389B2 (en) * 2018-09-26 2022-02-08 Lentigen Technology, Inc. Compositions and methods for treating cancer with anti-CD19/CD22 immunotherapy
CN110672029A (zh) 2019-08-30 2020-01-10 合肥学院 大型复杂曲面三维形貌机器人柔性测量系统
CN110986757B (zh) 2019-10-08 2021-05-04 新拓三维技术(深圳)有限公司 一种三维人体扫描方法、装置及系统
TWI722703B (zh) * 2019-12-09 2021-03-21 財團法人工業技術研究院 投影設備與投影校正方法
US11210843B1 (en) * 2020-07-15 2021-12-28 Disney Enterprises, Inc. Virtual-world simulator

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109196559A (zh) * 2016-05-28 2019-01-11 微软技术许可有限责任公司 动态体素化点云的运动补偿压缩
CN110785791A (zh) * 2017-06-22 2020-02-11 交互数字Vc控股公司 编码和重建点云的方法和设备
CN109387204A (zh) * 2018-09-26 2019-02-26 东北大学 面向室内动态环境的移动机器人同步定位与构图方法
CN109945841A (zh) * 2019-03-11 2019-06-28 南京航空航天大学 一种无编码点的工业摄影测量方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Color-coded visualization of microbubble clouds interacting with eddies in a spatially developing turbulent boundary layer;Hyun JinPark;《Experimental Thermal and Fluid Science》;20191231;第109卷;第1-11页 *
动态变形表面的三维测量与跟踪方法研究;史金龙;《中国博士学位论文全文数据库电子期刊 信息科技辑》;20150315;第2015年卷(第3期);第I138-34页 *
基于工业摄影和机器视觉的三维形貌与变形测量关键技术研究;肖振中;《中国博士学位论文全文数据库电子期刊 信息科技辑》;20120715;第2012年卷(第7期);第I138-122页 *
基于彩色编码的结构光动态三维测量及重构技术研究;韦争亮;《中国博士学位论文全文数据库电子期刊 信息科技辑》;20110415;第2011年卷(第4期);第I138-60页 *

Also Published As

Publication number Publication date
CN111524238A (zh) 2020-08-11
US11308632B2 (en) 2022-04-19
US20210334987A1 (en) 2021-10-28

Similar Documents

Publication Publication Date Title
CN111524238B (zh) 一种基于编码点驱动的三维点云变形方法
França et al. A 3D scanning system based on laser triangulation and variable field of view
CN107943064B (zh) 一种无人机定点悬停系统和方法
US20080050042A1 (en) Hardware-in-the-loop simulation system and method for computer vision
JP2018179990A (ja) カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置
CN104165750A (zh) 立体视觉结合陀螺仪风洞模型位姿测量方法
CN105423954A (zh) 一种基于视觉测量的柔壁喷管的测量方法
CN113361365B (zh) 定位方法和装置、设备及存储介质
CN111862236B (zh) 定焦双目相机自标定方法及系统
JP2023505987A (ja) 人間関節を用いた無人航空機上のカメラの校正
US20220358679A1 (en) Parameter Calibration Method and Apparatus
CN107941167B (zh) 一种基于无人机载具和结构光扫描技术的空间扫描系统及其工作方法
CN111739103A (zh) 一种基于单点标定物的多相机标定系统
CN112712566B (zh) 基于结构参数在线校正的双目立体视觉传感器测量方法
CN113345032A (zh) 一种基于广角相机大畸变图的初始化建图方法及系统
CN114119652A (zh) 用于三维重构的方法和装置以及电子设备
Du et al. Autonomous measurement and semantic segmentation of non-cooperative targets with deep convolutional neural networks
CN107449403B (zh) 一种时-空四维联合成像模型及应用
CN116202487A (zh) 一种基于三维建模的实时目标姿态测量方法
CN108592789A (zh) 一种基于bim和机器视觉技术的钢结构工厂预拼装方法
CN115619877A (zh) 单目线激光传感器与二轴机床系统的位置关系标定方法
CN110660108B (zh) 一种交会对接测量相机和对接抓捕机构的联合标定方法
CN114092564A (zh) 无重叠视域多相机系统的外参数标定方法、系统、终端及介质
Ren et al. Self-calibration method of gyroscope and camera in video stabilization
CN116148883B (zh) 基于稀疏深度图像的slam方法、装置、终端设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220418

Address after: 210016 room 1003-1005, No. 1698, Shuanglong Avenue, Jiangning District, Nanjing, Jiangsu Province (Jiangning Development Zone)

Patentee after: Nanjing Yuntong Technology Co.,Ltd.

Address before: No. 29, Qinhuai District, Qinhuai District, Nanjing, Jiangsu

Patentee before: Nanjing University of Aeronautics and Astronautics