CN116664408B - 一种彩色结构光的点云上采样方法及装置 - Google Patents

一种彩色结构光的点云上采样方法及装置 Download PDF

Info

Publication number
CN116664408B
CN116664408B CN202310943815.2A CN202310943815A CN116664408B CN 116664408 B CN116664408 B CN 116664408B CN 202310943815 A CN202310943815 A CN 202310943815A CN 116664408 B CN116664408 B CN 116664408B
Authority
CN
China
Prior art keywords
target
point
pixel
calculating
stripes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310943815.2A
Other languages
English (en)
Other versions
CN116664408A (zh
Inventor
王亚杰
林捷
左飞飞
王继斌
张泰配
张文宇
吴宏新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING LANGSHI INSTRUMENT CO LTD
Original Assignee
BEIJING LANGSHI INSTRUMENT CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING LANGSHI INSTRUMENT CO LTD filed Critical BEIJING LANGSHI INSTRUMENT CO LTD
Priority to CN202310943815.2A priority Critical patent/CN116664408B/zh
Publication of CN116664408A publication Critical patent/CN116664408A/zh
Application granted granted Critical
Publication of CN116664408B publication Critical patent/CN116664408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Multimedia (AREA)
  • Operations Research (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

本发明公开了一种彩色结构光的点云上采样方法及装置，该方法包括：确定与目标像素点对应的至少一组条纹及分布在所有条纹上的特征点的特征点坐标；根据所有特征点坐标及目标像素点的像素坐标，按照权重算法及矩阵算法，计算得到每个特征点的权重值、第一法线向量；再根据每个特征点的权重值、第一法线向量结合像素坐标，计算得到目标像素点的亚像素坐标；从条纹中选取出一组目标特征点，并根据该组目标特征点、结合确定出的基准光平面方程以及一组预先确定的权重均值，计算得到目标光平面方程；根据亚像素坐标以及目标光平面方程，计算得到目标像素点对应的三维坐标。可见，实施本发明能够解决提高点云插值的准确度、提高抗噪能力。

Description

一种彩色结构光的点云上采样方法及装置
技术领域
本发明涉及点云上采样技术领域，尤其涉及一种彩色结构光的点云上采样方法及装置。
背景技术
现有技术中类似线激光的点云上采样方法中，差异点在于彩色结构光采用空间编码的方式，即为多条带有颜色信息的线激光。此类结构光重建的点云上采样方法大体分为三种类型。
第一种，对点云三维坐标XYZ分别进行插值，也即拟合三维曲线，从而进行插值。主要方法有线性插值、拉格朗日插值法、样条插值法、最小二乘法。
第二种，根据XY的值对Z估计，即拟合三维曲面进行插值或网格插值。根据每个点云和周围点云的信息进行插值。主要方法有径向基插值、金克斯插值、移动最小二乘法、多项式拟合。
第三种，间接插值：进行编码值插值，根据预测的编码值及待插值像素计算三维坐标，间接进行插值。
上述三种方法存在计算出的点云不够准确、抗噪能力较差的问题。可见，如何解决现有点云上采样技术中存在的点云不准确、抗噪能力差的问题显得尤为重要。
发明内容
本发明所要解决的技术问题在于，提供一种彩色结构光的点云上采样方法及装置，能够解决现有点云上采样技术中存在的点云不准确、抗噪能力差的问题。
为了解决上述技术问题，本发明第一方面公开了一种彩色结构光的点云上采样方法，所述方法包括：
根据预先确定出的待插值的目标像素点，确定与所述目标像素点对应的至少一组条纹以及分布在所有所述条纹上的特征点对应的特征点坐标；一组所述条纹包括两条目标条纹，且一条所述目标条纹上的特征点与另一条所述目标条纹上的特征点一一对应；
根据所有所述特征点坐标以及所述目标像素点的像素坐标，按照预设的权重算法以及矩阵算法，计算得到每个所述特征点对应的权重值、第一法线向量；再根据每个所述特征点对应的权重值、第一法线向量结合所述像素坐标，计算得到所述目标像素点对应的亚像素坐标；
从所述条纹中选取出一组目标特征点，并根据该组目标特征点、结合确定出的基准光平面方程以及一组预先确定的权重均值，计算得到目标光平面方程；
根据所述亚像素坐标以及所述目标光平面方程，计算得到目标插值点对应的三维坐标，所述目标插值点为所述目标像素点的插值坐标点。
作为一种可选的实施方式，在本发明第一方面中，所述根据所有所述特征点坐标以及所述目标像素点的像素坐标，按照预设的权重算法以及矩阵算法，计算得到每个所述特征点对应的权重值、第一法线向量，包括：
对于任一一组所述条纹，确定该组条纹中与所述目标像素点的直线距离更短的所述目标条纹，记为第一条纹，记该组条纹中的另一条所述目标条纹为第二条纹；
对于所述第一条纹中的任一所述特征点，分别计算该特征点的横坐标与所述像素坐标的横坐标、目标横坐标各自的数值差，得到第一差值、第二差值；所述目标横坐标为处于所述第二条纹中且与该特征点对应的所述特征点的横坐标；
计算所述第一差值与所述第二差值的商，得到该特征点对应的第一权重系数，作为该特征点的权重值；将预设系数减去所述第一权重系数，得到该特征点在所述第二条纹中对应的特征点对应的第二权重系数；作为该特征点在所述第二条纹中对应的特征点的权重值；
根据预设的海森矩阵法计算得到每个所述特征点对应的第一法线向量。
作为一种可选的实施方式，在本发明第一方面中，所述目标像素点为彩色结构光对应的点云数据集中的像素点；确定所述目标像素点的方式包括：
分析所述点云数据集，得到所述点云数据集中数据稠密度在预设稠密阈值内的区域，并从该区域中选取需要执行插值处理的一组条纹，将出该组条纹正中间位置的任一一个像素点确定为目标像素点；或者，
根据预设的插值拟合算法，从所述区域中选取至少一个像素点，作为目标像素点。
作为一种可选的实施方式，在本发明第一方面中，所述根据每个所述特征点对应的权重值、第一法线向量结合所述像素坐标，计算得到所述目标像素点对应的亚像素坐标，包括：
对于该组条纹中的所有所述特征点，计算每个所述特征点对应的所述权重值与该特征点对应的所述第一法线向量的乘积，得到每个所述特征点对应的乘积结果，再计算所有所述乘积结果的求和结果，并将所述求和结果除以所有所述特征点的数量，得到所述目标像素点对应的第二法线向量；
以所述第二法线向量对应的法线方向为基准，以所述目标像素点为中心，在所述法线方向上提取预设数量的像素灰度梯度值，得到所述目标像素点对应的提取处理结果；
根据预设的梯度重心法以及所述提取处理结果，计算得到所述目标像素点对应的亚像素坐标。
作为一种可选的实施方式，在本发明第一方面中，所述根据该组目标特征点、结合确定出的基准光平面方程以及一组预先确定的权重均值，计算得到目标光平面方程，包括：
根据预先确定的标定算法，确定出多个待定光平面；再从所有所述待定光平面中选取与该组目标特征点匹配的特征点光平面；
根据预先确定的一组权重均值，确定与每个所述特征点光平面对应的目标权重均值，并将每个所述特征点光平面与该特征点光平面对应的所述目标权重均值作乘积运算，再对所有所述特征点光平面对应的乘积运算结果进行求和运算，得到目标光平面方程。
作为一种可选的实施方式，在本发明第一方面中，所述根据所述亚像素坐标以及所述目标光平面方程，计算得到目标插值点对应的三维坐标，包括：
获取相机内参矩阵，并根据所述相机内参矩阵对所述亚像素坐标执行归一化处理，得到所述亚像素坐标对应的归一化结果；
将所述归一化结果代入所述目标光平面方程并求倒数，将对应的倒数结果与所述归一化结果作矩阵左乘运算，得到目标插值点对应的三维坐标。
作为一种可选的实施方式，在本发明第一方面中，所述目标光平面方程的具体计算公式为：
其中，P'对应所述目标光平面方程，P1为该组目标特征点中的一个目标特征点对应的光平面方程；P2为该组目标特征点中的另一个目标特征点对应的光平面方程；为预先确定的一组权重均值中的一个权重均值，且与P1相对应；/>为该权重均值中的另一个权重均值，且与P2相对应。
本发明第二方面公开了一种彩色结构光的点云上采样装置，所述装置包括：
确定模块，用于根据预先确定出的待插值的目标像素点，确定与所述目标像素点对应的至少一组条纹以及分布在所有所述条纹上的特征点对应的特征点坐标；一组所述条纹包括两条目标条纹，且一条所述目标条纹上的特征点与另一条所述目标条纹上的特征点一一对应；
第一计算模块，用于根据所有所述特征点坐标以及所述目标像素点的像素坐标，按照预设的权重算法以及矩阵算法，计算得到每个所述特征点对应的权重值、第一法线向量；
坐标计算模块，用于根据每个所述特征点对应的权重值、第一法线向量结合所述像素坐标，计算得到所述目标像素点对应的亚像素坐标；
第二计算模块，用于从所述条纹中选取出一组目标特征点，并根据该组目标特征点、结合确定出的基准光平面方程以及一组预先确定的权重均值，计算得到目标光平面方程；
所述坐标计算模块，还用于根据所述亚像素坐标以及所述目标光平面方程，计算得到目标插值点对应的三维坐标，所述目标插值点为所述目标像素点的插值坐标点。
作为一种可选的实施方式，在本发明第二方面中，所述第一计算模块根据所有所述特征点坐标以及所述目标像素点的像素坐标，按照预设的权重算法以及矩阵算法，计算得到每个所述特征点对应的权重值、第一法线向量的方式具体包括：
对于任一一组所述条纹，确定该组条纹中与所述目标像素点的直线距离更短的所述目标条纹，记为第一条纹，记该组条纹中的另一条所述目标条纹为第二条纹；
对于所述第一条纹中的任一所述特征点，分别计算该特征点的横坐标与所述像素坐标的横坐标、目标横坐标各自的数值差，得到第一差值、第二差值；所述目标横坐标为处于所述第二条纹中且与该特征点对应的所述特征点的横坐标；
计算所述第一差值与所述第二差值的商，得到该特征点对应的第一权重系数，作为该特征点的权重值；将预设系数减去所述第一权重系数，得到该特征点在所述第二条纹中对应的特征点对应的第二权重系数；作为该特征点在所述第二条纹中对应的特征点的权重值；
根据预设的海森矩阵法计算得到每个所述特征点对应的第一法线向量。
作为一种可选的实施方式，在本发明第二方面中，所述目标像素点为彩色结构光对应的点云数据集中的像素点；确定所述目标像素点的方式包括：
分析所述点云数据集，得到所述点云数据集中数据稠密度在预设稠密阈值内的区域，并从该区域中选取需要执行插值处理的一组条纹，将出该组条纹正中间位置的任一一个像素点确定为目标像素点；或者，
根据预设的插值拟合算法，从所述区域中选取至少一个像素点，作为目标像素点。
作为一种可选的实施方式，在本发明第二方面中，所述坐标计算模块根据每个所述特征点对应的权重值、第一法线向量结合所述像素坐标，计算得到所述目标像素点对应的亚像素坐标的方式具体包括：
对于该组条纹中的所有所述特征点，计算每个所述特征点对应的所述权重值与该特征点对应的所述第一法线向量的乘积，得到每个所述特征点对应的乘积结果，再计算所有所述乘积结果的求和结果，并将所述求和结果除以所有所述特征点的数量，得到所述目标像素点对应的第二法线向量；
以所述第二法线向量对应的法线方向为基准，以所述目标像素点为中心，在所述法线方向上提取预设数量的像素灰度梯度值，得到所述目标像素点对应的提取处理结果；
根据预设的梯度重心法以及所述提取处理结果，计算得到所述目标像素点对应的亚像素坐标。
作为一种可选的实施方式，在本发明第二方面中，所述第二计算模块根据该组目标特征点、结合确定出的基准光平面方程以及一组预先确定的权重均值，计算得到目标光平面方程的方式具体包括：
根据预先确定的标定算法，确定出多个待定光平面；再从所有所述待定光平面中选取与该组目标特征点匹配的特征点光平面；
根据预先确定的一组权重均值，确定与每个所述特征点光平面对应的目标权重均值，并将每个所述特征点光平面与该特征点光平面对应的所述目标权重均值作乘积运算，再对所有所述特征点光平面对应的乘积运算结果进行求和运算，得到目标光平面方程。
作为一种可选的实施方式，在本发明第二方面中，所述坐标计算模块根据所述亚像素坐标以及所述目标光平面方程，计算得到目标插值点对应的三维坐标的方式具体包括：
获取相机内参矩阵，并根据所述相机内参矩阵对所述亚像素坐标执行归一化处理，得到所述亚像素坐标对应的归一化结果；
将所述归一化结果代入所述目标光平面方程并求倒数，将对应的倒数结果与所述归一化结果作矩阵左乘运算，得到目标插值点对应的三维坐标。
作为一种可选的实施方式，在本发明第二方面中，所述目标光平面方程的具体计算公式为：
其中，P '对应所述目标光平面方程，P1为该组目标特征点中的一个目标特征点对应的光平面方程；P2为该组目标特征点中的另一个目标特征点对应的光平面方程；为预先确定的一组权重均值中的一个权重均值，且与P1相对应；/>为该权重均值中的另一个权重均值，且与P2相对应。
本发明第三方面公开了另一种彩色结构光的点云上采样装置，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的彩色结构光的点云上采样方法。
本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面公开的彩色结构光的点云上采样方法。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例中，提供了一种彩色结构光的点云上采样方法，该方法包括：根据预先确定出的待插值的目标像素点，确定与所述目标像素点对应的至少一组条纹以及分布在所有所述条纹上的特征点对应的特征点坐标；一组所述条纹包括两条目标条纹，且一条所述目标条纹上的特征点与另一条所述目标条纹上的特征点一一对应；根据所有所述特征点坐标以及所述目标像素点的像素坐标，按照预设的权重算法以及矩阵算法，计算得到每个所述特征点对应的权重值、第一法线向量；再根据每个所述特征点对应的权重值、第一法线向量结合所述像素坐标，计算得到所述目标像素点对应的亚像素坐标；从所述条纹中选取出一组目标特征点，并根据该组目标特征点、结合确定出的基准光平面方程以及一组预先确定的权重均值，计算得到目标光平面方程；根据所述亚像素坐标以及所述目标光平面方程，计算得到目标插值点对应的三维坐标，所述目标插值点为所述目标像素点的插值坐标点。可见，实施本发明能够基于确定的待插值的目标像素点，自动确定与该目标像素点对应的一组条纹、该组条纹上所有特征点的特征点坐标，从而基于该目标像素点、所有的特征点坐标，依次计算得到每个特征点的权重值、第一法线向量；以及计算目标像素点的亚像素坐标、目标光平面方程，最终确定的出目标插值点的三维坐标；也即，在本发明实施例中，从目标像素点对应的两个条纹之中假想出更多条纹及其光平面，实现对每个目标像素点的三维重建，从而使点云均匀化，以解决现有点云上采样技术中存在的点云不准确、抗噪能力差的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种彩色结构光的点云上采样方法的流程示意图；
图2是本发明实施例公开的另一种彩色结构光的点云上采样方法的流程示意图；
图3是本发明实施例公开的一种彩色结构光的点云上采样装置的结构示意图；
图4是本发明实施例公开的另一种彩色结构光的点云上采样装置的结构示意图；
图5是本发明实施例公开的待插值像素点及其对应的一组条纹的示意图；
图6是本发明实施例公开的确定出目标像素点对应的三维坐标之后进行插值的效果示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或端没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或端固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明公开了一种彩色结构光的点云上采样方法及装置，能够基于确定的待插值的目标像素点，自动确定与该目标像素点对应的一组条纹、该组条纹上所有特征点的特征点坐标，从而基于该目标像素点、所有的特征点坐标，依次计算得到每个特征点的权重值、第一法线向量；以及计算目标像素点的亚像素坐标、目标光平面方程，最终确定的出目标插值点的三维坐标；也即，在本发明实施例中，从目标像素点对应的两个条纹之中假想出更多条纹及其光平面，实现对每个目标像素点的三维重建，从而使点云均匀化，以解决现有点云上采样技术中存在的点云不准确、抗噪能力差的问题。以下分别进行详细说明。
实施例一
请参阅图1，图1是本发明实施例公开的一种彩色结构光的点云上采样方法的流程示意图。其中，图1所描述的彩色结构光的点云上采样方法可以应用于彩色结构光的点云上采样装置中，本发明实施例不做限定。如图1所示，该彩色结构光的点云上采样方法可以包括以下操作：
101、根据预先确定出的待插值的目标像素点，确定与目标像素点对应的至少一组条纹以及分布在所有条纹上的特征点对应的特征点坐标。
本发明实施例中，一组条纹包括两条目标条纹，且一条目标条纹上的特征点与另一条目标条纹上的特征点一一对应。
本发明实施例中，目标像素点为彩色结构光对应的点云数据集中的像素点；确定目标像素点的方式包括：
分析点云数据集，得到点云数据集中数据稠密度在预设稠密阈值内的区域，并从该区域中选取需要执行插值处理的一组条纹，将出该组条纹正中间位置的任一一个像素点确定为目标像素点；或者，
根据预设的插值拟合算法，从区域中选取至少一个像素点，作为目标像素点。
本发明实施例中，通过该目标像素点的选取方式，降低了点云的插值稠密度的调整难度，且实现了任意选取的目标像素点三维重建的可行性，实现了点云数据操作的精细程度以及调整点云均匀度的调整准确性。
本发明实施例中，具体的，请参阅图5，图5中待插值像素点为目标像素点，记为（），一组条纹包括2条条纹（条纹1、条纹2）；每条条纹上包括有多个特征点，(/>)，(/>)，……，(/>)，(/>)，共2N个特征点；其中/>＜/></>,且。
102、根据所有特征点坐标以及目标像素点的像素坐标，按照预设的权重算法以及矩阵算法，计算得到每个特征点对应的权重值、第一法线向量。
103、根据每个特征点对应的权重值、第一法线向量结合像素坐标，计算得到目标像素点对应的亚像素坐标。
104、从条纹中选取出一组目标特征点，并根据该组目标特征点、结合确定出的基准光平面方程以及一组预先确定的权重均值，计算得到目标光平面方程。
105、根据亚像素坐标以及目标光平面方程，计算得到目标插值点对应的三维坐标，目标插值点为目标像素点的插值坐标点。
本发明实施例中，具体的，请参阅图6，图6为最终计算得到多个目标像素点重构后的三维坐标，并进行差值后的效果图；其中，圆形为准确值，方形为待插值像素，圆形上方对应的平面为标定的准确光平面，方形上方对应的为插值的光平面。
可见，实施图1所描述的彩色结构光的点云上采样方法，能够基于确定的待插值的目标像素点，自动确定与该目标像素点对应的一组条纹、该组条纹上所有特征点的特征点坐标，从而基于该目标像素点、所有的特征点坐标，依次计算得到每个特征点的权重值、第一法线向量；以及计算目标像素点的亚像素坐标、目标光平面方程，最终确定的出目标插值点的三维坐标；也即，在本发明实施例中，从目标像素点对应的两个条纹之中假想出更多条纹及其光平面，实现对每个目标像素点的三维重建，从而使点云均匀化，以解决现有点云上采样技术中存在的点云不准确、抗噪能力差的问题。
实施例二
请参阅图2，图2是本发明实施例公开的另一种彩色结构光的点云上采样方法的流程示意图。其中，图2所描述的彩色结构光的点云上采样方法可以应用于彩色结构光的点云上采样装置中，本发明实施例不做限定。如图2所示，该彩色结构光的点云上采样方法可以包括以下操作：
201、根据预先确定出的待插值的目标像素点，确定与目标像素点对应的至少一组条纹以及分布在所有条纹上的特征点对应的特征点坐标。
202、对于任一一组条纹，确定该组条纹中与目标像素点的直线距离更短的目标条纹，记为第一条纹，记该组条纹中的另一条目标条纹为第二条纹。
203、对于第一条纹中的任一特征点，分别计算该特征点的横坐标与像素坐标的横坐标、目标横坐标各自的数值差，得到第一差值、第二差值。
本发明实施例中，目标横坐标为处于第二条纹中且与该特征点对应的特征点的横坐标；
204、计算第一差值与第二差值的商，得到该特征点对应的第一权重系数，作为该特征点的权重值；将预设系数减去第一权重系数，得到该特征点在第二条纹中对应的特征点对应的第二权重系数；作为该特征点在第二条纹中对应的特征点的权重值。
本发明实施例中，步骤202-步骤204中具体的计算每个特征点对应的权重值的计算公式如下：
其中，对应条纹1中特征点对应的权重值；/>对应条纹2中特征点对应的权重。
本发明实施例中，记目标像素点中一组条纹中每个特征点对应的法线向量为：，/>……/>，/>；本发明实施例中，/>，/>分别代表如图5中条纹1、条纹2中特征点对应的法线向量。
205、根据预设的海森矩阵法计算得到每个特征点对应的第一法线向量。
206、根据每个特征点对应的权重值、第一法线向量结合像素坐标，计算得到目标像素点对应的亚像素坐标。
207、从条纹中选取出一组目标特征点，并根据该组目标特征点、结合确定出的基准光平面方程以及一组预先确定的权重均值，计算得到目标光平面方程。
208、根据亚像素坐标以及目标光平面方程，计算得到目标插值点对应的三维坐标，目标插值点为目标像素点的插值坐标点。
本发明实施例中，针对步骤201以及步骤206-步骤208的其他描述请参阅实施例一中针对步骤101以及步骤103-步骤105的其他具体描述，本发明实施例不再赘述。
可见，实施图2所描述的彩色结构光的点云上采样方法，能够从目标像素点对应的两个条纹之中假想出更多条纹及其光平面，其中，以该组条纹为基础，对该组条纹对应的所有特征点进行权重计算，之后作为计算目标像素点亚像素坐标的辅助数据，提高了计算目标像素点对应的亚像素坐标的计算准确性；利用邻近特征点及光平面对插值点进行约束的方法，使得后续得到的点云处理结果更为准确，更鲁棒；此外，再结合后续的光平面方程计算，综合实现对每个目标像素点的三维坐标计算、实现了目标像素点的三维重建，从而使点云均匀化，以解决现有点云上采样技术中存在的点云不准确、抗噪能力差的问题。
在一个可选的实施例中，步骤206中根据每个特征点对应的权重值、第一法线向量结合像素坐标，计算得到目标像素点对应的亚像素坐标的方式具体包括：
对于该组条纹中的所有特征点，计算每个特征点对应的权重值与该特征点对应的第一法线向量的乘积，得到每个特征点对应的乘积结果，再计算所有乘积结果的求和结果，并将求和结果除以所有特征点的数量，得到目标像素点对应的第二法线向量；
以第二法线向量对应的法线方向为基准，以目标像素点为中心，在法线方向上提取预设数量的像素灰度梯度值，得到目标像素点对应的提取处理结果；
根据预设的梯度重心法以及提取处理结果，计算得到目标像素点对应的亚像素坐标。
在该可选的实施例中，利用如下公式计算目标像素点的第二法线向量n'
基于该第二法线向量n'找到其对应的法线方向，并在法线方向，以目标像素点（u3，v3）为中心，提取k个像素灰度梯度值，并利用梯度重心法计算得到目标像素点对应的亚像素坐标，记为（u'，v'）。
可见，在该可选的实施例中，初始确定出的目标像素点为像素级坐标，能够利用邻近特征点、特征点坐标对应的权重值、第一法线向量；再综合预设的运算公式，实现对目标像素点的亚像素优化。
在另一个可选的实施例中，步骤207中根据该组目标特征点、结合确定出的基准光平面方程以及一组预先确定的权重均值，计算得到目标光平面方程的方式具体包括：
根据预先确定的标定算法，确定出多个待定光平面；再从所有待定光平面中选取与该组目标特征点匹配的特征点光平面；
根据预先确定的一组权重均值，确定与每个特征点光平面对应的目标权重均值，并将每个特征点光平面与该特征点光平面对应的目标权重均值作乘积运算，再对所有特征点光平面对应的乘积运算结果进行求和运算，得到目标光平面方程。
在该可选的实施例中，基准光平面方程对应的公式为：
其中，ABC对应该基准光平面方程的截距，该基准光平面方程中的截距ABC可以通过标定算法计算得到，本发明实施例在此不作赘述。
具体的，由于彩色结构光由多条激光条纹组成，多个条纹组成的结构光为扇形结构，且光平面与z=0的交线互相平行，因此截距ABC各自分布均为单调，两个光平面之间可以进行光平面的插值。
在该可选的实施例中，通过光平面方程对应的标定算法，可以预先确定出多个待定光平面，继而以每个目标特征点所在坐标为基准，从所有待定光平面中选取与每个目标特征点匹配的特征点光平面，此处，该特征点光平面也即目标特征点匹配的特征点光平面方程；之后，在前置计算出的每个特征点的权重值的基础上，联立所有目标特征点的特征点光平面方程，能够得到目标像素点对应的目标光平面方程。
在又一个可选的实施例中，步骤208根据亚像素坐标以及目标光平面方程，计算得到目标插值点对应的三维坐标，包括：
获取相机内参矩阵，并根据相机内参矩阵对亚像素坐标执行归一化处理，得到亚像素坐标对应的归一化结果；
将归一化结果代入目标光平面方程并求倒数，将对应的倒数结果与归一化结果作矩阵左乘运算，得到目标插值点对应的三维坐标。
在该可选的实施例中，步骤206计算得到目标像素点对应的亚像素坐标之后，该亚像素坐标处于图像坐标系中，经过该归一化处理后，将亚像素坐标从图像坐标系转换到相机归一化坐标系中。
其中，目标光平面方程的具体计算公式为：
其中，对应目标光平面方程，P1为该组目标特征点中的一个目标特征点对应的光平面方程；P2为该组目标特征点中的另一个目标特征点对应的光平面方程；/>为预先确定的一组权重均值中的一个权重均值，且与P1相对应；/>为该权重均值中的另一个权重均值，且与P2相对应。
在该可选的实施例中，计算亚像素坐标对应的归一化结果对应的计算公式具体为：
其中，X'n以及Y'n为相机归一化坐标系的坐标；为相机内参矩阵。
具体的，目标插值点的三维坐标对应的计算公式具体为：
在该可选的实施例中，通过公式联立公式6、公式7，也即将计算公式6代入计算公式7，可以得到目标插值点的三维坐标（X'c，Y'c，Z'c）。
在该可选的实施例中，相较于直接对三维点云进行插值，本发明实施例对应的数据计算量更小，基于上述提及的光平面与z=0的交线互相平行、截距ABC各自分布均为单调、两个光平面之间可以进行光平面的插值的特点，故而实际进行点云处理对应处理的时间复杂度为线性复杂度，也即实现了点云上采样算法的优化，有利于降低整体算法的复杂度，同时降低了点云的数据处理难度，还有利于提高数据处理效率。
在该可选的实施例中，通过对亚像素坐标的归一化处理，再联立三维坐标作矩阵运算，最终计算得到目标像素点重建后的三维坐标。
实施例三
请参阅图3，图3是本发明实施例公开的一种彩色结构光的点云上采样装置的结构示意图。其中，该彩色结构光的点云上采样装置可以是彩色结构光的点云上采样终端、设备、系统或者服务器，服务器可以是本地服务器，也可以是远端服务器，还可以是云服务器（又称云端服务器），当服务器为非云服务器时，该非云服务器能够与云服务器进行通信连接，本发明实施例不做限定。如图3所示，该彩色结构光的点云上采样装置可以包括确定模块301、第一计算模块302、坐标计算模块303以及第二计算模块304，其中：
确定模块301，用于根据预先确定出的待插值的目标像素点，确定与目标像素点对应的至少一组条纹以及分布在所有条纹上的特征点对应的特征点坐标；一组条纹包括两条目标条纹，且一条目标条纹上的特征点与另一条目标条纹上的特征点一一对应。
本发明实施例中，目标像素点为彩色结构光对应的点云数据集中的像素点；确定目标像素点的方式包括：
分析点云数据集，得到点云数据集中数据稠密度在预设稠密阈值内的区域，并从该区域中选取需要执行插值处理的一组条纹，将出该组条纹正中间位置的任一一个像素点确定为目标像素点；或者，
根据预设的插值拟合算法，从区域中选取至少一个像素点，作为目标像素点。
第一计算模块302，用于根据所有特征点坐标以及目标像素点的像素坐标，按照预设的权重算法以及矩阵算法，计算得到每个特征点对应的权重值、第一法线向量。
坐标计算模块303，用于根据每个特征点对应的权重值、第一法线向量结合像素坐标，计算得到目标像素点对应的亚像素坐标。
第二计算模块304，用于从条纹中选取出一组目标特征点，并根据该组目标特征点、结合确定出的基准光平面方程以及一组预先确定的权重均值，计算得到目标光平面方程。
坐标计算模块303，还用于根据亚像素坐标以及目标光平面方程，计算得到目标插值点对应的三维坐标，目标插值点为目标像素点的插值坐标点。
可见，实施图3所描述的彩色结构光的点云上采样装置，能够基于确定的待插值的目标像素点，自动确定与该目标像素点对应的一组条纹、该组条纹上所有特征点的特征点坐标，从而基于该目标像素点、所有的特征点坐标，依次计算得到每个特征点的权重值、第一法线向量；以及计算目标像素点的亚像素坐标、目标光平面方程，最终确定的出目标插值点的三维坐标；也即，在本发明实施例中，从目标像素点对应的两个条纹之中假想出更多条纹及其光平面，实现对每个目标像素点的三维重建，从而使点云均匀化，以解决现有点云上采样技术中存在的点云不准确、抗噪能力差的问题。
在一个可选的实施例中，第一计算模块302根据所有特征点坐标以及目标像素点的像素坐标，按照预设的权重算法以及矩阵算法，计算得到每个特征点对应的权重值、第一法线向量的方式具体包括：
对于任一一组条纹，确定该组条纹中与目标像素点的直线距离更短的目标条纹，记为第一条纹，记该组条纹中的另一条目标条纹为第二条纹；
对于第一条纹中的任一特征点，分别计算该特征点的横坐标与像素坐标的横坐标、目标横坐标各自的数值差，得到第一差值、第二差值；目标横坐标为处于第二条纹中且与该特征点对应的特征点的横坐标；
计算第一差值与第二差值的商，得到该特征点对应的第一权重系数，作为该特征点的权重值；将预设系数减去第一权重系数，得到该特征点在第二条纹中对应的特征点对应的第二权重系数；作为该特征点在第二条纹中对应的特征点的权重值；
根据预设的海森矩阵法计算得到每个特征点对应的第一法线向量。
可见，在该可选的实施例中，能够从目标像素点对应的两个条纹之中假想出更多条纹及其光平面，其中，以该组条纹为基础，对该组条纹对应的所有特征点进行权重计算，之后作为计算目标像素点亚像素坐标的辅助数据，提高了计算目标像素点对应的亚像素坐标的计算准确性；利用邻近特征点及光平面对插值点进行约束的方法，使得后续得到的点云处理结果更为准确，更鲁棒；此外，再结合后续的光平面方程计算，综合实现对每个目标像素点的三维坐标计算、实现了目标像素点的三维重建，从而使点云均匀化，以解决现有点云上采样技术中存在的点云不准确、抗噪能力差的问题。
在另一个可选的实施例中，坐标计算模块303根据每个特征点对应的权重值、第一法线向量结合像素坐标，计算得到目标像素点对应的亚像素坐标的方式具体包括：
对于该组条纹中的所有特征点，计算每个特征点对应的权重值与该特征点对应的第一法线向量的乘积，得到每个特征点对应的乘积结果，再计算所有乘积结果的求和结果，并将求和结果除以所有特征点的数量，得到目标像素点对应的第二法线向量；
以第二法线向量对应的法线方向为基准，以目标像素点为中心，在法线方向上提取预设数量的像素灰度梯度值，得到目标像素点对应的提取处理结果；
根据预设的梯度重心法以及提取处理结果，计算得到目标像素点对应的亚像素坐标。
可见，在该可选的实施例中，初始确定出的目标像素点为像素级坐标，能够利用邻近特征点、特征点坐标对应的权重值、第一法线向量；再综合预设的运算公式，实现对目标像素点的亚像素优化。
在又一个可选的实施例中，第二计算模块304根据该组目标特征点、结合确定出的基准光平面方程以及一组预先确定的权重均值，计算得到目标光平面方程的方式具体包括：
根据预先确定的标定算法，确定出多个待定光平面；再从所有待定光平面中选取与该组目标特征点匹配的特征点光平面；
根据预先确定的一组权重均值，确定与每个目标光平面对应的目标权重均值，并将每个特征点光平面与该特征点光平面对应的目标权重均值作乘积运算，再对所有特征点光平面对应的乘积运算结果进行求和运算，得到目标光平面方程。
在该可选的实施例中，坐标计算模块303根据亚像素坐标以及目标光平面方程，计算得到目标插值点对应的三维坐标的方式具体包括：
获取相机内参矩阵，并根据相机内参矩阵对亚像素坐标执行归一化处理，得到亚像素坐标对应的归一化结果；
将归一化结果代入目标光平面方程并求倒数，将对应的倒数结果与归一化结果作矩阵左乘运算，得到目标插值点对应的三维坐标。
其中，目标光平面方程的具体计算公式为：
其中，P'对应目标光平面方程，P1为该组目标特征点中的一个目标特征点对应的光平面方程；P2为该组目标特征点中的另一个目标特征点对应的光平面方程；为预先确定的一组权重均值中的一个权重均值，且与P1相对应；/>为该权重均值中的另一个权重均值，且与P2相对应。
可见，在该可选的实施例中，通过对亚像素坐标的归一化处理，再联立三维坐标作矩阵运算，最终计算得到目标像素点重建后的三维坐标。
实施例四
请参阅图4，图4是本发明实施例公开的又一种彩色结构光的点云上采样装置的结构示意图。如图4所示，该彩色结构光的点云上采样装置可以包括：
存储有可执行程序代码的存储器401；
与存储器401耦合的处理器402；
处理器402调用存储器401中存储的可执行程序代码，执行本发明实施例一或本发明实施例二所描述的彩色结构光的点云上采样方法中的步骤。
实施例五
本发明实施例公开了一种计算机存储介质，该计算机存储介质存储有计算机指令，该计算机指令被调用时，用于执行本发明实施例一或本发明实施例二所描述的彩色结构光的点云上采样方法中的步骤。
实施例六
本发明实施例公开了一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机存储介质，且该计算机程序可操作来使计算机执行实施例一或实施例二中所描述的彩色结构光的点云上采样方法中的步骤。
以上所描述的装置实施例仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机存储介质中,存储介质包括只读存储器（Read-OnlyMemory，ROM）、随机存储器（Random Access Memory，RAM）、可编程只读存储器（Programmable Read-only Memory，PROM）、可擦除可编程只读存储器（ErasableProgrammable Read Only Memory，EPROM）、一次可编程只读存储器（One-timeProgrammable Read-Only Memory，OTPROM）、电子抹除式可复写只读存储器（Electrically-Erasable Programmable Read-Only Memory，EEPROM）、只读光盘（CompactDisc Read-Only Memory，CD-ROM）或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是：本发明实施例公开的一种彩色结构光的点云上采样方法及装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

Claims (6)

1.一种彩色结构光的点云上采样方法，其特征在于，所述方法包括：
根据预先确定出的待插值的目标像素点，确定与所述目标像素点对应的至少一组条纹以及分布在所有所述条纹上的特征点对应的特征点坐标；一组所述条纹包括两条目标条纹，且一条所述目标条纹上的特征点与另一条所述目标条纹上的特征点一一对应；
根据所有所述特征点坐标以及所述目标像素点的像素坐标，按照预设的权重算法以及矩阵算法，计算得到每个所述特征点对应的权重值、第一法线向量；再根据每个所述特征点对应的权重值、第一法线向量结合所述像素坐标，计算得到所述目标像素点对应的亚像素坐标；
从所述条纹中选取出一组目标特征点，并根据该组目标特征点、结合确定出的基准光平面方程以及一组预先确定的权重均值，计算得到目标光平面方程；
根据所述亚像素坐标以及所述目标光平面方程，计算得到目标插值点对应的三维坐标，所述目标插值点为所述目标像素点的插值坐标点；
所述根据所有所述特征点坐标以及所述目标像素点的像素坐标，按照预设的权重算法以及矩阵算法，计算得到每个所述特征点对应的权重值、第一法线向量，包括：
对于任一一组所述条纹，确定该组条纹中与所述目标像素点的直线距离更短的所述目标条纹，记为第一条纹，记该组条纹中的另一条所述目标条纹为第二条纹；
对于所述第一条纹中的任一所述特征点，分别计算该特征点的横坐标与所述像素坐标的横坐标、目标横坐标各自的数值差，得到第一差值、第二差值；所述目标横坐标为处于所述第二条纹中且与该特征点对应的所述特征点的横坐标；
计算所述第一差值与所述第二差值的商，得到该特征点对应的第一权重系数，作为该特征点的权重值；将预设系数减去所述第一权重系数，得到该特征点在所述第二条纹中对应的特征点对应的第二权重系数；作为该特征点在所述第二条纹中对应的特征点的权重值；
根据预设的海森矩阵法计算得到每个所述特征点对应的第一法线向量；
所述根据每个所述特征点对应的权重值、第一法线向量结合所述像素坐标，计算得到所述目标像素点对应的亚像素坐标，包括：
对于该组条纹中的所有所述特征点，计算每个所述特征点对应的所述权重值与该特征点对应的所述第一法线向量的乘积，得到每个所述特征点对应的乘积结果，再计算所有所述乘积结果的求和结果，并将所述求和结果除以所有所述特征点的数量，得到所述目标像素点对应的第二法线向量；
以所述第二法线向量对应的法线方向为基准，以所述目标像素点为中心，在所述法线方向上提取预设数量的像素灰度梯度值，得到所述目标像素点对应的提取处理结果；
根据预设的梯度重心法以及所述提取处理结果，计算得到所述目标像素点对应的亚像素坐标；
所述根据该组目标特征点、结合确定出的基准光平面方程以及一组预先确定的权重均值，计算得到目标光平面方程，包括：
根据预先确定的标定算法，确定出多个待定光平面；再从所有所述待定光平面中选取与该组目标特征点匹配的特征点光平面；
根据预先确定的一组权重均值，确定与每个所述特征点光平面对应的目标权重均值，并将每个所述特征点光平面与该特征点光平面对应的所述目标权重均值作乘积运算，再对所有所述特征点光平面对应的乘积运算结果进行求和运算，得到目标光平面方程；
所述根据所述亚像素坐标以及所述目标光平面方程，计算得到目标插值点对应的三维坐标，包括：
获取相机内参矩阵，并根据所述相机内参矩阵对所述亚像素坐标执行归一化处理，得到所述亚像素坐标对应的归一化结果；
将所述归一化结果代入所述目标光平面方程并求倒数，将对应的倒数结果与所述归一化结果作矩阵左乘运算，得到目标插值点对应的三维坐标。
2.根据权利要求1所述的一种彩色结构光的点云上采样方法，其特征在于，所述目标像素点为彩色结构光对应的点云数据集中的像素点；确定所述目标像素点的方式包括：
分析所述点云数据集，得到所述点云数据集中数据稠密度在预设稠密阈值内的区域，并从该区域中选取需要执行插值处理的一组条纹，将出该组条纹正中间位置的任一一个像素点确定为目标像素点；或者，
根据预设的插值拟合算法，从所述区域中选取至少一个像素点，作为目标像素点。
3.根据权利要求1或2所述的一种彩色结构光的点云上采样方法，其特征在于，所述目标光平面方程的具体计算公式为：
其中，对应所述目标光平面方程，P1为该组目标特征点中的一个目标特征点对应的光平面方程；P2为该组目标特征点中的另一个目标特征点对应的光平面方程；/>为预先确定的一组权重均值中的一个权重均值，且与P1相对应；/>为该权重均值中的另一个权重均值，且与P2相对应。
4.一种彩色结构光的点云上采样装置，其特征在于，所述装置包括：
确定模块，用于根据预先确定出的待插值的目标像素点，确定与所述目标像素点对应的至少一组条纹以及分布在所有所述条纹上的特征点对应的特征点坐标；一组所述条纹包括两条目标条纹，且一条所述目标条纹上的特征点与另一条所述目标条纹上的特征点一一对应；
第一计算模块，用于根据所有所述特征点坐标以及所述目标像素点的像素坐标，按照预设的权重算法以及矩阵算法，计算得到每个所述特征点对应的权重值、第一法线向量；
坐标计算模块，用于根据每个所述特征点对应的权重值、第一法线向量结合所述像素坐标，计算得到所述目标像素点对应的亚像素坐标；
第二计算模块，用于从所述条纹中选取出一组目标特征点，并根据该组目标特征点、结合确定出的基准光平面方程以及一组预先确定的权重均值，计算得到目标光平面方程；
所述坐标计算模块，还用于根据所述亚像素坐标以及所述目标光平面方程，计算得到目标插值点对应的三维坐标，所述目标插值点为所述目标像素点的插值坐标点；
所述第一计算模块根据所有所述特征点坐标以及所述目标像素点的像素坐标，按照预设的权重算法以及矩阵算法，计算得到每个所述特征点对应的权重值、第一法线向量的方式具体包括：
对于任一一组所述条纹，确定该组条纹中与所述目标像素点的直线距离更短的所述目标条纹，记为第一条纹，记该组条纹中的另一条所述目标条纹为第二条纹；
对于所述第一条纹中的任一所述特征点，分别计算该特征点的横坐标与所述像素坐标的横坐标、目标横坐标各自的数值差，得到第一差值、第二差值；所述目标横坐标为处于所述第二条纹中且与该特征点对应的所述特征点的横坐标；
计算所述第一差值与所述第二差值的商，得到该特征点对应的第一权重系数，作为该特征点的权重值；将预设系数减去所述第一权重系数，得到该特征点在所述第二条纹中对应的特征点对应的第二权重系数；作为该特征点在所述第二条纹中对应的特征点的权重值；
根据预设的海森矩阵法计算得到每个所述特征点对应的第一法线向量；
所述坐标计算模块根据每个所述特征点对应的权重值、第一法线向量结合所述像素坐标，计算得到所述目标像素点对应的亚像素坐标的方式具体包括：
对于该组条纹中的所有所述特征点，计算每个所述特征点对应的所述权重值与该特征点对应的所述第一法线向量的乘积，得到每个所述特征点对应的乘积结果，再计算所有所述乘积结果的求和结果，并将所述求和结果除以所有所述特征点的数量，得到所述目标像素点对应的第二法线向量；
以所述第二法线向量对应的法线方向为基准，以所述目标像素点为中心，在所述法线方向上提取预设数量的像素灰度梯度值，得到所述目标像素点对应的提取处理结果；
根据预设的梯度重心法以及所述提取处理结果，计算得到所述目标像素点对应的亚像素坐标；
所述第二计算模块根据该组目标特征点、结合确定出的基准光平面方程以及一组预先确定的权重均值，计算得到目标光平面方程的方式具体包括：
根据预先确定的标定算法，确定出多个待定光平面；再从所有所述待定光平面中选取与该组目标特征点匹配的特征点光平面；
根据预先确定的一组权重均值，确定与每个所述特征点光平面对应的目标权重均值，并将每个所述特征点光平面与该特征点光平面对应的所述目标权重均值作乘积运算，再对所有所述特征点光平面对应的乘积运算结果进行求和运算，得到目标光平面方程；
所述坐标计算模块根据所述亚像素坐标以及所述目标光平面方程，计算得到目标插值点对应的三维坐标的方式具体包括：
获取相机内参矩阵，并根据所述相机内参矩阵对所述亚像素坐标执行归一化处理，得到所述亚像素坐标对应的归一化结果；
将所述归一化结果代入所述目标光平面方程并求倒数，将对应的倒数结果与所述归一化结果作矩阵左乘运算，得到目标插值点对应的三维坐标。
5.一种彩色结构光的点云上采样装置，其特征在于，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-3任一项所述的彩色结构光的点云上采样方法。
6.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如权利要求1-3任一项所述的彩色结构光的点云上采样方法。
CN202310943815.2A 2023-07-31 2023-07-31 一种彩色结构光的点云上采样方法及装置 Active CN116664408B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310943815.2A CN116664408B (zh) 2023-07-31 2023-07-31 一种彩色结构光的点云上采样方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310943815.2A CN116664408B (zh) 2023-07-31 2023-07-31 一种彩色结构光的点云上采样方法及装置

Publications (2)

Publication Number Publication Date
CN116664408A CN116664408A (zh) 2023-08-29
CN116664408B true CN116664408B (zh) 2023-10-13

Family

ID=87721013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310943815.2A Active CN116664408B (zh) 2023-07-31 2023-07-31 一种彩色结构光的点云上采样方法及装置

Country Status (1)

Country Link
CN (1) CN116664408B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993003579A1 (en) * 1991-07-26 1993-02-18 Isis Innovation Limited Three-dimensional vision system
CN107907048A (zh) * 2017-06-30 2018-04-13 长沙湘计海盾科技有限公司 一种基于线结构光扫描的双目立体视觉三维测量方法
EP3457078A1 (en) * 2017-07-17 2019-03-20 Shining 3D Tech Co., Ltd. Monocular three-dimensional scanning system based three-dimensional reconstruction method and apparatus
CN110111339A (zh) * 2019-04-28 2019-08-09 航天智造（上海）科技有限责任公司 条纹图像目标区域提取方法
CN112002010A (zh) * 2020-08-12 2020-11-27 中国人民解放军总医院 基于线激光扫描的损伤皮肤重建方法及重建系统
CN113034684A (zh) * 2021-05-24 2021-06-25 浙江华睿科技有限公司 三维重建方法、电子设备及计算机可读存储介质
CN114821523A (zh) * 2022-03-30 2022-07-29 东风汽车集团股份有限公司 一种基于线结构光的可行驶区域检测方法和装置
CN114972633A (zh) * 2022-05-06 2022-08-30 中国海洋大学 交叉激光线约束下的快速扫描点云插值方法
CN115187676A (zh) * 2022-08-03 2022-10-14 重庆中科摇橹船信息科技有限公司 一种高精度线激光三维重建标定方法
CN115311314A (zh) * 2022-10-13 2022-11-08 深圳市华汉伟业科技有限公司 一种线激光轮廓数据的重采样方法、系统和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993003579A1 (en) * 1991-07-26 1993-02-18 Isis Innovation Limited Three-dimensional vision system
CN107907048A (zh) * 2017-06-30 2018-04-13 长沙湘计海盾科技有限公司 一种基于线结构光扫描的双目立体视觉三维测量方法
EP3457078A1 (en) * 2017-07-17 2019-03-20 Shining 3D Tech Co., Ltd. Monocular three-dimensional scanning system based three-dimensional reconstruction method and apparatus
CN110111339A (zh) * 2019-04-28 2019-08-09 航天智造（上海）科技有限责任公司 条纹图像目标区域提取方法
CN112002010A (zh) * 2020-08-12 2020-11-27 中国人民解放军总医院 基于线激光扫描的损伤皮肤重建方法及重建系统
CN113034684A (zh) * 2021-05-24 2021-06-25 浙江华睿科技有限公司 三维重建方法、电子设备及计算机可读存储介质
CN114821523A (zh) * 2022-03-30 2022-07-29 东风汽车集团股份有限公司 一种基于线结构光的可行驶区域检测方法和装置
CN114972633A (zh) * 2022-05-06 2022-08-30 中国海洋大学 交叉激光线约束下的快速扫描点云插值方法
CN115187676A (zh) * 2022-08-03 2022-10-14 重庆中科摇橹船信息科技有限公司 一种高精度线激光三维重建标定方法
CN115311314A (zh) * 2022-10-13 2022-11-08 深圳市华汉伟业科技有限公司 一种线激光轮廓数据的重采样方法、系统和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Depth extraction method with subpixel matching for light-coding-based depth camera";Pan, Y (Pan, Yu) ; Liu, RK (Liu, Rongke) ; Du, QC (Du, Qiuchen) ;;《IET IMAGE PROCESSING》;第12卷(第10期);第1703-1712页 *
"基于可变形模型的光条纹中心提取方法研究";杨雪荣;张湘伟;成思源;赵斌;;《中国机械工程》;第20卷(第3期);第334-336页 *

Also Published As

Publication number Publication date
CN116664408A (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN109508681B (zh) 生成人体关键点检测模型的方法和装置
US9628684B2 (en) Light-field aberration correction
CN111291584B (zh) 识别二维码位置的方法及其系统
US9202258B2 (en) Video retargeting using content-dependent scaling vectors
CN110163817B (zh) 一种基于全卷积神经网络的相位主值提取方法
CN113689578B (zh) 一种人体数据集生成方法及装置
CN111476719A (zh) 图像处理方法、装置、计算机设备及存储介质
CN109977952B (zh) 基于局部最大值的候选目标检测方法
JP6934224B2 (ja) 三次元形状モデル生成装置、三次元形状モデル生成方法及びプログラム
CN111951335A (zh) 确定相机标定参数的方法、装置、处理器和图像采集系统
CN108921801B (zh) 用于生成图像的方法和装置
CN113643366B (zh) 一种多视角三维对象姿态估计方法及装置
CN110335330A (zh) 图像模拟生成方法及其系统、深度学习算法训练方法及电子设备
CN111160229A (zh) 基于ssd网络的视频目标检测方法及装置
CN112001923A (zh) 一种视网膜图像分割方法及装置
US20180025535A1 (en) Hölder Adaptive Image Synthesis
CN116664408B (zh) 一种彩色结构光的点云上采样方法及装置
JP7167359B2 (ja) 画像ラベリング方法、装置、電子デバイス、記憶媒体及びコンピュータプログラム
KR101129220B1 (ko) 레인지 영상의 노이즈 제거장치 및 방법
CN116229419B (zh) 一种行人检测方法及装置
CN117078821A (zh) 基于深度学习的植物快速三维渲染与表征提取工具
CN111223046A (zh) 一种图像超分辨率重建方法及装置
CN115618714A (zh) 一种太阳辐射概率预报方法及相关设备
CN114742868A (zh) 一种点云配准的方法、装置以及电子设备
CN113506212A (zh) 一种改进的基于pocs的高光谱图像超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant