CN110675440A - 三维深度数据的置信度评估方法、装置和计算机设备 - Google Patents

三维深度数据的置信度评估方法、装置和计算机设备 Download PDF

Info

Publication number
CN110675440A
CN110675440A CN201910927230.5A CN201910927230A CN110675440A CN 110675440 A CN110675440 A CN 110675440A CN 201910927230 A CN201910927230 A CN 201910927230A CN 110675440 A CN110675440 A CN 110675440A
Authority
CN
China
Prior art keywords
point cloud
confidence
point
influence
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910927230.5A
Other languages
English (en)
Other versions
CN110675440B (zh
Inventor
陈海龙
杨洋
刘梦龙
刘晓利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN ESUN DISPLAY CO Ltd
Original Assignee
SHENZHEN ESUN DISPLAY CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN ESUN DISPLAY CO Ltd filed Critical SHENZHEN ESUN DISPLAY CO Ltd
Priority to CN201910927230.5A priority Critical patent/CN110675440B/zh
Publication of CN110675440A publication Critical patent/CN110675440A/zh
Application granted granted Critical
Publication of CN110675440B publication Critical patent/CN110675440B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请涉及一种三维深度数据的置信度评估方法、装置、计算机设备和存储介质。所述方法包括：在通过条纹投影结构光三维成像系统确定物体表面匹配的目标点的过程中，得到点云置信度的影响因素；建立各个影响因素与点云置信度之间的关系，得出各个影响因素对点云置信度的影响程度；对各个影响因素赋予不同的影响权重，建立各个影响因素的综合结果与点云置信度间的关系，得出点云的置信度；根据点云的置信度，对点云的质量进行评估。由于是基于条纹投影结构光三维成像系统生成三维点的过程得出影响点云置信度的因素，再对点云的质量进行评估的，因此，所得出的点云的质量不会受到周围拓扑点的干扰。

Description

三维深度数据的置信度评估方法、装置和计算机设备
技术领域
本申请涉及三维立体重建技术领域，特别是涉及一种三维深度数据的置信度评估方法、装置、计算机设备和存储介质。
背景技术
随着现代科技的不断发展以及制造工艺的不断提高，各个产业对三维数字建模的需求持续增长。基于计算机视觉的三维立体重建技术作为一种普遍采用的实用技术，有效地改善了纯手工建模方法的低精度问题，从而得到了广泛的应用。其中，三维点云匹配融合技术是三维重建技术中一项重要的数据处理步骤，对获取完整被测物体表面空间三维点云有极其重要的作用。而在实际过程中，三维点数量巨多，需要对三维点云进行采样处理。由于每个三维点的质量不同，所以在采样时，需要有一定的指导性，即需要对三维点的质量进行评价。
为了解决以上问题，传统方法在获取三维点云后，通过建立点云之间的拓扑关系，根据点云拓扑关系构建的三维点网格结构对点云的质量进行评价。然而，每个点云的质量均会受到周围拓扑点的影响，对点云的质量评价造成干扰。
发明内容
基于此，有必要针对上述技术问题，提供一种能够降低干扰性的三维深度数据的置信度评估方法、装置、计算机设备和存储介质。
一种三维深度数据的置信度评估方法，所述方法包括：
在通过条纹投影结构光三维成像系统确定物体表面匹配的目标点的过程中，得到点云置信度的影响因素；所述影响因素，包括调制度，被测物表面反射率跳变，被测物体表面与条纹投影结构光三维成像系统的偏转程度，条纹投影结构光三维成像系统的有效测量空间范围中的至少一个；
建立各个影响因素与点云置信度之间的关系，根据所述各个影响因素与点云置信度之间的关系，得出各个影响因素对点云置信度的影响程度；
根据所述各个影响因素对点云置信度的影响程度，对各个影响因素赋予不同的影响权重，建立各个影响因素的综合结果与点云置信度间的关系；
根据所述各个影响因素的综合结果与点云置信度间的关系，得出点云的置信度；
根据所述点云的置信度，对点云的质量进行评估，得到点云质量评估结果。
在其中一个实施例中，所述在通过条纹投影结构光三维成像系统中确定物体表面匹配的目标点的过程中，得到点云置信度的影响因素包括：
获取标准正弦条纹图像，并投射到所述条纹投影结构光三维成像系统中的物体表面，获取所述物体表面的投影图像得到所述标准正弦条纹图像所对应的变形条纹图像，所述物体表面的投影图像的获取结果受条纹投影结构光三维成像系统中的有效测量空间范围的影响；
运用相移法，计算所述变形条纹图像的相位，所述相位的计算结果受到调制度的影响；
所述调制度受到被测物体表面反射率变化的影响；
根据所述相位确定对应的相位信息，根据所述相位信息和几何关系确定所述物体表面上的点在所述条纹投影结构光三维成像系统中的第一相机的成像面上的第一对应点和第二相机的成像面上的第二对应点；
根据所述第一对应点与第一相机的中心点连接的直线和所述第二对应点与第二相机的中心点连接的直线，确定两条直线的交点，所述两条直线的交点为物体表面匹配的目标点；
所述目标点的确定过程受被测物体表面与条纹投影结构光三维成像系统的偏转程度影响，所述被测物体表面与条纹投影结构光三维成像系统的偏转程度为所述目标点的法向与所述两条直线的角平分线之间的夹角。
在其中一个实施例中，所述建立各个影响因素与点云置信度之间的关系，根据所述各个影响因素与点云置信度之间的关系，得出各个影响因素对点云置信度的影响程度包括：
根据调制度值和点云的质量，运用高斯核函数，建立调制度值和点云置信度之间的关系；
根据所述调制度值和点云置信度之间的关系，得出调制度对点云置信度的影响程度。
在其中一个实施例中，所述建立各个影响因素与点云置信度之间的关系，根据所述各个影响因素与点云置信度之间的关系，得出各个影响因素对点云置信度的影响程度包括：
根据被测物体表面反射率变化处的调制度差异值和点云的质量，运用高斯核函数，建立被测物体表面反射率的变化与点云置信度之间的关系；
根据所述被测物体表面反射率的变化与点云置信度之间的关系，得出被测物体表面反射率的变化对点云置信度的影响程度。
在其中一个实施例中，所述建立各个影响因素与点云置信度之间的关系，根据所述各个影响因素与点云置信度之间的关系，得出各个影响因素对点云置信度的影响程度包括：
根据被测物体表面与条纹投影结构光三维成像系统的偏转程度和点云的质量，运用高斯核函数，建立被测物体表面与条纹投影结构光三维成像系统的偏转程度与点云置信度之间的关系；
根据所述被测物体表面与条纹投影结构光三维成像系统的偏转程度与点云置信度之间的关系，得出被测物体表面与条纹投影结构光三维成像系统的偏转程度对点云置信度的影响程度。
在其中一个实施例中，所述建立各个影响因素与点云置信度之间的关系，根据所述各个影响因素与点云置信度之间的关系，得出各个影响因素对点云置信度的影响程度包括：
根据条纹投影结构光三维成像系统的有效测量空间范围和点云的质量，运用高斯核函数，建立点云到条纹投影结构光三维成像系统的有效测量空间中心的距离与点云置信度之间的关系；
根据所述点云到条纹投影结构光三维成像系统的有效测量空间中心的距离与点云置信度之间的关系，得出点云到条纹投影结构光三维成像系统的有效测量空间中心的距离对点云置信度的影响程度。
在其中一个实施例中，所述方法还包括：
获取三维扫描仪对被测物体进行多方位多角度扫描得到的各个视角下的点云集合；
根据所述每个视角下的点云集合，根据各个视角下点云的重合度筛选各个视角对应的目标点云；所述目标点云的置信度的平均值最高；
根据目标点云，确定每片目标点云之间的位置关系；
根据每片目标点云之间的位置关系，运用正向投影法，得出每片目标点云重叠区域中的最近点；
根据所述每片点云重叠区域中的最近点进行全局最近点迭代优化，并将点云置信度作为全局匹配优化的权重因子参与全局最近点迭代优化；所述全局匹配优化的权重因子为每一对最近点的置信度的和的平均值。
根据所述全局最近点迭代优化结果，得到点云匹配结果。
一种三维深度数据的置信度评估装置，所述装置包括：
获取模块，用于在通过条纹投影结构光三维成像系统确定物体表面匹配的目标点的过程中，得到点云置信度的影响因素；所述影响因素，包括调制度，被测物表面反射率跳变，被测物体表面与条纹投影结构光三维成像系统的偏转程度，条纹投影结构光三维成像系统的有效测量空间范围中的至少一个；
影响程度计算模块，用于建立各个影响因素与点云置信度之间的关系，根据所述各个影响因素与点云置信度之间的关系，得出各个影响因素对点云置信度的影响程度；
关系建立模块，用于根据所述各个影响因素对点云置信度的影响程度，对各个影响因素赋予不同的影响权重，建立各个影响因素的综合结果与点云置信度间的关系；
置信度计算模块，用于根据所述各个影响因素的综合结果与点云置信度间的关系，得出点云的置信度；
质量评估模块，用于根据所述点云的置信度，对点云的质量进行评估，得到点云质量评估结果。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
在通过条纹投影结构光三维成像系统确定物体表面匹配的目标点的过程中，得到点云置信度的影响因素；所述影响因素，包括调制度，被测物表面反射率跳变，被测物体表面与条纹投影结构光三维成像系统的偏转程度，条纹投影结构光三维成像系统的有效测量空间范围中的至少一个；
建立各个影响因素与点云置信度之间的关系，根据所述各个影响因素与点云置信度之间的关系，得出各个影响因素对点云置信度的影响程度；
根据所述各个影响因素对点云置信度的影响程度，对各个影响因素赋予不同的影响权重，建立各个影响因素的综合结果与点云置信度间的关系；
根据所述各个影响因素的综合结果与点云置信度间的关系，得出点云的置信度；
根据所述点云的置信度，对点云的质量进行评估，得到点云质量评估结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
在通过条纹投影结构光三维成像系统确定物体表面匹配的目标点的过程中，得到点云置信度的影响因素；所述影响因素，包括调制度，被测物表面反射率跳变，被测物体表面与条纹投影结构光三维成像系统的偏转程度，条纹投影结构光三维成像系统的有效测量空间范围中的至少一个；
建立各个影响因素与点云置信度之间的关系，根据所述各个影响因素与点云置信度之间的关系，得出各个影响因素对点云置信度的影响程度；
根据所述各个影响因素对点云置信度的影响程度，对各个影响因素赋予不同的影响权重，建立各个影响因素的综合结果与点云置信度间的关系；
根据所述各个影响因素的综合结果与点云置信度间的关系，得出点云的置信度；
根据所述点云的置信度，对点云的质量进行评估，得到点云质量评估结果。
上述三维深度数据的置信度评估方法、装置、计算机设备和存储介质，通过在条纹投影结构光三维成像系统确定物体表面匹配的目标点的过程中，得到点云置信度的影响因素。建立各个影响因素与点云置信度之间的关系，得出各个因素对点云置信度的影响程度，再对各个影响因素赋予不同的权重，建立各个影响因素的综合结果与点云置信度间的关系，得出点云置信度。根据所得的点云置信度对点云的质量进行评估，得到点云质量评估结果。由于是基于条纹投影结构光三维成像系统生成三维点的过程得出影响点云置信度的因素，再对点云的质量进行评估的，所以所得出的点云的质量不会受到周围拓扑点的干扰。
附图说明
图1为一个实施例中三维深度数据的置信度评估方法的应用场景图；
图2为一个实施例中三维深度数据的置信度评估方法的流程示意图；
图3为一个实施例中条纹投影结构光三维成像系统的结构示意图；
图4为一个实施例中置信度函数关系图；
图5为一个实施例中得出点云置信度影响因素的流程示意图；
图6为一个实施例中条纹投影结构光三维成像系统的有效测量空间示意图；
图7为一个实施例中被测物体表面与测量设备的偏转程度对置信度的影响示意图；
图8为一个实施例中被测物体的调制度示意图；
图9为一个实施例中调制度对置信度的作用结果图；
图10为一个实施例中被测物体表面反射率的变化对置信度的作用结果图；
图11为一个实施例中将被测物体表面与条纹投影结构光三维成像系统的偏转程度对置信度的作用结果图；
图12为一个实施例中四个影响因素综合作用下的置信度示意图；
图13为一个实施例中将点云置信度参与全局优化的流程示意图；
图14为一个实施例中将点云置信度参与全局优化和直接优化的结果对比示意图；
图15为一个实施例中三维深度数据的置信度评估装置的结构框图；
图16为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的三维深度数据的置信度评估方法，可以应用于如图1所示的应用环境中。其中，终端110通过USB与三维扫描仪120连接。三维扫描仪120通过将标准正弦条纹图像投影到被测物体上，构成条纹投影结构光三维成像系统。终端110获取由三维扫描仪120采集到的图像数据，并基于条纹投影结构光三维成像系统生成三维点的过程得出点云置信度的影响因素。根据点云置信度的影响因素，建立关系式得出各个影响因素下的点云置信度以及所有影响因素综合作用下的点云置信度，对图像的点云的质量进行评估。其中，终端110可以但不限于是各种个人计算机、笔记本电脑和平板电脑。
在一个实施例中，如图2所示，提供了一种三维深度数据的置信度评估方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
步骤202，在通过条纹投影结构光三维成像系统确定物体表面匹配的目标点的过程中，得到点云置信度的影响因素，包括调制度，被测物表面反射率跳变，被测物体表面与条纹投影结构光三维成像系统的偏转程度，条纹投影结构光三维成像系统的有效测量空间范围中的至少一个。
其中，点云置信度指的是点云的精度和可靠程度，即点云的质量。条纹投影结构光三维成像系统由两个相机和一个投影机组成，如图3所示。投影机用于将计算机生成的图案投影到物体表面。物体表面会对图案进行调制，两个相机用于采集经过物体表面调制后的图案。结合条纹投影结构光三维成像系统生成三维点的过程，得出了影响三维点生成的因素。
具体地，影响三维点生成的因素包括调制度，被测物表面反射率跳变，被测物体表面与条纹投影结构光三维成像系统的偏转程度，条纹投影结构光三维成像系统的有效测量空间范围中的至少一个。而当三维点的生成过程受到影响时，最终生成的点云质量也会随之受到影响。所以，影响三维点生成的因素也是点云置信度的影响因素。即点云置信度的影响因素包括调制度，被测物表面反射率跳变，被测物体表面与条纹投影结构光三维成像系统的偏转程度，条纹投影结构光三维成像系统的有效测量空间范围中的至少一个。
步骤204，建立各个影响因素与点云置信度之间的关系，根据各个影响因素与点云置信度之间的关系，得出各个影响因素对点云置信度的影响程度。
各个影响因素与点云置信度之间的关系是通过高斯核函数来建立的。因为高斯核函数具有限定阈值的性质，可以将各个因素对点云置信度的影响系数限定为从0到1。具体地，如图4所示，利用高斯核函数所构建的置信度影响函数主要分为三个作用区间：[X1，X4]、[X4，X9]和[X9，X12]。在第一个区间范围内，影响因素对应的置信度接近于0。在第二个范围内，随着影响因素的不断增加，置信度也不断提高。在第三个范围内，影响因素对应的置信度接近于1，置信度相对较高。由于每个因素对点云置信度的作用范围和作用程度不同，因此对应的关系式中影响程度因子和调制程度因子的值不同。
步骤206，根据各个影响因素对点云置信度的影响程度，对各个影响因素赋予不同的影响权重，建立各个影响因素的综合结果与点云置信度间的关系。
在得出各个影响因素对点云置信度的影响程度之后，将各个因素对点云置信的影响程度值相加，再根据影响程度的大小，对各个因素赋予不同的影响权重。其中，影响程度最大的因素被赋予的权重最大；并且，所有权重的值相加起来等于1。
步骤208，根据各个影响因素的综合结果与点云置信度间的关系，得出点云的置信度。
在得到各个影响因素的综合结果与点云置信度间的关系后，计算得出综合作用下点云的置信度。
步骤210，根据点云的置信度，对点云的质量进行评估，得到点云质量评估结果。
在得到点云的置信度之后，根据每一点的置信度的值，对点云的质量进行评估。具体地，当某一点的置信度的值越接近0时，说明该点的置信度越低；当某一点的置信度的值越接近1时，说明该点的置信度越高。而当一片点云中的所有点的置信度都较高时，该点云的置信度相应也高。
上述三维深度数据的置信度评估方法中，通过在条纹投影结构光三维成像系统确定物体表面匹配的目标点的过程中，得到点云置信度的影响因素。建立各个影响因素与点云置信度之间的关系，得出各个因素对点云置信度的影响程度，再对各个影响因素赋予不同的权重，建立各个影响因素的综合结果与点云置信度间的关系，得出点云置信度。根据所得的点云置信度对点云的质量进行评估，得到点云质量评估结果。由于是基于条纹投影结构光三维成像系统生成三维点的过程得出影响点云置信度的因素，再对点云的质量进行评估的，所以所得出的点云质量不会受到周围拓扑点的干扰，更加精确。
在一个实施例中，在通过条纹投影结构光三维成像系统中确定物体表面匹配的目标点的过程中，得到点云置信度的影响因素包括：
步骤S502，获取标准正弦条纹图像，并投射到条纹投影结构光三维成像系统中的物体表面，获取物体表面的投影图像得到标准正弦条纹图像所对应的变形条纹图像，其中，物体表面的投影图像的获取结果受条纹投影结构光三维成像系统中的有效测量空间范围的影响。
如图3所示，条纹投影结构光三维成像系统中的投影机获取由计算机生成的标准正弦条纹图像，并将标准正弦条纹图像投影到物体表面。物体表面对标准正弦条纹图像进行调制。两个相机采集经过物体表面调制后的变形条纹图像。
因为条纹投影结构光三维成像系统是有一个投影机和两个相机组成的，而相机和投影机都具有景深，且这三个装置的光轴存在一定的夹角，所以该条纹投影结构光三维成像系统存在一个有效测量空间，如图6所示。条纹投影结构光三维成像系统中的有效测量空间范围会影响投影机的投影和两个相机的采集，从而影响物体表面的投影图像的获取结果。相比之下，在有效测量空间内的点云比在有效测量空间外的点云可信度更高，且离有效测量空间越远可信度越低。
步骤S504，运用相移法，计算变形条纹图像的相位，其中，相位的计算结果受到调制度的影响。
在得到变形的条纹图像后，运用相移法得出变形条纹图像的相位。由相位计算的原理和公式可知，条纹图像的调制度大小会直接影响相位解调的精度和抗噪声能力。具体地，图像的调制度大小会影响相位的计算结果。调制度越大，对应的相位精度就越高；调制度越小，对应的相位精度就越低。而相位的精度直接影响物体表面匹配点的精度。
步骤S506，调制度受到被测物体表面反射率变化的影响。
当被测物体表面的反射率发生跳变时，对应的调制度也会随之发生跳变。进一步地，当相邻像素之间的调制度差较大时，受相邻像素之间调制度差的影响，相位计算的干扰性增强，导致物体表面匹配点定位精度较低。
步骤S508，根据相位确定对应的相位信息，根据相位信息和几何关系确定物体表面上的点在条纹投影结构光三维成像系统中的第一相机的成像面上的第一对应点和第二相机的成像面上的第二对应点。
在两个相机采集被测物体上的点时，被测物体的点会在两个相机的成像面上形成两个对应点。根据相位信息和几何光学原理，得出上述的两个对应点，如图3中的ml和mr。
步骤S510，根据第一对应点与第一相机的中心点连接的直线和第二对应点与第二相机的中心点连接的直线，确定两条直线的交点，其中，两条直线的交点为物体表面匹配的目标点。
利用三角测量法，如图3所示，将第一对应点ml和第一相机的中心点Ol、第二对应点mr和第二相机ml的中心点分别连接，得到两条相交的直线。根据几何光学的原理得出，这两条相交直线的交点P就是被测物体表面匹配的目标点。
步骤S512，物体表面匹配目标点的确定过程受被测物体表面与条纹投影结构光三维成像系统的偏转程度影响，而被测物体表面与条纹投影结构光三维成像系统的偏转程度为目标点的法向与两条直线的角平分线之间的夹角。
由步骤S510可知，被测物体表面匹配的目标点是由两个相机成像面上的对应点和相机的中心点构成的直线相交得到的。如图7所示，当目标点的法向与两条直线的角平分线之间的夹角较大时，相机采集到的图像信息较差，致使所得的相位精度低，从而导致点云置信度低。也就是说，当被测物体表面与条纹投影结构光三维成像系统的偏转程度越大，点云置信度越低。
本实施例是从条纹投影结构光三维成像系统生成三维点的原理出发，得出点云置信度的影响因素，再对点云的质量进行评估的。由此得出的点云的质量不会受到周围拓扑点的干扰和局限。
在一个实施例中，建立各个影响因素与点云置信度之间的关系，并根据各个影响因素与点云置信度之间的关系，得出各个影响因素对点云置信度的影响程度包括：根据调制度值和点云的质量，运用高斯核函数，建立调制度值和点云置信度之间的关系，得出调制度对点云置信度的影响程度。
调制度大小会影响相位的计算结果。调制度越大，对应的相位精度就越高；调制度越小，对应的相位精度就越低。而相位的精度直接影响物体表面匹配点的精度。因此将调制度作为点云置信度的影响因素，并为了得到调制度与点云置信度之间的关系，运用高斯核函数，建立以下关系式：
Figure BDA0002219237220000111
其中，B(x,y)为坐标(x,y)处的调制度值，a为影响程度因子，b为调制因子，a和b的值根据条纹投影结构光三维成像系统等测量设备设定。
图8为被测物体的调制度示意图，图中亮度越高的区域对应的调制度越高。将每一点处的调制度值代入上述公式并计算，得出调制度对点云置信度的作用结果图，如图9所示。图9中所示的坐标横轴与数轴代表的是被测物体上的点对应的坐标位置，旁轴是置信度值参考值。
本实施例中，利用高斯核函数建立调制度和点云置信度间的关系，得出调制度对点云置信度的影响程度。与传统方案中，通过设置调制度阈值一分为二得出高可信度三维点和低可信度三维点相比，更能准确地表达调制度对点云置信度的影响。
在一个实施例中，建立各个影响因素与点云置信度之间的关系，根据各个影响因素与点云置信度之间的关系，得出各个影响因素对点云置信度的影响程度包括：根据被测物体表面反射率变化处的调制度差异值和点云的质量，运用高斯核函数，建立被测物体表面反射率的变化与点云置信度之间的关系，得出被测物体表面反射率的变化对点云置信度的影响程度。
在被测物体表面反射率变化处的调制度也会随之发生跳变，即若调制度图中相邻像素之间的调制度差较大的话，受相邻像素之间调制度差的影响，相位计算的干扰性增强，导致对应点定位精度不可靠，由此求得的三维点质量较低，置信度相应较小。因此将被测物体表面反射率的变化作为点云置信度的影响因素，即将三维点的调制度值与它的八邻域调制度差值作为点云置信度的影响因素。为了得到三维点的调制度值与它的八邻域调制度差值与点云置信度之间的关系，运用高斯核函数，建立以下关系式：
Figure BDA0002219237220000121
其中，v(x,y)为坐标(x,y)处的调制度值与它的八邻域调制度差值，k为影响程度因子，c为调制因子，k和c的值根据条纹投影结构光三维成像系统等测量设备设定。
将每一点处的调制度值与它的八邻域调制度差值代入上述公式并计算，得出被测物体表面反射率变化对点云置信度的作用结果图，如图10所示。
本实施例中，通过计算被测物体表面反射率的变化对点云调制度的影响，更能准确地表达点云的置信度。
在一个实施例中，建立各个影响因素与点云置信度之间的关系，根据各个影响因素与点云置信度之间的关系，得出各个影响因素对点云置信度的影响程度包括：根据被测物体表面与条纹投影结构光三维成像系统的偏转程度和点云的质量，运用高斯核函数，建立被测物体表面与条纹投影结构光三维成像系统的偏转程度与点云置信度之间的关系，得出被测物体表面与条纹投影结构光三维成像系统的偏转程度对点云置信度的影响程度。
如图7所示，在左右相机成像面上有两组对应点分别为：ml1、mr1和ml2、mr2，p1和p2为被测物obj上的点，计算p1和p2的坐标需由Olml1、Ormr1和Olml2、Ormr2这两条射线相交得到。由图7可知，点p1的切平面正对条纹投影结构光三维成像系统，光线Olml1、Ormr1均可以采集到较好的条纹信息，进而可以得到较准确的相位值，而点p2的切平面与条纹投影结构光三维成像系统有较大的偏转角，致使光线Ormr2无法较好得获取点p2处表面的条纹信息致使计算得到的相位准确度和可靠度较低，进而影响生成p2三维点坐标的置信度。因此将被测物体表面与条纹投影结构光三维成像系统的偏转程度作为点云置信度的影响因素，即将三维点的法向与两条相交射线的角平分线的夹角作为点云置信度的影响因素。为了得到三维点的法向与两条相交射线的角平分线的夹角与点云置信度之间的关系，运用高斯核函数，建立以下关系式：
Figure BDA0002219237220000131
其中，
Figure BDA0002219237220000132
为左相机(或右相机)成像面上(x,y)处对应的三维点的法向与两条相交射线的角平分线的夹角，m为影响程度因子，n为调制因子，m和n的值根据条纹投影结构光三维成像系统等测量设备设定。
将每一点处的法向与两条相交射线的角平分线的夹角代入上述公式并计算，得出被测物体表面与条纹投影结构光三维成像系统的偏转程度对点云置信度的作用结果图，如图11所示。
本实施例中，通过计算被测物体表面与条纹投影结构光三维成像系统的偏转程度对点云调制度的影响，更能准确地表达点云的置信度。
在一个实施例中，建立各个影响因素与点云置信度之间的关系，根据各个影响因素与点云置信度之间的关系，得出各个影响因素对点云置信度的影响程度包括：根据条纹投影结构光三维成像系统的有效测量空间范围和点云的质量，运用高斯核函数，建立点云到条纹投影结构光三维成像系统的有效测量空间中心的距离与点云置信度之间的关系，得出点云到条纹投影结构光三维成像系统的有效测量空间中心的距离对点云置信度的影响程度。
条纹投影结构光三维成像系统由两个相机和一个投影仪组成，相机和投影机均有景深，且三个装置的光轴存在一定的夹角。因此，条纹投影结构光三维成像系统存在一个有效的测量空间，如图6所示，六边体线框为三维测量设备的有效测量空间。其中，CCD1、CCD2分别为左相机和右相机，OCL和OCR为左相机和右相机的中心点，XCL和XCL为两个相机对应的成像面，ZCL和ZCR为两个相机的光轴，l6和l8构成左相机的成像角，l5和l7构成右相机的成像角，Z0为l5和l8的交点，A、B是两相机光轴与被测物体表面的交点，θ为两相机的半成像角，
Figure BDA0002219237220000133
为两相机光轴与Z轴之间的夹角，l1和l2、l3和l4、l9和l10分别是六边体上表面相对的两条边，ΔL为l1和l2、l3和l4之间的距离，L为l9和l10之间的距离，W为六边体侧边相对的两条棱边之间的距离，利用几何原理，可推出图6右侧长方体有效测量空间。在有效测量空间内的点云比在有效测量空间外的点云置信度高，且离有效测量空间越近，置信度越高。因此将点云是否在条纹投影结构光三维成像系统的有效测量空间范围内，即将被测物体与有效测量空间的距离作为点云置信度的影响因素。为了得到被测物体到有效测量空间的距离与点云置信度之间的关系，运用高斯核函数，建立以下关系式：
Figure BDA0002219237220000141
其中，D(x,y)为左相机(或右相机)成像面上(x,y)处对应的三维点与有效测量空间中心之间的距离，h为影响程度因子，l为调制因子，h和l的值根据条纹投影结构光三维成像系统等测量设备设定。
在实际过程中，由于在有效测量空间外的点置信较低，通常直接将在有效测量空间外的点忽略，即在三维重建过程中，不考虑有效测量空间外的点。
本实施例中，通过计算被测物体表面与条纹投影结构光三维成像系统的偏有效测量空间对点云调制度的影响，更能准确地表达点云的置信度。
在一个实施例中，将上述各个影响因素对点云置信度的影响程度结合，并根据影响程度的大小，分别赋予不同的权重，建立以下综合作用关系式：
Figure BDA0002219237220000142
其中，C(x,y)为左(右)相机成像面上(x,y)位置上对应的点的置信度，ωB、ωv、
Figure BDA0002219237220000143
ωD分别为调制度因素、调制度变化因素、夹角因素和距离因素对点云调制度的作用权重；并且，
Figure BDA0002219237220000144
其中，ωB、ωv、
Figure BDA0002219237220000145
ωD的值根据实际测量经验确定。将各个影响因素对点云置信度的影响程度代入上述关系式，得出最终的综合作用结果，如图12所示。
本实施例中，通过将各个影响因素对点云置信度的影响程度综合考虑，并根据影响程度的大小赋予不同的权重，更能准确地表达点云的置信度。
应当说明的是，本实施例中的综合关系式以四个影响因素结合为例。在其他实施例中，也可以是其中的两个或三个影响因素结合组成的综合关系式。但将所有影响因素综合考虑所得出的点云置信度是最准确的。
在一个实施例中，将所得的点云置信度参与到全局最近点迭代优化，包括：
步骤S1302，获取三维扫描仪对被测物体进行多方位多角度扫描得到的各个视角下的点云集合。
因为在实际的点云数据采集过程中，会受到被测物体的尺寸、物体表面的自遮挡问题、视域范围等因素的影响，一次扫描往往不能获得三维物体的全部几何信息。因此需要对被测物体进行多方位多角度的扫描，采集被测物体的三维数据，进而拼接成一套完整的三维模型。
步骤S1304，根据各个视角下点云的重合度，在每个视角下的点云集合中筛选各个视角对应的目标点云，其中，目标点云的置信度的平均值最高。
在进行对被测物体的多方位多角度扫描时，会得到被测物体在多个视角下的点云，并导致点云高度重合。然而，在点云匹配拼接的过程中，不需要将所有点云进行拼接，所以，需要在众多点云中挑选出置信度高的点云进行匹配融合。
步骤S1306，根据各个视角下点云的重合度，在每个视角下的点云集合中筛选各个视角对应的目标点云，其中，目标点云的置信度的平均值最高。
上述目标点云为置信度高的点云。在对置信度高的点云进行匹配融合之前，需要确定每片点云之间的位置关系，才能更好地实现拼接。
步骤S1308，根据每片目标点云之间的位置关系，运用正向投影法，得出每片目标点云重叠区域中的最近点。
利用正向投影法，将确定位置关系之后的点云投射到同一平面上，根据投射的结果，得出每片目标点云重叠区域中的最近点。
步骤S1310，根据每片点云重叠区域中的最近点进行全局最近点迭代优化，并将点云置信度作为全局匹配优化的权重因子参与全局最近点迭代优化，其中，全局匹配优化的权重因子为每一对最近点的置信度的和的平均值。
将所有最近点代入最近点迭代优化公式，并取每一对最近点的置信度和的平均值作为权重因子参与到公式中，区分处理每一对最近点对全局优化结果的影响，使置信度低的点对全局优化作用减小，加强置信度高的最近点对优化的作用力。最终的优化公式如下：
Figure BDA0002219237220000151
其中，Rij、Tij为第i片点云与第j片点云之间的刚体变换关系，pi、qj为两片点云的匹配点集，Wpq＝(Cp+Cq)/2，Cp、Cq分别为点p、q的置信度。
步骤S1312，根据全局最近点迭代优化结果，得到点云匹配结果。
一般情况下，当所有最近点的距离的平均值到达0.02mm(毫米)时，停止迭代，输出点云匹配结果。如图14所示，图左为将点云置信度参与全局优化之后的匹配结果图，图右为没有将点云置信度参与全局优化的匹配结果图。可见，图左的精度更高。
在本实施例中，将点云置信度参与到全局优化，区分处理每一对最近点对全局优化结果的影响，使置信度低的点对全局优化作用减小，加强置信度高的最近点对优化的作用力。最终得出精度更高的匹配结果，如图14所示。
在本实施例中，仅将得到的点云置信度用来评估点云的质量，以及将点云置信度参与到全局优化来提高点云匹配精度。应当说明的是，点云置信度的应用包括但不限于以上两种。
应该理解的是，虽然图2、图5和图13的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图5和图13中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图15所示，提供了一种三维深度数据的置信度评估装置1500，包括：获取模块1502、影响程度计算模块1504、关系建立模块1506、置信度计算模块1508和质量评估模块1510，其中：
获取模块1502，用于在通过条纹投影结构光三维成像系统确定物体表面匹配的目标点的过程中，得到点云置信度的影响因素，包括调制度，被测物表面反射率跳变，被测物体表面与条纹投影结构光三维成像系统的偏转程度，条纹投影结构光三维成像系统的有效测量空间范围中的至少一个；
影响程度计算模块1504，用于建立各个影响因素与点云置信度之间的关系，根据各个影响因素与点云置信度之间的关系，得出各个影响因素对点云置信度的影响程度；
关系建立模块1506，用于根据各个影响因素对点云置信度的影响程度，对各个影响因素赋予不同的影响权重，建立各个影响因素的综合结果与点云置信度间的关系；
置信度计算模块1508，用于根据各个影响因素的综合结果与点云置信度间的关系，得出点云的置信度；
质量评估模块1510，用于根据点云的置信度，对点云的质量进行评估，得到点云质量评估结果。
在一个实施例中，获取模块1502包括：获取标准正弦条纹图像，并将其投射到条纹投影结构光三维成像系统中的物体表面；获取物体表面的投影图像得到对应的变形条纹图像，其中，物体表面的投影图像的获取结果受条纹投影结构光三维成像系统中的有效测量空间范围的影响；运用相移法，计算变形条纹图像的相位，其中，相位的计算结果受到调制度的影响，而调制度受到被测物体表面反射率变化的影响；根据相位确定对应的相位信息，根据相位信息和几何关系确定物体表面上的点在条纹投影结构光三维成像系统中的第一相机的成像面上的第一对应点和第二相机的成像面上的第二对应点；根据第一对应点与第一相机的中心点连接的直线和第二对应点与第二相机的中心点连接的直线，确定两条直线的交点，且两条直线的交点为物体表面匹配的目标点；其中，目标点的确定过程受被测物体表面与条纹投影结构光三维成像系统的偏转程度影响，而被测物体表面与条纹投影结构光三维成像系统的偏转程度为目标点的法向与两条直线的角平分线之间的夹角。
在一个实施例中，影响程度计算模块1504包括：根据调制度值和点云的质量，运用高斯核函数，建立调制度值和点云置信度之间的关系；根据调制度值和点云置信度之间的关系，得出调制度对点云置信度的影响程度。
在一个实施例中，影响程度计算模块1504包括：根据被测物体表面反射率变化处的调制度差异值和点云的质量，运用高斯核函数，建立被测物体表面反射率的变化与点云置信度之间的关系；根据被测物体表面反射率的变化与点云置信度之间的关系，得出被测物体表面反射率的变化对点云置信度的影响程度。
在一个实施例中，影响程度计算模块1504包括：根据被测物体表面与条纹投影结构光三维成像系统的偏转程度和点云的质量，运用高斯核函数，建立被测物体表面与条纹投影结构光三维成像系统的偏转程度与点云置信度之间的关系；根据被测物体表面与条纹投影结构光三维成像系统的偏转程度与点云置信度之间的关系，得出被测物体表面与条纹投影结构光三维成像系统的偏转程度对点云置信度的影响程度。
在一个实施例中，影响程度计算模块1504包括：根据条纹投影结构光三维成像系统的有效测量空间范围和点云的质量，运用高斯核函数，建立点云到条纹投影结构光三维成像系统的有效测量空间中心的距离与点云置信度之间的关系；根据点云到条纹投影结构光三维成像系统的有效测量空间中心的距离与点云置信度之间的关系，得出点云到条纹投影结构光三维成像系统的有效测量空间中心的距离对点云置信度的影响程度。
在一个实施例中，三维深度数据的置信度评估装置1500还包括：获取三维扫描仪对被测物体进行多方位多角度扫描得到的各个视角下的点云集合；根据各个视角下点云的重合度，在每个视角下的点云集合中筛选各个视角对应的目标点云，其中，目标点云的置信度的平均值最高；根据目标点云，确定每片目标点云之间的位置关系；运用正向投影法，得出每片目标点云重叠区域中的最近点；对每片点云重叠区域中的最近点进行全局最近点迭代优化，并将点云置信度作为全局匹配优化的权重因子参与全局最近点迭代优化，其中，全局匹配优化的权重因子为每一对最近点的置信度的和的平均值；根据全局最近点迭代优化结果，得到点云匹配结果。
关于三维深度数据的置信度评估装置的具体限定可以参见上文中对于三维深度数据的置信度评估方法的限定，在此不再赘述。上述三维深度数据的置信度评估装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图16所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种点云置信度评估方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图16中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：在通过条纹投影结构光三维成像系统确定物体表面匹配的目标点的过程中，得到点云置信度的影响因素，包括调制度，被测物表面反射率跳变，被测物体表面与条纹投影结构光三维成像系统的偏转程度，条纹投影结构光三维成像系统的有效测量空间范围中的至少一个；建立各个影响因素与点云置信度之间的关系，根据各个影响因素与点云置信度之间的关系，得出各个影响因素对点云置信度的影响程度；根据各个影响因素对点云置信度的影响程度，对各个影响因素赋予不同的影响权重，建立各个影响因素的综合结果与点云置信度间的关系；根据各个影响因素的综合结果与点云置信度间的关系，得出点云的置信度；根据点云的置信度，对点云的质量进行评估，得到点云质量评估结果。
在一个实施例中，在通过条纹投影结构光三维成像系统中确定物体表面匹配的目标点的过程中，得到点云置信度的影响因素包括：获取标准正弦条纹图像，并投射到条纹投影结构光三维成像系统中的物体表面，获取物体表面的投影图像得到标准正弦条纹图像所对应的变形条纹图像，其中，物体表面的投影图像的获取结果受条纹投影结构光三维成像系统中的有效测量空间范围的影响；运用相移法，计算变形条纹图像的相位，其中，相位的计算结果受到调制度的影响；调制度受到被测物体表面反射率变化的影响；根据相位确定对应的相位信息，根据相位信息和几何关系确定物体表面上的点在条纹投影结构光三维成像系统中的第一相机的成像面上的第一对应点和第二相机的成像面上的第二对应点；根据第一对应点与第一相机的中心点连接的直线和第二对应点与第二相机的中心点连接的直线，确定两条直线的交点，其中，两条直线的交点为物体表面匹配的目标点；物体表面匹配目标点的确定过程受被测物体表面与条纹投影结构光三维成像系统的偏转程度影响，而被测物体表面与条纹投影结构光三维成像系统的偏转程度为目标点的法向与两条直线的角平分线之间的夹角。
在一个实施例中，建立各个影响因素与点云置信度之间的关系，根据各个影响因素与点云置信度之间的关系，得出各个影响因素对点云置信度的影响程度包括：根据调制度值和点云的质量，运用高斯核函数，建立调制度值和点云置信度之间的关系，得出调制度对点云置信度的影响程度；根据被测物体表面反射率变化处的调制度差异值和点云的质量，运用高斯核函数，建立被测物体表面反射率的变化与点云置信度之间的关系，得出被测物体表面反射率的变化对点云置信度的影响程度；根据被测物体表面与条纹投影结构光三维成像系统的偏转程度和点云的质量，运用高斯核函数，建立被测物体表面与条纹投影结构光三维成像系统的偏转程度与点云置信度之间的关系，得出被测物体表面与条纹投影结构光三维成像系统的偏转程度对点云置信度的影响程度；根据条纹投影结构光三维成像系统的有效测量空间范围和点云的质量，运用高斯核函数，建立点云到条纹投影结构光三维成像系统的有效测量空间中心的距离与点云置信度之间的关系，得出点云到条纹投影结构光三维成像系统的有效测量空间中心的距离对点云置信度的影响程度。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取三维扫描仪对被测物体进行多方位多角度扫描得到的各个视角下的点云集合；根据各个视角下点云的重合度，在每个视角下的点云集合中筛选各个视角对应的目标点云，其中，目标点云的置信度的平均值最高；根据每片目标点云之间的位置关系，运用正向投影法，得出每片目标点云重叠区域中的最近点；根据每片点云重叠区域中的最近点进行全局最近点迭代优化，并将点云置信度作为全局匹配优化的权重因子参与全局最近点迭代优化，其中，全局匹配优化的权重因子为每一对最近点的置信度的和的平均值。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：在通过条纹投影结构光三维成像系统确定物体表面匹配的目标点的过程中，得到点云置信度的影响因素，包括调制度，被测物表面反射率跳变，被测物体表面与条纹投影结构光三维成像系统的偏转程度，条纹投影结构光三维成像系统的有效测量空间范围中的至少一个；建立各个影响因素与点云置信度之间的关系，根据各个影响因素与点云置信度之间的关系，得出各个影响因素对点云置信度的影响程度；根据各个影响因素对点云置信度的影响程度，对各个影响因素赋予不同的影响权重，建立各个影响因素的综合结果与点云置信度间的关系；根据各个影响因素的综合结果与点云置信度间的关系，得出点云的置信度；根据点云的置信度，对点云的质量进行评估，得到点云质量评估结果。
在一个实施例中，在通过条纹投影结构光三维成像系统中确定物体表面匹配的目标点的过程中，得到点云置信度的影响因素包括：获取标准正弦条纹图像，并投射到条纹投影结构光三维成像系统中的物体表面，获取物体表面的投影图像得到标准正弦条纹图像所对应的变形条纹图像，其中，物体表面的投影图像的获取结果受条纹投影结构光三维成像系统中的有效测量空间范围的影响；运用相移法，计算变形条纹图像的相位，其中，相位的计算结果受到调制度的影响；调制度受到被测物体表面反射率变化的影响；根据相位确定对应的相位信息，根据相位信息和几何关系确定物体表面上的点在条纹投影结构光三维成像系统中的第一相机的成像面上的第一对应点和第二相机的成像面上的第二对应点；根据第一对应点与第一相机的中心点连接的直线和第二对应点与第二相机的中心点连接的直线，确定两条直线的交点，其中，两条直线的交点为物体表面匹配的目标点；物体表面匹配目标点的确定过程受被测物体表面与条纹投影结构光三维成像系统的偏转程度影响，而被测物体表面与条纹投影结构光三维成像系统的偏转程度为目标点的法向与两条直线的角平分线之间的夹角。
在一个实施例中，建立各个影响因素与点云置信度之间的关系，根据各个影响因素与点云置信度之间的关系，得出各个影响因素对点云置信度的影响程度包括：根据调制度值和点云的质量，运用高斯核函数，建立调制度值和点云置信度之间的关系，得出调制度对点云置信度的影响程度；根据被测物体表面反射率变化处的调制度差异值和点云的质量，运用高斯核函数，建立被测物体表面反射率的变化与点云置信度之间的关系，得出被测物体表面反射率的变化对点云置信度的影响程度；根据被测物体表面与条纹投影结构光三维成像系统的偏转程度和点云的质量，运用高斯核函数，建立被测物体表面与条纹投影结构光三维成像系统的偏转程度与点云置信度之间的关系，得出被测物体表面与条纹投影结构光三维成像系统的偏转程度对点云置信度的影响程度；根据条纹投影结构光三维成像系统的有效测量空间范围和点云的质量，运用高斯核函数，建立点云到条纹投影结构光三维成像系统的有效测量空间中心的距离与点云置信度之间的关系，得出点云到条纹投影结构光三维成像系统的有效测量空间中心的距离对点云置信度的影响程度。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取三维扫描仪对被测物体进行多方位多角度扫描得到的各个视角下的点云集合；根据各个视角下点云的重合度，在每个视角下的点云集合中筛选各个视角对应的目标点云，其中，目标点云的置信度的平均值最高；根据每片目标点云之间的位置关系，运用正向投影法，得出每片目标点云重叠区域中的最近点；根据每片点云重叠区域中的最近点进行全局最近点迭代优化，并将点云置信度作为全局匹配优化的权重因子参与全局最近点迭代优化，其中，全局匹配优化的权重因子为每一对最近点的置信度的和的平均值。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种三维深度数据的置信度评估方法，所述方法包括：
在通过条纹投影结构光三维成像系统确定物体表面匹配的目标点的过程中，得到点云置信度的影响因素；所述影响因素，包括调制度，被测物表面反射率跳变，被测物体表面与条纹投影结构光三维成像系统的偏转程度，条纹投影结构光三维成像系统的有效测量空间范围中的至少一个；
建立各个影响因素与点云置信度之间的关系，根据所述各个影响因素与点云置信度之间的关系，得出各个影响因素对点云置信度的影响程度；
根据所述各个影响因素对点云置信度的影响程度，对各个影响因素赋予不同的影响权重，建立各个影响因素的综合结果与点云置信度间的关系；
根据所述各个影响因素的综合结果与点云置信度间的关系，得出点云的置信度；
根据所述点云的置信度，对点云的质量进行评估，得到点云质量评估结果。
2.根据权利要求1所述的方法，其特征在于，所述在通过条纹投影结构光三维成像系统中确定物体表面匹配的目标点的过程中，得到点云置信度的影响因素包括：
获取标准正弦条纹图像，并投射到所述条纹投影结构光三维成像系统中的物体表面，获取所述物体表面的投影图像得到所述标准正弦条纹图像所对应的变形条纹图像，所述物体表面的投影图像的获取结果受条纹投影结构光三维成像系统中的有效测量空间范围的影响；
运用相移法，计算所述变形条纹图像的相位，所述相位的计算结果受到调制度的影响；
所述调制度受到被测物体表面反射率变化的影响；
根据所述相位确定对应的相位信息，根据所述相位信息和几何关系确定所述物体表面上的点在所述条纹投影结构光三维成像系统中的第一相机的成像面上的第一对应点和第二相机的成像面上的第二对应点；
根据所述第一对应点与第一相机的中心点连接的直线和所述第二对应点与第二相机的中心点连接的直线，确定两条直线的交点，所述两条直线的交点为物体表面匹配的目标点；
所述目标点的确定过程受被测物体表面与条纹投影结构光三维成像系统的偏转程度影响，所述被测物体表面与条纹投影结构光三维成像系统的偏转程度为所述目标点的法向与所述两条直线的角平分线之间的夹角。
3.根据权利要求1所述的方法，其特征在于，所述建立各个影响因素与点云置信度之间的关系，根据所述各个影响因素与点云置信度之间的关系，得出各个影响因素对点云置信度的影响程度包括：
根据调制度值和点云的质量，运用高斯核函数，建立调制度值和点云置信度之间的关系；
根据所述调制度值和点云置信度之间的关系，得出调制度对点云置信度的影响程度。
4.根据权利要求1所述的方法，其特征在于，所述建立各个影响因素与点云置信度之间的关系，根据所述各个影响因素与点云置信度之间的关系，得出各个影响因素对点云置信度的影响程度包括：
根据被测物体表面反射率变化处的调制度差异值和点云的质量，运用高斯核函数，建立被测物体表面反射率的变化与点云置信度之间的关系；
根据所述被测物体表面反射率的变化与点云置信度之间的关系，得出被测物体表面反射率的变化对点云置信度的影响程度。
5.根据权利要求1所述的方法，其特征在于，所述建立各个影响因素与点云置信度之间的关系，根据所述各个影响因素与点云置信度之间的关系，得出各个影响因素对点云置信度的影响程度包括：
根据被测物体表面与条纹投影结构光三维成像系统的偏转程度和点云的质量，运用高斯核函数，建立被测物体表面与条纹投影结构光三维成像系统的偏转程度与点云置信度之间的关系；
根据所述被测物体表面与条纹投影结构光三维成像系统的偏转程度与点云置信度之间的关系，得出被测物体表面与条纹投影结构光三维成像系统的偏转程度对点云置信度的影响程度。
6.根据权利要求1所述的方法，其特征在于，所述建立各个影响因素与点云置信度之间的关系，根据所述各个影响因素与点云置信度之间的关系，得出各个影响因素对点云置信度的影响程度包括：
根据条纹投影结构光三维成像系统的有效测量空间范围和点云的质量，运用高斯核函数，建立点云到条纹投影结构光三维成像系统的有效测量空间中心的距离与点云置信度之间的关系；
根据所述点云到条纹投影结构光三维成像系统的有效测量空间中心的距离与点云置信度之间的关系，得出点云到条纹投影结构光三维成像系统的有效测量空间中心的距离对点云置信度的影响程度。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取三维扫描仪对被测物体进行多方位多角度扫描得到的各个视角下的点云集合；
根据所述每个视角下的点云集合，根据各个视角下点云的重合度筛选各个视角对应的目标点云；所述目标点云的置信度的平均值最高；
根据目标点云，确定每片目标点云之间的位置关系；
根据每片目标点云之间的位置关系，运用正向投影法，得出每片目标点云重叠区域中的最近点；
根据所述每片点云重叠区域中的最近点进行全局最近点迭代优化，并将点云置信度作为全局匹配优化的权重因子参与全局最近点迭代优化；所述全局匹配优化的权重因子为每一对最近点的置信度的和的平均值；
根据所述全局最近点迭代优化结果，得到点云匹配结果。
8.一种三维深度数据的置信度评估装置，其特征在于，所述装置包括：
获取模块，用于在通过条纹投影结构光三维成像系统确定物体表面匹配的目标点的过程中，得到点云置信度的影响因素；所述影响因素，包括调制度，被测物表面反射率跳变，被测物体表面与条纹投影结构光三维成像系统的偏转程度，条纹投影结构光三维成像系统的有效测量空间范围中的至少一个；
影响程度计算模块，用于建立各个影响因素与点云置信度之间的关系，根据所述各个影响因素与点云置信度之间的关系，得出各个影响因素对点云置信度的影响程度；
关系建立模块，用于根据所述各个影响因素对点云置信度的影响程度，对各个影响因素赋予不同的影响权重，建立各个影响因素的综合结果与点云置信度间的关系；
置信度计算模块，用于根据所述各个影响因素的综合结果与点云置信度间的关系，得出点云的置信度；
质量评估模块，用于根据所述点云的置信度，对点云的质量进行评估，得到点云质量评估结果。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201910927230.5A 2019-09-27 2019-09-27 三维深度数据的置信度评估方法、装置和计算机设备 Active CN110675440B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910927230.5A CN110675440B (zh) 2019-09-27 2019-09-27 三维深度数据的置信度评估方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910927230.5A CN110675440B (zh) 2019-09-27 2019-09-27 三维深度数据的置信度评估方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN110675440A true CN110675440A (zh) 2020-01-10
CN110675440B CN110675440B (zh) 2022-07-12

Family

ID=69079721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910927230.5A Active CN110675440B (zh) 2019-09-27 2019-09-27 三维深度数据的置信度评估方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN110675440B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325663A (zh) * 2020-02-21 2020-06-23 深圳市易尚展示股份有限公司 基于并行架构的三维点云匹配方法、装置和计算机设备
CN112598719A (zh) * 2020-12-09 2021-04-02 北京芯翌智能信息技术有限公司 深度成像系统及其标定方法、深度成像方法、存储介质
CN113409367A (zh) * 2021-07-08 2021-09-17 西安交通大学 条纹投影测量点云逐点加权配准方法、设备和介质
CN114298581A (zh) * 2021-12-30 2022-04-08 广州极飞科技股份有限公司 质量评估模型生成方法、质量评估方法、装置、电子设备和可读存储介质
WO2022083529A1 (zh) * 2020-10-19 2022-04-28 华为技术有限公司 一种数据处理方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103763552A (zh) * 2014-02-17 2014-04-30 福州大学 基于视觉感知特性的立体图像无参考质量评价方法
CN104897174A (zh) * 2015-06-19 2015-09-09 大连理工大学 基于置信度评价的图像光条噪声抑制方法
US20160078610A1 (en) * 2014-09-11 2016-03-17 Cyberoptics Corporation Point cloud merging from multiple cameras and sources in three-dimensional profilometry
US9325973B1 (en) * 2014-07-08 2016-04-26 Aquifi, Inc. Dynamically reconfigurable optical pattern generator module useable with a system to rapidly reconstruct three-dimensional data
CN105701787A (zh) * 2016-01-15 2016-06-22 四川大学 基于置信度的深度图融合方法
CN109544599A (zh) * 2018-11-22 2019-03-29 四川大学 一种基于相机位姿估计的三维点云配准方法
CN110189400A (zh) * 2019-05-20 2019-08-30 深圳大学 一种三维重建方法、三维重建系统、移动终端及存储装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103763552A (zh) * 2014-02-17 2014-04-30 福州大学 基于视觉感知特性的立体图像无参考质量评价方法
US9325973B1 (en) * 2014-07-08 2016-04-26 Aquifi, Inc. Dynamically reconfigurable optical pattern generator module useable with a system to rapidly reconstruct three-dimensional data
US20160078610A1 (en) * 2014-09-11 2016-03-17 Cyberoptics Corporation Point cloud merging from multiple cameras and sources in three-dimensional profilometry
CN104897174A (zh) * 2015-06-19 2015-09-09 大连理工大学 基于置信度评价的图像光条噪声抑制方法
CN105701787A (zh) * 2016-01-15 2016-06-22 四川大学 基于置信度的深度图融合方法
CN109544599A (zh) * 2018-11-22 2019-03-29 四川大学 一种基于相机位姿估计的三维点云配准方法
CN110189400A (zh) * 2019-05-20 2019-08-30 深圳大学 一种三维重建方法、三维重建系统、移动终端及存储装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YADANG CHEN ET AL.: "Robust dense reconstruction by range merging based on confidence estimation", 《SCIENCE CHINA INFORMATION SCIENCES》 *
刘怡光 等: "基于置信度的深度图融合", 《四川大学学报(工程科学版)》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325663A (zh) * 2020-02-21 2020-06-23 深圳市易尚展示股份有限公司 基于并行架构的三维点云匹配方法、装置和计算机设备
CN111325663B (zh) * 2020-02-21 2023-11-28 深圳市易尚展示股份有限公司 基于并行架构的三维点云匹配方法、装置和计算机设备
WO2022083529A1 (zh) * 2020-10-19 2022-04-28 华为技术有限公司 一种数据处理方法及装置
CN112598719A (zh) * 2020-12-09 2021-04-02 北京芯翌智能信息技术有限公司 深度成像系统及其标定方法、深度成像方法、存储介质
CN112598719B (zh) * 2020-12-09 2024-04-09 上海芯翌智能科技有限公司 深度成像系统及其标定方法、深度成像方法、存储介质
CN113409367A (zh) * 2021-07-08 2021-09-17 西安交通大学 条纹投影测量点云逐点加权配准方法、设备和介质
CN113409367B (zh) * 2021-07-08 2023-08-18 西安交通大学 条纹投影测量点云逐点加权配准方法、设备和介质
CN114298581A (zh) * 2021-12-30 2022-04-08 广州极飞科技股份有限公司 质量评估模型生成方法、质量评估方法、装置、电子设备和可读存储介质

Also Published As

Publication number Publication date
CN110675440B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN110675440B (zh) 三维深度数据的置信度评估方法、装置和计算机设备
US10008005B2 (en) Measurement system and method for measuring multi-dimensions
US10691927B2 (en) Image deformation processing method and apparatus, and computer storage medium
CN101697233B (zh) 一种基于结构光的三维物体表面重建方法
Antunes et al. Unsupervised vanishing point detection and camera calibration from a single manhattan image with radial distortion
WO2022021680A1 (zh) 融合结构光和光度学的三维对象重建方法及终端设备
KR101032446B1 (ko) 영상의 정점 검출 장치 및 방법
CN104634242A (zh) 探针补点系统及方法
CN111256628A (zh) 墙面平整度检测方法、装置、计算机设备和存储介质
Wei et al. Line structured light vision sensor calibration using parallel straight lines features
WO2017106562A1 (en) Devices, systems, and methods for measuring and reconstructing the shapes of specular objects by multiview capture
CN109102524B (zh) 图像特征点的跟踪方法和跟踪装置
Liu et al. Near-light photometric stereo using circularly placed point light sources
Tan et al. A welding seam positioning method based on polarization 3D reconstruction and linear structured light imaging
Jiang et al. An accurate and flexible technique for camera calibration
US10146331B2 (en) Information processing system for transforming coordinates of a position designated by a pointer in a virtual image to world coordinates, information processing apparatus, and method of transforming coordinates
Zhang CuFusion2: accurate and denoised volumetric 3D object reconstruction using depth cameras
Shi et al. Large-scale three-dimensional measurement based on LED marker tracking
Zhao et al. Intelligent segmentation method for blurred cracks and 3D mapping of width nephograms in concrete dams using UAV photogrammetry
CN111445513A (zh) 基于深度图像的植株冠层体积获取方法、装置、计算机设备和存储介质
JP2017211313A (ja) 画像処理装置、画像処理方法およびプログラム
CN116295113A (zh) 一种融合条纹投影的偏振三维成像方法
CN113959362B (zh) 结构光三维测量系统标定方法、巡检数据处理方法
Gao et al. Full‐field deformation measurement by videogrammetry using self‐adaptive window matching
CN115049744A (zh) 机器人手眼坐标转换方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant