CN116818129B - 应用于结构光重建的温度估计与热畸变校正方法 - Google Patents

应用于结构光重建的温度估计与热畸变校正方法 Download PDF

Info

Publication number
CN116818129B
CN116818129B CN202310510096.5A CN202310510096A CN116818129B CN 116818129 B CN116818129 B CN 116818129B CN 202310510096 A CN202310510096 A CN 202310510096A CN 116818129 B CN116818129 B CN 116818129B
Authority
CN
China
Prior art keywords
speckle
temperature
preset
offset
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310510096.5A
Other languages
English (en)
Other versions
CN116818129A (zh
Inventor
黄晋
柯志麟
黄伊权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Tuyu Information Technology Co ltd
Original Assignee
Guangzhou Tuyu Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Tuyu Information Technology Co ltd filed Critical Guangzhou Tuyu Information Technology Co ltd
Priority to CN202310510096.5A priority Critical patent/CN116818129B/zh
Publication of CN116818129A publication Critical patent/CN116818129A/zh
Application granted granted Critical
Publication of CN116818129B publication Critical patent/CN116818129B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K11/00—Measuring temperature based upon physical or chemical changes not covered by groups G01K3/00, G01K5/00, G01K7/00 or G01K9/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K11/00—Measuring temperature based upon physical or chemical changes not covered by groups G01K3/00, G01K5/00, G01K7/00 or G01K9/00
    • G01K11/20—Measuring temperature based upon physical or chemical changes not covered by groups G01K3/00, G01K5/00, G01K7/00 or G01K9/00 using thermoluminescent materials
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K11/00—Measuring temperature based upon physical or chemical changes not covered by groups G01K3/00, G01K5/00, G01K7/00 or G01K9/00
    • G01K11/32—Measuring temperature based upon physical or chemical changes not covered by groups G01K3/00, G01K5/00, G01K7/00 or G01K9/00 using changes in transmittance, scattering or luminescence in optical fibres
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K15/00—Testing or calibrating of thermometers
    • G01K15/005—Calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本申请公开了一种结构光重建的温度估计与热畸变校正方法，本申请通过获取结构光镜头采集到的目标散斑图像，将目标散斑图像与第一预设散斑图像进行匹配，得到第一同名散斑点集合，第一预设散斑图像为第一预设温度下的平整表面散斑图像，利用预设散斑点温度序列关系，根据第一同名散斑点集合，计算结构光镜头的温度均值，基于温度均值，确定第一预设散斑图像的散斑点偏移量，基于散斑点偏移量，对第一预设散斑图像进行偏移，得到校准后的平整表面散斑图像，在算法层面上补全物理硬件层面上的缺陷，采用与实际情况无关、平整表面的散斑图校准补全至温度更接近实际情况、平整表面的散斑图，有利于更加精确的匹配散斑点对，提高散斑结构光测量精度。

Description

应用于结构光重建的温度估计与热畸变校正方法
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种应用于结构光重建的温度估计与热畸变校正方法。
背景技术
在散斑结构光三维视觉系统的匹配过程中，用于获取被测物体光斑图像的两个镜头平行使得两个镜头存在深度变化，而深度变化会使得散斑在水平方向上发偏移，所以只需一维点匹配即可消除偏移影响。
然而，镜头还存在温度变化，温度变化会引起镜头的光学热畸变问题，导致深度变化图像散斑点与预设投影图像散斑点在水平方向和竖直方向上均存在偏移。而采用一维点匹配无法同时解决水平方向和竖直方向上的偏移，即匹配过程依旧存在点对之间的偏移误差，从而无法提高散斑结构光的测量精度。
发明内容
本申请提供了一种结构光重建的温度估计与热畸变校正方法，以解决当前散斑结构光的测量精度低的技术问题。
为了解决上述技术问题，第一方面，本申请提供了一种应用于结构光重建的热畸变校正方法，包括：
获取结构光镜头采集到的目标散斑图像；
将所述目标散斑图像与第一预设散斑图像进行匹配，得到第一同名散斑点集合，所述第一预设散斑图像为第一预设温度下的平整表面散斑图像；
利用预设散斑点温度序列关系，根据所述第一同名散斑点集合，计算结构光镜头的温度均值；
基于所述温度均值，确定所述第一预设散斑图像的散斑点偏移量；
基于所述散斑点偏移量，对所述第一预设散斑图像的散斑点进行偏移，得到校准后的平整表面散斑图像。
在一些实现方式中，所述利用预设散斑点温度序列关系，根据所述第一同名散斑点集合，计算结构光镜头的温度均值，包括：
根据所述第一同名散斑点集合，对所述目标散斑图像与所述第一预设散斑图像进行偏差计算，得到散斑点偏差集合；
利用所述预设散斑点温度序列关系，确定所述散斑点偏差集合中每个散斑点偏差值对应的温度值；
对多个所述温度值进行均值运算，得到所述结构光镜头的温度均值。
在一些实现方式中，所述根据所述第一同名散斑点集合，对所述目标散斑图像与所述第一预设散斑图像进行偏差计算，得到散斑点偏差集合，包括：
根据所述第一同名散斑点集合，对所述目标散斑图像与所述第一预设散斑图像在y轴方向上进行偏差计算，得到多个散斑点偏差值；
将多个所述散斑点偏差值组成所述散斑点偏差集合。
在一些实现方式中，所述利用所述预设散斑点温度序列关系，确定所述散斑点偏差集合中每个散斑点偏差值对应的温度值，包括：
对所述散斑点偏差集合中的每个散斑点偏差值与y轴偏移量集合进行匹配，以确定每个散斑点偏差值对应的第一y轴偏移量，所述预设散斑点温度序列关系包括所述y轴偏移量集合以及多个y轴偏移量与温度值之间的第一对应关系；
利用所述预设散斑点温度序列关系，确定每个所述第一y轴偏移量对应的温度值。
在一些实现方式中，所述基于所述温度均值，确定所述第一预设散斑图像的散斑点偏移量，包括：
利用所述预设散斑点温度序列关系，确定所述温度均值对应的目标x轴偏移量和第二y轴偏移量，所述目标x轴偏移量和第二y轴偏移量作为所述第一预设散斑图像的散斑点偏移量，所述预设散斑点温度序列关系包括多个y轴偏移量与温度值之间的第一对应关系以及多个x轴偏移量与温度值之间的第二对应关系。
在一些实现方式中，所述利用预设散斑点温度序列关系，根据所述同名散斑点集合，计算结构光镜头的温度均值之前，还包括：
获取所述第一预设散斑图像与第二预设散斑图像匹配得到的第二同名散斑点集合，所述第二预设散斑图像包括在不同第二预设温度下的多个散斑图像；
根据所述第二同名散斑点集合，对多个散斑点进行正交分解，得到x轴偏移量和y轴偏移量；
根据所述x轴偏移量和所述y轴偏移量，建立所述散斑点在多个所述第二预设温度下的x轴温度偏移坐标系和y轴温度偏移坐标系；
对所述x轴温度偏移坐标系和所述y轴温度偏移坐标系进行曲线拟合，得到多个第一y轴偏移量与温度值之间的第一对应关系以及多个x轴偏移量与温度值之间的第二对应关系。
在一些实现方式中，所述根据所述x轴偏移量和所述y轴偏移量，建立所述散斑点在多个所述第二预设温度下的x轴温度偏移坐标系和y轴温度偏移坐标系，包括：
以所述第一预设散斑图像中的第一散斑点为原点，查询各个所述第二预设散斑图像中与所述第一散斑点对应的同名散斑点，并得到各个所述同名散斑点的所述x轴偏移量和所述y轴偏移量；
基于各个所述同名散斑点的所述x轴偏移量，建立所述同名散斑点在多个所述第二预设温度下的x轴温度偏移坐标系；
基于各个所述同名散斑点的所述y轴偏移量，建立所述同名散斑点在多个所述第二预设温度下的y轴温度偏移坐标系。
第二方面，本申请还提供一种应用于结构光重建的热畸变校正装置，包括：
获取模块，用于获取结构光镜头采集到的目标散斑图像；
匹配模块，用于将所述目标散斑图像与第一预设散斑图像进行匹配，得到第一同名散斑点集合，所述第一预设散斑图像为第一预设温度下的平整表面散斑图像；
计算模块，用于利用预设散斑点温度序列关系，根据所述第一同名散斑点集合，计算结构光镜头的温度均值；
确定模块，用于基于所述温度均值，确定所述第一预设散斑图像的散斑点偏移量；
校正模块，用于基于所述散斑点偏移量，对所述第一预设散斑图像的散斑点进行偏移，得到校准后的平整表面散斑图像。
第三方面，本申请还提供一种计算机设备，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的应用于结构光重建的温度估计与热畸变校正方法。
第四方面，本申请还提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的应用于结构光重建的温度估计与热畸变校正方法。
与现有技术相比，本申请至少具备以下有益效果：
本申请通过获取结构光镜头采集到的目标散斑图像，将所述目标散斑图像与第一预设散斑图像进行匹配，得到第一同名散斑点集合，所述第一预设散斑图像为第一预设温度下的平整表面散斑图像，利用预设散斑点温度序列关系，根据所述第一同名散斑点集合，计算结构光镜头的温度均值，基于所述温度均值，确定所述第一预设散斑图像的散斑点偏移量，基于所述散斑点偏移量，对所述第一预设散斑图像的散斑点进行偏移，得到校准后的平整表面散斑图像，在算法层面上补全物理硬件层面上的缺陷，采用与实际情况无关、平整表面的散斑图校准补全至温度更接近实际情况、平整表面的散斑图，有利于更加精确的匹配散斑点对，减少匹配中偏移的误差，从而缓解因镜头畸变导致的深度计算不准确的问题，进而提高散斑结构光测量精度。
附图说明
图1为本申请实施例示出的应用于结构光重建的热畸变校正方法的流程示意图；
图2为本申请实施例示出的同名散斑点匹配示意图；
图3为本申请实施例示出的散斑点偏移示意图；
图4为本申请实施例示出的偏移坐标示意图；
图5为本申请实施例示出的应用于结构光重建的热畸变校正装置的结构示意图；
图6为本申请实施例示出的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参照图1，图1为本申请实施例提供的一种应用于结构光重建的热畸变校正方法的流程示意图。本申请实施例的应用于结构光重建的热畸变校正方法可应用于计算机设备，该计算机设备包括但不限于智能手机、笔记本电脑、平板电脑、桌上型计算机、物理服务器和云服务器等设备。如图1所示，本实施例的应用于结构光重建的热畸变校正方法包括步骤S101至步骤S105，详述如下：
步骤S101，获取结构光镜头采集到的目标散斑图像。
在本步骤中，通过结构光系统中的镜头采集被测物体的目标散斑图像。可选地，结构光系统中可以有多个镜头。
步骤S102，将所述目标散斑图像与第一预设散斑图像进行匹配，得到第一同名散斑点集合，所述第一预设散斑图像为第一预设温度下的平整表面散斑图像。
在本步骤中，每个散斑点有预定好的编号，而两幅图像中相同编号的散斑点即称为同名点。如图2所示的同名散斑点匹配示意图，图中(a)为距离搜索，图中(b)为散斑点像素差异度的计算，(i)表示不存在像素差异，(i i)表示存在像素差异，若图像A与图像B进行匹配时，以图像A的每个点为中心，通过坐标寻找距离范围合法的图像B的点，再通过像素差异度计算，即可找到每一组同名点，记为集合R＝{(xn,yn,in)|n为散斑点个数，i为每个点对应的编号}。本实施例中，目标散斑图像Sc与第一预设散斑图像S0进行匹配，得到同名散斑点集合Rc＝{(xn,yn,in)|n为图像Sc散斑点个数，i为每个点对应的编号}，同时，第一预设散斑图像S0与自身匹配得到R0＝{(xn,yn,in)|n为图像S0散斑点个数，i为每个点对应的编号}。
步骤S103，利用预设散斑点温度序列关系，根据所述第一同名散斑点集合，计算结构光镜头的温度均值。
在本步骤中，预设散斑点温度序列关系用于表征散斑点的水平方向偏移量和竖直方向偏移量与镜头整体温度值之间的对应关系，即散斑点的多个y轴偏移量与温度值之间的第一对应关系以及多个x轴偏移量与温度值之间的第二对应关系，其包括y轴偏移量集合Ay＝{(σyi,in)|σyi为每个点曲线对应的系数组合，i为编号，n为散斑点个数}、x轴偏移量集合Ax＝{(σxi,in)|σxi为每个点的曲线对应的系数组合，i为编号，n为散斑点个数}以及Ay和Ax分别与温度T之间的对应关系。可选地，本实施例通过计算每个散斑点的y轴偏移量，并利用预设散斑点温度序列关系，确定对应位置的温度，全部温度计算出均值温度，即温度估计操作。
步骤S104，基于所述温度均值，确定所述第一预设散斑图像的散斑点偏移量。
在本步骤中，根据预设散斑点温度序列关系，确定温度均值对应的x轴偏移量和y轴偏移量，即利用预设散斑点温度序列关系中的第一对应关系和第二对应关系，确定Ax集合中温度均值对应的x轴偏移量，以及确定Ay集合中温度均值对应的y轴偏移量。
步骤S105，基于所述散斑点偏移量，对所述第一预设散斑图像的散斑点进行偏移，得到校准后的平整表面散斑图像。
在本步骤中，通过步骤S104得到x轴偏移量dxr以及y轴偏移量dyr，以dxr和dyr对第一预设散斑图像的散斑点进行偏移，得到校准后的平整表面散斑图Sr。需要说明的是，使用每个散斑点的dy计算对应位置的温度，全部温度计算出均值温度即温度估计操作；使用均值温度/>从曲线中得到dxr和dyr，再对S0的散斑点进行偏移处理，使其更为接近实际应用中的复杂温度图像Sp，而不是单纯采用平整表面散斑图(如S0)与图像Sc进行计算，即畸变校准操作。
可以理解的是，本申请的图像S0、Sp和Sr均属于平整表面散斑图像，Sc属于起伏表面散斑图像，即相对于S0、Sp和Sr，Sc具有深度变化。
进一步地，可以使用平整表面散斑图Sr与目标散斑图像Sc进行深度计算中的同名点匹配。
在一些实施例中，所述步骤S103，包括：
根据所述第一同名散斑点集合，对所述目标散斑图像与所述第一预设散斑图像进行偏差计算，得到散斑点偏差集合；
利用所述预设散斑点温度序列关系，确定所述散斑点偏差集合中每个散斑点偏差值对应的温度值；
对多个所述温度值进行均值运算，得到所述结构光镜头的温度均值。
在本实施例中，所述根据所述第一同名散斑点集合，对所述目标散斑图像与所述第一预设散斑图像进行偏差计算，得到散斑点偏差集合，包括：根据所述第一同名散斑点集合，对所述目标散斑图像与所述第一预设散斑图像在y轴方向上进行偏差计算，得到多个散斑点偏差值；将多个所述散斑点偏差值组成所述散斑点偏差集合。
示例性地，将预设散斑图像S0与目标散斑图像Sc匹配，得到Sc的同名散斑点集合Rc＝{(xn,yn,in)|n为图像Sc散斑点个数，i为每个点对应的编号}和S0的同名散斑点集合R0＝{(xn,yn,in)|n为图像S0散斑点个数，i为每个点对应的编号}。如图3所示，由成像原理和反射路径可知，复杂温度与平整表面图像Sp(可理解为y轴不变化的目标散斑图像Sc)到目标散斑图像Sc的变化只有部分散斑点x轴方向偏移，而S0到Sp的变化在xy轴均有偏移；若不校准，将由向量v3进行偏移，即相对于v2，v3存在偏差，并且x轴发生两次变化，而y只发生一次变化，因此本实施例采用y轴偏移量dy进行下一步操作：根据R0和Rc，将S0与Sp进行y轴偏差计算，得到散斑点偏差集合Ry＝{(dyn,i n)|n为散斑点个数，i为每个点对应的编号}。
可选地，所述利用所述预设散斑点温度序列关系，确定所述散斑点偏差集合中每个散斑点偏差值对应的温度值，包括：对所述散斑点偏差集合中的每个散斑点偏差值与y轴偏移量集合进行匹配，以确定每个散斑点偏差值对应的第一y轴偏移量，所述预设散斑点温度序列关系包括所述y轴偏移量集合以及多个y轴偏移量与温度值之间的第一对应关系；利用所述预设散斑点温度序列关系，确定每个所述第一y轴偏移量对应的温度值。
示例性地，遍历Ry中的dyn，根据散斑点编号i与预设散斑点温度序列关系中的y轴偏移量集合Ay进行比对，得到每个散斑点对应的温度值T；由于在实际情况中镜头温度是不均匀的，每个散斑点的偏移不一致，得到不同散斑点得到不同的温度值T，而镜头以整体温度作为标准，所以对所有温度值进行均值运算后得到温度均值
在一些实施例中，所述步骤S104，包括：
利用所述预设散斑点温度序列关系，确定所述温度均值对应的目标x轴偏移量和第二y轴偏移量，所述目标x轴偏移量和第二y轴偏移量作为所述第一预设散斑图像的散斑点偏移量，所述预设散斑点温度序列关系包括多个y轴偏移量与温度值之间的第一对应关系以及多个x轴偏移量与温度值之间的第二对应关系。
在本实施例中，示例性地，以均值在集合Ax和Ay中检索得到{(dxn,dyn,i n)|n为散斑点个数，i为编号}，再通过步骤S104得到的dxr和dyr，对S0中每个散斑点进行偏移，最终位置为点sr，即得到校准后的平整表面散斑图Sr；与图像Sc的散斑点sc的向量为v5相对于原来的v3更接近于图像Sp的散斑点sp位置(图5)。
在一些实施例中，所述利用预设散斑点温度序列关系，根据所述同名散斑点集合，计算结构光镜头的温度均值之前，还包括：
获取所述第一预设散斑图像与第二预设散斑图像匹配得到的第二同名散斑点集合，所述第二预设散斑图像包括在不同第二预设温度下的多个散斑图像；
根据所述第二同名散斑点集合，对多个散斑点进行正交分解，得到x轴偏移量和y轴偏移量；
根据所述x轴偏移量和所述y轴偏移量，建立所述散斑点在多个所述第二预设温度下的x轴温度偏移坐标系和y轴温度偏移坐标系；
对所述x轴温度偏移坐标系和所述y轴温度偏移坐标系进行曲线拟合，得到多个第一y轴偏移量与温度值之间的第一对应关系以及多个x轴偏移量与温度值之间的第二对应关系。
在本实施例中，所述根据所述x轴偏移量和所述y轴偏移量，建立所述散斑点在多个所述第二预设温度下的x轴温度偏移坐标系和y轴温度偏移坐标系，包括：以所述第一预设散斑图像中的第一散斑点为原点，查询各个所述第二预设散斑图像中与所述第一散斑点对应的同名散斑点，并得到各个所述同名散斑点的所述x轴偏移量和所述y轴偏移量；基于各个所述同名散斑点的所述x轴偏移量，建立所述同名散斑点在多个所述第二预设温度下的x轴温度偏移坐标系；基于各个所述同名散斑点的所述y轴偏移量，建立所述同名散斑点在多个所述第二预设温度下的y轴温度偏移坐标系。
示例性地，预设多个不同温度Tn的理想环境，n为温度序号；假设相机镜头整体温度为该环境温度的理想情况，同一设备、同一位置、同一幅预设散斑图、投影表面平滑，拍摄得到多张散斑图，命名Sm，m为对应的温度条件序号；
以第一预设温度T0下得到平整表面散斑图的S0作为同名点匹配中的图像A，其他温度的散斑图Sm作为图像B，则S0可得到集合R0＝{(xn,yn,i n)|n为图像S0散斑点个数，i为每个点对应的编号}，Sm得到集合Rm＝{(xn,yn,i n)|n为图像Sm散斑点个数，i为每个点对应的编号}；由于Rm的(xn,yn)与R0的(xn,yn)有偏移，可正交分解成x轴偏移dx和y轴偏移dy；
如图4所示，每个散斑点Pi(i为该点对应的编号)针对xy轴方向的偏移建立两个坐标系，以温度T0的散斑点作为原点，检索每一个编号i，将该相同编号i所有温度Tm的散斑点Pi的xy值与T0计算，并映射到坐标系中，分别得到对应该散斑点Pi的温度偏移坐标系Dx和坐标系Dy(图4)，纵轴分别为dxdy，横轴均为T；坐标Dx和Dy的点可拟合得到平滑曲线，使用最小二乘法(OLS)的基本原理，使用n个(dx,dy)坐标点拟合一个二次多项式曲线y＝a·dx2+b·dx+c；其中，
确定系数a，b和c，储存为系数组合σ＝(a,b,c)；
将全部坐标系Dx记为集合Ax＝{(σxi,in)|σxi为每个点的曲线对应的系数组合，i为编号，n为散斑点个数}，同理Dy记集合Ay＝{(σyi,in)|σyi为每个点曲线对应的系数组合，i为编号，n为散斑点个数}，并存储Ax与温度T之间的第二对应关系和存储Ay与温度T之间的第一对应关系。
作为示例而非限定，以下提供一种应用实例：
使用投影仪将设定图像投射到物体表面，使用RGB摄像头进行拍摄，相机标定、投影仪与相机角度以及焦距等根据实际情况调整。预先设置多个实验环境温度Tn，使用投影仪将设定图像投射到平整表面(例如白墙)，使用RGB摄像头进行拍摄，根据视差标定序列模块提前计算好针对于不同温度、平滑表面、每个散斑点坐标偏移的曲线系数。
选取一个实验温度T0的图像S0与起伏表面、复杂温度的图像Sc进行散斑点编号匹配，得到每个散斑点的偏移，根据y轴偏移dy和温度偏移曲线Dy统计所有散斑点对应位置的温度，得到均值温度根据/>从曲线中得到均值xy轴偏移。使用均值xy轴偏移，调整图像S0散斑点位置，校正补全至更接近实际温度情况、平整表面的图像Sr。可选地，依据图像Sr和图像Sc可通过包含匹配、视差计算、深度计算、点云估计等步骤的三维重建模块，应理解该模块不在温度估计与热畸变校正方法的范畴之内。
需要说明的是，本申请通过预设多个温度，测量多个有关每个散斑点的坐标，进而拟合出曲线预测实际温度中每个散斑点在xy轴方向的偏移，有助于细化调整散斑的相对位移，提高深度计算的准确度。利用温度估计与热畸变校正模块将预设的投影图像的散斑点校准至接近实际工作环境温度中的投影图像，使得投影图像和实际拍摄有物体的图像进行更为精准的匹配点视差计算，精度相较于直接使用预设投影更高。
为了执行上述方法实施例对应的应用于结构光重建的温度估计与热畸变校正方法，以实现相应的功能和技术效果。参见图5，图5示出了本申请实施例提供的一种应用于结构光重建的温度估计与热畸变校正装置的结构框图。为了便于说明，仅示出了与本实施例相关的部分，本申请实施例提供的应用于结构光重建的温度估计与热畸变校正装置，包括：
获取模块501，用于获取结构光镜头采集到的目标散斑图像；
匹配模块502，用于将所述目标散斑图像与第一预设散斑图像进行匹配，得到第一同名散斑点集合，所述第一预设散斑图像为第一预设温度下的平整表面散斑图像；
计算模块503，用于利用预设散斑点温度序列关系，根据所述第一同名散斑点集合，计算结构光镜头的温度均值；
确定模块504，用于基于所述温度均值，确定所述第一预设散斑图像的散斑点偏移量；
校正模块505，用于基于所述散斑点偏移量，对所述第一预设散斑图像的散斑点进行偏移，得到校准后的平整表面散斑图像。
在一些实施例中，所述计算模块503，包括：
计算单元，用于根据所述第一同名散斑点集合，对所述目标散斑图像与所述第一预设散斑图像进行偏差计算，得到散斑点偏差集合；
确定单元，用于利用所述预设散斑点温度序列关系，确定所述散斑点偏差集合中每个散斑点偏差值对应的温度值；
运算单元，用于对多个所述温度值进行均值运算，得到所述结构光镜头的温度均值。
在一些实施例中，所述计算单元，具体用于：
根据所述第一同名散斑点集合，对所述目标散斑图像与所述第一预设散斑图像在y轴方向上进行偏差计算，得到多个散斑点偏差值；
将多个所述散斑点偏差值组成所述散斑点偏差集合。
在一些实施例中，所述确定单元，具体用于：
对所述散斑点偏差集合中的每个散斑点偏差值与y轴偏移量集合进行匹配，以确定每个散斑点偏差值对应的第一y轴偏移量，所述预设散斑点温度序列关系包括所述y轴偏移量集合以及多个y轴偏移量与温度值之间的第一对应关系；
利用所述预设散斑点温度序列关系，确定每个所述第一y轴偏移量对应的温度值。
在一些实施例中，所述确定模块504，具体用于：
利用所述预设散斑点温度序列关系，确定所述温度均值对应的目标x轴偏移量和第二y轴偏移量，所述目标x轴偏移量和第二y轴偏移量作为所述第一预设散斑图像的散斑点偏移量，所述预设散斑点温度序列关系包括多个y轴偏移量与温度值之间的第一对应关系以及多个x轴偏移量与温度值之间的第二对应关系。
在一些实施例中，所述装置，还包括：
第二获取模块，用于获取所述第一预设散斑图像与第二预设散斑图像匹配得到的第二同名散斑点集合，所述第二预设散斑图像包括在不同第二预设温度下的多个散斑图像；
分解模块，用于根据所述第二同名散斑点集合，对多个散斑点进行正交分解，得到x轴偏移量和y轴偏移量；
建立模块，用于根据所述x轴偏移量和所述y轴偏移量，建立所述散斑点在多个所述第二预设温度下的x轴温度偏移坐标系和y轴温度偏移坐标系；
拟合模块，用于对所述x轴温度偏移坐标系和所述y轴温度偏移坐标系进行曲线拟合，得到多个第一y轴偏移量与温度值之间的第一对应关系以及多个x轴偏移量与温度值之间的第二对应关系。
在一些实施例中，所述建立模块，具体用于：
以所述第一预设散斑图像中的第一散斑点为原点，查询各个所述第二预设散斑图像中与所述第一散斑点对应的同名散斑点，并得到各个所述同名散斑点的所述x轴偏移量和所述y轴偏移量；
基于各个所述同名散斑点的所述x轴偏移量，建立所述同名散斑点在多个所述第二预设温度下的x轴温度偏移坐标系；
基于各个所述同名散斑点的所述y轴偏移量，建立所述同名散斑点在多个所述第二预设温度下的y轴温度偏移坐标系。
上述的应用于结构光重建的温度估计与热畸变校正装置可实施上述方法实施例的应用于结构光重建的温度估计与热畸变校正方法。上述方法实施例中的可选项也适用于本实施例，这里不再详述。本申请实施例的其余内容可参照上述方法实施例的内容，在本实施例中，不再进行赘述。
图6为本申请一实施例提供的计算机设备的结构示意图。如图6所示，该实施例的计算机设备6包括：至少一个处理器60(图6中仅示出一个)处理器、存储器61以及存储在所述存储器61中并可在所述至少一个处理器60上运行的计算机程序62，所述处理器60执行所述计算机程序62时实现上述任意方法实施例中的步骤。
所述计算机设备6可以是智能手机、平板电脑、桌上型计算机和云端服务器等计算设备。该计算机设备可包括但不仅限于处理器60、存储器61。本领域技术人员可以理解，图6仅仅是计算机设备6的举例，并不构成对计算机设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器60可以是中央处理单元(Central Processing Unit，CPU)，该处理器60还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61在一些实施例中可以是所述计算机设备6的内部存储单元，例如计算机设备6的硬盘或内存。所述存储器61在另一些实施例中也可以是所述计算机设备6的外部存储设备，例如所述计算机设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器61还可以既包括所述计算机设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
另外，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在计算机设备上运行时，使得计算机设备执行时实现上述各个方法实施例中的步骤。
在本申请所提供的几个实施例中，可以理解的是，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意的是，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的具体实施例，对本申请的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本申请的具体实施例而已，并不用于限定本申请的保护范围。特别指出，对于本领域技术人员来说，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种应用于结构光重建的温度估计与热畸变校正方法，其特征在于，包括：
获取结构光镜头采集到的目标散斑图像；
将所述目标散斑图像与第一预设散斑图像进行匹配，得到第一同名散斑点集合，所述第一预设散斑图像为第一预设温度下的平整表面散斑图像；
利用预设散斑点温度序列关系，根据所述第一同名散斑点集合，计算结构光镜头的温度均值；
基于所述温度均值，确定所述第一预设散斑图像的散斑点偏移量；
基于所述散斑点偏移量，对所述第一预设散斑图像的散斑点进行偏移，得到校准后的平整表面散斑图像。
2.如权利要求1所述的应用于结构光重建的温度估计与热畸变校正方法，其特征在于，所述利用预设散斑点温度序列关系，根据所述第一同名散斑点集合，计算结构光镜头的温度均值，包括：
根据所述第一同名散斑点集合，对所述目标散斑图像与所述第一预设散斑图像进行偏差计算，得到散斑点偏差集合；
利用所述预设散斑点温度序列关系，确定所述散斑点偏差集合中每个散斑点偏差值对应的温度值；
对多个所述温度值进行均值运算，得到所述结构光镜头的温度均值。
3.如权利要求2所述的应用于结构光重建的温度估计与热畸变校正方法，其特征在于，所述根据所述第一同名散斑点集合，对所述目标散斑图像与所述第一预设散斑图像进行偏差计算，得到散斑点偏差集合，包括：
根据所述第一同名散斑点集合，对所述目标散斑图像与所述第一预设散斑图像在y轴方向上进行偏差计算，得到多个散斑点偏差值；
将多个所述散斑点偏差值组成所述散斑点偏差集合。
4.如权利要求3所述的应用于结构光重建的温度估计与热畸变校正方法，其特征在于，所述利用所述预设散斑点温度序列关系，确定所述散斑点偏差集合中每个散斑点偏差值对应的温度值，包括：
对所述散斑点偏差集合中的每个散斑点偏差值与y轴偏移量集合进行匹配，以确定每个散斑点偏差值对应的第一y轴偏移量，所述预设散斑点温度序列关系包括所述y轴偏移量集合以及多个y轴偏移量与温度值之间的第一对应关系；
利用所述预设散斑点温度序列关系，确定每个所述第一y轴偏移量对应的温度值。
5.如权利要求1所述的应用于结构光重建的温度估计与热畸变校正方法，其特征在于，所述基于所述温度均值，确定所述第一预设散斑图像的散斑点偏移量，包括：
利用所述预设散斑点温度序列关系，确定所述温度均值对应的目标x轴偏移量和第二y轴偏移量，所述目标x轴偏移量和第二y轴偏移量作为所述第一预设散斑图像的散斑点偏移量，所述预设散斑点温度序列关系包括多个y轴偏移量与温度值之间的第一对应关系以及多个x轴偏移量与温度值之间的第二对应关系。
6.如权利要求1所述的应用于结构光重建的温度估计与热畸变校正方法，其特征在于，所述利用预设散斑点温度序列关系，根据所述同名散斑点集合，计算结构光镜头的温度均值之前，还包括：
获取所述第一预设散斑图像与第二预设散斑图像匹配得到的第二同名散斑点集合，所述第二预设散斑图像包括在不同第二预设温度下的多个散斑图像；
根据所述第二同名散斑点集合，对多个散斑点进行正交分解，得到x轴偏移量和y轴偏移量；
根据所述x轴偏移量和所述y轴偏移量，建立所述散斑点在多个所述第二预设温度下的x轴温度偏移坐标系和y轴温度偏移坐标系；
对所述x轴温度偏移坐标系和所述y轴温度偏移坐标系进行曲线拟合，得到多个第一y轴偏移量与温度值之间的第一对应关系以及多个x轴偏移量与温度值之间的第二对应关系。
7.如权利要求6所述的应用于结构光重建的温度估计与热畸变校正方法，其特征在于，所述根据所述x轴偏移量和所述y轴偏移量，建立所述散斑点在多个所述第二预设温度下的x轴温度偏移坐标系和y轴温度偏移坐标系，包括：
以所述第一预设散斑图像中的第一散斑点为原点，查询各个所述第二预设散斑图像中与所述第一散斑点对应的同名散斑点，并得到各个所述同名散斑点的所述x轴偏移量和所述y轴偏移量；
基于各个所述同名散斑点的所述x轴偏移量，建立所述同名散斑点在多个所述第二预设温度下的x轴温度偏移坐标系；
基于各个所述同名散斑点的所述y轴偏移量，建立所述同名散斑点在多个所述第二预设温度下的y轴温度偏移坐标系。
8.一种应用于结构光重建的温度估计与热畸变校正装置，其特征在于，包括：
获取模块，用于获取结构光镜头采集到的目标散斑图像；
匹配模块，用于将所述目标散斑图像与第一预设散斑图像进行匹配，得到第一同名散斑点集合，所述第一预设散斑图像为第一预设温度下的平整表面散斑图像；
计算模块，用于利用预设散斑点温度序列关系，根据所述第一同名散斑点集合，计算结构光镜头的温度均值；
确定模块，用于基于所述温度均值，确定所述第一预设散斑图像的散斑点偏移量；
校正模块，用于基于所述散斑点偏移量，对所述第一预设散斑图像的散斑点进行偏移，得到校准后的平整表面散斑图像。
9.一种计算机设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7任一项所述的应用于结构光重建的温度估计与热畸变校正方法。
10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的应用于结构光重建的温度估计与热畸变校正方法。
CN202310510096.5A 2023-05-08 2023-05-08 应用于结构光重建的温度估计与热畸变校正方法 Active CN116818129B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310510096.5A CN116818129B (zh) 2023-05-08 2023-05-08 应用于结构光重建的温度估计与热畸变校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310510096.5A CN116818129B (zh) 2023-05-08 2023-05-08 应用于结构光重建的温度估计与热畸变校正方法

Publications (2)

Publication Number Publication Date
CN116818129A CN116818129A (zh) 2023-09-29
CN116818129B true CN116818129B (zh) 2024-01-12

Family

ID=88111703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310510096.5A Active CN116818129B (zh) 2023-05-08 2023-05-08 应用于结构光重建的温度估计与热畸变校正方法

Country Status (1)

Country Link
CN (1) CN116818129B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117746486B (zh) * 2023-12-29 2024-05-24 广州图语信息科技有限公司 一种基于非编码条纹式结构光的人脸识别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108716983A (zh) * 2018-04-28 2018-10-30 Oppo广东移动通信有限公司 光学元件检测方法和装置、电子设备、存储介质
CN112567274A (zh) * 2020-03-27 2021-03-26 深圳市大疆创新科技有限公司 温漂系数补偿方法、装置、镜头、成像装置和可移动平台
CN114485433A (zh) * 2022-01-25 2022-05-13 深圳市鹰眼在线电子科技有限公司 基于伪随机散斑的三维测量系统、方法及装置
CN114764823A (zh) * 2021-01-11 2022-07-19 瑞芯微电子股份有限公司 自校正的深度计算方法、系统、介质及深度图像处理设备
CN115205129A (zh) * 2021-04-12 2022-10-18 深圳市光鉴科技有限公司 基于结构光的深度相机及使用方法
CN115205128A (zh) * 2021-04-12 2022-10-18 深圳市光鉴科技有限公司 基于结构光的深度相机温漂校正方法、系统、设备及介质
CN115393446A (zh) * 2022-07-28 2022-11-25 合肥的卢深视科技有限公司 温度系数标定方法、系统、电子设备和存储介质
CN115880349A (zh) * 2021-08-16 2023-03-31 安霸国际有限合伙企业 使用卷积技术将自适应偏移项添加到局部自适应二值化表达式

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10089738B2 (en) * 2016-08-30 2018-10-02 Microsoft Technology Licensing, Llc Temperature compensation for structured light depth imaging system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108716983A (zh) * 2018-04-28 2018-10-30 Oppo广东移动通信有限公司 光学元件检测方法和装置、电子设备、存储介质
CN112567274A (zh) * 2020-03-27 2021-03-26 深圳市大疆创新科技有限公司 温漂系数补偿方法、装置、镜头、成像装置和可移动平台
CN114764823A (zh) * 2021-01-11 2022-07-19 瑞芯微电子股份有限公司 自校正的深度计算方法、系统、介质及深度图像处理设备
CN115205129A (zh) * 2021-04-12 2022-10-18 深圳市光鉴科技有限公司 基于结构光的深度相机及使用方法
CN115205128A (zh) * 2021-04-12 2022-10-18 深圳市光鉴科技有限公司 基于结构光的深度相机温漂校正方法、系统、设备及介质
CN115880349A (zh) * 2021-08-16 2023-03-31 安霸国际有限合伙企业 使用卷积技术将自适应偏移项添加到局部自适应二值化表达式
CN114485433A (zh) * 2022-01-25 2022-05-13 深圳市鹰眼在线电子科技有限公司 基于伪随机散斑的三维测量系统、方法及装置
CN115393446A (zh) * 2022-07-28 2022-11-25 合肥的卢深视科技有限公司 温度系数标定方法、系统、电子设备和存储介质

Also Published As

Publication number Publication date
CN116818129A (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN107633536B (zh) 一种基于二维平面模板的相机标定方法及系统
JP6041513B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20150279016A1 (en) Image processing method and apparatus for calibrating depth of depth sensor
CN110996082B (zh) 投影调节方法、装置、投影仪及可读存储介质
US11985292B1 (en) Residual error mitigation in multiview calibration
CN116818129B (zh) 应用于结构光重建的温度估计与热畸变校正方法
CN106570907B (zh) 一种相机标定方法及装置
CN108182708B (zh) 一种双目相机的标定方法、标定装置及终端设备
WO2022222291A1 (zh) 光轴检测系统的光轴标定方法、装置、终端、系统和介质
CN115457147A (zh) 相机标定方法、电子设备及存储介质
CN110310309B (zh) 一种图像配准方法、图像配准装置及终端
CN111028294A (zh) 一种基于深度相机的多距离标定方法及系统
CN113822920A (zh) 结构光相机获取深度信息的方法、电子设备及存储介质
CN108921902B (zh) 一种修正结构光相机偏差的方法及装置
CN110673114B (zh) 校准三维相机深度的方法、装置、计算机装置及存储介质
CN115018922A (zh) 畸变参数标定方法、电子设备和计算机可读存储介质
CN116188599A (zh) 标定板生成方法、相机标定方法、装置、设备及标定板
CN114018212B (zh) 面向球型摄像机单目测距的俯仰角校正方法及系统
Tagoe et al. Determination of the Interior Orientation Parameters of a Non-metric Digital Camera for Terrestrial Photogrammetric Applications
CN114897959A (zh) 基于光场多视角约束的相位展开方法及相关组件
CN110232715B (zh) 一种多深度相机自校准的方法、装置及系统
CN112001857A (zh) 一种基于双目相机的图像校正方法、系统、设备和可读存储介质
CN112669388A (zh) 激光雷达与摄像装置的标定方法及装置、可读存储介质
CN116558445B (zh) 一种条纹投影的相位解码方法、计算机可读存储介质
CN113052918B (zh) 对极式双目相机标定误差评价方法、装置、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant