CN117409174A - 散斑图像温度补偿方法、装置、可读介质及电子设备 - Google Patents

散斑图像温度补偿方法、装置、可读介质及电子设备 Download PDF

Info

Publication number
CN117409174A
CN117409174A CN202311715779.0A CN202311715779A CN117409174A CN 117409174 A CN117409174 A CN 117409174A CN 202311715779 A CN202311715779 A CN 202311715779A CN 117409174 A CN117409174 A CN 117409174A
Authority
CN
China
Prior art keywords
temperature
image
speckle
current
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311715779.0A
Other languages
English (en)
Other versions
CN117409174B (zh
Inventor
李阳
郭振民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Virtual Reality Institute Co Ltd
Original Assignee
Nanchang Virtual Reality Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Virtual Reality Institute Co Ltd filed Critical Nanchang Virtual Reality Institute Co Ltd
Priority to CN202311715779.0A priority Critical patent/CN117409174B/zh
Publication of CN117409174A publication Critical patent/CN117409174A/zh
Application granted granted Critical
Publication of CN117409174B publication Critical patent/CN117409174B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种散斑图像温度补偿方法、装置、可读介质及电子设备，该方法包括：获取不同温度下相机采集的散斑图像；以阈值温度下的散斑图像为基准图像，其他散斑图像为目标图像，分别计算各个目标图像与基准图像之间每个像素点的偏移量，得到偏移量图像；根据偏移量图像，以及偏移量图像与基准图像的拍照温度的温差值，建立每个像素点的温度补偿模型；获取当前散斑图像和相机的当前温度，以及散斑参考图和对应的参考温度；计算当前温度和参考温度的差值，并根据差值和温度补偿模型计算当前散斑图像中各个像素点的位移补偿值；根据该位移补偿值对当前散斑图像进行温度补偿。通过该方法对散斑图像进行温度补偿，降低温度的影响。

Description

散斑图像温度补偿方法、装置、可读介质及电子设备
技术领域
本发明涉及图像处理领域，特别是涉及一种散斑图像温度补偿方法、装置、可读介质及电子设备。
背景技术
随着技术的迭代升级，无论是工业还是消费级电子，图像信息获取方式逐渐跳出二维，获取三维信息的趋势越来越强，散斑结构光是三维图像信息获取的重要技术手段，也是应用比较广泛、成熟的一种。
不过任何光学系统都避免不了温度引起的偏移误差，散斑结构光图像系统常见的做法一般是从外部控制系统温度，让温度稳定，但此方案需要的投入比较大，不适合消费类产品。因此，如何从内部对系统进行温度补偿，降低温度的影响成为了当前主要研究方向。
发明内容
鉴于上述状况，有必要针对现有技术中的问题，提供一种散斑图像温度补偿方法、装置、可读介质及电子设备。
本发明公开了一种散斑图像温度补偿方法，包括：
获取温度由常温升至阈值温度过程中，每升高预设温度时相机采集的散斑图像；
以所述阈值温度下的散斑图像为基准图像，其他温度下的散斑图像为目标图像，分别计算各个所述目标图像与所述基准图像之间每个像素点的偏移量，以得到各个温度下的偏移量图像；
根据不同温度下的偏移量图像，以及每张偏移量图像与基准图像的拍照温度的温差值，建立每个像素点的温度补偿模型；
获取相机工作采集的当前散斑图像和相机的当前温度，以及获取相机标定时拍摄的散斑参考图和对应的参考温度；
计算所述当前温度和所述参考温度的差值，并根据所述差值和所述温度补偿模型计算所述当前散斑图像中各个像素点的位移补偿值；
根据所述当前散斑图像中各个像素点的位移补偿值对所述当前散斑图像进行温度补偿。
进一步的，上述散斑图像温度补偿方法，其中，所述分别计算各个所述目标图像与所述基准图像之间每个像素点的偏移量的步骤包括：
分别计算各个所述目标图像与所述基准图像之间每个像素点在X轴和Y轴方向上的偏移量。
进一步的，上述散斑图像温度补偿方法，其中，所述分别计算各个所述目标图像与所述基准图像之间每个像素点的偏移量的步骤包括：
遍历所述目标图像的每个像素点，并以当前像素点为中心取m*m个像素大小的区块作为计算区域Block_P，以所述基准图像中与所述当前像素点对应的像素点为中心，取n*n个像素大小的区域为待匹配区域Block_T，并以所述待匹配区域Block_T中的每个像素点为中心，取 m*m个像素大小的区块Block_C；
计算从所述待匹配区域Block_T中取得的各个区块Block_C分别与所述计算区域Block_P的卷积之和，并将所述卷积之和中的最大值在所述待匹配区域Block_T中的所在坐标确定为所述当前像素点的偏移量。
进一步的，上述散斑图像温度补偿方法，其中，所述温度补偿模型表示为：
dx=（kx1*x+kx2）*△t +kx3;
dy=（ky1*y+ky2）*△t +ky3;
其中，△t为当前温度与基准温度的温差值，x，y为像素点处的x轴、y轴坐标，dx，dy为对应位置像素点在x和y方向的位移补偿值，kx1，kx2，kx3，ky1，ky2，ky3为模型的参数。
进一步的，上述散斑图像温度补偿方法，其中，所述根据不同温度下的偏移量图像，以及每张偏移量图像与基准图像的拍照温度的温差值，建立每个像素点的温度补偿模型的步骤包括：
获取当前散斑图像中目标像素点的坐标（x,y），并获取所有偏移量图像上坐标为（x,y）的像素值；
设温度补偿模型为P=f(x,y,△t,w)，并建立所述温度补偿模型的目标函数：
，
，
其中，x,y为像素点坐标，Lmin(·)为指目标函数，和/>表示第i个不同温度下的偏移量图像上坐标为（x,y）的像素值，/>和/>分别为X轴方向和Y轴方向上的温度补偿模型参数；
通过最小二乘法求解所述目标函数，计算温度补偿模型参数。
进一步的，上述散斑图像温度补偿方法，其中，所述根据所述当前散斑图像中各个像素点的位移补偿值对所述当前散斑图像进行温度补偿的步骤之后还包括：
计算温度补偿后的所述当前散斑图像与所述散斑参考图的视差值，根据视差值计算温度补偿后的深度图。
本发明还公开了一种散斑图像温度补偿装置，包括：
第一获取模块，用于获取温度由常温升至阈值温度过程中，每升高预设温度时相机采集的散斑图像；
第一计算模块，用于以所述阈值温度下的散斑图像为基准图像，其他温度下的散斑图像为目标图像，分别计算各个所述目标图像与所述基准图像之间每个像素点的偏移量，以得到各个温度下的偏移量图像；
模型建立模块，用于根据不同温度下的偏移量图像，以及每张偏移量图像与基准图像的拍照温度的温差值，建立每个像素点的温度补偿模型；
第二获取模块，用于获取相机工作采集的当前散斑图像和相机的当前温度，以及获取相机标定时拍摄的散斑参考图和对应的参考温度；
第二计算模块，用于计算所述当前温度和所述参考温度的差值，并根据所述差值和所述温度补偿模型计算所述当前散斑图像中各个像素点的位移补偿值；
补偿模块，用于根据所述当前散斑图像中各个像素点的位移补偿值对所述当前散斑图像进行温度补偿。
进一步的，上述散斑图像温度补偿装置，还包括：
第三计算模块，用于计算温度补偿后的所述当前散斑图像与所述散斑参考图的视差值，并根据视差值计算温度补偿后的深度图。
本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述的散斑图像温度补偿方法。
本发明还公开了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的散斑图像温度补偿方法。
本发明通过获取不同温度下的散斑图像，并进行散斑图像的偏移量计算，得到多个偏移量图像，并根据不同温度下获取的偏移量图像，以及每张偏移量图像与基准图像的温差值，得到的每个像素点的温度补偿模型，根据该温度补偿模型对当前散斑图像进行温度补偿，降低温度的影响。该算法计算效率高，方便产线量产。
附图说明
图1为本发明第一实施例中的散斑图像温度补偿方法的流程图；
图2为本发明第二实施例中的散斑图像温度补偿装置的结构框图；
图3为电子设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
参照下面的描述和附图，将清楚本发明的实施例。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
请参阅图1，为本发第一实施例中的散斑图像温度补偿方法，包括步骤S11~S16。
步骤S11，获取温度由常温升至阈值温度过程中，每升高预设温度时相机采集的散斑图像。
具体实施时，将散斑结构光相机放置在与背景（如白墙）固定距离处，常温下启动相机，记录下当前相机温度t1，并保存当前温度下的散斑图像img_1，相机温度逐渐从常温升至阈值温度，该阈值温度为相机工作温度的上限值，具体可以通过相机自然升温，也可通过外部加温，每升高△t温度时记录下温度tn，并保存图像img_n。由此收集到一组散斑图像数据img_1、…、img_n，以及每张散斑图像对应温度值t1、…、tn。
步骤S12，以所述阈值温度下的散斑图像为基准图像，其他温度下的散斑图像为目标图像，分别计算各个所述目标图像与所述基准图像之间每个像素点的偏移量，以得到各个温度下的偏移量图像。
以获取的所有图像中，相机温度最高时采集的散斑图像为基准图像img_n，其他温度下的散斑图像为目标图像，分别计算目标图像img_1、...、img_n-1与基准图像img_n之间每个像素点的偏移量。具体实施时，可以计算像素点分别在X轴和Y轴方向的偏移量。
进一步的，在本发明的其中一种实现方式中，所述分别计算各个所述目标图像与所述基准图像之间每个像素点的偏移量的步骤包括：
遍历所述目标图像的每个像素点，并以当前像素点为中心取m*m个像素大小的区块作为计算区域Block_P，以所述基准图像中与所述当前像素点对应的像素点为中心，取n*n个像素大小的区域为待匹配区域Block_T，并以所述待匹配区域Block_T中的每个像素点为中心，取 m*m个像素大小的区块Block_C；
计算从所述待匹配区域Block_T中取得的各个区块Block_C分别与所述计算区域Block_P的卷积之和，并将所述卷积之和中的最大值在所述待匹配区域Block_T中的所在坐标确定为所述当前像素点的偏移量。
具体的，以待计算的目标图像img_1的当前像素点为中心取m*m个像素的区块作为计算区域Block_P。在基准图像img_n对应像素点为中心，取n*n个像素区域为待匹配区域Block_T。在基准图像img_n上，以Block_T中的每个像素点为中心，取 m*m个像素的区块Block_C，计算Block_P与Block_C的卷积之和Sum_n。
根据上述方法获取Block_T中每个像素点的Block_P与Block_C卷积和Sum_1、…、Sum_n2，并计算最大值，获取最大值在Block_T中所在坐标即为当前像素点的偏移量（零坐标在Block_T中心）。根据此方法，可以得到目标图像img_1中的每一个像素点的偏移量。
按照相同的方法，目标图像img_2、...、img_n-1中每张图像与img_n在X和Y方向的差值都能获得一张偏移量图像sx_2、…、sx_n-1与sy_2、…、sy_n-1，即一个温度对应获得一张偏移量图像。
步骤S13，根据不同温度下的偏移量图像，以及每张偏移量图像与基准图像的拍照温度的温差值，建立每个像素点的温度补偿模型。
根据不同温度下获取的X轴偏移量图像sx和Y轴偏移量图像sy，以及每张偏移量图像与基准图像的温差值，得到的每个像素点处的温度补偿模型。该X轴和Y轴方向上的温度补偿模型分别表示为：
dx＝fx (x ,y ,△t，wx)；
dy＝fy (x ,y , △t，wy)；
其中，△t为当前温度与基准温度的温差值，即当前偏移量图像与基准图像的拍照温度的温差值，wx，wy分别为X轴方向和Y轴方向上的温度补偿模型参数，x，y为像素点处的X轴、Y轴坐标，dx，dy为对应位置像素点在X轴和Y轴方向的位移补偿值。
具体的，所述根据不同温度下的偏移量图像，以及每张偏移量图像与基准图像的拍照温度的温差值，建立每个像素点的温度补偿模型的步骤包括：
获取当前散斑图像中目标像素点的坐标（x,y），并获取所有偏移量图像上坐标为（x,y）的像素值；
设温度补偿模型为P=f(x,y,△t,w)，其中x,y为像素点坐标，△t 为当前温度与基准温度的温差值，w为温度补偿模型参数，建立所述温度补偿模型的目标函数：
，
，
其中，Lmin(·)是指目标函数，和/>表示第i个不同温度下的偏移量图像上坐标为（x,y）的像素值（由温度影响的在X和Y方向上的偏移量）；
通过最小二乘法求解所述目标函数，计算温度补偿模型参数。
其中，计算像素点坐标为（x,y）处的dx与dy时，获取所有偏移量图像sx、sy上坐标为（x,y）的像素值PXx,y_1、…、PXx,y_n-1, PYx,y_1、…、PYx,y_n-1。设温度补偿模型为P=f(x,y,△t,w)，其中x,y为像素点坐标，w为温度补偿模型参数，其包括X轴和Y轴的温度补偿模型参数和/>。为了寻找函数P=f(x,y,△t,w) 的参数的最优估计值，求解目标函数：
，
，
其中，Lmin(·)为目标函数，，/>是不同温度下X轴方向和Y轴方向的像素偏移量图像，/>和/>分别为X轴方向和Y轴方向上的温度补偿模型参数。通过最小二乘法分别计算温度补偿模型参数/>和/>，可以理解的，该温度补偿模型参数/>和/>可以分别包含多个参数。
具体的，在本发明的其中一实施例中，该温度补偿模型可以表示为：
dx=（kx1*x+kx2）*△t +kx3;
dy=（ky1*y+ky2）*△t +ky3;
其中，△t为当前温度与基准温度的温差值，x，y为像素点处的x轴、y轴坐标，dx，dy为对应位置像素点在x和y方向的位移补偿值，kx1，kx2，kx3，ky1，ky2，ky3为模型的参数。
步骤S14，获取相机工作采集的当前散斑图像和相机的当前温度，以及获取相机标定时拍摄的散斑参考图和对应的参考温度。
获取相机标定时拍摄的散斑参考图img_ref,并记录下img_ref对应的温度T_ref，以及获取相机当前工作时采集的当前散斑图像img_w,以及相机的当前温度T_w。可以理解的，相机标定，即是将散斑结构光相机放置在与背景（如白墙）固定距离处时启动相机拍照所得的散斑图像。
步骤S15，计算所述当前温度和所述参考温度的差值，并根据所述差值和所述温度补偿模型计算所述当前散斑图像中各个像素点的位移补偿值。
步骤S16，根据所述当前散斑图像中各个像素点的位移补偿值对所述当前散斑图像进行温度补偿。
对img_w进行温度补偿时，只需将img_w中每个像素点的坐标值x、y，以及△t=T_ref-T_w，代入到温度补偿模型中计算得到每个像素的在X轴和Y轴的位移补偿值dx和dy 。
根据当前散斑图像img_w计算得到的位移补偿值dx，dy值，对img_w上的每个像素点位置进行校正，得到温度补偿之后的散斑图像img_w＇。
进一步的，在本发明的其他实施例中，步骤S16之后还包括：
计算温度补偿后的所述当前散斑图像与所述散斑参考图的视差值，并根据视差值计算温度补偿后的深度图。
计算img_w＇与img_ref的视差值即可得到温度补偿后的深度图 。
本实施例通过获取不同温度下的散斑图像，并进行散斑图像的偏移量计算，得到多个偏移量图像，并根据不同温度下获取的偏移量图像，以及每张偏移量图像与基准图像的温差值，得到的每个像素点的温度补偿模型，根据该温度补偿模型对当前散斑图像进行温度补偿，降低温度的影响。该算法计算效率高，方便产线量产。
请参阅图2，为本发明第二实施例中的散斑图像温度补偿装置，包括：
第一获取模块21，用于获取温度由常温升至阈值温度过程中，每升高预设温度时相机采集的散斑图像；
第一计算模块22，用于以所述阈值温度下的散斑图像为基准图像，其他温度下的散斑图像为目标图像，分别计算各个所述目标图像与所述基准图像之间每个像素点的偏移量，以得到各个温度下的偏移量图像；
模型建立模块23，用于根据不同温度下的偏移量图像，以及每张偏移量图像与基准图像的拍照温度的温差值，建立每个像素点的温度补偿模型；
第二获取模块24，用于获取相机工作采集的当前散斑图像和相机的当前温度，以及获取相机标定时拍摄的散斑参考图和对应的参考温度；
第二计算模块25，用于计算所述当前温度和所述参考温度的差值，并根据所述差值和所述温度补偿模型计算所述当前散斑图像中各个像素点的位移补偿值；
补偿模块26，用于根据所述当前散斑图像中各个像素点的位移补偿值对所述当前散斑图像进行温度补偿。
进一步的，上述散斑图像温度补偿装置，还包括：
第三计算模块，用于计算温度补偿后的所述当前散斑图像与所述散斑参考图的视差值，并根据是视差值计算温度补偿后的深度图。
本发明实施例所提供的散斑图像温度补偿装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明另一方面还提出一种电子设备，请参阅图3，所示为本发明实施例当中的电子设备，包括处理器10、存储器20以及存储在存储器上并可在处理器上运行的计算机程序30，所述处理器10执行所述计算机程序30时实现如上述的散斑图像温度补偿方法。
其中，所述电子设备可以为但不限于个人电脑、手机等计算机设备。处理器10在一些实施例中可以是中央处理器（Central Processing Unit, CPU）、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器20中存储的程序代码或处理数据等。
其中，存储器20至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器20在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的硬盘。存储器20在另一些实施例中也可以是电子设备的外部存储装置，例如电子设备上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（FlashCard）等。进一步地，存储器20还可以既包括电子设备的内部存储单元也包括外部存储装置。存储器20不仅可以用于存储安装于电子设备的应用软件及各类数据等，还可以用于暂时地存储已经输出或者将要输出的数据。
可选地，该电子设备还可以包括用户接口、网络接口、通信总线等，用户接口可以包括显示器（Display）、输入单元比如键盘（Keyboard），可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。网络接口可选的可以包括标准的有线接口、无线接口（如WI-FI接口），通常用于在该装置与其他电子装置之间建立通信连接。通信总线用于实现这些组件之间的连接通信。
需要指出的是，图3示出的结构并不构成对电子设备的限定，在其它实施例当中，该电子设备可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
本发明还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的散斑图像温度补偿方法。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置中获取指令并执行指令的系统）使用，或结合这些指令执行系统、装置而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或结合这些指令执行系统、装置而使用的设备。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种散斑图像温度补偿方法，其特征在于，包括：
获取温度由常温升至阈值温度过程中，每升高预设温度时相机采集的散斑图像；
以所述阈值温度下的散斑图像为基准图像，其他温度下的散斑图像为目标图像，分别计算各个所述目标图像与所述基准图像之间每个像素点的偏移量，以得到各个温度下的偏移量图像；
根据不同温度下的偏移量图像，以及每张偏移量图像与基准图像的拍照温度的温差值，建立每个像素点的温度补偿模型；
获取相机工作采集的当前散斑图像和相机的当前温度，以及获取相机标定时拍摄的散斑参考图和对应的参考温度；
计算所述当前温度和所述参考温度的差值，并根据所述差值和所述温度补偿模型计算所述当前散斑图像中各个像素点的位移补偿值；
根据所述当前散斑图像中各个像素点的位移补偿值对所述当前散斑图像进行温度补偿。
2.如权利要求1所述的散斑图像温度补偿方法，其特征在于，所述分别计算各个所述目标图像与所述基准图像之间每个像素点的偏移量的步骤包括：
分别计算各个所述目标图像与所述基准图像之间每个像素点在X轴和Y轴方向上的偏移量。
3.如权利要求1所述的散斑图像温度补偿方法，其特征在于，所述分别计算各个所述目标图像与所述基准图像之间每个像素点的偏移量的步骤包括：
遍历所述目标图像的每个像素点，并以当前像素点为中心取m*m个像素大小的区块作为计算区域Block_P，以所述基准图像中与所述当前像素点对应的像素点为中心，取n*n个像素大小的区域为待匹配区域Block_T，并以所述待匹配区域Block_T中的每个像素点为中心，取 m*m个像素大小的区块Block_C；
计算从所述待匹配区域Block_T中取得的各个区块Block_C分别与所述计算区域Block_P的卷积之和，并将所述卷积之和中的最大值在所述待匹配区域Block_T中的所在坐标确定为所述当前像素点的偏移量。
4.如权利要求1所述的散斑图像温度补偿方法，其特征在于，所述温度补偿模型表示为：
dx=（kx1*x+kx2）*△t +kx3;
dy=（ky1*y+ky2）*△t +ky3;
其中，△t为当前温度与基准温度的温差值，x，y为像素点处的x轴、y轴坐标，dx，dy为对应位置像素点在x和y方向的位移补偿值，kx1，kx2，kx3，ky1，ky2，ky3为温度补偿模型的参数。
5.如权利要求1所述的散斑图像温度补偿方法，其特征在于，所述根据不同温度下的偏移量图像，以及每张偏移量图像与基准图像的拍照温度的温差值，建立每个像素点的温度补偿模型的步骤包括：
获取当前散斑图像中目标像素点的坐标（x,y），并获取所有偏移量图像上坐标为（x,y）的像素值；
设温度补偿模型为P=f(x,y,△t,w)，并建立所述温度补偿模型的目标函数：
，
，
其中，x,y为像素点坐标，△t 为当前温度与基准温度的温差值，w为温度补偿模型参数，Lmin(·)为目标函数，和/>表示第i个不同温度下的偏移量图像上坐标为（x,y）的像素值，/>和/>分别为X轴方向和Y轴方向上的温度补偿模型参数；
通过最小二乘法求解所述目标函数，计算温度补偿模型参数。
6.如权利要求1所述的散斑图像温度补偿方法，其特征在于，所述根据所述当前散斑图像中各个像素点的位移补偿值对所述当前散斑图像进行温度补偿的步骤之后还包括：
计算温度补偿后的所述当前散斑图像与所述散斑参考图的视差值，根据视差值计算温度补偿后的深度图。
7.一种散斑图像温度补偿装置，其特征在于，包括：
第一获取模块，用于获取温度由常温升至阈值温度过程中，每升高预设温度时相机采集的散斑图像；
第一计算模块，用于以所述阈值温度下的散斑图像为基准图像，其他温度下的散斑图像为目标图像，分别计算各个所述目标图像与所述基准图像之间每个像素点的偏移量，以得到各个温度下的偏移量图像；
模型建立模块，用于根据不同温度下的偏移量图像，以及每张偏移量图像与基准图像的拍照温度的温差值，建立每个像素点的温度补偿模型；
第二获取模块，用于获取相机工作采集的当前散斑图像和相机的当前温度，以及获取相机标定时拍摄的散斑参考图和对应的参考温度；
第二计算模块，用于计算所述当前温度和所述参考温度的差值，并根据所述差值和所述温度补偿模型计算所述当前散斑图像中各个像素点的位移补偿值；
补偿模块，用于根据所述当前散斑图像中各个像素点的位移补偿值对所述当前散斑图像进行温度补偿。
8.如权利要求7所述的散斑图像温度补偿装置，其特征在于，还包括：
第三计算模块，用于计算温度补偿后的所述当前散斑图像与所述散斑参考图的视差值，并根据视差值计算温度补偿后的深度图。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6中任一项所述的散斑图像温度补偿方法。
10.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的散斑图像温度补偿方法。
CN202311715779.0A 2023-12-14 2023-12-14 散斑图像温度补偿方法、装置、可读介质及电子设备 Active CN117409174B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311715779.0A CN117409174B (zh) 2023-12-14 2023-12-14 散斑图像温度补偿方法、装置、可读介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311715779.0A CN117409174B (zh) 2023-12-14 2023-12-14 散斑图像温度补偿方法、装置、可读介质及电子设备

Publications (2)

Publication Number Publication Date
CN117409174A true CN117409174A (zh) 2024-01-16
CN117409174B CN117409174B (zh) 2024-03-15

Family

ID=89498323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311715779.0A Active CN117409174B (zh) 2023-12-14 2023-12-14 散斑图像温度补偿方法、装置、可读介质及电子设备

Country Status (1)

Country Link
CN (1) CN117409174B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130250278A1 (en) * 2012-03-21 2013-09-26 Kansas State University Research Foundation Portable high-resolution non-contact modular sensor for surface strain measurement
CN108711167A (zh) * 2018-05-15 2018-10-26 深圳奥比中光科技有限公司 深度成像系统及其温度误差校正方法
WO2020206666A1 (zh) * 2019-04-12 2020-10-15 深圳市汇顶科技股份有限公司 基于散斑图像的深度估计方法及装置、人脸识别系统
CN114066950A (zh) * 2021-10-27 2022-02-18 北京的卢深视科技有限公司 单目散斑结构光图像匹配方法、电子设备及存储介质
CN114945091A (zh) * 2022-07-19 2022-08-26 星猿哲科技(深圳)有限公司 深度相机的温度补偿方法、装置、设备及存储介质
CN115205128A (zh) * 2021-04-12 2022-10-18 深圳市光鉴科技有限公司 基于结构光的深度相机温漂校正方法、系统、设备及介质
CN115294208A (zh) * 2022-07-19 2022-11-04 星猿哲科技(上海)有限公司 深度相机的温度补偿系统
CN115393446A (zh) * 2022-07-28 2022-11-25 合肥的卢深视科技有限公司 温度系数标定方法、系统、电子设备和存储介质
CN116416290A (zh) * 2021-12-30 2023-07-11 浙江舜宇智能光学技术有限公司 一种计算散斑结构光深度的方法、装置及电子设备
CN117156113A (zh) * 2023-10-30 2023-12-01 南昌虚拟现实研究院股份有限公司 一种基于深度学习散斑相机图像矫正方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130250278A1 (en) * 2012-03-21 2013-09-26 Kansas State University Research Foundation Portable high-resolution non-contact modular sensor for surface strain measurement
CN108711167A (zh) * 2018-05-15 2018-10-26 深圳奥比中光科技有限公司 深度成像系统及其温度误差校正方法
WO2020206666A1 (zh) * 2019-04-12 2020-10-15 深圳市汇顶科技股份有限公司 基于散斑图像的深度估计方法及装置、人脸识别系统
CN115205128A (zh) * 2021-04-12 2022-10-18 深圳市光鉴科技有限公司 基于结构光的深度相机温漂校正方法、系统、设备及介质
CN114066950A (zh) * 2021-10-27 2022-02-18 北京的卢深视科技有限公司 单目散斑结构光图像匹配方法、电子设备及存储介质
CN116416290A (zh) * 2021-12-30 2023-07-11 浙江舜宇智能光学技术有限公司 一种计算散斑结构光深度的方法、装置及电子设备
CN114945091A (zh) * 2022-07-19 2022-08-26 星猿哲科技(深圳)有限公司 深度相机的温度补偿方法、装置、设备及存储介质
CN115294208A (zh) * 2022-07-19 2022-11-04 星猿哲科技(上海)有限公司 深度相机的温度补偿系统
CN115393446A (zh) * 2022-07-28 2022-11-25 合肥的卢深视科技有限公司 温度系数标定方法、系统、电子设备和存储介质
CN117156113A (zh) * 2023-10-30 2023-12-01 南昌虚拟现实研究院股份有限公司 一种基于深度学习散斑相机图像矫正方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHIJIE HE.ETC: "Hypoperfusion Induced by Preconditioning Treadmill Training in Hyper-Early Reperfusion After Cerebral Ischemia: A Laser Speckle Imaging Study", 《IEEE》, 31 January 2018 (2018-01-31) *
冯益春;沈子华;朱媛媛;: "数字图像相关法中散斑图的质量评价", 计算机与数字工程, no. 07, 20 July 2020 (2020-07-20) *
郭泽民;武颖;: "一种基于最小均方差的散斑图像配准算法的研究", 机械管理开发, no. 06, 15 December 2011 (2011-12-15) *

Also Published As

Publication number Publication date
CN117409174B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
JP6866439B2 (ja) 位置検出方法とその装置、機器、記憶媒体及び車両
US10863077B2 (en) Image photographing method, apparatus, and terminal
US20190385285A1 (en) Image Processing Method and Device
KR102236222B1 (ko) 중첩영역의 제어점들을 이용한 시차 최소화 스티칭 장치 및 방법
US10848686B2 (en) Method of providing image and electronic device for supporting the method
KR102452575B1 (ko) 광학식 이미지 안정화 움직임에 의한 이미지의 변화를 보상하기 위한 장치 및 방법
US10516820B2 (en) Electronic device for controlling focus of lens and method for controlling the same
KR20200072393A (ko) 이미지 선명도를 결정하기 위한 장치 및 방법
KR102049681B1 (ko) 이미지 데드 픽셀 보상 방법, 장치 및 비 일시적 컴퓨터 판독 저장 매체
US10819897B2 (en) Electronic device and method for controlling autofocus of camera
US11729505B2 (en) Image signal processor, electronic device, and image stabilization method
CN109690611B (zh) 一种图像校正方法及装置
WO2021129345A1 (zh) 场景地图建立方法、设备及存储介质
CN111080544A (zh) 基于图像的人脸畸变校正方法、装置及电子设备
KR101892267B1 (ko) 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
CN109785444A (zh) 图像中现实平面的识别方法、装置及移动终端
KR101937163B1 (ko) 방향 적응적 영상 보간 방법 및 그 전자 장치
JP5751254B2 (ja) 画像処理システム、画像処理方法および画像処理プログラム
CN117409174B (zh) 散斑图像温度补偿方法、装置、可读介质及电子设备
CN111882588B (zh) 图像块配准方法及相关产品
WO2024002186A1 (zh) 图像融合方法、装置及存储介质
CN111091083B (zh) 基于图像的人脸尺度计算方法、装置及电子设备
CN109523481B (zh) 投影仪图像畸变的矫正方法、装置及计算机可读存储介质
CN113129366A (zh) 单目slam初始化方法、装置及电子设备
CN105229706A (zh) 图像处理装置、图像处理方法和程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant